電子音楽装置およびその制御方法を実現するためのプログラム
【課題】大まかなタッチ操作で簡単に楽譜入力を行うことが可能となる電子音楽装置と制御方法を実現するためのプログラムを提供する。
【解決手段】ユーザが、五線譜２ａ１上の１小節目の１拍目Ａ４辺りをタッチするとタッチ位置に最も近いグリッドが判定され、最寄りのグリッドの先頭に位置する目盛りの上にカーソルＣが表示され音符が入力できることを知らせる。このとき、タッチ位置の音高が鍵盤２ａ２の中央あるいは中央付近に来るように表示鍵域が左／右に自動的にスクロールする。次に入力したい音高Ａ４，Ｃ５，Ｅ５に対応する鍵を指で押さえると、当該鍵の色が変わり、その指を離すと破線で描かれたカーソルＣの位置に対応する五線譜２ａ１上の位置に指定された音高の音符が入力される。指を離す前に五線譜２ａ１上を再度タッチしてカーソルＣの位置を動かすと、入力音符の音符長も指定できる。音符を入力後カーソルＣは自動的に１目盛り分進む。
【解決手段】ユーザが、五線譜２ａ１上の１小節目の１拍目Ａ４辺りをタッチするとタッチ位置に最も近いグリッドが判定され、最寄りのグリッドの先頭に位置する目盛りの上にカーソルＣが表示され音符が入力できることを知らせる。このとき、タッチ位置の音高が鍵盤２ａ２の中央あるいは中央付近に来るように表示鍵域が左／右に自動的にスクロールする。次に入力したい音高Ａ４，Ｃ５，Ｅ５に対応する鍵を指で押さえると、当該鍵の色が変わり、その指を離すと破線で描かれたカーソルＣの位置に対応する五線譜２ａ１上の位置に指定された音高の音符が入力される。指を離す前に五線譜２ａ１上を再度タッチしてカーソルＣの位置を動かすと、入力音符の音符長も指定できる。音符を入力後カーソルＣは自動的に１目盛り分進む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多点認識機能を備えたタッチパネルディスプレイを備え、該タッチパネルディスプレイを用いて楽譜入力を行うことができる電子音楽装置およびその制御方法を実現するためのプログラムに関する。
【背景技術】
【０００２】
楽曲制作用のＤＡＷ（digital audio workstation）や楽譜作成用のソフトウェアをＰＣ（パーソナルコンピュータ）にインストールし、ＰＣ上での楽曲制作あるいは楽譜作成は、一般的に行なわれている（たとえば、特許文献１参照）。
【０００３】
このようなＰＣ上での楽曲制作や楽譜作成においては、(i )外出先で手軽に音符などを打ち込むことができない、(ii)マウスやキーボードを使って１つずつ音符を入力するのは煩雑、(iii )ＭＩＤＩ（musical instrument digital interface）キーボードをＰＣに接続してＭＩＤＩデータを入力するのは、機材が大掛かりになる上、マウスとＭＩＤＩキーボードの使い分けが面倒、などの問題があった。
【０００４】
これらの問題に対処するため、タッチパネルディスプレイを備えた携帯端末を使用して楽曲制作あるいは楽譜作成を行なう技術もある。携帯端末であれば、(i )持ち運びでき、(ii)タッチパネルで直感的に操作でき、(iii )入力用の装置（マウスやキーボードなど）も不要であるので、ＰＣ上での楽曲制作や楽譜作成における上記問題は解消される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−７５４７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記従来の技術では、ＰＣ上で行なっていた操作などをそのままタッチパネル上での操作などに置き換えただけであるので、操作の煩雑さは完全には解消されない。たとえば、多数のボタン（８分音符や４分音符などが割り当てられたボタン）が配置されている音符長設定パレットからいずれか１つのボタンを選んだり、譜面上で音符を入力したい位置を正確に指定したりなど、従来マウスを用いて行なっていた細かい作業をタッチ操作で行うのは大変である。
【０００７】
本発明は、この点に着目してなされたものであり、大まかなタッチ操作で簡単に楽譜入力を行うことが可能となる電子音楽装置およびその制御方法を実現するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の電子音楽装置は、多点認識機能を備えたタッチパネルディスプレイと、前記タッチパネルディスプレイに譜面画像および楽器画像を表示する表示手段と、ユーザが前記タッチパネルディスプレイ上に表示された譜面画像をタッチしたときに、そのタッチ位置に基づいて、該タッチ位置が示す譜面画像上の音高、および音符の時間方向の入力位置を判定する第１の判定手段と、前記第１の判定手段によって判定された音高に応じて、前記タッチパネルディスプレイ上に表示された楽器画像の表示状態を変動させるように前記表示手段を制御する制御手段と、ユーザが前記制御手段によって表示状態の変動された楽器画像をタッチしたときに、そのタッチ位置の音高を判定する第２の判定手段と、前記第２の判定手段によって判定された音高の音符を、前記第１の判定手段によって判定された時間方向の入力位置に入力する入力手段とを有することを特徴とする。
【０００９】
請求項２に記載の電子音楽装置は、請求項１の電子音楽装置において、前記入力手段によって音符が入力されたときに、前記音符の時間方向の入力位置を次の入力位置に進行させる進行手段をさらに有することを特徴とする。
【００１０】
請求項３に記載の電子音楽装置は、請求項１または２の電子音楽装置において、ユーザが前記楽器画像をタッチしながら、前記譜面画像上、現在の音符の時間方向の入力位置である第１の位置とは異なる第２の位置をタッチすると、前記第１の位置と前記第２の位置との間隔に応じた音符長を、前記入力手段によって入力される音符の音符長として設定する設定手段をさらに有することを特徴とする。
【００１１】
上記目的を達成するため、請求項４に記載のプログラムは、請求項１と同様の技術的思想によって実現できる。
【発明の効果】
【００１２】
請求項１または４に記載の発明によれば、ユーザがタッチパネルディスプレイ上に表示された譜面画像をタッチしたときに、そのタッチ位置に基づいて、該タッチ位置が示す譜面画像上の音高、および音符の時間方向の入力位置が判定され、該判定された音高に応じて、前記タッチパネルディスプレイ上に表示された楽器画像の表示状態が変動されるので、つまり、ユーザが譜面画像の大まかな位置をタッチするだけで、楽器画像の表示状態が変動されるので、その表示状態として、たとえば表示領域を採った場合には、楽器画像の表示領域は、ユーザが自分で変動させなくても、音高を設定したい位置に自動的に変動する。そして、表示領域が自動的に変動した楽器画像をタッチするだけで、そのタッチ位置の音高が判定され、該判定された音高の音符が前記判定された時間方向の入力位置に入力されるので、ユーザは譜面画像上の細かいタッチ操作で音高を指定しなくてもよくなり、大まかなタッチ操作で簡単に楽譜入力を行うことが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施の形態に係る電子音楽装置の概略構成を示すブロック図である。
【図２】動作モードとして楽譜作成モードが選択された場合に、図１のタッチパネルディスプレイ上に表示された楽譜入力画面の一例を示す図である。
【図３】図１のタッチパネルディスプレイ上に表示された五線譜表示画面における楽譜入力処理を説明するための図である。
【図４】図１のタッチパネルディスプレイ上に表示されたピアノロール表示画面における楽譜入力処理を説明するための図である。
【図５】図３の五線譜表示画面および図４のピアノロール表示画面内の各表示部品の回転処理を説明するための図である。
【図６】図１の電子音楽装置、特にＣＰＵが実行するメインルーチンの手順を示すフローチャートである。
【図７】図６のメインルーチン中の入力音符指定処理のうち、五線譜表示画面が選択されている場合に実行される入力音符指定処理＃１の詳細な手順を示すフローチャートである。
【図８】図６のメインルーチン中の入力位置指定処理のうち、五線譜表示画面が選択されている場合に実行される入力位置指定処理＃１の詳細な手順を示すフローチャートである。
【図９】図６のメインルーチン中の入力音符指定処理のうち、ピアノロール表示画面が選択されている場合に実行される入力音符指定処理＃２の詳細な手順を示すフローチャートである。
【図１０】図６のメインルーチン中の入力位置指定処理のうち、ピアノロール表示画面が選択されている場合に実行される入力位置指定処理＃２の詳細な手順を示すフローチャートである。
【図１１】図６のメインルーチン中の操作に応じた処理＃１の詳細な手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１５】
図１は、本発明の一実施の形態に係る電子音楽装置の概略構成を示すブロック図である。
【００１６】
同図に示すように、本実施の形態の電子音楽装置は、各種情報を入力するための複数のスイッチを含む設定操作子１と、楽譜作成用のＧＵＩ（graphical user interface）を含む各種ＵＩ（user interface）を表示するとともに、ユーザが表示された各種ＵＩを、たとえば指で触れることで各種情報を入力するタッチパネルディスプレイ（以下、「タッチパネル」と略して言う）２と、設定操作子１の操作状態を検出する検出回路３と、ユーザによるタッチパネル２上の操作位置や操作圧力などの押圧操作を検出する検出回路４と、上記各種ＵＩをタッチパネル２上に表示させる表示回路５と、装置全体の制御を司るＣＰＵ６と、該ＣＰＵ６が実行する制御プログラムや、各種テーブルデータ等を記憶するＲＯＭ７と、各種入力情報および演算結果等を一時的に記憶するＲＡＭ８と、前記制御プログラムを含む各種アプリケーションプログラムや各種データ等を記憶する記憶装置９と、外部機器１００を接続し、この外部機器１００とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１０と、前記ＧＵＩを用いて作成された楽譜を再生して得られた演奏情報等を楽音信号に変換するとともに、その楽音信号に各種効果を付与するための音源・効果回路１１と、該音源・効果回路１１からの楽音信号を音響に変換する、たとえば、ＤＡＣ（digital-to-analog converter）やアンプ、スピーカ等のサウンドシステム１２とにより構成されている。
【００１７】
上記構成要素３〜１１は、バス１３を介して相互に接続され、通信Ｉ／Ｆ１０には外部機器１００が接続され、音源・効果回路１１にはサウンドシステム１２が接続されている。
【００１８】
タッチパネル２は、複数の位置に対するユーザの同時の押圧操作を認識する多点認識機能を備えたパネルである。本実施の形態の電子音楽装置は、掌に載せて片手で操作可能な小型の携帯端末（具体的には、汎用のスレートＰＣ（slate PC）やスマートフォン（smartphone）など）を想定しているので、タッチパネル２も小型のものを採用している。
【００１９】
記憶装置９は、たとえば、フレキシブルディスク（ＦＤ）、ハードディスク（ＨＤ）、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disc）、光磁気ディスク（ＭＯ）および半導体メモリなどの記憶媒体とその駆動装置である。記憶媒体は、駆動装置から着脱可能であってもよいし、記憶装置９自体が、本実施の形態の電子音楽装置から着脱可能であってもよい。あるいは、記憶媒体も記憶装置９も着脱不可能であってもよい。なお、記憶装置９（の記憶媒体）には、前述のように、ＣＰＵ６が実行する制御プログラムも記憶でき、ＲＯＭ７に制御プログラムが記憶されていない場合には、この記憶装置９に制御プログラムを記憶させておき、それをＲＡＭ８に読み込むことにより、ＲＯＭ７に制御プログラムを記憶している場合と同様の動作をＣＰＵ６にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。
【００２０】
通信Ｉ／Ｆ１０には、図示例では、外部機器１００が接続されているが、これに限られず、たとえばＬＡＮ（local area network）やインターネット、電話回線等の通信ネットワークを介して、サーバコンピュータが接続されるようにしてもよい。この場合、記憶装置９に上記各プログラムや各種パラメータが記憶されていなければ、通信Ｉ／Ｆ１０は、サーバコンピュータからプログラムやパラメータをダウンロードするために用いられる。クライアントとなる電子音楽装置は、通信Ｉ／Ｆ１０および通信ネットワークを介してサーバコンピュータへとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバコンピュータは、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワークを介して電子音楽装置へと配信し、電子音楽装置が通信Ｉ／Ｆ１０を介して、これらプログラムやパラメータを受信して記憶装置９に蓄積することにより、ダウンロードが完了する。
【００２１】
通信Ｉ／Ｆ１０としては、たとえば、ＭＩＤＩ信号などの音楽信号を専用に送受信する音楽専用有線Ｉ／Ｆ、ＵＳＢ（universal serial bus）やＩＥＥＥ１３９４などの汎用近距離有線Ｉ／Ｆ、Ｅｔｈｅｒｎｅｔ（登録商標）などの汎用ネットワークＩ／Ｆ、無線ＬＡＮ（local area network）やＢｌｕｅｔｏｏｔｈ（登録商標）などの汎用近距離無線Ｉ／Ｆ、デジタル電話回線網用の通信Ｉ／Ｆを挙げることができる。本実施の形態では、通信Ｉ／Ｆ１０として、デジタル電話回線網用および／または無線ＬＡＮ用の通信Ｉ／Ｆを採用している。
【００２２】
図２は、動作モードとして楽譜作成モードが選択された場合に、タッチパネル２上に表示された楽譜入力画面の一例を示す図である。本実施の形態の電子音楽装置は、楽譜入力画面として、五線譜と鍵盤を表示し、これを用いて楽譜を入力する画面（以下、「五線譜表示画面」という）２ａ（図２（ａ））と、ピアノロールを表示し、これを用いて楽譜を入力する画面（以下、「ピアノロール表示画面」という）２ｂ（図２（ｃ））の２種類の画面を備え、ユーザの選択操作に応じて、いずれかを選択できるようにしている。
【００２３】
図２（ａ）に示すように、五線譜表示画面２ａには、２本の五線譜２ａ１と１つの鍵盤２ａ２が表示され、各五線譜２ａ１の上にはルーラ（ruler）２ａ３が表示されている。ルーラ２ａ３は、入力音符の音符長の最小単位を示すものであり、図示例では、ルーラ２ａ３の１目盛りは４分音符長に相当するので、４分音符長を最小単位とする音符を入力することができる。なお、ルーラ２ａ３の１目盛りの長さ、つまり、音符長の最小単位は、ユーザが自由に変更することができるようになっている。図２（ｂ）は、その変更方法の一例を示す図である。同図（ｂ）に示すように、ユーザがルーラ２ａ３上の任意の位置を長押しすると、選択可能な音符長の記載されたメニュー２ａ５がポップアップ表示されるので、そのメニュー２ａ５の中から変更したい音符長を選択する。これと同様にして、五線譜２ａ１の音部記号も、選択可能な音部記号の記載されたメニュー２ａ６を表示させ、そのメニュー２ａ６の中から変更したい音部記号を選択することで、他の音部記号に変更することができる。なお本実施の形態では、音符長の最小単位の変更も音部記号の変更も、変更対象の近傍を長押しすることによってメニューを表示させ、その中から変更したいものを選択することで行うようにしたが、これに限らず、後述するボタン２ａ４のいずれかを押すことによってメニューを表示させ、その中から変更したいものを選択することで行うようにしてもよい。
【００２４】
図２（ａ）に戻り、タッチパネル２は、前述のように小型のものを用いているために、タッチパネル２上に、何オクターブもの鍵盤を持つ一般的な鍵盤楽器（たとえばピアノは８８鍵）の全体像（鍵盤全体）を表示させることができない（あるいは、表示できたとしても、各鍵が小さ過ぎて操作上問題が生じる）ので、鍵盤２ａ２は、鍵盤全体の一部（図示例では、２オクターブ程度の鍵盤であるが、各鍵が指でタッチ操作できる程度の大きさのものであれば、これに限らず、１オクターブ程度の鍵盤でも、３オクターブ程度の鍵盤でもよい）を表示したものである。このように一部の鍵盤しか表示できないので、表示されていない部分を表示させたいことがある。その場合には、ユーザは鍵盤２ａ２上を左／右にスワイプ（swipe）操作（タッチパネル２に触れた状態で指を滑らせる操作）することで、鍵盤２ａ２が左／右にスクロールして表示鍵域が変わるようになっている。もちろん、表示鍵域の変更方法はこれに限らず、鍵盤２ａ２の近傍にスクロールバーを表示させ、このスクロールバー上でスワイプ操作あるいはドラッグ操作することで、表示鍵域を変更するようにしてもよい。また、ユーザは鍵盤２ａ２上でピンチ（pinch）操作（タッチパネル２に触れた状態で２本の指を開いたり閉じたりする操作）することで、鍵盤２ａ２を拡大／縮小して表示することもできるようになっている。
【００２５】
五線譜表示画面２ａには、この他に、複数（図示例では、８個）のボタン２ａ４も表示されている。本実施の形態では、ユーザはこれらのボタン２ａ４を押すことにより、次のような処理を行うことができる。すなわち、
（Ｏ１）保存されている楽譜データの読み出しや、現在表示中の楽譜データの保存
（Ｏ２）基本情報（拍子や調、テンポなど）の設定
（Ｏ３）入力音符の音符長の最小単位の設定
（Ｏ４）休符や音楽記号、臨時記号の入力
（Ｏ５）入力した音符データの削除や入力取り消し（Undo）
（Ｏ６）五線譜表示画面とピアノロール表示画面の切り替え
（Ｏ７）動作モードの変更
（Ｏ８）その他の設定
などの処理を行うことができる。ここで、動作モードとしては、上記「楽譜作成モード」の他に、たとえば、鍵盤２ａ２を非表示にして単なる楽譜として使用する「閲覧モード」などが備えられている。なお、どのボタン２ａ４をどう操作すれば、上記処理のいずれを実行できるかについては、本発明の特徴ではないので、その説明を省略する。
【００２６】
タッチパネル２上に五線譜表示画面２ａが表示されている状態で、ピアノロール表示画面への切り替えが指示されると、図２（ｃ）に示すように、タッチパネル２上にはピアノロール表示画面２ｂが表示される。ただし、同図（ｃ）のピアノロール表示画面２ｂは全表示画面の一部であり、実際にはこの他に、五線譜表示画面２ａ内のボタン２ａ４に相当するものも表示されている。
【００２７】
ピアノロール表示画面２ｂは、鍵盤部２ｂ１とノート表示部２ｂ２とによって構成されている。鍵盤部２ｂ１は、前記鍵盤２ａ２と同様に、鍵盤全体の一部が表示されているので、ユーザは鍵盤部２ｂ１上を上／下にスワイプ操作することで、鍵盤部２ｂ１が上／下にスクロールして表示鍵域が変わるようになっている。また、ユーザは鍵盤部２ｂ１上でピンチ操作すると、鍵盤部２ｂ１を拡大／縮小して表示することができる。この鍵盤部２ｂ１のスクロールおよび拡大／縮小に連動して、ノート表示部２ｂ２もスクロールおよび拡大／縮小される。さらにノート表示部２ｂ２は、その上をユーザが左／右にスワイプ操作することで、左／右にスクロールして表示領域が変わるようにもなっている。
【００２８】
ノート表示部２ｂ２は、音高を示す縦軸と時間経過を示す横軸からなる平面によって構成され、その平面内に複数のグリッド（grid）が形成されている。そして、各グリッドにノート（「音符」のことであるが、前記五線譜２ａ１に記載されるような「音符」形状ではなく、「楕円」形状で表示される（後述する図４（ｂ）〜（ｄ）参照）ので、「ノート」ということにする）を書き込むことで、楽譜（ピアノロール）を作成する。なお、各グリッドの横辺の長さが、入力ノートの音符長の最小単位を示している。この音符長の最小単位も、前記ルーラ２ａ３の１目盛りの長さと同様に、ユーザが自由に変更することができる。本実施の形態では、ユーザがノート表示部２ｂ２上の任意の位置を長押しすると、前記メニュー２ａ５と同様のメニュー（図示せず）がポップアップ表示され、そのメニューの中から変更したい音符長を選択することで、音符長の最小単位を変更できるようにしている。もちろん、変更方法はこれに限らず、ボタン２ａ４を押すことで、変更できるようにしてもよい。
【００２９】
以上のように構成された電子音楽装置が実行する制御処理を、まず図３〜図５を参照してその概要を説明し、次に図６〜図１１を参照して詳細に説明する。
【００３０】
本実施の形態の電子音楽装置は、
（Ａ）五線譜表示画面２ａにおける楽譜入力処理
（Ｂ）ピアノロール表示画面２ｂにおける楽譜（ノート）入力処理
（Ｃ）五線譜表示画面２ａおよびピアノロール表示画面２ｂ内の各表示部品の回転処理
に特徴がある。
【００３１】
図３は、上記（Ａ）の楽譜入力処理を説明するための図であり、同図（ａ）は、楽譜の入力位置を指定したときの様子を示し、同図（ｂ）は、入力音符の音高を指定したときの様子を示し、同図（ｃ）は、入力音符の音符長を指定したときの様子を示している。
【００３２】
図３（ａ）のように、ユーザが五線譜２ａ１上の、たとえば１小節目の１拍目、Ａ４（ラ）辺りをタッチすると、そのタッチ位置に最も近い（最寄りの）グリッドが判定される。ここで、グリッドとは、ルーラ２ａ３に刻まれた目盛りと目盛りの間の領域を示している。タッチ位置から最寄りのグリッドをどう判定するかについては、図８のステップＳ４２の処理で後述する。そして、判定された最寄りのグリッドの先頭に位置する目盛りの上にカーソルＣが表示され、この位置に音符が入力できることをユーザに知らせる。このとき、タッチ位置の音高が鍵盤２ａ２の中央あるいは中央付近に来るように、鍵盤２ａ２の表示鍵域が左／右に自動的にスクロールする。ここで、「タッチ位置の音高が中央付近に来る」とは、表示鍵域のスクロールを、たとえば１オクターブ単位あるいは半オクターブ単位で行うようにした場合には、タッチ位置の音高を表示鍵域の中央に厳密に位置させることはできないので、その場合には、中央付近に位置させるという意味である。もちろん、タッチ位置の音高を表示鍵域の中央に厳密に位置させることができる場合であっても、ユーザの操作上の都合などによって、当該音高を表示鍵域の中央に厳密に位置させない方がよいときには、「タッチ位置の音高が中央付近に来る」ようにしてもよい。
【００３３】
次に図３（ｂ）のように、ユーザが指で、入力したい音高（図示例では、Ａ４（ラ），Ｃ５（ド），Ｅ５（ミ））に対応する、鍵盤２ａ２の鍵を押さえると、当該鍵の色が変わり（図示例では、色の変化を斜線で表現している）、その指を離すと、破線で描かれたカーソルＣの位置に対応する、五線譜２ａ１上の位置に、当該指定された音高の音符が入力される。ただし、入力音符の音符長は、ルーラ２ａ３の１目盛り（グリッドの横辺）に相当する長さ、図示例では４分音符長である。音符が入力されると、カーソルＣは自動的に１目盛り分進む。
【００３４】
同じ最小単位の音符長の音符を続けて入力する場合には、上述のように、カーソルＣが次の入力位置に自動的に進むので、ユーザは鍵盤２ａ２の鍵を押さえて離す操作だけすればよい。たとえば、図３（ｂ）で入力した音符と同じ音高かつ同じ音符長の音符を２つ続けて入力したい場合には、Ａ４（ラ），Ｃ５（ド），Ｅ５（ミ）に対応する、鍵盤２ａ２の鍵を押さえてから離す操作を２回続けて行う。この結果、図３（ｃ）の五線譜２ａ１中、第１小節の第１拍から第３拍に同じ音高の４分音符が３つ続けて入力される。なお図３（ｃ）には、同じ音高の音符を続けて入力している例が描かれているが、これは便宜上に過ぎず、鍵を押さえて離す操作をする度に、異なった音高の鍵を操作すれば、異なった音高の音符が同じ最小単位の音符長で入力される。
【００３５】
一方、最小単位の音符長とは異なる音符長の音符を入力したい場合には、ユーザは、図３（ｃ）のように鍵盤２ａ２の鍵を押さえたまま、五線譜２ａ１上、入力したい音符長を指示する。音符長の指示は、具体的には、五線譜２ａ１上、現在のカーソルＣの位置に対応する位置（図示例では、第１小節の第４拍）から入力したい音符長分離れた位置（図示例では、第２小節の第２拍の近傍）をタッチすることによって行う。音符長が指示されると、その音符長がどれくらいかをユーザに知らせるために、その音符長に対応する長さの短冊状表示２ａ７がルーラ２ａ３上に現れる。そして、ユーザが鍵盤２ａ２から押さえた鍵の指を離すと、指定された音高の音符が指示された音符長で入力される。図３（ｃ）の例では、ユーザは、第１小節の第４拍にカーソルＣが位置した状態で、Ａ４（ラ），Ｃ５（ド），Ｅ５（ミ）に対応する、鍵盤２ａ２の鍵を押さえ、それを維持したまま、五線譜２ａ１上、第２小節の第２拍の近傍をタッチ（あるいは、五線譜２ａ１上、第１小節の第４拍の近傍から第２小節の第２拍の近傍までドラッグさせてもよい）すると、ルーラ２ａ３上に、当該指示された音符長を示す短冊状表示２ａ７が現れる。その後、ユーザが鍵盤２ａ２から指を離すと、指定された音高の２分音符が入力される。ただし図示例では、入力される音符は小節を跨ぐので、タイで表示される。音符が入力されると、カーソルＣは自動的に、次の入力位置（第２小節の第２拍目の先頭）まで進む。なお図３（ｃ）では、音符長の指定をルーラ２ａ３の近傍で行っているように描かれているが、これは便宜上そのように描かれているに過ぎず、実際には五線譜２ａ１上で行っている。もちろん、ルーラ２ａ３の近傍で音符長の指定ができるようにしてもよい。
【００３６】
このように（Ａ）の楽譜入力処理によれば、同じ最小単位の音符長の音符を続けて入力するには、鍵盤２ａ２の鍵に対するタッチおよびリリースを繰り返すだけでよいので、入力操作を簡単化することができる。また、入力音符の音高は、同時に複数指定することができるので、和音を入力する際の入力操作を特に簡略化することができる。さらに、最小単位より長い音符長の音符を入力する場合でも、その音符長に相当する位置を五線譜２ａ１上でタッチするだけでよいので、音符長の異なる音符を入力する場合でも、入力操作は複雑化しない。
【００３７】
図４は、前記（Ｂ）の楽譜入力処理を説明するための図であり、同図（ａ）は、入力ノートの音高を指定したときの様子を示し、同図（ｂ）は、ノートの入力位置を指定したときの様子を示し、同図（ｃ）は、同じ音高かつ同じ音符長のノートを続けて入力したときの様子を示し、同図（ｄ）は、最小単位の音符長より長い音符長のノートを入力したときの様子を示している。
【００３８】
図４（ａ）のように、ユーザが指で、鍵盤部２ｂ１上の、たとえばＣ４（ド），Ｅ４（ミ），Ｇ４（ソ）に相当する鍵をタッチすると、タッチされた鍵の色が変わって（図示例では、色の変化を斜線で表現している）、選択状態であることをユーザに知らせる。なお、ユーザがその指を離すと、鍵の選択状態は解除され、鍵の色も元の色に戻る。
【００３９】
次にユーザが、鍵盤部２ｂ１の鍵を選択した状態で、ノート表示部２ｂ２上のいずれかの位置をタッチすると、そのタッチ位置に最も近い（最寄りの）グリッド列が判定される。ここで、グリッド列とは、グリッドの縦方向の１列を意味し、図４では、列Ｒ１〜Ｒ６のいずれか１列である。そして、ユーザがノート表示部２ｂ２上からタッチした指を離すと、図４（ｂ）に示すように、判定されたグリッド列に属するグリッドのうち、選択された音高に対応するグリッドにノートが入力される。ノートの入力は、当該グリッドに内接される楕円によって表現される。ここで、ノート表示部２ｂ２上のタッチ位置は、鍵盤部２ｂ１上で選択された鍵に対応するグリッド内の位置に限らず、当該グリッドと同じグリッド列内であればどの位置であってもよい。図示例では、ユーザは、ノート表示部２ｂ２のグリッド列Ｒ３に属するグリッドのうち、鍵盤部２ｂ１の鍵“Ｄ＃４”に対応するグリッド内をタッチしているが、ノートは、鍵“Ｇ４”，“Ｅ４”および“Ｃ４”にそれぞれ対応する各グリッド内に入力される。なお図示例では、楕円は黒色で表されているが、色は黒色に限らず、どのような色を採用してもよいし、単色の塗り潰しではなく、網掛けや模様であってもよい。
【００４０】
従来の電子音楽装置が、上記ノート表示部２ｂ２と同様のノート表示部を備えているものとし、この従来の電子音楽装置を用いて、上述のようにＣ４（ド），Ｅ４（ミ），Ｇ４（ソ）の音高のノートを入力する場合には、ノート表示部上の、各音高にそれぞれ対応したグリッドを１つずつ、つまり３回タッチする必要がある。しかし、本実施の形態の電子音楽装置によれば、上述のようにノート表示部２ｂ２へのタッチは１回で済むので、特に和音を入力する際の入力操作を簡単化することができる。さらに、ノート表示部２ｂ２上のタッチ位置は、入力ノートの音高に対応するグリッドが属するグリッド列内であれば、どこでもよいので、ユーザは正確なタッチ操作が不要となる。
【００４１】
同じ最小単位の音符長かつ同じ音高のノートを続けて入力する場合には、図４（ｃ）に示すように、鍵盤部２ｂ１上の鍵の選択状態を維持したまま、ノート表示部２ｂ２上のタッチ位置を変動させる。図示例では、ユーザは、グリッド列Ｒ３に続いて、グリッド列Ｒ５とグリッド列Ｒ６をタッチしているので、Ｃ４（ド），Ｅ４（ミ），Ｇ４（ソ）の音高のノートが、グリッド列Ｒ３，列Ｒ５および列Ｒ６にそれぞれ属するグリッドに入力される。
【００４２】
このように本実施の形態の電子音楽装置によれば、同じ音符長かつ同じ音高のノートをいくつも続けて入力する場合、鍵盤部２ｂ１上の、当該音高に対応する鍵を押さえっぱなしにしておけば、あとはノート表示部２ｂ２で入力位置（時間的な位置）だけを指定すればよいので、ユーザは正確なタッチ操作が不要となる。
【００４３】
一方、最小単位の音符長より長い音符長のノートを入力したい場合には、図４（ｄ）に示すように、ユーザは鍵盤部２ｂ１上の鍵の選択状態を維持したまま、ノート表示部２ｂ２上を横方向にドラッグする。ドラッグ中は、ドラッグしている範囲がどれくらいか分かるように、ドラッグの始点を含むグリッド列から終点を含むグリッド列まで（図示例では、グリッド列Ｒ３からグリッド列Ｒ６まで）の全体が色つきで表示される（図示例では、色の変化を斜線で表現している）。そして、ユーザがドラッグを停止し、タッチした指を離すと、ドラッグが開始された位置から指を離した位置までに、ドラッグされた長さに相当する音符長かつ、鍵盤部２ｂ１上で選択された音高のノートが入力される。図示例では、ユーザは、グリッド列Ｒ３内の位置からグリッド列Ｒ６内の位置までドラッグ操作しているので、Ｃ４（ド），Ｅ４（ミ），Ｇ４（ソ）の音高かつ全音符長（＝最小単位×４；ただし、最小単位、つまり各グリッドの横辺の長さを４分音符長とした場合）のノートが入力される。
【００４４】
このように本実施の形態の電子音楽装置によれば、鍵盤部２ｂ１で音高の指定ができるとともに、ノート表示部２ｂ２で音符長の指定ができるので、ユーザはノートの入力を直感的に行うことができる。
【００４５】
図５は、前記（Ｃ）の回転処理を説明するための図であり、同図（ａ）は、五線譜表示画面２ａに含まれる表示部品を示し、同図（ｂ）は、同図（ａ）の各表示部品を独立して回転させたときの様子を示し、同図（ｃ）は、ピアノロール表示画面２ｂに含まれる表示部品を示し、同図（ｄ）は、同図（ｃ）の表示部品の一方を回転させたときの様子を示している。
【００４６】
五線譜表示画面２ａは、図５（ａ）に示すように、五線譜２ａ１およびルーラ２ａ３からなる表示部品Ｐａ１と、鍵盤２ａ２からなる表示部品Ｐａ２とを備えている。表示部品とは、一体で独立して回転可能な表示画像を意味し、各表示部品をそれぞれ構成する表示画像は、画面毎に（本実施の形態では、五線譜表示画面２ａとピアノロール表示画面２ｂとで）予め固定的に決まっている。なお、五線譜表示画面２ａには、前述のようにボタン２ａ４も含まれるが、本実施の形態では、ボタン２ａ４は回転しないので、表示部品には含まれない（この事情は、ピアノロール表示画面２ｂについても同様である）。もちろん、ボタン２ａ４も回転できるように構成してもよい。
【００４７】
ユーザは、五線譜表示画面２ａから楽譜入力を行うに際して、五線譜表示画面２ａの初期表示、つまり図５（ａ）に示す表示では、入力操作がし難い場合がある。この場合、表示部品Ｐａ１またはＰａ２のいずれか一方、あるいは両方を回転させれば、入力操作が格段にし易くなることがある。そこで、本実施の形態の電子音楽装置は、ユーザの回転指示に応じて、表示部品Ｐａ１およびＰａ２をそれぞれ独立して回転できるようにしている。図５（ｂ）は、ユーザによる回転指示の仕方と、その回転指示に応じて各表示部品Ｐａ１およびＰａ２を回転させた後の様子を示している。ユーザは、まず１本の指で、回転させたい表示部品の範囲内あるいはその近傍をタッチし、次にもう１本の指で、回転させる方向および角度をドラッグ操作によって指示すると、タッチした表示部品が、指示した方向および角度で回転する。図示例では、表示部品Ｐａ１を時計の針の回る方向に所定の角度だけ回転させ、表示部品Ｐａ２を時計の針の回る方向と逆の方向に所定の角度だけ回転させた様子が描かれている。なお図示例には、表示部品の選択と回転の指示とをそれぞれ別の手の指で行うように描かれているが、同じ手の別の指で行うようにしてもよいことは、言うまでもない。
【００４８】
五線譜表示画面２ａから楽譜入力を行うに際しての上記問題、つまり、初期画面表示のままでは入力操作がし難い場合があることは、ピアノロール表示画面２ｂから楽譜入力を行うに際しても同様に起こり得るので、ピアノロール表示画面２ｂも、図５（ｃ）に示すように、鍵盤部２ｂ１からなる表示部品Ｐｂ１と、ノート表示部２ｂ２からなる表示部品Ｐｂ２とを備えるようにし、各表示部品Ｐｂ１およびＰｂ２をそれぞれ独立して回転できるようにしている。
【００４９】
図５（ｄ）は、前記図５（ｂ）と同様に、ユーザによる回転指示の仕方と、その回転指示に応じて表示部品Ｐｂ１を回転させた後の様子を示している。ただし図５（ｄ）では、図５（ｂ）と異なり、２つの表示部品のうちの一方のみを回転させ、もう一方は初期表示のままにしているが、これは、表示部品Ｐｂ１、つまり鍵盤部２ｂ１は、初期表示の向きでは入力操作がし難いのに対して、表示部品Ｐｂ２、つまりノート表示部２ｂ２は、初期表示のままでも入力操作がし難いとまでは言えないからである。もちろん、表示部品Ｐｂ２も回転させるようにしてもよいし、逆に、表示部品Ｐｂ２を回転させ、表示部品Ｐｂ１を回転させないようにしてもよい。なお、回転対象となる表示部品の選択の仕方と、回転させる方向および角度の指示の仕方は、五線譜表示画面２ａ内の各表示部品についてのそれと同様であるので、その説明は省略する。
【００５０】
なお本実施の形態では、鍵盤２ａ２および鍵盤部２ｂ１は、表示されているもの全体が一体として回転するようにしたが、これに限らず、左鍵域と右鍵域とで別々に回転できるようにしてもよい。また、回転に加えて、各表示部品を独立して移動できるようにしてもよい。この場合、通常のドラッグ操作で移動させても良いし、スワイプ操作（鍵盤のスクロールなど）と明確に区別するため、２本指でドラッグするなど、操作方法を異ならせるようにしてもよい。また、複数の表示部品をまとめて回転または移動できるようにしてもよい。
【００５１】
回転や移動した状態は、前記ＲＡＭ８のユーザ領域に保存できるようにし、これを呼び出して使用可能に構成してもよい。この場合、座って使用する場合の設定や寝そべって使用する場合の設定、縦向き、横向きなど、複数の状態を保存できるようにしておき、ユーザの使用状況に応じて適切なものを呼び出して使用できるようにするとよい。
【００５２】
次に、この制御処理を詳細に説明する。
【００５３】
図６は、本実施の形態の電子音楽装置、特にＣＰＵ６が実行するメインルーチンの手順を示すフローチャートである。
【００５４】
本メインルーチンは、主として
（１）初期化処理（ステップＳ１）
（２）ユーザ操作を受け付け、その操作位置および操作種類を判定する受付・判定処理（ステップＳ２，Ｓ３）
（３）上記（２）の受付・判定処理によって判定された操作位置および操作種類に応じて処理を
（３１）入力音符指定処理（ステップＳ７）
（３２）入力位置指定処理（ステップＳ９）
（３３）操作に応じた処理＃１（ステップＳ１０）
（３４）操作に応じた処理＃２（ステップＳ１３）
（３５）終了処理（ステップＳ１２）
のうちのいずれかの処理に分岐させる分岐処理（ステップＳ４，Ｓ５，Ｓ６，Ｓ８，Ｓ１１）
によって構成されている。本メインルーチンは、前記設定操作子１に含まれる電源スイッチ（図示せず）によって電源がオンされたときに起動される。起動後、前記（１）の初期設定処理が１回実行され、これに続いて、上記（２）および（３）の各処理が順次実行され、この（３）の分岐処理によって分岐された分岐先の処理が終了すると、（２）の処理に戻って、（２）および（３）の各処理が、電源スイッチによって電源がオフされるまで、繰り返し実行される。ただし、分岐先の処理が前記（３５）の終了処理である場合には、その（３５）終了処理が終了すると、本メインルーチンは終了する。
【００５５】
前記（１）初期化処理では、ＣＰＵ６は、ＲＡＭ８をクリアしたり、各種パラメータの値をデフォルト値に設定したり、表示画面を選択・表示したりする。本実施の形態では、表示画面、つまり五線譜表示画面２ａまたはピアノロール表示画面２ｂのいずれかは、この（１）初期化処理で１回のみ選択でき、その後、本メインルーチンが終了するまで、変更することはできないようになっている。これは、説明の都合上そうしているに過ぎず、本メインルーチンの途中で、ユーザの指示に応じて任意に切り替えできるようにしてもよい。なお、（１）初期化処理での表示画面の選択は、ユーザにどちらの画面を表示させたいか問い合わせるようにし、ユーザがそれに回答した方を選択するようにすればよい。
【００５６】
前記（２）受付・判定処理では、ＣＰＵ６は、前記検出回路４からの出力を常時チェックすることにより、タッチパネル２に対するユーザ操作があったかどうかを監視し、ユーザ操作があったときにはそのユーザ操作を受け付け（ステップＳ２）、受け付けたユーザ操作に基づいて、操作位置および操作種類を判定する（ステップＳ３）。ここで、操作位置とは、タッチパネル２上の操作位置であり、操作種類とは、タッチ操作、ホールド操作、スワイプ操作、ドラッグ操作およびピンチ操作などである。
【００５７】
前記（３）分岐処理では、ＣＰＵ６は、判定された操作位置および操作種類に基づいて、次のようにして処理を分岐させる。すなわち、
（Ｃ１）操作位置がノート入力用画像上＆（かつ）操作位置が音高指定部内＆操作種類がタッチ操作またはドラッグ操作：前記（３１）入力音符指定処理に分岐（ステップＳ４→Ｓ５→Ｓ６→Ｓ７）；
（Ｃ２）操作位置がノート入力用画像上＆操作位置がタイミング指定部内＆操作種類がタッチ操作またはドラッグ操作：前記（３２）入力位置指定処理に分岐（ステップＳ４→Ｓ５→Ｓ８→Ｓ９）；
（Ｃ３）操作位置がノート入力用画像上＆操作位置が音高指定部内＆操作種類がタッチ操作およびドラッグ操作のいずれでもない：前記（３３）操作に応じた処理＃１に分岐（ステップＳ４→Ｓ５→Ｓ６→Ｓ１０）；
（Ｃ４）操作位置がノート入力用画像上＆操作位置がタイミング指定部内＆操作種類がタッチ操作およびドラッグ操作のいずれでもない：前記（３３）操作に応じた処理＃１に分岐（ステップＳ４→Ｓ５→Ｓ８→Ｓ１０）；
（Ｃ５）操作位置がノート入力用画像上以外＆操作種類が「終了指示」：前記（３５）終了処理に分岐（ステップＳ４→Ｓ１１→Ｓ１２）；
（Ｃ６）操作位置がノート入力用画像上以外＆操作種類が「終了指示」以外：前記（３４）操作に応じた処理＃２に分岐（ステップＳ４→Ｓ１１→Ｓ１３）。
【００５８】
上記ケース（Ｃ１）中、第１番目のケース、つまり「操作位置がノート入力用画像上」は、ユーザがノート（音符）入力に関わる画像上を操作しているケースを示している。ノート（音符）入力に関わる画像（ノート入力用画像）は、本実施の形態では、入力するノート（音符）の音高指定に関わる画像部である「音高指定部」と、入力するノート（音符）のタイミング指定に関わる画像部である「タイミング指定部」とによって構成されている。そして、五線譜表示画面２ａでは、鍵盤２ａ２が「音高指定部」に、五線譜２ａ１およびルーラ２ａ３が「タイミング指定部」に対応し、ピアノロール表示画面２ｂでは、鍵盤部２ｂ１が「音高指定部」に、ノート表示部２ｂ２が「タイミング指定部」に対応する。したがって、五線譜表示画面２ａが選択されている場合に、ユーザが五線譜２ａ１、鍵盤２ａ２およびルーラ２ａ３（これらに加えて、その近傍を含むようにしてもよい。以下、同様）上を操作している状態や、ピアノロール表示画面２ｂが選択されている場合に、ユーザが鍵盤部２ｂ１およびノート表示部２ｂ２（これらに加えて、その近傍を含むようにしてもよい。以下、同様）上を操作している状態が、上記第１番目のケースに該当する。一方、ユーザが、たとえば、前記ボタン２ａ４やメニュー２ａ５，２ａ６（図２参照）などの当該画像上以外を操作している状態は、上記第１番目のケースには該当しない。
【００５９】
上記ケース（Ｃ１）中、第２番目のケース、つまり「操作位置が音高指定部」は、上述のように、ユーザが「ノート入力用画像」の構成要素の一方である「音高指定部」（五線譜表示画面２ａでは、鍵盤２ａ２であり、ピアノロール表示画面２ｂでは、鍵盤部２ｂ１である）内を操作しているケースを示している。
【００６０】
したがって、上記ケース（Ｃ１）全体は、ユーザが、五線譜表示画面２ａが選択されている場合には鍵盤２ａ２上を、ピアノロール表示画面２ｂが選択されている場合には鍵盤部２ｂ１上をタッチ操作またはドラッグ操作したケースを示している。
【００６１】
また、前記ケース（Ｃ２）中、第１番目のケースは、前記ケース（Ｃ１）の第１番目のケースと同様であるので、その説明は省略するが、前記ケース（Ｃ２）中、第２番目のケース、つまり「操作位置がタイミング指定部内」は、前述のように、ユーザが「ノート入力用画像」の構成要素のもう一方である「タイミング指定部」（五線譜表示画面２ａでは、五線譜２ａ１およびルーラ２ａ３であり、ピアノロール表示画面２ｂでは、ノート表示部２ｂ２である）内を操作しているケースを示している。
【００６２】
したがって、前記ケース（Ｃ２）全体は、ユーザが、五線譜表示画面２ａが選択されている場合には五線譜２ａ１またはルーラ２ａ３上を、ピアノロール表示画面２ｂが選択されている場合にはノート表示部２ｂ２上をタッチ操作またはドラッグ操作したケースを示している。
【００６３】
前記ケース（Ｃ３）全体は、前記ケース（Ｃ１）全体に対して、ユーザの操作種類のみが異なっている。つまり、ユーザが、タッチ操作およびドラッグ操作以外の操作、たとえばスワイプ操作やピンチ操作などを行ったケースを示している。
【００６４】
同様に、前記ケース（Ｃ４）全体は、前記ケース（Ｃ２）全体に対して、ユーザの操作種類のみが異なっている。つまり、ユーザが、タッチ操作およびドラッグ操作以外の操作、たとえばスワイプ操作やピンチ操作などを行ったケースを示している。
【００６５】
前記ケース（Ｃ５）中、第１番目のケース、つまり「操作位置がノート入力用画像上以外」は、前述のように、ユーザが「ノート入力用画像」外を操作しているケースを示している。その第２番目のケース、つまり「操作種類が『終了指示』」は、ユーザが「終了指示」に該当する特別な態様の操作（たとえば、ボタン２ａ４内の１つに「終了」が割り当てられており、そのボタンに対するタッチ操作が考えられる。もちろん、これに限られる訳ではない）をしたケースを示している。
【００６６】
前記ケース（Ｃ６）全体は、上記ケース（Ｃ５）全体に対して、ユーザの操作種類のみが異なっている。つまり、ユーザが、「終了指示」に該当する操作以外の操作、たとえば前記（Ｏ１）〜（Ｏ８）の各操作を行ったケースを示している。
【００６７】
図７は、前記（３１）の入力音符指定処理のうち、五線譜表示画面２ａが選択されている場合に実行される入力音符指定処理＃１の詳細な手順を示すフローチャートである。
【００６８】
本入力音符指定処理＃１は、主として
（４１）入力する音符の音高を決定する音高決定処理（ステップＳ２１〜Ｓ２５）
（４２）上記（４１）音高決定処理によって決定された音高の音符を最小単位の音符長で入力する第１の音符入力処理（ステップＳ２８，Ｓ２９）
（４３）上記（４１）音高決定処理によって決定された音高の音符を最小単位より長い音符長で入力する第２の音符入力処理（ステップＳ３４，Ｓ３５）
（４４）上記（４２）または（４３）の音符入力処理後の後処理（ステップＳ３０〜Ｓ３３）
によって構成されている。
【００６９】
上記（４１）の音高決定処理では、まずＣＰＵ６は、タッチ位置の座標をノートナンバに変換する（ステップＳ２１）。具体的には、ＣＰＵ６は、タッチ位置の座標からユーザが鍵盤２ａ２のどの鍵をタッチしているか判定し、判定した鍵に割り当てられているノートナンバを取得することで、タッチ位置の座標からノートナンバに変換する。ここで、どの鍵がタッチされているかの判定は、たとえば、タッチ位置のｘｙ座標が鍵盤２ａ２上、各白鍵および各黒鍵がそれぞれ占める領域のうちのどの領域に含まれるかを判定することによって行えばよい。なお、タッチ位置は、実際には面積のある領域であるが、説明を単純化するために面積のない点とみなしている（以下、同様）。
【００７０】
次にＣＰＵ６は、変換されたノートナンバを、音符を入力するために前記ＲＡＭ８の所定位置に確保された入力用バッファ（図示せず）にストアする（ステップＳ２２）。さらにＣＰＵ６は、変換されたノートナンバに対応する、つまりタッチされている鍵盤２ａ２の鍵の表示態様を「選択状態」の態様に変更する（ステップＳ２３）。「選択状態」の態様とは、元の表示色と異なった「選択状態」の表示色にすることである（前記図３（ｂ）を参照）。
【００７１】
上記ステップＳ２１〜Ｓ２３の処理は、ユーザが１本の指で１つの鍵をタッチ操作する場合の処理に相当し、図７のフローチャートでは、複数の指で複数の鍵を同時にタッチ操作する場合の処理は記載されていないが、複数鍵の同時操作がなされた場合には、ステップＳ２１〜Ｓ２３の処理を同時操作された鍵の数分繰り返し実行することで、前記図３（ｂ）のように、複数鍵の同時操作にも対応している。
【００７２】
また、ユーザがタッチ操作する鍵を間違えた場合には、そのタッチ状態を保持したまま、正しい鍵に移動させることで、ユーザの意図通りの音高を決定できるようにしている。ステップＳ２４およびＳ２５の処理は、これを実現するためのものである。つまり、ステップＳ２４では、タッチ位置の移動があったかどうかを判定し、タッチ位置の移動があったときには、処理をステップＳ２１に戻して、移動後のタッチ位置からノートナンバを再取得し、それに応じて対応する鍵の表示態様も変更するようにしている（ステップＳ２３）。そして、ユーザが鍵盤２ａ２から指を離す（リリースする）まで、ステップＳ２４の判定処理を繰り返し実行する（ステップＳ２５→Ｓ２４）。ここまでが、（４１）音高決定処理である。
【００７３】
この（４１）音高決定処理が終了すると、ＣＰＵ６は、前記（４２）第１の音符入力処理と前記（４３）第２の音符入力処理のいずれに処理を進めるかを判定する。制御処理の概要で前述したように、ユーザが五線譜２ａ１にタッチして音符長を指定するのは、最小単位より長い音符長の音符を入力する場合であり、最小単位の音符長の音符を入力するには、ユーザは五線譜２ａ１に触れずに鍵盤２ａ２へのタッチおよびリリースを行うだけである。そして、ユーザが五線譜２ａ１にタッチして音符長を指定すると、タッチ位置に対応するグリッド（を特定する値）が入力終了位置としてセットされる（後述する図８のステップＳ４３を参照）ので、入力終了位置に有効な値（＝グリッドを特定する値）がセットされていれば、ユーザが五線譜２ａ１にタッチして音符長を指定したことを示している。したがって、ステップＳ２６では、入力終了位置がセットされているかどうかを判定している。この判定の結果、入力終了位置がセットされていない場合には、ＣＰＵ６は、ユーザが最小単位の音符長の音符を入力しているとして、処理を前記（４２）第１の音符入力処理に進める（ステップＳ２６→Ｓ２８）。一方、入力終了位置がセットされている場合には、ＣＰＵ６は、ユーザが最小単位より長い音符長の音符を入力しているとして、処理を前記（４３）第２の音符入力処理に進めるが、その前に、入力開始位置（カーソルＣが位置するグリッド）と入力終了位置とが同じ値であるかどうかを判定している（ステップＳ２７）。この判定の結果、入力開始位置＝入力終了位置であれば、ＣＰＵ６は、ユーザが五線譜２ａ１をタッチしたとしても、依然として最小単位の音符長の音符を入力しているとして、処理を前記（４２）第１の音符入力処理に進める一方、入力開始位置≠入力終了位置であれば、ＣＰＵ６は、処理を前記（４３）第２の音符入力処理に進める。
【００７４】
（４２）第１の音符入力処理では、ＣＰＵ６は、五線譜２ａ１上の入力位置（横（時間）軸方向の位置であり、具体的には、カーソルＣの位置に対応する五線譜２ａ１上の位置である。この事情は、後述するステップＳ３４の処理についても同様）に、入力用バッファにストアされているノートナンバに対応する音符をルーラ２ａ３の１目盛り分の音符長で入力した（ステップＳ２８）後、次のグリッドを入力開始位置にセットする（ステップＳ２９）。
【００７５】
（４３）第２の音符入力処理では、ＣＰＵ６は、五線譜２ａ１上の入力位置に、入力用バッファにストアされているノートナンバに対応する音符を入力開始位置から入力終了位置までの長さの音符長で入力した（ステップＳ３４）後、入力終了位置の次のグリッドを入力開始位置にセットする（ステップＳ３５）。
【００７６】
前記（４４）の後処理では、ＣＰＵ６は、ルーラ２ａ３のカーソルＣの位置を入力開始位置で更新し（ステップＳ３０）、入力終了位置をクリアし（ステップＳ３１）、入力用バッファをクリアし（ステップＳ３２）、変更した鍵盤２ａ２の鍵の表示態様を「非選択状態」の態様に戻す（ステップＳ３３）。
【００７７】
図８は、前記（３２）の入力位置指定処理のうち、五線譜表示画面２ａが選択されている場合に実行される入力位置指定処理＃１の詳細な手順を示すフローチャートである。
【００７８】
本入力位置指定処理＃１は、主として
（５１）ユーザが鍵盤２ａ２をタッチ操作している状態で実行される第１の入力位置指定処理（ステップＳ４２〜Ｓ４６）
（５２）ユーザが鍵盤２ａ２をタッチ操作していない状態で実行される第２の入力位置指定処理（ステップＳ４７〜Ｓ５２）
によって構成されている。
【００７９】
ＣＰＵ６は、ユーザが鍵盤２ａ２をタッチ操作している状態であるかどうかを、入力用バッファにノートナンバがストアされているかどうかによって判定している（ステップＳ４１）。この判定の結果、入力用バッファにノートナンバがストアされている場合、つまり、ユーザが鍵盤２ａ２をタッチ操作している状態である場合には、ＣＰＵ６は処理を上記（５１）第１の入力位置指定処理に進める（ステップＳ４１→Ｓ４２）一方、入力用バッファにノートナンバがストアされていない場合、つまり、ユーザが鍵盤２ａ２をタッチ操作していない状態である場合には、ＣＰＵ６は処理を上記（５２）第２の入力位置指定処理に進める（ステップＳ４１→Ｓ４７）。
【００８０】
（５１）第１の入力位置指定処理では、まずＣＰＵ６は、タッチ位置の座標から、ルーラ２ａ３の複数のグリッドのうち、当該タッチ位置に最も近い（最寄りの）グリッドを判定する（ステップＳ４２）。ここで、最寄りのグリッドの判定は、たとえば、タッチ位置のｘ座標が、ルーラ２ａ３上の各グリッドがそれぞれ占める領域（横軸（ｘ軸）方向の領域）のうちのどの領域に含まれるかを判定することによって行えばよいが、隣接するグリッドの境界近傍がタッチされた場合には、そのタッチ位置が前のグリッドに含まれていたとしても、ユーザは後のグリッドを選択したとして、後のグリッドを最寄りのグリッドとするなどの例外処理を行う必要がある。
【００８１】
次にＣＰＵ６は、判定されたグリッド（を特定する情報、たとえばグリッド番号）を入力終了位置としてセットし（ステップＳ４３）、入力開始位置から入力終了位置までのルーラ２ａ３の表示態様を変更する（ステップＳ４４）。これにより、前記図３（ｃ）のように、ルーラ２ａ３上に短冊状表示２ａ７が現れる。
【００８２】
さらにＣＰＵ６は、タッチ位置の移動があるかどうかを判定し（ステップＳ４５）、タッチ位置の移動があれば、前記図７のステップＳ２４と同様に、処理を上記ステップＳ４２に戻して、移動後のタッチ位置の座標から最寄りのグリッドを再判定し、それに応じて上記短冊状表示２ａ７の横辺の長さを変更する（ステップＳ４４）。そして、ユーザがタイミング指定部（五線譜２ａ１＋ルーラ２ａ３）から指を離す（リリースする）まで、ステップＳ４５の判定処理を繰り返すようにしている（ステップＳ４５→Ｓ４６）。
【００８３】
（５２）第２の入力位置指定処理では、まずＣＰＵ６は、タッチ位置の座標から最寄りのグリッドとノートナンバを判定する（ステップＳ４７）。最寄りのグリッドの判定は、前記ステップＳ４２で説明した判定方法と同様の方法を用いればよいので、その説明を省略する。ノートナンバの判定は、たとえば、タッチ位置のｙ座標と五線譜２ａ１内の各音高のｙ座標とを比較し、その差分が最も小さいｙ座標を持つ音高に対応するノートナンバを目的のノートナンバと判定するようにすればよい。次にＣＰＵ６は、判定されたグリッド（を特定する情報、たとえばグリッド番号）を前記入力開始位置としてセットし（ステップＳ４８）、判定されたグリッド（の先頭）にカーソルＣを表示し（ステップＳ４９）、判定されたノートナンバに対応する鍵が鍵盤の中央付近に来るように鍵盤２ａ２の表示を制御する（ステップＳ５０）。さらにＣＰＵ６は、前記ステップＳ４５およびＳ４６の処理と同様の処理を行う（ステップＳ５１およびＳ５２）。
【００８４】
なお、前記ステップＳ４５およびＳ５１の各判定処理では、タッチ位置の移動を、その移動量の大小に拘わらず検出し、その検出に従って処理を繰り返すようにしているが、現在判定されているグリッドを変える量のタッチ位置の移動（ドラッグ操作）があった場合にのみ、“ＹＥＳ”と判定して処理を繰り返すようにしてもよい。ユーザは指を動かしていないつもりでも、実際にはわずかに揺れているので、そのわずかな揺れをタッチ位置の移動と検出すれば、その検出の度に処理が繰り返されることになって、この無駄な処理により制御処理全体の動作が重くなってしまうからである。
【００８５】
また本実施の形態では、タッチ位置の移動はタイミング指定部（五線譜２ａ１＋ルーラ２ａ３）内に限られ、タイミング指定部外へ出ることを想定していないが、タイミング指定部外へ出た場合には、ユーザがタッチ位置の移動（ドラッグ操作）のためにタッチしている指をタイミング指定部から離した（リリースした）とみなして、前記ステップＳ４６およびＳ５２の各判定処理により、本入力位置指定処理＃１を終了してもよいし、タッチ操作自体（ドラッグ操作だけではなく、その前のタッチ操作も含むという意味）のキャンセルとみなして、それまでに実行された入力開始位置（および入力終了位置）の設定をすべてクリアした後、本入力位置指定処理＃１を終了してもよい。その際に、タッチ位置がタイミング指定部外に出た旨のメッセージを表示させたり、警告音を発生させたりしてもよい。
【００８６】
図９は、前記（３１）の入力音符指定処理のうち、ピアノロール表示画面２ｂが選択されている場合に実行される入力音符指定処理＃２の詳細な手順を示すフローチャートである。図９中、図７と同様の処理を行うステップには同一のステップ番号を付している。
【００８７】
本入力音符指定処理＃２が起動される場合は、前記図４で前述したように、ユーザが鍵盤部２ｂ１に対してタッチ操作またはドラッグ操作を行った場合である。つまり、図９のステップＳ２１〜Ｓ２５，Ｓ３２およびＳ３３′の処理と、図７のステップＳ２１〜Ｓ２５，Ｓ３２およびＳ３３の処理とは、処理の文言はほとんど変わらないが、前者の処理が、鍵盤部２ｂ１についてのユーザ操作に関するものであるのに対して、後者の処理は、鍵盤２ａ２についてのユーザ操作に関するものである点が異なっている。しかし、前者の処理は、後者の処理を類推適用すれば容易に理解できるので、その説明を省略する。
【００８８】
ステップＳ３３′の処理が終了すると、ＣＰＵ６は、図１０を用いて後述する入力位置指定処理＃２が実行中であるかどうかを判定する（ステップＳ１０１）。この判定の結果、入力位置指定処理＃２が実行中であれば、ＣＰＵ６は、入力位置指定処理＃２においてセットされた入力開始位置および入力終了位置をそれぞれクリアし（ステップＳ１０２）、後述する図１０のステップＳ１１５で変更されたノート表示部２ｂ２の表示態様を元に戻した（ステップＳ１０３）後、本入力音符指定処理＃２を終了する一方、入力位置指定処理＃２が実行中でなければ、ＣＰＵ６は、直ちに本入力音符指定処理＃２を終了する（ステップＳ１０１→リターン）。
【００８９】
図１０は、前記（３２）の入力位置指定処理のうち、ピアノロール表示画面２ｂが選択されている場合に実行される入力位置指定処理＃２の詳細な手順を示すフローチャートである。図１０中、図８と同様の処理を行うステップには同一のステップ番号を付している。
【００９０】
本入力位置指定処理＃２は、主として
（６１）前記入力音符指定処理＃２によって指定された音高のノート（音符）を、ノート表示部２ｂ２上、ユーザが指定した位置に最小単位の音符長で入力する第１のノート入力処理（ステップＳ１１９）
（６２）前記入力音符指定処理＃２によって指定された音高のノート（音符）を、ノート表示部２ｂ２上、ユーザが指定した位置に最小単位より長い音符長で入力する第２のノート入力処理（ステップＳ１２２）
によって構成されている。
【００９１】
そして、上記（６１）の第１のノート入力処理は、ユーザによる次の操作のいずれかを経て実行される。すなわち、
（６１ａ）鍵盤部２ｂ１をタッチしている状態で、ノート表示部２ｂ２をタッチした後、そのタッチ状態を解除（リリース）した場合（ステップＳ４１→Ｓ４２′→Ｓ１１０→Ｓ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７→Ｓ１１９）
（６１ｂ）鍵盤部２ｂ１をタッチしている状態で、ノート表示部２ｂ２をタッチし、そのタッチ状態を保持しながらドラッグ操作をした後、そのドラッグ状態を解除（リリース）した場合（ただし、ドラッグ操作によっても次のグリッドが選択されなかった場合）（ステップＳ４１→Ｓ４２′→Ｓ１１０→Ｓ１１１→Ｓ１１２→Ｓ１１３→Ｓ１１４→Ｓ１１５→Ｓ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７→Ｓ１１８→Ｓ１１９）
（６１ｃ）鍵盤部２ｂ１をタッチしていない状態で、ノート表示部２ｂ２をタッチし、そのタッチ状態を保持しながら続いて鍵盤部２ｂ１をタッチした後、ノート表示部２ｂ２のタッチ状態を解除（リリース）した場合（ステップＳ４１→Ｓ１２３→上記（６１ａ）のＳ４２′へ）
である。
【００９２】
また、上記（６２）の第２のノート入力処理は、ユーザによる次の操作のいずれかを経て実行される。すなわち、
（６２ａ）鍵盤部２ｂ１をタッチしている状態で、ノート表示部２ｂ２をタッチし、そのタッチ状態を保持しながらドラッグ操作をした後、そのドラッグ状態を解除（リリース）した場合（ステップＳ４１→Ｓ４２′→Ｓ１１０→Ｓ１１１→Ｓ１１２→Ｓ１１３→Ｓ１１４→Ｓ１１５→Ｓ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７→Ｓ１１８→Ｓ１２２）
（６２ｂ）ユーザが鍵盤部２ｂ１をタッチしていない状態で、ノート表示部２ｂ２をタッチし、そのタッチ状態を保持しながら続いて鍵盤部２ｂ１をタッチした後、ノート表示部２ｂ２上でドラッグ操作をしてからそのドラッグ状態を解除（リリース）した場合（ステップＳ４１→Ｓ１２３→上記（６２ａ）のＳ４２′へ）
である。
【００９３】
ユーザが前記（６１ａ）の一連の操作をした場合、鍵盤部２ｂ１がタッチ状態であることにより、入力用バッファにはノートナンバがストアされている（前記図９のステップＳ２２を参照）ので、まずＣＰＵ６は、タッチ位置の座標から、ノート表示部２ｂ２の複数のグリッド列のうち、当該タッチ位置に最も近い（最寄りの）グリッド列を判定する（ステップＳ４１→Ｓ４２′）。グリッド列は、前記図８のフローチャート中に記載の「グリッド」に相当し、最寄りのグリッド列の判定方法は、最寄りの「グリッド」の判定方法を適用すればよいので、その説明を省略する。
【００９４】
次にＣＰＵ６は、判定されたグリッド列（を特定する情報、たとえばグリッド列番号）を入力開始位置としてセットする（ステップＳ１１０）。そして、この（６１ａ）の一連の操作では、入力用バッファ内には有効なノートナンバがストアされており、ドラッグ操作がされずにノート表示部２ｂ２へのタッチ操作が解除されたために入力終了位置はセットされていないので、ＣＰＵ６は、処理をステップＳ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７→Ｓ１１９と進めることで、前記（６１）第１のノート入力処理、つまり入力用バッファにストアされている、少なくとも１つのノートナンバに対応するノートを、入力開始位置から１グリッド分の音符長で入力する処理を実行する。これにより、前記図４（ｂ）に示すように、判定されたグリッド列に属する複数のグリッドのうち、選択された音高に対応する、少なくとも１つ（図示例では、３つ）のグリッドにノートが最小単位の音符長で入力される。
【００９５】
なお、上記ステップＳ１１１では、入力用バッファがクリアされたかどうかを判定しているが、これは、ユーザがノート表示部２ｂ２をタッチ中（ドラッグ中も含む）に、鍵盤部２ｂ１へのタッチ状態を解除したかどうかを判定するものである（前記図９のステップＳ２５→Ｓ３２）。本実施の形態では、ノート表示部２ｂ２へのノートの入力は、ユーザが鍵盤部２ｂ１に対するタッチ状態を保持しながら、ノート表示部２ｂ２へのタッチおよびリリースを行ったときになされるからである。ステップＳ１１１の判定で、入力用バッファがクリアされたときには、ＣＰＵ６は、処理を後述するステップＳ１２３に進め、入力用バッファにノートナンバがストアされるまで、つまり、ユーザが鍵盤部２ｂ１に対して再度タッチ操作を行うまで、待機する。
【００９６】
また、上記ステップＳ１１６では、ノート表示部２ｂ２へのタッチ状態が解除（リリース）されたかどうかを判定しているが、これは、ユーザがノート表示部２ｂ２へのノートの入力を指示したかどうかを判定するものである。ステップＳ１１６の判定で、タッチ状態が解除されなければ、現在の操作状態は、タッチ状態が継続中、あるいはドラッグ中であるので、ＣＰＵ６は、処理を前記ステップＳ１１１に戻している。
【００９７】
ユーザが前記（６２ａ）の一連の操作をした場合、ＣＰＵ６は、処理をステップＳ４１→Ｓ４２′→Ｓ１１０→Ｓ１１１→Ｓ１１２と進める。このステップＳ４１，Ｓ４２′，Ｓ１１０およびＳ１１１の処理は既に説明したので、ここでは繰り返さない。この（６２ａ）の一連の操作で、ユーザはドラッグ操作を行っているので、ＣＰＵ６は、前記ステップＳ４２′と同様にして、移動（ドラッグ操作）後のタッチ位置の座標から最寄りのグリッド列を判定し（ステップＳ１１２→Ｓ１１３）、判定されたグリッド列（を特定する情報、たとえばグリッド列番号）を入力終了位置としてセットした（ステップＳ１１４）後、ノート表示部２ｂ２上、入力開始位置から入力終了位置までの表示領域の表示態様を変更する（ステップＳ１１５）。これにより、前記図４（ｄ）のように、入力開始位置から入力終了位置までの表示領域（図示例では、グリッド列Ｒ３〜Ｒ６の領域）の色が変わる。ドラッグ操作が終了して、ユーザがそのタッチ状態を解除すると、ＣＰＵ６は、処理をステップＳ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７と進める。このステップＳ１１１，Ｓ１１２およびＳ１１６の処理は既に説明したので、ここでは繰り返さない。前記ステップＳ１１４の処理により、入力終了位置には有効なグリッド列がセットされ、しかもこの（６２ａ）の一連の操作では、入力終了位置と入力開始位置とは異なっているので、ＣＰＵ６は、処理をステップＳ１１７→Ｓ１１８→Ｓ１２２と進めることで、前記（６２）第２のノート入力処理、つまり入力用バッファにストアされている、少なくとも１つのノートナンバに対応するノートを、入力開始位置から入力終了位置までの音符長で入力する処理を実行する。これにより、前記図４（ｄ）のように、入力開始位置から入力終了位置までの複数（図示例では、４列）のグリッド列に属する複数のグリッド行のうち、選択された音高に対応する、少なくとも１行（図示例では、３行）のグリッドにノートが最小単位×列数の音符長で入力される。
【００９８】
ユーザが前記（６１ｂ）の一連の操作をした場合、ＣＰＵ６は、処理をステップＳ４１→Ｓ４２′→Ｓ１１０→Ｓ１１１→Ｓ１１２→Ｓ１１３→Ｓ１１４→Ｓ１１５→Ｓ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７→Ｓ１１８と進める。このステップＳ４１→（中略）→Ｓ１１７の処理は既に説明したので、ここでは繰り返さない。この（６１ｂ）の一連の操作では、入力開始位置と入力終了位置とが同じであるので、ＣＰＵ６は、処理をステップＳ１１８→Ｓ１１９と進めて、前記（６１）第１のノート入力処理を実行する。この（６１）第１のノート入力処理も既に詳述したので、これ以上繰り返さない。
【００９９】
ユーザが前記（６１ｃ）の一連の操作をした場合、鍵盤部２ｂ１が非タッチ状態であることにより、入力用バッファにはノートナンバがストアされていないので、ＣＰＵ６は、入力用バッファにノートナンバがストアされるまで、つまり、ユーザが鍵盤部２ｂ１に対してタッチ操作を行うまで、ノート表示部２ｂ２へのタッチ状態が解除されたかどうかを監視しながら、待機する（ステップＳ４１→Ｓ１２３→Ｓ１２４→Ｓ１２３）。ここで、鍵盤部２ｂ１が非タッチ状態である間に、ノート表示部２ｂ２へのタッチ状態が解除されると、ＣＰＵ６は、本入力位置指定処理＃２を直ちに終了する（ステップＳ１２４→リターン）。この（６１ｃ）の一連の操作では、ノート表示部２ｂ２へのタッチ状態が解除される前に、ユーザは鍵盤部２ｂ１に対してタッチ操作を行っているので、ＣＰＵ６は、処理をステップＳ１２３→Ｓ４２′と進める。ステップＳ４２′以降の処理は、前記（６１ａ）の一連の操作をした場合の処理と同様であるので、その説明を省略する。
【０１００】
ユーザが前記（６２ｂ）の一連の操作をした場合の処理は、前記（６１ｃ）の一連の操作をした場合の処理の一部（ステップＳ１２３およびＳ１２４の処理）に、前記（６２ａ）の一連の操作をした場合の処理の一部（ステップＳ４２′以降の処理）を組み合わせたものであり、両処理については詳述したので、これ以上繰り返さない。
【０１０１】
なお、前記（６１）第１および（６２）第２のノート入力処理が終了すると、ＣＰＵ６は、入力開始位置および入力終了位置をクリアする（ステップＳ１２０）とともに、前記ステップＳ１１５の処理によって変更された、ノート表示部２ｂ２上の表示領域の表示態様を元に戻している（ステップＳ１２１）。
【０１０２】
図１１は、前記（３３）の操作に応じた処理＃１の詳細な手順を示すフローチャートである。
【０１０３】
本操作に応じた処理＃１が起動されると、まずＣＰＵ６は、ユーザが行った操作の種類を判定する（ステップＳ６１）。本操作に応じた処理＃１が起動される場合は、ノート入力用画像上におけるユーザ操作が検出された場合であり、そのユーザ操作には、本実施の形態では前述のように、長押し操作、スワイプ操作、ピンチ操作、回転操作（回転指示を行う操作）、タッチ操作およびドラッグ操作の６種類が少なくとも含まれている。このうち、タッチ操作およびドラッグ操作は、前記図６のステップＳ６およびＳ８で除外されているので、上記ステップＳ６１では、ユーザ操作として、長押し操作、スワイプ操作、ピンチ操作または回転操作のいずれかが判定される。そして、スワイプ操作は「スクロール」指示に、ピンチ操作は「拡大縮小」指示に、回転操作は「回転」指示に、それぞれ対応し、長押し操作はこれら以外の指示に対応する。したがって、ユーザ操作が、スワイプ操作、ピンチ操作または回転操作のいずれかと判定されたときには、ＣＰＵ６は、処理をステップＳ６２→Ｓ６３と進める一方、ユーザ操作が長押し操作と判定されたときには、ＣＰＵ６は、処理をステップＳ６２→Ｓ６６と進める。
【０１０４】
ステップＳ６３では、ＣＰＵ６は、ユーザ操作に基づいて操作量を検出する。操作量は、操作の種類に応じて異なり、スワイプ操作では、スクロールの「移動量」を検出し、ピンチ操作では、拡大縮小の「拡大（縮小）率」を検出し、回転操作では、回転の「回転角」を検出する。なお、スワイプ操作では、スクロールの移動量だけでなく、移動速度も検出するようにしてもよい。また、本実施の形態では前述のように、各表示部品を回転させる場合、回転中心は表示部品毎に固定点としたので、ユーザによる回転操作は、回転角を決定するために利用される。もちろん、これに限らず、回転中心もユーザが自由に設定できるようにしてもよい。
【０１０５】
次にＣＰＵ６は、検出された操作量に応じて、対象となる表示部品の表示状態を変更する（ステップＳ６４）。具体的には、「スクロール」が指示された場合には、当該表示部品を検出された移動量だけスクロールさせ、「拡大縮小」が指示された場合には、当該表示部品を検出された拡大（縮小）率だけ拡大縮小させ、「回転」が指示された場合には、当該表示部品を検出された回転角だけ回転させる。
【０１０６】
さらにＣＰＵ６は、検出された操作量に応じて、対象となる表示部品の座標設定を変更する（ステップＳ６５）。本実施の形態では、各表示部品にはそれぞれ独立した座標が設定されており、上記ステップＳ６５の処理では、対象となる表示部品に設定された座標を検出された操作量に応じて変更している。たとえば「回転」が指示された場合、上記ステップＳ６４の処理によって当該表示部品を回転させるとともに、その回転量に合わせて当該表示部品の座標も回転させておく。これにより、ユーザが表示部品上の同じ位置をタッチすれば、回転前か回転後かに拘わらず、得られる座標値は同じになるので、表示部品の表示状態が変動したとしても、ユーザは違和感なく操作できる。
【０１０７】
一方、ステップＳ６６では、ＣＰＵ６は、当該操作に応じた処理を実行する。本実施の形態では、当該操作とは、上述のように「長押し操作」のみであるが、この長押し操作がなされると、ＣＰＵ６は、前記図２（ｂ）で説明したように、その操作位置に応じてメニュー２ａ５または２ａ６をポップアップ表示する。
【０１０８】
なお本実施の形態では、入力音符（ノート）の音高を指定するための楽器種として、鍵盤楽器を例に挙げて本発明を説明したが、これに限らず、ギターやドラムセットなどの他の楽器に対しても本発明を適用することができる。ギターを採用した場合には、五線譜表示画面２ａの五線譜２ａ１はタブ譜とし、鍵盤２ａ２はフレット画像とすればよい。ピアノロール表示画面２ｂの鍵盤部２ｂ１もフレット画像とすればよいが、ノート表示部２ｂ２はそのまま変更する必要はない。また、ドラムセットを採用した場合には、五線譜表示画面２ａの五線譜２ａ１はドラム譜とし、鍵盤２ａ２はドラムセットを構成する各種ドラム画像とすればよい。ピアノロール表示画面２ｂの鍵盤部２ｂ１も各種ドラム画像とするか、あるいはドラムセットを構成するドラム種の名称を並べたものとすればよいが、ノート表示部２ｂ２はそのまま変更する必要はない。
【０１０９】
また本実施の形態では、五線譜２ａ１上におけるタッチ位置に応じて鍵盤２ａ２がスクロールするようにしたが、これに限らず、たとえば、初期状態では楽器の全体像を表示させておき、五線譜上におけるタッチ位置に応じた音高付近の鍵域が拡大表示されるようにしてもよい。要するに、楽譜上で音高を指定したときに、対応する鍵盤（またはギターの弦やフレット）がすぐに操作できるように、鍵盤の表示を変化させるものであればよい。
【０１１０】
さらに本実施の形態では、五線譜表示画面２ａでもピアノロール表示画面２ｂでも、グリッドを表示するようにしたが、これに限らず、グリッドを表示しないモードを備えるようにし、このモードが選択された場合、グリッドを表示しないようにしてもよい。これにより、ユーザは最小入力単位に拘らず、音符（ノート）を入力することができる。この場合、装置内部では、たとえば６４分音符長のような細かいグリッドを持つようにし、そのグリッドを画面上に表示しないだけである。グリッドの単位は、本実施の形態では音符長としたが、これに限らず、ＭＩＤＩのクロックや、μｓｅｃのような時間などを採用してもよい。
【０１１１】
また本実施の形態では、前記図４（ｂ），（ｃ）および図９のステップＳ２５，Ｓ３２，Ｓ３３′のように、ユーザは指を鍵盤部２ｂ１にタッチさせながら（タッチ状態を維持したまま）、別の指をノート表示部２ｂ２にタッチしてリリースしたときに、ノートが入力されるようにしたが、これに限らず、ユーザが鍵盤部２ｂ１へのタッチをリリースした後も、別の鍵にタッチしたり、別途設けられた選択解除スイッチを操作したりするまで、鍵盤部２ｂ１へのタッチによる音高の選択状態が維持されるようにし、この音高の選択状態で、ユーザがノート表示部２ｂ２へタッチしてリリースしたときも、ノートが入力されるようにしてもよい。
【０１１２】
さらに本実施の形態では、前記図４（ｄ）のように、ドラッグ操作によって音符長を指定する際には、常に入力終了位置が入力開始位置より右側（時間が経過する方向）に来るように操作し、逆方向に操作することを想定していないが、逆方向に操作した場合には、入力開始位置と入力終了位置とを比較し、時間的に早い方を入力開始位置とみなし、もう一方を入力終了位置とみなすことで、ドラッグ範囲の音符長が指定されるようにした方が好ましい。
【０１１３】
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【０１１４】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１５】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【０１１６】
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１１７】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【符号の説明】
【０１１８】
２…タッチパネルディスプレイ，５…表示回路（表示手段），６…ＣＰＵ（表示手段、第１の判定手段、制御手段、第２の判定手段、入力手段、進行手段、設定手段）
【技術分野】
【０００１】
本発明は、多点認識機能を備えたタッチパネルディスプレイを備え、該タッチパネルディスプレイを用いて楽譜入力を行うことができる電子音楽装置およびその制御方法を実現するためのプログラムに関する。
【背景技術】
【０００２】
楽曲制作用のＤＡＷ（digital audio workstation）や楽譜作成用のソフトウェアをＰＣ（パーソナルコンピュータ）にインストールし、ＰＣ上での楽曲制作あるいは楽譜作成は、一般的に行なわれている（たとえば、特許文献１参照）。
【０００３】
このようなＰＣ上での楽曲制作や楽譜作成においては、(i )外出先で手軽に音符などを打ち込むことができない、(ii)マウスやキーボードを使って１つずつ音符を入力するのは煩雑、(iii )ＭＩＤＩ（musical instrument digital interface）キーボードをＰＣに接続してＭＩＤＩデータを入力するのは、機材が大掛かりになる上、マウスとＭＩＤＩキーボードの使い分けが面倒、などの問題があった。
【０００４】
これらの問題に対処するため、タッチパネルディスプレイを備えた携帯端末を使用して楽曲制作あるいは楽譜作成を行なう技術もある。携帯端末であれば、(i )持ち運びでき、(ii)タッチパネルで直感的に操作でき、(iii )入力用の装置（マウスやキーボードなど）も不要であるので、ＰＣ上での楽曲制作や楽譜作成における上記問題は解消される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−７５４７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記従来の技術では、ＰＣ上で行なっていた操作などをそのままタッチパネル上での操作などに置き換えただけであるので、操作の煩雑さは完全には解消されない。たとえば、多数のボタン（８分音符や４分音符などが割り当てられたボタン）が配置されている音符長設定パレットからいずれか１つのボタンを選んだり、譜面上で音符を入力したい位置を正確に指定したりなど、従来マウスを用いて行なっていた細かい作業をタッチ操作で行うのは大変である。
【０００７】
本発明は、この点に着目してなされたものであり、大まかなタッチ操作で簡単に楽譜入力を行うことが可能となる電子音楽装置およびその制御方法を実現するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の電子音楽装置は、多点認識機能を備えたタッチパネルディスプレイと、前記タッチパネルディスプレイに譜面画像および楽器画像を表示する表示手段と、ユーザが前記タッチパネルディスプレイ上に表示された譜面画像をタッチしたときに、そのタッチ位置に基づいて、該タッチ位置が示す譜面画像上の音高、および音符の時間方向の入力位置を判定する第１の判定手段と、前記第１の判定手段によって判定された音高に応じて、前記タッチパネルディスプレイ上に表示された楽器画像の表示状態を変動させるように前記表示手段を制御する制御手段と、ユーザが前記制御手段によって表示状態の変動された楽器画像をタッチしたときに、そのタッチ位置の音高を判定する第２の判定手段と、前記第２の判定手段によって判定された音高の音符を、前記第１の判定手段によって判定された時間方向の入力位置に入力する入力手段とを有することを特徴とする。
【０００９】
請求項２に記載の電子音楽装置は、請求項１の電子音楽装置において、前記入力手段によって音符が入力されたときに、前記音符の時間方向の入力位置を次の入力位置に進行させる進行手段をさらに有することを特徴とする。
【００１０】
請求項３に記載の電子音楽装置は、請求項１または２の電子音楽装置において、ユーザが前記楽器画像をタッチしながら、前記譜面画像上、現在の音符の時間方向の入力位置である第１の位置とは異なる第２の位置をタッチすると、前記第１の位置と前記第２の位置との間隔に応じた音符長を、前記入力手段によって入力される音符の音符長として設定する設定手段をさらに有することを特徴とする。
【００１１】
上記目的を達成するため、請求項４に記載のプログラムは、請求項１と同様の技術的思想によって実現できる。
【発明の効果】
【００１２】
請求項１または４に記載の発明によれば、ユーザがタッチパネルディスプレイ上に表示された譜面画像をタッチしたときに、そのタッチ位置に基づいて、該タッチ位置が示す譜面画像上の音高、および音符の時間方向の入力位置が判定され、該判定された音高に応じて、前記タッチパネルディスプレイ上に表示された楽器画像の表示状態が変動されるので、つまり、ユーザが譜面画像の大まかな位置をタッチするだけで、楽器画像の表示状態が変動されるので、その表示状態として、たとえば表示領域を採った場合には、楽器画像の表示領域は、ユーザが自分で変動させなくても、音高を設定したい位置に自動的に変動する。そして、表示領域が自動的に変動した楽器画像をタッチするだけで、そのタッチ位置の音高が判定され、該判定された音高の音符が前記判定された時間方向の入力位置に入力されるので、ユーザは譜面画像上の細かいタッチ操作で音高を指定しなくてもよくなり、大まかなタッチ操作で簡単に楽譜入力を行うことが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施の形態に係る電子音楽装置の概略構成を示すブロック図である。
【図２】動作モードとして楽譜作成モードが選択された場合に、図１のタッチパネルディスプレイ上に表示された楽譜入力画面の一例を示す図である。
【図３】図１のタッチパネルディスプレイ上に表示された五線譜表示画面における楽譜入力処理を説明するための図である。
【図４】図１のタッチパネルディスプレイ上に表示されたピアノロール表示画面における楽譜入力処理を説明するための図である。
【図５】図３の五線譜表示画面および図４のピアノロール表示画面内の各表示部品の回転処理を説明するための図である。
【図６】図１の電子音楽装置、特にＣＰＵが実行するメインルーチンの手順を示すフローチャートである。
【図７】図６のメインルーチン中の入力音符指定処理のうち、五線譜表示画面が選択されている場合に実行される入力音符指定処理＃１の詳細な手順を示すフローチャートである。
【図８】図６のメインルーチン中の入力位置指定処理のうち、五線譜表示画面が選択されている場合に実行される入力位置指定処理＃１の詳細な手順を示すフローチャートである。
【図９】図６のメインルーチン中の入力音符指定処理のうち、ピアノロール表示画面が選択されている場合に実行される入力音符指定処理＃２の詳細な手順を示すフローチャートである。
【図１０】図６のメインルーチン中の入力位置指定処理のうち、ピアノロール表示画面が選択されている場合に実行される入力位置指定処理＃２の詳細な手順を示すフローチャートである。
【図１１】図６のメインルーチン中の操作に応じた処理＃１の詳細な手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１５】
図１は、本発明の一実施の形態に係る電子音楽装置の概略構成を示すブロック図である。
【００１６】
同図に示すように、本実施の形態の電子音楽装置は、各種情報を入力するための複数のスイッチを含む設定操作子１と、楽譜作成用のＧＵＩ（graphical user interface）を含む各種ＵＩ（user interface）を表示するとともに、ユーザが表示された各種ＵＩを、たとえば指で触れることで各種情報を入力するタッチパネルディスプレイ（以下、「タッチパネル」と略して言う）２と、設定操作子１の操作状態を検出する検出回路３と、ユーザによるタッチパネル２上の操作位置や操作圧力などの押圧操作を検出する検出回路４と、上記各種ＵＩをタッチパネル２上に表示させる表示回路５と、装置全体の制御を司るＣＰＵ６と、該ＣＰＵ６が実行する制御プログラムや、各種テーブルデータ等を記憶するＲＯＭ７と、各種入力情報および演算結果等を一時的に記憶するＲＡＭ８と、前記制御プログラムを含む各種アプリケーションプログラムや各種データ等を記憶する記憶装置９と、外部機器１００を接続し、この外部機器１００とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１０と、前記ＧＵＩを用いて作成された楽譜を再生して得られた演奏情報等を楽音信号に変換するとともに、その楽音信号に各種効果を付与するための音源・効果回路１１と、該音源・効果回路１１からの楽音信号を音響に変換する、たとえば、ＤＡＣ（digital-to-analog converter）やアンプ、スピーカ等のサウンドシステム１２とにより構成されている。
【００１７】
上記構成要素３〜１１は、バス１３を介して相互に接続され、通信Ｉ／Ｆ１０には外部機器１００が接続され、音源・効果回路１１にはサウンドシステム１２が接続されている。
【００１８】
タッチパネル２は、複数の位置に対するユーザの同時の押圧操作を認識する多点認識機能を備えたパネルである。本実施の形態の電子音楽装置は、掌に載せて片手で操作可能な小型の携帯端末（具体的には、汎用のスレートＰＣ（slate PC）やスマートフォン（smartphone）など）を想定しているので、タッチパネル２も小型のものを採用している。
【００１９】
記憶装置９は、たとえば、フレキシブルディスク（ＦＤ）、ハードディスク（ＨＤ）、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disc）、光磁気ディスク（ＭＯ）および半導体メモリなどの記憶媒体とその駆動装置である。記憶媒体は、駆動装置から着脱可能であってもよいし、記憶装置９自体が、本実施の形態の電子音楽装置から着脱可能であってもよい。あるいは、記憶媒体も記憶装置９も着脱不可能であってもよい。なお、記憶装置９（の記憶媒体）には、前述のように、ＣＰＵ６が実行する制御プログラムも記憶でき、ＲＯＭ７に制御プログラムが記憶されていない場合には、この記憶装置９に制御プログラムを記憶させておき、それをＲＡＭ８に読み込むことにより、ＲＯＭ７に制御プログラムを記憶している場合と同様の動作をＣＰＵ６にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。
【００２０】
通信Ｉ／Ｆ１０には、図示例では、外部機器１００が接続されているが、これに限られず、たとえばＬＡＮ（local area network）やインターネット、電話回線等の通信ネットワークを介して、サーバコンピュータが接続されるようにしてもよい。この場合、記憶装置９に上記各プログラムや各種パラメータが記憶されていなければ、通信Ｉ／Ｆ１０は、サーバコンピュータからプログラムやパラメータをダウンロードするために用いられる。クライアントとなる電子音楽装置は、通信Ｉ／Ｆ１０および通信ネットワークを介してサーバコンピュータへとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバコンピュータは、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワークを介して電子音楽装置へと配信し、電子音楽装置が通信Ｉ／Ｆ１０を介して、これらプログラムやパラメータを受信して記憶装置９に蓄積することにより、ダウンロードが完了する。
【００２１】
通信Ｉ／Ｆ１０としては、たとえば、ＭＩＤＩ信号などの音楽信号を専用に送受信する音楽専用有線Ｉ／Ｆ、ＵＳＢ（universal serial bus）やＩＥＥＥ１３９４などの汎用近距離有線Ｉ／Ｆ、Ｅｔｈｅｒｎｅｔ（登録商標）などの汎用ネットワークＩ／Ｆ、無線ＬＡＮ（local area network）やＢｌｕｅｔｏｏｔｈ（登録商標）などの汎用近距離無線Ｉ／Ｆ、デジタル電話回線網用の通信Ｉ／Ｆを挙げることができる。本実施の形態では、通信Ｉ／Ｆ１０として、デジタル電話回線網用および／または無線ＬＡＮ用の通信Ｉ／Ｆを採用している。
【００２２】
図２は、動作モードとして楽譜作成モードが選択された場合に、タッチパネル２上に表示された楽譜入力画面の一例を示す図である。本実施の形態の電子音楽装置は、楽譜入力画面として、五線譜と鍵盤を表示し、これを用いて楽譜を入力する画面（以下、「五線譜表示画面」という）２ａ（図２（ａ））と、ピアノロールを表示し、これを用いて楽譜を入力する画面（以下、「ピアノロール表示画面」という）２ｂ（図２（ｃ））の２種類の画面を備え、ユーザの選択操作に応じて、いずれかを選択できるようにしている。
【００２３】
図２（ａ）に示すように、五線譜表示画面２ａには、２本の五線譜２ａ１と１つの鍵盤２ａ２が表示され、各五線譜２ａ１の上にはルーラ（ruler）２ａ３が表示されている。ルーラ２ａ３は、入力音符の音符長の最小単位を示すものであり、図示例では、ルーラ２ａ３の１目盛りは４分音符長に相当するので、４分音符長を最小単位とする音符を入力することができる。なお、ルーラ２ａ３の１目盛りの長さ、つまり、音符長の最小単位は、ユーザが自由に変更することができるようになっている。図２（ｂ）は、その変更方法の一例を示す図である。同図（ｂ）に示すように、ユーザがルーラ２ａ３上の任意の位置を長押しすると、選択可能な音符長の記載されたメニュー２ａ５がポップアップ表示されるので、そのメニュー２ａ５の中から変更したい音符長を選択する。これと同様にして、五線譜２ａ１の音部記号も、選択可能な音部記号の記載されたメニュー２ａ６を表示させ、そのメニュー２ａ６の中から変更したい音部記号を選択することで、他の音部記号に変更することができる。なお本実施の形態では、音符長の最小単位の変更も音部記号の変更も、変更対象の近傍を長押しすることによってメニューを表示させ、その中から変更したいものを選択することで行うようにしたが、これに限らず、後述するボタン２ａ４のいずれかを押すことによってメニューを表示させ、その中から変更したいものを選択することで行うようにしてもよい。
【００２４】
図２（ａ）に戻り、タッチパネル２は、前述のように小型のものを用いているために、タッチパネル２上に、何オクターブもの鍵盤を持つ一般的な鍵盤楽器（たとえばピアノは８８鍵）の全体像（鍵盤全体）を表示させることができない（あるいは、表示できたとしても、各鍵が小さ過ぎて操作上問題が生じる）ので、鍵盤２ａ２は、鍵盤全体の一部（図示例では、２オクターブ程度の鍵盤であるが、各鍵が指でタッチ操作できる程度の大きさのものであれば、これに限らず、１オクターブ程度の鍵盤でも、３オクターブ程度の鍵盤でもよい）を表示したものである。このように一部の鍵盤しか表示できないので、表示されていない部分を表示させたいことがある。その場合には、ユーザは鍵盤２ａ２上を左／右にスワイプ（swipe）操作（タッチパネル２に触れた状態で指を滑らせる操作）することで、鍵盤２ａ２が左／右にスクロールして表示鍵域が変わるようになっている。もちろん、表示鍵域の変更方法はこれに限らず、鍵盤２ａ２の近傍にスクロールバーを表示させ、このスクロールバー上でスワイプ操作あるいはドラッグ操作することで、表示鍵域を変更するようにしてもよい。また、ユーザは鍵盤２ａ２上でピンチ（pinch）操作（タッチパネル２に触れた状態で２本の指を開いたり閉じたりする操作）することで、鍵盤２ａ２を拡大／縮小して表示することもできるようになっている。
【００２５】
五線譜表示画面２ａには、この他に、複数（図示例では、８個）のボタン２ａ４も表示されている。本実施の形態では、ユーザはこれらのボタン２ａ４を押すことにより、次のような処理を行うことができる。すなわち、
（Ｏ１）保存されている楽譜データの読み出しや、現在表示中の楽譜データの保存
（Ｏ２）基本情報（拍子や調、テンポなど）の設定
（Ｏ３）入力音符の音符長の最小単位の設定
（Ｏ４）休符や音楽記号、臨時記号の入力
（Ｏ５）入力した音符データの削除や入力取り消し（Undo）
（Ｏ６）五線譜表示画面とピアノロール表示画面の切り替え
（Ｏ７）動作モードの変更
（Ｏ８）その他の設定
などの処理を行うことができる。ここで、動作モードとしては、上記「楽譜作成モード」の他に、たとえば、鍵盤２ａ２を非表示にして単なる楽譜として使用する「閲覧モード」などが備えられている。なお、どのボタン２ａ４をどう操作すれば、上記処理のいずれを実行できるかについては、本発明の特徴ではないので、その説明を省略する。
【００２６】
タッチパネル２上に五線譜表示画面２ａが表示されている状態で、ピアノロール表示画面への切り替えが指示されると、図２（ｃ）に示すように、タッチパネル２上にはピアノロール表示画面２ｂが表示される。ただし、同図（ｃ）のピアノロール表示画面２ｂは全表示画面の一部であり、実際にはこの他に、五線譜表示画面２ａ内のボタン２ａ４に相当するものも表示されている。
【００２７】
ピアノロール表示画面２ｂは、鍵盤部２ｂ１とノート表示部２ｂ２とによって構成されている。鍵盤部２ｂ１は、前記鍵盤２ａ２と同様に、鍵盤全体の一部が表示されているので、ユーザは鍵盤部２ｂ１上を上／下にスワイプ操作することで、鍵盤部２ｂ１が上／下にスクロールして表示鍵域が変わるようになっている。また、ユーザは鍵盤部２ｂ１上でピンチ操作すると、鍵盤部２ｂ１を拡大／縮小して表示することができる。この鍵盤部２ｂ１のスクロールおよび拡大／縮小に連動して、ノート表示部２ｂ２もスクロールおよび拡大／縮小される。さらにノート表示部２ｂ２は、その上をユーザが左／右にスワイプ操作することで、左／右にスクロールして表示領域が変わるようにもなっている。
【００２８】
ノート表示部２ｂ２は、音高を示す縦軸と時間経過を示す横軸からなる平面によって構成され、その平面内に複数のグリッド（grid）が形成されている。そして、各グリッドにノート（「音符」のことであるが、前記五線譜２ａ１に記載されるような「音符」形状ではなく、「楕円」形状で表示される（後述する図４（ｂ）〜（ｄ）参照）ので、「ノート」ということにする）を書き込むことで、楽譜（ピアノロール）を作成する。なお、各グリッドの横辺の長さが、入力ノートの音符長の最小単位を示している。この音符長の最小単位も、前記ルーラ２ａ３の１目盛りの長さと同様に、ユーザが自由に変更することができる。本実施の形態では、ユーザがノート表示部２ｂ２上の任意の位置を長押しすると、前記メニュー２ａ５と同様のメニュー（図示せず）がポップアップ表示され、そのメニューの中から変更したい音符長を選択することで、音符長の最小単位を変更できるようにしている。もちろん、変更方法はこれに限らず、ボタン２ａ４を押すことで、変更できるようにしてもよい。
【００２９】
以上のように構成された電子音楽装置が実行する制御処理を、まず図３〜図５を参照してその概要を説明し、次に図６〜図１１を参照して詳細に説明する。
【００３０】
本実施の形態の電子音楽装置は、
（Ａ）五線譜表示画面２ａにおける楽譜入力処理
（Ｂ）ピアノロール表示画面２ｂにおける楽譜（ノート）入力処理
（Ｃ）五線譜表示画面２ａおよびピアノロール表示画面２ｂ内の各表示部品の回転処理
に特徴がある。
【００３１】
図３は、上記（Ａ）の楽譜入力処理を説明するための図であり、同図（ａ）は、楽譜の入力位置を指定したときの様子を示し、同図（ｂ）は、入力音符の音高を指定したときの様子を示し、同図（ｃ）は、入力音符の音符長を指定したときの様子を示している。
【００３２】
図３（ａ）のように、ユーザが五線譜２ａ１上の、たとえば１小節目の１拍目、Ａ４（ラ）辺りをタッチすると、そのタッチ位置に最も近い（最寄りの）グリッドが判定される。ここで、グリッドとは、ルーラ２ａ３に刻まれた目盛りと目盛りの間の領域を示している。タッチ位置から最寄りのグリッドをどう判定するかについては、図８のステップＳ４２の処理で後述する。そして、判定された最寄りのグリッドの先頭に位置する目盛りの上にカーソルＣが表示され、この位置に音符が入力できることをユーザに知らせる。このとき、タッチ位置の音高が鍵盤２ａ２の中央あるいは中央付近に来るように、鍵盤２ａ２の表示鍵域が左／右に自動的にスクロールする。ここで、「タッチ位置の音高が中央付近に来る」とは、表示鍵域のスクロールを、たとえば１オクターブ単位あるいは半オクターブ単位で行うようにした場合には、タッチ位置の音高を表示鍵域の中央に厳密に位置させることはできないので、その場合には、中央付近に位置させるという意味である。もちろん、タッチ位置の音高を表示鍵域の中央に厳密に位置させることができる場合であっても、ユーザの操作上の都合などによって、当該音高を表示鍵域の中央に厳密に位置させない方がよいときには、「タッチ位置の音高が中央付近に来る」ようにしてもよい。
【００３３】
次に図３（ｂ）のように、ユーザが指で、入力したい音高（図示例では、Ａ４（ラ），Ｃ５（ド），Ｅ５（ミ））に対応する、鍵盤２ａ２の鍵を押さえると、当該鍵の色が変わり（図示例では、色の変化を斜線で表現している）、その指を離すと、破線で描かれたカーソルＣの位置に対応する、五線譜２ａ１上の位置に、当該指定された音高の音符が入力される。ただし、入力音符の音符長は、ルーラ２ａ３の１目盛り（グリッドの横辺）に相当する長さ、図示例では４分音符長である。音符が入力されると、カーソルＣは自動的に１目盛り分進む。
【００３４】
同じ最小単位の音符長の音符を続けて入力する場合には、上述のように、カーソルＣが次の入力位置に自動的に進むので、ユーザは鍵盤２ａ２の鍵を押さえて離す操作だけすればよい。たとえば、図３（ｂ）で入力した音符と同じ音高かつ同じ音符長の音符を２つ続けて入力したい場合には、Ａ４（ラ），Ｃ５（ド），Ｅ５（ミ）に対応する、鍵盤２ａ２の鍵を押さえてから離す操作を２回続けて行う。この結果、図３（ｃ）の五線譜２ａ１中、第１小節の第１拍から第３拍に同じ音高の４分音符が３つ続けて入力される。なお図３（ｃ）には、同じ音高の音符を続けて入力している例が描かれているが、これは便宜上に過ぎず、鍵を押さえて離す操作をする度に、異なった音高の鍵を操作すれば、異なった音高の音符が同じ最小単位の音符長で入力される。
【００３５】
一方、最小単位の音符長とは異なる音符長の音符を入力したい場合には、ユーザは、図３（ｃ）のように鍵盤２ａ２の鍵を押さえたまま、五線譜２ａ１上、入力したい音符長を指示する。音符長の指示は、具体的には、五線譜２ａ１上、現在のカーソルＣの位置に対応する位置（図示例では、第１小節の第４拍）から入力したい音符長分離れた位置（図示例では、第２小節の第２拍の近傍）をタッチすることによって行う。音符長が指示されると、その音符長がどれくらいかをユーザに知らせるために、その音符長に対応する長さの短冊状表示２ａ７がルーラ２ａ３上に現れる。そして、ユーザが鍵盤２ａ２から押さえた鍵の指を離すと、指定された音高の音符が指示された音符長で入力される。図３（ｃ）の例では、ユーザは、第１小節の第４拍にカーソルＣが位置した状態で、Ａ４（ラ），Ｃ５（ド），Ｅ５（ミ）に対応する、鍵盤２ａ２の鍵を押さえ、それを維持したまま、五線譜２ａ１上、第２小節の第２拍の近傍をタッチ（あるいは、五線譜２ａ１上、第１小節の第４拍の近傍から第２小節の第２拍の近傍までドラッグさせてもよい）すると、ルーラ２ａ３上に、当該指示された音符長を示す短冊状表示２ａ７が現れる。その後、ユーザが鍵盤２ａ２から指を離すと、指定された音高の２分音符が入力される。ただし図示例では、入力される音符は小節を跨ぐので、タイで表示される。音符が入力されると、カーソルＣは自動的に、次の入力位置（第２小節の第２拍目の先頭）まで進む。なお図３（ｃ）では、音符長の指定をルーラ２ａ３の近傍で行っているように描かれているが、これは便宜上そのように描かれているに過ぎず、実際には五線譜２ａ１上で行っている。もちろん、ルーラ２ａ３の近傍で音符長の指定ができるようにしてもよい。
【００３６】
このように（Ａ）の楽譜入力処理によれば、同じ最小単位の音符長の音符を続けて入力するには、鍵盤２ａ２の鍵に対するタッチおよびリリースを繰り返すだけでよいので、入力操作を簡単化することができる。また、入力音符の音高は、同時に複数指定することができるので、和音を入力する際の入力操作を特に簡略化することができる。さらに、最小単位より長い音符長の音符を入力する場合でも、その音符長に相当する位置を五線譜２ａ１上でタッチするだけでよいので、音符長の異なる音符を入力する場合でも、入力操作は複雑化しない。
【００３７】
図４は、前記（Ｂ）の楽譜入力処理を説明するための図であり、同図（ａ）は、入力ノートの音高を指定したときの様子を示し、同図（ｂ）は、ノートの入力位置を指定したときの様子を示し、同図（ｃ）は、同じ音高かつ同じ音符長のノートを続けて入力したときの様子を示し、同図（ｄ）は、最小単位の音符長より長い音符長のノートを入力したときの様子を示している。
【００３８】
図４（ａ）のように、ユーザが指で、鍵盤部２ｂ１上の、たとえばＣ４（ド），Ｅ４（ミ），Ｇ４（ソ）に相当する鍵をタッチすると、タッチされた鍵の色が変わって（図示例では、色の変化を斜線で表現している）、選択状態であることをユーザに知らせる。なお、ユーザがその指を離すと、鍵の選択状態は解除され、鍵の色も元の色に戻る。
【００３９】
次にユーザが、鍵盤部２ｂ１の鍵を選択した状態で、ノート表示部２ｂ２上のいずれかの位置をタッチすると、そのタッチ位置に最も近い（最寄りの）グリッド列が判定される。ここで、グリッド列とは、グリッドの縦方向の１列を意味し、図４では、列Ｒ１〜Ｒ６のいずれか１列である。そして、ユーザがノート表示部２ｂ２上からタッチした指を離すと、図４（ｂ）に示すように、判定されたグリッド列に属するグリッドのうち、選択された音高に対応するグリッドにノートが入力される。ノートの入力は、当該グリッドに内接される楕円によって表現される。ここで、ノート表示部２ｂ２上のタッチ位置は、鍵盤部２ｂ１上で選択された鍵に対応するグリッド内の位置に限らず、当該グリッドと同じグリッド列内であればどの位置であってもよい。図示例では、ユーザは、ノート表示部２ｂ２のグリッド列Ｒ３に属するグリッドのうち、鍵盤部２ｂ１の鍵“Ｄ＃４”に対応するグリッド内をタッチしているが、ノートは、鍵“Ｇ４”，“Ｅ４”および“Ｃ４”にそれぞれ対応する各グリッド内に入力される。なお図示例では、楕円は黒色で表されているが、色は黒色に限らず、どのような色を採用してもよいし、単色の塗り潰しではなく、網掛けや模様であってもよい。
【００４０】
従来の電子音楽装置が、上記ノート表示部２ｂ２と同様のノート表示部を備えているものとし、この従来の電子音楽装置を用いて、上述のようにＣ４（ド），Ｅ４（ミ），Ｇ４（ソ）の音高のノートを入力する場合には、ノート表示部上の、各音高にそれぞれ対応したグリッドを１つずつ、つまり３回タッチする必要がある。しかし、本実施の形態の電子音楽装置によれば、上述のようにノート表示部２ｂ２へのタッチは１回で済むので、特に和音を入力する際の入力操作を簡単化することができる。さらに、ノート表示部２ｂ２上のタッチ位置は、入力ノートの音高に対応するグリッドが属するグリッド列内であれば、どこでもよいので、ユーザは正確なタッチ操作が不要となる。
【００４１】
同じ最小単位の音符長かつ同じ音高のノートを続けて入力する場合には、図４（ｃ）に示すように、鍵盤部２ｂ１上の鍵の選択状態を維持したまま、ノート表示部２ｂ２上のタッチ位置を変動させる。図示例では、ユーザは、グリッド列Ｒ３に続いて、グリッド列Ｒ５とグリッド列Ｒ６をタッチしているので、Ｃ４（ド），Ｅ４（ミ），Ｇ４（ソ）の音高のノートが、グリッド列Ｒ３，列Ｒ５および列Ｒ６にそれぞれ属するグリッドに入力される。
【００４２】
このように本実施の形態の電子音楽装置によれば、同じ音符長かつ同じ音高のノートをいくつも続けて入力する場合、鍵盤部２ｂ１上の、当該音高に対応する鍵を押さえっぱなしにしておけば、あとはノート表示部２ｂ２で入力位置（時間的な位置）だけを指定すればよいので、ユーザは正確なタッチ操作が不要となる。
【００４３】
一方、最小単位の音符長より長い音符長のノートを入力したい場合には、図４（ｄ）に示すように、ユーザは鍵盤部２ｂ１上の鍵の選択状態を維持したまま、ノート表示部２ｂ２上を横方向にドラッグする。ドラッグ中は、ドラッグしている範囲がどれくらいか分かるように、ドラッグの始点を含むグリッド列から終点を含むグリッド列まで（図示例では、グリッド列Ｒ３からグリッド列Ｒ６まで）の全体が色つきで表示される（図示例では、色の変化を斜線で表現している）。そして、ユーザがドラッグを停止し、タッチした指を離すと、ドラッグが開始された位置から指を離した位置までに、ドラッグされた長さに相当する音符長かつ、鍵盤部２ｂ１上で選択された音高のノートが入力される。図示例では、ユーザは、グリッド列Ｒ３内の位置からグリッド列Ｒ６内の位置までドラッグ操作しているので、Ｃ４（ド），Ｅ４（ミ），Ｇ４（ソ）の音高かつ全音符長（＝最小単位×４；ただし、最小単位、つまり各グリッドの横辺の長さを４分音符長とした場合）のノートが入力される。
【００４４】
このように本実施の形態の電子音楽装置によれば、鍵盤部２ｂ１で音高の指定ができるとともに、ノート表示部２ｂ２で音符長の指定ができるので、ユーザはノートの入力を直感的に行うことができる。
【００４５】
図５は、前記（Ｃ）の回転処理を説明するための図であり、同図（ａ）は、五線譜表示画面２ａに含まれる表示部品を示し、同図（ｂ）は、同図（ａ）の各表示部品を独立して回転させたときの様子を示し、同図（ｃ）は、ピアノロール表示画面２ｂに含まれる表示部品を示し、同図（ｄ）は、同図（ｃ）の表示部品の一方を回転させたときの様子を示している。
【００４６】
五線譜表示画面２ａは、図５（ａ）に示すように、五線譜２ａ１およびルーラ２ａ３からなる表示部品Ｐａ１と、鍵盤２ａ２からなる表示部品Ｐａ２とを備えている。表示部品とは、一体で独立して回転可能な表示画像を意味し、各表示部品をそれぞれ構成する表示画像は、画面毎に（本実施の形態では、五線譜表示画面２ａとピアノロール表示画面２ｂとで）予め固定的に決まっている。なお、五線譜表示画面２ａには、前述のようにボタン２ａ４も含まれるが、本実施の形態では、ボタン２ａ４は回転しないので、表示部品には含まれない（この事情は、ピアノロール表示画面２ｂについても同様である）。もちろん、ボタン２ａ４も回転できるように構成してもよい。
【００４７】
ユーザは、五線譜表示画面２ａから楽譜入力を行うに際して、五線譜表示画面２ａの初期表示、つまり図５（ａ）に示す表示では、入力操作がし難い場合がある。この場合、表示部品Ｐａ１またはＰａ２のいずれか一方、あるいは両方を回転させれば、入力操作が格段にし易くなることがある。そこで、本実施の形態の電子音楽装置は、ユーザの回転指示に応じて、表示部品Ｐａ１およびＰａ２をそれぞれ独立して回転できるようにしている。図５（ｂ）は、ユーザによる回転指示の仕方と、その回転指示に応じて各表示部品Ｐａ１およびＰａ２を回転させた後の様子を示している。ユーザは、まず１本の指で、回転させたい表示部品の範囲内あるいはその近傍をタッチし、次にもう１本の指で、回転させる方向および角度をドラッグ操作によって指示すると、タッチした表示部品が、指示した方向および角度で回転する。図示例では、表示部品Ｐａ１を時計の針の回る方向に所定の角度だけ回転させ、表示部品Ｐａ２を時計の針の回る方向と逆の方向に所定の角度だけ回転させた様子が描かれている。なお図示例には、表示部品の選択と回転の指示とをそれぞれ別の手の指で行うように描かれているが、同じ手の別の指で行うようにしてもよいことは、言うまでもない。
【００４８】
五線譜表示画面２ａから楽譜入力を行うに際しての上記問題、つまり、初期画面表示のままでは入力操作がし難い場合があることは、ピアノロール表示画面２ｂから楽譜入力を行うに際しても同様に起こり得るので、ピアノロール表示画面２ｂも、図５（ｃ）に示すように、鍵盤部２ｂ１からなる表示部品Ｐｂ１と、ノート表示部２ｂ２からなる表示部品Ｐｂ２とを備えるようにし、各表示部品Ｐｂ１およびＰｂ２をそれぞれ独立して回転できるようにしている。
【００４９】
図５（ｄ）は、前記図５（ｂ）と同様に、ユーザによる回転指示の仕方と、その回転指示に応じて表示部品Ｐｂ１を回転させた後の様子を示している。ただし図５（ｄ）では、図５（ｂ）と異なり、２つの表示部品のうちの一方のみを回転させ、もう一方は初期表示のままにしているが、これは、表示部品Ｐｂ１、つまり鍵盤部２ｂ１は、初期表示の向きでは入力操作がし難いのに対して、表示部品Ｐｂ２、つまりノート表示部２ｂ２は、初期表示のままでも入力操作がし難いとまでは言えないからである。もちろん、表示部品Ｐｂ２も回転させるようにしてもよいし、逆に、表示部品Ｐｂ２を回転させ、表示部品Ｐｂ１を回転させないようにしてもよい。なお、回転対象となる表示部品の選択の仕方と、回転させる方向および角度の指示の仕方は、五線譜表示画面２ａ内の各表示部品についてのそれと同様であるので、その説明は省略する。
【００５０】
なお本実施の形態では、鍵盤２ａ２および鍵盤部２ｂ１は、表示されているもの全体が一体として回転するようにしたが、これに限らず、左鍵域と右鍵域とで別々に回転できるようにしてもよい。また、回転に加えて、各表示部品を独立して移動できるようにしてもよい。この場合、通常のドラッグ操作で移動させても良いし、スワイプ操作（鍵盤のスクロールなど）と明確に区別するため、２本指でドラッグするなど、操作方法を異ならせるようにしてもよい。また、複数の表示部品をまとめて回転または移動できるようにしてもよい。
【００５１】
回転や移動した状態は、前記ＲＡＭ８のユーザ領域に保存できるようにし、これを呼び出して使用可能に構成してもよい。この場合、座って使用する場合の設定や寝そべって使用する場合の設定、縦向き、横向きなど、複数の状態を保存できるようにしておき、ユーザの使用状況に応じて適切なものを呼び出して使用できるようにするとよい。
【００５２】
次に、この制御処理を詳細に説明する。
【００５３】
図６は、本実施の形態の電子音楽装置、特にＣＰＵ６が実行するメインルーチンの手順を示すフローチャートである。
【００５４】
本メインルーチンは、主として
（１）初期化処理（ステップＳ１）
（２）ユーザ操作を受け付け、その操作位置および操作種類を判定する受付・判定処理（ステップＳ２，Ｓ３）
（３）上記（２）の受付・判定処理によって判定された操作位置および操作種類に応じて処理を
（３１）入力音符指定処理（ステップＳ７）
（３２）入力位置指定処理（ステップＳ９）
（３３）操作に応じた処理＃１（ステップＳ１０）
（３４）操作に応じた処理＃２（ステップＳ１３）
（３５）終了処理（ステップＳ１２）
のうちのいずれかの処理に分岐させる分岐処理（ステップＳ４，Ｓ５，Ｓ６，Ｓ８，Ｓ１１）
によって構成されている。本メインルーチンは、前記設定操作子１に含まれる電源スイッチ（図示せず）によって電源がオンされたときに起動される。起動後、前記（１）の初期設定処理が１回実行され、これに続いて、上記（２）および（３）の各処理が順次実行され、この（３）の分岐処理によって分岐された分岐先の処理が終了すると、（２）の処理に戻って、（２）および（３）の各処理が、電源スイッチによって電源がオフされるまで、繰り返し実行される。ただし、分岐先の処理が前記（３５）の終了処理である場合には、その（３５）終了処理が終了すると、本メインルーチンは終了する。
【００５５】
前記（１）初期化処理では、ＣＰＵ６は、ＲＡＭ８をクリアしたり、各種パラメータの値をデフォルト値に設定したり、表示画面を選択・表示したりする。本実施の形態では、表示画面、つまり五線譜表示画面２ａまたはピアノロール表示画面２ｂのいずれかは、この（１）初期化処理で１回のみ選択でき、その後、本メインルーチンが終了するまで、変更することはできないようになっている。これは、説明の都合上そうしているに過ぎず、本メインルーチンの途中で、ユーザの指示に応じて任意に切り替えできるようにしてもよい。なお、（１）初期化処理での表示画面の選択は、ユーザにどちらの画面を表示させたいか問い合わせるようにし、ユーザがそれに回答した方を選択するようにすればよい。
【００５６】
前記（２）受付・判定処理では、ＣＰＵ６は、前記検出回路４からの出力を常時チェックすることにより、タッチパネル２に対するユーザ操作があったかどうかを監視し、ユーザ操作があったときにはそのユーザ操作を受け付け（ステップＳ２）、受け付けたユーザ操作に基づいて、操作位置および操作種類を判定する（ステップＳ３）。ここで、操作位置とは、タッチパネル２上の操作位置であり、操作種類とは、タッチ操作、ホールド操作、スワイプ操作、ドラッグ操作およびピンチ操作などである。
【００５７】
前記（３）分岐処理では、ＣＰＵ６は、判定された操作位置および操作種類に基づいて、次のようにして処理を分岐させる。すなわち、
（Ｃ１）操作位置がノート入力用画像上＆（かつ）操作位置が音高指定部内＆操作種類がタッチ操作またはドラッグ操作：前記（３１）入力音符指定処理に分岐（ステップＳ４→Ｓ５→Ｓ６→Ｓ７）；
（Ｃ２）操作位置がノート入力用画像上＆操作位置がタイミング指定部内＆操作種類がタッチ操作またはドラッグ操作：前記（３２）入力位置指定処理に分岐（ステップＳ４→Ｓ５→Ｓ８→Ｓ９）；
（Ｃ３）操作位置がノート入力用画像上＆操作位置が音高指定部内＆操作種類がタッチ操作およびドラッグ操作のいずれでもない：前記（３３）操作に応じた処理＃１に分岐（ステップＳ４→Ｓ５→Ｓ６→Ｓ１０）；
（Ｃ４）操作位置がノート入力用画像上＆操作位置がタイミング指定部内＆操作種類がタッチ操作およびドラッグ操作のいずれでもない：前記（３３）操作に応じた処理＃１に分岐（ステップＳ４→Ｓ５→Ｓ８→Ｓ１０）；
（Ｃ５）操作位置がノート入力用画像上以外＆操作種類が「終了指示」：前記（３５）終了処理に分岐（ステップＳ４→Ｓ１１→Ｓ１２）；
（Ｃ６）操作位置がノート入力用画像上以外＆操作種類が「終了指示」以外：前記（３４）操作に応じた処理＃２に分岐（ステップＳ４→Ｓ１１→Ｓ１３）。
【００５８】
上記ケース（Ｃ１）中、第１番目のケース、つまり「操作位置がノート入力用画像上」は、ユーザがノート（音符）入力に関わる画像上を操作しているケースを示している。ノート（音符）入力に関わる画像（ノート入力用画像）は、本実施の形態では、入力するノート（音符）の音高指定に関わる画像部である「音高指定部」と、入力するノート（音符）のタイミング指定に関わる画像部である「タイミング指定部」とによって構成されている。そして、五線譜表示画面２ａでは、鍵盤２ａ２が「音高指定部」に、五線譜２ａ１およびルーラ２ａ３が「タイミング指定部」に対応し、ピアノロール表示画面２ｂでは、鍵盤部２ｂ１が「音高指定部」に、ノート表示部２ｂ２が「タイミング指定部」に対応する。したがって、五線譜表示画面２ａが選択されている場合に、ユーザが五線譜２ａ１、鍵盤２ａ２およびルーラ２ａ３（これらに加えて、その近傍を含むようにしてもよい。以下、同様）上を操作している状態や、ピアノロール表示画面２ｂが選択されている場合に、ユーザが鍵盤部２ｂ１およびノート表示部２ｂ２（これらに加えて、その近傍を含むようにしてもよい。以下、同様）上を操作している状態が、上記第１番目のケースに該当する。一方、ユーザが、たとえば、前記ボタン２ａ４やメニュー２ａ５，２ａ６（図２参照）などの当該画像上以外を操作している状態は、上記第１番目のケースには該当しない。
【００５９】
上記ケース（Ｃ１）中、第２番目のケース、つまり「操作位置が音高指定部」は、上述のように、ユーザが「ノート入力用画像」の構成要素の一方である「音高指定部」（五線譜表示画面２ａでは、鍵盤２ａ２であり、ピアノロール表示画面２ｂでは、鍵盤部２ｂ１である）内を操作しているケースを示している。
【００６０】
したがって、上記ケース（Ｃ１）全体は、ユーザが、五線譜表示画面２ａが選択されている場合には鍵盤２ａ２上を、ピアノロール表示画面２ｂが選択されている場合には鍵盤部２ｂ１上をタッチ操作またはドラッグ操作したケースを示している。
【００６１】
また、前記ケース（Ｃ２）中、第１番目のケースは、前記ケース（Ｃ１）の第１番目のケースと同様であるので、その説明は省略するが、前記ケース（Ｃ２）中、第２番目のケース、つまり「操作位置がタイミング指定部内」は、前述のように、ユーザが「ノート入力用画像」の構成要素のもう一方である「タイミング指定部」（五線譜表示画面２ａでは、五線譜２ａ１およびルーラ２ａ３であり、ピアノロール表示画面２ｂでは、ノート表示部２ｂ２である）内を操作しているケースを示している。
【００６２】
したがって、前記ケース（Ｃ２）全体は、ユーザが、五線譜表示画面２ａが選択されている場合には五線譜２ａ１またはルーラ２ａ３上を、ピアノロール表示画面２ｂが選択されている場合にはノート表示部２ｂ２上をタッチ操作またはドラッグ操作したケースを示している。
【００６３】
前記ケース（Ｃ３）全体は、前記ケース（Ｃ１）全体に対して、ユーザの操作種類のみが異なっている。つまり、ユーザが、タッチ操作およびドラッグ操作以外の操作、たとえばスワイプ操作やピンチ操作などを行ったケースを示している。
【００６４】
同様に、前記ケース（Ｃ４）全体は、前記ケース（Ｃ２）全体に対して、ユーザの操作種類のみが異なっている。つまり、ユーザが、タッチ操作およびドラッグ操作以外の操作、たとえばスワイプ操作やピンチ操作などを行ったケースを示している。
【００６５】
前記ケース（Ｃ５）中、第１番目のケース、つまり「操作位置がノート入力用画像上以外」は、前述のように、ユーザが「ノート入力用画像」外を操作しているケースを示している。その第２番目のケース、つまり「操作種類が『終了指示』」は、ユーザが「終了指示」に該当する特別な態様の操作（たとえば、ボタン２ａ４内の１つに「終了」が割り当てられており、そのボタンに対するタッチ操作が考えられる。もちろん、これに限られる訳ではない）をしたケースを示している。
【００６６】
前記ケース（Ｃ６）全体は、上記ケース（Ｃ５）全体に対して、ユーザの操作種類のみが異なっている。つまり、ユーザが、「終了指示」に該当する操作以外の操作、たとえば前記（Ｏ１）〜（Ｏ８）の各操作を行ったケースを示している。
【００６７】
図７は、前記（３１）の入力音符指定処理のうち、五線譜表示画面２ａが選択されている場合に実行される入力音符指定処理＃１の詳細な手順を示すフローチャートである。
【００６８】
本入力音符指定処理＃１は、主として
（４１）入力する音符の音高を決定する音高決定処理（ステップＳ２１〜Ｓ２５）
（４２）上記（４１）音高決定処理によって決定された音高の音符を最小単位の音符長で入力する第１の音符入力処理（ステップＳ２８，Ｓ２９）
（４３）上記（４１）音高決定処理によって決定された音高の音符を最小単位より長い音符長で入力する第２の音符入力処理（ステップＳ３４，Ｓ３５）
（４４）上記（４２）または（４３）の音符入力処理後の後処理（ステップＳ３０〜Ｓ３３）
によって構成されている。
【００６９】
上記（４１）の音高決定処理では、まずＣＰＵ６は、タッチ位置の座標をノートナンバに変換する（ステップＳ２１）。具体的には、ＣＰＵ６は、タッチ位置の座標からユーザが鍵盤２ａ２のどの鍵をタッチしているか判定し、判定した鍵に割り当てられているノートナンバを取得することで、タッチ位置の座標からノートナンバに変換する。ここで、どの鍵がタッチされているかの判定は、たとえば、タッチ位置のｘｙ座標が鍵盤２ａ２上、各白鍵および各黒鍵がそれぞれ占める領域のうちのどの領域に含まれるかを判定することによって行えばよい。なお、タッチ位置は、実際には面積のある領域であるが、説明を単純化するために面積のない点とみなしている（以下、同様）。
【００７０】
次にＣＰＵ６は、変換されたノートナンバを、音符を入力するために前記ＲＡＭ８の所定位置に確保された入力用バッファ（図示せず）にストアする（ステップＳ２２）。さらにＣＰＵ６は、変換されたノートナンバに対応する、つまりタッチされている鍵盤２ａ２の鍵の表示態様を「選択状態」の態様に変更する（ステップＳ２３）。「選択状態」の態様とは、元の表示色と異なった「選択状態」の表示色にすることである（前記図３（ｂ）を参照）。
【００７１】
上記ステップＳ２１〜Ｓ２３の処理は、ユーザが１本の指で１つの鍵をタッチ操作する場合の処理に相当し、図７のフローチャートでは、複数の指で複数の鍵を同時にタッチ操作する場合の処理は記載されていないが、複数鍵の同時操作がなされた場合には、ステップＳ２１〜Ｓ２３の処理を同時操作された鍵の数分繰り返し実行することで、前記図３（ｂ）のように、複数鍵の同時操作にも対応している。
【００７２】
また、ユーザがタッチ操作する鍵を間違えた場合には、そのタッチ状態を保持したまま、正しい鍵に移動させることで、ユーザの意図通りの音高を決定できるようにしている。ステップＳ２４およびＳ２５の処理は、これを実現するためのものである。つまり、ステップＳ２４では、タッチ位置の移動があったかどうかを判定し、タッチ位置の移動があったときには、処理をステップＳ２１に戻して、移動後のタッチ位置からノートナンバを再取得し、それに応じて対応する鍵の表示態様も変更するようにしている（ステップＳ２３）。そして、ユーザが鍵盤２ａ２から指を離す（リリースする）まで、ステップＳ２４の判定処理を繰り返し実行する（ステップＳ２５→Ｓ２４）。ここまでが、（４１）音高決定処理である。
【００７３】
この（４１）音高決定処理が終了すると、ＣＰＵ６は、前記（４２）第１の音符入力処理と前記（４３）第２の音符入力処理のいずれに処理を進めるかを判定する。制御処理の概要で前述したように、ユーザが五線譜２ａ１にタッチして音符長を指定するのは、最小単位より長い音符長の音符を入力する場合であり、最小単位の音符長の音符を入力するには、ユーザは五線譜２ａ１に触れずに鍵盤２ａ２へのタッチおよびリリースを行うだけである。そして、ユーザが五線譜２ａ１にタッチして音符長を指定すると、タッチ位置に対応するグリッド（を特定する値）が入力終了位置としてセットされる（後述する図８のステップＳ４３を参照）ので、入力終了位置に有効な値（＝グリッドを特定する値）がセットされていれば、ユーザが五線譜２ａ１にタッチして音符長を指定したことを示している。したがって、ステップＳ２６では、入力終了位置がセットされているかどうかを判定している。この判定の結果、入力終了位置がセットされていない場合には、ＣＰＵ６は、ユーザが最小単位の音符長の音符を入力しているとして、処理を前記（４２）第１の音符入力処理に進める（ステップＳ２６→Ｓ２８）。一方、入力終了位置がセットされている場合には、ＣＰＵ６は、ユーザが最小単位より長い音符長の音符を入力しているとして、処理を前記（４３）第２の音符入力処理に進めるが、その前に、入力開始位置（カーソルＣが位置するグリッド）と入力終了位置とが同じ値であるかどうかを判定している（ステップＳ２７）。この判定の結果、入力開始位置＝入力終了位置であれば、ＣＰＵ６は、ユーザが五線譜２ａ１をタッチしたとしても、依然として最小単位の音符長の音符を入力しているとして、処理を前記（４２）第１の音符入力処理に進める一方、入力開始位置≠入力終了位置であれば、ＣＰＵ６は、処理を前記（４３）第２の音符入力処理に進める。
【００７４】
（４２）第１の音符入力処理では、ＣＰＵ６は、五線譜２ａ１上の入力位置（横（時間）軸方向の位置であり、具体的には、カーソルＣの位置に対応する五線譜２ａ１上の位置である。この事情は、後述するステップＳ３４の処理についても同様）に、入力用バッファにストアされているノートナンバに対応する音符をルーラ２ａ３の１目盛り分の音符長で入力した（ステップＳ２８）後、次のグリッドを入力開始位置にセットする（ステップＳ２９）。
【００７５】
（４３）第２の音符入力処理では、ＣＰＵ６は、五線譜２ａ１上の入力位置に、入力用バッファにストアされているノートナンバに対応する音符を入力開始位置から入力終了位置までの長さの音符長で入力した（ステップＳ３４）後、入力終了位置の次のグリッドを入力開始位置にセットする（ステップＳ３５）。
【００７６】
前記（４４）の後処理では、ＣＰＵ６は、ルーラ２ａ３のカーソルＣの位置を入力開始位置で更新し（ステップＳ３０）、入力終了位置をクリアし（ステップＳ３１）、入力用バッファをクリアし（ステップＳ３２）、変更した鍵盤２ａ２の鍵の表示態様を「非選択状態」の態様に戻す（ステップＳ３３）。
【００７７】
図８は、前記（３２）の入力位置指定処理のうち、五線譜表示画面２ａが選択されている場合に実行される入力位置指定処理＃１の詳細な手順を示すフローチャートである。
【００７８】
本入力位置指定処理＃１は、主として
（５１）ユーザが鍵盤２ａ２をタッチ操作している状態で実行される第１の入力位置指定処理（ステップＳ４２〜Ｓ４６）
（５２）ユーザが鍵盤２ａ２をタッチ操作していない状態で実行される第２の入力位置指定処理（ステップＳ４７〜Ｓ５２）
によって構成されている。
【００７９】
ＣＰＵ６は、ユーザが鍵盤２ａ２をタッチ操作している状態であるかどうかを、入力用バッファにノートナンバがストアされているかどうかによって判定している（ステップＳ４１）。この判定の結果、入力用バッファにノートナンバがストアされている場合、つまり、ユーザが鍵盤２ａ２をタッチ操作している状態である場合には、ＣＰＵ６は処理を上記（５１）第１の入力位置指定処理に進める（ステップＳ４１→Ｓ４２）一方、入力用バッファにノートナンバがストアされていない場合、つまり、ユーザが鍵盤２ａ２をタッチ操作していない状態である場合には、ＣＰＵ６は処理を上記（５２）第２の入力位置指定処理に進める（ステップＳ４１→Ｓ４７）。
【００８０】
（５１）第１の入力位置指定処理では、まずＣＰＵ６は、タッチ位置の座標から、ルーラ２ａ３の複数のグリッドのうち、当該タッチ位置に最も近い（最寄りの）グリッドを判定する（ステップＳ４２）。ここで、最寄りのグリッドの判定は、たとえば、タッチ位置のｘ座標が、ルーラ２ａ３上の各グリッドがそれぞれ占める領域（横軸（ｘ軸）方向の領域）のうちのどの領域に含まれるかを判定することによって行えばよいが、隣接するグリッドの境界近傍がタッチされた場合には、そのタッチ位置が前のグリッドに含まれていたとしても、ユーザは後のグリッドを選択したとして、後のグリッドを最寄りのグリッドとするなどの例外処理を行う必要がある。
【００８１】
次にＣＰＵ６は、判定されたグリッド（を特定する情報、たとえばグリッド番号）を入力終了位置としてセットし（ステップＳ４３）、入力開始位置から入力終了位置までのルーラ２ａ３の表示態様を変更する（ステップＳ４４）。これにより、前記図３（ｃ）のように、ルーラ２ａ３上に短冊状表示２ａ７が現れる。
【００８２】
さらにＣＰＵ６は、タッチ位置の移動があるかどうかを判定し（ステップＳ４５）、タッチ位置の移動があれば、前記図７のステップＳ２４と同様に、処理を上記ステップＳ４２に戻して、移動後のタッチ位置の座標から最寄りのグリッドを再判定し、それに応じて上記短冊状表示２ａ７の横辺の長さを変更する（ステップＳ４４）。そして、ユーザがタイミング指定部（五線譜２ａ１＋ルーラ２ａ３）から指を離す（リリースする）まで、ステップＳ４５の判定処理を繰り返すようにしている（ステップＳ４５→Ｓ４６）。
【００８３】
（５２）第２の入力位置指定処理では、まずＣＰＵ６は、タッチ位置の座標から最寄りのグリッドとノートナンバを判定する（ステップＳ４７）。最寄りのグリッドの判定は、前記ステップＳ４２で説明した判定方法と同様の方法を用いればよいので、その説明を省略する。ノートナンバの判定は、たとえば、タッチ位置のｙ座標と五線譜２ａ１内の各音高のｙ座標とを比較し、その差分が最も小さいｙ座標を持つ音高に対応するノートナンバを目的のノートナンバと判定するようにすればよい。次にＣＰＵ６は、判定されたグリッド（を特定する情報、たとえばグリッド番号）を前記入力開始位置としてセットし（ステップＳ４８）、判定されたグリッド（の先頭）にカーソルＣを表示し（ステップＳ４９）、判定されたノートナンバに対応する鍵が鍵盤の中央付近に来るように鍵盤２ａ２の表示を制御する（ステップＳ５０）。さらにＣＰＵ６は、前記ステップＳ４５およびＳ４６の処理と同様の処理を行う（ステップＳ５１およびＳ５２）。
【００８４】
なお、前記ステップＳ４５およびＳ５１の各判定処理では、タッチ位置の移動を、その移動量の大小に拘わらず検出し、その検出に従って処理を繰り返すようにしているが、現在判定されているグリッドを変える量のタッチ位置の移動（ドラッグ操作）があった場合にのみ、“ＹＥＳ”と判定して処理を繰り返すようにしてもよい。ユーザは指を動かしていないつもりでも、実際にはわずかに揺れているので、そのわずかな揺れをタッチ位置の移動と検出すれば、その検出の度に処理が繰り返されることになって、この無駄な処理により制御処理全体の動作が重くなってしまうからである。
【００８５】
また本実施の形態では、タッチ位置の移動はタイミング指定部（五線譜２ａ１＋ルーラ２ａ３）内に限られ、タイミング指定部外へ出ることを想定していないが、タイミング指定部外へ出た場合には、ユーザがタッチ位置の移動（ドラッグ操作）のためにタッチしている指をタイミング指定部から離した（リリースした）とみなして、前記ステップＳ４６およびＳ５２の各判定処理により、本入力位置指定処理＃１を終了してもよいし、タッチ操作自体（ドラッグ操作だけではなく、その前のタッチ操作も含むという意味）のキャンセルとみなして、それまでに実行された入力開始位置（および入力終了位置）の設定をすべてクリアした後、本入力位置指定処理＃１を終了してもよい。その際に、タッチ位置がタイミング指定部外に出た旨のメッセージを表示させたり、警告音を発生させたりしてもよい。
【００８６】
図９は、前記（３１）の入力音符指定処理のうち、ピアノロール表示画面２ｂが選択されている場合に実行される入力音符指定処理＃２の詳細な手順を示すフローチャートである。図９中、図７と同様の処理を行うステップには同一のステップ番号を付している。
【００８７】
本入力音符指定処理＃２が起動される場合は、前記図４で前述したように、ユーザが鍵盤部２ｂ１に対してタッチ操作またはドラッグ操作を行った場合である。つまり、図９のステップＳ２１〜Ｓ２５，Ｓ３２およびＳ３３′の処理と、図７のステップＳ２１〜Ｓ２５，Ｓ３２およびＳ３３の処理とは、処理の文言はほとんど変わらないが、前者の処理が、鍵盤部２ｂ１についてのユーザ操作に関するものであるのに対して、後者の処理は、鍵盤２ａ２についてのユーザ操作に関するものである点が異なっている。しかし、前者の処理は、後者の処理を類推適用すれば容易に理解できるので、その説明を省略する。
【００８８】
ステップＳ３３′の処理が終了すると、ＣＰＵ６は、図１０を用いて後述する入力位置指定処理＃２が実行中であるかどうかを判定する（ステップＳ１０１）。この判定の結果、入力位置指定処理＃２が実行中であれば、ＣＰＵ６は、入力位置指定処理＃２においてセットされた入力開始位置および入力終了位置をそれぞれクリアし（ステップＳ１０２）、後述する図１０のステップＳ１１５で変更されたノート表示部２ｂ２の表示態様を元に戻した（ステップＳ１０３）後、本入力音符指定処理＃２を終了する一方、入力位置指定処理＃２が実行中でなければ、ＣＰＵ６は、直ちに本入力音符指定処理＃２を終了する（ステップＳ１０１→リターン）。
【００８９】
図１０は、前記（３２）の入力位置指定処理のうち、ピアノロール表示画面２ｂが選択されている場合に実行される入力位置指定処理＃２の詳細な手順を示すフローチャートである。図１０中、図８と同様の処理を行うステップには同一のステップ番号を付している。
【００９０】
本入力位置指定処理＃２は、主として
（６１）前記入力音符指定処理＃２によって指定された音高のノート（音符）を、ノート表示部２ｂ２上、ユーザが指定した位置に最小単位の音符長で入力する第１のノート入力処理（ステップＳ１１９）
（６２）前記入力音符指定処理＃２によって指定された音高のノート（音符）を、ノート表示部２ｂ２上、ユーザが指定した位置に最小単位より長い音符長で入力する第２のノート入力処理（ステップＳ１２２）
によって構成されている。
【００９１】
そして、上記（６１）の第１のノート入力処理は、ユーザによる次の操作のいずれかを経て実行される。すなわち、
（６１ａ）鍵盤部２ｂ１をタッチしている状態で、ノート表示部２ｂ２をタッチした後、そのタッチ状態を解除（リリース）した場合（ステップＳ４１→Ｓ４２′→Ｓ１１０→Ｓ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７→Ｓ１１９）
（６１ｂ）鍵盤部２ｂ１をタッチしている状態で、ノート表示部２ｂ２をタッチし、そのタッチ状態を保持しながらドラッグ操作をした後、そのドラッグ状態を解除（リリース）した場合（ただし、ドラッグ操作によっても次のグリッドが選択されなかった場合）（ステップＳ４１→Ｓ４２′→Ｓ１１０→Ｓ１１１→Ｓ１１２→Ｓ１１３→Ｓ１１４→Ｓ１１５→Ｓ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７→Ｓ１１８→Ｓ１１９）
（６１ｃ）鍵盤部２ｂ１をタッチしていない状態で、ノート表示部２ｂ２をタッチし、そのタッチ状態を保持しながら続いて鍵盤部２ｂ１をタッチした後、ノート表示部２ｂ２のタッチ状態を解除（リリース）した場合（ステップＳ４１→Ｓ１２３→上記（６１ａ）のＳ４２′へ）
である。
【００９２】
また、上記（６２）の第２のノート入力処理は、ユーザによる次の操作のいずれかを経て実行される。すなわち、
（６２ａ）鍵盤部２ｂ１をタッチしている状態で、ノート表示部２ｂ２をタッチし、そのタッチ状態を保持しながらドラッグ操作をした後、そのドラッグ状態を解除（リリース）した場合（ステップＳ４１→Ｓ４２′→Ｓ１１０→Ｓ１１１→Ｓ１１２→Ｓ１１３→Ｓ１１４→Ｓ１１５→Ｓ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７→Ｓ１１８→Ｓ１２２）
（６２ｂ）ユーザが鍵盤部２ｂ１をタッチしていない状態で、ノート表示部２ｂ２をタッチし、そのタッチ状態を保持しながら続いて鍵盤部２ｂ１をタッチした後、ノート表示部２ｂ２上でドラッグ操作をしてからそのドラッグ状態を解除（リリース）した場合（ステップＳ４１→Ｓ１２３→上記（６２ａ）のＳ４２′へ）
である。
【００９３】
ユーザが前記（６１ａ）の一連の操作をした場合、鍵盤部２ｂ１がタッチ状態であることにより、入力用バッファにはノートナンバがストアされている（前記図９のステップＳ２２を参照）ので、まずＣＰＵ６は、タッチ位置の座標から、ノート表示部２ｂ２の複数のグリッド列のうち、当該タッチ位置に最も近い（最寄りの）グリッド列を判定する（ステップＳ４１→Ｓ４２′）。グリッド列は、前記図８のフローチャート中に記載の「グリッド」に相当し、最寄りのグリッド列の判定方法は、最寄りの「グリッド」の判定方法を適用すればよいので、その説明を省略する。
【００９４】
次にＣＰＵ６は、判定されたグリッド列（を特定する情報、たとえばグリッド列番号）を入力開始位置としてセットする（ステップＳ１１０）。そして、この（６１ａ）の一連の操作では、入力用バッファ内には有効なノートナンバがストアされており、ドラッグ操作がされずにノート表示部２ｂ２へのタッチ操作が解除されたために入力終了位置はセットされていないので、ＣＰＵ６は、処理をステップＳ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７→Ｓ１１９と進めることで、前記（６１）第１のノート入力処理、つまり入力用バッファにストアされている、少なくとも１つのノートナンバに対応するノートを、入力開始位置から１グリッド分の音符長で入力する処理を実行する。これにより、前記図４（ｂ）に示すように、判定されたグリッド列に属する複数のグリッドのうち、選択された音高に対応する、少なくとも１つ（図示例では、３つ）のグリッドにノートが最小単位の音符長で入力される。
【００９５】
なお、上記ステップＳ１１１では、入力用バッファがクリアされたかどうかを判定しているが、これは、ユーザがノート表示部２ｂ２をタッチ中（ドラッグ中も含む）に、鍵盤部２ｂ１へのタッチ状態を解除したかどうかを判定するものである（前記図９のステップＳ２５→Ｓ３２）。本実施の形態では、ノート表示部２ｂ２へのノートの入力は、ユーザが鍵盤部２ｂ１に対するタッチ状態を保持しながら、ノート表示部２ｂ２へのタッチおよびリリースを行ったときになされるからである。ステップＳ１１１の判定で、入力用バッファがクリアされたときには、ＣＰＵ６は、処理を後述するステップＳ１２３に進め、入力用バッファにノートナンバがストアされるまで、つまり、ユーザが鍵盤部２ｂ１に対して再度タッチ操作を行うまで、待機する。
【００９６】
また、上記ステップＳ１１６では、ノート表示部２ｂ２へのタッチ状態が解除（リリース）されたかどうかを判定しているが、これは、ユーザがノート表示部２ｂ２へのノートの入力を指示したかどうかを判定するものである。ステップＳ１１６の判定で、タッチ状態が解除されなければ、現在の操作状態は、タッチ状態が継続中、あるいはドラッグ中であるので、ＣＰＵ６は、処理を前記ステップＳ１１１に戻している。
【００９７】
ユーザが前記（６２ａ）の一連の操作をした場合、ＣＰＵ６は、処理をステップＳ４１→Ｓ４２′→Ｓ１１０→Ｓ１１１→Ｓ１１２と進める。このステップＳ４１，Ｓ４２′，Ｓ１１０およびＳ１１１の処理は既に説明したので、ここでは繰り返さない。この（６２ａ）の一連の操作で、ユーザはドラッグ操作を行っているので、ＣＰＵ６は、前記ステップＳ４２′と同様にして、移動（ドラッグ操作）後のタッチ位置の座標から最寄りのグリッド列を判定し（ステップＳ１１２→Ｓ１１３）、判定されたグリッド列（を特定する情報、たとえばグリッド列番号）を入力終了位置としてセットした（ステップＳ１１４）後、ノート表示部２ｂ２上、入力開始位置から入力終了位置までの表示領域の表示態様を変更する（ステップＳ１１５）。これにより、前記図４（ｄ）のように、入力開始位置から入力終了位置までの表示領域（図示例では、グリッド列Ｒ３〜Ｒ６の領域）の色が変わる。ドラッグ操作が終了して、ユーザがそのタッチ状態を解除すると、ＣＰＵ６は、処理をステップＳ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７と進める。このステップＳ１１１，Ｓ１１２およびＳ１１６の処理は既に説明したので、ここでは繰り返さない。前記ステップＳ１１４の処理により、入力終了位置には有効なグリッド列がセットされ、しかもこの（６２ａ）の一連の操作では、入力終了位置と入力開始位置とは異なっているので、ＣＰＵ６は、処理をステップＳ１１７→Ｓ１１８→Ｓ１２２と進めることで、前記（６２）第２のノート入力処理、つまり入力用バッファにストアされている、少なくとも１つのノートナンバに対応するノートを、入力開始位置から入力終了位置までの音符長で入力する処理を実行する。これにより、前記図４（ｄ）のように、入力開始位置から入力終了位置までの複数（図示例では、４列）のグリッド列に属する複数のグリッド行のうち、選択された音高に対応する、少なくとも１行（図示例では、３行）のグリッドにノートが最小単位×列数の音符長で入力される。
【００９８】
ユーザが前記（６１ｂ）の一連の操作をした場合、ＣＰＵ６は、処理をステップＳ４１→Ｓ４２′→Ｓ１１０→Ｓ１１１→Ｓ１１２→Ｓ１１３→Ｓ１１４→Ｓ１１５→Ｓ１１１→Ｓ１１２→Ｓ１１６→Ｓ１１７→Ｓ１１８と進める。このステップＳ４１→（中略）→Ｓ１１７の処理は既に説明したので、ここでは繰り返さない。この（６１ｂ）の一連の操作では、入力開始位置と入力終了位置とが同じであるので、ＣＰＵ６は、処理をステップＳ１１８→Ｓ１１９と進めて、前記（６１）第１のノート入力処理を実行する。この（６１）第１のノート入力処理も既に詳述したので、これ以上繰り返さない。
【００９９】
ユーザが前記（６１ｃ）の一連の操作をした場合、鍵盤部２ｂ１が非タッチ状態であることにより、入力用バッファにはノートナンバがストアされていないので、ＣＰＵ６は、入力用バッファにノートナンバがストアされるまで、つまり、ユーザが鍵盤部２ｂ１に対してタッチ操作を行うまで、ノート表示部２ｂ２へのタッチ状態が解除されたかどうかを監視しながら、待機する（ステップＳ４１→Ｓ１２３→Ｓ１２４→Ｓ１２３）。ここで、鍵盤部２ｂ１が非タッチ状態である間に、ノート表示部２ｂ２へのタッチ状態が解除されると、ＣＰＵ６は、本入力位置指定処理＃２を直ちに終了する（ステップＳ１２４→リターン）。この（６１ｃ）の一連の操作では、ノート表示部２ｂ２へのタッチ状態が解除される前に、ユーザは鍵盤部２ｂ１に対してタッチ操作を行っているので、ＣＰＵ６は、処理をステップＳ１２３→Ｓ４２′と進める。ステップＳ４２′以降の処理は、前記（６１ａ）の一連の操作をした場合の処理と同様であるので、その説明を省略する。
【０１００】
ユーザが前記（６２ｂ）の一連の操作をした場合の処理は、前記（６１ｃ）の一連の操作をした場合の処理の一部（ステップＳ１２３およびＳ１２４の処理）に、前記（６２ａ）の一連の操作をした場合の処理の一部（ステップＳ４２′以降の処理）を組み合わせたものであり、両処理については詳述したので、これ以上繰り返さない。
【０１０１】
なお、前記（６１）第１および（６２）第２のノート入力処理が終了すると、ＣＰＵ６は、入力開始位置および入力終了位置をクリアする（ステップＳ１２０）とともに、前記ステップＳ１１５の処理によって変更された、ノート表示部２ｂ２上の表示領域の表示態様を元に戻している（ステップＳ１２１）。
【０１０２】
図１１は、前記（３３）の操作に応じた処理＃１の詳細な手順を示すフローチャートである。
【０１０３】
本操作に応じた処理＃１が起動されると、まずＣＰＵ６は、ユーザが行った操作の種類を判定する（ステップＳ６１）。本操作に応じた処理＃１が起動される場合は、ノート入力用画像上におけるユーザ操作が検出された場合であり、そのユーザ操作には、本実施の形態では前述のように、長押し操作、スワイプ操作、ピンチ操作、回転操作（回転指示を行う操作）、タッチ操作およびドラッグ操作の６種類が少なくとも含まれている。このうち、タッチ操作およびドラッグ操作は、前記図６のステップＳ６およびＳ８で除外されているので、上記ステップＳ６１では、ユーザ操作として、長押し操作、スワイプ操作、ピンチ操作または回転操作のいずれかが判定される。そして、スワイプ操作は「スクロール」指示に、ピンチ操作は「拡大縮小」指示に、回転操作は「回転」指示に、それぞれ対応し、長押し操作はこれら以外の指示に対応する。したがって、ユーザ操作が、スワイプ操作、ピンチ操作または回転操作のいずれかと判定されたときには、ＣＰＵ６は、処理をステップＳ６２→Ｓ６３と進める一方、ユーザ操作が長押し操作と判定されたときには、ＣＰＵ６は、処理をステップＳ６２→Ｓ６６と進める。
【０１０４】
ステップＳ６３では、ＣＰＵ６は、ユーザ操作に基づいて操作量を検出する。操作量は、操作の種類に応じて異なり、スワイプ操作では、スクロールの「移動量」を検出し、ピンチ操作では、拡大縮小の「拡大（縮小）率」を検出し、回転操作では、回転の「回転角」を検出する。なお、スワイプ操作では、スクロールの移動量だけでなく、移動速度も検出するようにしてもよい。また、本実施の形態では前述のように、各表示部品を回転させる場合、回転中心は表示部品毎に固定点としたので、ユーザによる回転操作は、回転角を決定するために利用される。もちろん、これに限らず、回転中心もユーザが自由に設定できるようにしてもよい。
【０１０５】
次にＣＰＵ６は、検出された操作量に応じて、対象となる表示部品の表示状態を変更する（ステップＳ６４）。具体的には、「スクロール」が指示された場合には、当該表示部品を検出された移動量だけスクロールさせ、「拡大縮小」が指示された場合には、当該表示部品を検出された拡大（縮小）率だけ拡大縮小させ、「回転」が指示された場合には、当該表示部品を検出された回転角だけ回転させる。
【０１０６】
さらにＣＰＵ６は、検出された操作量に応じて、対象となる表示部品の座標設定を変更する（ステップＳ６５）。本実施の形態では、各表示部品にはそれぞれ独立した座標が設定されており、上記ステップＳ６５の処理では、対象となる表示部品に設定された座標を検出された操作量に応じて変更している。たとえば「回転」が指示された場合、上記ステップＳ６４の処理によって当該表示部品を回転させるとともに、その回転量に合わせて当該表示部品の座標も回転させておく。これにより、ユーザが表示部品上の同じ位置をタッチすれば、回転前か回転後かに拘わらず、得られる座標値は同じになるので、表示部品の表示状態が変動したとしても、ユーザは違和感なく操作できる。
【０１０７】
一方、ステップＳ６６では、ＣＰＵ６は、当該操作に応じた処理を実行する。本実施の形態では、当該操作とは、上述のように「長押し操作」のみであるが、この長押し操作がなされると、ＣＰＵ６は、前記図２（ｂ）で説明したように、その操作位置に応じてメニュー２ａ５または２ａ６をポップアップ表示する。
【０１０８】
なお本実施の形態では、入力音符（ノート）の音高を指定するための楽器種として、鍵盤楽器を例に挙げて本発明を説明したが、これに限らず、ギターやドラムセットなどの他の楽器に対しても本発明を適用することができる。ギターを採用した場合には、五線譜表示画面２ａの五線譜２ａ１はタブ譜とし、鍵盤２ａ２はフレット画像とすればよい。ピアノロール表示画面２ｂの鍵盤部２ｂ１もフレット画像とすればよいが、ノート表示部２ｂ２はそのまま変更する必要はない。また、ドラムセットを採用した場合には、五線譜表示画面２ａの五線譜２ａ１はドラム譜とし、鍵盤２ａ２はドラムセットを構成する各種ドラム画像とすればよい。ピアノロール表示画面２ｂの鍵盤部２ｂ１も各種ドラム画像とするか、あるいはドラムセットを構成するドラム種の名称を並べたものとすればよいが、ノート表示部２ｂ２はそのまま変更する必要はない。
【０１０９】
また本実施の形態では、五線譜２ａ１上におけるタッチ位置に応じて鍵盤２ａ２がスクロールするようにしたが、これに限らず、たとえば、初期状態では楽器の全体像を表示させておき、五線譜上におけるタッチ位置に応じた音高付近の鍵域が拡大表示されるようにしてもよい。要するに、楽譜上で音高を指定したときに、対応する鍵盤（またはギターの弦やフレット）がすぐに操作できるように、鍵盤の表示を変化させるものであればよい。
【０１１０】
さらに本実施の形態では、五線譜表示画面２ａでもピアノロール表示画面２ｂでも、グリッドを表示するようにしたが、これに限らず、グリッドを表示しないモードを備えるようにし、このモードが選択された場合、グリッドを表示しないようにしてもよい。これにより、ユーザは最小入力単位に拘らず、音符（ノート）を入力することができる。この場合、装置内部では、たとえば６４分音符長のような細かいグリッドを持つようにし、そのグリッドを画面上に表示しないだけである。グリッドの単位は、本実施の形態では音符長としたが、これに限らず、ＭＩＤＩのクロックや、μｓｅｃのような時間などを採用してもよい。
【０１１１】
また本実施の形態では、前記図４（ｂ），（ｃ）および図９のステップＳ２５，Ｓ３２，Ｓ３３′のように、ユーザは指を鍵盤部２ｂ１にタッチさせながら（タッチ状態を維持したまま）、別の指をノート表示部２ｂ２にタッチしてリリースしたときに、ノートが入力されるようにしたが、これに限らず、ユーザが鍵盤部２ｂ１へのタッチをリリースした後も、別の鍵にタッチしたり、別途設けられた選択解除スイッチを操作したりするまで、鍵盤部２ｂ１へのタッチによる音高の選択状態が維持されるようにし、この音高の選択状態で、ユーザがノート表示部２ｂ２へタッチしてリリースしたときも、ノートが入力されるようにしてもよい。
【０１１２】
さらに本実施の形態では、前記図４（ｄ）のように、ドラッグ操作によって音符長を指定する際には、常に入力終了位置が入力開始位置より右側（時間が経過する方向）に来るように操作し、逆方向に操作することを想定していないが、逆方向に操作した場合には、入力開始位置と入力終了位置とを比較し、時間的に早い方を入力開始位置とみなし、もう一方を入力終了位置とみなすことで、ドラッグ範囲の音符長が指定されるようにした方が好ましい。
【０１１３】
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【０１１４】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１５】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【０１１６】
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１１７】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【符号の説明】
【０１１８】
２…タッチパネルディスプレイ，５…表示回路（表示手段），６…ＣＰＵ（表示手段、第１の判定手段、制御手段、第２の判定手段、入力手段、進行手段、設定手段）
【特許請求の範囲】
【請求項１】
多点認識機能を備えたタッチパネルディスプレイと、
前記タッチパネルディスプレイに譜面画像および楽器画像を表示する表示手段と、
ユーザが前記タッチパネルディスプレイ上に表示された譜面画像をタッチしたときに、そのタッチ位置に基づいて、該タッチ位置が示す譜面画像上の音高、および音符の時間方向の入力位置を判定する第１の判定手段と、
前記第１の判定手段によって判定された音高に応じて、前記タッチパネルディスプレイ上に表示された楽器画像の表示状態を変動させるように前記表示手段を制御する制御手段と、
ユーザが前記制御手段によって表示状態の変動された楽器画像をタッチしたときに、そのタッチ位置の音高を判定する第２の判定手段と、
前記第２の判定手段によって判定された音高の音符を、前記第１の判定手段によって判定された時間方向の入力位置に入力する入力手段と
を有することを特徴とする電子音楽装置。
【請求項２】
前記入力手段によって音符が入力されたときに、前記音符の時間方向の入力位置を次の入力位置に進行させる進行手段をさらに有することを特徴とする請求項１に記載の電子音楽装置。
【請求項３】
ユーザが前記楽器画像をタッチしながら、前記譜面画像上、現在の音符の時間方向の入力位置である第１の位置とは異なる第２の位置をタッチすると、前記第１の位置と前記第２の位置との間隔に応じた音符長を、前記入力手段によって入力される音符の音符長として設定する設定手段をさらに有することを特徴とする請求項１または２に記載の電子音楽装置。
【請求項４】
多点認識機能を備えたタッチパネルディスプレイを備えた電子音楽装置を制御する制御方法をコンピュータに実行させるプログラムであって、
前記制御方法は、
前記タッチパネルディスプレイに譜面画像および楽器画像を表示させる表示ステップと、
ユーザが前記タッチパネルディスプレイ上に表示された譜面画像をタッチしたときに、そのタッチ位置に基づいて、該タッチ位置が示す譜面画像上の音高、および音符の時間方向の入力位置を判定する第１の判定ステップと、
前記第１の判定ステップによって判定された音高に応じて、前記タッチパネルディスプレイ上に表示された楽器画像の表示状態を変動させるように前記表示ステップを制御する制御ステップと、
ユーザが前記制御ステップによって表示状態の変動された楽器画像をタッチしたときに、そのタッチ位置の音高を判定する第２の判定ステップと、
前記第２の判定ステップによって判定された音高の音符を、前記第１の判定ステップによって判定された時間方向の入力位置に入力する入力ステップと
を有することを特徴とするプログラム。
【請求項１】
多点認識機能を備えたタッチパネルディスプレイと、
前記タッチパネルディスプレイに譜面画像および楽器画像を表示する表示手段と、
ユーザが前記タッチパネルディスプレイ上に表示された譜面画像をタッチしたときに、そのタッチ位置に基づいて、該タッチ位置が示す譜面画像上の音高、および音符の時間方向の入力位置を判定する第１の判定手段と、
前記第１の判定手段によって判定された音高に応じて、前記タッチパネルディスプレイ上に表示された楽器画像の表示状態を変動させるように前記表示手段を制御する制御手段と、
ユーザが前記制御手段によって表示状態の変動された楽器画像をタッチしたときに、そのタッチ位置の音高を判定する第２の判定手段と、
前記第２の判定手段によって判定された音高の音符を、前記第１の判定手段によって判定された時間方向の入力位置に入力する入力手段と
を有することを特徴とする電子音楽装置。
【請求項２】
前記入力手段によって音符が入力されたときに、前記音符の時間方向の入力位置を次の入力位置に進行させる進行手段をさらに有することを特徴とする請求項１に記載の電子音楽装置。
【請求項３】
ユーザが前記楽器画像をタッチしながら、前記譜面画像上、現在の音符の時間方向の入力位置である第１の位置とは異なる第２の位置をタッチすると、前記第１の位置と前記第２の位置との間隔に応じた音符長を、前記入力手段によって入力される音符の音符長として設定する設定手段をさらに有することを特徴とする請求項１または２に記載の電子音楽装置。
【請求項４】
多点認識機能を備えたタッチパネルディスプレイを備えた電子音楽装置を制御する制御方法をコンピュータに実行させるプログラムであって、
前記制御方法は、
前記タッチパネルディスプレイに譜面画像および楽器画像を表示させる表示ステップと、
ユーザが前記タッチパネルディスプレイ上に表示された譜面画像をタッチしたときに、そのタッチ位置に基づいて、該タッチ位置が示す譜面画像上の音高、および音符の時間方向の入力位置を判定する第１の判定ステップと、
前記第１の判定ステップによって判定された音高に応じて、前記タッチパネルディスプレイ上に表示された楽器画像の表示状態を変動させるように前記表示ステップを制御する制御ステップと、
ユーザが前記制御ステップによって表示状態の変動された楽器画像をタッチしたときに、そのタッチ位置の音高を判定する第２の判定ステップと、
前記第２の判定ステップによって判定された音高の音符を、前記第１の判定ステップによって判定された時間方向の入力位置に入力する入力ステップと
を有することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−３７２３７（Ｐ２０１３−３７２３７Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７４１８２（Ｐ２０１１−１７４１８２）
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]