画像生成装置、画像生成方法及びそのプログラム、並びに演奏支援装置、演奏支援方法及びプログラム
【課題】楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする。
【解決手段】CPUは、所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する。CPUは、楽音データに基づいて、所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成する。CPUは、第1の軸と第3の軸とを一致させて時間軸として、時間軸、第2の軸、及び第4の軸から構築される3次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する。
【解決手段】CPUは、所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する。CPUは、楽音データに基づいて、所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成する。CPUは、第1の軸と第3の軸とを一致させて時間軸として、時間軸、第2の軸、及び第4の軸から構築される3次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成する画像生成装置、画像生成方法及びそのプログラム、並びに演奏支援装置、演奏支援方法及びプログラムに関する。
【背景技術】
【0002】
従来より、ピアノ等の鍵盤楽器においては、音高に合わせて鍵盤が配列されている。楽器の演奏に使用される楽譜は、縦方向に音高があり、横方向が時間を示すように構成されており、鍵盤の配列とは一致していないために、楽譜に不慣れな初学者には、楽譜から直接演奏することは困難であった。
【0003】
近年、コンピュータ音楽では、シーケンスソフト上での演奏情報を視覚化するものとして、楽譜の表示に並んでピアノロールを表示に転用した表示が用いられることがある。ピアノロールとは、元々、オルガン式オルゴールや自動ピアノに取り付けて使用する紙製のロールのことで、演奏情報が紙に穿孔されており、このピアノロールに空気圧をかけ、穿孔部を通してハンマー等を動作させることでピアノ等を自動演奏することができる。
【0004】
このようなピアノロールを転用した表示(以下、ピアノロールの表示)を用いることで、鍵盤と楽音との配列関係が一致するために、初学者においても直感的に楽音の変化を認識しやすく、楽譜よりも理解が容易になる。
上述したようなピアノロールの表示を行う技術としては、特許文献1に記載のものが知られている。この特許文献1に記載の技術では、演奏するタイミングに合わせて、ピアノロール表示がスクロールするように構成されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第4151779号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、ピアノロールの表示を用いて、鍵盤の練習を行っていても、押鍵操作の練習にはなるが、最終的に、楽譜を用いて演奏をする場合には、結局のところ鍵盤の配列と不一致な楽譜での練習を行うために、楽譜への理解は、また別途行う必要がある。
そこで、鍵盤楽器の演奏支援を行うものとして、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的に習得できるような表示が求められている。
【0007】
本発明は、このような状況に鑑みてなされたものであり、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成する画像生成装置、演奏支援装置、画像生成方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の一態様の画像生成装置は、所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段と、を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成することができる。
【図面の簡単な説明】
【0010】
【図1】本発明における表示装置の一実施形態に係る電子ピアノの外観を示す図である。
【図2】図1の電子ピアノのハードウェアの構成を示すブロック図である。
【図3】ガイド表示画面に表示されるガイド表示画像の一例を示す模式図である。
【図4】楽譜側画像の生成を説明するための図である。
【図5】ピアノロール側画像の生成を説明するための図である。
【図6】ガイド表示画像の表示のタイミングの一例を示す模式図である。
【図7】図2の電子ピアノが実行するメイン処理の流れを説明するフローチャートである。
【図8】図2の電子ピアノが実行するステップS3のガイド表示画像生成処理の流れを説明するフローチャートである。
【図9】図2の電子ピアノが実行するステップS4のガイド表示画像表示処理の流れを説明するフローチャートである。
【図10】図2の電子ピアノが実行するステップS5の鍵盤処理の流れを説明するフローチャートである。
【図11】ガイド表示画面に表示されるガイド表示画像の他の例を示す模式図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、図面を用いて説明する。
【0012】
図1は、本発明における演奏支援装置の一実施形態に係る電子ピアノ1の外観を示す図である。
電子ピアノ1は、図1に示すように、鍵盤11と、スイッチ12と、表示部13と、音響14と、を備える。
鍵盤11は、ピアノ式鍵盤であり、複数の鍵が並行に配列されている。鍵盤11は、押鍵操作されることにより、対応する音を音響14から発するように構成された入力手段である。
スイッチ12は、例えば、電源のオン・オフ、自動演奏等のモード変更、各種機能の付加・変更等を行う。
表示部13は、例えば、各種機能の設定画面を表示したり、後述するガイド表示画像を画面表示したり、各種の表示を行う。
音響14は、例えば、押鍵操作やスイッチ12の操作等の各種操作、楽曲の再生音等を出力する。
【0013】
図2は、このような電子ピアノ1のハードウェアの構成を示すブロック図である。
電子ピアノ1は、図2に示すように、上述した鍵盤11と、スイッチ12と、表示部13と、音響14に加えて、CPU(Central Processing Unit)15と、ROM(Read Only Memory)16と、RAM(Random Access Memory)17と、音源18と、ドライブ19とを備える。
【0014】
CPU15は、ROM16に記録されているプログラム、後述するリムーバブルメディア21又は、図示しない記憶部からRAM17にロードされたプログラムに従って各種の処理を実行する。
【0015】
RAM17には、CPU15が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0016】
CPU15、ROM16及びRAM17は、図示しないバスを介して相互に接続されている。このバスにはまた、図示しない入出力インターフェースも接続されている。入出力インターフェースには、スイッチ12、表示部13、音響14及びドライブ19が接続されている。
【0017】
音源18は、種々の音源18を保存しており、データをアナログ信号に変換する音声処理して、音響14に供給する。
ドライブ19には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ19によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて図示しない記憶部にインストールされる。
【0018】
リムーバブルメディア21は、図示しない記憶部に記憶されている画像のデータ等の各種データも、図示しない記憶部と同様に記憶することができる。
【0019】
このように構成される電子ピアノ1においては、図1に示すように、楽譜の読み取りと押鍵の習得に供する、所定の楽曲のガイド表示画像を生成及び表示を行う機能を有する。詳細には、電子ピアノ1では、習得を行う楽曲の楽譜画像とピアノロール画像を同一画像内に配置し、かつ、楽譜とピアノロールを3次元的な構図となる画像を生成し、表示部13での表示を行う機能を有する。
【0020】
ここで、「楽譜画像」とは、楽曲を記譜法に則って演奏記号や符号を使って記号化し、時間軸と音階を表す五線譜上に当該演奏記号や符号を配置した画像である。
また、「ピアノロール画像」とは、楽曲をピアノロールの表示方法に則って、対応する鍵盤11上に演奏する音を配置した画像である。なお、楽曲とは、複数の楽音により構成される音楽をいう。
【0021】
図3は、ガイド表示画像が表示された画面の一例を示す模式図である。詳細には、図3(a)は、表示部13に表示されるガイド表示画像の一例を示す図である。
上述した機能を有する電子ピアノ1の表示部13では、図3(a)に示すようなガイド表示画像が表示される。なお、図3(a)の例では、ピアノロール画像におけるハッチングは、鍵盤11のうち、左方の楽譜画像において音符等で表わされる楽音に対応する鍵を示している。
ここで、図3(a)のガイド表示画像は、押鍵の練習を行うときに、押鍵する楽音を表示して押鍵をガイドする画像である。また、ガイド表示画像は、楽譜と鍵盤との対応関係を段階的に習得するために用いる画像である。
このようなガイド表示画像は、演奏する楽曲の楽譜と、ピアノロールとが対応するように1つの画像内に配置し、かつ、楽譜画像とピアノロール画像とが単に2次元平面上に並べて配置されている画像ではなく、楽譜画像とピアノロール画像との各々が仮想的な3次元空間内で直交する2つの平面上のそれぞれに配置された構図の画像である。これにより、ガイド表示画像では、ユーザが、図3(a)のガイド表示画像を視認することで、あたかも、楽譜が壁面に描かれたようにイメージさせ、ピアノロールが床面に描かれたようにイメージさせることが容易にできる。
また、本実施形態では、図3(a)のガイド表示画像のような静止画像が時間的に連続して複数枚配置された動画像が、表示部13の表示対象となる。この動画像が表示部13に表示されると、現時点で演奏対象となる音が常に一番手前となるように、各音が奥から手前にスクロール表示され、演奏が終了した音は手前側に流れて消去されるように、演奏者に視認される。即ち、ガイド表示画像は、手前から奥に行く従って時刻が進むイメージを与えるように構成される。
なお、以下、静止画像と動画像とを個々に区別する必要が無い場合には、静止画像も動画像もまとめてガイド表示画像と呼ぶことにする。
【0022】
また、ガイド表示画像は、演奏すべき音を一番手前から順次表示し、演奏に合わせてスクロールして、演奏が終わった楽音が表示画面から流れて消えるように表示される。
図3(a)の例を用いて説明すると、演奏時点の音が一番手前の「ファ」であり、「ファ」の奥にある「レ」が次に演奏を予定する音であり、「レ」のさらに奥にある「ソ」が「レ」が次に演奏を予定する音である。このようにガイド表示画像は、演奏対象の音のみならず、演奏を予定する音を表示させておく。したがって、ユーザは、このようなガイド表示画像を視認することで、時間的に後に演奏する音まで視野に入れることができ、音の時間的変化をイメージしながら押鍵操作をしていくことができる。
【0023】
図3(b)は、図3(a)に示すガイド表示画像の構成の詳細を説明するための図である。なお、図3(b)において、X軸及びY軸は音高の高低である音高方向を示し、T軸は楽曲の進行方向を示す。
ガイド表示画像の構成は、図3(b)に示すように、ユーザからみて、左下の端点が原点「0」とされ、原点「0」から右方向がX軸の正方向(音高が高くなる方向)とされ、原点「0」から上方向がY軸の正方向(音高が高くなる方向)とされ、原点「0」から左斜め上方向が、楽譜とピアノロールで共有する時間軸となるT軸の正方向(時間の進む方向、楽曲の進行方向)とされている。即ち、ガイド表示画像は、T軸を挟むようにして配置される楽譜画像とピアノロール画像とで構成される。
楽譜を表示する部分では、Y軸を楽譜の音高方向とし、T軸を楽譜の進行方向、即ち、時間軸方向としている。一方、ピアノロール表示では、X軸を鍵盤11の音高方向とし、T軸をピアノロールの進行方向、即ち、時間軸方向としている。
なお、電子ピアノ1においては、図1に示すように、鍵盤11の中央部の奥付近に表示部13が配置されている。このため、ピアノロールの音高方向を示すX軸方向と、鍵盤11の配列方向(鍵盤11の音高方向)とが一致することになる。
【0024】
次に、図2のハードウェア構成を有する電子ピアノ1の機能的構成のうち、ガイド表示画像生成処理及びガイド表示画像表示処理に係る処理を実行するための機能的構成について説明する。
「ガイド表示画像生成処理」とは、MIDIデータ等の楽音データから表示部13に表示するガイド表示画像を生成する一連の処理である。
「ガイド表示画像表示処理」とは、ガイド表示画像生成処理で生成されたガイド表示画像を表示部13に表示する一連の処理である。
【0025】
ガイド表示画像生成処理及びガイド表示画像表示処理を実行する場合には、CPU15は以下の機能を発揮するように構成される。この際、リムーバブルメディア21には、楽音データが格納される。楽音データには、楽曲のMIDI(Musical Instrument Digital Interface)データと楽曲のMIDIデータと組み合わせることにより楽曲の楽譜を再現することができる音符等の楽譜用データが格納される。
【0026】
CPU15は、リムーバブルメディア21に格納されるMIDIデータから読み出されたSMF(Standard MIDI File)データと、楽譜用データとから楽譜データを生成する。
【0027】
ここで、楽譜データの詳細について図4(a)及び図4(b)を用いて説明する。
図4は、楽譜側画像の生成を説明するための図である。詳細には、図4(a)は楽譜側画像の生成に用いる楽譜データの一例を示す模式図である。
楽譜データは、図4(a)に示すように、「音高」、「音符」、「棒・旗」、「小節」、「タイミング」により構成される。
最初の楽音は、「ファ」であり、「音高」が「F4」であり、「音符」が「4分音符」であり、「棒」が「上」向きであり、「小節」が「001」であり、「タイミング」が「0000」である。
次の楽音は、「レ」であり、「音高」が「D4」であり、「音符」が「8分音符」であり、「棒」が「上」向きであり、「旗」が「スタート(ST)」であり、「小節」が「001」小節であり、「タイミング」が「0024」である。
次の楽音は、「ソ」であり、「音高」が「G4」であり、「音符」が「8分音符」であり、「棒」が「上」向きであり、「旗」が「エンド(ED)」であり、「小節」が「001」小節であり、「タイミング」が「0036」である。
【0028】
また、CPU15は、楽譜データに基づいて、楽譜画像を生成する。即ち、CPU15は、所定の楽曲の楽音を再現可能な楽音データ(MIDIデータ及び楽譜用データ)に基づいて、所定の時点の楽音を表す画像であって、楽曲が進む方向のT軸と音高の方向のY軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する。
【0029】
図4(b)は、楽譜画像の一例を示す模式図である。なお、図4(b)において、Y軸は音高を示し、T軸は楽曲の進行方向を示す。
CPU15は、図4(a)に示すような楽譜データに基づいて、図4(b)に示すような楽譜画像を生成する。図4(a)に示すような楽譜データに基づいて作成される楽譜画像は、詳細には、図4(b)に示すように、五線譜上に「ファ」、「レ」、「ソ」の楽音が配置された画像となる。
【0030】
また、CPU15は、楽譜画像を変換して楽譜側画像を生成する。即ち、CPU15は、楽譜画像が設けられている2次元平面について、音高方向(Y軸)の軸と楽譜の進行方向の軸(T軸)とのなす角度を変化させるように座標変換し、座標変換後の楽譜画像のデータを、楽譜側画像のデータとして生成する。
ここで、楽譜側画像の詳細について図4(c)を用いて説明する。図4(c)は、楽譜画像から楽譜側画像の生成を示す模式図である。なお、図4(c)において、Y軸は音高を示し、T軸は楽曲の進行方向を示し、Y’軸は座標変換後の音高を示し、T’は楽曲の進行方向を示す。
CPU15は、楽譜画像の角度を変更すること、即ち、座標値を変換することにより、楽譜側画像を生成する。
詳細には、CPU15は、図4(c)に示すように、時間軸方向T側の角度を、角度θ分傾斜させるように変更する。即ち、楽譜画像の直行する座標(t,y)の点から角度θを持った楽譜側画像の座標点(t’,y’)への変換を行う。つまり、(t,y)から(t’,y’)の変換式は(tcosθ,y+tsinθ)となる。
CPU15は、画像の全座標の値を変換式(tcosθ,y+tsinθ)に基づいて変換することで、図2(a)の左側に示すような楽譜側画像を生成する。
【0031】
また、CPU15は、リムーバブルメディア21に格納されるMIDIデータから読み出されたSMF(Standard MIDI File)データからピアノロールデータを生成する。
ここで、ピアノロールデータの詳細について図5(a)及び図5(b)を用いて説明する。
図5は、ピアノロール側画像の生成を説明するための図である。詳細には、図5(a)はピアノロール側画像の生成に用いるピアノロールデータの一例を示す模式図である。
ピアノロールデータは、図5(a)に示すように、「音高」、「強さ」、「ノートオン(小節)」、「ノートオン(タイミング)」、「ノートオフ(小節)」、「ノートオフ(タイミング)」により構成される。
最初の楽音は、「ファ」であり、「音高」が「F4」であり、「強さ」が「127」であり、「ノートオン(小節)」が「001」であり、「ノートオン(タイミング)」が「0000」であり、「ノートオフ(小節)」が「001」であり、「ノートオフ(タイミング)」が「0020」である。
次の楽音は、「レ」であり、「音高」が「D4」であり、「強さ」が「64」であり、「ノートオン(小節)」が「001」であり、「ノートオン(タイミング)」が「0024」であり、「ノートオフ(小節)」が「001」であり、「ノートオフ(タイミング)」が「0030」である。
次の楽音は、「ソ」であり、「音高」が「G4」であり、「強さ」が「30」であり、「ノートオン(小節)」が「001」であり、「ノートオン(タイミング)」が「0036」であり、「ノートオフ(小節)」が「001」であり、「ノートオフ(タイミング)」が「0038」である。
【0032】
また、CPU15は、ピアノロールデータに基づいて、ピアノロール画像を生成する。即ち、CPU15は、楽音データ(MIDIデータ)に基づいて、所定の時点のピアノロールを表す画像であって、楽曲の進む方向の時間方向のT軸と音高の方向のX軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成する。
【0033】
図5(b)は、ピアノロール画像の一例を示す模式図である。なお、図5(b)において、X軸は音高を示し、T軸は楽曲の進行方向を示す。
CPU15は、図5(a)に示すようなピアノロールデータに基づいて、図5(b)に示すようなピアノロール画像を生成する。
図5(a)に示すようなピアノロールデータに基づいて生成されるピアノロール画像は、図5(b)に示すように、五線譜上に「ファ」、「レ」、「ソ」の楽音が配置された画像となる。
【0034】
また、CPU15は、ピアノロール画像を変換してピアノロール側画像を生成する。即ち、CPU15は、ピアノロール画像が設けられている2次元平面について、音高方向の軸(X軸)と楽曲の進行方向の軸(T軸)とのなす角度を変化させるように座標変換し、座標変換後のピアノロール画像のデータを、ピアノロール側画像のデータとして生成する。
ここで、ピアノロール側画像の詳細について図5(c)を用いて説明する。図5(c)は、ピアノロール画像からピアノロール側画像の生成を示す模式図である。なお、図5(c)において、X軸は音高を示し、T軸は楽曲の進行方向を示し、X’軸は座標変換後の音高を示し、T’は楽曲の進行方向を示す。
CPU15は、図5(c)に示すようにピアノロール画像の角度を変更すること、即ち、座標値を変換することにより、ピアノロール側画像を生成する。
詳細には、CPU15は、図5(b)に示すように、時間軸方向T側の角度を、角度θ分傾斜させるように変更する。即ち、ピアノロール画像の直行する座標(t,y)の点から角度θを持ったピアノロール側画像の座標点(t’,y’)への変換を行う。つまり、(t,y)から(t’,y’)の変換式は(x+tcosθ,y+tsinθ)となる。
CPU15は、画像の全座標の位置を変換式(x+tcosθ,y+tsinθ)に基づいて変更することで、図2(a)の右側に示すようなピアノロール側画像を生成する。
【0035】
また、CPU15は、楽譜側画像とピアノロール側画像に基づいて、ガイド表示画像を生成する。即ち、CPU15は、楽譜画像のT軸とピアノロール画像のT軸とを一致させて時間軸として、時間軸、Y軸、及びX軸から構築される3次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
【0036】
具体的には、CPU15は、図4(c)に示す角度が変更された楽譜側画像と、図5(c)に示す角度が変更されたピアノロール側画像とを貼り合わせて、図2(a)に示すような1枚のガイド表示画像を生成する。この際、CPU15は、生成されたガイド表示画像のデータを表示に供してもよいし、リムーバブルメディア21に格納してもよい。また、ガイド表示画像は、演奏に際して楽曲全てを一度に生成してもよいし、表示に合わせて逐次生成してもよいし、予め生成したガイド表示画像をリムーバブルメディア21に格納しておいてもよい。
【0037】
また、CPU15は、ガイド表示画像のデータを表示に供する場合には、ガイド表示画像を表示するように表示部13を制御する。その結果、電子ピアノ1においては、図1に示すように、表示部13にガイド表示画像が表示される。このガイド表示画像は、ピアノロール画像の音高方向と、鍵盤の配列方向が一致するように表示される。
ここで、ガイド表示画像の表示のタイミングの例について図6を用いて説明する。図6は、ガイド表示画像の表示のタイミングの一例を示す模式図である。
ガイド表示画像は、演奏時点の楽音を順次一番手前になるように表示する。
また、ガイド表示画像は、図6に示すように、2小節分を同時に表示し、1小節分の表示が終了したら次の小節を表示させる。即ち、ガイド表示画像は、表示開始時には前面に1小節目と1小節目の後ろに2小節目とを最初に表示しており、1小節目の表示が完了した場合には、2小節目を前面に表示し、2小節目の後ろに3小節目を表示させる。その後、2小節目の表示が完了した場合には、3小節目を前面に表示し、3小節目の後ろに4小節目を表示させる。
【0038】
図7は、図2のCPU15が実行するメイン処理の流れを説明するフローチャートである。メイン処理とは、CPU15の起動から演奏や各種の機能の実行を行う一連の処理である。
【0039】
ステップS1において、CPU15は、イニシャライズ処理を行う。詳細には、CPU15は、電子ピアノ1についての各種初期設定を行う。
【0040】
ステップS2において、CPU15は、SW(Switch)処理を行う。
SW処理とは、複数の選択肢が存在するモードについて所定の選択肢を選択したり、複数の状態が存在するフラグについて初期状態を選択したりして、設定する処理をいう。
例えば、本実施形態のSW処理では、動作モードとして、「通常モード」、「練習モード」、「自動演奏モード」等とのうちユーザにより選択されたモードが設定される。
「通常モード」とは、ユーザが自由に演奏するためのモードで、鍵盤11の押鍵操作により音が出力されるモードである。
「練習モード」とは、ユーザが画面表示を見ながら演奏を練習するためのモードで、選択した楽曲のガイド表示画像が表示されると共に、表示に合わせて鍵盤11の押鍵操作を行うモードである。
「自動演奏モード」とは、ユーザが演奏を行わずに、選択した楽曲を自動で演奏するモードである。
【0041】
ステップS3において、CPU15は、ガイド表示画像生成処理を行う。ガイド表示画像生成処理の詳細については、図9を用いて、後述する。
【0042】
ステップS4において、CPU15は、ガイド表示画像表示処理を行う。ガイド表示画像表示処理の詳細については、図10を用いて、後述する。
【0043】
ステップS5において、CPU15は、鍵盤処理を行う。鍵盤処理の詳細については、図11を用いて、後述する。
【0044】
ステップS6において、CPU15は、その他の処理を行う。詳細には、CPU15は、例えば、「自動演奏モード」下においては、自動演奏処理を行う。その後処理は、ステップS2に戻る。
【0045】
図8は、図2のCPU15が実行するステップS3のガイド表示画像生成処理の流れを説明するフローチャートである。
ガイド表示画像生成処理は、ユーザによるスイッチ12へのガイド表示画像の表示操作を契機に開始する。
ステップS21において、CPU15は、楽譜データを生成する。具体的には、CPU15は、リムーバブルメディア21に格納されるMIDIデータからSMFデータを読み出し、リムーバブルメディア21に格納される楽譜用データを読み出して、SMFデータと楽譜用データから図4(a)に示すようなデータ構造を有する楽譜データを生成する。その際、CPU15は、楽譜データをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0046】
ステップS22において、CPU15は、楽譜画像を生成する。具体的には、CPU15は、図4(a)に示すようなデータ構造を有する楽譜データに基づいて、図4(b)に示すような楽譜画像を生成する。その際、CPU15は、楽譜画像のデータをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0047】
ステップS23において、CPU15は、楽譜側画像を生成する。具体的には、CPU15は、図4(c)に示すように楽譜画像の座標値を変換して、図3(a)の左側に示すような楽譜側画像を生成する。その際、CPU15は、楽譜側画像のデータをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0048】
ステップS24において、CPU15は、ピアノロールデータを生成する。具体的には、CPU15は、リムーバブルメディア21に格納されるMIDIデータからSMFデータを読み出し図5(a)に示すようなデータ構造を有するピアノロールデータを生成する。その際、CPU15は、ピアノロールデータをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0049】
ステップS25において、CPU15は、ピアノロール画像を生成する。具体的には、CPU15は、図5(a)に示すようなデータ構造を有するピアノロールデータに基づいて、図5(b)に示すような楽譜画像を生成する。その際、CPU15は、ピアノロール画像のデータをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0050】
ステップS26において、CPU15は、ピアノロール側画像を生成する。具体的には、CPU15は、図5(c)に示すようにピアノロール画像の座標値を変換して、図3(a)の右側に示すようなピアノロール側画像を生成する。その際、CPU15は、ピアノロール側画像のデータをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0051】
ステップS27において、CPU15は、ガイド表示画像を生成する。具体的には、CPU15は、楽譜側画像とピアノロール側画像とを貼り合わせて、図3(a)に示すような1つのガイド表示画像を生成する。その際、CPU15は、ガイド表示画像のデータをリムーバブルメディア21に格納してもよく、その後のガイド表示画像表示処理に供してもよい。その後、ガイド表示画像生成処理は終了する。続いて、ガイド表示画像表示処理が開始される。
【0052】
図9は、図2のCPU15が実行するステップS4のガイド表示画像表示処理の流れを説明するフローチャートである。
ガイド表示画像表示処理は、ガイド表示画像生成処理を受けて、開始する。
なお、本例では、選択した楽曲の演奏時間は、4分音符4拍とした。即ち、小節内の最小時間「t」の総数である「Bmax」は、96(24×4=96)となる。また、選択した楽曲は24小節(Nmax=24)のものとして以下の説明を行う。
【0053】
ステップS41において、CPU15は、「Bmax=96、N=1、Nmax=24、t=0」として初期設定を行う。詳細には、CPU15は、最大小節数(Nmax)は24であり、小節内の最大時間t(Bmax)は、96であり、現在1小節目(N=1)で、演奏時間は0秒(t=0)という演奏開始前の初期状態の設定をする。
【0054】
ステップS42において、CPU15は、N小節目のガイド表示画像を表示する。詳細には、CPU15は、N小節目のガイド表示画像を表示するように表示部13を制御する。
【0055】
ステップS43において、N+1小節目のガイド表示画像を表示する。詳細には、CPU15は、ステップS42においてN小節のガイド表示画像を表示が完了しているため、次の小節(N+1小節目)のガイド表示画像を表示するように表示部13を制御する。
【0056】
ステップS44において、CPU15は、「t=t+1」とする値の変更を行う。詳細には、CPU15は、1小節終了したため、tに1をインクリメントする。
【0057】
ステップS45において、CPU15は、「t<Bmax」か否かを判断する。詳細には、CPU15は、tが最大小節数(Bmax)を超えているか否かを判断する。
「t<Bmax」の場合には、ステップS44において処理はYESであり、ステップS44に戻る。
「t<Bmax」でない場合、即ち、「t≧Bmax」の場合には、ステップS44において処理はYESであり、ステップS46に進む。
【0058】
ステップS46において、CPU15は、「N=N+1、t=0」とする値の変更を行う。詳細には、CPU15は、1小節終了したため、「N=N+1」と小節数をインクリメントし、「t=0」と時間のカウントをリセットする。
【0059】
ステップS47において、CPU15は、「N>Nmax」か否かを判断する。詳細には、CPU15は、現在の小節数が、最大小節数を超えているか否かを判断する。
「N>Nmax」の場合には、ステップS47において処理はNOであり、ステップS42に戻る。
「N≦Nmax」の場合には、ステップS47において処理はYESであり、その後処理は終了する。
【0060】
図10は、図2の電子ピアノ1が実行するステップS5の鍵盤処理の流れを説明するフローチャートである。
【0061】
ステップS61において、CPU15は、鍵走査を行う。詳細には、CPU15は、鍵盤11に走査を行う。そして、CPU15は、走査結果から、状態の変化の内容や押鍵によるものであれば押鍵の速さを特定するために、状態が変化した鍵を解析する。
【0062】
ステップS62において、CPU15は、解析結果から、鍵の状態が変化を判定する。
鍵の状態が変化しない場合には、ステップS62において処理は「変化無し」であり、一連の処理が終了する。
鍵の状態が変化したと判定された場合、詳細には、鍵の状態が離鍵状態(OFF)から押鍵状態(ON)に変化したと判定された場合には、ステップS62において処理は「OFF→ON」であり、ステップS63に進む。
鍵の状態が変化したと判定された場合、詳細には、鍵の状態が押鍵状態(ON)から離鍵状態(OFF)に変化したと判定された場合には、ステップS62において処理は「ON→OFF」であり、ステップS67に進む。
【0063】
ステップS63において、CPU15は、「KEY←押鍵番号」を設定する。詳細には、CPU15は、変数KEYに、押鍵による変化が生じた鍵のノート番号である押鍵番号を代入する。
【0064】
ステップS64において、CPU15は、「VEL←検出ベロシティ値」を設定する。詳細には、CPU15は、変数TOUCHに、ステップS63で代入した押鍵番号の押鍵時の速さを示す値(「検出ベロシティ値」)を代入する。なお、「VEL(VELOCITY:ベロシティ)」とは、電子楽器の演奏情報のやり取りをするための規格であるMIDI規格において、音の強弱を表す数値のことである。ベロシティは0〜127の128段階あり、0は無音、127が最大の音の大きさとなっている。
【0065】
ステップS65において、CPU15は、KEY及びVELに基づいて、ノートオンイベントを作成する。詳細には、CPU15は、変数KEY及び変数TOUCHの値で指定される楽音の発音を指示するノートオンコマンドを生成する。
【0066】
ステップS66において、CPU15は、音源18に供給する。詳細には、CPU15は、ステップS65において生成されたノートオンコマンドを音源18に送出する。その後、一連の処理は終了する。
【0067】
一方、鍵の状態が押鍵状態(ON)から離鍵状態(OFF)に変化したと判定された場合のステップS67において、CPU15は、「KEY←押鍵番号」を設定する。詳細には、CPU15は、変数KEYに、離鍵による変化が生じた鍵のノート番号である押鍵番号を代入する。
【0068】
ステップS68において、CPU15は、「VEL←0」に設定する。詳細には、CPU15は、変数TOUCHに、消音を指示する値である0を代入する。
【0069】
ステップS69において、CPU15は、KEY及びVELに基づいて、ノートオフイベントを作成する。詳細には、CPU15は、変数KEY及び変数TOUCHの値で指定される楽音の消音を指示するノートオフコマンドを生成する。その後処理は、ステップS66に進み、CPU15が生成されたノートオンコマンドを音源18に送出して、一連の処理は終了する。
【0070】
次に、本実施形態の電子ピアノ1に表示されるガイド表示画像の変形例について図12を用いて説明する。図11は、ガイド表示画面に表示されるガイド表示画像の他の例を示す模式図である。
本変形例におけるガイド表示画像は、図11に示すように、上述した実施形態のガイド表示画像にさらに、楽譜部分で表示される楽音とピアノロール部分で表示される楽音が対応付けられて表示される。楽譜部分の楽音とピアノロール部分の楽音の対応付けは、楽音同士を連結することにより行う。即ち、本変形例におけるガイド表示画像においては、楽譜表示の側から、楽譜表示よりも奥側から光が当たっており、当該光の影として、ピアノロール表示が行われるような視覚的な演出効果を得るような画像が生成される。
なお、このように生成される本変形例のガイド表示画像は、具体的には、図8のステップS27において、CPU15により生成される。
このように構成することにより、電子ピアノ1においては、楽譜とピアノロールとの一体感がさらに醸し出されるために、ピアノロールの表示と楽譜の表示との対応がさらに直感的に認識できるようになる画像を生成することができる。
【0071】
従って、電子ピアノ1においては、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成することができる。
【0072】
以上のように構成される電子ピアノ1において、鍵盤11と、画像を表示する表示部13とを備える。
CPU15は、所定の楽曲の楽音を再現可能な楽音データ(MIDIデータ及び楽譜用データ)に基づいて、所定の時点の楽音を表す画像であって、楽曲が進む方向のT軸と音高の方向のY軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する。
また、CPU15は、楽音データ(MIDIデータ)に基づいて、所定の時点のピアノロールを表す画像であって、楽曲が進む方向のT軸と音高の方向のY軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成する。
また、CPU15は、楽譜画像のT軸とピアノロール画像のT軸とを一致させて時間軸として、T軸、Y軸、及びX軸から構築される3次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
また、CPU15は、ピアノロール画像のX軸と、鍵盤の配列方向が一致するようにガイド表示画像を表示するように表示部13を制御する。
【0073】
従って、電子ピアノ1においては、CPU15により、楽曲の楽音データに基づいて生成されたガイド表示画像を表示部13に表示することで、ユーザは、鍵盤11の配列と同一の配列となるピアノロールを経て、鍵盤11との配置が一致しない楽譜まで段階的に楽音の読み取りと押鍵操作の習得をすることができる。
また、電子ピアノ1においては、ピアノロール画像の表示が鍵盤11と並列しており、鍵盤11と楽譜との対応関係がピアノロールを介して行われるため、直感的に鍵盤11と楽譜との関係を意識させることができる。
また、ガイド表示画像は、楽譜画像のT軸とピアノロール画像のT軸とを一致させて時間軸として、T軸、Y軸、及びX軸から構築される3次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像であるために、ユーザに対して、より違和感なく、一体的に楽譜とピアノロールとを意識させることができる。
【0074】
また、電子ピアノ1において、CPU15では、楽譜画像が設けられている2次元平面について、Y軸とT軸とのなす角度を変化させるように座標変換し、座標変換後の楽譜画像のデータを、楽譜側画像のデータとして生成する。
CPU15は、ピアノロール画像が設けられている2次元平面について、X軸とT軸とのなす角度を変化させるように座標変換し、座標変換後のピアノロール画像のデータを、ピアノロール側画像のデータとして生成する。
CPU15は、座標変換後の各々の楽譜画像のT軸とピアノロール画像のT軸とを一致させて時間軸として、T軸、並びに座標変換後の各々のY軸及びX軸から構築される3次元空間に、楽譜側画像とピアノロール側画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
従って、電子ピアノ1においては、2次元平面の画像を用いて簡単に3次元空間に楽譜側画像とピアノロール側画像とを配置させた様子を示す画像を生成することができる。
【0075】
また、電子ピアノ1において、CPU15では、楽譜画像に表示される楽音と、ピアノロール画像に表示される楽音とを対応付けて強調表示するガイド表示画像を生成する。
従って、電子ピアノ1においては、楽譜とピアノロールとの一体感がさらに醸し出されるために、ピアノロールの表示と楽譜の表示との対応がさらに直感的に認識できるようになる画像を生成することができる。
【0076】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0077】
また、上述の実施形態では、ガイド表示画像の楽譜画像を楽音の背景となる五線譜等も含め生成し、ピアノロール画像を楽音の背景となる模式的に表示した鍵盤等も含めて表示するように生成したがこれに限られない。予め生成された背景部分の画像に楽音を合成したり重畳的に表示したりするように構成してもよい。
【0078】
また、上述の実施形態では、ガイド表示画像は、生成の容易性を考慮して、画像の座標を変更するようにして3次元的な構図になるようにしたが、さらに、3次元的な構図を強調するために、遠近感が醸し出されるようにしてもよい。ガイド表示画像は、遠近感を醸し出すために、例えば、手前側の構図は大きく表示し、奥に行くに従って小さく表示するように構成してもよい。
【0079】
また、上述した実施形態においては、演奏機能と、ガイド表示画像生成機能と、ガイド表示画像表示機能とを有する演奏支援装置として電子ピアノ1を例として説明したが、これとは別に、例えば、パーソナルコンピュータ等のガイド表示画像生成機能のみを有する画像生成装置として構成してもよい。
【0080】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、上述の実施形態は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が電子ピアノ1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0081】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【0082】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア21により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア21は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM16(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM16や、図示しない記憶部に含まれるハードディスク等で構成される。
【0083】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
【0084】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0085】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段と、
を備えることを特徴とする画像生成装置。
[付記2]
前記楽譜画像が設けられている2次元平面について、前記第1の軸と前記第2の軸とのなす角度を変化させるように座標変換し、座標変換後の前記楽譜画像のデータを、楽譜側画像のデータとして生成する楽譜側画像生成手段と、
前記ピアノロール画像が設けられている2次元平面について、前記第3の軸と前記第4の軸とのなす角度を変化させるように座標変換し、座標変換後の前記ピアノロール画像のデータを、ピアノロール側画像のデータとして生成するピアノロール側画像生成手段と、
座標変換後の各々の前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、並びに座標変換後の各々の前記第2の軸及び前記第4の軸から構築される3次元空間に、前記楽譜側画像と前記ピアノロール側画像とを配置させた様子を示す画像のデータを、前記3次元演奏画像のデータとして生成する
ことを特徴とする付記1に記載の画像生成装置。
[付記3]
前記3次元演奏画像生成手段は、前記楽譜画像に表示される楽音と、前記ピアノロール画像に表示される楽音とを対応付けて強調表示する前記3次元演奏画像を生成する
ことを特徴とする付記1又は2に記載の画像生成装置。
[付記4]
画像生成装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成ステップと、
を含むことを特徴とする画像生成方法。
[付記5]
画像生成装置を制御するコンピュータを、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段、
として機能させることを特徴とするプログラム。
[付記6]
鍵盤と、画像を表示する表示手段とを備える演奏支援装置であって、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段と、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする演奏支援装置。
[付記7]
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成ステップと、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする演奏支援方法。
[付記8]
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【0086】
1・・・電子ピアノ,11・・・鍵盤,12・・・スイッチ,13・・・表示部,14・・・音響,15・・・CPU,16・・・ROM,17・・・RAM,18・・・音源,19・・・ドライブ,21・・・リムーバブルメディア
【技術分野】
【0001】
本発明は、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成する画像生成装置、画像生成方法及びそのプログラム、並びに演奏支援装置、演奏支援方法及びプログラムに関する。
【背景技術】
【0002】
従来より、ピアノ等の鍵盤楽器においては、音高に合わせて鍵盤が配列されている。楽器の演奏に使用される楽譜は、縦方向に音高があり、横方向が時間を示すように構成されており、鍵盤の配列とは一致していないために、楽譜に不慣れな初学者には、楽譜から直接演奏することは困難であった。
【0003】
近年、コンピュータ音楽では、シーケンスソフト上での演奏情報を視覚化するものとして、楽譜の表示に並んでピアノロールを表示に転用した表示が用いられることがある。ピアノロールとは、元々、オルガン式オルゴールや自動ピアノに取り付けて使用する紙製のロールのことで、演奏情報が紙に穿孔されており、このピアノロールに空気圧をかけ、穿孔部を通してハンマー等を動作させることでピアノ等を自動演奏することができる。
【0004】
このようなピアノロールを転用した表示(以下、ピアノロールの表示)を用いることで、鍵盤と楽音との配列関係が一致するために、初学者においても直感的に楽音の変化を認識しやすく、楽譜よりも理解が容易になる。
上述したようなピアノロールの表示を行う技術としては、特許文献1に記載のものが知られている。この特許文献1に記載の技術では、演奏するタイミングに合わせて、ピアノロール表示がスクロールするように構成されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第4151779号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、ピアノロールの表示を用いて、鍵盤の練習を行っていても、押鍵操作の練習にはなるが、最終的に、楽譜を用いて演奏をする場合には、結局のところ鍵盤の配列と不一致な楽譜での練習を行うために、楽譜への理解は、また別途行う必要がある。
そこで、鍵盤楽器の演奏支援を行うものとして、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的に習得できるような表示が求められている。
【0007】
本発明は、このような状況に鑑みてなされたものであり、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成する画像生成装置、演奏支援装置、画像生成方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の一態様の画像生成装置は、所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段と、を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成することができる。
【図面の簡単な説明】
【0010】
【図1】本発明における表示装置の一実施形態に係る電子ピアノの外観を示す図である。
【図2】図1の電子ピアノのハードウェアの構成を示すブロック図である。
【図3】ガイド表示画面に表示されるガイド表示画像の一例を示す模式図である。
【図4】楽譜側画像の生成を説明するための図である。
【図5】ピアノロール側画像の生成を説明するための図である。
【図6】ガイド表示画像の表示のタイミングの一例を示す模式図である。
【図7】図2の電子ピアノが実行するメイン処理の流れを説明するフローチャートである。
【図8】図2の電子ピアノが実行するステップS3のガイド表示画像生成処理の流れを説明するフローチャートである。
【図9】図2の電子ピアノが実行するステップS4のガイド表示画像表示処理の流れを説明するフローチャートである。
【図10】図2の電子ピアノが実行するステップS5の鍵盤処理の流れを説明するフローチャートである。
【図11】ガイド表示画面に表示されるガイド表示画像の他の例を示す模式図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、図面を用いて説明する。
【0012】
図1は、本発明における演奏支援装置の一実施形態に係る電子ピアノ1の外観を示す図である。
電子ピアノ1は、図1に示すように、鍵盤11と、スイッチ12と、表示部13と、音響14と、を備える。
鍵盤11は、ピアノ式鍵盤であり、複数の鍵が並行に配列されている。鍵盤11は、押鍵操作されることにより、対応する音を音響14から発するように構成された入力手段である。
スイッチ12は、例えば、電源のオン・オフ、自動演奏等のモード変更、各種機能の付加・変更等を行う。
表示部13は、例えば、各種機能の設定画面を表示したり、後述するガイド表示画像を画面表示したり、各種の表示を行う。
音響14は、例えば、押鍵操作やスイッチ12の操作等の各種操作、楽曲の再生音等を出力する。
【0013】
図2は、このような電子ピアノ1のハードウェアの構成を示すブロック図である。
電子ピアノ1は、図2に示すように、上述した鍵盤11と、スイッチ12と、表示部13と、音響14に加えて、CPU(Central Processing Unit)15と、ROM(Read Only Memory)16と、RAM(Random Access Memory)17と、音源18と、ドライブ19とを備える。
【0014】
CPU15は、ROM16に記録されているプログラム、後述するリムーバブルメディア21又は、図示しない記憶部からRAM17にロードされたプログラムに従って各種の処理を実行する。
【0015】
RAM17には、CPU15が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0016】
CPU15、ROM16及びRAM17は、図示しないバスを介して相互に接続されている。このバスにはまた、図示しない入出力インターフェースも接続されている。入出力インターフェースには、スイッチ12、表示部13、音響14及びドライブ19が接続されている。
【0017】
音源18は、種々の音源18を保存しており、データをアナログ信号に変換する音声処理して、音響14に供給する。
ドライブ19には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ19によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて図示しない記憶部にインストールされる。
【0018】
リムーバブルメディア21は、図示しない記憶部に記憶されている画像のデータ等の各種データも、図示しない記憶部と同様に記憶することができる。
【0019】
このように構成される電子ピアノ1においては、図1に示すように、楽譜の読み取りと押鍵の習得に供する、所定の楽曲のガイド表示画像を生成及び表示を行う機能を有する。詳細には、電子ピアノ1では、習得を行う楽曲の楽譜画像とピアノロール画像を同一画像内に配置し、かつ、楽譜とピアノロールを3次元的な構図となる画像を生成し、表示部13での表示を行う機能を有する。
【0020】
ここで、「楽譜画像」とは、楽曲を記譜法に則って演奏記号や符号を使って記号化し、時間軸と音階を表す五線譜上に当該演奏記号や符号を配置した画像である。
また、「ピアノロール画像」とは、楽曲をピアノロールの表示方法に則って、対応する鍵盤11上に演奏する音を配置した画像である。なお、楽曲とは、複数の楽音により構成される音楽をいう。
【0021】
図3は、ガイド表示画像が表示された画面の一例を示す模式図である。詳細には、図3(a)は、表示部13に表示されるガイド表示画像の一例を示す図である。
上述した機能を有する電子ピアノ1の表示部13では、図3(a)に示すようなガイド表示画像が表示される。なお、図3(a)の例では、ピアノロール画像におけるハッチングは、鍵盤11のうち、左方の楽譜画像において音符等で表わされる楽音に対応する鍵を示している。
ここで、図3(a)のガイド表示画像は、押鍵の練習を行うときに、押鍵する楽音を表示して押鍵をガイドする画像である。また、ガイド表示画像は、楽譜と鍵盤との対応関係を段階的に習得するために用いる画像である。
このようなガイド表示画像は、演奏する楽曲の楽譜と、ピアノロールとが対応するように1つの画像内に配置し、かつ、楽譜画像とピアノロール画像とが単に2次元平面上に並べて配置されている画像ではなく、楽譜画像とピアノロール画像との各々が仮想的な3次元空間内で直交する2つの平面上のそれぞれに配置された構図の画像である。これにより、ガイド表示画像では、ユーザが、図3(a)のガイド表示画像を視認することで、あたかも、楽譜が壁面に描かれたようにイメージさせ、ピアノロールが床面に描かれたようにイメージさせることが容易にできる。
また、本実施形態では、図3(a)のガイド表示画像のような静止画像が時間的に連続して複数枚配置された動画像が、表示部13の表示対象となる。この動画像が表示部13に表示されると、現時点で演奏対象となる音が常に一番手前となるように、各音が奥から手前にスクロール表示され、演奏が終了した音は手前側に流れて消去されるように、演奏者に視認される。即ち、ガイド表示画像は、手前から奥に行く従って時刻が進むイメージを与えるように構成される。
なお、以下、静止画像と動画像とを個々に区別する必要が無い場合には、静止画像も動画像もまとめてガイド表示画像と呼ぶことにする。
【0022】
また、ガイド表示画像は、演奏すべき音を一番手前から順次表示し、演奏に合わせてスクロールして、演奏が終わった楽音が表示画面から流れて消えるように表示される。
図3(a)の例を用いて説明すると、演奏時点の音が一番手前の「ファ」であり、「ファ」の奥にある「レ」が次に演奏を予定する音であり、「レ」のさらに奥にある「ソ」が「レ」が次に演奏を予定する音である。このようにガイド表示画像は、演奏対象の音のみならず、演奏を予定する音を表示させておく。したがって、ユーザは、このようなガイド表示画像を視認することで、時間的に後に演奏する音まで視野に入れることができ、音の時間的変化をイメージしながら押鍵操作をしていくことができる。
【0023】
図3(b)は、図3(a)に示すガイド表示画像の構成の詳細を説明するための図である。なお、図3(b)において、X軸及びY軸は音高の高低である音高方向を示し、T軸は楽曲の進行方向を示す。
ガイド表示画像の構成は、図3(b)に示すように、ユーザからみて、左下の端点が原点「0」とされ、原点「0」から右方向がX軸の正方向(音高が高くなる方向)とされ、原点「0」から上方向がY軸の正方向(音高が高くなる方向)とされ、原点「0」から左斜め上方向が、楽譜とピアノロールで共有する時間軸となるT軸の正方向(時間の進む方向、楽曲の進行方向)とされている。即ち、ガイド表示画像は、T軸を挟むようにして配置される楽譜画像とピアノロール画像とで構成される。
楽譜を表示する部分では、Y軸を楽譜の音高方向とし、T軸を楽譜の進行方向、即ち、時間軸方向としている。一方、ピアノロール表示では、X軸を鍵盤11の音高方向とし、T軸をピアノロールの進行方向、即ち、時間軸方向としている。
なお、電子ピアノ1においては、図1に示すように、鍵盤11の中央部の奥付近に表示部13が配置されている。このため、ピアノロールの音高方向を示すX軸方向と、鍵盤11の配列方向(鍵盤11の音高方向)とが一致することになる。
【0024】
次に、図2のハードウェア構成を有する電子ピアノ1の機能的構成のうち、ガイド表示画像生成処理及びガイド表示画像表示処理に係る処理を実行するための機能的構成について説明する。
「ガイド表示画像生成処理」とは、MIDIデータ等の楽音データから表示部13に表示するガイド表示画像を生成する一連の処理である。
「ガイド表示画像表示処理」とは、ガイド表示画像生成処理で生成されたガイド表示画像を表示部13に表示する一連の処理である。
【0025】
ガイド表示画像生成処理及びガイド表示画像表示処理を実行する場合には、CPU15は以下の機能を発揮するように構成される。この際、リムーバブルメディア21には、楽音データが格納される。楽音データには、楽曲のMIDI(Musical Instrument Digital Interface)データと楽曲のMIDIデータと組み合わせることにより楽曲の楽譜を再現することができる音符等の楽譜用データが格納される。
【0026】
CPU15は、リムーバブルメディア21に格納されるMIDIデータから読み出されたSMF(Standard MIDI File)データと、楽譜用データとから楽譜データを生成する。
【0027】
ここで、楽譜データの詳細について図4(a)及び図4(b)を用いて説明する。
図4は、楽譜側画像の生成を説明するための図である。詳細には、図4(a)は楽譜側画像の生成に用いる楽譜データの一例を示す模式図である。
楽譜データは、図4(a)に示すように、「音高」、「音符」、「棒・旗」、「小節」、「タイミング」により構成される。
最初の楽音は、「ファ」であり、「音高」が「F4」であり、「音符」が「4分音符」であり、「棒」が「上」向きであり、「小節」が「001」であり、「タイミング」が「0000」である。
次の楽音は、「レ」であり、「音高」が「D4」であり、「音符」が「8分音符」であり、「棒」が「上」向きであり、「旗」が「スタート(ST)」であり、「小節」が「001」小節であり、「タイミング」が「0024」である。
次の楽音は、「ソ」であり、「音高」が「G4」であり、「音符」が「8分音符」であり、「棒」が「上」向きであり、「旗」が「エンド(ED)」であり、「小節」が「001」小節であり、「タイミング」が「0036」である。
【0028】
また、CPU15は、楽譜データに基づいて、楽譜画像を生成する。即ち、CPU15は、所定の楽曲の楽音を再現可能な楽音データ(MIDIデータ及び楽譜用データ)に基づいて、所定の時点の楽音を表す画像であって、楽曲が進む方向のT軸と音高の方向のY軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する。
【0029】
図4(b)は、楽譜画像の一例を示す模式図である。なお、図4(b)において、Y軸は音高を示し、T軸は楽曲の進行方向を示す。
CPU15は、図4(a)に示すような楽譜データに基づいて、図4(b)に示すような楽譜画像を生成する。図4(a)に示すような楽譜データに基づいて作成される楽譜画像は、詳細には、図4(b)に示すように、五線譜上に「ファ」、「レ」、「ソ」の楽音が配置された画像となる。
【0030】
また、CPU15は、楽譜画像を変換して楽譜側画像を生成する。即ち、CPU15は、楽譜画像が設けられている2次元平面について、音高方向(Y軸)の軸と楽譜の進行方向の軸(T軸)とのなす角度を変化させるように座標変換し、座標変換後の楽譜画像のデータを、楽譜側画像のデータとして生成する。
ここで、楽譜側画像の詳細について図4(c)を用いて説明する。図4(c)は、楽譜画像から楽譜側画像の生成を示す模式図である。なお、図4(c)において、Y軸は音高を示し、T軸は楽曲の進行方向を示し、Y’軸は座標変換後の音高を示し、T’は楽曲の進行方向を示す。
CPU15は、楽譜画像の角度を変更すること、即ち、座標値を変換することにより、楽譜側画像を生成する。
詳細には、CPU15は、図4(c)に示すように、時間軸方向T側の角度を、角度θ分傾斜させるように変更する。即ち、楽譜画像の直行する座標(t,y)の点から角度θを持った楽譜側画像の座標点(t’,y’)への変換を行う。つまり、(t,y)から(t’,y’)の変換式は(tcosθ,y+tsinθ)となる。
CPU15は、画像の全座標の値を変換式(tcosθ,y+tsinθ)に基づいて変換することで、図2(a)の左側に示すような楽譜側画像を生成する。
【0031】
また、CPU15は、リムーバブルメディア21に格納されるMIDIデータから読み出されたSMF(Standard MIDI File)データからピアノロールデータを生成する。
ここで、ピアノロールデータの詳細について図5(a)及び図5(b)を用いて説明する。
図5は、ピアノロール側画像の生成を説明するための図である。詳細には、図5(a)はピアノロール側画像の生成に用いるピアノロールデータの一例を示す模式図である。
ピアノロールデータは、図5(a)に示すように、「音高」、「強さ」、「ノートオン(小節)」、「ノートオン(タイミング)」、「ノートオフ(小節)」、「ノートオフ(タイミング)」により構成される。
最初の楽音は、「ファ」であり、「音高」が「F4」であり、「強さ」が「127」であり、「ノートオン(小節)」が「001」であり、「ノートオン(タイミング)」が「0000」であり、「ノートオフ(小節)」が「001」であり、「ノートオフ(タイミング)」が「0020」である。
次の楽音は、「レ」であり、「音高」が「D4」であり、「強さ」が「64」であり、「ノートオン(小節)」が「001」であり、「ノートオン(タイミング)」が「0024」であり、「ノートオフ(小節)」が「001」であり、「ノートオフ(タイミング)」が「0030」である。
次の楽音は、「ソ」であり、「音高」が「G4」であり、「強さ」が「30」であり、「ノートオン(小節)」が「001」であり、「ノートオン(タイミング)」が「0036」であり、「ノートオフ(小節)」が「001」であり、「ノートオフ(タイミング)」が「0038」である。
【0032】
また、CPU15は、ピアノロールデータに基づいて、ピアノロール画像を生成する。即ち、CPU15は、楽音データ(MIDIデータ)に基づいて、所定の時点のピアノロールを表す画像であって、楽曲の進む方向の時間方向のT軸と音高の方向のX軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成する。
【0033】
図5(b)は、ピアノロール画像の一例を示す模式図である。なお、図5(b)において、X軸は音高を示し、T軸は楽曲の進行方向を示す。
CPU15は、図5(a)に示すようなピアノロールデータに基づいて、図5(b)に示すようなピアノロール画像を生成する。
図5(a)に示すようなピアノロールデータに基づいて生成されるピアノロール画像は、図5(b)に示すように、五線譜上に「ファ」、「レ」、「ソ」の楽音が配置された画像となる。
【0034】
また、CPU15は、ピアノロール画像を変換してピアノロール側画像を生成する。即ち、CPU15は、ピアノロール画像が設けられている2次元平面について、音高方向の軸(X軸)と楽曲の進行方向の軸(T軸)とのなす角度を変化させるように座標変換し、座標変換後のピアノロール画像のデータを、ピアノロール側画像のデータとして生成する。
ここで、ピアノロール側画像の詳細について図5(c)を用いて説明する。図5(c)は、ピアノロール画像からピアノロール側画像の生成を示す模式図である。なお、図5(c)において、X軸は音高を示し、T軸は楽曲の進行方向を示し、X’軸は座標変換後の音高を示し、T’は楽曲の進行方向を示す。
CPU15は、図5(c)に示すようにピアノロール画像の角度を変更すること、即ち、座標値を変換することにより、ピアノロール側画像を生成する。
詳細には、CPU15は、図5(b)に示すように、時間軸方向T側の角度を、角度θ分傾斜させるように変更する。即ち、ピアノロール画像の直行する座標(t,y)の点から角度θを持ったピアノロール側画像の座標点(t’,y’)への変換を行う。つまり、(t,y)から(t’,y’)の変換式は(x+tcosθ,y+tsinθ)となる。
CPU15は、画像の全座標の位置を変換式(x+tcosθ,y+tsinθ)に基づいて変更することで、図2(a)の右側に示すようなピアノロール側画像を生成する。
【0035】
また、CPU15は、楽譜側画像とピアノロール側画像に基づいて、ガイド表示画像を生成する。即ち、CPU15は、楽譜画像のT軸とピアノロール画像のT軸とを一致させて時間軸として、時間軸、Y軸、及びX軸から構築される3次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
【0036】
具体的には、CPU15は、図4(c)に示す角度が変更された楽譜側画像と、図5(c)に示す角度が変更されたピアノロール側画像とを貼り合わせて、図2(a)に示すような1枚のガイド表示画像を生成する。この際、CPU15は、生成されたガイド表示画像のデータを表示に供してもよいし、リムーバブルメディア21に格納してもよい。また、ガイド表示画像は、演奏に際して楽曲全てを一度に生成してもよいし、表示に合わせて逐次生成してもよいし、予め生成したガイド表示画像をリムーバブルメディア21に格納しておいてもよい。
【0037】
また、CPU15は、ガイド表示画像のデータを表示に供する場合には、ガイド表示画像を表示するように表示部13を制御する。その結果、電子ピアノ1においては、図1に示すように、表示部13にガイド表示画像が表示される。このガイド表示画像は、ピアノロール画像の音高方向と、鍵盤の配列方向が一致するように表示される。
ここで、ガイド表示画像の表示のタイミングの例について図6を用いて説明する。図6は、ガイド表示画像の表示のタイミングの一例を示す模式図である。
ガイド表示画像は、演奏時点の楽音を順次一番手前になるように表示する。
また、ガイド表示画像は、図6に示すように、2小節分を同時に表示し、1小節分の表示が終了したら次の小節を表示させる。即ち、ガイド表示画像は、表示開始時には前面に1小節目と1小節目の後ろに2小節目とを最初に表示しており、1小節目の表示が完了した場合には、2小節目を前面に表示し、2小節目の後ろに3小節目を表示させる。その後、2小節目の表示が完了した場合には、3小節目を前面に表示し、3小節目の後ろに4小節目を表示させる。
【0038】
図7は、図2のCPU15が実行するメイン処理の流れを説明するフローチャートである。メイン処理とは、CPU15の起動から演奏や各種の機能の実行を行う一連の処理である。
【0039】
ステップS1において、CPU15は、イニシャライズ処理を行う。詳細には、CPU15は、電子ピアノ1についての各種初期設定を行う。
【0040】
ステップS2において、CPU15は、SW(Switch)処理を行う。
SW処理とは、複数の選択肢が存在するモードについて所定の選択肢を選択したり、複数の状態が存在するフラグについて初期状態を選択したりして、設定する処理をいう。
例えば、本実施形態のSW処理では、動作モードとして、「通常モード」、「練習モード」、「自動演奏モード」等とのうちユーザにより選択されたモードが設定される。
「通常モード」とは、ユーザが自由に演奏するためのモードで、鍵盤11の押鍵操作により音が出力されるモードである。
「練習モード」とは、ユーザが画面表示を見ながら演奏を練習するためのモードで、選択した楽曲のガイド表示画像が表示されると共に、表示に合わせて鍵盤11の押鍵操作を行うモードである。
「自動演奏モード」とは、ユーザが演奏を行わずに、選択した楽曲を自動で演奏するモードである。
【0041】
ステップS3において、CPU15は、ガイド表示画像生成処理を行う。ガイド表示画像生成処理の詳細については、図9を用いて、後述する。
【0042】
ステップS4において、CPU15は、ガイド表示画像表示処理を行う。ガイド表示画像表示処理の詳細については、図10を用いて、後述する。
【0043】
ステップS5において、CPU15は、鍵盤処理を行う。鍵盤処理の詳細については、図11を用いて、後述する。
【0044】
ステップS6において、CPU15は、その他の処理を行う。詳細には、CPU15は、例えば、「自動演奏モード」下においては、自動演奏処理を行う。その後処理は、ステップS2に戻る。
【0045】
図8は、図2のCPU15が実行するステップS3のガイド表示画像生成処理の流れを説明するフローチャートである。
ガイド表示画像生成処理は、ユーザによるスイッチ12へのガイド表示画像の表示操作を契機に開始する。
ステップS21において、CPU15は、楽譜データを生成する。具体的には、CPU15は、リムーバブルメディア21に格納されるMIDIデータからSMFデータを読み出し、リムーバブルメディア21に格納される楽譜用データを読み出して、SMFデータと楽譜用データから図4(a)に示すようなデータ構造を有する楽譜データを生成する。その際、CPU15は、楽譜データをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0046】
ステップS22において、CPU15は、楽譜画像を生成する。具体的には、CPU15は、図4(a)に示すようなデータ構造を有する楽譜データに基づいて、図4(b)に示すような楽譜画像を生成する。その際、CPU15は、楽譜画像のデータをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0047】
ステップS23において、CPU15は、楽譜側画像を生成する。具体的には、CPU15は、図4(c)に示すように楽譜画像の座標値を変換して、図3(a)の左側に示すような楽譜側画像を生成する。その際、CPU15は、楽譜側画像のデータをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0048】
ステップS24において、CPU15は、ピアノロールデータを生成する。具体的には、CPU15は、リムーバブルメディア21に格納されるMIDIデータからSMFデータを読み出し図5(a)に示すようなデータ構造を有するピアノロールデータを生成する。その際、CPU15は、ピアノロールデータをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0049】
ステップS25において、CPU15は、ピアノロール画像を生成する。具体的には、CPU15は、図5(a)に示すようなデータ構造を有するピアノロールデータに基づいて、図5(b)に示すような楽譜画像を生成する。その際、CPU15は、ピアノロール画像のデータをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0050】
ステップS26において、CPU15は、ピアノロール側画像を生成する。具体的には、CPU15は、図5(c)に示すようにピアノロール画像の座標値を変換して、図3(a)の右側に示すようなピアノロール側画像を生成する。その際、CPU15は、ピアノロール側画像のデータをリムーバブルメディア21に格納してもよく、その後の処理に供してもよい。
【0051】
ステップS27において、CPU15は、ガイド表示画像を生成する。具体的には、CPU15は、楽譜側画像とピアノロール側画像とを貼り合わせて、図3(a)に示すような1つのガイド表示画像を生成する。その際、CPU15は、ガイド表示画像のデータをリムーバブルメディア21に格納してもよく、その後のガイド表示画像表示処理に供してもよい。その後、ガイド表示画像生成処理は終了する。続いて、ガイド表示画像表示処理が開始される。
【0052】
図9は、図2のCPU15が実行するステップS4のガイド表示画像表示処理の流れを説明するフローチャートである。
ガイド表示画像表示処理は、ガイド表示画像生成処理を受けて、開始する。
なお、本例では、選択した楽曲の演奏時間は、4分音符4拍とした。即ち、小節内の最小時間「t」の総数である「Bmax」は、96(24×4=96)となる。また、選択した楽曲は24小節(Nmax=24)のものとして以下の説明を行う。
【0053】
ステップS41において、CPU15は、「Bmax=96、N=1、Nmax=24、t=0」として初期設定を行う。詳細には、CPU15は、最大小節数(Nmax)は24であり、小節内の最大時間t(Bmax)は、96であり、現在1小節目(N=1)で、演奏時間は0秒(t=0)という演奏開始前の初期状態の設定をする。
【0054】
ステップS42において、CPU15は、N小節目のガイド表示画像を表示する。詳細には、CPU15は、N小節目のガイド表示画像を表示するように表示部13を制御する。
【0055】
ステップS43において、N+1小節目のガイド表示画像を表示する。詳細には、CPU15は、ステップS42においてN小節のガイド表示画像を表示が完了しているため、次の小節(N+1小節目)のガイド表示画像を表示するように表示部13を制御する。
【0056】
ステップS44において、CPU15は、「t=t+1」とする値の変更を行う。詳細には、CPU15は、1小節終了したため、tに1をインクリメントする。
【0057】
ステップS45において、CPU15は、「t<Bmax」か否かを判断する。詳細には、CPU15は、tが最大小節数(Bmax)を超えているか否かを判断する。
「t<Bmax」の場合には、ステップS44において処理はYESであり、ステップS44に戻る。
「t<Bmax」でない場合、即ち、「t≧Bmax」の場合には、ステップS44において処理はYESであり、ステップS46に進む。
【0058】
ステップS46において、CPU15は、「N=N+1、t=0」とする値の変更を行う。詳細には、CPU15は、1小節終了したため、「N=N+1」と小節数をインクリメントし、「t=0」と時間のカウントをリセットする。
【0059】
ステップS47において、CPU15は、「N>Nmax」か否かを判断する。詳細には、CPU15は、現在の小節数が、最大小節数を超えているか否かを判断する。
「N>Nmax」の場合には、ステップS47において処理はNOであり、ステップS42に戻る。
「N≦Nmax」の場合には、ステップS47において処理はYESであり、その後処理は終了する。
【0060】
図10は、図2の電子ピアノ1が実行するステップS5の鍵盤処理の流れを説明するフローチャートである。
【0061】
ステップS61において、CPU15は、鍵走査を行う。詳細には、CPU15は、鍵盤11に走査を行う。そして、CPU15は、走査結果から、状態の変化の内容や押鍵によるものであれば押鍵の速さを特定するために、状態が変化した鍵を解析する。
【0062】
ステップS62において、CPU15は、解析結果から、鍵の状態が変化を判定する。
鍵の状態が変化しない場合には、ステップS62において処理は「変化無し」であり、一連の処理が終了する。
鍵の状態が変化したと判定された場合、詳細には、鍵の状態が離鍵状態(OFF)から押鍵状態(ON)に変化したと判定された場合には、ステップS62において処理は「OFF→ON」であり、ステップS63に進む。
鍵の状態が変化したと判定された場合、詳細には、鍵の状態が押鍵状態(ON)から離鍵状態(OFF)に変化したと判定された場合には、ステップS62において処理は「ON→OFF」であり、ステップS67に進む。
【0063】
ステップS63において、CPU15は、「KEY←押鍵番号」を設定する。詳細には、CPU15は、変数KEYに、押鍵による変化が生じた鍵のノート番号である押鍵番号を代入する。
【0064】
ステップS64において、CPU15は、「VEL←検出ベロシティ値」を設定する。詳細には、CPU15は、変数TOUCHに、ステップS63で代入した押鍵番号の押鍵時の速さを示す値(「検出ベロシティ値」)を代入する。なお、「VEL(VELOCITY:ベロシティ)」とは、電子楽器の演奏情報のやり取りをするための規格であるMIDI規格において、音の強弱を表す数値のことである。ベロシティは0〜127の128段階あり、0は無音、127が最大の音の大きさとなっている。
【0065】
ステップS65において、CPU15は、KEY及びVELに基づいて、ノートオンイベントを作成する。詳細には、CPU15は、変数KEY及び変数TOUCHの値で指定される楽音の発音を指示するノートオンコマンドを生成する。
【0066】
ステップS66において、CPU15は、音源18に供給する。詳細には、CPU15は、ステップS65において生成されたノートオンコマンドを音源18に送出する。その後、一連の処理は終了する。
【0067】
一方、鍵の状態が押鍵状態(ON)から離鍵状態(OFF)に変化したと判定された場合のステップS67において、CPU15は、「KEY←押鍵番号」を設定する。詳細には、CPU15は、変数KEYに、離鍵による変化が生じた鍵のノート番号である押鍵番号を代入する。
【0068】
ステップS68において、CPU15は、「VEL←0」に設定する。詳細には、CPU15は、変数TOUCHに、消音を指示する値である0を代入する。
【0069】
ステップS69において、CPU15は、KEY及びVELに基づいて、ノートオフイベントを作成する。詳細には、CPU15は、変数KEY及び変数TOUCHの値で指定される楽音の消音を指示するノートオフコマンドを生成する。その後処理は、ステップS66に進み、CPU15が生成されたノートオンコマンドを音源18に送出して、一連の処理は終了する。
【0070】
次に、本実施形態の電子ピアノ1に表示されるガイド表示画像の変形例について図12を用いて説明する。図11は、ガイド表示画面に表示されるガイド表示画像の他の例を示す模式図である。
本変形例におけるガイド表示画像は、図11に示すように、上述した実施形態のガイド表示画像にさらに、楽譜部分で表示される楽音とピアノロール部分で表示される楽音が対応付けられて表示される。楽譜部分の楽音とピアノロール部分の楽音の対応付けは、楽音同士を連結することにより行う。即ち、本変形例におけるガイド表示画像においては、楽譜表示の側から、楽譜表示よりも奥側から光が当たっており、当該光の影として、ピアノロール表示が行われるような視覚的な演出効果を得るような画像が生成される。
なお、このように生成される本変形例のガイド表示画像は、具体的には、図8のステップS27において、CPU15により生成される。
このように構成することにより、電子ピアノ1においては、楽譜とピアノロールとの一体感がさらに醸し出されるために、ピアノロールの表示と楽譜の表示との対応がさらに直感的に認識できるようになる画像を生成することができる。
【0071】
従って、電子ピアノ1においては、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成することができる。
【0072】
以上のように構成される電子ピアノ1において、鍵盤11と、画像を表示する表示部13とを備える。
CPU15は、所定の楽曲の楽音を再現可能な楽音データ(MIDIデータ及び楽譜用データ)に基づいて、所定の時点の楽音を表す画像であって、楽曲が進む方向のT軸と音高の方向のY軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する。
また、CPU15は、楽音データ(MIDIデータ)に基づいて、所定の時点のピアノロールを表す画像であって、楽曲が進む方向のT軸と音高の方向のY軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成する。
また、CPU15は、楽譜画像のT軸とピアノロール画像のT軸とを一致させて時間軸として、T軸、Y軸、及びX軸から構築される3次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
また、CPU15は、ピアノロール画像のX軸と、鍵盤の配列方向が一致するようにガイド表示画像を表示するように表示部13を制御する。
【0073】
従って、電子ピアノ1においては、CPU15により、楽曲の楽音データに基づいて生成されたガイド表示画像を表示部13に表示することで、ユーザは、鍵盤11の配列と同一の配列となるピアノロールを経て、鍵盤11との配置が一致しない楽譜まで段階的に楽音の読み取りと押鍵操作の習得をすることができる。
また、電子ピアノ1においては、ピアノロール画像の表示が鍵盤11と並列しており、鍵盤11と楽譜との対応関係がピアノロールを介して行われるため、直感的に鍵盤11と楽譜との関係を意識させることができる。
また、ガイド表示画像は、楽譜画像のT軸とピアノロール画像のT軸とを一致させて時間軸として、T軸、Y軸、及びX軸から構築される3次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像であるために、ユーザに対して、より違和感なく、一体的に楽譜とピアノロールとを意識させることができる。
【0074】
また、電子ピアノ1において、CPU15では、楽譜画像が設けられている2次元平面について、Y軸とT軸とのなす角度を変化させるように座標変換し、座標変換後の楽譜画像のデータを、楽譜側画像のデータとして生成する。
CPU15は、ピアノロール画像が設けられている2次元平面について、X軸とT軸とのなす角度を変化させるように座標変換し、座標変換後のピアノロール画像のデータを、ピアノロール側画像のデータとして生成する。
CPU15は、座標変換後の各々の楽譜画像のT軸とピアノロール画像のT軸とを一致させて時間軸として、T軸、並びに座標変換後の各々のY軸及びX軸から構築される3次元空間に、楽譜側画像とピアノロール側画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
従って、電子ピアノ1においては、2次元平面の画像を用いて簡単に3次元空間に楽譜側画像とピアノロール側画像とを配置させた様子を示す画像を生成することができる。
【0075】
また、電子ピアノ1において、CPU15では、楽譜画像に表示される楽音と、ピアノロール画像に表示される楽音とを対応付けて強調表示するガイド表示画像を生成する。
従って、電子ピアノ1においては、楽譜とピアノロールとの一体感がさらに醸し出されるために、ピアノロールの表示と楽譜の表示との対応がさらに直感的に認識できるようになる画像を生成することができる。
【0076】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0077】
また、上述の実施形態では、ガイド表示画像の楽譜画像を楽音の背景となる五線譜等も含め生成し、ピアノロール画像を楽音の背景となる模式的に表示した鍵盤等も含めて表示するように生成したがこれに限られない。予め生成された背景部分の画像に楽音を合成したり重畳的に表示したりするように構成してもよい。
【0078】
また、上述の実施形態では、ガイド表示画像は、生成の容易性を考慮して、画像の座標を変更するようにして3次元的な構図になるようにしたが、さらに、3次元的な構図を強調するために、遠近感が醸し出されるようにしてもよい。ガイド表示画像は、遠近感を醸し出すために、例えば、手前側の構図は大きく表示し、奥に行くに従って小さく表示するように構成してもよい。
【0079】
また、上述した実施形態においては、演奏機能と、ガイド表示画像生成機能と、ガイド表示画像表示機能とを有する演奏支援装置として電子ピアノ1を例として説明したが、これとは別に、例えば、パーソナルコンピュータ等のガイド表示画像生成機能のみを有する画像生成装置として構成してもよい。
【0080】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、上述の実施形態は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が電子ピアノ1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0081】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【0082】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア21により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア21は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM16(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM16や、図示しない記憶部に含まれるハードディスク等で構成される。
【0083】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
【0084】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0085】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段と、
を備えることを特徴とする画像生成装置。
[付記2]
前記楽譜画像が設けられている2次元平面について、前記第1の軸と前記第2の軸とのなす角度を変化させるように座標変換し、座標変換後の前記楽譜画像のデータを、楽譜側画像のデータとして生成する楽譜側画像生成手段と、
前記ピアノロール画像が設けられている2次元平面について、前記第3の軸と前記第4の軸とのなす角度を変化させるように座標変換し、座標変換後の前記ピアノロール画像のデータを、ピアノロール側画像のデータとして生成するピアノロール側画像生成手段と、
座標変換後の各々の前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、並びに座標変換後の各々の前記第2の軸及び前記第4の軸から構築される3次元空間に、前記楽譜側画像と前記ピアノロール側画像とを配置させた様子を示す画像のデータを、前記3次元演奏画像のデータとして生成する
ことを特徴とする付記1に記載の画像生成装置。
[付記3]
前記3次元演奏画像生成手段は、前記楽譜画像に表示される楽音と、前記ピアノロール画像に表示される楽音とを対応付けて強調表示する前記3次元演奏画像を生成する
ことを特徴とする付記1又は2に記載の画像生成装置。
[付記4]
画像生成装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成ステップと、
を含むことを特徴とする画像生成方法。
[付記5]
画像生成装置を制御するコンピュータを、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段、
として機能させることを特徴とするプログラム。
[付記6]
鍵盤と、画像を表示する表示手段とを備える演奏支援装置であって、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段と、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする演奏支援装置。
[付記7]
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成ステップと、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする演奏支援方法。
[付記8]
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【0086】
1・・・電子ピアノ,11・・・鍵盤,12・・・スイッチ,13・・・表示部,14・・・音響,15・・・CPU,16・・・ROM,17・・・RAM,18・・・音源,19・・・ドライブ,21・・・リムーバブルメディア
【特許請求の範囲】
【請求項1】
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段と、
を備えることを特徴とする画像生成装置。
【請求項2】
前記楽譜画像が設けられている2次元平面について、前記第1の軸と前記第2の軸とのなす角度を変化させるように座標変換し、座標変換後の前記楽譜画像のデータを、楽譜側画像のデータとして生成する楽譜側画像生成手段と、
前記ピアノロール画像が設けられている2次元平面について、前記第3の軸と前記第4の軸とのなす角度を変化させるように座標変換し、座標変換後の前記ピアノロール画像のデータを、ピアノロール側画像のデータとして生成するピアノロール側画像生成手段と、
座標変換後の各々の前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、並びに座標変換後の各々の前記第2の軸及び前記第4の軸から構築される3次元空間に、前記楽譜側画像と前記ピアノロール側画像とを配置させた様子を示す画像のデータを、前記3次元演奏画像のデータとして生成する
ことを特徴とする請求項1に記載の画像生成装置。
【請求項3】
前記3次元演奏画像生成手段は、前記楽譜画像に表示される楽音と、前記ピアノロール画像に表示される楽音とを対応付けて強調表示する前記3次元演奏画像を生成する
ことを特徴とする請求項1又は2に記載の画像生成装置。
【請求項4】
画像生成装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成ステップと、
を含むことを特徴とする画像生成方法。
【請求項5】
画像生成装置を制御するコンピュータを、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段、
として機能させることを特徴とするプログラム。
【請求項6】
鍵盤と、画像を表示する表示手段とを備える演奏支援装置であって、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段と、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする演奏支援装置。
【請求項7】
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成ステップと、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする演奏支援方法。
【請求項8】
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。
【請求項1】
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段と、
を備えることを特徴とする画像生成装置。
【請求項2】
前記楽譜画像が設けられている2次元平面について、前記第1の軸と前記第2の軸とのなす角度を変化させるように座標変換し、座標変換後の前記楽譜画像のデータを、楽譜側画像のデータとして生成する楽譜側画像生成手段と、
前記ピアノロール画像が設けられている2次元平面について、前記第3の軸と前記第4の軸とのなす角度を変化させるように座標変換し、座標変換後の前記ピアノロール画像のデータを、ピアノロール側画像のデータとして生成するピアノロール側画像生成手段と、
座標変換後の各々の前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、並びに座標変換後の各々の前記第2の軸及び前記第4の軸から構築される3次元空間に、前記楽譜側画像と前記ピアノロール側画像とを配置させた様子を示す画像のデータを、前記3次元演奏画像のデータとして生成する
ことを特徴とする請求項1に記載の画像生成装置。
【請求項3】
前記3次元演奏画像生成手段は、前記楽譜画像に表示される楽音と、前記ピアノロール画像に表示される楽音とを対応付けて強調表示する前記3次元演奏画像を生成する
ことを特徴とする請求項1又は2に記載の画像生成装置。
【請求項4】
画像生成装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成ステップと、
を含むことを特徴とする画像生成方法。
【請求項5】
画像生成装置を制御するコンピュータを、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段、
として機能させることを特徴とするプログラム。
【請求項6】
鍵盤と、画像を表示する表示手段とを備える演奏支援装置であって、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段と、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする演奏支援装置。
【請求項7】
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成ステップと、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする演奏支援方法。
【請求項8】
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第1の軸と音高の高低を表す第2の軸とから構築される2次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第3の軸と音高の高低を表す第4の軸とから構築される2次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第1の軸と前記第3の軸とを一致させて時間軸として、前記時間軸、前記第2の軸、及び前記第4の軸から構築される3次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、3次元演奏画像のデータとして生成する3次元演奏画像生成手段、
前記ピアノロール画像の前記第3の軸と、前記鍵盤の配列方向が一致するように3次元演奏画像を表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−68657(P2013−68657A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2011−205073(P2011−205073)
【出願日】平成23年9月20日(2011.9.20)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願日】平成23年9月20日(2011.9.20)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]