電子楽器、カラオケ用楽器採点システム
【課題】押下動作を高精度に採点可能な電子楽器等を実現する。
【解決手段】押下されたタイミング及び押下されている継続時間を算出する。押下されている継続時間に基いて押下された強さを算出する。押下されたタイミング及び押下された強さと、基準開始時刻及び基準継続時間とを比較することにより、該押下動作を高精度に採点することができる。また、ＭＩＤＩデータのノートオン信号及びベロシティ情報を用いて、基準開始時刻及び基準継続時間を設定することができる。
【解決手段】押下されたタイミング及び押下されている継続時間を算出する。押下されている継続時間に基いて押下された強さを算出する。押下されたタイミング及び押下された強さと、基準開始時刻及び基準継続時間とを比較することにより、該押下動作を高精度に採点することができる。また、ＭＩＤＩデータのノートオン信号及びベロシティ情報を用いて、基準開始時刻及び基準継続時間を設定することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子楽器の採点等に関するものである。
【背景技術】
【０００２】
従来、タッチパネルを有する表示器を擬似的な楽器とした装置が存在する。例えば、下記特許文献１には、押下された位置を検出し、該検出した位置に応じた音を発音する装置が記載されている。このような装置では、押下されたタイミングに基いて、押下動作に対する採点処理を行うことができる。
【０００３】
【特許文献１】特開平５−１５３０３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
高精度な採点を行うには、押下されたタイミングだけではなく、押下された強さを考慮したほうが望ましいと考えられる。しかしながら、上記特許文献１においては、この点に関して何ら開示されていない。
【０００５】
本発明は、上記課題を解決するためになされたものであり、押下された強さを検出でき、検出した強さを採点結果に反映させることができる電子楽器等を提供することを目的とする。
【０００６】
本発明の一側面である請求項１に係る発明は、タッチパネルを有する電子楽器であって、押下された位置に対応した電圧を出力する電圧出力手段と、所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、楽器演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、前記所定の楽器音の発音継続時間と前記計測した継続時間とを比較し、押下強さに関する評価値を算出する第２算出手段と、前記第１算出手段及び前記第２算出手段によって算出された評価値に基づいて、前記押下に関する採点を行う採点手段とを備えることを特徴とする。
【０００７】
上記電子楽器によれば、タッチパネル（例えば、抵抗４線式タイプ）を有し、押下された位置に対応した電圧を出力し、所定の電圧を検出（すなわち、所定の位置の押下を検出）した時刻を取得し、該電圧を検出した場合に所定の音の出力を（所定の音源に）指示し、該電圧を検出している継続時間を計測する。そして、楽曲演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較して押下タイミングに関する評価値を算出し、また、該所定の楽器音の発音継続時間と前記計測した継続時間とを比較して押下強さに関する評価値を算出する。ここで、該楽曲は所定の楽曲再生装置によって再生される。また、所定の楽曲再生装置は、上記電子楽器内に備えてもよく、また、上記電子楽器の外部に備えてもよい。そして、上記評価値に基づいて、上記押下に関する採点を行う。これにより、タッチパネルへの押下動作に関する採点を高精度に行うことができる。
【０００８】
本発明の一側面である請求項２に係る発明は、請求項１の電子楽器において、前記楽器演奏信号情報は、ＭＩＤＩデータであり、前記発音開始タイミングは、前記ＭＩＤＩデータに含まれる前記所定の楽器音トラックのノートオン信号の検出タイミングであり、前記発音継続時間は、前記ノートオン信号の検出タイミングから前記ＭＩＤＩデータに含まれる前記楽器音トラックのノートオフ信号の検出タイミングまでの期間、または、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記楽器音の減衰時間であることを特徴とする。
【０００９】
上記電子楽器によれば、楽器演奏信号情報としてＭＩＤＩデータを採用し、ＭＩＤＩデータに含まれるノートオン信号、ノートオフ信号、ベロシティ情報を用いて、押下に関する採点を行うことができる。
【００１０】
本発明の一側面である請求項３に係る発明は、タッチパネルを有する電子楽器において、押下された位置に対応した電圧を出力する電圧出力手段と、所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、前記継続時間に基いて押下された強さを算出する強さ算出手段と、楽器演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、前記発音開始タイミングに対応した発音強さと上記算出した強さとを比較し、押下強さに関する評価値を算出する第３算出手段と、前記第１算出手段及び前記第３算出手段によって算出された評価値に基づいて、上記押下に関する採点を行う採点手段とを備えることを特徴とする。
【００１１】
上記電子楽器によれば、タッチパネル（例えば、４線式タイプ）を有し、押下された位置に対応した電圧を出力し、所定の電圧を検出（すなわち、所定の位置の押下を検出）した時刻を取得し、該電圧を検出した場合に所定の音の出力を（所定の音源に）指示し、該電圧を検出している継続時間を計測し、該継続時間に基いて押下された強さを検出する。そして、楽曲演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較して押下タイミングに関する評価値を算出し、また、該所定の楽器音の発音強さと前記検出した押下強さとを比較して押下強さに関する評価値を算出する。ここで、該楽曲は所定の楽曲再生装置によって再生される。また、所定の楽曲再生装置は、上記電子楽器内に備えてもよく、また、上記電子楽器の外部に備えてもよい。そして、上記評価値に基づいて、上記押下に関する採点を行う。これにより、タッチパネルへの押下動作に関する採点を高精度に行うことができる。
【００１２】
本発明の一側面である請求項４に係る発明は、請求項３の電子楽器であって、前記楽器演奏信号情報は、ＭＩＤＩデータであり、前記発音開始タイミングは、前記ＭＩＤＩデータに含まれる前記楽器音トラックのノートオン信号の検出タイミングであり、前記発音開始タイミングに対応した発音強さは、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記楽器音の弾きの強さであることを特徴とする。
【００１３】
上記電子楽器によれば、楽器演奏信号情報としてＭＩＤＩデータを採用し、ＭＩＤＩデータに含まれるノートオン信号、ベロシティ情報を用いて、押下に関する採点を行うので、ノートオン信号からノートオフ信号までの期間で発音期間が特定されないこともある特定の打楽器のトラックの採点を行うことができる。
【００１４】
本発明の一側面である請求項５に係る発明は、請求項１乃至４いずれかの電子楽器であって、前記所定楽器音は、ドラムまたはベースであることを特徴とする。
【００１５】
上記電子楽器によれば、押下動作採点の対象となる楽器音を、打楽器であるドラムまたはベースとすることができるので、ノートオン信号からノートオフ信号までの期間で発音期間が特定されないこともあるドラム・トラックまたはベース・トラックの採点を行うことができる。
【００１６】
本発明の一側面である請求項６に係る発明は、請求項１乃至５いずれかの電子楽器であって、楽曲検索手段、及び、楽曲リクエスト手段をさらに有し、前記楽曲の演奏は、カラオケ装置によって行われることを特徴とする。
【００１７】
上記電子楽器によれば、カラオケ等における楽曲の検索、リクエストを行うことができ、また、カラオケ装置における楽曲再生中に、押下に関する採点を行う。これにより、カラオケ用リモコンとしても機能を有すると共に、楽曲再生中は押下動作に関する採点を高精度に行うことができる。
【００１８】
本発明の一側面である請求項７に係る発明は、リモコンとコマンダから構成されるカラオケ用楽器採点システムであって、前記リモコンは、タッチパネルを有し、押下された位置に対応した電圧を出力する電圧出力手段と、所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、前記所定の楽器音の発音継続時間と前記計測した継続時間とを比較し、押下強さに関する評価値を算出する第２算出手段と、前記コマンドと情報の送受信を行う通信手段と、を有し、前記コマンダは、ＭＩＤＩデータを記憶するＭＩＤＩデータ記憶手段と、前記ＭＩＤＩデータに基いて楽曲を再生する楽曲再生手段と、前記リモコンとの情報を送受信する通信手段と、前記押下に関する採点を行う採点手段を有し、前記コマンダは、前記ＭＩＤＩデータに基く楽曲演奏中に、前記所定の楽器音のノートオン信号の検出タイミング及び該ノートオン信号に対応するベロシティ信号、ノートオフ信号の検出タイミングを送信し、前記リモコンは、前記コマンダから前記所定の楽器音のノートオン信号の検出タイミング及び該ノートオン信号に対応するベロシティ信号、ノートオフ信号の検出タイミングを受信し、前記発音開始タイミングは、前記受信したノートオン信号の検出タイミングであり、前記発音継続時間は、前記ノートオン信号の検出タイミングから前記ノートオフ信号の検出タイミングまでの期間、または、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記楽器音の減衰時間であり、前記第１算出手段及び前記第２算出手段によって算出された評価値を前記コマンダに送信し、前記コマンダは、受信した評価値に基いて前記押下に関する採点を行う、ことを特徴とする。
【００１９】
上記カラオケ用楽器採点システムによれば、コマンダは、楽曲の演奏に応じて所定の情報（ノートオン信号、ノートオフ信号、ベロシティ情報）をリモコンに送信し、リモコンは、検出した押下タイミング、押下継続時間と、受信した所定情報に基いて特定した発音開始タイミング、発音継続時間とを比較することにより押下動作を評価し、該評価結果をコマンダに送信し、コマンダは受信した評価結果に基いて押下動作を採点する。これにより、カラオケの楽曲演奏と押下動作の採点を関連づけることができ、また、押下動作の採点を高精度に行うことができる。
【発明の効果】
【００２０】
本発明によれば、押下された強さを検出し、検出した強さを採点結果に反映させる電子楽器等を実現することができる。
【発明を実施するための最良の形態】
【００２１】
［第１実施形態］
本発明の一実施形態である第１実施形態について説明する。
図１は、第１実施形態の電子楽器のブロック図である。
電子楽器１は、表示部１１、操作部１２、ＣＰＵ１３、ＲＯＭ１４、ＲＡＭ１５、補助記憶手段１６、楽曲再生手段１７、から基本的に構成される。
【００２２】
表示部１１には、種々の情報が表示される。また、押下操作時（楽曲演奏時）には、表示部１１の所定の領域内に押下領域（タップ領域）が表示される。
操作部１２は、表示部１１の表面に設けられたタッチパネルである。また、タッチパネルとは別に、所定の物理的ボタンを設けてもよい。
【００２３】
ＣＰＵ１３は、本発明を実現するために必要なプログラムを含む種々のプログラムを実行する。ＲＯＭ１４は、本発明を実現するために必要な情報を含む種々のデータを記憶する。ＲＡＭ１５は、本発明を実現するために必要な情報を含む種々のデータを一時的に記憶する。
【００２４】
補助記憶手段１６は、楽曲を再生するための楽曲データが記憶されている。なお、楽曲データは電子楽器内に必ずしも必要ではなく、所定の外部手段によって実現してもよい。また、映像データを記憶してもよい。
楽曲再生手段１７は、楽曲データを再生し、図示しないスピーカ等より音声出力する。なお、楽曲再生手段１７は必ずしも必要ではなく、所定の外部手段によって実現してもよい。
また、図示しない通信手段によって、所定の外部手段との情報の送受信を行う。
【００２５】
（タッチパネルについて）
第１実施形態では、上述したとおり、操作部１２としてタッチパネルが用いられる。第１実施形態におけるタッチパネルは、指、ペンのいずれによっても操作可能とするため、アナログ抵抗膜方式が望ましい。例えば、４線式抵抗膜方式タッチパネルを用いることができる。
【００２６】
タッチパネルの基本原理について以下説明する。タッチパネルは、上部フィルムと下部ガラスとから構成される。上部フィルムは、しなやかにたわむフィルム（例えば、ＰＥＴシート）である。
上部フィルム及び下部ガラスには、その対向面に透明導電物質（ＩＴＯ、インジウムスズ酸化物）が成膜されている。また、上部フィルム及び下部ガラスは、通常時においては、所定の距離だけ離れている。また下部ガラス側には、ドットスペーサが設けられている。上部フィルムを押下すると、圧力によりフィルムがたわみ、上部フィルムと下部ガラスの導電膜が接触し２つの電圧（Ｘ方向及びＹ方向に対応する電圧）が生じることになる。
【００２７】
このときに生じる電圧は、押下された座標値（Ｘ座標、Ｙ座標）によって異なるので、検知した電圧によって、押下された位置を認識することができる。また、所定のサンプリング周波数で電圧を検知するよう構成される。
【００２８】
図２は、タッチパネル及びＣＰＵ１３の構成を示したものである。タッチパネルから出力された電圧信号は、Ｘ方向成分及びＹ方向成分ごとにＡ／Ｄ変換器を介して、ＣＰＵ１３に出力される。ＣＰＵ１３は、取得した信号を基に、押下された座標を認識することができる。
【００２９】
第１実施形態においては、所定の領域（タップ領域）が押下された場合に、所定のプロセス（または、メモリ領域）に、例えば「１」を示す信号を出力する。また、所定の領域外が押下された場合に、所定のプロセス（または、メモリ領域）に、例えば「０」を示す信号を出力する。また、「１」を示す信号の検出開始時刻は、図示しないタイマによって検出可能である。
【００３０】
図３は、押下された領域と出力される値との関係を示した図である。図３において、斜線部分が、タイミングにあわせてタップ（押下）する領域（タップ領域）である。ここで、タップ領域が押下された場合に出力される電圧が、「Ｘ方向：３．５〜４．０Ｖ」、「Ｙ方向：１．０〜１．５Ｖ」であるとする。この場合、ＣＰＵ１３は、「Ｘ方向の電圧として３．５〜４．０Ｖを検出し、かつ、Ｙ方向の電圧として１．０〜１．５Ｖを検出した」場合に限り、「１」を示す信号を出力する。
【００３１】
次に、押下した強さとフィルムのたわみ方との関係について説明する。図４は、押下した強さとフィルムのたわみ方との関係を示した図である。
図４に示されるように、フィルムを弱く押下した場合、短い時間でフィルムのたわみがなくなるため、フィルムとガラスとが接触している時間が短い。一方、フィルムを強く押下した場合は、たわむ面積が大きいため、フィルムとガラスとが接触している時間が長い。
【００３２】
したがって、「１」を示す信号が長い期間出力されている場合は、タップ領域を強く押下したものと判断することができ、また、「１」を示す信号が短い期間だけ出力されている場合は、タップ領域を弱く押下したものと判断することができる。
【００３３】
図５は、押下した強さと出力値との関係を示した図である。図５に示されるように、タップ領域を弱く押した場合は、「１」を示す信号のサンプル数が少なく、また、タップ領域を強く押した場合は「１」を示す信号のサンプル数が多い。ここで、サンプリング周波数は適宜設定可能であり、サンプリング周波数と検出したサンプル数とを掛け合わせることにより、「１」を示す信号の出力継続時間を算出することができる。そして、当該出力継続時間に基いて、押下された強さを算出することができる。
【００３４】
以上説明した処理によって、押下タイミング及び押下強さを示す情報を検出することができる。そして、検出された押下タイミング及び押下強さを示す情報は、基準値と比較されることにより、押下動作の採点が行われる。
【００３５】
図６乃至図８は、押下動作の採点の様子を示した図である。
図６では、基準開始時刻で押下が開始され、その押下継続時間（電圧値出力継続時間）は基準継続時間と一致している。その結果、図６における押下動作は、「タップタイミング：適正」、「タップ強度：適正」と判断される。
【００３６】
図７では、基準開始時刻よりも前の時点で押下が開始され、その押下継続時間は基準継続時間よりも長い。その結果、図７における押下動作は、「タップタイミング：早い」、「タップ強度：強い」と判断される。
【００３７】
図８では、基準開始時刻よりも後の時点で押下が開始され、その押下継続時間は基準継続時間よりも短い。その結果、図８における押下動作は、「タップタイミング：遅い」、「タップ強度：弱い」と判断される。
【００３８】
（楽曲演奏進行情報と、基準開始時刻及び基準継続時間との関係）
上述した押下動作に対する基準値は、楽曲演奏進行情報によって求められる。以下の説明では、楽曲演奏進行情報としてＭＩＤＩデータを例に挙げて説明するが、本発明における楽曲演奏進行情報は、ＭＩＤＩデータに限定されるものではない。
【００３９】
ＭＩＤＩデータは、複数のトラック（チャネル）ごとに、楽器音が定義されている。そして、その楽器音の発音に関する種々の情報（ノートオン信号、ノートオフ信号等）が定義されている。以下、押下動作の比較基準となる楽器音を「比較楽器音」という。
第１実施形態においては、比較楽器音の発音開始タイミングを「基準開始時刻」としている。したがって、比較楽器音に対するノートオン信号を検出した時刻を「基準開始時刻」とすることができる。
【００４０】
また、第１実施形態においては、比較楽器音の発音継続時間を「基準継続時間」としている。したがって、比較楽器音のノートオン信号を検出した時刻から該楽器音のノートオフ信号を検出した時刻までを「基準継続時間」とすることができる。
【００４１】
通常の音源は、ノートオン信号によって発音した後は、ノートオフ信号を検出するまで発音が続く。しかしながら、ドラム、ベース、パーカッション音源等（打楽器音源）は、ノートオン信号を検出すると同時に発音し、ノートオフ信号の有無に関わらず音色の最後まで達したときに消音される。そのため、上記比較楽器音として、例えばドラム音源が設定されている場合は、ノートオン信号が出力されてから消音されるまでの時間を所定の時間として管理しておき、上記ノートオン信号が出力されてから上記所定の時間を発音されている区間として特定することができる。このとき、消音されるまでの期間は、上記ノートオン信号に対応するベロシティ信号に基いて算出することができる。これにより、ノートオン信号からノートオフ信号までの期間で発音期間が特定されないこともある特定の打楽器のトラックの採点を行うことができる。なお、ベロシティ信号と消音されるまでの期間（すなわち、発音継続時間）との関係は、テーブルで定義してもよく、また、所定の数式で定式化してもよい。
【００４２】
以上の処理によって、楽音演奏進行情報に基いて基準開始時刻及び基準継続時間を設定することができ、設定した基準開始時刻及び基準継続時間に基いて、押下動作の採点処理を行うことができる。
【００４３】
（採点処理について）
次に、採点処理の具体的内容について説明する。
図９は、採点処理のフローチャートである。この処理を実行するためのプログラムは、電子楽器１のＣＰＵ１３によって実行される。また、この処理は、所定の操作（例えば、演奏指示操作）が行われたときに実行される。
【００４４】
まず、Ｓ１において、ユーザにより演奏する曲が選択がされる。このとき、電子楽器１の表示部１１及び操作部１２（タッチパネル）が用いられる。また、電子楽器１に、検索機能を有するよう構成してもよい。
【００４５】
Ｓ２において、選択された曲のＭＩＤＩデータに基いて採点の基準とする楽器（打楽器）の種類を抽出する。具体的には、ＭＩＤＩデータのそれぞれのトラック（チャネル）に定義されている楽器を調べ、その楽器が打楽器であると判断した場合に、該楽器を選択可能な楽器として抽出する。
【００４６】
Ｓ３において、Ｓ２で抽出した打楽器の種類を表示する。また、表示された打楽器から１つ選択可能である旨を表示する。なお、表示形態は適宜設定可能である。
【００４７】
Ｓ４において、打楽器が選択されたか否かを判断する。打楽器が選択されなかったと判断した場合は（Ｓ４：ＮＯ）、Ｓ５に移行する。Ｓ５においては、通常の楽曲演奏処理を行う。通常の楽曲演奏処理は公知技術であるので、説明を省略する。
【００４８】
一方、打楽器が選択されたと判断した場合は（Ｓ４：ＹＥＳ）、Ｓ６に移行する。
Ｓ６において、選択された打楽器のＭＩＤＩトラックを特定する。そして、該選択された楽器音が、上述した「比較楽器音」となる。
【００４９】
Ｓ７において、曲演奏指示があるか否かを判断する。ユーザは、所定の操作を行うことにより曲演奏指示を行うことができる。曲演奏指示があるまで、Ｓ７で待機することになる。なお、Ｓ７の処理を省略することもできる。すなわち、Ｓ４で打楽器の選択が行われた後、所定時間後に自動的に曲の演奏を開始するように構成してもよい。
【００５０】
曲演奏指示があると（Ｓ７：ＹＥＳ）、Ｓ８に移行する。
Ｓ８において、曲の演奏を開始する。その後、Ｓ９に移行する。
Ｓ９において、検出処理を行う。検出処理の詳細については後述する。
【００５１】
Ｓ１０において、曲の演奏が終了したか否かが判断される。曲の演奏が終了したか否かの判断は、所定の信号を受信したか否かに基いて行われる。曲の演奏が終了していないと判断した場合は（Ｓ１０：ＮＯ）、Ｓ９に戻る。すなわち、曲の演奏中は、Ｓ９及びＳ１０の処理が繰り返されることになる。
【００５２】
曲の演奏が終了したと判断した場合は（Ｓ１０：ＹＥＳ）、Ｓ１１に移行する。
Ｓ１１においては、採点値を表示する。このときの表示形態は適宜設定可能である。
【００５３】
次に、Ｓ９（図９）の検出処理について詳細に説明する。
図１０は、検出処理のフローチャートである。
Ｓ２１において、変数Ａ、Ｂ、Ｃをクリアする。変数Ａ、Ｂ、Ｃは、それぞれ、比較楽器音の発音開始前に押下されている期間、比較楽器音の発音中に押下されている期間、比較楽器音の発音終了後に押下されている期間を示すものである。
【００５４】
Ｓ２２において、比較楽器音のノートオン信号を検出したか否かを判断する。比較楽器音の発音開始時点でノートオン信号が検出される。ノートオン信号を検出していないと判断した場合は（Ｓ２２：ＮＯ）、Ｓ２３に移行する。
Ｓ２３において、タッチパネルが押下されているか否かを判断する。タッチパネルが押下されていると判断した場合は（Ｓ２３：ＹＥＳ）、Ａをインクリメントする。すなわち、比較楽器音の発音開始前に押下されている期間が計測されることになる。一方、タッチパネルは押下されていないと判断した場合は（Ｓ２３：ＮＯ）、Ｓ２２に移行する。
【００５５】
一方、Ｓ２２において、ノートオン信号を検出したと判断した場合は（Ｓ２２：ＹＥＳ）、Ｓ２５に移行する。なお、タッチパネルの押下開始タイミング（すなわち、Ｓ２２の条件判断で「ＹＥＳ」と判断したタイミング）は、所定の記憶手段（例えば、ＲＡＭ１５）に記憶されるものとする。
【００５６】
Ｓ２５において、タッチパネルが押下されているか否かを判断する。タッチパネルが押下されていると判断した場合は（Ｓ２５：ＹＥＳ）、Ｓ２６に移行する。Ｓ２６において、Ｂをインクリメントする。すなわち、比較楽器音の発音中に押下されている期間が計測されることになる。
一方、タッチパネルが押下されていないと判断した場合は（Ｓ２５：ＮＯ）、Ｓ２７に移行する。
【００５７】
Ｓ２７において、比較楽器音の発音が終了したか否かを判断する。ノートオフ信号を検出したか、または、上記ノートオン信号に対応するベロシティ情報に基いて特定された発音継続時間を経過した場合に、Ｓ２７の条件判断は「ＹＥＳ」となる。
発音は終了していないと判断した場合は（Ｓ２７：ＮＯ）、Ｓ２５に移行する。
一方、発音は終了したと判断した場合は（Ｓ２７：ＹＥＳ）、Ｓ２８に移行する。
【００５８】
Ｓ２８において、タッチパネルが押下されているか否かを判断する。タッチパネルが押下されていると判断した場合は（Ｓ２８：ＹＥＳ）、Ｓ２９に移行する。Ｓ２９において、Ｃをインクリメントする。すなわち、比較楽器音の発音終了後に押下されている期間が計測される。
一方、タッチパネルが押下されていないと判断した場合は（Ｓ２８：ＮＯ）、Ｓ３０に移行する。
【００５９】
Ｓ３０において、押下タイミング及び押下継続時間を特定する。押下タイミングは、上述したＲＡＭ１５に記憶されたタイミングである。また、押下継続時間は、変数Ａ、Ｂ、Ｃの値を合算することによって算出される。
【００６０】
Ｓ３１において、押下タイミング及び押下継続時間に基いて、該押下動作（押下タイミング、押下強さ）に関する採点を行う。
【００６１】
また、図１０に示した処理においては、押下強さの採点に関し、継続時間同士を比較し、該比較結果に基いて行ったが、押下強さ及び発音強さを直接比較してもよい。このとき、押下強さは、押下継続時間に基いて算出される。このとき、テーブルを用いてもよく、また、所定の関係式によって算出してもよい。また、比較楽器音の発音強さ（弾き強さ）は、ベロシティ情報から算出される。このとき、テーブルを用いてもよく、また、所定の関係式によって算出してもよい。
【００６２】
図１１は、比較楽器音のノートオン信号ごとの押下動作の評価値を示した図である。
図１１において、ノートオン順序は、ＭＩＤＩデータに含まれる所定の楽器音のノートオン信号の出現順序である。発音開始タイミングは、ノートオン信号を検出したタイミングである。発音継続時間は、ノートオン信号に対応するベロシティ信号に基いて算出された比較楽器音の発音継続時間である。なお、該ノートオン信号に対応するノートオフ信号を検出した場合は、該ノートオン信号の検出タイミングから該ノートオフ信号の検出タイミングまでの時間が発音継続時間となる。また、発音開始タイミングの単位は適宜設定可能である。なお、図１１に示されるタイミングの数値は、説明の便宜上示したものである。
【００６３】
押下開始タイミングは、タッチパネルの押下タイミングである。Ａ値、Ｂ値、Ｃ値は、上述した検出処理によって算出された変数Ａ、Ｂ、Ｃの値である。押下継続時間は、Ａ値、Ｂ値、Ｃ値を合算した値である。
押下タイミングの評価値は、発音開始タイミングと押下タイミングとの差分値に基いて、「適正」、「早い」、「遅い」のいずれかとなる。「早い」または「遅い」の場合は、数値として「−１」が割り当てられ、「適正」の場合は「０」が割り当てられる。また、押下強さの評価値は、発音継続時間と押下継続時間との差分値に基いて、「適正」、「弱い」、「強い」のいずれかとなる。また、「弱い」または「強い」となった場合は、数値として「−１」が割り当てられる。なお、評価値の算出においては、所定範囲内の差分値であれば、「適正」と判断してもよい。
【００６４】
減点値は、押下タイミング及び押下強さの評価値の合計として算出される。すなわち、例えば、押下タイミング及び押下強さの評価値がいずれも「適正（０）」であれば、減点値は「０」となる。
そして、楽曲の演奏終了時点で、初期値（１００点）とすべての減点値を積算することにより、楽曲の押下動作の採点値を算出することができる。図１１に示す例においては、最終的な採点値は「８８点」となる。なお、図１１に示した採点方法（減算法）は、単なる一例であり、別の採点基準（加算法）によって行ってもよい。
【００６５】
上述した第１実施形態によれば、タッチパネルを押下したタイミングと強さを算出し、算出した押下タイミング及び押下強さと、楽曲演奏中の所定の楽器音の発音開始タイミング及び発音強さとを比較することにより、押下動作の採点を行うので、高精度の採点処理を行うことができる。
【００６６】
［第２実施形態］
次に、上記電子楽器をカラオケ用楽器採点システムにおける適用した実施形態について説明する。
図１２は、カラオケ用楽器採点システムのブロック図である。
図１２に示すように、カラオケ用楽器採点システムは、リモコン１００とコマンダ２００とから基本的に構成されている。
【００６７】
リモコン１００は、表示部１１１、操作部１１２、ＣＰＵ１１３、ＲＯＭ１１４、ＲＡＭ１１５、通信Ｉ／Ｆ１１６、とから基本的に構成される。
表示部１１１、操作部１１２、ＣＰＵ１１３、ＲＯＭ１１４、ＲＡＭ１１５は、それぞれ、上述した第１実施形態の電子楽器１の表示部１１、操作部１２、ＣＰＵ１３、ＲＯＭ１４、ＲＡＭ１５と基本的に同じであるので、説明を省略する。
通信Ｉ／Ｆ１１６は、コマンダ２００との間で種々の情報を送受信する。このとき、無線ＬＡＮを用いてもよい。また、図示しないホストと通信することができる。
【００６８】
また、リモコン１００は、楽曲の検索、種々の情報の提示、飲食の注文等に用いることができる。
【００６９】
コマンダ２００は、補助記憶手段２１１、映像音声再生手段２１２、ＣＰＵ１１３、ＲＯＭ１１４、ＲＡＭ１１５、通信Ｉ／Ｆ２１６、音声入力手段２１７とから基本的に構成される。
補助記憶手段２１１は、ＭＩＤＩデータ、背景画や歌詞テロップなどの映像データ等（データ群）が記憶されている。映像音声再生手段２１２は、補助記憶手段２１１に記憶された前記データ群に基いて、電子楽器としての楽曲演奏（以下、「楽曲演奏」という。）を行うとともに、音声入力手段２１７からの信号を再生出力し、前記演奏楽曲の歌詞テロップや、数値などの文字表示信号をも出力する。
【００７０】
ＣＰＵ２１３は、本発明を実現するために必要なプログラムを含む種々のプログラムを実行する。ＲＯＭ２１４は、本発明を実現するために必要な情報を含む種々のデータを記憶する。ＲＡＭ２１５は、本発明を実現するために必要な情報を含む種々のデータを一時的に記憶する。
【００７１】
通信Ｉ／Ｆ２１６は、リモコン１００との間で種々の情報を送受信する。このとき、無線ＬＡＮを用いてもよい。また、図示しないホストと通信することができる。
また、コマンダ２００には、図示しないモニタ、スピーカが映像音声再生手段２１２に接続され、図示しないマイクも音声入力手段２１７に接続されている。よって、コマンダ２００はリモコン１００と通信可能で、かつ前記楽曲演奏に合わせて歌詞表示やマイク入力音声の再生とを行うカラオケ装置として機能するよう構成されている。
【００７２】
図１３は、ユーザがリモコン１００を操作し、リモコン１００とコマンダ２００とが通信を行っている様子を示した図である。ユーザは、楽曲の演奏中に、リモコン１００を擬似的な電子楽器として用い、所定のタップ領域を押下する。
【００７３】
次に、リモコン１００とコマンダ２００との間で送受信される情報について説明する。図１４は、リモコン１００とコマンダ２００との間で送受信される情報について示した図である、
リモコン１００は、ユーザより楽曲のリクエストを受け付けると（１）、該リクエストに対応するリクエスト信号をコマンダ２００に送信する（２）。
【００７４】
コマンダ２００は、リモコン１００からのリクエスト信号を受信すると、該リクエスト信号に対応する楽曲の演奏を行う（３）。
コマンダ２００は、楽曲の演奏中、関連情報をリモコン１００に対し送信する。関連情報の送信の詳細については後述する。
【００７５】
リモコン１００は、楽曲の演奏中、押下動作を評価する（５）。また、押下動作の評価については、コマンダ２００から受信した関連情報が用いられる。押下動作の評価の詳細については後述する。
【００７６】
リモコン１００は、コマンダ２００に対し、評価結果を示す評価結果信号（例えば、減点値としての数値）を送信する（６）。
コマンダ２００は、受信した評価結果信号に基いて採点結果を更新する（７）。
上述した（３）〜（７）の処理は、楽曲の演奏中繰り返し行われる。
楽曲の演奏が終了すると、コマンダ２００は、前記更新によって得られた採点結果（例えば、採点の初期値１００点から、前記減点値を受信毎に差し引いて前記採点を更新したり、前記減点値を受信毎に積算し、演奏終了時に一括して採点の初期値から差し引く、などの減点法によって得られた数値）を表示する（８）。
【００７７】
次に、リモコン１００で実行される評価処理について説明する。
図１５は、評価処理のフローチャートである。評価処理を実行するためのプログラムは、ＣＰＵ１１３によって実行される。
【００７８】
Ｓ４１、Ｓ４２、Ｓ４３、Ｓ４４、Ｓ４６の処理は、上述した第１実施形態の電子楽器１によって実行される採点処理のＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ６と基本的に同様の処理であるので説明を省略する。
【００７９】
Ｓ４５に移行すると、コマンダ２００に対し通常の楽曲演奏指示（リクエスト指示）を行う。なお、通常の楽曲演奏指示に関する処理は、公知であるので説明を省略する。
【００８０】
Ｓ４７に移行すると、コマンダ２００に対し楽曲演奏指示を行う。すなわち、コマンダ２００に対し、楽曲演奏指示を示す信号を送信する。このとき、選択した打楽器を示す情報についても送信する。
【００８１】
Ｓ４８において、検出処理を行う。検出処理の詳細については後述する。
Ｓ４９において、曲の演奏を終了したか否かを判断する。コマンダ２００より所定の信号を受信したときに曲の演奏を終了したと判断される。曲の演奏を終了していないと判断した場合は（Ｓ４９：ＮＯ）、Ｓ４８に移行する。一方、曲の演奏を終了したと判断した場合は（Ｓ４９：ＹＥＳ）、評価処理を終了する。
【００８２】
次に、検出処理（図１５のＳ４８）について説明する。
図１６は、検出処理のフローチャートである。
Ｓ５１、Ｓ５３、Ｓ５４、Ｓ５５、Ｓ５６、Ｓ５８、Ｓ５９、Ｓ６０の処理は、上述した第１実施形態の電子楽器１によって実行される検出処理のＳ２１、Ｓ２３、Ｓ２４、Ｓ２５、Ｓ２６、Ｓ２８、Ｓ２９、Ｓ３０と基本的に同様の処理であるので説明を省略する。
【００８３】
Ｓ５２において、ノートオン信号を受信したか否かが判断される。コマンダ２００より、ノートオン信号を受信したときに、Ｓ５２の条件判断は「ＹＥＳ」となる。ノートオン信号を受信したと判断した場合は（Ｓ５２：ＹＥＳ）、Ｓ５５に移行する。一方、ノートオン信号を受信していないと判断した場合は（Ｓ５２：ＮＯ）、Ｓ５３に移行する。
【００８４】
Ｓ５７において、比較楽器音の発音が終了したか否かを判断する。このとき、コマンダ２００からノートオフ信号を受信したか、または、上記ノートオン信号に対応するベロシティ情報に基いて特定された発音継続時間を経過した場合に、Ｓ５７の条件判断は「ＹＥＳ」となる。
発音は終了していないと判断した場合は（Ｓ５７：ＮＯ）、Ｓ５５に移行する。
一方、発音は終了したと判断した場合は（Ｓ５７：ＹＥＳ）、Ｓ５８に移行する。
【００８５】
Ｓ６１において、押下タイミング及び押下継続時間に基いて、該押下動作（押下タイミング、押下強さ）に関する評価を行う。すなわち、押下タイミング及び押下強さの評価値（図１１参照）を算出する。
Ｓ６２において、コマンダ２００に対しＳ６１での評価結果を送信する。
【００８６】
次に、コマンダ２００で実行される演奏処理について説明する。
図１７は、演奏処理のフローチャートである。演奏処理を実行するためのプログラムは、コマンダ２００のＣＰＵ２１３によって実行される。
【００８７】
曲演奏開始の指示があるまでＳ７１で待機する。リモコン１００より曲演奏開始指示信号を受信した場合に、Ｓ７１の条件判断は「ＹＥＳ」となる。
Ｓ７２において、楽曲の演奏を開始する。このとき、比較楽器音を示すための情報についても、リモコン１００より受信しているものとする。
【００８８】
Ｓ７３において、比較楽器音のノートオン信号を検出したか否かを判断する。比較楽器音のノートオン信号を検出したと判断した場合は（Ｓ７３：ＹＥＳ）、Ｓ７４に移行する。
Ｓ７４において、リモコン１００に対し、ノートオン信号を送信する。このとき、該ノートオン信号に対応するベロシティ情報についても送信する。その後、Ｓ７７に移行する。
【００８９】
一方、Ｓ７３において、ノートオン信号を検出していないと判断した場合は（Ｓ７３：ＮＯ）、Ｓ７５に移行する。
Ｓ７５において、比較楽器音のノートオフ信号を検出したか否かを判断する。比較楽器音のノートオフ信号を検出したと判断した場合は（Ｓ７５：ＹＥＳ）、Ｓ７６に移行する。
Ｓ７６において、リモコン１００に対し、ノートオフ信号を送信する。その後、Ｓ７７に移行する。
【００９０】
一方、Ｓ７５において、ノートオフ信号を検出していないと判断した場合は（Ｓ７５：ＮＯ）、Ｓ７７に移行する。
Ｓ７７において、リモコン１００より評価結果信号を受信したか否かを判断する。
評価結果信号を受信したと判断した場合は（Ｓ７７：ＹＥＳ）、Ｓ７８に移行する。
Ｓ７８において、採点結果を更新する。すなわち、現在の採点値（図１１参照）に対し、受信した評価結果信号に含まれる評価値（図１１参照）を積算する。その後、Ｓ７９に移行する。
【００９１】
一方、Ｓ７７において、評価結果信号を受信していないと判断した場合は（Ｓ７７：ＮＯ）、Ｓ７９に移行する。
Ｓ７９において、楽曲の演奏を終了するか否かを判断する。
楽曲の演奏を終了しないと判断した場合は（Ｓ７９：ＮＯ）、Ｓ７３に移行する。一方、楽曲の演奏を終了すると判断した場合は（Ｓ７９：ＹＥＳ）、Ｓ８０に移行する。
Ｓ８０において、リモコン１００に対し楽曲の演奏終了を指示するための信号を送信する。
Ｓ８１において、採点値を図示しないモニタに表示する。
【００９２】
上述した第２実施形態によれば、コマンダ２００による楽曲の演奏中に、押下タイミング及び押下強さを算出し、コマンダ２００より受信した信号に基いて、該押下タイミング及び押下強さの評価を高精度に行うことができる。
【００９３】
また、上述した処理においては、関連情報（ノートオン信号等）の送信に関し、コマンダ２００は、検出するたびにリモコン１００へ送信していたが、楽曲演奏開始時に、比較楽器音のノートデータを全てリモコン１００に送信するように構成してもよい。また、採点結果の表示に関し、コマンダ２００側で表示せずに、リモコン１００の表示部１１に表示するよう構成してもよい。
【００９４】
また、上述した各フローチャートは単なる一例であり、上記各処理と同等の結果を得ることできるものであれば、他のフローチャートによって処理を実現してもよい。
【００９５】
本発明によれば、タッチパネルの押下タイミング及び押下強さを検出し、検出した情報に基いて、押下動作を高精度に採点処理を行うことができる。
【００９６】
本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることはもちろんである。例えば、本発明は、１または複数の画面を有する携帯型ゲーム機に適用することができる。また、家庭用の据え置き型ゲーム機やゲームセンタ等に設置されるゲーム筐体にも適用することができる。
また、上述した処理を実行するための採点方法としても本発明は実現可能である。さらに、当該採点方法をコンピュータで実行させるためのプログラム、及び、そのプログラムが記録された記録媒体としても本発明は実現可能である。
【図面の簡単な説明】
【００９７】
【図１】電子楽器のブロック図である。
【図２】タッチパネル及びＣＰＵの構成を示した図である。
【図３】押下された領域と出力される値との関係を示した図である。
【図４】押下した強さとフィルムのたわみ方との関係を示した図である。
【図５】押下した強さと出力値との関係を示した図である。
【図６】押下動作の採点の様子を示した図である。
【図７】押下動作の採点の様子を示した図である。
【図８】押下動作の採点の様子を示した図である。
【図９】採点処理のフローチャートである。
【図１０】検出処理のフローチャートである。
【図１１】比較楽器音のノートオン信号ごとの押下動作の評価値を示した図である。
【図１２】カラオケ用楽器採点システムのブロック図である。
【図１３】ユーザがリモコンを操作し、リモコンとコマンダとが通信を行っている様子を示した図である。
【図１４】リモコンとコマンダとの間で送受信される情報について示した図である。
【図１５】評価処理のフローチャートである。
【図１６】検出処理のフローチャートである。
【図１７】演奏処理のフローチャートである。
【符号の説明】
【００９８】
１ 電子楽器
１１ 表示部
１２ 操作部
１３ ＣＰＵ
【技術分野】
【０００１】
本発明は、電子楽器の採点等に関するものである。
【背景技術】
【０００２】
従来、タッチパネルを有する表示器を擬似的な楽器とした装置が存在する。例えば、下記特許文献１には、押下された位置を検出し、該検出した位置に応じた音を発音する装置が記載されている。このような装置では、押下されたタイミングに基いて、押下動作に対する採点処理を行うことができる。
【０００３】
【特許文献１】特開平５−１５３０３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
高精度な採点を行うには、押下されたタイミングだけではなく、押下された強さを考慮したほうが望ましいと考えられる。しかしながら、上記特許文献１においては、この点に関して何ら開示されていない。
【０００５】
本発明は、上記課題を解決するためになされたものであり、押下された強さを検出でき、検出した強さを採点結果に反映させることができる電子楽器等を提供することを目的とする。
【０００６】
本発明の一側面である請求項１に係る発明は、タッチパネルを有する電子楽器であって、押下された位置に対応した電圧を出力する電圧出力手段と、所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、楽器演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、前記所定の楽器音の発音継続時間と前記計測した継続時間とを比較し、押下強さに関する評価値を算出する第２算出手段と、前記第１算出手段及び前記第２算出手段によって算出された評価値に基づいて、前記押下に関する採点を行う採点手段とを備えることを特徴とする。
【０００７】
上記電子楽器によれば、タッチパネル（例えば、抵抗４線式タイプ）を有し、押下された位置に対応した電圧を出力し、所定の電圧を検出（すなわち、所定の位置の押下を検出）した時刻を取得し、該電圧を検出した場合に所定の音の出力を（所定の音源に）指示し、該電圧を検出している継続時間を計測する。そして、楽曲演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較して押下タイミングに関する評価値を算出し、また、該所定の楽器音の発音継続時間と前記計測した継続時間とを比較して押下強さに関する評価値を算出する。ここで、該楽曲は所定の楽曲再生装置によって再生される。また、所定の楽曲再生装置は、上記電子楽器内に備えてもよく、また、上記電子楽器の外部に備えてもよい。そして、上記評価値に基づいて、上記押下に関する採点を行う。これにより、タッチパネルへの押下動作に関する採点を高精度に行うことができる。
【０００８】
本発明の一側面である請求項２に係る発明は、請求項１の電子楽器において、前記楽器演奏信号情報は、ＭＩＤＩデータであり、前記発音開始タイミングは、前記ＭＩＤＩデータに含まれる前記所定の楽器音トラックのノートオン信号の検出タイミングであり、前記発音継続時間は、前記ノートオン信号の検出タイミングから前記ＭＩＤＩデータに含まれる前記楽器音トラックのノートオフ信号の検出タイミングまでの期間、または、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記楽器音の減衰時間であることを特徴とする。
【０００９】
上記電子楽器によれば、楽器演奏信号情報としてＭＩＤＩデータを採用し、ＭＩＤＩデータに含まれるノートオン信号、ノートオフ信号、ベロシティ情報を用いて、押下に関する採点を行うことができる。
【００１０】
本発明の一側面である請求項３に係る発明は、タッチパネルを有する電子楽器において、押下された位置に対応した電圧を出力する電圧出力手段と、所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、前記継続時間に基いて押下された強さを算出する強さ算出手段と、楽器演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、前記発音開始タイミングに対応した発音強さと上記算出した強さとを比較し、押下強さに関する評価値を算出する第３算出手段と、前記第１算出手段及び前記第３算出手段によって算出された評価値に基づいて、上記押下に関する採点を行う採点手段とを備えることを特徴とする。
【００１１】
上記電子楽器によれば、タッチパネル（例えば、４線式タイプ）を有し、押下された位置に対応した電圧を出力し、所定の電圧を検出（すなわち、所定の位置の押下を検出）した時刻を取得し、該電圧を検出した場合に所定の音の出力を（所定の音源に）指示し、該電圧を検出している継続時間を計測し、該継続時間に基いて押下された強さを検出する。そして、楽曲演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較して押下タイミングに関する評価値を算出し、また、該所定の楽器音の発音強さと前記検出した押下強さとを比較して押下強さに関する評価値を算出する。ここで、該楽曲は所定の楽曲再生装置によって再生される。また、所定の楽曲再生装置は、上記電子楽器内に備えてもよく、また、上記電子楽器の外部に備えてもよい。そして、上記評価値に基づいて、上記押下に関する採点を行う。これにより、タッチパネルへの押下動作に関する採点を高精度に行うことができる。
【００１２】
本発明の一側面である請求項４に係る発明は、請求項３の電子楽器であって、前記楽器演奏信号情報は、ＭＩＤＩデータであり、前記発音開始タイミングは、前記ＭＩＤＩデータに含まれる前記楽器音トラックのノートオン信号の検出タイミングであり、前記発音開始タイミングに対応した発音強さは、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記楽器音の弾きの強さであることを特徴とする。
【００１３】
上記電子楽器によれば、楽器演奏信号情報としてＭＩＤＩデータを採用し、ＭＩＤＩデータに含まれるノートオン信号、ベロシティ情報を用いて、押下に関する採点を行うので、ノートオン信号からノートオフ信号までの期間で発音期間が特定されないこともある特定の打楽器のトラックの採点を行うことができる。
【００１４】
本発明の一側面である請求項５に係る発明は、請求項１乃至４いずれかの電子楽器であって、前記所定楽器音は、ドラムまたはベースであることを特徴とする。
【００１５】
上記電子楽器によれば、押下動作採点の対象となる楽器音を、打楽器であるドラムまたはベースとすることができるので、ノートオン信号からノートオフ信号までの期間で発音期間が特定されないこともあるドラム・トラックまたはベース・トラックの採点を行うことができる。
【００１６】
本発明の一側面である請求項６に係る発明は、請求項１乃至５いずれかの電子楽器であって、楽曲検索手段、及び、楽曲リクエスト手段をさらに有し、前記楽曲の演奏は、カラオケ装置によって行われることを特徴とする。
【００１７】
上記電子楽器によれば、カラオケ等における楽曲の検索、リクエストを行うことができ、また、カラオケ装置における楽曲再生中に、押下に関する採点を行う。これにより、カラオケ用リモコンとしても機能を有すると共に、楽曲再生中は押下動作に関する採点を高精度に行うことができる。
【００１８】
本発明の一側面である請求項７に係る発明は、リモコンとコマンダから構成されるカラオケ用楽器採点システムであって、前記リモコンは、タッチパネルを有し、押下された位置に対応した電圧を出力する電圧出力手段と、所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、前記所定の楽器音の発音継続時間と前記計測した継続時間とを比較し、押下強さに関する評価値を算出する第２算出手段と、前記コマンドと情報の送受信を行う通信手段と、を有し、前記コマンダは、ＭＩＤＩデータを記憶するＭＩＤＩデータ記憶手段と、前記ＭＩＤＩデータに基いて楽曲を再生する楽曲再生手段と、前記リモコンとの情報を送受信する通信手段と、前記押下に関する採点を行う採点手段を有し、前記コマンダは、前記ＭＩＤＩデータに基く楽曲演奏中に、前記所定の楽器音のノートオン信号の検出タイミング及び該ノートオン信号に対応するベロシティ信号、ノートオフ信号の検出タイミングを送信し、前記リモコンは、前記コマンダから前記所定の楽器音のノートオン信号の検出タイミング及び該ノートオン信号に対応するベロシティ信号、ノートオフ信号の検出タイミングを受信し、前記発音開始タイミングは、前記受信したノートオン信号の検出タイミングであり、前記発音継続時間は、前記ノートオン信号の検出タイミングから前記ノートオフ信号の検出タイミングまでの期間、または、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記楽器音の減衰時間であり、前記第１算出手段及び前記第２算出手段によって算出された評価値を前記コマンダに送信し、前記コマンダは、受信した評価値に基いて前記押下に関する採点を行う、ことを特徴とする。
【００１９】
上記カラオケ用楽器採点システムによれば、コマンダは、楽曲の演奏に応じて所定の情報（ノートオン信号、ノートオフ信号、ベロシティ情報）をリモコンに送信し、リモコンは、検出した押下タイミング、押下継続時間と、受信した所定情報に基いて特定した発音開始タイミング、発音継続時間とを比較することにより押下動作を評価し、該評価結果をコマンダに送信し、コマンダは受信した評価結果に基いて押下動作を採点する。これにより、カラオケの楽曲演奏と押下動作の採点を関連づけることができ、また、押下動作の採点を高精度に行うことができる。
【発明の効果】
【００２０】
本発明によれば、押下された強さを検出し、検出した強さを採点結果に反映させる電子楽器等を実現することができる。
【発明を実施するための最良の形態】
【００２１】
［第１実施形態］
本発明の一実施形態である第１実施形態について説明する。
図１は、第１実施形態の電子楽器のブロック図である。
電子楽器１は、表示部１１、操作部１２、ＣＰＵ１３、ＲＯＭ１４、ＲＡＭ１５、補助記憶手段１６、楽曲再生手段１７、から基本的に構成される。
【００２２】
表示部１１には、種々の情報が表示される。また、押下操作時（楽曲演奏時）には、表示部１１の所定の領域内に押下領域（タップ領域）が表示される。
操作部１２は、表示部１１の表面に設けられたタッチパネルである。また、タッチパネルとは別に、所定の物理的ボタンを設けてもよい。
【００２３】
ＣＰＵ１３は、本発明を実現するために必要なプログラムを含む種々のプログラムを実行する。ＲＯＭ１４は、本発明を実現するために必要な情報を含む種々のデータを記憶する。ＲＡＭ１５は、本発明を実現するために必要な情報を含む種々のデータを一時的に記憶する。
【００２４】
補助記憶手段１６は、楽曲を再生するための楽曲データが記憶されている。なお、楽曲データは電子楽器内に必ずしも必要ではなく、所定の外部手段によって実現してもよい。また、映像データを記憶してもよい。
楽曲再生手段１７は、楽曲データを再生し、図示しないスピーカ等より音声出力する。なお、楽曲再生手段１７は必ずしも必要ではなく、所定の外部手段によって実現してもよい。
また、図示しない通信手段によって、所定の外部手段との情報の送受信を行う。
【００２５】
（タッチパネルについて）
第１実施形態では、上述したとおり、操作部１２としてタッチパネルが用いられる。第１実施形態におけるタッチパネルは、指、ペンのいずれによっても操作可能とするため、アナログ抵抗膜方式が望ましい。例えば、４線式抵抗膜方式タッチパネルを用いることができる。
【００２６】
タッチパネルの基本原理について以下説明する。タッチパネルは、上部フィルムと下部ガラスとから構成される。上部フィルムは、しなやかにたわむフィルム（例えば、ＰＥＴシート）である。
上部フィルム及び下部ガラスには、その対向面に透明導電物質（ＩＴＯ、インジウムスズ酸化物）が成膜されている。また、上部フィルム及び下部ガラスは、通常時においては、所定の距離だけ離れている。また下部ガラス側には、ドットスペーサが設けられている。上部フィルムを押下すると、圧力によりフィルムがたわみ、上部フィルムと下部ガラスの導電膜が接触し２つの電圧（Ｘ方向及びＹ方向に対応する電圧）が生じることになる。
【００２７】
このときに生じる電圧は、押下された座標値（Ｘ座標、Ｙ座標）によって異なるので、検知した電圧によって、押下された位置を認識することができる。また、所定のサンプリング周波数で電圧を検知するよう構成される。
【００２８】
図２は、タッチパネル及びＣＰＵ１３の構成を示したものである。タッチパネルから出力された電圧信号は、Ｘ方向成分及びＹ方向成分ごとにＡ／Ｄ変換器を介して、ＣＰＵ１３に出力される。ＣＰＵ１３は、取得した信号を基に、押下された座標を認識することができる。
【００２９】
第１実施形態においては、所定の領域（タップ領域）が押下された場合に、所定のプロセス（または、メモリ領域）に、例えば「１」を示す信号を出力する。また、所定の領域外が押下された場合に、所定のプロセス（または、メモリ領域）に、例えば「０」を示す信号を出力する。また、「１」を示す信号の検出開始時刻は、図示しないタイマによって検出可能である。
【００３０】
図３は、押下された領域と出力される値との関係を示した図である。図３において、斜線部分が、タイミングにあわせてタップ（押下）する領域（タップ領域）である。ここで、タップ領域が押下された場合に出力される電圧が、「Ｘ方向：３．５〜４．０Ｖ」、「Ｙ方向：１．０〜１．５Ｖ」であるとする。この場合、ＣＰＵ１３は、「Ｘ方向の電圧として３．５〜４．０Ｖを検出し、かつ、Ｙ方向の電圧として１．０〜１．５Ｖを検出した」場合に限り、「１」を示す信号を出力する。
【００３１】
次に、押下した強さとフィルムのたわみ方との関係について説明する。図４は、押下した強さとフィルムのたわみ方との関係を示した図である。
図４に示されるように、フィルムを弱く押下した場合、短い時間でフィルムのたわみがなくなるため、フィルムとガラスとが接触している時間が短い。一方、フィルムを強く押下した場合は、たわむ面積が大きいため、フィルムとガラスとが接触している時間が長い。
【００３２】
したがって、「１」を示す信号が長い期間出力されている場合は、タップ領域を強く押下したものと判断することができ、また、「１」を示す信号が短い期間だけ出力されている場合は、タップ領域を弱く押下したものと判断することができる。
【００３３】
図５は、押下した強さと出力値との関係を示した図である。図５に示されるように、タップ領域を弱く押した場合は、「１」を示す信号のサンプル数が少なく、また、タップ領域を強く押した場合は「１」を示す信号のサンプル数が多い。ここで、サンプリング周波数は適宜設定可能であり、サンプリング周波数と検出したサンプル数とを掛け合わせることにより、「１」を示す信号の出力継続時間を算出することができる。そして、当該出力継続時間に基いて、押下された強さを算出することができる。
【００３４】
以上説明した処理によって、押下タイミング及び押下強さを示す情報を検出することができる。そして、検出された押下タイミング及び押下強さを示す情報は、基準値と比較されることにより、押下動作の採点が行われる。
【００３５】
図６乃至図８は、押下動作の採点の様子を示した図である。
図６では、基準開始時刻で押下が開始され、その押下継続時間（電圧値出力継続時間）は基準継続時間と一致している。その結果、図６における押下動作は、「タップタイミング：適正」、「タップ強度：適正」と判断される。
【００３６】
図７では、基準開始時刻よりも前の時点で押下が開始され、その押下継続時間は基準継続時間よりも長い。その結果、図７における押下動作は、「タップタイミング：早い」、「タップ強度：強い」と判断される。
【００３７】
図８では、基準開始時刻よりも後の時点で押下が開始され、その押下継続時間は基準継続時間よりも短い。その結果、図８における押下動作は、「タップタイミング：遅い」、「タップ強度：弱い」と判断される。
【００３８】
（楽曲演奏進行情報と、基準開始時刻及び基準継続時間との関係）
上述した押下動作に対する基準値は、楽曲演奏進行情報によって求められる。以下の説明では、楽曲演奏進行情報としてＭＩＤＩデータを例に挙げて説明するが、本発明における楽曲演奏進行情報は、ＭＩＤＩデータに限定されるものではない。
【００３９】
ＭＩＤＩデータは、複数のトラック（チャネル）ごとに、楽器音が定義されている。そして、その楽器音の発音に関する種々の情報（ノートオン信号、ノートオフ信号等）が定義されている。以下、押下動作の比較基準となる楽器音を「比較楽器音」という。
第１実施形態においては、比較楽器音の発音開始タイミングを「基準開始時刻」としている。したがって、比較楽器音に対するノートオン信号を検出した時刻を「基準開始時刻」とすることができる。
【００４０】
また、第１実施形態においては、比較楽器音の発音継続時間を「基準継続時間」としている。したがって、比較楽器音のノートオン信号を検出した時刻から該楽器音のノートオフ信号を検出した時刻までを「基準継続時間」とすることができる。
【００４１】
通常の音源は、ノートオン信号によって発音した後は、ノートオフ信号を検出するまで発音が続く。しかしながら、ドラム、ベース、パーカッション音源等（打楽器音源）は、ノートオン信号を検出すると同時に発音し、ノートオフ信号の有無に関わらず音色の最後まで達したときに消音される。そのため、上記比較楽器音として、例えばドラム音源が設定されている場合は、ノートオン信号が出力されてから消音されるまでの時間を所定の時間として管理しておき、上記ノートオン信号が出力されてから上記所定の時間を発音されている区間として特定することができる。このとき、消音されるまでの期間は、上記ノートオン信号に対応するベロシティ信号に基いて算出することができる。これにより、ノートオン信号からノートオフ信号までの期間で発音期間が特定されないこともある特定の打楽器のトラックの採点を行うことができる。なお、ベロシティ信号と消音されるまでの期間（すなわち、発音継続時間）との関係は、テーブルで定義してもよく、また、所定の数式で定式化してもよい。
【００４２】
以上の処理によって、楽音演奏進行情報に基いて基準開始時刻及び基準継続時間を設定することができ、設定した基準開始時刻及び基準継続時間に基いて、押下動作の採点処理を行うことができる。
【００４３】
（採点処理について）
次に、採点処理の具体的内容について説明する。
図９は、採点処理のフローチャートである。この処理を実行するためのプログラムは、電子楽器１のＣＰＵ１３によって実行される。また、この処理は、所定の操作（例えば、演奏指示操作）が行われたときに実行される。
【００４４】
まず、Ｓ１において、ユーザにより演奏する曲が選択がされる。このとき、電子楽器１の表示部１１及び操作部１２（タッチパネル）が用いられる。また、電子楽器１に、検索機能を有するよう構成してもよい。
【００４５】
Ｓ２において、選択された曲のＭＩＤＩデータに基いて採点の基準とする楽器（打楽器）の種類を抽出する。具体的には、ＭＩＤＩデータのそれぞれのトラック（チャネル）に定義されている楽器を調べ、その楽器が打楽器であると判断した場合に、該楽器を選択可能な楽器として抽出する。
【００４６】
Ｓ３において、Ｓ２で抽出した打楽器の種類を表示する。また、表示された打楽器から１つ選択可能である旨を表示する。なお、表示形態は適宜設定可能である。
【００４７】
Ｓ４において、打楽器が選択されたか否かを判断する。打楽器が選択されなかったと判断した場合は（Ｓ４：ＮＯ）、Ｓ５に移行する。Ｓ５においては、通常の楽曲演奏処理を行う。通常の楽曲演奏処理は公知技術であるので、説明を省略する。
【００４８】
一方、打楽器が選択されたと判断した場合は（Ｓ４：ＹＥＳ）、Ｓ６に移行する。
Ｓ６において、選択された打楽器のＭＩＤＩトラックを特定する。そして、該選択された楽器音が、上述した「比較楽器音」となる。
【００４９】
Ｓ７において、曲演奏指示があるか否かを判断する。ユーザは、所定の操作を行うことにより曲演奏指示を行うことができる。曲演奏指示があるまで、Ｓ７で待機することになる。なお、Ｓ７の処理を省略することもできる。すなわち、Ｓ４で打楽器の選択が行われた後、所定時間後に自動的に曲の演奏を開始するように構成してもよい。
【００５０】
曲演奏指示があると（Ｓ７：ＹＥＳ）、Ｓ８に移行する。
Ｓ８において、曲の演奏を開始する。その後、Ｓ９に移行する。
Ｓ９において、検出処理を行う。検出処理の詳細については後述する。
【００５１】
Ｓ１０において、曲の演奏が終了したか否かが判断される。曲の演奏が終了したか否かの判断は、所定の信号を受信したか否かに基いて行われる。曲の演奏が終了していないと判断した場合は（Ｓ１０：ＮＯ）、Ｓ９に戻る。すなわち、曲の演奏中は、Ｓ９及びＳ１０の処理が繰り返されることになる。
【００５２】
曲の演奏が終了したと判断した場合は（Ｓ１０：ＹＥＳ）、Ｓ１１に移行する。
Ｓ１１においては、採点値を表示する。このときの表示形態は適宜設定可能である。
【００５３】
次に、Ｓ９（図９）の検出処理について詳細に説明する。
図１０は、検出処理のフローチャートである。
Ｓ２１において、変数Ａ、Ｂ、Ｃをクリアする。変数Ａ、Ｂ、Ｃは、それぞれ、比較楽器音の発音開始前に押下されている期間、比較楽器音の発音中に押下されている期間、比較楽器音の発音終了後に押下されている期間を示すものである。
【００５４】
Ｓ２２において、比較楽器音のノートオン信号を検出したか否かを判断する。比較楽器音の発音開始時点でノートオン信号が検出される。ノートオン信号を検出していないと判断した場合は（Ｓ２２：ＮＯ）、Ｓ２３に移行する。
Ｓ２３において、タッチパネルが押下されているか否かを判断する。タッチパネルが押下されていると判断した場合は（Ｓ２３：ＹＥＳ）、Ａをインクリメントする。すなわち、比較楽器音の発音開始前に押下されている期間が計測されることになる。一方、タッチパネルは押下されていないと判断した場合は（Ｓ２３：ＮＯ）、Ｓ２２に移行する。
【００５５】
一方、Ｓ２２において、ノートオン信号を検出したと判断した場合は（Ｓ２２：ＹＥＳ）、Ｓ２５に移行する。なお、タッチパネルの押下開始タイミング（すなわち、Ｓ２２の条件判断で「ＹＥＳ」と判断したタイミング）は、所定の記憶手段（例えば、ＲＡＭ１５）に記憶されるものとする。
【００５６】
Ｓ２５において、タッチパネルが押下されているか否かを判断する。タッチパネルが押下されていると判断した場合は（Ｓ２５：ＹＥＳ）、Ｓ２６に移行する。Ｓ２６において、Ｂをインクリメントする。すなわち、比較楽器音の発音中に押下されている期間が計測されることになる。
一方、タッチパネルが押下されていないと判断した場合は（Ｓ２５：ＮＯ）、Ｓ２７に移行する。
【００５７】
Ｓ２７において、比較楽器音の発音が終了したか否かを判断する。ノートオフ信号を検出したか、または、上記ノートオン信号に対応するベロシティ情報に基いて特定された発音継続時間を経過した場合に、Ｓ２７の条件判断は「ＹＥＳ」となる。
発音は終了していないと判断した場合は（Ｓ２７：ＮＯ）、Ｓ２５に移行する。
一方、発音は終了したと判断した場合は（Ｓ２７：ＹＥＳ）、Ｓ２８に移行する。
【００５８】
Ｓ２８において、タッチパネルが押下されているか否かを判断する。タッチパネルが押下されていると判断した場合は（Ｓ２８：ＹＥＳ）、Ｓ２９に移行する。Ｓ２９において、Ｃをインクリメントする。すなわち、比較楽器音の発音終了後に押下されている期間が計測される。
一方、タッチパネルが押下されていないと判断した場合は（Ｓ２８：ＮＯ）、Ｓ３０に移行する。
【００５９】
Ｓ３０において、押下タイミング及び押下継続時間を特定する。押下タイミングは、上述したＲＡＭ１５に記憶されたタイミングである。また、押下継続時間は、変数Ａ、Ｂ、Ｃの値を合算することによって算出される。
【００６０】
Ｓ３１において、押下タイミング及び押下継続時間に基いて、該押下動作（押下タイミング、押下強さ）に関する採点を行う。
【００６１】
また、図１０に示した処理においては、押下強さの採点に関し、継続時間同士を比較し、該比較結果に基いて行ったが、押下強さ及び発音強さを直接比較してもよい。このとき、押下強さは、押下継続時間に基いて算出される。このとき、テーブルを用いてもよく、また、所定の関係式によって算出してもよい。また、比較楽器音の発音強さ（弾き強さ）は、ベロシティ情報から算出される。このとき、テーブルを用いてもよく、また、所定の関係式によって算出してもよい。
【００６２】
図１１は、比較楽器音のノートオン信号ごとの押下動作の評価値を示した図である。
図１１において、ノートオン順序は、ＭＩＤＩデータに含まれる所定の楽器音のノートオン信号の出現順序である。発音開始タイミングは、ノートオン信号を検出したタイミングである。発音継続時間は、ノートオン信号に対応するベロシティ信号に基いて算出された比較楽器音の発音継続時間である。なお、該ノートオン信号に対応するノートオフ信号を検出した場合は、該ノートオン信号の検出タイミングから該ノートオフ信号の検出タイミングまでの時間が発音継続時間となる。また、発音開始タイミングの単位は適宜設定可能である。なお、図１１に示されるタイミングの数値は、説明の便宜上示したものである。
【００６３】
押下開始タイミングは、タッチパネルの押下タイミングである。Ａ値、Ｂ値、Ｃ値は、上述した検出処理によって算出された変数Ａ、Ｂ、Ｃの値である。押下継続時間は、Ａ値、Ｂ値、Ｃ値を合算した値である。
押下タイミングの評価値は、発音開始タイミングと押下タイミングとの差分値に基いて、「適正」、「早い」、「遅い」のいずれかとなる。「早い」または「遅い」の場合は、数値として「−１」が割り当てられ、「適正」の場合は「０」が割り当てられる。また、押下強さの評価値は、発音継続時間と押下継続時間との差分値に基いて、「適正」、「弱い」、「強い」のいずれかとなる。また、「弱い」または「強い」となった場合は、数値として「−１」が割り当てられる。なお、評価値の算出においては、所定範囲内の差分値であれば、「適正」と判断してもよい。
【００６４】
減点値は、押下タイミング及び押下強さの評価値の合計として算出される。すなわち、例えば、押下タイミング及び押下強さの評価値がいずれも「適正（０）」であれば、減点値は「０」となる。
そして、楽曲の演奏終了時点で、初期値（１００点）とすべての減点値を積算することにより、楽曲の押下動作の採点値を算出することができる。図１１に示す例においては、最終的な採点値は「８８点」となる。なお、図１１に示した採点方法（減算法）は、単なる一例であり、別の採点基準（加算法）によって行ってもよい。
【００６５】
上述した第１実施形態によれば、タッチパネルを押下したタイミングと強さを算出し、算出した押下タイミング及び押下強さと、楽曲演奏中の所定の楽器音の発音開始タイミング及び発音強さとを比較することにより、押下動作の採点を行うので、高精度の採点処理を行うことができる。
【００６６】
［第２実施形態］
次に、上記電子楽器をカラオケ用楽器採点システムにおける適用した実施形態について説明する。
図１２は、カラオケ用楽器採点システムのブロック図である。
図１２に示すように、カラオケ用楽器採点システムは、リモコン１００とコマンダ２００とから基本的に構成されている。
【００６７】
リモコン１００は、表示部１１１、操作部１１２、ＣＰＵ１１３、ＲＯＭ１１４、ＲＡＭ１１５、通信Ｉ／Ｆ１１６、とから基本的に構成される。
表示部１１１、操作部１１２、ＣＰＵ１１３、ＲＯＭ１１４、ＲＡＭ１１５は、それぞれ、上述した第１実施形態の電子楽器１の表示部１１、操作部１２、ＣＰＵ１３、ＲＯＭ１４、ＲＡＭ１５と基本的に同じであるので、説明を省略する。
通信Ｉ／Ｆ１１６は、コマンダ２００との間で種々の情報を送受信する。このとき、無線ＬＡＮを用いてもよい。また、図示しないホストと通信することができる。
【００６８】
また、リモコン１００は、楽曲の検索、種々の情報の提示、飲食の注文等に用いることができる。
【００６９】
コマンダ２００は、補助記憶手段２１１、映像音声再生手段２１２、ＣＰＵ１１３、ＲＯＭ１１４、ＲＡＭ１１５、通信Ｉ／Ｆ２１６、音声入力手段２１７とから基本的に構成される。
補助記憶手段２１１は、ＭＩＤＩデータ、背景画や歌詞テロップなどの映像データ等（データ群）が記憶されている。映像音声再生手段２１２は、補助記憶手段２１１に記憶された前記データ群に基いて、電子楽器としての楽曲演奏（以下、「楽曲演奏」という。）を行うとともに、音声入力手段２１７からの信号を再生出力し、前記演奏楽曲の歌詞テロップや、数値などの文字表示信号をも出力する。
【００７０】
ＣＰＵ２１３は、本発明を実現するために必要なプログラムを含む種々のプログラムを実行する。ＲＯＭ２１４は、本発明を実現するために必要な情報を含む種々のデータを記憶する。ＲＡＭ２１５は、本発明を実現するために必要な情報を含む種々のデータを一時的に記憶する。
【００７１】
通信Ｉ／Ｆ２１６は、リモコン１００との間で種々の情報を送受信する。このとき、無線ＬＡＮを用いてもよい。また、図示しないホストと通信することができる。
また、コマンダ２００には、図示しないモニタ、スピーカが映像音声再生手段２１２に接続され、図示しないマイクも音声入力手段２１７に接続されている。よって、コマンダ２００はリモコン１００と通信可能で、かつ前記楽曲演奏に合わせて歌詞表示やマイク入力音声の再生とを行うカラオケ装置として機能するよう構成されている。
【００７２】
図１３は、ユーザがリモコン１００を操作し、リモコン１００とコマンダ２００とが通信を行っている様子を示した図である。ユーザは、楽曲の演奏中に、リモコン１００を擬似的な電子楽器として用い、所定のタップ領域を押下する。
【００７３】
次に、リモコン１００とコマンダ２００との間で送受信される情報について説明する。図１４は、リモコン１００とコマンダ２００との間で送受信される情報について示した図である、
リモコン１００は、ユーザより楽曲のリクエストを受け付けると（１）、該リクエストに対応するリクエスト信号をコマンダ２００に送信する（２）。
【００７４】
コマンダ２００は、リモコン１００からのリクエスト信号を受信すると、該リクエスト信号に対応する楽曲の演奏を行う（３）。
コマンダ２００は、楽曲の演奏中、関連情報をリモコン１００に対し送信する。関連情報の送信の詳細については後述する。
【００７５】
リモコン１００は、楽曲の演奏中、押下動作を評価する（５）。また、押下動作の評価については、コマンダ２００から受信した関連情報が用いられる。押下動作の評価の詳細については後述する。
【００７６】
リモコン１００は、コマンダ２００に対し、評価結果を示す評価結果信号（例えば、減点値としての数値）を送信する（６）。
コマンダ２００は、受信した評価結果信号に基いて採点結果を更新する（７）。
上述した（３）〜（７）の処理は、楽曲の演奏中繰り返し行われる。
楽曲の演奏が終了すると、コマンダ２００は、前記更新によって得られた採点結果（例えば、採点の初期値１００点から、前記減点値を受信毎に差し引いて前記採点を更新したり、前記減点値を受信毎に積算し、演奏終了時に一括して採点の初期値から差し引く、などの減点法によって得られた数値）を表示する（８）。
【００７７】
次に、リモコン１００で実行される評価処理について説明する。
図１５は、評価処理のフローチャートである。評価処理を実行するためのプログラムは、ＣＰＵ１１３によって実行される。
【００７８】
Ｓ４１、Ｓ４２、Ｓ４３、Ｓ４４、Ｓ４６の処理は、上述した第１実施形態の電子楽器１によって実行される採点処理のＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ６と基本的に同様の処理であるので説明を省略する。
【００７９】
Ｓ４５に移行すると、コマンダ２００に対し通常の楽曲演奏指示（リクエスト指示）を行う。なお、通常の楽曲演奏指示に関する処理は、公知であるので説明を省略する。
【００８０】
Ｓ４７に移行すると、コマンダ２００に対し楽曲演奏指示を行う。すなわち、コマンダ２００に対し、楽曲演奏指示を示す信号を送信する。このとき、選択した打楽器を示す情報についても送信する。
【００８１】
Ｓ４８において、検出処理を行う。検出処理の詳細については後述する。
Ｓ４９において、曲の演奏を終了したか否かを判断する。コマンダ２００より所定の信号を受信したときに曲の演奏を終了したと判断される。曲の演奏を終了していないと判断した場合は（Ｓ４９：ＮＯ）、Ｓ４８に移行する。一方、曲の演奏を終了したと判断した場合は（Ｓ４９：ＹＥＳ）、評価処理を終了する。
【００８２】
次に、検出処理（図１５のＳ４８）について説明する。
図１６は、検出処理のフローチャートである。
Ｓ５１、Ｓ５３、Ｓ５４、Ｓ５５、Ｓ５６、Ｓ５８、Ｓ５９、Ｓ６０の処理は、上述した第１実施形態の電子楽器１によって実行される検出処理のＳ２１、Ｓ２３、Ｓ２４、Ｓ２５、Ｓ２６、Ｓ２８、Ｓ２９、Ｓ３０と基本的に同様の処理であるので説明を省略する。
【００８３】
Ｓ５２において、ノートオン信号を受信したか否かが判断される。コマンダ２００より、ノートオン信号を受信したときに、Ｓ５２の条件判断は「ＹＥＳ」となる。ノートオン信号を受信したと判断した場合は（Ｓ５２：ＹＥＳ）、Ｓ５５に移行する。一方、ノートオン信号を受信していないと判断した場合は（Ｓ５２：ＮＯ）、Ｓ５３に移行する。
【００８４】
Ｓ５７において、比較楽器音の発音が終了したか否かを判断する。このとき、コマンダ２００からノートオフ信号を受信したか、または、上記ノートオン信号に対応するベロシティ情報に基いて特定された発音継続時間を経過した場合に、Ｓ５７の条件判断は「ＹＥＳ」となる。
発音は終了していないと判断した場合は（Ｓ５７：ＮＯ）、Ｓ５５に移行する。
一方、発音は終了したと判断した場合は（Ｓ５７：ＹＥＳ）、Ｓ５８に移行する。
【００８５】
Ｓ６１において、押下タイミング及び押下継続時間に基いて、該押下動作（押下タイミング、押下強さ）に関する評価を行う。すなわち、押下タイミング及び押下強さの評価値（図１１参照）を算出する。
Ｓ６２において、コマンダ２００に対しＳ６１での評価結果を送信する。
【００８６】
次に、コマンダ２００で実行される演奏処理について説明する。
図１７は、演奏処理のフローチャートである。演奏処理を実行するためのプログラムは、コマンダ２００のＣＰＵ２１３によって実行される。
【００８７】
曲演奏開始の指示があるまでＳ７１で待機する。リモコン１００より曲演奏開始指示信号を受信した場合に、Ｓ７１の条件判断は「ＹＥＳ」となる。
Ｓ７２において、楽曲の演奏を開始する。このとき、比較楽器音を示すための情報についても、リモコン１００より受信しているものとする。
【００８８】
Ｓ７３において、比較楽器音のノートオン信号を検出したか否かを判断する。比較楽器音のノートオン信号を検出したと判断した場合は（Ｓ７３：ＹＥＳ）、Ｓ７４に移行する。
Ｓ７４において、リモコン１００に対し、ノートオン信号を送信する。このとき、該ノートオン信号に対応するベロシティ情報についても送信する。その後、Ｓ７７に移行する。
【００８９】
一方、Ｓ７３において、ノートオン信号を検出していないと判断した場合は（Ｓ７３：ＮＯ）、Ｓ７５に移行する。
Ｓ７５において、比較楽器音のノートオフ信号を検出したか否かを判断する。比較楽器音のノートオフ信号を検出したと判断した場合は（Ｓ７５：ＹＥＳ）、Ｓ７６に移行する。
Ｓ７６において、リモコン１００に対し、ノートオフ信号を送信する。その後、Ｓ７７に移行する。
【００９０】
一方、Ｓ７５において、ノートオフ信号を検出していないと判断した場合は（Ｓ７５：ＮＯ）、Ｓ７７に移行する。
Ｓ７７において、リモコン１００より評価結果信号を受信したか否かを判断する。
評価結果信号を受信したと判断した場合は（Ｓ７７：ＹＥＳ）、Ｓ７８に移行する。
Ｓ７８において、採点結果を更新する。すなわち、現在の採点値（図１１参照）に対し、受信した評価結果信号に含まれる評価値（図１１参照）を積算する。その後、Ｓ７９に移行する。
【００９１】
一方、Ｓ７７において、評価結果信号を受信していないと判断した場合は（Ｓ７７：ＮＯ）、Ｓ７９に移行する。
Ｓ７９において、楽曲の演奏を終了するか否かを判断する。
楽曲の演奏を終了しないと判断した場合は（Ｓ７９：ＮＯ）、Ｓ７３に移行する。一方、楽曲の演奏を終了すると判断した場合は（Ｓ７９：ＹＥＳ）、Ｓ８０に移行する。
Ｓ８０において、リモコン１００に対し楽曲の演奏終了を指示するための信号を送信する。
Ｓ８１において、採点値を図示しないモニタに表示する。
【００９２】
上述した第２実施形態によれば、コマンダ２００による楽曲の演奏中に、押下タイミング及び押下強さを算出し、コマンダ２００より受信した信号に基いて、該押下タイミング及び押下強さの評価を高精度に行うことができる。
【００９３】
また、上述した処理においては、関連情報（ノートオン信号等）の送信に関し、コマンダ２００は、検出するたびにリモコン１００へ送信していたが、楽曲演奏開始時に、比較楽器音のノートデータを全てリモコン１００に送信するように構成してもよい。また、採点結果の表示に関し、コマンダ２００側で表示せずに、リモコン１００の表示部１１に表示するよう構成してもよい。
【００９４】
また、上述した各フローチャートは単なる一例であり、上記各処理と同等の結果を得ることできるものであれば、他のフローチャートによって処理を実現してもよい。
【００９５】
本発明によれば、タッチパネルの押下タイミング及び押下強さを検出し、検出した情報に基いて、押下動作を高精度に採点処理を行うことができる。
【００９６】
本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることはもちろんである。例えば、本発明は、１または複数の画面を有する携帯型ゲーム機に適用することができる。また、家庭用の据え置き型ゲーム機やゲームセンタ等に設置されるゲーム筐体にも適用することができる。
また、上述した処理を実行するための採点方法としても本発明は実現可能である。さらに、当該採点方法をコンピュータで実行させるためのプログラム、及び、そのプログラムが記録された記録媒体としても本発明は実現可能である。
【図面の簡単な説明】
【００９７】
【図１】電子楽器のブロック図である。
【図２】タッチパネル及びＣＰＵの構成を示した図である。
【図３】押下された領域と出力される値との関係を示した図である。
【図４】押下した強さとフィルムのたわみ方との関係を示した図である。
【図５】押下した強さと出力値との関係を示した図である。
【図６】押下動作の採点の様子を示した図である。
【図７】押下動作の採点の様子を示した図である。
【図８】押下動作の採点の様子を示した図である。
【図９】採点処理のフローチャートである。
【図１０】検出処理のフローチャートである。
【図１１】比較楽器音のノートオン信号ごとの押下動作の評価値を示した図である。
【図１２】カラオケ用楽器採点システムのブロック図である。
【図１３】ユーザがリモコンを操作し、リモコンとコマンダとが通信を行っている様子を示した図である。
【図１４】リモコンとコマンダとの間で送受信される情報について示した図である。
【図１５】評価処理のフローチャートである。
【図１６】検出処理のフローチャートである。
【図１７】演奏処理のフローチャートである。
【符号の説明】
【００９８】
１ 電子楽器
１１ 表示部
１２ 操作部
１３ ＣＰＵ
【特許請求の範囲】
【請求項１】
タッチパネルを有する電子楽器において、
押下された位置に対応した電圧を出力する電圧出力手段と、
所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、
前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、
前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、
楽器演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、
前記所定の楽器音の発音継続時間と前記計測した継続時間とを比較し、押下強さに関する評価値を算出する第２算出手段と、
前記第１算出手段及び前記第２算出手段によって算出された評価値に基づいて、前記押下に関する採点を行う採点手段と、
を備えることを特徴とする電子楽器。
【請求項２】
前記楽器演奏信号情報は、ＭＩＤＩデータであり、
前記発音開始タイミングは、前記ＭＩＤＩデータに含まれる前記所定の楽器音トラックのノートオン信号の検出タイミングであり、
前記発音継続時間は、前記ノートオン信号の検出タイミングから前記ＭＩＤＩデータに含まれる前記楽器音トラックのノートオフ信号の検出タイミングまでの期間、または、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記所定の楽器音の減衰時間である、
ことを特徴とする請求項１の電子楽器。
【請求項３】
タッチパネルを有する電子楽器において、
押下された位置に対応した電圧を出力する電圧出力手段と、
所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、
前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、
前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、
前記継続時間に基いて押下された強さを算出する強さ算出手段と、
楽器演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、
前記発音開始タイミングに対応した発音強さと前記算出した強さとを比較し、押下強さに関する評価値を算出する第３算出手段と、
前記第１算出手段及び前記第３算出手段によって算出された評価値に基づいて、前記押下に関する採点を行う採点手段と、
を備えることを特徴とする電子楽器。
【請求項４】
前記楽器演奏信号情報は、ＭＩＤＩデータであり、
前記発音開始タイミングは、前記ＭＩＤＩデータに含まれる前記所定の楽器音トラックのノートオン信号の検出タイミングであり、
前記発音開始タイミングに対応した発音強さは、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記楽器音の弾きの強さである、
ことを特徴とする請求項３の電子楽器。
【請求項５】
前記所定楽器音は、ドラムまたはベースである、
ことを特徴とする請求項１乃至４いずれかの電子楽器。
【請求項６】
楽曲検索手段、及び、楽曲リクエスト手段をさらに有し、
前記楽曲の演奏は、カラオケ装置によって行われる、
ことを特徴とする請求項１乃至５いずれかの電子楽器。
【請求項７】
リモコンとコマンダから構成されるカラオケ用楽器採点システムであって、
前記リモコンは、
タッチパネルと、
前記タッチパネル上の押下された位置に対応した電圧を出力する電圧出力手段と、
所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、
前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、
前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、
所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、
前記所定の楽器音の発音継続時間と前記計測した継続時間とを比較し、押下強さに関する評価値を算出する第２算出手段と、
前記コマンドと情報の送受信を行う通信手段と、
を有し、
前記コマンダは、
ＭＩＤＩデータを記憶するＭＩＤＩデータ記憶手段と、
前記ＭＩＤＩデータに基いて楽曲を再生する楽曲再生手段と、
前記リモコンとの情報を送受信する通信手段と、
前記押下に関する採点を行う採点手段
を有し、
前記コマンダは、前記ＭＩＤＩデータに基く楽曲演奏中に、前記所定の楽器音のノートオン信号の検出タイミング及び該ノートオン信号に対応するベロシティ信号、ノートオフ信号の検出タイミングを送信し、
前記リモコンは、前記コマンダから前記所定の楽器音のノートオン信号の検出タイミング及び該ノートオン信号に対応するベロシティ信号、ノートオフ信号の検出タイミングを受信し、
前記発音開始タイミングは、前記受信したノートオン信号の検出タイミングであり、
前記発音継続時間は、前記ノートオン信号の検出タイミングから前記ノートオフ信号の検出タイミングまでの期間、または、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記楽器音の減衰時間であり、
前記第１算出手段及び前記第２算出手段によって算出された評価値を前記コマンダに送信し、
前記コマンダは、受信した評価値に基いて前記押下に関する採点を行う、
ことを特徴とするカラオケ用楽器採点システム。
【請求項１】
タッチパネルを有する電子楽器において、
押下された位置に対応した電圧を出力する電圧出力手段と、
所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、
前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、
前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、
楽器演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、
前記所定の楽器音の発音継続時間と前記計測した継続時間とを比較し、押下強さに関する評価値を算出する第２算出手段と、
前記第１算出手段及び前記第２算出手段によって算出された評価値に基づいて、前記押下に関する採点を行う採点手段と、
を備えることを特徴とする電子楽器。
【請求項２】
前記楽器演奏信号情報は、ＭＩＤＩデータであり、
前記発音開始タイミングは、前記ＭＩＤＩデータに含まれる前記所定の楽器音トラックのノートオン信号の検出タイミングであり、
前記発音継続時間は、前記ノートオン信号の検出タイミングから前記ＭＩＤＩデータに含まれる前記楽器音トラックのノートオフ信号の検出タイミングまでの期間、または、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記所定の楽器音の減衰時間である、
ことを特徴とする請求項１の電子楽器。
【請求項３】
タッチパネルを有する電子楽器において、
押下された位置に対応した電圧を出力する電圧出力手段と、
所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、
前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、
前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、
前記継続時間に基いて押下された強さを算出する強さ算出手段と、
楽器演奏進行情報に基づく楽曲の演奏中に、該楽器演奏進行情報に含まれる所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、
前記発音開始タイミングに対応した発音強さと前記算出した強さとを比較し、押下強さに関する評価値を算出する第３算出手段と、
前記第１算出手段及び前記第３算出手段によって算出された評価値に基づいて、前記押下に関する採点を行う採点手段と、
を備えることを特徴とする電子楽器。
【請求項４】
前記楽器演奏信号情報は、ＭＩＤＩデータであり、
前記発音開始タイミングは、前記ＭＩＤＩデータに含まれる前記所定の楽器音トラックのノートオン信号の検出タイミングであり、
前記発音開始タイミングに対応した発音強さは、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記楽器音の弾きの強さである、
ことを特徴とする請求項３の電子楽器。
【請求項５】
前記所定楽器音は、ドラムまたはベースである、
ことを特徴とする請求項１乃至４いずれかの電子楽器。
【請求項６】
楽曲検索手段、及び、楽曲リクエスト手段をさらに有し、
前記楽曲の演奏は、カラオケ装置によって行われる、
ことを特徴とする請求項１乃至５いずれかの電子楽器。
【請求項７】
リモコンとコマンダから構成されるカラオケ用楽器採点システムであって、
前記リモコンは、
タッチパネルと、
前記タッチパネル上の押下された位置に対応した電圧を出力する電圧出力手段と、
所定の電圧を検出した場合に、該検出した時刻を取得する時刻取得手段と、
前記所定の電圧を検出した場合に、所定の音の出力を指示する音出力指示手段と、
前記所定の電圧を検出している継続時間を計測する継続時間計測手段と、
所定の楽器音の発音開始タイミングと前記検出した時刻とを比較し、押下タイミングに関する評価値を算出する第１算出手段と、
前記所定の楽器音の発音継続時間と前記計測した継続時間とを比較し、押下強さに関する評価値を算出する第２算出手段と、
前記コマンドと情報の送受信を行う通信手段と、
を有し、
前記コマンダは、
ＭＩＤＩデータを記憶するＭＩＤＩデータ記憶手段と、
前記ＭＩＤＩデータに基いて楽曲を再生する楽曲再生手段と、
前記リモコンとの情報を送受信する通信手段と、
前記押下に関する採点を行う採点手段
を有し、
前記コマンダは、前記ＭＩＤＩデータに基く楽曲演奏中に、前記所定の楽器音のノートオン信号の検出タイミング及び該ノートオン信号に対応するベロシティ信号、ノートオフ信号の検出タイミングを送信し、
前記リモコンは、前記コマンダから前記所定の楽器音のノートオン信号の検出タイミング及び該ノートオン信号に対応するベロシティ信号、ノートオフ信号の検出タイミングを受信し、
前記発音開始タイミングは、前記受信したノートオン信号の検出タイミングであり、
前記発音継続時間は、前記ノートオン信号の検出タイミングから前記ノートオフ信号の検出タイミングまでの期間、または、前記ノートオン信号に対応するベロシティ情報に基いて算出される前記楽器音の減衰時間であり、
前記第１算出手段及び前記第２算出手段によって算出された評価値を前記コマンダに送信し、
前記コマンダは、受信した評価値に基いて前記押下に関する採点を行う、
ことを特徴とするカラオケ用楽器採点システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００９−１５７０５８（Ｐ２００９−１５７０５８Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００７−３３４４３１（Ｐ２００７−３３４４３１）
【出願日】平成１９年１２月２６日（２００７．１２．２６）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成１９年１２月２６日（２００７．１２．２６）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]