説明

音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法

【課題】コンピュータやネットワークに負荷を与えず、またネットワークを通して複数人で楽曲のパートごとに演奏するときにも音楽データ間の同期をとって上手く演奏できたかどうかの確認ができること。
【解決手段】楽器の操作位置を入力する手段と、曲の進行に伴ってアクションポイントの位置及び入力した楽器の操作位置を表示する描画映像出力手段と、アクションポイントが操作タイミングをもとに設定された判定領域にあるときに、楽器が操作されたか否かを判定し、判定領域内で操作されなかった場合あるいは操作された場合であってもその操作位置が正しい操作位置と比較して所定以上の差がある場合は失敗と判定する判定処理手段と、判定結果が失敗の場合は、保存されている演奏失敗時の処理内容に基づいて音源データに処理を施して音響出力する音源情報処理手段とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音楽ゲームや音楽演習、音楽再生装置に利用できる音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法に関する。
【背景技術】
【0002】
従来、楽譜を読めない初心者でもゲーム感覚で簡単に且つ楽しんで電子楽器を演奏することができる音楽的アミューズメントシステムが提案されている。
【0003】
たとえば、特許文献1では、各音符がキャラクタ化されて、横方向に拡げられ、演奏者が弾くべき鍵の垂直上方の位置に音符が配置され、リンゴ化された音符は、画面上、上から下にアニメーションスクロールされて移動され、演奏者が、直線で示す「現在の演奏位置」の直線にリンゴの発音許可範囲が差し掛かるタイミングを見計らって、弾くべき鍵盤を押鍵すると、矢が発射されてリンゴに刺さり、矢の刺さったリンゴは画面上から消滅するというシステムが提案されている。
【0004】
また、特許文献2には、実際のバンドのように、より実際に近い状態で各楽器のパート毎に複数人でのゲームを可能にするため、ドラムリズムゲーム装置とギターリズムゲーム装置間で演奏進行情報のセクタ番号を伝送することで、ドラムリズムゲーム装置とギターリズムゲーム装置の双方でBGM演奏曲に対するプレイヤーへの視覚的な演出指示を同期させつつ各演出操作部からそれぞれ演出操作可能にする技術が記載されている。
【特許文献1】特開平8−305356号公報
【特許文献2】特開2000−237454号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
ところで、一般に演奏を忠実に再現しようとすると大量の演奏データを処理しなければならず、同時に、この演奏データに対する音源やサンプリング波形、それらの管理テーブルやプログラムナンバー等の処理も必要になり、いかにコンピュータの負荷を軽減するかが問題となる。また、インターネットなどの通信ネットワークを介して複数人が異なる場所でそれぞれのパートを演奏し、互いに自分のパートと相手のパートを合成して音響出力することによってバンド演奏の練習をするような場合、いかに通信ネットワークの負荷を少なくして、リアルタイム性を持たせるかが問題となる。
【0006】
本発明は、上述のかかる事情に鑑みてなされたものであり、コンピュータやネットワークに負荷を与えず、またネットワークを通して複数人で楽曲のパートごとに演奏するときにも、音楽データ間の同期をとって、うまく演奏できたかどうかの確認を正確に把握でき、効果的な音楽演習を行うことのできる音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明に係わる音楽再生制御システムは、表示装置にメロディに対応する楽器の正しい操作位置と操作タイミングであるアクションポイントとを表示する一方、楽器の操作位置をコンピュータに取り込んで、取り込んだ操作位置に基づいて音源データに所定の処理を施して音響出力する音楽再生制御システムであって、予め曲の音源データを楽器パート別に保存する手段と、演奏失敗時の処理内容を保存する手段と、楽器の操作位置を入力する手段と、曲の進行に伴って楽器パートごとにアクションポイントの位置、および、前記入力した楽器の操作位置を表示する描画映像出力手段と、アクションポイントが操作タイミングをもとに設定された判定領域にあるときに、楽器が操作されたか否かを楽器パートごとに判定し、判定領域内で操作されなかった場合あるいは操作された場合であってもその操作位置が正しい操作位置と比較して所定以上の差がある場合は失敗と判定する判定処理手段と、当該判定結果を演奏結果データとして保存する手段と、判定結果が失敗の場合は、保存されている演奏失敗時の処理内容に基づいて該当する楽器パートの音源データに処理を施したのちに、各楽器パートの音源データを合成して音響出力する音源情報処理手段と、を備えたことを特徴とする。
【0008】
本発明では、プレイヤーの演奏した演奏データをもとに音源データを生成するのではなく、予め楽譜どおりに正しく演奏できたときの音源データを各楽器パート別に保存しておき、楽譜どおりに演奏できなかったときに、その楽器パートの音源データに音量を小さくするなど所定の処理を施して出力する。これにより、複雑な曲(データ量の多い曲)でもコンピュータに負荷をかけず演奏結果を反映した音響出力が可能となる。
【0009】
また、演奏する楽器パートごとに音源データを準備し、各パートの音源を合成して出力することにより、プレイヤーは、演奏結果を反映した自己の楽器パートと予め保存されている他のパートとを合成して出力することができるので、効果的な演習が可能となる。
【0010】
なお、音楽再生制御システムは、その用途に限定されず、ゲームのみでなく、音楽演習に使用するような場合も含む。
【0011】
また、本発明に係わる音楽再生制御システムの楽器は、ギターその他の弦楽器演奏用のコントローラであって、弦楽器のネック部分は帯状の抵抗体と導体とを所定の間隔をもって配置して形成され、かつ、前記ネック部分は、操作位置に対応して目盛り表示され、または、抵抗体と導体との間であって弦楽器のフレット位置に棒状の絶縁体が挿入されており、さらに、抵抗体が導体に接触した位置の抵抗値互換データを計測する手段と、抵抗値互換データから操作位置を抽出する手段と、操作位置を出力する手段と、を備えたことを特徴とする。
【0012】
弦楽器用コントローラの操作部分を可変抵抗器を用いて形成することにより、安価な仕組みで効果的な演奏が可能となる。
【0013】
ここで、「抵抗値互換データ」とは、抵抗値に変換可能なデータを意味し、たとえば、抵抗体と導体間に一定の電圧を印加したときに、抵抗体を流れる電流値で管理するような場合はその電流値なども含む趣旨である。なお、導体は、完全導体のほか抵抗を持った導体すなわち抵抗体も含む趣旨である。
【0014】
また、本発明に係わる音楽再生制御システムは、通信ネットワークを介して複数繋がるネットワーク対応型の音楽再生制御システムであって、音響データは、楽器パートごとに保存され、演奏結果データは、アクションポイントごとに失敗か否かのフラグ(判定結果)を有し、各音楽再生制御システムは、楽器パートの識別情報を他の音楽再生制御システムへ送信すると共に当該楽器パートの演奏結果データを随時他の音楽再生制御システムへ送信する手段と、他の音楽再生制御システムから送られてくる楽器パートの識別情報と演奏結果データを受信する手段と、演奏結果データを受信したとき、演奏中のときは、当該受信した演奏結果データのアクションポイントが未到来場合は、そのアクションポイントの到来を待って受信した楽器パートの音響データに当該アクションポイントの判定結果に対応する所定の処理を施して音響出力し、アクションポイントが既に到来している場合は直ちに所定の処理を施して音響出力し、再生時には、アクションポイントごとに各楽器パートの演奏結果データをもとに所定の処理を施して音響出力することを特徴とする。
【0015】
本発明では、通信ネットワークを通して複数のプレイヤーが演奏するときは、各プレイヤーの演奏結果データを随時他のプレイヤーに送るようにして、他のプレイヤーのシステムでは、その演奏結果を直ちに反映して出力するようにする。一方再生時には、曲全体について既に収拾されている演奏結果データをもとに、アクションポイントごとの各楽器パートの判定結果を反映して音響出力する。
【0016】
なお、一の音楽再生制御システムに対して演奏開始の指令が入力されたときに、他の音楽再生制御システムに対して、遅延時間計測用のデータを送信し、他の音楽再生制御システムから折り返し伝送されてくる遅延時間計測用データを受信し、その送信時刻と受信時刻との差に基づいて算出した伝送遅延時間を他の音楽再生制御システムへ送信し、各システムにおいて、伝送遅延時間による誤差を修正するようにするのが好ましい。
【0017】
本発明に係わる音楽演奏プログラムは、表示装置にメロディに対応する楽器の正しい操作位置と操作タイミングであるアクションポイントを表示する一方、楽器の操作位置をコンピュータに取り込んで、取り込んだ操作位置に基づいて音源データに所定の処理を施して音響出力するプログラムであって、楽器の操作位置を入力する処理と、曲の進行に伴ってアクションポイントの位置、および、前記入力した楽器の操作位置を表示する処理と、 アクションポイントが操作タイミングをもとに設定された判定領域にあるときに、楽器が操作されたか否かを判定し、判定領域内で操作されなかった場合あるいは操作された場合であってもその操作位置が正しい操作位置と比較して所定以上の差がある場合は失敗と判定する処理と、当該判定結果が失敗の場合は、保存されている演奏失敗時の処理内容に基づいて音源データに処理を施して音響出力する処理と、をコンピュータに実行させることを特徴とする。
【0018】
本プログラムは、演奏失敗時に所定の処理を実行するので、コンピュータの処理能力が比較的低いコンピュータでも実行することが可能となる。
【0019】
なお、コンピュータとは、プログラム実行可能な演算機能があれば足り、ゲーム機などの専用コンピュータのほか、パーソナルコンピュータなどの汎用コンピュータや携帯電話あるいは携帯音楽再生装置なども含む趣旨である。本発明によるプログラムを用いることにより従来の演奏装置よりも低い演算機能でより品質の高い音楽再生を実現することができる。
【0020】
また、本発明に係わる演奏データの同期再生方法は、複数の音楽再生制御システムを通信ネットワークを介して接続し、夫々の音楽再生制御システムにおいて通信ネットワークを介して送られてくる他の音楽再生制御システムの演奏結果データと自己の音楽再生制御システムの演奏結果データとを同期させて出力する演奏データの同期再生方法であって、演奏結果データは、楽器の正しい操作タイミングの識別情報とその操作タイミングにおける演奏結果が関連付けられており、演奏モードのときは、受信した他の楽器パートの演奏結果データの操作タイミングにかかわらず受信後直ちにその判定結果に基づいて、音源データに当該判定結果に対応する処理を施して出力し、再生モードのときは、音源データの演奏経過に伴って、演奏結果データを参照して他の楽器パートと自己の楽器パートの操作タイミングごとの判定結果を抽出し、当該判定結果に基づいて所定の演奏効果を施して出力することを特徴とする。
【0021】
本発明では、曲の時間と同期した操作タイミングの識別情報に判定結果を関連付けて演奏結果データを作成し、そのデータを通信ネットワークを介してやり取りするので、ネットワークの負荷を軽減しつつ、各システムでは他の楽器パートの演奏結果を自己の楽器パートの演奏結果と合成して効果的に再生することができる。
【発明の効果】
【0022】
本発明によれば、予め各楽器パートごとに音源データを保存しておき、判定領域内での演奏結果、特に演奏失敗時の処理内容に基づいて音源データを処理して出力するようにしたので、常時演奏データを収集する必要が無くコンピュータの負荷を軽減することができる。また、各パートの判定領域ごとの演奏結果データを他のコンピュータに送信することにより通信ネットワークの負荷を軽減することもできる。
【0023】
さらに、通信ネットワークを通して複数人で楽曲のパートごとに演奏するときにも、演奏中と再生中で演奏結果データの処理を変えることによって、効果的な音楽演習が可能となる。
【発明を実施するための最良の形態】
【0024】
以下、本発明の実施の形態を説明する。
[第1の実施の形態]
以下、本発明を音楽ゲームに適用したときの例によって説明する。勿論、音楽ゲームとしてではなく、音楽の演習など他の用途として使用することも可能である。
【0025】
(ゲームの概要)
本実施の形態による音楽再生制御システムは、コンピュータのキーボードや、ゲームコントローラー、MIDIなどに対応した楽器を使って演奏を入力するシステムであり、プレイヤーは譜面がわからなくても、画面の指示に従って操作することで、すでに発音している音を変化させるものである。
【0026】
従来、音楽ゲームと呼ばれているゲームのシステムは、「落ちてきたシンボルを、音楽を聴きタイミング良く押し、音楽を奏でる」といったものである。これはリズム感のみがゲーム性になっているもので、落ちてきたものを叩き、タイミングによって点数を競うというものになる。
【0027】
本実施の形態は、この「リズム」的要素に「音程」の要素を加えることにより、ゲームの幅をより広げるものである。表示装置に演奏のタイミングと正しい楽器の操作位置を示すシンボルを表示し、プレイヤーは、表示されているシンボルの動きに合わせて、タイミング良くボタン(実行スイッチ)を押すだけでなく、楽器の操作位置(ピッチ)がシンボルの高さに合っていなければ、演奏が成功しないというシステムである。なお、以下の説明において、正しい演奏のタイミングと楽器の操作位置情報もしくは表示装置に表示された当該情報のシンボルを「アクションポイント」という。
【0028】
次にシステムの動きとゲームのやり方を説明する。まず、演奏データの仕様に沿って、時間経過によって本来の操作位置を示すシンボル(アクションポイント)を表示画面上の右から左へ流し、これをプレイヤーがゲーム用の入力装置(以下、楽器あるいは自機ともいう)を操作して、流れてくるアクションポイントに自機の操作位置によって表示位置がきまるシンボル(以下、自機シンボルという)の高さをあわせるようにする。そして、アクションポイントが表示画面上の判定ラインに重なったら、アクションポイントの色に対応する操作対象の自機シンボルを操作して、実行スイッチを押す。アクションポイントおよび自機シンボルは操作すべき対象物の種類、たとえばギターゲームの場合は弦ごとに色別表示されており、プレイヤーはその弦のアクションポイントに対応する位置を押圧すると共にタイミングを合わせて実行スイッチを押すというものである。
【0029】
ゲームの処理手順の概要としては、アクションポイントが判定領域にあり、且つ実行スイッチが押されると、判定を開始する。そして、実行スイッチのタイミングは合っているか(判定ラインもしくはその前後の許容範囲内か)、ピッチは合っているか(自機シンボルの高さとアクションポイントの高さの差は許容範囲内か)、操作すべき対象物は合っているか(操作対象物はシンボルの色に対応しているか)、といった判定処理を実行し、合格判定(MAX,SMALL)の場合は点数を加算する。
【0030】
判定処理の結果、合格判定の場合は、そのまま曲は演奏されていくが、不合格判定(MUTE)の場合、再生する音を変化させる。たとえば、ボリュームを小さくするとか、音を歪ませるとか、ノイズを重畳する等である。曲開始から曲終了まで、以上の処理を繰り返す。
【0031】
図1にゲーム画面を示す。ここで、アクションポイント8の表示シンボルは、画面右から左方向へテンポ情報に基づく速度で移動し、プレイヤーは楽器を操作することによって自機シンボル7を上下方向に移動させてアクションポイント8の高さに合わせ、タイミングよく実行スイッチを押すことによって加点され、現在出力されている音源には変化を与えず、原音として流す。
【0032】
(システム構成)
図2は、第1の実施の形態による音楽再生制御システムの演奏時の機能ブロック図である。ここで、音楽再生制御システム1は、操作データを入力する入力装置10、操作データを取り込み、また種々の演奏効果を設定する入力数値処理装置20、入力数値処理装置20と通信手段5を介して繋がりコンピュータによって演奏処理を実行する演奏処理装置30、音楽データ等のデータを保存するミュージックDB60、演奏処理の結果生成された演奏結果データを保存する演奏結果記憶DB70、ディスプレイ等の画面出力装置90、音響データを出力する音響出力装置80、およびスピーカー84やヘッドフォン85などの音響装置から構成されている。
【0033】
(入力装置)
入力装置10は、ゲーム内容や楽器の種類によって変わってくるが、コントローラやキーボードあるいはギターなどで使用するリボンセンサなどがある。それぞれ、操作信号を入力する入力部11、入力した信号をデジタルに変換するA/D変換手段13、演算処理を実行する処理演算部12、演算後のデータを外部に出力する送信部14を有している。
【0034】
(入力装置の実施例)
一般に、ギターや、バイオリン、ピアノなどの習得が難しいのは、指の押さえ方使い方で5本の指の様々な組み合わせが難しいからである。たとえば、ギターのFのコードは、指の形が難しい。このため、リボンコントローラー(抵抗器)やトラックパッドを使用することにより、その位置に関する抵抗値を演算処理装置30へ送信することにより、音程の変化をつける。
【0035】
ギターのネックに、このスライド抵抗器をつければ、指の形を決めなくても、指の置いてある場所だけで、この場所の抵抗値から、画面上に示す自分の音程場所を指定することができる。"ド"の音を入力しなくてはいけない、画面上の譜面(アクションポイント)"ド"のタイミングで、抵抗器を操作し、"ド"の位置にして、決定の意味のある実行スイッチを押せばよい。
【0036】
もし、この画面上の譜面"ド"に対するタイミングや、ピッチが異なる場合は、その位置や距離的な差分をすでに再生している音に変化を与える。プレイヤーは、耳でこの変化を感じて、間違いであることを認知する。
【0037】
音楽のゲームの場合、CPUのテンポにあわせることから、画面をみて入力をするケースがほとんどである。このため、コントローラ部の可変抵抗の横に、目盛をつけるのが好ましい。プレイヤーは、この目盛位置を目視して入力をすることにより楽曲を覚えることができる。
【0038】
目盛位置は、上から1,2,3,4、5、と振ってもよい。また、色で識別させてもよい。そして、画面上の音符にも、対応する数字や色を記載をすればよい。
【0039】
以下、入力装置10の実施例として、図3に示すギター型コントローラ10aを用いて説明する。ギター型コントローラとは、ギターの形をしており、ネックの部分に長いセンサーが付属しているものである。実行スイッチは、ピッキング部分に1種類、取り付けられる。
【0040】
一般にギターは、同じ弦を弾く場合、本体に近いフレットを押さえると高い音、遠いフレットを抑えると低い音が出る。この原理を踏まえて、このゲームでのギター型コントローラの挙動は、(1)本体から近いフレットを押さえると高い音=ピッチが高い=自機が高い位置に行く、(2)本体から遠いフレットを押さえると低い音=ピッチが低い=自機が低い位置に行く、というものになる。(図3参照)
【0041】
補足すると、センサーの一番近い端を押さえると、自機は一番高いところに固定され、逆に一番遠い端を押さえると、自機は一番低いところに固定される。同様に、センサーの真ん中を押さえれば、自機も真ん中に固定される。つまり、センサーと自機は、絶対位置でやり取りしている、ということになる。
【0042】
これは、曲の演奏データで使われるフレーズを、位置で覚えてしまえば、画面を見なくても演奏が出来るようになる事への裏づけであり、こうする事により、プレイヤーはまるでミュージシャンのように、譜面を見ずに、曲を演奏できるようになる。
【0043】
図4は、ギター型コントローラ10aの操作位置入力手段15の回路例である。
この図において、ギター型コントローラ10aは、導体92とリボン状の抵抗体91が一定の間隔で配設され、細長い円柱状の絶縁体(非導電体)93で区分されている。また、導体92と抵抗体91の一端には電源95により電圧が印加され、導体、抵抗体を流れる電流を計測する手段(検出手段)94が設けられている。この構成において、図中矢印の方向から抵抗体91を押圧すると、抵抗体が破線のように変形し、導体92と接触し閉回路が形成されて電流が流れる。検出手段94によってこの電流値を計測することによって押圧箇所(操作位置)を検出することができる。
【0044】
ギター型コントローラ10aは、この他、実行スイッチ16を有している。なお、電源95から実行スイッチ16の接点を介して抵抗体91に電流を供給することによって、実行スイッチ16を押したときにのみ電流が流れ、電流値(抵抗値互換データ)を計測できるようにしても良い。
【0045】
なお、操作位置入力手段15は、この回路に限定されず、フレット位置に個々に感圧センサーを設けて、押圧位置を検知するようにしても良い。
【0046】
入力装置10は、入力部11の実行スイッチやキーあるいはセンサーから信号を入力して、アナログ信号の場合はこれをA/D変換手段13でデジタル信号へ変換して処理演算部12で処理して送信部12を介して入力数値処理装置20へ送信する。
【0047】
(入力数値処理装置)
入力数値処理装置20は、入力装置10から送られてくるデータを受信する受信部21、演算処理を実行する数値処理演算部22、およびデータを演奏処理装置30へ送信する送信部24を有している。数値演算処理部22は、入力された信号をもとに音量や音程などに関する残響、歪曲、周波数特性、移送、レベル制御などの演奏効果信号を生成して、送信部24を介して送出する。また、数値処理演算部22では、音量、音程、温室、楽器パート変更などの波形変更、音の出る位置(L,R)を指定する定位情報、あるいは曲のテンポを指定するテンポ情報などが設定可能になっており、これらの設定値が演奏処理装置30へ送られる。なお、この数値処理演算部22は、入力装置10の処理演算部12と一体として構成しても良いし、演算処理装置30の機能として設けるようにしても良い。
【0048】
図5に入力数値処理装置20の送信データを示す。ここで、送信データは、入力装置10から渡されるボタン(実行スイッチ)のON/OFF情報、音程(操作位置)、および、演奏効果データから構成されている。また、図6に入力数値処理装置20に保存されている演奏効果テーブルを示す。演奏効果の種類ごとに入力値が設定可能になっている。入力装置10からデータを受信した際、そのデータに応じて値を入れ替えて演奏処理装置30へ送信する。
【0049】
ここで、ボタン、音程については後述する演奏処理装置30の判定処理で使用されるので、常に必須の送信内容となる。演奏効果については、ユーザー(プレイヤー)が指定している場合のみ送信するようにしてもよい。
【0050】
(演奏処理装置)
入力数値処理装置20から送出された信号は、有線、無線、ネットワーク等の通信手段5を経由して演奏処理装置30の受信部33に送られる。以下演奏処理装置30の処理動作を説明する。
【0051】
<入力処理>
入力処理部33は、受信部37から操作データや演奏効果信号を渡されると、この入力データを入力数値記憶手段41に保存する一方、入力数値変換手段42によってその入力データを表示画面領域の数値にスケール変換する。たとえばギター演奏ゲームの場合は、入力した抵抗値をフレットごとの数値範囲と比較し、該当するフレットを抽出する。そして、判定用数値出力手段43によって、判定部32に対してこのスケール変換後の数値を出力する。なお、これらの処理は入力装置10あるいは入力数値処理装置20側で実行するようにしても良い。
【0052】
また、音源変化係数生成手段44によって、演奏効果データに変化があったか否かを監視し、変化があった場合は、音源変化係数を算出して、音源処理部35と演奏結果出力手段36へ出力する。
【0053】
<表示出力処理>
一方、ミュージックDB60では、楽曲ごとに音源データ61、動画データ62、演奏データ63を保存している。音源データ61は、その楽曲の波形データで、複数の楽器のパートごとに保存されている。また、動画データ62は、音源データと同期をとって画面出力装置90へ表示するための動画である。演奏データ63は、図7に示すように、演奏開始からの経過時間ごとに入力装置10から入力すべき信号を保存している。たとえば、実行スイッチのON/OFF信号や操作位置信号のスケール変換後のデータが保存されている。
【0054】
そして、演奏開始によって、演奏部31の曲データ受信手段48はミュージックDB60から該当する楽曲の音源データ61、動画データ62、演奏データ63を読み込み、演奏データ解析実行手段49によって、演奏データ63をもとに画面出力装置90へアクションポイントを表示するためのタイミングの演算を行う。演奏データ解析実行手段49は、演奏開始からの経過時間tを計測しており、たとえば、テンポ情報によって、表示画面上5秒前にアクションポイントを表示させることになるような場合は、演奏データ内に現在の経過時間tから5秒以内の演奏データが存在するか否かを判定し、該当する演奏データが存在する場合は、その操作位置を描画映像出力手段34へ出力する。描画映像出力手段34は、この操作位置を受け取ると、それを画面出力装置90へ表示出力し、テンポ情報に合わせてその表示位置をシフトしていく。なお操作位置が複数ある場合は色替え等の識別表示を行う。
【0055】
<判定処理>
判定部32の判定処理手段46は、演奏データ解析実行手段49から渡された演奏データ63と、判定用数値出力手段43から随時渡される操作データをもとに、図8に示す判定手順に従って演奏が適切に行われたか否かを判定を行う。この判定手順のルーチンは、演奏データの時間間隔よりも十分に短い周期で起動される。
【0056】
図8において、まず、演奏データ63中のある時間範囲内にアクションポイントが存在するか否かを判定する(S101)。具体的には、演奏開始からの経過時間tの前後の所定時間(たとえば、0.5秒)を判定領域としてこの領域が表示画面に出力されている場合、演奏データ中にその時間帯に含まれるアクションポイントが存在するか否かを判定する。たとえば、経過時間が10秒のときに9.5秒から10.5秒の間にアクションポイントを持つ演奏データが存在する場合は、ステップS101においてアクションポイント有りとし、演奏データが存在しない場合はアクションポイント無しとする。なお、この所定時間は、アクションポイントの前後で変えても良いし、初心者モードや上級者モードの設定あるいは曲テンポによって可変にしても良い。
【0057】
ステップS101で「Yes」のときは、入力した操作データにもとづいて実行スイッチONとなっているか否かを判定し(S102)、実行スイッチがONになっている場合は(S102で「Yes」)、操作データ中の操作種別と操作位置(自機シンボルの位置)がアクションポイントの位置と一致もしくは所定の範囲内か否かを判定して(S103)、Yesならば、そのアクションIDに関連付けて、成功フラグをセットし(S104)、Noならば失敗フラグをセットする。なお、ステップS102で実行スイッチがONになっていなければ(S102で「No」)、そのまま終了して次の起動を待つ。
【0058】
一方、ステップS101でNoの場合は、次に、判定領域を過ぎたフラグの立っていないアクションIDが存在するか否かを判定し、存在する場合は(S105で「Yes」)、そのアクションIDに失敗フラグをセットし、存在しない場合は(S105で「No」)、そのまま終了する。
【0059】
<演奏結果出力処理>
アクションIDごとに成功、失敗のフラグのセットされた判定結果は、判定結果出力手段47によって音源処理部35へ送られる。
演奏結果は、(1)入力処理部の音源変化係数が、現在の音源変化係数から変化する時、(2)判定結果が失敗だった時(失敗した事により生成される音源変化係数が発生した時)、(3)判定結果が成功で、直前の判定結果が失敗だった時(判定結果の音源変化係数を初期値に戻す)、の3種類にわかれ、それぞれ、この命令が発生した時間を要素として持つ。
【0060】
演奏を再現する(再生する)時に、このデータが演奏データと同じ順序で処理され、リアルタイムで演奏していたパートを変化させ、演奏時と同じ音を作り出す。
【0061】
この時使用する「経過時間」は、演奏開始時に「0」と設定され、そこからCPUのクロックで刻んでいく。例えば、bpm120の曲の3小節目の一番初めは、4000msec.となる。
【0062】
この数値を記憶しておいて、演奏中その時間になった時に、音源変化係数を音源に処理し、音を変化させていく。
【0063】
<音源処理>
音源処理部35の音源情報処理手段52は、音源出力手段51から音源データを受け取り、判定結果出力手段47から判定結果を受け取り、さらに音源変化係数出力手段45から音源変化係数を受け取り、これらのデータをもとに音源出力装置80へ渡す音響データを生成する。
【0064】
具体的には、演奏するパートの音源データ61、すなわち波形データを演奏効果にもとづいて信号処理する。たとえば、演奏の経過時間にしたがって、演奏が失敗した時(失敗フラグが立った時)ときは、その楽器パートの音量を所定レベルに小さくし、成功フラグがセットされているときは、もとのレベルに復帰する。さらに音源変化係数に変化のあったときは、これに伴って音源波形を変化させる。こうして生成された楽器パートの音源と、演奏しないパートの音源とを、音響出力するためのフォーマットにするよう処理し、音響出力装置80へ出力する。
【0065】
以上、音源情報処理手段35の処理内容を整理すると、図9のようになる。すなわち、音源データ61を演奏をしていないパートの波形データ61bと演奏をしているパートの波形データ61aに分け、波形データ61aについては、入力装置10または入力数値処理装置20経由で得た演奏効果を追加して処理し(S201)、さらに判定部32で判定された演奏結果に基づいて処理し(S202)、この処理された波形を演奏していないパートの波形データ61bと合成処理して(S203)、音響出力装置80に渡す。
【0066】
また、演奏結果は演奏結果出力手段36によって、演奏結果記憶DB70に保存され、必要により、通信ネットワーク6を介して他のシステム1へ送られる。図10は、演奏結果記憶手段DB70に保存される演奏結果データの例である。アクションIDごとに演奏データの入力時刻、操作種別、操作位置、成功/失敗フラグが保存されている。
【0067】
以上の処理によって、アクションIDに成功フラグが立った場合、そのアクションIDに対応する演奏の判定結果は「成功」となり、楽曲の演奏は正常に行われる。一方、失敗フラグが立った場合、判定結果は「失敗」となり、たとえば音量(ボリューム)を所定のレベルに低下させるなどの処理を行う。なお失敗時の演奏効果処理は音量のみでなく、音程(ピッチ)、タイミング、その他効果であっても良い。また、これらを変化させる数値は定数値として予め保存しておいても良いし、乱数で都度生成するようにしても良い。また、これらの要素は複数でも、またはどれか1つでも良い。
【0068】
これにより、演奏者は自分の出したい音を出せなくなるので、演奏が失敗している感覚になる。
【0069】
<再生処理>
図11は、演奏後、演奏結果記憶DB70に保存されている演奏結果データを用いて、音源データを再生する際の機能ブロック図である。
演奏処理装置30において、図2の入力処理部33に替えて再現部38を設けて演奏結果記憶部DB70から演奏結果データを入力する。また、判定部32は不用となる。
【0070】
再生時の動作を説明すると、演奏部31の曲データ受信手段48は、ミュージックDB60の音源データと動画データを入力し、動画データについては描画映像出力手段34を介して画面出力装置90に表示出力する。音源データについては、音源出力手段51を介して音源処理部35へ出力する。一方、再現部38の演奏結果入力手段54は、演奏結果記憶DB70から演奏結果データを入力して、演奏再現処理部55によって、演奏開始からの経過時間によって該当するアクションIDを抽出し、演奏数値出力手段56によって、このアクションIDに対応する演奏結果(成功/失敗)に基づく音源データ修正用のデータを音源処理部35へ出力する。
【0071】
音源処理部35の音源情報処理手段52は、演奏部31の音源出力手段51から渡される音源データと再現部38の演奏数値出力手段56から渡される音源データ修正用データをもとに音源データに修正(たとえば音源レベルの低下)を加えて、送信部53から音響出力装置80へ渡す。音響出力装置80は、このデータを受け取るとスピーカー84またはヘッドフォン85へ音響出力を行う。
【0072】
(実施形態の効果)
以上、本実施の形態によれば次の効果を奏する。
【0073】
<楽器の操作位置入力手段による効果>
画面上に表示される譜面と同期して、映像を表示でき、特に入力装置として、リボンコントローラー(スライド式抵抗)を使うことにより、画面上のピッチ(音程)を制御して、楽器のように使用することができる。また、プレイヤーは、楽曲を取得すると、最終的に譜面を見なくても、指や動きの記憶だけ、あるいは楽器のみを見れば入力できるようになる。
【0074】
<CPU処理の低減と、楽器入力技術取得のための補助>
従来のコンピュータによる、音の発音方法は、入力された機器のパラメーターに応じて、その相応する音波形を発音させていた。この方法によると、音楽の楽器演奏のように、美しい入力をできる技術の習得まで時間を要し、また、プレイヤーの微妙な表現が増えるほど、入力段が増えCPUの処理も重くなるので、携帯電話等のモバイルコンピュータやスペックの低いコンピュータでは難しい。
【0075】
一方、本実施形態は、逐次プレイヤーに相応して音を発音するのではなく、あらかじめ正しい演奏の波形を再生しておき、プレイヤーの入力状況により、再生している波形に変化を与えるものである。これにより、上手に入力ができているときは、正確な演奏が収録されたの音波形をそのまま再生すればよい。そして、プレイヤーが間違えた際に、その音波形に対して、リアルタイムに処理を与えて、間違った音にする。これは、DSPを使用した波形そのものの処理、もしくは再生方法の変化である。
【0076】
タイミングが速かったり、遅かったりする場合は、一時的に再生位置を変えればよい。
また、上手なプレイヤーの音波形を再生しているため、プレイヤーは、正しい入力をしていれば、その上手なプレイヤーになりきることができる。上達をすれば、間違えることが減るために、処理する数も減り、CPUの負担を減らせる。
従来は、生の楽器同様に、入力の情報をCPUが受信して無音から発音させ、プレイヤーの入力どおりに音を発音するというシステムが一般的であったが、本システムは、あらかじめ正しい演奏の波形を再生しておき、間違えた場合に変化をさせるので、楽器を取得したばかりのプレイヤーにとっては、うまい演奏がすでに再生されているために、実際の本人の演奏よりも美しく感じ、練習に効果的であるし、上達するにしたがって、より上手な演奏になる一方コンピュータ処理が軽減されるようになる。
【0077】
<音色への効果>
また、オンラインでより美しい演奏の手段としても使用ができる。例えば、ギターの歪曲(ディストーション)などの再生効果の場合、オンライン上で上記手段の入力中に、プレイヤーが、ほかのプレイヤーの入力に対して、音の効果を提供することができる。提供をしたい、効果のパラメーターを送信することで、そのプレイヤーの再生する音に効果をかける指定をすることができる。その効果の種類や、効果をかける深さである。
【0078】
<音色、パートの切り替え>
音色を切り替える際には、別の音色で収録した音波形に切り替えをすればよい。指定したデータ通り上手に入力をしている場合は、CPUが上級者向けの演奏波形に切り替えるようにしても良い。
【0079】
オンラインの場合、たとえば、一緒に入力しているプレイヤーの音色や、パートを変えることで、入力の幅が増える。ゲームのような競争の場合、自分がよい入力ができていたら、相手に対して、難しい入力をする波形に切り替えて、ゲーム的に有利にしてもしてもよい。オンラインの音楽教育の場合、講師が遠方の生徒に対して、生徒の上達しだいで、音波形を切り替えてもよい。
【0080】
<プレビュー>
間違えた入力の場所と、詳細を記憶させることにより、確認をする際に、その箇所の正しい演奏と間違った演奏の2点を確認できる。
【0081】
なお、本実施の形態では、アクションIDに関連付けて成功フラグ、失敗フラグをセットするようにしたが、成功フラグをセットする場合に、たとえば本来の演奏タイミングよりも早い/遅いを識別できるようにステータス情報を保存するようにしても良い。さらに、判定領域を多段階にして、それぞれ成功か否かを判定するようにして、各判定結果によって異なる効果音で識別できるようにしても良い。逆に成功フラグを用いず失敗フラグのみで管理することによって、演奏結果データのデータ量を削減することも可能である。
【0082】
判定結果は、操作位置をデジタルで表すようにしたが、アナログ量として管理して、誤差が所定値未満ならば成功、所定値以上ならば失敗というように判定しても良い。
【0083】
本実施形態の実行スイッチは、操作位置の入力手段と別に設けて、そのスイッチが操作されたときにONするようにしても良いし、操作位置の入力手段と一体として形成しても良い。たとえば、操作位置の入力手段に操作されたかどうかを感知するセンサー(たとえば振動検知センサー)を設けて、操作されたと感知したときに実行信号をONにしてもよい。
【0084】
[第2の実施の形態]
次に本発明の第2の実施の形態を説明する。本実施の形態は、通信ネットワーク6を使って複数人が同時に演奏することを可能にするものである。
【0085】
オンラインで、複数のプレイヤーが同時に入力するケースの場合、バンドやオーケストラのようなセッションに有効である。本システムでは、参加するプレイヤーに、あらかじめ正しい演奏をした波形を配信しておく。たとえば、バンド構成の場合、ギター、ドラム、ベース、キーボードなどをそれぞれのパートに波形を分けておく。このパートを同時に再生を行えば、バンドの音楽として成立することになる。
【0086】
自分がギターパートを入力する場合は、ギター以外のパートをそのまま再生して、自分が入力をするギターパートは、自分が上手に入力できたら、そのまま再生を行い、間違えたら、正しい演奏の波形に変化を与えるものである。逆に、他者がドラムパートを入力していて、間違えたら、その間違えたパラメーター値が送信されるので、それを受信して、自分の再生をしているドラムパートに反映をさせればよい。
【0087】
したがって、その入力が正しくない時に、そのオンライン上のメンバーに、間違えで変化させるパラメーター値だけを配信することになる。波形そのものを配信するよりも、パラメーターだけでいいので、通信量の低減と、遅延の短縮、CPU負荷も低減できる。
【0088】
理論的には、遅延は必ず発生はするのであるが、それぞれのプレイヤーは同じ場所にいるわけではないので、相方が間違えた本当の場所はわからないために、リアルタイムで入力している際には、本来の間違え箇所よりも、遅延しても、変化をしていてもよい。
【0089】
しかしながら、聴き直す際には、それぞれの絶対時間での間違え箇所を再現できるために、再生前に全員へ、その入力をしたデータを配信することで、正確にその箇所に対して、間違いと感じさせる変化を与えられる。
【0090】
具体的な変化方法としては、入力を間違えた際には、音量を下げたり、ゼロにする。
もしくは、波形の再生ピッチを正しい値から変化させることで、音程を変えられる。
あらかじめ用意をしておいた、ノイズを発音してもよい。フィルターやリバーブ、サンプリングレートコンバートなどの効果的な変化を与えてもよい。
【0091】
インターネットを使い、違う町、もしくは違う国の2人のプレイヤーが同時に演奏を始めたとする。この時、プレイヤー1のパートが演奏失敗し、演奏開始から3500msec.の地点で音量が80になる。これは当然プレイヤー1の演奏結果記録に残るが、プレイヤー2にもこの記録が残る。
【0092】
演奏中、プレイヤー2側のプレイヤー1パートは音量80になるが、必ずしもプレイヤー1側と同じタイミングで処理されるわけではない。
【0093】
しかし再生時は、「3500msec.」という情報を演奏結果が所持しているため、プレイヤー2側でも同じタイミングで音源が変化する。
これはプレイヤー2が演奏失敗した時も同様である。
(構成と動作)
【0094】
音楽再生制御システム1の構成は基本的に第1の実施の形態と同様である。
第1の実施の形態との主な違いは、通信ネットワーク6を介して複数のプレイヤーが演奏を行う場合は、演奏結果出力手段36から演奏中に逐次アクションIDごとに演奏結果データを他のシステム1へ送信することである。
【0095】
以下、通信ネットワーク6に繋がる複数のシステム間で演奏結果データをやり取りする際の動作を説明する。
まず、複数のプレイヤーが演奏を行うときは、一のプレイヤーが演奏開始のトリガ指令を送る。このトリガ指令は演奏を行う曲目や各プレイヤーの楽器パートが含まれており、各システム1に割り付けられたIPアドレスに送信される。
【0096】
いま、演奏開始のトリガ指令を送るシステムを親システム、トリガ指令を待って動作を開始するシステムを子システムと呼ぶ。親システムからトリガ指令が送信されると、複数の子システムへ送られ、各子システムは、トリガ指令を受信すると直ちに応答信号を返信する。
【0097】
親システムは、各子システムから返信される応答信号の受信時刻と、トリガ指令を送信した時刻から、片道の伝送時間を計算する。
【0098】
親システムは、この伝送時間を加味して、各子システムへ演奏開始指令を送信する。即ち、子システムaの伝送時間が0.5秒、子システムbの伝送遅延時間が0.3秒の場合、まず、子システムaに対して演奏開始指令を出力し、0.2秒後に子システムbへ演奏開始指令を出力し、その後0.3秒後に親システム自身の演奏を開始する。
【0099】
なお、各システムにそれぞれ伝送遅延時間を通知し、その後同報通信等を用いて一斉に演奏開始指令を出力し、各システムで伝送遅延時間を考慮して演奏を開始するようにしても良い。
【0100】
それぞれのシステムには、演奏メンバーのシステムのIPアドレスが保存されており、
演奏中、逐次演奏結果データを各システムへ送信する。各システムでは、演奏結果データを受信すると、その受信データを受信中バッファへ格納する。
【0101】
各システムの音源情報処理手段52は、図12の手順に従って、音源出力を実行する。
音源情報処理手段52は、起動されると、まず演奏中か再生中かのモードを判定する(S301)。演奏中の場合は、自システムの経過時間に従って演奏中のアクションIDを抽出し(S302)、受信中バッファに保存されている他の楽器パートの演奏結果データを抽出する(S303)。
【0102】
そして、抽出した演奏結果データのアクションIDの演奏タイミングが到来済みか否かを判定して(S304)、到来済みの場合は、さらにアクションIDの演奏タイミングと現在の演奏タイミングとの差が所定の範囲内になるか否かを判定し(S305)、所定の範囲内ならば、そのパートの演奏結果に基づく処理を施して音響データを作成して(S306)、その演奏結果データを受信バッファから演奏結果記憶DB70へ移行する(S307)。
【0103】
そして、自パートで既に演奏結果に基づいて所定の処理を施した音響データと合成して、音響出力用のデータを生成する(S308)。
【0104】
一方、ステップS304でアクションIDのタイミングがまだ来ていない場合、ステップS305でアクションIDが所定範囲内にない場合は、ステップS306の処理を実行せずにステップ308へジャンプする。
【0105】
そして、演奏が終了していなければ、再びステップS302へ戻って移行の処理を繰り返す(S309)。
【0106】
なお、他の楽器パートが複数存在する場合は、ステップS303〜ステップS307までの処理を他の全楽器パートについて繰り返す。
【0107】
処理を簡便にするために、ステップS304およびステップS305の処理を省略するようにしても良い。この場合は受信バッファに他パートの演奏結果データが存在する場合は、無条件にその演奏結果を用いて当該楽器パートの音響データを作成することになる。伝送遅延時間があまり無く各システムの処理速度が安定している場合は上記ステップの処理を省略しても実用性がある。
【0108】
一方、ステップS301において、再生中の場合は、演奏タイミングに対応するアクションIDを抽出して(S310)、保存されている演奏結果データを現在アクションIDの演奏結果データを抽出する(S311)。
【0109】
そして、各楽器パートについてそれぞれの演奏結果に基づく処理を施して音響データを作成して(S312)、音響出力用のデータを生成する(S313)。以上の処理を演奏終了まで繰り返す(S314)。
【0110】
以上は、通信ネットワーク6に繋がる音楽再生制御システムがそれぞれ独立にグループを形成して演奏を行う場合の構成および動作の説明であったが、クライアント・サーバ型で構成することも可能である。
【0111】
この場合は、クライアントには予め音楽演奏用プログラムをインストールしておき、サーバから曲データをダウンロードして、各クライアントシステムのミュージックDB60に保存する。
【0112】
あるクライアントシステムからの要求により演奏開始のトリガ指令は、サーバから送信し、上述の処理による伝送遅延時間を考慮して、各クライアントシステムの同期演奏を開始する。そして、演奏結果データは、各クライアントシステムからサーバ経由で夫々のクライアントシステムへ配信され、上記と同様の処理を実行する。
【0113】
(実施形態の効果)
以上、本実施の形態によれば、演奏開始時にシステム間の伝送遅延時間を考慮して、同じタイミングで演奏を開始するようにしたので、演奏中に演奏結果データを各システムへ送信して、その演奏結果を反映して音響出力を行う場合に、システム間の著しい誤差が生じることを回避することができる。
【0114】
また、演奏終了後に再生する場合は、アクションIDごとの演奏結果によって音響処理を行うので演奏結果を正確に確認することができる。
【0115】
本発明は、上述の実施の形態に限定されることなく、その要旨を逸脱しない範囲で種々変形して実施することができる。たとえば、演奏結果の成功/失敗フラグのみによって、音源データに所定の処理を行うのではなく、アクションIDにフラグのほか、操作タイミングや操作位置情報等も入力し、本来のタイミングや操作位置とのずれによって、他段階あるいは連続的にノイズ量を変える、音量を変えるなどの処理を行うようにしても良い。
【産業上の利用可能性】
【0116】
本発明は、音楽の演習や教育のほか、ゲームなどのアミューズメント用のシステムとして利用可能である。
【0117】
また、アプリケーション自体だけではなく、ユーザーへ楽曲を販売するビジネスなどにも有効である。なお、楽曲には音楽データとその音楽を表示する映像が含まれ、利用者は、次々と楽曲を購入、練習して楽しむことができる。また、仮想の楽器や、エフェクターを販売することで、ユーザーは様々な音を楽しむことができる。
【図面の簡単な説明】
【0118】
【図1】本発明の実施の形態によるゲーム画面の説明図である。
【図2】本発明の第1の実施の形態による音楽再生制御システムの演奏時の機能ブロック図である。
【図3】図2の操作位置入力手段15と画面出力装置90に表示される自機シンボルとの関係の説明図である。
【図4】ギター型コントローラの操作位置入力手段15のブロック図である。
【図5】図2の入力数値処理装置20の送信データの構成例である。
【図6】図2の入力数値処理装置20に保存されている演奏効果テーブルのデータ構成例である。
【図7】図2のミュージックDB60に保存されている演奏データ63のデータ構成例である。
【図8】図2の演奏処理装置30の判定処理手段46の処理手順を示すフローチャートである。
【図9】図2の演奏処理装置30の音源情報処理手段35の処理手順を示すフローチャートである。
【図10】図2の演奏結果記憶DB70に保存されている演奏結果データの構成例である。
【図11】本発明の第1の実施の形態による音楽再生制御システムの再生時の機能ブロック図である。
【図12】本発明の第2の実施の形態による音源情報処理手段35の処理手順を示すフローチャートである。
【符号の説明】
【0119】
1 音楽再生制御システム
5 通信手段
6 通信ネットワーク
7 自機シンボル
8 アクションポイント
10 入力装置
11 入力部
12 処理演算部
13 A/D変換手段
14,24,53 送信部
15 操作位置入力手段
20 入力数値処理装置
21,37,81 受信部
22 数値処理演算部
23 効果手段
30 演奏処理装置
31 演奏部
32 判定部
33 入力処理部
34 描画映像出力手段
35 音源処理部
36 演奏結果出力手段
38 再現部
41 入力数値記憶手段
42 入力数値変換手段
43 判定用数値出力手段
44 音源変化係数生成手段
45 音源変化係数出力手段
46 判定処理手段
47 判定結果出力手段
48 曲データ受信手段
49 演奏データ解析実行手段
50 動画出力手段
51 音源出力手段
52 音源情報処理手段
60 ミュージックDB
61 音源データ
62 動画データ
63 演奏データ
70 演奏結果記憶DB
80 音響出力装置
82 D/A変換手段
83 各チャンネル音声増幅器
84 スピーカー
85 ヘッドフォン
90 画面出力装置
91 抵抗体
92 導体
93 絶縁体
94 検出手段(センサー)
95 電源

【特許請求の範囲】
【請求項1】
表示装置にメロディに対応する楽器の正しい操作位置と操作タイミングであるアクションポイントとを表示する一方、楽器の操作位置をコンピュータに取り込んで、取り込んだ操作位置に基づいて音源データに所定の処理を施して音響出力する音楽再生制御システムであって、
予め曲の音源データを楽器パート別に保存する手段と、
演奏失敗時の処理内容を保存する手段と、
楽器の操作位置を入力する手段と、
曲の進行に伴って楽器パートごとにアクションポイントの位置、および、前記入力した楽器の操作位置を表示する描画映像出力手段と、
アクションポイントが前記操作タイミングをもとに設定された判定領域にあるときに、楽器が操作されたか否かを楽器パートごとに判定し、判定領域内で操作されなかった場合あるいは操作された場合であってもその操作位置が正しい操作位置と比較して所定以上の差がある場合は失敗と判定する判定処理手段と、
当該判定結果を演奏結果データとして保存する手段と、
前記判定結果が失敗の場合は、前記保存されている演奏失敗時の処理内容に基づいて該当する楽器パートの音源データに処理を施したのちに、各楽器パートの音源データを合成して音響出力する音源情報処理手段と、
を備えたことを特徴とする音楽再生制御システム。
【請求項2】
前記楽器は、ギターその他の弦楽器演奏用のコントローラであって、
弦楽器のネック部分は帯状の抵抗体と導体とを所定の間隔をもって配置して形成され、かつ、前記ネック部分は、操作位置に対応して目盛り表示され、または、前記抵抗体と前記導体との間であって弦楽器のフレット位置に棒状の絶縁体が挿入されており、さらに、
前記抵抗体が導体に接触した位置の抵抗値互換データを計測する手段と、
前記抵抗値互換データから操作位置を抽出する手段と、
前記操作位置を出力する手段と、
を備えたことを特徴とする請求項1記載の音楽再生制御システム。
【請求項3】
前記音楽再生制御システムは通信ネットワークを介して複数繋がるネットワーク対応型の音楽再生制御システムであって、
前記演奏結果データは、前記アクションポイントごとに失敗か否かのフラグを有し、
各音楽再生制御システムは、
前記楽器パートの識別情報を他の音楽再生制御システムへ送信すると共に当該楽器パートの前記演奏結果データを随時他の音楽再生制御システムへ送信する手段と、
他の音楽再生制御システムから送られてくる楽器パートの識別情報と演奏結果データを受信する手段と、演奏結果データを受信したとき、演奏中のときは、当該受信した演奏結果データのアクションポイントが未到来場合は、そのアクションポイントの到来を待って前記受信した楽器パートの音響データに所定の処理を施して音響出力し、アクションポイントが既に到来している場合は直ちに所定の処理を施して音響出力し、
再生時には、アクションポイントごとに各楽器パートの演奏結果データをもとに所定の処理を施して音響出力することを特徴とする請求項1または2に記載の音楽再生制御システム。
【請求項4】
表示装置にメロディに対応する楽器の正しい操作位置と操作タイミングであるアクションポイントを表示する一方、楽器の操作位置をコンピュータに取り込んで、取り込んだ操作位置に基づいて音源データに所定の処理を施して音響出力するプログラムであって、
楽器の操作位置を入力する処理と、
曲の進行に伴ってアクションポイントの位置、および、前記入力した楽器の操作位置を表示する処理と、
アクションポイントが前記操作タイミングをもとに設定された判定領域にあるときに、楽器が操作されたか否かを判定し、判定領域内で操作されなかった場合あるいは操作された場合であってもその操作位置が正しい操作位置と比較して所定以上の差がある場合は失敗と判定する処理と、
当該判定結果が失敗の場合は、保存されている演奏失敗時の処理内容に基づいて音源データに処理を施して音響出力する処理と、
をコンピュータに実行させることを特徴とする音楽演奏プログラム。
【請求項5】
複数の音楽再生制御システムを通信ネットワークを介して接続し、夫々の音楽再生制御システムにおいて通信ネットワークを介して送られてくる他の音楽再生制御システムの演奏結果データと自己の音楽再生制御システムの演奏結果データとを同期させて出力する演奏データの同期再生方法であって、
前記演奏結果データは、楽器の正しい操作タイミングの識別情報とその操作タイミングにおける演奏結果が関連付けられており、
演奏モードのときは、受信した他の楽器パートの演奏結果データの操作タイミングにかかわらず受信後直ちにその判定結果に基づいて、音源データに当該判定結果に対応する処理を施して出力し、
再生モードのときは、音源データの演奏経過に伴って、前記演奏結果データを参照して他の楽器パートと自己の楽器パートの操作タイミングごとの判定結果を抽出し、当該判定結果に基づいて所定の演奏効果を施して出力することを特徴とする演奏データの同期再生方法。

【図2】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図1】
image rotate

【図3】
image rotate


【公開番号】特開2008−253440(P2008−253440A)
【公開日】平成20年10月23日(2008.10.23)
【国際特許分類】
【出願番号】特願2007−97289(P2007−97289)
【出願日】平成19年4月3日(2007.4.3)
【出願人】(505054221)株式会社ユードー (1)
【Fターム(参考)】