音楽ゲームシステム及びそのコンピュータプログラム並びに効果音データの生成方法
【課題】プレイヤによる入力された音声を判別し、判別結果に基づいて音階を形成可能な音楽ゲームシステムを提供する。
【解決手段】音声を入力する音声入力装置９と、ゲーム音を再生出力するスピーカ８と、音程の異なる複数の効果音のそれぞれをスピーカ８から出力させるための効果音データ２７及びプレイヤの操作と対応して出力すべき効果音との関係を記述するシーケンスデータ２９を記憶する外部記憶装置２０を備えた音楽ゲームシステムにおいて、音声入力装置９により入力された音声の音声データに基づいて、入力された音声を代表する音程を判別し、その音程判別結果に基づいて音声データと互いに音程の異なる複数の音データを音階が形成されるように生成し、これら複数の音データの集合を効果音データの少なくとも一部として効果音データ２７に記憶する。
【解決手段】音声を入力する音声入力装置９と、ゲーム音を再生出力するスピーカ８と、音程の異なる複数の効果音のそれぞれをスピーカ８から出力させるための効果音データ２７及びプレイヤの操作と対応して出力すべき効果音との関係を記述するシーケンスデータ２９を記憶する外部記憶装置２０を備えた音楽ゲームシステムにおいて、音声入力装置９により入力された音声の音声データに基づいて、入力された音声を代表する音程を判別し、その音程判別結果に基づいて音声データと互いに音程の異なる複数の音データを音階が形成されるように生成し、これら複数の音データの集合を効果音データの少なくとも一部として効果音データ２７に記憶する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プレイヤにより入力された音声がゲーム内容に反映される音楽ゲームシステム等に関する。
【背景技術】
【０００２】
プレイヤが入力した音声に基づいてゲーム内容が変化する音楽ゲーム機が周知である。例えば、入力した音声をキャラクタの動作に反映させるもの（特許文献１参照。）や、プレイヤの歌唱を入力して採点し、その優劣を競うもの（特許文献２参照。）が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１３６７６４号公報
【特許文献２】特開平１０−２６８８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のゲーム機では、いずれもプレイヤの音声を取り込んでゲーム内容を変更している。プレイヤの音声の音程を検知し、基準音程との比較結果に基づいてキャラクタの動作内容を変更するように処理がされる。しかしながら、プレイヤが入力した音声を素材としてゲーム内容に反映させ、この入力した音声でゲームを楽しむような構成はない。
【０００５】
そこで、本発明はプレイヤによる入力された音声を判別し、判別結果に基づいて音階を形成可能な音楽ゲームシステム及びそのコンピュータプログラム並びに効果音データの生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の音楽ゲームシステムは、音声を入力する音声入力装置（９）と、ゲーム音を再生出力する音声出力装置（８）と、音程の異なる複数の効果音のそれぞれを前記音声出力装置から出力させるための効果音データ（２７）を記憶する効果音データ記憶手段（２０）と、プレイヤの操作と対応して出力すべき効果音との関係を記述するシーケンスデータ（２９）を記憶するシーケンスデータ記憶手段（２０）と、前記音声入力装置により入力された音声の音声データに基づいて、前記入力された音声を代表する音程を判別する音程判別手段（１０）と、前記音程判別手段の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成手段（１０）と、前記音階生成手段が生成した前記複数の音データを前記効果音データの少なくとも一部として前記効果音データ記憶手段に記憶させる効果音データ記憶制御手段（１０）と、を備えるものである。
【０００７】
また、本発明の音楽ゲームシステム用のコンピュータプログラムは、音声を入力する音声入力装置（９）と、ゲーム音を再生出力する音声出力装置（８）と、音程の異なる複数の効果音のそれぞれを前記音声出力装置から出力させるための効果音データ（２７）を記憶する効果音データ記憶手段（２０）と、プレイヤの操作と対応して出力すべき効果音との関係を記述するシーケンスデータ（２９）を記憶するシーケンスデータ記憶手段（２０）と、を備えた音楽ゲームシステムに組み込まれるコンピュータ（１０）を、前記音声入力装置により入力された音声の音声データに基づいて、前記入力された音声を代表する音程を判別する音程判別手段（１０）、前記音程判別手段の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成手段（１０）、及び前記音階生成手段が生成した前記複数の音データを前記効果音データの少なくとも一部として前記効果音データ記憶手段に記憶させる効果音データ記憶制御手段（１０）、として機能させるように構成されたものである。
【０００８】
本発明においては、プレイヤが音声入力装置に入力した音声に基づき音程判別部で音声データが生成され、音声データの代表となる音程が判別される。そして、音声データの音程判別結果に基づいて音階生成部では、音程が判別された音声データを元にして音程の異なる複数の音データを生成する。この複数の音データが音階を形成している。複数の音データは、効果音データとして効果音データ記憶手段に記憶され、プレイヤの操作と対応して出力すべき効果音として複数の音データが利用される。従って、プレイヤが任意に入力した音声に基づいて音階が形成されるので、入力した音声によるメロディを奏でたり、入力した音声を素材としてゲーム内容に反映させ、プレイヤが入力した音声でゲームを楽しんだりすることができる。
【０００９】
本発明の音楽ゲームシステムの一形態において、前記音程判別手段は、前記音声入力装置により入力された音声の音声データから代表する周波数を特定することで前記音声の音程を判別してもよい。この形態によれば、例えば音声データの周波数スペクトルを参照して分布が最大となる周波数を代表値として特定することで、音声の音程が判別される。
【００１０】
本発明の音楽ゲームシステムの一形態において、前記音階生成手段は、少なくとも１オクターブ以上の音階を生成してもよい。この形態によれば、音階を生成することでメロディを奏でることができる。多くの音データを生成すれば音階の幅が広がり奏でることができるメロディも増え、ゲーム内容を高度化させることができる。
【００１１】
本発明の音楽ゲームシステムの一形態において、少なくとも一つの操作部を有する入力装置をさらに備え、前記シーケンスデータの記述に従った効果音が、前記入力装置によるプレイヤの操作に基づいて前記音声出力装置から再生されてもよい。この形態によれば、プレイヤは操作部を操作することにより、自ら入力した音声を利用して形成された音階で構成される効果音を再生することができる。従って、入力した音声を素材としてゲーム内容に反映させ、プレイヤが入力した音声でゲームを楽しんだりすることができる。
【００１２】
本発明の効果音データの生成方法は、音声入力装置（９）により入力された音声の音声データに基づいて前記入力された音声を代表する音程を判別する音程判別工程と、前記音程判別工程の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成工程と、前記音階生成工程にて生成した前記複数の音データを、音声出力装置（８）から出力させるための効果音データ（２７）として記憶手段に記憶させる工程と、を備えるものである。
【００１３】
本発明は、音楽ゲームシステム及びそのコンピュータプログラムにおける効果音データの生成方法であり、同様の作用効果を奏するものである。なお、本発明については、音楽ゲームシステムに限られず、電子楽器等の各種電子機器にも適用可能である。
【００１４】
なお、以上の説明では本発明の理解を容易にするために添付図面の参照符号を括弧書きにて付記したが、それにより本発明が図示の形態に限定されるものではない。
【発明の効果】
【００１５】
以上、説明したように、本発明の音楽ゲームシステム及びそのコンピュータプログラムにおいては、プレイヤが音声入力装置に入力した音声に基づき音程判別部で音声データが生成され、音声データの代表となる音程が判別される。そして、音声データの音程判別結果に基づいて音階生成部では、音程が判別された音声データを元にして音程の異なる複数の音データを生成する。この複数の音データが音階を形成している。複数の音データは、効果音データとして効果音データ記憶手段に記憶され、プレイヤの操作と対応して出力すべき効果音として複数の音データが利用される。従って、プレイヤが任意に入力した音声に基づいて音階が形成されるので、入力した音声によるメロディを奏でたり、入力した音声を素材としてゲーム内容に反映させ、プレイヤが入力した音声でゲームを楽しんだりすることができる。効果音データの生成方法においても同様の効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明の一形態に係るゲーム機の外観を示す図。
【図２】本発明の一形態に係るゲーム機の機能ブロック図。
【図３】ゲーム画面の一部として表示される操作指示画面の拡大図。
【図４】効果音データの内容の一例を示す図。
【図５】シーケンスデータの内容の一例を示す図。
【図６】ゲーム制御部が実行するシーケンス処理ルーチンを示すフローチャート。
【図７】ゲーム制御部が実行する音程判別処理ルーチンを示すフローチャート。
【図８】ゲーム制御部が実行する音階生成処理ルーチンを示すフローチャート。
【図９】音声データの一例を示すグラフ。
【図１０】図９の音声データの周波数スペクトルを示すグラフ。
【図１１】図９の音声データを周波数変換した音データを示すグラフ。
【発明を実施するための形態】
【００１７】
以下、本発明を携帯型のゲーム機に適用した一形態について説明する。図１に示すように、ゲーム機１は、プレイヤ（ユーザ）が手持ち可能な筐体２と、その筐体２の右側に配置された第１モニタ３と、筐体２の左側に配置された第２モニタ４と、第１モニタ３の上側に配置された複数の押釦スイッチ５と、第１モニタ３の下側に配置された十字キー６とを備えている。第１モニタ３の表面には、透明なタッチパネル７が重ね合わされている。タッチパネル７は、プレイヤがタッチペン等で触れると、その接触位置に応じた信号を出力する公知の入力装置である。その他にも、ゲーム機１には、電源スイッチ、ボリューム操作スイッチ、電源ランプといった、通常の携帯型ゲーム機が備えている各種の入力装置及び出力装置が設けられているが、図１ではそれらの図示を省略した。
【００１８】
図２に示すように、ゲーム機１の内部にはコンピュータとしての制御ユニット１０が設けられている。制御ユニット１０は、制御主体としてのゲーム制御部１１と、そのゲーム制御部１１からの出力に従って動作する一対の表示制御部１２、１３及び音声出力制御部１４とを備えている。ゲーム制御部１１は、マイクロプロセッサと、そのマイクロプロセッサの動作に必要な内部記憶装置（一例としてＲＯＭ及びＲＡＭ）等の各種の周辺装置とを組み合わせたユニットとして構成されている。表示制御部１２、１３は、ゲーム制御部１１から与えられる画像データに応じた画像をフレームバッファに描画し、その描画した画像に対応する映像信号をモニタ３、４にそれぞれ出力することにより、モニタ３、４上に所定の画像を表示させる。音声出力制御部１４は、ゲーム制御部１１から与えられた音声再生データに応じた音声再生信号を生成してスピーカ８に出力することにより、スピーカ８から所定の音声（楽音等を含む。）を再生させる。
【００１９】
ゲーム制御部１１には、入力装置として、上述した押釦スイッチ５、十字キー６及びタッチパネル７が接続されるとともに、これらに加えて、音声入力装置（マイク）９が接続されている。その他にも、各種の入力装置がゲーム制御部１１に接続されてよい。さらに、ゲーム制御部１１には、外部記憶装置２０が接続されている。外部記憶装置２０には、ＥＥＰＲＯＭ等の不揮発性半導体メモリ装置、あるいは磁気記憶装置といった、電源の供給がなくても記憶を保持可能な記憶媒体が使用される。外部記憶装置２０の記憶媒体は、ゲーム機１に対して着脱可能である。
【００２０】
外部記憶装置２０には、ゲームプログラム２１と、ゲームデータ２２とが記憶されている。ゲームプログラム２１は、ゲーム機１にて所定の手順に従って音楽ゲームを実行するために必要なコンピュータプログラムであり、そこには、本発明に係る機能を実現するためのシーケンス制御モジュール２３、音程判別モジュール２４及び音階生成モジュール２５が含まれている。ゲーム機１が起動されると、ゲーム制御部１１はその内部記憶装置に記憶されたオペレーションプログラムを実行することにより、ゲーム機１として動作するために必要な各種の初期設定を実行し、続いて、外部記憶装置２０からゲームプログラム２１を読み込んでこれを実行することにより、ゲームプログラム２１に従って音楽ゲームを実行するための環境を設定する。ゲームプログラム２１のシーケンス制御モジュール２３がゲーム制御部１１にて実行されることにより、ゲーム制御部１１にはシーケンス処理部１５が生成される。また、ゲームプログラム２１の音程判別モジュール２４がゲーム制御部１１にて実行されることにより、ゲーム制御部１１には音程判別部１６が生成され、同様に音階生成モジュール２５がゲーム制御部１１にて実行されると、ゲーム制御部１１には音階生成部１７が生成される。
【００２１】
シーケンス処理部１５、音程判別部１６及び音階生成部１７は、コンピュータハードウェアとコンピュータプログラムとの組合せによって実現される論理的装置である。シーケンス処理部１５は、プレイヤが選択した音楽（楽曲）の再生に合わせてプレイヤに操作を指示し、あるいはプレイヤの操作に応じて効果音を発生させるといった音楽ゲーム処理を実行する。音程判別部１６は、プレイヤが音声入力装置９に入力した任意の音声を取り込んで後述する所定の処理を行うことにより周波数の代表値を決定する。音階生成部１７は、音程判別部１６にて決定された代表値に基づいて、音程を変更した音データを複数生成する。これらの音データは、所定のオクターブ数の音階を形成し、効果音を構成する。ゲームプログラム２１には、上述したモジュール２３〜２５の他にも音楽ゲームを実行するために必要な各種のプログラムモジュールが含まれ、ゲーム制御部１１にはそれらのモジュールに対応した論理的装置が生成されるが、それらの図示は省略した。
【００２２】
ゲームデータ２２には、ゲームプログラム２１に従って音楽ゲームを実行する際に参照されるべき各種のデータが含まれている。例えば、ゲームデータ２２には、楽曲データ２６、効果音データ２７及び画像データ２８が含まれている。楽曲データ２６は、ゲームの対象となる楽曲をスピーカ８から再生出力させるために必要なデータである。図２では、一種類の楽曲データ２６が示されているが、実際には、プレイヤが複数の楽曲からプレイする楽曲を選択可能である。ゲームデータ２２には、それらの複数の楽曲データ２６がそれぞれの曲を識別するための情報を付して記録されている。効果音データ２７は、プレイヤの操作に応答してスピーカ８から出力させるべき複数種類の効果音を、効果音毎にユニークなコードと対応付けて記録したデータである。効果音は、楽器その他の様々な種類の音声を含む。テキストをスピーカ８から出力させるためのヴォーカル音も効果音の一種に含まれる。効果音データ２７は、各種類に対して、音程を変えて所定のオクターブ数だけ用意されている。画像データ２８は、ゲーム画面内の背景画像、各種のオブジェクト、アイコン等をモニタ３、４に表示させるためのデータである。
【００２３】
ゲームデータ２２には、さらにシーケンスデータ２９が含まれている。シーケンスデータ２９は、プレイヤに対して指示すべき操作等を定義したデータである。一曲の楽曲データ２６に対して、最低一個のシーケンスデータ２９が用意されている。
【００２４】
次に、ゲーム機１にて実行される音楽ゲームの概要を説明する。図１に示したように、ゲーム機１による音楽ゲームの実行中、第１モニタ３にはゲームの操作指示画面１００が表示され、第２モニタ４にはゲームの情報画面１１０が表示される。図３にも示したように、操作指示画面１００には、上下方向に延びる第１レーン１０１、第２レーン１０２及び第３レーン１０３が、区分線１０４にて区分されるといった手順により、視覚的に区分された状態が表示される。レーン１０１、１０２、１０３の下端部には、操作基準標識１０５がそれぞれ表示される。音楽ゲームの実行中、つまり、楽曲の再生の進行中において、レーン１０１、１０２、１０３には、操作指示標識としてのオブジェクト１０６がシーケンスデータ２７に従って表示される。
【００２５】
オブジェクト１０６は、曲中の適当な時期にレーン１０１、１０２、１０３の上端部に出現し、図３に矢印Ａで示したように楽曲の進行に従って下方にスクロールされる。プレイヤは、オブジェクト１０６の操作基準標識１０５への到達に合わせてそのオブジェクト１０６の表示されたレーン１０１、１０２又は１０３をタッチペン１２０等の操作部材でタッチ操作するように要求される。プレイヤがタッチ操作を行うと、オブジェクト１０６が操作基準標識１０５に一致した時刻と、プレイヤのタッチ操作の時刻との間のずれ時間が検出される。そのずれ時間が小さいほどプレイヤの操作が高く評価される。また、タッチ操作に応じて各オブジェクト１０６に対応した効果音がスピーカ８から再生される。図３の例では、第２レーン１０２にてオブジェクト１０６が操作基準標識１０５に到達する直前であり、その到達に合わせてプレイヤは第２レーン１０２をタッチ操作すればよい。タッチする位置は、第２レーン１０２内であればどこでも構わない。つまり、本形態では、第１モニタ３上に表示されるレーン１０１、１０２、１０３と、それらに重ね合わされるタッチパネル７との組合せによって、３つの操作部が形成される。なお、以下では、レーン１０１、１０２、１０３のそれぞれを、操作部を代表する用語として使用することがある。
【００２６】
タッチ操作に応じて再生される各オブジェクト１０６に対応した効果音は、効果音データ２７に記録された複数の効果音から選択される。図４に示すように、効果音データ２７は、予めゲームデータ２２に記録されたオリジナルデータ２７ａと、プレイヤが音声入力装置９にて入力した音声に基づいて得られるユーザデータ２７ｂとを含む。オリジナルデータ２７ａ及びユーザデータ２７ｂは、複数の効果音Ａ１、Ｂ１、・・・が記録され、効果音Ａ１を例に説明すると、効果音Ａ１には、音階を構成する各音とユニークなコードとを対応付けた音データｓｄ＿０００、ｓｄ＿００１、ｓｄ＿００２、・・・の集合が記録されている。他の効果音Ｂ１、Ｃ１、・・・も同様な音データを有する。ユーザデータ２７ｂは、効果音Ａ２、Ｂ２、・・・の有する音データの構成においてオリジナルデータ２７ａと同様であるが、プレイヤが音声入力装置９にて入力した音声に基づいて音データが生成されている点で予め記録されたオリジナルデータ２７ａとは異なる。
【００２７】
次に、シーケンスデータ２９の詳細を説明する。図５に示したように、シーケンスデータ２９は、初期設定部２９ａと、操作シーケンス部２９ｂとを含んでいる。初期設定部２９ａにはゲームをプレイするにあたっての初期設定となる音楽のテンポ（一例としてＢＰＭ）、レーン１０１〜１０３を操作したときにそれぞれ発生させるべき効果音を指定する情報といった、楽曲毎に異なるゲームの実行条件等を指定する情報が記述される。
【００２８】
一方、操作シーケンス部２９ｂには、操作指定情報２９ｃと、効果音切替指示情報２９ｄとが記述される。操作指定情報２９ｃは、レーン１０１〜１０３の操作時期が、それらのレーン１０１〜１０３のいずれかを指定する情報と対応付けて記述される。すなわち、図５にその一部を例示したように、操作指定情報２９ｃは、楽曲中において操作が行われるべき時期（操作時期）と操作部（レーン）を指定する情報とを対応付けた複数のレコードの集合として構成されている。操作時期は、楽曲中の小節番号、拍数及び拍中の時刻を示す値をそれぞれカンマで区切って記述されている。拍中の時刻は、一拍の先頭からの経過時間であり、一拍の時間長をｎ個の単位時間に等分したときのその拍の先頭からの単位数で表現される。例えば、ｎ＝１００で、楽曲の一小節目の二拍目で、かつその拍の先頭から１／４だけ経過した時刻を操作時期として指定する場合には、“０１，２，０２５”と記述される。操作部は、第１レーン１０１を指定する場合に“ｂｕｔｔｏｎ１”、第２レーン１０２を指定する場合に“ｂｕｔｔｏｎ２”、第３レーン１０３を指定する場合に“ｂｕｔｔｏｎ３”とそれぞれ記述される。図５の例では、一小節目の一拍目の開始時点（０００）で第１レーン１０１をタッチし、一小節目の二拍目の開始時点（０００）で第２レーン１０２をタッチし、一小節目の二拍目の開始時点から“０２５”相当だけ経過した時期に第３レーン１０３をタッチするといった具合に操作時期及び操作部が指定されている。
【００２９】
操作指定情報２９ｃの途中の適宜の位置には、効果音切替指示情報２９ｄが挿入される。効果音切替指示情報２９ｄは、効果音が変更されるべき楽曲上の時刻と、レーン１０１〜１０３を操作したときにそれぞれ発生させるべき効果音の音データとが対応付けて記述され、以降の操作指定情報２９ｃにおいて指定されたレーンにタッチしたときに発生する効果音を変更する。楽曲上の時刻は、操作指定情報２９ｃにおける操作時期と同一の形式で記述されている。効果音切替指示情報２９ｄは、効果音データ２７に記録されたオリジナルデータ２７ａ及びユーザデータ２７ｂの音データのいずれかをそれぞれのレーンに対して指定する。効果音切替指示情報２９ｄは効果音が切り替えられるべき楽曲上の時刻に挿入され、次の効果音切替指示情報２９ｄによる指示があるまでは、その効果音の設定が維持される。
【００３０】
ゲーム制御部１１のシーケンス処理部１５は、上述した操作指定情報２９ｃにて指定された操作時期にオブジェクト１０６が操作基準標識１０５と一致するようにレーン１０１〜１０３のそれぞれの表示を制御する。また、シーケンス処理部１５は、効果音切替指示情報２９ｄにて指定された楽曲上の時刻に、指定されたレーン１０１〜１０３にプレイヤがタッチしたときに発生する効果音を切り替えるように制御する。
【００３１】
次に、ゲーム機１にて音楽ゲームが実行される際のゲーム制御部１１の処理を説明する。ゲーム制御部１１は、ゲームプログラム２１を読み込んで音楽ゲームを実行するために必要な初期設定を終えると、プレイヤからのゲーム開始の指示に備えて待機する。ゲーム開始の指示は、例えばゲームでプレイする楽曲、あるいは難易度の選択といったゲームで使用するデータを特定する操作を含む。それらの指示を受け付ける手順は、公知の音楽ゲーム等と同様でよい。
【００３２】
ゲーム開始が指示されると、ゲーム制御部１１は、プレイヤが選択した曲に対応する楽曲データ２６を読み取って音声出力制御部１４に出力することにより、スピーカ８から楽曲の再生を開始させる。これにより、制御ユニット１０が楽曲再生手段として機能する。また、ゲーム制御部１１は、楽曲の再生に同期して、プレイヤの選択に対応したシーケンスデータ２９を読み取って、画像データ２８を参照しつつ操作指示画面１００及び情報画面１１０の描画に必要な画像データを生成して表示制御部１２、１３に出力することにより、モニタ３、４上に操作指示画面１００及び情報が面１１０を表示させる。さらに、音楽ゲームの実行中において、ゲーム制御部１１は、操作指示画面１００の表示等に必要な処理として図６に示すシーケンス処理ルーチンを所定の周期で繰り返し実行する。
【００３３】
図６のシーケンス処理ルーチンが開始されると、ゲーム制御部１１のシーケンス処理部１５は、まずステップＳ１にて楽曲上の現在時刻を取得する。例えば、楽曲の再生開始時点を基準として、ゲーム制御部１１の内部クロックにて計時が開始され、その内部クロックの値から現在時刻が取得される。続くステップＳ２において、シーケンス処理部１５は、シーケンスデータ２８から、操作指示画面１００の表示範囲に相当する時間長に存在する操作時期のデータを取得する。表示範囲は、一例として現在時刻から将来に向かって楽曲の２小節相当の時間範囲に設定される。
【００３４】
次のステップＳ３にて、シーケンス処理部１５はレーン１０１〜１０３に表示すべき全てのオブジェクト１０６の操作指示画面１００内における座標を演算する。その演算は、一例として以下のように行われる。表示範囲に含まれている操作時期に対応付けられたレーン１０１〜１０３の指定、すなわち、図５の例において“ｂｕｔｔｏｎ１”〜“ｂｕｔｔｏｎ３”のいずれかの指定に基づいてオブジェクト１０６をレーン１０１〜１０３のいずれに配置すべきかを判別する。また、各操作時期と現在時刻との時間差に応じて、操作基準標識１０５からの時間軸方向（つまり、オブジェクト１０６の移動方向）における各オブジェクト１０６の位置を判別する。これにより、各オブジェクト１０６を、指定されたレーン１０１〜１０３内にて操作基準標識１０５から時間軸に沿って配置するために必要な各オブジェクト１０６の座標を取得することができる。
【００３５】
オブジェクト１０６の座標演算が完了すると、シーケンス処理部１５はステップＳ４に進み、シーケンスデータ２９から取得したデータ内に効果音切替指示情報２９ｄの有無を判別する。効果音切替指示情報２９ｄがある場合には、シーケンス処理部１５はステップＳ５にて現在時刻を取得して効果音切替指示情報２９ｄが指定する楽曲上の時刻と比較し、現在時刻が効果音の切替指示のタイミングに該当するか否かを判別する。切替指示のタイミングに該当する場合、シーケンス制御部１５はステップＳ６にて、以降の操作指定情報２９ｃで指定されたレーン１０１〜１０３のそれぞれで発生させる効果音を、効果音切替指示情報２９ｄで指定された効果音に変更する。例えば、図５に示した例で説明すると、楽曲の一小節目の三拍目の開始時点以降、効果音データ２７のユーザデータ２７ｂの効果音Ａ２の音データｓｄ＿１０１、ｓｄ＿１０５、ｓｄ＿１０６がそれぞれレーン１０１、１０２、１０３に割り当てられ、プレイヤがレーン１０１〜１０３にタッチするとそれぞれの音データが再生される。なお、ステップＳ４にて効果音切替指示情報２９ｄがない場合、又はステップＳ５で効果音の切替指示情報２９ｄがない場合は、シーケンス処理部１５は、ステップＳ７に進む。
【００３６】
効果音の切替が完了すると、シーケンス処理部１５は、次のステップＳ７に進み、ステップＳ３で演算されたオブジェクト１０６の座標に基づいて操作指示画面１００を描画するために必要な画像データを生成する。具体的には、演算された座標にオブジェクト１０６が配置されるように画像データを生成する。オブジェクト１０６の画像は、画像データ２８から取得すればよい。
【００３７】
続くステップＳ８にて、シーケンス処理部１５は表示制御部１２に画像データを出力する。それにより、第１モニタ３に操作指示画面１００が表示される。ステップＳ８の処理を終えると、シーケンス処理部１５は今回のシーケンス処理ルーチンを終了する。以上の処理が繰り返し実行されることにより、シーケンスデータ２９にて記述された操作時期にオブジェクト１０６が操作基準標識１０５へ到達するようにレーン１０１〜１０３内にてオブジェクト１０６がスクロール表示される。
【００３８】
次に、ゲーム機１にてプレイヤにより入力された音声に基づき効果音を作成する際の音程判別部１６及び音階生成部１７の処理を説明する。効果音の作成は、例えば、音楽ゲームが実行されていない待機中にプレイヤにより開始が指示されることで行われる。効果音の作成が開始されると、まず音程判別部１６が図７に示す音程判別処理ルーチンを実行し、音程判別処理ルーチンの結果に基づいて音階生成部１７が図８に示す音階生成処理ルーチンを実行する。
【００３９】
図７の音程判別処理ルーチンが開始されると、ゲーム制御部１１の音程判別部１６は、ステップＳ１１で、プレイヤが入力した音声を取得する。音声入力装置９が音声を取込み可能となっている状態でプレイヤが音声を入力すると、生音声データが生成される。続くステップＳ１２にて音程判別部１６は、生音声データをＡ／Ｄ変換する。これにより、生音声データのアナログ信号がデジタル信号に変換され、入力された音声の音声データが生成される。図９に音声データの一例を示す。図９の音声データは、ギターの音のデジタル波形で、横軸がダイナミックレンジ、縦軸がデュレーションをそれぞれ示している。なお、Ａ／Ｄ変換には、周知技術を利用してよい。
【００４０】
そして、音程判別部１６は、ステップＳ１３にて音声データの周波数スペクトルを得る。ステップＳ１２で得られた音声データから、高速フーリエ変換することにより生成された周波数スペクトルを図１０に示す。横軸が周波数、縦軸が周波数の分布度合をそれぞれ示している。なお、周波数スペクトルの生成は、高速フーリエ変換による演算に限られず各種周知技術を利用してよい。続くステップＳ１４にて、音程判別部１６はステップＳ１３で得られた周波数スペクトルから代表値を決定する。代表値は、周波数スペクトルの分布数の最大値とする。図１０のグラフで説明すると、矢印ｐで示したピークの周波数が代表値となる。このようにして決定した代表値の周波数により、プレイヤが入力した音声に基づく音声データの音程が判別される。また、このような最大ピークを有する山の両端で占める帯域ｑのデータから代表値を算出してもよい。ピークの周波数に幅がある等ピークが不明瞭な場合にもこのような方法で一定の帯域から代表値を算出することができる。ステップＳ１４の処理を終えると、音程判別部１６は今回の音程判別処理ルーチンを終了する。以上の処理により、プレイヤの入力した音声による音声データは、代表値が決定され、固有の音程が判別される。
【００４１】
音程判別処理ルーチンで代表値が得られると、音階生成部１７は図８の音階生成処理ルーチンを実行する。音階生成部１７は、ステップＳ２１にて代表値が決定した音声データから音階を形成する複数の音データを生成する。音階生成部１７は、その代表値に基づき音声データを周波数変換し、各音データの代表値が所定のオクターブ数の音階を形成する各音の周波数となるようにする。図１１に周波数変換した音データの一例を示す。図１１の波形は、図９の音声データを１オクターブ上方に周波数変換したものである。そして、ステップＳ２２で音階生成部１７は、生成した音データの集合を効果音データ２７に格納する。これらの音データは、効果音データ２７内のユーザデータ２７ｂに格納される。ステップＳ２２の処理を終えると、音階生成部１７は今回の音階生成処理ルーチンを終了する。以上の処理により、代表値が決定された音声データを元にして代表値の周波数が互いに異なる音データを複数生成し、音階が形成される。音階を形成する音データの集合は、効果音として効果音データ２７のユーザデータ２７ｂ内に格納される。
【００４２】
以上の形態においては、ゲーム機１の外部記憶装置２０が効果音データ記憶手段、シーケンスデータ記憶手段として機能する。また、制御ユニット１０が、音程判別部１６に図７のステップＳ１１〜Ｓ１４の処理を実行させることにより音程判別手段として機能し、音階生成部１７に図８のステップＳ２１を実行させることにより音階生成手段として機能し、音階生成部１７に図８のステップＳ２２を実行させることにより効果音データ記憶制御手段として機能する。
【００４３】
本発明は、上述した形態に限定されることなく、種々の形態にて実施することができる。例えば、本形態では、音程判別手段、音階生成手段及び効果音データ記憶制御手段を機能させる装置として音楽ゲーム機１を例に説明したが、これに限られない。例えば、電子楽器等の各種電子機器に適用してもよい。電子楽器に本発明を適用した場合、プレイヤの入力した任意の音声にてメロディを奏でることができる。
【００４４】
本発明の音楽ゲームシステムは、携帯型のゲーム機にて実現されるものに限られず、家庭用の据置型ゲーム機、商業施設に設置される業務用ゲーム機、ネットワークを利用して実現されるゲームシステムといった適宜の形態で実現されてもよい。入力装置としては、タッチパネルを利用した例に限らず、押釦、レバー、トラックボールといった各種の構成の入力装置を利用することができる。
【符号の説明】
【００４５】
１ 音楽ゲーム機
８ スピーカ（音声出力装置）
９ 音声入力装置
１０ 制御ユニット（コンピュータ）
１６ 音程判別部
１７ 音階生成部
２０ 外部記憶装置（効果音データ記憶手段、シーケンスデータ記憶手段）
２７ 効果音データ
２９ シーケンスデータ
【技術分野】
【０００１】
本発明は、プレイヤにより入力された音声がゲーム内容に反映される音楽ゲームシステム等に関する。
【背景技術】
【０００２】
プレイヤが入力した音声に基づいてゲーム内容が変化する音楽ゲーム機が周知である。例えば、入力した音声をキャラクタの動作に反映させるもの（特許文献１参照。）や、プレイヤの歌唱を入力して採点し、その優劣を競うもの（特許文献２参照。）が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１３６７６４号公報
【特許文献２】特開平１０−２６８８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のゲーム機では、いずれもプレイヤの音声を取り込んでゲーム内容を変更している。プレイヤの音声の音程を検知し、基準音程との比較結果に基づいてキャラクタの動作内容を変更するように処理がされる。しかしながら、プレイヤが入力した音声を素材としてゲーム内容に反映させ、この入力した音声でゲームを楽しむような構成はない。
【０００５】
そこで、本発明はプレイヤによる入力された音声を判別し、判別結果に基づいて音階を形成可能な音楽ゲームシステム及びそのコンピュータプログラム並びに効果音データの生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の音楽ゲームシステムは、音声を入力する音声入力装置（９）と、ゲーム音を再生出力する音声出力装置（８）と、音程の異なる複数の効果音のそれぞれを前記音声出力装置から出力させるための効果音データ（２７）を記憶する効果音データ記憶手段（２０）と、プレイヤの操作と対応して出力すべき効果音との関係を記述するシーケンスデータ（２９）を記憶するシーケンスデータ記憶手段（２０）と、前記音声入力装置により入力された音声の音声データに基づいて、前記入力された音声を代表する音程を判別する音程判別手段（１０）と、前記音程判別手段の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成手段（１０）と、前記音階生成手段が生成した前記複数の音データを前記効果音データの少なくとも一部として前記効果音データ記憶手段に記憶させる効果音データ記憶制御手段（１０）と、を備えるものである。
【０００７】
また、本発明の音楽ゲームシステム用のコンピュータプログラムは、音声を入力する音声入力装置（９）と、ゲーム音を再生出力する音声出力装置（８）と、音程の異なる複数の効果音のそれぞれを前記音声出力装置から出力させるための効果音データ（２７）を記憶する効果音データ記憶手段（２０）と、プレイヤの操作と対応して出力すべき効果音との関係を記述するシーケンスデータ（２９）を記憶するシーケンスデータ記憶手段（２０）と、を備えた音楽ゲームシステムに組み込まれるコンピュータ（１０）を、前記音声入力装置により入力された音声の音声データに基づいて、前記入力された音声を代表する音程を判別する音程判別手段（１０）、前記音程判別手段の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成手段（１０）、及び前記音階生成手段が生成した前記複数の音データを前記効果音データの少なくとも一部として前記効果音データ記憶手段に記憶させる効果音データ記憶制御手段（１０）、として機能させるように構成されたものである。
【０００８】
本発明においては、プレイヤが音声入力装置に入力した音声に基づき音程判別部で音声データが生成され、音声データの代表となる音程が判別される。そして、音声データの音程判別結果に基づいて音階生成部では、音程が判別された音声データを元にして音程の異なる複数の音データを生成する。この複数の音データが音階を形成している。複数の音データは、効果音データとして効果音データ記憶手段に記憶され、プレイヤの操作と対応して出力すべき効果音として複数の音データが利用される。従って、プレイヤが任意に入力した音声に基づいて音階が形成されるので、入力した音声によるメロディを奏でたり、入力した音声を素材としてゲーム内容に反映させ、プレイヤが入力した音声でゲームを楽しんだりすることができる。
【０００９】
本発明の音楽ゲームシステムの一形態において、前記音程判別手段は、前記音声入力装置により入力された音声の音声データから代表する周波数を特定することで前記音声の音程を判別してもよい。この形態によれば、例えば音声データの周波数スペクトルを参照して分布が最大となる周波数を代表値として特定することで、音声の音程が判別される。
【００１０】
本発明の音楽ゲームシステムの一形態において、前記音階生成手段は、少なくとも１オクターブ以上の音階を生成してもよい。この形態によれば、音階を生成することでメロディを奏でることができる。多くの音データを生成すれば音階の幅が広がり奏でることができるメロディも増え、ゲーム内容を高度化させることができる。
【００１１】
本発明の音楽ゲームシステムの一形態において、少なくとも一つの操作部を有する入力装置をさらに備え、前記シーケンスデータの記述に従った効果音が、前記入力装置によるプレイヤの操作に基づいて前記音声出力装置から再生されてもよい。この形態によれば、プレイヤは操作部を操作することにより、自ら入力した音声を利用して形成された音階で構成される効果音を再生することができる。従って、入力した音声を素材としてゲーム内容に反映させ、プレイヤが入力した音声でゲームを楽しんだりすることができる。
【００１２】
本発明の効果音データの生成方法は、音声入力装置（９）により入力された音声の音声データに基づいて前記入力された音声を代表する音程を判別する音程判別工程と、前記音程判別工程の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成工程と、前記音階生成工程にて生成した前記複数の音データを、音声出力装置（８）から出力させるための効果音データ（２７）として記憶手段に記憶させる工程と、を備えるものである。
【００１３】
本発明は、音楽ゲームシステム及びそのコンピュータプログラムにおける効果音データの生成方法であり、同様の作用効果を奏するものである。なお、本発明については、音楽ゲームシステムに限られず、電子楽器等の各種電子機器にも適用可能である。
【００１４】
なお、以上の説明では本発明の理解を容易にするために添付図面の参照符号を括弧書きにて付記したが、それにより本発明が図示の形態に限定されるものではない。
【発明の効果】
【００１５】
以上、説明したように、本発明の音楽ゲームシステム及びそのコンピュータプログラムにおいては、プレイヤが音声入力装置に入力した音声に基づき音程判別部で音声データが生成され、音声データの代表となる音程が判別される。そして、音声データの音程判別結果に基づいて音階生成部では、音程が判別された音声データを元にして音程の異なる複数の音データを生成する。この複数の音データが音階を形成している。複数の音データは、効果音データとして効果音データ記憶手段に記憶され、プレイヤの操作と対応して出力すべき効果音として複数の音データが利用される。従って、プレイヤが任意に入力した音声に基づいて音階が形成されるので、入力した音声によるメロディを奏でたり、入力した音声を素材としてゲーム内容に反映させ、プレイヤが入力した音声でゲームを楽しんだりすることができる。効果音データの生成方法においても同様の効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明の一形態に係るゲーム機の外観を示す図。
【図２】本発明の一形態に係るゲーム機の機能ブロック図。
【図３】ゲーム画面の一部として表示される操作指示画面の拡大図。
【図４】効果音データの内容の一例を示す図。
【図５】シーケンスデータの内容の一例を示す図。
【図６】ゲーム制御部が実行するシーケンス処理ルーチンを示すフローチャート。
【図７】ゲーム制御部が実行する音程判別処理ルーチンを示すフローチャート。
【図８】ゲーム制御部が実行する音階生成処理ルーチンを示すフローチャート。
【図９】音声データの一例を示すグラフ。
【図１０】図９の音声データの周波数スペクトルを示すグラフ。
【図１１】図９の音声データを周波数変換した音データを示すグラフ。
【発明を実施するための形態】
【００１７】
以下、本発明を携帯型のゲーム機に適用した一形態について説明する。図１に示すように、ゲーム機１は、プレイヤ（ユーザ）が手持ち可能な筐体２と、その筐体２の右側に配置された第１モニタ３と、筐体２の左側に配置された第２モニタ４と、第１モニタ３の上側に配置された複数の押釦スイッチ５と、第１モニタ３の下側に配置された十字キー６とを備えている。第１モニタ３の表面には、透明なタッチパネル７が重ね合わされている。タッチパネル７は、プレイヤがタッチペン等で触れると、その接触位置に応じた信号を出力する公知の入力装置である。その他にも、ゲーム機１には、電源スイッチ、ボリューム操作スイッチ、電源ランプといった、通常の携帯型ゲーム機が備えている各種の入力装置及び出力装置が設けられているが、図１ではそれらの図示を省略した。
【００１８】
図２に示すように、ゲーム機１の内部にはコンピュータとしての制御ユニット１０が設けられている。制御ユニット１０は、制御主体としてのゲーム制御部１１と、そのゲーム制御部１１からの出力に従って動作する一対の表示制御部１２、１３及び音声出力制御部１４とを備えている。ゲーム制御部１１は、マイクロプロセッサと、そのマイクロプロセッサの動作に必要な内部記憶装置（一例としてＲＯＭ及びＲＡＭ）等の各種の周辺装置とを組み合わせたユニットとして構成されている。表示制御部１２、１３は、ゲーム制御部１１から与えられる画像データに応じた画像をフレームバッファに描画し、その描画した画像に対応する映像信号をモニタ３、４にそれぞれ出力することにより、モニタ３、４上に所定の画像を表示させる。音声出力制御部１４は、ゲーム制御部１１から与えられた音声再生データに応じた音声再生信号を生成してスピーカ８に出力することにより、スピーカ８から所定の音声（楽音等を含む。）を再生させる。
【００１９】
ゲーム制御部１１には、入力装置として、上述した押釦スイッチ５、十字キー６及びタッチパネル７が接続されるとともに、これらに加えて、音声入力装置（マイク）９が接続されている。その他にも、各種の入力装置がゲーム制御部１１に接続されてよい。さらに、ゲーム制御部１１には、外部記憶装置２０が接続されている。外部記憶装置２０には、ＥＥＰＲＯＭ等の不揮発性半導体メモリ装置、あるいは磁気記憶装置といった、電源の供給がなくても記憶を保持可能な記憶媒体が使用される。外部記憶装置２０の記憶媒体は、ゲーム機１に対して着脱可能である。
【００２０】
外部記憶装置２０には、ゲームプログラム２１と、ゲームデータ２２とが記憶されている。ゲームプログラム２１は、ゲーム機１にて所定の手順に従って音楽ゲームを実行するために必要なコンピュータプログラムであり、そこには、本発明に係る機能を実現するためのシーケンス制御モジュール２３、音程判別モジュール２４及び音階生成モジュール２５が含まれている。ゲーム機１が起動されると、ゲーム制御部１１はその内部記憶装置に記憶されたオペレーションプログラムを実行することにより、ゲーム機１として動作するために必要な各種の初期設定を実行し、続いて、外部記憶装置２０からゲームプログラム２１を読み込んでこれを実行することにより、ゲームプログラム２１に従って音楽ゲームを実行するための環境を設定する。ゲームプログラム２１のシーケンス制御モジュール２３がゲーム制御部１１にて実行されることにより、ゲーム制御部１１にはシーケンス処理部１５が生成される。また、ゲームプログラム２１の音程判別モジュール２４がゲーム制御部１１にて実行されることにより、ゲーム制御部１１には音程判別部１６が生成され、同様に音階生成モジュール２５がゲーム制御部１１にて実行されると、ゲーム制御部１１には音階生成部１７が生成される。
【００２１】
シーケンス処理部１５、音程判別部１６及び音階生成部１７は、コンピュータハードウェアとコンピュータプログラムとの組合せによって実現される論理的装置である。シーケンス処理部１５は、プレイヤが選択した音楽（楽曲）の再生に合わせてプレイヤに操作を指示し、あるいはプレイヤの操作に応じて効果音を発生させるといった音楽ゲーム処理を実行する。音程判別部１６は、プレイヤが音声入力装置９に入力した任意の音声を取り込んで後述する所定の処理を行うことにより周波数の代表値を決定する。音階生成部１７は、音程判別部１６にて決定された代表値に基づいて、音程を変更した音データを複数生成する。これらの音データは、所定のオクターブ数の音階を形成し、効果音を構成する。ゲームプログラム２１には、上述したモジュール２３〜２５の他にも音楽ゲームを実行するために必要な各種のプログラムモジュールが含まれ、ゲーム制御部１１にはそれらのモジュールに対応した論理的装置が生成されるが、それらの図示は省略した。
【００２２】
ゲームデータ２２には、ゲームプログラム２１に従って音楽ゲームを実行する際に参照されるべき各種のデータが含まれている。例えば、ゲームデータ２２には、楽曲データ２６、効果音データ２７及び画像データ２８が含まれている。楽曲データ２６は、ゲームの対象となる楽曲をスピーカ８から再生出力させるために必要なデータである。図２では、一種類の楽曲データ２６が示されているが、実際には、プレイヤが複数の楽曲からプレイする楽曲を選択可能である。ゲームデータ２２には、それらの複数の楽曲データ２６がそれぞれの曲を識別するための情報を付して記録されている。効果音データ２７は、プレイヤの操作に応答してスピーカ８から出力させるべき複数種類の効果音を、効果音毎にユニークなコードと対応付けて記録したデータである。効果音は、楽器その他の様々な種類の音声を含む。テキストをスピーカ８から出力させるためのヴォーカル音も効果音の一種に含まれる。効果音データ２７は、各種類に対して、音程を変えて所定のオクターブ数だけ用意されている。画像データ２８は、ゲーム画面内の背景画像、各種のオブジェクト、アイコン等をモニタ３、４に表示させるためのデータである。
【００２３】
ゲームデータ２２には、さらにシーケンスデータ２９が含まれている。シーケンスデータ２９は、プレイヤに対して指示すべき操作等を定義したデータである。一曲の楽曲データ２６に対して、最低一個のシーケンスデータ２９が用意されている。
【００２４】
次に、ゲーム機１にて実行される音楽ゲームの概要を説明する。図１に示したように、ゲーム機１による音楽ゲームの実行中、第１モニタ３にはゲームの操作指示画面１００が表示され、第２モニタ４にはゲームの情報画面１１０が表示される。図３にも示したように、操作指示画面１００には、上下方向に延びる第１レーン１０１、第２レーン１０２及び第３レーン１０３が、区分線１０４にて区分されるといった手順により、視覚的に区分された状態が表示される。レーン１０１、１０２、１０３の下端部には、操作基準標識１０５がそれぞれ表示される。音楽ゲームの実行中、つまり、楽曲の再生の進行中において、レーン１０１、１０２、１０３には、操作指示標識としてのオブジェクト１０６がシーケンスデータ２７に従って表示される。
【００２５】
オブジェクト１０６は、曲中の適当な時期にレーン１０１、１０２、１０３の上端部に出現し、図３に矢印Ａで示したように楽曲の進行に従って下方にスクロールされる。プレイヤは、オブジェクト１０６の操作基準標識１０５への到達に合わせてそのオブジェクト１０６の表示されたレーン１０１、１０２又は１０３をタッチペン１２０等の操作部材でタッチ操作するように要求される。プレイヤがタッチ操作を行うと、オブジェクト１０６が操作基準標識１０５に一致した時刻と、プレイヤのタッチ操作の時刻との間のずれ時間が検出される。そのずれ時間が小さいほどプレイヤの操作が高く評価される。また、タッチ操作に応じて各オブジェクト１０６に対応した効果音がスピーカ８から再生される。図３の例では、第２レーン１０２にてオブジェクト１０６が操作基準標識１０５に到達する直前であり、その到達に合わせてプレイヤは第２レーン１０２をタッチ操作すればよい。タッチする位置は、第２レーン１０２内であればどこでも構わない。つまり、本形態では、第１モニタ３上に表示されるレーン１０１、１０２、１０３と、それらに重ね合わされるタッチパネル７との組合せによって、３つの操作部が形成される。なお、以下では、レーン１０１、１０２、１０３のそれぞれを、操作部を代表する用語として使用することがある。
【００２６】
タッチ操作に応じて再生される各オブジェクト１０６に対応した効果音は、効果音データ２７に記録された複数の効果音から選択される。図４に示すように、効果音データ２７は、予めゲームデータ２２に記録されたオリジナルデータ２７ａと、プレイヤが音声入力装置９にて入力した音声に基づいて得られるユーザデータ２７ｂとを含む。オリジナルデータ２７ａ及びユーザデータ２７ｂは、複数の効果音Ａ１、Ｂ１、・・・が記録され、効果音Ａ１を例に説明すると、効果音Ａ１には、音階を構成する各音とユニークなコードとを対応付けた音データｓｄ＿０００、ｓｄ＿００１、ｓｄ＿００２、・・・の集合が記録されている。他の効果音Ｂ１、Ｃ１、・・・も同様な音データを有する。ユーザデータ２７ｂは、効果音Ａ２、Ｂ２、・・・の有する音データの構成においてオリジナルデータ２７ａと同様であるが、プレイヤが音声入力装置９にて入力した音声に基づいて音データが生成されている点で予め記録されたオリジナルデータ２７ａとは異なる。
【００２７】
次に、シーケンスデータ２９の詳細を説明する。図５に示したように、シーケンスデータ２９は、初期設定部２９ａと、操作シーケンス部２９ｂとを含んでいる。初期設定部２９ａにはゲームをプレイするにあたっての初期設定となる音楽のテンポ（一例としてＢＰＭ）、レーン１０１〜１０３を操作したときにそれぞれ発生させるべき効果音を指定する情報といった、楽曲毎に異なるゲームの実行条件等を指定する情報が記述される。
【００２８】
一方、操作シーケンス部２９ｂには、操作指定情報２９ｃと、効果音切替指示情報２９ｄとが記述される。操作指定情報２９ｃは、レーン１０１〜１０３の操作時期が、それらのレーン１０１〜１０３のいずれかを指定する情報と対応付けて記述される。すなわち、図５にその一部を例示したように、操作指定情報２９ｃは、楽曲中において操作が行われるべき時期（操作時期）と操作部（レーン）を指定する情報とを対応付けた複数のレコードの集合として構成されている。操作時期は、楽曲中の小節番号、拍数及び拍中の時刻を示す値をそれぞれカンマで区切って記述されている。拍中の時刻は、一拍の先頭からの経過時間であり、一拍の時間長をｎ個の単位時間に等分したときのその拍の先頭からの単位数で表現される。例えば、ｎ＝１００で、楽曲の一小節目の二拍目で、かつその拍の先頭から１／４だけ経過した時刻を操作時期として指定する場合には、“０１，２，０２５”と記述される。操作部は、第１レーン１０１を指定する場合に“ｂｕｔｔｏｎ１”、第２レーン１０２を指定する場合に“ｂｕｔｔｏｎ２”、第３レーン１０３を指定する場合に“ｂｕｔｔｏｎ３”とそれぞれ記述される。図５の例では、一小節目の一拍目の開始時点（０００）で第１レーン１０１をタッチし、一小節目の二拍目の開始時点（０００）で第２レーン１０２をタッチし、一小節目の二拍目の開始時点から“０２５”相当だけ経過した時期に第３レーン１０３をタッチするといった具合に操作時期及び操作部が指定されている。
【００２９】
操作指定情報２９ｃの途中の適宜の位置には、効果音切替指示情報２９ｄが挿入される。効果音切替指示情報２９ｄは、効果音が変更されるべき楽曲上の時刻と、レーン１０１〜１０３を操作したときにそれぞれ発生させるべき効果音の音データとが対応付けて記述され、以降の操作指定情報２９ｃにおいて指定されたレーンにタッチしたときに発生する効果音を変更する。楽曲上の時刻は、操作指定情報２９ｃにおける操作時期と同一の形式で記述されている。効果音切替指示情報２９ｄは、効果音データ２７に記録されたオリジナルデータ２７ａ及びユーザデータ２７ｂの音データのいずれかをそれぞれのレーンに対して指定する。効果音切替指示情報２９ｄは効果音が切り替えられるべき楽曲上の時刻に挿入され、次の効果音切替指示情報２９ｄによる指示があるまでは、その効果音の設定が維持される。
【００３０】
ゲーム制御部１１のシーケンス処理部１５は、上述した操作指定情報２９ｃにて指定された操作時期にオブジェクト１０６が操作基準標識１０５と一致するようにレーン１０１〜１０３のそれぞれの表示を制御する。また、シーケンス処理部１５は、効果音切替指示情報２９ｄにて指定された楽曲上の時刻に、指定されたレーン１０１〜１０３にプレイヤがタッチしたときに発生する効果音を切り替えるように制御する。
【００３１】
次に、ゲーム機１にて音楽ゲームが実行される際のゲーム制御部１１の処理を説明する。ゲーム制御部１１は、ゲームプログラム２１を読み込んで音楽ゲームを実行するために必要な初期設定を終えると、プレイヤからのゲーム開始の指示に備えて待機する。ゲーム開始の指示は、例えばゲームでプレイする楽曲、あるいは難易度の選択といったゲームで使用するデータを特定する操作を含む。それらの指示を受け付ける手順は、公知の音楽ゲーム等と同様でよい。
【００３２】
ゲーム開始が指示されると、ゲーム制御部１１は、プレイヤが選択した曲に対応する楽曲データ２６を読み取って音声出力制御部１４に出力することにより、スピーカ８から楽曲の再生を開始させる。これにより、制御ユニット１０が楽曲再生手段として機能する。また、ゲーム制御部１１は、楽曲の再生に同期して、プレイヤの選択に対応したシーケンスデータ２９を読み取って、画像データ２８を参照しつつ操作指示画面１００及び情報画面１１０の描画に必要な画像データを生成して表示制御部１２、１３に出力することにより、モニタ３、４上に操作指示画面１００及び情報が面１１０を表示させる。さらに、音楽ゲームの実行中において、ゲーム制御部１１は、操作指示画面１００の表示等に必要な処理として図６に示すシーケンス処理ルーチンを所定の周期で繰り返し実行する。
【００３３】
図６のシーケンス処理ルーチンが開始されると、ゲーム制御部１１のシーケンス処理部１５は、まずステップＳ１にて楽曲上の現在時刻を取得する。例えば、楽曲の再生開始時点を基準として、ゲーム制御部１１の内部クロックにて計時が開始され、その内部クロックの値から現在時刻が取得される。続くステップＳ２において、シーケンス処理部１５は、シーケンスデータ２８から、操作指示画面１００の表示範囲に相当する時間長に存在する操作時期のデータを取得する。表示範囲は、一例として現在時刻から将来に向かって楽曲の２小節相当の時間範囲に設定される。
【００３４】
次のステップＳ３にて、シーケンス処理部１５はレーン１０１〜１０３に表示すべき全てのオブジェクト１０６の操作指示画面１００内における座標を演算する。その演算は、一例として以下のように行われる。表示範囲に含まれている操作時期に対応付けられたレーン１０１〜１０３の指定、すなわち、図５の例において“ｂｕｔｔｏｎ１”〜“ｂｕｔｔｏｎ３”のいずれかの指定に基づいてオブジェクト１０６をレーン１０１〜１０３のいずれに配置すべきかを判別する。また、各操作時期と現在時刻との時間差に応じて、操作基準標識１０５からの時間軸方向（つまり、オブジェクト１０６の移動方向）における各オブジェクト１０６の位置を判別する。これにより、各オブジェクト１０６を、指定されたレーン１０１〜１０３内にて操作基準標識１０５から時間軸に沿って配置するために必要な各オブジェクト１０６の座標を取得することができる。
【００３５】
オブジェクト１０６の座標演算が完了すると、シーケンス処理部１５はステップＳ４に進み、シーケンスデータ２９から取得したデータ内に効果音切替指示情報２９ｄの有無を判別する。効果音切替指示情報２９ｄがある場合には、シーケンス処理部１５はステップＳ５にて現在時刻を取得して効果音切替指示情報２９ｄが指定する楽曲上の時刻と比較し、現在時刻が効果音の切替指示のタイミングに該当するか否かを判別する。切替指示のタイミングに該当する場合、シーケンス制御部１５はステップＳ６にて、以降の操作指定情報２９ｃで指定されたレーン１０１〜１０３のそれぞれで発生させる効果音を、効果音切替指示情報２９ｄで指定された効果音に変更する。例えば、図５に示した例で説明すると、楽曲の一小節目の三拍目の開始時点以降、効果音データ２７のユーザデータ２７ｂの効果音Ａ２の音データｓｄ＿１０１、ｓｄ＿１０５、ｓｄ＿１０６がそれぞれレーン１０１、１０２、１０３に割り当てられ、プレイヤがレーン１０１〜１０３にタッチするとそれぞれの音データが再生される。なお、ステップＳ４にて効果音切替指示情報２９ｄがない場合、又はステップＳ５で効果音の切替指示情報２９ｄがない場合は、シーケンス処理部１５は、ステップＳ７に進む。
【００３６】
効果音の切替が完了すると、シーケンス処理部１５は、次のステップＳ７に進み、ステップＳ３で演算されたオブジェクト１０６の座標に基づいて操作指示画面１００を描画するために必要な画像データを生成する。具体的には、演算された座標にオブジェクト１０６が配置されるように画像データを生成する。オブジェクト１０６の画像は、画像データ２８から取得すればよい。
【００３７】
続くステップＳ８にて、シーケンス処理部１５は表示制御部１２に画像データを出力する。それにより、第１モニタ３に操作指示画面１００が表示される。ステップＳ８の処理を終えると、シーケンス処理部１５は今回のシーケンス処理ルーチンを終了する。以上の処理が繰り返し実行されることにより、シーケンスデータ２９にて記述された操作時期にオブジェクト１０６が操作基準標識１０５へ到達するようにレーン１０１〜１０３内にてオブジェクト１０６がスクロール表示される。
【００３８】
次に、ゲーム機１にてプレイヤにより入力された音声に基づき効果音を作成する際の音程判別部１６及び音階生成部１７の処理を説明する。効果音の作成は、例えば、音楽ゲームが実行されていない待機中にプレイヤにより開始が指示されることで行われる。効果音の作成が開始されると、まず音程判別部１６が図７に示す音程判別処理ルーチンを実行し、音程判別処理ルーチンの結果に基づいて音階生成部１７が図８に示す音階生成処理ルーチンを実行する。
【００３９】
図７の音程判別処理ルーチンが開始されると、ゲーム制御部１１の音程判別部１６は、ステップＳ１１で、プレイヤが入力した音声を取得する。音声入力装置９が音声を取込み可能となっている状態でプレイヤが音声を入力すると、生音声データが生成される。続くステップＳ１２にて音程判別部１６は、生音声データをＡ／Ｄ変換する。これにより、生音声データのアナログ信号がデジタル信号に変換され、入力された音声の音声データが生成される。図９に音声データの一例を示す。図９の音声データは、ギターの音のデジタル波形で、横軸がダイナミックレンジ、縦軸がデュレーションをそれぞれ示している。なお、Ａ／Ｄ変換には、周知技術を利用してよい。
【００４０】
そして、音程判別部１６は、ステップＳ１３にて音声データの周波数スペクトルを得る。ステップＳ１２で得られた音声データから、高速フーリエ変換することにより生成された周波数スペクトルを図１０に示す。横軸が周波数、縦軸が周波数の分布度合をそれぞれ示している。なお、周波数スペクトルの生成は、高速フーリエ変換による演算に限られず各種周知技術を利用してよい。続くステップＳ１４にて、音程判別部１６はステップＳ１３で得られた周波数スペクトルから代表値を決定する。代表値は、周波数スペクトルの分布数の最大値とする。図１０のグラフで説明すると、矢印ｐで示したピークの周波数が代表値となる。このようにして決定した代表値の周波数により、プレイヤが入力した音声に基づく音声データの音程が判別される。また、このような最大ピークを有する山の両端で占める帯域ｑのデータから代表値を算出してもよい。ピークの周波数に幅がある等ピークが不明瞭な場合にもこのような方法で一定の帯域から代表値を算出することができる。ステップＳ１４の処理を終えると、音程判別部１６は今回の音程判別処理ルーチンを終了する。以上の処理により、プレイヤの入力した音声による音声データは、代表値が決定され、固有の音程が判別される。
【００４１】
音程判別処理ルーチンで代表値が得られると、音階生成部１７は図８の音階生成処理ルーチンを実行する。音階生成部１７は、ステップＳ２１にて代表値が決定した音声データから音階を形成する複数の音データを生成する。音階生成部１７は、その代表値に基づき音声データを周波数変換し、各音データの代表値が所定のオクターブ数の音階を形成する各音の周波数となるようにする。図１１に周波数変換した音データの一例を示す。図１１の波形は、図９の音声データを１オクターブ上方に周波数変換したものである。そして、ステップＳ２２で音階生成部１７は、生成した音データの集合を効果音データ２７に格納する。これらの音データは、効果音データ２７内のユーザデータ２７ｂに格納される。ステップＳ２２の処理を終えると、音階生成部１７は今回の音階生成処理ルーチンを終了する。以上の処理により、代表値が決定された音声データを元にして代表値の周波数が互いに異なる音データを複数生成し、音階が形成される。音階を形成する音データの集合は、効果音として効果音データ２７のユーザデータ２７ｂ内に格納される。
【００４２】
以上の形態においては、ゲーム機１の外部記憶装置２０が効果音データ記憶手段、シーケンスデータ記憶手段として機能する。また、制御ユニット１０が、音程判別部１６に図７のステップＳ１１〜Ｓ１４の処理を実行させることにより音程判別手段として機能し、音階生成部１７に図８のステップＳ２１を実行させることにより音階生成手段として機能し、音階生成部１７に図８のステップＳ２２を実行させることにより効果音データ記憶制御手段として機能する。
【００４３】
本発明は、上述した形態に限定されることなく、種々の形態にて実施することができる。例えば、本形態では、音程判別手段、音階生成手段及び効果音データ記憶制御手段を機能させる装置として音楽ゲーム機１を例に説明したが、これに限られない。例えば、電子楽器等の各種電子機器に適用してもよい。電子楽器に本発明を適用した場合、プレイヤの入力した任意の音声にてメロディを奏でることができる。
【００４４】
本発明の音楽ゲームシステムは、携帯型のゲーム機にて実現されるものに限られず、家庭用の据置型ゲーム機、商業施設に設置される業務用ゲーム機、ネットワークを利用して実現されるゲームシステムといった適宜の形態で実現されてもよい。入力装置としては、タッチパネルを利用した例に限らず、押釦、レバー、トラックボールといった各種の構成の入力装置を利用することができる。
【符号の説明】
【００４５】
１ 音楽ゲーム機
８ スピーカ（音声出力装置）
９ 音声入力装置
１０ 制御ユニット（コンピュータ）
１６ 音程判別部
１７ 音階生成部
２０ 外部記憶装置（効果音データ記憶手段、シーケンスデータ記憶手段）
２７ 効果音データ
２９ シーケンスデータ
【特許請求の範囲】
【請求項１】
音声を入力する音声入力装置と、
ゲーム音を再生出力する音声出力装置と、
音程の異なる複数の効果音のそれぞれを前記音声出力装置から出力させるための効果音データを記憶する効果音データ記憶手段と、
プレイヤの操作と対応して出力すべき効果音との関係を記述するシーケンスデータを記憶するシーケンスデータ記憶手段と、
前記音声入力装置により入力された音声の音声データに基づいて、前記入力された音声を代表する音程を判別する音程判別手段と、
前記音程判別手段の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成手段と、
前記音階生成手段が生成した前記複数の音データを前記効果音データの少なくとも一部として前記効果音データ記憶手段に記憶させる効果音データ記憶制御手段と、
を備えた音楽ゲームシステム。
【請求項２】
前記音程判別手段は、前記音声入力装置により入力された音声の音声データから代表する周波数を特定することで前記音声の音程を判別する請求項１の音楽ゲームシステム。
【請求項３】
前記音階生成手段は、少なくとも１オクターブ以上の音階を生成する請求項１又は２の音楽ゲームシステム。
【請求項４】
少なくとも一つの操作部を有する入力装置をさらに備え、
前記シーケンスデータの記述に従った効果音が、前記入力装置によるプレイヤの操作に基づいて前記音声出力装置から再生される請求項１〜３のいずれか一項の音楽ゲームシステム。
【請求項５】
音声を入力する音声入力装置と、ゲーム音を再生出力する音声出力装置と、音程の異なる複数の効果音のそれぞれを前記音声出力装置から出力させるための効果音データを記憶する効果音データ記憶手段と、プレイヤの操作と対応して出力すべき効果音との関係を記述するシーケンスデータを記憶するシーケンスデータ記憶手段と、を備えた音楽ゲームシステムに組み込まれるコンピュータを、
前記音声入力装置により入力された音声の音声データに基づいて、前記入力された音声を代表する音程を判別する音程判別手段、
前記音程判別手段の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成手段、及び
前記音階生成手段が生成した前記複数の音データを前記効果音データの少なくとも一部として前記効果音データ記憶手段に記憶させる効果音データ記憶制御手段、
として機能させるように構成された音楽ゲームシステム用のコンピュータプログラム。
【請求項６】
音声入力装置により入力された音声の音声データに基づいて前記入力された音声を代表する音程を判別する音程判別工程と、
前記音程判別工程の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成工程と、
前記音階生成工程にて生成した前記複数の音データを、音声出力装置から出力させるための効果音データとして記憶手段に記憶させる工程と、
を備えた効果音データの生成方法。
【請求項１】
音声を入力する音声入力装置と、
ゲーム音を再生出力する音声出力装置と、
音程の異なる複数の効果音のそれぞれを前記音声出力装置から出力させるための効果音データを記憶する効果音データ記憶手段と、
プレイヤの操作と対応して出力すべき効果音との関係を記述するシーケンスデータを記憶するシーケンスデータ記憶手段と、
前記音声入力装置により入力された音声の音声データに基づいて、前記入力された音声を代表する音程を判別する音程判別手段と、
前記音程判別手段の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成手段と、
前記音階生成手段が生成した前記複数の音データを前記効果音データの少なくとも一部として前記効果音データ記憶手段に記憶させる効果音データ記憶制御手段と、
を備えた音楽ゲームシステム。
【請求項２】
前記音程判別手段は、前記音声入力装置により入力された音声の音声データから代表する周波数を特定することで前記音声の音程を判別する請求項１の音楽ゲームシステム。
【請求項３】
前記音階生成手段は、少なくとも１オクターブ以上の音階を生成する請求項１又は２の音楽ゲームシステム。
【請求項４】
少なくとも一つの操作部を有する入力装置をさらに備え、
前記シーケンスデータの記述に従った効果音が、前記入力装置によるプレイヤの操作に基づいて前記音声出力装置から再生される請求項１〜３のいずれか一項の音楽ゲームシステム。
【請求項５】
音声を入力する音声入力装置と、ゲーム音を再生出力する音声出力装置と、音程の異なる複数の効果音のそれぞれを前記音声出力装置から出力させるための効果音データを記憶する効果音データ記憶手段と、プレイヤの操作と対応して出力すべき効果音との関係を記述するシーケンスデータを記憶するシーケンスデータ記憶手段と、を備えた音楽ゲームシステムに組み込まれるコンピュータを、
前記音声入力装置により入力された音声の音声データに基づいて、前記入力された音声を代表する音程を判別する音程判別手段、
前記音程判別手段の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成手段、及び
前記音階生成手段が生成した前記複数の音データを前記効果音データの少なくとも一部として前記効果音データ記憶手段に記憶させる効果音データ記憶制御手段、
として機能させるように構成された音楽ゲームシステム用のコンピュータプログラム。
【請求項６】
音声入力装置により入力された音声の音声データに基づいて前記入力された音声を代表する音程を判別する音程判別工程と、
前記音程判別工程の音程判別結果に基づいて前記音声データと互いに音程の異なる複数の音データを音階が形成されるように生成する音階生成工程と、
前記音階生成工程にて生成した前記複数の音データを、音声出力装置から出力させるための効果音データとして記憶手段に記憶させる工程と、
を備えた効果音データの生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図９】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図９】
【図１１】
【公開番号】特開２０１１−５６１２２（Ｐ２０１１−５６１２２Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２００９−２１０５７１（Ｐ２００９−２１０５７１）
【出願日】平成２１年９月１１日（２００９．９．１１）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２１年９月１１日（２００９．９．１１）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
[ Back to top ]