プログラム、情報記憶媒体及びゲームシステム
【課題】 音楽ゲームの入力インターフェース環境の向上を図ることができるプログラム、情報記憶媒体及びゲームシステムを提供する。
【解決手段】 プレーヤが操作部１６２に対して行うべき操作を指示する操作指示マークを楽曲データの再生状況に連動して表示させる表示制御を行い、操作指示マークについて設定された判定期間にプレーヤが操作部１６２の操作を行った場合に、プレーヤの操作部１６２の操作タイミングと、その判定期間において音検出部１６４で検出された操作部１６２の操作音の検出音量を取得する。取得された操作タイミングと基準タイミングとを比較する操作タイミング判定処理と、取得された前記検出音量と基準音量とを比較する音量判定処理とを行って、操作タイミング判定処理及び前記音量判定処理の各判定結果に基づいてプレーヤの操作を評価し、音量判定処理の判定結果に基づいて、プレーヤの操作部１６２の操作強度を評価する。
【解決手段】 プレーヤが操作部１６２に対して行うべき操作を指示する操作指示マークを楽曲データの再生状況に連動して表示させる表示制御を行い、操作指示マークについて設定された判定期間にプレーヤが操作部１６２の操作を行った場合に、プレーヤの操作部１６２の操作タイミングと、その判定期間において音検出部１６４で検出された操作部１６２の操作音の検出音量を取得する。取得された操作タイミングと基準タイミングとを比較する操作タイミング判定処理と、取得された前記検出音量と基準音量とを比較する音量判定処理とを行って、操作タイミング判定処理及び前記音量判定処理の各判定結果に基づいてプレーヤの操作を評価し、音量判定処理の判定結果に基づいて、プレーヤの操作部１６２の操作強度を評価する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及びゲームシステムに関する。
【背景技術】
【０００２】
従来より、プレーヤが楽器を模したコントローラ（操作部の一例）を操作して音楽ゲームをプレイするためのゲームシステムが知られている。このゲームシステムでは、音出力部（例えば、スピーカ）から音楽が出力されるとともに、表示部（例えば、ＣＲＴ、液晶ディスプレイ）には、プレーヤの入力動作のタイミングや種類を指示するためのマーク（音符）が表示される。プレーヤは、出力される音楽を聴きながら、表示されたマークにしたがってコントローラの操作を行い、音楽ゲームを楽しむ。
【０００３】
しかしながら、従来のゲームシステムでは、プレーヤの操作結果はスイッチのオン／オフでのみ判別されており、操作の強度を判別することまではできなかった。またコントローラのスイッチ自体をアナログ入力可能な構成とすると、センサの感度設定が難しくなり、またコントローラの部品コストが割高になる。
【特許文献１】特開２００２−６６１２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上記事情に鑑みてなされたものであり、その目的は、音楽ゲームの入力インターフェース環境の向上を図ることができるプログラム、情報記憶媒体及びゲームシステムを提供することにある。
【課題を解決するための手段】
【０００５】
（１）本発明は、プレーヤが操作部を操作してプレイする音楽ゲームのためのゲームシステムであって、記憶部に格納された楽曲データの再生を行う楽曲再生部と、プレーヤが前記操作部に対して行うべき操作を指示する操作指示マークを前記楽曲データの再生状況に連動して表示させる表示制御を行う表示制御部と、前記操作指示マークについて設定された判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作タイミングと、該判定期間において音検出部で検出された前記操作部の操作音の検出音量を取得する取得部と、取得された前記操作タイミングと基準タイミングとを比較する操作タイミング判定処理と、取得された前記検出音量と基準音量とを比較する音量判定処理とを行って、前記操作タイミング判定処理及び前記音量判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部と、を含み、前記評価部が、前記音量判定処理の判定結果に基づいて、プレーヤの前記操作部の操作強度を評価するゲームシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。また本発明は、コンピュータにより読取可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるプログラムを記憶（記録）した情報記憶媒体に関係する。
【０００６】
本明細書において、操作音とは、プレーヤが操作部の打撃面に打撃動作（叩き動作）を行ったり、操作部の弦を振動させたり、あるいはボタンを押下したりすることによって、操作部で発生する音を意味する。また本明細書において音量と表現する場合、広義には音波の振幅値を意味し、音圧と呼ばれるものも含まれる。
【０００７】
本発明では、プレーヤが操作部を操作することによって発生する音を音検出部で検出させて、その検出音量に基づいて、プレーヤの操作部の操作強度を判定するための音判定処理を行う。このため本発明によれば、比較的簡便な構成及び処理でプレーヤの操作部の操作強度を判別することができるようになり、入力インターフェース環境の向上を図ることができる。
【０００８】
（２）また本発明のゲームシステム、プログラム及び情報記憶媒体では、前記表示制御部が、プレーヤが前記操作部に対して行うべき操作の操作強度の条件を、前記操作指示マークによってプレーヤに指示する表示制御を行い、前記評価部が、前記音量判定処理の判定結果に基づいて、プレーヤの前記操作部の操作強度が前記操作指示マークで指示された操作強度の条件を満たしていると評価された場合には、前記操作タイミング判定処理の判定結果に基づいてプレーヤの操作を評価するようにしてもよい。
【０００９】
このようにすれば、ゲーム画面に表示される操作指示マークについて、どのような操作強度で操作部を操作すればよいかをプレーヤに分かりやすく報知することができる。またこのようにすれば、プレーヤに定められた操作強度の条件を満たすように操作部を操作させる強い動機付けを与えることができる。
【００１０】
（３）また本発明のゲームシステム、プログラム及び情報記憶媒体では、前記表示制御部が、プレーヤが前記音検出部に対して行うべき音入力動作を指示する音入力指示マークを前記楽曲データの再生状況に連動して表示させる表示制御を行い、前記取得部が、前記音入力指示マークについて設定された判定期間にプレーヤが前記音入力動作を行った場合に、該判定期間において前記音検出部で検出された音の検出タイミングを取得し、前記評価部が、取得された前記検出タイミングと前記基準タイミングとを比較する検出タイミング判定処理を行って、前記検出タイミング判定処理の判定結果に基づいてプレーヤの音入力動作を評価するようにしてもよい。
【００１１】
このようにすれば、プレーヤの操作部の操作音を検出する音検出部を、プレーヤの音入力動作を判定するための入力インターフェースとして利用することができ、プレーヤに様々な入力動作を要求することができるゲーム性の高い音楽ゲームを実現することができる。
【００１２】
（４）また本発明のゲームシステムでは、前記取得部が、前記音入力指示マークについて設定された判定期間にプレーヤが前記音入力動作を行った場合に、該判定期間において前記音検出部で検出された音の検出音量を取得し、前記評価部が、取得された前記検出音量と基準音量とを比較する音量判定処理を行って、前記音量判定処理の判定結果に基づいて、プレーヤの音入力動作を評価するようにしてもよい。
【００１３】
このようにすれば、プレーヤの音入力動作のタイミングだけでなく、その音入力動作による発生音量も評価することで音楽ゲームのゲーム性を向上させることができる。
【００１４】
（５）また本発明のゲームシステムでは、前記表示制御部が、プレーヤが音入力動作により発生させるべき音の音量の条件を、前記音入力指示マークによってプレーヤに指示する表示制御を行い、前記評価部が、前記音量判定処理の判定結果に基づいて、プレーヤの音入力動作による発生音が、前記音入力指示マークで指示された音量の条件を満たしていると評価された場合には、前記検出タイミング判定処理の判定結果に基づいてプレーヤの音入力動作を評価するようにしてもよい。
【００１５】
このようにすれば、ゲーム画面に表示される音入力指示マークについて、どのような大きさの音を発生させる音入力動作をすればよいかをプレーヤに分かりやすく報知することができる。またこのようにすれば、プレーヤに定められた音量の条件を満たすように音入力動作させる強い動機付けを与えることができる。
【００１６】
（６）また本発明のゲームシステムでは、前記評価部が、前記取得部で取得された前記操作部の操作タイミング及び前記音検出部の検出タイミングに基づいて入力種別判定処理を行い、前記入力種別判定処理において、前記操作指示マークについて設定された判定期間内に、前記操作部の操作タイミングと前記音検出部の検出タイミングとが重複して取得されたと判断される場合には、当該操作タイミングに基づいて操作タイミング判定処理を行い、前記入力種別判定処理において、前記音入力指示マークについて設定された判定期間内に、前記操作部の操作タイミングと前記音検出部の検出タイミングとが重複して取得されたと判断される場合には、当該検出タイミングに基づく検出タイミング判定処理を行わないようにしてもよい。
【００１７】
このようにすれば、操作部と音検出部という入力種別の異なる入力インターフェースを利用してプレーヤに入力動作（操作あるいは音入力動作）を行わせるシステムにおいて、操作部の操作と音検出部への音入力動作とを正確に判別することができる。すなわち、誤入力により間違った評価がなされることを防止することができる。
【００１８】
（７）また本発明のゲームシステム、プログラム及び情報記憶媒体では、前記取得部が、前記操作指示マークについて設定された判定期間に音検出部で検出された前記操作部の操作音の波形情報を取得し、前記評価部が、取得された波形情報と基準波形とを比較する波形判定処理を行って、前記波形判定処理の結果に基づいてプレーヤの操作を評価するようにしてもよい。
【００１９】
操作音の波形情報とは、波形の形状そのものに限らず、広義には、操作音の周波数、波長や位相などを含む情報を意味する。このようにすれば、音色や音程といった評価指標に基づいてプレーヤの入力動作を評価することができる。
【００２０】
（８）また本発明は、プレーヤが操作部を操作してプレイするゲームのためのゲームシステムであって、所与の判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作データと、該判定期間において音検出部で検出された前記操作部の操作音の検出音データを取得する取得部と、取得された前記操作データと基準操作データとを比較する操作判定処理と、取得された前記検出音データと基準音データとを比較する音判定処理とを行って、前記操作判定処理及び前記音判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部と、を含むゲームシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。また本発明は、コンピュータにより読取可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるプログラムを記憶（記録）した情報記憶媒体に関係する。
【００２１】
本発明によれば、プレーヤの操作を評価するために音検出部での操作部の操作音の検出データを用いるため、入力判定処理を多様化することができ、プレーヤの入力インターフェース環境の向上を図ることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
１．構成
図１に本実施形態のゲームシステムの例を示す。このゲームシステムは、太鼓等の打楽器の形状を模した入力装置１６０（打楽器型コントローラ）と、本体装置１０（ゲーム装置、画像生成装置）と、表示部１９０を含む。入力装置１６０は、プレーヤが叩き操作（操作の一例、広義には、第１の入力動作）を行うための操作部１６２と、プレーヤが拍手（音入力動作の一例、広義には、第２の入力動作）により発生した音を検出するための音検出部（例えばマイク）１６４とを含む。入力装置１６０の内部には、操作部１６２および音検出部１６４に対応して各種の検出動作を行う図示しないセンサが設けられており、このセンサを用いてプレーヤの叩き操作や拍手の音を検出できる。なお入力装置１６０の構成は、操作部１６２及び音検出部１６４が図１に示すような一体的に１つの筐体に収められている場合に限られない。例えば、音検出部１６４をリストバンドのように形成してプレーヤの手首に巻いて拍手の音を検出するようにしてもよい。また例えば、操作部１６２の筐体とは別の筐体に音検出部１６４が設けられていてもよい。
【００２３】
本体装置１０は、入力装置１６０からの入力データと、情報記憶媒体１２（ＣＤ、ＤＶＤ等）に記憶されたプログラムとに基づいて、ゲーム演算処理を行い、ゲーム画像やゲーム音を生成する。生成されたゲーム画像は表示部１９０（ディスプレイ）に表示され、再生されたゲーム音は図示しないスピーカ（音出力部）から出力される。
【００２４】
なお、図１では、入力装置１６０と本体装置１０が別個に設けられているが、入力装置１６０の中に本体装置１０（処理部、画像生成部、音生成部）を内蔵する構成としてもよい。この構成の場合には、入力装置１６０（ゲームコントローラ）が直接に表示部１９０に接続されて、ゲーム画像が表示部１９０に表示される。また携帯型ゲーム装置のように本体装置１０と入力装置１６０と表示部１９０とが一体的に構成されていてもよい。また図１では、家庭用ゲーム装置の場合を例として示しているが、本発明は業務用ゲーム装置にも適用できる。
【００２５】
図２に、本実施形態のゲームシステム（画像生成システム）の機能ブロック図の例を示す。なお、本実施形態のゲームシステムは、図２の構成要素（各部）を全て含む必要はなく、その一部を省略した構成としてもよい。また本実施形態のゲームシステム（プログラム）で実現される音楽ゲームは、楽器を模した入力部で音楽を演奏するゲームや、音楽に合わせてダンスを踊るゲームなどである。これらのゲームは、リズムアクションゲームと呼ばれる場合もある。
【００２６】
入力装置１６０は、プレーヤが操作データや音データを入力するためのものであり、その機能は、図１に示すような打楽器を模したコントローラ、操作ボタン、操作レバー、タッチパネル或いは音声入力マイクなどのハードウェアにより実現できる。記憶部１７０は、処理部１００や通信部１９４などのワーク領域となるもので、その機能はＲＡＭなどのハードウェアにより実現できる。
【００２７】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などのハードウェアにより実現できる。処理部１００は、この情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。携帯型情報記憶装置１８２は、プレーヤの個人データやゲームのセーブデータなどが記憶されるものであり、この携帯型情報記憶装置１８２としては、メモリカードや携帯型ゲーム装置などがある。
【００２８】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などのハードウェアにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどのハードウェアにより実現できる。通信部１９４は、外部（例えばホスト装置や他のゲームシステム）との間で通信を行うための各種の制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどのソフトウェアにより実現できる。
【００２９】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、ホスト装置（サーバー）が有する情報記憶媒体からネットワーク及び通信部１９４を介して情報記憶媒体１８０（記憶部１７０）に配信するようにしてもよい。このようなホスト装置（サーバー）の情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００３０】
処理部１００（プロセッサ）は、入力装置１６０からの入力データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などの各種の処理を行う。ここで処理部１００が行うゲーム処理としては、ゲーム開始条件が満たされた場合にゲームを開始させる処理、ゲームを進行させる処理、各種マークやキャラクタなどの表示物（オブジェクト）を配置する処理、表示物を表示する処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了させる処理などがある。また処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＤＳＰ等）やＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラム（ゲームプログラム）により実現できる。
【００３１】
処理部１００は、表示制御部１１１、取得部１１２、入力判定部１１３、評価部１１４、画像生成部１２０、及び音生成部１３０を含む。なおこれらの一部を省略する構成としてもよい。
【００３２】
表示制御部１１１は、指示マーク（音符）や基準マークなどを含む複数の表示物の表示制御を行う。具体的には、表示物を配置する処理、表示物を移動する処理、或いは表示物の表示態様を変更する処理などを行う。
【００３３】
ここで指示マークは、プレーヤが入力部１６０の操作入力部１６２や音入力部１６４に対して行うべき入力動作を指示するためのマークであり、その画像データは記憶部１７０のマーク記憶部１７２に記憶される。指示マークとしては、操作部１６２の叩き操作を指示する操作指示マーク（広義には、第１の指示マーク）と音検出部１６４に対して行う拍手を指示する音入力指示マーク（広義には、第２の指示マーク）とがある。この場合、操作指示マークと音入力指示マークとは、異なる表示態様（色、形状、模様など）で表示させることが好ましい。また操作部１６２が複数の操作領域を有している場合には、各操作領域に対応した表示態様の操作指示マークを表示させることができる。このようにすれば、複数の異なる操作領域に行うべき叩き操作を各指示マークの表示態様の違いによってプレーヤに識別させることができる。
【００３４】
また、基準マークは、主として、指示マークとの位置関係により指示マークについて設定された判定期間の一部または全部をプレーヤに対して示すマークであり、その画像データは、記憶部１７０のマーク記憶部１７２に記憶される。また、基準マークは、指示マークに応答して行われたプレーヤの入力動作のタイミング（操作タイミングあるいは検出タイミング）を評価するための基準タイミングをプレーヤに対して示すマークでもある。
【００３５】
そして表示制御部１１２は、指示マークと基準マークとの位置関係を変化させて、両マークを接近させる表示制御を行う。これにより表示される指示マークについて設定されている判定期間をプレーヤに認識させることができる。またマルチプレーヤモードにおいては、各プレーヤに専用の指示マークと基準マークとを表示させて、各指示マークと各基準マークとの位置関係を変化させる表示制御を行う。
【００３６】
ここで、位置関係を変化させてマーク同士を接近させるというのは、一方のマークが静止して他方のマークが移動することにより接近する場合のみならず、各マークが互いに移動することによってマーク同士の位置が接近する場合を含む。
【００３７】
また表示制御部１１１は、プレーヤが操作部１６２に対して行うべき叩き操作の操作強度の条件やプレーヤが拍手により発生させるべき音の音量の条件を操作指示マークや音入力指示マークによりプレーヤに指示する表示制御を行う。このようにすれば、プレーヤが行うべき入力動作の内容を分かりやすく報知することができる。具体的には、操作指示マークや音入力指示マークの表示態様（色、形状、模様、あるいは大きさ等）の違いによって、叩き操作の操作強度の条件や拍手による発生音の音量の条件を指定することができる。
【００３８】
取得部１１２は、指示マーク（操作指示マークあるいは音入力指示マーク）に応答して指示マークごとに設定された判定期間においてプレーヤが入力装置１６０に対して入力動作（打楽器演奏あるいは手拍子）をした場合に、その入力動作を評価するための各種入力データを取得する処理を行う。具体的には、入力装置１６０からの入力データをフレーム毎にモニタし、取得する。そして取得した入力データを所与の記憶バッファに蓄積して記憶する処理を行う。なおフレーム（例えば１／６０秒、１／３０秒）は、ゲーム処理（表示物の移動・動作処理）や画像生成処理を行う時間の単位である。
【００３９】
すなわち、取得部１１２は、プレーヤが操作部１６２を叩き操作した場合には、その操作タイミング（広義には、操作データ）を取得し、プレーヤが拍手を行った場合には、音検出部１６４で検出された拍手の音の検出タイミングを取得する処理を行う。
【００４０】
また取得部１１２は、操作指示マークについて設定された判定期間にプレーヤが操作部１６２を操作した場合に、操作指示マークの判定期間において音検出部１６４で検出された操作部１６２の叩き操作音の検出音量あるいは波形情報（広義には、検出音データ）を、プレーヤの叩き操作を評価するためのデータとして取得する処理を行う。なお操作音の検出音量は、プレーヤの操作部１６２の操作タイミングにおいて音検出部１６４で検出された音の音量であってもよいし、操作タイミングから所与の遅延時間内に音検出部１６４で検出された音の音量の最大値（最大音量）であってもよい。特に操作部１６２と音検出部１６４との位置が離れている場合には、操作部１６２の操作タイミングから遅れてその操作音が検出されるため、遅延時間内に検出された音の音量の最大値を検出音量として取得することが好ましい。この場合、遅延時間は、操作部１６２と音検出部１６４との位置関係に基づいて設定することができる。
【００４１】
また取得部１１２は、音入力指示マークについて設定された判定期間にプレーヤが拍手を行った場合に、音入力指示マークの判定期間において音検出部１６４で検出された拍手の音の検出音量を、プレーヤの拍手（音入力動作）を評価するためのデータとして取得する処理を行う。なおプレーヤの拍手による発生音の検出音量は、後述するタイミング判定処理で使用される検出タイミングにおける検出音の音量とすることが好ましい。
【００４２】
評価部１１４は、入力種別判定部１１５、音判定部１１６及びタイミング判定部１１７を含み、各判定部の処理結果に基づいてプレーヤの入力動作（叩き操作あるいは拍手）を評価する処理を行う。
【００４３】
入力種別判定部１１５は、取得部１１２で取得された操作部１６２の操作タイミング及び音検出部１６４の検出タイミングに基づいて入力種別判定処理を行う。具体的には、操作指示マークについて設定された判定期間内に、操作部１６２の操作タイミングと音検出部１６４の検出タイミングとが重複して取得されたと判断される場合には、取得された操作タイミングを適正な入力動作に基づくものと判定する。すなわち取得された操作タイミングをタイミング判定処理に用いるべき入力データとして処理する。また音入力指示マークについて設定された判定期間内に、操作部１６２の操作タイミングと音検出部１６４の検出タイミングとが重複して取得されたと判断される場合には、その音検出部１６４の検出タイミングを誤入力に基づくものと判定する処理を行う。またその他の場合については、音入力指示マークについて設定された判定期間に取得された検出タイミングは適正な入力動作に基づくものと判定する処理を行う。すなわち、音入力指示マークについて、その判定期間内にプレーヤが操作部１６２へ誤入力をした場合には、操作音が音検出部１６４で検出されても、その検出タイミングをタイミング判定処理に用いるべきでない入力データとして処理する。
【００４４】
音判定部１１６は、取得部１１２で取得された検出音量と基準音量（広義には、基準音データ）とを比較する音量判定処理（広義には、音判定処理）とを行って、その判定結果に基づいて、プレーヤの操作部１６２の操作強度やプレーヤの拍手（音入力動作）による発生音の大きさを評価する。具体的には、基準音量のデータは記憶部１７０の基準データ記憶部１７４に記憶される。基準音量は、閾値や範囲で設定することができる。この基準音量を設定するための閾値や範囲は１つの指示マークに対して複数設定されていてもよい。音判定部１１６は、この記憶された基準音量のデータを読出し、取得された検出音量が基準音量として設定された閾値を超えているか、あるいは取得された検出音量が基準音量として設定された範囲内に収まっているかを判定する処理を音量判定処理として行う。例えば、操作指示マークあるいは音入力指示マークにおいて強い入力動作を行うべきことが指示されている場合には、音量判定処理では、取得された検出音量が基準音量として設定された閾値を超えていれば、プレーヤの操作部１６２の叩き操作（操作）あるいはプレーヤの拍手（音入力動作）が適正な入力動作であると評価される。一方、この場合に取得された検出音量が基準音量として設定された閾値を下回っていれば、プレーヤの操作部１６２の叩き操作あるいはプレーヤの拍手が誤った（適正ではない）入力動作であると評価される。
【００４５】
また音判定部１１６は、取得部１１２で取得された操作部１６２の叩き操作音の波形情報と基準波形とを比較する波形判定処理（広義には、音判定処理）を行って、その判定結果に基づいて、プレーヤの操作部１６２の叩き操作を評価する処理を行う。具体的には、基準となる叩き操作音の時間軸に対する音量変化（音波の形状）、周波数変化、波長変化あるいは位相変化などを基準波形のデータとして記憶部１７０の基準データ記憶部１７４に記憶しておき、その基準波形と取得された叩き操作音の波形情報とを比較して、その一致の程度あるいはズレの程度を判定する処理を波形判定処理として行う。例えば、波形判定処理では、取得された叩き操作音の波形が基準波形と近いと判断されるほどプレーヤの叩き操作に対して高い評価が与えられる。このようにすれば、音色や音程といった評価指標に基づいてプレーヤの叩き操作を評価することができる。
【００４６】
タイミング判定部１１７は、取得部１１２で取得された操作タイミングあるいは検出タイミングと、基準タイミング（広義には、基準操作データ）とを比較するタイミング判定処理（操作タイミング判定処理あるいは検出タイミング判定処理、広義には、操作判定処理）を行い、その判定結果に基づいてプレーヤの入力動作（叩き操作あるいは拍手）を評価する。具体的には、お手本となる基準タイミングのデータは記憶部１７０の基準データ記憶部１７４に記憶される。タイミング判定部１１５は、この記憶された基準タイミングのデータを読み出し、取得された操作タイミングあるいは検出タイミングと基準タイミングとの一致の程度を判定する処理や、操作タイミングあるいは検出タイミングと基準タイミングのずれの程度を判定する処理をタイミング判定処理として行う。例えば、タイミング判定処理では、取得された操作タイミングや検出タイミングが基準タイミングと近いほどプレーヤの叩き操作や拍手（入力動作）に対して高い評価が与えられる。なお、タイミング判定処理は、入力種別判定部１１５の入力種別判定処理及び音判定部１１６の音量判定処理の各判定処理の判定結果に基づいて、プレーヤの入力動作が指示内容に合致した適正な入力動作であると判定された操作タイミング及び検出タイミングに基づいて行うようにしてもよい。また入力種別判定部１１５の入力種別判定処理あるいは音判定部１１６の音量判定処理の各判定処理の判定結果に基づいて、プレーヤの入力動作（叩き操作あるいは拍手）が指示内容と異なる入力動作（誤った入力動作）であると判定された操作タイミング及び検出タイミングについては、タイミング判定処理において最も低い評価に相当する判定結果で処理されるようにしてもよい。
【００４７】
そして本実施形態では、表示制御部１１１が、操作指示マークや音入力指示マークを楽曲データの再生と連動して表示する制御を行う。そして操作指示マークあるいは音入力指示マークの判定期間にプレーヤが入力動作（操作部１６２の叩き操作あるいは拍手）を行った場合には、評価部１１４が、その入力動作について取得されたタイミングについてその入力種別を入力種別判定部１１５の入力種別判定処理で評価して適正な入力動作であったか否かを評価する。またプレーヤの行った入力動作に関して音検出部１６４が検出した叩き操作音あるいは拍手の音の検出音量と基準音量とを比較する音量判定処理を音判定部１１６で行って、その判定結果に基づいてプレーヤの叩き操作の強度あるいは拍手の発生音量が指示された条件を満たした適正なものであるか否かを判断する。そして取得部１１２で取得された操作タイミングあるいは検出タイミングと基準タイミングとを比較するタイミング判定処理を入力種別判定処理及び音量判定処理において適正な入力動作であると判定されたタイミングについてタイミング判定部１１５で行って、その判定結果によりプレーヤの叩き操作あるいは拍手を評価し、その評価結果としてプレーヤの得点等を計算する。
【００４８】
なお、操作指示マークや音入力指示マークが楽曲データの再生と連動して表示されるというのは、例えば、楽曲データの再生（音楽データの出力）が開始するとともに、各指示マークと基準マークとの位置関係を変化させる移動表示処理が開始され、楽曲データの再生終了に伴い、その移動表示処理も終了することである。また操作指示マークや音入力指示マークが楽曲データの再生（再生状況）に連動して表示されるという場合、例えば、各指示マークの表示タイミングが楽曲データの音再生タイミングと対応付けられていることを含む。
【００４９】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。
【００５０】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。本実施形態のゲームシステムにおいて実現される音楽ゲームの楽曲データの再生は、楽曲再生部１３２が行う。具体的には、記憶部１７０の楽曲データ記憶部１７８に記憶された楽曲データ（広義には、音楽データ）を読み出して楽曲データに基づくゲーム音を生成し、音出力部１９２に出力する処理を行う。
【００５１】
なお、本実施形態のゲームシステムは、１人のプレーヤのみがプレイできるシングルプレーヤモード（シングルプレーヤ形式）専用のシステムにしてもよいし、このようなシングルプレーヤモードのみならず、複数のプレーヤがプレイできるマルチプレーヤモード（マルチプレーヤ形式）も備えるシステムにしてもよい。また複数のプレーヤがプレイする場合に、これらの複数のプレーヤに提供するゲーム画像やゲーム音を、１つの端末を用いて生成してもよいし、ネットワーク（伝送ライン、通信回線）などで接続された複数の端末（ゲーム機、携帯電話）を用いて生成してもよい。
【００５２】
２．本実施形態の手法
次に本実施形態の手法について図面を用いて説明する。
【００５３】
２．１ 操作指示および音入力指示の手法
本実施形態では、互いに表示態様の異なる操作指示マークと音入力指示マークとを表示する表示制御を行って、入力装置（打楽器型コントローラ）１６０の操作部１６２の叩き操作（操作）の指示と、音検出部１６４への拍手（音入力動作）の指示とを行っている。
【００５４】
例えば、図３（Ａ）では、ライン（楽譜）ＭＬＮ上を操作指示マークＳＤＭと音入力指示マークＯＤＭとが、楽曲データの再生に連動して基準マークＲＭに向かって移動するように表示制御が行われている。操作指示マークＳＤＭと音入力指示マークＯＤＭとは、プレーヤがその指示を識別可能な表示態様で表示される。例えば、形状、模様、色、大きさなどを異なるものとすることができる。プレーヤは、操作指示マークＳＤＭおよび音入力指示マークＯＤＭの移動の様子を表示部１９０に表示されたゲーム画面を通じて観察し、図３（Ｂ）に示すように、例えば操作指示マークＳＤＭが基準マークＲＭを通過するタイミングに合わせて入力装置１６０の操作部１６２を叩き操作する。このとき、図３（Ｂ）に示すように、操作指示マークＳＤＭの中心部が基準マークＲＭと重なるタイミング（基準タイミング）で叩き操作がなされると、高い評価（“ＧＲＥＡＴ”）が得られ、その評価を反映した高い得点が与えられる。音入力指示マークＯＤＭについても同様であり、音入力指示マークＯＤＭの中心部が基準マークＲＭと重なるタイミングで拍手をすると、高い評価が与えられ、その評価を反映した高い得点が与えられる。
【００５５】
なお、図３（Ａ）及び図３（Ｂ）では、操作指示マークＳＤＭ及び音入力指示マークＯＤＭの方が移動表示され、基準マークＲＭの方が静止表示されているが、操作指示マークＳＤＭ及び音入力指示マークＯＤＭを静止表示させて、基準マークＲＭの方を移動表示させてもよい。あるいは、操作入力指示マークＳＤＭ及び音入力指示マークＯＤＭと基準マークＲＭの両方を互いに近づくように移動させてもよい。即ち、タイミング判定のための基準マークＲＭと操作入力指示マークＳＤＭ及び音入力指示マークＯＤＭとの相対的な位置関係を変化させて、両者を接近させる表示制御を行うものであればよい。また、本実施形態で実現されるゲームを複数のプレーヤでプレイする場合には、操作入力指示マークＳＤＭと音入力指示マークＯＤＭとが全てのプレーヤに対して同じ表示タイミングで表示されるように制御してもよいし、プレーヤ毎に異なる表示タイミングで表示されるように制御してもよい。
【００５６】
また本実施の形態では、プレーヤの操作部１６２への叩き操作の強さ（操作強度）やプレーヤの拍手の発生音の大きさをも評価するため、プレーヤに操作指示マークおよび音入力指示マークの表示態様をプレーヤが行うべき入力動作の強さに応じて変更する表示制御を行っている。
【００５７】
具体的には、図４に示すように、操作部１６２の操作の強さの指示に関して強い入力（強い叩き操作）と弱い入力（弱い叩き操作）とで操作指示マークの色を変えて表示し、音検出部１６４への拍手の発生音の大きさの指示に関して強い入力（大きい音の拍手）と弱い入力（小さい音の拍手）とで音入力指示マークの色を変えて表示する表示制御を行う。なお各指示マークの表示態様は、強い入力を指示するマークと弱い入力を指示するマークとで、色を異なるものとする以外に、例えば、形状、模様、大きさなどを異なるものとすることができる。
【００５８】
図５では、強い入力と弱い入力との指示について操作指示マーク及び音入力指示マークの表示態様を変更させた表示例が示されている。操作指示マークＳＤＭ１は、強い叩き操作を行うべきことを指示しており、操作指示マークＳＤＭ２は、弱い叩き操作を行うべきことを指示している。また音入力指示マークＯＤＭ１は小さな音の入力をすべきことを指示しており、音入力指示マークＯＤＭ２は大きな音の入力をすべきことを指示している。プレーヤは、これらの各指示マークに応答して、各指示マークと基準マークＲＭとの位置関係を見ながらタイミングを合わせて操作部１６２の操作（叩き操作）や音入力動作（拍手）をするとともに、各指示マークで指示された入力の強さの条件を満足するように、操作部１６２の叩き操作や拍手をすることにより音楽ゲームをプレイする。
【００５９】
２．２ 指示マークの判定期間の報知手法
本実施形態では、基準マークと指示マーク（操作指示マークあるいは音入力指示マーク）との位置関係を変化させる表示制御を行うことによって、プレーヤが行うべき入力動作（操作部１６２の叩き操作あるいは拍手）を指示する指示マークについて設定された判定期間をプレーヤに報知している。
【００６０】
例えば図６（Ａ）〜図６（Ｃ）では、ラインＭＬＮ上の基準位置（広義には、所与の位置）に静止表示される基準マークＲＭに向かって指示マークＤＭが移動表示されている。そして基準マークＲＭと指示マークＤＭとの相対的な位置関係が変更され、互いが接近するように表示制御されている。そして、図６（Ａ）では、指示マークＤＭの先頭（広義には、一端）が基準マークＲＭに到達し、その時点から指示マークＤＭについて設定された判定期間が開始することをプレーヤに知らせている。図６（Ｂ）では、指示マークＤＭがさらに移動して、指示マークＤＭと基準マークＲＭとがオーバーラップした状態となっている。この状態は指示マークＤＭの判定期間中であることを意味する。そして、指示マークＤＭがさらに移動して、図６（Ｃ）に示すように、指示マークＤＭの最後尾（広義には、他端）が基準マークＲＭに到達すると、指示マークＤＭについて設定された判定期間が終了することを意味する。すなわち、この時点を超えてプレーヤが入力動作（叩き操作あるいは拍手）を行っても評価の対象とはならないか、もしくは最低の評価が与えられることを意味する。このようにして、本実施形態では、指示マークＤＭの移動表示処理により静止表示された基準マークＲＭとの位置関係によって指示マークＤＭについて設定された判定期間をプレーヤに分かりやすく示すことができる。
【００６１】
なお、指示マークＤＭが静止表示され、基準マークＲＭを移動表示させることにより、各マークを接近させてもよく、さらに指示マークＤＭおよび基準マークＲＭの双方を移動表示させることにより各マークを接近させてもよい。また図６（Ａ）〜図６（Ｃ）の例では、指示マークＤＭについて設定されている判定期間の全期間を基準マークＲＭとの重なり具合によってプレーヤに示すような表示制御を行う場合を説明したが、指示マークＤＭと基準マークＲＭとの位置関係によってプレーヤに報知される指示マークＤＭの判定期間はその一部の期間であってもよい。
【００６２】
また指示マークＤＭについて設定された判定期間を表示する態様は、上記のものに限られず、種々の態様による変更が可能である。例えば、図７（Ａ）に示すように、基準マークＲＭを指示マークＤＭと同じ形状で表示することにより、基準マークＲＭと指示マークＤＭとがオーバーラップしている期間を指示マークＤＭの判定期間としてもよい。また例えば、図７（Ｂ）に示すように、指示マークＤＭの長さを変更することによって、指示マークＤＭと基準マークＲＭとがオーバーラップしている期間を指示マークＤＭの判定期間としてもよい。
【００６３】
２．３ プレーヤの入力動作の評価手法
本実施形態では、プレーヤの入力動作について入力種別、入力強度、入力タイミングについて、それぞれ判定処理を行って、プレーヤの入力動作を評価している。以下、判定手法ごとに分けて説明する。
【００６４】
２．３１ プレーヤの入力動作の入力種別判定手法
次に本実施形態のプレーヤの入力動作（叩き操作あるいは拍手）の入力種別評価手法を説明する。本実施形態のゲームシステムでは、操作部１６２と音検出部１６４という入力種別の異なる入力インターフェースを用いて音楽ゲームをプレイする。しかしながら、音検出部１６４は、操作部１６２の叩き操作による発生音（叩き操作音）と拍手による発生音とを区別して検出することができない。これらの発生音を区別することができるような検出部材は高価でありゲームシステムへの適用は現実的ではない。そこで本実施の形態では、プレーヤが操作指示マークや音入力指示マークに応答して行った入力動作を適切に評価するために、プレーヤの行った入力動作について取得されるタイミングデータ（操作タイミング及び検出タイミング）の取得時期を利用して、プレーヤの意図した入力動作を正確に判別する入力種別判定手法を採用している。
【００６５】
具体的には、図８（Ａ）に示すように、音入力指示マークについての判定期間Ｔｈにおいて、プレーヤが誤って操作部１６２を叩き操作したため、操作タイミングＴ１が取得され、またその操作部１６２の叩き操作音を検出タイミングＴ２で検出したとする。この場合には、叩き操作音の検出タイミングに基づいて入力動作の評価がなされると、プレーヤの行った叩き操作は指示マークの指示内容に合致しないものであるにもかかわらず、誤ったタイミング判定処理の結果に基づいて入力動作が評価されてしまう。そこで、本実施形態の入力種別判定手法では、音入力指示マークについての判定期間Ｔｈ内に操作タイミングＴ１と検出タイミングＴ２とが重複して取得された場合であって、操作タイミングＴ１が取得された時点から遅延時間Ｔｄ以内に検出タイミングＴ２が取得された場合には、叩き操作音の検出タイミングＴ２は、適正な入力動作に基づくものではないと判定（評価）する。一方、操作指示マークについての判定期間内に操作タイミングと検出タイミングが重複して取得された場合には、その操作タイミングは適切な入力動作に基づくものであると判定（評価）する。
【００６６】
また他の例として、図８（Ｂ）に示すように、音入力指示マークについての判定期間Ｔｈを区分した複数の入力種別判定期間Ｔｈ１〜Ｔｈ３を予め設定しておき、同一の入力種別判定期間内において操作タイミングＴ１と検出タイミングＴ２とが重複して取得された場合には、叩き操作音の検出タイミングＴ２は、適正な入力動作に基づくものではない、言い換えれば、検出タイミングＴ２は、誤って行われた叩き操作に基づくものであると判定（評価）するようにしてもよい。この場合においても、操作指示マークについての判定期間内に操作タイミングと検出タイミングが重複して取得された場合には、その操作タイミングは適切な入力動作（指示内容に合致した入力動作）に基づくものであると判定（評価）する。
【００６７】
このように本実施形態の入力種別判定手法によれば、操作部１６２と音検出部１６４という入力種別の異なる入力インターフェースを利用してプレーヤに入力動作（叩き操作あるいは拍手）を行わせるシステムにおいて、操作部１６２の叩き操作（操作）と音検出部１６４への拍手（音入力動作）とを正確に判別することができる。すなわち、プレーヤの意図しない入力、すなわち誤入力を適正な入力（指示内容に合った入力）と判断して間違った評価がなされることを防止することができる。
【００６８】
２．３２ プレーヤの入力動作の入力強度判定手法
次に本実施形態のプレーヤの入力動作の入力強度評価手法を説明する。本実施形態では、図４及び図５に示したように、操作指示マークと音入力指示マークとにおいて、操作部１６２の叩き操作の強度条件及び拍手の発生音量条件を、強い入力動作と弱い入力動作とに分けてプレーヤに指示している。そこで、操作指示マークで指示される叩き操作の強弱については、操作部１６２の叩き操作音についての音検出部１６４の検出音量を利用し、音入力指示マークで指示される拍手の音の強弱については、拍手による発生音についての音検出部１６４の検出音量を利用して、各検出音量の大きさに基づいて入力強度を判定（評価）する入力強度判定手法を採用している。具体的には、検出音量の大きさを判別するために音量閾値（基準音量）を設定しておき、検出音量と閾値とを比較することにより、その閾値を超える音量が検出された場合には、強い入力動作（強い叩き操作あるいは大きな音の拍手）がなされたと判定し、その閾値を下回る音量が検出された場合には、弱い入力動作（弱い叩き操作あるいは小さな音の拍手）がなされたと判定（評価）する。
【００６９】
図９（Ａ）では、２つの指示マークについての判定期間Ｔｈ１，Ｔｈ２において取得された検出音量の時間変化が示されている。例えば、判定期間Ｔｈ１では、強い入力動作が要求されており、判定期間Ｔｈ２では、弱い入力動作が要求されているとする。この場合には、判定期間Ｔｈ１ではタイミングＴ１で入力動作（叩き操作あるいは拍手）が行われて、そのタイミングＴ１での検出音量ＬＶ１が音量の強弱を判定するための基準音量ＬＶｔｈ(閾値)を超えている。すなわちタイミングＴ１で行われた入力動作は、指示された強い入力動作で行われたものと判定され、適切な入力動作が行われたものと評価される。また判定期間Ｔｈ２ではタイミングＴ２で入力動作（叩き操作あるいは拍手）が行われて、そのタイミングＴ２での検出音量ＬＶ２が基準音量ＬＶｔｈ(閾値)を下回っている。すなわちタイミングＴ２で行われた入力動作は、指示された弱い入力動作で行われたものと判定され、適切な入力動作が行われたものと判定（評価）される。
【００７０】
一方で、図９（Ａ）に示す場合において、例えば、判定期間Ｔｈ１では、弱い入力動作が要求されており、判定期間Ｔｈ２では、強い入力動作が要求されているとする。この場合には、判定期間Ｔｈ１内において行われたタイミングＴ１での入力動作は、指示された弱い入力動作ではないと判定され、誤った入力動作が行われたものと評価される。また判定期間Ｔｈ２において行われたタイミングＴ２での入力動作は、指示された強い入力動作ではないと判定され、誤った入力動作が行われたものと判定（評価）される。
【００７１】
ここで、音検出部１６４は、周囲の雑音も検出してしまうため、弱い入力動作（弱い叩き操作あるいは小さな音の拍手）を判別する場合においては、叩き操作音や拍手の音が雑音と確実に区別される必要がある。そこで本実施形態では、図９（Ｂ）に示すように、検出音量の大きさを判定するための第１の基準音量（第１の閾値）ＬＶｔｈＨと雑音を排除するための第２の基準音量(第２の閾値)ＬＶｔｈＬとを設定しておくことにより、雑音を叩き操作音あるいは拍手の音と誤って認識することなく、検出音量が第１の基準音量ＬＶｔｈＨを超えていれば、強い入力動作がなされたと評価（判定）し、第１の基準音量ＬＶｔｈＨと第２の基準音量ＬＶｔｈＬとの間の音量範囲に属していれば、弱い入力動作がなされたと評価（判定）することができる。なお第２の基準音量は、プレーヤの周囲の雑音レベル（プレイ環境）に応じて調節することができるようにしてもよい。
【００７２】
このように本実施形態の手法では、比較的簡便な構成及び処理でプレーヤの操作部１６２の操作強度及び拍手の音の大きさを判別することができるようになり、音楽ゲームのゲーム性の向上及び入力インターフェース環境の向上を図ることができる。
【００７３】
２．３３ プレーヤの入力動作のタイミング判定手法
次に本実施形態のプレーヤの入力動作のタイミング判定手法を説明する。プレーヤは、指示マークＤＭの中心が基準マークＲＭに到達する基準タイミングで入力部（操作部１６２あるいは音検出部１６４）に対して入力動作（叩き操作あるいは拍手）を行うことが要求されている。そして本実施の形態では、プレーヤが指示マークＤＭの判定期間に行った入力動作の入力タイミング（操作タイミングあるいは検出タイミング）を基準タイミングと比較して、その一致の程度を判定するタイミング判定処理（操作タイミング判定処理あるいは検出タイミング判定処理）を行っている。そして、このタイミング判定処理によってプレーヤが指示内容を満たしているか否かを評価して、本実施形態のゲームシステムでは、３段階（“ＧＲＥＡＴ”、“ＯＫ”、“ＢＡＤ”）の評価をプレーヤの入力動作に対して行うタイミング判定手法を採用している。
【００７４】
具体的に図１０を用いて、本実施形態のタイミング判定手法について詳細に説明する。図１０には、指示マークＤＭ及び基準マークＲＭの位置関係と判定期間との関係と入力タイミングｔ１〜ｔ３に関するタイミング判定手法の例が示されている。
【００７５】
指示マークＤＭについての判定期間は、図３（Ａ）〜図３（Ｃ）に示したように、指示マークＤＭの先頭（一端）が基準マークＲＭに到達するタイミングＴｓから開始し、指示マークＤＭの最後尾（他端）が基準マークＲＭに到達するタイミングＴｅで終了する。このタイミングＴｓからタイミングＴｅまでの判定期間を“ＧＲＥＡＴ”と判定される期間、“ＯＫ”と判定される期間、及び“ＢＡＤ”と判定される期間に区分してプレーヤの入力タイミングがいずれの期間に属するかによってプレーヤの入力タイミングの判定が行われる。より具体的には、移動表示される指示マークＤＭの中心と静止表示されている基準マークＲＭとが重なるタイミング（基準タイミング）が含まれる期間を“ＧＲＥＡＴ”という最も高い評価が得られる期間として設定し、その期間から離れるに従って“ＯＫ”、“ＢＡＤ”と順に評価が低くなるように判定期間内での各期間が設定されている。そして図６に示す例では、タイミングｔ１で入力動作（叩き操作あるいは拍手）が行われた場合には、入力タイミングとしては“ＢＡＤ”と判定され、タイミングｔ２で入力動作が行われた場合には、入力タイミングとしては“ＧＲＥＡＴ”と判定され、タイミングｔ３で入力動作が行われた場合には、入力タイミングとしては“ＯＫ”と判定される。
【００７６】
なお、プレーヤの入力動作のタイミングについて行われる３段階の評価は、プレーヤの入力動作の入力種別及び入力強度が操作指示マークあるいは音入力指示マークでの指示内容に合致していることを条件に適正に行われる。すなわち、プレーヤの入力動作についての入力種別及び入力強度についての判定の結果、適正な入力動作（指示内容に合致した入力動作）であると評価された場合には、タイミング判定を行う。この場合には、プレーヤがいかなるタイミングで入力動作を行ったとしても、例えば操作部１６２の叩き操作をすべきことを指示する操作指示マークについてプレーヤが誤って拍手を行っていた場合や、例えば強い入力動作が指示マークで指示されているのにもかかわらずプレーヤが弱い入力動作を行ったような場合には、最も低い評価である“ＢＡＤ”と判定されるようにしてもよい。従って、本実施形態の手法によれば、プレーヤに定められた入力種別や入力強度の条件を満たすように叩き操作させたり、拍手をさせたりするための強い動機付けを与えることができる。
【００７７】
３．本実施形態の処理
次に本実施形態の詳細な処理例について図１１のフローチャートを用いて説明する。
【００７８】
まず、プレーヤが音楽ゲームの曲を選択するための画面を表示する処理を行う（ステップＳ１０）。そしてプレーヤにより選択された曲に対応する楽曲データを再生出力する処理を行う（ステップＳ１１）。
【００７９】
次に、指示マーク（音符）についての表示タイミングが到来したと判断されたら（ステップＳ１２でＹ）、図３（Ａ）や図５で説明したように操作指示マークあるいは音入力指示マークの画像データをマーク記憶部から読み出し、各マークについての移動処理を行うと共にその表示処理を行う（ステップＳ１３）。即ち、所与の移動速度で指示マークをライン上で移動させる。なお、基準マークを指示マークの方に移動表示させてもよい。
【００８０】
次に、入力動作のタイミング（操作タイミングあるいは検出タイミング）を取得する処理を行う（ステップＳ１４）。続いて、ステップＳ１４で取得されたタイミングにおける音検出部の検出音量を取得する（ステップＳ１５）。ステップＳ１４及びステップＳ１５では、ステップＳ１３の移動処理及び表示処理により表示された指示マークについてプレーヤが入力装置に対して入力動作（叩き操作あるいは拍手）をした場合に、プレーヤにより入力された入力データを例えばフレーム毎にサンプリングし、サンプリングされたタイミングデータ検出音量データを記憶バッファに保持する。
【００８１】
次に、入力種別処理を行う（ステップＳ１６）。即ち記憶バッファに保持された操作タイミング及び検出タイミングが同一の判定期間内に重複して取得されたか否かを判定し、取得された操作タイミング及び検出タイミングが適正な入力動作に基づくものであるか否かを評価する。
【００８２】
次に、音量判定処理を行う（ステップＳ１７）。即ち記憶バッファに保持された検出音量と基準音量とを比較して、プレーヤの叩き操作の強さやプレーヤ拍手の音の大きさにより入力動作の強度を評価して、プレーヤの入力動作が指示された内容に合った適正なものであるか否かを評価する。
【００８３】
次に、タイミング判定処理を行う（ステップＳ１８）。即ち記憶バッファに保持された操作タイミングあるいは検出タイミングと記憶部に記憶される基準タイミングとを比較する。例えば、操作タイミングあるいは検出タイミングと基準タイミングとのずれが小さくなるほど（操作タイミングあるいは検出タイミングと基準タイミングとが一致しているほど）、プレーヤの操作や音入力動作の評価が高くなるように比較判定処理を行う。なお、操作タイミングあるいは検出タイミングが入力種別判定処理あるいは音量判定処理のいずれかの判定結果において適切な入力動作に基づくものでないと判定されている場合には、操作タイミング及び検出タイミングと基準タイミングとの一致の程度に関係なく、最低の評価を与えるように処理する。
【００８４】
そして、プレーヤの得点の加算処理を行う（ステップＳ１９）。具体的にはステップＳ１６〜ステップＳ１８での各判定処理によるプレーヤの入力動作の評価に応じた得点を、プレーヤの得点に加算する。続いて、楽曲データの再生が終了したか否かを判断し（ステップＳ２０）、終了していない場合には（ステップＳ２０でＮ）、ステップＳ１１に戻る。終了した場合には（ステップＳ２０でＹ）、プレーヤの最終のゲーム結果を判定して、表示する（ステップＳ２１）。
【００８５】
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。
【００８６】
例えば、明細書又は図面中の記載において広義や同義な用語（第１の入力動作、第２の入力動作、第１の指示マーク、第２の指示マーク等）として引用された用語（叩き操作（操作）、拍手（音入力動作）、操作指示マーク、音入力指示マーク等）は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。
【００８７】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【００８８】
また操作指示および音入力指示の手法、指示マークの判定期間の報知手法、プレーヤの入力動作の評価手法は、本実施の形態で説明したものに限られず、これらと均等な手法により実現してもよい。
【００８９】
また本発明は、図１のような打楽器の形状を模した操作部を用いた音楽ゲームに好適であるが、それ以外の楽器を用いた音楽ゲームにも適用できる。また楽器を用いない音楽ゲームにも適用できる。
【００９０】
また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、携帯電話等の種々のゲームシステム（画像生成システム）に適用できる。
【図面の簡単な説明】
【００９１】
【図１】本実施形態のゲームシステムの例である。
【図２】本実施形態のゲームシステムの機能ブロック図の例である。
【図３】図３（Ａ）及び図３（Ｂ）は、操作指示および音入力指示の手法の説明図である。
【図４】操作指示および音入力指示の手法の説明図である。
【図５】操作指示および音入力指示の手法の説明図である。
【図６】図６（Ａ）〜図６（Ｃ）は、指示マークの判定期間の報知手法の説明図である。
【図７】図７（Ａ）及び図７（Ｂ）は、指示マークの判定期間の報知手法の説明図である。
【図８】図８（Ａ）及び図８（Ｂ）は、プレーヤの入力動作の入力種別判定手法の説明図である。
【図９】図９（Ａ）及び図９（Ｂ）は、プレーヤの入力動作の入力強度判定手法の説明図である。
【図１０】プレーヤの入力動作のタイミング判定手法の説明図である。
【図１１】本実施形態の処理例を示すフローチャートである。
【符号の説明】
【００９２】
ＤＭ 指示マーク、ＳＤＭ 操作指示マーク、ＯＤＭ 音入力指示マーク、
ＲＭ 基準マーク、ＭＬＮ ライン、
１００ 処理部、１１１ 表示制御部、１１２ 取得部、
１１４ 評価部、
１１５ 入力種別判定部、１１６ 音判定部、１１７ タイミング判定部、
１２０ 画像生成部、１３０ 音生成部、１３２ 楽曲再生部、
１６０ 入力装置、１６２ 操作部、１６４ 音検出部、
１７０ 記憶部、
１７２ マーク記憶部、１７４ 基準データ記憶部、１７６ 楽曲データ記憶部、
１８０ 情報記憶媒体、１８２ 携帯型情報記憶装置、
１９０ 表示部、１９２ 音出力部、１９４ 通信部
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及びゲームシステムに関する。
【背景技術】
【０００２】
従来より、プレーヤが楽器を模したコントローラ（操作部の一例）を操作して音楽ゲームをプレイするためのゲームシステムが知られている。このゲームシステムでは、音出力部（例えば、スピーカ）から音楽が出力されるとともに、表示部（例えば、ＣＲＴ、液晶ディスプレイ）には、プレーヤの入力動作のタイミングや種類を指示するためのマーク（音符）が表示される。プレーヤは、出力される音楽を聴きながら、表示されたマークにしたがってコントローラの操作を行い、音楽ゲームを楽しむ。
【０００３】
しかしながら、従来のゲームシステムでは、プレーヤの操作結果はスイッチのオン／オフでのみ判別されており、操作の強度を判別することまではできなかった。またコントローラのスイッチ自体をアナログ入力可能な構成とすると、センサの感度設定が難しくなり、またコントローラの部品コストが割高になる。
【特許文献１】特開２００２−６６１２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上記事情に鑑みてなされたものであり、その目的は、音楽ゲームの入力インターフェース環境の向上を図ることができるプログラム、情報記憶媒体及びゲームシステムを提供することにある。
【課題を解決するための手段】
【０００５】
（１）本発明は、プレーヤが操作部を操作してプレイする音楽ゲームのためのゲームシステムであって、記憶部に格納された楽曲データの再生を行う楽曲再生部と、プレーヤが前記操作部に対して行うべき操作を指示する操作指示マークを前記楽曲データの再生状況に連動して表示させる表示制御を行う表示制御部と、前記操作指示マークについて設定された判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作タイミングと、該判定期間において音検出部で検出された前記操作部の操作音の検出音量を取得する取得部と、取得された前記操作タイミングと基準タイミングとを比較する操作タイミング判定処理と、取得された前記検出音量と基準音量とを比較する音量判定処理とを行って、前記操作タイミング判定処理及び前記音量判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部と、を含み、前記評価部が、前記音量判定処理の判定結果に基づいて、プレーヤの前記操作部の操作強度を評価するゲームシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。また本発明は、コンピュータにより読取可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるプログラムを記憶（記録）した情報記憶媒体に関係する。
【０００６】
本明細書において、操作音とは、プレーヤが操作部の打撃面に打撃動作（叩き動作）を行ったり、操作部の弦を振動させたり、あるいはボタンを押下したりすることによって、操作部で発生する音を意味する。また本明細書において音量と表現する場合、広義には音波の振幅値を意味し、音圧と呼ばれるものも含まれる。
【０００７】
本発明では、プレーヤが操作部を操作することによって発生する音を音検出部で検出させて、その検出音量に基づいて、プレーヤの操作部の操作強度を判定するための音判定処理を行う。このため本発明によれば、比較的簡便な構成及び処理でプレーヤの操作部の操作強度を判別することができるようになり、入力インターフェース環境の向上を図ることができる。
【０００８】
（２）また本発明のゲームシステム、プログラム及び情報記憶媒体では、前記表示制御部が、プレーヤが前記操作部に対して行うべき操作の操作強度の条件を、前記操作指示マークによってプレーヤに指示する表示制御を行い、前記評価部が、前記音量判定処理の判定結果に基づいて、プレーヤの前記操作部の操作強度が前記操作指示マークで指示された操作強度の条件を満たしていると評価された場合には、前記操作タイミング判定処理の判定結果に基づいてプレーヤの操作を評価するようにしてもよい。
【０００９】
このようにすれば、ゲーム画面に表示される操作指示マークについて、どのような操作強度で操作部を操作すればよいかをプレーヤに分かりやすく報知することができる。またこのようにすれば、プレーヤに定められた操作強度の条件を満たすように操作部を操作させる強い動機付けを与えることができる。
【００１０】
（３）また本発明のゲームシステム、プログラム及び情報記憶媒体では、前記表示制御部が、プレーヤが前記音検出部に対して行うべき音入力動作を指示する音入力指示マークを前記楽曲データの再生状況に連動して表示させる表示制御を行い、前記取得部が、前記音入力指示マークについて設定された判定期間にプレーヤが前記音入力動作を行った場合に、該判定期間において前記音検出部で検出された音の検出タイミングを取得し、前記評価部が、取得された前記検出タイミングと前記基準タイミングとを比較する検出タイミング判定処理を行って、前記検出タイミング判定処理の判定結果に基づいてプレーヤの音入力動作を評価するようにしてもよい。
【００１１】
このようにすれば、プレーヤの操作部の操作音を検出する音検出部を、プレーヤの音入力動作を判定するための入力インターフェースとして利用することができ、プレーヤに様々な入力動作を要求することができるゲーム性の高い音楽ゲームを実現することができる。
【００１２】
（４）また本発明のゲームシステムでは、前記取得部が、前記音入力指示マークについて設定された判定期間にプレーヤが前記音入力動作を行った場合に、該判定期間において前記音検出部で検出された音の検出音量を取得し、前記評価部が、取得された前記検出音量と基準音量とを比較する音量判定処理を行って、前記音量判定処理の判定結果に基づいて、プレーヤの音入力動作を評価するようにしてもよい。
【００１３】
このようにすれば、プレーヤの音入力動作のタイミングだけでなく、その音入力動作による発生音量も評価することで音楽ゲームのゲーム性を向上させることができる。
【００１４】
（５）また本発明のゲームシステムでは、前記表示制御部が、プレーヤが音入力動作により発生させるべき音の音量の条件を、前記音入力指示マークによってプレーヤに指示する表示制御を行い、前記評価部が、前記音量判定処理の判定結果に基づいて、プレーヤの音入力動作による発生音が、前記音入力指示マークで指示された音量の条件を満たしていると評価された場合には、前記検出タイミング判定処理の判定結果に基づいてプレーヤの音入力動作を評価するようにしてもよい。
【００１５】
このようにすれば、ゲーム画面に表示される音入力指示マークについて、どのような大きさの音を発生させる音入力動作をすればよいかをプレーヤに分かりやすく報知することができる。またこのようにすれば、プレーヤに定められた音量の条件を満たすように音入力動作させる強い動機付けを与えることができる。
【００１６】
（６）また本発明のゲームシステムでは、前記評価部が、前記取得部で取得された前記操作部の操作タイミング及び前記音検出部の検出タイミングに基づいて入力種別判定処理を行い、前記入力種別判定処理において、前記操作指示マークについて設定された判定期間内に、前記操作部の操作タイミングと前記音検出部の検出タイミングとが重複して取得されたと判断される場合には、当該操作タイミングに基づいて操作タイミング判定処理を行い、前記入力種別判定処理において、前記音入力指示マークについて設定された判定期間内に、前記操作部の操作タイミングと前記音検出部の検出タイミングとが重複して取得されたと判断される場合には、当該検出タイミングに基づく検出タイミング判定処理を行わないようにしてもよい。
【００１７】
このようにすれば、操作部と音検出部という入力種別の異なる入力インターフェースを利用してプレーヤに入力動作（操作あるいは音入力動作）を行わせるシステムにおいて、操作部の操作と音検出部への音入力動作とを正確に判別することができる。すなわち、誤入力により間違った評価がなされることを防止することができる。
【００１８】
（７）また本発明のゲームシステム、プログラム及び情報記憶媒体では、前記取得部が、前記操作指示マークについて設定された判定期間に音検出部で検出された前記操作部の操作音の波形情報を取得し、前記評価部が、取得された波形情報と基準波形とを比較する波形判定処理を行って、前記波形判定処理の結果に基づいてプレーヤの操作を評価するようにしてもよい。
【００１９】
操作音の波形情報とは、波形の形状そのものに限らず、広義には、操作音の周波数、波長や位相などを含む情報を意味する。このようにすれば、音色や音程といった評価指標に基づいてプレーヤの入力動作を評価することができる。
【００２０】
（８）また本発明は、プレーヤが操作部を操作してプレイするゲームのためのゲームシステムであって、所与の判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作データと、該判定期間において音検出部で検出された前記操作部の操作音の検出音データを取得する取得部と、取得された前記操作データと基準操作データとを比較する操作判定処理と、取得された前記検出音データと基準音データとを比較する音判定処理とを行って、前記操作判定処理及び前記音判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部と、を含むゲームシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラムに関係する。また本発明は、コンピュータにより読取可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるプログラムを記憶（記録）した情報記憶媒体に関係する。
【００２１】
本発明によれば、プレーヤの操作を評価するために音検出部での操作部の操作音の検出データを用いるため、入力判定処理を多様化することができ、プレーヤの入力インターフェース環境の向上を図ることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
１．構成
図１に本実施形態のゲームシステムの例を示す。このゲームシステムは、太鼓等の打楽器の形状を模した入力装置１６０（打楽器型コントローラ）と、本体装置１０（ゲーム装置、画像生成装置）と、表示部１９０を含む。入力装置１６０は、プレーヤが叩き操作（操作の一例、広義には、第１の入力動作）を行うための操作部１６２と、プレーヤが拍手（音入力動作の一例、広義には、第２の入力動作）により発生した音を検出するための音検出部（例えばマイク）１６４とを含む。入力装置１６０の内部には、操作部１６２および音検出部１６４に対応して各種の検出動作を行う図示しないセンサが設けられており、このセンサを用いてプレーヤの叩き操作や拍手の音を検出できる。なお入力装置１６０の構成は、操作部１６２及び音検出部１６４が図１に示すような一体的に１つの筐体に収められている場合に限られない。例えば、音検出部１６４をリストバンドのように形成してプレーヤの手首に巻いて拍手の音を検出するようにしてもよい。また例えば、操作部１６２の筐体とは別の筐体に音検出部１６４が設けられていてもよい。
【００２３】
本体装置１０は、入力装置１６０からの入力データと、情報記憶媒体１２（ＣＤ、ＤＶＤ等）に記憶されたプログラムとに基づいて、ゲーム演算処理を行い、ゲーム画像やゲーム音を生成する。生成されたゲーム画像は表示部１９０（ディスプレイ）に表示され、再生されたゲーム音は図示しないスピーカ（音出力部）から出力される。
【００２４】
なお、図１では、入力装置１６０と本体装置１０が別個に設けられているが、入力装置１６０の中に本体装置１０（処理部、画像生成部、音生成部）を内蔵する構成としてもよい。この構成の場合には、入力装置１６０（ゲームコントローラ）が直接に表示部１９０に接続されて、ゲーム画像が表示部１９０に表示される。また携帯型ゲーム装置のように本体装置１０と入力装置１６０と表示部１９０とが一体的に構成されていてもよい。また図１では、家庭用ゲーム装置の場合を例として示しているが、本発明は業務用ゲーム装置にも適用できる。
【００２５】
図２に、本実施形態のゲームシステム（画像生成システム）の機能ブロック図の例を示す。なお、本実施形態のゲームシステムは、図２の構成要素（各部）を全て含む必要はなく、その一部を省略した構成としてもよい。また本実施形態のゲームシステム（プログラム）で実現される音楽ゲームは、楽器を模した入力部で音楽を演奏するゲームや、音楽に合わせてダンスを踊るゲームなどである。これらのゲームは、リズムアクションゲームと呼ばれる場合もある。
【００２６】
入力装置１６０は、プレーヤが操作データや音データを入力するためのものであり、その機能は、図１に示すような打楽器を模したコントローラ、操作ボタン、操作レバー、タッチパネル或いは音声入力マイクなどのハードウェアにより実現できる。記憶部１７０は、処理部１００や通信部１９４などのワーク領域となるもので、その機能はＲＡＭなどのハードウェアにより実現できる。
【００２７】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などのハードウェアにより実現できる。処理部１００は、この情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。携帯型情報記憶装置１８２は、プレーヤの個人データやゲームのセーブデータなどが記憶されるものであり、この携帯型情報記憶装置１８２としては、メモリカードや携帯型ゲーム装置などがある。
【００２８】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などのハードウェアにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどのハードウェアにより実現できる。通信部１９４は、外部（例えばホスト装置や他のゲームシステム）との間で通信を行うための各種の制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどのソフトウェアにより実現できる。
【００２９】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、ホスト装置（サーバー）が有する情報記憶媒体からネットワーク及び通信部１９４を介して情報記憶媒体１８０（記憶部１７０）に配信するようにしてもよい。このようなホスト装置（サーバー）の情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００３０】
処理部１００（プロセッサ）は、入力装置１６０からの入力データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などの各種の処理を行う。ここで処理部１００が行うゲーム処理としては、ゲーム開始条件が満たされた場合にゲームを開始させる処理、ゲームを進行させる処理、各種マークやキャラクタなどの表示物（オブジェクト）を配置する処理、表示物を表示する処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了させる処理などがある。また処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＤＳＰ等）やＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラム（ゲームプログラム）により実現できる。
【００３１】
処理部１００は、表示制御部１１１、取得部１１２、入力判定部１１３、評価部１１４、画像生成部１２０、及び音生成部１３０を含む。なおこれらの一部を省略する構成としてもよい。
【００３２】
表示制御部１１１は、指示マーク（音符）や基準マークなどを含む複数の表示物の表示制御を行う。具体的には、表示物を配置する処理、表示物を移動する処理、或いは表示物の表示態様を変更する処理などを行う。
【００３３】
ここで指示マークは、プレーヤが入力部１６０の操作入力部１６２や音入力部１６４に対して行うべき入力動作を指示するためのマークであり、その画像データは記憶部１７０のマーク記憶部１７２に記憶される。指示マークとしては、操作部１６２の叩き操作を指示する操作指示マーク（広義には、第１の指示マーク）と音検出部１６４に対して行う拍手を指示する音入力指示マーク（広義には、第２の指示マーク）とがある。この場合、操作指示マークと音入力指示マークとは、異なる表示態様（色、形状、模様など）で表示させることが好ましい。また操作部１６２が複数の操作領域を有している場合には、各操作領域に対応した表示態様の操作指示マークを表示させることができる。このようにすれば、複数の異なる操作領域に行うべき叩き操作を各指示マークの表示態様の違いによってプレーヤに識別させることができる。
【００３４】
また、基準マークは、主として、指示マークとの位置関係により指示マークについて設定された判定期間の一部または全部をプレーヤに対して示すマークであり、その画像データは、記憶部１７０のマーク記憶部１７２に記憶される。また、基準マークは、指示マークに応答して行われたプレーヤの入力動作のタイミング（操作タイミングあるいは検出タイミング）を評価するための基準タイミングをプレーヤに対して示すマークでもある。
【００３５】
そして表示制御部１１２は、指示マークと基準マークとの位置関係を変化させて、両マークを接近させる表示制御を行う。これにより表示される指示マークについて設定されている判定期間をプレーヤに認識させることができる。またマルチプレーヤモードにおいては、各プレーヤに専用の指示マークと基準マークとを表示させて、各指示マークと各基準マークとの位置関係を変化させる表示制御を行う。
【００３６】
ここで、位置関係を変化させてマーク同士を接近させるというのは、一方のマークが静止して他方のマークが移動することにより接近する場合のみならず、各マークが互いに移動することによってマーク同士の位置が接近する場合を含む。
【００３７】
また表示制御部１１１は、プレーヤが操作部１６２に対して行うべき叩き操作の操作強度の条件やプレーヤが拍手により発生させるべき音の音量の条件を操作指示マークや音入力指示マークによりプレーヤに指示する表示制御を行う。このようにすれば、プレーヤが行うべき入力動作の内容を分かりやすく報知することができる。具体的には、操作指示マークや音入力指示マークの表示態様（色、形状、模様、あるいは大きさ等）の違いによって、叩き操作の操作強度の条件や拍手による発生音の音量の条件を指定することができる。
【００３８】
取得部１１２は、指示マーク（操作指示マークあるいは音入力指示マーク）に応答して指示マークごとに設定された判定期間においてプレーヤが入力装置１６０に対して入力動作（打楽器演奏あるいは手拍子）をした場合に、その入力動作を評価するための各種入力データを取得する処理を行う。具体的には、入力装置１６０からの入力データをフレーム毎にモニタし、取得する。そして取得した入力データを所与の記憶バッファに蓄積して記憶する処理を行う。なおフレーム（例えば１／６０秒、１／３０秒）は、ゲーム処理（表示物の移動・動作処理）や画像生成処理を行う時間の単位である。
【００３９】
すなわち、取得部１１２は、プレーヤが操作部１６２を叩き操作した場合には、その操作タイミング（広義には、操作データ）を取得し、プレーヤが拍手を行った場合には、音検出部１６４で検出された拍手の音の検出タイミングを取得する処理を行う。
【００４０】
また取得部１１２は、操作指示マークについて設定された判定期間にプレーヤが操作部１６２を操作した場合に、操作指示マークの判定期間において音検出部１６４で検出された操作部１６２の叩き操作音の検出音量あるいは波形情報（広義には、検出音データ）を、プレーヤの叩き操作を評価するためのデータとして取得する処理を行う。なお操作音の検出音量は、プレーヤの操作部１６２の操作タイミングにおいて音検出部１６４で検出された音の音量であってもよいし、操作タイミングから所与の遅延時間内に音検出部１６４で検出された音の音量の最大値（最大音量）であってもよい。特に操作部１６２と音検出部１６４との位置が離れている場合には、操作部１６２の操作タイミングから遅れてその操作音が検出されるため、遅延時間内に検出された音の音量の最大値を検出音量として取得することが好ましい。この場合、遅延時間は、操作部１６２と音検出部１６４との位置関係に基づいて設定することができる。
【００４１】
また取得部１１２は、音入力指示マークについて設定された判定期間にプレーヤが拍手を行った場合に、音入力指示マークの判定期間において音検出部１６４で検出された拍手の音の検出音量を、プレーヤの拍手（音入力動作）を評価するためのデータとして取得する処理を行う。なおプレーヤの拍手による発生音の検出音量は、後述するタイミング判定処理で使用される検出タイミングにおける検出音の音量とすることが好ましい。
【００４２】
評価部１１４は、入力種別判定部１１５、音判定部１１６及びタイミング判定部１１７を含み、各判定部の処理結果に基づいてプレーヤの入力動作（叩き操作あるいは拍手）を評価する処理を行う。
【００４３】
入力種別判定部１１５は、取得部１１２で取得された操作部１６２の操作タイミング及び音検出部１６４の検出タイミングに基づいて入力種別判定処理を行う。具体的には、操作指示マークについて設定された判定期間内に、操作部１６２の操作タイミングと音検出部１６４の検出タイミングとが重複して取得されたと判断される場合には、取得された操作タイミングを適正な入力動作に基づくものと判定する。すなわち取得された操作タイミングをタイミング判定処理に用いるべき入力データとして処理する。また音入力指示マークについて設定された判定期間内に、操作部１６２の操作タイミングと音検出部１６４の検出タイミングとが重複して取得されたと判断される場合には、その音検出部１６４の検出タイミングを誤入力に基づくものと判定する処理を行う。またその他の場合については、音入力指示マークについて設定された判定期間に取得された検出タイミングは適正な入力動作に基づくものと判定する処理を行う。すなわち、音入力指示マークについて、その判定期間内にプレーヤが操作部１６２へ誤入力をした場合には、操作音が音検出部１６４で検出されても、その検出タイミングをタイミング判定処理に用いるべきでない入力データとして処理する。
【００４４】
音判定部１１６は、取得部１１２で取得された検出音量と基準音量（広義には、基準音データ）とを比較する音量判定処理（広義には、音判定処理）とを行って、その判定結果に基づいて、プレーヤの操作部１６２の操作強度やプレーヤの拍手（音入力動作）による発生音の大きさを評価する。具体的には、基準音量のデータは記憶部１７０の基準データ記憶部１７４に記憶される。基準音量は、閾値や範囲で設定することができる。この基準音量を設定するための閾値や範囲は１つの指示マークに対して複数設定されていてもよい。音判定部１１６は、この記憶された基準音量のデータを読出し、取得された検出音量が基準音量として設定された閾値を超えているか、あるいは取得された検出音量が基準音量として設定された範囲内に収まっているかを判定する処理を音量判定処理として行う。例えば、操作指示マークあるいは音入力指示マークにおいて強い入力動作を行うべきことが指示されている場合には、音量判定処理では、取得された検出音量が基準音量として設定された閾値を超えていれば、プレーヤの操作部１６２の叩き操作（操作）あるいはプレーヤの拍手（音入力動作）が適正な入力動作であると評価される。一方、この場合に取得された検出音量が基準音量として設定された閾値を下回っていれば、プレーヤの操作部１６２の叩き操作あるいはプレーヤの拍手が誤った（適正ではない）入力動作であると評価される。
【００４５】
また音判定部１１６は、取得部１１２で取得された操作部１６２の叩き操作音の波形情報と基準波形とを比較する波形判定処理（広義には、音判定処理）を行って、その判定結果に基づいて、プレーヤの操作部１６２の叩き操作を評価する処理を行う。具体的には、基準となる叩き操作音の時間軸に対する音量変化（音波の形状）、周波数変化、波長変化あるいは位相変化などを基準波形のデータとして記憶部１７０の基準データ記憶部１７４に記憶しておき、その基準波形と取得された叩き操作音の波形情報とを比較して、その一致の程度あるいはズレの程度を判定する処理を波形判定処理として行う。例えば、波形判定処理では、取得された叩き操作音の波形が基準波形と近いと判断されるほどプレーヤの叩き操作に対して高い評価が与えられる。このようにすれば、音色や音程といった評価指標に基づいてプレーヤの叩き操作を評価することができる。
【００４６】
タイミング判定部１１７は、取得部１１２で取得された操作タイミングあるいは検出タイミングと、基準タイミング（広義には、基準操作データ）とを比較するタイミング判定処理（操作タイミング判定処理あるいは検出タイミング判定処理、広義には、操作判定処理）を行い、その判定結果に基づいてプレーヤの入力動作（叩き操作あるいは拍手）を評価する。具体的には、お手本となる基準タイミングのデータは記憶部１７０の基準データ記憶部１７４に記憶される。タイミング判定部１１５は、この記憶された基準タイミングのデータを読み出し、取得された操作タイミングあるいは検出タイミングと基準タイミングとの一致の程度を判定する処理や、操作タイミングあるいは検出タイミングと基準タイミングのずれの程度を判定する処理をタイミング判定処理として行う。例えば、タイミング判定処理では、取得された操作タイミングや検出タイミングが基準タイミングと近いほどプレーヤの叩き操作や拍手（入力動作）に対して高い評価が与えられる。なお、タイミング判定処理は、入力種別判定部１１５の入力種別判定処理及び音判定部１１６の音量判定処理の各判定処理の判定結果に基づいて、プレーヤの入力動作が指示内容に合致した適正な入力動作であると判定された操作タイミング及び検出タイミングに基づいて行うようにしてもよい。また入力種別判定部１１５の入力種別判定処理あるいは音判定部１１６の音量判定処理の各判定処理の判定結果に基づいて、プレーヤの入力動作（叩き操作あるいは拍手）が指示内容と異なる入力動作（誤った入力動作）であると判定された操作タイミング及び検出タイミングについては、タイミング判定処理において最も低い評価に相当する判定結果で処理されるようにしてもよい。
【００４７】
そして本実施形態では、表示制御部１１１が、操作指示マークや音入力指示マークを楽曲データの再生と連動して表示する制御を行う。そして操作指示マークあるいは音入力指示マークの判定期間にプレーヤが入力動作（操作部１６２の叩き操作あるいは拍手）を行った場合には、評価部１１４が、その入力動作について取得されたタイミングについてその入力種別を入力種別判定部１１５の入力種別判定処理で評価して適正な入力動作であったか否かを評価する。またプレーヤの行った入力動作に関して音検出部１６４が検出した叩き操作音あるいは拍手の音の検出音量と基準音量とを比較する音量判定処理を音判定部１１６で行って、その判定結果に基づいてプレーヤの叩き操作の強度あるいは拍手の発生音量が指示された条件を満たした適正なものであるか否かを判断する。そして取得部１１２で取得された操作タイミングあるいは検出タイミングと基準タイミングとを比較するタイミング判定処理を入力種別判定処理及び音量判定処理において適正な入力動作であると判定されたタイミングについてタイミング判定部１１５で行って、その判定結果によりプレーヤの叩き操作あるいは拍手を評価し、その評価結果としてプレーヤの得点等を計算する。
【００４８】
なお、操作指示マークや音入力指示マークが楽曲データの再生と連動して表示されるというのは、例えば、楽曲データの再生（音楽データの出力）が開始するとともに、各指示マークと基準マークとの位置関係を変化させる移動表示処理が開始され、楽曲データの再生終了に伴い、その移動表示処理も終了することである。また操作指示マークや音入力指示マークが楽曲データの再生（再生状況）に連動して表示されるという場合、例えば、各指示マークの表示タイミングが楽曲データの音再生タイミングと対応付けられていることを含む。
【００４９】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。
【００５０】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。本実施形態のゲームシステムにおいて実現される音楽ゲームの楽曲データの再生は、楽曲再生部１３２が行う。具体的には、記憶部１７０の楽曲データ記憶部１７８に記憶された楽曲データ（広義には、音楽データ）を読み出して楽曲データに基づくゲーム音を生成し、音出力部１９２に出力する処理を行う。
【００５１】
なお、本実施形態のゲームシステムは、１人のプレーヤのみがプレイできるシングルプレーヤモード（シングルプレーヤ形式）専用のシステムにしてもよいし、このようなシングルプレーヤモードのみならず、複数のプレーヤがプレイできるマルチプレーヤモード（マルチプレーヤ形式）も備えるシステムにしてもよい。また複数のプレーヤがプレイする場合に、これらの複数のプレーヤに提供するゲーム画像やゲーム音を、１つの端末を用いて生成してもよいし、ネットワーク（伝送ライン、通信回線）などで接続された複数の端末（ゲーム機、携帯電話）を用いて生成してもよい。
【００５２】
２．本実施形態の手法
次に本実施形態の手法について図面を用いて説明する。
【００５３】
２．１ 操作指示および音入力指示の手法
本実施形態では、互いに表示態様の異なる操作指示マークと音入力指示マークとを表示する表示制御を行って、入力装置（打楽器型コントローラ）１６０の操作部１６２の叩き操作（操作）の指示と、音検出部１６４への拍手（音入力動作）の指示とを行っている。
【００５４】
例えば、図３（Ａ）では、ライン（楽譜）ＭＬＮ上を操作指示マークＳＤＭと音入力指示マークＯＤＭとが、楽曲データの再生に連動して基準マークＲＭに向かって移動するように表示制御が行われている。操作指示マークＳＤＭと音入力指示マークＯＤＭとは、プレーヤがその指示を識別可能な表示態様で表示される。例えば、形状、模様、色、大きさなどを異なるものとすることができる。プレーヤは、操作指示マークＳＤＭおよび音入力指示マークＯＤＭの移動の様子を表示部１９０に表示されたゲーム画面を通じて観察し、図３（Ｂ）に示すように、例えば操作指示マークＳＤＭが基準マークＲＭを通過するタイミングに合わせて入力装置１６０の操作部１６２を叩き操作する。このとき、図３（Ｂ）に示すように、操作指示マークＳＤＭの中心部が基準マークＲＭと重なるタイミング（基準タイミング）で叩き操作がなされると、高い評価（“ＧＲＥＡＴ”）が得られ、その評価を反映した高い得点が与えられる。音入力指示マークＯＤＭについても同様であり、音入力指示マークＯＤＭの中心部が基準マークＲＭと重なるタイミングで拍手をすると、高い評価が与えられ、その評価を反映した高い得点が与えられる。
【００５５】
なお、図３（Ａ）及び図３（Ｂ）では、操作指示マークＳＤＭ及び音入力指示マークＯＤＭの方が移動表示され、基準マークＲＭの方が静止表示されているが、操作指示マークＳＤＭ及び音入力指示マークＯＤＭを静止表示させて、基準マークＲＭの方を移動表示させてもよい。あるいは、操作入力指示マークＳＤＭ及び音入力指示マークＯＤＭと基準マークＲＭの両方を互いに近づくように移動させてもよい。即ち、タイミング判定のための基準マークＲＭと操作入力指示マークＳＤＭ及び音入力指示マークＯＤＭとの相対的な位置関係を変化させて、両者を接近させる表示制御を行うものであればよい。また、本実施形態で実現されるゲームを複数のプレーヤでプレイする場合には、操作入力指示マークＳＤＭと音入力指示マークＯＤＭとが全てのプレーヤに対して同じ表示タイミングで表示されるように制御してもよいし、プレーヤ毎に異なる表示タイミングで表示されるように制御してもよい。
【００５６】
また本実施の形態では、プレーヤの操作部１６２への叩き操作の強さ（操作強度）やプレーヤの拍手の発生音の大きさをも評価するため、プレーヤに操作指示マークおよび音入力指示マークの表示態様をプレーヤが行うべき入力動作の強さに応じて変更する表示制御を行っている。
【００５７】
具体的には、図４に示すように、操作部１６２の操作の強さの指示に関して強い入力（強い叩き操作）と弱い入力（弱い叩き操作）とで操作指示マークの色を変えて表示し、音検出部１６４への拍手の発生音の大きさの指示に関して強い入力（大きい音の拍手）と弱い入力（小さい音の拍手）とで音入力指示マークの色を変えて表示する表示制御を行う。なお各指示マークの表示態様は、強い入力を指示するマークと弱い入力を指示するマークとで、色を異なるものとする以外に、例えば、形状、模様、大きさなどを異なるものとすることができる。
【００５８】
図５では、強い入力と弱い入力との指示について操作指示マーク及び音入力指示マークの表示態様を変更させた表示例が示されている。操作指示マークＳＤＭ１は、強い叩き操作を行うべきことを指示しており、操作指示マークＳＤＭ２は、弱い叩き操作を行うべきことを指示している。また音入力指示マークＯＤＭ１は小さな音の入力をすべきことを指示しており、音入力指示マークＯＤＭ２は大きな音の入力をすべきことを指示している。プレーヤは、これらの各指示マークに応答して、各指示マークと基準マークＲＭとの位置関係を見ながらタイミングを合わせて操作部１６２の操作（叩き操作）や音入力動作（拍手）をするとともに、各指示マークで指示された入力の強さの条件を満足するように、操作部１６２の叩き操作や拍手をすることにより音楽ゲームをプレイする。
【００５９】
２．２ 指示マークの判定期間の報知手法
本実施形態では、基準マークと指示マーク（操作指示マークあるいは音入力指示マーク）との位置関係を変化させる表示制御を行うことによって、プレーヤが行うべき入力動作（操作部１６２の叩き操作あるいは拍手）を指示する指示マークについて設定された判定期間をプレーヤに報知している。
【００６０】
例えば図６（Ａ）〜図６（Ｃ）では、ラインＭＬＮ上の基準位置（広義には、所与の位置）に静止表示される基準マークＲＭに向かって指示マークＤＭが移動表示されている。そして基準マークＲＭと指示マークＤＭとの相対的な位置関係が変更され、互いが接近するように表示制御されている。そして、図６（Ａ）では、指示マークＤＭの先頭（広義には、一端）が基準マークＲＭに到達し、その時点から指示マークＤＭについて設定された判定期間が開始することをプレーヤに知らせている。図６（Ｂ）では、指示マークＤＭがさらに移動して、指示マークＤＭと基準マークＲＭとがオーバーラップした状態となっている。この状態は指示マークＤＭの判定期間中であることを意味する。そして、指示マークＤＭがさらに移動して、図６（Ｃ）に示すように、指示マークＤＭの最後尾（広義には、他端）が基準マークＲＭに到達すると、指示マークＤＭについて設定された判定期間が終了することを意味する。すなわち、この時点を超えてプレーヤが入力動作（叩き操作あるいは拍手）を行っても評価の対象とはならないか、もしくは最低の評価が与えられることを意味する。このようにして、本実施形態では、指示マークＤＭの移動表示処理により静止表示された基準マークＲＭとの位置関係によって指示マークＤＭについて設定された判定期間をプレーヤに分かりやすく示すことができる。
【００６１】
なお、指示マークＤＭが静止表示され、基準マークＲＭを移動表示させることにより、各マークを接近させてもよく、さらに指示マークＤＭおよび基準マークＲＭの双方を移動表示させることにより各マークを接近させてもよい。また図６（Ａ）〜図６（Ｃ）の例では、指示マークＤＭについて設定されている判定期間の全期間を基準マークＲＭとの重なり具合によってプレーヤに示すような表示制御を行う場合を説明したが、指示マークＤＭと基準マークＲＭとの位置関係によってプレーヤに報知される指示マークＤＭの判定期間はその一部の期間であってもよい。
【００６２】
また指示マークＤＭについて設定された判定期間を表示する態様は、上記のものに限られず、種々の態様による変更が可能である。例えば、図７（Ａ）に示すように、基準マークＲＭを指示マークＤＭと同じ形状で表示することにより、基準マークＲＭと指示マークＤＭとがオーバーラップしている期間を指示マークＤＭの判定期間としてもよい。また例えば、図７（Ｂ）に示すように、指示マークＤＭの長さを変更することによって、指示マークＤＭと基準マークＲＭとがオーバーラップしている期間を指示マークＤＭの判定期間としてもよい。
【００６３】
２．３ プレーヤの入力動作の評価手法
本実施形態では、プレーヤの入力動作について入力種別、入力強度、入力タイミングについて、それぞれ判定処理を行って、プレーヤの入力動作を評価している。以下、判定手法ごとに分けて説明する。
【００６４】
２．３１ プレーヤの入力動作の入力種別判定手法
次に本実施形態のプレーヤの入力動作（叩き操作あるいは拍手）の入力種別評価手法を説明する。本実施形態のゲームシステムでは、操作部１６２と音検出部１６４という入力種別の異なる入力インターフェースを用いて音楽ゲームをプレイする。しかしながら、音検出部１６４は、操作部１６２の叩き操作による発生音（叩き操作音）と拍手による発生音とを区別して検出することができない。これらの発生音を区別することができるような検出部材は高価でありゲームシステムへの適用は現実的ではない。そこで本実施の形態では、プレーヤが操作指示マークや音入力指示マークに応答して行った入力動作を適切に評価するために、プレーヤの行った入力動作について取得されるタイミングデータ（操作タイミング及び検出タイミング）の取得時期を利用して、プレーヤの意図した入力動作を正確に判別する入力種別判定手法を採用している。
【００６５】
具体的には、図８（Ａ）に示すように、音入力指示マークについての判定期間Ｔｈにおいて、プレーヤが誤って操作部１６２を叩き操作したため、操作タイミングＴ１が取得され、またその操作部１６２の叩き操作音を検出タイミングＴ２で検出したとする。この場合には、叩き操作音の検出タイミングに基づいて入力動作の評価がなされると、プレーヤの行った叩き操作は指示マークの指示内容に合致しないものであるにもかかわらず、誤ったタイミング判定処理の結果に基づいて入力動作が評価されてしまう。そこで、本実施形態の入力種別判定手法では、音入力指示マークについての判定期間Ｔｈ内に操作タイミングＴ１と検出タイミングＴ２とが重複して取得された場合であって、操作タイミングＴ１が取得された時点から遅延時間Ｔｄ以内に検出タイミングＴ２が取得された場合には、叩き操作音の検出タイミングＴ２は、適正な入力動作に基づくものではないと判定（評価）する。一方、操作指示マークについての判定期間内に操作タイミングと検出タイミングが重複して取得された場合には、その操作タイミングは適切な入力動作に基づくものであると判定（評価）する。
【００６６】
また他の例として、図８（Ｂ）に示すように、音入力指示マークについての判定期間Ｔｈを区分した複数の入力種別判定期間Ｔｈ１〜Ｔｈ３を予め設定しておき、同一の入力種別判定期間内において操作タイミングＴ１と検出タイミングＴ２とが重複して取得された場合には、叩き操作音の検出タイミングＴ２は、適正な入力動作に基づくものではない、言い換えれば、検出タイミングＴ２は、誤って行われた叩き操作に基づくものであると判定（評価）するようにしてもよい。この場合においても、操作指示マークについての判定期間内に操作タイミングと検出タイミングが重複して取得された場合には、その操作タイミングは適切な入力動作（指示内容に合致した入力動作）に基づくものであると判定（評価）する。
【００６７】
このように本実施形態の入力種別判定手法によれば、操作部１６２と音検出部１６４という入力種別の異なる入力インターフェースを利用してプレーヤに入力動作（叩き操作あるいは拍手）を行わせるシステムにおいて、操作部１６２の叩き操作（操作）と音検出部１６４への拍手（音入力動作）とを正確に判別することができる。すなわち、プレーヤの意図しない入力、すなわち誤入力を適正な入力（指示内容に合った入力）と判断して間違った評価がなされることを防止することができる。
【００６８】
２．３２ プレーヤの入力動作の入力強度判定手法
次に本実施形態のプレーヤの入力動作の入力強度評価手法を説明する。本実施形態では、図４及び図５に示したように、操作指示マークと音入力指示マークとにおいて、操作部１６２の叩き操作の強度条件及び拍手の発生音量条件を、強い入力動作と弱い入力動作とに分けてプレーヤに指示している。そこで、操作指示マークで指示される叩き操作の強弱については、操作部１６２の叩き操作音についての音検出部１６４の検出音量を利用し、音入力指示マークで指示される拍手の音の強弱については、拍手による発生音についての音検出部１６４の検出音量を利用して、各検出音量の大きさに基づいて入力強度を判定（評価）する入力強度判定手法を採用している。具体的には、検出音量の大きさを判別するために音量閾値（基準音量）を設定しておき、検出音量と閾値とを比較することにより、その閾値を超える音量が検出された場合には、強い入力動作（強い叩き操作あるいは大きな音の拍手）がなされたと判定し、その閾値を下回る音量が検出された場合には、弱い入力動作（弱い叩き操作あるいは小さな音の拍手）がなされたと判定（評価）する。
【００６９】
図９（Ａ）では、２つの指示マークについての判定期間Ｔｈ１，Ｔｈ２において取得された検出音量の時間変化が示されている。例えば、判定期間Ｔｈ１では、強い入力動作が要求されており、判定期間Ｔｈ２では、弱い入力動作が要求されているとする。この場合には、判定期間Ｔｈ１ではタイミングＴ１で入力動作（叩き操作あるいは拍手）が行われて、そのタイミングＴ１での検出音量ＬＶ１が音量の強弱を判定するための基準音量ＬＶｔｈ(閾値)を超えている。すなわちタイミングＴ１で行われた入力動作は、指示された強い入力動作で行われたものと判定され、適切な入力動作が行われたものと評価される。また判定期間Ｔｈ２ではタイミングＴ２で入力動作（叩き操作あるいは拍手）が行われて、そのタイミングＴ２での検出音量ＬＶ２が基準音量ＬＶｔｈ(閾値)を下回っている。すなわちタイミングＴ２で行われた入力動作は、指示された弱い入力動作で行われたものと判定され、適切な入力動作が行われたものと判定（評価）される。
【００７０】
一方で、図９（Ａ）に示す場合において、例えば、判定期間Ｔｈ１では、弱い入力動作が要求されており、判定期間Ｔｈ２では、強い入力動作が要求されているとする。この場合には、判定期間Ｔｈ１内において行われたタイミングＴ１での入力動作は、指示された弱い入力動作ではないと判定され、誤った入力動作が行われたものと評価される。また判定期間Ｔｈ２において行われたタイミングＴ２での入力動作は、指示された強い入力動作ではないと判定され、誤った入力動作が行われたものと判定（評価）される。
【００７１】
ここで、音検出部１６４は、周囲の雑音も検出してしまうため、弱い入力動作（弱い叩き操作あるいは小さな音の拍手）を判別する場合においては、叩き操作音や拍手の音が雑音と確実に区別される必要がある。そこで本実施形態では、図９（Ｂ）に示すように、検出音量の大きさを判定するための第１の基準音量（第１の閾値）ＬＶｔｈＨと雑音を排除するための第２の基準音量(第２の閾値)ＬＶｔｈＬとを設定しておくことにより、雑音を叩き操作音あるいは拍手の音と誤って認識することなく、検出音量が第１の基準音量ＬＶｔｈＨを超えていれば、強い入力動作がなされたと評価（判定）し、第１の基準音量ＬＶｔｈＨと第２の基準音量ＬＶｔｈＬとの間の音量範囲に属していれば、弱い入力動作がなされたと評価（判定）することができる。なお第２の基準音量は、プレーヤの周囲の雑音レベル（プレイ環境）に応じて調節することができるようにしてもよい。
【００７２】
このように本実施形態の手法では、比較的簡便な構成及び処理でプレーヤの操作部１６２の操作強度及び拍手の音の大きさを判別することができるようになり、音楽ゲームのゲーム性の向上及び入力インターフェース環境の向上を図ることができる。
【００７３】
２．３３ プレーヤの入力動作のタイミング判定手法
次に本実施形態のプレーヤの入力動作のタイミング判定手法を説明する。プレーヤは、指示マークＤＭの中心が基準マークＲＭに到達する基準タイミングで入力部（操作部１６２あるいは音検出部１６４）に対して入力動作（叩き操作あるいは拍手）を行うことが要求されている。そして本実施の形態では、プレーヤが指示マークＤＭの判定期間に行った入力動作の入力タイミング（操作タイミングあるいは検出タイミング）を基準タイミングと比較して、その一致の程度を判定するタイミング判定処理（操作タイミング判定処理あるいは検出タイミング判定処理）を行っている。そして、このタイミング判定処理によってプレーヤが指示内容を満たしているか否かを評価して、本実施形態のゲームシステムでは、３段階（“ＧＲＥＡＴ”、“ＯＫ”、“ＢＡＤ”）の評価をプレーヤの入力動作に対して行うタイミング判定手法を採用している。
【００７４】
具体的に図１０を用いて、本実施形態のタイミング判定手法について詳細に説明する。図１０には、指示マークＤＭ及び基準マークＲＭの位置関係と判定期間との関係と入力タイミングｔ１〜ｔ３に関するタイミング判定手法の例が示されている。
【００７５】
指示マークＤＭについての判定期間は、図３（Ａ）〜図３（Ｃ）に示したように、指示マークＤＭの先頭（一端）が基準マークＲＭに到達するタイミングＴｓから開始し、指示マークＤＭの最後尾（他端）が基準マークＲＭに到達するタイミングＴｅで終了する。このタイミングＴｓからタイミングＴｅまでの判定期間を“ＧＲＥＡＴ”と判定される期間、“ＯＫ”と判定される期間、及び“ＢＡＤ”と判定される期間に区分してプレーヤの入力タイミングがいずれの期間に属するかによってプレーヤの入力タイミングの判定が行われる。より具体的には、移動表示される指示マークＤＭの中心と静止表示されている基準マークＲＭとが重なるタイミング（基準タイミング）が含まれる期間を“ＧＲＥＡＴ”という最も高い評価が得られる期間として設定し、その期間から離れるに従って“ＯＫ”、“ＢＡＤ”と順に評価が低くなるように判定期間内での各期間が設定されている。そして図６に示す例では、タイミングｔ１で入力動作（叩き操作あるいは拍手）が行われた場合には、入力タイミングとしては“ＢＡＤ”と判定され、タイミングｔ２で入力動作が行われた場合には、入力タイミングとしては“ＧＲＥＡＴ”と判定され、タイミングｔ３で入力動作が行われた場合には、入力タイミングとしては“ＯＫ”と判定される。
【００７６】
なお、プレーヤの入力動作のタイミングについて行われる３段階の評価は、プレーヤの入力動作の入力種別及び入力強度が操作指示マークあるいは音入力指示マークでの指示内容に合致していることを条件に適正に行われる。すなわち、プレーヤの入力動作についての入力種別及び入力強度についての判定の結果、適正な入力動作（指示内容に合致した入力動作）であると評価された場合には、タイミング判定を行う。この場合には、プレーヤがいかなるタイミングで入力動作を行ったとしても、例えば操作部１６２の叩き操作をすべきことを指示する操作指示マークについてプレーヤが誤って拍手を行っていた場合や、例えば強い入力動作が指示マークで指示されているのにもかかわらずプレーヤが弱い入力動作を行ったような場合には、最も低い評価である“ＢＡＤ”と判定されるようにしてもよい。従って、本実施形態の手法によれば、プレーヤに定められた入力種別や入力強度の条件を満たすように叩き操作させたり、拍手をさせたりするための強い動機付けを与えることができる。
【００７７】
３．本実施形態の処理
次に本実施形態の詳細な処理例について図１１のフローチャートを用いて説明する。
【００７８】
まず、プレーヤが音楽ゲームの曲を選択するための画面を表示する処理を行う（ステップＳ１０）。そしてプレーヤにより選択された曲に対応する楽曲データを再生出力する処理を行う（ステップＳ１１）。
【００７９】
次に、指示マーク（音符）についての表示タイミングが到来したと判断されたら（ステップＳ１２でＹ）、図３（Ａ）や図５で説明したように操作指示マークあるいは音入力指示マークの画像データをマーク記憶部から読み出し、各マークについての移動処理を行うと共にその表示処理を行う（ステップＳ１３）。即ち、所与の移動速度で指示マークをライン上で移動させる。なお、基準マークを指示マークの方に移動表示させてもよい。
【００８０】
次に、入力動作のタイミング（操作タイミングあるいは検出タイミング）を取得する処理を行う（ステップＳ１４）。続いて、ステップＳ１４で取得されたタイミングにおける音検出部の検出音量を取得する（ステップＳ１５）。ステップＳ１４及びステップＳ１５では、ステップＳ１３の移動処理及び表示処理により表示された指示マークについてプレーヤが入力装置に対して入力動作（叩き操作あるいは拍手）をした場合に、プレーヤにより入力された入力データを例えばフレーム毎にサンプリングし、サンプリングされたタイミングデータ検出音量データを記憶バッファに保持する。
【００８１】
次に、入力種別処理を行う（ステップＳ１６）。即ち記憶バッファに保持された操作タイミング及び検出タイミングが同一の判定期間内に重複して取得されたか否かを判定し、取得された操作タイミング及び検出タイミングが適正な入力動作に基づくものであるか否かを評価する。
【００８２】
次に、音量判定処理を行う（ステップＳ１７）。即ち記憶バッファに保持された検出音量と基準音量とを比較して、プレーヤの叩き操作の強さやプレーヤ拍手の音の大きさにより入力動作の強度を評価して、プレーヤの入力動作が指示された内容に合った適正なものであるか否かを評価する。
【００８３】
次に、タイミング判定処理を行う（ステップＳ１８）。即ち記憶バッファに保持された操作タイミングあるいは検出タイミングと記憶部に記憶される基準タイミングとを比較する。例えば、操作タイミングあるいは検出タイミングと基準タイミングとのずれが小さくなるほど（操作タイミングあるいは検出タイミングと基準タイミングとが一致しているほど）、プレーヤの操作や音入力動作の評価が高くなるように比較判定処理を行う。なお、操作タイミングあるいは検出タイミングが入力種別判定処理あるいは音量判定処理のいずれかの判定結果において適切な入力動作に基づくものでないと判定されている場合には、操作タイミング及び検出タイミングと基準タイミングとの一致の程度に関係なく、最低の評価を与えるように処理する。
【００８４】
そして、プレーヤの得点の加算処理を行う（ステップＳ１９）。具体的にはステップＳ１６〜ステップＳ１８での各判定処理によるプレーヤの入力動作の評価に応じた得点を、プレーヤの得点に加算する。続いて、楽曲データの再生が終了したか否かを判断し（ステップＳ２０）、終了していない場合には（ステップＳ２０でＮ）、ステップＳ１１に戻る。終了した場合には（ステップＳ２０でＹ）、プレーヤの最終のゲーム結果を判定して、表示する（ステップＳ２１）。
【００８５】
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。
【００８６】
例えば、明細書又は図面中の記載において広義や同義な用語（第１の入力動作、第２の入力動作、第１の指示マーク、第２の指示マーク等）として引用された用語（叩き操作（操作）、拍手（音入力動作）、操作指示マーク、音入力指示マーク等）は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。
【００８７】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【００８８】
また操作指示および音入力指示の手法、指示マークの判定期間の報知手法、プレーヤの入力動作の評価手法は、本実施の形態で説明したものに限られず、これらと均等な手法により実現してもよい。
【００８９】
また本発明は、図１のような打楽器の形状を模した操作部を用いた音楽ゲームに好適であるが、それ以外の楽器を用いた音楽ゲームにも適用できる。また楽器を用いない音楽ゲームにも適用できる。
【００９０】
また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、携帯電話等の種々のゲームシステム（画像生成システム）に適用できる。
【図面の簡単な説明】
【００９１】
【図１】本実施形態のゲームシステムの例である。
【図２】本実施形態のゲームシステムの機能ブロック図の例である。
【図３】図３（Ａ）及び図３（Ｂ）は、操作指示および音入力指示の手法の説明図である。
【図４】操作指示および音入力指示の手法の説明図である。
【図５】操作指示および音入力指示の手法の説明図である。
【図６】図６（Ａ）〜図６（Ｃ）は、指示マークの判定期間の報知手法の説明図である。
【図７】図７（Ａ）及び図７（Ｂ）は、指示マークの判定期間の報知手法の説明図である。
【図８】図８（Ａ）及び図８（Ｂ）は、プレーヤの入力動作の入力種別判定手法の説明図である。
【図９】図９（Ａ）及び図９（Ｂ）は、プレーヤの入力動作の入力強度判定手法の説明図である。
【図１０】プレーヤの入力動作のタイミング判定手法の説明図である。
【図１１】本実施形態の処理例を示すフローチャートである。
【符号の説明】
【００９２】
ＤＭ 指示マーク、ＳＤＭ 操作指示マーク、ＯＤＭ 音入力指示マーク、
ＲＭ 基準マーク、ＭＬＮ ライン、
１００ 処理部、１１１ 表示制御部、１１２ 取得部、
１１４ 評価部、
１１５ 入力種別判定部、１１６ 音判定部、１１７ タイミング判定部、
１２０ 画像生成部、１３０ 音生成部、１３２ 楽曲再生部、
１６０ 入力装置、１６２ 操作部、１６４ 音検出部、
１７０ 記憶部、
１７２ マーク記憶部、１７４ 基準データ記憶部、１７６ 楽曲データ記憶部、
１８０ 情報記憶媒体、１８２ 携帯型情報記憶装置、
１９０ 表示部、１９２ 音出力部、１９４ 通信部
【特許請求の範囲】
【請求項１】
プレーヤが操作部を操作してプレイする音楽ゲームのためのプログラムであって、
記憶部に格納された楽曲データの再生を行う楽曲再生部と、
プレーヤが前記操作部に対して行うべき操作を指示する操作指示マークを前記楽曲データの再生状況に連動して表示させる表示制御を行う表示制御部と、
前記操作指示マークについて設定された判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作タイミングと、該判定期間において音検出部で検出された前記操作部の操作音の検出音量を取得する取得部と、
取得された前記操作タイミングと基準タイミングとを比較する操作タイミング判定処理と、取得された前記検出音量と基準音量とを比較する音量判定処理とを行って、前記操作タイミング判定処理及び前記音量判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部として、
コンピュータを機能させ、
前記評価部が、
前記音量判定処理の判定結果に基づいて、プレーヤの前記操作部の操作強度を評価することを特徴とするプログラム。
【請求項２】
請求項１において、
前記表示制御部が、
プレーヤが前記操作部に対して行うべき操作の操作強度の条件を、前記操作指示マークによってプレーヤに指示する表示制御を行い、
前記評価部が、
前記音量判定処理の判定結果に基づいて、プレーヤの前記操作部の操作強度が前記操作指示マークで指示された操作強度の条件を満たしていると評価された場合には、前記操作タイミング判定処理の判定結果に基づいてプレーヤの操作を評価することを特徴とするプログラム。
【請求項３】
請求項１または２において、
前記表示制御部が、
プレーヤが前記音検出部に対して行うべき音入力動作を指示する音入力指示マークを前記楽曲データの再生状況に連動して表示させる表示制御を行い、
前記取得部が、
前記音入力指示マークについて設定された判定期間にプレーヤが前記音入力動作を行った場合に、該判定期間において前記音検出部で検出された音の検出タイミングを取得し、
前記評価部が、
取得された前記検出タイミングと前記基準タイミングとを比較する検出タイミング判定処理を行って、前記検出タイミング判定処理の判定結果に基づいてプレーヤの音入力動作を評価することを特徴とするプログラム。
【請求項４】
請求項３において、
前記取得部が、
前記音入力指示マークについて設定された判定期間にプレーヤが前記音入力動作を行った場合に、該判定期間において前記音検出部で検出された音の検出音量を取得し、
前記評価部が、
取得された前記検出音量と基準音量とを比較する音量判定処理を行って、前記音量判定処理の判定結果に基づいて、プレーヤの音入力動作を評価することを特徴とするプログラム。
【請求項５】
請求項４において、
前記表示制御部が、
プレーヤが音入力動作により発生させるべき音の音量の条件を、前記音入力指示マークによってプレーヤに指示する表示制御を行い、
前記評価部が、
前記音量判定処理の判定結果に基づいて、プレーヤの音入力動作による発生音が、前記音入力指示マークで指示された音量の条件を満たしていると評価された場合には、前記検出タイミング判定処理の判定結果に基づいてプレーヤの音入力動作を評価することを特徴とするプログラム。
【請求項６】
請求項３〜５のいずれかにおいて、
前記評価部が、
前記取得部で取得された前記操作部の操作タイミング及び前記音検出部の検出タイミングに基づいて入力種別判定処理を行い、
前記入力種別判定処理において、前記操作指示マークについて設定された判定期間内に、前記操作部の操作タイミングと前記音検出部の検出タイミングとが重複して取得されたと判断される場合には、当該操作タイミングに基づいて操作タイミング判定処理を行い、
前記入力種別判定処理において、前記音入力指示マークについて設定された判定期間内に、前記操作部の操作タイミングと前記音検出部の検出タイミングとが重複して取得されたと判断される場合には、当該検出タイミングに基づく検出タイミング判定処理を行わないことを特徴とするプログラム。
【請求項７】
請求項１〜６のいずれかにおいて、
前記取得部が、
前記操作指示マークについて設定された判定期間に音検出部で検出された前記操作部の操作音の波形情報を取得し、
前記評価部が、
取得された波形情報と基準波形とを比較する波形判定処理を行って、前記波形判定処理の結果に基づいてプレーヤの操作を評価することを特徴とするプログラム。
【請求項８】
プレーヤが操作部を操作してプレイするゲームのためのプログラムであって、
所与の判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作データと、該判定期間において音検出部で検出された前記操作部の操作音の検出音データを取得する取得部と、
取得された前記操作データと基準操作データとを比較する操作判定処理と、取得された前記検出音データと基準音データとを比較する音判定処理とを行って、前記操作判定処理及び前記音判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項９】
コンピュータにより読取可能な情報記憶媒体であって、請求項１〜８のいずれかに記載のプログラムを記憶することを特徴とする情報記憶媒体。
【請求項１０】
プレーヤが操作部を操作してプレイするゲームのためのゲームシステムであって、
所与の判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作データと、該判定期間において音検出部で検出された前記操作部の操作音の検出音データを取得する取得部と、
取得された前記操作データと基準操作データとを比較する操作判定処理と、取得された前記検出音データと基準音データとを比較する音判定処理とを行って、前記操作判定処理及び音判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部と、
を含むことを特徴とするゲームシステム。
【請求項１１】
プレーヤが操作部を操作してプレイする音楽ゲームのためのゲームシステムであって、
記憶部に格納された楽曲データの再生を行う楽曲再生部と、
プレーヤが前記操作部に対して行うべき操作を指示する操作指示マークを前記楽曲データの再生状況に連動して表示させる表示制御を行う表示制御部と、
前記操作指示マークについて設定された判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作タイミングと、該判定期間において音検出部で検出された前記操作部の操作音の検出音量を取得する取得部と、
取得された前記操作タイミングと基準タイミングとを比較する操作タイミング判定処理と、取得された前記検出音量と基準音量とを比較する音量判定処理とを行って、前記操作タイミング判定処理及び前記音量判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部と、
を含み、
前記評価部が、
前記音量判定処理の判定結果に基づいて、プレーヤの前記操作部の操作強度を評価することを特徴とするゲームシステム。
【請求項１】
プレーヤが操作部を操作してプレイする音楽ゲームのためのプログラムであって、
記憶部に格納された楽曲データの再生を行う楽曲再生部と、
プレーヤが前記操作部に対して行うべき操作を指示する操作指示マークを前記楽曲データの再生状況に連動して表示させる表示制御を行う表示制御部と、
前記操作指示マークについて設定された判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作タイミングと、該判定期間において音検出部で検出された前記操作部の操作音の検出音量を取得する取得部と、
取得された前記操作タイミングと基準タイミングとを比較する操作タイミング判定処理と、取得された前記検出音量と基準音量とを比較する音量判定処理とを行って、前記操作タイミング判定処理及び前記音量判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部として、
コンピュータを機能させ、
前記評価部が、
前記音量判定処理の判定結果に基づいて、プレーヤの前記操作部の操作強度を評価することを特徴とするプログラム。
【請求項２】
請求項１において、
前記表示制御部が、
プレーヤが前記操作部に対して行うべき操作の操作強度の条件を、前記操作指示マークによってプレーヤに指示する表示制御を行い、
前記評価部が、
前記音量判定処理の判定結果に基づいて、プレーヤの前記操作部の操作強度が前記操作指示マークで指示された操作強度の条件を満たしていると評価された場合には、前記操作タイミング判定処理の判定結果に基づいてプレーヤの操作を評価することを特徴とするプログラム。
【請求項３】
請求項１または２において、
前記表示制御部が、
プレーヤが前記音検出部に対して行うべき音入力動作を指示する音入力指示マークを前記楽曲データの再生状況に連動して表示させる表示制御を行い、
前記取得部が、
前記音入力指示マークについて設定された判定期間にプレーヤが前記音入力動作を行った場合に、該判定期間において前記音検出部で検出された音の検出タイミングを取得し、
前記評価部が、
取得された前記検出タイミングと前記基準タイミングとを比較する検出タイミング判定処理を行って、前記検出タイミング判定処理の判定結果に基づいてプレーヤの音入力動作を評価することを特徴とするプログラム。
【請求項４】
請求項３において、
前記取得部が、
前記音入力指示マークについて設定された判定期間にプレーヤが前記音入力動作を行った場合に、該判定期間において前記音検出部で検出された音の検出音量を取得し、
前記評価部が、
取得された前記検出音量と基準音量とを比較する音量判定処理を行って、前記音量判定処理の判定結果に基づいて、プレーヤの音入力動作を評価することを特徴とするプログラム。
【請求項５】
請求項４において、
前記表示制御部が、
プレーヤが音入力動作により発生させるべき音の音量の条件を、前記音入力指示マークによってプレーヤに指示する表示制御を行い、
前記評価部が、
前記音量判定処理の判定結果に基づいて、プレーヤの音入力動作による発生音が、前記音入力指示マークで指示された音量の条件を満たしていると評価された場合には、前記検出タイミング判定処理の判定結果に基づいてプレーヤの音入力動作を評価することを特徴とするプログラム。
【請求項６】
請求項３〜５のいずれかにおいて、
前記評価部が、
前記取得部で取得された前記操作部の操作タイミング及び前記音検出部の検出タイミングに基づいて入力種別判定処理を行い、
前記入力種別判定処理において、前記操作指示マークについて設定された判定期間内に、前記操作部の操作タイミングと前記音検出部の検出タイミングとが重複して取得されたと判断される場合には、当該操作タイミングに基づいて操作タイミング判定処理を行い、
前記入力種別判定処理において、前記音入力指示マークについて設定された判定期間内に、前記操作部の操作タイミングと前記音検出部の検出タイミングとが重複して取得されたと判断される場合には、当該検出タイミングに基づく検出タイミング判定処理を行わないことを特徴とするプログラム。
【請求項７】
請求項１〜６のいずれかにおいて、
前記取得部が、
前記操作指示マークについて設定された判定期間に音検出部で検出された前記操作部の操作音の波形情報を取得し、
前記評価部が、
取得された波形情報と基準波形とを比較する波形判定処理を行って、前記波形判定処理の結果に基づいてプレーヤの操作を評価することを特徴とするプログラム。
【請求項８】
プレーヤが操作部を操作してプレイするゲームのためのプログラムであって、
所与の判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作データと、該判定期間において音検出部で検出された前記操作部の操作音の検出音データを取得する取得部と、
取得された前記操作データと基準操作データとを比較する操作判定処理と、取得された前記検出音データと基準音データとを比較する音判定処理とを行って、前記操作判定処理及び前記音判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項９】
コンピュータにより読取可能な情報記憶媒体であって、請求項１〜８のいずれかに記載のプログラムを記憶することを特徴とする情報記憶媒体。
【請求項１０】
プレーヤが操作部を操作してプレイするゲームのためのゲームシステムであって、
所与の判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作データと、該判定期間において音検出部で検出された前記操作部の操作音の検出音データを取得する取得部と、
取得された前記操作データと基準操作データとを比較する操作判定処理と、取得された前記検出音データと基準音データとを比較する音判定処理とを行って、前記操作判定処理及び音判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部と、
を含むことを特徴とするゲームシステム。
【請求項１１】
プレーヤが操作部を操作してプレイする音楽ゲームのためのゲームシステムであって、
記憶部に格納された楽曲データの再生を行う楽曲再生部と、
プレーヤが前記操作部に対して行うべき操作を指示する操作指示マークを前記楽曲データの再生状況に連動して表示させる表示制御を行う表示制御部と、
前記操作指示マークについて設定された判定期間にプレーヤが前記操作部の操作を行った場合に、プレーヤの前記操作部の操作タイミングと、該判定期間において音検出部で検出された前記操作部の操作音の検出音量を取得する取得部と、
取得された前記操作タイミングと基準タイミングとを比較する操作タイミング判定処理と、取得された前記検出音量と基準音量とを比較する音量判定処理とを行って、前記操作タイミング判定処理及び前記音量判定処理の各判定結果に基づいてプレーヤの操作を評価する評価部と、
を含み、
前記評価部が、
前記音量判定処理の判定結果に基づいて、プレーヤの前記操作部の操作強度を評価することを特徴とするゲームシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−２５５０７２（Ｐ２００６−２５５０７２Ａ）
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願番号】特願２００５−７４８４５（Ｐ２００５−７４８４５）
【出願日】平成１７年３月１６日（２００５．３．１６）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
【公開日】平成１８年９月２８日（２００６．９．２８）
【国際特許分類】
【出願日】平成１７年３月１６日（２００５．３．１６）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
[ Back to top ]