プログラム、情報記憶媒体、画像生成システム及びサーバシステム
【課題】立体視システムにおける適切なタイミング判定処理を実現できるプログラム、情報記憶媒体、画像生成システム及びサーバシステム等の提供。
【解決手段】画像生成システムは、移動体の制御を行う移動体制御部と、移動体を用いたタイミング判定処理を行う判定部と、立体視用画像を生成する画像生成部を含む。画像生成部は、タイミング判定処理に用いられる判定基準タイミングにおいて移動体の画像の視差が所定視差になるように、移動体が表示された立体視用画像を生成する。
【解決手段】画像生成システムは、移動体の制御を行う移動体制御部と、移動体を用いたタイミング判定処理を行う判定部と、立体視用画像を生成する画像生成部を含む。画像生成部は、タイミング判定処理に用いられる判定基準タイミングにおいて移動体の画像の視差が所定視差になるように、移動体が表示された立体視用画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体、画像生成システム及びサーバシステム等に関する。
【背景技術】
【０００２】
近年、映画やゲーム等の分野において、より臨場感が溢れる画像を生成するシステムとして、立体視画像の生成システムが脚光を浴びている。例えば立体視画像生成システムの１つである２眼式の立体視画像生成システムでは、左眼用画像と右眼用画像を生成する。そしてプレーヤが立体視用の眼鏡を装着して、左眼は左眼用画像のみを見て、右眼は右眼用画像のみを見るようにすることで、立体視を実現する。このような立体視を実現する画像生成システムの従来技術としては、例えば特許文献１に開示される技術がある。また立体視方式としては、眼鏡式以外にも裸眼式がある。例えば、パララックスバリアによって、画素ごとに、「左眼には見えるが右眼には見えない」、「右眼には見えるが左眼には見えない」という状態を作り出すことで、裸眼の立体視システムを実現できる。また、レンチキュラ等の光学素子による光の屈折等を利用することで、画素ごとに光の方向を制御し、上記と同様の状態を作り出すことでも、裸眼の立体視システムを実現できる。
【０００３】
一方、音楽ゲームや、野球ゲームなどの球技ゲームなどでは、音符（指示マーカ）やボールなどの移動体をゲーム画面上で移動させ、この移動体を用いて、プレーヤの入力タイミングが所定の判定基準内にあるか否かのタイミング判定処理を行う。
【０００４】
しかしながら、立体視システムにより実現される立体視ゲームにおいて、このようなタイミング判定処理を行う場合に、タイミング判定における移動体の表示状態が適正な表示状態でないと、適切なタイミング判定処理を実現できなくなるおそれがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１２６９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、立体視システムにおける適切なタイミング判定処理を実現できるプログラム、情報記憶媒体、画像生成システム及びサーバシステム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、移動体の制御を行う移動体制御部と、前記移動体を用いたタイミング判定処理を行う判定部と、立体視用画像を生成する画像生成部とを含み、前記画像生成部は、前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が所定視差になるように、前記移動体が表示された立体視用画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００８】
本発明の一態様によれば、移動体制御部により制御される移動体を用いて、タイミング判定処理が行われる。そして、タイミング判定処理に用いられる判定基準タイミングにおいて、移動体の画像の視差が所定視差になるように立体視用画像が生成される。このようにすれば、判定基準タイミングにおいて画像の視差が所定視差になる移動体を用いて、タイミング判定処理が行われるようになるため、立体視システムにおける適切なタイミング判定処理を実現することが可能になる。
【０００９】
また本発明の一態様では、前記判定基準タイミングのデータを記憶するタイミングデータ記憶部を含み（タイミングデータ記憶部としてとしてコンピュータを機能させ）、前記判定部は、前記タイミングデータ記憶部に記憶される前記判定基準タイミングのデータと、プレーヤの入力タイミングとに基づいて、前記タイミング判定処理を行ってもよい。
【００１０】
このようにすれば、タイミングデータ記憶部に記憶された判定基準タイミングのデータを用いてタイミング判定処理を行いながら、判定基準タイミングにおいて移動体の画像の視差が所定視差になる立体視用画像を生成できるようになる。
【００１１】
また本発明の一態様では、ゲーム演算処理を行うゲーム演算部を含み（ゲーム演算部としてコンピュータを機能させ）、前記判定部は、前記タイミング判定処理として、前記入力タイミングと前記判定基準タイミングとのタイミング関係に基づく評価処理を行い、前記ゲーム演算部は、前記評価処理の結果に基づいて、前記ゲーム演算処理を行ってもよい。
【００１２】
このようにすれば、判定基準タイミングにおいて画像の視差が所定視差になる移動体を用いてタイミング判定処理を実現できると共に、入力タイミングと判定基準タイミングとのタイミング関係に基づく評価処理の結果により、ゲーム演算処理を実行できる。従って、立体視システムにおける適切なタイミング判定処理を実現しながら、そのタイミング判定処理の評価処理の結果をゲーム演算処理に反映させることが可能になる。
【００１３】
また本発明の一態様では、前記ゲーム演算部は、前記プレーヤのゲーム成績の演算処理、前記移動体の表示制御処理、及びゲーム演出処理の少なくとも１つを、前記評価処理の結果に基づく前記ゲーム演算処理として行ってもよい。
【００１４】
このようにすれば、タイミング判定処理の評価結果を、プレーヤのゲーム成績や移動体の表示制御やゲーム演出処理に反映させることが可能になる。
【００１５】
また本発明の一態様では、前記画像生成部は、前記評価処理の結果を表示する評価表示用オブジェクトの画像として、前記評価結果に応じて視差の度合いが変化する画像が表示された立体視用画像を生成してもよい。
【００１６】
このようにすれば、タイミング判定の評価処理の結果を、評価表示用オブジェクトの視差の度合いの変化により、プレーヤに伝えることができる。これにより、プレーヤは、評価表示用オブジェクトの視差の度合いによって、自身に与えられた評価を直感的に認識することが可能になる。
【００１７】
また本発明の一態様では、前記画像生成部は、前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成してもよい。
【００１８】
このようにすれば、判定基準タイミングにおいて画像の視差が無くなる移動体を用いて、タイミング判定処理が行われるようになるため、立体視システムにおける適切なタイミング判定処理を実現することが可能になる。
【００１９】
また本発明の一態様では、前記画像生成部は、前記入力タイミングと前記判定基準タイミングとのタイミング差に応じて、前記移動体の画像の視差が変化する立体視用画像を生成してもよい。
【００２０】
このようにすれば、入力タイミングと判定基準タイミングとのタイミング差を、移動体の画像の視差の変化により表すことが可能になり、プレーヤがタイミングを把握しやすいタイミング判定処理を実現できるようになる。
【００２１】
また本発明の一態様では、前記画像生成部は、前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成すると共に、前記タイミング判定処理においてプレーヤの入力タイミングが前記判定基準タイミングと合致したと判定され、前記プレーヤの入力が成功であると判定された場合には、ゲーム演出効果表示用オブジェクトの画像として、視差のある画像が表示された立体視用画像を生成してもよい。
【００２２】
このようにすれば、移動体が視差の無い画像になっている場合にも、ゲーム演出効果表示用オブジェクトが視差のある画像として表示されることで、ゲーム演出効果を向上できる。
【００２３】
また本発明の一態様では、前記移動体は、プレーヤが入力すべきタイミングを指示する指示マーカであり、前記判定部は、前記指示マーカで指示されたタイミングで前記プレーヤが入力を行った場合に、前記プレーヤの入力タイミングと前記判定基準タイミングとの合致判定処理を、前記タイミング判定処理として行ってもよい。
【００２４】
このようにすれば、プレーヤが、指示マーカで指示された操作の入力を行うと、その入力タイミングと判定基準タイミングとの合致判定処理が行われるようになる。そして、判定基準タイミングでは移動体の画像の視差が所定視差になるため（例えば視差が無くなるため）、プレーヤは、指示マーカで指示された操作を、判定基準タイミングにおいて容易に入力できるようになる。
【００２５】
また本発明の一態様では、前記画像生成部は、前記指示マーカについては、前記判定基準タイミングにおいて視差の無い画像が表示され、前記プレーヤの入力が行われたことを示す入力動作表示用オブジェクトについては、視差のある画像が表示された立体視用画像を生成してもよい。
【００２６】
このようにすれば、プレーヤは、入力動作表示用オブジェクトを見ることで、自身の入力動作が行われたことを確認できる。また、指示マーカが視差の無い画像であっても、それを補うように、入力動作表示用オブジェクトが視差のある画像になるため、あたかも指示マーカが視差のある画像として立体視表示されているかのように見える演出効果を実現できるようになる。
【００２７】
また本発明の一態様では、前記移動体制御部は、視点側から見て奥側から手前側に前記移動体を移動させる制御を行ってもよい。
【００２８】
このようにすれば、視点側から見て奥側から手前側に移動体を移動させ、判定基準タイミングにおいて、その移動体の画像の視差が所定視差になるような立体視用画像（例えば視差が無くなるような立体視用画像）を生成することで、移動体を用いた適切なタイミング判定処理を実現できるようになる。
【００２９】
また本発明の一態様では、前記移動体制御部は、前記判定基準タイミングにおいて、入力すべきタイミングをプレーヤに知らせるための判定基準エリアを前記移動体が通過するように、前記移動体を移動させる制御を行ってもよい。
【００３０】
このようにすれば、判定基準タイミングにおいて移動体が判定基準エリアを通過し、その際の移動体の画像は視差が所定視差になる画像（例えば視差の無い画像）になる。従って例えばプレーヤは、判定基準エリアの通過タイミングにおいて視差が所定視差になる移動体の画像を見ながら、操作入力を行うことが可能になるため、立体視システムにおける適切なタイミング判定処理を実現できる。
【００３１】
また本発明の一態様では、前記画像生成部は、前記判定基準エリアに対応する位置に設定された基準スクリーンに対して前記移動体のオブジェクトを透視投影して描画することで、前記判定基準タイミングにおいて前記移動体の画像の視差が無くなる立体視用画像を生成してもよい。
【００３２】
このようにすれば、基準スクリーンへの移動体のオブジェクトの透視投影を行うことで、判定基準エリアを通過する判定基準タイミングにおいて視差が無くなるような移動体の画像を生成できるようになる。
【００３３】
また本発明の一態様では、前記画像生成部は、前記判定基準タイミングにおいて前記移動体の色、形状及びサイズの少なくとも１つが変化する立体視用画像を生成してもよい。
【００３４】
このようにすれば、判定基準タイミングでの移動体の視認性が向上するようになり、プレーヤが把握しやすいタイミング判定処理等を実現できるようになる。
【００３５】
また本発明の一態様では、音を生成する音生成部を含み（音生成部としてコンピュータを機能させ）、前記音生成部は、前記移動体の視差に応じて、音像定位が変化する音を生成してもよい。
【００３６】
このようにすれば、移動体の視差のみならず、移動体の視差に連動する音像定位も利用して、移動体の立体感をプレーヤに感じさせることが可能になる。
【００３７】
また本発明の一態様では、前記判定部は、前記移動体又はタイミング判定処理用の操作対象物に対応する仮想的な表示物であって前記立体視用画像に基づき表示部の表示画面側空間に仮想表示される仮想表示物と、現実空間の被ヒット体とのヒット判定処理を行ってよい。
【００３８】
このようにすれば、移動体又は操作対象物に対応する仮想表示物と、現実空間の被ヒット体とのヒット判定処理を行って、ヒット判定結果をゲーム結果等に反映させることが可能になる。
【００３９】
また本発明の一態様では、前記判定部は、前記仮想表示物と前記被ヒット体とのヒット判定処理を、プレーヤを撮影する撮像部からの撮像情報に基づいて行ってもよい。
【００４０】
このようにすれば、撮像部からの撮像情報を利用して、仮想表示物と被ヒット体とのヒット判定処理を実現できるようになる。
【００４１】
また本発明の他の態様は、移動体の制御を行う移動体制御部と、前記移動体を用いたタイミング判定処理を行う判定部と、立体視用画像を生成するための画像生成用データを生成する画像生成用データ生成部とを含み、前記画像生成用データ生成部は、前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が所定視差になるように、前記移動体が表示された立体視用画像を生成するための画像生成用データを生成するサーバシステムに関係する。
【図面の簡単な説明】
【００４２】
【図１】本実施形態の画像生成システムの構成例。
【図２】立体視におけるオブジェクトの描画位置の説明図。
【図３】図３（Ａ）〜図３（Ｃ）は本実施形態の手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）は移動体の画像の視差についての説明図。
【図５】タイミングデータ記憶部についての説明図。
【図６】図６（Ａ）〜図６（Ｅ）は入力タイミングの評価処理についての説明図。
【図７】図７（Ａ）、図７（Ｂ）は本実施形態が適用される携帯型ゲーム装置の構成例。
【図８】本実施形態を音楽ゲームに適用した場合に生成される画像の例。
【図９】本実施形態を音楽ゲームに適用した場合に生成される画像の例。
【図１０】図１０（Ａ）〜図１０（Ｃ）は本実施形態を音楽ゲームに適用した場合のタイミング判定手法の説明図。
【図１１】図１１（Ａ）〜図１１（Ｃ）は本実施形態を音楽ゲームに適用した場合の入力タイミングの評価手法の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は評価表示用オブジェクトの表示制御手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）も評価表示用オブジェクトの表示制御手法の説明図。
【図１４】図１４（Ａ）、図１４（Ｂ）も評価表示用オブジェクトの表示制御手法の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）はゲーム演出効果表示用オブジェクトの表示制御手法の説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）は入力動作表示用オブジェクトの表示制御手法の説明図。
【図１７】図１７（Ａ）、図１７（Ｂ）は判定基準タイミングにおいて移動体の色、形状又はサイズを変化させる手法の説明図。
【図１８】移動体の視差に応じて音像定位が変化する音を生成する手法の説明図。
【図１９】図１９（Ａ）、図１９（Ｂ）は仮想表示物とプレーヤの指等の被ヒット体とのヒット判定処理を行う手法の説明図。
【図２０】本実施形態を野球ゲームに適用した場合に生成される画像の例。
【図２１】本実施形態を野球ゲームに適用した場合に生成される画像の例。
【図２２】本実施形態の詳細な処理を説明するフローチャート。
【図２３】本実施形態の詳細な処理を説明するフローチャート。
【図２４】本実施形態のサーバシステムの構成例。
【発明を実施するための形態】
【００４３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４４】
１．構成
図１に本実施形態の画像生成システム（ゲームシステム）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４５】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００４６】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００４７】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００４８】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００４９】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００５０】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００５１】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５２】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５３】
処理部１００は、ゲーム演算部１０２、オブジェクト空間設定部１０４、移動体制御部１０６、仮想カメラ制御部１０８、判定部１１０、画像生成部１２０、音生成部１３０を含む。
【００５４】
ゲーム演算部１０２はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００５５】
オブジェクト空間設定部１０４は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、指示マーカ、ボール、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７２には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１０４は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００５６】
移動体制御部１０６は、指示マーカ、ボール、キャラクタ等の移動体を移動させるための制御処理を行う。また移動体（移動体オブジェクト）を動作させるための制御処理を行う。即ち操作部１６０によりプレーヤが入力した操作データや、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ）などに基づいて、移動体（オブジェクト、モデルオブジェクト）をオブジェクト空間内で移動させたり、移動体を動作（モーション、アニメーション）させる制御処理を行う。具体的には、移動体の移動情報（位置、回転角度、速度、或いは加速度）や動作情報（パーツオブジェクトの位置、或いは回転角度）を、１フレーム（１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動体の移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。
【００５７】
仮想カメラ制御部１０８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００５８】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は方向の変化に仮想カメラが追従するように、仮想カメラの位置（視点位置）や方向（視線方向）を制御する。この場合には、移動体制御部１０６で得られたキャラクタの位置、方向又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は方向を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００５９】
判定部１１０は各種の判定処理を行う。判定部１１０が行う判定処理の詳細については後述する。
【００６０】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。
【００６１】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００６２】
そして本実施形態では、移動体制御部１０６が、指示マーカ（音符）、ボール等の移動体の制御を行う。例えば移動体のオブジェクトをオブジェクト空間内で移動させる制御を行う。また判定部１１０が、移動体を用いたタイミング判定処理を行う。例えばプレーヤの入力タイミングと移動体の位置等に基づいて、音楽ゲームや野球ゲームなどの各種のゲームにおけるタイミング判定処理を行う。
【００６３】
そして画像生成部１２０は立体視用画像を生成する。具体的には画像生成部１２０は、タイミング判定処理に用いられる判定基準タイミングにおいて移動体の画像の視差が所定視差になるように、移動体が表示された立体視用画像を生成する。例えば判定基準タイミングにおいて移動体の画像の視差が無くなるように、移動体が表示された立体視用画像を生成する。
【００６４】
ここで立体視用画像は、２眼分離眼鏡方式等を例にとれば、左眼用画像、右眼用画像である。但し立体視用画像は、２眼分離眼鏡方式の左眼用画像、右眼用画像には限定されず、裸眼方式の立体視用画像であってもかまわない。裸眼方式には、裸眼２眼式のほか、多眼方式や、空間像方式等が含まれる。空間像方式としては、例えば「フラクショナル・ビュー方式」が提案されている。
【００６５】
また判定基準タイミングは、移動体を用いたタイミング判定処理の基準となるタイミングであり、例えば判定基準フレームとして表される。
【００６６】
また、移動体の画像の視差が所定視差になるとは、移動体の画像の視差が、予め想定されている視差になることであり、例えば所定の視差範囲内になることである。具体的には左眼用画像（広義には第１視点画像）のオブジェクトの基準スクリーン（透視投影面）での描画位置である第１描画位置と、右眼用画像（広義には第２視点画像）の対応するオブジェクトの基準スクリーンでの描画位置である第２描画位置とのずれ（差）が、所定の基準値になったり、所定の基準範囲内になることである。この所定基準値や所定基準範囲のデータは例えば記憶部１７０に記憶される。
【００６７】
また移動体の画像の視差が無くなるとは、例えば移動体の画像の視差がゼロになることである。具体的には左眼用画像（第１視点画像）のオブジェクトの基準スクリーンでの第１描画位置と、右眼用画像（第２視点画像）の対応するオブジェクトの基準スクリーンでの第２描画位置が一致することである。但し、移動体の画像の視差は完全にゼロである必要はなく、視差の値が所定しきい値以下である場合でもよい。例えば左眼用画像のオブジェクトの第１描画位置と右眼用画像の対応するオブジェクトの第２描画位置のずれ（差）が所定しきい値以下（例えば１ピクセル以下）である場合でもよい。また、この場合の視差（両眼視差）は、左眼（第１視点）と右眼（第２視点）で見る像の位置の差異のことであり、両眼像差（Binocular parallax）と呼ばれるものである。
【００６８】
例えば記憶部１７０のタイミングデータ記憶部１７４は、判定基準タイミングのデータを記憶する。即ち、複数の判定基準タイミングを例えば複数の判定基準フレームとして記憶する。そして判定部１１０は、タイミングデータ記憶部１７４に記憶される判定基準タイミングのデータと、プレーヤの入力タイミングとに基づいて、タイミング判定処理を行う。例えば判定基準タイミングとプレーヤの入力タイミングの比較処理を行うことで、タイミング判定処理を実現する。そして画像生成部１２０は、判定基準タイミングにおいて移動体の画像の視差が所定視差になるように（例えば視差が無くなるように）、移動体が表示された立体視用画像（左眼用画像、右眼用画像）を生成する。例えば指示マーカやボール等の移動体は、移動体制御部１０６の制御により例えばオブジェクト空間内で移動する。またプレーヤが操作部１６０を用いてタイミング判定のための操作を行うと、その操作の入力タイミング（操作を入力したフレーム）が取得される。そして判定部１１０は、プレーヤの入力タイミングと、判定基準タイミングとの一致判定処理（合致判定処理）を、タイミング判定処理として行う。この場合に画像生成部１２０は、指示マーカやボール等の移動体が、判定基準タイミングにおいてその画像の視差が所定視差になるように（視差が無くなるように）、立体視用画像を生成する。例えば左眼用画像での移動体のオブジェクトの第１描画位置と右眼用画像での移動体のオブジェクトの第２描画位置との差が、判定基準タイミングにおいて所定基準値や所定基準範囲内になったり、第１描画位置と第２描画位置が判定基準タイミングにおいて一致（略一致を含む）するように、左眼用画像、右眼用画像を生成する。
【００６９】
また判定部１１０は、タイミング判定処理として、入力タイミングと判定基準タイミングとのタイミング関係に基づく評価処理を行う。例えば入力タイミングと判定基準タイミングのタイミング差（時間差、フレーム差）に基づく評価処理を行う。するとゲーム演算部１０２は、評価処理の結果（良い評価か悪い評価か）に基づいて、ゲーム演算処理を行う。具体的には、プレーヤのゲーム成績の演算処理、移動体の表示制御処理、及びゲーム演出処理の少なくとも１つを、評価処理の結果に基づくゲーム演算処理として行う。
【００７０】
ここでゲーム成績の演算処理は、タイミング判定処理に基づくゲームにより獲得されたプレーヤの得点やポイントや操作評価の演算処理である。例えば入力タイミングと判定基準タイミングのタイミング差（時間差）が少ないほど、プレーヤに対して高い得点や高いポイントや高い操作評価が与えられる。また移動体の表示制御処理は、例えば入力タイミングと判定基準タイミングとに基づく判定処理後における移動体の表示制御処理である。例えば評価結果に基づいて、移動体の移動方向や移動速度や移動加速度や表示態様を変化させる処理である。またゲーム演出処理は、タイミング判定処理の結果を視覚的又は聴覚的に表現するための演出処理であり、評価結果に基づく映像効果やサウンド効果を、ゲーム演出のために発生させる処理である。
【００７１】
また画像生成部１２０は、評価処理の結果を表示する評価表示用オブジェクトの画像として、評価結果に応じて視差の度合いが変化する画像が表示された立体視用画像を生成する。例えば評価結果が第１の結果（例えば「良」）である場合には、視点側から見て基準スクリーンの手前側に見えるような視差を有する評価表示用オブジェクトを表示する。また評価結果が第２の結果（例えば「不可」）である場合には、例えば視点側から見て基準スクリーンの奥側に見えるような視差を有する評価表示用オブジェクトを表示する。また評価結果が第３の結果（例えば「可」）である場合には、例えば視差がゼロの評価表示用オブジェクトを表示する。
【００７２】
また画像生成部１２０は、入力タイミングと判定基準タイミングとのタイミング差に応じて、移動体の画像の視差が変化する立体視用画像を生成する。例えば入力タイミングと判定基準タイミングとのタイミング差が大きくなるにつれて、移動体の画像の視差が大きくなったり、小さくなる立体視用画像を生成する。更に具体的には画像生成部１２０は、入力タイミングと判定基準タイミングとのタイミング差が大きくなるほど、移動体の画像の視差が大きくなる立体視用画像を生成する。例えば入力タイミングと判定基準タイミングとのタイミング差が大きい場合には、立体視において基準スクリーンから飛び出したり引っ込んで見えるような立体視用画像を生成する。
【００７３】
また画像生成部１２０は、タイミング判定処理に用いられる判定基準タイミングにおいて移動体の画像の視差が無くなるように移動体が表示された立体視用画像を生成する。そしてタイミング判定処理においてプレーヤの入力タイミングが判定基準タイミングと合致したと判定され、プレーヤの入力が成功であると判定された場合には、ゲーム演出効果表示用オブジェクトの画像として、視差のある画像が表示された立体視用画像を生成する。例えば視差の無い画像の移動体の配置場所から、視差のある画像のゲーム演出効果表示用オブジェクトを発生させる処理などを行う。このようにすることで、移動体自身には視差が無くても、視差のあるゲーム演出効果表示用オブジェクトを用いて効果的なゲーム演出効果を実現できるようになる。
【００７４】
また移動体は、例えばプレーヤが入力すべきタイミングを指示する指示マーカである。そして判定部１１０は、この指示マーカで指示されたタイミングでプレーヤが入力を行った場合に、プレーヤの入力タイミングと判定基準タイミングとの合致判定処理を、タイミング判定処理として行う。即ち、移動体である指示マーカは移動体制御部１０６の制御により移動し、この指示マーカが、プレーヤが入力すべきタイミングを指示する。そしてプレーヤが、指示されたタイミングで操作入力を行うと、その入力タイミングと判定基準タイミングとの合致判定処理（比較処理）が行われる。このようにすれば、指示マーカを用いた音楽ゲーム等のゲームを実現できるようになる。
【００７５】
この場合に画像生成部１２０は、指示マーカについては、判定基準タイミングにおいて視差の無い画像が表示され、プレーヤの入力が行われたことを示す入力動作表示用オブジェクトについては、視差のある画像が表示された立体視用画像を生成する。即ち、判定基準タイミングにおいて、指示マーカについては視差の無い画像が表示されている場合にも、入力動作表示用オブジェクトについては視差のある画像が表示されるようにする。このようにすること、プレーヤは、入力が適正に行われたか否かを、視差のある入力動作表示用オブジェクトにより容易に把握できるようになる。
【００７６】
移動体制御部１０６は、視点側から見て奥側から手前側に移動体を移動させる制御を行う。例えば移動体の奥行き値が、視点側から見て奥側を示す奥行き値から、手前側を示す奥行き値に変化するように、移動体を移動させる。そして判定基準タイミングにおいては、移動体の視差が所定視差になるような画像（視差が無くなるような画像）を生成する。こうすることで、移動体を用いたタイミング判定処理として、プレーヤにとって分かりやすい判定処理を実現できる。
【００７７】
なお、移動体は球技ゲームにおけるボール（ボールを表すオブジェクト）であってもよい。そして判定部１１０は、球技ゲームに登場するキャラクタの所持物（バット、ラケット等）又は部位（足、手、頭等）によりボールがヒットされるようなヒット判定処理を、タイミング判定処理として行う。球技ゲームとしては、例えば野球ゲーム、テニスゲーム、サッカーゲーム等の種々のゲームを想定できる。そして移動体制御部１０６は、判定基準タイミングにおいて、入力すべきタイミングをプレーヤに知らせるための判定基準エリアを移動体が通過するように、移動体を移動させる制御を行う。例えば移動体制御部１０６は、タイミングデータ記憶部１７４に記憶される判定基準タイミングのデータに基づいて、判定基準タイミングにおいて移動体が判定基準エリアを通過するように、移動体の移動を制御する。こうすることで、判定基準エリアの通過時に視差が所定視差になるような移動体の画像（視差がゼロになるような移動体の画像）を生成できるようになる。
【００７８】
なお、タイミングデータ記憶部１７４に、判定基準タイミングのデータと、表示基準タイミングのデータの両方を記憶してもよい。そしてプレーヤの入力タイミングについてのタイミング判定処理については、判定基準タイミングのデータを用いて行い、移動体の移動制御処理については、表示基準タイミングのデータを用いて行う。この場合に、判定基準タイミングと表示基準タイミングは、そのタイミングが同期するようなデータとなっており、このように同期したデータを用いることで、判定基準エリアの通過時に視差が所定視差になるような移動体の画像（視差がゼロになるような移動体の画像）を生成できるようになる。
【００７９】
また画像生成部１２０は、判定基準エリアに対応する位置に設定された基準スクリーンに対して移動体のオブジェクトを透視投影して描画することで、判定基準タイミングにおいて移動体の画像の視差が無くなる立体視用画像を生成する。具体的には、基準スクリーンに対して移動体のオブジェクトを、左眼用仮想カメラの視点で透視投影して描画することで、左眼用画像を生成する。また基準スクリーンに対して移動体のオブジェクトを、右眼用仮想カメラの視点で透視投影して描画することで、右眼用画像を生成する。
【００８０】
例えば２眼分離眼鏡方式の場合には、画像生成部１２０は、左眼用画像生成部（広義には第１視点画像生成部）１２２、右眼用画像生成部（広義には第２視点画像生成部）１２４を含む。そして左眼用画像生成部１２２が、左眼用仮想カメラの視点（第１の視点）での画像である左眼用画像（第１視点画像）を生成する。また右眼用画像生成部１２４が、右眼用仮想カメラの視点（第２の視点）での画像である右眼用画像（第２視点画像）を生成する。
【００８１】
なお仮想カメラ制御部１０８は、例えば左眼用、右眼用仮想カメラを設定するための基準となる基準仮想カメラの制御を行う。そして、得られた基準仮想カメラの位置情報、方向情報と、設定されたカメラ間距離の情報に基づいて、左眼用、右眼用仮想カメラの位置情報（視点位置）、方向情報（視線方向）を求める。なお仮想カメラ制御部１０８が、左眼用、右眼用仮想カメラを直接制御するようにしてもよい。
【００８２】
また立体方式としては、２眼分離眼鏡方式や、パララックスバリアやレンチキュラや、その他、光線の方向を制御することができる光学素子を用いた裸眼方式などの様々な方式を想定できる。２眼分離眼鏡方式としては、例えば偏光眼鏡方式、継時分離方式、色分離方式などがある。偏光眼鏡方式では、例えば表示部１９０の奇数ラインと偶数ラインに左眼用画像と右眼用画像を交互に表示し、これを偏光眼鏡（例えば左眼に水平方向の偏光フィルタ、右眼に垂直方向の偏光フィルタを付けた眼鏡）で見ることで立体視を実現する。或いは左眼用画像と右眼用画像を特殊な偏光フィルタを有するプロジェクタで投影し、投影画像を偏光眼鏡で見ることで立体視を実現してもよい。また継時分離方式（ページ・フリップ方式）では、表示部１９０に左眼用画像、右眼用画像を所定期間毎（例えば１／１２０秒毎、１／６０秒毎）に交互に表示する。そして、この表示の切り替えに連動して液晶シャッター付きの眼鏡の左眼、右眼の液晶シャッターを交互に開閉することで、立体視を実現する。色分離方式では、例えばアナグリフ画像を生成し、赤青眼鏡等で見ることで、立体視を実現する。
【００８３】
また左眼用画像と右眼用画像から立体用視画像を生成する機能は、画像生成部１２０に持たせてもよいし、表示部１９０（テレビ等）に持たせてもよい。例えば画像生成部１２０が、サイドバイサイド方式の画像信号を出力する。すると表示部１９０が、このサイドバイサイドの画像信号に基づいて、奇数ラインと偶数ラインに左眼用画像と右眼用画像が交互に割り当てられるフィールドシーケンシャル方式の画像を表示する。或いは、左眼用画像と右眼用画像が所定期間毎に交互に切り替えられるフレームシーケンシャル方式の画像を表示する。或いは画像生成部１２０の方が、フィールドシーケンシャル方式やフレームシーケンシャル方式の画像を生成して、表示部１９０に出力するようにしてもよい。
【００８４】
また画像生成部１２０は、判定基準タイミングにおいて移動体の色、形状及びサイズの少なくとも１つが変化する立体視用画像を生成してもよい。例えば移動体の色、形状又はサイズを、判定基準タイミング（ジャストタイミング）においては、判定基準タイミング以外のタイミングとは異なった色、形状又はサイズに設定する。このようにすることで、判定基準タイミングでの移動体の視認性が高くなり、プレーヤがタイミングを把握しやすいタイミング判定処理を実現できる。
【００８５】
またゲーム音や効果音等の音を生成する音生成部１３０は、移動体の視差に応じて、音像定位が変化する音を生成してもよい。即ち移動体の立体視の度合いに応じて、音出力部１９２から出力される音の音像定位を変化させる。例えば移動体が画面から飛び出して見えるような視差（立体視用画像）の場合には、音の音像定位を画面よりも手前側（プレーヤ側）の位置に設定する。一方、移動体が画面の奥側に引っ込むような視差の場合には、音の音像定位を画面よりも奥側の位置に設定する。このようにすることで、立体視用画像における移動体の立体感と、音の音像定位による立体感とが連動するようになり、プレーヤが感じる立体感を向上できる。
【００８６】
また判定部１１０は、仮想表示物と、現実空間の被ヒット体とのヒット判定処理を行ってもよい。そして例えばゲーム演算部１０２が、このヒット判定処理の結果に基づいて、プレーヤの得点やポイント等のゲーム結果を演算するゲーム演算処理を行う。ここで、仮想表示物は、例えば移動体又はタイミング判定処理用の操作対象物に対応する仮想的な表示物であって、立体視用画像に基づき表示部１９０の表示画面側空間等に仮想表示されるものである。タイミング判定処理用の操作対象物とは、移動体を用いたタイミング判定処理において、プレーヤの操作対象となる表示物である。また被ヒット体は、現実空間の物体である。更に具体的には、判定部１１０は、仮想表示物と、プレーヤの部位（指、手等）やポインティングデバイス等の被ヒット体とのヒット判定処理を、プレーヤ（プレーヤの部位やポインティングデバイス）を撮影する撮像部（カメラ）からの撮像情報に基づいて行う。こうすることで、撮像部を利用した簡易な処理で、仮想表示物と被ヒット体とのヒット判定処理を実現できる。なお、撮像部の撮像センサとは異なるセンサ（人感センサ、光センサ、赤外線センサ等）からのセンサ情報に基づいて、仮想表示物と被ヒット体とのヒット判定処理を行ってもよい。
【００８７】
なお本実施形態の画像生成システムはサーバシステムにより実現してもよい。図２４にサーバシステムにより実現する場合の構成例を示す。
【００８８】
サーバシステム５００は、端末装置ＴＭ１〜ＴＭｎとネットワーク５１０を介して通信接続される。例えばサーバシステム５００はホストであり、端末装置ＴＭ１〜ＴＭｎはクライアントである。サーバシステム５００は例えば１又は複数のサーバ（認証サーバ、ゲームサーバ、通信サーバ、課金サーバ等）により実現できる。ネットワーク５１０（配信網、通信回線）は、例えばインターネットや無線ＬＡＮ等を利用した通信路であり、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮの他、電話通信網やケーブル網や無線ＬＡＮ等の通信網を含むことができる。また通信方法については有線／無線を問わない。
【００８９】
端末装置ＴＭ１〜ＴＭｎは、例えば携帯型ゲーム装置、据え置き型の家庭用ゲーム装置、或いは業務用ゲーム装置等により実現される。携帯型ゲーム装置は専用のゲーム装置であってもよいし、携帯電話機や携帯型情報端末などのゲームプログラムの実行が可能な汎用の装置であってもよい。
【００９０】
サーバシステム５００は、処理部６００、記憶部６７０、情報記憶媒体６８０、通信部６９６を含む。処理部６００は、ゲーム演算部６０２、オブジェクト空間設定部６０４、移動体制御部６０６、仮想カメラ制御部６０８、判定部６１０、画像生成用データ生成部６２０、音生成用データ生成部６３０を含む。なおこれらの各部（各ブロック）の機能、動作等は、図１の各部（各ブロック）と同様である。
【００９１】
例えばサーバシステム５００の移動体制御部６０６は、移動体の制御を行い、判定部６１０は、移動体を用いたタイミング判定処理を行う。そして画像生成用データ生成部６２０は、立体視用画像を生成するための画像生成用データデータを生成する。また音生成用データ生成部６３０は、音を生成するための音生成用データを生成する。
【００９２】
そして本実施形態では画像生成用データ生成部６２０は、タイミング判定処理に用いられる判定基準タイミングにおいて移動体の画像の視差が所定視差になるように（例えば視差が無くなるように）、移動体が表示された立体視用画像を生成するための画像生成用データを生成する。
【００９３】
ここで、画像を生成するための画像生成用データとは、本実施形態の手法により生成された画像をＴＭ１〜ＴＭｎの各端末装置において表示するためのデータであり、画像データそのものであってもよいし、各端末装置が画像を生成するために使用する各種データ（オブジェクトデータ、制御結果データ、判定結果データ又は表示画面の設定データ等）であってもよい。例えばサーバシステム５００が、各端末装置の操作部からの操作情報を取得し、各種の制御処理や各種の判定処理を行い、画像を生成して、ＴＭ１〜ＴＭｎの各端末装置に配信（ストリーム配信等）する場合には、上述の画像生成用データは画像データそのものになる。一方、サーバシステム５００が、各端末装置の操作部からの操作情報を取得し、各種の制御処理や各種の判定処理を行い、その制御結果や判定結果に基づいてＴＭ１〜ＴＭｎの各端末装置が画像を生成する場合には、上述の画像生成用データは、制御結果データや判定結果データやオブジェクトデータなどになる。音生成用データ生成部６３０が生成する音生成用データについても同様である。
【００９４】
なおゲーム演算部６０２、オブジェクト空間設定部６０４、移動体制御部６０６、仮想カメラ制御部６０８、判定部６１０、画像生成用データ生成部６２０、記憶部６７０、情報記憶媒体６８０、通信部６９６等の詳細な機能、動作は図１で上述に説明したものと同様であるため、詳細な説明は省略する。
【００９５】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００９６】
２．１ 判定基準タイミングを用いたタイミング判定処理
まず、本実施形態の手法について説明する前に、立体視におけるビューボリュームの設定について説明する。図２に示すように、立体視用画像を生成するためには、所与のカメラ間距離だけ離れた位置に設定される左眼用仮想カメラＶＣＬと右眼用仮想カメラＶＣＲを用いる。
【００９７】
そして左眼用仮想カメラＶＣＬに対応して左眼用ビューボリュームＶＶＬ（左眼用視錐台）が設定され、右眼用仮想カメラＶＣＲに対応して右眼用ビューボリュームＶＶＲ（右眼用視錐台）が設定される。具体的には左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲの位置や方向に基づいて、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲの位置や方向が設定される。
【００９８】
この場合に左眼用仮想カメラＶＣＬから見える画像である左眼用画像は、左眼用ビューボリュームＶＶＬ内に存在するオブジェクトをスクリーンＳＣ（基準スクリーン）に透視投影して描画することで生成される。同様に右眼用仮想カメラＶＣＲから見える画像である右眼用画像は、右眼用ビューボリュームＶＶＲ内に存在するオブジェクトをスクリーンＳＣに透視投影して描画することで生成される。
【００９９】
この場合、スクリーンＳＣに透視投影されない位置にあるオブジェクトは、描画対象にはならないため、これらのオブジェクトに対して透視投影変換処理を行うと、処理の無駄となる。このため、各左眼用、右眼用仮想カメラにおいてスクリーンＳＣに透視投影されない位置にあるオブジェクトがビューボリューム内に入らないように、図２に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定される。なお図２において、ＣＮＬ、ＣＦＬは、各々、左眼用ビューボリュームＶＶＬの前方クリッピング面、後方クリッピング面であり、ＣＮＲ、ＣＦＲは、各々、右眼用ビューボリュームＶＶＲの前方クリッピング面、後方クリッピング面である。
【０１００】
以上のように左眼用画像、右眼用画像を生成して立体視を実現する手法では、左眼用画像と右眼用画像の視差により奥行き感を認識させている。
【０１０１】
例えば図２において、スクリーンＳＣ上の点Ａに位置するオブジェクトについての、左眼用画像での描画位置ＡＬと、右眼用画像での描画位置ＡＲは同じ位置になる。
【０１０２】
これに対して、点Ｂに位置するオブジェクトは、左眼用画像では点ＢＬの位置に描画され、右眼用画像では点ＢＲの位置に描画される。そして、このように左眼用画像、右眼用画像の描画位置にズレを持たせることで、点Ｂに位置するオブジェクトが、画面からユーザの方に飛び出して見える立体視表現を実現できる。
【０１０３】
さて、このような立体視システムにおいて音楽ゲームや野球ゲームなどのタイミング判定処理を行った場合に、何ら工夫を施さないと、プレーヤのタイミングの取り方が難しくなるおそれがあることが判明した。
【０１０４】
そこで本実施形態では、音楽ゲームにおける指示マーカ（音符）や野球ゲームにおけるボールなどの移動体を用いてタイミング判定を行う場合に、タイミング判定の判定基準タイミングにおいて移動体の画像の視差が所定視差になるように立体視用画像を生成する手法を採用している。例えば判定基準タイミングにおいて移動体の画像の視差が無くなるように立体視用画像を生成する。このようにすることで、例えば判定基準タイミングを境にして移動体が飛び出たり引っ込む立体視用画像などが生成され、この移動体を用いた判定処理が行われるようになる。従って、例えば判定基準タイミングがベストなタイミングになるようなタイミング判定を実現することができ、立体視システムにおける適切なタイミング判定処理を実現できる。
【０１０５】
例えば図３（Ａ）では、指示マーカ等の移動体ＭＯＢ１、ＭＯＢ２、ＭＯＢ３が移動している。具体的には、例えばオブジェクト空間内において視点側（仮想カメラ側）から見て奥側から手前側に移動体ＭＯＢ１〜ＭＯＢ３が移動する。この場合に、移動体ＭＯＢ１〜ＭＯＢ３の画像は所定視差とは異なる視差の画像になっている。例えば移動体ＭＯＢ１〜ＭＯＢ３の画像は視差のある画像になっている。具体的には、例えば基準スクリーン（透視投影面）に対して奥側に移動体ＭＯＢ１〜ＭＯＢ３が引っ込んだように見える立体視用画像が生成される。
【０１０６】
図３（Ｂ）では、判定基準タイミングＴＭＢ１において移動体ＭＯＢ１の画像の視差が所定視差になるように、立体視用画像が生成される。例えば移動体ＭＯＢ１の画像の視差が無くなるように、立体視用画像が生成される。この時、移動体ＭＯＢ２、ＭＯＢ３については、所定視差とは異なる視差の画像になっている。例えば視差のある画像になっている。
【０１０７】
その後、移動体ＭＯＢ１〜ＭＯＢ３は移動を続け、図３（Ｃ）に示すように、判定基準タイミングＴＭＢ２では、今度は移動体ＭＯＢ２の画像の視差が所定視差になるように、立体視用画像が生成される。例えば移動体ＭＯＢ２の画像の視差が無くなるように立体視用画像が生成される。この時、移動体ＭＯＢ１、ＭＯＢ３については所定視差とは異なる視差となっている。例えば視差のある画像になっている。具体的には、例えば移動体ＭＯＢ１については基準スクリーンに対して手前側に飛び出して見え、移動体ＭＯＢ３については基準スクリーンに対して奧側に引っ込んで見える立体視用画像が生成される。
【０１０８】
そしてプレーヤは、図３（Ｂ）の判定基準タイミングＴＭＢ１と入力タイミングとが一致するように、ゲームの操作入力を行う。音楽ゲームを例にとれば、移動体ＭＯＢ１〜ＭＯＢ３は、プレーヤの操作入力を指示する指示マーカとなる。プレーヤは、指示マーカとなる移動体ＭＯＢ１により指示される操作入力を、判定基準タイミングＴＭＢ１において行う。この際、移動体ＭＯＢ１は、判定基準タイミングＴＭＢ１において所定視差の画像（例えば視差の無い画像）になる。
【０１０９】
またプレーヤは、図３（Ｃ）の判定基準タイミングＴＭＢ２と入力タイミングとが一致するように、ゲームの操作入力を行う。音楽ゲームを例にとれば、プレーヤは、指示マーカとなる移動体ＭＯＢ２により指示される操作入力を、判定基準タイミングＴＭＢ２において行う。この際、移動体ＭＯＢ２は、判定基準タイミングＴＭＢ２において所定視差の画像（例えば視差の無い画像）になる。
【０１１０】
このようにすれば、プレーヤは、移動体ＭＯＢ１、ＭＯＢ２の画像が所定視差の状態（視差の無い状態）になる判定基準タイミングＴＭＢ１、ＴＭＢ２に合わせて、操作入力を行うことが可能になる。従って、操作入力のジャストのタイミングが、所定視差の移動体ＭＯＢ１、ＭＯＢ２の画像が表示された状態になるため、プレーヤの操作入力を容易化できる。即ち、例えば所定視差の状態が視差の無い状態である場合には、判定基準タイミングＴＭＢ１、ＴＭＢ２は、立体視において移動体が飛び出して見えるか引っ込んで見えるかの境目のタイミングになる。従って、この判定基準タイミングを、タイミング判定のジャストのタイミングに設定することで、プレーヤの操作入力が容易化される。音楽ゲームを例にとれば、判定基準タイミングＴＭＢ１、ＴＭＢ２では移動体ＭＯＢ１、ＭＯＢ２は視差の無い画像になり、プレーヤは、移動体ＭＯＢ１、ＭＯＢ２が視差が無くなるタイミングに合わせて、指示された操作入力を行う。従って、プレーヤにとってタイミングのとりやすい音楽ゲームを実現できる。なお、入力タイミングは、プレーヤが操作部１６０を実際に操作するタイミングには限定されず、プレーヤが操作部１６０を操作することで、タイミング判定処理においてプレーヤの入力タイミングであると見なされるタイミングであってもよい。楽器を演奏する音楽ゲームを例にとれば、プレーヤが操作部１６０を操作することにより楽器が演奏される場合に、実際に楽器から音が出るタイミング等を、プレーヤの入力タイミングとしてもよい。
【０１１１】
図４（Ａ）、図４（Ｂ）は、立体視における画像の視差について説明する図である。図４（Ａ）に示すように視差のある画像では、左眼用画像でのオブジェクトＭＯＢＬの描画位置と、右眼用画像でのオブジェクトＭＯＢＲの描画位置がずれている。例えば図２の点Ｂの位置にあるオブジェクトは、左眼用画像ではスクリーンＳＣの点ＢＬの位置に描画され、右眼用画像ではスクリーンＳＣ上の点ＢＲの位置に描画されるからである。
【０１１２】
一方、図４（Ｂ）に示すように視差の無い画像では、左眼用画像でのオブジェクトＭＯＢＬの描画位置と、右眼用画像でのオブジェクトＭＯＢＲの描画位置は一致している。例えば図２の点Ａの位置にあるオブジェクトは、左眼用画像でも右眼用画像でもスクリーンＳＣ上の点Ａの位置に描画されるからである。
【０１１３】
図５は、タイミングデータについて説明する図である。例えば図１のタイミングデータ記憶部１７４は、判定基準タイミングＴＭＢ１〜ＴＭＢ５のデータを記憶する。これらの判定基準タイミングＴＭＢ１〜ＴＭＢ５のデータはタイミングデータ記憶部１７４に記憶される。
【０１１４】
そして図５に示すように、移動体ＭＯＢ１は判定基準タイミングＴＭＢ１において画像の視差が所定視差になるように制御される（視差が無くなるように制御される）。同様に、移動体ＭＯＢ２〜ＭＯＢ５は判定基準タイミングＴＭＢ２〜ＴＭＢ５において画像の視差が所定視差になるように制御される（視差が無くなるように制御される）。具体的には、移動体ＭＯＢ１は、判定基準タイミングＴＭＢ１において判定基準エリアを通過するように制御される。同様に移動体ＭＯＢ２〜ＭＯＢ５は、判定基準タイミングＴＭＢ２〜ＴＭＢ５において判定基準エリアを通過するように制御される。
【０１１５】
ここで判定基準エリアは、入力すべきタイミングをプレーヤに知らせるためのエリアである。判定基準エリアは、２次元図形のエリアであってもよいし、３次元図形のエリアであってもよい。或いは判定基準エリアは、判定基準となる位置であってもよい。
【０１１６】
例えば、ＭＯＢ１〜ＭＯＢ５の各移動体は、タイミングデータ記憶部１７４に記憶されるタイミングデータに基づいて制御される。即ち、ＴＭＢ１〜ＴＭＢ５の各判定基準タイミングにおいて、ＭＯＢ１〜ＭＯＢ５の各移動体が判定基準エリアを通過するように制御される。そしてＭＯＢ１〜ＭＯＢ５の各移動体は、判定基準エリアを通過する際に、その画像の視差が所定視差になるように（視差が無くなるように）、立体視用画像が生成される。これにより、ＴＭＢ１〜ＴＭＢ５の各判定基準タイミングにおいて、ＭＯＢ１〜ＭＯＢ５の各移動体の視差が所定視差になる画像（視差が無くなる画像）が生成されるようになる。
【０１１７】
なお、プレーヤの入力タイミングのタイミング判定処理については、判定基準タイミングのデータに基づいて判定を行い、ＭＯＢ１〜ＭＯＢ５の各移動体の移動制御については、この判定基準タイミングのデータに同期するように作成された表示基準タイミングのデータに基づき制御することが望ましい。例えば表示基準タイミングのデータは、図５のＴＭＢ１〜ＴＭＢ５の各判定基準タイミングにおいて、ＭＯＢ１〜ＭＯＢ５の各移動体が、例えば判定基準エリア（判定基準位置）を通過するように制御するためのデータである。この場合に、プレーヤの入力タイミングについては、１フレーム内において複数回サンプリングできる。従って、判定基準タイミングのデータについては、例えばｍｓｅｃ単位のデータにする一方で、表示基準タイミングのデータについては、フレーム単位のデータにすることが望ましい。
【０１１８】
次に本実施形態のタイミング判定処理の詳細について説明する。本実施形態では、タイミング判定処理として、プレーヤの入力タイミングと、判定基準タイミングとのタイミング関係に基づく評価処理を行っている。なお、以下では、移動体の視差が所定視差である状態が、視差が無い状態であるとして、説明を行う。
【０１１９】
例えば図６（Ａ）では、プレーヤの入力タイミングと、判定基準タイミングは一致している。例えば図３（Ｂ）において、移動体ＭＯＢ１に対応する判定基準タイミングＴＭＢ１において、プレーヤが操作入力を行っており、判定基準タイミングＴＭＢ１と入力タイミングとが一致したと判定されている。そして、このタイミングでは、移動体ＭＯＢ１の画像は視差が無い画像になっている。
【０１２０】
具体的には、プレーヤの入力タイミングを、例えばｍｓｅｃ単位の時間間隔（表示基準タイミングよりも短い時間間隔）でサンプリングして取得する。そして、取得された入力タイミングの近傍に、判定基準タイミングが存在するか否かを検索する。そして、入力タイミングとのタイミング差が例えば１フレーム以内（広義には所定しきい値以下）である判定基準タイミングが検索された場合には、その判定基準タイミングと入力タイミングとが一致したと判定する。
【０１２１】
そして本実施形態では、この入力タイミングと判定基準タイミングとのタイミング関係に基づく評価処理が行われ、評価処理の結果に基づいて、プレーヤのゲーム成績の演算処理、移動体の表示制御処理、或いはゲーム演出処理などのゲーム演算処理が行われる。
【０１２２】
例えば図６（Ａ）では、プレーヤの入力タイミングと判定基準タイミングが一致したと評価されているため、プレーヤのゲーム成績（得点、ポイント）は高いゲーム成績となる。また、野球ゲームを例にとれば、移動体であるボールの移動方向が、真っ直ぐな方向であるセンター方向に設定される。また、プレーヤの入力操作の成功を表すようなゲーム演出処理が行われる。
【０１２３】
一方、図６（Ｂ）、図６（Ｃ）では、プレーヤの入力タイミングと判定基準タイミングは一致しておらず、図６（Ｂ）では入力タイミングの方が判定基準タイミングよりも早くなっており、図６（Ｃ）では入力タイミングの方が判定基準タイミングよりも遅くなっている。この場合にも入力タイミングは、判定基準タイミングを基準（中心）に設定される許容期間ＴＲ内に収まっている。従って、プレーヤの入力操作は成功であると判断されて、プレーヤの入力操作に対する評価処理が行われる。そしてこの評価処理は、入力タイミングと判定基準タイミングのタイミング差や前後関係などのタイミング関係に基づいて行われる。
【０１２４】
例えば入力タイミングと判定基準タイミングのタイミング差（時間差）が短くなるほど、プレーヤの入力操作に対する評価は高くなり、プレーヤに与えられるゲーム成績が高くなる。即ち図６（Ａ）のようにタイミングが一致すると、図６（Ｂ）、図６（Ｃ）に比べてプレーヤの得点、ポイント等のゲーム成績は高くなる。またタイミング差が短くなるほど、ヒット後の移動体の速度や加速度が高くなるという移動体の表示制御を行ってもよい。或いはタイミング差が短くなるほど、ゲーム演出効果を高くするようにしてもよい。例えば図６（Ａ）のように入力タイミングが判定基準タイミングに対してジャストタイミングである場合には、タイミング判定における高いゲーム演出効果の画像や音が出力される。一方、図６（Ｂ）、（Ｃ）のように入力タイミングと判定基準タイミングの間にずれがあると、図６（Ａ）に比べて、ゲーム演出用表示物やゲーム演出音などで実現されるゲーム演出効果が低くなる。
【０１２５】
またタイミング差ではなく、入力タイミングと判定基準タイミングの前後関係を評価してもよい。例えば図６（Ｂ）のように入力タイミングの方が判定基準タイミングよりも早い場合と図６（Ｃ）のように入力タイミングの方が判定基準タイミングよりも遅い場合とで、プレーヤに与えるゲーム成績を異ならせたり、ヒット後の移動体の移動方向を変化させる。或いは、入力タイミングが判定基準タイミングよりも早い場合と遅い場合とで、ゲーム演出用表示物やゲーム演出音などで実現されるゲーム演出効果を変化させてもよい。
【０１２６】
また本実施形態では、プレーヤの入力タイミングと判定基準タイミングとのタイミング差に応じて、移動体の画像の視差が変化する立体視用画像が生成される。具体的には、例えばプレーヤの入力タイミングと判定基準タイミングとのタイミング差が大きくなるほど、移動体の画像の視差が大きくなる立体視用画像が生成される。例えば図６（Ｄ）に比べて図６（Ｅ）の方が、入力タイミングと判定基準タイミングのタイミング差は大きくなっているため、図６（Ｄ）よりも図６（Ｅ）の方が移動体の画像の視差が大きくなる。
【０１２７】
例えば図３（Ｂ）のように判定基準タイミングＴＭＢ１で、プレーヤが操作入力を行った場合には、移動体ＭＯＢ１の画像の視差はゼロになる。一方、判定基準タイミングＴＭＢ１から、時間的に遅れてプレーヤが操作入力を行った場合には、移動体ＭＯＢ１の画像の視差は大きくなる。即ち、判定基準タイミングと入力タイミングのタイミング差が大きくなると、それにつれて移動体ＭＯＢ１の画像の視差が大きくなる。
【０１２８】
このようにすれば移動体の画像の視差が無い状態のタイミングで、プレーヤが操作入力を行った場合には、プレーヤの操作に対して与えられる評価等が高くなり、移動体の画像の視差が大きくなった状態のタイミングで、プレーヤが操作入力を行った場合には、プレーヤの操作に対して与えられる評価等が低くなる。従って、移動体の画像の視差と、プレーヤの操作に対して与えられる評価の大小が連動するようになり、プレーヤにとって分かりやすく、立体視システムに好適な入力タイミングの評価処理を実現できるようになる。
【０１２９】
２．２ 音楽ゲームへの適用例
次に各種ゲームへの本実施形態の手法の適用例について説明する。まず、本実施形態が適用される携帯型ゲーム装置の構成例について、図７（Ａ）、図７（Ｂ）を用いて説明する。なお、以下においても、移動体の視差が所定視差である状態が、移動体の視差の無い状態であるとして、説明を行う、本実施形態はこれに限定されるものではない。
【０１３０】
この携帯型ゲーム装置は、メイン表示部１９０Ｍとサブ表示部１９０Ｓを有する。サブ表示部１９０Ｓは、例えばタッチパネル方式の液晶ディスプレイにより実現され、ゲーム装置の筐体１０に設けられる。メイン表示部１９０Ｍは、サブ表示部１９０Ｓよりも例えば画素数が多いディスプレイとなっており、例えば液晶ディスプレイなどにより実現される。なお、メイン表示部１９０Ｍは、例えば裸眼の立体視画像を表示できるディスプレイになっており、ゲーム画像が立体視で表示される。
【０１３１】
携帯型ゲーム装置の筐体１０と筐体２０は回動自在に設けられており、筐体１０には、方向指示キー１２、アナログスティック（ジョイスティック）１４、操作ボタン１６が設けられている。また図７（Ｂ）に示すように、筐体２０の背面側（メイン表示部１９０Ｍの反対側）には第１、第２のカメラＣＭ１、ＣＭ２が設けられている。これらの第１、第２のカメラＣＭ１、ＣＭ２を用いて被写体を撮影することで、視差のある左眼用画像と右眼用画像を得ることが可能になり、立体視表示が可能になる。
【０１３２】
また筺体２０の正面側（メイン表示部１９０側）には、カメラＣＭ３（広義には撮像部）が設けられている。このようなカメラＣＭ３を設けることで、携帯型ゲーム装置を持ってプレイしているプレーヤの画像を撮影することが可能になる。
【０１３３】
更に携帯型ゲーム装置には図示しないモーションセンサ（６軸センサ）が内蔵されている。そして、プレーヤが携帯型ゲーム装置を手に持って動かした場合に、このモーションセンサを用いることで、図７（Ａ）のＸ軸、Ｙ軸、Ｚ軸方向での加速度や、Ｘ軸回り、Ｙ軸回り、Ｚ軸回りでの角速度を検出できる。
【０１３４】
次に音楽ゲームへの本実施形態の手法の適用例について説明する。図８、図９は本実施形態の手法を音楽ゲームに適用した場合に生成される画像の例である。なお、以下では音楽ゲームとして太鼓の演奏ゲームを例にとり説明するが、本実施形態の手法を適用できる音楽ゲームの分野はこれに限定されない。
【０１３５】
図８、図９では、メイン表示部１９０Ｍには、指示マーカＭＫ１〜ＭＫ５、判定基準エリアＡＲＢ、太鼓のキャラクタＣＨＴ、評価表示用オブジェクトＳＯＢ、ゲージＧＯＢが表示されている。サブ表示部１９０Ｓには、プレーヤが叩く太鼓ＴＯＢの画像が表示されている。
【０１３６】
指示マーカＭＫ１〜ＭＫ５（広義には移動体）は、例えば視点側（仮想カメラ側）から見て奥側から手前側に移動して、判定基準エリアＡＲＢを通過する。具体的には、ＭＫ１〜ＭＫ５の各指示マーカは、図５等で説明したように、ＴＭＢ１〜ＴＭＢ５の各判定基準タイミングで判定基準エリアＡＲＢを通過する。例えば図８では、判定基準タイミングＴＭＢ１で指示マーカＭＫ１が判定基準ＡＲＢを通過する。また図９では、判定基準タイミングＴＭＢ２で指示マーカＭＫ２が判定基準ＡＲＢを通過する。プレーヤは、これらの各指示マーカが判定基準ＡＲＢを通過するタイミングである各判定基準タイミングで、サブ表示部１９０Ｓの画面を、タッチペン３０（ポインティングデバイス）でタッチする。
【０１３７】
具体的には、「ドン」の操作を指示する指示マーカＭＫ１が判定基準エリアＡＲＢを通過する判定基準タイミングＴＭＢ１では、プレーヤは、図８のＢ１に示すように、サブ表示部１９０Ｓの画面のうち、太鼓ＴＯＢの画像の部分をタッチペン３０でタッチする。これにより、太鼓の真ん中部分を叩いて「ドン」という音を出す太鼓の演奏を、プレーヤに疑似体験させることができる。
【０１３８】
一方、「カツ」と表示される指示マーカＭＫ２が判定基準エリアＡＲＢを通過するタイミングである判定基準タイミングＴＭＢ２では、図９のＢ２に示すように、サブ表示部１９０Ｓの画面のうち、太鼓ＴＯＢの画像以外の部分をタッチペン３０でタッチする。これにより、太鼓の枠の部分を叩いて「カツ」という音を出す太鼓の演奏を、プレーヤに疑似体験させることができる。そして、プレーヤの太鼓を叩く操作が成功する毎に、ゲージＧＯＢで表されるプレーヤの獲得ポイントが高くなって行く。
【０１３９】
そして本実施形態では、各指示マーカが判定基準エリアＡＲＢを通過する各判定基準タイミングでは、各指示マーカの画像は視差が無い画像（広義には所定視差の画像）になっている。
【０１４０】
例えば図１０（Ａ）では、指示マーカＭＫ１〜ＭＫ３のいずれもが、判定基準エリアＡＲＢを通過せずに、判定基準エリアＡＲＢの奥側に位置するため、ＭＫ１〜ＭＫ３は視差のある画像になっている。
【０１４１】
一方、図１０（Ｂ）では、指示マーカＭＫ１が判定基準タイミングＴＭＢ１で判定基準エリアＡＲＢを通過しており、ＭＫ１の画像は視差が無い画像になっている。この時、指示マーカＭＫ２、ＭＫ３は、判定基準エリアＡＲＢを通過せずに、判定基準エリアＡＲＢの奥側に位置するため、視差のある画像になっている。
【０１４２】
また図１０（Ｃ）では、指示マーカＭＫ２が判定基準タイミングＴＭＢ２で判定基準エリアＡＲＢを通過しており、ＭＫ２の画像は視差が無い画像になっている。この時、指示マーカＭＫ１は判定基準エリアＡＲＢの手前側に位置し、指示マーカＭＫ３はＡＲＢの奥側に位置するため、ＭＫ１、ＭＫ３は視差のある画像になっている。具体的には指示マーカＭＫ１は立体視において判定基準エリアＡＲＢから飛び出して見える画像になり、指示マーカＭＫ３は判定基準エリアＡＲＢから引っ込んで見える画像になる。
【０１４３】
以上のようにすることで、プレーヤの眼には、各判定基準タイミングを境として、各指示マーカが、スクリーンの奥側に引っ込んでいる状態からスクリーンの手前側に飛び出して来るように見える。従って、プレーヤは、指示マーカの画像の視差の無い状態がジャストタイミングであることを認識することができ、指示マーカにより指示される操作（「ドン」、「カツ」の操作）を行うタイミングを容易に把握することが可能になる。これにより、プレーヤの操作インターフェース環境を向上できる。
【０１４４】
なお図８〜図１０（Ｃ）では判定基準エリアＡＲＢは２次元の四角形状になっているが、本実施形態はこれに限定されない。例えば判定基準エリアＡＲＢは四角形状以外の形状であってもよいし、立体形状であってもよい。
【０１４５】
また例えば図１０（Ａ）〜図１０（Ｃ）において、指示マーカＭＫ１〜ＭＫ３の移動経路に沿ったレーン表示物（音符等の指示マーカが流れてくるラインを表す表示物）を表示するようにしてもよい。この場合には、レーン表示物と、指示マーカＭＫ１〜ＭＫ３（移動体）との立体視度合いを変えることが望ましい。例えば判定基準タイミング（判定基準エリア）に近づくにつれて、ＭＫ１〜ＭＫ３の各指示マーカが、レーン表示物から浮き上がって見えるような立体視表示を行うようにしてもよい。
【０１４６】
次に図８〜図１０（Ｃ）の音楽ゲームへの適用例におけるタイミング判定処理の詳細について説明する。
【０１４７】
図１１（Ａ）ではプレーヤの入力タイミングＴＭＩと、指示マーカＭＫの判定基準タイミングＴＭＢとが一致している。例えば図８において「ドン」の操作を指示する指示マーカＭＫ（ＭＫ１）が判定基準エリアＡＲＢを通過する判定基準タイミングＴＭＢ（ＴＭＢ１）と同じタイミングで、プレーヤが、タッチペン３０でサブ表示部１９０Ｓの太鼓ＴＯＢの画像をタッチしている。そして、このタイミングでは、指示マーカＭＫの画像は視差が無い画像になっている。
【０１４８】
このようにプレーヤの入力タイミングと判定基準タイミングが一致していると判断されると、プレーヤの入力操作に対して非常に高い評価が与えられ、入力操作の評価が「良」であることを知らせる評価表示用オブジェクトＳＯＢが表示される。
【０１４９】
例えば図１１（Ｂ）、図１１（Ｃ）ではプレーヤの入力タイミングと、指示マーカＭＫが判定基準エリアＡＲＢを通過する判定基準タイミングＴＭＢは一致しておらず、図１１（Ｂ）では入力タイミングの方が判定基準タイミングよりも早くなっており、図１１（Ｃ）では入力タイミングの方が判定基準タイミングよりも遅くなっている。この場合にも入力タイミングは、判定基準タイミングを基準（中心）に設定された許容期間ＴＲ内に収まっている。従って、プレーヤの入力操作はある程度成功していると判断されて、入力操作の評価が「可」であることを知らせる評価表示用オブジェクトＳＯＢが表示される。
【０１５０】
以上のようにすることで、音楽ゲームにおいて、入力タイミングと判定基準タイミングのタイミング関係に応じた適正な評価を、プレーヤに対して与えることが可能になる。そして本実施形態では図１１（Ａ）のように判定基準タイミングＴＭＢでプレーヤが操作入力を行った場合に、プレーヤに対して高い評価が与えられ、この時の指示マーカＭＫの画像は視差の無い画像になる。従って、プレーヤは、指示マーカＭＫの画像の視差が無くなるタイミングを判断して、操作入力を行えばよくなるため、プレーヤが直感的に把握しやすい操作インターフェース環境を提供できるようになる。
【０１５１】
２．３ 各種オブジェクトの表示制御
本実施形態では、図８、図９に示すように、操作入力の評価処理の結果を表示する評価表示用オブジェクトＳＯＢを表示する。具体的には、評価表示用オブジェクトＳＯＢの画像として、評価結果に応じて視差の度合いが変化する画像を表示する。
【０１５２】
例えば図１２（Ａ）では判定基準タイミングＴＭＢにおいて指示マーカＭＫが判定基準エリアＡＲＢを通過しており、プレーヤは、指示マーカＭＫが判定基準エリアＡＲＢを通過する判定基準タイミングＴＭＢで、「ドン」の操作を指示する操作入力を行っている。従って、図１２（Ｂ）に示すように、入力タイミングＴＭＩと判定基準タイミングＴＭＢは一致しており、プレーヤに対しては、高い評価結果である「良」の評価が与えられる。このため、「良」の評価結果をプレーヤに知らせる評価表示用オブジェクトＳＯＢが表示される。
【０１５３】
この場合に、評価表示用オブジェクトＳＯＢは、図１２（Ｂ）に示すように、判定基準エリアＡＲＢに対応する基準スクリーンＳＣ（透視投影面）よりも手前側に配置される。従って、図１２（Ａ）に示すように、評価表示用オブジェクトＳＯＢが画面から飛び出して見える立体視用画像が生成されて、プレーヤに表示されるようになる。即ち、指示マーカＭＫについては、基準スクリーンＳＣ（判定基準エリア）の位置にあり、視差の無い画像になっている一方で、評価表示用オブジェクトＳＯＢについては、視差のある画像になっており、画面から手前側に飛び出して見える画像になっている。
【０１５４】
一方、図１３（Ａ）、図１３（Ｂ）では、プレーヤは、指示マーカＭＫが判定基準エリアＡＲＢを通過した後に、「ドン」の操作を指示する操作入力を行っており、プレーヤの入力タイミングＴＭＩの方が、判定基準タイミングＴＭＢよりも遅れている。そして、入力タイミングＴＭＩは、判定基準タイミングＴＭＢを基準に設定された許容期間ＴＲ内に収まっているため、プレーヤに対しては、「可」の評価が与えられる。このため、「可」の評価結果をプレーヤに知らせる評価表示用オブジェクトＳＯＢが表示される。
【０１５５】
そして、この「可」を表す評価表示用オブジェクトＳＯＢは、図１３（Ｂ）に示すように、判定基準エリアＡＲＢに対応する基準スクリーンＳＣの位置に配置される。従って、評価表示用オブジェクトＳＯＢは視差の無い画像になる。また、指示マーカＭＫは判定基準エリアＡＲＢを通過しているため、指示マーカＭＫの画像は、画面から飛び出して見える画像になっている。
【０１５６】
また、図１４（Ａ）、図１４（Ｂ）では、プレーヤの入力タイミングＴＭＩの方が判定基準タイミングＴＭＢよりも遅れており、且つ、入力タイミングＴＭＩは許容期間ＴＲ内に収まっていない。従って、プレーヤに対しては、「不可」の評価が与えられ、「不可」の評価結果をプレーヤに知らせる評価表示用オブジェクトＳＯＢが表示される。
【０１５７】
そして、この「不可」を表す評価表示用オブジェクトＳＯＢは、図１４（Ｂ）に示すように、基準スクリーンＳＣの奥側の位置に配置される。従って、評価表示用オブジェクトＳＯＢが画面の奥側に引っ込んで見える立体視用画像が生成されて、プレーヤに表示されるようになる。
【０１５８】
このように図１２（Ａ）〜図１４（Ｂ）では、評価表示用オブジェクトＳＯＢは、評価結果に応じてその視差の度合いが変化する画像になっている。即ち図１２（Ａ）、図１２（Ｂ）のように評価結果が「良」である場合には、評価表示用オブジェクトＳＯＢは画面から手前側に飛び出して見える画像になり、図１３（Ａ）、図１３（Ｂ）のように評価結果が「可」である場合には、視差の無い画像になる。そして図１４（Ａ）、図１４（Ｂ）のように評価結果が「不可」である場合には、評価表示用オブジェクトＳＯＢは、画面から奥側に引っ込んで見える画像になる。
【０１５９】
従って、プレーヤは、評価表示用オブジェクトＳＯＢの視差の度合いによって、自身に与えられた評価を直感的に認識することが可能になる。即ち、プレーヤは、評価表示用オブジェクトＳＯＢが画面から飛び出し見える場合には、操作入力が良い評価であったと認識し、評価表示用オブジェクトＳＯＢが画面から引っ込んで見える場合には、操作入力が悪い評価であったと認識することができる。従って、評価結果を、直感的に分かりやすくプレーヤに伝えることが可能になる。
【０１６０】
また本実施形態では、プレーヤの入力が成功であると判定された場合に、ゲーム演出効果表示用オブジェクトの画像を表示すると共に、このゲーム演出効果表示用オブジェクトとして、視差のある画像を表示している。
【０１６１】
例えば図１５（Ａ）では、太鼓のキャラクタＣＨＴにより、太鼓を連打することが指示されている。そして、この連打の操作入力に成功している場合には、図１５（Ａ）に示すようなゲーム演出効果表示用オブジェクトＥＯＢ１、ＥＯＢ２、ＥＯＢ３の画像を表示する。具体的には図１５（Ｂ）に示すように、ゲーム演出効果表示用オブジェクトＥＯＢ１、ＥＯＢ２、ＥＯＢ３は、指示マーカＭＫの位置から画面の手前側に向かって放出されるように移動する。従って、指示マーカＭＫについては視差の無い画像になっている一方で、ゲーム演出効果表示用オブジェクトＥＯＢ１、ＥＯＢ２、ＥＯＢ３については、画面の手前側に次々と飛び出し見える立体視用画像が生成されるようになる。このため、指示マーカＭＫが視差の無い画像になっている場合に、ゲーム演出効果表示用オブジェクトＥＯＢ１、ＥＯＢ２、ＥＯＢ３が立体視的に画面から飛び出して見えるようになることで、これらのオブジェクトＥＯＢ１、ＥＯＢ２、ＥＯＢ３による演出効果を格段に向上できる。
【０１６２】
また本実施形態では、指示マーカについては、判定基準タイミングにおいて視差の無い画像を表示すると共に、プレーヤの入力が行われたことを示す入力動作表示用オブジェクトについては、視差のある画像を表示するようにしている。
【０１６３】
例えば図１６（Ａ）では、図８で説明したように、サブ表示部１９０Ｓの太鼓ＴＯＢの画像の部分をタッチペン３０でタッチすることで、「ドン」の操作を行っている。この場合に、このような「ドン」の操作が行われたことを示す入力動作表示用オブジェクトＩＯＢが表示される。具体的には図１６（Ａ）に示すように、指示マーカＭＫの周囲に入力動作表示用オブジェクトＩＯＢの画像が表示される。このような入力動作表示用オブジェクトＩＯＢの画像を表示することで、プレーヤは、自身が正常に入力動作を行ったことを確認することが可能になる。
【０１６４】
この場合に、図１６（Ｂ）に示すように、指示マーカＭＫについては判定基準タイミングにおいて基準スクリーンＳＣ（判定基準エリア）の位置にあるため、視差の無い画像になっている。これに対して、入力動作表示用オブジェクトＩＯＢについては、例えば基準スクリーンＳＣよりも視点側から見て手前側に配置される。
【０１６５】
このようにすることで、指示マーカＭＫの周りにある入力動作表示用オブジェクトＩＯＢの画像については、画面から飛び出して見えるようになり、演出効果を向上できる。即ち、指示マーカＭＫが視差の無い画像であっても、それを補うように、入力動作表示用オブジェクトＩＯＢが視差のある画像になることで、あたかも指示マーカＭＫが画面から飛び出し見えるような演出効果を実現できるようになる。
【０１６６】
なお本実施形態では、判定基準タイミングにおいて、指示マーカ等の移動体の色、形状及びサイズの少なくとも１つが変化する立体視用画像を生成してもよい。
【０１６７】
例えば図１７（Ａ）では、指示マーカＭＫが判定基準エリアＡＲＢに向かって移動している。そして図１７（Ｂ）の判定基準タイミングＴＭにおいては、指示マーカＭＫの色、形状又はサイズ等が変化している。即ち、図１７（Ｂ）では、指示マーカＭＫの色、形状又はサイズ等が、図１７（Ａ）とは異なった色、形状又はサイズになっている。
【０１６８】
このようにすれば、例えばタイミング判定処理のジャストタイミングである判定基準タイミングにおいて、指示マーカＭＫの色、形状又はサイズ等が変化することで、指示マーカＭＫの視認性が高まる。これにより、プレーヤは、図１７（Ｂ）のタイミングが判定基準タイミングであることを、指示マーカＭＫの視差の状態（所定視差の状態、視差の無い状態）のみならず、色、形状又はサイズの変化によっても、把握できるようになる。従って、プレーヤにとってタイミングを把握しやすいタイミング判定処理を実現できる。
【０１６９】
なお、指示マーカＭＫ（移動体）の画像の変化は、その判定基準タイミングの視認性を高めることができるものであれば、色、形状、サイズの変化以外の表示態様の変化であってもよい。
【０１７０】
また本実施形態では、移動体の視差に応じて、音像定位が変化する音を生成してもよい。即ち立体音響の音出力が、立体視の位置に合うような音を生成する。
【０１７１】
例えば図１８では、図７（Ａ）の携帯型ゲーム装置の筺体２０のメイン表示部１９０Ｍ側に、音出力部ＳＰ１、ＳＰ２（スピーカ）が設けられている。またメイン表示部１９０Ｍ（広義には表示部）の表示画面側空間には、指示マーカＭＫ（移動体）に対応する仮想指示マーカＭＫＶ（広義には仮想表示物）が立体視表示されている。この仮想指示マーカＭＫＶは、表示画面側空間に実在するものではなく、指示マーカＭＫの立体視用画像（左眼用画像、右眼用画像）に基づいて、プレーヤが、その位置に存在するかのように認識する仮想表示物である。
【０１７２】
そして、音出力部ＳＰ１、ＳＰ２からは、仮想指示マーカＭＫＶの表示位置（仮想表示位置）に連動するような音像定位の音（ステレオ音）が出力される。例えば指示マーカＭＫの視差が、メイン表示部１９０Ｍの画面の手前側になるような視差であり、仮想指示マーカＭＫＶが画面の手前側に仮想表示される場合には、音出力部ＳＰ１、ＳＰ２からの音により形成される音像定位も、画面の手前側の位置に設定される。
【０１７３】
一方、指示マーカＭＫの視差が画面の奧側になるような視差であり、仮想指示マーカＭＫＶが画面の奧側に仮想表示される場合には、音出力部ＳＰ１、ＳＰ２からの音により形成される音像定位も、画面の奥側の位置に設定される。
【０１７４】
このようにすれば、例えば指示マーカ（仮想指示マーカ）が画面から手前側に飛び出して見えるような状況においては、音像の定位も画面から手前側に飛び出してくるように聞こえる定位になる。一方、指示マーカが画面から奥側に引っ込んで見えるような状況においては、音像の定位も画面から奥側に引っ込んでいるように聞こえる定位になる。これにより、立体視の効果を、より強調することが可能になり、ゲーム演出効果等を向上できる。
【０１７５】
なお、音の音像定位の設定手法としては、公知の種々の手法を採用できる。例えば音量差、時間差、周波数特性の変化、位相の変化、或いは残響の変化などによって、音像定位等の立体音響の制御が可能である。音量差を用いる場合には、例えば距離による音量の減衰や両耳間強度差により、音の音像定位を制御する。時間差を用いる場合には、音波が到達する時間差により、音の音像定位を制御すればよい。周波数特性の変化を用いる場合には、音波の伝達や遮断による周波数特性の変化により、音の音像定位を制御すればよい。位相の変化を用いる場合には、音波の伝達や遮断による位相の変化により、音の音像定位を制御すればよい。残響の変化を用いる場合には、残響特性により周辺環境の音場を再現することで、音の音像定位を制御すればよい。
【０１７６】
また本実施形態では、移動体又はタイミング判定処理用の操作対象物に対応する仮想的な表示物であって立体視用画像に基づき表示部の表示画面側空間に仮想表示される仮想表示物と、現実空間の被ヒット体とのヒット判定処理を行ってもよい。例えば仮想表示物と、プレーヤの部位やポインティングデバイスなどである被ヒット体とのヒット判定処理を、プレーヤを撮影する撮像部からの撮像情報に基づいて行う。
【０１７７】
例えば図１９（Ａ）では、携帯型ゲーム装置のメイン表示部１９０Ｍ側に設けられたカメラＣＭ３（撮像部）により、プレーヤＰＬを撮影できるようになっている。具体的には、プレーヤＰＬがメイン表示部１９０Ｍの画面に指を近づける動作を行うと、カメラＣＭ３からの撮影情報に基づいて、その動作が検知される。
【０１７８】
そして図１９（Ｂ）では、前述の図１８で説明したのと同様に、メイン表示部１９０Ｍの表示画面側空間に、仮想指示マーカＭＫＶ（広義には仮想表示物）が仮想表示されている。即ち指示マーカＭＫの立体視用画像（左眼用画像、右眼用画像）に基づいて、あたかも図１９（Ｂ）の位置に仮想指示マーカＭＫＶが存在しているかのように見える立体視表示が行われる。
【０１７９】
そして図１９（Ｂ）では、この仮想指示マーカＭＫＶと、現実空間の被ヒット体であるプレーヤＰＬの指等とのヒット判定処理が行われる。例えば仮想指示マーカＭＫＶの判定基準タイミング（表示タイミング）において、プレーヤＰＬの指（広義には被ヒット体）が画面付近に存在することが、カメラＣＭ３により検知された場合には、仮想指示マーカＭＫＶとプレーヤＰＬの指がヒットしたと判定する。この場合に、例えば仮想指示マーカＭＫＶの画面からの距離情報を、指示マーカＭＫの画像の視差情報から特定し、この距離情報も用いて、ヒット判定処理を行ってもよい。或いは、カメラＣＭ３が、奥行き情報を検出できるデプスカメラ等である場合には、この奥行き情報に基づいて、プレーヤＰＬの指の画面内での位置情報（Ｘ、Ｙ座標）を特定し、特定された位置情報も用いて、ヒット判定処理を行ってもよい。そして、例えば判定基準タイミングにおいて、プレーヤＰＬの指と仮想指示マーカＭＫがヒットしたと判定された場合には、プレーヤの得点やポイントを加算するなどのゲーム演算処理を行う。
【０１８０】
このようにすれば、指示マーカ等の移動体を用いたタイミング判定処理を、立体視を有効利用して行うことが可能になり、従来にないヒット判定処理によるタイミング判定処理を実現することが可能になる。
【０１８１】
なお図１９（Ａ）、図１９（Ｂ）では、指示マーカ等の移動体に対応する仮想表示物と、プレーヤの部位等の被ヒット体とのヒット判定処理を行っているが、本実施形態はこれに限定されない。例えば、指示マーカ等の移動体とは別に、タイミング判定処理用の操作対象物を画面上に立体視表示してもよい。これにより、このタイミング判定処理用の操作対象物に対応する仮想表示物が、表示部の表示画面側空間に仮想表示される。そして、例えばプレーヤは、指示マーカ等の移動体の判定基準タイミングにおいて、このタイミング判定処理用の操作対象物に対応する仮想表示物に対して、指やポインティングデバイスなどの被ヒット体で触れる操作を行う。そして、操作対象物に対応する仮想表示物に被ヒット体がヒットしたと判定された場合（触れたと判定された場合）には、プレーヤの得点やポイント等が加算されるなどのゲーム演算処理が行われることになる。
【０１８２】
２．４ 野球ゲームへの適用例
次に野球ゲームへの適用例について説明する。図２０、図２１は本実施形態の手法を野球ゲームに適用した場合に生成される画像の例である。図２０では、メイン表示部１９０Ｍには、投手キャラクタＣＨＰが打者キャラクタＣＨＢに対してボールＢＬ（広義には移動体）を投げる場面の画像が表示されている。またメイン表示部１９０Ｍには、判定基準エリアＡＲＢも表示されており、サブ表示部１９０Ｓには、判定基準エリアＡＲＢに対応する操作入力エリアＡＲＩが表示されている。プレーヤは、この操作入力エリアＡＲＩのうち、ボールＢＬが飛んで来ると予想したコースの位置を、タッチペン３０（広義にはポインティングデバイス）でタッチすることで、ボールＢＬを打つバッティング操作を行う。
【０１８３】
判定基準エリアＡＲＢは例えばホームベース上に設定されており、タッチペン３０によりポインティングされる操作入力エリアＡＲＩの各ポインティング位置は、判定基準エリアＡＲＢの各位置に対応している。例えば操作入力エリアＡＲＩの右上位置をタッチすると、判定基準エリアＡＲＢの右上位置が指示され、操作入力エリアＡＲＩの左下位置をタッチすると、判定基準エリアＡＲＢの左下位置が指示される。
【０１８４】
そして図２０のようにボールＢＬが判定基準エリアＡＲＢを通過する際に、ボールＢＬの画像は視差がゼロの画像になっている。即ち、ボールＢＬは、判定基準タイミングにおいて判定基準エリアＡＲＢを通過するように制御され、その時にボールＢＬの画像は視差がゼロの画像になる。このため、プレーヤの眼には、判定基準エリアＡＲＢを境として、ボールＢＬが、スクリーンの奥側に引っ込んでいる状態からスクリーンの手前側に飛び出して来るように見える。従って、プレーヤは、ボールＢＬの画像の視差の無い状態がジャストタイミングであることを認識することができ、ボールＢＬを打つタイミングを容易に把握することが可能になる。これにより、プレーヤの操作インターフェース環境を向上できる。
【０１８５】
なお図２０では判定基準エリアＡＲＢと操作入力エリアＡＲＩはほぼ同じサイズになっているが、本実施形態はこれに限定されない。例えば操作入力エリアＡＲＩのサイズを変化させることで、プレーヤの操作入力の難易度の設定を行ってもよい。例えば操作入力エリアＡＲＩのサイズを判定基準エリアＡＲＢよりも小さくすることで、プレーヤの操作入力の難易度が高難易度に設定されるようにする。
【０１８６】
図２１ではプレーヤは、ボールＢＬのコースが内角高めであると予想して、Ａ１に示すように、タッチペン３０（或いは指）を用いて、サブ表示部１９０Ｓの操作入力エリアＡＲＩの右上の位置をタッチしている。また図２１では、メイン表示部１９０ＭにはボールＢＬの通過後の画像が表示されており、プレーヤの指示位置表示用オブジェクトＤＯＢと、ボール位置表示用オブジェクトＰＯＢが表示されている。
【０１８７】
指示位置表示用オブジェクトＤＯＢは、プレーヤのヒット指示位置を知らせるためのオブジェクトであり、判定基準エリアＡＲＢの位置に表示される。即ち指示位置表示用オブジェクトＤＯＢは、判定基準エリアＡＲＢと同じ奥行き位置（同じＺ値）に配置されて表示される。そして図２１ではプレーヤは、タッチペン３０により、サブ表示部１９０Ｓの操作入力エリアＡＲＩの右上の位置をタッチしている。従って、メイン表示部１９０Ｍでは、判定基準エリアＡＲＢの右上の位置に指示位置表示用オブジェクトＤＯＢが配置されて表示される。これによりプレーヤは、ボールＢＬの通過時に自分がどのコースをタッチしたのかを、指示位置表示用オブジェクトＤＯＢを見ることで、事後的に確認できるようになる。
【０１８８】
またボール位置表示用オブジェクトＰＯＢ（広義には移動体位置表示用オブジェクト）は、プレーヤがヒット指示位置を指示した入力タイミングでのボールＢＬの位置をプレーヤに知らせるためのオブジェクトである。例えばボール位置表示用オブジェクトＰＯＢは、プレーヤの入力タイミングでのボールＢＬの位置に配置されて表示される。
【０１８９】
そして図２１では、プレーヤがタッチペン３０でヒット指示位置を指示した入力タイミングにおいて、ボールＢＬのコースは真ん中であり、判定基準エリアＡＲＢの真ん中付近をボールＢＬが通過している。従って、ボール位置表示用オブジェクトＰＯＢは真ん中付近に配置されて表示される。これによりプレーヤは、自分が操作入力を行いバットを振ったタイミングでのボールＢＬの位置を、事後的に確認することが可能になる。
【０１９０】
そしてプレーヤは、指示位置表示用オブジェクトＤＯＢとボール位置表示用オブジェクトＰＯＢの位置関係を見ることで、入力タイミングでのヒット位置とボール位置のズレを確認できる。例えば図２１では、指示位置表示用オブジェクトＤＯＢとボール位置表示用オブジェクトＰＯＢの位置のずれは比較的大きい。従って、プレーヤは、図２１では、自身の指示位置がボールＢＬのコースと、あまり合っていなかったことを、事後的に確認することが可能になる。これにより、野球ゲームに好適なインターフェース環境をプレーヤに提供できる。
【０１９１】
また図２１では、判定基準エリアＡＲＢを含むヒット判定ボリュームＨＶが設定されている。そしてプレーヤがタッチペン３０で操作入力エリアＡＲＩをタッチした入力タイミングにおいて、ヒット判定ボリュームＨＶ内にボールＢＬが位置していた場合には、バッティングに成功してバットにボールが当たったと判定される。そして入力タイミングにおけるボールＢＬの位置や、操作入力エリアＡＲＩでのタッチ位置とボールＢＬの通過位置との関係に基づいて、ボールＢＬのヒット強さやヒット方向などが設定されるようになる。
【０１９２】
２．５ 詳細な処理例
次に本実施形態の詳細な処理例について図２２、図２３のフローチャートを用いて説明する。
【０１９３】
図２２は、本実施形態の全体的な処理の詳細を説明するためのフローチャートである。まず、タイミングデータ記憶部１７４から、図５で説明したような判定基準タイミングＴＭＢ１〜ＴＭＢＮのデータを読み出す（ステップＳ１）。そしてフレーム更新のタイミングか否かを判断する（ステップＳ２）。
【０１９４】
フレーム更新のタイミングであった場合には、指示マーカ、ボール等の移動体の移動処理を行う（ステップＳ３）。例えば視点側から見て奥側から手前側に移動体を移動させる処理を行う。また入力タイミングＴＭＩを取得する（ステップＳ４）。図８等を例にとれば、プレーヤがタッチペン３０や指でサブ表示部１９０Ｓをタッチしたタイミングを取得する。
【０１９５】
次に、判定基準タイミングＴＭＢｍ（１≦ｍ≦Ｎ）と入力タイミングＴＭＩを比較する（ステップＳ５）。そしてＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＲ／２であるか否かを判断する（ステップＳ６）。即ち図６（Ａ）〜図６（Ｃ）等で説明したように、入力タイミングＴＭＩが、判定基準タイミングＴＭＢｍを基準とした許容期間ＴＲ内に収まっているか否かを判断する。そして、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＲ／２である場合には、入力タイミングＴＭＩが許容期間ＴＲ内に収まっていると判断して、入力成功と判定し、ゲーム成績演算処理、移動体の表示制御処理、ゲーム演出処理などのゲーム演算処理を実行する（ステップＳ７）。
【０１９６】
次に、基準スクリーンにオブジェクトを透視投影して描画することで、左眼用仮想カメラから見える左眼用画像を生成する（ステップＳ８）。また、基準スクリーンにオブジェクトを透視投影して描画することで、右眼用仮想カメラから見える右眼用画像を生成する（ステップＳ９）。これにより、立体視用画像である左目用画像、右目用画像が生成される。例えば、判定基準タイミングにおいて基準スクリーンを通過するように移動体を制御すると共に、基準スクリーンに対して移動体のオブジェクトを透視投影して描画することで、判定基準タイミングにおいて移動体の画像の視差が無くなる立体視用画像が生成されるようになる。
【０１９７】
図２３は、本実施形態の手法を音楽ゲームに適用した場合の評価処理の詳細を説明するためのフローチャートである。
【０１９８】
まず、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＴＨか否かを判断する（ステップＳ１１）。ここでＴＴＨは、評価処理のしきい値であり、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＴＨである場合には、判定基準タイミングＴＭＢｍと入力タイミングＴＭＩは一致（合致）しているものと見なされる。そして、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＴＨである場合には、入力の評価結果は「良」であると判定する（ステップＳ１２）。そして図１２（Ａ）、図１２（Ｂ）で説明したように、基準スクリーンよりも手前側に評価結果表示用オブジェクトを配置する（ステップＳ１３）。これにより、「良」の評価結果を表す評価表示用オブジェクトが画面から飛び出して見える立体視用画像が生成されるようになる。
【０１９９】
一方、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＴＨではない場合には、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＲ／２であるか否かを判断する（ステップＳ１４）。ここでＴＲは、操作入力が成功か否かを判断するための許容期間である。そしてＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＲ／２である場合には、入力タイミングＴＭＩが許容期間ＴＲ内に収まっているため、入力の評価結果は「可」であると判定する（ステップＳ１５）。そして、図１３（Ａ）、図１３（Ｂ）で説明したように、基準スクリーンの位置に評価結果表示用オブジェクトを配置する（ステップＳ１６）。
【０２００】
一方、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＲ／２ではない場合には、入力の評価結果は「不可」であると判定する（ステップＳ１７）。そして図１４（Ａ）、図１４（Ｂ）で説明したように、基準スクリーンの奥側に評価結果表示用オブジェクトを配置する（ステップＳ１８）。これにより、「不可」の評価結果を表す評価表示用オブジェクトが画面から奥側に引っ込んで見える立体視用画像が生成されるようになる。
【０２０１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（所定視差の画像、第１視点画像、第２視点画像、移動体等）と共に記載された用語（視差の無い画像、左眼用画像、右眼用画像、指示マーカ・ボール等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、タイミング判定手法、判定基準タイミングの設定手法、立体視用画像の生成手法、移動体の移動制御手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【符号の説明】
【０２０２】
ＴＭＢ１〜ＴＭＢ５ 判定基準タイミング、ＭＯＢ、ＭＯＢ１〜ＭＯＢ３ 移動体、
ＭＫ、ＭＫ１〜ＭＫ５ 指示マーカ、ＳＯＢ 評価表示用オブジェクト、
ＧＯＢ ゲージ ＣＨＴ 太鼓キャラクタ、ＴＯＢ 太鼓、
ＡＲＢ 判定基準エリア、ＡＲＩ 操作入力エリア、
ＣＨＰ 投手キャラクタ、ＣＨＢ 打者キャラクタ、ＢＬ ボール、
ＤＯＢ 指示位置表示用オブジェクト、ＰＯＢ ボール位置表示用オブジェクト、
ＨＶ ヒット判定ボリューム、
ＶＣＬ 左眼用仮想カメラ、ＶＣＲ 右眼用仮想カメラ、
ＳＣ スクリーン（基準スクリーン）、ＶＶＬ 左眼用ビューボリューム、
ＶＶＲ 右眼用ビューボリューム、ＣＮＬ、ＣＮＲ、ＣＦＬ、ＣＦＲ クリッピング面、
ＣＭ１、ＣＭ２、ＣＭ３ カメラ、
ＭＫＶ 仮想指示マーカ、ＰＬ、プレーヤ、ＳＰ１、ＳＰ２ 音出力部、
１０ 筺体、１２ 方向指示キー、１４ アナログスティック、１６ 操作ボタン、
２０ 筺体、３０ タッチペン、１９０Ｍ メイン表示部、１９０Ｓ サブ表示部、
１００ 処理部、１０２ ゲーム演算部、１０４ オブジェクト空間設定部、
１０６ 移動体制御部、１０８ 仮想カメラ制御部、１１０ 判定部、
１２０ 画像生成部、１２２ 左眼用画像生成部、１２４ 右眼用画像生成部、
１７０ 記憶部、１７２ オブジェクトデータ記憶部、
１７４ タイミングデータ記憶部、１７８ 描画バッファ、１８０ 情報記憶媒体、
１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、１９６ 通信部、
５００ サーバシステム、５１０ ネットワーク、ＴＭ１〜ＴＭｎ 端末装置、
６００ 処理部、６０２ ゲーム演算部、６０４ オブジェクト空間設定部、
６０６ 移動体制御部、６０８ 仮想カメラ制御部、６１０ 判定部、
６２０ 画像生成用データ生成部、６３０ 音生成用データ生成部
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体、画像生成システム及びサーバシステム等に関する。
【背景技術】
【０００２】
近年、映画やゲーム等の分野において、より臨場感が溢れる画像を生成するシステムとして、立体視画像の生成システムが脚光を浴びている。例えば立体視画像生成システムの１つである２眼式の立体視画像生成システムでは、左眼用画像と右眼用画像を生成する。そしてプレーヤが立体視用の眼鏡を装着して、左眼は左眼用画像のみを見て、右眼は右眼用画像のみを見るようにすることで、立体視を実現する。このような立体視を実現する画像生成システムの従来技術としては、例えば特許文献１に開示される技術がある。また立体視方式としては、眼鏡式以外にも裸眼式がある。例えば、パララックスバリアによって、画素ごとに、「左眼には見えるが右眼には見えない」、「右眼には見えるが左眼には見えない」という状態を作り出すことで、裸眼の立体視システムを実現できる。また、レンチキュラ等の光学素子による光の屈折等を利用することで、画素ごとに光の方向を制御し、上記と同様の状態を作り出すことでも、裸眼の立体視システムを実現できる。
【０００３】
一方、音楽ゲームや、野球ゲームなどの球技ゲームなどでは、音符（指示マーカ）やボールなどの移動体をゲーム画面上で移動させ、この移動体を用いて、プレーヤの入力タイミングが所定の判定基準内にあるか否かのタイミング判定処理を行う。
【０００４】
しかしながら、立体視システムにより実現される立体視ゲームにおいて、このようなタイミング判定処理を行う場合に、タイミング判定における移動体の表示状態が適正な表示状態でないと、適切なタイミング判定処理を実現できなくなるおそれがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１２６９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、立体視システムにおける適切なタイミング判定処理を実現できるプログラム、情報記憶媒体、画像生成システム及びサーバシステム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、移動体の制御を行う移動体制御部と、前記移動体を用いたタイミング判定処理を行う判定部と、立体視用画像を生成する画像生成部とを含み、前記画像生成部は、前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が所定視差になるように、前記移動体が表示された立体視用画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００８】
本発明の一態様によれば、移動体制御部により制御される移動体を用いて、タイミング判定処理が行われる。そして、タイミング判定処理に用いられる判定基準タイミングにおいて、移動体の画像の視差が所定視差になるように立体視用画像が生成される。このようにすれば、判定基準タイミングにおいて画像の視差が所定視差になる移動体を用いて、タイミング判定処理が行われるようになるため、立体視システムにおける適切なタイミング判定処理を実現することが可能になる。
【０００９】
また本発明の一態様では、前記判定基準タイミングのデータを記憶するタイミングデータ記憶部を含み（タイミングデータ記憶部としてとしてコンピュータを機能させ）、前記判定部は、前記タイミングデータ記憶部に記憶される前記判定基準タイミングのデータと、プレーヤの入力タイミングとに基づいて、前記タイミング判定処理を行ってもよい。
【００１０】
このようにすれば、タイミングデータ記憶部に記憶された判定基準タイミングのデータを用いてタイミング判定処理を行いながら、判定基準タイミングにおいて移動体の画像の視差が所定視差になる立体視用画像を生成できるようになる。
【００１１】
また本発明の一態様では、ゲーム演算処理を行うゲーム演算部を含み（ゲーム演算部としてコンピュータを機能させ）、前記判定部は、前記タイミング判定処理として、前記入力タイミングと前記判定基準タイミングとのタイミング関係に基づく評価処理を行い、前記ゲーム演算部は、前記評価処理の結果に基づいて、前記ゲーム演算処理を行ってもよい。
【００１２】
このようにすれば、判定基準タイミングにおいて画像の視差が所定視差になる移動体を用いてタイミング判定処理を実現できると共に、入力タイミングと判定基準タイミングとのタイミング関係に基づく評価処理の結果により、ゲーム演算処理を実行できる。従って、立体視システムにおける適切なタイミング判定処理を実現しながら、そのタイミング判定処理の評価処理の結果をゲーム演算処理に反映させることが可能になる。
【００１３】
また本発明の一態様では、前記ゲーム演算部は、前記プレーヤのゲーム成績の演算処理、前記移動体の表示制御処理、及びゲーム演出処理の少なくとも１つを、前記評価処理の結果に基づく前記ゲーム演算処理として行ってもよい。
【００１４】
このようにすれば、タイミング判定処理の評価結果を、プレーヤのゲーム成績や移動体の表示制御やゲーム演出処理に反映させることが可能になる。
【００１５】
また本発明の一態様では、前記画像生成部は、前記評価処理の結果を表示する評価表示用オブジェクトの画像として、前記評価結果に応じて視差の度合いが変化する画像が表示された立体視用画像を生成してもよい。
【００１６】
このようにすれば、タイミング判定の評価処理の結果を、評価表示用オブジェクトの視差の度合いの変化により、プレーヤに伝えることができる。これにより、プレーヤは、評価表示用オブジェクトの視差の度合いによって、自身に与えられた評価を直感的に認識することが可能になる。
【００１７】
また本発明の一態様では、前記画像生成部は、前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成してもよい。
【００１８】
このようにすれば、判定基準タイミングにおいて画像の視差が無くなる移動体を用いて、タイミング判定処理が行われるようになるため、立体視システムにおける適切なタイミング判定処理を実現することが可能になる。
【００１９】
また本発明の一態様では、前記画像生成部は、前記入力タイミングと前記判定基準タイミングとのタイミング差に応じて、前記移動体の画像の視差が変化する立体視用画像を生成してもよい。
【００２０】
このようにすれば、入力タイミングと判定基準タイミングとのタイミング差を、移動体の画像の視差の変化により表すことが可能になり、プレーヤがタイミングを把握しやすいタイミング判定処理を実現できるようになる。
【００２１】
また本発明の一態様では、前記画像生成部は、前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成すると共に、前記タイミング判定処理においてプレーヤの入力タイミングが前記判定基準タイミングと合致したと判定され、前記プレーヤの入力が成功であると判定された場合には、ゲーム演出効果表示用オブジェクトの画像として、視差のある画像が表示された立体視用画像を生成してもよい。
【００２２】
このようにすれば、移動体が視差の無い画像になっている場合にも、ゲーム演出効果表示用オブジェクトが視差のある画像として表示されることで、ゲーム演出効果を向上できる。
【００２３】
また本発明の一態様では、前記移動体は、プレーヤが入力すべきタイミングを指示する指示マーカであり、前記判定部は、前記指示マーカで指示されたタイミングで前記プレーヤが入力を行った場合に、前記プレーヤの入力タイミングと前記判定基準タイミングとの合致判定処理を、前記タイミング判定処理として行ってもよい。
【００２４】
このようにすれば、プレーヤが、指示マーカで指示された操作の入力を行うと、その入力タイミングと判定基準タイミングとの合致判定処理が行われるようになる。そして、判定基準タイミングでは移動体の画像の視差が所定視差になるため（例えば視差が無くなるため）、プレーヤは、指示マーカで指示された操作を、判定基準タイミングにおいて容易に入力できるようになる。
【００２５】
また本発明の一態様では、前記画像生成部は、前記指示マーカについては、前記判定基準タイミングにおいて視差の無い画像が表示され、前記プレーヤの入力が行われたことを示す入力動作表示用オブジェクトについては、視差のある画像が表示された立体視用画像を生成してもよい。
【００２６】
このようにすれば、プレーヤは、入力動作表示用オブジェクトを見ることで、自身の入力動作が行われたことを確認できる。また、指示マーカが視差の無い画像であっても、それを補うように、入力動作表示用オブジェクトが視差のある画像になるため、あたかも指示マーカが視差のある画像として立体視表示されているかのように見える演出効果を実現できるようになる。
【００２７】
また本発明の一態様では、前記移動体制御部は、視点側から見て奥側から手前側に前記移動体を移動させる制御を行ってもよい。
【００２８】
このようにすれば、視点側から見て奥側から手前側に移動体を移動させ、判定基準タイミングにおいて、その移動体の画像の視差が所定視差になるような立体視用画像（例えば視差が無くなるような立体視用画像）を生成することで、移動体を用いた適切なタイミング判定処理を実現できるようになる。
【００２９】
また本発明の一態様では、前記移動体制御部は、前記判定基準タイミングにおいて、入力すべきタイミングをプレーヤに知らせるための判定基準エリアを前記移動体が通過するように、前記移動体を移動させる制御を行ってもよい。
【００３０】
このようにすれば、判定基準タイミングにおいて移動体が判定基準エリアを通過し、その際の移動体の画像は視差が所定視差になる画像（例えば視差の無い画像）になる。従って例えばプレーヤは、判定基準エリアの通過タイミングにおいて視差が所定視差になる移動体の画像を見ながら、操作入力を行うことが可能になるため、立体視システムにおける適切なタイミング判定処理を実現できる。
【００３１】
また本発明の一態様では、前記画像生成部は、前記判定基準エリアに対応する位置に設定された基準スクリーンに対して前記移動体のオブジェクトを透視投影して描画することで、前記判定基準タイミングにおいて前記移動体の画像の視差が無くなる立体視用画像を生成してもよい。
【００３２】
このようにすれば、基準スクリーンへの移動体のオブジェクトの透視投影を行うことで、判定基準エリアを通過する判定基準タイミングにおいて視差が無くなるような移動体の画像を生成できるようになる。
【００３３】
また本発明の一態様では、前記画像生成部は、前記判定基準タイミングにおいて前記移動体の色、形状及びサイズの少なくとも１つが変化する立体視用画像を生成してもよい。
【００３４】
このようにすれば、判定基準タイミングでの移動体の視認性が向上するようになり、プレーヤが把握しやすいタイミング判定処理等を実現できるようになる。
【００３５】
また本発明の一態様では、音を生成する音生成部を含み（音生成部としてコンピュータを機能させ）、前記音生成部は、前記移動体の視差に応じて、音像定位が変化する音を生成してもよい。
【００３６】
このようにすれば、移動体の視差のみならず、移動体の視差に連動する音像定位も利用して、移動体の立体感をプレーヤに感じさせることが可能になる。
【００３７】
また本発明の一態様では、前記判定部は、前記移動体又はタイミング判定処理用の操作対象物に対応する仮想的な表示物であって前記立体視用画像に基づき表示部の表示画面側空間に仮想表示される仮想表示物と、現実空間の被ヒット体とのヒット判定処理を行ってよい。
【００３８】
このようにすれば、移動体又は操作対象物に対応する仮想表示物と、現実空間の被ヒット体とのヒット判定処理を行って、ヒット判定結果をゲーム結果等に反映させることが可能になる。
【００３９】
また本発明の一態様では、前記判定部は、前記仮想表示物と前記被ヒット体とのヒット判定処理を、プレーヤを撮影する撮像部からの撮像情報に基づいて行ってもよい。
【００４０】
このようにすれば、撮像部からの撮像情報を利用して、仮想表示物と被ヒット体とのヒット判定処理を実現できるようになる。
【００４１】
また本発明の他の態様は、移動体の制御を行う移動体制御部と、前記移動体を用いたタイミング判定処理を行う判定部と、立体視用画像を生成するための画像生成用データを生成する画像生成用データ生成部とを含み、前記画像生成用データ生成部は、前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が所定視差になるように、前記移動体が表示された立体視用画像を生成するための画像生成用データを生成するサーバシステムに関係する。
【図面の簡単な説明】
【００４２】
【図１】本実施形態の画像生成システムの構成例。
【図２】立体視におけるオブジェクトの描画位置の説明図。
【図３】図３（Ａ）〜図３（Ｃ）は本実施形態の手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）は移動体の画像の視差についての説明図。
【図５】タイミングデータ記憶部についての説明図。
【図６】図６（Ａ）〜図６（Ｅ）は入力タイミングの評価処理についての説明図。
【図７】図７（Ａ）、図７（Ｂ）は本実施形態が適用される携帯型ゲーム装置の構成例。
【図８】本実施形態を音楽ゲームに適用した場合に生成される画像の例。
【図９】本実施形態を音楽ゲームに適用した場合に生成される画像の例。
【図１０】図１０（Ａ）〜図１０（Ｃ）は本実施形態を音楽ゲームに適用した場合のタイミング判定手法の説明図。
【図１１】図１１（Ａ）〜図１１（Ｃ）は本実施形態を音楽ゲームに適用した場合の入力タイミングの評価手法の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は評価表示用オブジェクトの表示制御手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）も評価表示用オブジェクトの表示制御手法の説明図。
【図１４】図１４（Ａ）、図１４（Ｂ）も評価表示用オブジェクトの表示制御手法の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）はゲーム演出効果表示用オブジェクトの表示制御手法の説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）は入力動作表示用オブジェクトの表示制御手法の説明図。
【図１７】図１７（Ａ）、図１７（Ｂ）は判定基準タイミングにおいて移動体の色、形状又はサイズを変化させる手法の説明図。
【図１８】移動体の視差に応じて音像定位が変化する音を生成する手法の説明図。
【図１９】図１９（Ａ）、図１９（Ｂ）は仮想表示物とプレーヤの指等の被ヒット体とのヒット判定処理を行う手法の説明図。
【図２０】本実施形態を野球ゲームに適用した場合に生成される画像の例。
【図２１】本実施形態を野球ゲームに適用した場合に生成される画像の例。
【図２２】本実施形態の詳細な処理を説明するフローチャート。
【図２３】本実施形態の詳細な処理を説明するフローチャート。
【図２４】本実施形態のサーバシステムの構成例。
【発明を実施するための形態】
【００４３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４４】
１．構成
図１に本実施形態の画像生成システム（ゲームシステム）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４５】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００４６】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００４７】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００４８】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００４９】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００５０】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００５１】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５２】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５３】
処理部１００は、ゲーム演算部１０２、オブジェクト空間設定部１０４、移動体制御部１０６、仮想カメラ制御部１０８、判定部１１０、画像生成部１２０、音生成部１３０を含む。
【００５４】
ゲーム演算部１０２はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００５５】
オブジェクト空間設定部１０４は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、指示マーカ、ボール、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７２には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１０４は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００５６】
移動体制御部１０６は、指示マーカ、ボール、キャラクタ等の移動体を移動させるための制御処理を行う。また移動体（移動体オブジェクト）を動作させるための制御処理を行う。即ち操作部１６０によりプレーヤが入力した操作データや、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ）などに基づいて、移動体（オブジェクト、モデルオブジェクト）をオブジェクト空間内で移動させたり、移動体を動作（モーション、アニメーション）させる制御処理を行う。具体的には、移動体の移動情報（位置、回転角度、速度、或いは加速度）や動作情報（パーツオブジェクトの位置、或いは回転角度）を、１フレーム（１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動体の移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。
【００５７】
仮想カメラ制御部１０８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００５８】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は方向の変化に仮想カメラが追従するように、仮想カメラの位置（視点位置）や方向（視線方向）を制御する。この場合には、移動体制御部１０６で得られたキャラクタの位置、方向又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は方向を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００５９】
判定部１１０は各種の判定処理を行う。判定部１１０が行う判定処理の詳細については後述する。
【００６０】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。
【００６１】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００６２】
そして本実施形態では、移動体制御部１０６が、指示マーカ（音符）、ボール等の移動体の制御を行う。例えば移動体のオブジェクトをオブジェクト空間内で移動させる制御を行う。また判定部１１０が、移動体を用いたタイミング判定処理を行う。例えばプレーヤの入力タイミングと移動体の位置等に基づいて、音楽ゲームや野球ゲームなどの各種のゲームにおけるタイミング判定処理を行う。
【００６３】
そして画像生成部１２０は立体視用画像を生成する。具体的には画像生成部１２０は、タイミング判定処理に用いられる判定基準タイミングにおいて移動体の画像の視差が所定視差になるように、移動体が表示された立体視用画像を生成する。例えば判定基準タイミングにおいて移動体の画像の視差が無くなるように、移動体が表示された立体視用画像を生成する。
【００６４】
ここで立体視用画像は、２眼分離眼鏡方式等を例にとれば、左眼用画像、右眼用画像である。但し立体視用画像は、２眼分離眼鏡方式の左眼用画像、右眼用画像には限定されず、裸眼方式の立体視用画像であってもかまわない。裸眼方式には、裸眼２眼式のほか、多眼方式や、空間像方式等が含まれる。空間像方式としては、例えば「フラクショナル・ビュー方式」が提案されている。
【００６５】
また判定基準タイミングは、移動体を用いたタイミング判定処理の基準となるタイミングであり、例えば判定基準フレームとして表される。
【００６６】
また、移動体の画像の視差が所定視差になるとは、移動体の画像の視差が、予め想定されている視差になることであり、例えば所定の視差範囲内になることである。具体的には左眼用画像（広義には第１視点画像）のオブジェクトの基準スクリーン（透視投影面）での描画位置である第１描画位置と、右眼用画像（広義には第２視点画像）の対応するオブジェクトの基準スクリーンでの描画位置である第２描画位置とのずれ（差）が、所定の基準値になったり、所定の基準範囲内になることである。この所定基準値や所定基準範囲のデータは例えば記憶部１７０に記憶される。
【００６７】
また移動体の画像の視差が無くなるとは、例えば移動体の画像の視差がゼロになることである。具体的には左眼用画像（第１視点画像）のオブジェクトの基準スクリーンでの第１描画位置と、右眼用画像（第２視点画像）の対応するオブジェクトの基準スクリーンでの第２描画位置が一致することである。但し、移動体の画像の視差は完全にゼロである必要はなく、視差の値が所定しきい値以下である場合でもよい。例えば左眼用画像のオブジェクトの第１描画位置と右眼用画像の対応するオブジェクトの第２描画位置のずれ（差）が所定しきい値以下（例えば１ピクセル以下）である場合でもよい。また、この場合の視差（両眼視差）は、左眼（第１視点）と右眼（第２視点）で見る像の位置の差異のことであり、両眼像差（Binocular parallax）と呼ばれるものである。
【００６８】
例えば記憶部１７０のタイミングデータ記憶部１７４は、判定基準タイミングのデータを記憶する。即ち、複数の判定基準タイミングを例えば複数の判定基準フレームとして記憶する。そして判定部１１０は、タイミングデータ記憶部１７４に記憶される判定基準タイミングのデータと、プレーヤの入力タイミングとに基づいて、タイミング判定処理を行う。例えば判定基準タイミングとプレーヤの入力タイミングの比較処理を行うことで、タイミング判定処理を実現する。そして画像生成部１２０は、判定基準タイミングにおいて移動体の画像の視差が所定視差になるように（例えば視差が無くなるように）、移動体が表示された立体視用画像（左眼用画像、右眼用画像）を生成する。例えば指示マーカやボール等の移動体は、移動体制御部１０６の制御により例えばオブジェクト空間内で移動する。またプレーヤが操作部１６０を用いてタイミング判定のための操作を行うと、その操作の入力タイミング（操作を入力したフレーム）が取得される。そして判定部１１０は、プレーヤの入力タイミングと、判定基準タイミングとの一致判定処理（合致判定処理）を、タイミング判定処理として行う。この場合に画像生成部１２０は、指示マーカやボール等の移動体が、判定基準タイミングにおいてその画像の視差が所定視差になるように（視差が無くなるように）、立体視用画像を生成する。例えば左眼用画像での移動体のオブジェクトの第１描画位置と右眼用画像での移動体のオブジェクトの第２描画位置との差が、判定基準タイミングにおいて所定基準値や所定基準範囲内になったり、第１描画位置と第２描画位置が判定基準タイミングにおいて一致（略一致を含む）するように、左眼用画像、右眼用画像を生成する。
【００６９】
また判定部１１０は、タイミング判定処理として、入力タイミングと判定基準タイミングとのタイミング関係に基づく評価処理を行う。例えば入力タイミングと判定基準タイミングのタイミング差（時間差、フレーム差）に基づく評価処理を行う。するとゲーム演算部１０２は、評価処理の結果（良い評価か悪い評価か）に基づいて、ゲーム演算処理を行う。具体的には、プレーヤのゲーム成績の演算処理、移動体の表示制御処理、及びゲーム演出処理の少なくとも１つを、評価処理の結果に基づくゲーム演算処理として行う。
【００７０】
ここでゲーム成績の演算処理は、タイミング判定処理に基づくゲームにより獲得されたプレーヤの得点やポイントや操作評価の演算処理である。例えば入力タイミングと判定基準タイミングのタイミング差（時間差）が少ないほど、プレーヤに対して高い得点や高いポイントや高い操作評価が与えられる。また移動体の表示制御処理は、例えば入力タイミングと判定基準タイミングとに基づく判定処理後における移動体の表示制御処理である。例えば評価結果に基づいて、移動体の移動方向や移動速度や移動加速度や表示態様を変化させる処理である。またゲーム演出処理は、タイミング判定処理の結果を視覚的又は聴覚的に表現するための演出処理であり、評価結果に基づく映像効果やサウンド効果を、ゲーム演出のために発生させる処理である。
【００７１】
また画像生成部１２０は、評価処理の結果を表示する評価表示用オブジェクトの画像として、評価結果に応じて視差の度合いが変化する画像が表示された立体視用画像を生成する。例えば評価結果が第１の結果（例えば「良」）である場合には、視点側から見て基準スクリーンの手前側に見えるような視差を有する評価表示用オブジェクトを表示する。また評価結果が第２の結果（例えば「不可」）である場合には、例えば視点側から見て基準スクリーンの奥側に見えるような視差を有する評価表示用オブジェクトを表示する。また評価結果が第３の結果（例えば「可」）である場合には、例えば視差がゼロの評価表示用オブジェクトを表示する。
【００７２】
また画像生成部１２０は、入力タイミングと判定基準タイミングとのタイミング差に応じて、移動体の画像の視差が変化する立体視用画像を生成する。例えば入力タイミングと判定基準タイミングとのタイミング差が大きくなるにつれて、移動体の画像の視差が大きくなったり、小さくなる立体視用画像を生成する。更に具体的には画像生成部１２０は、入力タイミングと判定基準タイミングとのタイミング差が大きくなるほど、移動体の画像の視差が大きくなる立体視用画像を生成する。例えば入力タイミングと判定基準タイミングとのタイミング差が大きい場合には、立体視において基準スクリーンから飛び出したり引っ込んで見えるような立体視用画像を生成する。
【００７３】
また画像生成部１２０は、タイミング判定処理に用いられる判定基準タイミングにおいて移動体の画像の視差が無くなるように移動体が表示された立体視用画像を生成する。そしてタイミング判定処理においてプレーヤの入力タイミングが判定基準タイミングと合致したと判定され、プレーヤの入力が成功であると判定された場合には、ゲーム演出効果表示用オブジェクトの画像として、視差のある画像が表示された立体視用画像を生成する。例えば視差の無い画像の移動体の配置場所から、視差のある画像のゲーム演出効果表示用オブジェクトを発生させる処理などを行う。このようにすることで、移動体自身には視差が無くても、視差のあるゲーム演出効果表示用オブジェクトを用いて効果的なゲーム演出効果を実現できるようになる。
【００７４】
また移動体は、例えばプレーヤが入力すべきタイミングを指示する指示マーカである。そして判定部１１０は、この指示マーカで指示されたタイミングでプレーヤが入力を行った場合に、プレーヤの入力タイミングと判定基準タイミングとの合致判定処理を、タイミング判定処理として行う。即ち、移動体である指示マーカは移動体制御部１０６の制御により移動し、この指示マーカが、プレーヤが入力すべきタイミングを指示する。そしてプレーヤが、指示されたタイミングで操作入力を行うと、その入力タイミングと判定基準タイミングとの合致判定処理（比較処理）が行われる。このようにすれば、指示マーカを用いた音楽ゲーム等のゲームを実現できるようになる。
【００７５】
この場合に画像生成部１２０は、指示マーカについては、判定基準タイミングにおいて視差の無い画像が表示され、プレーヤの入力が行われたことを示す入力動作表示用オブジェクトについては、視差のある画像が表示された立体視用画像を生成する。即ち、判定基準タイミングにおいて、指示マーカについては視差の無い画像が表示されている場合にも、入力動作表示用オブジェクトについては視差のある画像が表示されるようにする。このようにすること、プレーヤは、入力が適正に行われたか否かを、視差のある入力動作表示用オブジェクトにより容易に把握できるようになる。
【００７６】
移動体制御部１０６は、視点側から見て奥側から手前側に移動体を移動させる制御を行う。例えば移動体の奥行き値が、視点側から見て奥側を示す奥行き値から、手前側を示す奥行き値に変化するように、移動体を移動させる。そして判定基準タイミングにおいては、移動体の視差が所定視差になるような画像（視差が無くなるような画像）を生成する。こうすることで、移動体を用いたタイミング判定処理として、プレーヤにとって分かりやすい判定処理を実現できる。
【００７７】
なお、移動体は球技ゲームにおけるボール（ボールを表すオブジェクト）であってもよい。そして判定部１１０は、球技ゲームに登場するキャラクタの所持物（バット、ラケット等）又は部位（足、手、頭等）によりボールがヒットされるようなヒット判定処理を、タイミング判定処理として行う。球技ゲームとしては、例えば野球ゲーム、テニスゲーム、サッカーゲーム等の種々のゲームを想定できる。そして移動体制御部１０６は、判定基準タイミングにおいて、入力すべきタイミングをプレーヤに知らせるための判定基準エリアを移動体が通過するように、移動体を移動させる制御を行う。例えば移動体制御部１０６は、タイミングデータ記憶部１７４に記憶される判定基準タイミングのデータに基づいて、判定基準タイミングにおいて移動体が判定基準エリアを通過するように、移動体の移動を制御する。こうすることで、判定基準エリアの通過時に視差が所定視差になるような移動体の画像（視差がゼロになるような移動体の画像）を生成できるようになる。
【００７８】
なお、タイミングデータ記憶部１７４に、判定基準タイミングのデータと、表示基準タイミングのデータの両方を記憶してもよい。そしてプレーヤの入力タイミングについてのタイミング判定処理については、判定基準タイミングのデータを用いて行い、移動体の移動制御処理については、表示基準タイミングのデータを用いて行う。この場合に、判定基準タイミングと表示基準タイミングは、そのタイミングが同期するようなデータとなっており、このように同期したデータを用いることで、判定基準エリアの通過時に視差が所定視差になるような移動体の画像（視差がゼロになるような移動体の画像）を生成できるようになる。
【００７９】
また画像生成部１２０は、判定基準エリアに対応する位置に設定された基準スクリーンに対して移動体のオブジェクトを透視投影して描画することで、判定基準タイミングにおいて移動体の画像の視差が無くなる立体視用画像を生成する。具体的には、基準スクリーンに対して移動体のオブジェクトを、左眼用仮想カメラの視点で透視投影して描画することで、左眼用画像を生成する。また基準スクリーンに対して移動体のオブジェクトを、右眼用仮想カメラの視点で透視投影して描画することで、右眼用画像を生成する。
【００８０】
例えば２眼分離眼鏡方式の場合には、画像生成部１２０は、左眼用画像生成部（広義には第１視点画像生成部）１２２、右眼用画像生成部（広義には第２視点画像生成部）１２４を含む。そして左眼用画像生成部１２２が、左眼用仮想カメラの視点（第１の視点）での画像である左眼用画像（第１視点画像）を生成する。また右眼用画像生成部１２４が、右眼用仮想カメラの視点（第２の視点）での画像である右眼用画像（第２視点画像）を生成する。
【００８１】
なお仮想カメラ制御部１０８は、例えば左眼用、右眼用仮想カメラを設定するための基準となる基準仮想カメラの制御を行う。そして、得られた基準仮想カメラの位置情報、方向情報と、設定されたカメラ間距離の情報に基づいて、左眼用、右眼用仮想カメラの位置情報（視点位置）、方向情報（視線方向）を求める。なお仮想カメラ制御部１０８が、左眼用、右眼用仮想カメラを直接制御するようにしてもよい。
【００８２】
また立体方式としては、２眼分離眼鏡方式や、パララックスバリアやレンチキュラや、その他、光線の方向を制御することができる光学素子を用いた裸眼方式などの様々な方式を想定できる。２眼分離眼鏡方式としては、例えば偏光眼鏡方式、継時分離方式、色分離方式などがある。偏光眼鏡方式では、例えば表示部１９０の奇数ラインと偶数ラインに左眼用画像と右眼用画像を交互に表示し、これを偏光眼鏡（例えば左眼に水平方向の偏光フィルタ、右眼に垂直方向の偏光フィルタを付けた眼鏡）で見ることで立体視を実現する。或いは左眼用画像と右眼用画像を特殊な偏光フィルタを有するプロジェクタで投影し、投影画像を偏光眼鏡で見ることで立体視を実現してもよい。また継時分離方式（ページ・フリップ方式）では、表示部１９０に左眼用画像、右眼用画像を所定期間毎（例えば１／１２０秒毎、１／６０秒毎）に交互に表示する。そして、この表示の切り替えに連動して液晶シャッター付きの眼鏡の左眼、右眼の液晶シャッターを交互に開閉することで、立体視を実現する。色分離方式では、例えばアナグリフ画像を生成し、赤青眼鏡等で見ることで、立体視を実現する。
【００８３】
また左眼用画像と右眼用画像から立体用視画像を生成する機能は、画像生成部１２０に持たせてもよいし、表示部１９０（テレビ等）に持たせてもよい。例えば画像生成部１２０が、サイドバイサイド方式の画像信号を出力する。すると表示部１９０が、このサイドバイサイドの画像信号に基づいて、奇数ラインと偶数ラインに左眼用画像と右眼用画像が交互に割り当てられるフィールドシーケンシャル方式の画像を表示する。或いは、左眼用画像と右眼用画像が所定期間毎に交互に切り替えられるフレームシーケンシャル方式の画像を表示する。或いは画像生成部１２０の方が、フィールドシーケンシャル方式やフレームシーケンシャル方式の画像を生成して、表示部１９０に出力するようにしてもよい。
【００８４】
また画像生成部１２０は、判定基準タイミングにおいて移動体の色、形状及びサイズの少なくとも１つが変化する立体視用画像を生成してもよい。例えば移動体の色、形状又はサイズを、判定基準タイミング（ジャストタイミング）においては、判定基準タイミング以外のタイミングとは異なった色、形状又はサイズに設定する。このようにすることで、判定基準タイミングでの移動体の視認性が高くなり、プレーヤがタイミングを把握しやすいタイミング判定処理を実現できる。
【００８５】
またゲーム音や効果音等の音を生成する音生成部１３０は、移動体の視差に応じて、音像定位が変化する音を生成してもよい。即ち移動体の立体視の度合いに応じて、音出力部１９２から出力される音の音像定位を変化させる。例えば移動体が画面から飛び出して見えるような視差（立体視用画像）の場合には、音の音像定位を画面よりも手前側（プレーヤ側）の位置に設定する。一方、移動体が画面の奥側に引っ込むような視差の場合には、音の音像定位を画面よりも奥側の位置に設定する。このようにすることで、立体視用画像における移動体の立体感と、音の音像定位による立体感とが連動するようになり、プレーヤが感じる立体感を向上できる。
【００８６】
また判定部１１０は、仮想表示物と、現実空間の被ヒット体とのヒット判定処理を行ってもよい。そして例えばゲーム演算部１０２が、このヒット判定処理の結果に基づいて、プレーヤの得点やポイント等のゲーム結果を演算するゲーム演算処理を行う。ここで、仮想表示物は、例えば移動体又はタイミング判定処理用の操作対象物に対応する仮想的な表示物であって、立体視用画像に基づき表示部１９０の表示画面側空間等に仮想表示されるものである。タイミング判定処理用の操作対象物とは、移動体を用いたタイミング判定処理において、プレーヤの操作対象となる表示物である。また被ヒット体は、現実空間の物体である。更に具体的には、判定部１１０は、仮想表示物と、プレーヤの部位（指、手等）やポインティングデバイス等の被ヒット体とのヒット判定処理を、プレーヤ（プレーヤの部位やポインティングデバイス）を撮影する撮像部（カメラ）からの撮像情報に基づいて行う。こうすることで、撮像部を利用した簡易な処理で、仮想表示物と被ヒット体とのヒット判定処理を実現できる。なお、撮像部の撮像センサとは異なるセンサ（人感センサ、光センサ、赤外線センサ等）からのセンサ情報に基づいて、仮想表示物と被ヒット体とのヒット判定処理を行ってもよい。
【００８７】
なお本実施形態の画像生成システムはサーバシステムにより実現してもよい。図２４にサーバシステムにより実現する場合の構成例を示す。
【００８８】
サーバシステム５００は、端末装置ＴＭ１〜ＴＭｎとネットワーク５１０を介して通信接続される。例えばサーバシステム５００はホストであり、端末装置ＴＭ１〜ＴＭｎはクライアントである。サーバシステム５００は例えば１又は複数のサーバ（認証サーバ、ゲームサーバ、通信サーバ、課金サーバ等）により実現できる。ネットワーク５１０（配信網、通信回線）は、例えばインターネットや無線ＬＡＮ等を利用した通信路であり、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮの他、電話通信網やケーブル網や無線ＬＡＮ等の通信網を含むことができる。また通信方法については有線／無線を問わない。
【００８９】
端末装置ＴＭ１〜ＴＭｎは、例えば携帯型ゲーム装置、据え置き型の家庭用ゲーム装置、或いは業務用ゲーム装置等により実現される。携帯型ゲーム装置は専用のゲーム装置であってもよいし、携帯電話機や携帯型情報端末などのゲームプログラムの実行が可能な汎用の装置であってもよい。
【００９０】
サーバシステム５００は、処理部６００、記憶部６７０、情報記憶媒体６８０、通信部６９６を含む。処理部６００は、ゲーム演算部６０２、オブジェクト空間設定部６０４、移動体制御部６０６、仮想カメラ制御部６０８、判定部６１０、画像生成用データ生成部６２０、音生成用データ生成部６３０を含む。なおこれらの各部（各ブロック）の機能、動作等は、図１の各部（各ブロック）と同様である。
【００９１】
例えばサーバシステム５００の移動体制御部６０６は、移動体の制御を行い、判定部６１０は、移動体を用いたタイミング判定処理を行う。そして画像生成用データ生成部６２０は、立体視用画像を生成するための画像生成用データデータを生成する。また音生成用データ生成部６３０は、音を生成するための音生成用データを生成する。
【００９２】
そして本実施形態では画像生成用データ生成部６２０は、タイミング判定処理に用いられる判定基準タイミングにおいて移動体の画像の視差が所定視差になるように（例えば視差が無くなるように）、移動体が表示された立体視用画像を生成するための画像生成用データを生成する。
【００９３】
ここで、画像を生成するための画像生成用データとは、本実施形態の手法により生成された画像をＴＭ１〜ＴＭｎの各端末装置において表示するためのデータであり、画像データそのものであってもよいし、各端末装置が画像を生成するために使用する各種データ（オブジェクトデータ、制御結果データ、判定結果データ又は表示画面の設定データ等）であってもよい。例えばサーバシステム５００が、各端末装置の操作部からの操作情報を取得し、各種の制御処理や各種の判定処理を行い、画像を生成して、ＴＭ１〜ＴＭｎの各端末装置に配信（ストリーム配信等）する場合には、上述の画像生成用データは画像データそのものになる。一方、サーバシステム５００が、各端末装置の操作部からの操作情報を取得し、各種の制御処理や各種の判定処理を行い、その制御結果や判定結果に基づいてＴＭ１〜ＴＭｎの各端末装置が画像を生成する場合には、上述の画像生成用データは、制御結果データや判定結果データやオブジェクトデータなどになる。音生成用データ生成部６３０が生成する音生成用データについても同様である。
【００９４】
なおゲーム演算部６０２、オブジェクト空間設定部６０４、移動体制御部６０６、仮想カメラ制御部６０８、判定部６１０、画像生成用データ生成部６２０、記憶部６７０、情報記憶媒体６８０、通信部６９６等の詳細な機能、動作は図１で上述に説明したものと同様であるため、詳細な説明は省略する。
【００９５】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００９６】
２．１ 判定基準タイミングを用いたタイミング判定処理
まず、本実施形態の手法について説明する前に、立体視におけるビューボリュームの設定について説明する。図２に示すように、立体視用画像を生成するためには、所与のカメラ間距離だけ離れた位置に設定される左眼用仮想カメラＶＣＬと右眼用仮想カメラＶＣＲを用いる。
【００９７】
そして左眼用仮想カメラＶＣＬに対応して左眼用ビューボリュームＶＶＬ（左眼用視錐台）が設定され、右眼用仮想カメラＶＣＲに対応して右眼用ビューボリュームＶＶＲ（右眼用視錐台）が設定される。具体的には左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲの位置や方向に基づいて、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲの位置や方向が設定される。
【００９８】
この場合に左眼用仮想カメラＶＣＬから見える画像である左眼用画像は、左眼用ビューボリュームＶＶＬ内に存在するオブジェクトをスクリーンＳＣ（基準スクリーン）に透視投影して描画することで生成される。同様に右眼用仮想カメラＶＣＲから見える画像である右眼用画像は、右眼用ビューボリュームＶＶＲ内に存在するオブジェクトをスクリーンＳＣに透視投影して描画することで生成される。
【００９９】
この場合、スクリーンＳＣに透視投影されない位置にあるオブジェクトは、描画対象にはならないため、これらのオブジェクトに対して透視投影変換処理を行うと、処理の無駄となる。このため、各左眼用、右眼用仮想カメラにおいてスクリーンＳＣに透視投影されない位置にあるオブジェクトがビューボリューム内に入らないように、図２に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定される。なお図２において、ＣＮＬ、ＣＦＬは、各々、左眼用ビューボリュームＶＶＬの前方クリッピング面、後方クリッピング面であり、ＣＮＲ、ＣＦＲは、各々、右眼用ビューボリュームＶＶＲの前方クリッピング面、後方クリッピング面である。
【０１００】
以上のように左眼用画像、右眼用画像を生成して立体視を実現する手法では、左眼用画像と右眼用画像の視差により奥行き感を認識させている。
【０１０１】
例えば図２において、スクリーンＳＣ上の点Ａに位置するオブジェクトについての、左眼用画像での描画位置ＡＬと、右眼用画像での描画位置ＡＲは同じ位置になる。
【０１０２】
これに対して、点Ｂに位置するオブジェクトは、左眼用画像では点ＢＬの位置に描画され、右眼用画像では点ＢＲの位置に描画される。そして、このように左眼用画像、右眼用画像の描画位置にズレを持たせることで、点Ｂに位置するオブジェクトが、画面からユーザの方に飛び出して見える立体視表現を実現できる。
【０１０３】
さて、このような立体視システムにおいて音楽ゲームや野球ゲームなどのタイミング判定処理を行った場合に、何ら工夫を施さないと、プレーヤのタイミングの取り方が難しくなるおそれがあることが判明した。
【０１０４】
そこで本実施形態では、音楽ゲームにおける指示マーカ（音符）や野球ゲームにおけるボールなどの移動体を用いてタイミング判定を行う場合に、タイミング判定の判定基準タイミングにおいて移動体の画像の視差が所定視差になるように立体視用画像を生成する手法を採用している。例えば判定基準タイミングにおいて移動体の画像の視差が無くなるように立体視用画像を生成する。このようにすることで、例えば判定基準タイミングを境にして移動体が飛び出たり引っ込む立体視用画像などが生成され、この移動体を用いた判定処理が行われるようになる。従って、例えば判定基準タイミングがベストなタイミングになるようなタイミング判定を実現することができ、立体視システムにおける適切なタイミング判定処理を実現できる。
【０１０５】
例えば図３（Ａ）では、指示マーカ等の移動体ＭＯＢ１、ＭＯＢ２、ＭＯＢ３が移動している。具体的には、例えばオブジェクト空間内において視点側（仮想カメラ側）から見て奥側から手前側に移動体ＭＯＢ１〜ＭＯＢ３が移動する。この場合に、移動体ＭＯＢ１〜ＭＯＢ３の画像は所定視差とは異なる視差の画像になっている。例えば移動体ＭＯＢ１〜ＭＯＢ３の画像は視差のある画像になっている。具体的には、例えば基準スクリーン（透視投影面）に対して奥側に移動体ＭＯＢ１〜ＭＯＢ３が引っ込んだように見える立体視用画像が生成される。
【０１０６】
図３（Ｂ）では、判定基準タイミングＴＭＢ１において移動体ＭＯＢ１の画像の視差が所定視差になるように、立体視用画像が生成される。例えば移動体ＭＯＢ１の画像の視差が無くなるように、立体視用画像が生成される。この時、移動体ＭＯＢ２、ＭＯＢ３については、所定視差とは異なる視差の画像になっている。例えば視差のある画像になっている。
【０１０７】
その後、移動体ＭＯＢ１〜ＭＯＢ３は移動を続け、図３（Ｃ）に示すように、判定基準タイミングＴＭＢ２では、今度は移動体ＭＯＢ２の画像の視差が所定視差になるように、立体視用画像が生成される。例えば移動体ＭＯＢ２の画像の視差が無くなるように立体視用画像が生成される。この時、移動体ＭＯＢ１、ＭＯＢ３については所定視差とは異なる視差となっている。例えば視差のある画像になっている。具体的には、例えば移動体ＭＯＢ１については基準スクリーンに対して手前側に飛び出して見え、移動体ＭＯＢ３については基準スクリーンに対して奧側に引っ込んで見える立体視用画像が生成される。
【０１０８】
そしてプレーヤは、図３（Ｂ）の判定基準タイミングＴＭＢ１と入力タイミングとが一致するように、ゲームの操作入力を行う。音楽ゲームを例にとれば、移動体ＭＯＢ１〜ＭＯＢ３は、プレーヤの操作入力を指示する指示マーカとなる。プレーヤは、指示マーカとなる移動体ＭＯＢ１により指示される操作入力を、判定基準タイミングＴＭＢ１において行う。この際、移動体ＭＯＢ１は、判定基準タイミングＴＭＢ１において所定視差の画像（例えば視差の無い画像）になる。
【０１０９】
またプレーヤは、図３（Ｃ）の判定基準タイミングＴＭＢ２と入力タイミングとが一致するように、ゲームの操作入力を行う。音楽ゲームを例にとれば、プレーヤは、指示マーカとなる移動体ＭＯＢ２により指示される操作入力を、判定基準タイミングＴＭＢ２において行う。この際、移動体ＭＯＢ２は、判定基準タイミングＴＭＢ２において所定視差の画像（例えば視差の無い画像）になる。
【０１１０】
このようにすれば、プレーヤは、移動体ＭＯＢ１、ＭＯＢ２の画像が所定視差の状態（視差の無い状態）になる判定基準タイミングＴＭＢ１、ＴＭＢ２に合わせて、操作入力を行うことが可能になる。従って、操作入力のジャストのタイミングが、所定視差の移動体ＭＯＢ１、ＭＯＢ２の画像が表示された状態になるため、プレーヤの操作入力を容易化できる。即ち、例えば所定視差の状態が視差の無い状態である場合には、判定基準タイミングＴＭＢ１、ＴＭＢ２は、立体視において移動体が飛び出して見えるか引っ込んで見えるかの境目のタイミングになる。従って、この判定基準タイミングを、タイミング判定のジャストのタイミングに設定することで、プレーヤの操作入力が容易化される。音楽ゲームを例にとれば、判定基準タイミングＴＭＢ１、ＴＭＢ２では移動体ＭＯＢ１、ＭＯＢ２は視差の無い画像になり、プレーヤは、移動体ＭＯＢ１、ＭＯＢ２が視差が無くなるタイミングに合わせて、指示された操作入力を行う。従って、プレーヤにとってタイミングのとりやすい音楽ゲームを実現できる。なお、入力タイミングは、プレーヤが操作部１６０を実際に操作するタイミングには限定されず、プレーヤが操作部１６０を操作することで、タイミング判定処理においてプレーヤの入力タイミングであると見なされるタイミングであってもよい。楽器を演奏する音楽ゲームを例にとれば、プレーヤが操作部１６０を操作することにより楽器が演奏される場合に、実際に楽器から音が出るタイミング等を、プレーヤの入力タイミングとしてもよい。
【０１１１】
図４（Ａ）、図４（Ｂ）は、立体視における画像の視差について説明する図である。図４（Ａ）に示すように視差のある画像では、左眼用画像でのオブジェクトＭＯＢＬの描画位置と、右眼用画像でのオブジェクトＭＯＢＲの描画位置がずれている。例えば図２の点Ｂの位置にあるオブジェクトは、左眼用画像ではスクリーンＳＣの点ＢＬの位置に描画され、右眼用画像ではスクリーンＳＣ上の点ＢＲの位置に描画されるからである。
【０１１２】
一方、図４（Ｂ）に示すように視差の無い画像では、左眼用画像でのオブジェクトＭＯＢＬの描画位置と、右眼用画像でのオブジェクトＭＯＢＲの描画位置は一致している。例えば図２の点Ａの位置にあるオブジェクトは、左眼用画像でも右眼用画像でもスクリーンＳＣ上の点Ａの位置に描画されるからである。
【０１１３】
図５は、タイミングデータについて説明する図である。例えば図１のタイミングデータ記憶部１７４は、判定基準タイミングＴＭＢ１〜ＴＭＢ５のデータを記憶する。これらの判定基準タイミングＴＭＢ１〜ＴＭＢ５のデータはタイミングデータ記憶部１７４に記憶される。
【０１１４】
そして図５に示すように、移動体ＭＯＢ１は判定基準タイミングＴＭＢ１において画像の視差が所定視差になるように制御される（視差が無くなるように制御される）。同様に、移動体ＭＯＢ２〜ＭＯＢ５は判定基準タイミングＴＭＢ２〜ＴＭＢ５において画像の視差が所定視差になるように制御される（視差が無くなるように制御される）。具体的には、移動体ＭＯＢ１は、判定基準タイミングＴＭＢ１において判定基準エリアを通過するように制御される。同様に移動体ＭＯＢ２〜ＭＯＢ５は、判定基準タイミングＴＭＢ２〜ＴＭＢ５において判定基準エリアを通過するように制御される。
【０１１５】
ここで判定基準エリアは、入力すべきタイミングをプレーヤに知らせるためのエリアである。判定基準エリアは、２次元図形のエリアであってもよいし、３次元図形のエリアであってもよい。或いは判定基準エリアは、判定基準となる位置であってもよい。
【０１１６】
例えば、ＭＯＢ１〜ＭＯＢ５の各移動体は、タイミングデータ記憶部１７４に記憶されるタイミングデータに基づいて制御される。即ち、ＴＭＢ１〜ＴＭＢ５の各判定基準タイミングにおいて、ＭＯＢ１〜ＭＯＢ５の各移動体が判定基準エリアを通過するように制御される。そしてＭＯＢ１〜ＭＯＢ５の各移動体は、判定基準エリアを通過する際に、その画像の視差が所定視差になるように（視差が無くなるように）、立体視用画像が生成される。これにより、ＴＭＢ１〜ＴＭＢ５の各判定基準タイミングにおいて、ＭＯＢ１〜ＭＯＢ５の各移動体の視差が所定視差になる画像（視差が無くなる画像）が生成されるようになる。
【０１１７】
なお、プレーヤの入力タイミングのタイミング判定処理については、判定基準タイミングのデータに基づいて判定を行い、ＭＯＢ１〜ＭＯＢ５の各移動体の移動制御については、この判定基準タイミングのデータに同期するように作成された表示基準タイミングのデータに基づき制御することが望ましい。例えば表示基準タイミングのデータは、図５のＴＭＢ１〜ＴＭＢ５の各判定基準タイミングにおいて、ＭＯＢ１〜ＭＯＢ５の各移動体が、例えば判定基準エリア（判定基準位置）を通過するように制御するためのデータである。この場合に、プレーヤの入力タイミングについては、１フレーム内において複数回サンプリングできる。従って、判定基準タイミングのデータについては、例えばｍｓｅｃ単位のデータにする一方で、表示基準タイミングのデータについては、フレーム単位のデータにすることが望ましい。
【０１１８】
次に本実施形態のタイミング判定処理の詳細について説明する。本実施形態では、タイミング判定処理として、プレーヤの入力タイミングと、判定基準タイミングとのタイミング関係に基づく評価処理を行っている。なお、以下では、移動体の視差が所定視差である状態が、視差が無い状態であるとして、説明を行う。
【０１１９】
例えば図６（Ａ）では、プレーヤの入力タイミングと、判定基準タイミングは一致している。例えば図３（Ｂ）において、移動体ＭＯＢ１に対応する判定基準タイミングＴＭＢ１において、プレーヤが操作入力を行っており、判定基準タイミングＴＭＢ１と入力タイミングとが一致したと判定されている。そして、このタイミングでは、移動体ＭＯＢ１の画像は視差が無い画像になっている。
【０１２０】
具体的には、プレーヤの入力タイミングを、例えばｍｓｅｃ単位の時間間隔（表示基準タイミングよりも短い時間間隔）でサンプリングして取得する。そして、取得された入力タイミングの近傍に、判定基準タイミングが存在するか否かを検索する。そして、入力タイミングとのタイミング差が例えば１フレーム以内（広義には所定しきい値以下）である判定基準タイミングが検索された場合には、その判定基準タイミングと入力タイミングとが一致したと判定する。
【０１２１】
そして本実施形態では、この入力タイミングと判定基準タイミングとのタイミング関係に基づく評価処理が行われ、評価処理の結果に基づいて、プレーヤのゲーム成績の演算処理、移動体の表示制御処理、或いはゲーム演出処理などのゲーム演算処理が行われる。
【０１２２】
例えば図６（Ａ）では、プレーヤの入力タイミングと判定基準タイミングが一致したと評価されているため、プレーヤのゲーム成績（得点、ポイント）は高いゲーム成績となる。また、野球ゲームを例にとれば、移動体であるボールの移動方向が、真っ直ぐな方向であるセンター方向に設定される。また、プレーヤの入力操作の成功を表すようなゲーム演出処理が行われる。
【０１２３】
一方、図６（Ｂ）、図６（Ｃ）では、プレーヤの入力タイミングと判定基準タイミングは一致しておらず、図６（Ｂ）では入力タイミングの方が判定基準タイミングよりも早くなっており、図６（Ｃ）では入力タイミングの方が判定基準タイミングよりも遅くなっている。この場合にも入力タイミングは、判定基準タイミングを基準（中心）に設定される許容期間ＴＲ内に収まっている。従って、プレーヤの入力操作は成功であると判断されて、プレーヤの入力操作に対する評価処理が行われる。そしてこの評価処理は、入力タイミングと判定基準タイミングのタイミング差や前後関係などのタイミング関係に基づいて行われる。
【０１２４】
例えば入力タイミングと判定基準タイミングのタイミング差（時間差）が短くなるほど、プレーヤの入力操作に対する評価は高くなり、プレーヤに与えられるゲーム成績が高くなる。即ち図６（Ａ）のようにタイミングが一致すると、図６（Ｂ）、図６（Ｃ）に比べてプレーヤの得点、ポイント等のゲーム成績は高くなる。またタイミング差が短くなるほど、ヒット後の移動体の速度や加速度が高くなるという移動体の表示制御を行ってもよい。或いはタイミング差が短くなるほど、ゲーム演出効果を高くするようにしてもよい。例えば図６（Ａ）のように入力タイミングが判定基準タイミングに対してジャストタイミングである場合には、タイミング判定における高いゲーム演出効果の画像や音が出力される。一方、図６（Ｂ）、（Ｃ）のように入力タイミングと判定基準タイミングの間にずれがあると、図６（Ａ）に比べて、ゲーム演出用表示物やゲーム演出音などで実現されるゲーム演出効果が低くなる。
【０１２５】
またタイミング差ではなく、入力タイミングと判定基準タイミングの前後関係を評価してもよい。例えば図６（Ｂ）のように入力タイミングの方が判定基準タイミングよりも早い場合と図６（Ｃ）のように入力タイミングの方が判定基準タイミングよりも遅い場合とで、プレーヤに与えるゲーム成績を異ならせたり、ヒット後の移動体の移動方向を変化させる。或いは、入力タイミングが判定基準タイミングよりも早い場合と遅い場合とで、ゲーム演出用表示物やゲーム演出音などで実現されるゲーム演出効果を変化させてもよい。
【０１２６】
また本実施形態では、プレーヤの入力タイミングと判定基準タイミングとのタイミング差に応じて、移動体の画像の視差が変化する立体視用画像が生成される。具体的には、例えばプレーヤの入力タイミングと判定基準タイミングとのタイミング差が大きくなるほど、移動体の画像の視差が大きくなる立体視用画像が生成される。例えば図６（Ｄ）に比べて図６（Ｅ）の方が、入力タイミングと判定基準タイミングのタイミング差は大きくなっているため、図６（Ｄ）よりも図６（Ｅ）の方が移動体の画像の視差が大きくなる。
【０１２７】
例えば図３（Ｂ）のように判定基準タイミングＴＭＢ１で、プレーヤが操作入力を行った場合には、移動体ＭＯＢ１の画像の視差はゼロになる。一方、判定基準タイミングＴＭＢ１から、時間的に遅れてプレーヤが操作入力を行った場合には、移動体ＭＯＢ１の画像の視差は大きくなる。即ち、判定基準タイミングと入力タイミングのタイミング差が大きくなると、それにつれて移動体ＭＯＢ１の画像の視差が大きくなる。
【０１２８】
このようにすれば移動体の画像の視差が無い状態のタイミングで、プレーヤが操作入力を行った場合には、プレーヤの操作に対して与えられる評価等が高くなり、移動体の画像の視差が大きくなった状態のタイミングで、プレーヤが操作入力を行った場合には、プレーヤの操作に対して与えられる評価等が低くなる。従って、移動体の画像の視差と、プレーヤの操作に対して与えられる評価の大小が連動するようになり、プレーヤにとって分かりやすく、立体視システムに好適な入力タイミングの評価処理を実現できるようになる。
【０１２９】
２．２ 音楽ゲームへの適用例
次に各種ゲームへの本実施形態の手法の適用例について説明する。まず、本実施形態が適用される携帯型ゲーム装置の構成例について、図７（Ａ）、図７（Ｂ）を用いて説明する。なお、以下においても、移動体の視差が所定視差である状態が、移動体の視差の無い状態であるとして、説明を行う、本実施形態はこれに限定されるものではない。
【０１３０】
この携帯型ゲーム装置は、メイン表示部１９０Ｍとサブ表示部１９０Ｓを有する。サブ表示部１９０Ｓは、例えばタッチパネル方式の液晶ディスプレイにより実現され、ゲーム装置の筐体１０に設けられる。メイン表示部１９０Ｍは、サブ表示部１９０Ｓよりも例えば画素数が多いディスプレイとなっており、例えば液晶ディスプレイなどにより実現される。なお、メイン表示部１９０Ｍは、例えば裸眼の立体視画像を表示できるディスプレイになっており、ゲーム画像が立体視で表示される。
【０１３１】
携帯型ゲーム装置の筐体１０と筐体２０は回動自在に設けられており、筐体１０には、方向指示キー１２、アナログスティック（ジョイスティック）１４、操作ボタン１６が設けられている。また図７（Ｂ）に示すように、筐体２０の背面側（メイン表示部１９０Ｍの反対側）には第１、第２のカメラＣＭ１、ＣＭ２が設けられている。これらの第１、第２のカメラＣＭ１、ＣＭ２を用いて被写体を撮影することで、視差のある左眼用画像と右眼用画像を得ることが可能になり、立体視表示が可能になる。
【０１３２】
また筺体２０の正面側（メイン表示部１９０側）には、カメラＣＭ３（広義には撮像部）が設けられている。このようなカメラＣＭ３を設けることで、携帯型ゲーム装置を持ってプレイしているプレーヤの画像を撮影することが可能になる。
【０１３３】
更に携帯型ゲーム装置には図示しないモーションセンサ（６軸センサ）が内蔵されている。そして、プレーヤが携帯型ゲーム装置を手に持って動かした場合に、このモーションセンサを用いることで、図７（Ａ）のＸ軸、Ｙ軸、Ｚ軸方向での加速度や、Ｘ軸回り、Ｙ軸回り、Ｚ軸回りでの角速度を検出できる。
【０１３４】
次に音楽ゲームへの本実施形態の手法の適用例について説明する。図８、図９は本実施形態の手法を音楽ゲームに適用した場合に生成される画像の例である。なお、以下では音楽ゲームとして太鼓の演奏ゲームを例にとり説明するが、本実施形態の手法を適用できる音楽ゲームの分野はこれに限定されない。
【０１３５】
図８、図９では、メイン表示部１９０Ｍには、指示マーカＭＫ１〜ＭＫ５、判定基準エリアＡＲＢ、太鼓のキャラクタＣＨＴ、評価表示用オブジェクトＳＯＢ、ゲージＧＯＢが表示されている。サブ表示部１９０Ｓには、プレーヤが叩く太鼓ＴＯＢの画像が表示されている。
【０１３６】
指示マーカＭＫ１〜ＭＫ５（広義には移動体）は、例えば視点側（仮想カメラ側）から見て奥側から手前側に移動して、判定基準エリアＡＲＢを通過する。具体的には、ＭＫ１〜ＭＫ５の各指示マーカは、図５等で説明したように、ＴＭＢ１〜ＴＭＢ５の各判定基準タイミングで判定基準エリアＡＲＢを通過する。例えば図８では、判定基準タイミングＴＭＢ１で指示マーカＭＫ１が判定基準ＡＲＢを通過する。また図９では、判定基準タイミングＴＭＢ２で指示マーカＭＫ２が判定基準ＡＲＢを通過する。プレーヤは、これらの各指示マーカが判定基準ＡＲＢを通過するタイミングである各判定基準タイミングで、サブ表示部１９０Ｓの画面を、タッチペン３０（ポインティングデバイス）でタッチする。
【０１３７】
具体的には、「ドン」の操作を指示する指示マーカＭＫ１が判定基準エリアＡＲＢを通過する判定基準タイミングＴＭＢ１では、プレーヤは、図８のＢ１に示すように、サブ表示部１９０Ｓの画面のうち、太鼓ＴＯＢの画像の部分をタッチペン３０でタッチする。これにより、太鼓の真ん中部分を叩いて「ドン」という音を出す太鼓の演奏を、プレーヤに疑似体験させることができる。
【０１３８】
一方、「カツ」と表示される指示マーカＭＫ２が判定基準エリアＡＲＢを通過するタイミングである判定基準タイミングＴＭＢ２では、図９のＢ２に示すように、サブ表示部１９０Ｓの画面のうち、太鼓ＴＯＢの画像以外の部分をタッチペン３０でタッチする。これにより、太鼓の枠の部分を叩いて「カツ」という音を出す太鼓の演奏を、プレーヤに疑似体験させることができる。そして、プレーヤの太鼓を叩く操作が成功する毎に、ゲージＧＯＢで表されるプレーヤの獲得ポイントが高くなって行く。
【０１３９】
そして本実施形態では、各指示マーカが判定基準エリアＡＲＢを通過する各判定基準タイミングでは、各指示マーカの画像は視差が無い画像（広義には所定視差の画像）になっている。
【０１４０】
例えば図１０（Ａ）では、指示マーカＭＫ１〜ＭＫ３のいずれもが、判定基準エリアＡＲＢを通過せずに、判定基準エリアＡＲＢの奥側に位置するため、ＭＫ１〜ＭＫ３は視差のある画像になっている。
【０１４１】
一方、図１０（Ｂ）では、指示マーカＭＫ１が判定基準タイミングＴＭＢ１で判定基準エリアＡＲＢを通過しており、ＭＫ１の画像は視差が無い画像になっている。この時、指示マーカＭＫ２、ＭＫ３は、判定基準エリアＡＲＢを通過せずに、判定基準エリアＡＲＢの奥側に位置するため、視差のある画像になっている。
【０１４２】
また図１０（Ｃ）では、指示マーカＭＫ２が判定基準タイミングＴＭＢ２で判定基準エリアＡＲＢを通過しており、ＭＫ２の画像は視差が無い画像になっている。この時、指示マーカＭＫ１は判定基準エリアＡＲＢの手前側に位置し、指示マーカＭＫ３はＡＲＢの奥側に位置するため、ＭＫ１、ＭＫ３は視差のある画像になっている。具体的には指示マーカＭＫ１は立体視において判定基準エリアＡＲＢから飛び出して見える画像になり、指示マーカＭＫ３は判定基準エリアＡＲＢから引っ込んで見える画像になる。
【０１４３】
以上のようにすることで、プレーヤの眼には、各判定基準タイミングを境として、各指示マーカが、スクリーンの奥側に引っ込んでいる状態からスクリーンの手前側に飛び出して来るように見える。従って、プレーヤは、指示マーカの画像の視差の無い状態がジャストタイミングであることを認識することができ、指示マーカにより指示される操作（「ドン」、「カツ」の操作）を行うタイミングを容易に把握することが可能になる。これにより、プレーヤの操作インターフェース環境を向上できる。
【０１４４】
なお図８〜図１０（Ｃ）では判定基準エリアＡＲＢは２次元の四角形状になっているが、本実施形態はこれに限定されない。例えば判定基準エリアＡＲＢは四角形状以外の形状であってもよいし、立体形状であってもよい。
【０１４５】
また例えば図１０（Ａ）〜図１０（Ｃ）において、指示マーカＭＫ１〜ＭＫ３の移動経路に沿ったレーン表示物（音符等の指示マーカが流れてくるラインを表す表示物）を表示するようにしてもよい。この場合には、レーン表示物と、指示マーカＭＫ１〜ＭＫ３（移動体）との立体視度合いを変えることが望ましい。例えば判定基準タイミング（判定基準エリア）に近づくにつれて、ＭＫ１〜ＭＫ３の各指示マーカが、レーン表示物から浮き上がって見えるような立体視表示を行うようにしてもよい。
【０１４６】
次に図８〜図１０（Ｃ）の音楽ゲームへの適用例におけるタイミング判定処理の詳細について説明する。
【０１４７】
図１１（Ａ）ではプレーヤの入力タイミングＴＭＩと、指示マーカＭＫの判定基準タイミングＴＭＢとが一致している。例えば図８において「ドン」の操作を指示する指示マーカＭＫ（ＭＫ１）が判定基準エリアＡＲＢを通過する判定基準タイミングＴＭＢ（ＴＭＢ１）と同じタイミングで、プレーヤが、タッチペン３０でサブ表示部１９０Ｓの太鼓ＴＯＢの画像をタッチしている。そして、このタイミングでは、指示マーカＭＫの画像は視差が無い画像になっている。
【０１４８】
このようにプレーヤの入力タイミングと判定基準タイミングが一致していると判断されると、プレーヤの入力操作に対して非常に高い評価が与えられ、入力操作の評価が「良」であることを知らせる評価表示用オブジェクトＳＯＢが表示される。
【０１４９】
例えば図１１（Ｂ）、図１１（Ｃ）ではプレーヤの入力タイミングと、指示マーカＭＫが判定基準エリアＡＲＢを通過する判定基準タイミングＴＭＢは一致しておらず、図１１（Ｂ）では入力タイミングの方が判定基準タイミングよりも早くなっており、図１１（Ｃ）では入力タイミングの方が判定基準タイミングよりも遅くなっている。この場合にも入力タイミングは、判定基準タイミングを基準（中心）に設定された許容期間ＴＲ内に収まっている。従って、プレーヤの入力操作はある程度成功していると判断されて、入力操作の評価が「可」であることを知らせる評価表示用オブジェクトＳＯＢが表示される。
【０１５０】
以上のようにすることで、音楽ゲームにおいて、入力タイミングと判定基準タイミングのタイミング関係に応じた適正な評価を、プレーヤに対して与えることが可能になる。そして本実施形態では図１１（Ａ）のように判定基準タイミングＴＭＢでプレーヤが操作入力を行った場合に、プレーヤに対して高い評価が与えられ、この時の指示マーカＭＫの画像は視差の無い画像になる。従って、プレーヤは、指示マーカＭＫの画像の視差が無くなるタイミングを判断して、操作入力を行えばよくなるため、プレーヤが直感的に把握しやすい操作インターフェース環境を提供できるようになる。
【０１５１】
２．３ 各種オブジェクトの表示制御
本実施形態では、図８、図９に示すように、操作入力の評価処理の結果を表示する評価表示用オブジェクトＳＯＢを表示する。具体的には、評価表示用オブジェクトＳＯＢの画像として、評価結果に応じて視差の度合いが変化する画像を表示する。
【０１５２】
例えば図１２（Ａ）では判定基準タイミングＴＭＢにおいて指示マーカＭＫが判定基準エリアＡＲＢを通過しており、プレーヤは、指示マーカＭＫが判定基準エリアＡＲＢを通過する判定基準タイミングＴＭＢで、「ドン」の操作を指示する操作入力を行っている。従って、図１２（Ｂ）に示すように、入力タイミングＴＭＩと判定基準タイミングＴＭＢは一致しており、プレーヤに対しては、高い評価結果である「良」の評価が与えられる。このため、「良」の評価結果をプレーヤに知らせる評価表示用オブジェクトＳＯＢが表示される。
【０１５３】
この場合に、評価表示用オブジェクトＳＯＢは、図１２（Ｂ）に示すように、判定基準エリアＡＲＢに対応する基準スクリーンＳＣ（透視投影面）よりも手前側に配置される。従って、図１２（Ａ）に示すように、評価表示用オブジェクトＳＯＢが画面から飛び出して見える立体視用画像が生成されて、プレーヤに表示されるようになる。即ち、指示マーカＭＫについては、基準スクリーンＳＣ（判定基準エリア）の位置にあり、視差の無い画像になっている一方で、評価表示用オブジェクトＳＯＢについては、視差のある画像になっており、画面から手前側に飛び出して見える画像になっている。
【０１５４】
一方、図１３（Ａ）、図１３（Ｂ）では、プレーヤは、指示マーカＭＫが判定基準エリアＡＲＢを通過した後に、「ドン」の操作を指示する操作入力を行っており、プレーヤの入力タイミングＴＭＩの方が、判定基準タイミングＴＭＢよりも遅れている。そして、入力タイミングＴＭＩは、判定基準タイミングＴＭＢを基準に設定された許容期間ＴＲ内に収まっているため、プレーヤに対しては、「可」の評価が与えられる。このため、「可」の評価結果をプレーヤに知らせる評価表示用オブジェクトＳＯＢが表示される。
【０１５５】
そして、この「可」を表す評価表示用オブジェクトＳＯＢは、図１３（Ｂ）に示すように、判定基準エリアＡＲＢに対応する基準スクリーンＳＣの位置に配置される。従って、評価表示用オブジェクトＳＯＢは視差の無い画像になる。また、指示マーカＭＫは判定基準エリアＡＲＢを通過しているため、指示マーカＭＫの画像は、画面から飛び出して見える画像になっている。
【０１５６】
また、図１４（Ａ）、図１４（Ｂ）では、プレーヤの入力タイミングＴＭＩの方が判定基準タイミングＴＭＢよりも遅れており、且つ、入力タイミングＴＭＩは許容期間ＴＲ内に収まっていない。従って、プレーヤに対しては、「不可」の評価が与えられ、「不可」の評価結果をプレーヤに知らせる評価表示用オブジェクトＳＯＢが表示される。
【０１５７】
そして、この「不可」を表す評価表示用オブジェクトＳＯＢは、図１４（Ｂ）に示すように、基準スクリーンＳＣの奥側の位置に配置される。従って、評価表示用オブジェクトＳＯＢが画面の奥側に引っ込んで見える立体視用画像が生成されて、プレーヤに表示されるようになる。
【０１５８】
このように図１２（Ａ）〜図１４（Ｂ）では、評価表示用オブジェクトＳＯＢは、評価結果に応じてその視差の度合いが変化する画像になっている。即ち図１２（Ａ）、図１２（Ｂ）のように評価結果が「良」である場合には、評価表示用オブジェクトＳＯＢは画面から手前側に飛び出して見える画像になり、図１３（Ａ）、図１３（Ｂ）のように評価結果が「可」である場合には、視差の無い画像になる。そして図１４（Ａ）、図１４（Ｂ）のように評価結果が「不可」である場合には、評価表示用オブジェクトＳＯＢは、画面から奥側に引っ込んで見える画像になる。
【０１５９】
従って、プレーヤは、評価表示用オブジェクトＳＯＢの視差の度合いによって、自身に与えられた評価を直感的に認識することが可能になる。即ち、プレーヤは、評価表示用オブジェクトＳＯＢが画面から飛び出し見える場合には、操作入力が良い評価であったと認識し、評価表示用オブジェクトＳＯＢが画面から引っ込んで見える場合には、操作入力が悪い評価であったと認識することができる。従って、評価結果を、直感的に分かりやすくプレーヤに伝えることが可能になる。
【０１６０】
また本実施形態では、プレーヤの入力が成功であると判定された場合に、ゲーム演出効果表示用オブジェクトの画像を表示すると共に、このゲーム演出効果表示用オブジェクトとして、視差のある画像を表示している。
【０１６１】
例えば図１５（Ａ）では、太鼓のキャラクタＣＨＴにより、太鼓を連打することが指示されている。そして、この連打の操作入力に成功している場合には、図１５（Ａ）に示すようなゲーム演出効果表示用オブジェクトＥＯＢ１、ＥＯＢ２、ＥＯＢ３の画像を表示する。具体的には図１５（Ｂ）に示すように、ゲーム演出効果表示用オブジェクトＥＯＢ１、ＥＯＢ２、ＥＯＢ３は、指示マーカＭＫの位置から画面の手前側に向かって放出されるように移動する。従って、指示マーカＭＫについては視差の無い画像になっている一方で、ゲーム演出効果表示用オブジェクトＥＯＢ１、ＥＯＢ２、ＥＯＢ３については、画面の手前側に次々と飛び出し見える立体視用画像が生成されるようになる。このため、指示マーカＭＫが視差の無い画像になっている場合に、ゲーム演出効果表示用オブジェクトＥＯＢ１、ＥＯＢ２、ＥＯＢ３が立体視的に画面から飛び出して見えるようになることで、これらのオブジェクトＥＯＢ１、ＥＯＢ２、ＥＯＢ３による演出効果を格段に向上できる。
【０１６２】
また本実施形態では、指示マーカについては、判定基準タイミングにおいて視差の無い画像を表示すると共に、プレーヤの入力が行われたことを示す入力動作表示用オブジェクトについては、視差のある画像を表示するようにしている。
【０１６３】
例えば図１６（Ａ）では、図８で説明したように、サブ表示部１９０Ｓの太鼓ＴＯＢの画像の部分をタッチペン３０でタッチすることで、「ドン」の操作を行っている。この場合に、このような「ドン」の操作が行われたことを示す入力動作表示用オブジェクトＩＯＢが表示される。具体的には図１６（Ａ）に示すように、指示マーカＭＫの周囲に入力動作表示用オブジェクトＩＯＢの画像が表示される。このような入力動作表示用オブジェクトＩＯＢの画像を表示することで、プレーヤは、自身が正常に入力動作を行ったことを確認することが可能になる。
【０１６４】
この場合に、図１６（Ｂ）に示すように、指示マーカＭＫについては判定基準タイミングにおいて基準スクリーンＳＣ（判定基準エリア）の位置にあるため、視差の無い画像になっている。これに対して、入力動作表示用オブジェクトＩＯＢについては、例えば基準スクリーンＳＣよりも視点側から見て手前側に配置される。
【０１６５】
このようにすることで、指示マーカＭＫの周りにある入力動作表示用オブジェクトＩＯＢの画像については、画面から飛び出して見えるようになり、演出効果を向上できる。即ち、指示マーカＭＫが視差の無い画像であっても、それを補うように、入力動作表示用オブジェクトＩＯＢが視差のある画像になることで、あたかも指示マーカＭＫが画面から飛び出し見えるような演出効果を実現できるようになる。
【０１６６】
なお本実施形態では、判定基準タイミングにおいて、指示マーカ等の移動体の色、形状及びサイズの少なくとも１つが変化する立体視用画像を生成してもよい。
【０１６７】
例えば図１７（Ａ）では、指示マーカＭＫが判定基準エリアＡＲＢに向かって移動している。そして図１７（Ｂ）の判定基準タイミングＴＭにおいては、指示マーカＭＫの色、形状又はサイズ等が変化している。即ち、図１７（Ｂ）では、指示マーカＭＫの色、形状又はサイズ等が、図１７（Ａ）とは異なった色、形状又はサイズになっている。
【０１６８】
このようにすれば、例えばタイミング判定処理のジャストタイミングである判定基準タイミングにおいて、指示マーカＭＫの色、形状又はサイズ等が変化することで、指示マーカＭＫの視認性が高まる。これにより、プレーヤは、図１７（Ｂ）のタイミングが判定基準タイミングであることを、指示マーカＭＫの視差の状態（所定視差の状態、視差の無い状態）のみならず、色、形状又はサイズの変化によっても、把握できるようになる。従って、プレーヤにとってタイミングを把握しやすいタイミング判定処理を実現できる。
【０１６９】
なお、指示マーカＭＫ（移動体）の画像の変化は、その判定基準タイミングの視認性を高めることができるものであれば、色、形状、サイズの変化以外の表示態様の変化であってもよい。
【０１７０】
また本実施形態では、移動体の視差に応じて、音像定位が変化する音を生成してもよい。即ち立体音響の音出力が、立体視の位置に合うような音を生成する。
【０１７１】
例えば図１８では、図７（Ａ）の携帯型ゲーム装置の筺体２０のメイン表示部１９０Ｍ側に、音出力部ＳＰ１、ＳＰ２（スピーカ）が設けられている。またメイン表示部１９０Ｍ（広義には表示部）の表示画面側空間には、指示マーカＭＫ（移動体）に対応する仮想指示マーカＭＫＶ（広義には仮想表示物）が立体視表示されている。この仮想指示マーカＭＫＶは、表示画面側空間に実在するものではなく、指示マーカＭＫの立体視用画像（左眼用画像、右眼用画像）に基づいて、プレーヤが、その位置に存在するかのように認識する仮想表示物である。
【０１７２】
そして、音出力部ＳＰ１、ＳＰ２からは、仮想指示マーカＭＫＶの表示位置（仮想表示位置）に連動するような音像定位の音（ステレオ音）が出力される。例えば指示マーカＭＫの視差が、メイン表示部１９０Ｍの画面の手前側になるような視差であり、仮想指示マーカＭＫＶが画面の手前側に仮想表示される場合には、音出力部ＳＰ１、ＳＰ２からの音により形成される音像定位も、画面の手前側の位置に設定される。
【０１７３】
一方、指示マーカＭＫの視差が画面の奧側になるような視差であり、仮想指示マーカＭＫＶが画面の奧側に仮想表示される場合には、音出力部ＳＰ１、ＳＰ２からの音により形成される音像定位も、画面の奥側の位置に設定される。
【０１７４】
このようにすれば、例えば指示マーカ（仮想指示マーカ）が画面から手前側に飛び出して見えるような状況においては、音像の定位も画面から手前側に飛び出してくるように聞こえる定位になる。一方、指示マーカが画面から奥側に引っ込んで見えるような状況においては、音像の定位も画面から奥側に引っ込んでいるように聞こえる定位になる。これにより、立体視の効果を、より強調することが可能になり、ゲーム演出効果等を向上できる。
【０１７５】
なお、音の音像定位の設定手法としては、公知の種々の手法を採用できる。例えば音量差、時間差、周波数特性の変化、位相の変化、或いは残響の変化などによって、音像定位等の立体音響の制御が可能である。音量差を用いる場合には、例えば距離による音量の減衰や両耳間強度差により、音の音像定位を制御する。時間差を用いる場合には、音波が到達する時間差により、音の音像定位を制御すればよい。周波数特性の変化を用いる場合には、音波の伝達や遮断による周波数特性の変化により、音の音像定位を制御すればよい。位相の変化を用いる場合には、音波の伝達や遮断による位相の変化により、音の音像定位を制御すればよい。残響の変化を用いる場合には、残響特性により周辺環境の音場を再現することで、音の音像定位を制御すればよい。
【０１７６】
また本実施形態では、移動体又はタイミング判定処理用の操作対象物に対応する仮想的な表示物であって立体視用画像に基づき表示部の表示画面側空間に仮想表示される仮想表示物と、現実空間の被ヒット体とのヒット判定処理を行ってもよい。例えば仮想表示物と、プレーヤの部位やポインティングデバイスなどである被ヒット体とのヒット判定処理を、プレーヤを撮影する撮像部からの撮像情報に基づいて行う。
【０１７７】
例えば図１９（Ａ）では、携帯型ゲーム装置のメイン表示部１９０Ｍ側に設けられたカメラＣＭ３（撮像部）により、プレーヤＰＬを撮影できるようになっている。具体的には、プレーヤＰＬがメイン表示部１９０Ｍの画面に指を近づける動作を行うと、カメラＣＭ３からの撮影情報に基づいて、その動作が検知される。
【０１７８】
そして図１９（Ｂ）では、前述の図１８で説明したのと同様に、メイン表示部１９０Ｍの表示画面側空間に、仮想指示マーカＭＫＶ（広義には仮想表示物）が仮想表示されている。即ち指示マーカＭＫの立体視用画像（左眼用画像、右眼用画像）に基づいて、あたかも図１９（Ｂ）の位置に仮想指示マーカＭＫＶが存在しているかのように見える立体視表示が行われる。
【０１７９】
そして図１９（Ｂ）では、この仮想指示マーカＭＫＶと、現実空間の被ヒット体であるプレーヤＰＬの指等とのヒット判定処理が行われる。例えば仮想指示マーカＭＫＶの判定基準タイミング（表示タイミング）において、プレーヤＰＬの指（広義には被ヒット体）が画面付近に存在することが、カメラＣＭ３により検知された場合には、仮想指示マーカＭＫＶとプレーヤＰＬの指がヒットしたと判定する。この場合に、例えば仮想指示マーカＭＫＶの画面からの距離情報を、指示マーカＭＫの画像の視差情報から特定し、この距離情報も用いて、ヒット判定処理を行ってもよい。或いは、カメラＣＭ３が、奥行き情報を検出できるデプスカメラ等である場合には、この奥行き情報に基づいて、プレーヤＰＬの指の画面内での位置情報（Ｘ、Ｙ座標）を特定し、特定された位置情報も用いて、ヒット判定処理を行ってもよい。そして、例えば判定基準タイミングにおいて、プレーヤＰＬの指と仮想指示マーカＭＫがヒットしたと判定された場合には、プレーヤの得点やポイントを加算するなどのゲーム演算処理を行う。
【０１８０】
このようにすれば、指示マーカ等の移動体を用いたタイミング判定処理を、立体視を有効利用して行うことが可能になり、従来にないヒット判定処理によるタイミング判定処理を実現することが可能になる。
【０１８１】
なお図１９（Ａ）、図１９（Ｂ）では、指示マーカ等の移動体に対応する仮想表示物と、プレーヤの部位等の被ヒット体とのヒット判定処理を行っているが、本実施形態はこれに限定されない。例えば、指示マーカ等の移動体とは別に、タイミング判定処理用の操作対象物を画面上に立体視表示してもよい。これにより、このタイミング判定処理用の操作対象物に対応する仮想表示物が、表示部の表示画面側空間に仮想表示される。そして、例えばプレーヤは、指示マーカ等の移動体の判定基準タイミングにおいて、このタイミング判定処理用の操作対象物に対応する仮想表示物に対して、指やポインティングデバイスなどの被ヒット体で触れる操作を行う。そして、操作対象物に対応する仮想表示物に被ヒット体がヒットしたと判定された場合（触れたと判定された場合）には、プレーヤの得点やポイント等が加算されるなどのゲーム演算処理が行われることになる。
【０１８２】
２．４ 野球ゲームへの適用例
次に野球ゲームへの適用例について説明する。図２０、図２１は本実施形態の手法を野球ゲームに適用した場合に生成される画像の例である。図２０では、メイン表示部１９０Ｍには、投手キャラクタＣＨＰが打者キャラクタＣＨＢに対してボールＢＬ（広義には移動体）を投げる場面の画像が表示されている。またメイン表示部１９０Ｍには、判定基準エリアＡＲＢも表示されており、サブ表示部１９０Ｓには、判定基準エリアＡＲＢに対応する操作入力エリアＡＲＩが表示されている。プレーヤは、この操作入力エリアＡＲＩのうち、ボールＢＬが飛んで来ると予想したコースの位置を、タッチペン３０（広義にはポインティングデバイス）でタッチすることで、ボールＢＬを打つバッティング操作を行う。
【０１８３】
判定基準エリアＡＲＢは例えばホームベース上に設定されており、タッチペン３０によりポインティングされる操作入力エリアＡＲＩの各ポインティング位置は、判定基準エリアＡＲＢの各位置に対応している。例えば操作入力エリアＡＲＩの右上位置をタッチすると、判定基準エリアＡＲＢの右上位置が指示され、操作入力エリアＡＲＩの左下位置をタッチすると、判定基準エリアＡＲＢの左下位置が指示される。
【０１８４】
そして図２０のようにボールＢＬが判定基準エリアＡＲＢを通過する際に、ボールＢＬの画像は視差がゼロの画像になっている。即ち、ボールＢＬは、判定基準タイミングにおいて判定基準エリアＡＲＢを通過するように制御され、その時にボールＢＬの画像は視差がゼロの画像になる。このため、プレーヤの眼には、判定基準エリアＡＲＢを境として、ボールＢＬが、スクリーンの奥側に引っ込んでいる状態からスクリーンの手前側に飛び出して来るように見える。従って、プレーヤは、ボールＢＬの画像の視差の無い状態がジャストタイミングであることを認識することができ、ボールＢＬを打つタイミングを容易に把握することが可能になる。これにより、プレーヤの操作インターフェース環境を向上できる。
【０１８５】
なお図２０では判定基準エリアＡＲＢと操作入力エリアＡＲＩはほぼ同じサイズになっているが、本実施形態はこれに限定されない。例えば操作入力エリアＡＲＩのサイズを変化させることで、プレーヤの操作入力の難易度の設定を行ってもよい。例えば操作入力エリアＡＲＩのサイズを判定基準エリアＡＲＢよりも小さくすることで、プレーヤの操作入力の難易度が高難易度に設定されるようにする。
【０１８６】
図２１ではプレーヤは、ボールＢＬのコースが内角高めであると予想して、Ａ１に示すように、タッチペン３０（或いは指）を用いて、サブ表示部１９０Ｓの操作入力エリアＡＲＩの右上の位置をタッチしている。また図２１では、メイン表示部１９０ＭにはボールＢＬの通過後の画像が表示されており、プレーヤの指示位置表示用オブジェクトＤＯＢと、ボール位置表示用オブジェクトＰＯＢが表示されている。
【０１８７】
指示位置表示用オブジェクトＤＯＢは、プレーヤのヒット指示位置を知らせるためのオブジェクトであり、判定基準エリアＡＲＢの位置に表示される。即ち指示位置表示用オブジェクトＤＯＢは、判定基準エリアＡＲＢと同じ奥行き位置（同じＺ値）に配置されて表示される。そして図２１ではプレーヤは、タッチペン３０により、サブ表示部１９０Ｓの操作入力エリアＡＲＩの右上の位置をタッチしている。従って、メイン表示部１９０Ｍでは、判定基準エリアＡＲＢの右上の位置に指示位置表示用オブジェクトＤＯＢが配置されて表示される。これによりプレーヤは、ボールＢＬの通過時に自分がどのコースをタッチしたのかを、指示位置表示用オブジェクトＤＯＢを見ることで、事後的に確認できるようになる。
【０１８８】
またボール位置表示用オブジェクトＰＯＢ（広義には移動体位置表示用オブジェクト）は、プレーヤがヒット指示位置を指示した入力タイミングでのボールＢＬの位置をプレーヤに知らせるためのオブジェクトである。例えばボール位置表示用オブジェクトＰＯＢは、プレーヤの入力タイミングでのボールＢＬの位置に配置されて表示される。
【０１８９】
そして図２１では、プレーヤがタッチペン３０でヒット指示位置を指示した入力タイミングにおいて、ボールＢＬのコースは真ん中であり、判定基準エリアＡＲＢの真ん中付近をボールＢＬが通過している。従って、ボール位置表示用オブジェクトＰＯＢは真ん中付近に配置されて表示される。これによりプレーヤは、自分が操作入力を行いバットを振ったタイミングでのボールＢＬの位置を、事後的に確認することが可能になる。
【０１９０】
そしてプレーヤは、指示位置表示用オブジェクトＤＯＢとボール位置表示用オブジェクトＰＯＢの位置関係を見ることで、入力タイミングでのヒット位置とボール位置のズレを確認できる。例えば図２１では、指示位置表示用オブジェクトＤＯＢとボール位置表示用オブジェクトＰＯＢの位置のずれは比較的大きい。従って、プレーヤは、図２１では、自身の指示位置がボールＢＬのコースと、あまり合っていなかったことを、事後的に確認することが可能になる。これにより、野球ゲームに好適なインターフェース環境をプレーヤに提供できる。
【０１９１】
また図２１では、判定基準エリアＡＲＢを含むヒット判定ボリュームＨＶが設定されている。そしてプレーヤがタッチペン３０で操作入力エリアＡＲＩをタッチした入力タイミングにおいて、ヒット判定ボリュームＨＶ内にボールＢＬが位置していた場合には、バッティングに成功してバットにボールが当たったと判定される。そして入力タイミングにおけるボールＢＬの位置や、操作入力エリアＡＲＩでのタッチ位置とボールＢＬの通過位置との関係に基づいて、ボールＢＬのヒット強さやヒット方向などが設定されるようになる。
【０１９２】
２．５ 詳細な処理例
次に本実施形態の詳細な処理例について図２２、図２３のフローチャートを用いて説明する。
【０１９３】
図２２は、本実施形態の全体的な処理の詳細を説明するためのフローチャートである。まず、タイミングデータ記憶部１７４から、図５で説明したような判定基準タイミングＴＭＢ１〜ＴＭＢＮのデータを読み出す（ステップＳ１）。そしてフレーム更新のタイミングか否かを判断する（ステップＳ２）。
【０１９４】
フレーム更新のタイミングであった場合には、指示マーカ、ボール等の移動体の移動処理を行う（ステップＳ３）。例えば視点側から見て奥側から手前側に移動体を移動させる処理を行う。また入力タイミングＴＭＩを取得する（ステップＳ４）。図８等を例にとれば、プレーヤがタッチペン３０や指でサブ表示部１９０Ｓをタッチしたタイミングを取得する。
【０１９５】
次に、判定基準タイミングＴＭＢｍ（１≦ｍ≦Ｎ）と入力タイミングＴＭＩを比較する（ステップＳ５）。そしてＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＲ／２であるか否かを判断する（ステップＳ６）。即ち図６（Ａ）〜図６（Ｃ）等で説明したように、入力タイミングＴＭＩが、判定基準タイミングＴＭＢｍを基準とした許容期間ＴＲ内に収まっているか否かを判断する。そして、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＲ／２である場合には、入力タイミングＴＭＩが許容期間ＴＲ内に収まっていると判断して、入力成功と判定し、ゲーム成績演算処理、移動体の表示制御処理、ゲーム演出処理などのゲーム演算処理を実行する（ステップＳ７）。
【０１９６】
次に、基準スクリーンにオブジェクトを透視投影して描画することで、左眼用仮想カメラから見える左眼用画像を生成する（ステップＳ８）。また、基準スクリーンにオブジェクトを透視投影して描画することで、右眼用仮想カメラから見える右眼用画像を生成する（ステップＳ９）。これにより、立体視用画像である左目用画像、右目用画像が生成される。例えば、判定基準タイミングにおいて基準スクリーンを通過するように移動体を制御すると共に、基準スクリーンに対して移動体のオブジェクトを透視投影して描画することで、判定基準タイミングにおいて移動体の画像の視差が無くなる立体視用画像が生成されるようになる。
【０１９７】
図２３は、本実施形態の手法を音楽ゲームに適用した場合の評価処理の詳細を説明するためのフローチャートである。
【０１９８】
まず、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＴＨか否かを判断する（ステップＳ１１）。ここでＴＴＨは、評価処理のしきい値であり、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＴＨである場合には、判定基準タイミングＴＭＢｍと入力タイミングＴＭＩは一致（合致）しているものと見なされる。そして、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＴＨである場合には、入力の評価結果は「良」であると判定する（ステップＳ１２）。そして図１２（Ａ）、図１２（Ｂ）で説明したように、基準スクリーンよりも手前側に評価結果表示用オブジェクトを配置する（ステップＳ１３）。これにより、「良」の評価結果を表す評価表示用オブジェクトが画面から飛び出して見える立体視用画像が生成されるようになる。
【０１９９】
一方、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＴＨではない場合には、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＲ／２であるか否かを判断する（ステップＳ１４）。ここでＴＲは、操作入力が成功か否かを判断するための許容期間である。そしてＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＲ／２である場合には、入力タイミングＴＭＩが許容期間ＴＲ内に収まっているため、入力の評価結果は「可」であると判定する（ステップＳ１５）。そして、図１３（Ａ）、図１３（Ｂ）で説明したように、基準スクリーンの位置に評価結果表示用オブジェクトを配置する（ステップＳ１６）。
【０２００】
一方、ＴＤ＝｜ＴＭＢｍ−ＴＭＩ｜≦ＴＲ／２ではない場合には、入力の評価結果は「不可」であると判定する（ステップＳ１７）。そして図１４（Ａ）、図１４（Ｂ）で説明したように、基準スクリーンの奥側に評価結果表示用オブジェクトを配置する（ステップＳ１８）。これにより、「不可」の評価結果を表す評価表示用オブジェクトが画面から奥側に引っ込んで見える立体視用画像が生成されるようになる。
【０２０１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（所定視差の画像、第１視点画像、第２視点画像、移動体等）と共に記載された用語（視差の無い画像、左眼用画像、右眼用画像、指示マーカ・ボール等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、タイミング判定手法、判定基準タイミングの設定手法、立体視用画像の生成手法、移動体の移動制御手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【符号の説明】
【０２０２】
ＴＭＢ１〜ＴＭＢ５ 判定基準タイミング、ＭＯＢ、ＭＯＢ１〜ＭＯＢ３ 移動体、
ＭＫ、ＭＫ１〜ＭＫ５ 指示マーカ、ＳＯＢ 評価表示用オブジェクト、
ＧＯＢ ゲージ ＣＨＴ 太鼓キャラクタ、ＴＯＢ 太鼓、
ＡＲＢ 判定基準エリア、ＡＲＩ 操作入力エリア、
ＣＨＰ 投手キャラクタ、ＣＨＢ 打者キャラクタ、ＢＬ ボール、
ＤＯＢ 指示位置表示用オブジェクト、ＰＯＢ ボール位置表示用オブジェクト、
ＨＶ ヒット判定ボリューム、
ＶＣＬ 左眼用仮想カメラ、ＶＣＲ 右眼用仮想カメラ、
ＳＣ スクリーン（基準スクリーン）、ＶＶＬ 左眼用ビューボリューム、
ＶＶＲ 右眼用ビューボリューム、ＣＮＬ、ＣＮＲ、ＣＦＬ、ＣＦＲ クリッピング面、
ＣＭ１、ＣＭ２、ＣＭ３ カメラ、
ＭＫＶ 仮想指示マーカ、ＰＬ、プレーヤ、ＳＰ１、ＳＰ２ 音出力部、
１０ 筺体、１２ 方向指示キー、１４ アナログスティック、１６ 操作ボタン、
２０ 筺体、３０ タッチペン、１９０Ｍ メイン表示部、１９０Ｓ サブ表示部、
１００ 処理部、１０２ ゲーム演算部、１０４ オブジェクト空間設定部、
１０６ 移動体制御部、１０８ 仮想カメラ制御部、１１０ 判定部、
１２０ 画像生成部、１２２ 左眼用画像生成部、１２４ 右眼用画像生成部、
１７０ 記憶部、１７２ オブジェクトデータ記憶部、
１７４ タイミングデータ記憶部、１７８ 描画バッファ、１８０ 情報記憶媒体、
１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、１９６ 通信部、
５００ サーバシステム、５１０ ネットワーク、ＴＭ１〜ＴＭｎ 端末装置、
６００ 処理部、６０２ ゲーム演算部、６０４ オブジェクト空間設定部、
６０６ 移動体制御部、６０８ 仮想カメラ制御部、６１０ 判定部、
６２０ 画像生成用データ生成部、６３０ 音生成用データ生成部
【特許請求の範囲】
【請求項１】
移動体の制御を行う移動体制御部と、
前記移動体を用いたタイミング判定処理を行う判定部と、
立体視用画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が所定視差になるように、前記移動体が表示された立体視用画像を生成することを特徴とするプログラム。
【請求項２】
請求項１において、
前記判定基準タイミングのデータを記憶するタイミングデータ記憶部として、
コンピュータを機能させ、
前記判定部は、
前記タイミングデータ記憶部に記憶される前記判定基準タイミングのデータと、プレーヤの入力タイミングとに基づいて、前記タイミング判定処理を行うことを特徴とするプログラム。
【請求項３】
請求項２において、
ゲーム演算処理を行うゲーム演算部として、
コンピュータを機能させ、
前記判定部は、
前記タイミング判定処理として、前記入力タイミングと前記判定基準タイミングとのタイミング関係に基づく評価処理を行い、
前記ゲーム演算部は、
前記評価処理の結果に基づいて、前記ゲーム演算処理を行うことを特徴とするプログラム。
【請求項４】
請求項３において、
前記ゲーム演算部は、
前記プレーヤのゲーム成績の演算処理、前記移動体の表示制御処理、及びゲーム演出処理の少なくとも１つを、前記評価処理の結果に基づく前記ゲーム演算処理として行うことを特徴とするプログラム。
【請求項５】
請求項３又は４において、
前記画像生成部は、
前記評価処理の結果を表示する評価表示用オブジェクトの画像として、前記評価結果に応じて視差の度合いが変化する画像が表示された立体視用画像を生成することを特徴とするプログラム。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記画像生成部は、
前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成することを特徴とするプログラム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記画像生成部は、
前記入力タイミングと前記判定基準タイミングとのタイミング差に応じて、前記移動体の画像の視差が変化する立体視用画像を生成することを特徴とするプログラム。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記画像生成部は、
前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成すると共に、
前記タイミング判定処理においてプレーヤの入力タイミングが前記判定基準タイミングと合致したと判定され、前記プレーヤの入力が成功であると判定された場合には、ゲーム演出効果表示用オブジェクトの画像として、視差のある画像が表示された立体視用画像を生成することを特徴とするプログラム。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記移動体は、プレーヤが入力すべきタイミングを指示する指示マーカであり、
前記判定部は、
前記指示マーカで指示されたタイミングで前記プレーヤが入力を行った場合に、前記プレーヤの入力タイミングと前記判定基準タイミングとの合致判定処理を、前記タイミング判定処理として行うことを特徴とするプログラム。
【請求項１０】
請求項９において、
前記画像生成部は、
前記指示マーカについては、前記判定基準タイミングにおいて視差の無い画像が表示され、前記プレーヤの入力が行われたことを示す入力動作表示用オブジェクトについては、視差のある画像が表示された立体視用画像を生成することを特徴とするプログラム。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記移動体制御部は、
視点側から見て奥側から手前側に前記移動体を移動させる制御を行うことを特徴とするプログラム。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記移動体制御部は、
前記判定基準タイミングにおいて、入力すべきタイミングをプレーヤに知らせるための判定基準エリアを前記移動体が通過するように、前記移動体を移動させる制御を行うことを特徴とするプログラム。
【請求項１３】
請求項１２において、
前記画像生成部は、
前記判定基準エリアに対応する位置に設定された基準スクリーンに対して前記移動体のオブジェクトを透視投影して描画することで、前記判定基準タイミングにおいて前記移動体の画像の視差が無くなる立体視用画像を生成することを特徴とするプログラム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記画像生成部は、
前記判定基準タイミングにおいて前記移動体の色、形状及びサイズの少なくとも１つが変化する立体視用画像を生成することを特徴とするプログラム。
【請求項１５】
請求項１乃至１４のいずれかにおいて、
音を生成する音生成部として、
コンピュータを機能させ、
前記音生成部は、
前記移動体の視差に応じて、音像定位が変化する音を生成することを特徴とするプログラム。
【請求項１６】
請求項１乃至１５のいずれかにおいて、
前記判定部は、
前記移動体又はタイミング判定処理用の操作対象物に対応する仮想的な表示物であって前記立体視用画像に基づき表示部の表示画面側空間に仮想表示される仮想表示物と、現実空間の被ヒット体とのヒット判定処理を行うことを特徴とするプログラム。
【請求項１７】
請求項１６において、
前記判定部は、
前記仮想表示物と前記被ヒット体とのヒット判定処理を、プレーヤを撮影する撮像部からの撮像情報に基づいて行うことを特徴とするプログラム。
【請求項１８】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１７のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１９】
移動体の制御を行う移動体制御部と、
前記移動体を用いたタイミング判定処理を行う判定部と、
立体視用画像を生成する画像生成部と、
を含み、
前記画像生成部は、
前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成することを特徴とする画像生成システム。
【請求項２０】
移動体の制御を行う移動体制御部と、
前記移動体を用いたタイミング判定処理を行う判定部と、
立体視用画像を生成するための画像生成用データを生成する画像生成用データ生成部と、
を含み、
前記画像生成用データ生成部は、
前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成するための画像生成用データを生成することを特徴とするサーバシステム。
【請求項１】
移動体の制御を行う移動体制御部と、
前記移動体を用いたタイミング判定処理を行う判定部と、
立体視用画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が所定視差になるように、前記移動体が表示された立体視用画像を生成することを特徴とするプログラム。
【請求項２】
請求項１において、
前記判定基準タイミングのデータを記憶するタイミングデータ記憶部として、
コンピュータを機能させ、
前記判定部は、
前記タイミングデータ記憶部に記憶される前記判定基準タイミングのデータと、プレーヤの入力タイミングとに基づいて、前記タイミング判定処理を行うことを特徴とするプログラム。
【請求項３】
請求項２において、
ゲーム演算処理を行うゲーム演算部として、
コンピュータを機能させ、
前記判定部は、
前記タイミング判定処理として、前記入力タイミングと前記判定基準タイミングとのタイミング関係に基づく評価処理を行い、
前記ゲーム演算部は、
前記評価処理の結果に基づいて、前記ゲーム演算処理を行うことを特徴とするプログラム。
【請求項４】
請求項３において、
前記ゲーム演算部は、
前記プレーヤのゲーム成績の演算処理、前記移動体の表示制御処理、及びゲーム演出処理の少なくとも１つを、前記評価処理の結果に基づく前記ゲーム演算処理として行うことを特徴とするプログラム。
【請求項５】
請求項３又は４において、
前記画像生成部は、
前記評価処理の結果を表示する評価表示用オブジェクトの画像として、前記評価結果に応じて視差の度合いが変化する画像が表示された立体視用画像を生成することを特徴とするプログラム。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記画像生成部は、
前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成することを特徴とするプログラム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記画像生成部は、
前記入力タイミングと前記判定基準タイミングとのタイミング差に応じて、前記移動体の画像の視差が変化する立体視用画像を生成することを特徴とするプログラム。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記画像生成部は、
前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成すると共に、
前記タイミング判定処理においてプレーヤの入力タイミングが前記判定基準タイミングと合致したと判定され、前記プレーヤの入力が成功であると判定された場合には、ゲーム演出効果表示用オブジェクトの画像として、視差のある画像が表示された立体視用画像を生成することを特徴とするプログラム。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記移動体は、プレーヤが入力すべきタイミングを指示する指示マーカであり、
前記判定部は、
前記指示マーカで指示されたタイミングで前記プレーヤが入力を行った場合に、前記プレーヤの入力タイミングと前記判定基準タイミングとの合致判定処理を、前記タイミング判定処理として行うことを特徴とするプログラム。
【請求項１０】
請求項９において、
前記画像生成部は、
前記指示マーカについては、前記判定基準タイミングにおいて視差の無い画像が表示され、前記プレーヤの入力が行われたことを示す入力動作表示用オブジェクトについては、視差のある画像が表示された立体視用画像を生成することを特徴とするプログラム。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記移動体制御部は、
視点側から見て奥側から手前側に前記移動体を移動させる制御を行うことを特徴とするプログラム。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記移動体制御部は、
前記判定基準タイミングにおいて、入力すべきタイミングをプレーヤに知らせるための判定基準エリアを前記移動体が通過するように、前記移動体を移動させる制御を行うことを特徴とするプログラム。
【請求項１３】
請求項１２において、
前記画像生成部は、
前記判定基準エリアに対応する位置に設定された基準スクリーンに対して前記移動体のオブジェクトを透視投影して描画することで、前記判定基準タイミングにおいて前記移動体の画像の視差が無くなる立体視用画像を生成することを特徴とするプログラム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記画像生成部は、
前記判定基準タイミングにおいて前記移動体の色、形状及びサイズの少なくとも１つが変化する立体視用画像を生成することを特徴とするプログラム。
【請求項１５】
請求項１乃至１４のいずれかにおいて、
音を生成する音生成部として、
コンピュータを機能させ、
前記音生成部は、
前記移動体の視差に応じて、音像定位が変化する音を生成することを特徴とするプログラム。
【請求項１６】
請求項１乃至１５のいずれかにおいて、
前記判定部は、
前記移動体又はタイミング判定処理用の操作対象物に対応する仮想的な表示物であって前記立体視用画像に基づき表示部の表示画面側空間に仮想表示される仮想表示物と、現実空間の被ヒット体とのヒット判定処理を行うことを特徴とするプログラム。
【請求項１７】
請求項１６において、
前記判定部は、
前記仮想表示物と前記被ヒット体とのヒット判定処理を、プレーヤを撮影する撮像部からの撮像情報に基づいて行うことを特徴とするプログラム。
【請求項１８】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１７のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１９】
移動体の制御を行う移動体制御部と、
前記移動体を用いたタイミング判定処理を行う判定部と、
立体視用画像を生成する画像生成部と、
を含み、
前記画像生成部は、
前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成することを特徴とする画像生成システム。
【請求項２０】
移動体の制御を行う移動体制御部と、
前記移動体を用いたタイミング判定処理を行う判定部と、
立体視用画像を生成するための画像生成用データを生成する画像生成用データ生成部と、
を含み、
前記画像生成用データ生成部は、
前記タイミング判定処理に用いられる判定基準タイミングにおいて前記移動体の画像の視差が無くなるように、前記移動体が表示された立体視用画像を生成するための画像生成用データを生成することを特徴とするサーバシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１４１８２６（Ｐ２０１２−１４１８２６Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９４５２８（Ｐ２０１０−２９４５２８）
【出願日】平成２２年１２月２９日（２０１０．１２．２９）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２９日（２０１０．１２．２９）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
[ Back to top ]