遅延測定システムおよび遅延測定方法
【課題】テレビ等の表示装置に画像や音声を出力する場合に生じる遅延を測定する。また、上記の遅延により生じる問題を解消または低減する。
【解決手段】ゲーム装置は、所定のテスト画像を生成し、テレビへテスト画像を出力する。端末装置は、撮像部によってテレビの画面を撮像し、撮像部が撮像した撮像画像をゲーム装置へ送信する。ゲーム装置は、撮像画像にテスト画像が含まれるか否かを判定する。そして、撮像画像にテスト画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、ゲーム装置がテスト画像を出力したタイミングと、撮像画像が撮像されてから当該判定が行われるまでの処理時間とに基づいて、画像遅延時間を算出する。ゲーム装置は、画像遅延時間を用いることによって、端末装置とテレビとの同期をとったり、テレビにおける画像の表示と音声の出力との同期をとることができる。
【解決手段】ゲーム装置は、所定のテスト画像を生成し、テレビへテスト画像を出力する。端末装置は、撮像部によってテレビの画面を撮像し、撮像部が撮像した撮像画像をゲーム装置へ送信する。ゲーム装置は、撮像画像にテスト画像が含まれるか否かを判定する。そして、撮像画像にテスト画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、ゲーム装置がテスト画像を出力したタイミングと、撮像画像が撮像されてから当該判定が行われるまでの処理時間とに基づいて、画像遅延時間を算出する。ゲーム装置は、画像遅延時間を用いることによって、端末装置とテレビとの同期をとったり、テレビにおける画像の表示と音声の出力との同期をとることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン受像器等の表示装置における表示遅延または音声出力遅延を測定する遅延測定システムおよび遅延測定方法に関する。
【背景技術】
【０００２】
従来、テレビジョン受像器（以下、単に「テレビ」と記載する）を表示装置として用いるゲームシステムがある。例えば、特許文献１には、テレビと、テレビに接続されるゲーム装置とを含むゲームシステムが記載されている。このゲームシステムにおいては、ゲーム装置によって生成されたゲーム画像がテレビに表示されるとともに、ゲーム装置によって生成されたゲーム音がテレビのスピーカから出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９７２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような、テレビを表示装置に用いるゲームシステムにおいては、ゲーム画像の表示遅延が生じるおそれがあった。すなわち、近年のデジタルテレビにおいては、画質向上等の目的で、入力される画像に対して種々の映像処理が行われ、映像処理が施された画像が表示される。この映像処理は一般的に時間を要するため、ゲーム装置からテレビへゲーム画像が出力されてから、テレビにゲーム画像が表示されるまでに遅延が生じるおそれがあった。そのため、テレビを表示装置に用いるゲームシステムにおいては、ゲーム操作に対するゲーム表示の応答性が悪くなるという問題があった。
【０００５】
また、テレビおよびゲーム装置を含むゲームシステムに対してさらに別の表示装置を追加することによって、複数の表示装置にそれぞれゲーム画像を表示させることを可能にしたゲームシステムを考える。このようなゲームシステムにおいて、別の表示装置に関しては上記のような映像処理が実行されないために表示遅延が（ほとんど）生じないとすれば、上記の遅延の問題が顕著になる。つまり、上記のゲームシステムでは、プレイヤは、表示遅延が生じないゲーム画像を別の表示装置によって見ることができるので、テレビにおいて表示遅延が生じていることを視認することができる。そのため、両方のゲーム画像を見るプレイヤにとっては違和感が顕著になるおそれが考えられる。また、ゲーム操作にシビアなタイミングが要求される種類のゲームにおいては、両方のゲーム画像を見るプレイヤがどちらの表示を基準に操作をすればわからなくなったり、複数人でゲームを行う場合において各ゲーム画像を見るプレイヤ毎に有利不利が生じたりする等、ゲーム操作に支障をきたしたりするおそれが考えられる。
【０００６】
上記のように、テレビにおける表示遅延は、単にゲーム表示の応答性が悪くなるといった問題を生じさせる他、別の表示装置にもゲーム画像が表示される場合には、プレイヤが抱く違和感が顕著になったり、ゲーム操作に支障をきたしたりするといった問題を生じさせるおそれがある。なお、表示遅延の時間は、テレビの機種や映像モード（どのような映像処理が行われるか）によって異なるので、表示遅延の時間を個々に測定し、遅延に応じた処理を行う必要がある。
【０００７】
それ故、本発明の目的は、テレビ等の表示装置に画像や音声を出力する場合に生じる遅延を測定することである。また、本発明の他の目的は、上記の遅延により生じる問題を解消または低減することである。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するために、以下の（１）〜（１３）の構成を採用した。
【０００９】
（１）
本発明の一例は、ゲーム装置と、可搬型表示装置とを含むゲームシステムである。
ゲーム装置は、画像生成部と、画像出力部と、画像圧縮部と、画像送信部とを備える。画像生成部は、ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する。画像出力部は、可搬型表示装置とは異なる所定の表示装置へ第１ゲーム画像を逐次出力する。画像圧縮部は、第２ゲーム画像を逐次圧縮して圧縮画像データを逐次生成する。画像送信部は、圧縮画像データを可搬型表示装置へ無線で逐次送信する。
可搬型表示装置は、撮像部と、画像受信部と、画像伸張部と、表示部と、撮像データ送信部とを備える。画像受信部は、ゲーム装置から圧縮画像データを逐次受信する。画像伸張部は、圧縮画像データを逐次伸張して第２ゲーム画像を得る。表示部は、画像伸張部によって伸張された第２ゲーム画像を逐次表示する。撮像データ送信部は、撮像部が撮像した撮像画像を圧縮した圧縮撮像データをゲーム装置へ送信する。
ゲーム装置はさらに、撮像データ受信部と、画像判定部と、画像遅延算出部と、画像送信制御部とを備える。撮像データ受信部は、圧縮撮像データを受信して伸張して撮像画像を得る。画像判定部は、撮像データ受信部によって伸張された撮像画像に所定の第１ゲーム画像が含まれるか否かを判定する。画像遅延算出部は、撮像画像に所定の第１ゲーム画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、画像出力部が所定の第１ゲーム画像を出力したタイミングと、撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、画像出力部が所定の第１ゲーム画像を出力してから所定の表示装置に当該所定の第１ゲーム画像が表示されるまでの画像遅延時間を算出する。画像送信制御部は、画像遅延時間に基づいて、第２ゲーム画像が可搬型表示装置へ送信されるタイミングを遅らせる。
【００１０】
上記「ゲーム装置」は、ゲーム処理を実行し、ゲーム処理に基づいてゲーム画像を生成する情報処理装置であればどのようなものであってもよい。上記ゲーム装置は、ゲーム専用の情報処理装置であってもよいし、一般的なパーソナルコンピュータのような多用途の情報処理装置であってもよい。
上記「可搬型表示装置」は、後述する実施形態においては端末装置７であるが、上記各部を備える装置であればどのようなものであってもよい。なお、上記「可搬型」とは、プレイヤが手に持って動かしたり、任意の位置に配置を変更したりすることができる程度の大きさである意味である。
上記「ゲームシステム」は、ゲーム装置と可搬型表示装置とを含んでいればよく、第１ゲーム画像を表示する所定の表示装置を含んでいなくともよいし、含んでいてもよい。すなわち、ゲームシステムは、当該所定の表示装置を含まない形態で提供されてもよいし、含む形態で提供されてもよい。
上記「所定の表示装置」は、後述する実施形態におけるテレビ等、入力された画像に対して何らかの映像処理を行ってから表示する任意の表示装置を含む。
上記「所定の第１ゲーム画像」は、第１ゲーム画像のうちで、画像遅延時間の算出に用いられる第１ゲーム画像である。なお、所定の第１ゲーム画像の具体的な内容はどのようなものであってもよく、静止画であってもよいし、動画を構成する複数の画像のうちの１つであってもよい。
【００１１】
上記（１）の構成によれば、所定の表示装置に表示された第１ゲーム画像を可搬型表示装置が撮像し、撮像画像を用いて画像遅延時間が算出される。これによれば、実際に表示された画像に基づいて遅延を測定するので、画像遅延時間を正確に算出することができる。また、ゲーム装置は、第２ゲーム画像が可搬型表示装置へ送信されるタイミングを画像遅延時間に基づいて遅らせるので、各ゲーム画像が表示されるタイミングを、所定の表示装置と可搬型表示装置とで合わせることができる。したがって、上記（１）の構成によれば、所定の表示装置と可搬型表示装置との間でゲーム画像の表示タイミングの同期をとることができ、所定の表示装置における表示遅延により生じる問題を解消することができる。
【００１２】
（２）
所定の表示装置はスピーカを備えていてもよい。
このとき、ゲーム装置はさらに、音声生成部と、音声出力部と、音声送信部とを備える。音声生成部は、ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する。音声出力部は、所定の表示装置へ第１ゲーム音声を出力する。音声送信部は、第２ゲーム音声を可搬型表示装置へ無線で送信する。
可搬型表示装置は、音声受信部と、スピーカと、マイクと、検出音送信部とを備える。音声受信部は、ゲーム装置から第２ゲーム音声を受信する。スピーカは、第２ゲーム音声を出力する。検出音送信部は、マイクによる検出音をゲーム装置へ送信する。
ゲーム装置はさらに、検出音受信部と、音判定部と、音声遅延算出部と、音声送信制御部とを備える。検出音受信部は、検出音を受信する。音判定部は、検出音受信部によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する。音声遅延算出部は、検出音に所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、音声出力部が所定の第１ゲーム音声を出力したタイミングと、音検出部が当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、音声出力部が所定の第１ゲーム音声を出力してから所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する。音声送信制御部は、音声遅延時間に基づいて、第２ゲーム音声が可搬型表示装置へ送信されるタイミングを遅らせる。
【００１３】
上記（２）の構成によれば、所定の表示装置に表示された第１ゲーム音声を可搬型表示装置が検出し、検出音を用いて音声遅延時間が算出される。これによれば、実際に出力された音声に基づいて遅延を測定するので、画像遅延時間を正確に算出することができる。また、ゲーム装置は、第２ゲーム音声が可搬型表示装置へ送信されるタイミングを音声遅延時間に基づいて遅らせるので、各ゲーム音声が出力されるタイミングを、所定の表示装置と可搬型表示装置とで合わせることができる。したがって、上記（２）の構成によれば、所定の表示装置と可搬型表示装置との間でゲーム音声の表示タイミングの同期をとることができ、所定の表示装置における音声出力遅延により生じる問題を解消することができる。
【００１４】
（３）
画像生成部は、可搬型表示装置の撮像部を所定の表示装置の画面の方へ向ける旨の通知を表す画像を第１ゲーム画像または第２ゲーム画像として生成し、所定の表示装置または可搬型表示装置に当該画像が表示された後で、所定の第１ゲーム画像を生成して所定の表示装置に表示させてもよい。
【００１５】
上記（３）の構成によれば、画像遅延時間の測定に用いられる所定の第１ゲーム画像を表示する前に、可搬型表示装置の撮像部を所定の表示装置の画面の方へ向ける旨の通知が行われる。これによれば、所定の第１ゲーム画像が表示された時点で撮像部が所定の表示装置の画面の方を向いていない事態が生じることを防止することができ、不正確な画像遅延時間が測定されることを防止することができる。
【００１６】
（４）
ゲーム装置はさらに、複数の第２ゲーム画像を記憶可能な記憶部を備えていてもよい。このとき、画像送信制御部は、画像生成部によって生成された第２ゲーム画像を記憶部に記憶し、生成から画像遅延時間に基づく待機時間が経過した第２ゲーム画像を画像送信部に送信させる。
【００１７】
上記「記憶部」は、後述する実施形態におけるメインメモリやフラッシュメモリ等、ゲーム装置がアクセス可能な記憶手段であればどのようなものであってもよい。なお、記憶部に記憶される第２ゲーム画像は、画像圧縮部によって圧縮された画像データであってもうよいし、圧縮前の画像データであってもよい。
【００１８】
上記（４）の構成によれば、ゲーム装置は、第２ゲーム画像を記憶しておき、待機時間が経過した後で第２ゲーム画像を送信する。これによれば、第２ゲーム画像の送信タイミングを容易に調整することができる。
【００１９】
（５）
画像送信制御部は、画像遅延時間と、第２ゲーム画像が生成されてから可搬型表示装置に表示されるまでの時間とに基づいて、第２ゲーム画像を可搬型表示装置へ送信するまでの待機時間を算出してもよい。
【００２０】
上記（５）の構成によれば、画像遅延時間に加え、第２ゲーム画像が生成されてから可搬型表示装置に表示されるまでの時間を考慮して待機時間が決定される。これによれば、第１ゲーム画像と第２ゲーム画像との表示タイミングをより正確に同期させることができる。
【００２１】
（６）
また、本発明の他の一例は、ゲーム装置と、可搬型表示装置とを含むゲームシステムである。
ゲーム装置は、音声生成部と、音声出力部と、音声送信部とを備える。音声生成部は、ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する。音声出力部は、スピーカを備える表示装置であって、可搬型表示装置とは異なる所定の表示装置へ第１ゲーム音声を出力する。音声送信部は、第２ゲーム音声を可搬型表示装置へ無線で送信する。
可搬型表示装置は、マイクと、音声受信部と、スピーカと、検出音送信部とを備える。音声受信部は、ゲーム装置から第２ゲーム音声を受信する。スピーカは、第２ゲーム音声を出力する。検出音送信部は、マイクによる検出音をゲーム装置へ送信する。
ゲーム装置はさらに、検出音受信部と、音判定部と、遅延算出部と、音声送信制御部とを備える。検出音受信部は、検出音を受信する。音判定部は、検出音受信部によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する。遅延算出部は、検出音に所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、音声出力部が所定の第１ゲーム音声を出力したタイミングと、音検出部が当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、音声出力部が所定の第１ゲーム音声を出力してから所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する。音声送信制御部は、音声遅延時間に基づいて、第２ゲーム音声が可搬型表示装置へ送信されるタイミングを遅らせる。
【００２２】
上記「所定の第１ゲーム音声」は、第１ゲーム音声のうちで、音声遅延時間の算出に用いられる第１ゲーム音声である。なお、所定の第１ゲーム音声の具体的な内容はどのようなものであってもよい。
【００２３】
上記（６）の構成によれば、上記（２）の構成と同様、所定の表示装置に表示された第１ゲーム音声を可搬型表示装置が検出し、検出音を用いて音声遅延時間が算出される。これによれば、実際に出力された音声に基づいて遅延を測定するので、画像遅延時間を正確に算出することができる。また、ゲーム装置は、第２ゲーム音声が可搬型表示装置へ送信されるタイミングを音声遅延時間に基づいて遅らせるので、各ゲーム音声が出力されるタイミングを、所定の表示装置と可搬型表示装置とで合わせることができる。したがって、上記（６）の構成によれば、所定の表示装置と可搬型表示装置との間でゲーム音声の表示タイミングの同期をとることができ、所定の表示装置における音声出力遅延により生じる問題を解消することができる。
【００２４】
（７）
本発明の他の一例は、入力された画像に対して所定の映像処理を行ってから当該画像を表示する所定の表示装置の表示遅延を測定する遅延測定システムである。遅延測定システムは、所定の表示装置と通信可能な情報処理装置と、当該情報処理装置と無線通信可能な可搬型の端末装置とを含む。
情報処理装置は、画像生成部と、第１画像出力部とを備える。画像生成部は、所定の画像を生成する。第１画像出力部は、所定の表示装置へ所定の画像を出力する。
端末装置は、撮像部と、撮像画像送信部とを備える。撮像画像送信部は、撮像部が撮像した撮像画像を送信する。
情報処理装置はさらに、撮像画像受信部と、画像判定部と、画像遅延算出部とを備える。撮像画像受信部は、撮像画像を受信する。画像判定部は、撮像画像に所定の画像が含まれるか否かを判定する。画像遅延算出部は、撮像画像に所定の画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、第１画像出力部が所定の画像を出力したタイミングと、撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、第１画像出力部が所定の画像を出力してから所定の表示装置に当該所定の画像が表示されるまでの画像遅延時間を算出する。
【００２５】
上記「情報処理装置」は、画像を生成する機能を有する情報処理装置であればどのようなものであってもよい。上記情報処理装置は、後述する実施形態のようなゲーム装置であってもよいし、一般的なパーソナルコンピュータのような多用途の情報処理装置であってもよい。
上記「可搬型の端末装置」は、後述する実施形態においては、画像を表示する機能や操作装置としての機能を有する端末装置であるが、上記各部を備える装置であればどのようなものであってもよい。なお、上記「可搬型」とは、プレイヤが手に持って動かしたり、任意の位置に配置を変更したりすることができる程度の大きさである意味である。
上記「遅延測定システム」は、情報装置と端末装置とを含んでいればよく、第１画像を表示する所定の表示装置を含んでいなくともよいし、含んでいてもよい。すなわち、遅延測定システムは、当該所定の表示装置を含まない形態で提供されてもよいし、含む形態で提供されてもよい。
上記「所定の画像」は、画像遅延時間の算出に用いられる画像である。なお、所定の画像の具体的な内容はどのようなものであってもよく、静止画であってもよいし、動画を構成する複数の画像のうちの１つであってもよい。
【００２６】
上記（７）の構成によれば、所定の表示装置に表示された所定の画像を可搬型表示装置が撮像し、撮像画像を用いて画像遅延時間が算出される。これによれば、実際に表示された所定の画像に基づいて遅延を測定するので、画像遅延時間を正確に算出することができる。
【００２７】
（８）
画像生成部は、所定の表示装置に表示するための第１画像と、端末装置に表示するための第２画像とを逐次生成してもよい。このとき、第１画像出力部は、所定の表示装置へ第１画像を逐次出力する。情報処理装置はさらに、第２画像を端末装置へ逐次出力する第２画像出力部とを備える。
また、端末装置はさらに、画像受信部と、表示部とを備える。画像受信部は、情報処理装置から第２画像を逐次受信する。表示部は、受信された第２画像を逐次表示する。
情報処理装置は、画像遅延時間に基づいて、第２画像が端末装置へ出力されるタイミングを遅らせる画像出力制御部をさらに備える。
【００２８】
上記（８）の構成によれば、情報処理装置は、第２画像が可搬型表示装置へ送信されるタイミングを画像遅延時間に基づいて遅らせるので、各画像が表示されるタイミングを、所定の表示装置と可搬型表示装置とで合わせることができる。したがって、上記（８）の構成によれば、所定の表示装置と可搬型表示装置との間で画像の表示タイミングの同期をとることができ、所定の表示装置における表示遅延により生じる問題を解消することができる。
【００２９】
（９）
情報処理装置はさらに、音声生成部と、第１音声出力部と、第２音声出力部とを備えていてもよい。音声生成部は、所定の表示装置に出力するための第１音声と、端末装置に出力するための第２音声とを生成する。第１音声出力部は、所定の表示装置へ第１音声を出力する。第２音声出力部は、端末装置へ第２音声を出力する。
また、端末装置はさらに、音声受信部と、スピーカとを備える。音声受信部は、情報処理装置から第２音声を受信する。スピーカは、第２音声を出力する。
情報処理装置は、画像遅延時間に基づいて、第２音声が端末装置へ出力されるタイミングを遅らせる音声出力制御部をさらに備える。
【００３０】
上記（９）の構成によれば、画像遅延時間に基づいて、第２音声が端末装置へ出力されるタイミングが調整される。これによれば、所定の表示装置と可搬型表示装置との間で画像の表示タイミングの同期をとることができるとともに、音声の出力タイミングの同期をとることができる。しかも、上記（９）の構成によれば、音声については遅延時間を測定する必要がないので、簡易な処理で画像および音声の両方について同期をとることができる。
【００３１】
（１０）
所定の表示装置はスピーカを備えていてもよい。このとき、情報処理装置はさらに、音声生成部と、音声出力部とを備えている。音声生成部は、所定の音を生成する。音声出力部は、所定の表示装置へ所定の音を出力する。
端末装置は、マイクと、マイクによる検出音を情報処理装置へ送信する検出音送信部とを備える。
情報処理装置はさらに、検出音受信部と、音判定部と、音声遅延算出部と、出力制御部とを備える。検出音受信部は、検出音を受信する。音判定部は、検出音受信部によって受信された検出音に所定の音が含まれるか否かを判定する。音声遅延算出部は、検出音に所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、音声出力部が所定の音を出力したタイミングと、音検出部が当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、音声出力部が所定の音を出力してから所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する。出力制御部は、所定の表示装置に表示される画像と、当該所定の表示装置のスピーカに出力させるための音とが同期するように、当該音を音声出力部が出力するタイミングと、当該画像を画像出力部が出力するタイミングとの少なくともいずれかを画像遅延時間および音声遅延時間に基づいて遅らせる。
【００３２】
上記（１０）の構成によれば、情報処理装置は、画像遅延時間および音声遅延時間を算出し、これらの遅延時間に基づいて、所定の表示装置における画像の表示タイミングと、当該所定の表示装置のスピーカにおける音声の出力タイミングとを調整する。これによれば、所定の表示装置において上記２つのタイミングを同期させることができ、所定の表示装置における表示遅延あるいは音声出力遅延によりユーザが違和感を抱くことを防止することができる。
【００３３】
（１１）
また、本発明の他の一例は、所定の表示装置が備えるスピーカの音声出力遅延を測定する遅延測定システムである。遅延測定システムは、所定の表示装置と通信可能な情報処理装置と、当該情報処理装置と無線通信可能な可搬型の端末装置とを含む。
情報処理装置は、音声生成部と、第１音声出力部とを備える。音声生成部は、所定の音を生成する。第１音声出力部は、所定の表示装置へ所定の音を出力する。
端末装置は、マイクと、マイクによる検出音を情報処理装置へ送信する検出音送信部とを備える。
情報処理装置はさらに、検出音受信部と、音判定部と、音声遅延算出部とを備える。検出音受信部は、検出音を受信する。音判定部は、検出音受信部によって受信された検出音に所定の音が含まれるか否かを判定する。音声遅延算出部は、検出音に所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、音声出力部が所定の音を出力したタイミングと、音検出部が当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、音声出力部が所定の音を出力してから所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する。
【００３４】
上記（１１）の構成によれば、所定の表示装置のスピーカから出力された所定の音を可搬型表示装置が検出し、検出音を用いて音声遅延時間が算出される。これによれば、実際に表示された所定の音に基づいて遅延を測定するので、音声遅延時間を正確に算出することができる。
【００３５】
（１２）
音声生成部は、所定の表示装置に出力するための第１音声と、端末装置に出力するための第２音声とを生成してもよい。このとき、第１音声出力部は、所定の表示装置へ第１音声を出力する。情報処理装置はさらに、第２音声を端末装置へ出力する第２音声出力部とを備える。
端末装置はさらに、音声受信部と、スピーカとを備える。音声受信部は、情報処理装置から第２音声を受信する。スピーカは、受信された第２音声を出力する。
情報処理装置は、音声遅延時間に基づいて、第２音声が端末装置へ出力されるタイミングを遅らせる音声出力制御部をさらに備える。
【００３６】
上記（１２）の構成によれば、情報処理装置は、第２音声が可搬型表示装置へ送信されるタイミングを音声遅延時間に基づいて遅らせるので、各音声が出力されるタイミングを、所定の表示装置と可搬型表示装置とで合わせることができる。したがって、上記（１２）の構成によれば、所定の表示装置と可搬型表示装置との間で音声の出力タイミングの同期をとることができ、所定の表示装置における音声出力遅延により生じる問題を解消することができる。
【００３７】
（１３）
情報処理装置はさらに、画像生成部と、第１画像出力部と、第２画像出力部とを備えていてもよい。画像生成部は、所定の表示装置に表示するための第１画像と、端末装置に表示するための第２画像とを逐次生成する。第１画像出力部は、所定の表示装置へ第１画像を逐次出力する。第２画像出力部は、端末装置へ第２画像を逐次出力する。
端末装置はさらに、画像受信部と、表示部とを備える。画像受信部は、情報処理装置から第２画像を逐次受信する。表示部は、受信された第２画像を逐次表示する。
情報処理装置は、画像遅延時間に基づいて、第２画像が端末装置へ出力されるタイミングを遅らせる画像出力制御部をさらに備える。
【００３８】
上記（１３）の構成によれば、音声遅延時間に基づいて、第２画像が端末装置へ出力されるタイミングが調整される。これによれば、所定の表示装置と可搬型表示装置との間で音声の出力タイミングの同期をとることができるとともに、画像の表示タイミングの同期をとることができる。しかも、上記（１３）の構成によれば、画像については遅延時間を測定する必要がないので、簡易な処理で画像および音声の両方について同期をとることができる。
【００３９】
本発明の別の一例は、上記（１）〜（１３）のゲームシステムまたは遅延測定システムの各部（撮像部を除く）を備える情報処理装置（ゲーム装置）であってもよい。また、本発明の別の一例は、情報処理装置のコンピュータを上記各部と同等の手段として機能させるゲームプログラムの形態であってもよい。さらに、本発明の別の一例は、上記（１）〜（１３）のゲームシステムまたは遅延測定システムにおいて行われる画像表示方法、音声出力方法、または遅延測定方法の形態であってもよい。
【発明の効果】
【００４０】
本発明によれば、所定の表示装置において生じる表示遅延および／または音声出力遅延を算出することができる。さらに、算出された遅延を用いることによって、所定の表示装置と可搬型の表示装置との間で同期をとったり、所定の表示装置における画像の表示と音声の出力との同期をとったりすることができる。
【図面の簡単な説明】
【００４１】
【図１】ゲームシステム１の外観図
【図２】ゲーム装置３の内部構成を示すブロック図
【図３】コントローラ５の外観構成を示す斜視図
【図４】コントローラ５の外観構成を示す斜視図
【図５】コントローラ５の内部構造を示す図
【図６】コントローラ５の内部構造を示す図
【図７】コントローラ５の構成を示すブロック図
【図８】端末装置７の外観構成を示す図
【図９】ユーザが端末装置７を把持した様子を示す図
【図１０】端末装置７の内部構成を示すブロック図
【図１１】ゲームシステム１において各ゲーム画像が出力されてから表示されるまでの時間を示す図
【図１２】ゲームシステム１において画像遅延時間の測定するための処理の流れを示すタイミングチャート
【図１３】ゲームシステム１において端末用ゲーム画像が送信される際の処理の流れを示す図
【図１４】ゲームシステム１における処理において用いられる各種データを示す図
【図１５】ゲーム装置３において実行される画像遅延測定処理の流れを示すフローチャート
【図１６】ゲーム装置３において実行される音声遅延測定処理の流れを示すフローチャート
【図１７】ゲーム装置３において実行されるゲーム処理の流れを示すフローチャート
【図１８】本実施形態の変形例においてテレビ用ゲーム画像およびテレビ用ゲーム音声が出力される際の処理の流れを示す図
【図１９】図１８に示す変形例におけるゲーム処理の流れを示すフローチャート
【発明を実施するための形態】
【００４２】
［１．ゲームシステムの全体構成］
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。
【００４３】
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
【００４４】
ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
【００４５】
テレビ２の画面の周辺（図１では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の動きや位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６はゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図１ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。
【００４６】
コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、本実施形態では、ゲームシステム１に含まれるコントローラ５は１つとするが、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。コントローラ５の詳細な構成については後述する。
【００４７】
端末装置７は、ユーザが把持可能な程度の大きさであり、ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ６４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３で生成された画像（例えばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
【００４８】
［２．ゲーム装置３の内部構成］
次に、図２を参照して、ゲーム装置３の内部構成について説明する。図２は、ゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
【００４９】
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。
【００５０】
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１ｂ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
【００５１】
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、本実施形態においては、ゲーム装置３は、テレビ２に表示するゲーム画像と、端末装置７に表示するゲーム画像との両方を生成する。以下では、テレビ２に表示されるゲーム画像を「テレビ用ゲーム画像」と呼び、端末装置７に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。
【００５２】
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、テレビ２のスピーカから出力するゲーム音声と、端末装置７のスピーカから出力するゲーム音声との両方が生成される。以下では、テレビ２から出力されるゲーム音声を「テレビ用ゲーム音声」と呼び、端末装置７から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。
【００５３】
上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２に出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａに出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。
【００５４】
また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。
【００５５】
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
【００５６】
ゲーム装置３は、インターネット等のネットワークに接続して外部情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続し、ネットワークに接続される外部情報処理装置と通信することができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
【００５７】
また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００５８】
また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、本実施形態では、ゲーム装置３から端末装置７へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
【００５９】
また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。
【００６０】
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置７へ送信する。制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１０に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１０に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを端末装置７へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
【００６１】
また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａに出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａに出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００６２】
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
【００６３】
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【００６４】
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。
【００６５】
［３．コントローラ５の構成］
次に、図３〜図７を参照して、コントローラ５について説明する。図３は、コントローラ５の外観構成を示す斜視図である。図４は、コントローラ５の外観構成を示す斜視図である。図３は、コントローラ５の上側後方から見た斜視図であり、図４は、コントローラ５を下側前方から見た斜視図である。
【００６６】
図３および図４において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。
【００６７】
ハウジング３１には、複数の操作ボタンが設けられる。図３に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ〜３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図４に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ〜３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。ホームボタン３２ｆおよび電源ボタン３２ｈは、その上面がハウジング３１の上面に埋没している。これによって、ユーザがホームボタン３２ｆまたは電源ボタン３２ｈを誤って押下することを防止することができる。
【００６８】
ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、コントローラ５に他の機器（例えば、他のセンサユニットやコントローラ）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。
【００６９】
ハウジング３１上面の後方には複数（図３では４つ）のＬＥＤ３４ａ〜３４ｄが設けられる。ここで、コントローラ５には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ〜３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いてゲーム操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ〜３４ｄのいずれか１つが点灯する。
【００７０】
また、コントローラ５は撮像情報演算部３５（図６）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。
【００７１】
ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、コントローラ５に内蔵されるスピーカ４７（図５）からの音を外部に放出するための音抜き孔３１ａが形成されている。
【００７２】
次に、図５および図６を参照して、コントローラ５の内部構造について説明する。図５および図６は、コントローラ５の内部構造を示す図である。なお、図５は、コントローラ５の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６は、コントローラ５の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６に示す斜視図は、図５に示す基板３０を裏面から見た斜視図となっている。
【００７３】
図５において、ハウジング３１の内部には基板３０が固設されており、当該基板３０の上主面上に各操作ボタン３２ａ〜３２ｈ、各ＬＥＤ３４ａ〜３４ｄ、加速度センサ３７、アンテナ４５、およびスピーカ４７等が設けられる。これらは、基板３０等に形成された配線（図示せず）によってマイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）４２（図６参照）に接続される。本実施形態では、加速度センサ３７は、Ｘ軸方向に関してコントローラ５の中心からずれた位置に配置されている。これによって、コントローラ５をＺ軸回りに回転させたときのコントローラ５の動きが算出しやすくなる。また、加速度センサ３７は、長手方向（Ｚ軸方向）に関してコントローラ５の中心よりも前方に配置されている。また、無線モジュール４４（図６）およびアンテナ４５によって、コントローラ５がワイヤレスコントローラとして機能する。
【００７４】
一方、図６において、基板３０の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ５の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を備えている。これらの部材３８〜４１はそれぞれ基板３０の下主面に取り付けられる。
【００７５】
さらに、基板３０の下主面上には、上記マイコン４２およびバイブレータ４６が設けられている。バイブレータ４６は、例えば振動モータやソレノイドであり、基板３０等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータ４６が作動することによってコントローラ５に振動が発生する。これによって、コントローラ５を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。本実施形態では、バイブレータ４６は、ハウジング３１のやや前方寄りに配置される。つまり、バイブレータ４６がコントローラ５の中心よりも端側に配置することによって、バイブレータ４６の振動によりコントローラ５全体を大きく振動させることができる。また、コネクタ３３は、基板３０の下主面上の後端縁に取り付けられる。なお、図５および図６に示す他、コントローラ５は、マイコン４２の基本クロックを生成する水晶振動子、スピーカ４７に音声信号を出力するアンプ等を備えている。
【００７６】
なお、図３〜図６に示したコントローラ５の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、本実施形態では、撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。
【００７７】
図７は、コントローラ５の構成を示すブロック図である。コントローラ５は、操作部３２（各操作ボタン３２ａ〜３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。
【００７８】
操作部３２は、上述した各操作ボタン３２ａ〜３２ｉを含み、各操作ボタン３２ａ〜３２ｉに対する入力状態（各操作ボタン３２ａ〜３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。
【００７９】
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ５の動きでも追跡して解析することができる。
【００８０】
撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。
【００８１】
なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。
【００８２】
加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。例えば、２軸以上の多軸加速度センサの場合には、加速度センサの検出部に加わっている加速度として、各軸に沿った成分の加速度をそれぞれ検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。
【００８３】
本実施形態では、加速度センサ３７は、コントローラ５を基準とした上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。加速度センサ３７は、各軸に沿った直線方向に関する加速度を検出するものであるため、加速度センサ３７からの出力は３軸それぞれの直線加速度の値を表すものとなる。すなわち、検出された加速度は、コントローラ５を基準に設定されるＸＹＺ座標系（コントローラ座標系）における３次元のベクトルとして表される。
【００８４】
加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や動きに対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや動きを算出することができる。本実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。
【００８５】
なお、加速度センサ３７（後述する加速度センサ６３についても同様）から出力される加速度の信号に基づいて、ゲーム装置３のプロセッサ（例えばＣＰＵ１０）またはコントローラ５のプロセッサ（例えばマイコン４２）等のコンピュータが処理を行うことによって、コントローラ５に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサ３７を搭載するコントローラ５が静止状態であることを前提としてコンピュータ側の処理が実行される場合（すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理が実行される場合）、コントローラ５が現実に静止状態であれば、検出された加速度に基づいてコントローラ５の姿勢が重力方向に対して傾いているか否かまたはどの程度傾いているかを知ることができる。具体的には、加速度センサ３７の検出軸が鉛直下方向を向いている状態を基準としたとき、１Ｇ（重力加速度）がかかっているか否かによって、コントローラ５が基準に対して傾いているか否かを知ることができるし、その大きさによって基準に対してどの程度傾いているかも知ることができる。また、多軸の加速度センサ３７の場合には、さらに各軸の加速度の信号に対して処理を施すことによって、重力方向に対してコントローラ５がどの程度傾いているかをより詳細に知ることができる。この場合において、プロセッサは、加速度センサ３７からの出力に基づいてコントローラ５の傾斜角度を算出してもよいし、当該傾斜角度を算出せずに、コントローラ５の傾斜方向を算出するようにしてもよい。このように、加速度センサ３７をプロセッサと組み合わせて用いることによって、コントローラ５の傾斜角度または姿勢を判定することができる。
【００８６】
一方、コントローラ５が動的な状態（コントローラ５が動かされている状態）であることを前提とする場合には、加速度センサ３７は重力加速度に加えてコントローラ５の動きに応じた加速度を検出するので、検出された加速度から重力加速度の成分を所定の処理により除去することによってコントローラ５の動き方向を知ることができる。また、コントローラ５が動的な状態であることを前提とする場合であっても、検出された加速度から、加速度センサの動きに応じた加速度の成分を所定の処理により除去することによって、重力方向に対するコントローラ５の傾きを知ることが可能である。なお、他の実施例では、加速度センサ３７は、内蔵の加速度検出手段で検出された加速度信号をマイコン４２に出力する前に当該加速度信号に対して所定の処理を行うための、組込み式の処理装置または他の種類の専用の処理装置を備えていてもよい。組込み式または専用の処理装置は、例えば、加速度センサ３７が静的な加速度（例えば、重力加速度）を検出するために用いられる場合、加速度信号を傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。
【００８７】
ジャイロセンサ４８は、３軸（本実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。例えば、ジャイロセンサ４８は、３軸ジャイロセンサであってもよいし、２軸ジャイロセンサと１軸ジャイロセンサとを組み合わせて３軸周りの角速度を検出するものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。
【００８８】
通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。
【００８９】
操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。これらのデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ５から送信される。微弱電波信号はゲーム装置３側のコントローラ通信モジュール１９で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行うことが好ましい。コントローラ５の通信部３６は、例えば１／２００秒に１回の割合で操作データをゲーム装置３のコントローラ通信モジュール１９へ出力する。
【００９０】
以上のように、コントローラ５は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下する従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、コントローラ５を任意の姿勢に傾ける操作、コントローラ５によって画面上の任意の位置を指示する操作、および、コントローラ５自体を動かす操作等を行うことが可能となる。
【００９１】
また、本実施形態において、コントローラ５は、ゲーム画像を表示する表示手段を有しないが、例えば電池残量を表す画像等を表示するための表示手段を有していてもよい。
【００９２】
［４．端末装置７の構成］
次に、図８〜図１０を参照して、端末装置７の構成について説明する。図８は、端末装置７の外観構成を示す図である。図８における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。また、図９は、ユーザが端末装置７を把持した様子を示す図である。
【００９３】
図８に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。
【００９４】
端末装置７は、ハウジング５０の表面にＬＣＤ５１を有する。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図９に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置を持って動かすことができる。なお、図９ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つ例を示しているが、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。
【００９５】
図８の（ａ）図に示すように、端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本実施形態では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペンを用いて行われるが、タッチペンに限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペンを収納するための収納穴が設けられていてもよい。このように、端末装置７はタッチパネル５２を備えるので、ユーザは、端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
【００９６】
図８に示すように、端末装置７は、操作手段として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン５４Ａ〜５４Ｌとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示するデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作されるスティック部がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライド（または傾倒）することができるように構成されている。また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図９に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置７を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。
【００９７】
各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作手段である。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる（図９参照）。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
【００９８】
図８の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈとが設けられる。つまり、これらのボタン５４Ａ〜５４Ｇは、ユーザの親指で操作可能な位置に配置されている（図９参照）。
【００９９】
十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、上下左右の方向を指示することが可能なボタンである。また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ〜５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。
【０１００】
また、図８の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、上側および左側の側面から露出している。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、上側および右側の側面から露出している。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図９参照）。
【０１０１】
また、図８の（ｂ）図および（ｃ）図に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、板状のハウジング５０の裏面（すなわちＬＣＤ５１が設けられる表面の反対側の面）に突起して設けられる足部５９Ａおよび５９Ｂに配置される。具体的には、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの概ね反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの概ね反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指で操作可能な位置に配置される（図９参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図８の（ｃ）図に示すように、上記足部５９Ａおよび５９Ｂの斜め上方を向く面に設けられ、斜め上方を向くボタン面を有する。ユーザが端末装置７を把持した場合には中指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。また、ハウジング５０の裏面に足部が設けられることにより、ユーザはハウジング５０を把持しやすくなり、かつ、足部にボタンが設けられることで、ハウジング５０を把持したまま操作しやすくなる。
【０１０２】
なお、図８に示す端末装置７に関しては、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面が完全に水平にはならない場合がある。そのため、他の実施形態においては、ハウジング５０の裏面に３つ以上の足部が形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では足部が床面に接することで床面に載置できるので、画面が水平になるように端末装置７を載置することができる。また、着脱可能な足部を追加することで端末装置７を水平に載置するようにしてもよい。
【０１０３】
各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｅは決定操作やキャンセル操作等に用いられてもよい。
【０１０４】
なお、図示しないが、端末装置７は、端末装置７の電源をオン／オフするための電源ボタンを有している。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンや、スピーカ（図１０に示すスピーカ６７）の音量を調節するためのボタンを有していてもよい。
【０１０５】
図８の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部（図１０に示すマーカ部５５）をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
【０１０６】
端末装置７は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図８に示すように、本実施形態では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。
【０１０７】
なお、端末装置７は、音声入力手段であるマイク（図１０に示すマイク６９）を備えている。ハウジング５０の表面には、マイクロフォン用孔６０が設けられる。マイク６９はこのマイクロフォン用孔６０の奥のハウジング５０内部に設けられる。マイクは、ユーザの音声等、端末装置７の周囲の音を検出する。
【０１０８】
端末装置７は、音声出力手段であるスピーカ（図１０に示すスピーカ６７）を備えている。図８の（ｄ）図に示すように、ハウジング５０の下側側面にはスピーカ孔５７が設けられる。スピーカ６７の出力音はこのスピーカ孔５７から出力される。本実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。
【０１０９】
また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。本実施形態においては、図８の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。他の装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。
【０１１０】
なお、図８に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
【０１１１】
次に、図１０を参照して、端末装置７の内部構成について説明する。図１０は、端末装置７の内部構成を示すブロック図である。図１０に示すように、端末装置７は、図８に示した構成の他、タッチパネルコントローラ６１、磁気センサ６２、加速度センサ６３、ジャイロセンサ６４、ユーザインタフェースコントローラ（ＵＩコントローラ）６５、コーデックＬＳＩ６６、スピーカ６７、サウンドＩＣ６８、マイク６９、無線モジュール７０、アンテナ７１、赤外線通信モジュール７２、フラッシュメモリ７３、電源ＩＣ７４、および電池７５を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
【０１１２】
ＵＩコントローラ６５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ６５は、タッチパネルコントローラ６１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、マーカ部５５、磁気センサ６２、加速度センサ６３、およびジャイロセンサ６４に接続される。また、ＵＩコントローラ６５は、コーデックＬＳＩ６６と拡張コネクタ５８に接続される。また、ＵＩコントローラ６５には電源ＩＣ７４が接続され、ＵＩコントローラ６５を介して各部に電力が供給される。電源ＩＣ７４には内蔵の電池７５が接続され、電力が供給される。また、電源ＩＣ７４には、コネクタ等を介して外部電源から電力を取得可能な充電器７６またはケーブルを接続することが可能であり、端末装置７は、当該充電器７６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うようにしてもよい。
【０１１３】
タッチパネルコントローラ６１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ６１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ６５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ６１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ６５からタッチパネルコントローラ６１へは、タッチパネル５２に対する各種の制御指示が出力される。
【０１１４】
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ６５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ６５へ出力する。
【０１１５】
磁気センサ６２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から磁気センサ６２へは、磁気センサ６２に対する制御指示が出力される。磁気センサ６２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。
【０１１６】
加速度センサ６３は、ハウジング５０の内部に設けられ、３軸（図８の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ６３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の短辺方向をｙ軸、ハウジング５０の表面に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から加速度センサ６３へは、加速度センサ６３に対する制御指示が出力される。加速度センサ６３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ６３は１軸または２軸方向を検出する加速度センサであってもよい。
【０１１７】
ジャイロセンサ６４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５からジャイロセンサ６４へは、ジャイロセンサ６４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ６４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ６４は１軸または２軸方向を検出するジャイロセンサであってもよい。
【０１１８】
ＵＩコントローラ６５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ６６に出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
【０１１９】
コーデックＬＳＩ６６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ６６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ６８、無線モジュール７０、フラッシュメモリ７３、および赤外線通信モジュール７２が接続される。また、コーデックＬＳＩ６６はＣＰＵ７７と内部メモリ７８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ７３に格納されたプログラムを内部メモリ７８に読み出してＣＰＵ７７が実行することで、端末装置７が起動する。また、内部メモリ７８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。
【０１２０】
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ６６へ出力する。また、コーデックＬＳＩ６６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ６６へ繰り返し出力することも可能である。
【０１２１】
サウンドＩＣ６８は、スピーカ６７およびマイク６９に接続され、スピーカ６７およびマイク６９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ６６から音声データを受け取った場合、サウンドＩＣ６８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ６７へ出力し、スピーカ６７から音を出力させる。また、マイク６９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ６８へ出力する。サウンドＩＣ６８は、マイク６９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ６６へ出力する。
【０１２２】
コーデックＬＳＩ６６は、カメラ５６からの画像データと、マイク６９からの音声データと、ＵＩコントローラ６５からの端末操作データとを無線モジュール７０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ６６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール７０に出力される。無線モジュール７０にはアンテナ７１が接続されており、無線モジュール７０はアンテナ７１を介してゲーム装置３へ上記送信データを送信する。無線モジュール７０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール７０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
【０１２３】
以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。また、赤外線通信モジュール７２は、他の装置との間で例えばＩＲＤＡの規格に従った赤外線通信を行う。コーデックＬＳＩ６６は、赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
【０１２４】
また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ７１および無線モジュール７０を介してコーデックＬＳＩ６６に受信される。コーデックＬＳＩ６６は、受信した画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。また、伸張された音声データはサウンドＩＣ６８へ出力され、サウンドＩＣ６８はスピーカ６７から音を出力させる。
【０１２５】
また、ゲーム装置３から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ６６およびＵＩコントローラ６５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ６１、マーカ部５５、各センサ６２〜６４、および赤外線通信モジュール７２）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
【０１２６】
以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
【０１２７】
また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ６２、加速度センサ６３、およびジャイロセンサ６４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【０１２８】
また、端末装置７は、カメラ５６およびマイク６９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク６９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【０１２９】
また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
【０１３０】
［５．ゲームシステムにおける処理の概要］
次に、本実施形態のゲームシステム１において実行される処理の概要について説明する。ゲームシステム１は、テレビ２と端末装置７という複数の表示装置にそれぞれゲーム画像を表示することによって、プレイヤにより見やすいゲーム画像を提供したり、ゲームの操作性や興趣性を向上したりすることができる。ここで、２つの表示装置のうちの一方であるテレビ２においては、画質向上等の目的で行われる種々の映像処理のために表示遅延が生じるおそれがあり、表示遅延に起因する種々の問題が生じるおそれがある。ゲームシステム１は、表示遅延の時間を測定し、遅延時間に応じた処理を行うことによって、種々の問題を防止するものである。
【０１３１】
（テレビ２における表示遅延）
図１１は、ゲームシステム１において各ゲーム画像が出力されてから表示されるまでの時間を示す図である。なお、図１１では、（実施形態における実際の動作とは異なるが）仮に、テレビ２に表示されるテレビ用ゲーム画像と、端末装置７に表示される端末用ゲーム画像とについてほぼ同時にゲーム画像が出力される場合を想定する。
【０１３２】
図１１において、テレビ用ゲーム画像に関しては、テレビ２に入力されると、所定の映像処理が実行された後、画面に表示される。本実施形態においては、ゲーム装置３によってテレビ用ゲーム画像が出力されてから、テレビ２にテレビ用ゲーム画像が表示されるまでの時間Ｔ１を、「（テレビ２の）画像遅延時間」と呼ぶ。
【０１３３】
一方、端末用ゲーム画像は、ゲーム装置３において出力指示が行われると、圧縮処理が施されてから端末装置７へ無線送信され、端末装置７において、圧縮された端末用ゲーム画像に対して伸張処理が施された後、伸張された端末用ゲーム画像がＬＣＤ５１に表示される。なお、本実施形態においては、端末装置７においては上記のような映像処理は実行されない。そのため、端末用ゲーム画像の出力指示が行われてから、端末装置７に端末用ゲーム画像が表示されるまでの時間Ｔ２は、テレビ２の画像遅延時間Ｔ１よりも短くなる。また、本実施形態においては、高効率の圧縮処理等により、１／６０秒の１フレーム時間を処理単位として見た場合には時間Ｔ２をほとんど無視できる程度の時間とすることができる。
【０１３４】
以上のように、ゲームシステム１においては、テレビ用ゲーム画像が表示されるまでの時間（画像遅延時間）Ｔ１と、端末用ゲーム画像が表示されるまでの時間Ｔ２とが異なる。そのため、図１１に示すように、テレビ用ゲーム画像と端末用ゲーム画像とを同時に出力してしまうと、各ゲーム画像が画面に表示されるタイミングがずれてしまう。各ゲーム画像の表示タイミングがずれると、例えば次のような問題が生じるおそれがある。すなわち、プレイヤがテレビ２と端末装置７との両方の画面を見てゲームを行う場合には、各ゲーム画像の表示タイミングがずれることによって、プレイヤが違和感を抱いたり、どちらのゲーム画像に合わせてゲーム操作を行うべきかわからないためにゲーム操作に支障をきたしたりするおそれがある。また、複数（例えば２人）のプレイヤのうちの一方がテレビ２を見て、他方のプレイヤが端末装置７を見てゲームを行う場合には、各ゲーム画像の表示タイミングがずれることによって、プレイヤ間に有利不利が生じたり、協力してゲームプレイを行う際に支障をきたしたりするおそれがある。なお、例えば、適切なタイミングでゲーム操作を行うことによって音楽を演奏するゲーム等、シビアな操作タイミングが要求されるゲームにおいては、上記の問題が顕著になる。
【０１３５】
以上より、本実施形態においては、ゲームシステム１は、以下に示す方法で上記画像遅延時間を測定する。そして、端末用ゲーム画像の出力タイミングを画像遅延時間に応じて遅らせるようにすることで、テレビ用ゲーム画像と端末用ゲーム画像との表示タイミングを合わせる。以下、画像遅延時間の測定方法と、端末用ゲーム画像の出力タイミングを遅らせる処理とについて説明する。
【０１３６】
（遅延時間の測定）
図１２は、ゲームシステム１において画像遅延時間の測定するための処理の流れを示すタイミングチャートである。画像遅延時間を測定する際、ゲーム装置３はまず、テスト画像をテレビ２へ出力する（ステップＳ１）。テスト画像とは、画像遅延時間の測定用に用いられる所定パターンの画像（または動画）である。詳細は後述するが、テスト画像に関しては、テレビ２に表示されたテスト画像が端末装置７のカメラ５６によって撮像される。テスト画像は、カメラ５６による撮像画像に含まれるテスト画像が後述する認識処理によって認識可能なものであれば、どのような画像であってもよい。
【０１３７】
テスト画像を入力したテレビ２は、テスト画像に対して映像処理を行った後、テスト画像を表示する（ステップＳ２）。上記ステップＳ１の処理からステップＳ２の処理までの時間Ｔ１が上記画像遅延時間である。なお、テレビ２における映像処理は、テレビの機種や、その時点で選択されている映像モード（どのような映像処理を行うか）によって異なる。
【０１３８】
端末装置７は、テレビ２に表示されているテスト画像をカメラ５６によって撮像する（ステップＳ３）。したがって、画像遅延時間を測定する際には、端末装置７は、カメラ５６がテレビ２の画面の方を向いた姿勢とされている必要がある。また、カメラ５６によって撮像された画像（撮像画像）には、テスト画像が含まれることとなる。端末装置７は、撮像画像をゲーム装置３へ無線送信する（ステップＳ４）。なお、本実施形態においては、撮像画像は圧縮されて送信される。
【０１３９】
圧縮された撮像画像は、ゲーム装置３において受信される（ステップＳ５）。このとき、ゲーム装置３は、圧縮された撮像画像に対して伸張処理を行う。さらに、ゲーム装置３は、撮像画像に対して所定の画像認識処理を行う（ステップＳ６）。この画像認識処理は、撮像画像内のテスト画像を識別する処理であり、撮像画像内にテスト画像が含まれるか否か、換言すれば、テレビ２の画面にテスト画像が表示されたか否かを判定するための処理である。なお、実際には、上記ステップＳ３〜Ｓ６の処理は、それぞれ逐次実行される。つまり、端末装置７は、テレビ２の画面を撮像して撮像画像を送信する処理を繰り返し実行し、ゲーム装置３は、撮像画像を受信して画像認識処理を実行する処理を繰り返し実行する。
【０１４０】
上記画像認識処理においてテスト画像を識別することができた場合、ゲーム装置３は、テスト画像をテレビ２へ出力（ステップＳ１）してから、画像認識処理が完了する（ステップＳ６）までの時間Ｔ４を計測する。なお、画像認識処理が完了する時点とは、撮像画像内にテスト画像が含まれると判定される時点である。
【０１４１】
ここで、端末装置７のカメラ５６が撮像を行ってから（ステップＳ３）、画像認識処理が完了するまでの時間Ｔ５は、予め測定しておくことができ、概ね一定である。ゲーム装置３は、測定によって得られる時間Ｔ５を予め記憶しておく。したがって、ゲーム装置３は、上記時間Ｔ４から時間Ｔ５を引いた差分として画像遅延時間Ｔ１を算出することができる。
【０１４２】
以上のように、本実施形態においては、画像認識処理（ステップＳ６）において撮像画像にテスト画像が含まれるとの判定が行われた場合、画像遅延時間Ｔ１は、当該判定が行われたタイミング（ステップＳ６）と、ゲーム装置３がテスト画像を出力したタイミング（ステップＳ１）と、カメラ５６が当該撮像画像を撮像してから当該判定が行われるまでの所要時間（時間Ｔ５）とに基づいて算出される。本実施形態によれば、プレイヤは、端末装置７のカメラ５６をテレビ２の画面の方へ向けるだけでよいので、画像遅延時間を容易に算出することができる。また、上記の測定は任意のタイミングで行うことができるので、プレイヤは、例えばゲームシステム１の初期設置時の他、テレビ２の映像モードが変更された場合に測定を行うこともできる。そのため、映像モードの変更等によって画像遅延時間が変化しても当該時間をその都度正確に測定することができる。
【０１４３】
本実施形態においては、ゲームシステム１は、上記の方法によって画像遅延時間を予め測定しておき、ゲーム処理を実行する際には、測定しておいた画像遅延時間に応じて端末用ゲーム画像の送信タイミングを遅らせる。以下、図１３を参照して、端末用ゲーム画像の送信タイミングを遅らせる処理について説明する。
【０１４４】
（送信タイミングの調整）
図１３は、ゲームシステム１において端末用ゲーム画像が送信される際の処理の流れを示す図である。図１３に示すように、ゲーム装置３は、各ゲーム画像（テレビ用ゲーム画像および端末用ゲーム画像）をほぼ同じタイミングで生成する。テレビ用ゲーム画像については、ゲーム装置３は、生成されたゲーム画像をすぐにテレビ２へ出力する。一方、端末用ゲーム画像については、ゲーム装置３は、生成されたゲーム画像をゲーム装置３内に一時記憶し、端末装置７への画像の送信を待機する。ここで、テレビ用ゲーム画像の送信を待機する時間（待機時間）Ｔ３は、上記画像遅延時間に応じて決められる。具体的には図１３に示すように、待機時間Ｔ３は、画像遅延時間Ｔ１から、端末装置７に端末用ゲーム画像が表示されるまでの時間Ｔ２を減算した時間である。なお、本実施形態においては、時間Ｔ２はほとんど無視できる程度の時間であるとし、待機時間Ｔ３が画像遅延時間Ｔ１と同じ長さに決定されてもよい。
【０１４５】
端末用ゲーム画像が生成されてから待機時間Ｔ３が経過すると、ゲーム装置３は、当該端末用ゲーム画像を端末装置７へ送信する。すなわち、当該端末用ゲーム画像が圧縮されて端末装置７へ送信され、端末装置７は、圧縮された端末用ゲーム画像を伸張してＬＣＤ５１に表示する。これによって、テレビ用ゲーム画像と端末用ゲーム画像の表示タイミングを同期させることができる。
【０１４６】
以上のように、本実施形態においては、ゲーム装置３は、画像遅延時間に基づいて、端末用ゲーム画像が端末装置７へ送信されるタイミングを遅らせる。これによって、ゲーム装置３は、画像遅延時間に応じた適切なタイミングで端末用ゲーム画像を送信することができ、テレビ用ゲーム画像と端末用ゲーム画像の表示タイミングを確実に同期させることができる。
【０１４７】
（ゲーム音に関する処理）
上記ゲーム画像の場合と同様、テレビ２のスピーカ２ａに出力されるゲーム音声（テレビ用ゲーム音声）についても、音声出力に遅延が生じる場合がある。例えば、テレビ２において表示する画像とスピーカ２ａから出力される音声との間で同期がとられる場合には、画像の表示遅延に伴って音声出力にも遅延が生じる。このようにテレビ用ゲーム音声に遅延が生じ、端末装置７において出力されるゲーム音声（端末用ゲーム音声）とテレビ用ゲーム音声との出力タイミングがずれる場合には、各ゲーム画像の表示タイミングがずれる場合と同様、プレイヤが違和感を抱いたり、ゲーム操作に支障をきたしたりするおそれがある。
【０１４８】
したがって、本実施形態においては、ゲーム装置３は、ゲーム音声についてもゲーム画像と同様、遅延時間を測定し、遅延時間に応じた処理を実行する。すなわち、テレビ用ゲーム音声の遅延時間（音声遅延時間）を測定し、端末用ゲーム音声の出力タイミングを音声遅延時間に応じて遅らせるようにすることで、テレビ用ゲーム音声と端末用ゲーム音声との出力タイミングを合わせるようにする。
【０１４９】
詳細は後述するが、音声遅延時間の測定は、画像遅延時間の測定方法に準じた方法で行うことができる。すなわち、音声遅延時間を測定する際、ゲーム装置３はまず、音声遅延時間の測定用に用いられる所定パターンの音声であるテスト音声をテレビ２へ出力する。テスト音声を入力したテレビ２は、テスト音声をスピーカ２ａから出力する。ゲーム装置３がテスト音声を出力してからスピーカ２ａがテスト音声を出力するまでの時間が上記音声遅延時間である。音声遅延時間は、テレビの機種や、その時点で選択されている映像モードや、テレビ２が画像と音声とを同期して出力する機能を有するか否か等によって異なる。
【０１５０】
さらに、端末装置７は、スピーカ２ａから出力されるテスト音声をマイク６９によって検出する。また、マイク６９によって検出された音声（検出音）には、テスト音声が含まれることとなる。端末装置７は、検出音を圧縮してゲーム装置３へ無線送信する。圧縮された検出音は、ゲーム装置３において受信されて伸張される。さらに、ゲーム装置３は、検出音に対して所定の音声認識処理を行う。この音声認識処理は、検出音からテスト音声を識別する処理であり、検出音にテスト音声が含まれるか否か、換言すれば、テレビ２のスピーカ２ａからテスト音声が出力されたか否かを判定するための処理である。なお、端末装置７は、スピーカ２ａからの音を検出して検出音を送信する処理を繰り返し実行し、ゲーム装置３は、検出音を受信して音声認識処理を実行する処理を繰り返し実行する。
【０１５１】
上記音声認識処理においてテスト音声を識別することができた場合、ゲーム装置３は、テスト音声をテレビ２へ出力してから、音声認識処理が完了するまでの時間（計測時間）を計測する。なお、音声認識処理が完了する時点とは、検出音にテスト音声が含まれると判定される時点である。また、端末装置７のマイク６９が音声を検出してから音声認識処理が完了するまでの処理時間は、予め測定されて記憶される。したがって、ゲーム装置３は、上記計測時間から処理時間を引いた差分として音声遅延時間を算出することができる。
【０１５２】
また、音声についても画像と同様、ゲーム装置３は、音声遅延時間に応じた音声待機時間だけ遅らせて端末用ゲーム音声を端末装置７へ出力する。これによって、テレビ用ゲーム音声と端末用ゲーム音声の出力タイミングを同期させることができる。
【０１５３】
［６．ゲームシステムにおける処理の詳細］
次に、本ゲームシステムにおいて実行される処理の詳細を説明する。まず、ゲームシステム１における処理において用いられる各種データについて説明する。図１４は、ゲームシステム１における処理において用いられる各種データを示す図である。図１４において、ゲーム装置３のメインメモリ（外部メインメモリ１２または内部メインメモリ１１ｅ）に記憶される主なデータを示す図である。図１４に示すように、ゲーム装置３のメインメモリには、ゲームプログラム８０、受信データ８１、および処理用データ８６が記憶される。なお、メインメモリには、図１４に示すデータの他、ゲームに登場する各種オブジェクトの画像データやゲームに使用される音声データ等、ゲームに必要なデータが記憶される。
【０１５４】
ゲームプログラム８０は、ゲーム装置３に電源が投入された後の適宜のタイミングで光ディスク４からその一部または全部が読み込まれてメインメモリに記憶される。なお、ゲームプログラム８０は、光ディスク４に代えて、フラッシュメモリ１７やゲーム装置３の外部装置から（例えばインターネットを介して）取得されてもよい。また、ゲームプログラム８０に含まれる一部（例えば、コントローラ５および／または端末装置７の姿勢を算出するためのプログラム）については、ゲーム装置３内に予め記憶されていてもよい。ゲームプログラム８０には、後述する画像遅延測定処理（図１５）、音声遅延測定処理（図１６）、およびゲーム処理（図１７）を実行するためのプログラムが含まれる。
【０１５５】
受信データ８１は、コントローラ５および端末装置７から受信される各種のデータである。受信データ８１は、コントローラ操作データ８２、端末操作データ８３、撮像画像データ８４、および、検出音データ８５を含む。コントローラ５が複数接続される場合には、複数のコントローラ操作データ８２が記憶される。端末装置７が複数接続される場合には、それぞれ複数の端末操作データ８３、撮像画像データ８４、および、検出音データ８５が記憶される。
【０１５６】
コントローラ操作データ８２は、コントローラ５に対するユーザ（プレイヤ）の操作を表すデータである。コントローラ操作データ８２は、コントローラ５から送信されてゲーム装置３において取得され、メインメモリに記憶される。上述のように、コントローラ操作データ８２は、上記加速度センサ３７およびジャイロセンサ４８の検出結果を表すデータ、各操作ボタン３２ａ〜３２ｉに対する入力状態を表すデータ、および、上記マーカ座標を表すデータを含む。メインメモリには、最新の（最後に取得された）ものから順に所定個数のコントローラ操作データが記憶されてもよい。
【０１５７】
なお、コントローラ操作データ８２は、コントローラ５を操作するユーザの操作を表すものであればよく、上記の各データの一部のみを含むものであってもよい。また、コントローラ５が他の入力手段（例えば、タッチパネルやアナログスティック等）を有する場合には、コントローラ操作データ８２は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。
【０１５８】
端末操作データ８３は、端末装置７に対するユーザの操作を表すデータである。端末操作データ８３は、端末装置７から送信されてゲーム装置３において取得され、メインメモリに記憶される。上述のように、端末操作データ８３は、タッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。
【０１５９】
なお、端末操作データ８３は、端末装置７を操作するユーザの操作を表すものであればよく、上記各データのいずれか１つのみを含むものであってもよい。また、端末装置７が他の入力手段（例えば、タッチパッドや、コントローラ５の撮像情報演算部３５等）を有する場合には、端末操作データ８３は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。
【０１６０】
撮像画像データ８４は、端末装置７のカメラ５６によって撮像された画像（カメラ画像）を表すデータである。撮像画像データ８４は、端末装置７からの圧縮された画像データがコーデックＬＳＩ２７によって伸張された画像データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数の撮像画像データが記憶されてもよい。
【０１６１】
検出音データ８５は、端末装置７のマイク６９によって検出された音声（検出音）を表すデータである。検出音データ８５は、端末装置７から送信されてくる圧縮された音声データがコーデックＬＳＩ２７によって伸張された音声データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。
【０１６２】
処理用データ８６は、ゲームシステム１における情報処理（図１５〜図１７）において用いられるデータである。処理用データ８６は、画像処理時間データ８７、音声処理時間データ８８、画像計測時間データ８９、音声計測時間データ９０、画像遅延時間データ９１、音声遅延時間データ９２、画像待機時間データ９３、音声待機時間データ９４、および音声生成指示データ９５を含む。なお、図１４に示すデータの他、処理用データ８６は、ゲームに登場する各種オブジェクトに設定される各種パラメータを表すデータ等、ゲーム処理において用いられる各種データを含む。
【０１６３】
画像処理時間データ８７は、画像遅延時間の測定の際に、画像を撮像してから当該画像内におけるテスト画像を認識するまでに要する処理時間（画像処理時間と呼ぶ）を表すデータである。具体的には、画像処理時間は、端末装置７のカメラ５６が撮像を行ってから画像認識処理が完了するまでの時間Ｔ５である（図１２参照）。画像処理時間は予め測定され、測定された時間を表すデータは予めゲームプログラム８０とともに光ディスク４に記憶される。ゲーム装置３において画像遅延測定処理が実行される場合には、当該データが適宜のタイミングで光ディスク４から読み込まれて画像処理時間データ８７としてメインメモリに記憶される。
【０１６４】
音声処理時間データ８８は、音声遅延時間の測定の際に、スピーカ２ａからの音声を検出してから後述するテスト音声を認識するまでに要する処理時間（音声処理時間）を表すデータである。具体的には、音声処理時間は、端末装置７のマイク６９が上記音声を検出してから音声認識処理が完了するまでの時間である。音声処理時間は予め測定され、測定された時間を表すデータは予めゲームプログラム８０とともに光ディスク４に記憶される。ゲーム装置３において音声遅延測定処理が実行される場合には、当該データが適宜のタイミングで光ディスク４から読み込まれて音声処理時間データ８８としてメインメモリに記憶される。
【０１６５】
画像計測時間データ８９は、画像遅延測定処理に要する時間、すなわち、ゲーム装置３がテスト画像をテレビ２へ出力してから、画像認識処理が完了するまでの時間（画像計測時間）Ｔ４を表すデータである。また、音声計測時間データ９０は、音声遅延測定処理に要する時間、すなわち、ゲーム装置３がテスト音声をテレビ２へ出力してから、音声認識処理が完了するまでの時間（音声計測時間）を表すデータである。
【０１６６】
画像遅延時間データ９１は、ゲーム装置３によってテレビ用ゲーム画像が出力されてから、テレビ２にテレビ用ゲーム画像が表示されるまでの時間、すなわち、上記画像遅延時間を表すデータである。また、音声遅延時間データ９２は、ゲーム装置３によってテレビ用ゲーム音声が出力されてから、テレビ２のスピーカ２ａからテレビ用ゲーム音声が出力されるまでの時間、すなわち、上記音声遅延時間を表すデータである。
【０１６７】
画像待機時間データ９３は、端末用ゲーム画像が生成されてから出力されるまでの待機時間（画像待機時間）を表すデータである。画像待機時間は、上記画像遅延時間に基づいて設定される。また、音声待機時間データ９４は、生成されるべき端末用ゲーム音声が確定してから実際に生成されて出力されるまでの待機時間（音声待機時間）を表すデータである。
【０１６８】
音声生成指示データ９５は、ＣＰＵ１０がＤＳＰ１１ｃに対して音声を生成するための指示（音声生成指示）を表すデータである。本実施形態においては、端末用ゲーム音声の出力タイミングを遅らせるために、音声生成指示がメインメモリに一時記憶される。一時記憶されていた音声生成指示は、端末用ゲーム音声を端末装置７へ実際に出力するタイミングでＤＳＰ１１ｃに送られ、当該音声生成指示を受けたＤＳＰ１１ｃによって端末用ゲーム音声が生成されて端末装置７へ送信される。
【０１６９】
次に、図１５〜図１７を参照して、ゲーム装置３において行われる処理の詳細を説明する。図１５は、ゲーム装置３において実行される画像遅延測定処理の流れを示すフローチャートである。画像遅延測定処理は、画像遅延時間を測定し、画像遅延時間に応じた画像待機時間を設定する処理である。画像遅延測定処理は、どのようなタイミングで実行されてもよいが、例えば、ゲームシステム１の初期設置時や、ゲームプログラム８０の実行開始時に実行される。
【０１７０】
なお、図１５〜図１７に示すフローチャートの各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値を採用してもよい。また、本実施形態では、上記フローチャートの各ステップの処理をＣＰＵ１０が実行するものとして説明するが、ＣＰＵ１０以外のプロセッサや専用回路が上記各ステップの一部のステップの処理を実行するようにしてもよい。
【０１７１】
図１５においては、まずステップＳ１１において、ＣＰＵ１０は、端末装置７のカメラ５６をテレビ２の方へ向ける旨を表す画像を表示させる。この画像は、テレビ２に表示されてもよいし、端末装置７に表示されてもよいし、両方に表示されてもよい。具体的には、例えば「端末装置のカメラをテレビの方へ向けて下さい」等のメッセージを表す画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成され、ＶＲＡＭ１１ｄに記憶される。そして、上記画像をテレビ２へ出力する場合には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶された上記画像のデータをＡＶ−ＩＣ１５へ送り、ＡＶ−ＩＣ１５は当該画像のデータをＡＶコネクタ１６を介してテレビ２へ出力する。これによって、上記画像がテレビ２に表示される。また、上記画像を端末装置７へ出力する場合には、ＶＲＡＭ１１ｄに記憶された上記画像データは、ＣＰＵ１０によってコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。さらに、圧縮処理が施された上記画像のデータは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像のデータを無線モジュール７０によって受信し、コーデックＬＳＩ６６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力され、上記画像がＬＣＤ５１に表示される。上記ステップＳ１１の次にステップＳ１２の処理が実行される。
【０１７２】
ステップＳ１２において、ＣＰＵ１０は、テレビ２にテスト画像の出力を開始する。すなわち、所定のテスト画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成されてテレビ２へ出力される。ステップＳ１２において画像をテレビ２へ出力する動作は上記ステップＳ１１と同様である。また、ＣＰＵ１０は、ステップＳ１２の処理時点から時間の計測を開始する。なお、ステップＳ１２の処理以降、画像遅延測定処理が終了するまで、テスト画像は１フレーム時間（ここでは１／６０秒）に１回の割合で繰り返し出力される。また、テスト画像は、静止画であってもよいし、動画であってもよいし、後述するように静止画が一定時間毎に繰り返し表示される画像であってもよい。ステップＳ１２の次にステップＳ１３の処理が実行される。
【０１７３】
ステップＳ１３において、ＣＰＵ１０は、端末装置７からの撮像画像を取得する。ここで、端末装置７は、端末操作データと撮像画像データと検出音データとをゲーム装置３へ繰り返し送信する。ゲーム装置３はこれらのデータを逐次受信する。ゲーム装置３においては、端末通信モジュール２８がこれらのデータを逐次受信し、撮像画像データおよび検出音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ１１ａが端末操作データと撮像画像データと検出音データとをメインメモリに逐次記憶する。ステップＳ１３においては、ＣＰＵ１０は、最新の端末操作データに含まれる撮像画像データ８４をメインメモリから読み出す。ステップＳ１３の次にステップＳ１４の処理が実行される。
【０１７４】
ステップＳ１４において、ＣＰＵ１０は、ステップＳ１３で取得された撮像画像に対して画像認識処理を実行する。具体的には、ＣＰＵ１０は、撮像画像内から上記テスト画像を識別する処理を実行する。なお、テスト画像を識別するための具体的な方法はどのような方法であってもよく、例えばパターンマッチングの手法によって撮像画像内からテスト画像を識別することができる。ステップＳ１４の次にステップＳ１５の処理が実行される。
【０１７５】
ステップＳ１５において、ＣＰＵ１０は、ステップＳ１４の画像認識処理が成功したか否か、すなわち、画像認識処理によってテスト画像を識別することができたか否かを判定する。ステップＳ１５の判定処理は、ステップＳ１３で取得された撮像画像内にテスト画像が含まれるか否かを判定するための処理であり、換言すれば、テレビ２の画面にテスト画像が表示されたか否かを判定するための処理である。ステップＳ１５の判定結果が肯定である場合、ステップＳ１６の処理が実行される。一方、ステップＳ１５の判定結果が否定である場合、ステップＳ１３の処理が再度実行される。したがって、ステップＳ１３〜Ｓ１５の一連の処理は、画像認識処理が成功するまで繰り返し実行される。なお、ステップＳ１３〜Ｓ１５の一連の処理ループは、１フレーム時間に１回の割合で実行されることが好ましいが、当該処理ループが実行される間隔は、画像認識処理に要する時間によっては１フレーム時間よりも長くてもよい。
【０１７６】
ステップＳ１６において、ＣＰＵ１０は、ゲーム装置３がテスト画像をテレビ２へ出力してから画像認識処理が完了するまでの画像計測時間を算出する。具体的には、ＣＰＵ１０は、ステップＳ１２の処理時点からステップＳ１６の処理時点までの経過時間を計測し、計測した時間を表すデータを画像計測時間データ８９としてメインメモリに記憶する。ステップＳ１６の次にステップＳ１７の処理が実行される。
【０１７７】
ステップＳ１７において、ＣＰＵ１０は画像遅延時間を算出する。具体的には、ＣＰＵ１０は、画像処理時間データ８７および画像計測時間データ８９をメインメモリから読み出し、画像計測時間から画像処理時間を引いた差分として画像遅延時間を算出する。そして、算出された画像遅延時間を表すデータを画像遅延時間データ９１としてメインメモリに記憶する。ステップＳ１７の次にステップＳ１８の処理が実行される。
【０１７８】
ステップＳ１８において、ＣＰＵ１０は、画像遅延時間に基づいて画像待機時間を設定する。ここで、画像待機時間は、画像遅延時間から、端末用ゲーム画像がゲーム装置３から出力されてからテレビ２に表示されるまでの時間を減算した時間として算出される（図１３参照）。本実施形態においては、端末装置７に端末用ゲーム画像が表示されるまでの時間を無視できる程度の時間であるとし、画像待機時間を画像遅延時間と等しい時間として設定する。ＣＰＵ１０は、設定された画像待機時間を表すデータを画像待機時間データ９３としてメインメモリに記憶する。なお、設定された画像待機時間が継続的に用いられる場合には、画像待機時間データ９３はフラッシュメモリ１７に記憶されてもよい。ステップＳ１８の次にステップＳ１９の処理が実行される。
【０１７９】
ステップＳ１９において、ＣＰＵ１０は、画像遅延時間の測定（画像待機時間の設定）が終了した旨をプレイヤに対して通知する。具体的には、例えば「設定が終了しました。ゲームを開始してください」等のメッセージを表す画像を表示する。この画像は、テレビ２に表示されてもよいし、端末装置７に表示されてもよいし、両方に表示されてもよい。なお、ステップＳ１９において画像をテレビ２または端末装置７へ出力する動作は上記ステップＳ１１と同様である。ステップＳ１９の後、ＣＰＵ１０は画像遅延測定処理を終了する。
【０１８０】
上記画像遅延測定処理によって、ゲーム装置３は画像遅延時間を測定し、画像遅延時間に応じた画像待機時間を設定することができる。なお、本実施形態においては、画像遅延時間を測定するためには、プレイヤに端末装置７のカメラ５６をテレビ２の方へ向けさせる必要がある。ここで、もし仮にテスト画像が表示された後でカメラ５６がテレビ２の方へ向けられたとすれば、上記計測時間として正確な時間を計測することができず、正確な画像遅延時間を測定することができなくなる。
【０１８１】
そこで、本実施形態においては、ＣＰＵ１０は、カメラ５６をテレビ２の画面の方へ向ける旨の通知を表す画像を生成し、当該画像が表示された（ステップＳ１１）の後で、テスト画像をテレビ２に表示させる（ステップＳ１２）。これによれば、テスト画像が表示されるよりも先にカメラ５６をテレビ２の方へ向けさせることができ、画像遅延時間を正確に算出することができる。なお、上記ステップＳ１２の処理は、ステップＳ１１において通知が行われてから所定時間が経過した後で実行されてもよい。
【０１８２】
また、他の実施形態においては、ＣＰＵ１０は、カメラ５６がテレビ２の画面の方を向いているか否かを判定する処理を実行するようにしてもよい。このとき、ＣＰＵ１０は、カメラ５６がテレビ２の画面の方を向いていると判定された場合に、テレビ２にテスト画像を表示する。これによれば、テスト画像が表示される前により確実にカメラ５６をテレビ２の方へ向けさせることができる。なお、上記の判定方法としては、例えば、カメラ５６を向けた後でプレイヤに所定の操作（例えば、端末装置７の所定のボタンを押下する操作）を行わせ、当該所定の操作が行われたか否かを判定する方法が考えられる。また、例えば、所定の画像をテレビ２に表示させ、当該所定の画像がカメラ５６で撮像されたか否かを判定する方法が考えられる。なお、この所定の画像は、テスト画像と同じであってもよい。すなわち、ＣＰＵ１０は、テスト画像を一定時間毎に繰り返し（断続的に）表示させ、最初にテスト画像がカメラ５６によって撮像された場合には画像遅延時間を測定せず、その後に再度表示されたテスト画像がカメラ５６によって撮像された場合に画像遅延時間を算出するようにしてもよい。また、例えば、ＣＰＵ１０は、一連の動画（ゲームのタイトル画面等）を構成する複数の画像のうちの所定の画像がカメラ５６によって撮像された場合、その後に表示される画像をテスト画像として用いて画像遅延時間を算出するようにしてもよい。
【０１８３】
また、ＣＰＵ１０は、画像遅延時間を算出する処理を所定回数実行するようにしてもよい。具体的には、ＣＰＵ１０は、ステップＳ１２〜Ｓ１７の一連の処理を所定回数実行し、画像遅延時間を複数個算出するようにしてもよい。そして、複数個の画像遅延時間の平均値を最終的な画像遅延時間として算出するようにしてもよい。これによれば、画像遅延時間をより正確に算出することができる。
【０１８４】
次に、音声遅延測定処理について説明する。図１６は、ゲーム装置３において実行される音声遅延測定処理の流れを示すフローチャートである。音声遅延測定処理は、音声遅延時間を測定し、音声遅延時間に応じた音声待機時間を設定する処理である。音声遅延測定処理は、画像遅延測定処理と同様、どのようなタイミングで実行されてもよく、例えば、画像遅延測定処理の後に続けて実行されてもよい。また、音声遅延測定処理は、画像遅延測定処理とは異なり、端末装置７のカメラ５６をテレビ２の方へ向ける必要がないので、ＣＰＵ１０は、例えばゲームのプレイ中（ゲーム操作中）において音声遅延測定処理を実行することも可能である。また、ＣＰＵ１０は、音声遅延測定処理を画像遅延測定処理と同時に（並行して）実行することも可能である。
【０１８５】
図１６においては、まずステップＳ２１において、ＣＰＵ１０は、テレビ２のスピーカ２ａにテスト音声の出力を開始する。すなわち、ＣＰＵ１０の指示に応じて所定のテスト音声のデータがＤＳＰ１１ｃによって生成されてＡＶ−ＩＣ１５へ送られる。これに応じて、ＡＶ−ＩＣ１５はテスト音声のデータをＡＶコネクタ１６を介してテレビ２へ出力する。これによって、テスト音声がスピーカ２ａから出力される。また、ＣＰＵ１０は、ステップＳ２１の処理時点から時間の計測を開始する。ステップＳ２１の次にステップＳ２２の処理が実行される。
【０１８６】
ステップＳ２２において、ＣＰＵ１０は、端末装置７からの検出音を取得する。ここで、端末装置７は、端末操作データと撮像画像データと検出音データとをゲーム装置３へ繰り返し送信する。ゲーム装置３はこれらのデータを逐次受信する。ゲーム装置３においては、端末通信モジュール２８がこれらのデータを逐次受信し、撮像画像データおよび検出音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ１１ａが端末操作データと撮像画像データと検出音データとをメインメモリに逐次記憶する。ステップＳ２２においては、ＣＰＵ１０は、最新の端末操作データに含まれる検出音データ８５をメインメモリから読み出す。ステップＳ２２の次にステップＳ２３の処理が実行される。
【０１８７】
ステップＳ２３において、ＣＰＵ１０は、ステップＳ２２で取得された検出音に対して音声認識処理を実行する。具体的には、ＣＰＵ１０は、検出音に含まれる上記テスト音声を識別する処理を実行する。なお、テスト音声を識別するための具体的な方法はどのような方法であってもよく、例えば検出音とテスト音声との波形や周波数スペクトルを比較することによって検出音に含まれるテスト音声を識別することができる。ステップＳ２３の次にステップＳ２４の処理が実行される。
【０１８８】
ステップＳ２４において、ＣＰＵ１０は、ステップＳ２３の音声認識処理が成功したか否か、すなわち、音声認識処理によってテスト音声を識別することができたか否かを判定する。ステップＳ２４の判定処理は、ステップＳ２３で取得された検出音にテスト音声が含まれるか否かを判定するための処理であり、換言すれば、テレビ２のスピーカ２ａからテスト音声が出力されたか否かを判定するための処理である。ステップＳ２４の判定結果が肯定である場合、ステップＳ２５の処理が実行される。一方、ステップＳ２４の判定結果が否定である場合、ステップＳ２２の処理が再度実行される。したがって、ステップＳ２２〜Ｓ２４の一連の処理は、音声認識処理が成功するまで繰り返し実行される。なお、ステップＳ２２〜Ｓ２４の一連の処理ループは、１フレーム時間に１回の割合で実行されることが好ましいが、当該処理ループが実行される間隔は、音声認識処理に要する時間によっては１フレーム時間よりも長くてもよい。
【０１８９】
ステップＳ２５において、ＣＰＵ１０は、ゲーム装置３がテスト音声をテレビ２へ出力してから音声認識処理が完了するまでの音声計測時間を算出する。具体的には、ＣＰＵ１０は、ステップＳ２１の処理時点からステップＳ２５の処理時点までの経過時間を計測し、計測した時間を表すデータを音声計測時間データ９０としてメインメモリに記憶する。ステップＳ２５の次にステップＳ２６の処理が実行される。
【０１９０】
ステップＳ２６において、ＣＰＵ１０は音声遅延時間を算出する。具体的には、ＣＰＵ１０は、音声処理時間データ８８および音声計測時間データ９０をメインメモリから読み出し、音声計測時間から音声処理時間を引いた差分として音声遅延時間を算出する。そして、算出された音声遅延時間を表すデータを音声遅延時間データ９２としてメインメモリに記憶する。ステップＳ２６の次にステップＳ２７の処理が実行される。
【０１９１】
ステップＳ２７において、ＣＰＵ１０は、音声遅延時間に基づいて音声待機時間を設定する。ここで、音声待機時間は、音声遅延時間から、ゲーム装置３において端末用ゲーム音声が生成されてから端末装置７において出力されるまでの時間を減算した時間として算出される。本実施形態においては、端末装置７において端末用ゲーム音声が出力されるまでの時間を無視できる程度の時間であるとし、音声待機時間を音声遅延時間と等しい時間として設定する。ＣＰＵ１０は、設定された音声待機時間を表すデータを音声待機時間データ９４としてメインメモリに記憶する。なお、設定された音声待機時間が継続的に用いられる場合には、音声待機時間データ９４はフラッシュメモリ１７に記憶されてもよい。ステップＳ２７の後、ＣＰＵ１０は音声遅延測定処理を終了する。
【０１９２】
上記音声遅延測定処理によって、ゲーム装置３は音声遅延時間を測定し、音声遅延時間に応じた音声待機時間を設定することができる。なお、音声遅延測定処理は、プレイヤに特別な操作を行わせる必要がないので、プレイヤに対する通知処理（ステップＳ１１およびＳ１９）を実行しなくてもよい。ただし、他の実施形態においては、テスト音の検出をより確実に行うべく、プレイヤに音を立てさせない目的で、ＣＰＵ１０は通知処理を行うようにしてもよい。
【０１９３】
また、ＣＰＵ１０は、音声遅延時間を算出する処理を所定回数実行するようにしてもよい。具体的には、ＣＰＵ１０は、ステップＳ２１〜Ｓ２６の一連の処理を所定回数実行し、音声遅延時間を複数個算出するようにしてもよい。そして、複数個の音声遅延時間の平均値を最終的な音声遅延時間として算出するようにしてもよい。これによれば、音声遅延時間をより正確に算出することができる。
【０１９４】
次に、ゲーム装置３において実行されるゲーム処理について説明する。図１７は、ゲーム装置３において実行されるゲーム処理の流れを示すフローチャートである。ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。そして、光ディスク４に記憶されたゲームプログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該ゲームプログラムの実行が開始される。なお、ゲーム装置３においては、電源投入後に光ディスク４に記憶されたゲームプログラムがすぐに実行される構成であってもよいし、電源投入後にまず所定のメニュー画面を表示する内蔵プログラムが実行され、その後ユーザによってゲームの開始が指示されたときに光ディスク４に記憶されたゲームプログラムが実行される構成であってもよい。図１７に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。
【０１９５】
まずステップＳ３１において、ＣＰＵ１０は初期処理を実行する。初期処理は、例えば、ゲーム処理で用いる各種パラメータの初期値を設定する処理である。また、各待機時間データ９３および９４がフラッシュメモリ１７に記憶されている場合には、当該待機時間データ９３および９４がメインメモリに読み込まれてもよい。ステップＳ３１の次にステップＳ３２の処理が実行される。
【０１９６】
以上のステップＳ３１の次にステップＳ３２の処理が実行される。以降、ステップＳ３２〜Ｓ４０の一連の処理からなる処理ループが所定時間（１フレーム時間）に１回の割合で繰り返し実行される。
【０１９７】
ステップＳ３２において、ＣＰＵ１０は、コントローラ５および端末装置７から送信されてくる各操作データを取得する。コントローラ５はコントローラ操作データをゲーム装置３へ繰り返し送信するので、ゲーム装置３においては、コントローラ通信モジュール１９が当該コントローラ操作データを逐次受信し、受信されたコントローラ操作データが入出力プロセッサ１１ａによってメインメモリに逐次記憶される。送受信の間隔はゲームの処理時間よりも短い方が好ましく、例えば２００分の１秒である。また、上記ステップＳ１３で述べたように、端末操作データとカメラ画像データとマイク音データとがメインメモリに逐次記憶される。ステップＳ３２においては、ＣＰＵ１０は、最新のコントローラ操作データ８２および端末操作データ８３をメインメモリから読み出す。ステップＳ３２の次にステップＳ３３の処理が実行される。
【０１９８】
ステップＳ３３において、ＣＰＵ１０はゲーム制御処理を実行する。ゲーム制御処理は、上記各操作データを入力として用いて、ゲーム空間内のオブジェクトを動作させる処理等を実行し、ゲームを進行させる処理である。本実施形態においては、ゲーム制御処理の具体的な内容はどのようなものであってもよい。ステップＳ３３の次にステップＳ３４の処理が実行される。
【０１９９】
ステップＳ３４において、テレビ２に表示するためのテレビ用ゲーム画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成される。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ３３のゲーム制御処理の結果を表すデータをメインメモリから読み出し、また、ゲーム画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、ゲーム画像を生成する。ゲーム画像は、ステップＳ３３のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。例えば、ゲーム画像の生成方法は、仮想のゲーム空間内に仮想カメラを配置して、仮想カメラから見たゲーム空間を計算することによって３次元のＣＧ画像を生成する方法であってもよいし、（仮想カメラを用いずに）２次元の画像を生成する方法であってもよい。生成されたテレビ用ゲーム画像はＶＲＡＭ１１ｄに記憶される。上記ステップＳ３４の次にステップＳ３５の処理が実行される。
【０２００】
ステップＳ３５において、端末装置７に表示するための端末用ゲーム画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成される。端末用ゲーム画像も上記テレビ用ゲーム画像と同様、ステップＳ３３のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。また、端末用ゲーム画像は、上記テレビ用ゲーム画像と同様の方法で生成されてもよいし、異なる方法で生成されてもよい。生成された端末用ゲーム画像はＶＲＡＭ１１ｄに記憶される。なお、ゲームの内容によってはテレビ用ゲーム画像と端末用ゲーム画像とは同一であってもよく、この場合、ステップＳ３５においてゲーム画像の生成処理は実行されなくてもよい。上記ステップＳ３５の次にステップＳ３６の処理が実行される。
【０２０１】
ステップＳ３６においては、テレビ２のスピーカ２ａに出力するためのテレビ用ゲーム音声が生成される。すなわち、ＣＰＵ１０は、ステップＳ３３のゲーム制御処理の結果に応じたゲーム音声をＤＳＰ１１ｃに生成させる。なお、生成されるゲーム音声は、例えばゲームの効果音や、ゲームに登場するキャラクタの声や、ＢＧＭ等であってもよい。上記ステップＳ３６の次にステップＳ３７の処理が実行される。
【０２０２】
ステップＳ３７においては、端末装置７のスピーカ６７に出力するための端末用ゲーム音声を生成するための音声生成指示が作成される。作成された音声生成指示は、音声生成指示データ９５としてメインメモリに記憶される。なお、端末用ゲーム音声は、上記テレビ用ゲーム音声と同じであってもよいし、異なっていてもよい。また、例えば効果音は異なるが、ＢＧＭは同じである、というように、一部のみが異なっていてもよい。上記ステップＳ３７の次にステップＳ３８の処理が実行される。
【０２０３】
ステップＳ３８において、ＣＰＵ１０は、テレビ２へゲーム画像およびゲーム音声を出力する。具体的には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶された最新のテレビ用ゲーム画像のデータと、ステップＳ３６でＤＳＰ１１ｃによって生成されたテレビ用ゲーム音声のデータとをＡＶ−ＩＣ１５へ送る。これに応じて、ＡＶ−ＩＣ１５は画像および音声のデータをＡＶコネクタ１６を介してテレビ２へ出力する。これによって、テレビ２において行われる所定の映像処理の後、テレビ用ゲーム画像がテレビ２に表示されるとともに、テレビ用ゲーム音声がスピーカ２ａから出力される。ステップＳ３８の次にステップＳ３９の処理が実行される。
【０２０４】
ステップＳ３９において、ＣＰＵ１０は、各待機時間に応じたゲーム画像およびゲーム音声を端末装置７へ送信する。具体的には、ＣＰＵ１０は、ステップＳ３５で生成されてＶＲＡＭ１１ｄに記憶されてから画像待機時間が経過した端末用ゲーム画像を端末装置７へ送信する。また、ＣＰＵ１０は、ステップＳ３７で記憶されてから音声待機時間が経過した音声生成指示をＤＳＰ１１ｃに送り、ＤＳＰ１１ｃに端末用ゲーム音声を生成させる。なお、画像待機時間および音声待機時間は、メインメモリに記憶されている画像待機時間データ９３および音声待機時間データ９４を参照することによって知ることができる。上記端末用ゲーム画像のデータおよび端末用ゲーム音声のデータは、コーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。さらに、圧縮処理が施された画像および音声のデータは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像および音声のデータを無線モジュール７０によって受信し、コーデックＬＳＩ６６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力され、伸張処理が行われた音声データはサウンドＩＣ６８に出力される。これによって、画像待機時間だけ遅れて端末用ゲーム画像がＬＣＤ５１に表示されるとともに、音声待機時間だけ遅れて端末用ゲーム音声がスピーカ６７から出力される。したがって、テレビ用ゲーム画像と端末用ゲーム画像との表示タイミングを同期させることができるとともに、テレビ用ゲーム音声と端末用ゲーム音声との出力タイミングを同期させることができる。ステップＳ３９の次にステップＳ４０の処理が実行される。
【０２０５】
ステップＳ４０において、ＣＰＵ１０は、ゲームを終了するか否かを判定する。ステップＳ４０の判定は、例えば、ゲームオーバーになったか否か、あるいは、ユーザがゲームを中止する指示を行ったか否か等によって行われる。ステップＳ４０の判定結果が否定の場合、ステップＳ３２の処理が再度実行される。一方、ステップＳ４０の判定結果が肯定の場合、ＣＰＵ１０は図１７に示すゲーム処理を終了する。以降、ステップＳ３２〜Ｓ４０の一連の処理は、ステップＳ４０でゲームを終了すると判定されるまで繰り返し実行される。
【０２０６】
以上のように、上記ゲーム処理によれば、端末用ゲーム画像が端末装置７へ送信されるタイミングは、上記画像遅延測定処理で設定された画像待機時間だけ遅らされる。また、端末用ゲーム音声が端末装置７へ送信されるタイミングは、上記音声遅延測定処理で設定された音声待機時間だけ遅らされる。これによって、テレビ２と端末装置７との間でゲーム画像の表示およびゲーム音声の出力の同期をとることができる。
【０２０７】
なお、上記実施形態においては、端末用ゲーム画像の送信タイミングを遅らせるために、生成されたゲーム画像が一時記憶された（ステップＳ３５）。ここで、他の実施形態においては、ＣＰＵ１０は、ゲーム画像自体ではなく、ゲーム画像を生成するために必要なデータを一時記憶してもよい。このとき、ＣＰＵ１０は、画像待機時間が経過した時点で端末用ゲーム画像を生成して送信する。また、他の実施形態においては、圧縮されたゲーム画像が一時記憶されてもよい。
【０２０８】
また、上記実施形態においては、端末用ゲーム音声の送信タイミングを遅らせるために、音声生成指示データが一時記憶された（ステップＳ３６）。ここで、他の実施形態においては、ＣＰＵ１０は、ステップＳ３６において音声データを生成し、音声データを一時記憶してもよい。さらに、他の実施形態においては、圧縮されたゲーム音声が一時記憶されてもよい。
【０２０９】
［７．変形例］
上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。
【０２１０】
（画像および音声に対する同期に関する変形例）
上記実施形態においては、ゲーム画像およびゲーム音声の両方について、テレビ２と端末装置７との間で同期をとるようにした。ここで、ゲームの内容によっては、ゲーム画像のみ同期をとれば十分である場合や、ゲーム音声のみ同期を取れば十分である場合がある。したがって、他の実施形態においては、ゲーム装置３は、ゲーム画像とゲーム音声のいずれか一方のみについて同期をとるようにしてもよい。
【０２１１】
（一方の遅延から他方の遅延を推測する変形例）
また、テレビ２の機種によっては、画面に表示される画像とスピーカ２ａから出力される音声との間で同期をとることが可能な種類のものもある。このような種類のテレビが用いられる場合、ゲーム装置３は、画像遅延時間および音声遅延時間の一方のみを測定し、他方の遅延時間を、測定した遅延時間と同じ値として推測してもよい。すなわち、ゲーム装置３は、音声遅延時間を測定せず、画像遅延時間に基づいて音声待機時間（または音声遅延時間）を設定することで、端末用ゲーム音声が端末装置７へ出力されるタイミングを遅らせるようにしてもよい。また、ゲーム装置３は、画像遅延時間を測定せず、音声遅延時間に基づいて画像待機時間（または画像遅延時間）を設定することで、端末用ゲーム画像が端末装置７へ出力されるタイミングを遅らせるようにしてもよい。
【０２１２】
（テレビ画像とテレビ音声とを同期させる変形例）
また、上記実施形態においては、テレビ２と端末装置７との間の同期をとる目的で、テレビ２の画像遅延時間および音声遅延時間を測定した。ここで、他の実施形態においては、上記実施形態における遅延測定方法は、テレビ２と端末装置７との間の同期をとる用途に限らず、他の用途に用いることも可能である。例えば、テレビ２の機種によっては、画面に表示される画像とスピーカ２ａから出力される音声との間で同期がとられておらず、対応する画像と音声が別のタイミングで出力されるテレビもある。このようなテレビが用いられる場合には、ゲーム装置３は、上記画像遅延時間および音声遅延時間を用いて、テレビ用ゲーム画像とテレビ用ゲーム音声との間の同期をとるようにしてもよい。
【０２１３】
図１８は、本実施形態の変形例においてテレビ用ゲーム画像およびテレビ用ゲーム音声が出力される際の処理の流れを示す図である。図１８においては、テレビ用ゲーム音声の出力タイミングに対してテレビ用ゲーム画像の表示タイミングが遅れる場合を例として、テレビ用ゲーム音声とテレビ用ゲーム画像との同期を取るための処理を説明する。
【０２１４】
図１８においては、画像遅延時間Ｔ１１は音声遅延時間Ｔ１２よりも長い。そのため、仮にゲーム装置３からゲーム音声とゲーム画像とを同時に出力するとすれば、テレビ２においてゲーム音声とゲーム画像との出力（表示）タイミングはずれてしまう。ゲーム画像とゲーム音声とがずれることによって、プレイヤが違和感を抱くおそれがある。そこで、本変形例では、図１８に示すように、ゲーム装置３は、画像遅延時間Ｔ１１から音声遅延時間Ｔ１２を引いた差の時間（差分時間と呼ぶ）を算出し、テレビ用ゲーム音声の出力タイミングを差分時間だけ遅らせる。これによって、テレビ用ゲーム画像の表示タイミングとテレビ用ゲーム音声の出力タイミングを合わせることができ、プレイヤが違和感を抱くことを防止することができる。
【０２１５】
図１９は、図１８に示す変形例におけるゲーム処理の流れを示すフローチャートである。なお、図１９において、図１７に示す処理と同じ処理については図１７と同じステップ番号を付し、詳細な説明を省略する。
【０２１６】
図１９においては、上記実施形態と同様にステップＳ３１〜Ｓ３５の処理が実行される。そして、ステップＳ３７の次にステップＳ５０の処理が実行される。ステップＳ５０において、ＣＰＵ１０は、テレビ２のスピーカ２ａに出力するためのテレビ用ゲーム音声を生成するための音声生成指示が作成される。作成された音声生成指示のデータはメインメモリに記憶される。上記ステップＳ５０の次にステップＳ３７の処理が実行される。
【０２１７】
また、本変形例においては、ステップＳ３７の処理の次にステップＳ５１の処理が実行される。ステップＳ５１において、ＣＰＵ１０は、画像待機時間および音声待機時間に応じたゲーム画像およびゲーム音声をテレビ２へ送信する。具体的には、ゲーム画像に関しては、ＣＰＵ１０は、ステップＳ３４で生成された最新のテレビ用ゲーム画像をテレビ２へ出力する。一方、ゲーム音声に関しては、ＣＰＵ１０は、ステップＳ５０で記憶されてから上記差分時間が経過した音声生成指示をＤＳＰ１１ｃに送り、ＤＳＰ１１ｃにテレビ用ゲーム音声を生成させる。これによって、テレビ２においては、画面に表示されるゲーム画像とスピーカ２ａから出力されるゲーム音声との同期がとられることになる。なお、テレビ用ゲーム画像およびテレビ用ゲーム音声をゲーム装置３からテレビ２へ出力する際の処理は、上記実施形態と同様である。ステップＳ５１の次にステップＳ３９の処理が実行される。
【０２１８】
なお、本変形例におけるステップＳ３９においては、ＣＰＵ１０は、上記実施形態と同様の処理を実行してもよいが、テレビ用ゲーム音声が遅れて出力されることに対応するべく、テレビ用ゲーム音声との同期をとるように端末用ゲーム音声の出力タイミングを調整してもよい。具体的には、ＣＰＵ１０は、ステップＳ３７で記憶されてから画像待機時間（音声待機時間と差分時間との和）が経過した音声生成指示をＤＳＰ１１ｃに送り、ＤＳＰ１１ｃに端末用ゲーム音声を生成させるようにしてもよい。これによれば、本変形例においてもテレビ用ゲーム音声と端末用ゲーム音声との同期をとることができる。
【０２１９】
なお、上記の変形例においては、テレビ用ゲーム音声の出力タイミングに対してテレビ用ゲーム画像の表示タイミングが遅れる場合を例として説明したが、テレビ用ゲーム画像の表示タイミングに対してテレビ用ゲーム音声の出力タイミングが遅れる場合も、上記の変形例に準じた処理で同期をとることができる。すなわち、テレビ用ゲーム画像の表示タイミングに対してテレビ用ゲーム音声の出力タイミングが遅れる場合、上記ステップＳ５１において、ＣＰＵ１０は、ステップＳ３５で生成されてＶＲＡＭ１１ｄに記憶されてから差分時間が経過したテレビ用ゲーム画像をテレビ２へ出力すればよい。このとき、ゲーム音声については、ＣＰＵ１０は、上記実施形態と同様、ステップＳ３５の次のステップＳ３６においてテレビ用ゲーム音声を生成し、ステップＳ５１においてテレビ用ゲーム音声をテレビ２へ出力すればよい。以上のように、ＣＰＵ１０は、テレビ２に表示されるゲーム画像と、テレビ２のスピーカ２ａに出力させるためのゲーム音声とが同期するように、当該ゲーム音声をゲーム装置３が出力するタイミングと、当該ゲーム画像をゲーム装置３が出力するタイミングとの少なくともいずれかを画像遅延時間および音声遅延時間に基づいて遅らせるようにしてもよい。
【０２２０】
また、上記の変形例においては、ゲーム装置３は、テレビ２におけるゲーム画像とゲーム音声との同期をとるだけでなく、テレビ２と端末装置７との間で同期をとるようにした。ここで、他の実施形態においては、テレビ２におけるゲーム画像とゲーム音声との同期をとり、テレビ２と端末装置７との間では同期をとらないようにしてもよい。つまり、本実施形態における遅延測定方法は、テレビ２におけるゲーム画像とゲーム音声との同期をとるのみの目的で用いられてもよい。
【０２２１】
（遅延測定方法の用途に関する変形例）
ゲームにおいては、ゲーム画像の表示やゲーム音声の出力に応じてシビアなタイミングでゲーム操作を行うことが要求されることがある。そのため、上記実施形態における遅延測定方法は、特にゲーム装置やゲームシステム、ゲームプログラム等、ゲーム用途に適用することが特に有効である。ただし、上記実施形態における遅延測定方法は、ゲーム用途に限らず、任意の画像および／または音声をテレビ２と端末装置７に表示（出力）させる場合に適用可能である。また、上記実施形態においては、入力された画像に対して画質向上等のための映像処理が行われる表示装置の例としてテレビ２を挙げて説明したが、上記実施形態における遅延測定方法は、当該映像処理を行う任意の表示装置に対して適用することができる。
【０２２２】
（遅延測定システムの構成に関する変形例）
上記実施形態においては、表示装置における表示遅延を測定するための遅延測定システムの例として、２つの表示装置（テレビ２および端末装置７）と、１つのゲーム装置３と、１つのコントローラ５とを含むゲームシステム１を挙げて説明した。ここで、ゲームシステム１は、ゲーム装置３および可搬型表示装置（端末装置７）を含んでいればよい。すなわち、テレビ２は汎用のものでよいので、ゲーム装置３および端末装置７とともにゲームシステム１として提供されなくてもよい。また、ゲームシステム１は、操作装置として複数のコントローラ５を含んでいてもよいし、コントローラ５を含まない構成であってもよい。
【０２２３】
また、他の実施形態においては、ゲーム装置は複数であってもよい。このとき、ゲームシステム１において実行される一連の情報処理は、特定の１つのゲーム装置によって実行されてもよいし、各ゲーム装置によって情報処理が分担されて実行されてもよい。また、各表示装置（テレビ２および端末装置７）は、特定の１つのゲーム装置と通信を行うようにしてもよいし、それぞれ別個のゲーム装置と通信を行うようにしてもよい。
【０２２４】
（ゲーム処理を実行する情報処理装置に関する変形例）
上記実施形態においては、ゲームシステム１において実行される一連の情報処理をゲーム装置３が実行したが、当該情報処理の一部は他の装置によって実行されてもよい。例えば、他の実施形態においては、ゲーム処理の一部（例えば、端末用ゲーム画像の生成処理）を端末装置７が実行するようにしてもよい。また、他の実施形態では、互いに通信可能な複数の情報処理装置を有するゲームシステムにおいて、当該複数の情報処理装置が上記情報処理を分担して実行するようにしてもよい。
【産業上の利用可能性】
【０２２５】
以上のように、本発明は、テレビ等の表示装置に画像や音声を出力する場合に生じる遅延を測定すること、あるいは、遅延により生じる問題を解消または低減すること等を目的として、例えばゲームシステムやゲーム装置、ゲームプログラム等として利用することが可能である。
【符号の説明】
【０２２６】
１ ゲームシステム
２ テレビ
２ａ スピーカ
３ ゲーム装置
４ 光ディスク
５ コントローラ
６ マーカ装置
７ 端末装置
１０ ＣＰＵ
１１ｅ 内部メインメモリ
１２ 外部メインメモリ
５１ ＬＣＤ
５６ カメラ
６７ スピーカ
６９ マイク
【技術分野】
【０００１】
本発明は、テレビジョン受像器等の表示装置における表示遅延または音声出力遅延を測定する遅延測定システムおよび遅延測定方法に関する。
【背景技術】
【０００２】
従来、テレビジョン受像器（以下、単に「テレビ」と記載する）を表示装置として用いるゲームシステムがある。例えば、特許文献１には、テレビと、テレビに接続されるゲーム装置とを含むゲームシステムが記載されている。このゲームシステムにおいては、ゲーム装置によって生成されたゲーム画像がテレビに表示されるとともに、ゲーム装置によって生成されたゲーム音がテレビのスピーカから出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９７２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような、テレビを表示装置に用いるゲームシステムにおいては、ゲーム画像の表示遅延が生じるおそれがあった。すなわち、近年のデジタルテレビにおいては、画質向上等の目的で、入力される画像に対して種々の映像処理が行われ、映像処理が施された画像が表示される。この映像処理は一般的に時間を要するため、ゲーム装置からテレビへゲーム画像が出力されてから、テレビにゲーム画像が表示されるまでに遅延が生じるおそれがあった。そのため、テレビを表示装置に用いるゲームシステムにおいては、ゲーム操作に対するゲーム表示の応答性が悪くなるという問題があった。
【０００５】
また、テレビおよびゲーム装置を含むゲームシステムに対してさらに別の表示装置を追加することによって、複数の表示装置にそれぞれゲーム画像を表示させることを可能にしたゲームシステムを考える。このようなゲームシステムにおいて、別の表示装置に関しては上記のような映像処理が実行されないために表示遅延が（ほとんど）生じないとすれば、上記の遅延の問題が顕著になる。つまり、上記のゲームシステムでは、プレイヤは、表示遅延が生じないゲーム画像を別の表示装置によって見ることができるので、テレビにおいて表示遅延が生じていることを視認することができる。そのため、両方のゲーム画像を見るプレイヤにとっては違和感が顕著になるおそれが考えられる。また、ゲーム操作にシビアなタイミングが要求される種類のゲームにおいては、両方のゲーム画像を見るプレイヤがどちらの表示を基準に操作をすればわからなくなったり、複数人でゲームを行う場合において各ゲーム画像を見るプレイヤ毎に有利不利が生じたりする等、ゲーム操作に支障をきたしたりするおそれが考えられる。
【０００６】
上記のように、テレビにおける表示遅延は、単にゲーム表示の応答性が悪くなるといった問題を生じさせる他、別の表示装置にもゲーム画像が表示される場合には、プレイヤが抱く違和感が顕著になったり、ゲーム操作に支障をきたしたりするといった問題を生じさせるおそれがある。なお、表示遅延の時間は、テレビの機種や映像モード（どのような映像処理が行われるか）によって異なるので、表示遅延の時間を個々に測定し、遅延に応じた処理を行う必要がある。
【０００７】
それ故、本発明の目的は、テレビ等の表示装置に画像や音声を出力する場合に生じる遅延を測定することである。また、本発明の他の目的は、上記の遅延により生じる問題を解消または低減することである。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するために、以下の（１）〜（１３）の構成を採用した。
【０００９】
（１）
本発明の一例は、ゲーム装置と、可搬型表示装置とを含むゲームシステムである。
ゲーム装置は、画像生成部と、画像出力部と、画像圧縮部と、画像送信部とを備える。画像生成部は、ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する。画像出力部は、可搬型表示装置とは異なる所定の表示装置へ第１ゲーム画像を逐次出力する。画像圧縮部は、第２ゲーム画像を逐次圧縮して圧縮画像データを逐次生成する。画像送信部は、圧縮画像データを可搬型表示装置へ無線で逐次送信する。
可搬型表示装置は、撮像部と、画像受信部と、画像伸張部と、表示部と、撮像データ送信部とを備える。画像受信部は、ゲーム装置から圧縮画像データを逐次受信する。画像伸張部は、圧縮画像データを逐次伸張して第２ゲーム画像を得る。表示部は、画像伸張部によって伸張された第２ゲーム画像を逐次表示する。撮像データ送信部は、撮像部が撮像した撮像画像を圧縮した圧縮撮像データをゲーム装置へ送信する。
ゲーム装置はさらに、撮像データ受信部と、画像判定部と、画像遅延算出部と、画像送信制御部とを備える。撮像データ受信部は、圧縮撮像データを受信して伸張して撮像画像を得る。画像判定部は、撮像データ受信部によって伸張された撮像画像に所定の第１ゲーム画像が含まれるか否かを判定する。画像遅延算出部は、撮像画像に所定の第１ゲーム画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、画像出力部が所定の第１ゲーム画像を出力したタイミングと、撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、画像出力部が所定の第１ゲーム画像を出力してから所定の表示装置に当該所定の第１ゲーム画像が表示されるまでの画像遅延時間を算出する。画像送信制御部は、画像遅延時間に基づいて、第２ゲーム画像が可搬型表示装置へ送信されるタイミングを遅らせる。
【００１０】
上記「ゲーム装置」は、ゲーム処理を実行し、ゲーム処理に基づいてゲーム画像を生成する情報処理装置であればどのようなものであってもよい。上記ゲーム装置は、ゲーム専用の情報処理装置であってもよいし、一般的なパーソナルコンピュータのような多用途の情報処理装置であってもよい。
上記「可搬型表示装置」は、後述する実施形態においては端末装置７であるが、上記各部を備える装置であればどのようなものであってもよい。なお、上記「可搬型」とは、プレイヤが手に持って動かしたり、任意の位置に配置を変更したりすることができる程度の大きさである意味である。
上記「ゲームシステム」は、ゲーム装置と可搬型表示装置とを含んでいればよく、第１ゲーム画像を表示する所定の表示装置を含んでいなくともよいし、含んでいてもよい。すなわち、ゲームシステムは、当該所定の表示装置を含まない形態で提供されてもよいし、含む形態で提供されてもよい。
上記「所定の表示装置」は、後述する実施形態におけるテレビ等、入力された画像に対して何らかの映像処理を行ってから表示する任意の表示装置を含む。
上記「所定の第１ゲーム画像」は、第１ゲーム画像のうちで、画像遅延時間の算出に用いられる第１ゲーム画像である。なお、所定の第１ゲーム画像の具体的な内容はどのようなものであってもよく、静止画であってもよいし、動画を構成する複数の画像のうちの１つであってもよい。
【００１１】
上記（１）の構成によれば、所定の表示装置に表示された第１ゲーム画像を可搬型表示装置が撮像し、撮像画像を用いて画像遅延時間が算出される。これによれば、実際に表示された画像に基づいて遅延を測定するので、画像遅延時間を正確に算出することができる。また、ゲーム装置は、第２ゲーム画像が可搬型表示装置へ送信されるタイミングを画像遅延時間に基づいて遅らせるので、各ゲーム画像が表示されるタイミングを、所定の表示装置と可搬型表示装置とで合わせることができる。したがって、上記（１）の構成によれば、所定の表示装置と可搬型表示装置との間でゲーム画像の表示タイミングの同期をとることができ、所定の表示装置における表示遅延により生じる問題を解消することができる。
【００１２】
（２）
所定の表示装置はスピーカを備えていてもよい。
このとき、ゲーム装置はさらに、音声生成部と、音声出力部と、音声送信部とを備える。音声生成部は、ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する。音声出力部は、所定の表示装置へ第１ゲーム音声を出力する。音声送信部は、第２ゲーム音声を可搬型表示装置へ無線で送信する。
可搬型表示装置は、音声受信部と、スピーカと、マイクと、検出音送信部とを備える。音声受信部は、ゲーム装置から第２ゲーム音声を受信する。スピーカは、第２ゲーム音声を出力する。検出音送信部は、マイクによる検出音をゲーム装置へ送信する。
ゲーム装置はさらに、検出音受信部と、音判定部と、音声遅延算出部と、音声送信制御部とを備える。検出音受信部は、検出音を受信する。音判定部は、検出音受信部によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する。音声遅延算出部は、検出音に所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、音声出力部が所定の第１ゲーム音声を出力したタイミングと、音検出部が当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、音声出力部が所定の第１ゲーム音声を出力してから所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する。音声送信制御部は、音声遅延時間に基づいて、第２ゲーム音声が可搬型表示装置へ送信されるタイミングを遅らせる。
【００１３】
上記（２）の構成によれば、所定の表示装置に表示された第１ゲーム音声を可搬型表示装置が検出し、検出音を用いて音声遅延時間が算出される。これによれば、実際に出力された音声に基づいて遅延を測定するので、画像遅延時間を正確に算出することができる。また、ゲーム装置は、第２ゲーム音声が可搬型表示装置へ送信されるタイミングを音声遅延時間に基づいて遅らせるので、各ゲーム音声が出力されるタイミングを、所定の表示装置と可搬型表示装置とで合わせることができる。したがって、上記（２）の構成によれば、所定の表示装置と可搬型表示装置との間でゲーム音声の表示タイミングの同期をとることができ、所定の表示装置における音声出力遅延により生じる問題を解消することができる。
【００１４】
（３）
画像生成部は、可搬型表示装置の撮像部を所定の表示装置の画面の方へ向ける旨の通知を表す画像を第１ゲーム画像または第２ゲーム画像として生成し、所定の表示装置または可搬型表示装置に当該画像が表示された後で、所定の第１ゲーム画像を生成して所定の表示装置に表示させてもよい。
【００１５】
上記（３）の構成によれば、画像遅延時間の測定に用いられる所定の第１ゲーム画像を表示する前に、可搬型表示装置の撮像部を所定の表示装置の画面の方へ向ける旨の通知が行われる。これによれば、所定の第１ゲーム画像が表示された時点で撮像部が所定の表示装置の画面の方を向いていない事態が生じることを防止することができ、不正確な画像遅延時間が測定されることを防止することができる。
【００１６】
（４）
ゲーム装置はさらに、複数の第２ゲーム画像を記憶可能な記憶部を備えていてもよい。このとき、画像送信制御部は、画像生成部によって生成された第２ゲーム画像を記憶部に記憶し、生成から画像遅延時間に基づく待機時間が経過した第２ゲーム画像を画像送信部に送信させる。
【００１７】
上記「記憶部」は、後述する実施形態におけるメインメモリやフラッシュメモリ等、ゲーム装置がアクセス可能な記憶手段であればどのようなものであってもよい。なお、記憶部に記憶される第２ゲーム画像は、画像圧縮部によって圧縮された画像データであってもうよいし、圧縮前の画像データであってもよい。
【００１８】
上記（４）の構成によれば、ゲーム装置は、第２ゲーム画像を記憶しておき、待機時間が経過した後で第２ゲーム画像を送信する。これによれば、第２ゲーム画像の送信タイミングを容易に調整することができる。
【００１９】
（５）
画像送信制御部は、画像遅延時間と、第２ゲーム画像が生成されてから可搬型表示装置に表示されるまでの時間とに基づいて、第２ゲーム画像を可搬型表示装置へ送信するまでの待機時間を算出してもよい。
【００２０】
上記（５）の構成によれば、画像遅延時間に加え、第２ゲーム画像が生成されてから可搬型表示装置に表示されるまでの時間を考慮して待機時間が決定される。これによれば、第１ゲーム画像と第２ゲーム画像との表示タイミングをより正確に同期させることができる。
【００２１】
（６）
また、本発明の他の一例は、ゲーム装置と、可搬型表示装置とを含むゲームシステムである。
ゲーム装置は、音声生成部と、音声出力部と、音声送信部とを備える。音声生成部は、ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する。音声出力部は、スピーカを備える表示装置であって、可搬型表示装置とは異なる所定の表示装置へ第１ゲーム音声を出力する。音声送信部は、第２ゲーム音声を可搬型表示装置へ無線で送信する。
可搬型表示装置は、マイクと、音声受信部と、スピーカと、検出音送信部とを備える。音声受信部は、ゲーム装置から第２ゲーム音声を受信する。スピーカは、第２ゲーム音声を出力する。検出音送信部は、マイクによる検出音をゲーム装置へ送信する。
ゲーム装置はさらに、検出音受信部と、音判定部と、遅延算出部と、音声送信制御部とを備える。検出音受信部は、検出音を受信する。音判定部は、検出音受信部によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する。遅延算出部は、検出音に所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、音声出力部が所定の第１ゲーム音声を出力したタイミングと、音検出部が当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、音声出力部が所定の第１ゲーム音声を出力してから所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する。音声送信制御部は、音声遅延時間に基づいて、第２ゲーム音声が可搬型表示装置へ送信されるタイミングを遅らせる。
【００２２】
上記「所定の第１ゲーム音声」は、第１ゲーム音声のうちで、音声遅延時間の算出に用いられる第１ゲーム音声である。なお、所定の第１ゲーム音声の具体的な内容はどのようなものであってもよい。
【００２３】
上記（６）の構成によれば、上記（２）の構成と同様、所定の表示装置に表示された第１ゲーム音声を可搬型表示装置が検出し、検出音を用いて音声遅延時間が算出される。これによれば、実際に出力された音声に基づいて遅延を測定するので、画像遅延時間を正確に算出することができる。また、ゲーム装置は、第２ゲーム音声が可搬型表示装置へ送信されるタイミングを音声遅延時間に基づいて遅らせるので、各ゲーム音声が出力されるタイミングを、所定の表示装置と可搬型表示装置とで合わせることができる。したがって、上記（６）の構成によれば、所定の表示装置と可搬型表示装置との間でゲーム音声の表示タイミングの同期をとることができ、所定の表示装置における音声出力遅延により生じる問題を解消することができる。
【００２４】
（７）
本発明の他の一例は、入力された画像に対して所定の映像処理を行ってから当該画像を表示する所定の表示装置の表示遅延を測定する遅延測定システムである。遅延測定システムは、所定の表示装置と通信可能な情報処理装置と、当該情報処理装置と無線通信可能な可搬型の端末装置とを含む。
情報処理装置は、画像生成部と、第１画像出力部とを備える。画像生成部は、所定の画像を生成する。第１画像出力部は、所定の表示装置へ所定の画像を出力する。
端末装置は、撮像部と、撮像画像送信部とを備える。撮像画像送信部は、撮像部が撮像した撮像画像を送信する。
情報処理装置はさらに、撮像画像受信部と、画像判定部と、画像遅延算出部とを備える。撮像画像受信部は、撮像画像を受信する。画像判定部は、撮像画像に所定の画像が含まれるか否かを判定する。画像遅延算出部は、撮像画像に所定の画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、第１画像出力部が所定の画像を出力したタイミングと、撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、第１画像出力部が所定の画像を出力してから所定の表示装置に当該所定の画像が表示されるまでの画像遅延時間を算出する。
【００２５】
上記「情報処理装置」は、画像を生成する機能を有する情報処理装置であればどのようなものであってもよい。上記情報処理装置は、後述する実施形態のようなゲーム装置であってもよいし、一般的なパーソナルコンピュータのような多用途の情報処理装置であってもよい。
上記「可搬型の端末装置」は、後述する実施形態においては、画像を表示する機能や操作装置としての機能を有する端末装置であるが、上記各部を備える装置であればどのようなものであってもよい。なお、上記「可搬型」とは、プレイヤが手に持って動かしたり、任意の位置に配置を変更したりすることができる程度の大きさである意味である。
上記「遅延測定システム」は、情報装置と端末装置とを含んでいればよく、第１画像を表示する所定の表示装置を含んでいなくともよいし、含んでいてもよい。すなわち、遅延測定システムは、当該所定の表示装置を含まない形態で提供されてもよいし、含む形態で提供されてもよい。
上記「所定の画像」は、画像遅延時間の算出に用いられる画像である。なお、所定の画像の具体的な内容はどのようなものであってもよく、静止画であってもよいし、動画を構成する複数の画像のうちの１つであってもよい。
【００２６】
上記（７）の構成によれば、所定の表示装置に表示された所定の画像を可搬型表示装置が撮像し、撮像画像を用いて画像遅延時間が算出される。これによれば、実際に表示された所定の画像に基づいて遅延を測定するので、画像遅延時間を正確に算出することができる。
【００２７】
（８）
画像生成部は、所定の表示装置に表示するための第１画像と、端末装置に表示するための第２画像とを逐次生成してもよい。このとき、第１画像出力部は、所定の表示装置へ第１画像を逐次出力する。情報処理装置はさらに、第２画像を端末装置へ逐次出力する第２画像出力部とを備える。
また、端末装置はさらに、画像受信部と、表示部とを備える。画像受信部は、情報処理装置から第２画像を逐次受信する。表示部は、受信された第２画像を逐次表示する。
情報処理装置は、画像遅延時間に基づいて、第２画像が端末装置へ出力されるタイミングを遅らせる画像出力制御部をさらに備える。
【００２８】
上記（８）の構成によれば、情報処理装置は、第２画像が可搬型表示装置へ送信されるタイミングを画像遅延時間に基づいて遅らせるので、各画像が表示されるタイミングを、所定の表示装置と可搬型表示装置とで合わせることができる。したがって、上記（８）の構成によれば、所定の表示装置と可搬型表示装置との間で画像の表示タイミングの同期をとることができ、所定の表示装置における表示遅延により生じる問題を解消することができる。
【００２９】
（９）
情報処理装置はさらに、音声生成部と、第１音声出力部と、第２音声出力部とを備えていてもよい。音声生成部は、所定の表示装置に出力するための第１音声と、端末装置に出力するための第２音声とを生成する。第１音声出力部は、所定の表示装置へ第１音声を出力する。第２音声出力部は、端末装置へ第２音声を出力する。
また、端末装置はさらに、音声受信部と、スピーカとを備える。音声受信部は、情報処理装置から第２音声を受信する。スピーカは、第２音声を出力する。
情報処理装置は、画像遅延時間に基づいて、第２音声が端末装置へ出力されるタイミングを遅らせる音声出力制御部をさらに備える。
【００３０】
上記（９）の構成によれば、画像遅延時間に基づいて、第２音声が端末装置へ出力されるタイミングが調整される。これによれば、所定の表示装置と可搬型表示装置との間で画像の表示タイミングの同期をとることができるとともに、音声の出力タイミングの同期をとることができる。しかも、上記（９）の構成によれば、音声については遅延時間を測定する必要がないので、簡易な処理で画像および音声の両方について同期をとることができる。
【００３１】
（１０）
所定の表示装置はスピーカを備えていてもよい。このとき、情報処理装置はさらに、音声生成部と、音声出力部とを備えている。音声生成部は、所定の音を生成する。音声出力部は、所定の表示装置へ所定の音を出力する。
端末装置は、マイクと、マイクによる検出音を情報処理装置へ送信する検出音送信部とを備える。
情報処理装置はさらに、検出音受信部と、音判定部と、音声遅延算出部と、出力制御部とを備える。検出音受信部は、検出音を受信する。音判定部は、検出音受信部によって受信された検出音に所定の音が含まれるか否かを判定する。音声遅延算出部は、検出音に所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、音声出力部が所定の音を出力したタイミングと、音検出部が当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、音声出力部が所定の音を出力してから所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する。出力制御部は、所定の表示装置に表示される画像と、当該所定の表示装置のスピーカに出力させるための音とが同期するように、当該音を音声出力部が出力するタイミングと、当該画像を画像出力部が出力するタイミングとの少なくともいずれかを画像遅延時間および音声遅延時間に基づいて遅らせる。
【００３２】
上記（１０）の構成によれば、情報処理装置は、画像遅延時間および音声遅延時間を算出し、これらの遅延時間に基づいて、所定の表示装置における画像の表示タイミングと、当該所定の表示装置のスピーカにおける音声の出力タイミングとを調整する。これによれば、所定の表示装置において上記２つのタイミングを同期させることができ、所定の表示装置における表示遅延あるいは音声出力遅延によりユーザが違和感を抱くことを防止することができる。
【００３３】
（１１）
また、本発明の他の一例は、所定の表示装置が備えるスピーカの音声出力遅延を測定する遅延測定システムである。遅延測定システムは、所定の表示装置と通信可能な情報処理装置と、当該情報処理装置と無線通信可能な可搬型の端末装置とを含む。
情報処理装置は、音声生成部と、第１音声出力部とを備える。音声生成部は、所定の音を生成する。第１音声出力部は、所定の表示装置へ所定の音を出力する。
端末装置は、マイクと、マイクによる検出音を情報処理装置へ送信する検出音送信部とを備える。
情報処理装置はさらに、検出音受信部と、音判定部と、音声遅延算出部とを備える。検出音受信部は、検出音を受信する。音判定部は、検出音受信部によって受信された検出音に所定の音が含まれるか否かを判定する。音声遅延算出部は、検出音に所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、音声出力部が所定の音を出力したタイミングと、音検出部が当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、音声出力部が所定の音を出力してから所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する。
【００３４】
上記（１１）の構成によれば、所定の表示装置のスピーカから出力された所定の音を可搬型表示装置が検出し、検出音を用いて音声遅延時間が算出される。これによれば、実際に表示された所定の音に基づいて遅延を測定するので、音声遅延時間を正確に算出することができる。
【００３５】
（１２）
音声生成部は、所定の表示装置に出力するための第１音声と、端末装置に出力するための第２音声とを生成してもよい。このとき、第１音声出力部は、所定の表示装置へ第１音声を出力する。情報処理装置はさらに、第２音声を端末装置へ出力する第２音声出力部とを備える。
端末装置はさらに、音声受信部と、スピーカとを備える。音声受信部は、情報処理装置から第２音声を受信する。スピーカは、受信された第２音声を出力する。
情報処理装置は、音声遅延時間に基づいて、第２音声が端末装置へ出力されるタイミングを遅らせる音声出力制御部をさらに備える。
【００３６】
上記（１２）の構成によれば、情報処理装置は、第２音声が可搬型表示装置へ送信されるタイミングを音声遅延時間に基づいて遅らせるので、各音声が出力されるタイミングを、所定の表示装置と可搬型表示装置とで合わせることができる。したがって、上記（１２）の構成によれば、所定の表示装置と可搬型表示装置との間で音声の出力タイミングの同期をとることができ、所定の表示装置における音声出力遅延により生じる問題を解消することができる。
【００３７】
（１３）
情報処理装置はさらに、画像生成部と、第１画像出力部と、第２画像出力部とを備えていてもよい。画像生成部は、所定の表示装置に表示するための第１画像と、端末装置に表示するための第２画像とを逐次生成する。第１画像出力部は、所定の表示装置へ第１画像を逐次出力する。第２画像出力部は、端末装置へ第２画像を逐次出力する。
端末装置はさらに、画像受信部と、表示部とを備える。画像受信部は、情報処理装置から第２画像を逐次受信する。表示部は、受信された第２画像を逐次表示する。
情報処理装置は、画像遅延時間に基づいて、第２画像が端末装置へ出力されるタイミングを遅らせる画像出力制御部をさらに備える。
【００３８】
上記（１３）の構成によれば、音声遅延時間に基づいて、第２画像が端末装置へ出力されるタイミングが調整される。これによれば、所定の表示装置と可搬型表示装置との間で音声の出力タイミングの同期をとることができるとともに、画像の表示タイミングの同期をとることができる。しかも、上記（１３）の構成によれば、画像については遅延時間を測定する必要がないので、簡易な処理で画像および音声の両方について同期をとることができる。
【００３９】
本発明の別の一例は、上記（１）〜（１３）のゲームシステムまたは遅延測定システムの各部（撮像部を除く）を備える情報処理装置（ゲーム装置）であってもよい。また、本発明の別の一例は、情報処理装置のコンピュータを上記各部と同等の手段として機能させるゲームプログラムの形態であってもよい。さらに、本発明の別の一例は、上記（１）〜（１３）のゲームシステムまたは遅延測定システムにおいて行われる画像表示方法、音声出力方法、または遅延測定方法の形態であってもよい。
【発明の効果】
【００４０】
本発明によれば、所定の表示装置において生じる表示遅延および／または音声出力遅延を算出することができる。さらに、算出された遅延を用いることによって、所定の表示装置と可搬型の表示装置との間で同期をとったり、所定の表示装置における画像の表示と音声の出力との同期をとったりすることができる。
【図面の簡単な説明】
【００４１】
【図１】ゲームシステム１の外観図
【図２】ゲーム装置３の内部構成を示すブロック図
【図３】コントローラ５の外観構成を示す斜視図
【図４】コントローラ５の外観構成を示す斜視図
【図５】コントローラ５の内部構造を示す図
【図６】コントローラ５の内部構造を示す図
【図７】コントローラ５の構成を示すブロック図
【図８】端末装置７の外観構成を示す図
【図９】ユーザが端末装置７を把持した様子を示す図
【図１０】端末装置７の内部構成を示すブロック図
【図１１】ゲームシステム１において各ゲーム画像が出力されてから表示されるまでの時間を示す図
【図１２】ゲームシステム１において画像遅延時間の測定するための処理の流れを示すタイミングチャート
【図１３】ゲームシステム１において端末用ゲーム画像が送信される際の処理の流れを示す図
【図１４】ゲームシステム１における処理において用いられる各種データを示す図
【図１５】ゲーム装置３において実行される画像遅延測定処理の流れを示すフローチャート
【図１６】ゲーム装置３において実行される音声遅延測定処理の流れを示すフローチャート
【図１７】ゲーム装置３において実行されるゲーム処理の流れを示すフローチャート
【図１８】本実施形態の変形例においてテレビ用ゲーム画像およびテレビ用ゲーム音声が出力される際の処理の流れを示す図
【図１９】図１８に示す変形例におけるゲーム処理の流れを示すフローチャート
【発明を実施するための形態】
【００４２】
［１．ゲームシステムの全体構成］
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。
【００４３】
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
【００４４】
ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
【００４５】
テレビ２の画面の周辺（図１では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の動きや位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６はゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図１ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。
【００４６】
コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、本実施形態では、ゲームシステム１に含まれるコントローラ５は１つとするが、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。コントローラ５の詳細な構成については後述する。
【００４７】
端末装置７は、ユーザが把持可能な程度の大きさであり、ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ６４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３で生成された画像（例えばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
【００４８】
［２．ゲーム装置３の内部構成］
次に、図２を参照して、ゲーム装置３の内部構成について説明する。図２は、ゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
【００４９】
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。
【００５０】
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１ｂ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
【００５１】
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、本実施形態においては、ゲーム装置３は、テレビ２に表示するゲーム画像と、端末装置７に表示するゲーム画像との両方を生成する。以下では、テレビ２に表示されるゲーム画像を「テレビ用ゲーム画像」と呼び、端末装置７に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。
【００５２】
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、テレビ２のスピーカから出力するゲーム音声と、端末装置７のスピーカから出力するゲーム音声との両方が生成される。以下では、テレビ２から出力されるゲーム音声を「テレビ用ゲーム音声」と呼び、端末装置７から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。
【００５３】
上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２に出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａに出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。
【００５４】
また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。
【００５５】
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
【００５６】
ゲーム装置３は、インターネット等のネットワークに接続して外部情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続し、ネットワークに接続される外部情報処理装置と通信することができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
【００５７】
また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００５８】
また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、本実施形態では、ゲーム装置３から端末装置７へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
【００５９】
また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。
【００６０】
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置７へ送信する。制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１０に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１０に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを端末装置７へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
【００６１】
また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａに出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａに出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００６２】
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
【００６３】
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【００６４】
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。
【００６５】
［３．コントローラ５の構成］
次に、図３〜図７を参照して、コントローラ５について説明する。図３は、コントローラ５の外観構成を示す斜視図である。図４は、コントローラ５の外観構成を示す斜視図である。図３は、コントローラ５の上側後方から見た斜視図であり、図４は、コントローラ５を下側前方から見た斜視図である。
【００６６】
図３および図４において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。
【００６７】
ハウジング３１には、複数の操作ボタンが設けられる。図３に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ〜３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図４に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ〜３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。ホームボタン３２ｆおよび電源ボタン３２ｈは、その上面がハウジング３１の上面に埋没している。これによって、ユーザがホームボタン３２ｆまたは電源ボタン３２ｈを誤って押下することを防止することができる。
【００６８】
ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、コントローラ５に他の機器（例えば、他のセンサユニットやコントローラ）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。
【００６９】
ハウジング３１上面の後方には複数（図３では４つ）のＬＥＤ３４ａ〜３４ｄが設けられる。ここで、コントローラ５には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ〜３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いてゲーム操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ〜３４ｄのいずれか１つが点灯する。
【００７０】
また、コントローラ５は撮像情報演算部３５（図６）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。
【００７１】
ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、コントローラ５に内蔵されるスピーカ４７（図５）からの音を外部に放出するための音抜き孔３１ａが形成されている。
【００７２】
次に、図５および図６を参照して、コントローラ５の内部構造について説明する。図５および図６は、コントローラ５の内部構造を示す図である。なお、図５は、コントローラ５の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６は、コントローラ５の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６に示す斜視図は、図５に示す基板３０を裏面から見た斜視図となっている。
【００７３】
図５において、ハウジング３１の内部には基板３０が固設されており、当該基板３０の上主面上に各操作ボタン３２ａ〜３２ｈ、各ＬＥＤ３４ａ〜３４ｄ、加速度センサ３７、アンテナ４５、およびスピーカ４７等が設けられる。これらは、基板３０等に形成された配線（図示せず）によってマイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）４２（図６参照）に接続される。本実施形態では、加速度センサ３７は、Ｘ軸方向に関してコントローラ５の中心からずれた位置に配置されている。これによって、コントローラ５をＺ軸回りに回転させたときのコントローラ５の動きが算出しやすくなる。また、加速度センサ３７は、長手方向（Ｚ軸方向）に関してコントローラ５の中心よりも前方に配置されている。また、無線モジュール４４（図６）およびアンテナ４５によって、コントローラ５がワイヤレスコントローラとして機能する。
【００７４】
一方、図６において、基板３０の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ５の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を備えている。これらの部材３８〜４１はそれぞれ基板３０の下主面に取り付けられる。
【００７５】
さらに、基板３０の下主面上には、上記マイコン４２およびバイブレータ４６が設けられている。バイブレータ４６は、例えば振動モータやソレノイドであり、基板３０等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータ４６が作動することによってコントローラ５に振動が発生する。これによって、コントローラ５を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。本実施形態では、バイブレータ４６は、ハウジング３１のやや前方寄りに配置される。つまり、バイブレータ４６がコントローラ５の中心よりも端側に配置することによって、バイブレータ４６の振動によりコントローラ５全体を大きく振動させることができる。また、コネクタ３３は、基板３０の下主面上の後端縁に取り付けられる。なお、図５および図６に示す他、コントローラ５は、マイコン４２の基本クロックを生成する水晶振動子、スピーカ４７に音声信号を出力するアンプ等を備えている。
【００７６】
なお、図３〜図６に示したコントローラ５の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、本実施形態では、撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。
【００７７】
図７は、コントローラ５の構成を示すブロック図である。コントローラ５は、操作部３２（各操作ボタン３２ａ〜３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。
【００７８】
操作部３２は、上述した各操作ボタン３２ａ〜３２ｉを含み、各操作ボタン３２ａ〜３２ｉに対する入力状態（各操作ボタン３２ａ〜３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。
【００７９】
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ５の動きでも追跡して解析することができる。
【００８０】
撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。
【００８１】
なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。
【００８２】
加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。例えば、２軸以上の多軸加速度センサの場合には、加速度センサの検出部に加わっている加速度として、各軸に沿った成分の加速度をそれぞれ検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。
【００８３】
本実施形態では、加速度センサ３７は、コントローラ５を基準とした上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。加速度センサ３７は、各軸に沿った直線方向に関する加速度を検出するものであるため、加速度センサ３７からの出力は３軸それぞれの直線加速度の値を表すものとなる。すなわち、検出された加速度は、コントローラ５を基準に設定されるＸＹＺ座標系（コントローラ座標系）における３次元のベクトルとして表される。
【００８４】
加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や動きに対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや動きを算出することができる。本実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。
【００８５】
なお、加速度センサ３７（後述する加速度センサ６３についても同様）から出力される加速度の信号に基づいて、ゲーム装置３のプロセッサ（例えばＣＰＵ１０）またはコントローラ５のプロセッサ（例えばマイコン４２）等のコンピュータが処理を行うことによって、コントローラ５に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサ３７を搭載するコントローラ５が静止状態であることを前提としてコンピュータ側の処理が実行される場合（すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理が実行される場合）、コントローラ５が現実に静止状態であれば、検出された加速度に基づいてコントローラ５の姿勢が重力方向に対して傾いているか否かまたはどの程度傾いているかを知ることができる。具体的には、加速度センサ３７の検出軸が鉛直下方向を向いている状態を基準としたとき、１Ｇ（重力加速度）がかかっているか否かによって、コントローラ５が基準に対して傾いているか否かを知ることができるし、その大きさによって基準に対してどの程度傾いているかも知ることができる。また、多軸の加速度センサ３７の場合には、さらに各軸の加速度の信号に対して処理を施すことによって、重力方向に対してコントローラ５がどの程度傾いているかをより詳細に知ることができる。この場合において、プロセッサは、加速度センサ３７からの出力に基づいてコントローラ５の傾斜角度を算出してもよいし、当該傾斜角度を算出せずに、コントローラ５の傾斜方向を算出するようにしてもよい。このように、加速度センサ３７をプロセッサと組み合わせて用いることによって、コントローラ５の傾斜角度または姿勢を判定することができる。
【００８６】
一方、コントローラ５が動的な状態（コントローラ５が動かされている状態）であることを前提とする場合には、加速度センサ３７は重力加速度に加えてコントローラ５の動きに応じた加速度を検出するので、検出された加速度から重力加速度の成分を所定の処理により除去することによってコントローラ５の動き方向を知ることができる。また、コントローラ５が動的な状態であることを前提とする場合であっても、検出された加速度から、加速度センサの動きに応じた加速度の成分を所定の処理により除去することによって、重力方向に対するコントローラ５の傾きを知ることが可能である。なお、他の実施例では、加速度センサ３７は、内蔵の加速度検出手段で検出された加速度信号をマイコン４２に出力する前に当該加速度信号に対して所定の処理を行うための、組込み式の処理装置または他の種類の専用の処理装置を備えていてもよい。組込み式または専用の処理装置は、例えば、加速度センサ３７が静的な加速度（例えば、重力加速度）を検出するために用いられる場合、加速度信号を傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。
【００８７】
ジャイロセンサ４８は、３軸（本実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。例えば、ジャイロセンサ４８は、３軸ジャイロセンサであってもよいし、２軸ジャイロセンサと１軸ジャイロセンサとを組み合わせて３軸周りの角速度を検出するものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。
【００８８】
通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。
【００８９】
操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。これらのデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ５から送信される。微弱電波信号はゲーム装置３側のコントローラ通信モジュール１９で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行うことが好ましい。コントローラ５の通信部３６は、例えば１／２００秒に１回の割合で操作データをゲーム装置３のコントローラ通信モジュール１９へ出力する。
【００９０】
以上のように、コントローラ５は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下する従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、コントローラ５を任意の姿勢に傾ける操作、コントローラ５によって画面上の任意の位置を指示する操作、および、コントローラ５自体を動かす操作等を行うことが可能となる。
【００９１】
また、本実施形態において、コントローラ５は、ゲーム画像を表示する表示手段を有しないが、例えば電池残量を表す画像等を表示するための表示手段を有していてもよい。
【００９２】
［４．端末装置７の構成］
次に、図８〜図１０を参照して、端末装置７の構成について説明する。図８は、端末装置７の外観構成を示す図である。図８における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。また、図９は、ユーザが端末装置７を把持した様子を示す図である。
【００９３】
図８に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。
【００９４】
端末装置７は、ハウジング５０の表面にＬＣＤ５１を有する。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図９に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置を持って動かすことができる。なお、図９ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つ例を示しているが、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。
【００９５】
図８の（ａ）図に示すように、端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本実施形態では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペンを用いて行われるが、タッチペンに限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペンを収納するための収納穴が設けられていてもよい。このように、端末装置７はタッチパネル５２を備えるので、ユーザは、端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
【００９６】
図８に示すように、端末装置７は、操作手段として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン５４Ａ〜５４Ｌとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示するデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作されるスティック部がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライド（または傾倒）することができるように構成されている。また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図９に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置７を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。
【００９７】
各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作手段である。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる（図９参照）。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
【００９８】
図８の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈとが設けられる。つまり、これらのボタン５４Ａ〜５４Ｇは、ユーザの親指で操作可能な位置に配置されている（図９参照）。
【００９９】
十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、上下左右の方向を指示することが可能なボタンである。また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ〜５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。
【０１００】
また、図８の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、上側および左側の側面から露出している。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、上側および右側の側面から露出している。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図９参照）。
【０１０１】
また、図８の（ｂ）図および（ｃ）図に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、板状のハウジング５０の裏面（すなわちＬＣＤ５１が設けられる表面の反対側の面）に突起して設けられる足部５９Ａおよび５９Ｂに配置される。具体的には、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの概ね反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの概ね反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指で操作可能な位置に配置される（図９参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図８の（ｃ）図に示すように、上記足部５９Ａおよび５９Ｂの斜め上方を向く面に設けられ、斜め上方を向くボタン面を有する。ユーザが端末装置７を把持した場合には中指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。また、ハウジング５０の裏面に足部が設けられることにより、ユーザはハウジング５０を把持しやすくなり、かつ、足部にボタンが設けられることで、ハウジング５０を把持したまま操作しやすくなる。
【０１０２】
なお、図８に示す端末装置７に関しては、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面が完全に水平にはならない場合がある。そのため、他の実施形態においては、ハウジング５０の裏面に３つ以上の足部が形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では足部が床面に接することで床面に載置できるので、画面が水平になるように端末装置７を載置することができる。また、着脱可能な足部を追加することで端末装置７を水平に載置するようにしてもよい。
【０１０３】
各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｅは決定操作やキャンセル操作等に用いられてもよい。
【０１０４】
なお、図示しないが、端末装置７は、端末装置７の電源をオン／オフするための電源ボタンを有している。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンや、スピーカ（図１０に示すスピーカ６７）の音量を調節するためのボタンを有していてもよい。
【０１０５】
図８の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部（図１０に示すマーカ部５５）をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
【０１０６】
端末装置７は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図８に示すように、本実施形態では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。
【０１０７】
なお、端末装置７は、音声入力手段であるマイク（図１０に示すマイク６９）を備えている。ハウジング５０の表面には、マイクロフォン用孔６０が設けられる。マイク６９はこのマイクロフォン用孔６０の奥のハウジング５０内部に設けられる。マイクは、ユーザの音声等、端末装置７の周囲の音を検出する。
【０１０８】
端末装置７は、音声出力手段であるスピーカ（図１０に示すスピーカ６７）を備えている。図８の（ｄ）図に示すように、ハウジング５０の下側側面にはスピーカ孔５７が設けられる。スピーカ６７の出力音はこのスピーカ孔５７から出力される。本実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。
【０１０９】
また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。本実施形態においては、図８の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。他の装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。
【０１１０】
なお、図８に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
【０１１１】
次に、図１０を参照して、端末装置７の内部構成について説明する。図１０は、端末装置７の内部構成を示すブロック図である。図１０に示すように、端末装置７は、図８に示した構成の他、タッチパネルコントローラ６１、磁気センサ６２、加速度センサ６３、ジャイロセンサ６４、ユーザインタフェースコントローラ（ＵＩコントローラ）６５、コーデックＬＳＩ６６、スピーカ６７、サウンドＩＣ６８、マイク６９、無線モジュール７０、アンテナ７１、赤外線通信モジュール７２、フラッシュメモリ７３、電源ＩＣ７４、および電池７５を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
【０１１２】
ＵＩコントローラ６５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ６５は、タッチパネルコントローラ６１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、マーカ部５５、磁気センサ６２、加速度センサ６３、およびジャイロセンサ６４に接続される。また、ＵＩコントローラ６５は、コーデックＬＳＩ６６と拡張コネクタ５８に接続される。また、ＵＩコントローラ６５には電源ＩＣ７４が接続され、ＵＩコントローラ６５を介して各部に電力が供給される。電源ＩＣ７４には内蔵の電池７５が接続され、電力が供給される。また、電源ＩＣ７４には、コネクタ等を介して外部電源から電力を取得可能な充電器７６またはケーブルを接続することが可能であり、端末装置７は、当該充電器７６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うようにしてもよい。
【０１１３】
タッチパネルコントローラ６１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ６１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ６５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ６１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ６５からタッチパネルコントローラ６１へは、タッチパネル５２に対する各種の制御指示が出力される。
【０１１４】
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ６５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ６５へ出力する。
【０１１５】
磁気センサ６２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から磁気センサ６２へは、磁気センサ６２に対する制御指示が出力される。磁気センサ６２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。
【０１１６】
加速度センサ６３は、ハウジング５０の内部に設けられ、３軸（図８の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ６３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の短辺方向をｙ軸、ハウジング５０の表面に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から加速度センサ６３へは、加速度センサ６３に対する制御指示が出力される。加速度センサ６３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ６３は１軸または２軸方向を検出する加速度センサであってもよい。
【０１１７】
ジャイロセンサ６４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５からジャイロセンサ６４へは、ジャイロセンサ６４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ６４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ６４は１軸または２軸方向を検出するジャイロセンサであってもよい。
【０１１８】
ＵＩコントローラ６５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ６６に出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
【０１１９】
コーデックＬＳＩ６６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ６６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ６８、無線モジュール７０、フラッシュメモリ７３、および赤外線通信モジュール７２が接続される。また、コーデックＬＳＩ６６はＣＰＵ７７と内部メモリ７８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ７３に格納されたプログラムを内部メモリ７８に読み出してＣＰＵ７７が実行することで、端末装置７が起動する。また、内部メモリ７８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。
【０１２０】
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ６６へ出力する。また、コーデックＬＳＩ６６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ６６へ繰り返し出力することも可能である。
【０１２１】
サウンドＩＣ６８は、スピーカ６７およびマイク６９に接続され、スピーカ６７およびマイク６９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ６６から音声データを受け取った場合、サウンドＩＣ６８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ６７へ出力し、スピーカ６７から音を出力させる。また、マイク６９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ６８へ出力する。サウンドＩＣ６８は、マイク６９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ６６へ出力する。
【０１２２】
コーデックＬＳＩ６６は、カメラ５６からの画像データと、マイク６９からの音声データと、ＵＩコントローラ６５からの端末操作データとを無線モジュール７０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ６６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール７０に出力される。無線モジュール７０にはアンテナ７１が接続されており、無線モジュール７０はアンテナ７１を介してゲーム装置３へ上記送信データを送信する。無線モジュール７０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール７０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
【０１２３】
以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。また、赤外線通信モジュール７２は、他の装置との間で例えばＩＲＤＡの規格に従った赤外線通信を行う。コーデックＬＳＩ６６は、赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
【０１２４】
また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ７１および無線モジュール７０を介してコーデックＬＳＩ６６に受信される。コーデックＬＳＩ６６は、受信した画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。また、伸張された音声データはサウンドＩＣ６８へ出力され、サウンドＩＣ６８はスピーカ６７から音を出力させる。
【０１２５】
また、ゲーム装置３から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ６６およびＵＩコントローラ６５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ６１、マーカ部５５、各センサ６２〜６４、および赤外線通信モジュール７２）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
【０１２６】
以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
【０１２７】
また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ６２、加速度センサ６３、およびジャイロセンサ６４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【０１２８】
また、端末装置７は、カメラ５６およびマイク６９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク６９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【０１２９】
また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
【０１３０】
［５．ゲームシステムにおける処理の概要］
次に、本実施形態のゲームシステム１において実行される処理の概要について説明する。ゲームシステム１は、テレビ２と端末装置７という複数の表示装置にそれぞれゲーム画像を表示することによって、プレイヤにより見やすいゲーム画像を提供したり、ゲームの操作性や興趣性を向上したりすることができる。ここで、２つの表示装置のうちの一方であるテレビ２においては、画質向上等の目的で行われる種々の映像処理のために表示遅延が生じるおそれがあり、表示遅延に起因する種々の問題が生じるおそれがある。ゲームシステム１は、表示遅延の時間を測定し、遅延時間に応じた処理を行うことによって、種々の問題を防止するものである。
【０１３１】
（テレビ２における表示遅延）
図１１は、ゲームシステム１において各ゲーム画像が出力されてから表示されるまでの時間を示す図である。なお、図１１では、（実施形態における実際の動作とは異なるが）仮に、テレビ２に表示されるテレビ用ゲーム画像と、端末装置７に表示される端末用ゲーム画像とについてほぼ同時にゲーム画像が出力される場合を想定する。
【０１３２】
図１１において、テレビ用ゲーム画像に関しては、テレビ２に入力されると、所定の映像処理が実行された後、画面に表示される。本実施形態においては、ゲーム装置３によってテレビ用ゲーム画像が出力されてから、テレビ２にテレビ用ゲーム画像が表示されるまでの時間Ｔ１を、「（テレビ２の）画像遅延時間」と呼ぶ。
【０１３３】
一方、端末用ゲーム画像は、ゲーム装置３において出力指示が行われると、圧縮処理が施されてから端末装置７へ無線送信され、端末装置７において、圧縮された端末用ゲーム画像に対して伸張処理が施された後、伸張された端末用ゲーム画像がＬＣＤ５１に表示される。なお、本実施形態においては、端末装置７においては上記のような映像処理は実行されない。そのため、端末用ゲーム画像の出力指示が行われてから、端末装置７に端末用ゲーム画像が表示されるまでの時間Ｔ２は、テレビ２の画像遅延時間Ｔ１よりも短くなる。また、本実施形態においては、高効率の圧縮処理等により、１／６０秒の１フレーム時間を処理単位として見た場合には時間Ｔ２をほとんど無視できる程度の時間とすることができる。
【０１３４】
以上のように、ゲームシステム１においては、テレビ用ゲーム画像が表示されるまでの時間（画像遅延時間）Ｔ１と、端末用ゲーム画像が表示されるまでの時間Ｔ２とが異なる。そのため、図１１に示すように、テレビ用ゲーム画像と端末用ゲーム画像とを同時に出力してしまうと、各ゲーム画像が画面に表示されるタイミングがずれてしまう。各ゲーム画像の表示タイミングがずれると、例えば次のような問題が生じるおそれがある。すなわち、プレイヤがテレビ２と端末装置７との両方の画面を見てゲームを行う場合には、各ゲーム画像の表示タイミングがずれることによって、プレイヤが違和感を抱いたり、どちらのゲーム画像に合わせてゲーム操作を行うべきかわからないためにゲーム操作に支障をきたしたりするおそれがある。また、複数（例えば２人）のプレイヤのうちの一方がテレビ２を見て、他方のプレイヤが端末装置７を見てゲームを行う場合には、各ゲーム画像の表示タイミングがずれることによって、プレイヤ間に有利不利が生じたり、協力してゲームプレイを行う際に支障をきたしたりするおそれがある。なお、例えば、適切なタイミングでゲーム操作を行うことによって音楽を演奏するゲーム等、シビアな操作タイミングが要求されるゲームにおいては、上記の問題が顕著になる。
【０１３５】
以上より、本実施形態においては、ゲームシステム１は、以下に示す方法で上記画像遅延時間を測定する。そして、端末用ゲーム画像の出力タイミングを画像遅延時間に応じて遅らせるようにすることで、テレビ用ゲーム画像と端末用ゲーム画像との表示タイミングを合わせる。以下、画像遅延時間の測定方法と、端末用ゲーム画像の出力タイミングを遅らせる処理とについて説明する。
【０１３６】
（遅延時間の測定）
図１２は、ゲームシステム１において画像遅延時間の測定するための処理の流れを示すタイミングチャートである。画像遅延時間を測定する際、ゲーム装置３はまず、テスト画像をテレビ２へ出力する（ステップＳ１）。テスト画像とは、画像遅延時間の測定用に用いられる所定パターンの画像（または動画）である。詳細は後述するが、テスト画像に関しては、テレビ２に表示されたテスト画像が端末装置７のカメラ５６によって撮像される。テスト画像は、カメラ５６による撮像画像に含まれるテスト画像が後述する認識処理によって認識可能なものであれば、どのような画像であってもよい。
【０１３７】
テスト画像を入力したテレビ２は、テスト画像に対して映像処理を行った後、テスト画像を表示する（ステップＳ２）。上記ステップＳ１の処理からステップＳ２の処理までの時間Ｔ１が上記画像遅延時間である。なお、テレビ２における映像処理は、テレビの機種や、その時点で選択されている映像モード（どのような映像処理を行うか）によって異なる。
【０１３８】
端末装置７は、テレビ２に表示されているテスト画像をカメラ５６によって撮像する（ステップＳ３）。したがって、画像遅延時間を測定する際には、端末装置７は、カメラ５６がテレビ２の画面の方を向いた姿勢とされている必要がある。また、カメラ５６によって撮像された画像（撮像画像）には、テスト画像が含まれることとなる。端末装置７は、撮像画像をゲーム装置３へ無線送信する（ステップＳ４）。なお、本実施形態においては、撮像画像は圧縮されて送信される。
【０１３９】
圧縮された撮像画像は、ゲーム装置３において受信される（ステップＳ５）。このとき、ゲーム装置３は、圧縮された撮像画像に対して伸張処理を行う。さらに、ゲーム装置３は、撮像画像に対して所定の画像認識処理を行う（ステップＳ６）。この画像認識処理は、撮像画像内のテスト画像を識別する処理であり、撮像画像内にテスト画像が含まれるか否か、換言すれば、テレビ２の画面にテスト画像が表示されたか否かを判定するための処理である。なお、実際には、上記ステップＳ３〜Ｓ６の処理は、それぞれ逐次実行される。つまり、端末装置７は、テレビ２の画面を撮像して撮像画像を送信する処理を繰り返し実行し、ゲーム装置３は、撮像画像を受信して画像認識処理を実行する処理を繰り返し実行する。
【０１４０】
上記画像認識処理においてテスト画像を識別することができた場合、ゲーム装置３は、テスト画像をテレビ２へ出力（ステップＳ１）してから、画像認識処理が完了する（ステップＳ６）までの時間Ｔ４を計測する。なお、画像認識処理が完了する時点とは、撮像画像内にテスト画像が含まれると判定される時点である。
【０１４１】
ここで、端末装置７のカメラ５６が撮像を行ってから（ステップＳ３）、画像認識処理が完了するまでの時間Ｔ５は、予め測定しておくことができ、概ね一定である。ゲーム装置３は、測定によって得られる時間Ｔ５を予め記憶しておく。したがって、ゲーム装置３は、上記時間Ｔ４から時間Ｔ５を引いた差分として画像遅延時間Ｔ１を算出することができる。
【０１４２】
以上のように、本実施形態においては、画像認識処理（ステップＳ６）において撮像画像にテスト画像が含まれるとの判定が行われた場合、画像遅延時間Ｔ１は、当該判定が行われたタイミング（ステップＳ６）と、ゲーム装置３がテスト画像を出力したタイミング（ステップＳ１）と、カメラ５６が当該撮像画像を撮像してから当該判定が行われるまでの所要時間（時間Ｔ５）とに基づいて算出される。本実施形態によれば、プレイヤは、端末装置７のカメラ５６をテレビ２の画面の方へ向けるだけでよいので、画像遅延時間を容易に算出することができる。また、上記の測定は任意のタイミングで行うことができるので、プレイヤは、例えばゲームシステム１の初期設置時の他、テレビ２の映像モードが変更された場合に測定を行うこともできる。そのため、映像モードの変更等によって画像遅延時間が変化しても当該時間をその都度正確に測定することができる。
【０１４３】
本実施形態においては、ゲームシステム１は、上記の方法によって画像遅延時間を予め測定しておき、ゲーム処理を実行する際には、測定しておいた画像遅延時間に応じて端末用ゲーム画像の送信タイミングを遅らせる。以下、図１３を参照して、端末用ゲーム画像の送信タイミングを遅らせる処理について説明する。
【０１４４】
（送信タイミングの調整）
図１３は、ゲームシステム１において端末用ゲーム画像が送信される際の処理の流れを示す図である。図１３に示すように、ゲーム装置３は、各ゲーム画像（テレビ用ゲーム画像および端末用ゲーム画像）をほぼ同じタイミングで生成する。テレビ用ゲーム画像については、ゲーム装置３は、生成されたゲーム画像をすぐにテレビ２へ出力する。一方、端末用ゲーム画像については、ゲーム装置３は、生成されたゲーム画像をゲーム装置３内に一時記憶し、端末装置７への画像の送信を待機する。ここで、テレビ用ゲーム画像の送信を待機する時間（待機時間）Ｔ３は、上記画像遅延時間に応じて決められる。具体的には図１３に示すように、待機時間Ｔ３は、画像遅延時間Ｔ１から、端末装置７に端末用ゲーム画像が表示されるまでの時間Ｔ２を減算した時間である。なお、本実施形態においては、時間Ｔ２はほとんど無視できる程度の時間であるとし、待機時間Ｔ３が画像遅延時間Ｔ１と同じ長さに決定されてもよい。
【０１４５】
端末用ゲーム画像が生成されてから待機時間Ｔ３が経過すると、ゲーム装置３は、当該端末用ゲーム画像を端末装置７へ送信する。すなわち、当該端末用ゲーム画像が圧縮されて端末装置７へ送信され、端末装置７は、圧縮された端末用ゲーム画像を伸張してＬＣＤ５１に表示する。これによって、テレビ用ゲーム画像と端末用ゲーム画像の表示タイミングを同期させることができる。
【０１４６】
以上のように、本実施形態においては、ゲーム装置３は、画像遅延時間に基づいて、端末用ゲーム画像が端末装置７へ送信されるタイミングを遅らせる。これによって、ゲーム装置３は、画像遅延時間に応じた適切なタイミングで端末用ゲーム画像を送信することができ、テレビ用ゲーム画像と端末用ゲーム画像の表示タイミングを確実に同期させることができる。
【０１４７】
（ゲーム音に関する処理）
上記ゲーム画像の場合と同様、テレビ２のスピーカ２ａに出力されるゲーム音声（テレビ用ゲーム音声）についても、音声出力に遅延が生じる場合がある。例えば、テレビ２において表示する画像とスピーカ２ａから出力される音声との間で同期がとられる場合には、画像の表示遅延に伴って音声出力にも遅延が生じる。このようにテレビ用ゲーム音声に遅延が生じ、端末装置７において出力されるゲーム音声（端末用ゲーム音声）とテレビ用ゲーム音声との出力タイミングがずれる場合には、各ゲーム画像の表示タイミングがずれる場合と同様、プレイヤが違和感を抱いたり、ゲーム操作に支障をきたしたりするおそれがある。
【０１４８】
したがって、本実施形態においては、ゲーム装置３は、ゲーム音声についてもゲーム画像と同様、遅延時間を測定し、遅延時間に応じた処理を実行する。すなわち、テレビ用ゲーム音声の遅延時間（音声遅延時間）を測定し、端末用ゲーム音声の出力タイミングを音声遅延時間に応じて遅らせるようにすることで、テレビ用ゲーム音声と端末用ゲーム音声との出力タイミングを合わせるようにする。
【０１４９】
詳細は後述するが、音声遅延時間の測定は、画像遅延時間の測定方法に準じた方法で行うことができる。すなわち、音声遅延時間を測定する際、ゲーム装置３はまず、音声遅延時間の測定用に用いられる所定パターンの音声であるテスト音声をテレビ２へ出力する。テスト音声を入力したテレビ２は、テスト音声をスピーカ２ａから出力する。ゲーム装置３がテスト音声を出力してからスピーカ２ａがテスト音声を出力するまでの時間が上記音声遅延時間である。音声遅延時間は、テレビの機種や、その時点で選択されている映像モードや、テレビ２が画像と音声とを同期して出力する機能を有するか否か等によって異なる。
【０１５０】
さらに、端末装置７は、スピーカ２ａから出力されるテスト音声をマイク６９によって検出する。また、マイク６９によって検出された音声（検出音）には、テスト音声が含まれることとなる。端末装置７は、検出音を圧縮してゲーム装置３へ無線送信する。圧縮された検出音は、ゲーム装置３において受信されて伸張される。さらに、ゲーム装置３は、検出音に対して所定の音声認識処理を行う。この音声認識処理は、検出音からテスト音声を識別する処理であり、検出音にテスト音声が含まれるか否か、換言すれば、テレビ２のスピーカ２ａからテスト音声が出力されたか否かを判定するための処理である。なお、端末装置７は、スピーカ２ａからの音を検出して検出音を送信する処理を繰り返し実行し、ゲーム装置３は、検出音を受信して音声認識処理を実行する処理を繰り返し実行する。
【０１５１】
上記音声認識処理においてテスト音声を識別することができた場合、ゲーム装置３は、テスト音声をテレビ２へ出力してから、音声認識処理が完了するまでの時間（計測時間）を計測する。なお、音声認識処理が完了する時点とは、検出音にテスト音声が含まれると判定される時点である。また、端末装置７のマイク６９が音声を検出してから音声認識処理が完了するまでの処理時間は、予め測定されて記憶される。したがって、ゲーム装置３は、上記計測時間から処理時間を引いた差分として音声遅延時間を算出することができる。
【０１５２】
また、音声についても画像と同様、ゲーム装置３は、音声遅延時間に応じた音声待機時間だけ遅らせて端末用ゲーム音声を端末装置７へ出力する。これによって、テレビ用ゲーム音声と端末用ゲーム音声の出力タイミングを同期させることができる。
【０１５３】
［６．ゲームシステムにおける処理の詳細］
次に、本ゲームシステムにおいて実行される処理の詳細を説明する。まず、ゲームシステム１における処理において用いられる各種データについて説明する。図１４は、ゲームシステム１における処理において用いられる各種データを示す図である。図１４において、ゲーム装置３のメインメモリ（外部メインメモリ１２または内部メインメモリ１１ｅ）に記憶される主なデータを示す図である。図１４に示すように、ゲーム装置３のメインメモリには、ゲームプログラム８０、受信データ８１、および処理用データ８６が記憶される。なお、メインメモリには、図１４に示すデータの他、ゲームに登場する各種オブジェクトの画像データやゲームに使用される音声データ等、ゲームに必要なデータが記憶される。
【０１５４】
ゲームプログラム８０は、ゲーム装置３に電源が投入された後の適宜のタイミングで光ディスク４からその一部または全部が読み込まれてメインメモリに記憶される。なお、ゲームプログラム８０は、光ディスク４に代えて、フラッシュメモリ１７やゲーム装置３の外部装置から（例えばインターネットを介して）取得されてもよい。また、ゲームプログラム８０に含まれる一部（例えば、コントローラ５および／または端末装置７の姿勢を算出するためのプログラム）については、ゲーム装置３内に予め記憶されていてもよい。ゲームプログラム８０には、後述する画像遅延測定処理（図１５）、音声遅延測定処理（図１６）、およびゲーム処理（図１７）を実行するためのプログラムが含まれる。
【０１５５】
受信データ８１は、コントローラ５および端末装置７から受信される各種のデータである。受信データ８１は、コントローラ操作データ８２、端末操作データ８３、撮像画像データ８４、および、検出音データ８５を含む。コントローラ５が複数接続される場合には、複数のコントローラ操作データ８２が記憶される。端末装置７が複数接続される場合には、それぞれ複数の端末操作データ８３、撮像画像データ８４、および、検出音データ８５が記憶される。
【０１５６】
コントローラ操作データ８２は、コントローラ５に対するユーザ（プレイヤ）の操作を表すデータである。コントローラ操作データ８２は、コントローラ５から送信されてゲーム装置３において取得され、メインメモリに記憶される。上述のように、コントローラ操作データ８２は、上記加速度センサ３７およびジャイロセンサ４８の検出結果を表すデータ、各操作ボタン３２ａ〜３２ｉに対する入力状態を表すデータ、および、上記マーカ座標を表すデータを含む。メインメモリには、最新の（最後に取得された）ものから順に所定個数のコントローラ操作データが記憶されてもよい。
【０１５７】
なお、コントローラ操作データ８２は、コントローラ５を操作するユーザの操作を表すものであればよく、上記の各データの一部のみを含むものであってもよい。また、コントローラ５が他の入力手段（例えば、タッチパネルやアナログスティック等）を有する場合には、コントローラ操作データ８２は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。
【０１５８】
端末操作データ８３は、端末装置７に対するユーザの操作を表すデータである。端末操作データ８３は、端末装置７から送信されてゲーム装置３において取得され、メインメモリに記憶される。上述のように、端末操作データ８３は、タッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。
【０１５９】
なお、端末操作データ８３は、端末装置７を操作するユーザの操作を表すものであればよく、上記各データのいずれか１つのみを含むものであってもよい。また、端末装置７が他の入力手段（例えば、タッチパッドや、コントローラ５の撮像情報演算部３５等）を有する場合には、端末操作データ８３は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。
【０１６０】
撮像画像データ８４は、端末装置７のカメラ５６によって撮像された画像（カメラ画像）を表すデータである。撮像画像データ８４は、端末装置７からの圧縮された画像データがコーデックＬＳＩ２７によって伸張された画像データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数の撮像画像データが記憶されてもよい。
【０１６１】
検出音データ８５は、端末装置７のマイク６９によって検出された音声（検出音）を表すデータである。検出音データ８５は、端末装置７から送信されてくる圧縮された音声データがコーデックＬＳＩ２７によって伸張された音声データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。
【０１６２】
処理用データ８６は、ゲームシステム１における情報処理（図１５〜図１７）において用いられるデータである。処理用データ８６は、画像処理時間データ８７、音声処理時間データ８８、画像計測時間データ８９、音声計測時間データ９０、画像遅延時間データ９１、音声遅延時間データ９２、画像待機時間データ９３、音声待機時間データ９４、および音声生成指示データ９５を含む。なお、図１４に示すデータの他、処理用データ８６は、ゲームに登場する各種オブジェクトに設定される各種パラメータを表すデータ等、ゲーム処理において用いられる各種データを含む。
【０１６３】
画像処理時間データ８７は、画像遅延時間の測定の際に、画像を撮像してから当該画像内におけるテスト画像を認識するまでに要する処理時間（画像処理時間と呼ぶ）を表すデータである。具体的には、画像処理時間は、端末装置７のカメラ５６が撮像を行ってから画像認識処理が完了するまでの時間Ｔ５である（図１２参照）。画像処理時間は予め測定され、測定された時間を表すデータは予めゲームプログラム８０とともに光ディスク４に記憶される。ゲーム装置３において画像遅延測定処理が実行される場合には、当該データが適宜のタイミングで光ディスク４から読み込まれて画像処理時間データ８７としてメインメモリに記憶される。
【０１６４】
音声処理時間データ８８は、音声遅延時間の測定の際に、スピーカ２ａからの音声を検出してから後述するテスト音声を認識するまでに要する処理時間（音声処理時間）を表すデータである。具体的には、音声処理時間は、端末装置７のマイク６９が上記音声を検出してから音声認識処理が完了するまでの時間である。音声処理時間は予め測定され、測定された時間を表すデータは予めゲームプログラム８０とともに光ディスク４に記憶される。ゲーム装置３において音声遅延測定処理が実行される場合には、当該データが適宜のタイミングで光ディスク４から読み込まれて音声処理時間データ８８としてメインメモリに記憶される。
【０１６５】
画像計測時間データ８９は、画像遅延測定処理に要する時間、すなわち、ゲーム装置３がテスト画像をテレビ２へ出力してから、画像認識処理が完了するまでの時間（画像計測時間）Ｔ４を表すデータである。また、音声計測時間データ９０は、音声遅延測定処理に要する時間、すなわち、ゲーム装置３がテスト音声をテレビ２へ出力してから、音声認識処理が完了するまでの時間（音声計測時間）を表すデータである。
【０１６６】
画像遅延時間データ９１は、ゲーム装置３によってテレビ用ゲーム画像が出力されてから、テレビ２にテレビ用ゲーム画像が表示されるまでの時間、すなわち、上記画像遅延時間を表すデータである。また、音声遅延時間データ９２は、ゲーム装置３によってテレビ用ゲーム音声が出力されてから、テレビ２のスピーカ２ａからテレビ用ゲーム音声が出力されるまでの時間、すなわち、上記音声遅延時間を表すデータである。
【０１６７】
画像待機時間データ９３は、端末用ゲーム画像が生成されてから出力されるまでの待機時間（画像待機時間）を表すデータである。画像待機時間は、上記画像遅延時間に基づいて設定される。また、音声待機時間データ９４は、生成されるべき端末用ゲーム音声が確定してから実際に生成されて出力されるまでの待機時間（音声待機時間）を表すデータである。
【０１６８】
音声生成指示データ９５は、ＣＰＵ１０がＤＳＰ１１ｃに対して音声を生成するための指示（音声生成指示）を表すデータである。本実施形態においては、端末用ゲーム音声の出力タイミングを遅らせるために、音声生成指示がメインメモリに一時記憶される。一時記憶されていた音声生成指示は、端末用ゲーム音声を端末装置７へ実際に出力するタイミングでＤＳＰ１１ｃに送られ、当該音声生成指示を受けたＤＳＰ１１ｃによって端末用ゲーム音声が生成されて端末装置７へ送信される。
【０１６９】
次に、図１５〜図１７を参照して、ゲーム装置３において行われる処理の詳細を説明する。図１５は、ゲーム装置３において実行される画像遅延測定処理の流れを示すフローチャートである。画像遅延測定処理は、画像遅延時間を測定し、画像遅延時間に応じた画像待機時間を設定する処理である。画像遅延測定処理は、どのようなタイミングで実行されてもよいが、例えば、ゲームシステム１の初期設置時や、ゲームプログラム８０の実行開始時に実行される。
【０１７０】
なお、図１５〜図１７に示すフローチャートの各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値を採用してもよい。また、本実施形態では、上記フローチャートの各ステップの処理をＣＰＵ１０が実行するものとして説明するが、ＣＰＵ１０以外のプロセッサや専用回路が上記各ステップの一部のステップの処理を実行するようにしてもよい。
【０１７１】
図１５においては、まずステップＳ１１において、ＣＰＵ１０は、端末装置７のカメラ５６をテレビ２の方へ向ける旨を表す画像を表示させる。この画像は、テレビ２に表示されてもよいし、端末装置７に表示されてもよいし、両方に表示されてもよい。具体的には、例えば「端末装置のカメラをテレビの方へ向けて下さい」等のメッセージを表す画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成され、ＶＲＡＭ１１ｄに記憶される。そして、上記画像をテレビ２へ出力する場合には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶された上記画像のデータをＡＶ−ＩＣ１５へ送り、ＡＶ−ＩＣ１５は当該画像のデータをＡＶコネクタ１６を介してテレビ２へ出力する。これによって、上記画像がテレビ２に表示される。また、上記画像を端末装置７へ出力する場合には、ＶＲＡＭ１１ｄに記憶された上記画像データは、ＣＰＵ１０によってコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。さらに、圧縮処理が施された上記画像のデータは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像のデータを無線モジュール７０によって受信し、コーデックＬＳＩ６６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力され、上記画像がＬＣＤ５１に表示される。上記ステップＳ１１の次にステップＳ１２の処理が実行される。
【０１７２】
ステップＳ１２において、ＣＰＵ１０は、テレビ２にテスト画像の出力を開始する。すなわち、所定のテスト画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成されてテレビ２へ出力される。ステップＳ１２において画像をテレビ２へ出力する動作は上記ステップＳ１１と同様である。また、ＣＰＵ１０は、ステップＳ１２の処理時点から時間の計測を開始する。なお、ステップＳ１２の処理以降、画像遅延測定処理が終了するまで、テスト画像は１フレーム時間（ここでは１／６０秒）に１回の割合で繰り返し出力される。また、テスト画像は、静止画であってもよいし、動画であってもよいし、後述するように静止画が一定時間毎に繰り返し表示される画像であってもよい。ステップＳ１２の次にステップＳ１３の処理が実行される。
【０１７３】
ステップＳ１３において、ＣＰＵ１０は、端末装置７からの撮像画像を取得する。ここで、端末装置７は、端末操作データと撮像画像データと検出音データとをゲーム装置３へ繰り返し送信する。ゲーム装置３はこれらのデータを逐次受信する。ゲーム装置３においては、端末通信モジュール２８がこれらのデータを逐次受信し、撮像画像データおよび検出音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ１１ａが端末操作データと撮像画像データと検出音データとをメインメモリに逐次記憶する。ステップＳ１３においては、ＣＰＵ１０は、最新の端末操作データに含まれる撮像画像データ８４をメインメモリから読み出す。ステップＳ１３の次にステップＳ１４の処理が実行される。
【０１７４】
ステップＳ１４において、ＣＰＵ１０は、ステップＳ１３で取得された撮像画像に対して画像認識処理を実行する。具体的には、ＣＰＵ１０は、撮像画像内から上記テスト画像を識別する処理を実行する。なお、テスト画像を識別するための具体的な方法はどのような方法であってもよく、例えばパターンマッチングの手法によって撮像画像内からテスト画像を識別することができる。ステップＳ１４の次にステップＳ１５の処理が実行される。
【０１７５】
ステップＳ１５において、ＣＰＵ１０は、ステップＳ１４の画像認識処理が成功したか否か、すなわち、画像認識処理によってテスト画像を識別することができたか否かを判定する。ステップＳ１５の判定処理は、ステップＳ１３で取得された撮像画像内にテスト画像が含まれるか否かを判定するための処理であり、換言すれば、テレビ２の画面にテスト画像が表示されたか否かを判定するための処理である。ステップＳ１５の判定結果が肯定である場合、ステップＳ１６の処理が実行される。一方、ステップＳ１５の判定結果が否定である場合、ステップＳ１３の処理が再度実行される。したがって、ステップＳ１３〜Ｓ１５の一連の処理は、画像認識処理が成功するまで繰り返し実行される。なお、ステップＳ１３〜Ｓ１５の一連の処理ループは、１フレーム時間に１回の割合で実行されることが好ましいが、当該処理ループが実行される間隔は、画像認識処理に要する時間によっては１フレーム時間よりも長くてもよい。
【０１７６】
ステップＳ１６において、ＣＰＵ１０は、ゲーム装置３がテスト画像をテレビ２へ出力してから画像認識処理が完了するまでの画像計測時間を算出する。具体的には、ＣＰＵ１０は、ステップＳ１２の処理時点からステップＳ１６の処理時点までの経過時間を計測し、計測した時間を表すデータを画像計測時間データ８９としてメインメモリに記憶する。ステップＳ１６の次にステップＳ１７の処理が実行される。
【０１７７】
ステップＳ１７において、ＣＰＵ１０は画像遅延時間を算出する。具体的には、ＣＰＵ１０は、画像処理時間データ８７および画像計測時間データ８９をメインメモリから読み出し、画像計測時間から画像処理時間を引いた差分として画像遅延時間を算出する。そして、算出された画像遅延時間を表すデータを画像遅延時間データ９１としてメインメモリに記憶する。ステップＳ１７の次にステップＳ１８の処理が実行される。
【０１７８】
ステップＳ１８において、ＣＰＵ１０は、画像遅延時間に基づいて画像待機時間を設定する。ここで、画像待機時間は、画像遅延時間から、端末用ゲーム画像がゲーム装置３から出力されてからテレビ２に表示されるまでの時間を減算した時間として算出される（図１３参照）。本実施形態においては、端末装置７に端末用ゲーム画像が表示されるまでの時間を無視できる程度の時間であるとし、画像待機時間を画像遅延時間と等しい時間として設定する。ＣＰＵ１０は、設定された画像待機時間を表すデータを画像待機時間データ９３としてメインメモリに記憶する。なお、設定された画像待機時間が継続的に用いられる場合には、画像待機時間データ９３はフラッシュメモリ１７に記憶されてもよい。ステップＳ１８の次にステップＳ１９の処理が実行される。
【０１７９】
ステップＳ１９において、ＣＰＵ１０は、画像遅延時間の測定（画像待機時間の設定）が終了した旨をプレイヤに対して通知する。具体的には、例えば「設定が終了しました。ゲームを開始してください」等のメッセージを表す画像を表示する。この画像は、テレビ２に表示されてもよいし、端末装置７に表示されてもよいし、両方に表示されてもよい。なお、ステップＳ１９において画像をテレビ２または端末装置７へ出力する動作は上記ステップＳ１１と同様である。ステップＳ１９の後、ＣＰＵ１０は画像遅延測定処理を終了する。
【０１８０】
上記画像遅延測定処理によって、ゲーム装置３は画像遅延時間を測定し、画像遅延時間に応じた画像待機時間を設定することができる。なお、本実施形態においては、画像遅延時間を測定するためには、プレイヤに端末装置７のカメラ５６をテレビ２の方へ向けさせる必要がある。ここで、もし仮にテスト画像が表示された後でカメラ５６がテレビ２の方へ向けられたとすれば、上記計測時間として正確な時間を計測することができず、正確な画像遅延時間を測定することができなくなる。
【０１８１】
そこで、本実施形態においては、ＣＰＵ１０は、カメラ５６をテレビ２の画面の方へ向ける旨の通知を表す画像を生成し、当該画像が表示された（ステップＳ１１）の後で、テスト画像をテレビ２に表示させる（ステップＳ１２）。これによれば、テスト画像が表示されるよりも先にカメラ５６をテレビ２の方へ向けさせることができ、画像遅延時間を正確に算出することができる。なお、上記ステップＳ１２の処理は、ステップＳ１１において通知が行われてから所定時間が経過した後で実行されてもよい。
【０１８２】
また、他の実施形態においては、ＣＰＵ１０は、カメラ５６がテレビ２の画面の方を向いているか否かを判定する処理を実行するようにしてもよい。このとき、ＣＰＵ１０は、カメラ５６がテレビ２の画面の方を向いていると判定された場合に、テレビ２にテスト画像を表示する。これによれば、テスト画像が表示される前により確実にカメラ５６をテレビ２の方へ向けさせることができる。なお、上記の判定方法としては、例えば、カメラ５６を向けた後でプレイヤに所定の操作（例えば、端末装置７の所定のボタンを押下する操作）を行わせ、当該所定の操作が行われたか否かを判定する方法が考えられる。また、例えば、所定の画像をテレビ２に表示させ、当該所定の画像がカメラ５６で撮像されたか否かを判定する方法が考えられる。なお、この所定の画像は、テスト画像と同じであってもよい。すなわち、ＣＰＵ１０は、テスト画像を一定時間毎に繰り返し（断続的に）表示させ、最初にテスト画像がカメラ５６によって撮像された場合には画像遅延時間を測定せず、その後に再度表示されたテスト画像がカメラ５６によって撮像された場合に画像遅延時間を算出するようにしてもよい。また、例えば、ＣＰＵ１０は、一連の動画（ゲームのタイトル画面等）を構成する複数の画像のうちの所定の画像がカメラ５６によって撮像された場合、その後に表示される画像をテスト画像として用いて画像遅延時間を算出するようにしてもよい。
【０１８３】
また、ＣＰＵ１０は、画像遅延時間を算出する処理を所定回数実行するようにしてもよい。具体的には、ＣＰＵ１０は、ステップＳ１２〜Ｓ１７の一連の処理を所定回数実行し、画像遅延時間を複数個算出するようにしてもよい。そして、複数個の画像遅延時間の平均値を最終的な画像遅延時間として算出するようにしてもよい。これによれば、画像遅延時間をより正確に算出することができる。
【０１８４】
次に、音声遅延測定処理について説明する。図１６は、ゲーム装置３において実行される音声遅延測定処理の流れを示すフローチャートである。音声遅延測定処理は、音声遅延時間を測定し、音声遅延時間に応じた音声待機時間を設定する処理である。音声遅延測定処理は、画像遅延測定処理と同様、どのようなタイミングで実行されてもよく、例えば、画像遅延測定処理の後に続けて実行されてもよい。また、音声遅延測定処理は、画像遅延測定処理とは異なり、端末装置７のカメラ５６をテレビ２の方へ向ける必要がないので、ＣＰＵ１０は、例えばゲームのプレイ中（ゲーム操作中）において音声遅延測定処理を実行することも可能である。また、ＣＰＵ１０は、音声遅延測定処理を画像遅延測定処理と同時に（並行して）実行することも可能である。
【０１８５】
図１６においては、まずステップＳ２１において、ＣＰＵ１０は、テレビ２のスピーカ２ａにテスト音声の出力を開始する。すなわち、ＣＰＵ１０の指示に応じて所定のテスト音声のデータがＤＳＰ１１ｃによって生成されてＡＶ−ＩＣ１５へ送られる。これに応じて、ＡＶ−ＩＣ１５はテスト音声のデータをＡＶコネクタ１６を介してテレビ２へ出力する。これによって、テスト音声がスピーカ２ａから出力される。また、ＣＰＵ１０は、ステップＳ２１の処理時点から時間の計測を開始する。ステップＳ２１の次にステップＳ２２の処理が実行される。
【０１８６】
ステップＳ２２において、ＣＰＵ１０は、端末装置７からの検出音を取得する。ここで、端末装置７は、端末操作データと撮像画像データと検出音データとをゲーム装置３へ繰り返し送信する。ゲーム装置３はこれらのデータを逐次受信する。ゲーム装置３においては、端末通信モジュール２８がこれらのデータを逐次受信し、撮像画像データおよび検出音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ１１ａが端末操作データと撮像画像データと検出音データとをメインメモリに逐次記憶する。ステップＳ２２においては、ＣＰＵ１０は、最新の端末操作データに含まれる検出音データ８５をメインメモリから読み出す。ステップＳ２２の次にステップＳ２３の処理が実行される。
【０１８７】
ステップＳ２３において、ＣＰＵ１０は、ステップＳ２２で取得された検出音に対して音声認識処理を実行する。具体的には、ＣＰＵ１０は、検出音に含まれる上記テスト音声を識別する処理を実行する。なお、テスト音声を識別するための具体的な方法はどのような方法であってもよく、例えば検出音とテスト音声との波形や周波数スペクトルを比較することによって検出音に含まれるテスト音声を識別することができる。ステップＳ２３の次にステップＳ２４の処理が実行される。
【０１８８】
ステップＳ２４において、ＣＰＵ１０は、ステップＳ２３の音声認識処理が成功したか否か、すなわち、音声認識処理によってテスト音声を識別することができたか否かを判定する。ステップＳ２４の判定処理は、ステップＳ２３で取得された検出音にテスト音声が含まれるか否かを判定するための処理であり、換言すれば、テレビ２のスピーカ２ａからテスト音声が出力されたか否かを判定するための処理である。ステップＳ２４の判定結果が肯定である場合、ステップＳ２５の処理が実行される。一方、ステップＳ２４の判定結果が否定である場合、ステップＳ２２の処理が再度実行される。したがって、ステップＳ２２〜Ｓ２４の一連の処理は、音声認識処理が成功するまで繰り返し実行される。なお、ステップＳ２２〜Ｓ２４の一連の処理ループは、１フレーム時間に１回の割合で実行されることが好ましいが、当該処理ループが実行される間隔は、音声認識処理に要する時間によっては１フレーム時間よりも長くてもよい。
【０１８９】
ステップＳ２５において、ＣＰＵ１０は、ゲーム装置３がテスト音声をテレビ２へ出力してから音声認識処理が完了するまでの音声計測時間を算出する。具体的には、ＣＰＵ１０は、ステップＳ２１の処理時点からステップＳ２５の処理時点までの経過時間を計測し、計測した時間を表すデータを音声計測時間データ９０としてメインメモリに記憶する。ステップＳ２５の次にステップＳ２６の処理が実行される。
【０１９０】
ステップＳ２６において、ＣＰＵ１０は音声遅延時間を算出する。具体的には、ＣＰＵ１０は、音声処理時間データ８８および音声計測時間データ９０をメインメモリから読み出し、音声計測時間から音声処理時間を引いた差分として音声遅延時間を算出する。そして、算出された音声遅延時間を表すデータを音声遅延時間データ９２としてメインメモリに記憶する。ステップＳ２６の次にステップＳ２７の処理が実行される。
【０１９１】
ステップＳ２７において、ＣＰＵ１０は、音声遅延時間に基づいて音声待機時間を設定する。ここで、音声待機時間は、音声遅延時間から、ゲーム装置３において端末用ゲーム音声が生成されてから端末装置７において出力されるまでの時間を減算した時間として算出される。本実施形態においては、端末装置７において端末用ゲーム音声が出力されるまでの時間を無視できる程度の時間であるとし、音声待機時間を音声遅延時間と等しい時間として設定する。ＣＰＵ１０は、設定された音声待機時間を表すデータを音声待機時間データ９４としてメインメモリに記憶する。なお、設定された音声待機時間が継続的に用いられる場合には、音声待機時間データ９４はフラッシュメモリ１７に記憶されてもよい。ステップＳ２７の後、ＣＰＵ１０は音声遅延測定処理を終了する。
【０１９２】
上記音声遅延測定処理によって、ゲーム装置３は音声遅延時間を測定し、音声遅延時間に応じた音声待機時間を設定することができる。なお、音声遅延測定処理は、プレイヤに特別な操作を行わせる必要がないので、プレイヤに対する通知処理（ステップＳ１１およびＳ１９）を実行しなくてもよい。ただし、他の実施形態においては、テスト音の検出をより確実に行うべく、プレイヤに音を立てさせない目的で、ＣＰＵ１０は通知処理を行うようにしてもよい。
【０１９３】
また、ＣＰＵ１０は、音声遅延時間を算出する処理を所定回数実行するようにしてもよい。具体的には、ＣＰＵ１０は、ステップＳ２１〜Ｓ２６の一連の処理を所定回数実行し、音声遅延時間を複数個算出するようにしてもよい。そして、複数個の音声遅延時間の平均値を最終的な音声遅延時間として算出するようにしてもよい。これによれば、音声遅延時間をより正確に算出することができる。
【０１９４】
次に、ゲーム装置３において実行されるゲーム処理について説明する。図１７は、ゲーム装置３において実行されるゲーム処理の流れを示すフローチャートである。ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。そして、光ディスク４に記憶されたゲームプログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該ゲームプログラムの実行が開始される。なお、ゲーム装置３においては、電源投入後に光ディスク４に記憶されたゲームプログラムがすぐに実行される構成であってもよいし、電源投入後にまず所定のメニュー画面を表示する内蔵プログラムが実行され、その後ユーザによってゲームの開始が指示されたときに光ディスク４に記憶されたゲームプログラムが実行される構成であってもよい。図１７に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。
【０１９５】
まずステップＳ３１において、ＣＰＵ１０は初期処理を実行する。初期処理は、例えば、ゲーム処理で用いる各種パラメータの初期値を設定する処理である。また、各待機時間データ９３および９４がフラッシュメモリ１７に記憶されている場合には、当該待機時間データ９３および９４がメインメモリに読み込まれてもよい。ステップＳ３１の次にステップＳ３２の処理が実行される。
【０１９６】
以上のステップＳ３１の次にステップＳ３２の処理が実行される。以降、ステップＳ３２〜Ｓ４０の一連の処理からなる処理ループが所定時間（１フレーム時間）に１回の割合で繰り返し実行される。
【０１９７】
ステップＳ３２において、ＣＰＵ１０は、コントローラ５および端末装置７から送信されてくる各操作データを取得する。コントローラ５はコントローラ操作データをゲーム装置３へ繰り返し送信するので、ゲーム装置３においては、コントローラ通信モジュール１９が当該コントローラ操作データを逐次受信し、受信されたコントローラ操作データが入出力プロセッサ１１ａによってメインメモリに逐次記憶される。送受信の間隔はゲームの処理時間よりも短い方が好ましく、例えば２００分の１秒である。また、上記ステップＳ１３で述べたように、端末操作データとカメラ画像データとマイク音データとがメインメモリに逐次記憶される。ステップＳ３２においては、ＣＰＵ１０は、最新のコントローラ操作データ８２および端末操作データ８３をメインメモリから読み出す。ステップＳ３２の次にステップＳ３３の処理が実行される。
【０１９８】
ステップＳ３３において、ＣＰＵ１０はゲーム制御処理を実行する。ゲーム制御処理は、上記各操作データを入力として用いて、ゲーム空間内のオブジェクトを動作させる処理等を実行し、ゲームを進行させる処理である。本実施形態においては、ゲーム制御処理の具体的な内容はどのようなものであってもよい。ステップＳ３３の次にステップＳ３４の処理が実行される。
【０１９９】
ステップＳ３４において、テレビ２に表示するためのテレビ用ゲーム画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成される。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ３３のゲーム制御処理の結果を表すデータをメインメモリから読み出し、また、ゲーム画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、ゲーム画像を生成する。ゲーム画像は、ステップＳ３３のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。例えば、ゲーム画像の生成方法は、仮想のゲーム空間内に仮想カメラを配置して、仮想カメラから見たゲーム空間を計算することによって３次元のＣＧ画像を生成する方法であってもよいし、（仮想カメラを用いずに）２次元の画像を生成する方法であってもよい。生成されたテレビ用ゲーム画像はＶＲＡＭ１１ｄに記憶される。上記ステップＳ３４の次にステップＳ３５の処理が実行される。
【０２００】
ステップＳ３５において、端末装置７に表示するための端末用ゲーム画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成される。端末用ゲーム画像も上記テレビ用ゲーム画像と同様、ステップＳ３３のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。また、端末用ゲーム画像は、上記テレビ用ゲーム画像と同様の方法で生成されてもよいし、異なる方法で生成されてもよい。生成された端末用ゲーム画像はＶＲＡＭ１１ｄに記憶される。なお、ゲームの内容によってはテレビ用ゲーム画像と端末用ゲーム画像とは同一であってもよく、この場合、ステップＳ３５においてゲーム画像の生成処理は実行されなくてもよい。上記ステップＳ３５の次にステップＳ３６の処理が実行される。
【０２０１】
ステップＳ３６においては、テレビ２のスピーカ２ａに出力するためのテレビ用ゲーム音声が生成される。すなわち、ＣＰＵ１０は、ステップＳ３３のゲーム制御処理の結果に応じたゲーム音声をＤＳＰ１１ｃに生成させる。なお、生成されるゲーム音声は、例えばゲームの効果音や、ゲームに登場するキャラクタの声や、ＢＧＭ等であってもよい。上記ステップＳ３６の次にステップＳ３７の処理が実行される。
【０２０２】
ステップＳ３７においては、端末装置７のスピーカ６７に出力するための端末用ゲーム音声を生成するための音声生成指示が作成される。作成された音声生成指示は、音声生成指示データ９５としてメインメモリに記憶される。なお、端末用ゲーム音声は、上記テレビ用ゲーム音声と同じであってもよいし、異なっていてもよい。また、例えば効果音は異なるが、ＢＧＭは同じである、というように、一部のみが異なっていてもよい。上記ステップＳ３７の次にステップＳ３８の処理が実行される。
【０２０３】
ステップＳ３８において、ＣＰＵ１０は、テレビ２へゲーム画像およびゲーム音声を出力する。具体的には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶された最新のテレビ用ゲーム画像のデータと、ステップＳ３６でＤＳＰ１１ｃによって生成されたテレビ用ゲーム音声のデータとをＡＶ−ＩＣ１５へ送る。これに応じて、ＡＶ−ＩＣ１５は画像および音声のデータをＡＶコネクタ１６を介してテレビ２へ出力する。これによって、テレビ２において行われる所定の映像処理の後、テレビ用ゲーム画像がテレビ２に表示されるとともに、テレビ用ゲーム音声がスピーカ２ａから出力される。ステップＳ３８の次にステップＳ３９の処理が実行される。
【０２０４】
ステップＳ３９において、ＣＰＵ１０は、各待機時間に応じたゲーム画像およびゲーム音声を端末装置７へ送信する。具体的には、ＣＰＵ１０は、ステップＳ３５で生成されてＶＲＡＭ１１ｄに記憶されてから画像待機時間が経過した端末用ゲーム画像を端末装置７へ送信する。また、ＣＰＵ１０は、ステップＳ３７で記憶されてから音声待機時間が経過した音声生成指示をＤＳＰ１１ｃに送り、ＤＳＰ１１ｃに端末用ゲーム音声を生成させる。なお、画像待機時間および音声待機時間は、メインメモリに記憶されている画像待機時間データ９３および音声待機時間データ９４を参照することによって知ることができる。上記端末用ゲーム画像のデータおよび端末用ゲーム音声のデータは、コーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。さらに、圧縮処理が施された画像および音声のデータは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像および音声のデータを無線モジュール７０によって受信し、コーデックＬＳＩ６６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力され、伸張処理が行われた音声データはサウンドＩＣ６８に出力される。これによって、画像待機時間だけ遅れて端末用ゲーム画像がＬＣＤ５１に表示されるとともに、音声待機時間だけ遅れて端末用ゲーム音声がスピーカ６７から出力される。したがって、テレビ用ゲーム画像と端末用ゲーム画像との表示タイミングを同期させることができるとともに、テレビ用ゲーム音声と端末用ゲーム音声との出力タイミングを同期させることができる。ステップＳ３９の次にステップＳ４０の処理が実行される。
【０２０５】
ステップＳ４０において、ＣＰＵ１０は、ゲームを終了するか否かを判定する。ステップＳ４０の判定は、例えば、ゲームオーバーになったか否か、あるいは、ユーザがゲームを中止する指示を行ったか否か等によって行われる。ステップＳ４０の判定結果が否定の場合、ステップＳ３２の処理が再度実行される。一方、ステップＳ４０の判定結果が肯定の場合、ＣＰＵ１０は図１７に示すゲーム処理を終了する。以降、ステップＳ３２〜Ｓ４０の一連の処理は、ステップＳ４０でゲームを終了すると判定されるまで繰り返し実行される。
【０２０６】
以上のように、上記ゲーム処理によれば、端末用ゲーム画像が端末装置７へ送信されるタイミングは、上記画像遅延測定処理で設定された画像待機時間だけ遅らされる。また、端末用ゲーム音声が端末装置７へ送信されるタイミングは、上記音声遅延測定処理で設定された音声待機時間だけ遅らされる。これによって、テレビ２と端末装置７との間でゲーム画像の表示およびゲーム音声の出力の同期をとることができる。
【０２０７】
なお、上記実施形態においては、端末用ゲーム画像の送信タイミングを遅らせるために、生成されたゲーム画像が一時記憶された（ステップＳ３５）。ここで、他の実施形態においては、ＣＰＵ１０は、ゲーム画像自体ではなく、ゲーム画像を生成するために必要なデータを一時記憶してもよい。このとき、ＣＰＵ１０は、画像待機時間が経過した時点で端末用ゲーム画像を生成して送信する。また、他の実施形態においては、圧縮されたゲーム画像が一時記憶されてもよい。
【０２０８】
また、上記実施形態においては、端末用ゲーム音声の送信タイミングを遅らせるために、音声生成指示データが一時記憶された（ステップＳ３６）。ここで、他の実施形態においては、ＣＰＵ１０は、ステップＳ３６において音声データを生成し、音声データを一時記憶してもよい。さらに、他の実施形態においては、圧縮されたゲーム音声が一時記憶されてもよい。
【０２０９】
［７．変形例］
上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。
【０２１０】
（画像および音声に対する同期に関する変形例）
上記実施形態においては、ゲーム画像およびゲーム音声の両方について、テレビ２と端末装置７との間で同期をとるようにした。ここで、ゲームの内容によっては、ゲーム画像のみ同期をとれば十分である場合や、ゲーム音声のみ同期を取れば十分である場合がある。したがって、他の実施形態においては、ゲーム装置３は、ゲーム画像とゲーム音声のいずれか一方のみについて同期をとるようにしてもよい。
【０２１１】
（一方の遅延から他方の遅延を推測する変形例）
また、テレビ２の機種によっては、画面に表示される画像とスピーカ２ａから出力される音声との間で同期をとることが可能な種類のものもある。このような種類のテレビが用いられる場合、ゲーム装置３は、画像遅延時間および音声遅延時間の一方のみを測定し、他方の遅延時間を、測定した遅延時間と同じ値として推測してもよい。すなわち、ゲーム装置３は、音声遅延時間を測定せず、画像遅延時間に基づいて音声待機時間（または音声遅延時間）を設定することで、端末用ゲーム音声が端末装置７へ出力されるタイミングを遅らせるようにしてもよい。また、ゲーム装置３は、画像遅延時間を測定せず、音声遅延時間に基づいて画像待機時間（または画像遅延時間）を設定することで、端末用ゲーム画像が端末装置７へ出力されるタイミングを遅らせるようにしてもよい。
【０２１２】
（テレビ画像とテレビ音声とを同期させる変形例）
また、上記実施形態においては、テレビ２と端末装置７との間の同期をとる目的で、テレビ２の画像遅延時間および音声遅延時間を測定した。ここで、他の実施形態においては、上記実施形態における遅延測定方法は、テレビ２と端末装置７との間の同期をとる用途に限らず、他の用途に用いることも可能である。例えば、テレビ２の機種によっては、画面に表示される画像とスピーカ２ａから出力される音声との間で同期がとられておらず、対応する画像と音声が別のタイミングで出力されるテレビもある。このようなテレビが用いられる場合には、ゲーム装置３は、上記画像遅延時間および音声遅延時間を用いて、テレビ用ゲーム画像とテレビ用ゲーム音声との間の同期をとるようにしてもよい。
【０２１３】
図１８は、本実施形態の変形例においてテレビ用ゲーム画像およびテレビ用ゲーム音声が出力される際の処理の流れを示す図である。図１８においては、テレビ用ゲーム音声の出力タイミングに対してテレビ用ゲーム画像の表示タイミングが遅れる場合を例として、テレビ用ゲーム音声とテレビ用ゲーム画像との同期を取るための処理を説明する。
【０２１４】
図１８においては、画像遅延時間Ｔ１１は音声遅延時間Ｔ１２よりも長い。そのため、仮にゲーム装置３からゲーム音声とゲーム画像とを同時に出力するとすれば、テレビ２においてゲーム音声とゲーム画像との出力（表示）タイミングはずれてしまう。ゲーム画像とゲーム音声とがずれることによって、プレイヤが違和感を抱くおそれがある。そこで、本変形例では、図１８に示すように、ゲーム装置３は、画像遅延時間Ｔ１１から音声遅延時間Ｔ１２を引いた差の時間（差分時間と呼ぶ）を算出し、テレビ用ゲーム音声の出力タイミングを差分時間だけ遅らせる。これによって、テレビ用ゲーム画像の表示タイミングとテレビ用ゲーム音声の出力タイミングを合わせることができ、プレイヤが違和感を抱くことを防止することができる。
【０２１５】
図１９は、図１８に示す変形例におけるゲーム処理の流れを示すフローチャートである。なお、図１９において、図１７に示す処理と同じ処理については図１７と同じステップ番号を付し、詳細な説明を省略する。
【０２１６】
図１９においては、上記実施形態と同様にステップＳ３１〜Ｓ３５の処理が実行される。そして、ステップＳ３７の次にステップＳ５０の処理が実行される。ステップＳ５０において、ＣＰＵ１０は、テレビ２のスピーカ２ａに出力するためのテレビ用ゲーム音声を生成するための音声生成指示が作成される。作成された音声生成指示のデータはメインメモリに記憶される。上記ステップＳ５０の次にステップＳ３７の処理が実行される。
【０２１７】
また、本変形例においては、ステップＳ３７の処理の次にステップＳ５１の処理が実行される。ステップＳ５１において、ＣＰＵ１０は、画像待機時間および音声待機時間に応じたゲーム画像およびゲーム音声をテレビ２へ送信する。具体的には、ゲーム画像に関しては、ＣＰＵ１０は、ステップＳ３４で生成された最新のテレビ用ゲーム画像をテレビ２へ出力する。一方、ゲーム音声に関しては、ＣＰＵ１０は、ステップＳ５０で記憶されてから上記差分時間が経過した音声生成指示をＤＳＰ１１ｃに送り、ＤＳＰ１１ｃにテレビ用ゲーム音声を生成させる。これによって、テレビ２においては、画面に表示されるゲーム画像とスピーカ２ａから出力されるゲーム音声との同期がとられることになる。なお、テレビ用ゲーム画像およびテレビ用ゲーム音声をゲーム装置３からテレビ２へ出力する際の処理は、上記実施形態と同様である。ステップＳ５１の次にステップＳ３９の処理が実行される。
【０２１８】
なお、本変形例におけるステップＳ３９においては、ＣＰＵ１０は、上記実施形態と同様の処理を実行してもよいが、テレビ用ゲーム音声が遅れて出力されることに対応するべく、テレビ用ゲーム音声との同期をとるように端末用ゲーム音声の出力タイミングを調整してもよい。具体的には、ＣＰＵ１０は、ステップＳ３７で記憶されてから画像待機時間（音声待機時間と差分時間との和）が経過した音声生成指示をＤＳＰ１１ｃに送り、ＤＳＰ１１ｃに端末用ゲーム音声を生成させるようにしてもよい。これによれば、本変形例においてもテレビ用ゲーム音声と端末用ゲーム音声との同期をとることができる。
【０２１９】
なお、上記の変形例においては、テレビ用ゲーム音声の出力タイミングに対してテレビ用ゲーム画像の表示タイミングが遅れる場合を例として説明したが、テレビ用ゲーム画像の表示タイミングに対してテレビ用ゲーム音声の出力タイミングが遅れる場合も、上記の変形例に準じた処理で同期をとることができる。すなわち、テレビ用ゲーム画像の表示タイミングに対してテレビ用ゲーム音声の出力タイミングが遅れる場合、上記ステップＳ５１において、ＣＰＵ１０は、ステップＳ３５で生成されてＶＲＡＭ１１ｄに記憶されてから差分時間が経過したテレビ用ゲーム画像をテレビ２へ出力すればよい。このとき、ゲーム音声については、ＣＰＵ１０は、上記実施形態と同様、ステップＳ３５の次のステップＳ３６においてテレビ用ゲーム音声を生成し、ステップＳ５１においてテレビ用ゲーム音声をテレビ２へ出力すればよい。以上のように、ＣＰＵ１０は、テレビ２に表示されるゲーム画像と、テレビ２のスピーカ２ａに出力させるためのゲーム音声とが同期するように、当該ゲーム音声をゲーム装置３が出力するタイミングと、当該ゲーム画像をゲーム装置３が出力するタイミングとの少なくともいずれかを画像遅延時間および音声遅延時間に基づいて遅らせるようにしてもよい。
【０２２０】
また、上記の変形例においては、ゲーム装置３は、テレビ２におけるゲーム画像とゲーム音声との同期をとるだけでなく、テレビ２と端末装置７との間で同期をとるようにした。ここで、他の実施形態においては、テレビ２におけるゲーム画像とゲーム音声との同期をとり、テレビ２と端末装置７との間では同期をとらないようにしてもよい。つまり、本実施形態における遅延測定方法は、テレビ２におけるゲーム画像とゲーム音声との同期をとるのみの目的で用いられてもよい。
【０２２１】
（遅延測定方法の用途に関する変形例）
ゲームにおいては、ゲーム画像の表示やゲーム音声の出力に応じてシビアなタイミングでゲーム操作を行うことが要求されることがある。そのため、上記実施形態における遅延測定方法は、特にゲーム装置やゲームシステム、ゲームプログラム等、ゲーム用途に適用することが特に有効である。ただし、上記実施形態における遅延測定方法は、ゲーム用途に限らず、任意の画像および／または音声をテレビ２と端末装置７に表示（出力）させる場合に適用可能である。また、上記実施形態においては、入力された画像に対して画質向上等のための映像処理が行われる表示装置の例としてテレビ２を挙げて説明したが、上記実施形態における遅延測定方法は、当該映像処理を行う任意の表示装置に対して適用することができる。
【０２２２】
（遅延測定システムの構成に関する変形例）
上記実施形態においては、表示装置における表示遅延を測定するための遅延測定システムの例として、２つの表示装置（テレビ２および端末装置７）と、１つのゲーム装置３と、１つのコントローラ５とを含むゲームシステム１を挙げて説明した。ここで、ゲームシステム１は、ゲーム装置３および可搬型表示装置（端末装置７）を含んでいればよい。すなわち、テレビ２は汎用のものでよいので、ゲーム装置３および端末装置７とともにゲームシステム１として提供されなくてもよい。また、ゲームシステム１は、操作装置として複数のコントローラ５を含んでいてもよいし、コントローラ５を含まない構成であってもよい。
【０２２３】
また、他の実施形態においては、ゲーム装置は複数であってもよい。このとき、ゲームシステム１において実行される一連の情報処理は、特定の１つのゲーム装置によって実行されてもよいし、各ゲーム装置によって情報処理が分担されて実行されてもよい。また、各表示装置（テレビ２および端末装置７）は、特定の１つのゲーム装置と通信を行うようにしてもよいし、それぞれ別個のゲーム装置と通信を行うようにしてもよい。
【０２２４】
（ゲーム処理を実行する情報処理装置に関する変形例）
上記実施形態においては、ゲームシステム１において実行される一連の情報処理をゲーム装置３が実行したが、当該情報処理の一部は他の装置によって実行されてもよい。例えば、他の実施形態においては、ゲーム処理の一部（例えば、端末用ゲーム画像の生成処理）を端末装置７が実行するようにしてもよい。また、他の実施形態では、互いに通信可能な複数の情報処理装置を有するゲームシステムにおいて、当該複数の情報処理装置が上記情報処理を分担して実行するようにしてもよい。
【産業上の利用可能性】
【０２２５】
以上のように、本発明は、テレビ等の表示装置に画像や音声を出力する場合に生じる遅延を測定すること、あるいは、遅延により生じる問題を解消または低減すること等を目的として、例えばゲームシステムやゲーム装置、ゲームプログラム等として利用することが可能である。
【符号の説明】
【０２２６】
１ ゲームシステム
２ テレビ
２ａ スピーカ
３ ゲーム装置
４ 光ディスク
５ コントローラ
６ マーカ装置
７ 端末装置
１０ ＣＰＵ
１１ｅ 内部メインメモリ
１２ 外部メインメモリ
５１ ＬＣＤ
５６ カメラ
６７ スピーカ
６９ マイク
【特許請求の範囲】
【請求項１】
ゲーム装置と、可搬型表示装置とを含むゲームシステムであって、
前記ゲーム装置は、
ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する画像生成部と、
前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム画像を逐次出力する画像出力部と、
前記第２ゲーム画像を逐次圧縮して圧縮画像データを逐次生成する画像圧縮部と、
前記圧縮画像データを前記可搬型表示装置へ無線で逐次送信する画像送信部とを備え、
前記可搬型表示装置は、
撮像部と、
前記ゲーム装置から前記圧縮画像データを逐次受信する画像受信部と、
前記圧縮画像データを逐次伸張して前記第２ゲーム画像を得る画像伸張部と、
前記画像伸張部によって伸張された第２ゲーム画像を逐次表示する表示部と、
前記撮像部が撮像した撮像画像を圧縮した圧縮撮像データを前記ゲーム装置へ送信する撮像データ送信部とを備え、
前記ゲーム装置はさらに、
前記圧縮撮像データを受信して伸張して撮像画像を得る撮像データ受信部と、
前記撮像データ受信部によって伸張された撮像画像に所定の第１ゲーム画像が含まれるか否かを判定する画像判定部と、
撮像画像に所定の第１ゲーム画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記画像出力部が前記所定の第１ゲーム画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記画像出力部が前記所定の第１ゲーム画像を出力してから前記所定の表示装置に当該所定の第１ゲーム画像が表示されるまでの画像遅延時間を算出する画像遅延算出部と、
前記画像遅延時間に基づいて、前記第２ゲーム画像が前記可搬型表示装置へ送信されるタイミングを遅らせる画像送信制御部とを備える、ゲームシステム。
【請求項２】
前記所定の表示装置はスピーカを備えており、
前記ゲーム装置はさらに、
前記ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する音声生成部と、
前記所定の表示装置へ前記第１ゲーム音声を出力する音声出力部と、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信部とを備え、
前記可搬型表示装置は、
前記ゲーム装置から前記第２ゲーム音声を受信する音声受信部と、
前記第２ゲーム音声を出力するスピーカと、
マイクと、
前記マイクによる検出音を前記ゲーム装置へ送信する検出音送信部とを備え、
前記ゲーム装置はさらに、
前記検出音を受信する検出音受信部と、
前記検出音受信部によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する音判定部と、
検出音に前記所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の第１ゲーム音声を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の第１ゲーム音声を出力してから前記所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する音声遅延算出部と、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御部とを備える、請求項１に記載のゲームシステム。
【請求項３】
前記画像生成部は、前記可搬型表示装置の撮像部を前記所定の表示装置の画面の方へ向ける旨の通知を表す画像を前記第１ゲーム画像または前記第２ゲーム画像として生成し、前記所定の表示装置または前記可搬型表示装置に当該画像が表示された後で、前記所定の第１ゲーム画像を生成して前記所定の表示装置に表示させる、請求項１または請求項２に記載のゲームシステム。
【請求項４】
前記ゲーム装置はさらに、複数の第２ゲーム画像を記憶可能な記憶部を備え、
前記画像送信制御部は、前記画像生成部によって生成された第２ゲーム画像を前記記憶部に記憶し、生成から前記画像遅延時間に基づく待機時間が経過した第２ゲーム画像を前記画像送信部に送信させる、請求項１から請求項３のいずれか１項に記載のゲームシステム。
【請求項５】
前記画像送信制御部は、前記画像遅延時間と、前記第２ゲーム画像が生成されてから前記可搬型表示装置に表示されるまでの時間とに基づいて、前記第２ゲーム画像を前記可搬型表示装置へ送信するまでの待機時間を算出する、請求項１から請求項４に記載のゲームシステム。
【請求項６】
ゲーム装置と、可搬型表示装置とを含むゲームシステムであって、
前記ゲーム装置は、
ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する音声生成部と、
スピーカを備える表示装置であって、前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム音声を出力する音声出力部と、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信部とを備え、
前記可搬型表示装置は、
マイクと、
前記ゲーム装置から前記第２ゲーム音声を受信する音声受信部と、
前記第２ゲーム音声を出力するスピーカと、
前記マイクによる検出音を前記ゲーム装置へ送信する検出音送信部とを備え、
前記ゲーム装置はさらに、
前記検出音を受信する検出音受信部と、
前記検出音受信部によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する音判定部と、
検出音に前記所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の第１ゲーム音声を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の第１ゲーム音声を出力してから前記所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する遅延算出部と、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御部とを備える、ゲームシステム。
【請求項７】
入力された画像に対して所定の映像処理を行ってから当該画像を表示する所定の表示装置の表示遅延を測定する遅延測定システムであって、
前記所定の表示装置と通信可能な情報処理装置と、当該情報処理装置と無線通信可能な可搬型の端末装置とを含み、
前記情報処理装置は、
所定の画像を生成する画像生成部と、
前記所定の表示装置へ前記所定の画像を出力する第１画像出力部とを備え、
前記端末装置は、
撮像部と、
前記撮像部が撮像した撮像画像を送信する撮像画像送信部とを備え、
前記情報処理装置はさらに、
前記撮像画像を受信する撮像画像受信部と、
前記撮像画像に前記所定の画像が含まれるか否かを判定する画像判定部と、
撮像画像に前記所定の画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記第１画像出力部が前記所定の画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記第１画像出力部が前記所定の画像を出力してから前記所定の表示装置に当該所定の画像が表示されるまでの画像遅延時間を算出する画像遅延算出部とを備える、遅延測定システム。
【請求項８】
前記画像生成部は、前記所定の表示装置に表示するための第１画像と、前記端末装置に表示するための第２画像とを逐次生成し、
前記第１画像出力部は、前記所定の表示装置へ前記第１画像を逐次出力し、
前記情報処理装置はさらに、
前記第２画像を前記端末装置へ逐次出力する第２画像出力部とを備え、
前記端末装置はさらに、
前記情報処理装置から前記第２画像を逐次受信する画像受信部と、
前記受信された第２画像を逐次表示する表示部とを備え、
前記情報処理装置は、前記画像遅延時間に基づいて、前記第２画像が前記端末装置へ出力されるタイミングを遅らせる画像出力制御部をさらに備える、請求項７に記載の遅延測定システム。
【請求項９】
前記情報処理装置はさらに、
前記所定の表示装置に出力するための第１音声と、前記端末装置に出力するための第２音声とを生成する音声生成部と、
前記所定の表示装置へ前記第１音声を出力する第１音声出力部と、
前記端末装置へ前記第２音声を出力する第２音声出力部とを備え、
前記端末装置はさらに、
前記情報処理装置から前記第２音声を受信する音声受信部と、
前記第２音声を出力するスピーカとを備え、
前記情報処理装置は、前記画像遅延時間に基づいて、前記第２音声が前記端末装置へ出力されるタイミングを遅らせる音声出力制御部をさらに備える、請求項８に記載の遅延測定システム。
【請求項１０】
前記所定の表示装置はスピーカを備えており、
前記情報処理装置はさらに、
所定の音を生成する音声生成部と、
前記所定の表示装置へ前記所定の音を出力する音声出力部とを備え、
前記端末装置は、
マイクと、
前記マイクによる検出音を前記情報処理装置へ送信する検出音送信部とを備え、
前記情報処理装置はさらに、
前記検出音を受信する検出音受信部と、
前記検出音受信部によって受信された検出音に前記所定の音が含まれるか否かを判定する音判定部と、
検出音に前記所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の音を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の音を出力してから前記所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する音声遅延算出部と、
前記所定の表示装置に表示される画像と、当該所定の表示装置のスピーカに出力させるための音とが同期するように、当該音を前記音声出力部が出力するタイミングと、当該画像を前記第１画像出力部が出力するタイミングとの少なくともいずれかを前記画像遅延時間および前記音声遅延時間に基づいて遅らせる出力制御部とを備える、請求項７に記載の遅延測定システム。
【請求項１１】
所定の表示装置が備えるスピーカの音声出力遅延を測定する遅延測定システムであって、
前記所定の表示装置と通信可能な情報処理装置と、当該情報処理装置と無線通信可能な可搬型の端末装置とを含み、
前記情報処理装置は、
所定の音を生成する音声生成部と、
前記所定の表示装置へ前記所定の音を出力する第１音声出力部とを備え、
前記端末装置は、
マイクと、
前記マイクによる検出音を前記情報処理装置へ送信する検出音送信部とを備え、
前記情報処理装置はさらに、
前記検出音を受信する検出音受信部と、
前記検出音受信部によって受信された検出音に前記所定の音が含まれるか否かを判定する音判定部と、
検出音に前記所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の音を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の音を出力してから前記所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する音声遅延算出部とを備える、遅延測定システム。
【請求項１２】
前記音声生成部は、前記所定の表示装置に出力するための第１音声と、前記端末装置に出力するための第２音声とを生成し、
前記第１音声出力部は、前記所定の表示装置へ前記第１音声を出力し、
前記情報処理装置はさらに、
前記第２音声を前記端末装置へ出力する第２音声出力部とを備え、
前記端末装置はさらに、
前記情報処理装置から前記第２音声を受信する音声受信部と、
前記受信された第２音声を出力するスピーカとを備え、
前記情報処理装置は、前記音声遅延時間に基づいて、前記第２音声が前記端末装置へ出力されるタイミングを遅らせる音声出力制御部をさらに備える、請求項１１に記載の遅延測定システム。
【請求項１３】
前記情報処理装置はさらに、
前記所定の表示装置に表示するための第１画像と、前記端末装置に表示するための第２画像とを逐次生成する画像生成部と、
前記所定の表示装置へ前記第１画像を逐次出力する第１画像出力部と、
前記端末装置へ前記第２画像を逐次出力する第２画像出力部とを備え、
前記端末装置はさらに、
前記情報処理装置から前記第２画像を逐次受信する画像受信部と、
前記受信された第２画像を逐次表示する表示部とを備え、
前記情報処理装置は、前記画像遅延時間に基づいて、前記第２画像が前記端末装置へ出力されるタイミングを遅らせる画像出力制御部をさらに備える、請求項１２に記載の遅延測定システム。
【請求項１４】
ゲーム装置と、撮像部を備える可搬型表示装置とを含むゲームシステムにおいて実行される画像表示方法であって、
前記ゲーム装置は、
所定のテスト画像を生成するテスト画像生成ステップと、
前記可搬型表示装置とは異なる所定の表示装置へ前記テスト画像を出力するテスト画像出力ステップとを実行し、
前記可搬型表示装置は、
前記所定の表示装置の画面を前記撮像部によって撮像する撮像ステップと、
前記撮像部が撮像した撮像画像を圧縮した圧縮撮像データを前記ゲーム装置へ送信する撮像データ送信ステップとを実行し、
前記ゲーム装置はさらに、
前記圧縮撮像データを受信して伸張して撮像画像を得る撮像データ受信ステップと、
前記撮像データ受信ステップにおいて伸張された撮像画像に前記テスト画像が含まれるか否かを判定する画像判定ステップと、
撮像画像に前記テスト画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記テスト画像出力ステップにおいて前記テスト画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記テスト画像出力ステップにおいて前記テスト画像を出力してから前記所定の表示装置に当該テスト画像が表示されるまでの画像遅延時間を算出する画像遅延算出ステップと、
ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成するゲーム画像生成ステップと、
前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム画像を逐次出力するゲーム画像出力ステップと、
前記画像遅延時間に基づいて、前記第２ゲーム画像が前記可搬型表示装置へ送信されるタイミングを遅らせる画像送信制御ステップと、
前記第２ゲーム画像を逐次圧縮して圧縮画像データを逐次生成する画像圧縮ステップと、
前記圧縮画像データを前記可搬型表示装置へ無線で逐次送信する画像送信ステップとを実行し、
前記可搬型表示装置はさらに、
前記ゲーム装置から前記圧縮画像データを逐次受信する画像受信ステップと、
前記圧縮画像データを逐次伸張して前記第２ゲーム画像を得る画像伸張ステップと、
前記画像伸張ステップにおいて伸張された第２ゲーム画像を逐次表示する表示ステップとを実行する、画像表示方法。
【請求項１５】
前記所定の表示装置はスピーカを備えており、
前記ゲーム装置はさらに、
所定のテスト音声を生成するテスト音声生成ステップと、
前記所定の表示装置へ前記テスト音声を出力するテスト音声出力ステップとを実行し、
前記可搬型表示装置は、
マイクによって音を検出する音検出ステップと、
前記マイクによる検出音を前記ゲーム装置へ送信する検出音送信ステップとを実行し、
前記ゲーム装置はさらに、
前記検出音を受信する検出音受信ステップと、
前記検出音受信ステップにおいて受信された検出音に前記テスト音声が含まれるか否かを判定する音判定ステップと、
検出音に前記テスト音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記テスト音声出力ステップにおいて前記テスト音声を出力したタイミングと、前記音検出ステップにおいて当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記テスト音声出力ステップにおいて前記テスト音声を出力してから前記所定の表示装置のスピーカによって当該テスト音声が出力されるまでの音声遅延時間を算出する音声遅延算出ステップと、
前記ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成するゲーム音声生成ステップと、
前記所定の表示装置へ前記第１ゲーム音声を出力する第１ゲーム音声出力ステップと、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御ステップと、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信ステップとを実行し、
前記可搬型表示装置は、
前記ゲーム装置から前記第２ゲーム音声を受信する音声受信ステップと、
前記第２ゲーム音声をスピーカから出力する第２音声出力ステップとを実行する、請求項１４に記載の画像表示方法。
【請求項１６】
前記テスト画像生成ステップにおいて、前記ゲーム装置は、前記可搬型表示装置の撮像部を前記所定の表示装置の画面の方へ向ける旨の通知を表す画像を生成し、前記所定の表示装置または前記可搬型表示装置に当該画像が表示された後で、前記テスト画像を生成して前記所定の表示装置に表示させる、請求項１４または請求項１５に記載の画像表示方法。
【請求項１７】
前記ゲーム装置は、複数の第２ゲーム画像を記憶可能な記憶部を備え、
前記画像送信制御ステップにおいて、前記ゲーム装置は、前記ゲーム画像生成ステップにおいて生成された第２ゲーム画像を前記記憶部に記憶し、
前記画像送信ステップにおいて、前記ゲーム装置は、生成から前記画像遅延時間に基づく待機時間が経過した第２ゲーム画像を送信させる、請求項１４から請求項１６のいずれか１項に記載の画像表示方法。
【請求項１８】
前記画像送信制御ステップにおいて、前記ゲーム装置は、前記画像遅延時間と、前記第２ゲーム画像が生成されてから前記可搬型表示装置に表示されるまでの時間とに基づいて、前記第２ゲーム画像を前記可搬型表示装置へ送信するまでの待機時間を算出する、請求項１４から請求項１７に記載の画像表示方法。
【請求項１９】
ゲーム装置と、可搬型表示装置とを含むゲームシステムにおいて実行される音声出力方法であって、
前記ゲーム装置は、
所定のテスト音声を生成するテスト音声生成ステップと、
スピーカを備える表示装置であって、前記可搬型表示装置とは異なる所定の表示装置へ前記テスト音声を出力するテスト音声出力ステップとを実行し、
前記可搬型表示装置は、
マイクによって音を検出する音検出ステップと、
前記マイクによる検出音を前記ゲーム装置へ送信する検出音送信ステップとを実行し、
前記ゲーム装置はさらに、
前記検出音を受信する検出音受信ステップと、
前記検出音受信ステップにおいて受信された検出音に前記テスト音声が含まれるか否かを判定する音判定ステップと、
検出音に前記テスト音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記テスト音声出力ステップにおいて前記テスト音声を出力したタイミングと、前記音検出ステップにおいて当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記テスト音声出力ステップにおいて前記テスト音声を出力してから前記所定の表示装置のスピーカによって当該テスト音声が出力されるまでの音声遅延時間を算出する音声遅延算出ステップと、
前記ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成するゲーム音声生成ステップと、
前記所定の表示装置へ前記第１ゲーム音声を出力する第１ゲーム音声出力ステップと、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御ステップと、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信ステップとを実行し、
前記可搬型表示装置は、
前記ゲーム装置から前記第２ゲーム音声を受信する音声受信ステップと、
前記第２ゲーム音声をスピーカから出力する第２音声出力ステップとを実行する、音声出力方法。
【請求項２０】
入力された画像に対して所定の映像処理を行ってから当該画像を表示する所定の表示装置の表示遅延を測定する遅延測定方法であって、
前記所定の表示装置と通信可能な情報処理装置は、
所定のテスト画像を生成する第１画像生成ステップと、
前記所定の表示装置へ前記テスト画像を出力する第１画像出力ステップとを実行し、
前記情報処理装置と無線通信可能な可搬型の端末装置は、
前記所定の表示装置の画面を撮像部によって撮像する撮像ステップと、
前記撮像部が撮像した撮像画像を送信する撮像画像送信ステップとを実行し、
前記情報処理装置はさらに、
前記撮像画像を受信する撮像画像受信ステップと、
前記撮像画像に前記テスト画像が含まれるか否かを判定する画像判定ステップと、
撮像画像に前記テスト画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記第１画像出力ステップが前記テスト画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記第１画像出力ステップが前記テスト画像を出力してから前記所定の表示装置に当該テスト画像が表示されるまでの画像遅延時間を算出する画像遅延算出ステップとを実行する、遅延測定方法。
【請求項２１】
前記情報処理装置は、
前記所定の表示装置に表示するための第１画像と、前記端末装置に表示するための第２画像とを逐次生成する第２画像生成ステップと、
前記所定の表示装置へ前記第１画像を逐次出力する第２画像出力ステップと、
前記画像遅延時間に基づいて、前記第２画像が前記端末装置へ出力されるタイミングを遅らせる画像出力制御ステップと、
前記第２画像を前記端末装置へ逐次出力する第３画像出力ステップとを実行し、
前記端末装置はさらに、
前記情報処理装置から前記第２画像を逐次受信する画像受信ステップと、
前記受信された第２画像を逐次表示する表示ステップとを実行する、請求項２０に記載の遅延測定方法。
【請求項２２】
前記情報処理装置はさらに、
前記所定の表示装置に出力するための第１音声と、前記端末装置に出力するための第２音声とを生成する音声生成ステップと、
前記所定の表示装置へ前記第１音声を出力する第１音声出力ステップと、
前記画像遅延時間に基づいて、前記第２音声が前記端末装置へ出力されるタイミングを遅らせる音声出力制御ステップと、
前記端末装置へ前記第２音声を出力する第２音声出力ステップとを実行し、
前記端末装置はさらに、
前記情報処理装置から前記第２音声を受信する音声受信ステップと、
前記第２音声をスピーカから出力する発音ステップとを実行する、請求項２１に記載の遅延測定方法。
【請求項２３】
前記所定の表示装置はスピーカを備えており、
前記情報処理装置はさらに、
所定のテスト音声を生成するテスト音声生成ステップと、
前記所定の表示装置へ前記テスト音声を出力するテスト音声出力ステップとを実行し、
前記端末装置は、
マイクによって音を検出する音検出ステップと、
前記マイクによる検出音を前記情報処理装置へ送信する検出音送信ステップとを実行し、
前記情報処理装置はさらに、
前記検出音を受信する検出音受信ステップと、
前記検出音受信ステップにおいて受信された検出音に前記テスト音声が含まれるか否かを判定する音判定ステップと、
検出音に前記テスト音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記テスト音声出力ステップにおいて前記テスト音声を出力したタイミングと、前記音検出ステップにおいて当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記テスト音声出力ステップにおいて前記テスト音声を出力してから前記所定の表示装置のスピーカによって当該テスト音声が出力されるまでの音声遅延時間を算出する音声遅延算出ステップと、
前記所定の表示装置に表示される画像と、当該所定の表示装置のスピーカに出力させるための音とが同期するように、当該音を当該スピーカが出力するタイミングと、当該画像を前記表示装置が出力するタイミングとの少なくともいずれかを前記画像遅延時間および前記音声遅延時間に基づいて遅らせる出力制御ステップとを実行する、請求項２０に記載の遅延測定方法。
【請求項２４】
所定の表示装置が備えるスピーカの音声出力遅延を測定する遅延測定方法であって、
前記所定の表示装置と通信可能な情報処理装置は、
所定のテスト音声を生成する第１音声生成ステップと、
前記所定の表示装置へ前記所定の音を出力する第１音声出力ステップとを実行し、
前記情報処理装置と無線通信可能な可搬型の端末装置は、
マイクによって音を検出する音検出ステップと、
前記マイクによる検出音を前記情報処理装置へ送信する検出音送信ステップとを実行し、
前記情報処理装置はさらに、
前記検出音を受信する検出音受信ステップと、
前記検出音受信ステップにおいて受信された検出音に前記テスト音声が含まれるか否かを判定する音判定ステップと、
検出音に前記テスト音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記第１音声出力ステップにおいて前記テスト音声を出力したタイミングと、前記音検出ステップにおいて当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記第１音声出力ステップにおいて前記テスト音声を出力してから前記所定の表示装置のスピーカによって当該テスト音声が出力されるまでの音声遅延時間を算出する音声遅延算出ステップとを実行する、遅延測定方法。
【請求項２５】
前記情報処理装置はさらに、
前記所定の表示装置に出力するための第１音声と、前記端末装置に出力するための第２音声とを生成する第２音声生成ステップと、
前記所定の表示装置へ前記第１音声を出力する第２音声出力ステップと、
前記音声遅延時間に基づいて、前記第２音声が前記端末装置へ出力されるタイミングを遅らせる音声出力制御ステップと、
前記第２音声を前記端末装置へ出力する第３音声出力ステップとを実行し、
前記端末装置はさらに、
前記情報処理装置から前記第２音声を受信する音声受信ステップと、
前記受信された第２音声をスピーカから出力する発音ステップとを実行する、請求項２４に記載の遅延測定方法。
【請求項２６】
前記情報処理装置はさらに、
前記所定の表示装置に表示するための第１画像と、前記端末装置に表示するための第２画像とを逐次生成する画像生成ステップと、
前記所定の表示装置へ前記第１画像を逐次出力する第１画像出力ステップと、
前記画像遅延時間に基づいて、前記第２画像が前記端末装置へ出力されるタイミングを遅らせる画像出力制御ステップと、
前記端末装置へ前記第２画像を逐次出力する第２画像出力ステップとを実行し、
前記端末装置はさらに、
前記情報処理装置から前記第２画像を逐次受信する画像受信ステップと、
前記受信された第２画像を逐次表示する表示ステップとを実行する、請求項２５に記載の遅延測定方法。
【請求項２７】
可搬型表示装置と通信可能なゲーム装置であって、
ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する画像生成部と、
前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム画像を逐次出力する画像出力部と、
前記第２ゲーム画像を逐次圧縮して圧縮画像データを逐次生成する画像圧縮部と、
前記圧縮画像データを前記可搬型表示装置へ無線で逐次送信する画像送信部と、
前記可搬型表示装置の撮像部が撮像した撮像画像を圧縮した圧縮撮像データを前記可搬型表示装置から受信し、受信した圧縮画像データを伸張して撮像画像を得る撮像データ受信部と、
前記撮像データ受信部によって伸張された撮像画像に所定の第１ゲーム画像が含まれるか否かを判定する画像判定部と、
撮像画像に所定の第１ゲーム画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記画像出力部が前記所定の第１ゲーム画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記画像出力部が前記所定の第１ゲーム画像を出力してから前記所定の表示装置に当該所定の第１ゲーム画像が表示されるまでの画像遅延時間を算出する画像遅延算出部と、
前記画像遅延時間に基づいて、前記第２ゲーム画像が前記可搬型表示装置へ送信されるタイミングを遅らせる画像送信制御部とを備える、ゲーム装置。
【請求項２８】
可搬型表示装置と通信可能なゲーム装置であって、
ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する音声生成部と、
スピーカを備える表示装置であって、前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム音声を出力する音声出力部と、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信部と、
前記可搬型表示装置のマイクによる検出音を前記可搬型表示装置から受信する検出音受信部と、
前記検出音受信部によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する音判定部と、
検出音に前記所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の第１ゲーム音声を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の第１ゲーム音声を出力してから前記所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する遅延算出部と、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御部とを備える、ゲーム装置。
【請求項２９】
入力された画像に対して所定の映像処理を行ってから当該画像を表示する所定の表示装置の表示遅延を測定する遅延測定システムにおいて用いられる情報処理装置であって、
所定の画像を生成する画像生成部と、
前記所定の表示装置へ前記所定の画像を出力する第１画像出力部と、
前記情報処理装置と無線通信可能な可搬型の端末装置の撮像部が撮像した撮像画像を受信する撮像画像受信部と、
前記撮像画像に前記所定の画像が含まれるか否かを判定する画像判定部と、
撮像画像に前記所定の画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記第１画像出力部が前記所定の画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記第１画像出力部が前記所定の画像を出力してから前記所定の表示装置に当該所定の画像が表示されるまでの画像遅延時間を算出する画像遅延算出部とを備える、情報処理装置。
【請求項３０】
所定の表示装置が備えるスピーカの音声出力遅延を測定する遅延測定システムにおいて用いられる情報処理装置であって、
所定の音を生成する音声生成部と、
前記所定の表示装置へ前記所定の音を出力する第１音声出力部とを備え、
前記情報処理装置と無線通信可能な可搬型の端末装置のマイクによる検出音を前記端末装置から受信する検出音受信部と、
前記検出音受信部によって受信された検出音に前記所定の音が含まれるか否かを判定する音判定部と、
検出音に前記所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の音を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の音を出力してから前記所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する音声遅延算出部とを備える、情報処理装置。
【請求項３１】
可搬型表示装置と通信可能なゲーム装置のコンピュータにおいて実行されるゲームプログラムであって、
ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する画像生成手段と、
前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム画像を逐次出力する画像出力手段と、
前記第２ゲーム画像を前記可搬型表示装置へ無線で逐次送信する画像送信手段と、
前記可搬型表示装置の撮像部が撮像した撮像画像を前記可搬型表示装置から受信する撮像データ受信手段と、
前記撮像データ受信手段によって受信された撮像画像に所定の第１ゲーム画像が含まれるか否かを判定する画像判定手段と、
撮像画像に所定の第１ゲーム画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記画像出力手段が前記所定の第１ゲーム画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記画像出力手段が前記所定の第１ゲーム画像を出力してから前記所定の表示装置に当該所定の第１ゲーム画像が表示されるまでの画像遅延時間を算出する画像遅延算出手段と、
前記画像遅延時間に基づいて、前記第２ゲーム画像が前記可搬型表示装置へ送信されるタイミングを遅らせる画像送信制御手段として前記コンピュータを機能させる、ゲームプログラム。
【請求項３２】
可搬型表示装置と通信可能なゲーム装置のコンピュータにおいて実行されるゲームプログラムであって、
ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する音声生成手段と、
スピーカを備える表示装置であって、前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム音声を出力する音声出力手段と、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信手段と、
前記可搬型表示装置のマイクによる検出音を前記可搬型表示装置から受信する検出音受信手段と、
前記検出音受信手段によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する音判定手段と、
検出音に前記所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力手段が前記所定の第１ゲーム音声を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力手段が前記所定の第１ゲーム音声を出力してから前記所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する遅延算出手段と、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御手段として前記コンピュータを機能させる、ゲームプログラム。
【請求項３３】
入力された画像に対して所定の映像処理を行ってから当該画像を表示する所定の表示装置の表示遅延を測定する遅延測定システムにおいて用いられる情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
所定の画像を生成する画像生成手段と、
前記所定の表示装置へ前記所定の画像を出力する第１画像出力手段と、
前記情報処理装置と無線通信可能な可搬型の端末装置の撮像部が撮像した撮像画像を受信する撮像画像受信手段と、
前記撮像画像に前記所定の画像が含まれるか否かを判定する画像判定手段と、
撮像画像に前記所定の画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記第１画像出力手段が前記所定の画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記第１画像出力手段が前記所定の画像を出力してから前記所定の表示装置に当該所定の画像が表示されるまでの画像遅延時間を算出する画像遅延算出手段として前記コンピュータを機能させる、情報処理プログラム。
【請求項３４】
所定の表示装置が備えるスピーカの音声出力遅延を測定する遅延測定システムにおいて用いられる情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
所定の音を生成する音声生成手段と、
前記所定の表示装置へ前記所定の音を出力する第１音声出力手段とを備え、
前記情報処理装置と無線通信可能な可搬型の端末装置のマイクによる検出音を前記端末装置から受信する検出音受信手段と、
前記検出音受信手段によって受信された検出音に前記所定の音が含まれるか否かを判定する音判定手段と、
検出音に前記所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力手段が前記所定の音を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力手段が前記所定の音を出力してから前記所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する音声遅延算出手段として前記コンピュータを機能させる、情報処理プログラム。
【請求項１】
ゲーム装置と、可搬型表示装置とを含むゲームシステムであって、
前記ゲーム装置は、
ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する画像生成部と、
前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム画像を逐次出力する画像出力部と、
前記第２ゲーム画像を逐次圧縮して圧縮画像データを逐次生成する画像圧縮部と、
前記圧縮画像データを前記可搬型表示装置へ無線で逐次送信する画像送信部とを備え、
前記可搬型表示装置は、
撮像部と、
前記ゲーム装置から前記圧縮画像データを逐次受信する画像受信部と、
前記圧縮画像データを逐次伸張して前記第２ゲーム画像を得る画像伸張部と、
前記画像伸張部によって伸張された第２ゲーム画像を逐次表示する表示部と、
前記撮像部が撮像した撮像画像を圧縮した圧縮撮像データを前記ゲーム装置へ送信する撮像データ送信部とを備え、
前記ゲーム装置はさらに、
前記圧縮撮像データを受信して伸張して撮像画像を得る撮像データ受信部と、
前記撮像データ受信部によって伸張された撮像画像に所定の第１ゲーム画像が含まれるか否かを判定する画像判定部と、
撮像画像に所定の第１ゲーム画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記画像出力部が前記所定の第１ゲーム画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記画像出力部が前記所定の第１ゲーム画像を出力してから前記所定の表示装置に当該所定の第１ゲーム画像が表示されるまでの画像遅延時間を算出する画像遅延算出部と、
前記画像遅延時間に基づいて、前記第２ゲーム画像が前記可搬型表示装置へ送信されるタイミングを遅らせる画像送信制御部とを備える、ゲームシステム。
【請求項２】
前記所定の表示装置はスピーカを備えており、
前記ゲーム装置はさらに、
前記ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する音声生成部と、
前記所定の表示装置へ前記第１ゲーム音声を出力する音声出力部と、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信部とを備え、
前記可搬型表示装置は、
前記ゲーム装置から前記第２ゲーム音声を受信する音声受信部と、
前記第２ゲーム音声を出力するスピーカと、
マイクと、
前記マイクによる検出音を前記ゲーム装置へ送信する検出音送信部とを備え、
前記ゲーム装置はさらに、
前記検出音を受信する検出音受信部と、
前記検出音受信部によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する音判定部と、
検出音に前記所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の第１ゲーム音声を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の第１ゲーム音声を出力してから前記所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する音声遅延算出部と、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御部とを備える、請求項１に記載のゲームシステム。
【請求項３】
前記画像生成部は、前記可搬型表示装置の撮像部を前記所定の表示装置の画面の方へ向ける旨の通知を表す画像を前記第１ゲーム画像または前記第２ゲーム画像として生成し、前記所定の表示装置または前記可搬型表示装置に当該画像が表示された後で、前記所定の第１ゲーム画像を生成して前記所定の表示装置に表示させる、請求項１または請求項２に記載のゲームシステム。
【請求項４】
前記ゲーム装置はさらに、複数の第２ゲーム画像を記憶可能な記憶部を備え、
前記画像送信制御部は、前記画像生成部によって生成された第２ゲーム画像を前記記憶部に記憶し、生成から前記画像遅延時間に基づく待機時間が経過した第２ゲーム画像を前記画像送信部に送信させる、請求項１から請求項３のいずれか１項に記載のゲームシステム。
【請求項５】
前記画像送信制御部は、前記画像遅延時間と、前記第２ゲーム画像が生成されてから前記可搬型表示装置に表示されるまでの時間とに基づいて、前記第２ゲーム画像を前記可搬型表示装置へ送信するまでの待機時間を算出する、請求項１から請求項４に記載のゲームシステム。
【請求項６】
ゲーム装置と、可搬型表示装置とを含むゲームシステムであって、
前記ゲーム装置は、
ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する音声生成部と、
スピーカを備える表示装置であって、前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム音声を出力する音声出力部と、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信部とを備え、
前記可搬型表示装置は、
マイクと、
前記ゲーム装置から前記第２ゲーム音声を受信する音声受信部と、
前記第２ゲーム音声を出力するスピーカと、
前記マイクによる検出音を前記ゲーム装置へ送信する検出音送信部とを備え、
前記ゲーム装置はさらに、
前記検出音を受信する検出音受信部と、
前記検出音受信部によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する音判定部と、
検出音に前記所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の第１ゲーム音声を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の第１ゲーム音声を出力してから前記所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する遅延算出部と、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御部とを備える、ゲームシステム。
【請求項７】
入力された画像に対して所定の映像処理を行ってから当該画像を表示する所定の表示装置の表示遅延を測定する遅延測定システムであって、
前記所定の表示装置と通信可能な情報処理装置と、当該情報処理装置と無線通信可能な可搬型の端末装置とを含み、
前記情報処理装置は、
所定の画像を生成する画像生成部と、
前記所定の表示装置へ前記所定の画像を出力する第１画像出力部とを備え、
前記端末装置は、
撮像部と、
前記撮像部が撮像した撮像画像を送信する撮像画像送信部とを備え、
前記情報処理装置はさらに、
前記撮像画像を受信する撮像画像受信部と、
前記撮像画像に前記所定の画像が含まれるか否かを判定する画像判定部と、
撮像画像に前記所定の画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記第１画像出力部が前記所定の画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記第１画像出力部が前記所定の画像を出力してから前記所定の表示装置に当該所定の画像が表示されるまでの画像遅延時間を算出する画像遅延算出部とを備える、遅延測定システム。
【請求項８】
前記画像生成部は、前記所定の表示装置に表示するための第１画像と、前記端末装置に表示するための第２画像とを逐次生成し、
前記第１画像出力部は、前記所定の表示装置へ前記第１画像を逐次出力し、
前記情報処理装置はさらに、
前記第２画像を前記端末装置へ逐次出力する第２画像出力部とを備え、
前記端末装置はさらに、
前記情報処理装置から前記第２画像を逐次受信する画像受信部と、
前記受信された第２画像を逐次表示する表示部とを備え、
前記情報処理装置は、前記画像遅延時間に基づいて、前記第２画像が前記端末装置へ出力されるタイミングを遅らせる画像出力制御部をさらに備える、請求項７に記載の遅延測定システム。
【請求項９】
前記情報処理装置はさらに、
前記所定の表示装置に出力するための第１音声と、前記端末装置に出力するための第２音声とを生成する音声生成部と、
前記所定の表示装置へ前記第１音声を出力する第１音声出力部と、
前記端末装置へ前記第２音声を出力する第２音声出力部とを備え、
前記端末装置はさらに、
前記情報処理装置から前記第２音声を受信する音声受信部と、
前記第２音声を出力するスピーカとを備え、
前記情報処理装置は、前記画像遅延時間に基づいて、前記第２音声が前記端末装置へ出力されるタイミングを遅らせる音声出力制御部をさらに備える、請求項８に記載の遅延測定システム。
【請求項１０】
前記所定の表示装置はスピーカを備えており、
前記情報処理装置はさらに、
所定の音を生成する音声生成部と、
前記所定の表示装置へ前記所定の音を出力する音声出力部とを備え、
前記端末装置は、
マイクと、
前記マイクによる検出音を前記情報処理装置へ送信する検出音送信部とを備え、
前記情報処理装置はさらに、
前記検出音を受信する検出音受信部と、
前記検出音受信部によって受信された検出音に前記所定の音が含まれるか否かを判定する音判定部と、
検出音に前記所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の音を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の音を出力してから前記所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する音声遅延算出部と、
前記所定の表示装置に表示される画像と、当該所定の表示装置のスピーカに出力させるための音とが同期するように、当該音を前記音声出力部が出力するタイミングと、当該画像を前記第１画像出力部が出力するタイミングとの少なくともいずれかを前記画像遅延時間および前記音声遅延時間に基づいて遅らせる出力制御部とを備える、請求項７に記載の遅延測定システム。
【請求項１１】
所定の表示装置が備えるスピーカの音声出力遅延を測定する遅延測定システムであって、
前記所定の表示装置と通信可能な情報処理装置と、当該情報処理装置と無線通信可能な可搬型の端末装置とを含み、
前記情報処理装置は、
所定の音を生成する音声生成部と、
前記所定の表示装置へ前記所定の音を出力する第１音声出力部とを備え、
前記端末装置は、
マイクと、
前記マイクによる検出音を前記情報処理装置へ送信する検出音送信部とを備え、
前記情報処理装置はさらに、
前記検出音を受信する検出音受信部と、
前記検出音受信部によって受信された検出音に前記所定の音が含まれるか否かを判定する音判定部と、
検出音に前記所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の音を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の音を出力してから前記所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する音声遅延算出部とを備える、遅延測定システム。
【請求項１２】
前記音声生成部は、前記所定の表示装置に出力するための第１音声と、前記端末装置に出力するための第２音声とを生成し、
前記第１音声出力部は、前記所定の表示装置へ前記第１音声を出力し、
前記情報処理装置はさらに、
前記第２音声を前記端末装置へ出力する第２音声出力部とを備え、
前記端末装置はさらに、
前記情報処理装置から前記第２音声を受信する音声受信部と、
前記受信された第２音声を出力するスピーカとを備え、
前記情報処理装置は、前記音声遅延時間に基づいて、前記第２音声が前記端末装置へ出力されるタイミングを遅らせる音声出力制御部をさらに備える、請求項１１に記載の遅延測定システム。
【請求項１３】
前記情報処理装置はさらに、
前記所定の表示装置に表示するための第１画像と、前記端末装置に表示するための第２画像とを逐次生成する画像生成部と、
前記所定の表示装置へ前記第１画像を逐次出力する第１画像出力部と、
前記端末装置へ前記第２画像を逐次出力する第２画像出力部とを備え、
前記端末装置はさらに、
前記情報処理装置から前記第２画像を逐次受信する画像受信部と、
前記受信された第２画像を逐次表示する表示部とを備え、
前記情報処理装置は、前記画像遅延時間に基づいて、前記第２画像が前記端末装置へ出力されるタイミングを遅らせる画像出力制御部をさらに備える、請求項１２に記載の遅延測定システム。
【請求項１４】
ゲーム装置と、撮像部を備える可搬型表示装置とを含むゲームシステムにおいて実行される画像表示方法であって、
前記ゲーム装置は、
所定のテスト画像を生成するテスト画像生成ステップと、
前記可搬型表示装置とは異なる所定の表示装置へ前記テスト画像を出力するテスト画像出力ステップとを実行し、
前記可搬型表示装置は、
前記所定の表示装置の画面を前記撮像部によって撮像する撮像ステップと、
前記撮像部が撮像した撮像画像を圧縮した圧縮撮像データを前記ゲーム装置へ送信する撮像データ送信ステップとを実行し、
前記ゲーム装置はさらに、
前記圧縮撮像データを受信して伸張して撮像画像を得る撮像データ受信ステップと、
前記撮像データ受信ステップにおいて伸張された撮像画像に前記テスト画像が含まれるか否かを判定する画像判定ステップと、
撮像画像に前記テスト画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記テスト画像出力ステップにおいて前記テスト画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記テスト画像出力ステップにおいて前記テスト画像を出力してから前記所定の表示装置に当該テスト画像が表示されるまでの画像遅延時間を算出する画像遅延算出ステップと、
ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成するゲーム画像生成ステップと、
前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム画像を逐次出力するゲーム画像出力ステップと、
前記画像遅延時間に基づいて、前記第２ゲーム画像が前記可搬型表示装置へ送信されるタイミングを遅らせる画像送信制御ステップと、
前記第２ゲーム画像を逐次圧縮して圧縮画像データを逐次生成する画像圧縮ステップと、
前記圧縮画像データを前記可搬型表示装置へ無線で逐次送信する画像送信ステップとを実行し、
前記可搬型表示装置はさらに、
前記ゲーム装置から前記圧縮画像データを逐次受信する画像受信ステップと、
前記圧縮画像データを逐次伸張して前記第２ゲーム画像を得る画像伸張ステップと、
前記画像伸張ステップにおいて伸張された第２ゲーム画像を逐次表示する表示ステップとを実行する、画像表示方法。
【請求項１５】
前記所定の表示装置はスピーカを備えており、
前記ゲーム装置はさらに、
所定のテスト音声を生成するテスト音声生成ステップと、
前記所定の表示装置へ前記テスト音声を出力するテスト音声出力ステップとを実行し、
前記可搬型表示装置は、
マイクによって音を検出する音検出ステップと、
前記マイクによる検出音を前記ゲーム装置へ送信する検出音送信ステップとを実行し、
前記ゲーム装置はさらに、
前記検出音を受信する検出音受信ステップと、
前記検出音受信ステップにおいて受信された検出音に前記テスト音声が含まれるか否かを判定する音判定ステップと、
検出音に前記テスト音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記テスト音声出力ステップにおいて前記テスト音声を出力したタイミングと、前記音検出ステップにおいて当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記テスト音声出力ステップにおいて前記テスト音声を出力してから前記所定の表示装置のスピーカによって当該テスト音声が出力されるまでの音声遅延時間を算出する音声遅延算出ステップと、
前記ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成するゲーム音声生成ステップと、
前記所定の表示装置へ前記第１ゲーム音声を出力する第１ゲーム音声出力ステップと、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御ステップと、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信ステップとを実行し、
前記可搬型表示装置は、
前記ゲーム装置から前記第２ゲーム音声を受信する音声受信ステップと、
前記第２ゲーム音声をスピーカから出力する第２音声出力ステップとを実行する、請求項１４に記載の画像表示方法。
【請求項１６】
前記テスト画像生成ステップにおいて、前記ゲーム装置は、前記可搬型表示装置の撮像部を前記所定の表示装置の画面の方へ向ける旨の通知を表す画像を生成し、前記所定の表示装置または前記可搬型表示装置に当該画像が表示された後で、前記テスト画像を生成して前記所定の表示装置に表示させる、請求項１４または請求項１５に記載の画像表示方法。
【請求項１７】
前記ゲーム装置は、複数の第２ゲーム画像を記憶可能な記憶部を備え、
前記画像送信制御ステップにおいて、前記ゲーム装置は、前記ゲーム画像生成ステップにおいて生成された第２ゲーム画像を前記記憶部に記憶し、
前記画像送信ステップにおいて、前記ゲーム装置は、生成から前記画像遅延時間に基づく待機時間が経過した第２ゲーム画像を送信させる、請求項１４から請求項１６のいずれか１項に記載の画像表示方法。
【請求項１８】
前記画像送信制御ステップにおいて、前記ゲーム装置は、前記画像遅延時間と、前記第２ゲーム画像が生成されてから前記可搬型表示装置に表示されるまでの時間とに基づいて、前記第２ゲーム画像を前記可搬型表示装置へ送信するまでの待機時間を算出する、請求項１４から請求項１７に記載の画像表示方法。
【請求項１９】
ゲーム装置と、可搬型表示装置とを含むゲームシステムにおいて実行される音声出力方法であって、
前記ゲーム装置は、
所定のテスト音声を生成するテスト音声生成ステップと、
スピーカを備える表示装置であって、前記可搬型表示装置とは異なる所定の表示装置へ前記テスト音声を出力するテスト音声出力ステップとを実行し、
前記可搬型表示装置は、
マイクによって音を検出する音検出ステップと、
前記マイクによる検出音を前記ゲーム装置へ送信する検出音送信ステップとを実行し、
前記ゲーム装置はさらに、
前記検出音を受信する検出音受信ステップと、
前記検出音受信ステップにおいて受信された検出音に前記テスト音声が含まれるか否かを判定する音判定ステップと、
検出音に前記テスト音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記テスト音声出力ステップにおいて前記テスト音声を出力したタイミングと、前記音検出ステップにおいて当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記テスト音声出力ステップにおいて前記テスト音声を出力してから前記所定の表示装置のスピーカによって当該テスト音声が出力されるまでの音声遅延時間を算出する音声遅延算出ステップと、
前記ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成するゲーム音声生成ステップと、
前記所定の表示装置へ前記第１ゲーム音声を出力する第１ゲーム音声出力ステップと、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御ステップと、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信ステップとを実行し、
前記可搬型表示装置は、
前記ゲーム装置から前記第２ゲーム音声を受信する音声受信ステップと、
前記第２ゲーム音声をスピーカから出力する第２音声出力ステップとを実行する、音声出力方法。
【請求項２０】
入力された画像に対して所定の映像処理を行ってから当該画像を表示する所定の表示装置の表示遅延を測定する遅延測定方法であって、
前記所定の表示装置と通信可能な情報処理装置は、
所定のテスト画像を生成する第１画像生成ステップと、
前記所定の表示装置へ前記テスト画像を出力する第１画像出力ステップとを実行し、
前記情報処理装置と無線通信可能な可搬型の端末装置は、
前記所定の表示装置の画面を撮像部によって撮像する撮像ステップと、
前記撮像部が撮像した撮像画像を送信する撮像画像送信ステップとを実行し、
前記情報処理装置はさらに、
前記撮像画像を受信する撮像画像受信ステップと、
前記撮像画像に前記テスト画像が含まれるか否かを判定する画像判定ステップと、
撮像画像に前記テスト画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記第１画像出力ステップが前記テスト画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記第１画像出力ステップが前記テスト画像を出力してから前記所定の表示装置に当該テスト画像が表示されるまでの画像遅延時間を算出する画像遅延算出ステップとを実行する、遅延測定方法。
【請求項２１】
前記情報処理装置は、
前記所定の表示装置に表示するための第１画像と、前記端末装置に表示するための第２画像とを逐次生成する第２画像生成ステップと、
前記所定の表示装置へ前記第１画像を逐次出力する第２画像出力ステップと、
前記画像遅延時間に基づいて、前記第２画像が前記端末装置へ出力されるタイミングを遅らせる画像出力制御ステップと、
前記第２画像を前記端末装置へ逐次出力する第３画像出力ステップとを実行し、
前記端末装置はさらに、
前記情報処理装置から前記第２画像を逐次受信する画像受信ステップと、
前記受信された第２画像を逐次表示する表示ステップとを実行する、請求項２０に記載の遅延測定方法。
【請求項２２】
前記情報処理装置はさらに、
前記所定の表示装置に出力するための第１音声と、前記端末装置に出力するための第２音声とを生成する音声生成ステップと、
前記所定の表示装置へ前記第１音声を出力する第１音声出力ステップと、
前記画像遅延時間に基づいて、前記第２音声が前記端末装置へ出力されるタイミングを遅らせる音声出力制御ステップと、
前記端末装置へ前記第２音声を出力する第２音声出力ステップとを実行し、
前記端末装置はさらに、
前記情報処理装置から前記第２音声を受信する音声受信ステップと、
前記第２音声をスピーカから出力する発音ステップとを実行する、請求項２１に記載の遅延測定方法。
【請求項２３】
前記所定の表示装置はスピーカを備えており、
前記情報処理装置はさらに、
所定のテスト音声を生成するテスト音声生成ステップと、
前記所定の表示装置へ前記テスト音声を出力するテスト音声出力ステップとを実行し、
前記端末装置は、
マイクによって音を検出する音検出ステップと、
前記マイクによる検出音を前記情報処理装置へ送信する検出音送信ステップとを実行し、
前記情報処理装置はさらに、
前記検出音を受信する検出音受信ステップと、
前記検出音受信ステップにおいて受信された検出音に前記テスト音声が含まれるか否かを判定する音判定ステップと、
検出音に前記テスト音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記テスト音声出力ステップにおいて前記テスト音声を出力したタイミングと、前記音検出ステップにおいて当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記テスト音声出力ステップにおいて前記テスト音声を出力してから前記所定の表示装置のスピーカによって当該テスト音声が出力されるまでの音声遅延時間を算出する音声遅延算出ステップと、
前記所定の表示装置に表示される画像と、当該所定の表示装置のスピーカに出力させるための音とが同期するように、当該音を当該スピーカが出力するタイミングと、当該画像を前記表示装置が出力するタイミングとの少なくともいずれかを前記画像遅延時間および前記音声遅延時間に基づいて遅らせる出力制御ステップとを実行する、請求項２０に記載の遅延測定方法。
【請求項２４】
所定の表示装置が備えるスピーカの音声出力遅延を測定する遅延測定方法であって、
前記所定の表示装置と通信可能な情報処理装置は、
所定のテスト音声を生成する第１音声生成ステップと、
前記所定の表示装置へ前記所定の音を出力する第１音声出力ステップとを実行し、
前記情報処理装置と無線通信可能な可搬型の端末装置は、
マイクによって音を検出する音検出ステップと、
前記マイクによる検出音を前記情報処理装置へ送信する検出音送信ステップとを実行し、
前記情報処理装置はさらに、
前記検出音を受信する検出音受信ステップと、
前記検出音受信ステップにおいて受信された検出音に前記テスト音声が含まれるか否かを判定する音判定ステップと、
検出音に前記テスト音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記第１音声出力ステップにおいて前記テスト音声を出力したタイミングと、前記音検出ステップにおいて当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記第１音声出力ステップにおいて前記テスト音声を出力してから前記所定の表示装置のスピーカによって当該テスト音声が出力されるまでの音声遅延時間を算出する音声遅延算出ステップとを実行する、遅延測定方法。
【請求項２５】
前記情報処理装置はさらに、
前記所定の表示装置に出力するための第１音声と、前記端末装置に出力するための第２音声とを生成する第２音声生成ステップと、
前記所定の表示装置へ前記第１音声を出力する第２音声出力ステップと、
前記音声遅延時間に基づいて、前記第２音声が前記端末装置へ出力されるタイミングを遅らせる音声出力制御ステップと、
前記第２音声を前記端末装置へ出力する第３音声出力ステップとを実行し、
前記端末装置はさらに、
前記情報処理装置から前記第２音声を受信する音声受信ステップと、
前記受信された第２音声をスピーカから出力する発音ステップとを実行する、請求項２４に記載の遅延測定方法。
【請求項２６】
前記情報処理装置はさらに、
前記所定の表示装置に表示するための第１画像と、前記端末装置に表示するための第２画像とを逐次生成する画像生成ステップと、
前記所定の表示装置へ前記第１画像を逐次出力する第１画像出力ステップと、
前記画像遅延時間に基づいて、前記第２画像が前記端末装置へ出力されるタイミングを遅らせる画像出力制御ステップと、
前記端末装置へ前記第２画像を逐次出力する第２画像出力ステップとを実行し、
前記端末装置はさらに、
前記情報処理装置から前記第２画像を逐次受信する画像受信ステップと、
前記受信された第２画像を逐次表示する表示ステップとを実行する、請求項２５に記載の遅延測定方法。
【請求項２７】
可搬型表示装置と通信可能なゲーム装置であって、
ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する画像生成部と、
前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム画像を逐次出力する画像出力部と、
前記第２ゲーム画像を逐次圧縮して圧縮画像データを逐次生成する画像圧縮部と、
前記圧縮画像データを前記可搬型表示装置へ無線で逐次送信する画像送信部と、
前記可搬型表示装置の撮像部が撮像した撮像画像を圧縮した圧縮撮像データを前記可搬型表示装置から受信し、受信した圧縮画像データを伸張して撮像画像を得る撮像データ受信部と、
前記撮像データ受信部によって伸張された撮像画像に所定の第１ゲーム画像が含まれるか否かを判定する画像判定部と、
撮像画像に所定の第１ゲーム画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記画像出力部が前記所定の第１ゲーム画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記画像出力部が前記所定の第１ゲーム画像を出力してから前記所定の表示装置に当該所定の第１ゲーム画像が表示されるまでの画像遅延時間を算出する画像遅延算出部と、
前記画像遅延時間に基づいて、前記第２ゲーム画像が前記可搬型表示装置へ送信されるタイミングを遅らせる画像送信制御部とを備える、ゲーム装置。
【請求項２８】
可搬型表示装置と通信可能なゲーム装置であって、
ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する音声生成部と、
スピーカを備える表示装置であって、前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム音声を出力する音声出力部と、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信部と、
前記可搬型表示装置のマイクによる検出音を前記可搬型表示装置から受信する検出音受信部と、
前記検出音受信部によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する音判定部と、
検出音に前記所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の第１ゲーム音声を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の第１ゲーム音声を出力してから前記所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する遅延算出部と、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御部とを備える、ゲーム装置。
【請求項２９】
入力された画像に対して所定の映像処理を行ってから当該画像を表示する所定の表示装置の表示遅延を測定する遅延測定システムにおいて用いられる情報処理装置であって、
所定の画像を生成する画像生成部と、
前記所定の表示装置へ前記所定の画像を出力する第１画像出力部と、
前記情報処理装置と無線通信可能な可搬型の端末装置の撮像部が撮像した撮像画像を受信する撮像画像受信部と、
前記撮像画像に前記所定の画像が含まれるか否かを判定する画像判定部と、
撮像画像に前記所定の画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記第１画像出力部が前記所定の画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記第１画像出力部が前記所定の画像を出力してから前記所定の表示装置に当該所定の画像が表示されるまでの画像遅延時間を算出する画像遅延算出部とを備える、情報処理装置。
【請求項３０】
所定の表示装置が備えるスピーカの音声出力遅延を測定する遅延測定システムにおいて用いられる情報処理装置であって、
所定の音を生成する音声生成部と、
前記所定の表示装置へ前記所定の音を出力する第１音声出力部とを備え、
前記情報処理装置と無線通信可能な可搬型の端末装置のマイクによる検出音を前記端末装置から受信する検出音受信部と、
前記検出音受信部によって受信された検出音に前記所定の音が含まれるか否かを判定する音判定部と、
検出音に前記所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力部が前記所定の音を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力部が前記所定の音を出力してから前記所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する音声遅延算出部とを備える、情報処理装置。
【請求項３１】
可搬型表示装置と通信可能なゲーム装置のコンピュータにおいて実行されるゲームプログラムであって、
ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する画像生成手段と、
前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム画像を逐次出力する画像出力手段と、
前記第２ゲーム画像を前記可搬型表示装置へ無線で逐次送信する画像送信手段と、
前記可搬型表示装置の撮像部が撮像した撮像画像を前記可搬型表示装置から受信する撮像データ受信手段と、
前記撮像データ受信手段によって受信された撮像画像に所定の第１ゲーム画像が含まれるか否かを判定する画像判定手段と、
撮像画像に所定の第１ゲーム画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記画像出力手段が前記所定の第１ゲーム画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記画像出力手段が前記所定の第１ゲーム画像を出力してから前記所定の表示装置に当該所定の第１ゲーム画像が表示されるまでの画像遅延時間を算出する画像遅延算出手段と、
前記画像遅延時間に基づいて、前記第２ゲーム画像が前記可搬型表示装置へ送信されるタイミングを遅らせる画像送信制御手段として前記コンピュータを機能させる、ゲームプログラム。
【請求項３２】
可搬型表示装置と通信可能なゲーム装置のコンピュータにおいて実行されるゲームプログラムであって、
ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する音声生成手段と、
スピーカを備える表示装置であって、前記可搬型表示装置とは異なる所定の表示装置へ前記第１ゲーム音声を出力する音声出力手段と、
前記第２ゲーム音声を前記可搬型表示装置へ無線で送信する音声送信手段と、
前記可搬型表示装置のマイクによる検出音を前記可搬型表示装置から受信する検出音受信手段と、
前記検出音受信手段によって受信された検出音に所定の第１ゲーム音声が含まれるか否かを判定する音判定手段と、
検出音に前記所定の第１ゲーム音声が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力手段が前記所定の第１ゲーム音声を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力手段が前記所定の第１ゲーム音声を出力してから前記所定の表示装置のスピーカによって当該第１ゲーム音声が出力されるまでの音声遅延時間を算出する遅延算出手段と、
前記音声遅延時間に基づいて、前記第２ゲーム音声が前記可搬型表示装置へ送信されるタイミングを遅らせる音声送信制御手段として前記コンピュータを機能させる、ゲームプログラム。
【請求項３３】
入力された画像に対して所定の映像処理を行ってから当該画像を表示する所定の表示装置の表示遅延を測定する遅延測定システムにおいて用いられる情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
所定の画像を生成する画像生成手段と、
前記所定の表示装置へ前記所定の画像を出力する第１画像出力手段と、
前記情報処理装置と無線通信可能な可搬型の端末装置の撮像部が撮像した撮像画像を受信する撮像画像受信手段と、
前記撮像画像に前記所定の画像が含まれるか否かを判定する画像判定手段と、
撮像画像に前記所定の画像が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記第１画像出力手段が前記所定の画像を出力したタイミングと、前記撮像部が当該撮像画像を撮像してから当該判定が行われるまでの処理時間とに基づいて、前記第１画像出力手段が前記所定の画像を出力してから前記所定の表示装置に当該所定の画像が表示されるまでの画像遅延時間を算出する画像遅延算出手段として前記コンピュータを機能させる、情報処理プログラム。
【請求項３４】
所定の表示装置が備えるスピーカの音声出力遅延を測定する遅延測定システムにおいて用いられる情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
所定の音を生成する音声生成手段と、
前記所定の表示装置へ前記所定の音を出力する第１音声出力手段とを備え、
前記情報処理装置と無線通信可能な可搬型の端末装置のマイクによる検出音を前記端末装置から受信する検出音受信手段と、
前記検出音受信手段によって受信された検出音に前記所定の音が含まれるか否かを判定する音判定手段と、
検出音に前記所定の音が含まれるとの判定が行われた場合、当該判定が行われたタイミングと、前記音声出力手段が前記所定の音を出力したタイミングと、前記マイクが当該検出音を検出してから当該判定が行われるまでの処理時間とに基づいて、前記音声出力手段が前記所定の音を出力してから前記所定の表示装置のスピーカによって当該所定の音が出力されるまでの音声遅延時間を算出する音声遅延算出手段として前記コンピュータを機能させる、情報処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１３９４４８（Ｐ２０１２−１３９４４８Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−５５１（Ｐ２０１１−５５１）
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
[ Back to top ]