ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法

【課題】画面に表示される仮想空間のリアリティを向上する。
【解決手段】ゲームシステムは、ゲーム装置と、当該ゲーム装置と通信可能な端末装置とを含む。端末装置は、撮像部による撮像画像をゲーム装置へ送信する。ゲーム装置は、撮像画像を受信し、所定の仮想空間を第１仮想カメラから見た画像と、撮像画像の少なくとも一部とを合成した第１画像を生成する。第１画像は所定の表示装置へ出力されて表示される。また、ゲーム装置は、第１仮想カメラとは異なる第２仮想カメラから仮想空間を見た第２画像を生成する。第２画像は端末装置へ出力されて表示される。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等で撮像された撮像画像をゲーム等に用いるゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法に関する。
【背景技術】
【０００２】
従来、カメラ等で撮像された撮像画像をゲームに用いる技術がある。例えば、特許文献１には、カメラを備えたゲーム装置が開示されている。このゲーム装置は、カメラによって撮像された撮像画像をゲーム画像の一部として用いることが可能である。例えば、ゲーム装置は、ゲームをプレイ中であるプレイヤの顔をカメラで撮影し、撮像画像をゲーム入力としてゲーム処理に用いたり、ゲーム終了後に撮像画像を表示したりする。これによって、プレイヤは、撮像画像をゲーム操作に用いたり、ゲーム中の自分の表情をゲーム終了後に見たりして楽しむことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４２５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来においては、撮像画像をゲーム画像として用いることは行われていたが、撮像画像により表される現実空間と、ゲーム装置において構築される仮想空間とを関連付けるような表示は十分ではなかった。例えば、特許文献１では、撮像画像の上にオブジェクト等を合成して表示することは行われているが、画面に表示される仮想空間が実際に画面の奥に存在するかのような感覚をプレイヤに与えることはできず、仮想空間のリアリティは十分とは言えない場合があった。
【０００５】
それ故、本発明の目的は、画面に表示される仮想空間のリアリティを向上することが可能なゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の（１）〜（１４）の構成を採用した。
【０００７】
（１）
本発明の一例は、ゲーム装置と、当該ゲーム装置と通信可能な端末装置とを含むゲームシステムである。
端末装置は、撮像部と、送信部と、表示部とを備える。送信部は、撮像部による撮像画像をゲーム装置へ送信する。表示部は、ゲーム装置から出力された画像を表示する。
ゲーム装置は、受信部と、第１画像生成部と、第１画像出力部と、第２画像生成部と、第２画像出力部とを備える。受信部は、撮像画像を受信する。第１画像生成部は、所定の仮想空間を第１仮想カメラから見た画像と、撮像画像の少なくとも一部とを合成した第１画像を生成する。第１画像出力部は、第１画像を所定の表示装置へ出力する。第２画像生成部は、第１仮想カメラとは異なる第２仮想カメラから仮想空間を見た第２画像を生成する。第２画像出力部は、第２画像を端末装置へ出力する。
【０００８】
上記「ゲーム装置」は、上記の各部における処理を実行する装置であればどのようなものであってもよい。上記ゲーム装置は、ゲーム専用の情報処理装置であってもよいし、一般的なパーソナルコンピュータのような多用途の情報処理装置であってもよい。
上記「端末装置」は、撮像部および表示部を備え、ゲーム装置と通信可能な装置であり、後述する実施形態における端末装置７のように、操作装置の機能を有していてもよいし、有していなくてもよい。
上記「ゲームシステム」は、操作装置および情報処理装置を含んでいればよく、第１画像を表示する上記「所定の表示装置」を含んでいなくともよいし、含んでいてもよい。すなわち、入力システムは、当該所定の表示装置を含まない形態で提供されてもよいし、含む形態で提供されてもよい。
上記「第１画像」は、仮想空間を表す画像と、撮像画像の少なくとも一部とを含む画像であればよく、どのような方法で生成されてもよい。「第１画像」は、撮像画像が表す現実空間と仮想空間とが繋がっているかのように見えることが好ましく、例えば、仮想空間に撮像画像（の少なくとも一部）が配置された画像であってもよい。ここで、「仮想空間に撮像画像が配置された画像」とは、仮想空間に撮像画像が配置されたように見える画像であればよく、どのような方法で生成されてもよい。「第１画像」においては、撮像画像の上に（撮像画像の手前に）仮想空間のオブジェクトが表示されてもよいし、表示されなくてもよい。
上記「第２画像」は、第１仮想カメラとは異なる第２仮想カメラから見た仮想空間を表す。つまり、「第２画像」は、第１画像とは異なる視点から見た仮想空間を表す。
【０００９】
上記（１）の構成によれば、所定の表示装置に表示される第１画像は、仮想空間の画像と撮像画像とが合成された画像であるので、仮想空間から現実空間を見た画像となる。一方、端末装置に表示される第２画像は、第１画像とは異なる視点から見た仮想空間の画像であるので、現実空間から仮想空間を見た画像となる。これによって、仮想空間から現実空間を見た画像が所定の表示装置に表示され、現実空間から仮想空間を見た画像が端末装置に表示される。したがって、端末装置を把持するプレイヤは、これら２つの画像を見ることによって、仮想空間が現実空間と繋がっているような感覚を抱き、仮想空間が現実に存在するかのような感覚を抱く。プレイヤは、端末装置の画面の向こうに仮想空間が広がっているような感覚を明確に意識することができ、仮想空間をよりリアリティあるものとして認識することができる。すなわち、上記（１）の構成によれば、端末装置に仮想空間を表示するとともに、当該仮想空間を表す画像と撮像画像とを合成した画像を所定表示装置に表示することによって、仮想空間のリアリティを向上することができる。
【００１０】
（２）
ゲーム装置は、仮想カメラ設定部をさらに備えていてもよい。仮想カメラ設定部は、仮想空間内の所定面を一方側から撮影するように第１仮想カメラを設定するとともに、当該所定面を他方側から撮影するように第２仮想カメラを設定する。
【００１１】
上記「所定面」は、２つの仮想カメラの位置関係を特定するために用いられる概念であり、実際のゲーム処理において、所定面に対応するオブジェクトを配置する処理や、所定面の位置および／または姿勢を算出する処理が実行される必要はない。つまり、仮想カメラ設定部は、２つの仮想カメラを設定すればよく、所定面を配置する処理を実行しても良いし、実行しなくてもよい。
【００１２】
上記（２）の構成によれば、第２画像は、所定面をある側から見た仮想空間を表す画像となる一方、第１画像は、所定面を反対側から見た仮想空間を表し、仮想空間内に撮像画像を含む画像となる。このとき、第２画像における視線方向は、端末装置における画面の手前から奥へ向かう方向であり、プレイヤの視線方向と同じになる。一方、第１画像における視線方向は、端末装置に表示される仮想空間を基準として言えば、端末装置の画面の奥から手前へ向かう方向であり、プレイヤの視線方向とは概ね反対向きとなる。つまり、第１画像は、端末装置の画面の奥からプレイヤの方を見た画像となる。以上のように、上記（２）の構成によれば、端末装置には画面の手前から奥に向かう視線方向の画像が表示されるとともに、所定の表示装置には画面の奥から手前に向かう視線方向の画像が表示されるので、各画像によって表される仮想空間のリアリティをより向上することができる。
【００１３】
（３）
第１画像生成部は、撮像画像の少なくとも一部が所定面の位置に表示された第１画像を生成してもよい。
【００１４】
上記（３）の構成によれば、所定面の位置に撮像画像が表示されるので、プレイヤは、所定面を基準として第１仮想カメラの側に仮想空間が存在し、第２仮想カメラの側に現実空間があたかも存在するかのように認識する。これによって、プレイヤは、仮想空間と現実空間が所定面で繋がっているかのような感覚を味わうことができるので、仮想空間のリアリティをより向上することができる。
【００１５】
（４）
ゲーム装置は、撮像画像の少なくとも一部が描画される描画面を仮想空間内に配置する面配置部をさらに備えていてもよい。このとき、第１画像生成部は、描画面を含む仮想空間を表す第１画像を生成する。
【００１６】
上記「描画面」は、仮想空間における任意の面であり、後述する実施形態においては長方形の平面であるが、曲面であってもよく、どのような形状であってもよい。また、描画面の全領域に撮像画像が描画される必要はなく、描画面の一部に撮像画像が描画されてもよい。
【００１７】
上記（４）の構成によれば、仮想空間内に撮像画像（の少なくとも一部）が配置されたように見える第１画像を容易に生成することができる。
【００１８】
（５）
ゲーム装置は、撮像画像が描画される側から描画面を見た位置および姿勢となるように第１仮想カメラを設定する第１カメラ設定部をさらに備えていてもよい。
【００１９】
上記（５）の構成によれば、第１仮想カメラは、描画面を含む仮想空間を視野範囲に含むことになるので、仮想空間の画像と撮像画像とを合成した第１画像を容易に生成することができる。また、第１画像は、仮想空間と撮像画像が表す現実空間とがあたかも繋がっているかのように見えるので、仮想空間のリアリティをより向上することができる。
【００２０】
（６）
ゲーム装置は、撮像画像が描画される側の反対側から描画面を見た位置および姿勢となるように第２仮想カメラを設定する第２カメラ設定部をさらに備えていてもよい。
【００２１】
上記（６）の構成によれば、撮像画像を含まず、仮想空間を表す第２画像を容易に生成することができる。とくに、上記（５）の構成と上記（６）の構成とを組み合わせる場合には、仮想空間における描画面に関して第１仮想カメラと第２仮想カメラとの向きが概ね反対となるように設定される。これによって、上記（２）の構成と同様、端末装置には画面の手前から奥に向かう視線方向の画像が表示されるとともに、所定の表示装置には画面の奥から手前に向かう視線方向の画像が表示されるので、各画像によって表される仮想空間のリアリティをより向上することができる。
【００２２】
（７）
仮想空間内に配置される所定のオブジェクトの動作と、描画面に描画された撮像画像とに基づいて所定のゲーム処理を実行するゲーム処理部をさらに備えていてもよい。
【００２３】
上記（７）の構成によれば、所定のオブジェクトが撮像画像に対して何らかの動作を行った場合、プレイヤは、仮想空間内の当該オブジェクトが、撮像画像により表される現実空間に対して影響を与えている感覚を味わうことができる。これによれば、仮想空間と現実空間とが繋がっているかのような感覚をプレイヤにより強く抱かせることができ、仮想空間のリアリティをより向上させることができる。
【００２４】
（８）
ゲームシステムは、ゲーム装置と通信可能な操作装置をさらに含んでいてもよい。このとき、ゲーム処理部は、操作装置に対する操作に応じて所定のオブジェクトの動作を制御する。
【００２５】
上記（８）の構成によれば、端末装置を把持するプレイヤとは別の他のプレイヤが、操作装置を用いてゲームを行うことができる。特に、当該他のプレイヤは、所定のオブジェクトを操作することによって、仮想空間内の当該オブジェクトが、撮像画像により表される現実空間に対して影響を与えるような感覚を味わうことができる。
【００２６】
（９）
ゲーム装置は、認識処理部と、ゲーム制御処理部をさらに備えていてもよい。認識処理部は、撮像画像に対して画像認識処理を実行する。ゲーム制御処理部は、画像認識処理の結果に基づいて仮想空間に変化を与えるゲーム制御処理を実行する。
【００２７】
上記（９）の構成によれば、撮像画像に対する画像認識処理の結果に基づいて仮想空間に変化が与えられる。したがって、プレイヤは、撮像部によって撮像される内容を変化させることによって、ゲーム操作を行うことができる。プレイヤは、例えば表情を変化させたり顔の位置を動かしたりする等の動作をゲーム操作として行うことができる。ここで、撮像画像は仮想空間の画像とともに所定の表示装置に表示されるので、プレイヤのゲーム操作は、所定の表示装置に表示される仮想空間内の様子としても反映される。つまり、上記（９）の構成によれば、現実空間におけるプレイヤの動作が表示上反映されるとともに、動作に応じて仮想空間に変化が与えられるので、仮想空間のリアリティをより向上することができる。
【００２８】
（１０）
端末装置は、マイクをさらに備えていてもよい。このとき、送信部は、マイクによって検出された音のデータをゲーム装置へ送信する。このとき、ゲーム装置は、音のデータに基づいて仮想空間に変化を与えるゲーム制御処理を実行するゲーム制御処理部をさらに備える。
【００２９】
上記（１０）の構成によれば、マイクによって検出された音に基づいて仮想空間に変化が与えられる。したがって、プレイヤは、マイクに対して入力を行うことによって、ゲーム操作を行うことができる。
【００３０】
（１１）
送信部は、端末装置に対するプレイヤの操作を表す操作データをゲーム装置へ送信してもよい。このとき、ゲーム装置は、操作データに基づいて仮想空間に変化を与えるゲーム制御処理を実行するゲーム制御処理部をさらに備える。
【００３１】
上記（１１）の構成によれば、プレイヤは、端末装置を把持したままで容易にゲーム操作を行うことができる。
【００３２】
（１２）
端末装置は、当該端末装置の動きに関する情報を表す動きデータを出力するセンサ部をさらに備えていてもよい。このとき、送信部は、動きデータを含む操作データをゲーム装置へ送信する。
【００３３】
上記（１２）の構成によれば、プレイヤは端末装置を動かすことによってゲーム操作を行うことができ、直感的かつ容易な操作でゲームを行うことができる。
【００３４】
（１３）
端末装置は、表示部の画面上における入力位置を検出可能な位置検出部をさらに備えていてもよい。このとき、送信部は、位置検出部によって検出された位置のデータを含む操作データをゲーム装置へ送信する。
【００３５】
上記（１３）の構成によれば、端末装置の画面に表示される仮想空間を直接タッチすることによってゲーム操作を行うことができ、直感的かつ容易な操作でゲームを行うことができる。
【００３６】
（１４）
端末装置は、１以上の操作部材をさらに備えていてもよい。このとき、送信部は、操作部材に対するプレイヤの操作を表す操作データをゲーム装置へ送信する。
【００３７】
上記（１４）の構成によれば、プレイヤは、端末装置を把持したままで容易にゲーム操作を行うことができる。
【００３８】
なお、本発明の別の一例は、上記ゲームシステムに含まれる上記ゲーム装置であってもよいし、上記ゲーム装置における各部（受信部および各画像出力部が含まれなくてもよい）と同等の手段としてコンピュータを機能させるゲームプログラムであってもよい。さらに、本発明の別の一例は、上記のゲームシステムまたはゲーム装置において行われる画像生成方法の形態であってもよい。さらに、本発明の別の一例は、ゲーム用途に限らず、情報処理システム、情報処理装置、情報処理プログラムの形態であってもよいし、情報処理システムまたは情報処理装置において行われる画像生成方法であってもよい。
【発明の効果】
【００３９】
本発明によれば、仮想空間を第１仮想カメラから見た画像と、端末装置が備える撮像画像の少なくとも一部とを合成した第１画像を所定の表示装置に表示させるとともに、第１仮想カメラとは異なる第２仮想カメラから仮想空間を見た第２画像を端末装置に表示させる。これによって、撮像画像が表す現実空間と仮想空間とが繋がっているような感覚をプレイヤに与えることができ、仮想空間のリアリティを向上することができる。
【図面の簡単な説明】
【００４０】
【図１】ゲームシステム１の外観図
【図２】ゲーム装置３の内部構成を示すブロック図
【図３】コントローラ５の上側後方から見た斜視図
【図４】コントローラ５を下側前方から見た斜視図
【図５】コントローラ５の内部構造を示す図
【図６】コントローラ５の内部構造を示す図
【図７】コントローラ５の構成を示すブロック図
【図８】端末装置７の外観構成を示す図
【図９】ユーザが端末装置７を把持した様子を示す図
【図１０】端末装置７の内部構成を示すブロック図
【図１１】本実施形態において端末装置７に表示されるゲーム画像の一例を示す図
【図１２】本実施形態においてテレビ２に表示されるゲーム画像の一例を示す図
【図１３】端末用仮想カメラの側から見た場合の仮想空間を示す図
【図１４】テレビ用仮想カメラの側から見た場合の仮想空間を示す図
【図１５】ゲーム処理において用いられる各種データを示す図
【図１６】ゲーム装置３において実行されるゲーム処理の流れを示すメインフローチャート
【図１７】図１６に示す初期処理（ステップＳ１）の詳細な流れを示すフローチャート
【図１８】図１６に示すゲーム制御処理（ステップＳ３）の詳細な流れを示すフローチャート
【図１９】他の実施形態における撮像画像の描画方法を示す図
【図２０】本実施形態の変形例におけるゲーム制御処理の流れを示すフローチャート
【図２１】面および各仮想カメラの移動の一例を示す図
【図２２】本実施形態の他の変形例におけるゲーム制御処理の流れを示すフローチャート
【発明を実施するための形態】
【００４１】
［１．ゲームシステムの全体構成］
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５および／または端末装置７を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。
【００４２】
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
【００４３】
ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
【００４４】
テレビ２の画面の周辺（図１では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６はゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図１ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。
【００４５】
コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、本実施形態では、ゲームシステム１に含まれるコントローラ５は１つとするが、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。コントローラ５の詳細な構成については後述する。
【００４６】
端末装置７は、可搬型であり、ユーザが把持可能な程度の大きさである。ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示手段であるＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ：液晶表示装置）５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ６４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３で生成された画像（例えばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
【００４７】
［２．ゲーム装置３の内部構成］
次に、図２を参照して、ゲーム装置３の内部構成について説明する。図２は、ゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
【００４８】
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：ＲｅａｌＴｉｍｅＣｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。
【００４９】
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｏｒＵｎｉｔ）１１ｂ、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
【００５０】
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、ゲーム装置３は、テレビ２に表示する画像と、端末装置７に表示する画像との両方を生成する。以下では、テレビ２に表示される画像を「テレビ用画像」と呼び、端末装置７に表示される画像を「端末用画像」と呼ぶことがある。
【００５１】
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、テレビ２のスピーカから出力するゲーム音声と、端末装置７のスピーカから出力するゲーム音声との両方が生成される。以下では、テレビ２から出力される音声を「テレビ用音声」と呼び、端末装置７から出力される音声を「端末用音声」と呼ぶことがある。
【００５２】
上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２に出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａに出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。なお、ゲーム装置３とテレビ２との接続は、どのような方式で行われてもよいが、ゲーム装置３は、テレビ２を制御する制御指令を有線または無線でテレビ２へ送信するようにしてもよい。例えばＨＤＭＩ（Ｈｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）規格に則ったＨＤＭＩケーブルが用いられてもよい。ＨＤＭＩ規格では、ＣＥＣ（ＣｏｎｓｕｍｅｒＥｌｅｃｔｒｏｎｉｃｓＣｏｎｔｒｏｌ）と呼ばれる機能によって、接続相手の機器を制御することが可能である。したがって、ＨＤＭＩケーブルが用いられる場合のように、ゲーム装置３がテレビ２に対する制御が可能である場合には、ゲーム装置３は、適宜のタイミングでテレビ２の電源をオンにしたり、テレビ２の入力を切り替えたりすることができる。
【００５３】
また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。
【００５４】
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
【００５５】
ゲーム装置３は、インターネット等のネットワークに接続して外部の情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続可能であり、ネットワークに接続される他の装置と通信を行うことができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
【００５６】
また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００５７】
また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、本実施形態では、ゲーム装置３から端末装置７へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（ＭｕｌｔｉｐｌｅＩｎｐｕｔＭｕｌｔｉｐｌｅＯｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
【００５８】
また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。
【００５９】
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置７へ送信する。制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１０に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１０に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを端末装置７へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
【００６０】
また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａに出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａに出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００６１】
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
【００６２】
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【００６３】
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。
【００６４】
［３．コントローラ５の構成］
次に、図３〜図７を参照して、コントローラ５について説明する。図３および図４は、コントローラ５の外観構成を示す斜視図である。図３は、コントローラ５の上側後方から見た斜視図であり、図４は、コントローラ５を下側前方から見た斜視図である。
【００６５】
図３および図４において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。
【００６６】
ハウジング３１には、複数の操作ボタンが設けられる。図３に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ〜３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図４に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ〜３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。ホームボタン３２ｆおよび電源ボタン３２ｈは、その上面がハウジング３１の上面に埋没している。これによって、ユーザがホームボタン３２ｆまたは電源ボタン３２ｈを誤って押下することを防止することができる。
【００６７】
ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、コントローラ５に他の機器（例えば、他のセンサユニットやコントローラ）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。
【００６８】
ハウジング３１上面の後方には複数（図３では４つ）のＬＥＤ３４ａ〜３４ｄが設けられる。ここで、コントローラ５には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ〜３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いてゲーム操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ〜３４ｄのいずれか１つが点灯する。
【００６９】
また、コントローラ５は撮像情報演算部３５（図６）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。
【００７０】
ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、コントローラ５に内蔵されるスピーカ４７（図５）からの音を外部に放出するための音抜き孔３１ａが形成されている。
【００７１】
次に、図５および図６を参照して、コントローラ５の内部構造について説明する。図５および図６は、コントローラ５の内部構造を示す図である。なお、図５は、コントローラ５の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６は、コントローラ５の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６に示す斜視図は、図５に示す基板３０を裏面から見た斜視図となっている。
【００７２】
図５において、ハウジング３１の内部には基板３０が固設されており、当該基板３０の上主面上に各操作ボタン３２ａ〜３２ｈ、各ＬＥＤ３４ａ〜３４ｄ、加速度センサ３７、アンテナ４５、およびスピーカ４７等が設けられる。これらは、基板３０等に形成された配線（図示せず）によってマイクロコンピュータ（ＭｉｃｒｏＣｏｍｐｕｔｅｒ：マイコン）４２（図６参照）に接続される。本実施形態では、加速度センサ３７は、Ｘ軸方向に関してコントローラ５の中心からずれた位置に配置されている。これによって、コントローラ５をＺ軸回りに回転させたときのコントローラ５の動きが算出しやすくなる。また、加速度センサ３７は、長手方向（Ｚ軸方向）に関してコントローラ５の中心よりも前方に配置されている。また、無線モジュール４４（図６）およびアンテナ４５によって、コントローラ５がワイヤレスコントローラとして機能する。
【００７３】
一方、図６において、基板３０の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ５の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を備えている。これらの部材３８〜４１はそれぞれ基板３０の下主面に取り付けられる。
【００７４】
さらに、基板３０の下主面上には、上記マイコン４２およびバイブレータ４６が設けられている。バイブレータ４６は、例えば振動モータやソレノイドであり、基板３０等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータ４６が作動することによってコントローラ５に振動が発生する。これによって、コントローラ５を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。本実施形態では、バイブレータ４６は、ハウジング３１のやや前方寄りに配置される。つまり、バイブレータ４６がコントローラ５の中心よりも端側に配置することによって、バイブレータ４６の振動によりコントローラ５全体を大きく振動させることができる。また、コネクタ３３は、基板３０の下主面上の後端縁に取り付けられる。なお、図５および図６に示す他、コントローラ５は、マイコン４２の基本クロックを生成する水晶振動子、スピーカ４７に音声信号を出力するアンプ等を備えている。
【００７５】
なお、図３〜図６に示したコントローラ５の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、本実施形態では、撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。
【００７６】
図７は、コントローラ５の構成を示すブロック図である。コントローラ５は、操作部３２（各操作ボタン３２ａ〜３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。
【００７７】
操作部３２は、上述した各操作ボタン３２ａ〜３２ｉを含み、各操作ボタン３２ａ〜３２ｉに対する入力状態（各操作ボタン３２ａ〜３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。
【００７８】
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ５の動きでも追跡して解析することができる。
【００７９】
撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。
【００８０】
なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。
【００８１】
加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。例えば、２軸以上の多軸加速度センサの場合には、加速度センサの検出部に加わっている加速度として、各軸に沿った成分の加速度をそれぞれ検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（ＭｉｃｒｏＥｌｅｃｔｒｏＭｅｃｈａｎｉｃａｌＳｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。
【００８２】
本実施形態では、加速度センサ３７は、コントローラ５を基準とした上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。加速度センサ３７は、各軸に沿った直線方向に関する加速度を検出するものであるため、加速度センサ３７からの出力は３軸それぞれの直線加速度の値を表すものとなる。すなわち、検出された加速度は、コントローラ５を基準に設定されるＸＹＺ座標系（コントローラ座標系）における３次元のベクトルとして表される。
【００８３】
加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や移動に対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや移動を算出することができる。本実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。
【００８４】
なお、加速度センサ３７（後述する加速度センサ６３についても同様）から出力される加速度の信号に基づいて、ゲーム装置３のプロセッサ（例えばＣＰＵ１０）またはコントローラ５のプロセッサ（例えばマイコン４２）等のコンピュータが処理を行うことによって、コントローラ５に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサ３７を搭載するコントローラ５が静止状態であることを前提としてコンピュータ側の処理が実行される場合（すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理が実行される場合）、コントローラ５が現実に静止状態であれば、検出された加速度に基づいてコントローラ５の姿勢が重力方向に対して傾いているか否かまたはどの程度傾いているかを知ることができる。具体的には、加速度センサ３７の検出軸が鉛直下方向を向いている状態を基準としたとき、１Ｇ（重力加速度）がかかっているか否かによって、コントローラ５が基準に対して傾いているか否かを知ることができるし、その大きさによって基準に対してどの程度傾いているかも知ることができる。また、多軸の加速度センサ３７の場合には、さらに各軸の加速度の信号に対して処理を施すことによって、重力方向に対してコントローラ５がどの程度傾いているかをより詳細に知ることができる。この場合において、プロセッサは、加速度センサ３７からの出力に基づいてコントローラ５の傾斜角度を算出してもよいし、当該傾斜角度を算出せずに、コントローラ５の傾斜方向を算出するようにしてもよい。このように、加速度センサ３７をプロセッサと組み合わせて用いることによって、コントローラ５の傾斜角度または姿勢を判定することができる。
【００８５】
一方、コントローラ５が動的な状態（コントローラ５が動かされている状態）であることを前提とする場合には、加速度センサ３７は重力加速度に加えてコントローラ５の移動に応じた加速度を検出するので、検出された加速度から重力加速度の成分を所定の処理により除去することによってコントローラ５の移動方向を知ることができる。また、コントローラ５が動的な状態であることを前提とする場合であっても、検出された加速度から、加速度センサの移動に応じた加速度の成分を所定の処理により除去することによって、重力方向に対するコントローラ５の傾きを知ることが可能である。なお、他の実施例では、加速度センサ３７は、内蔵の加速度検出手段で検出された加速度信号をマイコン４２に出力する前に当該加速度信号に対して所定の処理を行うための、組込み式の処理装置または他の種類の専用の処理装置を備えていてもよい。組込み式または専用の処理装置は、例えば、加速度センサ３７が静的な加速度（例えば、重力加速度）を検出するために用いられる場合、加速度信号を傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。
【００８６】
ジャイロセンサ４８は、３軸（本実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。例えば、ジャイロセンサ４８は、３軸ジャイロセンサであってもよいし、２軸ジャイロセンサと１軸ジャイロセンサとを組み合わせて３軸周りの角速度を検出するものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。
【００８７】
通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。
【００８８】
操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。これらのデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ５から送信される。微弱電波信号はゲーム装置３側のコントローラ通信モジュール１９で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行うことが好ましい。コントローラ５の通信部３６は、例えば１／２００秒に１回の割合で操作データをゲーム装置３のコントローラ通信モジュール１９へ出力する。
【００８９】
以上のように、コントローラ５は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下する従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、コントローラ５を任意の姿勢に傾ける操作、コントローラ５によって画面上の任意の位置を指示する操作、および、コントローラ５自体を動かす操作等を行うことが可能となる。
【００９０】
また、本実施形態において、コントローラ５は、ゲーム画像を表示する表示手段を有しないが、例えば電池残量を表す画像等を表示するための表示手段を有していてもよい。
【００９１】
［４．端末装置７の構成］
次に、図８〜図１０を参照して、端末装置７の構成について説明する。図８は、端末装置７の外観構成を示す図である。図８における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。また、図９は、ユーザが端末装置７を把持した様子を示す図である。
【００９２】
図８に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。
【００９３】
端末装置７は、ハウジング５０の表面にＬＣＤ５１を有する。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図９に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置を持って動かすことができる。なお、図９ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つ例を示しているが、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。
【００９４】
図８の（ａ）図に示すように、端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本実施形態では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペンを用いて行われるが、タッチペンに限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペンを収納するための収納穴が設けられていてもよい。このように、端末装置７はタッチパネル５２を備えるので、ユーザは、端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
【００９５】
図８に示すように、端末装置７は、操作手段として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン５４Ａ〜５４Ｌとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示するデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作されるスティック部がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライド（または傾倒）することができるように構成されている。また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図９に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置７を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。
【００９６】
各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作手段である。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる（図９参照）。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
【００９７】
図８の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈとが設けられる。つまり、これらのボタン５４Ａ〜５４Ｇは、ユーザの親指で操作可能な位置に配置されている（図９参照）。
【００９８】
十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、上下左右の方向を指示することが可能なボタンである。また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ〜５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。
【００９９】
また、図８の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、上側および左側の側面から露出している。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、上側および右側の側面から露出している。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図９参照）。
【０１００】
また、図８の（ｂ）図および（ｃ）図に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、板状のハウジング５０の裏面（すなわちＬＣＤ５１が設けられる表面の反対側の面）に突起して設けられる足部５９Ａおよび５９Ｂに配置される。具体的には、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの概ね反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの概ね反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指で操作可能な位置に配置される（図９参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図８の（ｃ）図に示すように、上記足部５９Ａおよび５９Ｂの斜め上方を向く面に設けられ、斜め上方を向くボタン面を有する。ユーザが端末装置７を把持した場合には中指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。また、ハウジング５０の裏面に足部が設けられることにより、ユーザはハウジング５０を把持しやすくなり、かつ、足部にボタンが設けられることで、ハウジング５０を把持したまま操作しやすくなる。
【０１０１】
なお、図８に示す端末装置７に関しては、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面が完全に水平にはならない場合がある。そのため、他の実施形態においては、ハウジング５０の裏面に３つ以上の足部が形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では足部が床面に接することで床面に載置できるので、画面が水平になるように端末装置７を載置することができる。また、着脱可能な足部を追加することで端末装置７を水平に載置するようにしてもよい。
【０１０２】
各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｄは決定操作やキャンセル操作等に用いられてもよい。
【０１０３】
なお、図示しないが、端末装置７は、端末装置７の電源をオン／オフするための電源ボタンを有している。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンや、スピーカ（図１０に示すスピーカ６７）の音量を調節するためのボタンを有していてもよい。
【０１０４】
図８の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部（図１０に示すマーカ部５５）をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
【０１０５】
端末装置７は、撮像部であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図８に示すように、本実施形態では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。なお、本実施形態においては、撮像部（カメラ５６）は、表示部（ＬＣＤ５１）の画面の正面方向を撮像可能な向きに設けられる。すなわち、カメラ５６はハウジング５０の表面に設けられる。ただし、他の実施形態においては、カメラ５６を設ける位置は任意であり、カメラ５６は他の方向を撮像する向きに設けられてもよい。
【０１０６】
なお、端末装置７は、音声入力手段であるマイク（図１０に示すマイク６９）を備えている。ハウジング５０の表面には、マイクロフォン用孔６０が設けられる。マイク６９はこのマイクロフォン用孔６０の奥のハウジング５０内部に設けられる。マイクは、ユーザの音声等、端末装置７の周囲の音を検出する。
【０１０７】
端末装置７は、音声出力手段であるスピーカ（図１０に示すスピーカ６７）を備えている。図８の（ｄ）図に示すように、ハウジング５０の下側側面にはスピーカ孔５７が設けられる。スピーカ６７の出力音はこのスピーカ孔５７から出力される。本実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。
【０１０８】
また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。本実施形態においては、図８の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。他の装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。
【０１０９】
なお、図８に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
【０１１０】
次に、図１０を参照して、端末装置７の内部構成について説明する。図１０は、端末装置７の内部構成を示すブロック図である。図１０に示すように、端末装置７は、図８に示した構成の他、タッチパネルコントローラ６１、磁気センサ６２、加速度センサ６３、ジャイロセンサ６４、ユーザインタフェースコントローラ（ＵＩコントローラ）６５、コーデックＬＳＩ６６、スピーカ６７、サウンドＩＣ６８、マイク６９、無線モジュール７０、アンテナ７１、赤外線通信モジュール７２、フラッシュメモリ７３、電源ＩＣ７４、電池７５、および、バイブレータ７９を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
【０１１１】
ＵＩコントローラ６５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ６５は、タッチパネルコントローラ６１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、マーカ部５５、磁気センサ６２、加速度センサ６３、ジャイロセンサ６４、およびバイブレータ７９に接続される。また、ＵＩコントローラ６５は、コーデックＬＳＩ６６と拡張コネクタ５８に接続される。また、ＵＩコントローラ６５には電源ＩＣ７４が接続され、ＵＩコントローラ６５を介して各部に電力が供給される。電源ＩＣ７４には内蔵の電池７５が接続され、電力が供給される。また、電源ＩＣ７４には、コネクタ等を介して外部電源から電力を取得可能な充電器７６またはケーブルを接続することが可能であり、端末装置７は、当該充電器７６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うようにしてもよい。
【０１１２】
タッチパネルコントローラ６１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ６１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ６５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ６１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ６５からタッチパネルコントローラ６１へは、タッチパネル５２に対する各種の制御指示が出力される。
【０１１３】
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ６５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ６５へ出力する。
【０１１４】
磁気センサ６２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から磁気センサ６２へは、磁気センサ６２に対する制御指示が出力される。磁気センサ６２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。
【０１１５】
加速度センサ６３は、ハウジング５０の内部に設けられ、３軸（図８の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ６３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の短辺方向をｙ軸、ハウジング５０の表面に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から加速度センサ６３へは、加速度センサ６３に対する制御指示が出力される。加速度センサ６３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ６３は１軸または２軸方向を検出する加速度センサであってもよい。
【０１１６】
ジャイロセンサ６４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５からジャイロセンサ６４へは、ジャイロセンサ６４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ６４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ６４は１軸または２軸方向を検出するジャイロセンサであってもよい。
【０１１７】
バイブレータ７９は、例えば振動モータやソレノイドであり、ＵＩコントローラ６５に接続される。ＵＩコントローラ６５の指示によりバイブレータ７９が作動することによって端末装置７に振動が発生する。これによって、端末装置７を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。
【０１１８】
ＵＩコントローラ６５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ６６に出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
【０１１９】
コーデックＬＳＩ６６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ６６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ６８、無線モジュール７０、フラッシュメモリ７３、および赤外線通信モジュール７２が接続される。また、コーデックＬＳＩ６６はＣＰＵ７７と内部メモリ７８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ７３に格納されたプログラムを内部メモリ７８に読み出してＣＰＵ７７が実行することで、端末装置７が起動する。また、内部メモリ７８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。
【０１２０】
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ６６へ出力する。また、コーデックＬＳＩ６６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ６６へ繰り返し出力することも可能である。
【０１２１】
サウンドＩＣ６８は、スピーカ６７およびマイク６９に接続され、スピーカ６７およびマイク６９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ６６から音声データを受け取った場合、サウンドＩＣ６８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ６７へ出力し、スピーカ６７から音を出力させる。また、マイク６９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ６８へ出力する。サウンドＩＣ６８は、マイク６９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ６６へ出力する。
【０１２２】
赤外線通信モジュール７２は、赤外線信号を発光し、他の装置との間で赤外線通信を行う。ここでは、赤外線通信モジュール７２は、例えばＩｒＤＡの規格に従った赤外線通信を行う機能と、テレビ２を制御するための赤外線信号を出力する機能とを備える。
【０１２３】
コーデックＬＳＩ６６は、カメラ５６からの画像データと、マイク６９からの音声データと、ＵＩコントローラ６５からの端末操作データとを無線モジュール７０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ６６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール７０に出力される。無線モジュール７０にはアンテナ７１が接続されており、無線モジュール７０はアンテナ７１を介してゲーム装置３へ上記送信データを送信する。無線モジュール７０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール７０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
【０１２４】
以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。コーデックＬＳＩ６６は、赤外線通信モジュール７２による赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
【０１２５】
また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ７１および無線モジュール７０を介してコーデックＬＳＩ６６に受信される。コーデックＬＳＩ６６は、受信した画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。また、伸張された音声データはサウンドＩＣ６８へ出力され、サウンドＩＣ６８はスピーカ６７から音を出力させる。
【０１２６】
また、ゲーム装置３から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ６６およびＵＩコントローラ６５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ６１、マーカ部５５、各センサ６２〜６４、赤外線通信モジュール７２、およびバイブレータ７９）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
【０１２７】
また、ゲーム装置３は、上記赤外線通信モジュール７２の出力を制御することによって、テレビ２の動作を制御することが可能である。すなわち、ゲーム装置３は、テレビ２を制御するための制御指令に対応する赤外線信号を赤外線通信モジュール７２に出力させるための指示（上記制御データ）を端末装置７に出力する。この指示に応じて、コーデックＬＳＩ６６は、上記制御指令に対応する赤外線信号を赤外線通信モジュール７２に出力させる。ここで、テレビ２は赤外線信号を受光可能な赤外線受光部を備えている。赤外線通信モジュール７２から出力された赤外線信号が赤外線受光部によって受光されることで、テレビ２は当該赤外線信号に応じた動作を行う。なお、ゲーム装置３からの上記指示は、赤外線信号のパターンを示すものであってもよいし、端末装置７が赤外線信号のパターンを記憶している場合には、当該パターンを示す指示であってもよい。
【０１２８】
以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
【０１２９】
また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ６２、加速度センサ６３、およびジャイロセンサ６４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【０１３０】
また、端末装置７は、カメラ５６およびマイク６９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク６９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【０１３１】
また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
【０１３２】
［５．ゲーム処理の概要］
以下、図１１〜図１４を参照して、本実施形態のゲームシステム１において実行されるゲーム処理の概要について説明する。本実施形態では、３次元の仮想空間（ゲーム空間）を表すゲーム画像は、テレビ２および端末装置７の２つの表示装置に表示される。また、プレイヤは、端末装置７を用いてゲーム操作を行う。つまり、端末装置７は、表示装置としてだけでなく操作装置として用いられる。そのため、コントローラ５は用いられなくてもよく、ゲームシステム１はコントローラ５を含まない構成であってもよい。
【０１３３】
図１１は、本実施形態において端末装置７に表示されるゲーム画像の一例を示す図である。図１１に示すように、端末装置７には、仮想カメラから仮想空間を見た画像が表示される。以下では、端末装置７に表示される端末用画像を生成するために用いられる仮想カメラを「端末用仮想カメラ」と呼ぶ。また、本実施形態においては、仮想空間においては部屋８２が配置され、部屋８２内にキャラクタ（小人）のオブジェクト８１が配置されている。部屋８２は一面が開口した直方体であり、端末用仮想カメラは、開口部分がＬＣＤ５１の画面の位置に対応するように配置されている。このように、端末用仮想カメラは、部屋８２の外側から開口部を介して内側を見る向きに設定される。
【０１３４】
一方、図１２は、本実施形態においてテレビ２に表示されるゲーム画像の一例を示す図である。図１２に示すように、テレビ２には、端末用仮想カメラとは異なる仮想カメラから仮想空間を見た画像が表示される。以下では、テレビ２に表示されるテレビ用画像を生成するために用いられる仮想カメラを「テレビ用仮想カメラ」と呼ぶ。図１２に示すように、テレビ用仮想カメラは、部屋８２の内側から上記開口部を介して部屋８２の外側を見る向きに設定される。ここで、テレビ用画像は、仮想空間に撮像画像（の少なくとも一部）が配置された画像である。図１２では、開口部の面には、プレイヤ８４（の画像）を含む撮像画像８３が描画される。したがって、テレビ用画像を見たプレイヤは、仮想空間の奥に現実空間が存在する、より具体的には、仮想空間である部屋８２の外に現実空間のプレイヤ８４が存在するかのような感覚を抱く。
【０１３５】
以上のように、本実施形態においては、仮想空間（ゲーム空間）をテレビ用仮想カメラから見た画像と撮像画像とを合成した画像が生成され、テレビ２に表示される（図１２）。また、テレビ用仮想カメラとは異なる端末用仮想カメラから上記仮想空間を見た画像が生成され、端末装置７に表示される（図１１）。これによって、仮想空間から現実空間を見たようなテレビ用画像がテレビ２に表示され、現実空間から仮想空間を見たような端末用画像が端末装置７に表示される。したがって、これらテレビ用画像および端末用画像を見ることによって、プレイヤは、仮想空間が現実空間と繋がっているような感覚を抱き、仮想空間が現実に存在するかのような感覚を抱くので、仮想空間をよりリアリティある（現実味のある）ものとして認識することができる。すなわち、本実施形態によれば、端末装置７に仮想空間を表示するとともに、当該仮想空間を表す画像と撮像画像とを合成した画像をテレビ２に表示することによって、仮想空間のリアリティを向上することができる。具体的には、端末装置７の画面の奥に仮想空間が実在するかのような、すなわち、端末装置７の中の部屋８２に小人が実際に存在するかのような感覚をプレイヤに与えることができる。
【０１３６】
次に、図１３および図１４を参照して、各仮想カメラ（端末用仮想カメラおよびテレビ用仮想カメラ）の設定方法の概要を説明する。図１３は、端末用仮想カメラの側から見た場合の仮想空間を示す図である。図１４は、テレビ用仮想カメラの側から見た場合の仮想空間を示す図である。図１３および図１４に示す面８５は、仮想空間に配置される面であり、ここでは、部屋８２の開口部に配置される面である。また、詳細は後述するが、本実施形態では、この面８５に撮像画像８３が描画される。そのため、以下では、面８５を「描画面」と呼ぶことがある。なお、本実施形態では、面８５に対応するオブジェクトが仮想空間に配置されるが、他の実施形態においては、面８５は実際には配置されなくてもよい。つまり、各仮想カメラ８６および８７は、本実施形態では面８５の配置に基づいて設定されるが、面８５の配置に基づいて設定されなくてもよく、結果的に以下に述べるような位置関係となるように設定されればよい。
【０１３７】
図１３および図１４に示すように、各仮想カメラ８６および８７は、互いの向きが概ね反対となるように設定される。すなわち、テレビ用仮想カメラ８７は、面８５を一方側から撮影するように設定され、端末用仮想カメラ８６は、面８５を他方側から撮影するように設定される。より具体的には、ゲーム装置３は、面８５の一方側にテレビ用仮想カメラ８７の位置を設定するとともに、面８５の他方側に端末用仮想カメラ８６の位置を設定し、当該面８５を視野範囲に含むように各仮想カメラ８６および８７の向きを設定する。このように、各仮想カメラ８６および８７は、互いの仮想カメラが他方の仮想カメラの前方に配置されるように設定される。
【０１３８】
上記のように各仮想カメラ８６および８７が設定されることによって、端末装置７には、面８５をある側から見た場合の仮想空間が表示される一方、テレビ２には、面８５を反対側から見た場合の仮想空間が表示される。このとき、端末用画像の視線方向は、端末装置７における画面の手前から奥へ向かう方向であり、プレイヤの視線方向と同じになる。一方、テレビ用画像の視線方向は、端末装置７に表示される仮想空間を基準として言えば、端末装置７の画面の奥から手前へ向かう方向であり、プレイヤの視線方向とは概ね反対向きとなる（端末装置７のカメラ５６の撮像方向と概ね同じ向きとなる）。したがって、テレビ用画像は、端末装置７の画面の奥からプレイヤの方を見た画像となる。以上のように、上記のように各仮想カメラ８６および８７が設定されることによって、端末装置７には画面の手前から奥に向かう視線方向の画像が表示されるとともに、テレビ２には画面の奥から手前に向かう視線方向の画像が表示される。これによって、各画像によって表される仮想空間のリアリティをより向上することができる。
【０１３９】
また、端末装置７に表示される端末用画像としては、端末用仮想カメラ８６から仮想空間を見た画像が生成される。なお、このとき、面８５は存在しない（あるいは透明である）として端末用画像が生成される。つまり、端末用画像には撮像画像８３は含まれない。一方、テレビ２に表示されるテレビ用画像としては、テレビ用仮想カメラ８７から仮想空間を見た画像と、撮像画像８３とを合成した画像が生成される。なお、合成される撮像画像８３は、カメラ５６によって撮像された画像そのものでなくてもよく、当該画像の一部が表示されてもよいし、当該画像に対して所定の補正が行われた画像が表示されてもよい。また、本実施形態においては、撮像画像８３が面８５の位置に表示されたテレビ用画像が生成される。より具体的には、テレビ用画像を生成する際、面８５の位置に撮像画像が描画される。
【０１４０】
上記のように、本実施形態においては、テレビ用画像においては、面８５の位置に撮像画像が表示されることとなる。したがって、プレイヤにとっては、面８５を基準としてテレビ用仮想カメラ８７の側に仮想空間が存在し、端末用仮想カメラ８６の側に現実空間があたかも存在するかのように認識される（図１３および図１４参照）。プレイヤは、仮想空間が面８５で現実空間と繋がっているような感覚を抱くので、仮想空間のリアリティをより向上することができる。
【０１４１】
なお、本実施形態においては、面８５の配置に基づいて各仮想カメラ８６および８７が設定されるが、他の実施形態においては、面８５の配置に基づいて設定されなくてもよい。例えば、上記の位置関係を満たすような予め定められた位置および姿勢となるように各仮想カメラが設定されてもよいし、一方の仮想カメラの設定に基づいて他方の仮想カメラが設定されてもよい。
【０１４２】
なお、本実施形態では、面８５が部屋８２の開口部に一致したが、面８５の位置は仮想空間内における任意の位置でよい。各仮想カメラ８６および８７が面８５を互いに異なる側から撮影するように設定され、テレビ用画像において当該面８５の位置に撮像画像が表示される場合、仮想空間が面８５で現実空間と繋がっているような感覚をプレイヤに与えることができる。
【０１４３】
また、本実施形態において、各仮想カメラ８６および８７は、面８５を互いに異なる側から撮影するように設定されればよく、詳細な位置および向きはどのように設定されてもよい。例えば、図１３において、端末用仮想カメラ８６は、視野範囲の外縁が面８５の周と一致するように設定されるが、視野範囲の外縁と面８５の周とは一致する必要はない。また、各仮想カメラ８６および８７の視線方向は、面８５と垂直となる必要はない。
【０１４４】
なお、本実施形態では、プレイヤは、仮想空間内の小人（オブジェクト８１）と種々のコミュニケーションをとって遊ぶ。詳細は後述するが、プレイヤは端末装置７を用いて種々のゲーム操作を行い、ゲーム装置３は、ゲーム操作に応じて仮想空間内に変化を加え、仮想空間内の各オブジェクト（小人を含む）の動作や挙動を制御する。本実施形態では、上述のように、現実空間と仮想空間とが繋がっているかのように仮想空間がリアルに表現されるので、プレイヤは、あたかも小人が端末装置７の中に実在するかのような感覚でゲームを行うことができる。
【０１４５】
［６．ゲーム処理の詳細］
次に、本ゲームシステムにおいて実行されるゲーム処理の詳細を説明する。まず、ゲーム処理において用いられる各種データについて説明する。図１５は、ゲーム処理において用いられる各種データを示す図である。図１５において、ゲーム装置３のメインメモリ（外部メインメモリ１２または内部メインメモリ１１ｅ）に記憶される主なデータを示す図である。図１５に示すように、ゲーム装置３のメインメモリには、ゲームプログラム９０、端末操作データ９１、カメラ画像データ９８、マイク音データ９９、および処理用データ１００が記憶される。なお、メインメモリには、図１５に示すデータの他、ゲームに登場する各種オブジェクトの画像データやゲームに使用される音声データ等、ゲームに必要なデータが記憶される。
【０１４６】
ゲームプログラム９０は、ゲーム装置３に電源が投入された後の適宜のタイミングで光ディスク４からその一部または全部が読み込まれてメインメモリに記憶される。なお、ゲームプログラム９０は、光ディスク４に代えて、フラッシュメモリ１７やゲーム装置３の外部装置から（例えばインターネットを介して）取得されてもよい。また、ゲームプログラム９０に含まれる一部（例えば、コントローラ５および／または端末装置７の姿勢を算出するためのプログラム）については、ゲーム装置３内に予め記憶されていてもよい。
【０１４７】
端末操作データ９１は、端末装置７に対するプレイヤの操作を表すデータである。端末操作データ９１は、端末装置７から送信されてゲーム装置３において取得され、メインメモリに記憶される。端末操作データ９１は、操作ボタンデータ９２、スティックデータ９３、タッチ位置データ９４、角速度データ９５、加速度データ９６、および方位データ９７を含む。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。
【０１４８】
操作ボタンデータ９２は、端末装置７に設けられる各操作ボタン５４Ａ〜５４Ｌに対する入力状態を表すデータである。具体的には、操作ボタンデータ９２は、各操作ボタン５４Ａ〜５４Ｌが押下されているか否かを表す。
【０１４９】
スティックデータ９３は、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）のスティック部がスライドした（または傾倒した）方向および量を表すデータである。上記方向および量は、例えば２次元座標や２次元ベクトルとして表されてもよい。
【０１５０】
タッチ位置データ９４は、タッチパネル５２の入力面において入力が行われた位置（タッチ位置）を表すデータである。本実施形態では、タッチ位置データ９４は、上記入力面上の位置を示すための２次元座標系の座標値を表す。なお、タッチパネル５２がマルチタッチ方式である場合には、タッチ位置データ９４は複数のタッチ位置を表すこともある。
【０１５１】
角速度データ９５は、ジャイロセンサ６４によって検出された角速度を表すデータである。本実施形態では、角速度データ９５は、図８に示すｘｙｚの３軸回りのそれぞれの角速度を表すものであるが、他の実施形態においては、任意の１軸以上の軸回り角速度を表すものであればよい。
【０１５２】
加速度データ９６は、加速度センサ６３によって検出された加速度（加速度ベクトル）を表すデータである。本実施形態では、加速度データ９６は、図８に示すｘｙｚの３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の実施形態においては、任意の１以上の方向に関する加速度を表すものであればよい。
【０１５３】
方位データ９７は、磁気センサ６２によって検出された方位を表すデータである。本実施形態では、方位データ９７は、端末装置７を基準として所定の方位（例えば北）の向きを表す。なお、地磁気以外の磁界が発生している場合においては、方位データ９７は厳密には絶対的な方位（北等）を示さないことになる。ただし、その場所における磁界の方向に対する端末装置７の相対的な方向が方位データ９７によって示されるので、そのような場合であっても方位データ９７に基づいて端末装置７の姿勢または姿勢の変化を算出することが可能である。
【０１５４】
なお、端末操作データ９１は、端末装置７に対する操作を表すものであればよく、上記各データ９２〜９７のいずれか１つのみを含むものであってもよい。また、端末装置７が他の入力手段（例えば、タッチパッドや、コントローラ５の撮像手段等）を有する場合には、端末操作データ９１は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。なお、本実施形態のように端末装置７自体の動きをゲーム操作として用いる場合には、端末操作データ９１は、加速度データ９６、角速度データ９５、または方位データ９７のように、端末装置７の動きに関する情報を表すデータ（動きに応じて値が変化するデータ）を含むことが好ましい。なお、端末装置７の動きに関する情報とは、例えば、端末装置７の位置、姿勢、位置の変化（速度）、姿勢の変化（角速度）、加速度、角加速度等の情報である。
【０１５５】
カメラ画像データ９８は、端末装置７のカメラ５６によって撮像された画像（撮像画像）を表すデータである。カメラ画像データ９８は、端末装置７から送信されてくる圧縮された画像データがコーデックＬＳＩ２７によって伸張された画像データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数のカメラ画像データが記憶されてもよい。
【０１５６】
マイク音データ９９は、端末装置７のマイク６９によって検出された音声（マイク音）を表すデータである。マイク音データ９９は、端末装置７から送信されてくる圧縮された音声データがコーデックＬＳＩ２７によって伸張された音声データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。
【０１５７】
また、本実施形態ではコントローラ５が操作装置として用いられないので図示しないが、メインメモリには、コントローラ５に対するプレイヤの操作を表すコントローラ操作データが記憶されてもよい。なお、別の実施形態においては、コントローラ５も用いて操作をするようにしてもよい。たとえば、コントローラ５を端末装置７に向けて使い、座標指定をして画面内に働きかけるような操作であってもよい。
【０１５８】
処理用データ１００は、後述するゲーム処理（図１６）において用いられるデータである。処理用データ１００は、描画面データ１０１、端末カメラデータ１０２、テレビカメラデータ１０３、画像認識データ１０４、音声認識データ１０５、端末挙動データ１０６、およびオブジェクトデータ１０７を含む。なお、図１５に示すデータの他、処理用データ１００は、ゲームに登場する各種オブジェクトに設定される各種パラメータを表すデータ等、ゲーム処理において用いられる各種データを含む。
【０１５９】
描画面データ１０１は、仮想空間における描画面の位置および姿勢を表すデータである。描画面は、撮像画像が描画される面である。なお、描画面の形状はどのような形状であってもよいが、本実施形態では、端末装置７のＬＣＤ５１の表示画面と等しいアスペクト比を有する平面である。また、描画面の位置および姿勢はどのように制御されてもよいが、本実施形態においては、描画面はゲーム開始時に、予め定められた位置および姿勢で固定的に設定される。
【０１６０】
端末カメラデータ１０２は、端末用仮想カメラの位置および姿勢を表すデータである。上述のように、端末用仮想カメラの位置および姿勢は、上記描画面の位置および姿勢に応じて設定される。なお、本実施形態においては、端末用仮想カメラは描画面と同様、ゲーム開始時に、予め定められた位置および姿勢で固定的に設定される。
【０１６１】
テレビカメラデータ１０３は、テレビ用仮想カメラの位置および姿勢を表すデータである。上述のように、テレビ用仮想カメラの位置および姿勢は、上記描画面の位置および姿勢に応じて設定され、具体的には、描画面に対して端末用仮想カメラとは反対側の位置に、描画面の方を向く姿勢で配置される。なお、本実施形態においては、テレビ用仮想カメラは描画面と同様、ゲーム開始時に、予め定められた位置および姿勢で固定的に設定される。
【０１６２】
画像認識データ１０４は、撮像画像に対して実行される画像認識処理の認識結果を表すデータである。詳細は後述するが、画像認識処理は、どのような処理内容であってもよく、また、処理結果として得られる情報もどのような内容であってもよい。本実施形態においては、画像認識データ１０４は、カメラ画像データ９８に対して画像認識処理が実行されることによって生成される。
【０１６３】
音声認識データ１０５は、上記マイク音に対して実行される音声認識処理の認識結果を表すデータである。詳細は後述するが、音声認識処理は、どのような処理内容であってもよく、また、処理結果として得られる情報もどのような内容であってもよい。本実施形態においては、音声認識データ１０５は、マイク音データ９９に対して音声認識処理が実行されることによって生成される。
【０１６４】
端末挙動データ１０６は、端末装置７の挙動を表すデータである。端末挙動データ１０６は、例えば、端末装置７の位置、姿勢、速度、角速度、加速度、角加速度等の他、端末装置７が所定の動きをした（より具体的には、端末装置７が揺らされた）か否かや、端末装置７が所定の方向を向いたか否か等を表す。本実施形態においては、端末挙動データ１０６は、上記角速度データ９５あるいは加速度データ９６に基づいて算出される。
【０１６５】
オブジェクトデータ１０７は、仮想空間に配置されるオブジェクト８１（小人のオブジェクト）の状態を表すデータである。例えば、オブジェクトデータ１０７は、オブジェクト８１の位置、向き、動作等を表す。オブジェクト８１の制御はどのように行われてもよいが、本実施形態においては、端末装置７を用いた操作、すなわち、上記端末操作データ９１に基づいてオブジェクト８１の制御が行われる。つまり、プレイヤは、端末装置７に対する操作によって、仮想空間内のオブジェクト８１に何らかの影響を与えることができる。
【０１６６】
次に、ゲーム装置３において実行されるゲーム処理の詳細を、図１６〜図１８を用いて説明する。図１６は、ゲーム装置３において実行されるゲーム処理の流れを示すメインフローチャートである。ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。そして、光ディスク４に記憶されたゲームプログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該ゲームプログラムの実行が開始される。図１６に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。なお、ゲーム装置３においては、電源投入後にゲームプログラムがすぐに実行される構成であってもよいし、電源投入後にまず所定のメニュー画面を表示する内蔵プログラムが実行され、その後例えばプレイヤによるメニュー画面に対する選択操作によってゲームの開始が指示されたことに応じてゲームプログラムが実行される構成であってもよい。
【０１６７】
なお、図１６〜図１８（図１９および図２１も同様）に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値を採用してもよい。また、本実施形態では、上記フローチャートの各ステップの処理をＣＰＵ１０が実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を、ＣＰＵ１０以外のプロセッサや専用回路が実行するようにしてもよい。
【０１６８】
まずステップＳ１において、ＣＰＵ１０は初期処理を実行する。初期処理は、仮想空間を構築し、仮想空間に登場する各オブジェクトを初期位置に配置したり、ゲーム処理で用いる各種パラメータの初期値を設定したりする処理である。以下、図１７を参照して、初期処理の詳細について説明する。
【０１６９】
図１７は、図１６に示す初期処理（ステップＳ１）の詳細な流れを示すフローチャートである。初期処理においてはまずステップＳ１１において、ＣＰＵ１０は仮想空間において描画面を配置する。すなわち、ＣＰＵ１０は、仮想空間（ゲーム空間）を構築し、仮想空間内に描画面を配置する。描画面はどのように配置されてもよいが、本実施形態においては、予め定められた位置および姿勢で配置される。具体的には、仮想空間に部屋８２が構築され（図１３参照）、部屋８２の開口部と一致するように描画面が配置される。配置された描画面の位置および姿勢を表すデータは描画面データ１０１としてメインメモリに記憶される。ステップＳ１１の次にステップＳ１２の処理が実行される。
【０１７０】
ステップＳ１２において、ＣＰＵ１０はテレビ用仮想カメラを設定する。テレビ用仮想カメラは、描画面の位置および姿勢に応じて設定される。本実施形態においては、テレビ用仮想カメラは、描画面の一方側の位置に、描画面を向く姿勢となるように配置される。より具体的には、ＣＰＵ１０は、撮像画像が描画される側から描画面を見た位置および姿勢となるようにテレビ用仮想カメラを設定する。これによって、テレビ用仮想カメラは、撮像画像が描画される面を含む仮想空間を視野範囲に含むことになり、仮想空間の画像と撮像画像とを合成した画像を容易に生成することができる。また、仮想空間と撮像画像が表す現実空間とがあたかも繋がっているかのような画像を生成することができる。テレビ用仮想カメラの位置および姿勢を表すデータは、テレビカメラデータ１０３としてメインメモリに記憶される。なお、テレビ用仮想カメラの位置および姿勢を表すデータは、ゲームプログラム９０とともに予め用意されていてもよいし、ステップＳ１１で配置された描画面の位置および姿勢に基づいて算出されてもよい。ステップＳ１２の次にステップＳ１３の処理が実行される。
【０１７１】
ステップＳ１３において、ＣＰＵ１０は端末用仮想カメラを設定する。端末用仮想カメラは、描画面の位置および姿勢に応じて設定される。本実施形態においては、端末用仮想カメラは、描画面の他方側（テレビ用仮想カメラの反対側）の位置に、描画面を向く姿勢となるように配置される。より具体的には、ＣＰＵ１０は、撮像画像が描画される側の反対側から描画面を見た位置および姿勢となるように端末用仮想カメラを設定する。これによって、仮想空間における所定面（描画面）に関してテレビ用仮想カメラと端末用仮想カメラとの向きが概ね反対となるように設定される（図１３参照）。また、端末用画像には撮像画像が含まれない一方、テレビ用画像には撮像画像が含まれるので、端末用画像をテレビ用画像に合った適切な画像とすることができ、仮想空間のリアリティをより向上することができる。なお、端末用仮想カメラは、視線方向が描画面に対して垂直となるように設定されてもよい。これによって、プレイヤが端末装置７の画面を見る視線方向と、端末用画像における視線方向とを一致させることができ、端末装置７において仮想空間をより自然に表示することができる。端末用仮想カメラの位置および姿勢を表すデータは、端末カメラデータ１０２としてメインメモリに記憶される。なお、端末用仮想カメラの位置および姿勢を表すデータは、ゲームプログラム９０とともに予め用意されていてもよいし、ステップＳ１１で配置された描画面の位置および姿勢に基づいて算出されてもよい。ステップＳ１３の次にステップＳ１４の処理が実行される。
【０１７２】
ステップＳ１４において、ＣＰＵ１０は、他のパラメータの初期値を設定する。なお、他のパラメータとは、上記描画面および各仮想カメラに関するパラメータ以外のパラメータである。他のパラメータはどのようなものであってもよいが、例えば、オブジェクト８１を含む各種のオブジェクトの初期状態を表すパラメータ等が考えられる。ステップＳ１４の後、ＣＰＵ１０は初期処理を終了する。
【０１７３】
上記初期処理（ステップＳ１）の次にステップＳ２の処理が実行される。以降、ステップＳ２〜Ｓ８の一連の処理からなる処理ループが所定時間（１フレーム時間。例えば１／６０秒）に１回の割合で繰り返し実行される。
【０１７４】
ステップＳ２において、ＣＰＵ１０は端末装置７から各種データを取得する。ここで、端末装置７からは、少なくともカメラ画像データが取得され、本実施形態においては、端末操作データおよびマイク音データがさらに取得される。端末装置７は、上記各データ（端末操作データ、カメラ画像データ、およびマイク音データ）をゲーム装置３へ繰り返し送信するので、ゲーム装置３は各データを逐次受信する。ゲーム装置３においては、端末通信モジュール２８が各データを逐次受信し、カメラ画像データおよびマイク音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ１１ａが端末操作データとカメラ画像データとマイク音データとをメインメモリに逐次記憶する。ＣＰＵ１０は、適宜のタイミングで上記各データをメインメモリから読み出す。ステップＳ２の次にステップＳ３の処理が実行される。
【０１７５】
ステップＳ３において、ＣＰＵ１０はゲーム制御処理を実行する。ゲーム制御処理は、プレイヤによる操作に基づいてオブジェクトを制御する処理等を実行する処理である。以下、図１８を参照して、ゲーム制御処理の詳細について説明する。
【０１７６】
図１８は、図１６に示すゲーム制御処理（ステップＳ３）の詳細な流れを示すフローチャートである。ゲーム制御処理においてはまずステップＳ２１において、ＣＰＵ１０は、撮像画像に対する画像認識処理を実行する。この画像認識処理は、撮像画像から何らかの特徴を抽出し、抽出した特徴に関する情報を算出するものであるが、具体的な処理はどのような処理であってもよい。本実施形態では、画像認識処理は、プレイヤの顔を認識する処理であってもよい。より具体的には、画像認識処理は、上記処理結果としてプレイヤの顔や目や口の位置を算出したり、プレイヤの表情（笑っているかどうかや、話しているかどうかや、まばたきしたかどうか）を判断したりする処理であってもよいし、個人認証を行う（プレイヤが予め登録された誰であるかを識別する）処理であってもよい。また、画像認識処理は、プレイヤの顔を認識する処理に限らず、顔以外の対象を認識する処理であってもよいし、プレイヤの周囲の明るさを判断する処理であってもよい。ステップＳ２１においては、ＣＰＵ１０は、カメラ画像データ９８をメインメモリから読み出し、撮像画像に対して上記の画像認識処理を実行する。なお、本実施形態では、端末装置７から撮像画像が逐次取得（受信）されるので、逐次取得された撮像画像が画像認識処理の対象となる。画像認識処理の結果を表すデータは、画像認識データ１０４としてメインメモリに記憶される。ステップＳ２１の次にステップＳ２２の処理が実行される。
【０１７７】
ステップＳ２２において、ＣＰＵ１０は、画像認識処理の結果に基づいて仮想空間に変化を与えるゲーム制御処理を実行する。このゲーム制御処理は、仮想空間に何らかの変化を与える処理であればどのような処理であってもよく、例えば、仮想空間内に配置されるオブジェクトの動作を制御する処理であってもよいし、仮想空間における状態（天候、時刻、地形等）を変化させる処理であってもよい。本実施形態においては、ＣＰＵ１０は、画像認識処理の結果に基づいて小人のオブジェクト８１の動作を制御するようにしてもよい。具体的には、プレイヤの視線方向へ移動するように、プレイヤの目の位置に応じてオブジェクト８１を移動させたり、プレイヤの表情に応じてオブジェクト８１に所定の動作を行わせたり（例えば、オブジェクト８１の表情をプレイヤの表情に応じて変化させる）してもよい。また、ＣＰＵ１０は、プレイヤの周囲の明るさに応じて仮想空間の昼夜（明るさ）を設定するようにしてもよい。ステップＳ２２の具体的な処理としては、ＣＰＵ１０は、画像認識データ１０４をメインメモリから読み出し、画像認識処理の結果に基づいて仮想空間に変化を与える。仮想空間内の変化後の状態を表すデータは、メインメモリに記憶される。ステップＳ２２の次にステップＳ２３の処理が実行される。
【０１７８】
上記ステップＳ２１およびＳ２２の処理のように、本実施形態においては、撮像画像に対する画像認識処理の結果に基づいて仮想空間に変化が与えられる。したがって、プレイヤは、カメラ５６によって撮像される内容を変化させることによって、ゲーム操作を行うことができる。プレイヤは、例えば、顔の表情を変化させたり、カメラ５６に対してプレイヤが動いたりすることによってゲーム操作を行うことができる。
【０１７９】
ステップＳ２３において、ＣＰＵ１０は、撮像画像に対して所定の加工処理を実行する。加工処理は、テレビ２に表示するのに適した画像となるように撮像画像に対して修正等を行うための処理であり、加工処理の具体的な内容はどのようなものであってもよい。本実施形態では、撮像画像から、画像の生成に用いる部分を抽出する（切り出す）処理が実行されてもよい。つまり、テレビ用画像は、仮想空間の画像と撮像画像の少なくとも一部とが合成されることによって生成されてもよい。例えば、ＣＰＵ１０は、撮像画像から、端末装置７の画面とカメラ５６との位置関係に応じた領域を抽出してもよい。ここで、カメラ５６はＬＣＤ５１の画面の周辺に設けられるので、カメラ５６から現実空間を見る場合と画面から現実空間を見る場合とでは視点の位置が若干異なる。そのため、撮像画像は、そのままでは、画面から現実空間を見た場合の画像としては不自然な画像となるおそれがある。具体的には、本実施形態ではカメラ５６がＬＣＤ５１の上側に設けられるので、画面から見た場合にはプレイヤが正面に位置する場合でも、撮像画像においてはプレイヤが中央よりやや下方に位置するので、撮像画像そのままではプレイヤが不自然に感じるおそれがある。このとき、ＣＰＵ１０は、撮像画像のうち、中央よりやや下方の位置を中心として画像を抽出する（撮像画像のうちの上側の部分を削除する）ようにしてもよい。これによって、画面から現実空間を見た場合の画像として撮像画像をより自然なものに加工することができる。
【０１８０】
また、ＣＰＵ１０は、上記の処理とともに（あるいは上記の処理に代えて）、撮像画像のアスペクト比が端末装置７のＬＣＤ５１の画面（または、描画面）のアスペクト比と一致するように、撮像画像から所定の領域を抽出するようにしてもよい。また、上記加工処理としては、上記の抽出処理の他、画像を拡大・縮小する処理や、色および／または明るさを変更する処理等が実行されてもよい。例えば、上記画像認識処理において所定の対象（例えばプレイヤの顔）を認識する場合には、認識された対象が所定の大きさとなるように画像を拡大・縮小する処理が実行されてもよい。また例えば、仮想空間内の明るさに応じて撮像画像の明るさを変更する処理が実行されてもよい。その他、加工処理は、後述する変形例に示すような、撮像画像から所定の対象の領域を抽出する処理や、撮像画像に所定のエフェクトを加える処理等であってもよい。
【０１８１】
ステップＳ２３の具体的な処理としては、ＣＰＵ１０は、カメラ画像データ９８をメインメモリから読み出し、撮像画像に対して上記加工処理を実行する。そして、加工処理が施された撮像画像のデータをメインメモリに記憶する。なお、後述するテレビ用画像の生成処理（ステップＳ４）においては、加工処理が施された撮像画像を用いてテレビ用画像が生成される。また、本実施形態においては、ステップＳ２の処理で逐次取得された撮像画像が加工処理の対象となる。したがって、テレビ用画像に含まれる撮像画像は、逐次変化し、動画としてテレビ２に表示される。ステップＳ２３の次にステップＳ２４の処理が実行される。
【０１８２】
ステップＳ２４において、ＣＰＵ１０は、上記マイク音に対する音声認識処理を実行する。この音声認識処理は、マイク音から何らかの特徴を抽出し、抽出した特徴に関する情報を算出するものであるが、具体的な処理はどのような処理であってもよい。例えば、音声認識処理は、プレイヤの音声を認識し、プレイヤによる音声指示を判別する処理であってもよいし、プレイヤによる息の吹きかけ（より具体的には、息を吹きかけたかどうか、あるいは、息を吹きかけた強さ）を判別する処理であってもよい。また、音声認識処理は、プレイヤによる音（声や息）を認識する処理に限らず、プレイヤによる音以外の対象を認識する処理であってもよい。ステップＳ２４においては、ＣＰＵ１０は、マイク音データ９９をメインメモリから読み出し、マイク音に対して上記の音声認識処理を実行する。音声認識処理の結果を表すデータは、音声認識データ１０５としてメインメモリに記憶される。ステップＳ２４の次にステップＳ２５の処理が実行される。
【０１８３】
ステップＳ２５において、ＣＰＵ１０は、音声認識処理の結果に基づいて仮想空間に変化を与えるゲーム制御処理を実行する。このゲーム制御処理は、上記ステップＳ２２と同様、仮想空間に何らかの変化を与える処理であればどのような処理であってもよい。本実施形態においては、ＣＰＵ１０は、音声認識処理によって判別された音声指示に従って小人のオブジェクト８１の動作を制御する（例えば、「走れ」という音声指示に応じて、小人のオブジェクト８１に走る動作を行わせる）ようにしてもよい。また、ＣＰＵ１０は、プレイヤによる息の吹きかけがあったことに応じて仮想空間内に風を吹かせる（さらに、風によって小人のオブジェクト８１が吹き飛ばされる）ようにしてもよい。ステップＳ２５の具体的な処理としては、ＣＰＵ１０は、音声認識データ１０５をメインメモリから読み出し、音声認識処理の結果に基づいて仮想空間に変化を与える。仮想空間内の変化後の状態を表すデータ（オブジェクトデータ１０７が含まれていてもよい）は、メインメモリに記憶される。ステップＳ２５の次にステップＳ２６の処理が実行される。
【０１８４】
上記ステップＳ２４およびＳ２５の処理のように、本実施形態においては、マイクによって検出された音のデータ（マイク音データ９９）に基づいて仮想空間に変化が与えられる。したがって、プレイヤは、マイク６９に対して入力を行うことによって、ゲーム操作を行うことができる。プレイヤは、例えば、音声指示を行ったり、マイク６９に息を吹きかけたりすることによってゲーム操作を行うことができる。
【０１８５】
ステップＳ２６において、ＣＰＵ１０は端末装置７の挙動を算出する。端末装置７の挙動は、端末装置の動きに関する情報を表す動きデータに基づいて算出される。上記挙動として算出される具体的な情報はどのようなものであってもよく、また、挙動の算出に用いられる動きデータもどのようなものであってもよい。本実施形態では、例えば、端末装置７の姿勢（傾き）が、上記角速度データ９５および加速度データ９６を用いて算出されてもよい。なお、端末装置７の単位時間当たりの姿勢の変化を角速度データ９５によって知ることができるので、角速度データ９５に基づいて端末装置７の姿勢を算出することができる。また、端末装置７がほぼ静止している状態では、重力方向を基準とした端末装置７の姿勢を知ることができるので、加速度データ９６に基づいて端末装置７の姿勢を算出したり、角速度データ９５に基づいて算出された姿勢を加速度データ９６を用いて補正したりすることができる。なお、端末装置７の姿勢は、上記方位データ９７に基づいて算出することも可能である。
【０１８６】
また、ステップＳ２６においては、例えば、端末装置７が揺らされたか否かを表す情報が加速度データ９６を用いて算出されてもよい。すなわち、端末装置７が揺らされる場合には、加速度データ９６が表す加速度の方向が反転する変化が繰り返されるので、この変化を検知することで上記の情報を算出することができる。
【０１８７】
ステップＳ２６の具体的な処理としては、ＣＰＵ１０は、ステップＳ２で取得された角速度データ９５および加速度データ９６をメインメモリから読み出し、角速度および加速度に基づいて端末装置７の姿勢を算出する。また、端末装置７が揺らされたか否かを表す情報を加速度に基づいて算出する。算出された上記姿勢および上記情報を表すデータは、端末挙動データ１０６としてメインメモリに記憶される。ステップＳ２６の次にステップＳ２７の処理が実行される。
【０１８８】
ステップＳ２７において、ＣＰＵ１０は、端末装置７の挙動に基づいて仮想空間に変化を与えるゲーム制御処理を実行する。このゲーム制御処理は、上記ステップＳ２２と同様、仮想空間に何らかの変化を与える処理であればどのような処理であってもよい。本実施形態においては、ＣＰＵ１０は、端末装置７の挙動（動き）に応じて仮想空間（部屋８２）を動かす処理を実行する。具体的には、ＣＰＵ１０は、端末装置７の姿勢（例えば、画面に垂直な軸回りの回転に関する姿勢）に応じて部屋８２の姿勢を変化させたり、端末装置７が揺らされたことに応じて部屋８２を揺らしたりしてもよい。さらに、部屋８２の変化に応じて小人のオブジェクト８１の動作が制御されてもよく、例えば、部屋８２を一定以上傾けると小人のオブジェクト８１が滑ったり、部屋８２が揺らされたことに応じて小人のオブジェクト８１がよろめいたりするようにしてもよい。なお、上記のように部屋８２が動かされる場合には、部屋８２と各仮想カメラとの位置関係が変化しないように各仮想カメラが制御されてもよいし、各仮想カメラは固定されてもよい。また、後述する変形例のように、端末装置７の挙動（姿勢）に基づいて描画面の位置および姿勢が制御されてもよく、さらに、当該描画面の位置および姿勢に基づいて各仮想カメラが設定されてもよい。ステップＳ２７の具体的な処理としては、ＣＰＵ１０は、端末挙動データ１０６をメインメモリから読み出し、端末装置７の挙動に基づいて仮想空間に変化を与える。仮想空間内の変化後の状態を表すデータは、メインメモリに記憶される。ステップＳ２７の次にステップＳ２８の処理が実行される。
【０１８９】
ステップＳ２８において、ＣＰＵ１０は、タッチ位置に基づいて仮想空間に変化を与えるゲーム制御処理を実行する。このゲーム制御処理は、上記ステップＳ２２と同様、仮想空間に何らかの変化を与える処理であればどのような処理であってもよい。本実施形態においては、ＣＰＵ１０は、タッチ位置に対応する仮想空間内の位置に配置されるオブジェクトの動作を制御する。例えば、ＣＰＵ１０は、画面上における小人のオブジェクト８１の位置をタッチする入力が行われたことに応じて、小人のオブジェクト８１にプレイヤの方を向く（描画面の方を向く）動作を行わせてもよい。また例えば、タッチパネル５２に対して線を描くように入力が行われる場合には、ＣＰＵ１０は、タッチ位置に対応する仮想空間内の位置に配置されるオブジェクトを当該線に沿って移動させるようにしてもよい。なお、ステップＳ２８におけるゲーム制御処理は、タッチ位置に対応する仮想空間内の位置に配置されるオブジェクトに対する制御処理に限らず、例えば、ＣＰＵ１０は、画面上の任意の位置に対して入力が行われたことに応じて、小人のオブジェクト８１にプレイヤの方を向く動作を行わせてもよい。ステップＳ２８の具体的な処理としては、ＣＰＵ１０は、タッチ位置データ９４をメインメモリから読み出し、タッチ位置に基づいて仮想空間に変化を与える。仮想空間内の変化後の状態を表すデータは、メインメモリに記憶される。ステップＳ２８の次にステップＳ２９の処理が実行される。
【０１９０】
ステップＳ２９において、ＣＰＵ１０は、端末装置７に設けられる操作部材（各アナログスティック５３Ａおよび５３Ｂ、ならびに、各ボタン５４Ａ〜５４Ｌ）に対する操作に基づいて仮想空間に変化を与えるゲーム制御処理を実行する。このゲーム制御処理は、上記ステップＳ２２と同様、仮想空間に何らかの変化を与える処理であればどのような処理であってもよい。例えば、ＣＰＵ１０は、仮想空間内に配置される所定のオブジェクトをアナログスティック５３または十字ボタン５４Ａに対する方向入力に応じて移動させてもよい。また、ＣＰＵ１０は、仮想空間内のオブジェクトを選択するためのカーソルがＬＣＤ５１の画面に表示される場合には、当該方向入力に応じてカーソルを移動させてもよい。ステップＳ２９の具体的な処理としては、ＣＰＵ１０は、操作ボタンデータ９２および／またはスティックデータ９３をメインメモリから読み出し、操作部材に対する操作に基づいて仮想空間に変化を与える。仮想空間内の変化後の状態を表すデータは、メインメモリに記憶される。ステップＳ２９の後、ＣＰＵ１０は、図１８に示すゲーム制御処理を終了する。
【０１９１】
以上のように、本実施形態においては、端末装置７に対するプレイヤの操作を表す操作データ（端末操作データ）がゲーム装置３へ送信され、ＣＰＵ１０は、当該操作データに基づいて仮想空間に変化を与えるゲーム制御処理を実行する（ステップＳ２６〜Ｓ２９）。これによって、プレイヤは、端末装置７を用いて種々のゲーム操作を行うことができる。また、プレイヤは、種々のゲーム操作によって仮想空間に変化を与えることで、小人のオブジェクト８１と種々のコミュニケーションをとることができる。したがって、本実施形態によれば、端末装置７の中に存在するかのように感じられる小人と種々のコミュニケーションをとって遊ぶゲームを提供することができる。
【０１９２】
また、上記操作データとして、端末装置７の動きに関する情報を表す動きデータ（角速度データ９５および加速度データ９６）に基づいてゲーム制御処理が実行される場合（ステップＳ２７）には、プレイヤは端末装置７を動かすことによってゲーム操作を行うことができ、直感的かつ容易にゲーム操作を行うことができる。また、本実施形態においては、端末装置７の動きに応じて仮想空間を動かす処理が実行されるので、プレイヤは、端末装置７を動かす操作によって仮想空間を実際に動かしているような感覚を得ることができる。これによって、仮想空間のリアリティをより向上することができる。
【０１９３】
また、上記操作データとして、端末装置７の表示部（ＬＣＤ５１）の画面上における入力位置のデータ（タッチ位置データ９４）に基づいてゲーム制御処理が実行される場合（ステップＳ２８）には、プレイヤは、画面に表示される仮想空間を直接タッチすることによってゲーム操作を行うことができ、直感的かつ容易にゲーム操作を行うことができる。また、本実施形態においては、タッチ位置に対応する仮想空間内の位置に配置されるオブジェクトの動作が制御されるので、プレイヤは、画面にタッチする操作によって仮想空間に実際に触れているかのような感覚を得ることができる。これによって、仮想空間のリアリティをより向上することができる。
【０１９４】
また、上記操作データとして、端末装置７の操作部材に対するプレイヤの操作を表す操作データ（操作ボタンデータ９２および／またはスティックデータ９３）に基づいてゲーム制御処理が実行される場合（ステップＳ２９）には、プレイヤは、端末装置７を把持した状態で容易にゲーム操作を行うことができる。
【０１９５】
図１６の説明に戻り、ステップＳ３のゲーム制御処理の次にステップＳ４の処理が実行される。ステップＳ４においては、テレビ用画像が生成される。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ３のゲーム制御処理の結果を表すデータ（描画面データ１０１、各カメラデータ１０２および１０３、ならびに、オブジェクトデータ１０７等）をメインメモリから読み出し、また、テレビ用画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、読み出したデータを用いてテレビ用画像を生成する。
【０１９６】
ここで、ＣＰＵ１０は、仮想空間をテレビ用仮想カメラから見た画像と、撮像画像（の少なくとも一部）とを合成したテレビ用画像を生成する（図１２）。すなわち、テレビ用画像を生成する際、ＣＰＵ１０は、上記ゲーム制御処理の結果を表すデータに加え、撮像画像のデータをメインメモリから読み出し、ＣＰＵ１０およびＧＰＵ１１ｂは、撮像画像のデータを用いてテレビ用画像を生成する。以上より、テレビ用画像は、仮想空間から現実空間を見たような画像となる。また、本実施形態においては、テレビ用画像においては撮像画像が描画面の位置に表示される。そのため、仮想空間と現実空間が描画面で繋がっているかのように見えるテレビ用画像を生成することができる。なお、本実施形態では、テレビ用画像の生成に用いられる撮像画像は、上記ステップＳ２３における加工処理が施された撮像画像である。したがって、テレビ用画像を生成する際、ＣＰＵ１０は、ゲーム制御処理の結果を表すデータに加え、加工処理が施された撮像画像のデータをメインメモリから読み出し、ＣＰＵ１０およびＧＰＵ１１ｂは、当該データを用いてテレビ用画像を生成する。本実施形態では、ステップＳ２で逐次取得された撮像画像を用いてテレビ用画像が逐次生成される。つまり、ステップＳ４の処理が繰り返し実行されることによって、テレビ用画像に含まれる撮像画像は動画として表示される。これによって、テレビ用画像のリアリティをより向上することができる。なお、他の実施形態においては、テレビ用画像に含まれる撮像画像は静止画であってもよい。すなわち、ある時点で取得された１つの撮像画像が所定期間の間連続して用いられてテレビ用画像が逐次生成されてもよい。また、テレビ用画像の生成に用いられる撮像画像は、所定時間間隔で更新されてもよい。
【０１９７】
さらに、本実施形態においては、仮想空間内に配置される面（描画面）８５に撮像画像が描画される。つまり、本実施形態においては、仮想空間内に配置される描画面を用いることによって、仮想空間の画像と撮像画像とを合成したテレビ用画像が生成される。具体的には、ステップＳ４においては、ＣＰＵ１０（およびＧＰＵ１１ｂ）は、描画面に撮像画像を描画し（撮像画像をテクスチャとして描画面に貼り付け）、当該描画面を含む仮想空間の画像を生成する。これによって、仮想空間の画像と撮像画像とを合成することができ、描画面の位置に撮像画像が表示されるテレビ用画像を容易に生成することができる。
【０１９８】
なお、他の実施形態においては、撮像画像が描画される面は、上記面８５でなくてもよい。図１９は、他の実施形態における撮像画像の描画方法を示す図である。図１９においては、テレビ用仮想カメラ８７から見て面８５よりも奥に背景面８８が配置される（なお、背景面８８と端末用仮想カメラ８６とはどちらが手前に配置されてもよい）。このとき、撮像画像は背景面８８に描画されてもよい。ただし、背景面８８に撮像画像が描画される場合には、テレビ用仮想カメラ８７の位置または姿勢が変化した場合には、撮像画像を描画する位置をテレビ用仮想カメラ８７に合わせて変更しなければならない。これに比べて、上記実施形態によれば、テレビ用画像の生成処理がより容易になる。
【０１９９】
以上の処理によって、本実施形態におけるステップＳ４においては、仮想空間に配置された部屋８２の内側から開口部の外側を見た画像がテレビ用画像として生成される（図１２）。生成されたテレビ用画像はＶＲＡＭ１１ｄに記憶される。上記ステップＳ４の次にステップＳ５の処理が実行される。
【０２００】
ステップＳ５においては、端末用画像が生成される。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ３のゲーム制御処理の結果を表すデータをメインメモリから読み出し、また、端末用画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、端末用画像を生成する。また、生成された端末用画像はＶＲＡＭ１１ｄに記憶される。ここで、ＣＰＵ１０は、端末用画像として、テレビ用仮想カメラとは異なる端末用仮想カメラから仮想空間を見た画像を生成する。具体的には、本実施形態では、仮想空間に配置された部屋８２の外側から開口部を介して部屋８２の内側を見た画像が端末用画像として生成される（図１１参照）。なお、このとき、描画面は存在しない（あるいは透明である）ものとして端末用画像が生成される。以上のように、端末用画像は、現実空間から仮想空間を見たような画像となる。したがって、テレビ用画像および端末用画像を見たプレイヤは、仮想空間が現実に存在するかのような感覚を抱き、仮想空間のリアリティを向上することができる。上記ステップＳ５の次にステップＳ６の処理が実行される。
【０２０１】
ステップＳ６において、ＣＰＵ１０は、テレビ２へテレビ用画像を出力する。具体的には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶されたテレビ用画像のデータをＡＶ−ＩＣ１５へ送る。これに応じて、ＡＶ−ＩＣ１５はテレビ用画像のデータを、ＡＶコネクタ１６を介してテレビ２へ出力する。これによって、テレビ用画像がテレビ２に表示される。また、ステップＳ６においては、ゲーム画像のデータと共にゲーム音声のデータがテレビ２へ出力され、テレビ２のスピーカ２ａからゲーム音声が出力されてもよい。ステップＳ６の次にステップＳ７の処理が実行される。
【０２０２】
ステップＳ７において、ＣＰＵ１０は、端末装置７へ端末用画像を出力（送信）する。具体的には、ＶＲＡＭ１１ｄに記憶された端末用画像の画像データは、ＣＰＵ１０によってコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。圧縮処理が施された画像のデータは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像のデータを無線モジュール７０によって受信し、受信された画像データに対してコーデックＬＳＩ６６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力される。これによって、端末用画像がＬＣＤ５１に表示される。また、ステップＳ７においては、ゲーム画像のデータと共にゲーム音声のデータが端末装置７へ送信され、端末装置７のスピーカ６７からゲーム音声が出力されてもよい。ステップＳ７の次にステップＳ８の処理が実行される。
【０２０３】
ステップＳ８において、ＣＰＵ１０は、ゲームを終了するか否かを判定する。ステップＳ８の判定は、例えば、プレイヤがゲームを中止する指示を行ったか否か等によって行われる。ステップＳ８の判定結果が否定の場合、ステップＳ２の処理が再度実行される。一方、ステップＳ８の判定結果が肯定の場合、ＣＰＵ１０は図１６に示すゲーム処理を終了する。なお、ゲーム処理を終了する際には、ゲームデータをメモリカード等にセーブする等の処理が実行されてもよい。以降、ステップＳ２〜Ｓ８の一連の処理は、ステップＳ８でゲームを終了すると判定されるまで繰り返し実行される。
【０２０４】
以上のように、本実施形態におけるゲーム処理によれば、所定の仮想空間をある仮想カメラ（テレビ用仮想カメラ）から見た画像と、撮像画像の少なくとも一部とを合成した画像（テレビ用画像）が生成され（ステップＳ４）、所定の表示装置（テレビ２）に表示される（ステップＳ６）。また、上記仮想カメラとは異なる別の仮想カメラ（端末用仮想カメラ）から仮想空間を見た画像（端末用画像）が生成され（ステップＳ５）、端末装置７に表示される（ステップＳ５）。これによれば、仮想空間から現実空間を見た画像が所定の表示装置に表示され、現実空間から仮想空間を見た画像が端末装置７に表示される。したがって、これらの画像をプレイヤに提供することによって、プレイヤは、仮想空間が現実空間と繋がっているような感覚を味わうことができ、仮想空間をよりリアリティあるものとして認識することができる。
【０２０５】
［７．変形例］
上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。
【０２０６】
（面および仮想カメラの設定に関する変形例）
上記実施形態においては、仮想空間内において面（描画面）８５ならびに各仮想カメラ８６および８７は固定的に配置された。ここで、他の実施形態においては、面８５ならびに各仮想カメラ８６および８７は、固定的に配置される他、（何らかの条件に従って）移動可能であってもよい。例えば、面８５ならびに各仮想カメラ８６および８７の移動がプレイヤの操作に従って制御されてもよい。以下、上記実施形態の変形例として、プレイヤの操作によって端末用仮想カメラ８６を移動させ、それに応じて面８５およびテレビ用仮想カメラ８７を移動させる変形例について説明する。
【０２０７】
図２０は、上記実施形態の変形例におけるゲーム制御処理の流れを示すフローチャートである。本変形例においては、ステップＳ３１〜Ｓ３３の処理が実行され、その後、上記実施形態と同様のステップＳ２１〜Ｓ２９の一連の処理（あるいはその一部の処理でもよい）が実行される。なお、本変形例において、図１６に示すゲーム制御処理（ステップＳ３）以外の処理は、上記実施形態と同様であってもよい。
【０２０８】
ステップＳ３１において、ＣＰＵ１０は、プレイヤの操作に応じて端末用仮想カメラ８６を移動させる。すなわち、ＣＰＵ１０は、メインメモリに記憶される端末操作データ９１に基づいて端末用仮想カメラ８６を設定する。端末用仮想カメラ８６の移動はどのように制御されてもよいが、本変形例では、例えば、端末装置７に対する方向入力操作に応じて移動するように、端末用仮想カメラ８６が制御される。上記方向入力操作は、例えば、端末装置７の姿勢を上下左右に傾ける操作であってもよいし、上記操作部材（アナログスティック５３や十字ボタン５４Ａ等）に対する方向入力操作であってもよい。
【０２０９】
図２１は、面８５および各仮想カメラ８６および８７の移動の一例を示す図である。図２１に示す例では、端末用仮想カメラ８６は、端末用仮想カメラ８６が配置される位置を中心として回転するように制御される。なお、図２１では、回転の中心位置に端末用仮想カメラ８６が配置されるので、端末用仮想カメラ８６は姿勢のみを変化させるが、他の例においては位置および姿勢が変化してもよいし、位置のみが変化してもよい。ステップＳ３１の具体的な処理としては、ＣＰＵ１０は、端末操作データ９１をメインメモリから読み出し、プレイヤの操作に基づいて端末用仮想カメラ８６の移動後の姿勢を算出する。算出された姿勢と予め定められる位置を表すデータは、新たな端末カメラデータ１０２としてメインメモリに記憶される。ステップＳ３１の次にステップＳ３２の処理が実行される。
【０２１０】
ステップＳ３２において、ＣＰＵ１０は、端末用仮想カメラ８６の移動に応じて（換言すればプレイヤの操作に応じて）面８５を移動させる。すなわち、ＣＰＵ１０は、ステップＳ３１で算出された端末用仮想カメラ８６の位置および姿勢に基づいて面８５の位置および姿勢を算出する。面８５の移動はどのように制御されてもよいが、本変形例では、面８５は、端末用仮想カメラ８６の視野範囲に含まれるように設定され、具体的には、面８５と端末用仮想カメラ８６との位置関係が移動前後で一定となるように設定される。図２１に示す例では、面８５は、端末用仮想カメラ８６の回転に応じて回転移動する。なお、図２１に示す例では、面８５の位置および姿勢が変化するが、他の例においては位置および姿勢のいずれか一方のみが変化してもよい。ステップＳ３２の具体的な処理としては、ＣＰＵ１０は、端末カメラデータ１０２をメインメモリから読み出し、端末用仮想カメラ８６の位置および姿勢に基づいて面８５の位置および姿勢を算出する。算出された位置および姿勢を表すデータは、新たな端末カメラデータ１０２としてメインメモリに記憶される。ステップＳ３２の次にステップＳ３３の処理が実行される。
【０２１１】
ステップＳ３３において、ＣＰＵ１０は、端末用仮想カメラ８６の移動に応じて（換言すればプレイヤの操作に応じて）テレビ用仮想カメラ８７を移動させる。すなわち、ＣＰＵ１０は、ステップＳ３１で算出された端末用仮想カメラ８６の位置および姿勢に基づいてテレビ用仮想カメラ８７を設定する。本変形例では、テレビ用仮想カメラ８７は、面８５を視野範囲に含むように設定され、具体的には、端末用仮想カメラ８６とテレビ用仮想カメラ８７との位置関係が移動前後で一定となるように設定される。そのため、図２１に示す例では、テレビ用仮想カメラ８７は、端末用仮想カメラ８６の回転に応じて回転移動する。なお、図２１に示す例では、テレビ用仮想カメラ８７の位置および姿勢が変化するが、他の例においては位置および姿勢のいずれか一方のみが変化してもよい。ステップＳ３３の具体的な処理としては、ＣＰＵ１０は、端末カメラデータ１０２をメインメモリから読み出し、端末用仮想カメラ８６の位置および姿勢に基づいてテレビ用仮想カメラ８７の位置および姿勢を算出する。算出された位置および姿勢を表すデータは、新たなテレビカメラデータ１０３としてメインメモリに記憶される。本変形例においては、上記ステップＳ３３の後、上記実施形態と同様のステップＳ２１〜Ｓ２９の一連の処理（あるいはその一部の処理でもよい）が実行される。
【０２１２】
以上のように、本変形例によれば、プレイヤの操作によって面８５および各仮想カメラ８６および８７が設定される。これによって、プレイヤは、仮想空間内の領域のうちで端末装置７またはテレビ２に表示される領域を変更することができる。
【０２１３】
なお、上記実施形態および上記変形例では、２つの仮想カメラ８６および８７は、それぞれ面８５を一方側と他方側から撮影するような位置関係を常に満たすように設定された。ここで、他の実施形態においては、各仮想カメラ８６および８７は、上記の位置関係を常に満たす配置となる必要はなく、所定の条件が満たされた場合には少なくとも当該位置関係を満たすように設定されればよい。例えば、テレビ用仮想カメラ８７は、所定のオブジェクト（例えば小人のオブジェクト８１）の位置および向きに応じて設定されてもよい。このとき、各仮想カメラ８６および８７は上記位置関係を常に満たすことにはならないが、所定のオブジェクトの位置および向きによっては上記位置関係が満たされる場合があり、この場合には上記実施形態と同様の効果を奏する。
【０２１４】
（ゲームに関する変形例）
上記実施形態においては、仮想のゲーム空間に登場する小人のオブジェクトとコミュニケーションをとって遊ぶゲームを例として説明したが、ゲームシステム１において行われるゲームの内容はどのようなものであってもよい。例えば、他の実施形態においては、複数のプレイヤが同時にゲームを行う複数人プレイのゲームがゲームシステム１において行われてもよい。以下、上記実施形態の変形例として、複数人プレイのゲームが実行される場合のゲーム処理について説明する。
【０２１５】
本変形例においては、ゲームシステム１は、ゲーム装置３と通信可能な操作装置を含んでおり、端末装置７を操作するプレイヤ以外の他のプレイヤは当該操作装置を用いてゲーム操作を行う。本変形例では、上記操作装置はコントローラ５であるが、他の実施形態においては操作装置はどのような種類のものであってもよい。例えば、他の実施形態においては、上記操作装置は端末装置７と同じ装置であってもよい。このとき、上記他のプレイヤが操作する端末装置７には、上記実施形態におけるテレビ用画像が表示されてもよい。
【０２１６】
本変形例においては、ステップＳ２において、ＣＰＵ１０は、端末装置７から各種データを取得する他、コントローラ５からコントローラ操作データを取得する。すなわち、コントローラ５はコントローラ操作データをゲーム装置３へ繰り返し送信するので、ゲーム装置３においては、コントローラ通信モジュール１９がコントローラ操作データを逐次受信し、受信されたコントローラ操作データが入出力プロセッサ１１ａによってメインメモリに逐次記憶される。ＣＰＵ１０は、適宜のタイミングで上記コントローラ操作データをメインメモリから読み出す。なお、本変形例では操作装置（コントローラ５）を１つとするが、ゲームシステム１は複数の操作装置を含み、ＣＰＵ１０は各操作装置から操作データをそれぞれ取得するようにしてもよい。
【０２１７】
図２２は、本変形例におけるゲーム制御処理の流れを示すフローチャートである。本変形例においては、上記実施形態と同様のステップＳ２１〜Ｓ２９の一連の処理（あるいはその一部の処理でもよい）が実行された後、ステップＳ４１およびＳ４２の処理が実行される。
【０２１８】
ステップＳ４１において、ＣＰＵ１０は、他のプレイヤの操作に基づいて所定のオブジェクトを制御する。ここで、所定のオブジェクトは、仮想空間に配置され、他のプレイヤの操作対象となるオブジェクトである。所定のオブジェクトは、どのようなオブジェクトであってもよい。例えば上記実施形態において、小人のオブジェクト８１が上記所定のオブジェクトとして他のプレイヤによって操作されてもよい。また、ＣＰＵ１０は、操作装置（コントローラ５）に対する操作に応じて所定のオブジェクトの動作を制御すればよく、具体的な制御方法はどのようなものであってもよい。本変形例では、例えば、ＣＰＵ１０は、コントローラ５に対する操作に応じて、所定のオブジェクトに仮想空間内を移動させたり、射撃動作を行わせたりする。ステップＳ４１の具体的な処理としては、ＣＰＵ１０は、コントローラ操作データをメインメモリから読み出し、他のプレイヤの操作に基づいて所定のオブジェクトの動作を制御する。そして、制御後のオブジェクトの状態を表すパラメータ（位置や向き等を表すパラメータ）のデータがメインメモリに記憶される。ステップＳ４１の次にステップＳ４２の処理が実行される。
【０２１９】
ステップＳ４２において、ＣＰＵ１０は、上記所定のオブジェクトの動作と、描画面（面８５）に描画された撮像画像とに基づいて所定のゲーム処理を実行する。この所定のゲーム処理は、ゲーム進行に影響を与える処理であればどのような処理であってもよく、例えば、所定のオブジェクトの動作によって上記撮像画像に対して何らかの影響が与えられたか否かを判定したり、（影響が与えられる場合には）その影響によって変化したゲームパラメータを算出したりする処理である。具体的には、本変形例では、ＣＰＵ１０は、所定のオブジェクトによる射撃動作によって発射された弾が撮像画像においてプレイヤが表示される領域に命中したか否かを判定する処理を実行する。なお、撮像画像においてプレイヤが表示される領域は、例えばステップＳ２１の画像認識処理において算出されてもよい。また、弾が上記領域に命中した場合には、上記他のプレイヤの得点を加算したり、端末装置７を操作するプレイヤの体力を減らしたりする処理が実行される。ステップＳ４２の具体的な処理としては、ＣＰＵ１０は、所定のオブジェクトの状態を表すパラメータのデータと、画像認識データ１０４とをメインメモリから読み出し、読み出したデータに基づいて上記所定のゲーム処理を実行する。そして、所定のゲーム処理の実行結果を表すデータをメインメモリに記憶する。このとき、テレビ用画像および端末用画像を生成する処理（ステップＳ４およびＳ５）においては、上記実行結果を表すデータが参照されて各画像が生成される。ステップＳ４２の後、ＣＰＵ１０は、ゲーム制御処理を終了する。なお、本変形例において、ゲーム制御処理（ステップＳ３）以降のステップＳ４〜Ｓ８の処理は、上記実施形態と同様であってもよい。
【０２２０】
本変形例によれば、複数人プレイのゲームにおいても上記実施形態と同様、仮想空間のリアリティを向上することができる。また、他のプレイヤによって操作される所定のオブジェクトの動作と、撮像画像とに基づくゲーム処理（ステップＳ４２）が行われることによって、各プレイヤは、仮想空間内のオブジェクトが現実空間に影響を与えるかのような感覚を味わうことができる。具体的には、上記変形例によれば、仮想空間内のオブジェクトが、現実空間の（端末装置７を操作する）プレイヤに対して射撃を行う感覚を味わうことができる。これによって、仮想空間と現実空間とが繋がっているかのような感覚をプレイヤにより強く抱かせることができ、仮想空間のリアリティをより向上させることができる。
【０２２１】
なお、他の実施形態においては、上記ステップＳ４２における所定のオブジェクトは、プレイヤによって操作されず、ＣＰＵ１０によって（自動的に）制御されてもよい。この場合であっても上記変形例と同様、仮想空間内のオブジェクトが、現実空間に対して影響を与える感覚をプレイヤに与えることができ、仮想空間のリアリティをより向上させることができる。
【０２２２】
また、上記実施形態では、画面に仮想空間を表示する情報処理システムの一例として、プレイヤが端末装置７を用いてゲーム操作を行うゲームシステム１を例に説明を行った。ここで、他の実施形態においては、情報処理システムはゲーム用途に限らず、仮想空間を表示装置に表示させる任意の情報処理システムまたは情報処理装置に適用されてもよい。
【０２２３】
（プレイヤオブジェクトに関する変形例）
上記実施形態においては、端末装置７を操作するプレイヤが仮想空間のオブジェクトとコミュニケーションをとるゲームであったので、当該プレイヤに対応するオブジェクトは仮想空間に配置されなかった。これに対して、他の実施形態においては、当該プレイヤに対応するプレイヤオブジェクトが仮想空間に配置されてもよい。プレイヤオブジェクトは、仮想空間の任意の位置に配置され、プレイヤの操作によって移動するオブジェクトであってもよいし、上記描画面に描画されるプレイヤの画像の位置に配置されるオブジェクトであってもよい。
【０２２４】
（撮像画像の表示に関する変形例）
上記実施形態においては、テレビ用画像の一部としてテレビ２に表示される撮像画像は、カメラ５６による撮像画像のうちの所定の一部の領域の画像であった。ここで、他の実施形態においては、テレビ用画像の一部としてテレビ２に表示される撮像画像は、カメラ５６による撮像画像の少なくとも一部が用いられればよく、当該撮像画像に対してゲーム内容に応じた適宜の加工が施されてもよい。例えば、ＣＰＵ１０は、上記ステップＳ２１の画像認識処理において、撮像画像からプレイヤの画像の領域を抽出し、抽出された領域の画像をテレビ２に表示するようにしてもよい。このとき、抽出された領域の画像は、仮想空間内に配置される面（上記描画面や背景面等）に描画されてもよい。これによれば、仮想空間内にプレイヤが存在するかのような感覚をプレイヤに与えることができ、仮想空間のリアリティを向上することができる。また、例えば仮想空間として水槽内（水中）の空間が生成されて端末装置７およびテレビ２に表示される場合においては、ＣＰＵ１０は、水槽の内から外を見た場合の画像となるように、撮像画像を歪める等の加工処理を施すようにしてもよい。これによって、テレビ２に表示される、仮想空間から現実空間を見た場合の画像のリアリティを向上することができ、仮想空間のリアリティをより向上することができる。
【０２２５】
（ゲームシステムの構成に関する変形例）
上記実施形態においては、ゲームシステム１は、ゲーム装置３と、撮像部（カメラ５６）および表示部（ＬＣＤ５１）を備える端末装置７と、所定の表示装置（テレビ２）とを備える構成であった。ここで、ゲームシステム１は、２種類の画像を生成し、一方の画像を端末装置に表示させるとともに、他方の画像を所定の表示装置に表示させることができる構成であれば、どのような構成であってもよい。例えば、ゲームシステム１は、所定の表示装置を含まない形態で提供されてもよいし、所定の表示装置として端末装置７と同様の表示装置を含む形態で提供されてもよい。
【０２２６】
また、ゲームシステム１は、複数の装置で実現されるものに限らず、１つの装置によって実現されてもよい。例えば、撮像部と２つの表示部とを備える携帯型の情報処理装置（ゲーム装置であってもよい）によってゲームシステムが実現されてもよい。このとき、情報処理装置は、一方の表示部に上記実施形態における端末用画像を表示し、もう一方の表示部に上記実施形態におけるテレビ用画像を表示する。
【０２２７】
（ゲーム処理を実行する情報処理装置に関する変形例）
上記実施形態においては、ゲームシステム１において実行される一連のゲーム処理をゲーム装置３が実行したが、ゲーム処理の一部は他の装置によって実行されてもよい。例えば、他の実施形態においては、ゲーム処理の一部（例えば、端末用画像の生成処理）を端末装置７が実行するようにしてもよい。また、他の実施形態では、互いに通信可能な複数の情報処理装置を有する入力システムにおいて、当該複数の情報処理装置がゲーム処理を分担して実行するようにしてもよい。すなわち、ゲームシステムは、撮像部と、表示部と、所定の仮想空間を第１仮想カメラから見た画像と、撮像部による撮像画像の少なくとも一部とを合成した第１画像を生成する第１画像生成部と、第１画像を所定の表示装置へ出力する第１画像出力部と、第１仮想カメラとは異なる第２仮想カメラから仮想空間を見た第２画像を生成する第２画像生成部と、第２画像を表示部へ出力する第２画像出力部とを備えていればよく、１つの装置がこれらの各部を備える構成であってもよいし、複数の装置がこれらの各部を備える構成であってもよい。
【０２２８】
なお、複数の情報処理装置においてゲーム処理が実行される場合には、各情報処理装置で実行されるゲーム処理を同期させる必要があり、ゲーム処理が複雑になってしまう。これに対して、上記実施形態のように、ゲーム処理が１つのゲーム装置３によって実行され、端末装置７がゲーム画像を受信して表示する処理を行う場合（つまり、端末装置７がシンクライアント端末である場合）には、複数の情報処理装置間でゲーム処理の同期をとる必要がなく、ゲーム処理を簡易化することができる。
【０２２９】
上記のように、本明細書で説明した種々のシステム、方法、および技術は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、またはこれら要素の組み合わせによって提供されてもよい。上記の技術を実現するための装置は、プログラム可能なプロセッサによる実行のためのコンピュータ読み取り可能な非一時的な記憶装置において実体的に具体化されるコンピュータプログラムプロダクト、入出力装置、およびコンピュータプロセッサを含んでもよい。上記技術を実現するための処理は、入力データを処理して所望の出力を生成することによって、要求される機能を実行するためのプログラムを実行する、プログラム可能なプロセッサによって実行されてもよい。上記の技術は、入力装置、出力装置、および情報記憶装置といったハードウェア資源との間でデータや指示のやり取りを行うプログラム可能なプロセッサを含むコンピュータシステム上で実行可能な１以上のコンピュータプログラムによって実現されてもよい。また、各コンピュータプログラムは、手続型やオブジェクト指向型の高水準プログラミング言語、アセンブリ言語、または、機械語によって実現されてもよく、必要に応じてコンパイルまたはインタプリタされて実行されてもよい。また、上記のプロセッサは、汎用または専用のマイクロプロセッサであってもよい。プロセッサは、一般的に、ＲＯＭまたはＲＡＭからデータおよび指示を受け取る。また、上記の記憶装置は、（ａ）ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリのような半導体メモリ装置を含む不揮発性のメモリ、（ｂ）内部ハードディスクあるいは着脱可能な外部ディスクのような磁気ディスク、（ｃ）光磁気ディスク、（ｄ）ＣＤＲＯＭ、に限定されず、あらゆる種類のコンピュータメモリを含む。上記のプロセッサや記憶装置は、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）によって補充される、あるいは、ＡＳＩＣに組み込まれる形で実現されてもよい。
【０２３０】
また、本明細書に記載の処理システム（回路）は、本明細書において記載された内容に応じたゲーム処理のような制御処理のためにプログラムされる。上記の内容に応じた指示を実行する少なくとも１つのＣＰＵを含む処理システムが、上記の内容によって定義される処理動作を実行するための「プログラムされた論理回路」として作用するものであってもよい。
【産業上の利用可能性】
【０２３１】
以上のように、本発明は、画面に表示される仮想空間のリアリティを向上すること等を目的として、例えばゲームシステムやゲーム装置、ゲームプログラムに利用することが可能である。
【符号の説明】
【０２３２】
１ゲームシステム
２テレビ
３ゲーム装置
４光ディスク
５コントローラ
７端末装置
１０ＣＰＵ
１１ｅ内部メインメモリ
１２外部メインメモリ
５１ＬＣＤ
５２タッチパネル
５６カメラ
６３加速度センサ
６４ジャイロセンサ
６９マイク
７０無線モジュール
８１オブジェクト
８３撮像画像
８５面
８６端末用仮想カメラ
８７テレビ用仮想カメラ
９０ゲームプログラム

【特許請求の範囲】
【請求項１】
ゲーム装置と、当該ゲーム装置と通信可能な端末装置とを含むゲームシステムであって、
前記端末装置は、
撮像部と、
前記撮像部による撮像画像を前記ゲーム装置へ送信する送信部と、
前記ゲーム装置から出力された画像を表示する表示部とを備え、
前記ゲーム装置は、
前記撮像画像を受信する受信部と、
所定の仮想空間を第１仮想カメラから見た画像と、前記撮像画像の少なくとも一部とを合成した第１画像を生成する第１画像生成部と、
前記第１画像を所定の表示装置へ出力する第１画像出力部と、
前記第１仮想カメラとは異なる第２仮想カメラから前記仮想空間を見た第２画像を生成する第２画像生成部と、
前記第２画像を前記端末装置へ出力する第２画像出力部とを備える、ゲームシステム。
【請求項２】
前記ゲーム装置は、前記仮想空間内の所定面を一方側から撮影するように前記第１仮想カメラを設定するとともに、当該所定面を他方側から撮影するように前記第２仮想カメラを設定する仮想カメラ設定部をさらに備える、請求項１に記載のゲームシステム。
【請求項３】
前記第１画像生成部は、前記撮像画像の少なくとも一部が前記所定面の位置に表示された第１画像を生成する、請求項２に記載のゲームシステム。
【請求項４】
前記ゲーム装置は、前記撮像画像の少なくとも一部が描画される描画面を仮想空間内に配置する面配置部をさらに備え、
前記第１画像生成部は、前記描画面を含む仮想空間を表す第１画像を生成する、請求項１に記載のゲームシステム。
【請求項５】
前記ゲーム装置は、前記撮像画像が描画される側から前記描画面を見た位置および姿勢となるように前記第１仮想カメラを設定する第１カメラ設定部をさらに備える、請求項４に記載のゲームシステム。
【請求項６】
前記ゲーム装置は、前記撮像画像が描画される側の反対側から前記描画面を見た位置および姿勢となるように前記第２仮想カメラを設定する第２カメラ設定部をさらに備える、請求項４または請求項５に記載のゲームシステム。
【請求項７】
前記仮想空間内に配置される所定のオブジェクトの動作と、前記描画面に描画された撮像画像とに基づいて所定のゲーム処理を実行するゲーム処理部をさらに備える、請求項４に記載のゲームシステム。
【請求項８】
前記ゲームシステムは、前記ゲーム装置と通信可能な操作装置をさらに含み、
前記ゲーム処理部は、前記操作装置に対する操作に応じて前記所定のオブジェクトの動作を制御する、請求項７に記載のゲームシステム。
【請求項９】
前記ゲーム装置は、
前記撮像画像に対して画像認識処理を実行する認識処理部と、
前記画像認識処理の結果に基づいて前記仮想空間に変化を与えるゲーム制御処理を実行するゲーム制御処理部とをさらに備える、請求項１から請求項８のいずれか１項に記載のゲームシステム。
【請求項１０】
前記端末装置は、マイクをさらに備えており、
前記送信部は、前記マイクによって検出された音のデータを前記ゲーム装置へ送信し、
前記ゲーム装置は、前記音のデータに基づいて前記仮想空間に変化を与えるゲーム制御処理を実行するゲーム制御処理部をさらに備える、請求項１から請求項９のいずれか１項に記載のゲームシステム。
【請求項１１】
前記送信部は、前記端末装置に対するプレイヤの操作を表す操作データを前記ゲーム装置へ送信し、
前記ゲーム装置は、前記操作データに基づいて前記仮想空間に変化を与えるゲーム制御処理を実行するゲーム制御処理部をさらに備える、請求項１から請求項１０のいずれか１項に記載のゲームシステム。
【請求項１２】
前記端末装置は、当該端末装置の動きに関する情報を表す動きデータを出力するセンサ部をさらに備え、
前記送信部は、前記動きデータを含む操作データを前記ゲーム装置へ送信する、請求項１１に記載のゲームシステム。
【請求項１３】
前記端末装置は、前記表示部の画面上における入力位置を検出可能な位置検出部をさらに備え、
前記送信部は、前記位置検出部によって検出された位置のデータを含む操作データを前記ゲーム装置へ送信する、請求項１１に記載のゲームシステム。
【請求項１４】
前記端末装置は、１以上の操作部材をさらに備え、
前記送信部は、前記操作部材に対するプレイヤの操作を表す操作データを前記ゲーム装置へ送信する、請求項１１に記載のゲームシステム。
【請求項１５】
情報処理装置と、当該情報処理装置と通信可能な端末装置とを含む情報処理システムにおいて実行される画像生成方法であって、
前記端末装置が備える撮像部による撮像画像を前記情報処理装置が受信する受信ステップと、
所定の仮想空間を第１仮想カメラから見た画像と、前記撮像画像の少なくとも一部とを合成した第１画像を生成する第１画像生成ステップと、
前記第１画像を所定の表示装置へ出力する第１画像出力ステップと、
前記第１仮想カメラとは異なる第２仮想カメラから前記仮想空間を見た第２画像を生成する第２画像生成ステップと、
前記第２画像を前記端末装置へ出力する第２画像出力ステップとを備える、画像生成方法。
【請求項１６】
前記仮想空間内の所定面を一方側から撮影するように前記第１仮想カメラを設定するとともに、当該所定面を他方側から撮影するように前記第２仮想カメラを設定する仮想カメラ設定ステップをさらに備える、請求項１５に記載の画像生成方法。
【請求項１７】
前記第１画像生成ステップにおいては、前記撮像画像の少なくとも一部が前記所定面の位置に表示された第１画像が生成される、請求項１６に記載の画像生成方法。
【請求項１８】
前記撮像画像の少なくとも一部が描画される描画面を仮想空間内に配置する面配置ステップをさらに備える、請求項１５に記載の画像生成方法。
【請求項１９】
前記撮像画像が描画される側から前記描画面を見た位置および姿勢となるように前記第１仮想カメラを設定する第１カメラ設定ステップをさらに備える、請求項１８に記載の画像生成方法。
【請求項２０】
前記撮像画像が描画される側の反対側から前記描画面を見た位置および姿勢となるように前記第２仮想カメラを設定する第２カメラ設定ステップをさらに備える、請求項１８または請求項１９に記載の画像生成方法。
【請求項２１】
前記仮想空間内に配置される所定のオブジェクトの動作と、前記描画面に描画された撮像画像とに基づいて所定のゲーム処理を実行するゲーム処理ステップをさらに備える、請求項１８に記載の画像生成方法。
【請求項２２】
前記情報処理システムは、前記情報処理装置と通信可能な操作装置をさらに含み、
前記ゲーム処理ステップにおいては、前記操作装置に対する操作に応じて前記所定のオブジェクトの動作が制御される、請求項２１に記載の画像生成方法。
【請求項２３】
前記撮像画像に対して画像認識処理を実行する認識処理ステップと、
前記画像認識処理の結果に基づいて前記仮想空間に変化を与えるゲーム制御処理を実行するゲーム制御処理ステップとをさらに備える、請求項１５から請求項２２のいずれか１項に記載の画像生成方法。
【請求項２４】
前記端末装置は、マイクをさらに備えており、
前記受信ステップにおいては、前記マイクによって検出された音のデータが前記情報処理装置によって受信され、
前記音のデータに基づいて前記仮想空間に変化を与えるゲーム制御処理を実行するゲーム制御処理ステップをさらに備える、請求項１５から請求項２３のいずれか１項に記載の画像生成方法。
【請求項２５】
前記受信ステップにおいては、前記端末装置に対するプレイヤの操作を表す操作データが前記情報処理装置によって受信され、
前記操作データに基づいて前記仮想空間に変化を与えるゲーム制御処理を実行するゲーム制御処理ステップをさらに備える、請求項１５から請求項２４のいずれか１項に記載の画像生成方法。
【請求項２６】
前記端末装置は、当該端末装置の動きに関する情報を表す動きデータを出力するセンサ部をさらに備え、
前記受信ステップにおいては、前記動きデータを含む操作データが前記情報処理装置によって受信される、請求項２５に記載の画像生成方法。
【請求項２７】
前記端末装置は、前記表示部の画面上における入力位置を検出可能な位置検出部をさらに備え、
前記受信ステップにおいては、前記位置検出部によって検出された位置のデータを含む操作データが前記情報処理装置によって受信される、請求項２５に記載の画像生成方法。
【請求項２８】
前記端末装置は、１以上の操作部材をさらに備え、
前記受信ステップにおいては、前記操作部材に対するプレイヤの操作を表す操作データが前記情報処理装置によって受信される、請求項２５に記載の画像生成方法。
【請求項２９】
撮像部および表示部を備える端末装置から、前記撮像部による撮像画像を受信する受信部と、
所定の仮想空間を第１仮想カメラから見た画像と、前記撮像画像の少なくとも一部とを合成した第１画像を生成する第１画像生成部と、
前記第１画像を所定の表示装置へ出力する第１画像出力部と、
前記第１仮想カメラとは異なる第２仮想カメラから前記仮想空間を見た第２画像を生成する第２画像生成部と、
前記第２画像を前記端末装置へ出力する第２画像出力部とを備える、ゲーム装置。
【請求項３０】
ゲーム装置のコンピュータにおいて実行されるゲームプログラムであって、
前記ゲーム装置と通信可能な端末装置が備える撮像部による撮像画像を取得する画像取得手段と、
所定の表示装置に表示するための第１画像として、所定の仮想空間を第１仮想カメラから見た画像と、前記撮像画像の少なくとも一部とを合成した画像を生成する第１画像生成手段と、
前記端末装置の表示部に表示するための第２画像として、前記第１仮想カメラとは異なる第２仮想カメラから前記仮想空間を見た第２画像を生成する第２画像生成手段として前記コンピュータを機能させる、ゲームプログラム。

【図１】