ゲームシステム、情報処理方法、ゲーム装置、および情報処理プログラム
【課題】アプリケーションの実行中において、テレビ等の表示装置に対する操作を容易に行う。
【解決手段】ゲームシステムは、ゲーム装置と操作装置とを含む。ゲーム装置は、操作装置から操作データを取得する。また、ゲーム装置は、アプリケーションを実行し、実行によって生成された画像を、操作装置と操作装置とは別体の所定の表示装置との少なくとも一方へ出力する。アプリケーションの実行中において操作装置に対して所定の操作が行われた場合、所定の操作画像が操作装置の表示部に表示される。ゲーム装置、操作画像が表示部に表示される状態において、所定の表示装置に対する制御を行う制御指示があったか否かを操作データに基づいて判定する。制御指示があった場合、ゲーム装置は、当該制御指示に応じた制御を所定の表示装置に対して行う。
【解決手段】ゲームシステムは、ゲーム装置と操作装置とを含む。ゲーム装置は、操作装置から操作データを取得する。また、ゲーム装置は、アプリケーションを実行し、実行によって生成された画像を、操作装置と操作装置とは別体の所定の表示装置との少なくとも一方へ出力する。アプリケーションの実行中において操作装置に対して所定の操作が行われた場合、所定の操作画像が操作装置の表示部に表示される。ゲーム装置、操作画像が表示部に表示される状態において、所定の表示装置に対する制御を行う制御指示があったか否かを操作データに基づいて判定する。制御指示があった場合、ゲーム装置は、当該制御指示に応じた制御を所定の表示装置に対して行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ等の表示装置を用いるゲームシステム、情報処理方法、ゲーム装置、および情報処理プログラムに関する。
【背景技術】
【０００２】
従来、テレビを表示装置として用いるゲームシステムがあり、また、このようなゲームシステムにおいて、ゲーム以外にも種々のアプリケーションを実行することが考えられている。例えば、特許文献１に記載のゲームシステムにおいては、ゲーム装置がゲームプログラムを実行する他に、テレビの番組表をテレビに表示するアプリケーションを実行することが記載されている（特許文献１の図１０参照）。このように、ゲームシステムをゲーム用途以外にも様々な用途で利用することが考えられている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２００５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、ゲームシステムにおいて表示装置としても用いられるテレビは、ゲームシステムによる画像（ゲーム画像や上記番組表の画像等）を表示する用途の他、ゲームシステム以外の用途（テレビ放送の映像を表示する用途）でも用いられる。また、上記のようにゲームシステムを様々な用途で利用する場合には、ゲームシステム自体を利用する機会が増えるので、ユーザがテレビを見ている際にゲームシステムを使用する（例えば、ゲームシステムを用いて上記の番組表を見る）ことも十分考えられる。しかし、従来では、ゲームシステムにおいてテレビを用いる状態と、ゲームシステム以外の用途でテレビを用いる状態とを切り替える際の操作性に課題があった。
【０００５】
すなわち、上記特許文献１に記載のゲームシステムにおいては、アプリケーションの実行中においてはテレビに対する操作を行うことができない。したがって、テレビの番組表を表示するアプリケーションの実行中において、番組表にある所望の番組を見ようとする場合には、ユーザは、ゲームシステムの操作装置とは別にテレビのリモコンを手にとって入力の切り替え操作やチャンネルの変更操作を行わなければならない。このように、従来においては、アプリケーションの実行中において表示装置（テレビ等）に対する操作を行うことは、ユーザにとって煩雑で面倒であった。
【０００６】
それ故、本発明の目的は、アプリケーションの実行中において、テレビ等の表示装置に対する操作を容易に行うことができるゲームシステム、情報処理方法、ゲーム装置、および情報処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために、以下の（１）〜（１２）の構成を採用した。
【０００８】
（１）
本発明の一例は、ゲーム装置と操作装置とを含むゲームシステムである。
操作装置は、操作部と、受信部と、表示部とを備える。操作部は、操作装置に対する操作を表す操作データを出力する。受信部は、ゲーム装置から出力される画像を受信する。表示部は、受信された画像を表示する。
ゲーム装置は、取得部と、アプリケーション実行部と、操作画像生成部と、指示判定部と、装置制御部とを備える。取得部は、操作データを取得する。アプリケーション実行部は、アプリケーションを実行し、実行によって生成された画像を、操作装置と操作装置とは別体の所定の表示装置との少なくとも一方へ出力する。操作画像生成部は、アプリケーションの実行中において操作装置に対して所定の操作が行われた場合、所定の操作画像を生成して操作装置へ出力する。指示判定部は、操作画像が表示部に表示される状態において、所定の表示装置に対する制御を行う制御指示があったか否かを操作データに基づいて判定する。装置制御部は、制御指示があった場合、当該制御指示に応じた制御を所定の表示装置に対して行う。
【０００９】
上記（１）の構成によれば、アプリケーションの実行中において操作装置に対して所定の操作が行われた場合、操作画像が操作装置の画面に表示される。そして、操作画像が表示される状態において、所定の表示装置に対する制御指示があった場合、当該制御指示に応じた制御が所定の表示装置に対して行われる。したがって、上記（１）の構成によれば、ゲームシステムにおいてアプリケーションを用いている際に、アプリケーションの実行を終了しなくても、所定の表示装置に対する操作を行うことができる。また、ユーザは、上記所定の操作と制御指示とを１つの操作装置で行うことができるので、アプリケーションの実行中においても表示装置に対する操作を容易に行うことができる。例えば、ユーザは、アプリケーションの実行途中でテレビ番組を視聴したり、その後アプリケーションを再開したりする操作を、操作装置を用いて容易に行うことができる。
【００１０】
なお、ゲーム装置は、アプリケーション選択用画像を生成して操作装置へ出力する第１画像生成部を備えていてもよい。アプリケーション選択用画像は、ゲーム装置が実行可能なアプリケーションを表す画像を含む。このとき、アプリケーション実行部は、アプリケーション選択用画像が表示される状態において、実行すべきアプリケーションが選択された場合、選択されたアプリケーションを実行する。
【００１１】
（２）
指示判定部は、操作画像が表示部に表示される状態において、実行中のアプリケーションを終了する終了指示があったか否かを操作データに基づいて判定してもよい。このとき、アプリケーション実行部は、終了指示があった場合にアプリケーションの実行を終了する。
【００１２】
上記（２）の構成によれば、操作画像が表示される状態において、終了指示があった場合には、アプリケーションの実行が終了される。したがって、ユーザは、操作画像が表示される状態において、表示装置に対する操作を行うとともに、アプリケーションを終了させる操作を行うこともできる。
【００１３】
（３）
アプリケーション実行部は、アプリケーションの実行中において操作装置に対して所定の操作が行われた場合、当該アプリケーションの実行を一時停止してもよい。このとき、指示判定部は、操作画像が表示部に表示される状態において、アプリケーションの実行を再開する再開指示があったか否かを操作データに基づいて判定する。アプリケーション実行部は、再開指示があった場合にアプリケーションの実行を再開する。
【００１４】
上記（３）の構成によれば、操作画像が表示される状態において、再開指示があった場合には、アプリケーションの実行が再開される。したがって、ユーザは、操作画像が表示される状態において表示装置に対する操作を行った後、アプリケーションを容易に再開することができる。これによれば、例えば、アプリケーションの利用中に少しテレビを視聴し、その後アプリケーションの利用を再開する場合における一連の操作を、操作装置を用いて容易に行うことができる。
【００１５】
（４）
所定の表示装置は、テレビ放送を受信して番組を表示することが可能であってもよい。このとき、操作画像生成部は、操作画像が表示部に表示される場合、テレビの番組表を含む画像を生成して所定の表示装置へ出力する。
【００１６】
上記（４）の構成によれば、操作画像が操作装置に表示される場合、テレビの番組表が所定の表示装置に表示される。これによれば、ユーザは、番組表を見ながらテレビ（所定の表示装置）に対する操作を行うことができ、テレビに対する選局操作等をより容易に行うことができる。
【００１７】
（５）
操作画像生成部は、操作画像として、制御指示を表す制御指示画像を含む操作画像を生成してもよい。このとき、指示判定部は、制御指示画像が選択された場合に制御指示があったと判定する。
【００１８】
上記（５）の構成によれば、操作画像として、制御指示を表す制御指示画像が操作装置に表示される。これによれば、ユーザは、制御指示をより容易に行うことができる。
【００１９】
（６）
所定の表示装置は、テレビ放送を受信して番組を表示することが可能であってもよい。このとき、操作画像生成部は、操作画像として、テレビの番組表を含む画像を生成して操作装置へ出力する。
【００２０】
上記（６）の構成によれば、操作画像としてテレビの番組表が操作装置に表示される。これによれば、ユーザは、番組表を見ながらテレビ（所定の表示装置）に対する操作を行うことができ、テレビに対する選局操作等をより容易に行うことができる。
【００２１】
（７）
所定の表示装置は、ゲーム装置から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能であってもよい。このとき、装置制御部は、操作装置に操作画像が表示されることに応じて、所定の表示装置のモードを第２モードへ切り替える制御を行う。
【００２２】
上記（７）の構成によれば、操作画像へと表示が切り替わる際に、ユーザは所定の表示装置に対する入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。
【００２３】
（８）
所定の表示装置は、ゲーム装置から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能であってもよい。装置制御部は、操作装置において表示される画像が操作画像からアプリケーションの実行によって生成される画像へと切り替えられることに応じて、所定の表示装置のモードを第１モードへ切り替える制御を行う。
【００２４】
上記（８）の構成によれば、操作画像からアプリケーションの画像へと表示が切り替わる際にユーザは所定の表示装置に対する入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。
【００２５】
（９）
操作装置は、所定の表示装置を制御するための制御信号を出力する制御信号出力部をさらに備えていてもよい。このとき、装置制御部は、制御指示に応じた制御内容を示す制御信号を制御信号出力部に送信させる指示を操作装置に対して行う。
【００２６】
上記（９）の構成によれば、ゲーム装置から操作装置を介して所定の表示装置を容易に制御することができる。
【００２７】
（１０）
制御信号出力部は、制御信号として赤外線信号を出力してもよい。このとき、所定の表示装置は、赤外線信号を受光可能な赤外線受光部を備える。
【００２８】
上記（１０）の構成によれば、操作装置は赤外線信号によって所定の表示装置を制御することができる。なお、一般的なテレビ（後述する実施形態におけるテレビ２）は、赤外線信号を受光して赤外線信号によって指定される動作を行う機能を有している。そのため、上記（１０）の構成によれば、所定の表示装置としてテレビを利用することができ、汎用性の高いゲームシステムを提供することができる。
【００２９】
（１１）
装置制御部は、制御指示に応じた制御内容を示す制御信号を所定の表示装置へ出力してもよい。
【００３０】
上記（１１）の構成によれば、情報処理装置は、制御指令を送信することによって所定の表示装置を容易に制御することができる。上記（１２）の構成によれば、例えばＨＤＭＩ規格に則ったテレビを所定の表示装置として利用することができ、汎用性の高いゲームシステムを提供することができる。
【００３１】
（１２）
操作装置は、表示部の画面上に設けられるタッチパネルをさらに備えていてもよい。このとき、操作画像生成部は、操作画像として、制御指示を表す制御指示画像を含む画像を生成する。指示判定部は、タッチパネルにおいて制御指示画像が選択された場合に制御指示があったと判定する。
【００３２】
上記（１２）の構成によれば、ユーザはタッチパネルを用いて制御指示を行うことができる。これによれば、ユーザはタッチパネルを用いた容易かつ直感的な操作で指示を行うことができる。
【００３３】
なお、本発明の別の一例は、上記（１）〜（１２）のゲームシステムに含まれる上記ゲーム装置であってもよいし、上記ゲーム装置における各部（上記取得部および操作画像出力部が含まれなくてもよい）と同等の手段としてゲーム装置のコンピュータを機能させるゲームプログラム（情報処理プログラム）であってもよい。さらに、本発明の別の一例は、上記（１）〜（１２）のゲームシステムまたはゲーム装置において行われる情報処理方法の形態であってもよい。
【発明の効果】
【００３４】
本発明によれば、アプリケーションの実行中において操作装置に対して所定の操作が行われたことに応じて操作画像が操作装置の画面に表示され、操作画像が表示される状態において、制御指示による所定の表示装置に対する制御を可能とする。これによって、ゲームシステムにおいてアプリケーションを用いている際に、アプリケーションの実行を終了しなくても、所定の表示装置に対する操作を行うことができる。
【図面の簡単な説明】
【００３５】
【図１】ゲームシステム１の外観図
【図２】ゲーム装置３の内部構成を示すブロック図
【図３】コントローラ５の外観構成を示す斜視図
【図４】コントローラ５の外観構成を示す斜視図
【図５】コントローラ５の内部構造を示す図
【図６】コントローラ５の内部構造を示す図
【図７】コントローラ５の構成を示すブロック図
【図８】端末装置７の外観構成を示す図
【図９】端末装置７の外観構成を示す図
【図１０】ユーザが端末装置７を横向きで把持した様子を示す図
【図１１】端末装置７の内部構成を示すブロック図
【図１２】ゲームシステム１と外部装置との接続関係と示すブロック図
【図１３】ゲームシステム１における動作状態の遷移を表す状態遷移図
【図１４】ゲーム装置３のメインメモリにおける記憶領域を示す図
【図１５】ゲーム装置３で実行される開始処理の流れを示すフローチャート
【図１６】ゲーム装置３で実行されるメニュー処理の流れを示すフローチャート
【図１７】端末装置７に表示されるアプリケーション選択画像の一例を示す図
【図１８】ゲーム装置３で実行されるテレビ処理の流れを示すフローチャート
【図１９】端末装置７に表示される装置制御画像の一例を示す図
【図２０】ゲーム装置３で実行されるブラウザ処理の流れを示すフローチャート
【図２１】端末装置７に表示されるブラウザ画像の一例を示す図
【図２２】ゲーム装置３で実行されるアプリ中断処理の流れを示すフローチャート
【図２３】端末装置７に表示される設定画像の一例を示す図
【図２４】端末装置７に表示されるリモコン画像の一例を示す図
【発明を実施するための形態】
【００３６】
［１．ゲームシステムの全体構成］
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５および端末装置７を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。
【００３７】
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
【００３８】
ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
【００３９】
テレビ２の画面の周辺（図１では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の動きや位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６は有線で（無線であってもよい）ゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図１ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。
【００４０】
コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、図１では、ゲームシステム１に含まれるコントローラ５は１つとするが、ゲームシステム１は複数のコントローラ５を含んでいてもよい。つまり、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。コントローラ５の詳細な構成については後述する。
【００４１】
端末装置７は、可搬型であり、ユーザが把持可能な程度の大きさである。ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ７４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３で生成された画像（例えばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
【００４２】
［２．ゲーム装置３の内部構成］
次に、図２を参照して、ゲーム装置３の内部構成について説明する。図２は、ゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
【００４３】
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。
【００４４】
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１ｂ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
【００４５】
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、本実施形態においては、ゲーム装置３は、テレビ２に表示する画像（ゲーム画像）と、端末装置７に表示する画像（ゲーム画像）との両方を生成する。以下では、テレビ２に表示される画像を「テレビ用画像」と呼び、端末装置７に表示される画像を「端末用画像」と呼ぶことがある。
【００４６】
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、音声（ゲーム音声）についてもゲーム画像と同様、テレビ２のスピーカから出力する音声と、端末装置７のスピーカから出力する音声との両方が生成される。以下では、テレビ２から出力される音声を「テレビ用音声」と呼び、端末装置７から出力される音声を「端末用音声」と呼ぶことがある。
【００４７】
上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２へ出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａへ出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。なお、ゲーム装置３とテレビ２との接続は、どのような方式で行われてもよいが、ゲーム装置３は、テレビ２を制御する制御指令を有線または無線でテレビ２へ送信するようにしてもよい。例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格に則ったＨＤＭＩケーブルが用いられてもよい。ＨＤＭＩ規格では、ＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）と呼ばれる機能によって、接続相手の機器を制御することが可能である。したがって、ＨＤＭＩケーブルが用いられる場合のように、ゲーム装置３がテレビ２に対する制御が可能である場合には、ゲーム装置３は、適宜のタイミングでテレビ２の電源をオンにしたり、テレビ２の入力を切り替えたりすることができる。
【００４８】
また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。
【００４９】
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
【００５０】
ゲーム装置３は、インターネット等のネットワークに接続して外部の情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続可能であり、ネットワークに接続される他の情報処理装置と通信を行うことができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
【００５１】
また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００５２】
また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、本実施形態では、ゲーム装置３から端末装置７へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
【００５３】
また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。
【００５４】
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置７へ送信する。制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１１に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１１に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを端末装置７へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
【００５５】
また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａへ出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａへ出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００５６】
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
【００５７】
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【００５８】
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。
【００５９】
［３．コントローラ５の構成］
次に、図３〜図７を参照して、コントローラ５について説明する。図３は、コントローラ５の外観構成を示す斜視図である。図４は、コントローラ５の外観構成を示す斜視図である。図３は、コントローラ５の上側後方から見た斜視図であり、図４は、コントローラ５を下側前方から見た斜視図である。
【００６０】
図３および図４において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。
【００６１】
ハウジング３１には、複数の操作ボタンが設けられる。図３に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ〜３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図４に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ〜３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。ホームボタン３２ｆおよび電源ボタン３２ｈは、その上面がハウジング３１の上面に埋没している。これによって、ユーザがホームボタン３２ｆまたは電源ボタン３２ｈを誤って押下することを防止することができる。
【００６２】
ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、コントローラ５に他の機器（例えば、他のセンサユニットやコントローラ）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。
【００６３】
ハウジング３１上面の後方には複数（図３では４つ）のＬＥＤ３４ａ〜３４ｄが設けられる。ここで、コントローラ５には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ〜３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いてゲーム操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ〜３４ｄのいずれか１つが点灯する。
【００６４】
また、コントローラ５は撮像情報演算部３５（図６）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。
【００６５】
ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、コントローラ５に内蔵されるスピーカ４７（図５）からの音を外部に放出するための音抜き孔３１ａが形成されている。
【００６６】
次に、図５および図６を参照して、コントローラ５の内部構造について説明する。図５および図６は、コントローラ５の内部構造を示す図である。なお、図５は、コントローラ５の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６は、コントローラ５の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６に示す斜視図は、図５に示す基板３０を裏面から見た斜視図となっている。
【００６７】
図５において、ハウジング３１の内部には基板３０が固設されており、当該基板３０の上主面上に各操作ボタン３２ａ〜３２ｈ、各ＬＥＤ３４ａ〜３４ｄ、加速度センサ３７、アンテナ４５、およびスピーカ４７等が設けられる。これらは、基板３０等に形成された配線（図示せず）によってマイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）４２（図６参照）に接続される。本実施形態では、加速度センサ３７は、Ｘ軸方向に関してコントローラ５の中心からずれた位置に配置されている。これによって、コントローラ５をＺ軸回りに回転させたときのコントローラ５の動きが算出しやすくなる。また、加速度センサ３７は、長手方向（Ｚ軸方向）に関してコントローラ５の中心よりも前方に配置されている。また、無線モジュール４４（図６）およびアンテナ４５によって、コントローラ５がワイヤレスコントローラとして機能する。
【００６８】
一方、図６において、基板３０の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ５の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を備えている。これらの部材３８〜４１はそれぞれ基板３０の下主面に取り付けられる。
【００６９】
さらに、基板３０の下主面上には、上記マイコン４２およびバイブレータ４６が設けられている。バイブレータ４６は、例えば振動モータやソレノイドであり、基板３０等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータ４６が作動することによってコントローラ５に振動が発生する。これによって、コントローラ５を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。本実施形態では、バイブレータ４６は、ハウジング３１のやや前方寄りに配置される。つまり、バイブレータ４６がコントローラ５の中心よりも端側に配置することによって、バイブレータ４６の振動によりコントローラ５全体を大きく振動させることができる。また、コネクタ３３は、基板３０の下主面上の後端縁に取り付けられる。なお、図５および図６に示す他、コントローラ５は、マイコン４２の基本クロックを生成する水晶振動子、スピーカ４７に音声信号を出力するアンプ等を備えている。
【００７０】
なお、図３〜図６に示したコントローラ５の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、本実施形態では、撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。
【００７１】
図７は、コントローラ５の構成を示すブロック図である。コントローラ５は、操作部３２（各操作ボタン３２ａ〜３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。
【００７２】
操作部３２は、上述した各操作ボタン３２ａ〜３２ｉを含み、各操作ボタン３２ａ〜３２ｉに対する入力状態（各操作ボタン３２ａ〜３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。
【００７３】
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ５の動きでも追跡して解析することができる。
【００７４】
撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。
【００７５】
なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。
【００７６】
加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。例えば、２軸以上の多軸加速度センサの場合には、加速度センサの検出部に加わっている加速度として、各軸に沿った成分の加速度をそれぞれ検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。
【００７７】
本実施形態では、加速度センサ３７は、コントローラ５を基準とした上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。加速度センサ３７は、各軸に沿った直線方向に関する加速度を検出するものであるため、加速度センサ３７からの出力は３軸それぞれの直線加速度の値を表すものとなる。すなわち、検出された加速度は、コントローラ５を基準に設定されるＸＹＺ座標系（コントローラ座標系）における３次元のベクトルとして表される。
【００７８】
加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や移動に対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや移動を算出することができる。本実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。
【００７９】
なお、加速度センサ３７（後述する加速度センサ７３についても同様）から出力される加速度の信号に基づいて、ゲーム装置３のプロセッサ（例えばＣＰＵ１０）またはコントローラ５のプロセッサ（例えばマイコン４２）等のコンピュータが処理を行うことによって、コントローラ５に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサ３７を搭載するコントローラ５が静止状態であることを前提としてコンピュータ側の処理が実行される場合（すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理が実行される場合）、コントローラ５が現実に静止状態であれば、検出された加速度に基づいてコントローラ５の姿勢が重力方向に対して傾いているか否かまたはどの程度傾いているかを知ることができる。具体的には、加速度センサ３７の検出軸が鉛直下方向を向いている状態を基準としたとき、１Ｇ（重力加速度）がかかっているか否かによって、コントローラ５が基準に対して傾いているか否かを知ることができるし、その大きさによって基準に対してどの程度傾いているかも知ることができる。また、多軸の加速度センサ３７の場合には、さらに各軸の加速度の信号に対して処理を施すことによって、重力方向に対してコントローラ５がどの程度傾いているかをより詳細に知ることができる。この場合において、プロセッサは、加速度センサ３７からの出力に基づいてコントローラ５の傾斜角度を算出してもよいし、当該傾斜角度を算出せずに、コントローラ５の傾斜方向を算出するようにしてもよい。このように、加速度センサ３７をプロセッサと組み合わせて用いることによって、コントローラ５の傾斜角度または姿勢を判定することができる。
【００８０】
一方、コントローラ５が動的な状態（コントローラ５が動かされている状態）であることを前提とする場合には、加速度センサ３７は重力加速度に加えてコントローラ５の移動に応じた加速度を検出するので、検出された加速度から重力加速度の成分を所定の処理により除去することによってコントローラ５の移動方向を知ることができる。また、コントローラ５が動的な状態であることを前提とする場合であっても、検出された加速度から、加速度センサの移動に応じた加速度の成分を所定の処理により除去することによって、重力方向に対するコントローラ５の傾きを知ることが可能である。なお、他の実施例では、加速度センサ３７は、内蔵の加速度検出手段で検出された加速度信号をマイコン４２へ出力する前に当該加速度信号に対して所定の処理を行うための、組込み式の処理装置または他の種類の専用の処理装置を備えていてもよい。組込み式または専用の処理装置は、例えば、加速度センサ３７が静的な加速度（例えば、重力加速度）を検出するために用いられる場合、加速度信号を傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。
【００８１】
ジャイロセンサ４８は、３軸（本実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。例えば、ジャイロセンサ４８は、３軸ジャイロセンサであってもよいし、２軸ジャイロセンサと１軸ジャイロセンサとを組み合わせて３軸周りの角速度を検出するものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。
【００８２】
通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。
【００８３】
操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。これらのデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ５から送信される。微弱電波信号はゲーム装置３側のコントローラ通信モジュール１９で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行うことが好ましい。コントローラ５の通信部３６は、例えば１／２００秒に１回の割合で操作データをゲーム装置３のコントローラ通信モジュール１９へ出力する。
【００８４】
以上のように、コントローラ５は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下する従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、コントローラ５を任意の姿勢に傾ける操作、コントローラ５によって画面上の任意の位置を指示する操作、および、コントローラ５自体を動かす操作等を行うことが可能となる。
【００８５】
また、本実施形態において、コントローラ５は、ゲーム画像を表示する表示手段を有しないが、例えば電池残量を表す画像等を表示するための表示手段を有していてもよい。
【００８６】
［４．端末装置７の構成］
次に、図８〜図１１を参照して、端末装置７の構成について説明する。図８は、端末装置７の外観構成を示す平面図である。図８における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。図９は、端末装置７の背面図である。また、図１０は、ユーザが端末装置７を横向きで把持した様子を示す図である。
【００８７】
図８に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。すなわち、端末装置７は、タブレット型の情報処理装置であるということもできる。なお、ハウジング５０は全体として板状形状であれば、曲面を有していてもよいし、一部に突起等を有していてもよい。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。端末装置７の縦（ｚ軸方向）の長さは、１００〜１５０［ｍｍ］が好ましく、本実施形態では、１３３．５［ｍｍ］である。端末装置７の横（ｘ軸方向）の長さは、２００〜２５０［ｍｍ］が好ましく、本実施形態では、２２８．２６［ｍｍ］である。端末装置７の厚さ（ｙ軸方向の長さ）は、板状の部分で１５〜３０［ｍｍ］程度、最厚部まで含めて３０〜５０［ｍｍ］程度が好ましく、本実施形態では、２３．６（最厚部は４０．２６）［ｍｍ］である。また、端末装置７の重量は、４００〜６００［ｇ］程度であって、本実施形態においては、５３０［ｇ］である。詳細は後述するが、端末装置７は、上記のような比較的大型の端末装置（操作装置）であっても、ユーザが持ちやすく操作しやすい構成となっている。
【００８８】
端末装置７は、ハウジング５０の表面（表側）にＬＣＤ５１を有する。なお、ＬＣＤ５１の画面の大きさは５インチ以上であることが好ましく、ここでは６．２インチである。本実施形態の端末装置７は、持ちやすく操作しやすい構成によって、大きなＬＣＤを設けても操作がしやすいものとなっている。なお、別の実施形態においては、より小さいＬＣＤ５１を設け、端末装置７の大きさを比較的小さいものとするようにしてもよい。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図１０に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置７を持って動かすことができる。なお、図１０ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つ例を示しているが、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。
【００８９】
図８の（ａ）図に示すように、端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本実施形態では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペン６０を用いて行われるが、タッチペン６０に限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペン６０を収納する収納穴６０ａが設けられている（図８（ｂ）参照）。なお、ここでは、タッチペン６０が落ちないように、収納穴６０ａはハウジング５０の上面に設けられるが、側面や下面に設けられてもよい。このように、端末装置７はタッチパネル５２を備えるので、ユーザは、端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
【００９０】
図８に示すように、端末装置７は、操作手段（操作部）として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン（キー）５４Ａ〜５４Ｍとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示することが可能なデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作される可動部材（スティック部）がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライドすることができるように構成されている。すなわち、スライドパッドと呼ばれることもある方向入力デバイスである。なお、各アナログスティック５３Ａおよび５３Ｂの可動部材は、ハウジング５０の表面に対して任意の方向に傾倒する種類のものでもよい。本実施形態では、可動部材がスライドする種類のアナログスティックを用いるので、ユーザは親指を大きく動かさなくても各アナログスティック５３Ａおよび５３Ｂを操作することができ、ハウジング５０をよりしっかりと把持した状態で操作を行うことができる。なお、各アナログスティック５３Ａおよび５３Ｂとして、可動部材が傾倒する種類のものを用いる場合には、入力の程度（傾きの程度）がユーザにとってわかりやすく、詳細な操作をより容易に行うことができる。
【００９１】
また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図１０に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置７の左右部分（ＬＣＤ５１の左右両側の部分）を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置７を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。
【００９２】
各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作手段（操作部）であり、押下可能なキーである。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる（図１０参照）。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
【００９３】
図８の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈおよび５４Ｍとが設けられる。つまり、これらのボタン５４Ａ〜５４Ｈおよび５４Ｍは、ユーザの親指で操作可能な位置に配置されている（図１０参照）。
【００９４】
十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、少なくとも上下左右の方向を指示することが可能なボタンである。
【００９５】
また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、端末装置７は、端末装置７の電源をオン／オフするための電源ボタン５４Ｍを有している。電源ボタン５４Ｍの操作により、ゲーム装置３の電源を遠隔でオン／オフすることも可能である。電源ボタン５４Ｍは、ボタン５４Ｂ〜５４Ｄと同様、ＬＣＤ５１の下側に設けられる。電源ボタン５４Ｍは、ボタン５４Ｂ〜５４Ｄの右側に設けられる。したがって、電源ボタン５４Ｍは、右手で操作可能な（操作しやすい）位置に配置されている。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ〜５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。
【００９６】
なお、本実施形態においては、各アナログスティック５３Ａおよび５３Ｂは、十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも上側に配置される。ここで、各アナログスティック５３Ａおよび５３Ｂは、十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも厚さ方向（ｙ軸方向）に関して突出している。そのため、仮にアナログスティック５３Ａと十字ボタン５４Ａとの配置を逆にした場合には、ユーザが十字ボタン５４Ａを親指で操作する際にアナログスティック５３Ａに親指が当たってしまい、操作を誤ってしまうおそれがある。なお、アナログスティック５３Ｂと各ボタン５４Ｅ〜５４Ｈとの配置を逆にする場合も同様の問題が生じる。これに対して、本実施形態では、各アナログスティック５３Ａおよび５３Ｂを十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも上側に配置するので、ユーザがアナログスティック５３Ａおよび５３Ｂを操作する際に十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈに指が当たってしまう可能性は上記の場合に比べて低くなる。このように、本実施形態においては、誤操作の可能性を低減することができ、端末装置７の操作性を向上することができる。ただし、別の実施形態においては、必要に応じてアナログスティック５３Ａが十字ボタン５４Ａと逆の配置であってもよいし、アナログスティック５３Ｂが各ボタン５４Ｅ〜５４Ｈと逆の配置であってもよい。
【００９７】
ここで、本実施形態では、いくつかの操作部（各アナログスティック５３Ａおよび５３Ｂ、十字ボタン５４Ａ、ならびに、３つのボタン５４Ｅ〜５４Ｇ）は、表示部（ＬＣＤ５１）の左右両側において、ハウジング５０における上下方向（ｙ軸方向）の中心よりも上側に設けられる。これらの操作部を操作する場合、ユーザは、端末装置７における上下方向の中心よりも上側を主に把持する。ここで、ユーザがハウジング５０の下側を把持する場合には、（端末装置７が本実施形態のように比較的大きなサイズである場合には特に）把持される端末装置７が不安定になり、ユーザは端末装置７を持ちにくくなる。これに対して、本実施形態では、上記操作部を操作する場合、ユーザは、端末装置７における上下方向の中心よりも上側を主に把持することになり、また、手のひらでハウジング５０を横から支えることができる。したがって、ユーザは、安定した状態でハウジング５０を把持することができ、端末装置７が持ちやすくなるので、上記操作部も操作しやすくなる。なお、他の実施形態においては、ハウジング５０の中央よりも上側において表示部の左右にそれぞれ少なくとも１つずつ操作部が設けられてもよい。例えば、各アナログスティック５３Ａおよび５３Ｂのみがハウジング５０の中央よりも上側に設けられてもよい。また例えば、十字ボタン５４Ａが左アナログスティック５３Ａよりも上側に設けられ、４つのボタン５４Ｅ〜５４Ｈが右アナログスティック５３Ｂよりも上側に設けられる場合には、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈがハウジング５０の中央よりも上側に設けられても良い。
【００９８】
また、本実施形態では、ハウジング５０の裏側（ＬＣＤ５１が設けられる表面の反対側）には、突起部（庇部５９）が設けられる（図８（ｃ）および図９参照）。図８（ｃ）に示すように、庇部５９は、略板状のハウジング５０の裏面から突起して設けられる、山状の部材である。突起部は、ハウジング５０の裏面を把持するユーザの指に掛止可能な高さ（厚さ）を有する。突起部の高さは、１０〜２５［ｍｍ］であることが好ましく、本実施形態では１６．６６［ｍｍ］である。また、突起部の下面は、突起部がユーザの指に掛かりやすいように、ハウジング５０の裏面に対して４５°以上（より好ましくは６０°以上）の傾斜を有することが好ましい。図８（ｃ）に示すように、突起部の下面は、上面よりも傾斜角度が大きくなるように形成されてもよい。図１０に示すように、ユーザは、指を庇部５９に掛けて（指の上に庇部５９を乗せて）把持することによって、端末装置７が比較的大きなサイズであっても、疲れることなく安定した状態で端末装置７を把持することができる。すなわち、庇部５９は、指でハウジング５０を支えるための支持部材であるということができ、また、指掛部ということもできる。
【００９９】
また、庇部５９は、ハウジング５０の上下方向に関しては中央よりも上側に設けられる。庇部５９は、ハウジング５０の表面に設けられる操作部（各アナログスティック５３Ａおよび５３Ｂ）の概ね反対側の位置に設けられる。つまり、突起部は、表示部の左右にそれぞれ設けられる操作部の反対側の位置を含む領域に設けられる。したがって、上記操作部を操作する場合、ユーザは、中指あるいは薬指で庇部５９を支えるようにして端末装置７を把持することができる（図１０参照）。これによって、端末装置７がより持ちやすくなり、上記操作部もより操作しやすくなる。また、本実施形態では、突起部は、（突起した部分が）左右に延びる庇状の形状を有するので、ユーザは、中指あるいは薬指を突起部の下面に沿わせて端末装置７を把持することができ、端末装置７がより持ちやすくなる。なお、庇部５９は、（突起した部分が）左右方向に延びるように形成されればよく、図９に示すような水平方向に延びる形状に限られない。他の実施形態においては、庇部５９は水平方向から若干傾いた方向に延びていてもよい。例えば、庇部５９は、左右両端から中央に向かうにつれて上に（または下に）傾斜するように設けられてもよい。
【０１００】
なお、本実施形態においては、後述する係止穴を庇部５９に設けることが理由で、ハウジングの裏面に形成される突起部として、庇状の形状をした庇部５９を採用するが、突起部はどのような形状であってもよい。例えば、他の実施形態においては、ハウジング５０の裏側において、２つの突起部が左右両側に設けられる（左右方向の中央には突起部が設けられない）構成であってもよい（図２９参照）。また、他の実施形態においては、突起部の断面形状（ｘ軸方向に垂直な断面における形状）は、ユーザの指で端末装置７をよりしっかりと支えることができるように（突起部が指によりしっかりと掛かるように）、鈎型（下面が凹んだ形状）であってもよい。
【０１０１】
なお、突起部（庇部５９）の上下方向に関する幅は、いくらであってもよい。例えば、突起部は、ハウジング５０の上辺まで形成されてもよい。すなわち、突起部の上面がハウジング５０の上側の側面と同じ位置に形成されてもよい。このとき、ハウジング５０は、下側が薄く、上側が厚い２段の構成となる。このように、ハウジング５０は、裏面における左右両側に、下方を向く面（突起部の下面）が形成されることが好ましい。これによって、ユーザは、当該面に指を当てることで楽に操作装置を把持することができる。なお、上記「下方を向く面」は、ハウジング５０の裏面におけるどの位置に形成されてもよいが、ハウジング５０の中央よりも上側に位置することが好ましい。
【０１０２】
また、図８の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の上側の面における左右の両側にそれぞれ設けられる。本実施形態では、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、左上側の側面から露出している（換言すれば上側および左側の両方の側面から露出している）。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、右上側の側面から露出している（換言すれば上側および右側の両方の側面から露出している）。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図１０参照）。なお、他の実施形態においては、ハウジング５０の上側の面における左右にそれぞれ設けられる操作部は、左右の端部に設けられる必要はなく、端部以外の位置に設けられてもよい。また、ハウジング５０の左右の側面に操作部がそれぞれ設けられてもよい。
【０１０３】
また、図８の（ｃ）図および図９に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、上記突起部（庇部５９）に配置される。第２Ｌボタン５４Ｋは、庇部５９の左端付近に設けられる。第２Ｒボタン５４Ｌは、庇部５９の右端付近に設けられる。つまり、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの（概ね）反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの（概ね）反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指（または人差し指）で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指（または人差し指）で操作可能な位置に配置される（図１０参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図８の（ｃ）図に示すように、上記庇部５９の上面に設けられる。そのため、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、上方（斜め上方）を向くボタン面を有する。ユーザが端末装置７を把持した場合には中指または人差し指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。
【０１０４】
上記のように、本実施形態においては、ハウジング５０の中央よりも上側において表示部（ＬＣＤ５１）の左右に操作部（アナログスティック５３Ａおよび５３Ｂ）がそれぞれ設けられ、さらに、ハウジング５０の裏側において当該操作部の反対側の位置に別の操作部（第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌ）がそれぞれ設けられる。これによれば、上記操作部と別の操作部とがハウジング５０の表側と裏側との互いに対向する位置に配置されるので、ユーザは、これらの操作部を操作する際にハウジング５０を表側と裏側から挟むように把持することができる。また、これらの操作部を操作する際にユーザは、ハウジング５０における上下方向の中心よりも上側を把持するので、端末装置７を上側で把持できるとともに、手のひらで端末装置７を支えることができる（図１０参照）。以上によって、ユーザは、少なくとも４つの操作部を操作することができる状態で、ハウジング５０を安定的に把持することができ、ユーザが容易に把持することが可能で、かつ操作性の良い操作装置（端末装置７）を提供することができる。
【０１０５】
以上のように、本実施形態においては、突起部（庇部５９）の下面に指を当てた状態で端末装置７を把持することによって、ユーザは楽に端末装置７を把持することができる。また、突起部の上面に第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが設けられるので、ユーザは上記の状態でこれらのボタンを容易に操作することができる。ユーザは、例えば次のような持ち方で端末装置７を容易に把持することができる。
【０１０６】
すなわち、ユーザは、図１０に示すように、薬指を庇部５９の下面（図１０に示す一点鎖線）に当てて（薬指で庇部５９を支えるように）端末装置７を把持することも可能である。このとき、ユーザは、４つのボタン（第１Ｌボタン５４Ｉ、第１Ｒボタン５４Ｊ、第２Ｌボタン５４Ｋ、および第２Ｒボタン５４Ｌ）を人差し指および中指で操作することができる。例えば、要求されるゲーム操作が、使用するボタンが多く、比較的複雑である場合には、図１０に示すように把持することで、多くのボタンを容易に操作することができる。なお、各アナログスティック５３Ａおよび５３Ｂは十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈの上側に設けられるので、比較的複雑な操作が要求される場合にユーザは親指でアナログスティック５３Ａおよび５３Ｂを操作することができ、好都合である。また、図１０においては、ユーザは、ハウジング５０の表面に親指を、ハウジング５０の上面に人差し指を、ハウジング５０の裏面における庇部５９の上面に中指を、庇部５９の下面に薬指を、ハウジング５０の裏面に小指を当てて端末装置７を把持する。このように、ユーザは、ハウジング５０を四方から包み込むようにして端末装置７をしっかりと把持することができる。
【０１０７】
また、ユーザは、中指を庇部５９の下面に当てて端末装置７を把持することも可能である。このとき、ユーザは、２つのボタン（第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌ）を人差し指で容易に操作することができる。例えば、要求されるゲーム操作が、使用するボタンが少なく、比較的単純である場合には、中指を庇部５９の下面に当てて端末装置７を把持してもよい。このとき、ユーザは、２本の指（薬指および小指）でハウジング５０の下側を把持することができるので、しっかりと端末装置７を把持することができる。
【０１０８】
なお、本実施形態においては、庇部５９の下面が、各アナログスティック５３Ａおよび５３Ｂと、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈとの間に位置するように（各アナログスティック５３Ａおよび５３Ｂよりも下方で、かつ、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈよりも上方に位置するように）設けられる。したがって、薬指を庇部５９に当てて端末装置７を把持する場合（図１０）には、各アナログスティック５３Ａおよび５３Ｂを親指で操作しやすくなり、中指を庇部５９に当てて端末装置７を把持する場合には、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈを親指で操作しやすくなっている。つまり、上記２種類の場合のいずれにおいても、ユーザは、端末装置７をしっかりと把持した状態で方向入力操作を行うことができる。
【０１０９】
また、上述のように、ユーザは端末装置７を縦持ちで把持することも可能である。すなわち、ユーザは端末装置７の上辺または下辺を一方の手で把持することで端末装置７を縦向きで把持することが可能である。このように、ユーザは端末装置７を片手で把持することが可能であるので、例えば、一方の手で端末装置７を把持しながら他方の手でタッチパネル５２に対する入力を行うといった操作を行うことも可能である。
【０１１０】
また、端末装置７の上辺を把持する場合、ユーザは親指以外の指を庇部５９の下面に当てることで、端末装置７をしっかりと把持することができる。特に、本実施形態においては、庇部５９が左右に延びて形成されているので、ユーザは端末装置７の上辺におけるどこの位置で把持しても、親指以外の指を庇部５９に当てることができ、端末装置７をしっかりと把持することができる。すなわち、端末装置７を縦持ちで使う場合には、庇部５９は取っ手として使うことができる。一方、端末装置７の下辺を片手で把持する場合、ユーザは、その手でボタン５４Ｂ〜５４Ｄを操作することができる。したがって、例えば片手でタッチパネル５２に対する入力を行いつつ、端末装置７を把持する手でボタン５４Ｂ〜５４Ｄに対する操作を行うことができ、より多くの操作を行うことができる。
【０１１１】
なお、本実施形態における端末装置７に関しては、突起部（庇部５９）が裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面がやや傾いた状態となる。これによって、端末装置７を載置した状態において画面がより見やすくなる。また、端末装置７を載置した状態においてタッチパネル５２に対する入力操作が行いやすくなる。また、他の実施形態においては、上記庇部５９と同程度の高さを有する追加の突起部がハウジング５０の裏面に形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では、各突起部が床面に接することで、画面が水平になるように端末装置７を載置することができる。また、追加の突起部を着脱可能な（または折り畳み可能な）ものにしてもよい。これによれば、画面がやや傾いた状態と、画面が水平になる状態との両方で端末装置を載置することができる。すなわち、端末装置７を置いて使う場合には、庇部５９は、脚部として使うことができる。
【０１１２】
各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｅは決定操作やキャンセル操作等に用いられてもよい。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンを有していてもよい。
【０１１３】
図８の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部５５をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ５５Ａおよび５５Ｂを構成する赤外ＬＥＤは、赤外光を透過する窓部の内側に配置される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
【０１１４】
端末装置７は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図８に示すように、本実施形態では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。本実施形態においては、カメラ５６は、２つのマーカ５５Ａおよび５５Ｂの間に配置される。
【０１１５】
なお、端末装置７は、音声入力手段であるマイク７９を備えている。ハウジング５０の表面には、マイクロフォン用孔５０ｃが設けられる。マイク７９はこのマイクロフォン用孔５０ｃの奥のハウジング５０内部に設けられる。マイク７９は、ユーザの音声等、端末装置７の周囲の音を検出する。
【０１１６】
端末装置７は、音声出力手段であるスピーカ７７を備えている。図８の（ｄ）図に示すように、ハウジング５０の表面の下側にはスピーカ孔５７が設けられる。スピーカ７７の出力音はこのスピーカ孔５７から出力される。本実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。なお、端末装置７は、スピーカ７７の音量を調節するためのつまみ６４を備える。また、端末装置７は、イヤホン等の音声出力部を接続するための音声出力端子６２を備える。ここでは、ハウジングの下側の側面に付加装置が接続されることを考慮して、上記音声出力端子６２およびつまみ６４はハウジング５０の上画の側面に設けられるが、左右の側面や下側の側面に設けられてもよい。
【０１１７】
また、ハウジング５０には、赤外線通信モジュール８２からの赤外線信号を端末装置７の外部に出射するための窓６３が設けられる。ここでは、ＬＣＤ５１の両側を把持した場合にユーザの前方へ赤外線信号が発射されるように、窓６３はハウジング５０の上側の側面に設けられる。ただし、他の実施形態においては、窓６３は、例えばハウジング５０の裏面等、どの位置に設けられてもよい。
【０１１８】
また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。拡張コネクタ５８は、端末装置７に接続される他の装置との間でデータ（情報）を送受信するための通信端子である。本実施形態においては、図８の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の付加装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。付加装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。拡張コネクタ５８には、付加装置に電力を供給する端子や、充電のための端子が含まれていてもよい。
【０１１９】
また、端末装置７は、拡張コネクタ５８とは別に、付加装置から電力を取得するための充電端子６６を有する。図示しない充電スタンドに充電端子６６が接続された場合、充電スタンドから端末装置７へ電力が供給される。本実施形態では、充電端子６６はハウジング５０の下側側面に設けられる。したがって、端末装置７と付加装置とが接続される際には、拡張コネクタ５８を介して情報を送受信することに加えて、一方から他方への電力供給を行うことも可能である。このように、拡張コネクタ５８の周囲（左右両側）に充電端子６６を設けることによって、端末装置７と付加装置とが接続される際に、情報の送受信とともに、電力供給を行うことも可能である。また、端末装置７は充電コネクタを有し、ハウジング５０は充電コネクタを保護するためのカバー部６１を有する。充電コネクタは、後述する充電器８６に接続可能であり、充電器に充電コネクタが接続された場合、充電器８６から端末装置７へ電力が供給される。本実施形態では、ハウジングの下側の側面に付加装置が接続されることを考慮して、充電コネクタ（カバー部６１）はハウジング５０の上画の側面に設けられるが、左右の側面や下側の側面に設けられてもよい。
【０１２０】
図８（ｄ）および図９に示すように、突起部（庇部５９）の下面には、付加装置が有する爪部が係止可能な係止穴５９ａおよび５９ｂが設けられる。係止穴５９ａおよび５９ｂは、端末装置７に他の付加装置を接続する際に用いられる。すなわち、付加装置は係止穴５９ａおよび５９ｂに係止可能な爪部を有し、端末装置７に付加装置を接続する場合には、爪部が係止穴５９ａおよび５９ｂに係止することによって端末装置７と付加装置とが固定される。また、係止穴５９ａおよび５９ｂの内部に、さらにネジ穴を設けてもよく、付加装置をネジで強固に固定するようにしてもよい。なお、ここでは、端末装置７の裏面に設けられる突起部は、庇状の形状を有する庇部５９である。すなわち、庇部５９は左右方向に延びて設けられる。図９に示すように、係止穴５９ａおよび５９ｂは、庇部５９の下面の（左右方向に関して）中央付近に設けられる。なお、庇部５９の下面に設けられる係止穴５９ａおよび５９ｂの個数はいくつであってもよいが、１つである場合には庇部５９の中央に設けられることが好ましく、複数である場合には左右対称に配置されることが好ましい。これによれば、左右のバランスを均等に保って付加装置を安定的に接続することができる。また、係止穴が中央付近に設けられる場合には、左右の両端に設けられる場合に比べて、付加装置のサイズを小さくすることができる。以上のように、庇部５９は、付加装置の係止部材として使うことができる。
【０１２１】
また、本実施形態においては、図８（ｄ）に示すように、ハウジング５０の下面に係止穴５０ａおよび５０ｂが設けられる。したがって、端末装置７に付加装置を接続する場合には、４つの爪部が４つの各係止穴にそれぞれ係止することによって端末装置７と付加装置とが固定される。これによって、付加装置を端末装置７により強固に接続することができる。なお、係止穴５０ａおよび５０ｂの内部にもネジ穴を設け、付加装置をネジ止めするようにしてもよい。ネジ止めの位置は、どこであってもよいが、例えば、ハウジング５０の背面に当接する付加装置の支持部と、庇部５９とがネジ止めされてもよい。また、他の実施形態においては、ハウジングに設けられる係止穴は、どのような配置であってもよい。
【０１２２】
また、端末装置７は、ハウジング５０に対して着脱可能な電池蓋６７を有している。電池蓋６７の内側には電池（図１１に示す電池８５）が配置される。本実施形態においては、電池蓋６７はハウジング５０の裏側に設けられ、突起部（庇部５９）の下側に設けられる。
【０１２３】
また、端末装置７のハウジング５０には、ストラップの紐を結びつけるための孔６５ａおよび６５ｂが設けられる。図８（ｄ）に示すように、本実施形態においては、孔６５ａおよび６５ｂはハウジング５０の下面に設けられる。また、本実施形態においては、２つの孔６５ａおよび６５ｂがハウジング５０の左右両側にそれぞれ１つずつ設けられる。すなわち、孔６５ａがハウジング５０の下面の中央より左側に設けられ、孔６５ｂがハウジング５０の下面の中央より右側に設けられる。ユーザは、孔６５ａおよび６５ｂのいずれかにストラップを結びつけ、ストラップを自身の手首に結びつけてもよい。これによって、万一ユーザが端末装置７を落としたり、端末装置７が手から離れたりした場合でも、端末装置７が落下したり他の物に衝突したりすることを防止することができる。なお、本実施形態においては、左右両側にそれぞれ孔が設けられるので、ユーザは、どちらの手にもストラップを結びつけることができ、便利である。
【０１２４】
なお、図８〜図１１に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
【０１２５】
次に、図１１を参照して、端末装置７の内部構成について説明する。図１１は、端末装置７の内部構成を示すブロック図である。図１１に示すように、端末装置７は、図８に示した構成の他、タッチパネルコントローラ７１、磁気センサ７２、加速度センサ７３、ジャイロセンサ７４、ユーザインタフェースコントローラ（ＵＩコントローラ）７５、コーデックＬＳＩ７６、スピーカ７７、サウンドＩＣ７８、マイク７９、無線モジュール８０、アンテナ８１、赤外線通信モジュール８２、フラッシュメモリ８３、電源ＩＣ８４、および電池８５を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
【０１２６】
ＵＩコントローラ７５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ７５は、タッチパネルコントローラ７１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、マーカ部５５、磁気センサ７２、加速度センサ７３、およびジャイロセンサ７４に接続される。また、ＵＩコントローラ７５は、コーデックＬＳＩ７６と拡張コネクタ５８に接続される。また、ＵＩコントローラ７５には電源ＩＣ８４が接続され、ＵＩコントローラ７５を介して各部に電力が供給される。電源ＩＣ８４には内蔵の電池８５が接続され、電力が供給される。また、電源ＩＣ８４には、外部電源から電力を取得可能な充電器８６またはケーブルを充電コネクタを介して接続することが可能であり、端末装置７は、当該充電器８６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うことも可能である。すなわち、図示しないが、電源ＩＣ８４には、外部電源から電力を取得可能なクレイドルを充電端子６６を介して接続することが可能であり、端末装置７は、クレイドルを用いて外部電源からの電力供給と充電を行うことができる。
【０１２７】
タッチパネルコントローラ７１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ７１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ７５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ７１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ７５からタッチパネルコントローラ７１へは、タッチパネル５２に対する各種の制御指示が出力される。
【０１２８】
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ７５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ７５へ出力する。
【０１２９】
磁気センサ７２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５から磁気センサ７２へは、磁気センサ７２に対する制御指示が出力される。磁気センサ７２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。
【０１３０】
加速度センサ７３は、ハウジング５０の内部に設けられ、３軸（図８の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ７３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の表面に対して垂直な方向をｙ軸、ハウジング５０の短辺方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５から加速度センサ７３へは、加速度センサ７３に対する制御指示が出力される。加速度センサ７３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ７３は１軸または２軸方向を検出する加速度センサであってもよい。
【０１３１】
ジャイロセンサ７４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５からジャイロセンサ７４へは、ジャイロセンサ７４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ７４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ７４は１軸または２軸方向を検出するジャイロセンサであってもよい。
【０１３２】
ＵＩコントローラ７５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ７６へ出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
【０１３３】
コーデックＬＳＩ７６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ７６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ７８、無線モジュール８０、フラッシュメモリ８３、および赤外線通信モジュール８２が接続される。また、コーデックＬＳＩ７６はＣＰＵ８７と内部メモリ８８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ８３に格納されたプログラムを内部メモリ８８に読み出してＣＰＵ８７が実行することで、端末装置７が起動する。また、内部メモリ８８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。
【０１３４】
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ７６へ出力する。また、コーデックＬＳＩ７６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ７６へ繰り返し出力することも可能である。
【０１３５】
サウンドＩＣ７８は、スピーカ７７およびマイク７９に接続され、スピーカ７７およびマイク７９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ７６から音声データを受け取った場合、サウンドＩＣ７８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ７７へ出力し、スピーカ７７から音を出力させる。また、マイク７９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ７８へ出力する。サウンドＩＣ７８は、マイク７９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ７６へ出力する。
【０１３６】
赤外線通信モジュール８２は、赤外線信号を発光し、他の装置との間で赤外線通信を行う。ここでは、赤外線通信モジュール８２は、例えばＩｒＤＡの規格に従った赤外線通信を行う機能と、テレビ２を制御するための赤外線信号（制御信号）を出力する機能とを備える。
【０１３７】
コーデックＬＳＩ７６は、カメラ５６からの画像データ、マイク７９からの音声データ、および、ＵＩコントローラ７５からの操作データを、端末操作データとして無線モジュール８０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ７６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール８０へ出力される。無線モジュール８０にはアンテナ８１が接続されており、無線モジュール８０はアンテナ８１を介してゲーム装置３へ上記送信データを送信する。無線モジュール８０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール８０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
【０１３８】
以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。コーデックＬＳＩ７６は、赤外線通信モジュール８２による赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
【０１３９】
また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ８１（受信部）で受信され、無線モジュール８０を介してコーデックＬＳＩ７６に送られる。コーデックＬＳＩ７６は、受信された画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。つまり、コーデックＬＳＩ７６（ＣＰＵ８７）は、受信された画像データを表示部に表示させる。また、伸張された音声データはサウンドＩＣ７８へ出力され、サウンドＩＣ７８はスピーカ７７から音を出力させる。
【０１４０】
また、ゲーム装置３から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ７６およびＵＩコントローラ７５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ７１、マーカ部５５、各センサ６２〜６４、および赤外線通信モジュール８２）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
【０１４１】
また、ゲーム装置３は、上記赤外線通信モジュール８２の出力を制御することによって、テレビ２の動作を制御することが可能である。すなわち、ゲーム装置３は、テレビ２を制御するための制御指令に対応する赤外線信号を赤外線通信モジュール８２に出力させるための指示（上記制御データ）を端末装置７へ出力する。この指示に応じて、コーデックＬＳＩ７６は、上記制御指令に対応する赤外線信号を赤外線通信モジュール８２に出力させる。ここで、テレビ２は赤外線信号を受光可能な赤外線受光部を備えている。赤外線通信モジュール８２から出力された赤外線信号が赤外線受光部によって受光されることで、テレビ２は当該赤外線信号に応じた動作を行う。なお、ゲーム装置３からの上記指示は、赤外線信号のパターンを示すものであってもよいし、端末装置７が赤外線信号のパターンを記憶している場合には、当該パターンを示す指示であってもよい。
【０１４２】
以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
【０１４３】
また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ７２、加速度センサ７３、およびジャイロセンサ７４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【０１４４】
また、端末装置７は、カメラ５６およびマイク７９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク７９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【０１４５】
また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
【０１４６】
（ゲームシステムと外部装置との接続構成）
図１２は、ゲームシステム１と外部装置との接続関係と示すブロック図である。図１２に示すように、ゲームシステム１におけるゲーム装置３は、ネットワーク９０を介して外部装置９１と通信可能である。ネットワーク９０は、インターネット等の任意の通信ネットワークである。外部装置９１は、Ｗｅｂサーバや、ゲーム装置３と通信を行う他の端末装置（例えば、通信ゲームを行う場合における相手先のゲーム装置等）である。なお、外部装置９１は１つである必要はなく、ゲーム装置３は、複数の外部装置と通信を行ってもよい。ゲーム装置３は、ネットワーク９０と通信を行い、ネットワーク９０を介して外部装置９１からウェブページや、各種アプリケーションや、ゲームデータ等を取得する。取得され画像情報、あるいは、取得された情報に基づいて生成される画像等は、ゲーム装置３から端末装置７および／またはテレビ２へ出力される。ゲームシステム１は、２つの表示装置に各種の画像を表示することができる。
【０１４７】
［５．ゲームシステムにおける動作の概要］
次に、ゲームシステム１において実行される動作の概要について説明する。本実施形態においては、ゲームシステム１は、ゲームプログラム（ゲームアプリケーション）を含む各種のアプリケーションの実行と、テレビ２に対する操作（およびテレビの番組表の表示）と、ウェブページの表示とを行うことができる。また、ゲームシステム１は、以下に示す動作によって、ゲームシステム１においてテレビを用いる状態（ゲームシステム１において生成された画像がテレビ２に表示される状態）と、ゲームシステム１以外の用途でテレビを用いる状態（ゲームシステム１において生成された画像とは別の画像がテレビ２に表示される状態）との間の切り替え操作を操作性良く行うことを可能とするものである。
【０１４８】
図１３は、ゲームシステム１における動作状態の遷移を表す状態遷移図である。図１３に示すように、ゲームシステム１（ゲーム装置３）が起動すると、まず、ゲームシステム１は開始状態となる。開始状態とは、ゲームシステム１の起動後において端末装置７に所定の操作画像が表示される状態である。ここで、所定の操作画像は、端末装置７を用いるユーザが操作を行うための画像であればどのようなものであってもよい。本実施形態においては、後述するアプリケーション選択画像（以下、「アプリ選択画像」と記載する）、装置制御画像、およびブラウザ画像のいずれかが所定の操作画像として端末装置７に表示される。なお、他の実施形態においては、３種類の画像のうち複数の画像が同時に（例えば、表示領域が複数に分割されることによって）端末装置７に表示されてもよい。また、以下では、開始状態において表示される操作画像を、後述する中断状態において表示される操作画像と区別する目的で「メイン操作画像」と呼ぶことがある。
【０１４９】
なお、上記「開始状態」は、ゲーム装置３の起動後、アプリケーションの選択が可能となった状態のことであり、起動直後に限られない。たとえば、起動直後には所定時間所定の画像を表示し、その後に開始状態となってもよいし、所定のアプリケーションを実行し、その終了後に再度開始状態に戻ってもよい。
【０１５０】
上記開始状態では、所定のメイン操作画像が端末装置７に表示され、また、ゲームシステムにおける操作は端末装置７を用いて行われる。すなわち、操作装置である端末装置７は、操作装置に対する操作を表す操作データ（端末操作データ）を出力する操作部を備えている。また、端末装置７は、ゲーム装置３から出力される画像を受信する受信部（アンテナ８１および無線モジュール８０）と、受信された画像を表示する表示部（ＬＣＤ５１）とを備えている。一方、ゲーム装置３は、上記操作データを取得する取得部を備えており、上記開始状態において、上記メイン操作画像を生成する。さらに、ゲーム装置３は、メイン操作画像を端末装置７へ出力する。
【０１５１】
なお、本実施形態においては、図１３に示すように、開始状態は、メニュー状態、第１テレビ操作状態、およびブラウザ状態を含む。メニュー状態は、各種のアプリケーションを選択して実行することが可能な状態（モード）である。第１テレビ操作状態は、テレビ２に対する操作を行うことが可能な状態（モード）である。ブラウザ状態は、ウェブページを表示することが可能な状態（モード）である。詳細は後述するが、メニュー状態においてはアプリ選択画像（図１７）が、第１テレビ操作状態においては装置制御画像（図１９）が、ブラウザ状態においてはブラウザ画像（図２１）が、それぞれ端末装置７に表示される。なお、アプリ選択画像は、ゲーム装置３が実行可能なアプリケーションを選択するための操作画像である。装置制御画像は、テレビ２に対する操作（制御）を行うための操作画像である。ブラウザ画像は、ネットワーク９０を介して取得されるウェブページを含む操作画像である。なお、開始状態においては、端末装置７に所定の操作画像（メイン操作画像）が表示されればよく、他の実施形態においては、開始状態においては１種類の画像のみが常に表示される構成であってもよい。
【０１５２】
また、ゲームシステム１が起動して開始状態となる場合、ゲームシステム１は上記３つの状態（メニュー状態、第１テレビ操作状態、およびブラウザ状態）のうちのいずれかの状態となる。なお、ゲームシステム１の起動直後の状態はどのように決定されてもよい。本実施形態においては、前回にゲームシステム１の電源がオフにされた時点における状態が、起動直後の状態として設定される。また、詳細は後述するが、ゲームシステム１は、上記３つの状態のうちのいずれかの状態から他の２つの状態へ、所定の変更操作に応じて遷移することが可能である（図１３参照）。つまり、ユーザは、アプリ選択画像と、装置制御画像と、ブラウザ画像とのうちで端末装置７に表示させる操作画像を、変更操作によって容易に切り替えることができる。
【０１５３】
ここで、上記開始状態のうちのメニュー状態では、ユーザは、端末装置７を用いて、ゲームプログラムを含む各種のアプリケーションのうちから１つを選択して実行することができる。また、上記開始状態のうちの第１テレビ操作状態では、ユーザは、テレビ２に対する操作を端末装置７を用いて行うことができる。すなわち、ゲーム装置３は、開始状態において、選択指示があったか否か、および、制御指示があったか否かを端末操作データに基づいて判定する（後述するステップＳ１４およびＳ２３）。選択指示とは、ゲームアプリケーションを含み、ゲーム装置３が実行可能な１以上のアプリケーションのうちから１つを選択する指示である。また、制御指示とは、テレビ２に対する制御を行う指示である。上記選択指示があった場合、ゲーム装置３は、選択されたアプリケーションを実行し、アプリケーションの実行によって生成された画像を、端末装置７およびテレビ２の少なくとも一方へ出力する（後述するステップＳ１５）。また、上記制御指示があった場合、ゲーム装置３は、当該制御指示に応じた制御をテレビ２に対して行う（後述するステップＳ２４）。
【０１５４】
以上より、本実施形態においては、開始状態においては、端末装置７に操作画像（メイン操作画像）が表示されるので、ユーザは端末装置７の画面を見ることでゲームシステム１に対する操作を行うことが可能であり、また、テレビ２にはテレビ番組等、他の画像を表示することが可能である。したがって、ユーザは、テレビ番組を見ながらゲームシステム１を使用することができる。例えば、ユーザは、テレビ２の画面でテレビ番組を見ながら、端末装置７の操作画像を見て実行したいアプリケーションを選択することも可能である。また、開始状態において、ユーザは、端末装置７を用いてテレビ２に対する操作を行うことが可能である。ユーザは、端末装置７を用いてゲームシステム１に対する操作とテレビ２に対する操作とを行うことができるので、ゲームシステム１においてテレビを用いる状態と、ゲームシステム１以外の用途でテレビを用いる状態との間の切り替え操作を容易に行うことができる。例えば、本実施形態においては装置制御画像としてテレビの番組表（電子番組表）が表示されるので、ユーザは、ゲームシステム１を起動して番組表を端末装置７に表示させ、表示された番組表から見たいテレビ番組を選んでテレビ２に表示させる一連の操作を、端末装置７のみで行うことができる。以上のように、本実施形態においては、端末装置７によって、上記の切り替え操作の操作性を向上することができる。
【０１５５】
なお、本実施形態においては、ゲーム装置３は、上記アプリ選択画像と装置制御画像とを切り替えて端末装置７に表示させるようにしているが、他の実施形態においては、アプリ選択画像と装置制御画像とを同時に端末装置７に表示させるようにしてもよい。これによれば、ユーザは、上記選択指示が可能な状態（メニュー状態）と、制御指示が可能な状態（第１テレビ操作状態）との間で状態を遷移させるための操作（上記変更操作）を行わずに、これら２つの指示を自由に行うことができる。また、他の実施形態においては、ゲーム装置３は、上記アプリ選択画像が表示されるメニュー状態においてユーザが上記制御指示を行うことができるようにしてもよいし、上記装置制御画像が表示される第１テレビ操作状態においてユーザが上記選択指示を行うことができるようにしてもよい。これによっても、ユーザは、上記変更操作を行うことなく、上記２つの指示を自由に行うことができる。
【０１５６】
また、ゲーム装置３は、開始状態において、ウェブページを表示する表示指示があったか否かをさらに判定する（後述するステップＳ１７，Ｓ２６）。表示指示があった場合、ゲームシステム１はブラウザ状態へ遷移する（図１３参照）。この場合、ゲーム装置３は、ネットワーク９０と通信を行う外部通信部（ネットワーク通信モジュール１８）を介してネットワーク９０から取得されるデータに基づいて生成されるブラウザ画像を、端末装置７およびテレビ２の少なくとも一方へ出力する（後述するステップＳ３１，Ｓ３５）。つまり、ゲーム装置３は、上記表示指示があったことに応じて、ウェブページを含むブラウザ画像を端末装置７および／またはテレビ２に表示させる。このように、本実施形態においては、ユーザは開始状態においてウェブページを閲覧することも可能である。
【０１５７】
また、メニュー状態において、アプリケーションを選択する操作が端末装置７を用いて行われると、ゲーム装置３は、選択されたアプリケーションを実行する。すなわち、ゲーム装置３は、ゲーム装置３が実行可能なアプリケーションを表す画像（アイコン等）を含むメイン操作画像（上記アプリ選択画像）を生成して端末装置７へ出力する。そして、メイン操作画像が表示される状態において、実行すべきアプリケーションが選択された場合、選択されたアプリケーションを実行する。これによって、図１３に示すように、ゲームシステム１はアプリ実行状態へ遷移する。さらに、ゲーム装置３は、アプリケーションの実行によって生成された画像を、端末装置７およびテレビ２の少なくとも一方へ出力する。なお、２つの表示装置のうちでのどちらに（あるいは両方に）画像を出力するかは、実行されるアプリケーションによって異なり、どのように決められてもよい。
【０１５８】
上記アプリ実行状態において、端末装置７に対して所定の中断操作が行われると、ゲームシステム１は中断状態へ遷移する（図１３参照）。中断状態は、実行中のアプリケーションの利用が中断された状態である。ゲーム装置３は、アプリケーションの実行中において端末装置７に対して所定の中断操作が行われた場合、所定の操作画像を生成して端末装置７へ出力する（後述するステップＳ４４）。この所定の操作画像は、端末装置７を用いるユーザが操作を行うための画像であればどのようなものであってもよい。本実施形態においては、後述する設定画像（図２３）あるいはリモコン画像（図２４）が所定の操作画像として端末装置７に表示される。なお、他の実施形態においては、１種類の操作画像のみが端末装置７に表示されてもよいし、上記２種類の画像が同時に端末装置７に表示されてもよい。また、以下では、中断状態において表示される操作画像を「サブ操作画像」と呼ぶ。
【０１５９】
上記中断状態は、設定状態と、第２テレビ操作状態を含む。本実施形態においては、アプリ実行状態から中断状態へと遷移した場合、ゲームシステム１はまず設定状態へ遷移する。設定状態は、上記設定画像が表示される状態である。詳細は後述するが、設定画像は、ゲームシステム１に関する各種の設定操作を行うための操作画像である。なお、中断状態においては、端末装置７に所定のサブ操作画像が表示されればよく、他の実施形態においては、中断状態においては上記２種類の画像のうち１種類の画像のみが常に表示される構成であってもよい。
【０１６０】
本実施形態においては、設定状態において所定の操作が行われると、ゲームシステム１は第２テレビ操作状態へ遷移する。第２テレビ操作状態は、上記リモコン画像が表示される状態である。詳細は後述するが、リモコン画像は、テレビ２に対する操作を行うための操作画像であり、テレビ２に対する操作を表すボタン画像等を含む操作画像である。第２テレビ操作状態は、端末装置７を用いてテレビ２に対する操作が可能となる状態である。なお、第２テレビ操作状態において所定の操作が行われると、ゲームシステム１は第２テレビ操作状態から設定状態へ遷移する。つまり、ユーザは、設定状態と第２テレビ操作状態とを所定の操作によって自由に遷移させることができる（図１３参照）。
【０１６１】
以上のように、本実施形態においては、中断状態において、ユーザはテレビ２に対する操作を行うことができる。すなわち、ゲーム装置３は、上記サブ操作画像が端末装置７に表示される状態において、テレビ２に対する制御を行う制御指示があったか否かを端末操作データに基づいて判定する。そして、制御指示があった場合、当該制御指示に応じた制御をテレビ２に対して行う。したがって、本実施形態においては、ユーザは、ゲームシステム１においてアプリケーションを用いている際に、アプリケーションの実行を終了しなくても、テレビ２に対する操作を行うことができる。これによれば、ゲームシステム１においてテレビを用いる状態と、ゲームシステム１以外の用途でテレビを用いる状態との間の切り替え操作がより容易になる。例えば、ユーザは、アプリケーションの実行途中でテレビ番組を視聴したり、その後アプリケーションを再開したりする操作を、端末装置７を用いて容易に行うことができる。
【０１６２】
また、本実施形態においては、上記中断状態において、実行中のアプリケーションを終了する終了指示と、アプリケーションの実行を再開する再開指示とが可能である。すなわち、中断状態において再開指示があった場合、ゲーム装置３はアプリケーションの実行を再開する。これによって、ゲームシステム１はアプリ実行状態へ遷移する（図１３参照）。また、中断状態において終了指示があった場合、ゲーム装置３はアプリケーションの実行を終了する。これによって、ゲームシステム１は開始状態へ遷移する（図１３参照）。なお、本実施形態においては、上記の場合、ゲームシステムは図１３に示すようにメニュー状態へ遷移するものとするが、他の実施形態においては、ゲームシステム１は第１テレビ操作状態あるいはブラウザ状態へ遷移してもよい。また、他の実施形態においては、中断状態においてアプリケーションを終了する場合、開始状態に含まれる３つの状態のうちいずれの状態へ遷移するかを、ユーザが選択することができるようにしてもよい。以上のように、本実施形態においては、ユーザは、中断状態からアプリケーションの実行を再開することも終了することも可能である。
【０１６３】
［６．ゲームシステムにおける処理の詳細］
次に、本ゲームシステムにおいて実行される情報処理の詳細を説明する。まず、情報処理において用いられる各種データについて説明する。図１４は、ゲーム装置３のメインメモリ（外部メインメモリ１２または内部メインメモリ１１ｅ）における記憶領域を示す図である。図１４に示すように、ゲーム装置３のメインメモリには、メインプログラム領域１００、アプリケーションプログラム領域１０１、取得データ領域１０３、および処理用データ１０７領域が設けられる。なお、メインメモリには、図１４に示すデータの他、情報処理に用いられる画像データや音声データ等、処理に必要なデータが記憶される。また、図１４に示す記憶領域の一部は、ゲーム装置３がアクセス可能な他の記憶装置（フラッシュメモリ１７等）に設けられてもよい。
【０１６４】
メインプログラム領域１００には、ゲームシステム１における上述の各種状態の遷移を管理するメインプログラムが記憶される。本実施形態においては、ＣＰＵ１０がメインプログラムを実行することによって、図１５等に示すフローチャートの各ステップが実行される。メインプログラムは、後述するメニュー処理、テレビ処理、ブラウザ処理、および中断時処理の各処理を実行するためのプログラムであるが、他の実施形態においては、これらの各処理を実行するための各プログラムが別々に（別のプログラムとして）メインメモリに記憶されてもよい。メインプログラムは、ゲーム装置３に電源が投入された後の適宜のタイミングで所定の記憶装置からその一部または全部が読み込まれてメインメモリに記憶される。なお、上記所定の記憶装置は、ゲーム装置３がアクセス可能な記憶手段であればどのようなものであってもよいが、本実施形態においてはフラッシュメモリ１７であるとする。なお、メインプログラムは、フラッシュメモリ１７に代えて、光ディスク４やゲーム装置３の外部の他の装置から（例えばインターネットを介して）取得されてもよい。
【０１６５】
アプリケーションプログラム領域１０１には、ゲーム装置３において実行可能な各種のアプリケーション（プログラム）が記憶される。アプリケーションプログラム領域１０１には、１以上のアプリケーションが記憶され、本実施形態においては、当該１以上のアプリケーションにはゲームプログラム１０２が含まれる。ゲームプログラム１０２は、ゲーム装置３に電源が投入された後の適宜のタイミングで光ディスク４からその一部または全部が読み込まれてメインメモリに記憶される。なお、ゲームプログラム１０２は、光ディスク４に代えて、フラッシュメモリ１７やゲーム装置３の外部装置から（例えばインターネットを介して）取得されてもよい。なお、アプリケーションプログラム領域１０１に含まれる他のアプリケーションもゲームプログラム１０２と同様、ゲーム装置３がアクセス可能な任意の記憶手段から取得されてもよい。
【０１６６】
取得データ領域１０３には、ゲーム装置３が端末装置７等から取得する各種のデータが記憶される。本実施形態においては、取得データ領域１０３には、端末操作データ１０４、カメラ画像データ１０５、および、マイク音データ１０６が記憶される。なお、図１４に示すデータの他、取得データ領域１０３には、コントローラ５から取得されるコントローラ操作データ等が記憶されてもよい。
【０１６７】
端末操作データ１０４は、端末装置７に対するプレイヤの操作を表すデータである。端末操作データ１０４は、端末装置７から送信されてゲーム装置３において取得され、メインメモリに記憶される。なお、ゲーム装置３は、複数の端末装置と通信可能であり、各端末装置から操作データをそれぞれ取得することが可能である。端末装置が複数である場合、各端末装置からそれぞれ送信されてくる各端末操作データがメインメモリにそれぞれ記憶される。メインメモリには、端末装置毎に最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。
【０１６８】
端末操作データ１０４は、角速度データ、加速度データ、操作ボタンデータ、スティックデータ、タッチ位置データ、および方位データを含む。角速度データは、ジャイロセンサ７４によって検出された角速度を表すデータである。本実施形態では、角速度データは、図８に示すｘｙｚの３軸回りのそれぞれの角速度を表すものであるが、他の実施形態においては、任意の１軸以上の軸回り角速度を表すものであればよい。加速度データは、加速度センサ７３によって検出された加速度（加速度ベクトル）を表すデータである。本実施形態では、加速度データは、図９に示すｘｙｚの３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の実施形態においては、任意の１以上の方向に関する加速度を表すものであればよい。上記ジャイロセンサ７４および加速度センサ７３は、慣性センサの一例である。ゲーム装置３は、慣性センサの検出結果（角速度データおよび加速度データ）に基づいて端末装置７の姿勢を算出することができる。
【０１６９】
また、操作ボタンデータは、端末装置７に設けられる各操作ボタン５４Ａ〜５４Ｌに対する入力状態を表すデータである。具体的には、操作ボタンデータは、各操作ボタン５４Ａ〜５４Ｌが押下されているか否かを表す。スティックデータは、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）のスティック部がスライドした（または傾倒した）方向および量を表すデータである。上記方向および量は、例えば２次元座標や２次元ベクトルとして表されてもよい。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置（タッチ位置）を表すデータである。本実施形態では、タッチ位置データは、上記入力面上の位置を示すための２次元座標系の座標値を表す。なお、タッチパネル５２がマルチタッチ方式である場合には、タッチ位置データは複数のタッチ位置を表すこともある。方位データは、磁気センサ７２によって検出された方位を表すデータである。本実施形態では、方位データは、端末装置７を基準として所定の方位（例えば北）の向きを表す。なお、地磁気以外の磁界が発生している場合においては、方位データは厳密には絶対的な方位（北等）を示さないことになる。ただし、その場所における磁界の方向に対する端末装置７の相対的な方向が方位データによって示されるので、そのような場合であっても方位データに基づいて端末装置７の姿勢または姿勢の変化を算出することが可能である。
【０１７０】
なお、端末操作データ１０４は、端末装置７に対する操作を表すものであればよく、本実施形態において端末操作データ１０４が含む上記各データのいずれか１つのみを含むものであってもよい。また、端末装置７が他の入力手段（例えば、タッチパッドや、コントローラ５の撮像手段等）を有する場合には、端末操作データ１０４は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。なお、本実施形態のように端末装置７自体の動きをゲーム操作として用いる場合には、端末操作データ１０４は、加速度データ、角速度データ、または方位データのように、端末装置７の動きに関する情報を表すデータ（動きに応じて値が変化するデータ）を含むことが好ましい。なお、端末装置７の動きに関する情報とは、例えば、端末装置７の位置、姿勢、位置の変化（速度）、姿勢の変化（角速度）、加速度、角加速度等の情報である。
【０１７１】
また、カメラ画像データ１０５は、端末装置７のカメラ５６によって撮像された画像（撮像画像）を表すデータである。カメラ画像データ１０５は、端末装置７から送信されてくる圧縮された画像データがコーデックＬＳＩ２７によって伸張された画像データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。また、マイク音データ１０６は、端末装置７のマイク７９によって検出された音声（マイク音）を表すデータである。マイク音データ１０６は、端末装置７から送信されてくる圧縮された音声データがコーデックＬＳＩ２７によって伸張された音声データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。
【０１７２】
処理用データ領域１０７は、ゲーム装置３における情報処理（図１５等）において用いられる各種のデータが記憶される。本実施形態においては、処理用データ領域１０７には、初期状態データ１０８、番組表データ１０９、ホームページデータ１１０、および、セーブデータ１１１等が記憶される。なお、図１４に示すデータの他、処理用データ領域１０７は、各アプリケーションの実行時において用いられる各種のデータが記憶される。
【０１７３】
初期状態データ１０８は、開始状態に含まれる３種類の状態のうちで、ゲームシステム１が起動された直後に遷移される初期状態を表すデータである。初期状態データ１０８はどのように設定されてもよいが、本実施形態においては、ゲームシステム１が終了される場合（電源がオフにされる、あるいはスリープ状態にされる場合）、その時点における状態に基づいて決定される。
【０１７４】
番組表データ１０９は、上述の第１テレビ操作状態への遷移時において端末装置７に表示されるテレビの番組表を生成するためのデータである。本実施形態においては、番組表のデータが適宜のタイミングでネットワーク９０を介して所定のサーバから取得され、当該データが番組表データ１０９としてメインメモリに記憶される。本実施形態においては、ゲームシステム１が第１テレビ操作状態へ遷移した場合、番組表データ１０９に基づいて生成される番組表が端末装置７にまず表示される。
【０１７５】
ホームページデータ１１０は、上述のブラウザ状態への遷移時において端末装置７に表示されるホームページ（ブラウザ機能の開始時に表示されるウェブページ）を生成するためのデータである。本実施形態においては、予め設定されたホームページのデータが適宜のタイミングでネットワーク９０を介して所定のサーバから取得され、当該データがホームページデータ１１０としてメインメモリに記憶される。本実施形態においては、ゲームシステム１がブラウザ状態へ遷移した場合、ホームページデータ１１０に基づいて生成されるウェブページの画像が端末装置７にまず表示される。
【０１７６】
セーブデータ１１１は、ゲームプログラム１０２等のアプリケーションのセーブデータである。詳細は後述するが、アプリケーションの実行が終了される場合、ゲームの内容を表し、ゲームの再開に必要なゲームパラメータを表すデータがセーブデータ１１１としてメインメモリに記憶される。
【０１７７】
次に、図１５〜図２４を参照して、ゲームシステム１（ゲーム装置３）において実行される情報処理の流れを詳細に説明する。図１５は、ゲーム装置３で実行される開始処理の流れを示すフローチャートである。開始処理は、ゲームシステム１（ゲーム装置３）の起動に応じて実行される処理である。すなわち、ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。その後、フラッシュメモリ１７に記憶されたメインプログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該メインプログラムの実行が開始される。図１５に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。
【０１７８】
なお、図面に示す各フローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値が採用されてもよい。また、本明細書では、各フローチャートの各ステップの処理をＣＰＵ１０が実行するものとして説明するが、各フローチャートにおける一部のステップの処理を、ＣＰＵ１０以外のプロセッサや専用回路が実行するようにしてもよい。
【０１７９】
まずステップＳ１において、ＣＰＵ１０は、開始状態に含まれる３つの状態（メニュー状態、第１テレビ操作状態、およびブラウザ状態）のうちで、最初に遷移すべき初期状態を決定する。ここで、初期状態はどのように決定されてもよく、本実施形態においては、前回のゲームシステム１の終了時における状態に基づいて次回の起動時における初期状態が決定される。すなわち、ゲームシステム１が終了される場合（電源がオフにされる、あるいはスリープ状態にされる場合）、その時点における状態を表すデータがフラッシュメモリ１７に記憶される。そして、ステップＳ１において、ＣＰＵ１０は、フラッシュメモリ１７から上記データを読み出し、当該データが表す状態に基づいて初期状態を決定する。具体的には、開始状態に含まれる３つの状態のうちのいずれかを上記データが表す場合、当該データが表す状態が初期状態として決定される。また、上記データがアプリ実行状態あるいは中断状態を表す場合、メニュー状態が初期状態として決定される。以上のようにして決定された初期状態を表すデータは初期状態データとしてメインメモリに記憶される。以上のように、本実施形態においては、前回のゲームシステム１の終了時における状態が初期状態となるので、前回ゲームシステム１を使用したユーザは、適切な状態でゲームシステム１の使用を開始することができる。ステップＳ１の次にステップＳ２の処理が実行される。
【０１８０】
なお、他の実施形態においては、初期状態は、他の方法で決定されてもよい。例えば、初期状態は、ユーザによって予め指定された状態に決定されてもよい。これによっても本実施形態と同様、ユーザにとって適切な状態でゲームシステム１の使用を開始することができる。また例えば、ゲーム装置３がユーザを識別可能な場合には、ゲームシステム１を利用する各ユーザに応じた状態となるように初期状態が決定されてもよい。これによれば、１つのゲームシステム１を複数人のユーザが使用する場合においても、各ユーザがそれぞれ自分に適した状態でゲームシステム１の使用を開始することができる。なお、「各ユーザに応じた状態」とは、そのユーザが前回にゲームシステム１を使用した際における終了時の状態に基づいて決定された状態であってもよいし、ユーザが指定した状態であってもよい。また、ユーザを識別する方法はどのような方法であってもよい。例えば、ＣＰＵ１０は、ＩＤおよび／またはパスワードを起動時にユーザに入力させることによってユーザを識別してもよい。また例えば、ＣＰＵ１０は、端末装置７のカメラ５６によってユーザの顔を撮像し、撮像画像を用いてユーザを識別してもよい。具体的には、ユーザの顔を撮像した画像を予め登録しておき、カメラ５６による撮像画像と登録された画像とを比較することによって、ユーザを識別することができる。
【０１８１】
ステップＳ２およびＳ３においては、番組表およびホームページのデータが予め取得される。ここで、これらのデータは、どのようなタイミングで取得されてもよく、本実施形態においては、ゲームシステム１の起動時に取得される。なお、他の実施形態においては、これらのデータは、番組表またはホームページを表示すべき状態（すなわち、第１テレビ操作状態またはブラウザ状態）へ遷移する時点で取得されてもよい。また、ホームページのデータに関しては、一般的なブラウザにおけるキャッシュ機能を用いて、以前にゲームシステム１が使用された際に取得されたデータが保存されてもよい。
【０１８２】
ステップＳ２において、ＣＰＵ１０は、所定のサーバ（外部装置９１）からネットワーク９０を介して番組表を取得する。すなわち、ＣＰＵ１０はまず、番組表の取得要求を生成し、ネットワーク９０を介して上記サーバへ取得要求を送信する。このサーバは、番組表のデータを記憶するウェブサーバ等、番組表のデータを提供することが可能なものであればどのようなものであってもよい。上記取得要求に応じて、サーバはネットワーク９０を介して番組表のデータをゲーム装置３へ送信する。サーバから送信されてくる番組表のデータはフラッシュメモリ１７（またはメインメモリ）に記憶される。なお、他の実施形態においては、上記サーバから取得されたデータに代えて、当該データから生成される番組表の画像データが番組表データ１０９として記憶されてもよい。ステップＳ２の次にステップＳ３の処理が実行される。
【０１８３】
ステップＳ３において、ＣＰＵ１０は、ブラウザ機能の開始時にアクセスされるウェブページ（ホームページ）のデータを取得する。すなわち、ＣＰＵ１０はまず、上記ウェブページの取得要求を生成し、ネットワーク９０を介して所定のサーバへ取得要求を送信する。このサーバは、予め設定された上記ウェブページを提供する情報処理装置であればどのようなものであってもよい。上記取得要求に応じて、サーバはネットワーク９０を介してウェブページのデータをゲーム装置３へ送信する。サーバから送信されてくるウェブページのデータはフラッシュメモリ１７（またはメインメモリ）に記憶される。なお、他の実施形態においては、上記サーバから取得されたデータに代えて、当該データから生成されるウェブページの画像データがホームページデータ１１０として記憶されてもよい。ステップＳ３の後、ＣＰＵ１０は開始処理を終了する。
【０１８４】
開始処理の終了後は、ステップＳ１で決定された初期状態に応じた処理が実行される。すなわち、初期状態がメニュー状態である場合には後述するメニュー処理が実行され、初期状態が第１テレビ操作状態である場合には後述するテレビ処理が実行され、初期状態がブラウザ状態である場合には後述するブラウザ処理が実行される。以下、メニュー処理、テレビ処理、およびブラウザ処理の詳細について説明する。
【０１８５】
（メニュー処理）
図１６は、ゲーム装置３で実行されるメニュー処理の流れを示すフローチャートである。まずステップＳ１１において、ＣＰＵ１０は端末装置７から各種データを取得する。ここで、端末装置７からは、少なくとも端末操作データが取得され、本実施形態においては、カメラ画像データおよびマイク音データがさらに取得される。端末装置７は、上記各データ（端末操作データ、カメラ画像データ、およびマイク音データ）をゲーム装置３へ繰り返し送信するので、ゲーム装置３は各データを逐次受信する。ゲーム装置３においては、端末通信モジュール２８が各データを逐次受信し、カメラ画像データおよびマイク音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ１１ａが端末操作データとカメラ画像データとマイク音データとをメインメモリに逐次記憶する。ＣＰＵ１０は、適宜のタイミングで上記各データをメインメモリから読み出す。ステップＳ１１の次にステップＳ１２の処理が実行される。
【０１８６】
ステップＳ１２において、ＣＰＵ１０はアプリ選択画像を端末装置７に表示させる。すなわち、ＣＰＵ１０は、アプリ選択画像を生成し、生成されたアプリ選択画像を端末装置７へ出力（送信）する。アプリ選択画像は、ゲーム装置３が実行可能なアプリケーションをユーザが選択することができる画像であればどのようなものであってもよい。以下、図１７を参照して、本実施形態におけるアプリ選択画像について説明する。
【０１８７】
図１７は、端末装置７に表示されるアプリ選択画像の一例を示す図である。図１７に示すように、アプリ選択画像は、アプリ領域１２１、通知領域１２３、テレビアイコン１２５、ブラウザアイコン１２６を含む。図１７に示すアプリ選択画像は、ゲーム装置３において実行すべきアプリケーションを選択するためのメニュー画像である。
【０１８８】
図１７において、アプリ領域１２１は、１以上のアプリアイコン１２２を表示する領域である。アプリアイコン１２２は、ゲーム装置３が実行可能なアプリケーションを表す画像（アイコン）である。本実施形態においてはアプリアイコン１２２を選択する操作によって、アプリアイコン１２２によって表されるアプリケーションが実行される。なお、図１７においては、アプリ領域１２１は所定のスクロール操作に応じて左右にスクロールすることが可能であり、左右にスクロールすることによって、表示されるアプリアイコン１２２が変更される。また、通知領域１２３は、ユーザに対する通知事項を表示する領域である。通知領域１２３には、どのような情報が表示されてもよく、例えば、新しいアプリケーションの紹介や、ゲームシステム１を用いた各種のサービスに関する通知等が表示される。なお、ゲーム装置３は、適宜のタイミングでネットワーク９０を介して所定のサーバにアクセスして通知事項の情報を取得することによって、通知事項の内容を更新するようにしてもよい。
【０１８９】
また、テレビアイコン１２５は、上記第１テレビ操作状態へ遷移する指示を表す画像である。詳細は後述するが、本実施形態においてはテレビアイコン１２５を選択する操作（上記変更操作）によって、ゲームシステム１は第１テレビ操作状態へ遷移する。また、ブラウザアイコン１２６は、上記ブラウザ状態へ遷移する指示を表す画像である。詳細は後述するが、本実施形態においてはブラウザアイコン１２６を選択する操作（上記変更操作）によって、ゲームシステム１はブラウザ状態へ遷移する。つまり、メニュー状態においては、テレビアイコン１２５またはブラウザアイコン１２６を選択する操作を行うことによって、ユーザは、第１テレビ操作状態またはブラウザ状態へゲームシステム１を容易に遷移させることができる。
【０１９０】
上記ステップＳ１２において、ＣＰＵ１０およびＧＰＵ１１ｂは、各種アイコンの画像データ等、アプリ選択画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、読み出したデータを用いてアプリ選択画像を生成する。生成されたアプリ選択画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、アプリ選択画像を端末装置７へ出力する。具体的には、ＶＲＡＭ１１ｄに記憶されたアプリ選択画像の画像データは、ＣＰＵ１０によってコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。圧縮処理が施された画像のデータは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像のデータを無線モジュール８０によって受信し、受信された画像データに対してコーデックＬＳＩ７６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力される。これによって、アプリ選択画像がＬＣＤ５１に表示される。また、ステップＳ１２においては、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ７７から音声が出力されてもよい。ステップＳ１２の次にステップＳ１３の処理が実行される。
【０１９１】
ステップＳ１３において、テレビ用画像をテレビ２に表示させる。すなわち、ＣＰＵ１０は、所定のテレビ用画像を生成し、生成されたテレビ用画像をテレビ２へ出力する。メニュー状態において表示されるテレビ用画像は、どのような内容であってもよい。テレビ用画像は、例えば、ゲーム装置３が実行可能なアプリケーションに関する画像（例えば、ゲームアプリケーションのタイトル画像やデモ動画）であってもよいし、上記通知領域１２３に表示される画像であってもよい。なお、メニュー状態においてはテレビ２がゲームシステム１以外の用途（例えばテレビ番組を表示する用途）で利用される態様も想定されるので、テレビ用画像は、上記のような補助的な内容であることが好ましい。
【０１９２】
上記ステップＳ１３においては、ＣＰＵ１０およびＧＰＵ１１ｂは、テレビ用画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、テレビ用画像を生成する。生成されたテレビ用画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、テレビ２へゲーム画像を出力する。具体的には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶されたテレビ用画像のデータをＡＶ−ＩＣ１５へ送る。これに応じて、ＡＶ−ＩＣ１５はテレビ用画像のデータを、ＡＶコネクタ１６を介してテレビ２へ出力する。これによって、テレビ用画像がテレビ２に表示される。また、ステップＳ１３においては、画像のデータと共に音声のデータがテレビ２へ出力され、テレビ２のスピーカ２ａから音声が出力されてもよい。ステップＳ１３の次にステップＳ１４の処理が実行される。
【０１９３】
ステップＳ１４において、ＣＰＵ１０は、選択指示があったか否かを判定する。選択指示は、実行すべきアプリケーションを選択する指示である。選択指示を行うための操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるアプリアイコン１２２をタッチする操作によって選択指示が行われる。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるアプリアイコン１２２のいずれかがタッチされたか否かを判定する。なお、他の実施形態においては、例えば端末装置７に表示されるカーソルを用いて選択指示が行われてもよい。すなわち、ＣＰＵ１０は、端末装置７に対する方向入力操作（例えばアナログスティック５３に対する方向入力操作）に応じてカーソルを移動させ、カーソルがアプリアイコン１２２を指し示す状態で所定の操作が行われた場合に、当該アプリアイコン１２２が指定されたと判定するようにしてもよい。上記ステップＳ１４の判定結果が肯定である場合、ステップＳ１５の処理が実行される。一方、上記ステップＳ１４の判定結果が否定である場合、ステップＳ１６の処理が実行される。
【０１９４】
ステップＳ１５において、ＣＰＵ１０は、上記選択指示によって選択されたアプリケーションを実行する。すなわち、ＣＰＵ１０は、選択されたアプリケーションが記憶されている記憶部（光ディスク４やフラッシュメモリ１７等）から当該アプリケーションを読み出し、メインメモリに記憶する。そして、メインメモリに記憶されたアプリケーションの実行を開始する。ステップＳ１５の後、ＣＰＵ１０はメニュー処理を終了し、アプリ実行処理を実行する。これによってゲームシステム１はアプリ実行状態へ遷移することとなる。
【０１９５】
なお、図示しないが、アプリ実行処理においては、アプリケーションに応じた情報処理が実行される。実行されるアプリケーションはどのような内容であってもよく、アプリケーションの実行による情報処理もどのような処理であってもよい。ＣＰＵ１０は、アプリケーションの実行によって生成された画像を、端末装置７およびテレビ２の少なくとも一方へ出力する。なお、生成された画像を端末装置７に表示するか、テレビ２に表示するか、それとも、端末装置７とテレビ２に表示するかの判断は、どのように行われてもよい。上記の判断は、例えばアプリケーションによって行われてもよいし、ユーザによって行われてもよい。生成された画像が端末装置７のみに表示される場合には、テレビ２にはテレビ番組を表示することができ、ユーザは、テレビ番組を視聴しながらゲームシステム１のアプリケーションを利用することができる。
【０１９６】
一方、ステップＳ１６において、ＣＰＵ１０は、第１テレビ操作状態へ遷移するか否かを判定する。すなわち、ＣＰＵ１０は、メニュー状態から第１テレビ操作状態へと遷移させる変更操作が行われたか否かを判定する。この変更操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるテレビアイコン１２５をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるテレビアイコン１２５がタッチされたか否かを判定する。上記ステップＳ１６の判定結果が肯定である場合、ＣＰＵ１０はメニュー処理を終了し、後述するテレビ処理を実行する。一方、上記ステップＳ１６の判定結果が否定である場合、ステップＳ１７の処理が実行される。
【０１９７】
なお、本実施形態においては、ステップＳ１４，Ｓ１６，Ｓ１７，Ｓ２３，Ｓ２５，Ｓ２６，Ｓ３３，Ｓ３４，Ｓ４３，Ｓ４５，Ｓ４７，Ｓ５０，およびＳ５２等における各種の指示（操作）はタッチパネル５２を用いて行われる。すなわち、ＣＰＵ１０（およびＧＰＵ１１ｂ）は、各種の指示（上記選択指示および制御指示や、上記変更操作の指示等）を表す画像を生成可能であり、当該画像を端末装置７に出力して表示させる。そして、タッチパネル５２において上記画像が選択された（タッチされた）場合に上記指示があったと判定する。これによれば、ユーザはタッチパネルを用いて容易かつ直感的な操作で各種の指示を行うことができる。
【０１９８】
なお、他の実施形態においては、各種の指示は、他の操作によって行われてもよい。例えば、各指示のうちの全部または一部の指示は、端末装置７に表示されるカーソルを用いる操作によって行われてもよい。すなわち、端末装置７に対する方向入力操作に応じてカーソルを移動させ、所定の指示を表す画像（アイコン等）をカーソルが指し示す状態で所定の操作を行うことで当該所定の指示が行われてもよい。また例えば、各指示のうちの全部または一部の指示は、端末装置７のボタン５４Ａ〜５４Ｍのいずれかを押下する操作によって行われてもよい。より具体的には、開始状態における３つの状態を遷移する指示（上記変更操作）は、端末装置７の所定のボタン（例えば第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌ）を押下する操作によって行われてもよい。すなわち、端末装置７の所定のボタンを押下することに応じて、アプリ選択画像と装置制御画像とブラウザ画像とが順に切り替わるようにしてもよい。また例えば、各指示のうちの全部または一部の指示は、端末装置７を動かす操作によって行われてもよい。なお、端末装置７の動きは、慣性センサ（加速度センサ７３およびジャイロセンサ７４）や磁気センサ７２の検出結果を用いて算出（推測）することができる。
【０１９９】
ステップＳ１７において、ＣＰＵ１０は、ブラウザ状態へ遷移するか否かを判定する。具体的には、ＣＰＵ１０は、ウェブページを表示する表示指示があったか否か、換言すれば、メニュー状態からブラウザ状態へと遷移させる変更操作が行われたか否かを判定する。この変更操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるブラウザアイコン１２６をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるブラウザアイコン１２６がタッチされたか否かを判定する。上記ステップＳ１７の判定結果が肯定である場合、ＣＰＵ１０はメニュー処理を終了し、後述するブラウザ処理を実行する。一方、上記ステップＳ１７の判定結果が否定である場合、ステップＳ１１の処理が再度実行される。以降ステップＳ１４，Ｓ１６，およびＳ１７のいずれかの判定における判定結果が肯定となるまで、メニュー処理が繰り返し実行される。
【０２００】
（テレビ処理）
図１８は、ゲーム装置３で実行されるテレビ処理の流れを示すフローチャートである。テレビ処理は、初期状態が第１テレビ操作状態に決定された場合、または、メニュー状態あるいはブラウザ状態から第１テレビ操作状態へと遷移する変更操作が行われた場合に実行される。まずステップＳ２１において、ＣＰＵ１０は端末装置７から各種データを取得する。ステップＳ２１の処理は上述のステップＳ１１と同様である。ステップＳ２１の次にステップＳ２２の処理が実行される。
【０２０１】
ステップＳ２２において、ＣＰＵ１０は、装置制御画像を端末装置７に表示する。すなわち、ＣＰＵ１０は、装置制御画像を生成し、生成された装置制御画像を端末装置７へ出力（送信）する。装置制御画像は、テレビ２に対する操作を表す操作画像であればどのようなものであってもよい。本実施形態においては、ネットワーク９０を介して外部装置９１から取得されるテレビの番組表の画像が装置制御画像として表示される。以下、図１９を参照して、本実施形態における装置制御画像について説明する。
【０２０２】
図１９は、端末装置７に表示される装置制御画像の一例を示す図である。図１９に示すように、装置制御画像は、番組表領域１３０、各種の操作ボタン画像１３６〜１３８、メニューアイコン１２４、および、ブラウザアイコン１２６を含む。図１９に示す装置制御画像は、テレビ２に対する制御指示を表す画像を含む、番組表の画像である。
【０２０３】
図１９において、番組表領域１３０は、ネットワーク９０を介して所定のサーバから取得されるデータに基づいて生成される番組表を表示する領域である。ここでは、番組表領域１３０には、チャンネル画像１３１、番組情報領域１３２、選局指示ボタン１３３、および、スクロールバー１３４が含まれる。チャンネル画像１３１は、テレビのチャンネルと番組名とを表す画像である。図１９では、チャンネル画像１３１が縦に並んで配置され、ユーザは、スクロールバー１３４のつまみ１３５を移動させることによって、チャンネル画像１３１を上下にスクロールして表示させることができる。番組情報領域１３２は、表示されるチャンネル画像１３１のうちの所定のチャンネル画像１３１が表すテレビ番組の番組情報（番組の内容や出演者等）が表示される領域である。ここでは、所定のチャンネル画像１３１とは、ユーザがタッチしたチャンネル画像１３１である。
【０２０４】
また、選局指示ボタン１３３は、テレビ２に対する制御指示を表す画像であり、具体的には、上記所定のチャンネル画像が表すチャンネルを選局する旨の制御指示を表す。なお、制御指示を表す画像は選局指示ボタン１３３に限らず、例えば、テレビ２の電源をオンまたはオフする制御指示を表すボタン、テレビ２の音量を変更する制御指示を表すボタン、あるいは、テレビ２に対する入力切替の制御指示を表すボタン等が装置制御画像に含まれていてもよい。
【０２０５】
また、日付操作ボタン１３６は、表示すべき番組表の日付（および時刻）を変更する指示を行うためのボタンである。詳細表示ボタン１３７は、上記番組情報領域１３２に表示される内容よりも詳細な情報を表示する指示を行うためのボタンである。設定ボタン１３８は、番組表や端末装置７に関する設定画面を表示する指示を行うためのボタンである。なお、上記の他、例えば番組表を検索するための画像や、お気に入りの番組リストを表示するための画像等が端末装置７に表示されてもよい。以上の番組表の画像を用いて、ユーザは、テレビ番組の内容を閲覧したり、所望のチャンネルを選局するようにテレビ２を操作したりすることが可能である。本実施形態においては、第１テレビ操作状態においてテレビの番組表が表示されるので、ユーザは番組表を見てテレビ２のチャンネル操作を行うことができ、便利である。
【０２０６】
また、メニューアイコン１２４は、上記メニュー状態へ遷移する指示を表す画像である。詳細は後述するが、本実施形態においてはメニューアイコン１２４を選択する操作（上記変更操作）によって、ゲームシステム１はメニュー状態へ遷移する。また、ブラウザアイコン１２６は、図１６に示すものと同じである。したがって、第１テレビ操作状態においては、メニューアイコン１２４またはブラウザアイコン１２６を選択する操作を行うことによって、ユーザは、メニュー状態またはブラウザ状態へゲームシステム１を容易に遷移させることができる。
【０２０７】
上記ステップＳ２２において、ＣＰＵ１０およびＧＰＵ１１ｂは、装置制御画像を生成するために必要なデータをメインメモリおよびＶＲＡＭ１１ｄから読み出し、読み出したデータを用いて装置制御画像を生成する。本実施形態においては、上記番組表領域１３０内に表示される画像は、メインメモリに記憶される番組表データ１０９を用いて生成される。したがって、本実施形態においては、第１テレビ操作状態へ遷移した直後であっても装置制御画像を端末装置７に迅速に表示することができる。また、生成された装置制御画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、装置制御画像を端末装置７へ出力する。画像を端末装置７へ出力することによって端末装置７に当該画像を表示させる処理については上記ステップＳ１２と同様である。これによって、装置制御画像はＬＣＤ５１に表示される。また、ステップＳ２２においては、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ７７から音声が出力されてもよい。ステップＳ２２の次にステップＳ２３の処理が実行される。
【０２０８】
ステップＳ２３において、制御指示があったか否かを判定する。制御指示は、テレビ２に対する制御を行う指示である。制御指示を行うための操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示される、制御指示を表すボタン（選局指示ボタン１３３）をタッチする操作によって制御指示が行われる。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示される上記ボタンがタッチされたか否かを判定する。上記ステップＳ２３の判定結果が肯定である場合、ステップＳ２４の処理が実行される。一方、上記ステップＳ２３の判定結果が否定である場合、ステップＳ２４の処理がスキップされてステップＳ２５の処理が実行される。
【０２０９】
ステップＳ２４において、ＣＰＵ１０は、上記制御指示に応じた制御をテレビ２に対して行う。ここで、ゲームシステム１がテレビ２を制御する方法はどのような方法であってもよい。本実施形態においては、ゲーム装置３が端末装置７を介してテレビ２へ制御信号を出力する第１の方法と、ゲーム装置３が直接テレビ２へ制御信号を出力する第２の方法とによってテレビ２を制御する。
【０２１０】
第１の方法では、ＣＰＵ１０は、上記制御指示に応じた制御内容を示す制御信号を送信する旨の指示を端末装置７に対して行う。この指示に従って、端末装置７は、テレビ２を制御するための制御信号を出力する。具体的には、ＣＰＵ１０は、上記の指示を表す制御データを端末装置７へ出力する。なお、本実施形態においては、テレビ２に対して各種の動作を行わせるための各種の制御信号を表すデータがフラッシュメモリ１７あるいはメインメモリに記憶されている。ＣＰＵ１０は、上記各種の制御信号のうちから、上記制御指示に応じた制御信号を表すデータを選出し、制御データとして端末装置７へ出力する。制御データを受信した端末装置７は、上記制御データが表す制御信号を出力する。本実施形態においては、制御信号として赤外線信号が出力される。すなわち、端末装置７のコーデックＬＳＩ７６は、上記制御データが表す制御信号に対応する赤外線信号を赤外線通信モジュール８２に出力させる。この赤外線信号がテレビ２の赤外線受光部によって受光されることで、テレビ２が制御指示に応じた動作を行う。
【０２１１】
第２の方法では、ＣＰＵ１０は、制御指示に応じた制御内容を示す制御信号をテレビ２へ出力する。すなわち、ＣＰＵ１０は、テレビ２に対して各種の動作を行わせるための各種の制御信号のうちから、上記制御指示に応じた制御信号（例えば、ＨＤＭＩ規格に則った形式の信号）を選出する。そして、選出した制御信号をＡＶコネクタ１６を介してテレビ２に出力する。これによっても、テレビ２は制御指示に応じた動作を行うこととなる。
【０２１２】
なお、テレビ２を制御するための上記制御信号（赤外線信号）の形式は、テレビ２の機種によって異なる場合がある。したがって、ゲーム装置３は、複数の機種に対応する各形式の制御信号を予め記憶しておくようにしてもよい。このとき、ゲーム装置３は、所定のタイミングで（例えば初期設定時に）テレビ２に応じた形式を選択し、以降は、選択された形式の制御信号を用いるようにしてもよい。これによって、ゲーム装置３は、複数種類の機種のテレビに対応することができる。
【０２１３】
なお、本実施形態においては、ゲーム装置３は、上記２つの方法のうち少なくとも一方を用いてテレビ２を制御してもよいし、両方の方法を用いてテレビ２を制御してもよい。上記ステップＳ２４の後、ステップＳ２５の処理が実行される。
【０２１４】
ステップＳ２５において、ＣＰＵ１０は、メニュー状態へ遷移するか否かを判定する。すなわち、ＣＰＵ１０は、第１テレビ操作状態からメニュー状態へと遷移させる変更操作が行われたか否かを判定する。この変更操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるメニューアイコン１２４をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるメニューアイコン１２４がタッチされたか否かを判定する。上記ステップＳ２５の判定結果が肯定である場合、ＣＰＵ１０はテレビ処理を終了し、上述のメニュー処理を実行する。一方、上記ステップＳ２５の判定結果が否定である場合、ステップＳ２６の処理が実行される。
【０２１５】
ステップＳ２６において、ＣＰＵ１０は、ブラウザ状態へ遷移するか否かを判定する。ステップＳ２６の処理は上述のステップＳ１７の処理と同様である。ステップＳ２６の判定結果が肯定である場合、ＣＰＵ１０はテレビ処理を終了し、後述するブラウザ処理を実行する。一方、上記ステップＳ２６の判定結果が否定である場合、ステップＳ２７の処理が実行される。
【０２１６】
ステップＳ２７において、ＣＰＵ１０は、その他のテレビ処理を実行する。その他のテレビ処理とは、上記ステップＳ２１〜Ｓ２６の処理以外にテレビ処理において実行される処理である。例えば、ＣＰＵ１０は、上記操作ボタン画像１３６〜１３８に対する選択操作に応じて番組表領域１３０の表示内容を変更する処理や、スクロールバー１３４に対するスクロール操作に応じてチャンネル画像１３１をスクロールさせて表示する処理等を実行する。また、本実施形態においては、第１テレビ操作状態においてはテレビ２がテレビ番組を表示する用途で用いられることを想定して、ステップＳ２７においてＣＰＵ１０はテレビ用画像を生成・出力しないものとする。ただし、他の実施形態においては、テレビ用画像が生成・出力されてもよい。例えば、上記番組表を表す装置制御画像がテレビ用画像としてテレビ２へ出力されて表示されてもよい。これによれば、ユーザは、より大きな画面で番組表を閲覧することができる。
【０２１７】
上記ステップＳ２７の次に、ステップＳ２１の処理が再度実行される。以降、ステップＳ２５およびＳ２６のいずれかの判定における判定結果が肯定となるまで、テレビ処理が繰り返し実行される。
【０２１８】
以上のテレビ処理によれば、ユーザは、番組表を端末装置７によって閲覧することができる（ステップＳ２２）とともに、テレビ２に対する操作を行うことができる（ステップＳ２３，Ｓ２４）。また、ユーザは、第１テレビ操作状態からメニュー状態あるいはブラウザ状態への遷移を変更操作によって容易に行うことができる（ステップＳ２５，Ｓ２６）。
【０２１９】
なお、他の実施形態においては、メニュー状態あるいはブラウザ状態から第１テレビ操作状態への遷移時に、（テレビ放送を表示するように）テレビ２の入力が切り替えられてもよい。すなわち、テレビ２が、ゲーム装置３から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能である場合において、ＣＰＵ１０は、端末装置７においてアプリ選択画像（あるいはブラウザ画像）から装置制御画像への表示の切り替えが行われることに応じて、テレビ２のモードを第２モードへ切り替える制御を行ってもよい。具体的には、テレビ処理の開始時において、ＣＰＵ１０は、テレビ放送を表示する第２モードとなるようにテレビ２に対して入力切替の制御を行うようにしてもよい。これによれば、第１テレビ操作状態への遷移時にユーザはテレビ２の入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。なお、入力切替の制御は、上記ステップＳ２４における第１の方法で行われてもよいし第２の方法で行われてもよい。
【０２２０】
また、他の実施形態においては、第１テレビ操作状態からメニュー状態あるいはブラウザ状態への遷移時に、（ゲーム装置３からの画像を表示するように）テレビ２の入力が切り替えられてもよい。すなわち、テレビ２が、ゲーム装置３から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能である場合において、ＣＰＵ１０は、端末装置７において装置制御画像からアプリ選択画像（あるいはブラウザ画像）への表示の切り替えが行われることに応じて、テレビ２のモードを第１モードへ切り替える制御を行ってもよい。具体的には、ステップＳ１６の判定結果が肯定となる場合、ＣＰＵ１０は、ゲーム装置３からの画像を表示する第１モードとなるようにテレビ２に対して入力切替の制御を行うようにしてもよい。また、ステップＳ１７の判定結果が肯定となる場合、ＣＰＵ１０は、上記第１モードとなるようにテレビ２に対して入力切替の制御を行うようにしてもよい。これによれば、第１テレビ操作状態から他の状態への遷移時にユーザはテレビ２の入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。なお、入力切替の制御は、上記ステップＳ２４における第１の方法で行われてもよいし第２の方法で行われてもよい。
【０２２１】
なお、テレビ２の機種によっては、複数種類の入力を順に切り替える指示（例えば、入力番号が「入力１」から「入力５」までの５種類の入力を順に１つずつ切り替える指示）のみが可能であり、テレビ放送を表示する第２モードを指定して入力を切り替える指示を行うことができない場合がある。その場合には、第１モードと第２モードとの間の切り替えに必要となる入力切替の指示回数を予め登録しておき、ＣＰＵ１０は、登録しておいた回数だけ入力切替の指示を行うようにしてもよい。例えば、テレビ放送を表示するのが「入力１」で、ゲーム装置３からの画像を表示するのが「入力３」であり、「入力１」から「入力３」へ切り替えるために入力切替の指示が２回必要である場合、ゲーム装置３は、入力切替の指示回数として“２”を記憶しておく。なお、ゲームシステム１の初期設定時において、ゲーム装置３に対応する入力の番号をユーザに登録させることによって、ゲーム装置３が上記の回数を算出することも可能である。
【０２２２】
（ブラウザ処理）
図２０は、ゲーム装置３で実行されるブラウザ処理の流れを示すフローチャートである。まずステップＳ２１において、ブラウザ画像として上記ホームページの画像を端末装置７に表示する。すなわち、ＣＰＵ１０は、ブラウザ画像を生成し、生成されたブラウザ画像を端末装置７へ出力（送信）する。ブラウザ画像は、ネットワーク９０を介して取得されるウェブページを含む画像であればどのようなものであってもよい。以下、図２１を参照して、本実施形態におけるブラウザ画像について説明する。
【０２２３】
図２１は、端末装置７に表示されるブラウザ画像の一例を示す図である。図２１に示すように、ブラウザ画像は、ウェブページ表示領域１４１、スクロールバー１４２、戻るボタン１４３、進むボタン１４４、キーワード領域１４５、検索ボタン１４６、リモコン表示ボタン１４７を含む。さらに、ブラウザ画像には、上述のメニューアイコン１２４およびテレビアイコン１２５が含まれる。図２１に示すブラウザ画像は、ウェブページを表示するとともにウェブページに対する操作を行うための操作画像である。
【０２２４】
図２１において、ウェブページ表示領域１４１は、ネットワーク９０から取得されるデータに基づいて生成されるウェブページの画像が表示される領域である。ウェブページ表示領域１４１に表示されるウェブページは、スクロールバー１４２のつまみを上下に移動させることによって上下にスクロールして表示させることができる。戻るボタン１４３は、現在表示されているウェブページの１つ前に表示したウェブページを表示させる指示を表す画像である。進むボタン１４４は、現在表示されているウェブページの１つ後に表示したウェブページを表示させる指示を表す画像である。キーワード領域１４５は、入力された検索キーワードが表示される領域である。検索ボタン１４６は、検索キーワードを用いてウェブページの検索を行う指示を表す画像である。上記ボタン１４３〜１４６は、従来の一般的なブラウザにおけるボタンと同様の機能であってもよい。
【０２２５】
リモコン表示ボタン１４７は、リモコン画像（図２４）を表示させる指示を表す画像である。リモコン画像の詳細については、後述する中断時処理において説明する。また、メニューアイコン１２４およびテレビアイコン１２５は、図１６および図１８に示すものと同じである。したがって、ブラウザ状態においては、メニューアイコン１２４またはテレビアイコン１２５を選択する操作を行うことによって、ユーザは、メニュー状態または第１テレビ操作状態へゲームシステム１を容易に遷移させることができる。
【０２２６】
上記ステップＳ３１において、ＣＰＵ１０およびＧＰＵ１１ｂは、ブラウザ画像を生成するために必要なデータをメインメモリおよびＶＲＡＭ１１ｄから読み出し、読み出したデータを用いてブラウザ画像を生成する。なお、本実施形態におけるステップＳ１においては、上記ウェブページ表示領域１４１内に表示される画像は、メインメモリに記憶されるホームページデータ１１０を用いて生成される。したがって、本実施形態においては、ブラウザ状態へ遷移した直後であってもブラウザ画像を端末装置７に迅速に表示することができる。また、生成されたブラウザ画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、ブラウザ画像を端末装置７へ出力する。画像を端末装置７へ出力することによって端末装置７に当該画像を表示させる処理については上記ステップＳ１２と同様である。これによって、ブラウザ画像はＬＣＤ５１に表示される。なお、ＣＰＵ１０は、ブラウザ画像の少なくとも一部の領域を端末装置７へ出力すればよい。例えば、ＣＰＵ１０は、ブラウザ画像のうちの一部の領域を拡大して端末装置７に表示させるようにしてもよい。これによれば、一般的にはテレビ２の画面よりも小さい画面を有する端末装置７においてもブラウザ画像を見やすく表示することができる。また、ステップＳ３１においては、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ７７から音声が出力されてもよい。ステップＳ３１の次にステップＳ３２の処理が実行される。
【０２２７】
ステップＳ３２において、ＣＰＵ１０は端末装置７から各種データを取得する。ステップＳ３２の処理は上述のステップＳ１１と同様である。ステップＳ３２の次にステップＳ３３の処理が実行される。
【０２２８】
ステップＳ３３において、ＣＰＵ１０は、メニュー状態へ遷移するか否かを判定する。ステップＳ３３の処理は上述のステップＳ２５の処理と同様である。ステップＳ３３の判定結果が肯定である場合、ＣＰＵ１０はブラウザ処理を終了し、上記メニュー処理を実行する。一方、上記ステップＳ３３の判定結果が否定である場合、ステップＳ３４の処理が実行される。
【０２２９】
ステップＳ３４において、ＣＰＵ１０は、第１テレビ操作状態へ遷移するか否かを判定する。ステップＳ３４の処理は上述のステップＳ１６の処理と同様である。ステップＳ３４の判定結果が肯定である場合、ＣＰＵ１０はブラウザ処理を終了し、上記テレビ処理を実行する。一方、上記ステップＳ３４の判定結果が否定である場合、ステップＳ３５の処理が実行される。
【０２３０】
ステップＳ３５において、ＣＰＵ１０は、その他のブラウザ処理を実行する。その他のブラウザ処理とは、上記ステップＳ３１〜Ｓ３４の処理以外にブラウザ処理において実行される処理である。例えば、ＣＰＵ１０は、上記ボタン１４３〜１４６に対する選択操作に応じてボタンに応じた処理を実行したり、スクロールバー１４２に対するスクロール操作に応じてウェブページをスクロールさせて表示する処理等を実行したりする。その他、ＣＰＵ１０は、ステップＳ３５ウェブページに含まれるリンク情報に対する選択操作が行われた場合にリンク先のウェブページを取得する処理や、ウェブページに動画が含まれる場合に当該動画を再生する処理等を実行する。上記ステップＳ３５においては、一般的なブラウザにおいて実行される種々の処理が実行されてもよい。
【０２３１】
また、ＣＰＵ１０は、テレビ用画像を生成してテレビ２へ出力する処理を実行してもよい。例えば、ＣＰＵ１０は、ウェブページの全部または一部の画像をテレビ２へ出力してもよい。具体的には、端末装置７に表示されるウェブページに動画が含まれる場合、ＣＰＵ１０は、動画を構成する画像をテレビ２へ逐次出力してもよい。これによれば、ユーザは、ウェブページの動画をより大きなテレビ２の画面で視聴することができる。
【０２３２】
なお、本実施形態においてはブラウザ画像は少なくとも端末装置７に表示されるものとしたが、ブラウザ画像は端末装置７およびテレビ２の少なくとも一方に表示されればよい。ブラウザ画像が端末装置７に表示される場合には、テレビ２を他の用途に利用することができるというメリットがある。また、ブラウザ画像がテレビ２に表示される場合には、ブラウザ画像を大きな画面で見やすく表示することができ、例えばウェブページに含まれる動画をテレビ２に表示することも可能である。また、他の実施形態においては、ブラウザ画像を出力する対象となる表示装置をユーザが選択できるようにしてもよい。
【０２３３】
上記ステップＳ３５の次に、ステップＳ３２の処理が再度実行される。以降、ステップＳ３３およびＳ３４のいずれかの判定における判定結果が肯定となるまで、ブラウザ処理が繰り返し実行される。
【０２３４】
以上に説明した開始状態における処理（メニュー処理、テレビ処理、およびブラウザ処理）によれば、ゲーム装置３は、メイン操作画像として、アプリ選択画像と、装置制御画像と、ブラウザ画像とを生成可能である。そして、アプリ選択画像と装置制御画像とブラウザ画像とを所定の変更操作に応じて切り替えて端末装置７へ出力する。したがって、ユーザは、アプリケーションを選択する画面と、番組表を見てテレビを操作する画面と、ウェブページを閲覧する画面とを変更操作によって容易に切り替え、種々の用途でゲームシステム１を利用することができる。特に、本実施形態においては、開始状態における３種類の各状態のいずれかである場合、他の２つの状態へ遷移するための２つのアイコンが常に表示されるので、ユーザは、アイコンを選択する１回の操作で迅速に所望の他の状態へゲームシステム１を遷移させることができる。また、本実施形態によれば、ゲームシステム１を利用してアプリケーションの選択やウェブページの閲覧を行う状態からテレビ番組を視聴しようとする場合、ユーザは、変更操作を行って装置制御画像を端末装置７に表示させて制御指示の操作を行うだけでよく、端末装置７を用いて切り替え操作を容易に行うことができる。
【０２３５】
（中断時処理）
次に、中断時処理の詳細について説明する。図２２は、ゲーム装置３で実行されるアプリ中断処理の流れを示すフローチャートである。上述のアプリ実行状態においては、アプリケーションに応じた処理内容でアプリ実行処理が実行される。ここで、アプリ実行状態において所定の中断操作が行われた場合、ＣＰＵ１０は、アプリ実行処理を中止（一時停止）し、図２２に示すアプリ中断処理を実行する。上記所定の中断操作は、端末装置７に対するどのような操作であってもよいが、本実施形態においては、ホームボタン５４Ｃを押下する操作である。なお、アプリケーションにおける操作のためにホームボタン５４Ｃを用いないようにすることが好ましく、これによれば、ユーザは、アプリケーションの実行中における任意のタイミングで中断状態に遷移させることができる。
【０２３６】
なお、本実施形態においては、中断状態においてはアプリケーションの実行自体が中断（一時停止）される。ただし、他の実施形態においては、アプリケーションの実行は継続されてもよい。ＣＰＵ１０は、例えばアプリケーションの内部処理の計算を実行する等、ユーザの使用に影響を与えない範囲でアプリケーションにおける情報処理を実行するようにしてもよい。
【０２３７】
アプリ中断処理においては、まずステップＳ４１において、ＣＰＵ１０は、設定画像を端末装置７に表示する。すなわち、ＣＰＵ１０は、設定画像を生成し、生成された設定画像を端末装置７へ出力（送信）する。したがって、本実施形態においては、中断状態への遷移時にはゲームシステム１はまず設定状態へと遷移する。なお、他の実施形態においては、中断状態への遷移時にはゲームシステム１はまず第２テレビ操作状態へと遷移してもよい。また、上記設定画像は、ゲームシステム１（端末装置７）に対する設定操作を表す操作画像であればどのようなものであってもよい。以下、図２３を参照して、本実施形態における設定画像について説明する。
【０２３８】
図２３は、端末装置７に表示される設定画像の一例を示す図である。図２３に示すように、設定画像は、アプリ終了ボタン１５１、アプリ中止ボタン１５２、アプリ再開ボタン１５３、リモコン表示ボタン１５４、端末設定ボタン１５５、コントローラ設定ボタン１５６、リストボタン１５７、説明書ボタン１５８を含む。
【０２３９】
アプリ終了ボタン１５１は、実行が中断されているアプリケーションを終了する指示を表す画像である。アプリ中止ボタン１５２は、上記アプリケーションを一時停止する指示を表す画像である。アプリ再開ボタン１５３は、上記アプリケーションを再開する指示である。これらのボタン１５１〜１５３によって、中断状態からアプリケーションを終了または一時停止してメニュー状態へ遷移することも可能であるし、中断状態からアプリケーションを再開することも可能である。
【０２４０】
リモコン表示ボタン１５４は、リモコン画像（図２４）を端末装置７に表示させる指示を表す画像である。詳細は後述するが、リモコン画像は、テレビ２に対する操作を行うための操作画像であり、テレビ２に対する操作を表すボタン画像等を含む操作画像である。
【０２４１】
端末設定ボタン１５５は、端末装置７に対する各種の設定を行うための画面を表示する指示を表す画像である。コントローラ設定ボタン１５６は、コントローラ５に対する各種の設定を行うための画面を表示する指示を表す画像である。リストボタン１５７は、予め登録されている他のユーザ（知人や友人）のリストを表示する指示を表す画像である。例えば、ユーザは、リストから選択した他のユーザとゲームの対戦を行ったり、通信を行ったりすることができる。説明書ボタン１５８は、ゲームシステム１（または端末装置７）の説明書を表示する指示を表す画像である。これらのボタン１５５〜１５８によって、ユーザは、ゲームシステム１に関する各種の設定の変更を行うことができる。
【０２４２】
上記ステップＳ４１において、ＣＰＵ１０およびＧＰＵ１１ｂは、上記各ボタン１５１〜１５８の画像等、設定画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、読み出したデータを用いて設定画像を生成する。また、生成された設定画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、設定画像を端末装置７へ出力する。画像を端末装置７へ出力することによって端末装置７に当該画像を表示させる処理については上記ステップＳ１２と同様である。これによって、設定画像はＬＣＤ５１に表示される。また、ステップＳ４１においては、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ７７から音声が出力されてもよい。ステップＳ４１の次にステップＳ４２の処理が実行される。
【０２４３】
ステップＳ４２において、ＣＰＵ１０は端末装置７から各種データを取得する。ステップＳ４２の処理は上述のステップＳ１１と同様である。ステップＳ４２の次にステップＳ４３の処理が実行される。
【０２４４】
ステップＳ４３において、ＣＰＵ１０は、リモコン画像を表示するか否かを判定する。すなわち、ＣＰＵ１０は、設定状態から第２テレビ操作状態へと遷移させる操作が行われたか否かを判定する。この操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるリモコン表示ボタン１５４をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるリモコン表示ボタン１５４がタッチされたか否かを判定する。上記ステップＳ４３の判定結果が肯定である場合、ステップＳ４４の処理が実行される。一方、上記ステップＳ４３の判定結果が否定である場合、ステップＳ４４の処理がスキップされてステップＳ４５の処理が実行される。
【０２４５】
ステップＳ４４において、ＣＰＵ１０は、リモコン画像を端末装置７に表示する。すなわち、ＣＰＵ１０は、リモコン画像を生成し、生成されたリモコン画像を端末装置７へ出力（送信）する。リモコン画像は、テレビ２に対する操作を表す操作画像であればどのようなものであってもよい。以下、図２４を参照して、本実施形態におけるリモコン画像について説明する。
【０２４６】
図２４は、端末装置７に表示されるリモコン画像の一例を示す図である。図２４に示すように、リモコン画像は、上記設定画像と同様のアプリ終了ボタン１５１およびアプリ中止ボタン１５２を含む。したがって、本実施形態においては、第２テレビ操作状態においても設定状態と同様、アプリケーションを終了または一時停止してメニュー状態へ遷移することが可能である。なお、他の実施形態においては、ＣＰＵ１０は、例えば上記設定画像と同様のアプリ再開ボタン１５３を端末装置７に表示させることによって、第２テレビ操作状態からアプリケーションを再開してアプリ実行状態へ遷移することが可能であるようにしてもよい。
【０２４７】
また、戻るボタン１６７は、第２テレビ操作状態から設定状態へ遷移する（戻る）指示を表す画像である。つまり、本実施形態においては、ユーザは、上記リモコン表示ボタン１５４または戻るボタン１６７を選択する操作によって、設定画像とリモコン画像とを切り替えて表示することができる。
【０２４８】
また、リモコン画像は、電源ボタン１６１、入力切替ボタン１６２、音量増加ボタン１６３、音量減少ボタン１６４、チャンネル増加ボタン１６５、およびチャンネル減少ボタン１６６を含む。上記ボタン１６１〜１６６は、テレビ２に対する制御指示を表す画像である。電源ボタン１６１は、テレビ２の電源のオン／オフを切り替える指示を表す画像である。入力切替ボタン１６２は、テレビ２における入力を切り替える（すなわち、テレビ番組の映像を入力して表示するモードと、ゲーム装置３からの画像を入力して表示するモードとの間の切り替え）指示を表す画像である。音量増加ボタン１６３は、テレビ２の音量を上げる指示を表す画像である。音量減少ボタン１６４は、テレビ２の音量を上げる指示を表す画像である。チャンネル増加ボタン１６５は、テレビ２の選局を昇順に１つずつ変更する指示を表す画像である。チャンネル減少ボタン１６６は、テレビ２の選局を降順に１つずつ変更する指示を表す画像である。上記各ボタン１６１〜１６６によって、ユーザはテレビ２の電源、入力切替、音量、および選局を操作することができる。なお、他の実施形態においては、上記各ボタンの他、例えば、各チャンネルを表すボタンや、テレビ放送から取得される番組表を表示する指示を表すボタンや、（テレビ２が録画機能を有する場合）録画の指示を表すボタン等、一般的なテレビのリモコンが有するボタンが端末装置７に表示されてもよい。
【０２４９】
以上のように、本実施形態においては、リモコン画像は、各種の制御指示を表す画像を含む画像である。なお、他の実施形態においては、リモコン画像は、制御指示の内容（例えば音量の増加）と、当該制御指示を行うためのボタン（例えば第２Ｒボタン５４Ｌ）との割り当てを表す画像であってもよい。また、リモコン画像は、上記装置制御画像と同様、番組表を含んでもいてもよい。
【０２５０】
上記ステップＳ４４において、ＣＰＵ１０およびＧＰＵ１１ｂは、上記各ボタン１５１〜１５３および１６１〜１６６の画像等、リモコン画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、読み出したデータを用いてリモコン画像を生成する。また、生成されたリモコン画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、リモコン画像を端末装置７へ出力する。画像を端末装置７へ出力することによって端末装置７に当該画像を表示させる処理については上記ステップＳ１２と同様である。これによって、リモコン画像はＬＣＤ５１に表示される。ステップＳ４４の処理によって、ゲームシステム１は設定状態から第２テレビ操作状態へと遷移する。また、ステップＳ４４においては、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ７７から音声が出力されてもよい。ステップＳ４４の次にステップＳ４５の処理が実行される。
【０２５１】
なお、他の実施形態においては、第２テレビ操作状態への遷移時に、（テレビ放送を表示するように）テレビ２の入力が切り替えられてもよい。すなわち、テレビ２が、ゲーム装置３から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能である場合において、ＣＰＵ１０は、端末装置７にサブ操作画像（より具体的にはリモコン画像）が表示されることに応じて、テレビ２のモードを第２モードへ切り替える制御を行ってもよい。具体的には、上記ステップＳ４４において、ＣＰＵ１０は、テレビ放送を表示する第２モードとなるようにテレビ２に対して入力切替の制御を行うようにしてもよい。これによれば、第２テレビ操作状態への遷移時にユーザはテレビ２の入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。なお、入力切替の制御は、上記ステップＳ２４における第１の方法で行われてもよいし第２の方法で行われてもよい。
【０２５２】
ステップＳ４５において、ＣＰＵ１０は、制御指示があったか否かを判定する。制御指示は、テレビ２に対する制御を行う指示である。制御指示を行うための操作はどのような操作であってもよい。本実施形態においては、上記ステップＳ２３と同様、端末装置７に表示される、制御指示を表すボタン１６１〜１６６をタッチする操作によって制御指示が行われる。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示される上記ボタン１６１〜１６６のいずれかがタッチされたか否かを判定する。上記ステップＳ４５の判定結果が肯定である場合、ステップＳ４６の処理が実行される。一方、上記ステップＳ４５の判定結果が否定である場合、ステップＳ４６の処理がスキップされてステップＳ４７の処理が実行される。
【０２５３】
ステップＳ４６において、ＣＰＵ１０は、上記制御指示に応じた制御をテレビ２に対して行う。ステップＳ４６の処理は上述のステップＳ２４と同様である。すなわち、ＣＰＵ１０は、ゲーム装置３が端末装置７を介してテレビ２へ制御信号を出力する第１の方法、および／または、ゲーム装置３が直接テレビ２へ制御信号を出力する第２の方法によってテレビ２を制御する。ステップＳ４６の次にステップＳ４７の処理が実行される。
【０２５４】
ステップＳ４７において、ＣＰＵ１０は、設定画像を表示するか否かを判定する。すなわち、ＣＰＵ１０は、第２テレビ操作状態から設定状態へと遷移させる操作が行われたか否かを判定する。この操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示される戻るボタン１６７をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示される戻るボタン１６７がタッチされたか否かを判定する。上記ステップＳ４７の判定結果が肯定である場合、ステップＳ４８の処理が実行される。一方、上記ステップＳ４７の判定結果が否定である場合、ステップＳ４８の処理がスキップされてステップＳ４９の処理が実行される。
【０２５５】
ステップＳ４８において、ＣＰＵ１０は設定画像を端末装置７に表示する。ステップＳ４８の処理は上記ステップＳ４１の処理と同じである。ステップＳ４８の処理によって、ゲームシステム１は第２テレビ操作状態から設定状態へと遷移する。ステップＳ４８の次にステップＳ４９の処理が実行される。
【０２５６】
ステップＳ４９において、ＣＰＵ１０は各種の設定処理を実行する。すなわち、ＣＰＵ１０は、上述の端末設定ボタン１５５、コントローラ設定ボタン１５６、リストボタン１５７、および説明書ボタン１５８が選択された（タッチされた）か否かを判定する。そして、いずれかのボタンが選択された場合には、選択されたボタンに応じた処理を実行する。ステップＳ４９における設定処理は、従来における一般的なゲームシステムにおいて実行される設定処理と同様であってもよい。ステップＳ４９の次にステップＳ５０の処理が実行される。
【０２５７】
ステップＳ５０において、ＣＰＵ１０は、メニュー状態へ遷移するか否かを判定する。すなわち、実行が中断されているアプリケーションを終了または一時中止するか否かを判定する。この判定は、上記アプリケーションを終了または一時中止する操作（中断状態からメニュー状態へと遷移させる操作）が行われたか否かを判定する。この操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるアプリ終了ボタン１５１またはアプリ中止ボタン１５２をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるアプリ終了ボタン１５１またはアプリ中止ボタン１５２がタッチされたか否かを判定する。上記ステップＳ５０の判定結果が肯定である場合、ステップＳ５１の処理が実行される。一方、上記ステップＳ５０の判定結果が否定である場合、ステップＳ５２の処理が実行される。
【０２５８】
ステップＳ５１において、ＣＰＵ１０はアプリケーションの終了処理を行う。具体的には、アプリケーションで使用されるデータのうちで保存すべきデータをセーブデータ１１１としてメインメモリに記憶する。なお、セーブデータ１１１は、適宜のタイミングでフラッシュメモリ１７や、アプリケーションが記憶される記憶媒体に記憶される。また、上記ステップＳ５０においてアプリ終了ボタン１５１が選択された場合には、次回にアプリケーションが起動される場合には所定の初期状態からアプリケーションが開始される。一方、上記ステップＳ５０においてアプリ中止ボタン１５２が選択された場合には、次回にアプリケーションが起動（再開）される場合には中断時の状態からアプリケーションが開始される。したがって、ＣＰＵ１０は、アプリ終了ボタン１５１が選択された場合とアプリ中止ボタン１５２が選択された場合とでセーブデータ１１１として記憶する内容が異なるようにしてもよい。ステップＳ５１の後、ＣＰＵ１０は中断時処理を終了する。その後、ゲームシステム１は中断状態からメニュー状態へ遷移する。すなわち、ＣＰＵ１０はメニュー処理（図１６）を実行する。
【０２５９】
以上のように、本実施形態においては、ＣＰＵ１０は、アプリケーションの実行中において端末装置７に対して所定の操作（中断操作）が行われた場合、実行中のアプリケーションを終了する指示を表す終了指示画像（アプリ終了ボタン１５１）を含むサブ操作画像を生成する（ステップＳ４１）。そして、終了指示画像が指定されることによってアプリケーションを終了する指示が行われた場合、当該アプリケーションの実行を終了する（ステップＳ５０）。さらに、アプリケーションの実行が終了された場合、ＣＰＵ１０は、メイン操作画像を生成する。このように、本実施形態によれば、実行中のアプリケーションが終了されるとメイン操作画像（より具体的にはアプリ選択画像）が端末装置７に表示される。したがって、ユーザは、アプリケーションを終了した後、次に実行したいアプリケーションを容易に選択することができる。
【０２６０】
なお、本実施形態においては、アプリ中断処理においてアプリケーションが終了された場合、ゲームシステム１はメニュー状態へ遷移した。なお、他の実施形態においては、上記の場合、ゲームシステム１は第１テレビ操作状態またはブラウザ状態へ遷移してもよい。例えば、中断状態において所定の操作が行われたことに応じて、ゲームシステム１は第１テレビ操作状態またはブラウザ状態へ遷移することができるようにしてもよい。具体的には、ＣＰＵ１０は、上記設定画像およびリモコン画像において、テレビアイコン１２５および／またはブラウザアイコン１２６を表示するようにしてもよい。そして、テレビアイコン１２５を選択する操作が行われた場合、ＣＰＵ１０は、アプリケーションを終了して装置制御画像を端末装置７に表示する。これによって、ゲームシステム１は第１テレビ操作状態へ遷移する。また、ブラウザアイコン１２６を選択する操作が行われた場合、ＣＰＵ１０は、アプリケーションを終了してブラウザ画像を端末装置７に表示する。これによって、ゲームシステム１はブラウザ状態へ遷移する。以上によれば、ユーザは、中断状態から、開始状態の３つの状態のうちの所望の状態へゲームシステム１を遷移させることができる。また例えば、ＣＰＵ１０は、アプリケーションが終了された場合、上記３つの状態のうちから遷移すべき状態を所定の条件に応じて決定するようにしてもよい。具体的には、ＣＰＵ１０は、遷移すべき状態を上記初期状態としてもよい。
【０２６１】
ステップＳ５２において、ＣＰＵ１０は、実行が中断されていたアプリケーションを再開するか否かを判定する。すなわち、ＣＰＵ１０は、上記アプリケーションを再開する操作（中断状態からアプリ実行状態へと遷移させる操作）が行われたか否かを判定する。この操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるアプリ再開ボタン１５３をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるアプリ再開ボタン１５３がタッチされたか否かを判定する。上記ステップＳ５２の判定結果が肯定である場合、ＣＰＵ１０は中断時処理を終了し、アプリ実行処理を実行する。これによって、アプリケーションの実行が再開され、ゲームシステム１は中断状態からアプリ実行状態へ遷移する。一方、上記ステップＳ５２の判定結果が否定である場合、ステップＳ４２の処理が再度実行される。以降ステップＳ５０およびＳ５２のいずれかの判定における判定結果が肯定となるまで、中断時処理が繰り返し実行される。
【０２６２】
また、他の実施形態においては、第２テレビ操作状態からアプリ実行状態への遷移時に、（ゲーム装置３からの画像を表示するように）テレビ２の入力が切り替えられてもよい。すなわち、テレビ２が、ゲーム装置３から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能である場合において、ＣＰＵ１０は、端末装置７において表示される画像がリモコン画像からアプリケーションの実行によって生成される画像へと切り替えられることに応じて、テレビ２のモードを第１モードへ切り替える制御を行ってもよい。具体的には、ステップＳ５２の判定結果が肯定となる場合、ＣＰＵ１０は、ゲーム装置３からの画像を表示する第１モードとなるようにテレビ２に対して入力切替の制御を行うようにしてもよい。これによれば、第２テレビ操作状態からアプリ実行状態への遷移時にユーザはテレビ２の入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。また、他の実施形態においては、ＣＰＵ１０は、第２テレビ操作状態から設定画像状態への遷移時、メニュー状態への遷移時、ブラウザ状態への遷移時においても、上記の制御を行うようにしてもよい。なお、入力切替の制御は、上記ステップＳ２４における第１の方法で行われてもよいし第２の方法で行われてもよい。
【０２６３】
以上のように、本実施形態においては、ＣＰＵ１０は、アプリケーションの実行中において端末装置７に対して所定の操作（中断操作）が行われた場合、当該アプリケーションの実行を一時停止する。また、ＣＰＵ１０は、サブ操作画像が端末装置７に表示される状態（中断状態）において、アプリケーションの実行を再開する再開指示（アプリ再開ボタン１５３を選択する操作）があったか否かを端末操作データに基づいて判定する。そして、再開指示があった場合にはＣＰＵ１０はアプリケーションの実行を再開する。このように、本実施形態においては、実行中のアプリケーションが中断された場合、ユーザは再開指示によってアプリケーションを容易に再開することができる。
【０２６４】
以上のように本実施形態においては、ＣＰＵ１０は、アプリケーションの実行中において端末装置７に対して所定の操作（中断操作）が行われた場合、所定のサブ操作画像を生成する。そして、サブ操作画像が端末装置７の表示部に表示される状態（中断状態）において、制御指示があったか否かを端末操作データに基づいて判定する（ステップＳ４５）。したがって、本実施形態においては、ユーザは、端末装置７を用いてゲームシステム１のアプリケーションを利用している際、アプリケーションの利用を中断してテレビ２を操作することができる。これによれば、ユーザは、アプリケーションの実行を終了しなくてもテレビ２に対する操作を行うことができるので、ゲームシステム１においてテレビ２を用いる状態と、番組を表示するためのテレビ２を用いる状態との切り替え操作がより容易になる。例えば、ユーザは、アプリケーションの利用を一時中断してテレビ２の入力を切り替えてテレビ番組を視聴したり、テレビ番組の視聴を一時中断してアプリケーションを利用したりすることを、端末装置７を用いて容易に行うことができる。
【０２６５】
また、本実施形態においては、上述のブラウザ状態においても、リモコン画像が表示される。すなわち、ブラウザ処理（図２０）におけるステップＳ３２〜Ｓ３５の処理ループにおいては、ＣＰＵ１０は、リモコン画像を表示する操作が行われたか否か、具体的には、リモコン表示ボタン１４７を選択する（タッチする）操作が行われた否かを判定する。そして、判定結果が肯定である場合、ステップＳ４４と同様の処理が実行される。その結果、リモコン画像が端末装置７に表示される。なお、ブラウザ状態において表示されるリモコン画像においては、上記アプリ終了ボタン１５１およびアプリ中止ボタン１５２は含まれない。また、戻るボタン１６７が選択された場合には、ＣＰＵ１０はブラウザ画像を端末装置７に表示する。以上のように、本実施形態においては、ブラウザ状態においてもユーザはリモコン画像を表示させることができ、テレビ２を操作することができる。
【０２６６】
また、他の実施形態においては、開始状態における３種類の各状態から、サブ操作画像（設定画像およびリモコン画像）が表示される状態へと遷移可能としてもよい。すなわち、上記３種類の状態において所定の操作が行われた場合、ＣＰＵ１０は、上記中断時処理と同様の処理を実行するようにしてもよい。なお、このとき、設定画像およびリモコン画像においては、上記アプリ終了ボタン１５１およびアプリ中止ボタン１５２は含まれない。また、アプリ再開ボタン１５３に代えて、元の状態へと遷移する指示を表すボタンの画像が表示される。これによれば、開始状態においても上記サブ操作画像を容易に表示させることができるので、ユーザは、開始状態においてテレビ２に対する操作をより容易に行うことができる。
【０２６７】
なお、他の実施形態においては、上記中断状態において、端末装置７にリモコン画像が表示される他、テレビ２に番組表の画像を表示してもよい。すなわち、サブ操作画像が端末装置７に表示される状態において、ＣＰＵ１０は、テレビの番組表を含む画像を生成してテレビ２へ出力してもよい。なお、この番組表の画像は、上記テレビ処理と同様、ネットワーク９０を介して外部装置９１から取得されてもよい。また、番組表がテレビ２に表示されるタイミングは、どのようなタイミングであってもよい。例えば、番組表がテレビ２に表示されるタイミングは、中断時処理が開始される時点であってもよいし、リモコン画像が端末装置７に表示される時点であってもよいし、ユーザによって所定の表示指示が行われた時点であってもよい。
【０２６８】
（ゲームシステム１の終了時の動作）
なお、本実施形態においては、上述の情報処理（開始処理、メニュー処理、テレビ処理、ブラウザ処理、アプリ実行処理、および中断時処理）における任意のタイミングで、ユーザはゲームシステム１を終了することが可能である。すなわち、所定の終了操作（端末装置７の電源ボタン５４Ｍあるいはゲーム装置３の電源ボタン２４を押下する等）が行われると、ＣＰＵ１０は所定の終了処理を実行し、ゲーム装置３および端末装置７の電源がオフにされる。なお、終了処理には、その時点におけるゲームシステム１の状態（上記メニュー状態等）を表すデータをフラッシュメモリ１７に記憶する処理が含まれる。このデータによって、次回の起動時に初期状態を決定することができる。
【０２６９】
以上に説明した情報処理によれば、ユーザは、番組表の閲覧、ウェブページの閲覧、各種アプリケーションの利用等、種々の用途でゲームシステム１を利用することができる。また、端末装置７の画面を操作画面として用いることで、ゲームシステム１の利用中もテレビ番組を視聴する等、テレビ２を他の用途で利用することができるので、ゲームシステム１とテレビ２とを並行して利用することができる。これによって、ユーザは、ゲームシステム１の利用と（ゲームシステム１以外の用途での）テレビ２の利用との切り換えをスムーズに行うことができる。例えば、ユーザは、テレビ番組を視聴している合間にゲームシステム１を利用したり、ゲームシステム１を利用している合間にテレビ番組を視聴したりするといった利用態様を、よりスムーズに行うことができる。さらに、ゲームシステム１およびテレビ２のいずれに対する操作も端末装置７で行うことができるので、ゲームシステム１を利用する状態と、（ゲームシステム１以外の用途で）テレビを利用する状態との間の切り替え操作を容易に行うことができる。
【０２７０】
［７．変形例］
上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。
【０２７１】
（開始状態に関する変形例）
上記実施形態においては、開始状態には３種類の状態が含まれるものとし、各状態において端末装置７に表示される画像が異なるものとした。ここで、他の実施形態においては、開始状態に含まれる状態はいくつであってもよい。また、開始状態に含まれる各状態においては、端末装置７に表示される画像が異なっていてもよいし、同じであってもよい。例えば、上記各状態においては、端末装置７に表示される画像が同じで、各状態において可能な操作が異なっていてもよい。
【０２７２】
（ゲームシステム１において用いられる所定の表示装置に関する変形例）
上記実施形態においては、ゲームシステム１において用いられる所定の表示装置として、テレビ放送を受信して番組を表示することが可能なテレビ２を例として説明した。ここで、所定の表示装置は、テレビ２に限らず、複数の入力を有し、画像を表示することが可能な装置であればどのようなものであってもよい。例えば、所定の表示装置は、（ゲーム装置３とは別の）パーソナルコンピュータのモニタとして用いられる表示装置であってもよいし、録画再生機器のモニタとして用いられる表示装置でもよい。
【０２７３】
（ゲームシステム１の構成に関する変形例）
上記実施形態においては、ゲームシステム１は、ゲーム装置３と、表示部（ＬＣＤ５１）を備える端末装置７と、コントローラ５と、テレビ２とを備える構成であった。ここで、ゲームシステムは、ゲーム装置と操作装置とを含み、操作装置の表示部および所定の表示装置に画像を表示させることができる構成であればよい。例えば、ゲームシステムは、コントローラ５や所定の表示装置（テレビ２）を含まない形態で提供されてもよい。
【０２７４】
また、上記実施形態においては、ゲームプログラムを実行可能なゲーム装置を含むゲームシステムを例として説明したが、本発明は、任意のアプリケーションを実行する任意の情報処理システムおよび情報処理装置に適用することができる。すなわち、上記実施形態においては、ゲーム装置が実行可能な１以上のアプリケーションのうちにゲームアプリケーションが含まれたが、ゲームアプリケーションは含まれていなくてもよい。
【０２７５】
（ゲーム処理を実行する情報処理装置に関する変形例）
上記実施形態においては、ゲームシステム１において実行される一連の情報処理をゲーム装置３が実行したが、情報処理の一部は他の装置によって実行されてもよい。例えば、他の実施形態においては、情報処理の一部（例えば、端末用画像の生成処理やアプリケーションの実行処理）を端末装置７が実行するようにしてもよい。また、他の実施形態では、互いに通信可能な複数の情報処理装置を有する入力システムにおいて、当該複数の情報処理装置が情報処理を分担して実行するようにしてもよい。すなわち、ゲームシステムは、ゲーム装置と操作装置とを含み、（ａ）操作装置に対する操作を表す操作データを取得する取得部と、（ｂ）ゲーム装置の起動後の開始状態において、操作装置の表示部に表示するための所定の第１操作画像を生成する第１操作画像生成部と、（ｃ）第１操作画像を操作装置へ出力する操作画像出力部と、（ｄ）開始状態において、ゲームアプリケーションを含み、ゲーム装置が実行可能な１以上のアプリケーションのうちから１つを選択する選択指示があったか否か、および、操作装置とは別体の所定の表示装置に対する制御を行う制御指示があったか否かを操作データに基づいて判定する指示判定部と、（ｅ）選択指示があった場合、選択されたアプリケーションを実行し、アプリケーションの実行によって生成された画像を操作装置および所定の表示装置の少なくとも一方へ出力するアプリケーション実行部と、（ｆ）制御指示があった場合、当該制御指示に応じた制御を所定の表示装置に対して行う装置制御部とを備えていてもよい。このとき、１つの装置が上記（ａ）〜（ｆ）の各部を備える構成であってもよいし、複数の装置が上記（ａ）〜（ｆ）の各部を備える構成であってもよい。
【０２７６】
なお、複数の情報処理装置において上記の情報処理が実行される場合には、各情報処理装置で実行される処理を同期させる必要があり、情報処理が複雑になってしまう。これに対して、上記実施形態のように、情報処理が１つのゲーム装置３によって実行され、端末装置７が画像を受信して表示する処理を行う場合（つまり、端末装置７がシンクライアント端末として機能する場合）には、複数の情報処理装置間で情報処理の同期をとる必要がなく、情報処理を簡易化することができる。
【０２７７】
上記のように、本明細書で説明した種々のシステム、方法、および技術は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、またはこれら要素の組み合わせによって提供されてもよい。上記の技術を実現するための装置は、プログラム可能なプロセッサによる実行のためのコンピュータ読み取り可能な非一時的な記憶装置において実体的に具体化されるコンピュータプログラムプロダクト、入出力装置、およびコンピュータプロセッサを含んでもよい。上記技術を実現するための処理は、入力データを処理して所望の出力を生成することによって、要求される機能を実行するためのプログラムを実行する、プログラム可能なプロセッサによって実行されてもよい。上記の技術は、入力装置、出力装置、および情報記憶装置といったハードウェア資源との間でデータや指示のやり取りを行うプログラム可能なプロセッサを含むコンピュータシステム上で実行可能な１以上のコンピュータプログラムによって実現されてもよい。また、各コンピュータプログラムは、手続型やオブジェクト指向型の高水準プログラミング言語、アセンブリ言語、または、機械語によって実現されてもよく、必要に応じてコンパイルまたはインタプリタされて実行されてもよい。また、上記のプロセッサは、汎用または専用のマイクロプロセッサであってもよい。プロセッサは、一般的に、ＲＯＭまたはＲＡＭからデータおよび指示を受け取る。また、上記の記憶装置は、（ａ）ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリのような半導体メモリ装置を含む不揮発性のメモリ、（ｂ）内部ハードディスクあるいは着脱可能な外部ディスクのような磁気ディスク、（ｃ）光磁気ディスク、（ｄ）ＣＤＲＯＭ、に限定されず、あらゆる種類のコンピュータメモリを含む。上記のプロセッサや記憶装置は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって補充される、あるいは、ＡＳＩＣに組み込まれる形で実現されてもよい。
【０２７８】
また、本明細書に記載の処理システム（回路）は、本明細書において記載された内容に応じたゲーム処理のような制御処理のためにプログラムされる。上記の内容に応じた指示を実行する少なくとも１つのＣＰＵを含む処理システムが、上記の内容によって定義される処理動作を実行するための「プログラムされた論理回路」として作用するものであってもよい。
【産業上の利用可能性】
【０２７９】
以上のように、本発明は、ゲームシステムにおけるアプリケーションの実行中において、テレビ等の表示装置に対する操作を容易に行うこと等を目的として、ゲームシステムやゲーム装置や情報処理プログラムとして利用することが可能である。
【符号の説明】
【０２８０】
１ ゲームシステム
２ テレビ
３ ゲーム装置
４ 光ディスク
７ 端末装置
１０ ＣＰＵ
１１ｅ 内部メインメモリ
１２ 外部メインメモリ
５１ ＬＣＤ
５２ タッチパネル
５４ 操作ボタン
１２２ アプリアイコン
１２４ メニューアイコン
１２５ テレビアイコン
１２６ ブラウザアイコン
１３３ 選局指示ボタン
１５１ アプリ終了ボタン
１５３ アプリ再開ボタン
１５４ リモコン表示ボタン
１６１ 電源ボタン
１６２ 入力切替ボタン
１６３ 音量増加ボタン
１６４ 音量減少ボタン
１６５ チャンネル増加ボタン
１６６ チャンネル減少ボタン
【技術分野】
【０００１】
本発明は、テレビ等の表示装置を用いるゲームシステム、情報処理方法、ゲーム装置、および情報処理プログラムに関する。
【背景技術】
【０００２】
従来、テレビを表示装置として用いるゲームシステムがあり、また、このようなゲームシステムにおいて、ゲーム以外にも種々のアプリケーションを実行することが考えられている。例えば、特許文献１に記載のゲームシステムにおいては、ゲーム装置がゲームプログラムを実行する他に、テレビの番組表をテレビに表示するアプリケーションを実行することが記載されている（特許文献１の図１０参照）。このように、ゲームシステムをゲーム用途以外にも様々な用途で利用することが考えられている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２００５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、ゲームシステムにおいて表示装置としても用いられるテレビは、ゲームシステムによる画像（ゲーム画像や上記番組表の画像等）を表示する用途の他、ゲームシステム以外の用途（テレビ放送の映像を表示する用途）でも用いられる。また、上記のようにゲームシステムを様々な用途で利用する場合には、ゲームシステム自体を利用する機会が増えるので、ユーザがテレビを見ている際にゲームシステムを使用する（例えば、ゲームシステムを用いて上記の番組表を見る）ことも十分考えられる。しかし、従来では、ゲームシステムにおいてテレビを用いる状態と、ゲームシステム以外の用途でテレビを用いる状態とを切り替える際の操作性に課題があった。
【０００５】
すなわち、上記特許文献１に記載のゲームシステムにおいては、アプリケーションの実行中においてはテレビに対する操作を行うことができない。したがって、テレビの番組表を表示するアプリケーションの実行中において、番組表にある所望の番組を見ようとする場合には、ユーザは、ゲームシステムの操作装置とは別にテレビのリモコンを手にとって入力の切り替え操作やチャンネルの変更操作を行わなければならない。このように、従来においては、アプリケーションの実行中において表示装置（テレビ等）に対する操作を行うことは、ユーザにとって煩雑で面倒であった。
【０００６】
それ故、本発明の目的は、アプリケーションの実行中において、テレビ等の表示装置に対する操作を容易に行うことができるゲームシステム、情報処理方法、ゲーム装置、および情報処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために、以下の（１）〜（１２）の構成を採用した。
【０００８】
（１）
本発明の一例は、ゲーム装置と操作装置とを含むゲームシステムである。
操作装置は、操作部と、受信部と、表示部とを備える。操作部は、操作装置に対する操作を表す操作データを出力する。受信部は、ゲーム装置から出力される画像を受信する。表示部は、受信された画像を表示する。
ゲーム装置は、取得部と、アプリケーション実行部と、操作画像生成部と、指示判定部と、装置制御部とを備える。取得部は、操作データを取得する。アプリケーション実行部は、アプリケーションを実行し、実行によって生成された画像を、操作装置と操作装置とは別体の所定の表示装置との少なくとも一方へ出力する。操作画像生成部は、アプリケーションの実行中において操作装置に対して所定の操作が行われた場合、所定の操作画像を生成して操作装置へ出力する。指示判定部は、操作画像が表示部に表示される状態において、所定の表示装置に対する制御を行う制御指示があったか否かを操作データに基づいて判定する。装置制御部は、制御指示があった場合、当該制御指示に応じた制御を所定の表示装置に対して行う。
【０００９】
上記（１）の構成によれば、アプリケーションの実行中において操作装置に対して所定の操作が行われた場合、操作画像が操作装置の画面に表示される。そして、操作画像が表示される状態において、所定の表示装置に対する制御指示があった場合、当該制御指示に応じた制御が所定の表示装置に対して行われる。したがって、上記（１）の構成によれば、ゲームシステムにおいてアプリケーションを用いている際に、アプリケーションの実行を終了しなくても、所定の表示装置に対する操作を行うことができる。また、ユーザは、上記所定の操作と制御指示とを１つの操作装置で行うことができるので、アプリケーションの実行中においても表示装置に対する操作を容易に行うことができる。例えば、ユーザは、アプリケーションの実行途中でテレビ番組を視聴したり、その後アプリケーションを再開したりする操作を、操作装置を用いて容易に行うことができる。
【００１０】
なお、ゲーム装置は、アプリケーション選択用画像を生成して操作装置へ出力する第１画像生成部を備えていてもよい。アプリケーション選択用画像は、ゲーム装置が実行可能なアプリケーションを表す画像を含む。このとき、アプリケーション実行部は、アプリケーション選択用画像が表示される状態において、実行すべきアプリケーションが選択された場合、選択されたアプリケーションを実行する。
【００１１】
（２）
指示判定部は、操作画像が表示部に表示される状態において、実行中のアプリケーションを終了する終了指示があったか否かを操作データに基づいて判定してもよい。このとき、アプリケーション実行部は、終了指示があった場合にアプリケーションの実行を終了する。
【００１２】
上記（２）の構成によれば、操作画像が表示される状態において、終了指示があった場合には、アプリケーションの実行が終了される。したがって、ユーザは、操作画像が表示される状態において、表示装置に対する操作を行うとともに、アプリケーションを終了させる操作を行うこともできる。
【００１３】
（３）
アプリケーション実行部は、アプリケーションの実行中において操作装置に対して所定の操作が行われた場合、当該アプリケーションの実行を一時停止してもよい。このとき、指示判定部は、操作画像が表示部に表示される状態において、アプリケーションの実行を再開する再開指示があったか否かを操作データに基づいて判定する。アプリケーション実行部は、再開指示があった場合にアプリケーションの実行を再開する。
【００１４】
上記（３）の構成によれば、操作画像が表示される状態において、再開指示があった場合には、アプリケーションの実行が再開される。したがって、ユーザは、操作画像が表示される状態において表示装置に対する操作を行った後、アプリケーションを容易に再開することができる。これによれば、例えば、アプリケーションの利用中に少しテレビを視聴し、その後アプリケーションの利用を再開する場合における一連の操作を、操作装置を用いて容易に行うことができる。
【００１５】
（４）
所定の表示装置は、テレビ放送を受信して番組を表示することが可能であってもよい。このとき、操作画像生成部は、操作画像が表示部に表示される場合、テレビの番組表を含む画像を生成して所定の表示装置へ出力する。
【００１６】
上記（４）の構成によれば、操作画像が操作装置に表示される場合、テレビの番組表が所定の表示装置に表示される。これによれば、ユーザは、番組表を見ながらテレビ（所定の表示装置）に対する操作を行うことができ、テレビに対する選局操作等をより容易に行うことができる。
【００１７】
（５）
操作画像生成部は、操作画像として、制御指示を表す制御指示画像を含む操作画像を生成してもよい。このとき、指示判定部は、制御指示画像が選択された場合に制御指示があったと判定する。
【００１８】
上記（５）の構成によれば、操作画像として、制御指示を表す制御指示画像が操作装置に表示される。これによれば、ユーザは、制御指示をより容易に行うことができる。
【００１９】
（６）
所定の表示装置は、テレビ放送を受信して番組を表示することが可能であってもよい。このとき、操作画像生成部は、操作画像として、テレビの番組表を含む画像を生成して操作装置へ出力する。
【００２０】
上記（６）の構成によれば、操作画像としてテレビの番組表が操作装置に表示される。これによれば、ユーザは、番組表を見ながらテレビ（所定の表示装置）に対する操作を行うことができ、テレビに対する選局操作等をより容易に行うことができる。
【００２１】
（７）
所定の表示装置は、ゲーム装置から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能であってもよい。このとき、装置制御部は、操作装置に操作画像が表示されることに応じて、所定の表示装置のモードを第２モードへ切り替える制御を行う。
【００２２】
上記（７）の構成によれば、操作画像へと表示が切り替わる際に、ユーザは所定の表示装置に対する入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。
【００２３】
（８）
所定の表示装置は、ゲーム装置から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能であってもよい。装置制御部は、操作装置において表示される画像が操作画像からアプリケーションの実行によって生成される画像へと切り替えられることに応じて、所定の表示装置のモードを第１モードへ切り替える制御を行う。
【００２４】
上記（８）の構成によれば、操作画像からアプリケーションの画像へと表示が切り替わる際にユーザは所定の表示装置に対する入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。
【００２５】
（９）
操作装置は、所定の表示装置を制御するための制御信号を出力する制御信号出力部をさらに備えていてもよい。このとき、装置制御部は、制御指示に応じた制御内容を示す制御信号を制御信号出力部に送信させる指示を操作装置に対して行う。
【００２６】
上記（９）の構成によれば、ゲーム装置から操作装置を介して所定の表示装置を容易に制御することができる。
【００２７】
（１０）
制御信号出力部は、制御信号として赤外線信号を出力してもよい。このとき、所定の表示装置は、赤外線信号を受光可能な赤外線受光部を備える。
【００２８】
上記（１０）の構成によれば、操作装置は赤外線信号によって所定の表示装置を制御することができる。なお、一般的なテレビ（後述する実施形態におけるテレビ２）は、赤外線信号を受光して赤外線信号によって指定される動作を行う機能を有している。そのため、上記（１０）の構成によれば、所定の表示装置としてテレビを利用することができ、汎用性の高いゲームシステムを提供することができる。
【００２９】
（１１）
装置制御部は、制御指示に応じた制御内容を示す制御信号を所定の表示装置へ出力してもよい。
【００３０】
上記（１１）の構成によれば、情報処理装置は、制御指令を送信することによって所定の表示装置を容易に制御することができる。上記（１２）の構成によれば、例えばＨＤＭＩ規格に則ったテレビを所定の表示装置として利用することができ、汎用性の高いゲームシステムを提供することができる。
【００３１】
（１２）
操作装置は、表示部の画面上に設けられるタッチパネルをさらに備えていてもよい。このとき、操作画像生成部は、操作画像として、制御指示を表す制御指示画像を含む画像を生成する。指示判定部は、タッチパネルにおいて制御指示画像が選択された場合に制御指示があったと判定する。
【００３２】
上記（１２）の構成によれば、ユーザはタッチパネルを用いて制御指示を行うことができる。これによれば、ユーザはタッチパネルを用いた容易かつ直感的な操作で指示を行うことができる。
【００３３】
なお、本発明の別の一例は、上記（１）〜（１２）のゲームシステムに含まれる上記ゲーム装置であってもよいし、上記ゲーム装置における各部（上記取得部および操作画像出力部が含まれなくてもよい）と同等の手段としてゲーム装置のコンピュータを機能させるゲームプログラム（情報処理プログラム）であってもよい。さらに、本発明の別の一例は、上記（１）〜（１２）のゲームシステムまたはゲーム装置において行われる情報処理方法の形態であってもよい。
【発明の効果】
【００３４】
本発明によれば、アプリケーションの実行中において操作装置に対して所定の操作が行われたことに応じて操作画像が操作装置の画面に表示され、操作画像が表示される状態において、制御指示による所定の表示装置に対する制御を可能とする。これによって、ゲームシステムにおいてアプリケーションを用いている際に、アプリケーションの実行を終了しなくても、所定の表示装置に対する操作を行うことができる。
【図面の簡単な説明】
【００３５】
【図１】ゲームシステム１の外観図
【図２】ゲーム装置３の内部構成を示すブロック図
【図３】コントローラ５の外観構成を示す斜視図
【図４】コントローラ５の外観構成を示す斜視図
【図５】コントローラ５の内部構造を示す図
【図６】コントローラ５の内部構造を示す図
【図７】コントローラ５の構成を示すブロック図
【図８】端末装置７の外観構成を示す図
【図９】端末装置７の外観構成を示す図
【図１０】ユーザが端末装置７を横向きで把持した様子を示す図
【図１１】端末装置７の内部構成を示すブロック図
【図１２】ゲームシステム１と外部装置との接続関係と示すブロック図
【図１３】ゲームシステム１における動作状態の遷移を表す状態遷移図
【図１４】ゲーム装置３のメインメモリにおける記憶領域を示す図
【図１５】ゲーム装置３で実行される開始処理の流れを示すフローチャート
【図１６】ゲーム装置３で実行されるメニュー処理の流れを示すフローチャート
【図１７】端末装置７に表示されるアプリケーション選択画像の一例を示す図
【図１８】ゲーム装置３で実行されるテレビ処理の流れを示すフローチャート
【図１９】端末装置７に表示される装置制御画像の一例を示す図
【図２０】ゲーム装置３で実行されるブラウザ処理の流れを示すフローチャート
【図２１】端末装置７に表示されるブラウザ画像の一例を示す図
【図２２】ゲーム装置３で実行されるアプリ中断処理の流れを示すフローチャート
【図２３】端末装置７に表示される設定画像の一例を示す図
【図２４】端末装置７に表示されるリモコン画像の一例を示す図
【発明を実施するための形態】
【００３６】
［１．ゲームシステムの全体構成］
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５および端末装置７を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。
【００３７】
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
【００３８】
ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
【００３９】
テレビ２の画面の周辺（図１では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の動きや位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６は有線で（無線であってもよい）ゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図１ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。
【００４０】
コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、図１では、ゲームシステム１に含まれるコントローラ５は１つとするが、ゲームシステム１は複数のコントローラ５を含んでいてもよい。つまり、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。コントローラ５の詳細な構成については後述する。
【００４１】
端末装置７は、可搬型であり、ユーザが把持可能な程度の大きさである。ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ７４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３で生成された画像（例えばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
【００４２】
［２．ゲーム装置３の内部構成］
次に、図２を参照して、ゲーム装置３の内部構成について説明する。図２は、ゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
【００４３】
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。
【００４４】
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１ｂ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
【００４５】
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、本実施形態においては、ゲーム装置３は、テレビ２に表示する画像（ゲーム画像）と、端末装置７に表示する画像（ゲーム画像）との両方を生成する。以下では、テレビ２に表示される画像を「テレビ用画像」と呼び、端末装置７に表示される画像を「端末用画像」と呼ぶことがある。
【００４６】
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、音声（ゲーム音声）についてもゲーム画像と同様、テレビ２のスピーカから出力する音声と、端末装置７のスピーカから出力する音声との両方が生成される。以下では、テレビ２から出力される音声を「テレビ用音声」と呼び、端末装置７から出力される音声を「端末用音声」と呼ぶことがある。
【００４７】
上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２へ出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａへ出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。なお、ゲーム装置３とテレビ２との接続は、どのような方式で行われてもよいが、ゲーム装置３は、テレビ２を制御する制御指令を有線または無線でテレビ２へ送信するようにしてもよい。例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格に則ったＨＤＭＩケーブルが用いられてもよい。ＨＤＭＩ規格では、ＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）と呼ばれる機能によって、接続相手の機器を制御することが可能である。したがって、ＨＤＭＩケーブルが用いられる場合のように、ゲーム装置３がテレビ２に対する制御が可能である場合には、ゲーム装置３は、適宜のタイミングでテレビ２の電源をオンにしたり、テレビ２の入力を切り替えたりすることができる。
【００４８】
また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。
【００４９】
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
【００５０】
ゲーム装置３は、インターネット等のネットワークに接続して外部の情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続可能であり、ネットワークに接続される他の情報処理装置と通信を行うことができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
【００５１】
また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００５２】
また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、本実施形態では、ゲーム装置３から端末装置７へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
【００５３】
また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。
【００５４】
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置７へ送信する。制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１１に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１１に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを端末装置７へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
【００５５】
また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａへ出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａへ出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００５６】
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
【００５７】
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【００５８】
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。
【００５９】
［３．コントローラ５の構成］
次に、図３〜図７を参照して、コントローラ５について説明する。図３は、コントローラ５の外観構成を示す斜視図である。図４は、コントローラ５の外観構成を示す斜視図である。図３は、コントローラ５の上側後方から見た斜視図であり、図４は、コントローラ５を下側前方から見た斜視図である。
【００６０】
図３および図４において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。
【００６１】
ハウジング３１には、複数の操作ボタンが設けられる。図３に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ〜３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図４に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ〜３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。ホームボタン３２ｆおよび電源ボタン３２ｈは、その上面がハウジング３１の上面に埋没している。これによって、ユーザがホームボタン３２ｆまたは電源ボタン３２ｈを誤って押下することを防止することができる。
【００６２】
ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、コントローラ５に他の機器（例えば、他のセンサユニットやコントローラ）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。
【００６３】
ハウジング３１上面の後方には複数（図３では４つ）のＬＥＤ３４ａ〜３４ｄが設けられる。ここで、コントローラ５には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ〜３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いてゲーム操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ〜３４ｄのいずれか１つが点灯する。
【００６４】
また、コントローラ５は撮像情報演算部３５（図６）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。
【００６５】
ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、コントローラ５に内蔵されるスピーカ４７（図５）からの音を外部に放出するための音抜き孔３１ａが形成されている。
【００６６】
次に、図５および図６を参照して、コントローラ５の内部構造について説明する。図５および図６は、コントローラ５の内部構造を示す図である。なお、図５は、コントローラ５の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６は、コントローラ５の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６に示す斜視図は、図５に示す基板３０を裏面から見た斜視図となっている。
【００６７】
図５において、ハウジング３１の内部には基板３０が固設されており、当該基板３０の上主面上に各操作ボタン３２ａ〜３２ｈ、各ＬＥＤ３４ａ〜３４ｄ、加速度センサ３７、アンテナ４５、およびスピーカ４７等が設けられる。これらは、基板３０等に形成された配線（図示せず）によってマイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）４２（図６参照）に接続される。本実施形態では、加速度センサ３７は、Ｘ軸方向に関してコントローラ５の中心からずれた位置に配置されている。これによって、コントローラ５をＺ軸回りに回転させたときのコントローラ５の動きが算出しやすくなる。また、加速度センサ３７は、長手方向（Ｚ軸方向）に関してコントローラ５の中心よりも前方に配置されている。また、無線モジュール４４（図６）およびアンテナ４５によって、コントローラ５がワイヤレスコントローラとして機能する。
【００６８】
一方、図６において、基板３０の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ５の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を備えている。これらの部材３８〜４１はそれぞれ基板３０の下主面に取り付けられる。
【００６９】
さらに、基板３０の下主面上には、上記マイコン４２およびバイブレータ４６が設けられている。バイブレータ４６は、例えば振動モータやソレノイドであり、基板３０等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータ４６が作動することによってコントローラ５に振動が発生する。これによって、コントローラ５を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。本実施形態では、バイブレータ４６は、ハウジング３１のやや前方寄りに配置される。つまり、バイブレータ４６がコントローラ５の中心よりも端側に配置することによって、バイブレータ４６の振動によりコントローラ５全体を大きく振動させることができる。また、コネクタ３３は、基板３０の下主面上の後端縁に取り付けられる。なお、図５および図６に示す他、コントローラ５は、マイコン４２の基本クロックを生成する水晶振動子、スピーカ４７に音声信号を出力するアンプ等を備えている。
【００７０】
なお、図３〜図６に示したコントローラ５の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、本実施形態では、撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。
【００７１】
図７は、コントローラ５の構成を示すブロック図である。コントローラ５は、操作部３２（各操作ボタン３２ａ〜３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。
【００７２】
操作部３２は、上述した各操作ボタン３２ａ〜３２ｉを含み、各操作ボタン３２ａ〜３２ｉに対する入力状態（各操作ボタン３２ａ〜３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。
【００７３】
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ５の動きでも追跡して解析することができる。
【００７４】
撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。
【００７５】
なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。
【００７６】
加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。例えば、２軸以上の多軸加速度センサの場合には、加速度センサの検出部に加わっている加速度として、各軸に沿った成分の加速度をそれぞれ検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。
【００７７】
本実施形態では、加速度センサ３７は、コントローラ５を基準とした上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。加速度センサ３７は、各軸に沿った直線方向に関する加速度を検出するものであるため、加速度センサ３７からの出力は３軸それぞれの直線加速度の値を表すものとなる。すなわち、検出された加速度は、コントローラ５を基準に設定されるＸＹＺ座標系（コントローラ座標系）における３次元のベクトルとして表される。
【００７８】
加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や移動に対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや移動を算出することができる。本実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。
【００７９】
なお、加速度センサ３７（後述する加速度センサ７３についても同様）から出力される加速度の信号に基づいて、ゲーム装置３のプロセッサ（例えばＣＰＵ１０）またはコントローラ５のプロセッサ（例えばマイコン４２）等のコンピュータが処理を行うことによって、コントローラ５に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサ３７を搭載するコントローラ５が静止状態であることを前提としてコンピュータ側の処理が実行される場合（すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理が実行される場合）、コントローラ５が現実に静止状態であれば、検出された加速度に基づいてコントローラ５の姿勢が重力方向に対して傾いているか否かまたはどの程度傾いているかを知ることができる。具体的には、加速度センサ３７の検出軸が鉛直下方向を向いている状態を基準としたとき、１Ｇ（重力加速度）がかかっているか否かによって、コントローラ５が基準に対して傾いているか否かを知ることができるし、その大きさによって基準に対してどの程度傾いているかも知ることができる。また、多軸の加速度センサ３７の場合には、さらに各軸の加速度の信号に対して処理を施すことによって、重力方向に対してコントローラ５がどの程度傾いているかをより詳細に知ることができる。この場合において、プロセッサは、加速度センサ３７からの出力に基づいてコントローラ５の傾斜角度を算出してもよいし、当該傾斜角度を算出せずに、コントローラ５の傾斜方向を算出するようにしてもよい。このように、加速度センサ３７をプロセッサと組み合わせて用いることによって、コントローラ５の傾斜角度または姿勢を判定することができる。
【００８０】
一方、コントローラ５が動的な状態（コントローラ５が動かされている状態）であることを前提とする場合には、加速度センサ３７は重力加速度に加えてコントローラ５の移動に応じた加速度を検出するので、検出された加速度から重力加速度の成分を所定の処理により除去することによってコントローラ５の移動方向を知ることができる。また、コントローラ５が動的な状態であることを前提とする場合であっても、検出された加速度から、加速度センサの移動に応じた加速度の成分を所定の処理により除去することによって、重力方向に対するコントローラ５の傾きを知ることが可能である。なお、他の実施例では、加速度センサ３７は、内蔵の加速度検出手段で検出された加速度信号をマイコン４２へ出力する前に当該加速度信号に対して所定の処理を行うための、組込み式の処理装置または他の種類の専用の処理装置を備えていてもよい。組込み式または専用の処理装置は、例えば、加速度センサ３７が静的な加速度（例えば、重力加速度）を検出するために用いられる場合、加速度信号を傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。
【００８１】
ジャイロセンサ４８は、３軸（本実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。例えば、ジャイロセンサ４８は、３軸ジャイロセンサであってもよいし、２軸ジャイロセンサと１軸ジャイロセンサとを組み合わせて３軸周りの角速度を検出するものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。
【００８２】
通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。
【００８３】
操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。これらのデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ５から送信される。微弱電波信号はゲーム装置３側のコントローラ通信モジュール１９で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行うことが好ましい。コントローラ５の通信部３６は、例えば１／２００秒に１回の割合で操作データをゲーム装置３のコントローラ通信モジュール１９へ出力する。
【００８４】
以上のように、コントローラ５は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下する従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、コントローラ５を任意の姿勢に傾ける操作、コントローラ５によって画面上の任意の位置を指示する操作、および、コントローラ５自体を動かす操作等を行うことが可能となる。
【００８５】
また、本実施形態において、コントローラ５は、ゲーム画像を表示する表示手段を有しないが、例えば電池残量を表す画像等を表示するための表示手段を有していてもよい。
【００８６】
［４．端末装置７の構成］
次に、図８〜図１１を参照して、端末装置７の構成について説明する。図８は、端末装置７の外観構成を示す平面図である。図８における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。図９は、端末装置７の背面図である。また、図１０は、ユーザが端末装置７を横向きで把持した様子を示す図である。
【００８７】
図８に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。すなわち、端末装置７は、タブレット型の情報処理装置であるということもできる。なお、ハウジング５０は全体として板状形状であれば、曲面を有していてもよいし、一部に突起等を有していてもよい。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。端末装置７の縦（ｚ軸方向）の長さは、１００〜１５０［ｍｍ］が好ましく、本実施形態では、１３３．５［ｍｍ］である。端末装置７の横（ｘ軸方向）の長さは、２００〜２５０［ｍｍ］が好ましく、本実施形態では、２２８．２６［ｍｍ］である。端末装置７の厚さ（ｙ軸方向の長さ）は、板状の部分で１５〜３０［ｍｍ］程度、最厚部まで含めて３０〜５０［ｍｍ］程度が好ましく、本実施形態では、２３．６（最厚部は４０．２６）［ｍｍ］である。また、端末装置７の重量は、４００〜６００［ｇ］程度であって、本実施形態においては、５３０［ｇ］である。詳細は後述するが、端末装置７は、上記のような比較的大型の端末装置（操作装置）であっても、ユーザが持ちやすく操作しやすい構成となっている。
【００８８】
端末装置７は、ハウジング５０の表面（表側）にＬＣＤ５１を有する。なお、ＬＣＤ５１の画面の大きさは５インチ以上であることが好ましく、ここでは６．２インチである。本実施形態の端末装置７は、持ちやすく操作しやすい構成によって、大きなＬＣＤを設けても操作がしやすいものとなっている。なお、別の実施形態においては、より小さいＬＣＤ５１を設け、端末装置７の大きさを比較的小さいものとするようにしてもよい。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図１０に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置７を持って動かすことができる。なお、図１０ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つ例を示しているが、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。
【００８９】
図８の（ａ）図に示すように、端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本実施形態では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペン６０を用いて行われるが、タッチペン６０に限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペン６０を収納する収納穴６０ａが設けられている（図８（ｂ）参照）。なお、ここでは、タッチペン６０が落ちないように、収納穴６０ａはハウジング５０の上面に設けられるが、側面や下面に設けられてもよい。このように、端末装置７はタッチパネル５２を備えるので、ユーザは、端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
【００９０】
図８に示すように、端末装置７は、操作手段（操作部）として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン（キー）５４Ａ〜５４Ｍとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示することが可能なデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作される可動部材（スティック部）がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライドすることができるように構成されている。すなわち、スライドパッドと呼ばれることもある方向入力デバイスである。なお、各アナログスティック５３Ａおよび５３Ｂの可動部材は、ハウジング５０の表面に対して任意の方向に傾倒する種類のものでもよい。本実施形態では、可動部材がスライドする種類のアナログスティックを用いるので、ユーザは親指を大きく動かさなくても各アナログスティック５３Ａおよび５３Ｂを操作することができ、ハウジング５０をよりしっかりと把持した状態で操作を行うことができる。なお、各アナログスティック５３Ａおよび５３Ｂとして、可動部材が傾倒する種類のものを用いる場合には、入力の程度（傾きの程度）がユーザにとってわかりやすく、詳細な操作をより容易に行うことができる。
【００９１】
また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図１０に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置７の左右部分（ＬＣＤ５１の左右両側の部分）を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置７を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。
【００９２】
各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作手段（操作部）であり、押下可能なキーである。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる（図１０参照）。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
【００９３】
図８の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈおよび５４Ｍとが設けられる。つまり、これらのボタン５４Ａ〜５４Ｈおよび５４Ｍは、ユーザの親指で操作可能な位置に配置されている（図１０参照）。
【００９４】
十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、少なくとも上下左右の方向を指示することが可能なボタンである。
【００９５】
また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、端末装置７は、端末装置７の電源をオン／オフするための電源ボタン５４Ｍを有している。電源ボタン５４Ｍの操作により、ゲーム装置３の電源を遠隔でオン／オフすることも可能である。電源ボタン５４Ｍは、ボタン５４Ｂ〜５４Ｄと同様、ＬＣＤ５１の下側に設けられる。電源ボタン５４Ｍは、ボタン５４Ｂ〜５４Ｄの右側に設けられる。したがって、電源ボタン５４Ｍは、右手で操作可能な（操作しやすい）位置に配置されている。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ〜５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。
【００９６】
なお、本実施形態においては、各アナログスティック５３Ａおよび５３Ｂは、十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも上側に配置される。ここで、各アナログスティック５３Ａおよび５３Ｂは、十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも厚さ方向（ｙ軸方向）に関して突出している。そのため、仮にアナログスティック５３Ａと十字ボタン５４Ａとの配置を逆にした場合には、ユーザが十字ボタン５４Ａを親指で操作する際にアナログスティック５３Ａに親指が当たってしまい、操作を誤ってしまうおそれがある。なお、アナログスティック５３Ｂと各ボタン５４Ｅ〜５４Ｈとの配置を逆にする場合も同様の問題が生じる。これに対して、本実施形態では、各アナログスティック５３Ａおよび５３Ｂを十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも上側に配置するので、ユーザがアナログスティック５３Ａおよび５３Ｂを操作する際に十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈに指が当たってしまう可能性は上記の場合に比べて低くなる。このように、本実施形態においては、誤操作の可能性を低減することができ、端末装置７の操作性を向上することができる。ただし、別の実施形態においては、必要に応じてアナログスティック５３Ａが十字ボタン５４Ａと逆の配置であってもよいし、アナログスティック５３Ｂが各ボタン５４Ｅ〜５４Ｈと逆の配置であってもよい。
【００９７】
ここで、本実施形態では、いくつかの操作部（各アナログスティック５３Ａおよび５３Ｂ、十字ボタン５４Ａ、ならびに、３つのボタン５４Ｅ〜５４Ｇ）は、表示部（ＬＣＤ５１）の左右両側において、ハウジング５０における上下方向（ｙ軸方向）の中心よりも上側に設けられる。これらの操作部を操作する場合、ユーザは、端末装置７における上下方向の中心よりも上側を主に把持する。ここで、ユーザがハウジング５０の下側を把持する場合には、（端末装置７が本実施形態のように比較的大きなサイズである場合には特に）把持される端末装置７が不安定になり、ユーザは端末装置７を持ちにくくなる。これに対して、本実施形態では、上記操作部を操作する場合、ユーザは、端末装置７における上下方向の中心よりも上側を主に把持することになり、また、手のひらでハウジング５０を横から支えることができる。したがって、ユーザは、安定した状態でハウジング５０を把持することができ、端末装置７が持ちやすくなるので、上記操作部も操作しやすくなる。なお、他の実施形態においては、ハウジング５０の中央よりも上側において表示部の左右にそれぞれ少なくとも１つずつ操作部が設けられてもよい。例えば、各アナログスティック５３Ａおよび５３Ｂのみがハウジング５０の中央よりも上側に設けられてもよい。また例えば、十字ボタン５４Ａが左アナログスティック５３Ａよりも上側に設けられ、４つのボタン５４Ｅ〜５４Ｈが右アナログスティック５３Ｂよりも上側に設けられる場合には、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈがハウジング５０の中央よりも上側に設けられても良い。
【００９８】
また、本実施形態では、ハウジング５０の裏側（ＬＣＤ５１が設けられる表面の反対側）には、突起部（庇部５９）が設けられる（図８（ｃ）および図９参照）。図８（ｃ）に示すように、庇部５９は、略板状のハウジング５０の裏面から突起して設けられる、山状の部材である。突起部は、ハウジング５０の裏面を把持するユーザの指に掛止可能な高さ（厚さ）を有する。突起部の高さは、１０〜２５［ｍｍ］であることが好ましく、本実施形態では１６．６６［ｍｍ］である。また、突起部の下面は、突起部がユーザの指に掛かりやすいように、ハウジング５０の裏面に対して４５°以上（より好ましくは６０°以上）の傾斜を有することが好ましい。図８（ｃ）に示すように、突起部の下面は、上面よりも傾斜角度が大きくなるように形成されてもよい。図１０に示すように、ユーザは、指を庇部５９に掛けて（指の上に庇部５９を乗せて）把持することによって、端末装置７が比較的大きなサイズであっても、疲れることなく安定した状態で端末装置７を把持することができる。すなわち、庇部５９は、指でハウジング５０を支えるための支持部材であるということができ、また、指掛部ということもできる。
【００９９】
また、庇部５９は、ハウジング５０の上下方向に関しては中央よりも上側に設けられる。庇部５９は、ハウジング５０の表面に設けられる操作部（各アナログスティック５３Ａおよび５３Ｂ）の概ね反対側の位置に設けられる。つまり、突起部は、表示部の左右にそれぞれ設けられる操作部の反対側の位置を含む領域に設けられる。したがって、上記操作部を操作する場合、ユーザは、中指あるいは薬指で庇部５９を支えるようにして端末装置７を把持することができる（図１０参照）。これによって、端末装置７がより持ちやすくなり、上記操作部もより操作しやすくなる。また、本実施形態では、突起部は、（突起した部分が）左右に延びる庇状の形状を有するので、ユーザは、中指あるいは薬指を突起部の下面に沿わせて端末装置７を把持することができ、端末装置７がより持ちやすくなる。なお、庇部５９は、（突起した部分が）左右方向に延びるように形成されればよく、図９に示すような水平方向に延びる形状に限られない。他の実施形態においては、庇部５９は水平方向から若干傾いた方向に延びていてもよい。例えば、庇部５９は、左右両端から中央に向かうにつれて上に（または下に）傾斜するように設けられてもよい。
【０１００】
なお、本実施形態においては、後述する係止穴を庇部５９に設けることが理由で、ハウジングの裏面に形成される突起部として、庇状の形状をした庇部５９を採用するが、突起部はどのような形状であってもよい。例えば、他の実施形態においては、ハウジング５０の裏側において、２つの突起部が左右両側に設けられる（左右方向の中央には突起部が設けられない）構成であってもよい（図２９参照）。また、他の実施形態においては、突起部の断面形状（ｘ軸方向に垂直な断面における形状）は、ユーザの指で端末装置７をよりしっかりと支えることができるように（突起部が指によりしっかりと掛かるように）、鈎型（下面が凹んだ形状）であってもよい。
【０１０１】
なお、突起部（庇部５９）の上下方向に関する幅は、いくらであってもよい。例えば、突起部は、ハウジング５０の上辺まで形成されてもよい。すなわち、突起部の上面がハウジング５０の上側の側面と同じ位置に形成されてもよい。このとき、ハウジング５０は、下側が薄く、上側が厚い２段の構成となる。このように、ハウジング５０は、裏面における左右両側に、下方を向く面（突起部の下面）が形成されることが好ましい。これによって、ユーザは、当該面に指を当てることで楽に操作装置を把持することができる。なお、上記「下方を向く面」は、ハウジング５０の裏面におけるどの位置に形成されてもよいが、ハウジング５０の中央よりも上側に位置することが好ましい。
【０１０２】
また、図８の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の上側の面における左右の両側にそれぞれ設けられる。本実施形態では、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、左上側の側面から露出している（換言すれば上側および左側の両方の側面から露出している）。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、右上側の側面から露出している（換言すれば上側および右側の両方の側面から露出している）。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図１０参照）。なお、他の実施形態においては、ハウジング５０の上側の面における左右にそれぞれ設けられる操作部は、左右の端部に設けられる必要はなく、端部以外の位置に設けられてもよい。また、ハウジング５０の左右の側面に操作部がそれぞれ設けられてもよい。
【０１０３】
また、図８の（ｃ）図および図９に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、上記突起部（庇部５９）に配置される。第２Ｌボタン５４Ｋは、庇部５９の左端付近に設けられる。第２Ｒボタン５４Ｌは、庇部５９の右端付近に設けられる。つまり、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの（概ね）反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの（概ね）反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指（または人差し指）で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指（または人差し指）で操作可能な位置に配置される（図１０参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図８の（ｃ）図に示すように、上記庇部５９の上面に設けられる。そのため、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、上方（斜め上方）を向くボタン面を有する。ユーザが端末装置７を把持した場合には中指または人差し指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。
【０１０４】
上記のように、本実施形態においては、ハウジング５０の中央よりも上側において表示部（ＬＣＤ５１）の左右に操作部（アナログスティック５３Ａおよび５３Ｂ）がそれぞれ設けられ、さらに、ハウジング５０の裏側において当該操作部の反対側の位置に別の操作部（第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌ）がそれぞれ設けられる。これによれば、上記操作部と別の操作部とがハウジング５０の表側と裏側との互いに対向する位置に配置されるので、ユーザは、これらの操作部を操作する際にハウジング５０を表側と裏側から挟むように把持することができる。また、これらの操作部を操作する際にユーザは、ハウジング５０における上下方向の中心よりも上側を把持するので、端末装置７を上側で把持できるとともに、手のひらで端末装置７を支えることができる（図１０参照）。以上によって、ユーザは、少なくとも４つの操作部を操作することができる状態で、ハウジング５０を安定的に把持することができ、ユーザが容易に把持することが可能で、かつ操作性の良い操作装置（端末装置７）を提供することができる。
【０１０５】
以上のように、本実施形態においては、突起部（庇部５９）の下面に指を当てた状態で端末装置７を把持することによって、ユーザは楽に端末装置７を把持することができる。また、突起部の上面に第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが設けられるので、ユーザは上記の状態でこれらのボタンを容易に操作することができる。ユーザは、例えば次のような持ち方で端末装置７を容易に把持することができる。
【０１０６】
すなわち、ユーザは、図１０に示すように、薬指を庇部５９の下面（図１０に示す一点鎖線）に当てて（薬指で庇部５９を支えるように）端末装置７を把持することも可能である。このとき、ユーザは、４つのボタン（第１Ｌボタン５４Ｉ、第１Ｒボタン５４Ｊ、第２Ｌボタン５４Ｋ、および第２Ｒボタン５４Ｌ）を人差し指および中指で操作することができる。例えば、要求されるゲーム操作が、使用するボタンが多く、比較的複雑である場合には、図１０に示すように把持することで、多くのボタンを容易に操作することができる。なお、各アナログスティック５３Ａおよび５３Ｂは十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈの上側に設けられるので、比較的複雑な操作が要求される場合にユーザは親指でアナログスティック５３Ａおよび５３Ｂを操作することができ、好都合である。また、図１０においては、ユーザは、ハウジング５０の表面に親指を、ハウジング５０の上面に人差し指を、ハウジング５０の裏面における庇部５９の上面に中指を、庇部５９の下面に薬指を、ハウジング５０の裏面に小指を当てて端末装置７を把持する。このように、ユーザは、ハウジング５０を四方から包み込むようにして端末装置７をしっかりと把持することができる。
【０１０７】
また、ユーザは、中指を庇部５９の下面に当てて端末装置７を把持することも可能である。このとき、ユーザは、２つのボタン（第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌ）を人差し指で容易に操作することができる。例えば、要求されるゲーム操作が、使用するボタンが少なく、比較的単純である場合には、中指を庇部５９の下面に当てて端末装置７を把持してもよい。このとき、ユーザは、２本の指（薬指および小指）でハウジング５０の下側を把持することができるので、しっかりと端末装置７を把持することができる。
【０１０８】
なお、本実施形態においては、庇部５９の下面が、各アナログスティック５３Ａおよび５３Ｂと、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈとの間に位置するように（各アナログスティック５３Ａおよび５３Ｂよりも下方で、かつ、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈよりも上方に位置するように）設けられる。したがって、薬指を庇部５９に当てて端末装置７を把持する場合（図１０）には、各アナログスティック５３Ａおよび５３Ｂを親指で操作しやすくなり、中指を庇部５９に当てて端末装置７を把持する場合には、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈを親指で操作しやすくなっている。つまり、上記２種類の場合のいずれにおいても、ユーザは、端末装置７をしっかりと把持した状態で方向入力操作を行うことができる。
【０１０９】
また、上述のように、ユーザは端末装置７を縦持ちで把持することも可能である。すなわち、ユーザは端末装置７の上辺または下辺を一方の手で把持することで端末装置７を縦向きで把持することが可能である。このように、ユーザは端末装置７を片手で把持することが可能であるので、例えば、一方の手で端末装置７を把持しながら他方の手でタッチパネル５２に対する入力を行うといった操作を行うことも可能である。
【０１１０】
また、端末装置７の上辺を把持する場合、ユーザは親指以外の指を庇部５９の下面に当てることで、端末装置７をしっかりと把持することができる。特に、本実施形態においては、庇部５９が左右に延びて形成されているので、ユーザは端末装置７の上辺におけるどこの位置で把持しても、親指以外の指を庇部５９に当てることができ、端末装置７をしっかりと把持することができる。すなわち、端末装置７を縦持ちで使う場合には、庇部５９は取っ手として使うことができる。一方、端末装置７の下辺を片手で把持する場合、ユーザは、その手でボタン５４Ｂ〜５４Ｄを操作することができる。したがって、例えば片手でタッチパネル５２に対する入力を行いつつ、端末装置７を把持する手でボタン５４Ｂ〜５４Ｄに対する操作を行うことができ、より多くの操作を行うことができる。
【０１１１】
なお、本実施形態における端末装置７に関しては、突起部（庇部５９）が裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面がやや傾いた状態となる。これによって、端末装置７を載置した状態において画面がより見やすくなる。また、端末装置７を載置した状態においてタッチパネル５２に対する入力操作が行いやすくなる。また、他の実施形態においては、上記庇部５９と同程度の高さを有する追加の突起部がハウジング５０の裏面に形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では、各突起部が床面に接することで、画面が水平になるように端末装置７を載置することができる。また、追加の突起部を着脱可能な（または折り畳み可能な）ものにしてもよい。これによれば、画面がやや傾いた状態と、画面が水平になる状態との両方で端末装置を載置することができる。すなわち、端末装置７を置いて使う場合には、庇部５９は、脚部として使うことができる。
【０１１２】
各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｅは決定操作やキャンセル操作等に用いられてもよい。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンを有していてもよい。
【０１１３】
図８の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部５５をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ５５Ａおよび５５Ｂを構成する赤外ＬＥＤは、赤外光を透過する窓部の内側に配置される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
【０１１４】
端末装置７は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図８に示すように、本実施形態では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。本実施形態においては、カメラ５６は、２つのマーカ５５Ａおよび５５Ｂの間に配置される。
【０１１５】
なお、端末装置７は、音声入力手段であるマイク７９を備えている。ハウジング５０の表面には、マイクロフォン用孔５０ｃが設けられる。マイク７９はこのマイクロフォン用孔５０ｃの奥のハウジング５０内部に設けられる。マイク７９は、ユーザの音声等、端末装置７の周囲の音を検出する。
【０１１６】
端末装置７は、音声出力手段であるスピーカ７７を備えている。図８の（ｄ）図に示すように、ハウジング５０の表面の下側にはスピーカ孔５７が設けられる。スピーカ７７の出力音はこのスピーカ孔５７から出力される。本実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。なお、端末装置７は、スピーカ７７の音量を調節するためのつまみ６４を備える。また、端末装置７は、イヤホン等の音声出力部を接続するための音声出力端子６２を備える。ここでは、ハウジングの下側の側面に付加装置が接続されることを考慮して、上記音声出力端子６２およびつまみ６４はハウジング５０の上画の側面に設けられるが、左右の側面や下側の側面に設けられてもよい。
【０１１７】
また、ハウジング５０には、赤外線通信モジュール８２からの赤外線信号を端末装置７の外部に出射するための窓６３が設けられる。ここでは、ＬＣＤ５１の両側を把持した場合にユーザの前方へ赤外線信号が発射されるように、窓６３はハウジング５０の上側の側面に設けられる。ただし、他の実施形態においては、窓６３は、例えばハウジング５０の裏面等、どの位置に設けられてもよい。
【０１１８】
また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。拡張コネクタ５８は、端末装置７に接続される他の装置との間でデータ（情報）を送受信するための通信端子である。本実施形態においては、図８の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の付加装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。付加装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。拡張コネクタ５８には、付加装置に電力を供給する端子や、充電のための端子が含まれていてもよい。
【０１１９】
また、端末装置７は、拡張コネクタ５８とは別に、付加装置から電力を取得するための充電端子６６を有する。図示しない充電スタンドに充電端子６６が接続された場合、充電スタンドから端末装置７へ電力が供給される。本実施形態では、充電端子６６はハウジング５０の下側側面に設けられる。したがって、端末装置７と付加装置とが接続される際には、拡張コネクタ５８を介して情報を送受信することに加えて、一方から他方への電力供給を行うことも可能である。このように、拡張コネクタ５８の周囲（左右両側）に充電端子６６を設けることによって、端末装置７と付加装置とが接続される際に、情報の送受信とともに、電力供給を行うことも可能である。また、端末装置７は充電コネクタを有し、ハウジング５０は充電コネクタを保護するためのカバー部６１を有する。充電コネクタは、後述する充電器８６に接続可能であり、充電器に充電コネクタが接続された場合、充電器８６から端末装置７へ電力が供給される。本実施形態では、ハウジングの下側の側面に付加装置が接続されることを考慮して、充電コネクタ（カバー部６１）はハウジング５０の上画の側面に設けられるが、左右の側面や下側の側面に設けられてもよい。
【０１２０】
図８（ｄ）および図９に示すように、突起部（庇部５９）の下面には、付加装置が有する爪部が係止可能な係止穴５９ａおよび５９ｂが設けられる。係止穴５９ａおよび５９ｂは、端末装置７に他の付加装置を接続する際に用いられる。すなわち、付加装置は係止穴５９ａおよび５９ｂに係止可能な爪部を有し、端末装置７に付加装置を接続する場合には、爪部が係止穴５９ａおよび５９ｂに係止することによって端末装置７と付加装置とが固定される。また、係止穴５９ａおよび５９ｂの内部に、さらにネジ穴を設けてもよく、付加装置をネジで強固に固定するようにしてもよい。なお、ここでは、端末装置７の裏面に設けられる突起部は、庇状の形状を有する庇部５９である。すなわち、庇部５９は左右方向に延びて設けられる。図９に示すように、係止穴５９ａおよび５９ｂは、庇部５９の下面の（左右方向に関して）中央付近に設けられる。なお、庇部５９の下面に設けられる係止穴５９ａおよび５９ｂの個数はいくつであってもよいが、１つである場合には庇部５９の中央に設けられることが好ましく、複数である場合には左右対称に配置されることが好ましい。これによれば、左右のバランスを均等に保って付加装置を安定的に接続することができる。また、係止穴が中央付近に設けられる場合には、左右の両端に設けられる場合に比べて、付加装置のサイズを小さくすることができる。以上のように、庇部５９は、付加装置の係止部材として使うことができる。
【０１２１】
また、本実施形態においては、図８（ｄ）に示すように、ハウジング５０の下面に係止穴５０ａおよび５０ｂが設けられる。したがって、端末装置７に付加装置を接続する場合には、４つの爪部が４つの各係止穴にそれぞれ係止することによって端末装置７と付加装置とが固定される。これによって、付加装置を端末装置７により強固に接続することができる。なお、係止穴５０ａおよび５０ｂの内部にもネジ穴を設け、付加装置をネジ止めするようにしてもよい。ネジ止めの位置は、どこであってもよいが、例えば、ハウジング５０の背面に当接する付加装置の支持部と、庇部５９とがネジ止めされてもよい。また、他の実施形態においては、ハウジングに設けられる係止穴は、どのような配置であってもよい。
【０１２２】
また、端末装置７は、ハウジング５０に対して着脱可能な電池蓋６７を有している。電池蓋６７の内側には電池（図１１に示す電池８５）が配置される。本実施形態においては、電池蓋６７はハウジング５０の裏側に設けられ、突起部（庇部５９）の下側に設けられる。
【０１２３】
また、端末装置７のハウジング５０には、ストラップの紐を結びつけるための孔６５ａおよび６５ｂが設けられる。図８（ｄ）に示すように、本実施形態においては、孔６５ａおよび６５ｂはハウジング５０の下面に設けられる。また、本実施形態においては、２つの孔６５ａおよび６５ｂがハウジング５０の左右両側にそれぞれ１つずつ設けられる。すなわち、孔６５ａがハウジング５０の下面の中央より左側に設けられ、孔６５ｂがハウジング５０の下面の中央より右側に設けられる。ユーザは、孔６５ａおよび６５ｂのいずれかにストラップを結びつけ、ストラップを自身の手首に結びつけてもよい。これによって、万一ユーザが端末装置７を落としたり、端末装置７が手から離れたりした場合でも、端末装置７が落下したり他の物に衝突したりすることを防止することができる。なお、本実施形態においては、左右両側にそれぞれ孔が設けられるので、ユーザは、どちらの手にもストラップを結びつけることができ、便利である。
【０１２４】
なお、図８〜図１１に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
【０１２５】
次に、図１１を参照して、端末装置７の内部構成について説明する。図１１は、端末装置７の内部構成を示すブロック図である。図１１に示すように、端末装置７は、図８に示した構成の他、タッチパネルコントローラ７１、磁気センサ７２、加速度センサ７３、ジャイロセンサ７４、ユーザインタフェースコントローラ（ＵＩコントローラ）７５、コーデックＬＳＩ７６、スピーカ７７、サウンドＩＣ７８、マイク７９、無線モジュール８０、アンテナ８１、赤外線通信モジュール８２、フラッシュメモリ８３、電源ＩＣ８４、および電池８５を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
【０１２６】
ＵＩコントローラ７５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ７５は、タッチパネルコントローラ７１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、マーカ部５５、磁気センサ７２、加速度センサ７３、およびジャイロセンサ７４に接続される。また、ＵＩコントローラ７５は、コーデックＬＳＩ７６と拡張コネクタ５８に接続される。また、ＵＩコントローラ７５には電源ＩＣ８４が接続され、ＵＩコントローラ７５を介して各部に電力が供給される。電源ＩＣ８４には内蔵の電池８５が接続され、電力が供給される。また、電源ＩＣ８４には、外部電源から電力を取得可能な充電器８６またはケーブルを充電コネクタを介して接続することが可能であり、端末装置７は、当該充電器８６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うことも可能である。すなわち、図示しないが、電源ＩＣ８４には、外部電源から電力を取得可能なクレイドルを充電端子６６を介して接続することが可能であり、端末装置７は、クレイドルを用いて外部電源からの電力供給と充電を行うことができる。
【０１２７】
タッチパネルコントローラ７１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ７１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ７５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ７１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ７５からタッチパネルコントローラ７１へは、タッチパネル５２に対する各種の制御指示が出力される。
【０１２８】
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ７５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ７５へ出力する。
【０１２９】
磁気センサ７２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５から磁気センサ７２へは、磁気センサ７２に対する制御指示が出力される。磁気センサ７２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。
【０１３０】
加速度センサ７３は、ハウジング５０の内部に設けられ、３軸（図８の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ７３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の表面に対して垂直な方向をｙ軸、ハウジング５０の短辺方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５から加速度センサ７３へは、加速度センサ７３に対する制御指示が出力される。加速度センサ７３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ７３は１軸または２軸方向を検出する加速度センサであってもよい。
【０１３１】
ジャイロセンサ７４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５からジャイロセンサ７４へは、ジャイロセンサ７４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ７４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ７４は１軸または２軸方向を検出するジャイロセンサであってもよい。
【０１３２】
ＵＩコントローラ７５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ７６へ出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
【０１３３】
コーデックＬＳＩ７６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ７６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ７８、無線モジュール８０、フラッシュメモリ８３、および赤外線通信モジュール８２が接続される。また、コーデックＬＳＩ７６はＣＰＵ８７と内部メモリ８８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ８３に格納されたプログラムを内部メモリ８８に読み出してＣＰＵ８７が実行することで、端末装置７が起動する。また、内部メモリ８８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。
【０１３４】
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ７６へ出力する。また、コーデックＬＳＩ７６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ７６へ繰り返し出力することも可能である。
【０１３５】
サウンドＩＣ７８は、スピーカ７７およびマイク７９に接続され、スピーカ７７およびマイク７９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ７６から音声データを受け取った場合、サウンドＩＣ７８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ７７へ出力し、スピーカ７７から音を出力させる。また、マイク７９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ７８へ出力する。サウンドＩＣ７８は、マイク７９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ７６へ出力する。
【０１３６】
赤外線通信モジュール８２は、赤外線信号を発光し、他の装置との間で赤外線通信を行う。ここでは、赤外線通信モジュール８２は、例えばＩｒＤＡの規格に従った赤外線通信を行う機能と、テレビ２を制御するための赤外線信号（制御信号）を出力する機能とを備える。
【０１３７】
コーデックＬＳＩ７６は、カメラ５６からの画像データ、マイク７９からの音声データ、および、ＵＩコントローラ７５からの操作データを、端末操作データとして無線モジュール８０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ７６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール８０へ出力される。無線モジュール８０にはアンテナ８１が接続されており、無線モジュール８０はアンテナ８１を介してゲーム装置３へ上記送信データを送信する。無線モジュール８０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール８０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
【０１３８】
以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。コーデックＬＳＩ７６は、赤外線通信モジュール８２による赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
【０１３９】
また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ８１（受信部）で受信され、無線モジュール８０を介してコーデックＬＳＩ７６に送られる。コーデックＬＳＩ７６は、受信された画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。つまり、コーデックＬＳＩ７６（ＣＰＵ８７）は、受信された画像データを表示部に表示させる。また、伸張された音声データはサウンドＩＣ７８へ出力され、サウンドＩＣ７８はスピーカ７７から音を出力させる。
【０１４０】
また、ゲーム装置３から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ７６およびＵＩコントローラ７５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ７１、マーカ部５５、各センサ６２〜６４、および赤外線通信モジュール８２）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
【０１４１】
また、ゲーム装置３は、上記赤外線通信モジュール８２の出力を制御することによって、テレビ２の動作を制御することが可能である。すなわち、ゲーム装置３は、テレビ２を制御するための制御指令に対応する赤外線信号を赤外線通信モジュール８２に出力させるための指示（上記制御データ）を端末装置７へ出力する。この指示に応じて、コーデックＬＳＩ７６は、上記制御指令に対応する赤外線信号を赤外線通信モジュール８２に出力させる。ここで、テレビ２は赤外線信号を受光可能な赤外線受光部を備えている。赤外線通信モジュール８２から出力された赤外線信号が赤外線受光部によって受光されることで、テレビ２は当該赤外線信号に応じた動作を行う。なお、ゲーム装置３からの上記指示は、赤外線信号のパターンを示すものであってもよいし、端末装置７が赤外線信号のパターンを記憶している場合には、当該パターンを示す指示であってもよい。
【０１４２】
以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
【０１４３】
また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ７２、加速度センサ７３、およびジャイロセンサ７４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【０１４４】
また、端末装置７は、カメラ５６およびマイク７９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク７９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【０１４５】
また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
【０１４６】
（ゲームシステムと外部装置との接続構成）
図１２は、ゲームシステム１と外部装置との接続関係と示すブロック図である。図１２に示すように、ゲームシステム１におけるゲーム装置３は、ネットワーク９０を介して外部装置９１と通信可能である。ネットワーク９０は、インターネット等の任意の通信ネットワークである。外部装置９１は、Ｗｅｂサーバや、ゲーム装置３と通信を行う他の端末装置（例えば、通信ゲームを行う場合における相手先のゲーム装置等）である。なお、外部装置９１は１つである必要はなく、ゲーム装置３は、複数の外部装置と通信を行ってもよい。ゲーム装置３は、ネットワーク９０と通信を行い、ネットワーク９０を介して外部装置９１からウェブページや、各種アプリケーションや、ゲームデータ等を取得する。取得され画像情報、あるいは、取得された情報に基づいて生成される画像等は、ゲーム装置３から端末装置７および／またはテレビ２へ出力される。ゲームシステム１は、２つの表示装置に各種の画像を表示することができる。
【０１４７】
［５．ゲームシステムにおける動作の概要］
次に、ゲームシステム１において実行される動作の概要について説明する。本実施形態においては、ゲームシステム１は、ゲームプログラム（ゲームアプリケーション）を含む各種のアプリケーションの実行と、テレビ２に対する操作（およびテレビの番組表の表示）と、ウェブページの表示とを行うことができる。また、ゲームシステム１は、以下に示す動作によって、ゲームシステム１においてテレビを用いる状態（ゲームシステム１において生成された画像がテレビ２に表示される状態）と、ゲームシステム１以外の用途でテレビを用いる状態（ゲームシステム１において生成された画像とは別の画像がテレビ２に表示される状態）との間の切り替え操作を操作性良く行うことを可能とするものである。
【０１４８】
図１３は、ゲームシステム１における動作状態の遷移を表す状態遷移図である。図１３に示すように、ゲームシステム１（ゲーム装置３）が起動すると、まず、ゲームシステム１は開始状態となる。開始状態とは、ゲームシステム１の起動後において端末装置７に所定の操作画像が表示される状態である。ここで、所定の操作画像は、端末装置７を用いるユーザが操作を行うための画像であればどのようなものであってもよい。本実施形態においては、後述するアプリケーション選択画像（以下、「アプリ選択画像」と記載する）、装置制御画像、およびブラウザ画像のいずれかが所定の操作画像として端末装置７に表示される。なお、他の実施形態においては、３種類の画像のうち複数の画像が同時に（例えば、表示領域が複数に分割されることによって）端末装置７に表示されてもよい。また、以下では、開始状態において表示される操作画像を、後述する中断状態において表示される操作画像と区別する目的で「メイン操作画像」と呼ぶことがある。
【０１４９】
なお、上記「開始状態」は、ゲーム装置３の起動後、アプリケーションの選択が可能となった状態のことであり、起動直後に限られない。たとえば、起動直後には所定時間所定の画像を表示し、その後に開始状態となってもよいし、所定のアプリケーションを実行し、その終了後に再度開始状態に戻ってもよい。
【０１５０】
上記開始状態では、所定のメイン操作画像が端末装置７に表示され、また、ゲームシステムにおける操作は端末装置７を用いて行われる。すなわち、操作装置である端末装置７は、操作装置に対する操作を表す操作データ（端末操作データ）を出力する操作部を備えている。また、端末装置７は、ゲーム装置３から出力される画像を受信する受信部（アンテナ８１および無線モジュール８０）と、受信された画像を表示する表示部（ＬＣＤ５１）とを備えている。一方、ゲーム装置３は、上記操作データを取得する取得部を備えており、上記開始状態において、上記メイン操作画像を生成する。さらに、ゲーム装置３は、メイン操作画像を端末装置７へ出力する。
【０１５１】
なお、本実施形態においては、図１３に示すように、開始状態は、メニュー状態、第１テレビ操作状態、およびブラウザ状態を含む。メニュー状態は、各種のアプリケーションを選択して実行することが可能な状態（モード）である。第１テレビ操作状態は、テレビ２に対する操作を行うことが可能な状態（モード）である。ブラウザ状態は、ウェブページを表示することが可能な状態（モード）である。詳細は後述するが、メニュー状態においてはアプリ選択画像（図１７）が、第１テレビ操作状態においては装置制御画像（図１９）が、ブラウザ状態においてはブラウザ画像（図２１）が、それぞれ端末装置７に表示される。なお、アプリ選択画像は、ゲーム装置３が実行可能なアプリケーションを選択するための操作画像である。装置制御画像は、テレビ２に対する操作（制御）を行うための操作画像である。ブラウザ画像は、ネットワーク９０を介して取得されるウェブページを含む操作画像である。なお、開始状態においては、端末装置７に所定の操作画像（メイン操作画像）が表示されればよく、他の実施形態においては、開始状態においては１種類の画像のみが常に表示される構成であってもよい。
【０１５２】
また、ゲームシステム１が起動して開始状態となる場合、ゲームシステム１は上記３つの状態（メニュー状態、第１テレビ操作状態、およびブラウザ状態）のうちのいずれかの状態となる。なお、ゲームシステム１の起動直後の状態はどのように決定されてもよい。本実施形態においては、前回にゲームシステム１の電源がオフにされた時点における状態が、起動直後の状態として設定される。また、詳細は後述するが、ゲームシステム１は、上記３つの状態のうちのいずれかの状態から他の２つの状態へ、所定の変更操作に応じて遷移することが可能である（図１３参照）。つまり、ユーザは、アプリ選択画像と、装置制御画像と、ブラウザ画像とのうちで端末装置７に表示させる操作画像を、変更操作によって容易に切り替えることができる。
【０１５３】
ここで、上記開始状態のうちのメニュー状態では、ユーザは、端末装置７を用いて、ゲームプログラムを含む各種のアプリケーションのうちから１つを選択して実行することができる。また、上記開始状態のうちの第１テレビ操作状態では、ユーザは、テレビ２に対する操作を端末装置７を用いて行うことができる。すなわち、ゲーム装置３は、開始状態において、選択指示があったか否か、および、制御指示があったか否かを端末操作データに基づいて判定する（後述するステップＳ１４およびＳ２３）。選択指示とは、ゲームアプリケーションを含み、ゲーム装置３が実行可能な１以上のアプリケーションのうちから１つを選択する指示である。また、制御指示とは、テレビ２に対する制御を行う指示である。上記選択指示があった場合、ゲーム装置３は、選択されたアプリケーションを実行し、アプリケーションの実行によって生成された画像を、端末装置７およびテレビ２の少なくとも一方へ出力する（後述するステップＳ１５）。また、上記制御指示があった場合、ゲーム装置３は、当該制御指示に応じた制御をテレビ２に対して行う（後述するステップＳ２４）。
【０１５４】
以上より、本実施形態においては、開始状態においては、端末装置７に操作画像（メイン操作画像）が表示されるので、ユーザは端末装置７の画面を見ることでゲームシステム１に対する操作を行うことが可能であり、また、テレビ２にはテレビ番組等、他の画像を表示することが可能である。したがって、ユーザは、テレビ番組を見ながらゲームシステム１を使用することができる。例えば、ユーザは、テレビ２の画面でテレビ番組を見ながら、端末装置７の操作画像を見て実行したいアプリケーションを選択することも可能である。また、開始状態において、ユーザは、端末装置７を用いてテレビ２に対する操作を行うことが可能である。ユーザは、端末装置７を用いてゲームシステム１に対する操作とテレビ２に対する操作とを行うことができるので、ゲームシステム１においてテレビを用いる状態と、ゲームシステム１以外の用途でテレビを用いる状態との間の切り替え操作を容易に行うことができる。例えば、本実施形態においては装置制御画像としてテレビの番組表（電子番組表）が表示されるので、ユーザは、ゲームシステム１を起動して番組表を端末装置７に表示させ、表示された番組表から見たいテレビ番組を選んでテレビ２に表示させる一連の操作を、端末装置７のみで行うことができる。以上のように、本実施形態においては、端末装置７によって、上記の切り替え操作の操作性を向上することができる。
【０１５５】
なお、本実施形態においては、ゲーム装置３は、上記アプリ選択画像と装置制御画像とを切り替えて端末装置７に表示させるようにしているが、他の実施形態においては、アプリ選択画像と装置制御画像とを同時に端末装置７に表示させるようにしてもよい。これによれば、ユーザは、上記選択指示が可能な状態（メニュー状態）と、制御指示が可能な状態（第１テレビ操作状態）との間で状態を遷移させるための操作（上記変更操作）を行わずに、これら２つの指示を自由に行うことができる。また、他の実施形態においては、ゲーム装置３は、上記アプリ選択画像が表示されるメニュー状態においてユーザが上記制御指示を行うことができるようにしてもよいし、上記装置制御画像が表示される第１テレビ操作状態においてユーザが上記選択指示を行うことができるようにしてもよい。これによっても、ユーザは、上記変更操作を行うことなく、上記２つの指示を自由に行うことができる。
【０１５６】
また、ゲーム装置３は、開始状態において、ウェブページを表示する表示指示があったか否かをさらに判定する（後述するステップＳ１７，Ｓ２６）。表示指示があった場合、ゲームシステム１はブラウザ状態へ遷移する（図１３参照）。この場合、ゲーム装置３は、ネットワーク９０と通信を行う外部通信部（ネットワーク通信モジュール１８）を介してネットワーク９０から取得されるデータに基づいて生成されるブラウザ画像を、端末装置７およびテレビ２の少なくとも一方へ出力する（後述するステップＳ３１，Ｓ３５）。つまり、ゲーム装置３は、上記表示指示があったことに応じて、ウェブページを含むブラウザ画像を端末装置７および／またはテレビ２に表示させる。このように、本実施形態においては、ユーザは開始状態においてウェブページを閲覧することも可能である。
【０１５７】
また、メニュー状態において、アプリケーションを選択する操作が端末装置７を用いて行われると、ゲーム装置３は、選択されたアプリケーションを実行する。すなわち、ゲーム装置３は、ゲーム装置３が実行可能なアプリケーションを表す画像（アイコン等）を含むメイン操作画像（上記アプリ選択画像）を生成して端末装置７へ出力する。そして、メイン操作画像が表示される状態において、実行すべきアプリケーションが選択された場合、選択されたアプリケーションを実行する。これによって、図１３に示すように、ゲームシステム１はアプリ実行状態へ遷移する。さらに、ゲーム装置３は、アプリケーションの実行によって生成された画像を、端末装置７およびテレビ２の少なくとも一方へ出力する。なお、２つの表示装置のうちでのどちらに（あるいは両方に）画像を出力するかは、実行されるアプリケーションによって異なり、どのように決められてもよい。
【０１５８】
上記アプリ実行状態において、端末装置７に対して所定の中断操作が行われると、ゲームシステム１は中断状態へ遷移する（図１３参照）。中断状態は、実行中のアプリケーションの利用が中断された状態である。ゲーム装置３は、アプリケーションの実行中において端末装置７に対して所定の中断操作が行われた場合、所定の操作画像を生成して端末装置７へ出力する（後述するステップＳ４４）。この所定の操作画像は、端末装置７を用いるユーザが操作を行うための画像であればどのようなものであってもよい。本実施形態においては、後述する設定画像（図２３）あるいはリモコン画像（図２４）が所定の操作画像として端末装置７に表示される。なお、他の実施形態においては、１種類の操作画像のみが端末装置７に表示されてもよいし、上記２種類の画像が同時に端末装置７に表示されてもよい。また、以下では、中断状態において表示される操作画像を「サブ操作画像」と呼ぶ。
【０１５９】
上記中断状態は、設定状態と、第２テレビ操作状態を含む。本実施形態においては、アプリ実行状態から中断状態へと遷移した場合、ゲームシステム１はまず設定状態へ遷移する。設定状態は、上記設定画像が表示される状態である。詳細は後述するが、設定画像は、ゲームシステム１に関する各種の設定操作を行うための操作画像である。なお、中断状態においては、端末装置７に所定のサブ操作画像が表示されればよく、他の実施形態においては、中断状態においては上記２種類の画像のうち１種類の画像のみが常に表示される構成であってもよい。
【０１６０】
本実施形態においては、設定状態において所定の操作が行われると、ゲームシステム１は第２テレビ操作状態へ遷移する。第２テレビ操作状態は、上記リモコン画像が表示される状態である。詳細は後述するが、リモコン画像は、テレビ２に対する操作を行うための操作画像であり、テレビ２に対する操作を表すボタン画像等を含む操作画像である。第２テレビ操作状態は、端末装置７を用いてテレビ２に対する操作が可能となる状態である。なお、第２テレビ操作状態において所定の操作が行われると、ゲームシステム１は第２テレビ操作状態から設定状態へ遷移する。つまり、ユーザは、設定状態と第２テレビ操作状態とを所定の操作によって自由に遷移させることができる（図１３参照）。
【０１６１】
以上のように、本実施形態においては、中断状態において、ユーザはテレビ２に対する操作を行うことができる。すなわち、ゲーム装置３は、上記サブ操作画像が端末装置７に表示される状態において、テレビ２に対する制御を行う制御指示があったか否かを端末操作データに基づいて判定する。そして、制御指示があった場合、当該制御指示に応じた制御をテレビ２に対して行う。したがって、本実施形態においては、ユーザは、ゲームシステム１においてアプリケーションを用いている際に、アプリケーションの実行を終了しなくても、テレビ２に対する操作を行うことができる。これによれば、ゲームシステム１においてテレビを用いる状態と、ゲームシステム１以外の用途でテレビを用いる状態との間の切り替え操作がより容易になる。例えば、ユーザは、アプリケーションの実行途中でテレビ番組を視聴したり、その後アプリケーションを再開したりする操作を、端末装置７を用いて容易に行うことができる。
【０１６２】
また、本実施形態においては、上記中断状態において、実行中のアプリケーションを終了する終了指示と、アプリケーションの実行を再開する再開指示とが可能である。すなわち、中断状態において再開指示があった場合、ゲーム装置３はアプリケーションの実行を再開する。これによって、ゲームシステム１はアプリ実行状態へ遷移する（図１３参照）。また、中断状態において終了指示があった場合、ゲーム装置３はアプリケーションの実行を終了する。これによって、ゲームシステム１は開始状態へ遷移する（図１３参照）。なお、本実施形態においては、上記の場合、ゲームシステムは図１３に示すようにメニュー状態へ遷移するものとするが、他の実施形態においては、ゲームシステム１は第１テレビ操作状態あるいはブラウザ状態へ遷移してもよい。また、他の実施形態においては、中断状態においてアプリケーションを終了する場合、開始状態に含まれる３つの状態のうちいずれの状態へ遷移するかを、ユーザが選択することができるようにしてもよい。以上のように、本実施形態においては、ユーザは、中断状態からアプリケーションの実行を再開することも終了することも可能である。
【０１６３】
［６．ゲームシステムにおける処理の詳細］
次に、本ゲームシステムにおいて実行される情報処理の詳細を説明する。まず、情報処理において用いられる各種データについて説明する。図１４は、ゲーム装置３のメインメモリ（外部メインメモリ１２または内部メインメモリ１１ｅ）における記憶領域を示す図である。図１４に示すように、ゲーム装置３のメインメモリには、メインプログラム領域１００、アプリケーションプログラム領域１０１、取得データ領域１０３、および処理用データ１０７領域が設けられる。なお、メインメモリには、図１４に示すデータの他、情報処理に用いられる画像データや音声データ等、処理に必要なデータが記憶される。また、図１４に示す記憶領域の一部は、ゲーム装置３がアクセス可能な他の記憶装置（フラッシュメモリ１７等）に設けられてもよい。
【０１６４】
メインプログラム領域１００には、ゲームシステム１における上述の各種状態の遷移を管理するメインプログラムが記憶される。本実施形態においては、ＣＰＵ１０がメインプログラムを実行することによって、図１５等に示すフローチャートの各ステップが実行される。メインプログラムは、後述するメニュー処理、テレビ処理、ブラウザ処理、および中断時処理の各処理を実行するためのプログラムであるが、他の実施形態においては、これらの各処理を実行するための各プログラムが別々に（別のプログラムとして）メインメモリに記憶されてもよい。メインプログラムは、ゲーム装置３に電源が投入された後の適宜のタイミングで所定の記憶装置からその一部または全部が読み込まれてメインメモリに記憶される。なお、上記所定の記憶装置は、ゲーム装置３がアクセス可能な記憶手段であればどのようなものであってもよいが、本実施形態においてはフラッシュメモリ１７であるとする。なお、メインプログラムは、フラッシュメモリ１７に代えて、光ディスク４やゲーム装置３の外部の他の装置から（例えばインターネットを介して）取得されてもよい。
【０１６５】
アプリケーションプログラム領域１０１には、ゲーム装置３において実行可能な各種のアプリケーション（プログラム）が記憶される。アプリケーションプログラム領域１０１には、１以上のアプリケーションが記憶され、本実施形態においては、当該１以上のアプリケーションにはゲームプログラム１０２が含まれる。ゲームプログラム１０２は、ゲーム装置３に電源が投入された後の適宜のタイミングで光ディスク４からその一部または全部が読み込まれてメインメモリに記憶される。なお、ゲームプログラム１０２は、光ディスク４に代えて、フラッシュメモリ１７やゲーム装置３の外部装置から（例えばインターネットを介して）取得されてもよい。なお、アプリケーションプログラム領域１０１に含まれる他のアプリケーションもゲームプログラム１０２と同様、ゲーム装置３がアクセス可能な任意の記憶手段から取得されてもよい。
【０１６６】
取得データ領域１０３には、ゲーム装置３が端末装置７等から取得する各種のデータが記憶される。本実施形態においては、取得データ領域１０３には、端末操作データ１０４、カメラ画像データ１０５、および、マイク音データ１０６が記憶される。なお、図１４に示すデータの他、取得データ領域１０３には、コントローラ５から取得されるコントローラ操作データ等が記憶されてもよい。
【０１６７】
端末操作データ１０４は、端末装置７に対するプレイヤの操作を表すデータである。端末操作データ１０４は、端末装置７から送信されてゲーム装置３において取得され、メインメモリに記憶される。なお、ゲーム装置３は、複数の端末装置と通信可能であり、各端末装置から操作データをそれぞれ取得することが可能である。端末装置が複数である場合、各端末装置からそれぞれ送信されてくる各端末操作データがメインメモリにそれぞれ記憶される。メインメモリには、端末装置毎に最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。
【０１６８】
端末操作データ１０４は、角速度データ、加速度データ、操作ボタンデータ、スティックデータ、タッチ位置データ、および方位データを含む。角速度データは、ジャイロセンサ７４によって検出された角速度を表すデータである。本実施形態では、角速度データは、図８に示すｘｙｚの３軸回りのそれぞれの角速度を表すものであるが、他の実施形態においては、任意の１軸以上の軸回り角速度を表すものであればよい。加速度データは、加速度センサ７３によって検出された加速度（加速度ベクトル）を表すデータである。本実施形態では、加速度データは、図９に示すｘｙｚの３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の実施形態においては、任意の１以上の方向に関する加速度を表すものであればよい。上記ジャイロセンサ７４および加速度センサ７３は、慣性センサの一例である。ゲーム装置３は、慣性センサの検出結果（角速度データおよび加速度データ）に基づいて端末装置７の姿勢を算出することができる。
【０１６９】
また、操作ボタンデータは、端末装置７に設けられる各操作ボタン５４Ａ〜５４Ｌに対する入力状態を表すデータである。具体的には、操作ボタンデータは、各操作ボタン５４Ａ〜５４Ｌが押下されているか否かを表す。スティックデータは、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）のスティック部がスライドした（または傾倒した）方向および量を表すデータである。上記方向および量は、例えば２次元座標や２次元ベクトルとして表されてもよい。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置（タッチ位置）を表すデータである。本実施形態では、タッチ位置データは、上記入力面上の位置を示すための２次元座標系の座標値を表す。なお、タッチパネル５２がマルチタッチ方式である場合には、タッチ位置データは複数のタッチ位置を表すこともある。方位データは、磁気センサ７２によって検出された方位を表すデータである。本実施形態では、方位データは、端末装置７を基準として所定の方位（例えば北）の向きを表す。なお、地磁気以外の磁界が発生している場合においては、方位データは厳密には絶対的な方位（北等）を示さないことになる。ただし、その場所における磁界の方向に対する端末装置７の相対的な方向が方位データによって示されるので、そのような場合であっても方位データに基づいて端末装置７の姿勢または姿勢の変化を算出することが可能である。
【０１７０】
なお、端末操作データ１０４は、端末装置７に対する操作を表すものであればよく、本実施形態において端末操作データ１０４が含む上記各データのいずれか１つのみを含むものであってもよい。また、端末装置７が他の入力手段（例えば、タッチパッドや、コントローラ５の撮像手段等）を有する場合には、端末操作データ１０４は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。なお、本実施形態のように端末装置７自体の動きをゲーム操作として用いる場合には、端末操作データ１０４は、加速度データ、角速度データ、または方位データのように、端末装置７の動きに関する情報を表すデータ（動きに応じて値が変化するデータ）を含むことが好ましい。なお、端末装置７の動きに関する情報とは、例えば、端末装置７の位置、姿勢、位置の変化（速度）、姿勢の変化（角速度）、加速度、角加速度等の情報である。
【０１７１】
また、カメラ画像データ１０５は、端末装置７のカメラ５６によって撮像された画像（撮像画像）を表すデータである。カメラ画像データ１０５は、端末装置７から送信されてくる圧縮された画像データがコーデックＬＳＩ２７によって伸張された画像データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。また、マイク音データ１０６は、端末装置７のマイク７９によって検出された音声（マイク音）を表すデータである。マイク音データ１０６は、端末装置７から送信されてくる圧縮された音声データがコーデックＬＳＩ２７によって伸張された音声データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。
【０１７２】
処理用データ領域１０７は、ゲーム装置３における情報処理（図１５等）において用いられる各種のデータが記憶される。本実施形態においては、処理用データ領域１０７には、初期状態データ１０８、番組表データ１０９、ホームページデータ１１０、および、セーブデータ１１１等が記憶される。なお、図１４に示すデータの他、処理用データ領域１０７は、各アプリケーションの実行時において用いられる各種のデータが記憶される。
【０１７３】
初期状態データ１０８は、開始状態に含まれる３種類の状態のうちで、ゲームシステム１が起動された直後に遷移される初期状態を表すデータである。初期状態データ１０８はどのように設定されてもよいが、本実施形態においては、ゲームシステム１が終了される場合（電源がオフにされる、あるいはスリープ状態にされる場合）、その時点における状態に基づいて決定される。
【０１７４】
番組表データ１０９は、上述の第１テレビ操作状態への遷移時において端末装置７に表示されるテレビの番組表を生成するためのデータである。本実施形態においては、番組表のデータが適宜のタイミングでネットワーク９０を介して所定のサーバから取得され、当該データが番組表データ１０９としてメインメモリに記憶される。本実施形態においては、ゲームシステム１が第１テレビ操作状態へ遷移した場合、番組表データ１０９に基づいて生成される番組表が端末装置７にまず表示される。
【０１７５】
ホームページデータ１１０は、上述のブラウザ状態への遷移時において端末装置７に表示されるホームページ（ブラウザ機能の開始時に表示されるウェブページ）を生成するためのデータである。本実施形態においては、予め設定されたホームページのデータが適宜のタイミングでネットワーク９０を介して所定のサーバから取得され、当該データがホームページデータ１１０としてメインメモリに記憶される。本実施形態においては、ゲームシステム１がブラウザ状態へ遷移した場合、ホームページデータ１１０に基づいて生成されるウェブページの画像が端末装置７にまず表示される。
【０１７６】
セーブデータ１１１は、ゲームプログラム１０２等のアプリケーションのセーブデータである。詳細は後述するが、アプリケーションの実行が終了される場合、ゲームの内容を表し、ゲームの再開に必要なゲームパラメータを表すデータがセーブデータ１１１としてメインメモリに記憶される。
【０１７７】
次に、図１５〜図２４を参照して、ゲームシステム１（ゲーム装置３）において実行される情報処理の流れを詳細に説明する。図１５は、ゲーム装置３で実行される開始処理の流れを示すフローチャートである。開始処理は、ゲームシステム１（ゲーム装置３）の起動に応じて実行される処理である。すなわち、ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。その後、フラッシュメモリ１７に記憶されたメインプログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該メインプログラムの実行が開始される。図１５に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。
【０１７８】
なお、図面に示す各フローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値が採用されてもよい。また、本明細書では、各フローチャートの各ステップの処理をＣＰＵ１０が実行するものとして説明するが、各フローチャートにおける一部のステップの処理を、ＣＰＵ１０以外のプロセッサや専用回路が実行するようにしてもよい。
【０１７９】
まずステップＳ１において、ＣＰＵ１０は、開始状態に含まれる３つの状態（メニュー状態、第１テレビ操作状態、およびブラウザ状態）のうちで、最初に遷移すべき初期状態を決定する。ここで、初期状態はどのように決定されてもよく、本実施形態においては、前回のゲームシステム１の終了時における状態に基づいて次回の起動時における初期状態が決定される。すなわち、ゲームシステム１が終了される場合（電源がオフにされる、あるいはスリープ状態にされる場合）、その時点における状態を表すデータがフラッシュメモリ１７に記憶される。そして、ステップＳ１において、ＣＰＵ１０は、フラッシュメモリ１７から上記データを読み出し、当該データが表す状態に基づいて初期状態を決定する。具体的には、開始状態に含まれる３つの状態のうちのいずれかを上記データが表す場合、当該データが表す状態が初期状態として決定される。また、上記データがアプリ実行状態あるいは中断状態を表す場合、メニュー状態が初期状態として決定される。以上のようにして決定された初期状態を表すデータは初期状態データとしてメインメモリに記憶される。以上のように、本実施形態においては、前回のゲームシステム１の終了時における状態が初期状態となるので、前回ゲームシステム１を使用したユーザは、適切な状態でゲームシステム１の使用を開始することができる。ステップＳ１の次にステップＳ２の処理が実行される。
【０１８０】
なお、他の実施形態においては、初期状態は、他の方法で決定されてもよい。例えば、初期状態は、ユーザによって予め指定された状態に決定されてもよい。これによっても本実施形態と同様、ユーザにとって適切な状態でゲームシステム１の使用を開始することができる。また例えば、ゲーム装置３がユーザを識別可能な場合には、ゲームシステム１を利用する各ユーザに応じた状態となるように初期状態が決定されてもよい。これによれば、１つのゲームシステム１を複数人のユーザが使用する場合においても、各ユーザがそれぞれ自分に適した状態でゲームシステム１の使用を開始することができる。なお、「各ユーザに応じた状態」とは、そのユーザが前回にゲームシステム１を使用した際における終了時の状態に基づいて決定された状態であってもよいし、ユーザが指定した状態であってもよい。また、ユーザを識別する方法はどのような方法であってもよい。例えば、ＣＰＵ１０は、ＩＤおよび／またはパスワードを起動時にユーザに入力させることによってユーザを識別してもよい。また例えば、ＣＰＵ１０は、端末装置７のカメラ５６によってユーザの顔を撮像し、撮像画像を用いてユーザを識別してもよい。具体的には、ユーザの顔を撮像した画像を予め登録しておき、カメラ５６による撮像画像と登録された画像とを比較することによって、ユーザを識別することができる。
【０１８１】
ステップＳ２およびＳ３においては、番組表およびホームページのデータが予め取得される。ここで、これらのデータは、どのようなタイミングで取得されてもよく、本実施形態においては、ゲームシステム１の起動時に取得される。なお、他の実施形態においては、これらのデータは、番組表またはホームページを表示すべき状態（すなわち、第１テレビ操作状態またはブラウザ状態）へ遷移する時点で取得されてもよい。また、ホームページのデータに関しては、一般的なブラウザにおけるキャッシュ機能を用いて、以前にゲームシステム１が使用された際に取得されたデータが保存されてもよい。
【０１８２】
ステップＳ２において、ＣＰＵ１０は、所定のサーバ（外部装置９１）からネットワーク９０を介して番組表を取得する。すなわち、ＣＰＵ１０はまず、番組表の取得要求を生成し、ネットワーク９０を介して上記サーバへ取得要求を送信する。このサーバは、番組表のデータを記憶するウェブサーバ等、番組表のデータを提供することが可能なものであればどのようなものであってもよい。上記取得要求に応じて、サーバはネットワーク９０を介して番組表のデータをゲーム装置３へ送信する。サーバから送信されてくる番組表のデータはフラッシュメモリ１７（またはメインメモリ）に記憶される。なお、他の実施形態においては、上記サーバから取得されたデータに代えて、当該データから生成される番組表の画像データが番組表データ１０９として記憶されてもよい。ステップＳ２の次にステップＳ３の処理が実行される。
【０１８３】
ステップＳ３において、ＣＰＵ１０は、ブラウザ機能の開始時にアクセスされるウェブページ（ホームページ）のデータを取得する。すなわち、ＣＰＵ１０はまず、上記ウェブページの取得要求を生成し、ネットワーク９０を介して所定のサーバへ取得要求を送信する。このサーバは、予め設定された上記ウェブページを提供する情報処理装置であればどのようなものであってもよい。上記取得要求に応じて、サーバはネットワーク９０を介してウェブページのデータをゲーム装置３へ送信する。サーバから送信されてくるウェブページのデータはフラッシュメモリ１７（またはメインメモリ）に記憶される。なお、他の実施形態においては、上記サーバから取得されたデータに代えて、当該データから生成されるウェブページの画像データがホームページデータ１１０として記憶されてもよい。ステップＳ３の後、ＣＰＵ１０は開始処理を終了する。
【０１８４】
開始処理の終了後は、ステップＳ１で決定された初期状態に応じた処理が実行される。すなわち、初期状態がメニュー状態である場合には後述するメニュー処理が実行され、初期状態が第１テレビ操作状態である場合には後述するテレビ処理が実行され、初期状態がブラウザ状態である場合には後述するブラウザ処理が実行される。以下、メニュー処理、テレビ処理、およびブラウザ処理の詳細について説明する。
【０１８５】
（メニュー処理）
図１６は、ゲーム装置３で実行されるメニュー処理の流れを示すフローチャートである。まずステップＳ１１において、ＣＰＵ１０は端末装置７から各種データを取得する。ここで、端末装置７からは、少なくとも端末操作データが取得され、本実施形態においては、カメラ画像データおよびマイク音データがさらに取得される。端末装置７は、上記各データ（端末操作データ、カメラ画像データ、およびマイク音データ）をゲーム装置３へ繰り返し送信するので、ゲーム装置３は各データを逐次受信する。ゲーム装置３においては、端末通信モジュール２８が各データを逐次受信し、カメラ画像データおよびマイク音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ１１ａが端末操作データとカメラ画像データとマイク音データとをメインメモリに逐次記憶する。ＣＰＵ１０は、適宜のタイミングで上記各データをメインメモリから読み出す。ステップＳ１１の次にステップＳ１２の処理が実行される。
【０１８６】
ステップＳ１２において、ＣＰＵ１０はアプリ選択画像を端末装置７に表示させる。すなわち、ＣＰＵ１０は、アプリ選択画像を生成し、生成されたアプリ選択画像を端末装置７へ出力（送信）する。アプリ選択画像は、ゲーム装置３が実行可能なアプリケーションをユーザが選択することができる画像であればどのようなものであってもよい。以下、図１７を参照して、本実施形態におけるアプリ選択画像について説明する。
【０１８７】
図１７は、端末装置７に表示されるアプリ選択画像の一例を示す図である。図１７に示すように、アプリ選択画像は、アプリ領域１２１、通知領域１２３、テレビアイコン１２５、ブラウザアイコン１２６を含む。図１７に示すアプリ選択画像は、ゲーム装置３において実行すべきアプリケーションを選択するためのメニュー画像である。
【０１８８】
図１７において、アプリ領域１２１は、１以上のアプリアイコン１２２を表示する領域である。アプリアイコン１２２は、ゲーム装置３が実行可能なアプリケーションを表す画像（アイコン）である。本実施形態においてはアプリアイコン１２２を選択する操作によって、アプリアイコン１２２によって表されるアプリケーションが実行される。なお、図１７においては、アプリ領域１２１は所定のスクロール操作に応じて左右にスクロールすることが可能であり、左右にスクロールすることによって、表示されるアプリアイコン１２２が変更される。また、通知領域１２３は、ユーザに対する通知事項を表示する領域である。通知領域１２３には、どのような情報が表示されてもよく、例えば、新しいアプリケーションの紹介や、ゲームシステム１を用いた各種のサービスに関する通知等が表示される。なお、ゲーム装置３は、適宜のタイミングでネットワーク９０を介して所定のサーバにアクセスして通知事項の情報を取得することによって、通知事項の内容を更新するようにしてもよい。
【０１８９】
また、テレビアイコン１２５は、上記第１テレビ操作状態へ遷移する指示を表す画像である。詳細は後述するが、本実施形態においてはテレビアイコン１２５を選択する操作（上記変更操作）によって、ゲームシステム１は第１テレビ操作状態へ遷移する。また、ブラウザアイコン１２６は、上記ブラウザ状態へ遷移する指示を表す画像である。詳細は後述するが、本実施形態においてはブラウザアイコン１２６を選択する操作（上記変更操作）によって、ゲームシステム１はブラウザ状態へ遷移する。つまり、メニュー状態においては、テレビアイコン１２５またはブラウザアイコン１２６を選択する操作を行うことによって、ユーザは、第１テレビ操作状態またはブラウザ状態へゲームシステム１を容易に遷移させることができる。
【０１９０】
上記ステップＳ１２において、ＣＰＵ１０およびＧＰＵ１１ｂは、各種アイコンの画像データ等、アプリ選択画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、読み出したデータを用いてアプリ選択画像を生成する。生成されたアプリ選択画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、アプリ選択画像を端末装置７へ出力する。具体的には、ＶＲＡＭ１１ｄに記憶されたアプリ選択画像の画像データは、ＣＰＵ１０によってコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。圧縮処理が施された画像のデータは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像のデータを無線モジュール８０によって受信し、受信された画像データに対してコーデックＬＳＩ７６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力される。これによって、アプリ選択画像がＬＣＤ５１に表示される。また、ステップＳ１２においては、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ７７から音声が出力されてもよい。ステップＳ１２の次にステップＳ１３の処理が実行される。
【０１９１】
ステップＳ１３において、テレビ用画像をテレビ２に表示させる。すなわち、ＣＰＵ１０は、所定のテレビ用画像を生成し、生成されたテレビ用画像をテレビ２へ出力する。メニュー状態において表示されるテレビ用画像は、どのような内容であってもよい。テレビ用画像は、例えば、ゲーム装置３が実行可能なアプリケーションに関する画像（例えば、ゲームアプリケーションのタイトル画像やデモ動画）であってもよいし、上記通知領域１２３に表示される画像であってもよい。なお、メニュー状態においてはテレビ２がゲームシステム１以外の用途（例えばテレビ番組を表示する用途）で利用される態様も想定されるので、テレビ用画像は、上記のような補助的な内容であることが好ましい。
【０１９２】
上記ステップＳ１３においては、ＣＰＵ１０およびＧＰＵ１１ｂは、テレビ用画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、テレビ用画像を生成する。生成されたテレビ用画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、テレビ２へゲーム画像を出力する。具体的には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶されたテレビ用画像のデータをＡＶ−ＩＣ１５へ送る。これに応じて、ＡＶ−ＩＣ１５はテレビ用画像のデータを、ＡＶコネクタ１６を介してテレビ２へ出力する。これによって、テレビ用画像がテレビ２に表示される。また、ステップＳ１３においては、画像のデータと共に音声のデータがテレビ２へ出力され、テレビ２のスピーカ２ａから音声が出力されてもよい。ステップＳ１３の次にステップＳ１４の処理が実行される。
【０１９３】
ステップＳ１４において、ＣＰＵ１０は、選択指示があったか否かを判定する。選択指示は、実行すべきアプリケーションを選択する指示である。選択指示を行うための操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるアプリアイコン１２２をタッチする操作によって選択指示が行われる。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるアプリアイコン１２２のいずれかがタッチされたか否かを判定する。なお、他の実施形態においては、例えば端末装置７に表示されるカーソルを用いて選択指示が行われてもよい。すなわち、ＣＰＵ１０は、端末装置７に対する方向入力操作（例えばアナログスティック５３に対する方向入力操作）に応じてカーソルを移動させ、カーソルがアプリアイコン１２２を指し示す状態で所定の操作が行われた場合に、当該アプリアイコン１２２が指定されたと判定するようにしてもよい。上記ステップＳ１４の判定結果が肯定である場合、ステップＳ１５の処理が実行される。一方、上記ステップＳ１４の判定結果が否定である場合、ステップＳ１６の処理が実行される。
【０１９４】
ステップＳ１５において、ＣＰＵ１０は、上記選択指示によって選択されたアプリケーションを実行する。すなわち、ＣＰＵ１０は、選択されたアプリケーションが記憶されている記憶部（光ディスク４やフラッシュメモリ１７等）から当該アプリケーションを読み出し、メインメモリに記憶する。そして、メインメモリに記憶されたアプリケーションの実行を開始する。ステップＳ１５の後、ＣＰＵ１０はメニュー処理を終了し、アプリ実行処理を実行する。これによってゲームシステム１はアプリ実行状態へ遷移することとなる。
【０１９５】
なお、図示しないが、アプリ実行処理においては、アプリケーションに応じた情報処理が実行される。実行されるアプリケーションはどのような内容であってもよく、アプリケーションの実行による情報処理もどのような処理であってもよい。ＣＰＵ１０は、アプリケーションの実行によって生成された画像を、端末装置７およびテレビ２の少なくとも一方へ出力する。なお、生成された画像を端末装置７に表示するか、テレビ２に表示するか、それとも、端末装置７とテレビ２に表示するかの判断は、どのように行われてもよい。上記の判断は、例えばアプリケーションによって行われてもよいし、ユーザによって行われてもよい。生成された画像が端末装置７のみに表示される場合には、テレビ２にはテレビ番組を表示することができ、ユーザは、テレビ番組を視聴しながらゲームシステム１のアプリケーションを利用することができる。
【０１９６】
一方、ステップＳ１６において、ＣＰＵ１０は、第１テレビ操作状態へ遷移するか否かを判定する。すなわち、ＣＰＵ１０は、メニュー状態から第１テレビ操作状態へと遷移させる変更操作が行われたか否かを判定する。この変更操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるテレビアイコン１２５をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるテレビアイコン１２５がタッチされたか否かを判定する。上記ステップＳ１６の判定結果が肯定である場合、ＣＰＵ１０はメニュー処理を終了し、後述するテレビ処理を実行する。一方、上記ステップＳ１６の判定結果が否定である場合、ステップＳ１７の処理が実行される。
【０１９７】
なお、本実施形態においては、ステップＳ１４，Ｓ１６，Ｓ１７，Ｓ２３，Ｓ２５，Ｓ２６，Ｓ３３，Ｓ３４，Ｓ４３，Ｓ４５，Ｓ４７，Ｓ５０，およびＳ５２等における各種の指示（操作）はタッチパネル５２を用いて行われる。すなわち、ＣＰＵ１０（およびＧＰＵ１１ｂ）は、各種の指示（上記選択指示および制御指示や、上記変更操作の指示等）を表す画像を生成可能であり、当該画像を端末装置７に出力して表示させる。そして、タッチパネル５２において上記画像が選択された（タッチされた）場合に上記指示があったと判定する。これによれば、ユーザはタッチパネルを用いて容易かつ直感的な操作で各種の指示を行うことができる。
【０１９８】
なお、他の実施形態においては、各種の指示は、他の操作によって行われてもよい。例えば、各指示のうちの全部または一部の指示は、端末装置７に表示されるカーソルを用いる操作によって行われてもよい。すなわち、端末装置７に対する方向入力操作に応じてカーソルを移動させ、所定の指示を表す画像（アイコン等）をカーソルが指し示す状態で所定の操作を行うことで当該所定の指示が行われてもよい。また例えば、各指示のうちの全部または一部の指示は、端末装置７のボタン５４Ａ〜５４Ｍのいずれかを押下する操作によって行われてもよい。より具体的には、開始状態における３つの状態を遷移する指示（上記変更操作）は、端末装置７の所定のボタン（例えば第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌ）を押下する操作によって行われてもよい。すなわち、端末装置７の所定のボタンを押下することに応じて、アプリ選択画像と装置制御画像とブラウザ画像とが順に切り替わるようにしてもよい。また例えば、各指示のうちの全部または一部の指示は、端末装置７を動かす操作によって行われてもよい。なお、端末装置７の動きは、慣性センサ（加速度センサ７３およびジャイロセンサ７４）や磁気センサ７２の検出結果を用いて算出（推測）することができる。
【０１９９】
ステップＳ１７において、ＣＰＵ１０は、ブラウザ状態へ遷移するか否かを判定する。具体的には、ＣＰＵ１０は、ウェブページを表示する表示指示があったか否か、換言すれば、メニュー状態からブラウザ状態へと遷移させる変更操作が行われたか否かを判定する。この変更操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるブラウザアイコン１２６をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるブラウザアイコン１２６がタッチされたか否かを判定する。上記ステップＳ１７の判定結果が肯定である場合、ＣＰＵ１０はメニュー処理を終了し、後述するブラウザ処理を実行する。一方、上記ステップＳ１７の判定結果が否定である場合、ステップＳ１１の処理が再度実行される。以降ステップＳ１４，Ｓ１６，およびＳ１７のいずれかの判定における判定結果が肯定となるまで、メニュー処理が繰り返し実行される。
【０２００】
（テレビ処理）
図１８は、ゲーム装置３で実行されるテレビ処理の流れを示すフローチャートである。テレビ処理は、初期状態が第１テレビ操作状態に決定された場合、または、メニュー状態あるいはブラウザ状態から第１テレビ操作状態へと遷移する変更操作が行われた場合に実行される。まずステップＳ２１において、ＣＰＵ１０は端末装置７から各種データを取得する。ステップＳ２１の処理は上述のステップＳ１１と同様である。ステップＳ２１の次にステップＳ２２の処理が実行される。
【０２０１】
ステップＳ２２において、ＣＰＵ１０は、装置制御画像を端末装置７に表示する。すなわち、ＣＰＵ１０は、装置制御画像を生成し、生成された装置制御画像を端末装置７へ出力（送信）する。装置制御画像は、テレビ２に対する操作を表す操作画像であればどのようなものであってもよい。本実施形態においては、ネットワーク９０を介して外部装置９１から取得されるテレビの番組表の画像が装置制御画像として表示される。以下、図１９を参照して、本実施形態における装置制御画像について説明する。
【０２０２】
図１９は、端末装置７に表示される装置制御画像の一例を示す図である。図１９に示すように、装置制御画像は、番組表領域１３０、各種の操作ボタン画像１３６〜１３８、メニューアイコン１２４、および、ブラウザアイコン１２６を含む。図１９に示す装置制御画像は、テレビ２に対する制御指示を表す画像を含む、番組表の画像である。
【０２０３】
図１９において、番組表領域１３０は、ネットワーク９０を介して所定のサーバから取得されるデータに基づいて生成される番組表を表示する領域である。ここでは、番組表領域１３０には、チャンネル画像１３１、番組情報領域１３２、選局指示ボタン１３３、および、スクロールバー１３４が含まれる。チャンネル画像１３１は、テレビのチャンネルと番組名とを表す画像である。図１９では、チャンネル画像１３１が縦に並んで配置され、ユーザは、スクロールバー１３４のつまみ１３５を移動させることによって、チャンネル画像１３１を上下にスクロールして表示させることができる。番組情報領域１３２は、表示されるチャンネル画像１３１のうちの所定のチャンネル画像１３１が表すテレビ番組の番組情報（番組の内容や出演者等）が表示される領域である。ここでは、所定のチャンネル画像１３１とは、ユーザがタッチしたチャンネル画像１３１である。
【０２０４】
また、選局指示ボタン１３３は、テレビ２に対する制御指示を表す画像であり、具体的には、上記所定のチャンネル画像が表すチャンネルを選局する旨の制御指示を表す。なお、制御指示を表す画像は選局指示ボタン１３３に限らず、例えば、テレビ２の電源をオンまたはオフする制御指示を表すボタン、テレビ２の音量を変更する制御指示を表すボタン、あるいは、テレビ２に対する入力切替の制御指示を表すボタン等が装置制御画像に含まれていてもよい。
【０２０５】
また、日付操作ボタン１３６は、表示すべき番組表の日付（および時刻）を変更する指示を行うためのボタンである。詳細表示ボタン１３７は、上記番組情報領域１３２に表示される内容よりも詳細な情報を表示する指示を行うためのボタンである。設定ボタン１３８は、番組表や端末装置７に関する設定画面を表示する指示を行うためのボタンである。なお、上記の他、例えば番組表を検索するための画像や、お気に入りの番組リストを表示するための画像等が端末装置７に表示されてもよい。以上の番組表の画像を用いて、ユーザは、テレビ番組の内容を閲覧したり、所望のチャンネルを選局するようにテレビ２を操作したりすることが可能である。本実施形態においては、第１テレビ操作状態においてテレビの番組表が表示されるので、ユーザは番組表を見てテレビ２のチャンネル操作を行うことができ、便利である。
【０２０６】
また、メニューアイコン１２４は、上記メニュー状態へ遷移する指示を表す画像である。詳細は後述するが、本実施形態においてはメニューアイコン１２４を選択する操作（上記変更操作）によって、ゲームシステム１はメニュー状態へ遷移する。また、ブラウザアイコン１２６は、図１６に示すものと同じである。したがって、第１テレビ操作状態においては、メニューアイコン１２４またはブラウザアイコン１２６を選択する操作を行うことによって、ユーザは、メニュー状態またはブラウザ状態へゲームシステム１を容易に遷移させることができる。
【０２０７】
上記ステップＳ２２において、ＣＰＵ１０およびＧＰＵ１１ｂは、装置制御画像を生成するために必要なデータをメインメモリおよびＶＲＡＭ１１ｄから読み出し、読み出したデータを用いて装置制御画像を生成する。本実施形態においては、上記番組表領域１３０内に表示される画像は、メインメモリに記憶される番組表データ１０９を用いて生成される。したがって、本実施形態においては、第１テレビ操作状態へ遷移した直後であっても装置制御画像を端末装置７に迅速に表示することができる。また、生成された装置制御画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、装置制御画像を端末装置７へ出力する。画像を端末装置７へ出力することによって端末装置７に当該画像を表示させる処理については上記ステップＳ１２と同様である。これによって、装置制御画像はＬＣＤ５１に表示される。また、ステップＳ２２においては、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ７７から音声が出力されてもよい。ステップＳ２２の次にステップＳ２３の処理が実行される。
【０２０８】
ステップＳ２３において、制御指示があったか否かを判定する。制御指示は、テレビ２に対する制御を行う指示である。制御指示を行うための操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示される、制御指示を表すボタン（選局指示ボタン１３３）をタッチする操作によって制御指示が行われる。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示される上記ボタンがタッチされたか否かを判定する。上記ステップＳ２３の判定結果が肯定である場合、ステップＳ２４の処理が実行される。一方、上記ステップＳ２３の判定結果が否定である場合、ステップＳ２４の処理がスキップされてステップＳ２５の処理が実行される。
【０２０９】
ステップＳ２４において、ＣＰＵ１０は、上記制御指示に応じた制御をテレビ２に対して行う。ここで、ゲームシステム１がテレビ２を制御する方法はどのような方法であってもよい。本実施形態においては、ゲーム装置３が端末装置７を介してテレビ２へ制御信号を出力する第１の方法と、ゲーム装置３が直接テレビ２へ制御信号を出力する第２の方法とによってテレビ２を制御する。
【０２１０】
第１の方法では、ＣＰＵ１０は、上記制御指示に応じた制御内容を示す制御信号を送信する旨の指示を端末装置７に対して行う。この指示に従って、端末装置７は、テレビ２を制御するための制御信号を出力する。具体的には、ＣＰＵ１０は、上記の指示を表す制御データを端末装置７へ出力する。なお、本実施形態においては、テレビ２に対して各種の動作を行わせるための各種の制御信号を表すデータがフラッシュメモリ１７あるいはメインメモリに記憶されている。ＣＰＵ１０は、上記各種の制御信号のうちから、上記制御指示に応じた制御信号を表すデータを選出し、制御データとして端末装置７へ出力する。制御データを受信した端末装置７は、上記制御データが表す制御信号を出力する。本実施形態においては、制御信号として赤外線信号が出力される。すなわち、端末装置７のコーデックＬＳＩ７６は、上記制御データが表す制御信号に対応する赤外線信号を赤外線通信モジュール８２に出力させる。この赤外線信号がテレビ２の赤外線受光部によって受光されることで、テレビ２が制御指示に応じた動作を行う。
【０２１１】
第２の方法では、ＣＰＵ１０は、制御指示に応じた制御内容を示す制御信号をテレビ２へ出力する。すなわち、ＣＰＵ１０は、テレビ２に対して各種の動作を行わせるための各種の制御信号のうちから、上記制御指示に応じた制御信号（例えば、ＨＤＭＩ規格に則った形式の信号）を選出する。そして、選出した制御信号をＡＶコネクタ１６を介してテレビ２に出力する。これによっても、テレビ２は制御指示に応じた動作を行うこととなる。
【０２１２】
なお、テレビ２を制御するための上記制御信号（赤外線信号）の形式は、テレビ２の機種によって異なる場合がある。したがって、ゲーム装置３は、複数の機種に対応する各形式の制御信号を予め記憶しておくようにしてもよい。このとき、ゲーム装置３は、所定のタイミングで（例えば初期設定時に）テレビ２に応じた形式を選択し、以降は、選択された形式の制御信号を用いるようにしてもよい。これによって、ゲーム装置３は、複数種類の機種のテレビに対応することができる。
【０２１３】
なお、本実施形態においては、ゲーム装置３は、上記２つの方法のうち少なくとも一方を用いてテレビ２を制御してもよいし、両方の方法を用いてテレビ２を制御してもよい。上記ステップＳ２４の後、ステップＳ２５の処理が実行される。
【０２１４】
ステップＳ２５において、ＣＰＵ１０は、メニュー状態へ遷移するか否かを判定する。すなわち、ＣＰＵ１０は、第１テレビ操作状態からメニュー状態へと遷移させる変更操作が行われたか否かを判定する。この変更操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるメニューアイコン１２４をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるメニューアイコン１２４がタッチされたか否かを判定する。上記ステップＳ２５の判定結果が肯定である場合、ＣＰＵ１０はテレビ処理を終了し、上述のメニュー処理を実行する。一方、上記ステップＳ２５の判定結果が否定である場合、ステップＳ２６の処理が実行される。
【０２１５】
ステップＳ２６において、ＣＰＵ１０は、ブラウザ状態へ遷移するか否かを判定する。ステップＳ２６の処理は上述のステップＳ１７の処理と同様である。ステップＳ２６の判定結果が肯定である場合、ＣＰＵ１０はテレビ処理を終了し、後述するブラウザ処理を実行する。一方、上記ステップＳ２６の判定結果が否定である場合、ステップＳ２７の処理が実行される。
【０２１６】
ステップＳ２７において、ＣＰＵ１０は、その他のテレビ処理を実行する。その他のテレビ処理とは、上記ステップＳ２１〜Ｓ２６の処理以外にテレビ処理において実行される処理である。例えば、ＣＰＵ１０は、上記操作ボタン画像１３６〜１３８に対する選択操作に応じて番組表領域１３０の表示内容を変更する処理や、スクロールバー１３４に対するスクロール操作に応じてチャンネル画像１３１をスクロールさせて表示する処理等を実行する。また、本実施形態においては、第１テレビ操作状態においてはテレビ２がテレビ番組を表示する用途で用いられることを想定して、ステップＳ２７においてＣＰＵ１０はテレビ用画像を生成・出力しないものとする。ただし、他の実施形態においては、テレビ用画像が生成・出力されてもよい。例えば、上記番組表を表す装置制御画像がテレビ用画像としてテレビ２へ出力されて表示されてもよい。これによれば、ユーザは、より大きな画面で番組表を閲覧することができる。
【０２１７】
上記ステップＳ２７の次に、ステップＳ２１の処理が再度実行される。以降、ステップＳ２５およびＳ２６のいずれかの判定における判定結果が肯定となるまで、テレビ処理が繰り返し実行される。
【０２１８】
以上のテレビ処理によれば、ユーザは、番組表を端末装置７によって閲覧することができる（ステップＳ２２）とともに、テレビ２に対する操作を行うことができる（ステップＳ２３，Ｓ２４）。また、ユーザは、第１テレビ操作状態からメニュー状態あるいはブラウザ状態への遷移を変更操作によって容易に行うことができる（ステップＳ２５，Ｓ２６）。
【０２１９】
なお、他の実施形態においては、メニュー状態あるいはブラウザ状態から第１テレビ操作状態への遷移時に、（テレビ放送を表示するように）テレビ２の入力が切り替えられてもよい。すなわち、テレビ２が、ゲーム装置３から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能である場合において、ＣＰＵ１０は、端末装置７においてアプリ選択画像（あるいはブラウザ画像）から装置制御画像への表示の切り替えが行われることに応じて、テレビ２のモードを第２モードへ切り替える制御を行ってもよい。具体的には、テレビ処理の開始時において、ＣＰＵ１０は、テレビ放送を表示する第２モードとなるようにテレビ２に対して入力切替の制御を行うようにしてもよい。これによれば、第１テレビ操作状態への遷移時にユーザはテレビ２の入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。なお、入力切替の制御は、上記ステップＳ２４における第１の方法で行われてもよいし第２の方法で行われてもよい。
【０２２０】
また、他の実施形態においては、第１テレビ操作状態からメニュー状態あるいはブラウザ状態への遷移時に、（ゲーム装置３からの画像を表示するように）テレビ２の入力が切り替えられてもよい。すなわち、テレビ２が、ゲーム装置３から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能である場合において、ＣＰＵ１０は、端末装置７において装置制御画像からアプリ選択画像（あるいはブラウザ画像）への表示の切り替えが行われることに応じて、テレビ２のモードを第１モードへ切り替える制御を行ってもよい。具体的には、ステップＳ１６の判定結果が肯定となる場合、ＣＰＵ１０は、ゲーム装置３からの画像を表示する第１モードとなるようにテレビ２に対して入力切替の制御を行うようにしてもよい。また、ステップＳ１７の判定結果が肯定となる場合、ＣＰＵ１０は、上記第１モードとなるようにテレビ２に対して入力切替の制御を行うようにしてもよい。これによれば、第１テレビ操作状態から他の状態への遷移時にユーザはテレビ２の入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。なお、入力切替の制御は、上記ステップＳ２４における第１の方法で行われてもよいし第２の方法で行われてもよい。
【０２２１】
なお、テレビ２の機種によっては、複数種類の入力を順に切り替える指示（例えば、入力番号が「入力１」から「入力５」までの５種類の入力を順に１つずつ切り替える指示）のみが可能であり、テレビ放送を表示する第２モードを指定して入力を切り替える指示を行うことができない場合がある。その場合には、第１モードと第２モードとの間の切り替えに必要となる入力切替の指示回数を予め登録しておき、ＣＰＵ１０は、登録しておいた回数だけ入力切替の指示を行うようにしてもよい。例えば、テレビ放送を表示するのが「入力１」で、ゲーム装置３からの画像を表示するのが「入力３」であり、「入力１」から「入力３」へ切り替えるために入力切替の指示が２回必要である場合、ゲーム装置３は、入力切替の指示回数として“２”を記憶しておく。なお、ゲームシステム１の初期設定時において、ゲーム装置３に対応する入力の番号をユーザに登録させることによって、ゲーム装置３が上記の回数を算出することも可能である。
【０２２２】
（ブラウザ処理）
図２０は、ゲーム装置３で実行されるブラウザ処理の流れを示すフローチャートである。まずステップＳ２１において、ブラウザ画像として上記ホームページの画像を端末装置７に表示する。すなわち、ＣＰＵ１０は、ブラウザ画像を生成し、生成されたブラウザ画像を端末装置７へ出力（送信）する。ブラウザ画像は、ネットワーク９０を介して取得されるウェブページを含む画像であればどのようなものであってもよい。以下、図２１を参照して、本実施形態におけるブラウザ画像について説明する。
【０２２３】
図２１は、端末装置７に表示されるブラウザ画像の一例を示す図である。図２１に示すように、ブラウザ画像は、ウェブページ表示領域１４１、スクロールバー１４２、戻るボタン１４３、進むボタン１４４、キーワード領域１４５、検索ボタン１４６、リモコン表示ボタン１４７を含む。さらに、ブラウザ画像には、上述のメニューアイコン１２４およびテレビアイコン１２５が含まれる。図２１に示すブラウザ画像は、ウェブページを表示するとともにウェブページに対する操作を行うための操作画像である。
【０２２４】
図２１において、ウェブページ表示領域１４１は、ネットワーク９０から取得されるデータに基づいて生成されるウェブページの画像が表示される領域である。ウェブページ表示領域１４１に表示されるウェブページは、スクロールバー１４２のつまみを上下に移動させることによって上下にスクロールして表示させることができる。戻るボタン１４３は、現在表示されているウェブページの１つ前に表示したウェブページを表示させる指示を表す画像である。進むボタン１４４は、現在表示されているウェブページの１つ後に表示したウェブページを表示させる指示を表す画像である。キーワード領域１４５は、入力された検索キーワードが表示される領域である。検索ボタン１４６は、検索キーワードを用いてウェブページの検索を行う指示を表す画像である。上記ボタン１４３〜１４６は、従来の一般的なブラウザにおけるボタンと同様の機能であってもよい。
【０２２５】
リモコン表示ボタン１４７は、リモコン画像（図２４）を表示させる指示を表す画像である。リモコン画像の詳細については、後述する中断時処理において説明する。また、メニューアイコン１２４およびテレビアイコン１２５は、図１６および図１８に示すものと同じである。したがって、ブラウザ状態においては、メニューアイコン１２４またはテレビアイコン１２５を選択する操作を行うことによって、ユーザは、メニュー状態または第１テレビ操作状態へゲームシステム１を容易に遷移させることができる。
【０２２６】
上記ステップＳ３１において、ＣＰＵ１０およびＧＰＵ１１ｂは、ブラウザ画像を生成するために必要なデータをメインメモリおよびＶＲＡＭ１１ｄから読み出し、読み出したデータを用いてブラウザ画像を生成する。なお、本実施形態におけるステップＳ１においては、上記ウェブページ表示領域１４１内に表示される画像は、メインメモリに記憶されるホームページデータ１１０を用いて生成される。したがって、本実施形態においては、ブラウザ状態へ遷移した直後であってもブラウザ画像を端末装置７に迅速に表示することができる。また、生成されたブラウザ画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、ブラウザ画像を端末装置７へ出力する。画像を端末装置７へ出力することによって端末装置７に当該画像を表示させる処理については上記ステップＳ１２と同様である。これによって、ブラウザ画像はＬＣＤ５１に表示される。なお、ＣＰＵ１０は、ブラウザ画像の少なくとも一部の領域を端末装置７へ出力すればよい。例えば、ＣＰＵ１０は、ブラウザ画像のうちの一部の領域を拡大して端末装置７に表示させるようにしてもよい。これによれば、一般的にはテレビ２の画面よりも小さい画面を有する端末装置７においてもブラウザ画像を見やすく表示することができる。また、ステップＳ３１においては、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ７７から音声が出力されてもよい。ステップＳ３１の次にステップＳ３２の処理が実行される。
【０２２７】
ステップＳ３２において、ＣＰＵ１０は端末装置７から各種データを取得する。ステップＳ３２の処理は上述のステップＳ１１と同様である。ステップＳ３２の次にステップＳ３３の処理が実行される。
【０２２８】
ステップＳ３３において、ＣＰＵ１０は、メニュー状態へ遷移するか否かを判定する。ステップＳ３３の処理は上述のステップＳ２５の処理と同様である。ステップＳ３３の判定結果が肯定である場合、ＣＰＵ１０はブラウザ処理を終了し、上記メニュー処理を実行する。一方、上記ステップＳ３３の判定結果が否定である場合、ステップＳ３４の処理が実行される。
【０２２９】
ステップＳ３４において、ＣＰＵ１０は、第１テレビ操作状態へ遷移するか否かを判定する。ステップＳ３４の処理は上述のステップＳ１６の処理と同様である。ステップＳ３４の判定結果が肯定である場合、ＣＰＵ１０はブラウザ処理を終了し、上記テレビ処理を実行する。一方、上記ステップＳ３４の判定結果が否定である場合、ステップＳ３５の処理が実行される。
【０２３０】
ステップＳ３５において、ＣＰＵ１０は、その他のブラウザ処理を実行する。その他のブラウザ処理とは、上記ステップＳ３１〜Ｓ３４の処理以外にブラウザ処理において実行される処理である。例えば、ＣＰＵ１０は、上記ボタン１４３〜１４６に対する選択操作に応じてボタンに応じた処理を実行したり、スクロールバー１４２に対するスクロール操作に応じてウェブページをスクロールさせて表示する処理等を実行したりする。その他、ＣＰＵ１０は、ステップＳ３５ウェブページに含まれるリンク情報に対する選択操作が行われた場合にリンク先のウェブページを取得する処理や、ウェブページに動画が含まれる場合に当該動画を再生する処理等を実行する。上記ステップＳ３５においては、一般的なブラウザにおいて実行される種々の処理が実行されてもよい。
【０２３１】
また、ＣＰＵ１０は、テレビ用画像を生成してテレビ２へ出力する処理を実行してもよい。例えば、ＣＰＵ１０は、ウェブページの全部または一部の画像をテレビ２へ出力してもよい。具体的には、端末装置７に表示されるウェブページに動画が含まれる場合、ＣＰＵ１０は、動画を構成する画像をテレビ２へ逐次出力してもよい。これによれば、ユーザは、ウェブページの動画をより大きなテレビ２の画面で視聴することができる。
【０２３２】
なお、本実施形態においてはブラウザ画像は少なくとも端末装置７に表示されるものとしたが、ブラウザ画像は端末装置７およびテレビ２の少なくとも一方に表示されればよい。ブラウザ画像が端末装置７に表示される場合には、テレビ２を他の用途に利用することができるというメリットがある。また、ブラウザ画像がテレビ２に表示される場合には、ブラウザ画像を大きな画面で見やすく表示することができ、例えばウェブページに含まれる動画をテレビ２に表示することも可能である。また、他の実施形態においては、ブラウザ画像を出力する対象となる表示装置をユーザが選択できるようにしてもよい。
【０２３３】
上記ステップＳ３５の次に、ステップＳ３２の処理が再度実行される。以降、ステップＳ３３およびＳ３４のいずれかの判定における判定結果が肯定となるまで、ブラウザ処理が繰り返し実行される。
【０２３４】
以上に説明した開始状態における処理（メニュー処理、テレビ処理、およびブラウザ処理）によれば、ゲーム装置３は、メイン操作画像として、アプリ選択画像と、装置制御画像と、ブラウザ画像とを生成可能である。そして、アプリ選択画像と装置制御画像とブラウザ画像とを所定の変更操作に応じて切り替えて端末装置７へ出力する。したがって、ユーザは、アプリケーションを選択する画面と、番組表を見てテレビを操作する画面と、ウェブページを閲覧する画面とを変更操作によって容易に切り替え、種々の用途でゲームシステム１を利用することができる。特に、本実施形態においては、開始状態における３種類の各状態のいずれかである場合、他の２つの状態へ遷移するための２つのアイコンが常に表示されるので、ユーザは、アイコンを選択する１回の操作で迅速に所望の他の状態へゲームシステム１を遷移させることができる。また、本実施形態によれば、ゲームシステム１を利用してアプリケーションの選択やウェブページの閲覧を行う状態からテレビ番組を視聴しようとする場合、ユーザは、変更操作を行って装置制御画像を端末装置７に表示させて制御指示の操作を行うだけでよく、端末装置７を用いて切り替え操作を容易に行うことができる。
【０２３５】
（中断時処理）
次に、中断時処理の詳細について説明する。図２２は、ゲーム装置３で実行されるアプリ中断処理の流れを示すフローチャートである。上述のアプリ実行状態においては、アプリケーションに応じた処理内容でアプリ実行処理が実行される。ここで、アプリ実行状態において所定の中断操作が行われた場合、ＣＰＵ１０は、アプリ実行処理を中止（一時停止）し、図２２に示すアプリ中断処理を実行する。上記所定の中断操作は、端末装置７に対するどのような操作であってもよいが、本実施形態においては、ホームボタン５４Ｃを押下する操作である。なお、アプリケーションにおける操作のためにホームボタン５４Ｃを用いないようにすることが好ましく、これによれば、ユーザは、アプリケーションの実行中における任意のタイミングで中断状態に遷移させることができる。
【０２３６】
なお、本実施形態においては、中断状態においてはアプリケーションの実行自体が中断（一時停止）される。ただし、他の実施形態においては、アプリケーションの実行は継続されてもよい。ＣＰＵ１０は、例えばアプリケーションの内部処理の計算を実行する等、ユーザの使用に影響を与えない範囲でアプリケーションにおける情報処理を実行するようにしてもよい。
【０２３７】
アプリ中断処理においては、まずステップＳ４１において、ＣＰＵ１０は、設定画像を端末装置７に表示する。すなわち、ＣＰＵ１０は、設定画像を生成し、生成された設定画像を端末装置７へ出力（送信）する。したがって、本実施形態においては、中断状態への遷移時にはゲームシステム１はまず設定状態へと遷移する。なお、他の実施形態においては、中断状態への遷移時にはゲームシステム１はまず第２テレビ操作状態へと遷移してもよい。また、上記設定画像は、ゲームシステム１（端末装置７）に対する設定操作を表す操作画像であればどのようなものであってもよい。以下、図２３を参照して、本実施形態における設定画像について説明する。
【０２３８】
図２３は、端末装置７に表示される設定画像の一例を示す図である。図２３に示すように、設定画像は、アプリ終了ボタン１５１、アプリ中止ボタン１５２、アプリ再開ボタン１５３、リモコン表示ボタン１５４、端末設定ボタン１５５、コントローラ設定ボタン１５６、リストボタン１５７、説明書ボタン１５８を含む。
【０２３９】
アプリ終了ボタン１５１は、実行が中断されているアプリケーションを終了する指示を表す画像である。アプリ中止ボタン１５２は、上記アプリケーションを一時停止する指示を表す画像である。アプリ再開ボタン１５３は、上記アプリケーションを再開する指示である。これらのボタン１５１〜１５３によって、中断状態からアプリケーションを終了または一時停止してメニュー状態へ遷移することも可能であるし、中断状態からアプリケーションを再開することも可能である。
【０２４０】
リモコン表示ボタン１５４は、リモコン画像（図２４）を端末装置７に表示させる指示を表す画像である。詳細は後述するが、リモコン画像は、テレビ２に対する操作を行うための操作画像であり、テレビ２に対する操作を表すボタン画像等を含む操作画像である。
【０２４１】
端末設定ボタン１５５は、端末装置７に対する各種の設定を行うための画面を表示する指示を表す画像である。コントローラ設定ボタン１５６は、コントローラ５に対する各種の設定を行うための画面を表示する指示を表す画像である。リストボタン１５７は、予め登録されている他のユーザ（知人や友人）のリストを表示する指示を表す画像である。例えば、ユーザは、リストから選択した他のユーザとゲームの対戦を行ったり、通信を行ったりすることができる。説明書ボタン１５８は、ゲームシステム１（または端末装置７）の説明書を表示する指示を表す画像である。これらのボタン１５５〜１５８によって、ユーザは、ゲームシステム１に関する各種の設定の変更を行うことができる。
【０２４２】
上記ステップＳ４１において、ＣＰＵ１０およびＧＰＵ１１ｂは、上記各ボタン１５１〜１５８の画像等、設定画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、読み出したデータを用いて設定画像を生成する。また、生成された設定画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、設定画像を端末装置７へ出力する。画像を端末装置７へ出力することによって端末装置７に当該画像を表示させる処理については上記ステップＳ１２と同様である。これによって、設定画像はＬＣＤ５１に表示される。また、ステップＳ４１においては、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ７７から音声が出力されてもよい。ステップＳ４１の次にステップＳ４２の処理が実行される。
【０２４３】
ステップＳ４２において、ＣＰＵ１０は端末装置７から各種データを取得する。ステップＳ４２の処理は上述のステップＳ１１と同様である。ステップＳ４２の次にステップＳ４３の処理が実行される。
【０２４４】
ステップＳ４３において、ＣＰＵ１０は、リモコン画像を表示するか否かを判定する。すなわち、ＣＰＵ１０は、設定状態から第２テレビ操作状態へと遷移させる操作が行われたか否かを判定する。この操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるリモコン表示ボタン１５４をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるリモコン表示ボタン１５４がタッチされたか否かを判定する。上記ステップＳ４３の判定結果が肯定である場合、ステップＳ４４の処理が実行される。一方、上記ステップＳ４３の判定結果が否定である場合、ステップＳ４４の処理がスキップされてステップＳ４５の処理が実行される。
【０２４５】
ステップＳ４４において、ＣＰＵ１０は、リモコン画像を端末装置７に表示する。すなわち、ＣＰＵ１０は、リモコン画像を生成し、生成されたリモコン画像を端末装置７へ出力（送信）する。リモコン画像は、テレビ２に対する操作を表す操作画像であればどのようなものであってもよい。以下、図２４を参照して、本実施形態におけるリモコン画像について説明する。
【０２４６】
図２４は、端末装置７に表示されるリモコン画像の一例を示す図である。図２４に示すように、リモコン画像は、上記設定画像と同様のアプリ終了ボタン１５１およびアプリ中止ボタン１５２を含む。したがって、本実施形態においては、第２テレビ操作状態においても設定状態と同様、アプリケーションを終了または一時停止してメニュー状態へ遷移することが可能である。なお、他の実施形態においては、ＣＰＵ１０は、例えば上記設定画像と同様のアプリ再開ボタン１５３を端末装置７に表示させることによって、第２テレビ操作状態からアプリケーションを再開してアプリ実行状態へ遷移することが可能であるようにしてもよい。
【０２４７】
また、戻るボタン１６７は、第２テレビ操作状態から設定状態へ遷移する（戻る）指示を表す画像である。つまり、本実施形態においては、ユーザは、上記リモコン表示ボタン１５４または戻るボタン１６７を選択する操作によって、設定画像とリモコン画像とを切り替えて表示することができる。
【０２４８】
また、リモコン画像は、電源ボタン１６１、入力切替ボタン１６２、音量増加ボタン１６３、音量減少ボタン１６４、チャンネル増加ボタン１６５、およびチャンネル減少ボタン１６６を含む。上記ボタン１６１〜１６６は、テレビ２に対する制御指示を表す画像である。電源ボタン１６１は、テレビ２の電源のオン／オフを切り替える指示を表す画像である。入力切替ボタン１６２は、テレビ２における入力を切り替える（すなわち、テレビ番組の映像を入力して表示するモードと、ゲーム装置３からの画像を入力して表示するモードとの間の切り替え）指示を表す画像である。音量増加ボタン１６３は、テレビ２の音量を上げる指示を表す画像である。音量減少ボタン１６４は、テレビ２の音量を上げる指示を表す画像である。チャンネル増加ボタン１６５は、テレビ２の選局を昇順に１つずつ変更する指示を表す画像である。チャンネル減少ボタン１６６は、テレビ２の選局を降順に１つずつ変更する指示を表す画像である。上記各ボタン１６１〜１６６によって、ユーザはテレビ２の電源、入力切替、音量、および選局を操作することができる。なお、他の実施形態においては、上記各ボタンの他、例えば、各チャンネルを表すボタンや、テレビ放送から取得される番組表を表示する指示を表すボタンや、（テレビ２が録画機能を有する場合）録画の指示を表すボタン等、一般的なテレビのリモコンが有するボタンが端末装置７に表示されてもよい。
【０２４９】
以上のように、本実施形態においては、リモコン画像は、各種の制御指示を表す画像を含む画像である。なお、他の実施形態においては、リモコン画像は、制御指示の内容（例えば音量の増加）と、当該制御指示を行うためのボタン（例えば第２Ｒボタン５４Ｌ）との割り当てを表す画像であってもよい。また、リモコン画像は、上記装置制御画像と同様、番組表を含んでもいてもよい。
【０２５０】
上記ステップＳ４４において、ＣＰＵ１０およびＧＰＵ１１ｂは、上記各ボタン１５１〜１５３および１６１〜１６６の画像等、リモコン画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、読み出したデータを用いてリモコン画像を生成する。また、生成されたリモコン画像はＶＲＡＭ１１ｄに記憶される。さらに、ＣＰＵ１０は、リモコン画像を端末装置７へ出力する。画像を端末装置７へ出力することによって端末装置７に当該画像を表示させる処理については上記ステップＳ１２と同様である。これによって、リモコン画像はＬＣＤ５１に表示される。ステップＳ４４の処理によって、ゲームシステム１は設定状態から第２テレビ操作状態へと遷移する。また、ステップＳ４４においては、画像のデータと共に音声のデータが端末装置７へ送信され、端末装置７のスピーカ７７から音声が出力されてもよい。ステップＳ４４の次にステップＳ４５の処理が実行される。
【０２５１】
なお、他の実施形態においては、第２テレビ操作状態への遷移時に、（テレビ放送を表示するように）テレビ２の入力が切り替えられてもよい。すなわち、テレビ２が、ゲーム装置３から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能である場合において、ＣＰＵ１０は、端末装置７にサブ操作画像（より具体的にはリモコン画像）が表示されることに応じて、テレビ２のモードを第２モードへ切り替える制御を行ってもよい。具体的には、上記ステップＳ４４において、ＣＰＵ１０は、テレビ放送を表示する第２モードとなるようにテレビ２に対して入力切替の制御を行うようにしてもよい。これによれば、第２テレビ操作状態への遷移時にユーザはテレビ２の入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。なお、入力切替の制御は、上記ステップＳ２４における第１の方法で行われてもよいし第２の方法で行われてもよい。
【０２５２】
ステップＳ４５において、ＣＰＵ１０は、制御指示があったか否かを判定する。制御指示は、テレビ２に対する制御を行う指示である。制御指示を行うための操作はどのような操作であってもよい。本実施形態においては、上記ステップＳ２３と同様、端末装置７に表示される、制御指示を表すボタン１６１〜１６６をタッチする操作によって制御指示が行われる。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示される上記ボタン１６１〜１６６のいずれかがタッチされたか否かを判定する。上記ステップＳ４５の判定結果が肯定である場合、ステップＳ４６の処理が実行される。一方、上記ステップＳ４５の判定結果が否定である場合、ステップＳ４６の処理がスキップされてステップＳ４７の処理が実行される。
【０２５３】
ステップＳ４６において、ＣＰＵ１０は、上記制御指示に応じた制御をテレビ２に対して行う。ステップＳ４６の処理は上述のステップＳ２４と同様である。すなわち、ＣＰＵ１０は、ゲーム装置３が端末装置７を介してテレビ２へ制御信号を出力する第１の方法、および／または、ゲーム装置３が直接テレビ２へ制御信号を出力する第２の方法によってテレビ２を制御する。ステップＳ４６の次にステップＳ４７の処理が実行される。
【０２５４】
ステップＳ４７において、ＣＰＵ１０は、設定画像を表示するか否かを判定する。すなわち、ＣＰＵ１０は、第２テレビ操作状態から設定状態へと遷移させる操作が行われたか否かを判定する。この操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示される戻るボタン１６７をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示される戻るボタン１６７がタッチされたか否かを判定する。上記ステップＳ４７の判定結果が肯定である場合、ステップＳ４８の処理が実行される。一方、上記ステップＳ４７の判定結果が否定である場合、ステップＳ４８の処理がスキップされてステップＳ４９の処理が実行される。
【０２５５】
ステップＳ４８において、ＣＰＵ１０は設定画像を端末装置７に表示する。ステップＳ４８の処理は上記ステップＳ４１の処理と同じである。ステップＳ４８の処理によって、ゲームシステム１は第２テレビ操作状態から設定状態へと遷移する。ステップＳ４８の次にステップＳ４９の処理が実行される。
【０２５６】
ステップＳ４９において、ＣＰＵ１０は各種の設定処理を実行する。すなわち、ＣＰＵ１０は、上述の端末設定ボタン１５５、コントローラ設定ボタン１５６、リストボタン１５７、および説明書ボタン１５８が選択された（タッチされた）か否かを判定する。そして、いずれかのボタンが選択された場合には、選択されたボタンに応じた処理を実行する。ステップＳ４９における設定処理は、従来における一般的なゲームシステムにおいて実行される設定処理と同様であってもよい。ステップＳ４９の次にステップＳ５０の処理が実行される。
【０２５７】
ステップＳ５０において、ＣＰＵ１０は、メニュー状態へ遷移するか否かを判定する。すなわち、実行が中断されているアプリケーションを終了または一時中止するか否かを判定する。この判定は、上記アプリケーションを終了または一時中止する操作（中断状態からメニュー状態へと遷移させる操作）が行われたか否かを判定する。この操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるアプリ終了ボタン１５１またはアプリ中止ボタン１５２をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるアプリ終了ボタン１５１またはアプリ中止ボタン１５２がタッチされたか否かを判定する。上記ステップＳ５０の判定結果が肯定である場合、ステップＳ５１の処理が実行される。一方、上記ステップＳ５０の判定結果が否定である場合、ステップＳ５２の処理が実行される。
【０２５８】
ステップＳ５１において、ＣＰＵ１０はアプリケーションの終了処理を行う。具体的には、アプリケーションで使用されるデータのうちで保存すべきデータをセーブデータ１１１としてメインメモリに記憶する。なお、セーブデータ１１１は、適宜のタイミングでフラッシュメモリ１７や、アプリケーションが記憶される記憶媒体に記憶される。また、上記ステップＳ５０においてアプリ終了ボタン１５１が選択された場合には、次回にアプリケーションが起動される場合には所定の初期状態からアプリケーションが開始される。一方、上記ステップＳ５０においてアプリ中止ボタン１５２が選択された場合には、次回にアプリケーションが起動（再開）される場合には中断時の状態からアプリケーションが開始される。したがって、ＣＰＵ１０は、アプリ終了ボタン１５１が選択された場合とアプリ中止ボタン１５２が選択された場合とでセーブデータ１１１として記憶する内容が異なるようにしてもよい。ステップＳ５１の後、ＣＰＵ１０は中断時処理を終了する。その後、ゲームシステム１は中断状態からメニュー状態へ遷移する。すなわち、ＣＰＵ１０はメニュー処理（図１６）を実行する。
【０２５９】
以上のように、本実施形態においては、ＣＰＵ１０は、アプリケーションの実行中において端末装置７に対して所定の操作（中断操作）が行われた場合、実行中のアプリケーションを終了する指示を表す終了指示画像（アプリ終了ボタン１５１）を含むサブ操作画像を生成する（ステップＳ４１）。そして、終了指示画像が指定されることによってアプリケーションを終了する指示が行われた場合、当該アプリケーションの実行を終了する（ステップＳ５０）。さらに、アプリケーションの実行が終了された場合、ＣＰＵ１０は、メイン操作画像を生成する。このように、本実施形態によれば、実行中のアプリケーションが終了されるとメイン操作画像（より具体的にはアプリ選択画像）が端末装置７に表示される。したがって、ユーザは、アプリケーションを終了した後、次に実行したいアプリケーションを容易に選択することができる。
【０２６０】
なお、本実施形態においては、アプリ中断処理においてアプリケーションが終了された場合、ゲームシステム１はメニュー状態へ遷移した。なお、他の実施形態においては、上記の場合、ゲームシステム１は第１テレビ操作状態またはブラウザ状態へ遷移してもよい。例えば、中断状態において所定の操作が行われたことに応じて、ゲームシステム１は第１テレビ操作状態またはブラウザ状態へ遷移することができるようにしてもよい。具体的には、ＣＰＵ１０は、上記設定画像およびリモコン画像において、テレビアイコン１２５および／またはブラウザアイコン１２６を表示するようにしてもよい。そして、テレビアイコン１２５を選択する操作が行われた場合、ＣＰＵ１０は、アプリケーションを終了して装置制御画像を端末装置７に表示する。これによって、ゲームシステム１は第１テレビ操作状態へ遷移する。また、ブラウザアイコン１２６を選択する操作が行われた場合、ＣＰＵ１０は、アプリケーションを終了してブラウザ画像を端末装置７に表示する。これによって、ゲームシステム１はブラウザ状態へ遷移する。以上によれば、ユーザは、中断状態から、開始状態の３つの状態のうちの所望の状態へゲームシステム１を遷移させることができる。また例えば、ＣＰＵ１０は、アプリケーションが終了された場合、上記３つの状態のうちから遷移すべき状態を所定の条件に応じて決定するようにしてもよい。具体的には、ＣＰＵ１０は、遷移すべき状態を上記初期状態としてもよい。
【０２６１】
ステップＳ５２において、ＣＰＵ１０は、実行が中断されていたアプリケーションを再開するか否かを判定する。すなわち、ＣＰＵ１０は、上記アプリケーションを再開する操作（中断状態からアプリ実行状態へと遷移させる操作）が行われたか否かを判定する。この操作はどのような操作であってもよく、本実施形態においては、端末装置７に表示されるアプリ再開ボタン１５３をタッチする操作である。すなわち、ＣＰＵ１０は、端末操作データ１０４のタッチデータをメインメモリから読み出し、タッチデータに基づいて、端末装置７に表示されるアプリ再開ボタン１５３がタッチされたか否かを判定する。上記ステップＳ５２の判定結果が肯定である場合、ＣＰＵ１０は中断時処理を終了し、アプリ実行処理を実行する。これによって、アプリケーションの実行が再開され、ゲームシステム１は中断状態からアプリ実行状態へ遷移する。一方、上記ステップＳ５２の判定結果が否定である場合、ステップＳ４２の処理が再度実行される。以降ステップＳ５０およびＳ５２のいずれかの判定における判定結果が肯定となるまで、中断時処理が繰り返し実行される。
【０２６２】
また、他の実施形態においては、第２テレビ操作状態からアプリ実行状態への遷移時に、（ゲーム装置３からの画像を表示するように）テレビ２の入力が切り替えられてもよい。すなわち、テレビ２が、ゲーム装置３から入力される画像を表示する第１モードと、テレビ放送の画像を表示する第２モードとを切り替え可能である場合において、ＣＰＵ１０は、端末装置７において表示される画像がリモコン画像からアプリケーションの実行によって生成される画像へと切り替えられることに応じて、テレビ２のモードを第１モードへ切り替える制御を行ってもよい。具体的には、ステップＳ５２の判定結果が肯定となる場合、ＣＰＵ１０は、ゲーム装置３からの画像を表示する第１モードとなるようにテレビ２に対して入力切替の制御を行うようにしてもよい。これによれば、第２テレビ操作状態からアプリ実行状態への遷移時にユーザはテレビ２の入力切替の操作を行う必要がないので、ユーザの操作をより簡易にすることができる。また、他の実施形態においては、ＣＰＵ１０は、第２テレビ操作状態から設定画像状態への遷移時、メニュー状態への遷移時、ブラウザ状態への遷移時においても、上記の制御を行うようにしてもよい。なお、入力切替の制御は、上記ステップＳ２４における第１の方法で行われてもよいし第２の方法で行われてもよい。
【０２６３】
以上のように、本実施形態においては、ＣＰＵ１０は、アプリケーションの実行中において端末装置７に対して所定の操作（中断操作）が行われた場合、当該アプリケーションの実行を一時停止する。また、ＣＰＵ１０は、サブ操作画像が端末装置７に表示される状態（中断状態）において、アプリケーションの実行を再開する再開指示（アプリ再開ボタン１５３を選択する操作）があったか否かを端末操作データに基づいて判定する。そして、再開指示があった場合にはＣＰＵ１０はアプリケーションの実行を再開する。このように、本実施形態においては、実行中のアプリケーションが中断された場合、ユーザは再開指示によってアプリケーションを容易に再開することができる。
【０２６４】
以上のように本実施形態においては、ＣＰＵ１０は、アプリケーションの実行中において端末装置７に対して所定の操作（中断操作）が行われた場合、所定のサブ操作画像を生成する。そして、サブ操作画像が端末装置７の表示部に表示される状態（中断状態）において、制御指示があったか否かを端末操作データに基づいて判定する（ステップＳ４５）。したがって、本実施形態においては、ユーザは、端末装置７を用いてゲームシステム１のアプリケーションを利用している際、アプリケーションの利用を中断してテレビ２を操作することができる。これによれば、ユーザは、アプリケーションの実行を終了しなくてもテレビ２に対する操作を行うことができるので、ゲームシステム１においてテレビ２を用いる状態と、番組を表示するためのテレビ２を用いる状態との切り替え操作がより容易になる。例えば、ユーザは、アプリケーションの利用を一時中断してテレビ２の入力を切り替えてテレビ番組を視聴したり、テレビ番組の視聴を一時中断してアプリケーションを利用したりすることを、端末装置７を用いて容易に行うことができる。
【０２６５】
また、本実施形態においては、上述のブラウザ状態においても、リモコン画像が表示される。すなわち、ブラウザ処理（図２０）におけるステップＳ３２〜Ｓ３５の処理ループにおいては、ＣＰＵ１０は、リモコン画像を表示する操作が行われたか否か、具体的には、リモコン表示ボタン１４７を選択する（タッチする）操作が行われた否かを判定する。そして、判定結果が肯定である場合、ステップＳ４４と同様の処理が実行される。その結果、リモコン画像が端末装置７に表示される。なお、ブラウザ状態において表示されるリモコン画像においては、上記アプリ終了ボタン１５１およびアプリ中止ボタン１５２は含まれない。また、戻るボタン１６７が選択された場合には、ＣＰＵ１０はブラウザ画像を端末装置７に表示する。以上のように、本実施形態においては、ブラウザ状態においてもユーザはリモコン画像を表示させることができ、テレビ２を操作することができる。
【０２６６】
また、他の実施形態においては、開始状態における３種類の各状態から、サブ操作画像（設定画像およびリモコン画像）が表示される状態へと遷移可能としてもよい。すなわち、上記３種類の状態において所定の操作が行われた場合、ＣＰＵ１０は、上記中断時処理と同様の処理を実行するようにしてもよい。なお、このとき、設定画像およびリモコン画像においては、上記アプリ終了ボタン１５１およびアプリ中止ボタン１５２は含まれない。また、アプリ再開ボタン１５３に代えて、元の状態へと遷移する指示を表すボタンの画像が表示される。これによれば、開始状態においても上記サブ操作画像を容易に表示させることができるので、ユーザは、開始状態においてテレビ２に対する操作をより容易に行うことができる。
【０２６７】
なお、他の実施形態においては、上記中断状態において、端末装置７にリモコン画像が表示される他、テレビ２に番組表の画像を表示してもよい。すなわち、サブ操作画像が端末装置７に表示される状態において、ＣＰＵ１０は、テレビの番組表を含む画像を生成してテレビ２へ出力してもよい。なお、この番組表の画像は、上記テレビ処理と同様、ネットワーク９０を介して外部装置９１から取得されてもよい。また、番組表がテレビ２に表示されるタイミングは、どのようなタイミングであってもよい。例えば、番組表がテレビ２に表示されるタイミングは、中断時処理が開始される時点であってもよいし、リモコン画像が端末装置７に表示される時点であってもよいし、ユーザによって所定の表示指示が行われた時点であってもよい。
【０２６８】
（ゲームシステム１の終了時の動作）
なお、本実施形態においては、上述の情報処理（開始処理、メニュー処理、テレビ処理、ブラウザ処理、アプリ実行処理、および中断時処理）における任意のタイミングで、ユーザはゲームシステム１を終了することが可能である。すなわち、所定の終了操作（端末装置７の電源ボタン５４Ｍあるいはゲーム装置３の電源ボタン２４を押下する等）が行われると、ＣＰＵ１０は所定の終了処理を実行し、ゲーム装置３および端末装置７の電源がオフにされる。なお、終了処理には、その時点におけるゲームシステム１の状態（上記メニュー状態等）を表すデータをフラッシュメモリ１７に記憶する処理が含まれる。このデータによって、次回の起動時に初期状態を決定することができる。
【０２６９】
以上に説明した情報処理によれば、ユーザは、番組表の閲覧、ウェブページの閲覧、各種アプリケーションの利用等、種々の用途でゲームシステム１を利用することができる。また、端末装置７の画面を操作画面として用いることで、ゲームシステム１の利用中もテレビ番組を視聴する等、テレビ２を他の用途で利用することができるので、ゲームシステム１とテレビ２とを並行して利用することができる。これによって、ユーザは、ゲームシステム１の利用と（ゲームシステム１以外の用途での）テレビ２の利用との切り換えをスムーズに行うことができる。例えば、ユーザは、テレビ番組を視聴している合間にゲームシステム１を利用したり、ゲームシステム１を利用している合間にテレビ番組を視聴したりするといった利用態様を、よりスムーズに行うことができる。さらに、ゲームシステム１およびテレビ２のいずれに対する操作も端末装置７で行うことができるので、ゲームシステム１を利用する状態と、（ゲームシステム１以外の用途で）テレビを利用する状態との間の切り替え操作を容易に行うことができる。
【０２７０】
［７．変形例］
上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。
【０２７１】
（開始状態に関する変形例）
上記実施形態においては、開始状態には３種類の状態が含まれるものとし、各状態において端末装置７に表示される画像が異なるものとした。ここで、他の実施形態においては、開始状態に含まれる状態はいくつであってもよい。また、開始状態に含まれる各状態においては、端末装置７に表示される画像が異なっていてもよいし、同じであってもよい。例えば、上記各状態においては、端末装置７に表示される画像が同じで、各状態において可能な操作が異なっていてもよい。
【０２７２】
（ゲームシステム１において用いられる所定の表示装置に関する変形例）
上記実施形態においては、ゲームシステム１において用いられる所定の表示装置として、テレビ放送を受信して番組を表示することが可能なテレビ２を例として説明した。ここで、所定の表示装置は、テレビ２に限らず、複数の入力を有し、画像を表示することが可能な装置であればどのようなものであってもよい。例えば、所定の表示装置は、（ゲーム装置３とは別の）パーソナルコンピュータのモニタとして用いられる表示装置であってもよいし、録画再生機器のモニタとして用いられる表示装置でもよい。
【０２７３】
（ゲームシステム１の構成に関する変形例）
上記実施形態においては、ゲームシステム１は、ゲーム装置３と、表示部（ＬＣＤ５１）を備える端末装置７と、コントローラ５と、テレビ２とを備える構成であった。ここで、ゲームシステムは、ゲーム装置と操作装置とを含み、操作装置の表示部および所定の表示装置に画像を表示させることができる構成であればよい。例えば、ゲームシステムは、コントローラ５や所定の表示装置（テレビ２）を含まない形態で提供されてもよい。
【０２７４】
また、上記実施形態においては、ゲームプログラムを実行可能なゲーム装置を含むゲームシステムを例として説明したが、本発明は、任意のアプリケーションを実行する任意の情報処理システムおよび情報処理装置に適用することができる。すなわち、上記実施形態においては、ゲーム装置が実行可能な１以上のアプリケーションのうちにゲームアプリケーションが含まれたが、ゲームアプリケーションは含まれていなくてもよい。
【０２７５】
（ゲーム処理を実行する情報処理装置に関する変形例）
上記実施形態においては、ゲームシステム１において実行される一連の情報処理をゲーム装置３が実行したが、情報処理の一部は他の装置によって実行されてもよい。例えば、他の実施形態においては、情報処理の一部（例えば、端末用画像の生成処理やアプリケーションの実行処理）を端末装置７が実行するようにしてもよい。また、他の実施形態では、互いに通信可能な複数の情報処理装置を有する入力システムにおいて、当該複数の情報処理装置が情報処理を分担して実行するようにしてもよい。すなわち、ゲームシステムは、ゲーム装置と操作装置とを含み、（ａ）操作装置に対する操作を表す操作データを取得する取得部と、（ｂ）ゲーム装置の起動後の開始状態において、操作装置の表示部に表示するための所定の第１操作画像を生成する第１操作画像生成部と、（ｃ）第１操作画像を操作装置へ出力する操作画像出力部と、（ｄ）開始状態において、ゲームアプリケーションを含み、ゲーム装置が実行可能な１以上のアプリケーションのうちから１つを選択する選択指示があったか否か、および、操作装置とは別体の所定の表示装置に対する制御を行う制御指示があったか否かを操作データに基づいて判定する指示判定部と、（ｅ）選択指示があった場合、選択されたアプリケーションを実行し、アプリケーションの実行によって生成された画像を操作装置および所定の表示装置の少なくとも一方へ出力するアプリケーション実行部と、（ｆ）制御指示があった場合、当該制御指示に応じた制御を所定の表示装置に対して行う装置制御部とを備えていてもよい。このとき、１つの装置が上記（ａ）〜（ｆ）の各部を備える構成であってもよいし、複数の装置が上記（ａ）〜（ｆ）の各部を備える構成であってもよい。
【０２７６】
なお、複数の情報処理装置において上記の情報処理が実行される場合には、各情報処理装置で実行される処理を同期させる必要があり、情報処理が複雑になってしまう。これに対して、上記実施形態のように、情報処理が１つのゲーム装置３によって実行され、端末装置７が画像を受信して表示する処理を行う場合（つまり、端末装置７がシンクライアント端末として機能する場合）には、複数の情報処理装置間で情報処理の同期をとる必要がなく、情報処理を簡易化することができる。
【０２７７】
上記のように、本明細書で説明した種々のシステム、方法、および技術は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、またはこれら要素の組み合わせによって提供されてもよい。上記の技術を実現するための装置は、プログラム可能なプロセッサによる実行のためのコンピュータ読み取り可能な非一時的な記憶装置において実体的に具体化されるコンピュータプログラムプロダクト、入出力装置、およびコンピュータプロセッサを含んでもよい。上記技術を実現するための処理は、入力データを処理して所望の出力を生成することによって、要求される機能を実行するためのプログラムを実行する、プログラム可能なプロセッサによって実行されてもよい。上記の技術は、入力装置、出力装置、および情報記憶装置といったハードウェア資源との間でデータや指示のやり取りを行うプログラム可能なプロセッサを含むコンピュータシステム上で実行可能な１以上のコンピュータプログラムによって実現されてもよい。また、各コンピュータプログラムは、手続型やオブジェクト指向型の高水準プログラミング言語、アセンブリ言語、または、機械語によって実現されてもよく、必要に応じてコンパイルまたはインタプリタされて実行されてもよい。また、上記のプロセッサは、汎用または専用のマイクロプロセッサであってもよい。プロセッサは、一般的に、ＲＯＭまたはＲＡＭからデータおよび指示を受け取る。また、上記の記憶装置は、（ａ）ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリのような半導体メモリ装置を含む不揮発性のメモリ、（ｂ）内部ハードディスクあるいは着脱可能な外部ディスクのような磁気ディスク、（ｃ）光磁気ディスク、（ｄ）ＣＤＲＯＭ、に限定されず、あらゆる種類のコンピュータメモリを含む。上記のプロセッサや記憶装置は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって補充される、あるいは、ＡＳＩＣに組み込まれる形で実現されてもよい。
【０２７８】
また、本明細書に記載の処理システム（回路）は、本明細書において記載された内容に応じたゲーム処理のような制御処理のためにプログラムされる。上記の内容に応じた指示を実行する少なくとも１つのＣＰＵを含む処理システムが、上記の内容によって定義される処理動作を実行するための「プログラムされた論理回路」として作用するものであってもよい。
【産業上の利用可能性】
【０２７９】
以上のように、本発明は、ゲームシステムにおけるアプリケーションの実行中において、テレビ等の表示装置に対する操作を容易に行うこと等を目的として、ゲームシステムやゲーム装置や情報処理プログラムとして利用することが可能である。
【符号の説明】
【０２８０】
１ ゲームシステム
２ テレビ
３ ゲーム装置
４ 光ディスク
７ 端末装置
１０ ＣＰＵ
１１ｅ 内部メインメモリ
１２ 外部メインメモリ
５１ ＬＣＤ
５２ タッチパネル
５４ 操作ボタン
１２２ アプリアイコン
１２４ メニューアイコン
１２５ テレビアイコン
１２６ ブラウザアイコン
１３３ 選局指示ボタン
１５１ アプリ終了ボタン
１５３ アプリ再開ボタン
１５４ リモコン表示ボタン
１６１ 電源ボタン
１６２ 入力切替ボタン
１６３ 音量増加ボタン
１６４ 音量減少ボタン
１６５ チャンネル増加ボタン
１６６ チャンネル減少ボタン
【特許請求の範囲】
【請求項１】
ゲーム装置と操作装置とを含むゲームシステムであって、
前記操作装置は、
前記操作装置に対する操作を表す操作データを出力する操作部と、
前記ゲーム装置から出力される画像を受信する受信部と、
前記受信された画像を表示する表示部とを備え、
前記ゲーム装置は、
前記操作データを取得する取得部と、
アプリケーションを実行し、実行によって生成された画像を、前記操作装置と前記操作装置とは別体の所定の表示装置との少なくとも一方へ出力するアプリケーション実行部と、
前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、所定の操作画像を生成して前記操作装置へ出力する操作画像生成部と、
前記操作画像が前記表示部に表示される状態において、前記所定の表示装置に対する制御を行う制御指示があったか否かを前記操作データに基づいて判定する指示判定部と、
前記制御指示があった場合、当該制御指示に応じた制御を前記所定の表示装置に対して行う装置制御部とを備える、ゲームシステム。
【請求項２】
前記指示判定部は、前記操作画像が前記表示部に表示される状態において、実行中のアプリケーションを終了する終了指示があったか否かを前記操作データに基づいて判定し、
前記アプリケーション実行部は、前記終了指示があった場合に前記アプリケーションの実行を終了する、請求項１に記載のゲームシステム。
【請求項３】
前記アプリケーション実行部は、前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、当該アプリケーションの実行を一時停止し、
前記指示判定部は、前記操作画像が前記表示部に表示される状態において、前記アプリケーションの実行を再開する再開指示があったか否かを前記操作データに基づいて判定し、
前記アプリケーション実行部は、前記再開指示があった場合に前記アプリケーションの実行を再開する、請求項１または請求項２に記載のゲームシステム。
【請求項４】
前記所定の表示装置は、テレビ放送を受信して番組を表示することが可能であり、
前記操作画像生成部は、前記操作画像が前記表示部に表示される場合、テレビの番組表を含む画像を生成して前記所定の表示装置へ出力する、請求項１から請求項３のいずれか１項に記載のゲームシステム。
【請求項５】
前記操作画像生成部は、前記操作画像として、前記制御指示を表す制御指示画像を含む画像を生成し、
前記指示判定部は、前記制御指示画像が選択された場合に前記制御指示があったと判定する、請求項１から請求項４のいずれか１項に記載のゲームシステム。
【請求項６】
前記所定の表示装置は、テレビ放送を受信して番組を表示することが可能であり、
前記操作画像生成部は、前記操作画像として、テレビの番組表を含む画像を生成して前記操作装置へ出力する、請求項１から請求項４のいずれか１項に記載のゲームシステム。
【請求項７】
前記所定の表示装置は、前記ゲーム装置から入力される画像を表示する第１モードと、前記テレビ放送の画像を表示する第２モードとを切り替え可能であり、
前記装置制御部は、前記操作装置に前記操作画像が表示されることに応じて、前記所定の表示装置のモードを前記第２モードへ切り替える制御を行う、請求項１から請求項６のいずれか１項に記載のゲームシステム。
【請求項８】
前記所定の表示装置は、前記ゲーム装置から入力される画像を表示する第１モードと、前記テレビ放送の画像を表示する第２モードとを切り替え可能であり、
前記装置制御部は、前記操作装置において表示される画像が前記操作画像から前記アプリケーションの実行によって生成される画像へと切り替えられることに応じて、前記所定の表示装置のモードを前記第１モードへ切り替える制御を行う、請求項１から請求項７のいずれか１項に記載のゲームシステム。
【請求項９】
前記操作装置は、前記所定の表示装置を制御するための制御信号を出力する制御信号出力部をさらに備え、
前記装置制御部は、前記制御指示に応じた制御内容を示す制御信号を前記制御信号出力部に送信させる指示を前記操作装置に対して行う、請求項１から請求項８のいずれか１項に記載のゲームシステム。
【請求項１０】
前記制御信号出力部は、前記制御信号として赤外線信号を出力し、
前記所定の表示装置は、赤外線信号を受光可能な赤外線受光部を備える、請求項９に記載のゲームシステム。
【請求項１１】
前記装置制御部は、前記制御指示に応じた制御内容を示す制御信号を前記所定の表示装置へ出力する、請求項１から請求項８のいずれか１項に記載のゲームシステム。
【請求項１２】
前記操作装置は、前記表示部の画面上に設けられるタッチパネルをさらに備え、
前記操作画像生成部は、前記操作画像として、前記制御指示を表す制御指示画像を含む画像を生成し、
前記指示判定部は、前記タッチパネルにおいて前記制御指示画像が選択された場合に前記制御指示があったと判定する、請求項１から請求項１１に記載のゲームシステム。
【請求項１３】
ゲーム装置と操作装置とを含むゲームシステムにおいて実行される情報処理方法であって、
前記操作装置に対する操作を表す操作データを取得する取得ステップと、
アプリケーションを実行し、実行によって生成された画像を、前記操作装置と前記操作装置とは別体の所定の表示装置との少なくとも一方へ出力するアプリケーション実行ステップと、
前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、所定の操作画像を生成して前記操作装置が備える表示部に表示させる操作画像生成ステップと、
前記操作画像が前記表示部に表示される状態において、前記所定の表示装置に対する制御を行う制御指示があったか否かを前記操作データに基づいて判定する指示判定ステップと、
前記制御指示があった場合、当該制御指示に応じた制御を前記所定の表示装置に対して行う装置制御ステップとを備える、情報処理方法。
【請求項１４】
前記指示判定ステップにおいては、前記操作画像が前記表示部に表示される状態において、実行中のアプリケーションを終了する終了指示があったか否かが前記操作データに基づいて判定され、
前記アプリケーション実行ステップにおいては、前記終了指示があった場合に前記アプリケーションの実行が終了される、請求項１３に記載の情報処理方法。
【請求項１５】
前記アプリケーション実行ステップにおいては、前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、当該アプリケーションの実行が一時停止され、
前記指示判定ステップにおいては、前記操作画像が前記表示部に表示される状態において、前記アプリケーションの実行を再開する再開指示があったか否かが前記操作データに基づいて判定され、
前記アプリケーション実行ステップにおいては、前記再開指示があった場合に前記アプリケーションの実行が再開される、請求項１３または請求項１４に記載の情報処理方法。
【請求項１６】
前記所定の表示装置は、テレビ放送を受信して番組を表示することが可能であり、
前記操作画像生成ステップにおいては、前記操作画像が前記表示部に表示される場合、テレビの番組表を含む画像が生成されて前記所定の表示装置に表示される、請求項１３から請求項１５のいずれか１項に記載の情報処理方法。
【請求項１７】
前記操作画像生成ステップにおいては、前記操作画像として、前記制御指示を表す制御指示画像を含む画像が生成され、
前記指示判定ステップにおいては、前記制御指示画像が選択された場合に前記制御指示があったと判定される、請求項１３から請求項１６のいずれか１項に記載の情報処理方法。
【請求項１８】
前記所定の表示装置は、テレビ放送を受信して番組を表示することが可能であり、
前記操作画像生成ステップにおいては、前記操作画像として、テレビの番組表を含む画像が生成されて前記操作装置の表示部に表示される、請求項１３から請求項１６のいずれか１項に記載の情報処理方法。
【請求項１９】
前記所定の表示装置は、前記ゲーム装置から入力される画像を表示する第１モードと、前記テレビ放送の画像を表示する第２モードとを切り替え可能であり、
前記装置制御ステップにおいては、前記操作装置に前記操作画像が表示されることに応じて、前記所定の表示装置のモードを前記第２モードへ切り替える制御が行われる、請求項１３から請求項１８のいずれか１項に記載の情報処理方法。
【請求項２０】
前記所定の表示装置は、前記ゲーム装置から入力される画像を表示する第１モードと、前記テレビ放送の画像を表示する第２モードとを切り替え可能であり、
前記装置制御ステップにおいては、前記操作装置において表示される画像が前記操作画像から前記アプリケーションの実行によって生成される画像へと切り替えられることに応じて、前記所定の表示装置のモードを前記第１モードへ切り替える制御が行われる、請求項１３から請求項１９のいずれか１項に記載の情報処理方法。
【請求項２１】
前記操作装置は、前記所定の表示装置を制御するための制御信号を出力する制御信号出力を備えており、
前記装置制御ステップにおいては、前記制御指示に応じた制御内容を示す制御信号を前記制御信号出力部に送信させる指示が前記ゲーム装置から前記操作装置に対して行われる、請求項１３から請求項２０のいずれか１項に記載の情報処理方法。
【請求項２２】
前記装置制御ステップにおいては、前記制御指示に応じた制御内容を示す制御信号が前記ゲーム装置から前記所定の表示装置へ出力される、請求項１３から請求項２０のいずれか１項に記載の情報処理方法。
【請求項２３】
前記操作装置は、前記表示部の画面上に設けられるタッチパネルをさらに備え、
前記操作画像生成ステップにおいては、前記操作画像として、前記制御指示を表す制御指示画像を含む画像が生成され、
前記指示判定ステップにおいては、前記タッチパネルにおいて前記制御指示画像が選択された場合に前記制御指示があったと判定される、請求項１３から請求項２２に記載の情報処理方法。
【請求項２４】
表示部を有する操作装置と通信可能なゲーム装置であって、
前記操作装置に対する操作を表す操作データを取得する取得部と、
アプリケーションを実行し、実行によって生成された画像を、前記操作装置と前記操作装置とは別体の所定の表示装置との少なくとも一方へ出力するアプリケーション実行部と、
前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、前記表示部に表示させるための所定の操作画像を生成する操作画像生成部と、
前記操作画像が前記表示部に表示される状態において、前記所定の表示装置に対する制御を行う制御指示があったか否かを前記操作データに基づいて判定する指示判定部と、
前記制御指示があった場合、当該制御指示に応じた制御を前記所定の表示装置に対して行う装置制御部とを備える、ゲーム装置。
【請求項２５】
表示部を有する操作装置と通信可能なゲーム装置のコンピュータにおいて実行される情報処理プログラムであって、
前記操作装置に対する操作を表す操作データを取得する取得手段と、
アプリケーションを実行し、実行によって生成された画像を、前記操作装置と前記操作装置とは別体の所定の表示装置との少なくとも一方へ出力するアプリケーション実行手段と、
前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、前記表示部に表示させるための所定の操作画像を生成する操作画像生成手段と、
前記操作画像が前記表示部に表示される状態において、前記所定の表示装置に対する制御を行う制御指示があったか否かを前記操作データに基づいて判定する指示判定手段と、
前記制御指示があった場合、当該制御指示に応じた制御を前記所定の表示装置に対して行う装置制御手段として前記コンピュータを機能させる、情報処理プログラム。
【請求項１】
ゲーム装置と操作装置とを含むゲームシステムであって、
前記操作装置は、
前記操作装置に対する操作を表す操作データを出力する操作部と、
前記ゲーム装置から出力される画像を受信する受信部と、
前記受信された画像を表示する表示部とを備え、
前記ゲーム装置は、
前記操作データを取得する取得部と、
アプリケーションを実行し、実行によって生成された画像を、前記操作装置と前記操作装置とは別体の所定の表示装置との少なくとも一方へ出力するアプリケーション実行部と、
前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、所定の操作画像を生成して前記操作装置へ出力する操作画像生成部と、
前記操作画像が前記表示部に表示される状態において、前記所定の表示装置に対する制御を行う制御指示があったか否かを前記操作データに基づいて判定する指示判定部と、
前記制御指示があった場合、当該制御指示に応じた制御を前記所定の表示装置に対して行う装置制御部とを備える、ゲームシステム。
【請求項２】
前記指示判定部は、前記操作画像が前記表示部に表示される状態において、実行中のアプリケーションを終了する終了指示があったか否かを前記操作データに基づいて判定し、
前記アプリケーション実行部は、前記終了指示があった場合に前記アプリケーションの実行を終了する、請求項１に記載のゲームシステム。
【請求項３】
前記アプリケーション実行部は、前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、当該アプリケーションの実行を一時停止し、
前記指示判定部は、前記操作画像が前記表示部に表示される状態において、前記アプリケーションの実行を再開する再開指示があったか否かを前記操作データに基づいて判定し、
前記アプリケーション実行部は、前記再開指示があった場合に前記アプリケーションの実行を再開する、請求項１または請求項２に記載のゲームシステム。
【請求項４】
前記所定の表示装置は、テレビ放送を受信して番組を表示することが可能であり、
前記操作画像生成部は、前記操作画像が前記表示部に表示される場合、テレビの番組表を含む画像を生成して前記所定の表示装置へ出力する、請求項１から請求項３のいずれか１項に記載のゲームシステム。
【請求項５】
前記操作画像生成部は、前記操作画像として、前記制御指示を表す制御指示画像を含む画像を生成し、
前記指示判定部は、前記制御指示画像が選択された場合に前記制御指示があったと判定する、請求項１から請求項４のいずれか１項に記載のゲームシステム。
【請求項６】
前記所定の表示装置は、テレビ放送を受信して番組を表示することが可能であり、
前記操作画像生成部は、前記操作画像として、テレビの番組表を含む画像を生成して前記操作装置へ出力する、請求項１から請求項４のいずれか１項に記載のゲームシステム。
【請求項７】
前記所定の表示装置は、前記ゲーム装置から入力される画像を表示する第１モードと、前記テレビ放送の画像を表示する第２モードとを切り替え可能であり、
前記装置制御部は、前記操作装置に前記操作画像が表示されることに応じて、前記所定の表示装置のモードを前記第２モードへ切り替える制御を行う、請求項１から請求項６のいずれか１項に記載のゲームシステム。
【請求項８】
前記所定の表示装置は、前記ゲーム装置から入力される画像を表示する第１モードと、前記テレビ放送の画像を表示する第２モードとを切り替え可能であり、
前記装置制御部は、前記操作装置において表示される画像が前記操作画像から前記アプリケーションの実行によって生成される画像へと切り替えられることに応じて、前記所定の表示装置のモードを前記第１モードへ切り替える制御を行う、請求項１から請求項７のいずれか１項に記載のゲームシステム。
【請求項９】
前記操作装置は、前記所定の表示装置を制御するための制御信号を出力する制御信号出力部をさらに備え、
前記装置制御部は、前記制御指示に応じた制御内容を示す制御信号を前記制御信号出力部に送信させる指示を前記操作装置に対して行う、請求項１から請求項８のいずれか１項に記載のゲームシステム。
【請求項１０】
前記制御信号出力部は、前記制御信号として赤外線信号を出力し、
前記所定の表示装置は、赤外線信号を受光可能な赤外線受光部を備える、請求項９に記載のゲームシステム。
【請求項１１】
前記装置制御部は、前記制御指示に応じた制御内容を示す制御信号を前記所定の表示装置へ出力する、請求項１から請求項８のいずれか１項に記載のゲームシステム。
【請求項１２】
前記操作装置は、前記表示部の画面上に設けられるタッチパネルをさらに備え、
前記操作画像生成部は、前記操作画像として、前記制御指示を表す制御指示画像を含む画像を生成し、
前記指示判定部は、前記タッチパネルにおいて前記制御指示画像が選択された場合に前記制御指示があったと判定する、請求項１から請求項１１に記載のゲームシステム。
【請求項１３】
ゲーム装置と操作装置とを含むゲームシステムにおいて実行される情報処理方法であって、
前記操作装置に対する操作を表す操作データを取得する取得ステップと、
アプリケーションを実行し、実行によって生成された画像を、前記操作装置と前記操作装置とは別体の所定の表示装置との少なくとも一方へ出力するアプリケーション実行ステップと、
前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、所定の操作画像を生成して前記操作装置が備える表示部に表示させる操作画像生成ステップと、
前記操作画像が前記表示部に表示される状態において、前記所定の表示装置に対する制御を行う制御指示があったか否かを前記操作データに基づいて判定する指示判定ステップと、
前記制御指示があった場合、当該制御指示に応じた制御を前記所定の表示装置に対して行う装置制御ステップとを備える、情報処理方法。
【請求項１４】
前記指示判定ステップにおいては、前記操作画像が前記表示部に表示される状態において、実行中のアプリケーションを終了する終了指示があったか否かが前記操作データに基づいて判定され、
前記アプリケーション実行ステップにおいては、前記終了指示があった場合に前記アプリケーションの実行が終了される、請求項１３に記載の情報処理方法。
【請求項１５】
前記アプリケーション実行ステップにおいては、前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、当該アプリケーションの実行が一時停止され、
前記指示判定ステップにおいては、前記操作画像が前記表示部に表示される状態において、前記アプリケーションの実行を再開する再開指示があったか否かが前記操作データに基づいて判定され、
前記アプリケーション実行ステップにおいては、前記再開指示があった場合に前記アプリケーションの実行が再開される、請求項１３または請求項１４に記載の情報処理方法。
【請求項１６】
前記所定の表示装置は、テレビ放送を受信して番組を表示することが可能であり、
前記操作画像生成ステップにおいては、前記操作画像が前記表示部に表示される場合、テレビの番組表を含む画像が生成されて前記所定の表示装置に表示される、請求項１３から請求項１５のいずれか１項に記載の情報処理方法。
【請求項１７】
前記操作画像生成ステップにおいては、前記操作画像として、前記制御指示を表す制御指示画像を含む画像が生成され、
前記指示判定ステップにおいては、前記制御指示画像が選択された場合に前記制御指示があったと判定される、請求項１３から請求項１６のいずれか１項に記載の情報処理方法。
【請求項１８】
前記所定の表示装置は、テレビ放送を受信して番組を表示することが可能であり、
前記操作画像生成ステップにおいては、前記操作画像として、テレビの番組表を含む画像が生成されて前記操作装置の表示部に表示される、請求項１３から請求項１６のいずれか１項に記載の情報処理方法。
【請求項１９】
前記所定の表示装置は、前記ゲーム装置から入力される画像を表示する第１モードと、前記テレビ放送の画像を表示する第２モードとを切り替え可能であり、
前記装置制御ステップにおいては、前記操作装置に前記操作画像が表示されることに応じて、前記所定の表示装置のモードを前記第２モードへ切り替える制御が行われる、請求項１３から請求項１８のいずれか１項に記載の情報処理方法。
【請求項２０】
前記所定の表示装置は、前記ゲーム装置から入力される画像を表示する第１モードと、前記テレビ放送の画像を表示する第２モードとを切り替え可能であり、
前記装置制御ステップにおいては、前記操作装置において表示される画像が前記操作画像から前記アプリケーションの実行によって生成される画像へと切り替えられることに応じて、前記所定の表示装置のモードを前記第１モードへ切り替える制御が行われる、請求項１３から請求項１９のいずれか１項に記載の情報処理方法。
【請求項２１】
前記操作装置は、前記所定の表示装置を制御するための制御信号を出力する制御信号出力を備えており、
前記装置制御ステップにおいては、前記制御指示に応じた制御内容を示す制御信号を前記制御信号出力部に送信させる指示が前記ゲーム装置から前記操作装置に対して行われる、請求項１３から請求項２０のいずれか１項に記載の情報処理方法。
【請求項２２】
前記装置制御ステップにおいては、前記制御指示に応じた制御内容を示す制御信号が前記ゲーム装置から前記所定の表示装置へ出力される、請求項１３から請求項２０のいずれか１項に記載の情報処理方法。
【請求項２３】
前記操作装置は、前記表示部の画面上に設けられるタッチパネルをさらに備え、
前記操作画像生成ステップにおいては、前記操作画像として、前記制御指示を表す制御指示画像を含む画像が生成され、
前記指示判定ステップにおいては、前記タッチパネルにおいて前記制御指示画像が選択された場合に前記制御指示があったと判定される、請求項１３から請求項２２に記載の情報処理方法。
【請求項２４】
表示部を有する操作装置と通信可能なゲーム装置であって、
前記操作装置に対する操作を表す操作データを取得する取得部と、
アプリケーションを実行し、実行によって生成された画像を、前記操作装置と前記操作装置とは別体の所定の表示装置との少なくとも一方へ出力するアプリケーション実行部と、
前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、前記表示部に表示させるための所定の操作画像を生成する操作画像生成部と、
前記操作画像が前記表示部に表示される状態において、前記所定の表示装置に対する制御を行う制御指示があったか否かを前記操作データに基づいて判定する指示判定部と、
前記制御指示があった場合、当該制御指示に応じた制御を前記所定の表示装置に対して行う装置制御部とを備える、ゲーム装置。
【請求項２５】
表示部を有する操作装置と通信可能なゲーム装置のコンピュータにおいて実行される情報処理プログラムであって、
前記操作装置に対する操作を表す操作データを取得する取得手段と、
アプリケーションを実行し、実行によって生成された画像を、前記操作装置と前記操作装置とは別体の所定の表示装置との少なくとも一方へ出力するアプリケーション実行手段と、
前記アプリケーションの実行中において前記操作装置に対して所定の操作が行われた場合、前記表示部に表示させるための所定の操作画像を生成する操作画像生成手段と、
前記操作画像が前記表示部に表示される状態において、前記所定の表示装置に対する制御を行う制御指示があったか否かを前記操作データに基づいて判定する指示判定手段と、
前記制御指示があった場合、当該制御指示に応じた制御を前記所定の表示装置に対して行う装置制御手段として前記コンピュータを機能させる、情報処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−２５３６２８（Ｐ２０１２−２５３６２８Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２５７３９（Ｐ２０１１−１２５７３９）
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
[ Back to top ]