情報処理システム、情報処理装置、情報処理プログラム、およびコンテンツ再生制御方法
【課題】コンテンツの見やすさと再生するコンテンツの指定を両立させる。
【解決手段】据置型表示装置と、ユーザにより所定の入力が可能な可搬型表示装置とを含む情報処理システムである。コンテンツを再生して据置型表示装置に表示するとともに、コンテンツの再生中に、可搬型表示装置に、コンテンツの再生画像と、再生するコンテンツを指定するためのユーザインターフェース用画像とを選択的に表示する。
【解決手段】据置型表示装置と、ユーザにより所定の入力が可能な可搬型表示装置とを含む情報処理システムである。コンテンツを再生して据置型表示装置に表示するとともに、コンテンツの再生中に、可搬型表示装置に、コンテンツの再生画像と、再生するコンテンツを指定するためのユーザインターフェース用画像とを選択的に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、情報処理プログラム、およびコンテンツ再生制御方法に関する。
【背景技術】
【０００２】
従来、インターネットから取得したウェブページ等をテレビを用いて閲覧する技術がある。例えば、非特許文献１に記載の技術では、ゲーム装置によってインターネットにアクセスし、インターネット上のウェブページをテレビに表示することが可能である。これによって、ユーザは、一般的なパーソナルコンピュータに用いられるモニタに比べて画面が大きなテレビでウェブページを閲覧することができる。例えば、動画や静止画といったコンテンツを含むウェブページをテレビに表示することによって、複数人でもコンテンツを見やすくなり、また、迫力のある画像を提供することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“Ｗｉｉチャンネル インターネットチャンネル”、［ｏｎｌｉｎｅ］、任天堂、［２０１１年２月２３日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｎｉｎｔｅｎｄｏ．ｃｏ．ｊｐ／ｗｉｉ／ｆｅａｔｕｒｅｓ／ｉｎｔｅｒｎｅｔ／＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記非特許文献１に記載の技術は、ウェブページをテレビに単に表示するものであるので、見やすく操作性の良いコンテンツ再生を提供することができない場合があった。
【０００５】
それ故、本発明の目的は、見やすく操作性の良いコンテンツの再生制御をおこなうことができる情報処理システム、情報処理装置、情報処理プログラム、およびコンテンツ再生制御方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の構成を採用した。
【０００７】
（１）本発明の一例は、以下の情報処理システムである。
据置型表示装置と、ユーザにより所定の入力が可能な可搬型表示装置とを含む情報処理システムであって、
コンテンツを再生して、再生画像を生成し、少なくとも前記据置型表示装置に表示するコンテンツ再生部と、
再生するコンテンツを指定するためのユーザインターフェース用画像を生成するＵＩ画像生成部と、
前記コンテンツ再生部によるコンテンツの再生中に、前記可搬型表示装置に、当該再生中の前記再生画像と、前記ユーザインターフェース用画像とを選択的に表示する切替表示制御部と、
前記ユーザインターフェース用画像を用いて、前記可搬型表示装置におけるユーザによる所定の入力により、次に再生すべきコンテンツを指定するコンテンツ指定部と、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを次に再生する、情報処理システム。
【０００８】
上記「情報処理システム」は、据置型表示装置と可搬型表示装置と１つの情報処理装置とによって構成されてもよいし、据置型表示装置と可搬型表示装置と複数の情報処理装置によって構成されてもよい。また、可搬型表示装置が情報処理装置の機能を有して各処理（またはその一部）を実行してもよい。情報処理装置の機能を有する可搬型装置と据置型の情報処理装置が処理を分担して実行してもよい。また、据置型表示装置が情報処理装置の機能を有して各処理を実行してもよい。「情報処理装置」は、後述する実施形態におけるゲーム装置の他、一般的なパーソナルコンピュータのような多用途の情報処理装置であってもよい。
【０００９】
上記「再生すべきコンテンツを選択するためのユーザインターフェース用画像」は、再生可能なコンテンツの一覧（典型的にはサムネイルの一覧や名称の一覧）を含む画像や、再生可能なコンテンツを検索するための画像であってもよい。これらの画像を用いて再生すべきコンテンツが選択される。
上記「可搬型表示装置」は、ユーザが手に持って動かしたり、任意の位置に配置を変更したりすることができる程度の大きさの表示装置である。
上記「据置型表示装置」は、後述する実施形態のようなテレビの他、任意の据置型の表示装置を含む概念である。
【００１０】
上記（１）の構成によれば、据置型表示装置でコンテンツを見やすく表示できるとともに、可搬型表示装置を用いて、現在見ているコンテンツの視聴を妨げることなく、次に再生するコンテンツの指定操作をおこなうことができる。また、可搬型表示装置の操作者は、次に再生すべきコンテンツを指定する裏方的な操作ができるとともに、可搬型表示装置に再生画像を表示して現在再生中のコンテンツを楽しむことができる。
【００１１】
（２）以下のように構成してもよい。
前記コンテンツ再生部によって再生中のコンテンツの再生状態を示す表示である再生状態画像を前記可搬型表示装置に表示する再生状態表示制御部をさらに備え、
前記再生状態表示制御部は、前記切替表示制御部によって前記再生中の再生画像に切り替えられているときには、当該再生画像とともに前記再生状態画像を前記可搬型表示装置に表示し、前記ユーザインターフェース用画像に切り替えられているときは、当該ユーザインターフェース用画像とともに前記再生状態画像を前記可搬型表示装置に表示する。
【００１２】
（２）の構成によれば、可搬型表示装置において現在再生中のコンテンツの再生状態が確認できる。可搬型表示装置において、次に再生すべきコンテンツを選択しているときであっても現在再生中のコンテンツの再生状態が表示されるので、可搬型表示装置において現在再生中のコンテンツの再生状態を確認しつつ、次に再生すべきコンテンツを選択することができる。
【００１３】
（３）以下のように構成してもよい。
前記再生状態表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像の下方に前記再生状態画像を表示し、前記ユーザインターフェース用画像に切り替えられているときには、当該ユーザインターフェース用画像示の上方に前記再生状態画像を表示する。
【００１４】
（３）の構成によれば、可搬型表示装置の操作者は、据置型表示装置の前で可搬型表示装置を手元に把持しつつ操作するのが通常の使用状態である。このとき、据置型表示装置の画面が可搬型表示装置の画面の上方に位置することが多い。可搬型表示装置において再生画像に切り替えられているときには、可搬型表示装置上の再生画像の下方に再生状態画像が配置され、ユーザインターフェース用画像に切り替えられているときには、据置型表示装置上の再生画像の実質的な下方に再生状態画像が位置する。いずれの状況においても、配置関係が実質的に変わらないので、直感的で使いやすいユーザインターフェースを提供することができる。
【００１５】
（４）以下のように構成してもよい。
前記可搬型表示装置は座標入力部を備え、
前記コンテンツ再生部によって再生中のコンテンツの再生を制御するための表示である再生制御画像を前記可搬型表示装置に表示する再生制御表示制御部をさらに備え、
前記再生制御表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像とともに前記再生制御画像を前記可搬型表示装置に表示し、前記ユーザインターフェース用画像に切り替えられているときは、当該ユーザインターフェース用画像とともに前記再生制御画像を前記可搬型表示装置に表示し、
前記再生制御部は、前記座標入力部によって前記再生制御画像に対する座標入力がされたときに、現在再生中のコンテンツに対して再生制御をおこなう。
【００１６】
（４）の構成によれば、可搬型表示装置において再生中のコンテンツの再生制御ができる。可搬型表示装置において、次に再生すべきコンテンツを選択しているときであっても現在再生中のコンテンツの再生制御ができるので、可搬型表示装置において現在再生中のコンテンツの再生を制御しつつ、次に再生すべきコンテンツを選択することができる。
【００１７】
（５）以下のように構成してもよい。
前記再生制御表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像の下方に前記再生制御画像を表示し、前記ユーザインターフェース用画像に切り替えられているときには、当該ユーザインタフェース画像の上方に前記再生制御画像を表示する。
【００１８】
（５）の構成によれば、可搬型表示装置に再生画像が表示されているときには、可搬型表示装置上の再生画像の下方に再生制御画像が配置され、ユーザインターフェース用画像が表示されているときにおいても、据置型表示装置上の再生画像の実質的な下方に再生制御画像が位置するので、直感的で使いやすいユーザインターフェースを提供することができる。
【００１９】
（６）以下のように構成してもよい。
前記可搬型表示装置は、座標入力部を備え、
前記切替表示制御部は、前記座標入力部において上方向を示す座標入力があったときに、前記可搬型表示装置の表示内容を、前記再生画像から前記ユーザインターフェース用画像に切り替える。
【００２０】
（６）の構成によれば、可搬型表示装置において上方向（すなわち、据置型表示装置上の再生画像が位置する方向）を示す座標入力があったときに、可搬型表示装置の表示を再生画像からユーザインターフェース用画像に切り替えるので、可搬型表示装置上で再生されているコンテンツが据置型表示装置上で再生されているコンテンツに統合して消失したかのような印象となり、直感的で使いやすいユーザインターフェースを提供することができる。
【００２１】
（７）以下のように構成してもよい。
前記切替表示制御部は、前記ユーザインターフェース用画像から前記再生画像に切り替えるときに、前記コンテンツ再生部により現在再生中のコンテンツの再生画像を前記可搬型表示装置において上方向から徐々にスライドインするように表示する。
【００２２】
（７）の構成によれば、据置型表示装置上で再生されているコンテンツが可搬型表示装置に降りてきたかのような印象となり直感的で使いやすいユーザインターフェースを提供することができる。
【００２３】
（８）以下のように構成してもよい。
前記切替表示制御部は、前記ユーザインターフェース用画像から前記再生画像に切り替えるときに、前記コンテンツ再生部により現在再生中のコンテンツの再生画像を前記可搬型表示装置において上方向へ徐々にスライドアウトするように表示する。
【００２４】
（９）以下のように構成してもよい。
前記コンテンツ再生部は、前記コンテンツ指定部によって次に再生すべきことが指定されたコンテンツを再生するときに、前記再生画像を前記据置型表示装置に表示するとともに、前記切替表示制御部により前記可搬型表示装置の表示を前記再生画像に切り替えて、当該再生画像を前記可搬型表示装置に表示する。
【００２５】
（１０）以下のように構成してもよい。
前記切替表示制御部は、前記コンテンツ再生部によるコンテンツの再生が終了したときに、前記ユーザインターフェース用画像を前記可搬型表示装置と前記据置型表示装置の両方に表示する。
【００２６】
（１１）以下のように構成してもよい。
ネットワークに接続可能であり、当該ネットワークを介して、コンテンツを記憶した所定の外部装置と通信を行う通信部をさらに備え、
前記ＵＩ画像生成部は、前記通信部によって前記外部装置に記憶されたコンテンツの一覧を取得してそのなかから再生すべきコンテンツを指定するためのインターフェース画像を生成し、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを前記通信部によって前記外部装置から取得して再生する。
【００２７】
（１２）以下のように構成してもよい。
前記情報処理システムは、表示データを生成して前記据置型表示装置および前記可搬型表示装置に出力することが可能な情報処理部を含み、
前記情報処理部は、前記ＵＩ画像生成部、前記コンテンツ再生部として機能し、
前記ＵＩ画像生成部により生成されたユーザインターフェース用画像と前記コンテンツ再生部による再生画像を、選択的にまたは同時に前記可搬型表示装置に出力し、
前記コンテンツ再生部による再生画像を前記据置型表示装置に出力し、
前記据置型表示装置および前記可搬型表示装置は、情報処理装置から表示データを受信して表示する。
【００２８】
なお、本発明の別の一例は、上記（１）〜（１２）の各部と同等の手段を有する情報処理装置の形態であってもよい。また、本発明の別の一例は、情報処理システムまたは情報処理装置のコンピュータを上記（１）〜（１２）における各部と同等の手段として機能させる情報処理プログラムの形態であってもよい。さらに、本発明の別の一例は、上記（１）〜（１２）の情報処理システムまたは情報処理装置において行われるコンテンツ再生制御方法の形態であってもよい。
【発明の効果】
【００２９】
以上のように、本発明によれば、コンテンツの見やすさと再生するコンテンツの指定が両立させることができる。
【図面の簡単な説明】
【００３０】
【図１】ゲームシステム１の外観図
【図２】ゲーム装置３の内部構成を示すブロック図
【図３】コントローラ５の外観構成を示す斜視図
【図４】コントローラ５の外観構成を示す斜視図
【図５】コントローラ５の内部構造を示す図
【図６】コントローラ５の内部構造を示す図
【図７】コントローラ５の構成を示すブロック図
【図８】端末装置７の外観構成を示す図
【図９】ユーザが端末装置７を把持した様子を示す図
【図１０】端末装置７の内部構成を示すブロック図
【図１１】ゲームシステム１と外部装置との接続関係と示すブロック図
【図１２】テレビ２および端末装置７の画面５１の画面例（コンテンツ非再生時）
【図１３】テレビ２および端末装置７の画面５１の画面例（コンテンツ再生開始時）
【図１４】テレビ２および端末装置７の画面５１の画面例（コンテンツ再生時）
【図１５】テレビ２および端末装置７の画面５１の画面例（コンテンツ再生時の再生モードと検索モードの切替）
【図１６】テレビ２および端末装置７の画面５１の画面例（コンテンツ再生中における次の再生コンテンツの決定操作）
【図１７】処理の流れを示すメインフローチャート
【図１８】処理の流れを示すメインフローチャート
【図１９】処理の流れを示すメインフローチャート
【発明を実施するための形態】
【００３１】
［１．ゲームシステムの全体構成］
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５および／または端末装置７を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。
【００３２】
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
【００３３】
ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
【００３４】
テレビ２の画面の周辺（図１では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の動きや位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６はゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図１ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。
【００３５】
コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、本実施形態では、ゲームシステム１に含まれるコントローラ５は１つとするが、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。コントローラ５の詳細な構成については後述する。
【００３６】
端末装置７は、ユーザが把持可能な程度の大きさであり、ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ６４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３で生成された画像（例えばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
【００３７】
［２．ゲーム装置３の内部構成］
次に、図２を参照して、ゲーム装置３の内部構成について説明する。図２は、ゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
【００３８】
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。
【００３９】
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１ｂ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
【００４０】
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、ゲーム装置３は、テレビ２に表示する画像と、端末装置７に表示する画像との両方を生成する。以下では、テレビ２に表示される画像を「テレビ用画像」と呼び、端末装置７に表示される画像を「端末用画像」と呼ぶことがある。
【００４１】
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、テレビ２のスピーカから出力するゲーム音声と、端末装置７のスピーカから出力するゲーム音声との両方が生成される。以下では、テレビ２から出力される音声を「テレビ用音声」と呼び、端末装置７から出力される音声を「端末用音声」と呼ぶことがある。
【００４２】
上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２に出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａに出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。なお、ゲーム装置３とテレビ２との接続は、どのような方式で行われてもよいが、ゲーム装置３は、テレビ２を制御する制御指令を有線または無線でテレビ２へ送信するようにしてもよい。例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格に則ったＨＤＭＩケーブルが用いられてもよい。ＨＤＭＩ規格では、ＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）と呼ばれる機能によって、接続相手の機器を制御することが可能である。したがって、ＨＤＭＩケーブルが用いられる場合のように、ゲーム装置３がテレビ２に対する制御が可能である場合には、ゲーム装置３は、適宜のタイミングでテレビ２の電源をオンにしたり、テレビ２の入力を切り替えたりすることができる。
【００４３】
また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。
【００４４】
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
【００４５】
ゲーム装置３は、インターネット等のネットワークに接続して外部の情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続可能であり、ネットワークに接続される他の装置と通信を行うことができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
【００４６】
また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００４７】
また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、本実施形態では、ゲーム装置３から端末装置７へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
【００４８】
また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。
【００４９】
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置７へ送信する。制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１０に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１０に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを端末装置７へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
【００５０】
また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａに出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａに出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００５１】
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
【００５２】
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【００５３】
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。
【００５４】
［３．コントローラ５の構成］
次に、図３〜図７を参照して、コントローラ５について説明する。図３は、コントローラ５の外観構成を示す斜視図である。図４は、コントローラ５の外観構成を示す斜視図である。図３は、コントローラ５の上側後方から見た斜視図であり、図４は、コントローラ５を下側前方から見た斜視図である。
【００５５】
図３および図４において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。
【００５６】
ハウジング３１には、複数の操作ボタンが設けられる。図３に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ〜３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図４に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ〜３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。ホームボタン３２ｆおよび電源ボタン３２ｈは、その上面がハウジング３１の上面に埋没している。これによって、ユーザがホームボタン３２ｆまたは電源ボタン３２ｈを誤って押下することを防止することができる。
【００５７】
ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、コントローラ５に他の機器（例えば、他のセンサユニットやコントローラ）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。
【００５８】
ハウジング３１上面の後方には複数（図３では４つ）のＬＥＤ３４ａ〜３４ｄが設けられる。ここで、コントローラ５には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ〜３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いてゲーム操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ〜３４ｄのいずれか１つが点灯する。
【００５９】
また、コントローラ５は撮像情報演算部３５（図６）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。
【００６０】
ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、コントローラ５に内蔵されるスピーカ４７（図５）からの音を外部に放出するための音抜き孔３１ａが形成されている。
【００６１】
次に、図５および図６を参照して、コントローラ５の内部構造について説明する。図５および図６は、コントローラ５の内部構造を示す図である。なお、図５は、コントローラ５の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６は、コントローラ５の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６に示す斜視図は、図５に示す基板３０を裏面から見た斜視図となっている。
【００６２】
図５において、ハウジング３１の内部には基板３０が固設されており、当該基板３０の上主面上に各操作ボタン３２ａ〜３２ｈ、各ＬＥＤ３４ａ〜３４ｄ、加速度センサ３７、アンテナ４５、およびスピーカ４７等が設けられる。これらは、基板３０等に形成された配線（図示せず）によってマイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）４２（図６参照）に接続される。本実施形態では、加速度センサ３７は、Ｘ軸方向に関してコントローラ５の中心からずれた位置に配置されている。これによって、コントローラ５をＺ軸回りに回転させたときのコントローラ５の動きが算出しやすくなる。また、加速度センサ３７は、長手方向（Ｚ軸方向）に関してコントローラ５の中心よりも前方に配置されている。また、無線モジュール４４（図６）およびアンテナ４５によって、コントローラ５がワイヤレスコントローラとして機能する。
【００６３】
一方、図６において、基板３０の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ５の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を備えている。これらの部材３８〜４１はそれぞれ基板３０の下主面に取り付けられる。
【００６４】
さらに、基板３０の下主面上には、上記マイコン４２およびバイブレータ４６が設けられている。バイブレータ４６は、例えば振動モータやソレノイドであり、基板３０等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータ４６が作動することによってコントローラ５に振動が発生する。これによって、コントローラ５を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。本実施形態では、バイブレータ４６は、ハウジング３１のやや前方寄りに配置される。つまり、バイブレータ４６がコントローラ５の中心よりも端側に配置することによって、バイブレータ４６の振動によりコントローラ５全体を大きく振動させることができる。また、コネクタ３３は、基板３０の下主面上の後端縁に取り付けられる。なお、図５および図６に示す他、コントローラ５は、マイコン４２の基本クロックを生成する水晶振動子、スピーカ４７に音声信号を出力するアンプ等を備えている。
【００６５】
なお、図３〜図６に示したコントローラ５の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、本実施形態では、撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。
【００６６】
図７は、コントローラ５の構成を示すブロック図である。コントローラ５は、操作部３２（各操作ボタン３２ａ〜３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。
【００６７】
操作部３２は、上述した各操作ボタン３２ａ〜３２ｉを含み、各操作ボタン３２ａ〜３２ｉに対する入力状態（各操作ボタン３２ａ〜３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。
【００６８】
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ５の動きでも追跡して解析することができる。
【００６９】
撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。
【００７０】
なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。
【００７１】
加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。例えば、２軸以上の多軸加速度センサの場合には、加速度センサの検出部に加わっている加速度として、各軸に沿った成分の加速度をそれぞれ検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。
【００７２】
本実施形態では、加速度センサ３７は、コントローラ５を基準とした上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。加速度センサ３７は、各軸に沿った直線方向に関する加速度を検出するものであるため、加速度センサ３７からの出力は３軸それぞれの直線加速度の値を表すものとなる。すなわち、検出された加速度は、コントローラ５を基準に設定されるＸＹＺ座標系（コントローラ座標系）における３次元のベクトルとして表される。
【００７３】
加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や動きに対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや動きを算出することができる。本実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。
【００７４】
なお、加速度センサ３７（後述する加速度センサ６３についても同様）から出力される加速度の信号に基づいて、ゲーム装置３のプロセッサ（例えばＣＰＵ１０）またはコントローラ５のプロセッサ（例えばマイコン４２）等のコンピュータが処理を行うことによって、コントローラ５に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサ３７を搭載するコントローラ５が静止状態であることを前提としてコンピュータ側の処理が実行される場合（すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理が実行される場合）、コントローラ５が現実に静止状態であれば、検出された加速度に基づいてコントローラ５の姿勢が重力方向に対して傾いているか否かまたはどの程度傾いているかを知ることができる。具体的には、加速度センサ３７の検出軸が鉛直下方向を向いている状態を基準としたとき、１Ｇ（重力加速度）がかかっているか否かによって、コントローラ５が基準に対して傾いているか否かを知ることができるし、その大きさによって基準に対してどの程度傾いているかも知ることができる。また、多軸の加速度センサ３７の場合には、さらに各軸の加速度の信号に対して処理を施すことによって、重力方向に対してコントローラ５がどの程度傾いているかをより詳細に知ることができる。この場合において、プロセッサは、加速度センサ３７からの出力に基づいてコントローラ５の傾斜角度を算出してもよいし、当該傾斜角度を算出せずに、コントローラ５の傾斜方向を算出するようにしてもよい。このように、加速度センサ３７をプロセッサと組み合わせて用いることによって、コントローラ５の傾斜角度または姿勢を判定することができる。
【００７５】
一方、コントローラ５が動的な状態（コントローラ５が動かされている状態）であることを前提とする場合には、加速度センサ３７は重力加速度に加えてコントローラ５の動きに応じた加速度を検出するので、検出された加速度から重力加速度の成分を所定の処理により除去することによってコントローラ５の動き方向を知ることができる。また、コントローラ５が動的な状態であることを前提とする場合であっても、検出された加速度から、加速度センサの動きに応じた加速度の成分を所定の処理により除去することによって、重力方向に対するコントローラ５の傾きを知ることが可能である。なお、他の実施例では、加速度センサ３７は、内蔵の加速度検出手段で検出された加速度信号をマイコン４２に出力する前に当該加速度信号に対して所定の処理を行うための、組込み式の処理装置または他の種類の専用の処理装置を備えていてもよい。組込み式または専用の処理装置は、例えば、加速度センサ３７が静的な加速度（例えば、重力加速度）を検出するために用いられる場合、加速度信号を傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。
【００７６】
ジャイロセンサ４８は、３軸（本実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。例えば、ジャイロセンサ４８は、３軸ジャイロセンサであってもよいし、２軸ジャイロセンサと１軸ジャイロセンサとを組み合わせて３軸周りの角速度を検出するものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。
【００７７】
通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。
【００７８】
操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。これらのデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ５から送信される。微弱電波信号はゲーム装置３側のコントローラ通信モジュール１９で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行うことが好ましい。コントローラ５の通信部３６は、例えば１／２００秒に１回の割合で操作データをゲーム装置３のコントローラ通信モジュール１９へ出力する。
【００７９】
以上のように、コントローラ５は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下する従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、コントローラ５を任意の姿勢に傾ける操作、コントローラ５によって画面上の任意の位置を指示する操作、および、コントローラ５自体を動かす操作等を行うことが可能となる。
【００８０】
また、本実施形態において、コントローラ５は、ゲーム画像を表示する表示手段を有しないが、例えば電池残量を表す画像等を表示するための表示手段を有していてもよい。
【００８１】
［４．端末装置７の構成］
次に、図８〜図１０を参照して、端末装置７の構成について説明する。図８は、端末装置７の外観構成を示す図である。図８における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。また、図９は、ユーザが端末装置７を把持した様子を示す図である。
【００８２】
図８に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。
【００８３】
端末装置７は、ハウジング５０の表面にＬＣＤ５１を有する。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図９に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置を持って動かすことができる。なお、図９ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つ例を示しているが、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。
【００８４】
図８の（ａ）図に示すように、端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本実施形態では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペンを用いて行われるが、タッチペンに限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペンを収納するための収納穴が設けられていてもよい。このように、端末装置７はタッチパネル５２を備えるので、ユーザは、端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
【００８５】
図８に示すように、端末装置７は、操作手段として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン５４Ａ〜５４Ｌとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示するデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作されるスティック部がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライド（または傾倒）することができるように構成されている。また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図９に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置７を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。
【００８６】
各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作手段である。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる（図９参照）。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
【００８７】
図８の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈとが設けられる。つまり、これらのボタン５４Ａ〜５４Ｇは、ユーザの親指で操作可能な位置に配置されている（図９参照）。
【００８８】
十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、上下左右の方向を指示することが可能なボタンである。また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ〜５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。
【００８９】
また、図８の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、上側および左側の側面から露出している。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、上側および右側の側面から露出している。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図９参照）。
【００９０】
また、図８の（ｂ）図および（ｃ）図に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、板状のハウジング５０の裏面（すなわちＬＣＤ５１が設けられる表面の反対側の面）に突起して設けられる足部５９Ａおよび５９Ｂに配置される。具体的には、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの概ね反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの概ね反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指で操作可能な位置に配置される（図９参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図８の（ｃ）図に示すように、上記足部５９Ａおよび５９Ｂの斜め上方を向く面に設けられ、斜め上方を向くボタン面を有する。ユーザが端末装置７を把持した場合には中指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。また、ハウジング５０の裏面に足部が設けられることにより、ユーザはハウジング５０を把持しやすくなり、かつ、足部にボタンが設けられることで、ハウジング５０を把持したまま操作しやすくなる。
【００９１】
なお、図８に示す端末装置７に関しては、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面が完全に水平にはならない場合がある。そのため、他の実施形態においては、ハウジング５０の裏面に３つ以上の足部が形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では足部が床面に接することで床面に載置できるので、画面が水平になるように端末装置７を載置することができる。また、着脱可能な足部を追加することで端末装置７を水平に載置するようにしてもよい。
【００９２】
各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｅは決定操作やキャンセル操作等に用いられてもよい。
【００９３】
なお、図示しないが、端末装置７は、端末装置７の電源をオン／オフするための電源ボタンを有している。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンや、スピーカ（図１０に示すスピーカ６７）の音量を調節するためのボタンを有していてもよい。
【００９４】
図８の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部（図１０に示すマーカ部５５）をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
【００９５】
端末装置７は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図８に示すように、本実施形態では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。
【００９６】
なお、端末装置７は、音声入力手段であるマイク（図１０に示すマイク６９）を備えている。ハウジング５０の表面には、マイクロフォン用孔６０が設けられる。マイク６９はこのマイクロフォン用孔６０の奥のハウジング５０内部に設けられる。マイクは、ユーザの音声等、端末装置７の周囲の音を検出する。
【００９７】
端末装置７は、音声出力手段であるスピーカ（図１０に示すスピーカ６７）を備えている。図８の（ｄ）図に示すように、ハウジング５０の下側側面にはスピーカ孔５７が設けられる。スピーカ６７の出力音はこのスピーカ孔５７から出力される。本実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。
【００９８】
また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。本実施形態においては、図８の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。他の装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。
【００９９】
なお、図８に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
【０１００】
次に、図１０を参照して、端末装置７の内部構成について説明する。図１０は、端末装置７の内部構成を示すブロック図である。図１０に示すように、端末装置７は、図８に示した構成の他、タッチパネルコントローラ６１、磁気センサ６２、加速度センサ６３、ジャイロセンサ６４、ユーザインタフェースコントローラ（ＵＩコントローラ）６５、コーデックＬＳＩ６６、スピーカ６７、サウンドＩＣ６８、マイク６９、無線モジュール７０、アンテナ７１、赤外線通信モジュール７２、フラッシュメモリ７３、電源ＩＣ７４、電池７５、および、バイブレータ７９を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
【０１０１】
ＵＩコントローラ６５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ６５は、タッチパネルコントローラ６１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、マーカ部５５、磁気センサ６２、加速度センサ６３、ジャイロセンサ６４、およびバイブレータ７９に接続される。また、ＵＩコントローラ６５は、コーデックＬＳＩ６６と拡張コネクタ５８に接続される。また、ＵＩコントローラ６５には電源ＩＣ７４が接続され、ＵＩコントローラ６５を介して各部に電力が供給される。電源ＩＣ７４には内蔵の電池７５が接続され、電力が供給される。また、電源ＩＣ７４には、コネクタ等を介して外部電源から電力を取得可能な充電器７６またはケーブルを接続することが可能であり、端末装置７は、当該充電器７６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うようにしてもよい。
【０１０２】
タッチパネルコントローラ６１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ６１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ６５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ６１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ６５からタッチパネルコントローラ６１へは、タッチパネル５２に対する各種の制御指示が出力される。
【０１０３】
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ６５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ６５へ出力する。
【０１０４】
磁気センサ６２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から磁気センサ６２へは、磁気センサ６２に対する制御指示が出力される。磁気センサ６２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。
【０１０５】
加速度センサ６３は、ハウジング５０の内部に設けられ、３軸（図８の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ６３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の短辺方向をｙ軸、ハウジング５０の表面に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から加速度センサ６３へは、加速度センサ６３に対する制御指示が出力される。加速度センサ６３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ６３は１軸または２軸方向を検出する加速度センサであってもよい。
【０１０６】
ジャイロセンサ６４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５からジャイロセンサ６４へは、ジャイロセンサ６４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ６４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ６４は１軸または２軸方向を検出するジャイロセンサであってもよい。
【０１０７】
バイブレータ７９は、例えば振動モータやソレノイドであり、ＵＩコントローラ６５に接続される。ＵＩコントローラ６５の指示によりバイブレータ７９が作動することによって端末装置７に振動が発生する。これによって、端末装置７を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。
【０１０８】
ＵＩコントローラ６５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ６６に出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
【０１０９】
コーデックＬＳＩ６６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ６６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ６８、無線モジュール７０、フラッシュメモリ７３、および赤外線通信モジュール７２が接続される。また、コーデックＬＳＩ６６はＣＰＵ７７と内部メモリ７８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ７３に格納されたプログラムを内部メモリ７８に読み出してＣＰＵ７７が実行することで、端末装置７が起動する。また、内部メモリ７８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。
【０１１０】
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ６６へ出力する。また、コーデックＬＳＩ６６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ６６へ繰り返し出力することも可能である。
【０１１１】
サウンドＩＣ６８は、スピーカ６７およびマイク６９に接続され、スピーカ６７およびマイク６９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ６６から音声データを受け取った場合、サウンドＩＣ６８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ６７へ出力し、スピーカ６７から音を出力させる。また、マイク６９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ６８へ出力する。サウンドＩＣ６８は、マイク６９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ６６へ出力する。
【０１１２】
赤外線通信モジュール７２は、赤外線信号を発光し、他の装置との間で赤外線通信を行う。ここでは、赤外線通信モジュール７２は、例えばＩｒＤＡの規格に従った赤外線通信を行う機能と、テレビ２を制御するための赤外線信号を出力する機能とを備える。
【０１１３】
コーデックＬＳＩ６６は、カメラ５６からの画像データと、マイク６９からの音声データと、ＵＩコントローラ６５からの端末操作データとを無線モジュール７０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ６６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール７０に出力される。無線モジュール７０にはアンテナ７１が接続されており、無線モジュール７０はアンテナ７１を介してゲーム装置３へ上記送信データを送信する。無線モジュール７０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール７０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
【０１１４】
以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。コーデックＬＳＩ６６は、赤外線通信モジュール７２による赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
【０１１５】
また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ７１および無線モジュール７０を介してコーデックＬＳＩ６６に受信される。コーデックＬＳＩ６６は、受信した画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。また、伸張された音声データはサウンドＩＣ６８へ出力され、サウンドＩＣ６８はスピーカ６７から音を出力させる。
【０１１６】
また、ゲーム装置３から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ６６およびＵＩコントローラ６５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ６１、マーカ部５５、各センサ６２〜６４、赤外線通信モジュール７２、およびバイブレータ７９）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
【０１１７】
また、ゲーム装置３は、上記赤外線通信モジュール７２の出力を制御することによって、テレビ２の動作を制御することが可能である。すなわち、ゲーム装置３は、テレビ２を制御するための制御指令に対応する赤外線信号を赤外線通信モジュール７２に出力させるための指示（上記制御データ）を端末装置７に出力する。この指示に応じて、コーデックＬＳＩ６６は、上記制御指令に対応する赤外線信号を赤外線通信モジュール７２に出力させる。ここで、テレビ２は赤外線信号を受光可能な赤外線受光部を備えている。赤外線通信モジュール７２から出力された赤外線信号が赤外線受光部によって受光されることで、テレビ２は当該赤外線信号に応じた動作を行う。なお、ゲーム装置３からの上記指示は、赤外線信号のパターンを示すものであってもよいし、端末装置７が赤外線信号のパターンを記憶している場合には、当該パターンを示す指示であってもよい。
【０１１８】
以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
【０１１９】
また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ６２、加速度センサ６３、およびジャイロセンサ６４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【０１２０】
また、端末装置７は、カメラ５６およびマイク６９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク６９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【０１２１】
また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
【０１２２】
［５．コンテンツの再生］
次に、ゲームシステム１において実行されるコンテンツ再生の動作について説明する。ゲームシステム１は、テレビ２と端末装置７という２つの表示装置を用いることによって、インターネット等のネットワークから取得されるコンテンツ等を、見やすく、操作しやすいようにユーザに提供するものである。
【０１２３】
図１１は、ゲームシステム１と外部装置との接続関係と示すブロック図である。図１１に示すように、ゲームシステム１におけるゲーム装置３は、ネットワーク９０を介して外部装置９１と通信可能である。ネットワーク９０は、インターネット等の任意の通信ネットワークである。外部装置９１は、典型的には、コンテンツ（動画や静止画等）の提供サイトまたはコンテンツ検索サイト（例えば、動画が蓄積されたサイト、または、動画を検索するためのサイト）である。ゲーム装置３は、ネットワーク９０を介して外部装置９１から取得した情報に基づいて、再生するコンテンツを指定するためのユーザインターフェースを構築する。より具体的には、当該情報に基づいて、ユーザインターフェース用画像（以下、ＵＩ用画像と呼ぶ）を生成する。より具体的には、ゲーム装置３は、外部装置９からＷｅｂページ情報を取得して、このＵＩ用画像を生成する。ＵＩ用画像は、具体的には、以下を例として挙げることができる。
・再生候補となるコンテンツの一覧の画像
・コンテンツを検索する条件（キーワードなど）の入力のための画像
検索結果の一覧の画像の画像
ＵＩ用画像は端末装置７に表示される。なお、後述のように、ＵＩ画像はテレビ２に表示されることもある。
また、ゲーム装置３は、外部装置９から取得したＷｅｂページ情報に基づいて、ＵＩ用画像を生成するだけでなく、タッチパネルやそのほかの入力部からの入力を受け付けてそれに応じた処理を実行するなどして再生するコンテンツを指定するための入出力制御をおこなう。
【０１２４】
端末装置７においてＵＩ用画像を表示しつつユーザが再生すべきコンテンツを指定すると、ゲーム装置３は、外部装置９１または他のサーバから、指定されたコンテンツを取得する。そして、取得したコンテンツが再生処理され、再生画像がテレビ２に表示される。
【０１２５】
このように、端末装置７は、再生するコンテンツを指定するための端末として使うことができるが、コンテンツを視聴するための端末として使うこともできる。前者を検索モードと呼び、後者を再生モードと呼ぶ。なお、本明細書において検索とは、キーワードなどを入力して検索結果を得ることだけでなく、単にコンテンツの一覧から希望のものを探すことを含む。
【０１２６】
上記再生モードは、端末装置７の画面上にテレビ２と同じコンテンツを表示するモードである。一方、上記検索モードは端末装置７の画面上に上述のようなＷｅｂページを表示して、次に再生するコンテンツを指定するモードである。後述の実施例では、再生モード時にはＷｅｂページを表示せずにコンテンツの再生画像を表示し、検索モード時にはＷｅｂページを表示してコンテンツの再生画像を表示しないようにしたが、変形例としては、再生モード時にＷｅｂページを小さく表示してもよい。より具体的には、再生モード時には、Ｗｅｂページはコンテンツの再生画像よりも小さく表示する、または、再生モード時のＷｅｂページを検索モード時のＷｅｂページの表示サイズよりも小さく表示するようにしてもよい。また、検索モード時にコンテンツ再生画像を小さく表示してもよい。より具体的には、検索モード時にコンテンツ再生画像をＷｅｂページ画像よりも小さく表示する、または、検索モード時のコンテンツ再生画像を再生モード時の再生画像の表示サイズよりも小さく表示するようにしてもよい。すなわち、再生モード時には、現在再生中のコンテンツを見るのに適した表示とし、検索モード時には、次に再生すべきコンテンツを指定するのに適した表示としてもよい。
【０１２７】
端末装置７は、コンテンツの再生中において、再生モードと検索モードとを任意のタイミングで何度も切り替えることができる。それゆえ、コンテンツの再生中において端末装置７を検索モードにすることにより、他の人がテレビ２でコンテンツを楽しんでいる最中に、端末装置７を用いて次に再生するコンテンツを指定することができる。また、そのようにして検索モードにおいて次に再生するコンテンツを指定した後、コンテンツの再生が継続していれば、再度、再生モードに変更して、端末装置７にコンテンツの再生画像を表示して他の人がテレビ２で楽しんでいるコンテンツを一緒に楽しむことができる。なお、端末装置７が検索モードに移行した後も、テレビ２ではコンテンツの再生が継続される。また、端末装置７が一旦検索モードに移行した後再度再生モードに復帰したときには、端末装置７に表示される再生画像はテレビ２の再生画像と同期した内容が表示される（すなわち、同じ場面、同じフレームが表示される）。すなわち、端末装置７を再生モードで用いる場合、テレビ２および端末装置７の動画再生は同期する。すなわち、テレビ２上の動画と端末装置７上の動画は同じ場面、同じフレームが表示される。
【０１２８】
上述のような構成により、端末装置７の操作者は、他の人がテレビ２で視聴するコンテンツを決める裏方的な役割と、他の人と一緒にコンテンツを楽しむ立場とを任意のタイミングで自由に切り替えることができる。
【０１２９】
より具体的には、本実施例において、テレビ２および端末装置７には、図１２から図１８に示すような画像が表示される。
【０１３０】
図１２は、コンテンツが再生されていない状態において、テレビ２および端末装置７（の画面５１）に表示される画像である。コンテンツが再生されていない状態のとき、端末装置７は検索モードに設定される。ゲーム装置３は動画サイトからＷｅｂページデータを取得し、Ｗｅｂページ画像１００を生成して、テレビ２と端末装置７に表示する。このとき、本実施例では、Ｗｅｂページ画像が全画面表示される。このＷｅｂページ画像１０１には、再生するコンテンツを指定するためのＵＩ用画像が含まれる。具体的には、本実施例においては、Ｗｅｂページ画像１００には動画サイトから取得可能なコンテンツのサムネイル１０１の一覧が含まれる。なお、ゲーム装置３は、動画サイトから取得したＷｅｂページデータに基づいて、入力制御もおこなう。
【０１３１】
端末装置７には動画サイトから取得されるＷｅｂページ画像１００の他に、インターネットブラウザとしての各種機能を実行するための種々のボタン群１０２が表示される。ボタン群１０２に含まれる各ボタンは、タッチ入力されたときに、たとえば以下のような機能を有する。
戻るボタン：閲覧履歴の一つ前にサイトを表示
進むボタン：閲覧履歴の一つ先のサイトを表示
拡大/縮小ボタン ：表示中サイトの拡大/縮小表示する
お気に入りボタン：お気に入り一覧の表示/編集/追加
リロードボタン ：表示中サイトの再読み込み
タブボタン ：開いているタブ一覧画面を表示
テレビ表示ストップボタン：Ｗｅｂページ画像のテレビ２への表示を一時的に非表示にする
メニューボタン ：各種メニュー一覧を表示
なお、ボタン群１０２はテレビ２には表示されない。
【０１３２】
上述の通り、テレビ２と端末装置７には同じＷｅｂページが表示されるが、上述のテレビ表示ストップボタンは、端末装置７を用いてパスワードを入力するときなどテレビ２を見ている人に見られたくないシーンや、コンテンツを指定している過程を見られたくない時に使う機能である。このボタンを選択することにより（より具体的にはタッチ操作することにより）、テレビ２上のＷｅｂページ画像１００は非表示となり、代わりに、所定のメッセージや演出画像が表示される。テレビ表示ストップボタンを操作する毎に、テレビ２にＷｅｂページ画像１００を表示するモード（テレビ表示モード）と、テレビ２にＷｅｂページ画像１００を表示しないモード（テレビ非表示モード）との間で切替を繰り返す。なお、テレビ表示モードに設定されているときであっても、コンテンツの再生中は、テレビ２には、コンテンツの再生画像が表示され、Ｗｅｂページ画像１００は表示されない。
【０１３３】
また、端末装置７の画面上でスライドタッチをするとＷｅｂページ画像１００をスクロールさせることが可能である。このときテレビ側のＷｅｂページ画像１００も同様にスクロールする。
【０１３４】
また、端末装置７は、上記ボタン群１０２による機能に加えて、タッチパネル、十字キー、スライドスティック、ジャイロ機能を用いて、Ｗｅｂページ内のテキストや画像などのデータを選択したり、Ｗｅｂページ画像１００を縦横スクロール、拡大縮小することができる。また、テレビ２の表示内容も変更できる。さらに、ＵＲＬなどのテキスト入力を行うことができる。
【０１３５】
なお、ボタン群１０２やスライドタッチによるＷｅｂページ画像のスクロール機能などは、（動画サイトから取得されるＷｅｂページ情報ではなく）ゲーム装置内に記憶されるブラウザプログラムにより実現される。
【０１３６】
端末装置７に表示されたＷｅｂページ画像１００上でコンテンツのサムネイルをタッチすることにより再生するコンテンツが指定される。例えば、図１２においては、コンテンツＡのサムネイルがタッチされた状態を示す。コンテンツのサムネイルがタッチされると、図１３に示すように、指定されたコンテンツの静止画１０８（例えば、サムネイルの拡大画像や動画の先頭フレームの画像）が端末装置７に表示される。この状態において、端末装置７の画面上で（または当該静止画上で）上方向にスライドタッチをすると（またはスライドタッチした後タッチオフすると）、コンテンツの再生が開始され、図１４に示すように、テレビ２および端末装置７の両方でコンテンツの再生画像１０７が表示される。このとき、端末装置７は自動的に再生モードに移行する。なお、このとき、本実施例では、テレビ２では、再生画像１０７が全画面表示される。また、本実施例では、テレビ２には、後述の再生制御ＵＩ１０３は表示されない。
【０１３７】
このように端末装置７上にコンテンツを静止状態で表示しておき、上方向へのスライドタッチをきっかけにして、テレビ２上で再生開始することにより、端末装置７に存在するコンテンツがテレビ２に飛んで行って再生されるかのようなユーザ体験を提供できる。なお、単に、コンテンツのサムネイルをタッチすることによりコンテンツの再生を開始してもよい。
【０１３８】
図１３に示すように、再生モードにおいて、端末装置７の画面の下端（コンテンツの再生画像１０７の下方）には再生制御ＵＩ１０３(早送り/巻き戻し/スキップ/一時停止)が表示される。再生制御ＵＩ１０３は、本実施例においては、バー状のＵＩであり、バーの色の変化により、コンテンツ全体のうちの再生済の部分と未再生の部分との割合が示される。また、バーの任意の箇所や再生済と未再生の境界のマーカーをタッチ操作することにより早送りなどの制御が可能である。再生制御ＵＩ１０３は再生中の動画のうちどの程度再生が終了しているかを示す機能も有する。さらに、再生モードにおいて、端末装置７には、コンテンツの再生を終了するためのボタン１０４、および、端末装置７を再生モードから検索モードにするためのボタン１０５が表示され、これらのＵＩやボタンをタッチすることにより対応する処理が実行される。
【０１３９】
再生制御ＵＩ１０３や、ボタン１０４、１０５の機能は、（動画サイトから取得されるＷｅｂページ情報ではなく）ゲーム装置内に記憶されるブラウザプログラムにより実現される。
【０１４０】
図１５は、コンテンツの再生中における、再生モードから検索モードへの移行、または、検索モードから再生モードへの移行を示す図である。再生モードから検索モードへの移行は、上述したように、ボタン１０５へのタッチによっても実行されるが、それに加えて、端末装置７の画面上で（またはコンテンツの再生画像上で）上方向にスライドタッチする（またはスライドタッチした後タッチオフする）ことによっても、端末装置７は再生モードから検索モードに移行する。また、コンテンツ再生中の検索モード時には、図１５に示すようにボタン１０６が表示され、検索モードから再生モードへの移行は、ボタン１０６をタッチすることによって実行される。
【０１４１】
図１５に示すように、再生モードから検索モードへの移行が指示されたとき、端末装置７の画面では、コンテンツの再生画像１０７が徐々に上方向にスライドアウトして消失し、Ｗｅｂページ画像１００が徐々に出現する。また、検索モードから再生モードへの移行が指示されたときには、コンテンツの再生画像１０７が徐々に上方向からスライドインして出現する。
【０１４２】
コンテンツ再生中において、検索モードに移行すると、図１６に示すように、端末装置７にはＷｅｂページ画像１００に加えて、再生制御ＵＩ１０３が表示される。再生制御ＵＩ１０３は、再生モード時には、図１４で示したように、画面の下端、または、コンテンツ再生画像の下方に表示されるが、検索モード時には、図１６で示すように、画面の上端、または、Ｗｅｂページの上方に表示される。
【０１４３】
コンテンツ再生中の検索モードにおいても、コンテンツ非再生時の検索モード（図１２）と同様、Ｗｅｂページ中のサムネイルなどを指定することによって再生するコンテンツを指定することができる。図１６では、映像コンテンツＫのサムネイルをタッチした状態を示している。コンテンツのサムネイルをタッチすると（または、図１３を用いて前述したような上方向へのスライドタッチをすると）、図１４で示したものと同様、テレビ２および端末装置７の両方において、タッチしたコンテンツ（映像コンテンツＫ）の再生が開始される。このとき、端末装置７は自動的に再生モードに移行する。
【０１４４】
図１７ないし１９は、ゲーム装置３の処理動作を示すフローチャートである。このフローチャートで示される各ステップの処理は、ゲーム装置３内の不揮発メモリ、または、光ディスク４に記憶されるプログラム（ブラウザプログラム）をＣＰＵ１０が実行することにより実現される。
【０１４５】
まず、図１７を参照して、ステップＳ１１において、ゲーム装置３は、デフォルトのサイトに接続し、ステップＳ１２において、Ｗｅｂページ情報を取得して、Ｗｅｂページ画像１００を生成する。
【０１４６】
そして、前述の図１２で示されるように、ステップＳ１３において、Ｗｅｂページ画像１００をテレビ２に表示し、ステップＳ１４において、Ｗｅｂページ画像１００とボタン画像１０２を端末装置７に表示する（ゲーム装置３が生成したＷｅｂページ画像データを前述の無線機能により端末装置７に送信し、端末装置７は当該データを受信して画面に表示する。なお、本フローチャートにおいて端末装置７の画面は同様の方法により表示される）。さらに、ステップＳ１２で取得したＷｅｂページ情報に基づいて、入力制御を構築する。これにより、Ｗｅｂページに対する入力制御が行われる（後述のステップＳ１８）。
【０１４７】
ステップＳ１５の後、ステップＳ１６において、サイト指定入力を受け付ける。より具体的には、動画サイトのアドレス入力を受け付ける。お気に入りなどの機能によりサイトを選択するようにしてもよい。ステップＳ１６でサイト指定入力があると、ステップＳ１７において、指定されたサイトからＷｅｂページ情報を取得し、Ｗｅｂページ画像１００を生成する。
【０１４８】
ステップＳ１７の後、ステップＳ２１において、ステップＳ１７で生成したＷｅｂページ画像１００を端末装置７に表示する。そして、ステップＳ２２において、コンテンツ再生中か否かを判断し、かつ、ステップＳ２３においてテレビ非表示モードか否かを判断し、コンテンツ再生中でなくて、テレビ非表示モードでもないときには、ステップＳ２４において、ステップＳ１７で生成したＷｅｂページ画像１００をテレビ２に表示する。
【０１４９】
ステップＳ１６において、サイト指定入力がなかったときには、ステップＳ１８において、Ｗｅｂページに対する入力があったか否かが判断される。これは、前述のステップＳ１５において構築された入力制御設定により判断される。例えば、Ｗｅｂページ内のリンク先、ボタン、サムネイル画像などをタッチなどで指定したか否かが判断される。
【０１５０】
ステップＳ１８において、Ｗｅｂページに対する入力があったと判断されたときには、ステップＳ１９において、コンテンツ指定入力があったか否かが判断される。より具体的には、たとえば、コンテンツ一覧中のサムネイル画像がタッチなどで指定されたか否かが判断される。コンテンツが指定されたときには、ステップＳ３９に移行するが、これは後述する。
【０１５１】
ステップＳ１９において、Ｗｅｂページに対する入力がコンテンツ指定入力でなかったときには、ステップＳ２０において、サイト内の各種Ｗｅｂページ情報を取得したり、コンテンツの一覧を取得したり、検索結果を取得するなどして、Ｗｅｂページ画像１００を生成する。ステップＳ２０において、Ｗｅｂページ画像１００が生成された後、ステップＳ２１からステップＳ２４を参照して前述したとおり、端末装置７に、生成されたＷｅｂページ画像１００を表示し、かつ、コンテンツ再生中でなくかつテレビ非表示モードでもないときには、テレビ２にも表示する。
【０１５２】
次に、図１８を参照して、ステップＳ２５において、ボタン群１０２に対する入力があったか否かが判断される。前述したようにボタン群１０２には、各種ボタンが含まれており、ステップＳ２６において、テレビ表示ストップボタンがタッチなどで指定されたか否かが判断され、テレビ表示ストップボタンが指定されたときには、ステップＳ２７において、現在、テレビ非表示モードであるか否かが判断される。テレビ非表示モードでないときには、テレビ非表示モードに設定して、コンテンツ再生中でないときには、ステップＳ３０において、テレビ２に表示されているＷｅｂページ画像１００を非表示にし、メッセージや演出画像などの代わりの画像をテレビ２に表示する。また、現在、テレビ非表示モードであるときには、テレビ非表示モードを解除して、コンテンツ再生中でないときには、ステップＳ３３において、テレビ２にＷｅｂページ画像１００を表示する。ステップＳ２６においてその他のボタンであることが判断されたときには、ステップＳ３４においてそれぞれ対応する処理を実行する。
【０１５３】
次に、ステップＳ３５において、コンテンツ再生中であるか否かが判断され、コンテンツ再生中でないときには、ステップＳ１６に戻って同様の処理を繰り返す。
【０１５４】
前述したステップＳ１９において、コンテンツ指定入力があったことが判断されたときには、図１９を参照して、ステップＳ３９に移行する。ステップＳ３９において、端末装置７にコンテンツの静止画１０８を表示する。そして、ステップＳ４０において、当該静止画上で上方向へのスライド操作があったことが判断されると、ステップＳ４１において、動画サイトからコンテンツデータを取得し、ステップＳ４２において、コンテンツの再生を開始して、再生画像の生成を開始する。なお、コンテンツが再生中の場合には、現在再生中のコンテンツの再生を中止して、新たに指定されたコンテンツを再生開始してもよいし、現在再生中のコンテンツの再生が終了した後に、新たに指定されたコンテンツの再生を開始してもよい。
【０１５５】
なお、ステップＳ４２の後も、コンテンツを再生して再生画像を生成する処理は、再生終了まで継続的に実行される。
【０１５６】
ステップＳ４２の後、ステップＳ４３において、テレビ２に再生画像１０７の表示が開始される。なお、ステップＳ４３の後も、コンテンツの再生画像１０７をテレビ２に表示する処理は、再生終了まで継続的に実行される。
【０１５７】
ステップＳ４３の後、ステップＳ４４において、端末装置７上に表示について、Ｗｅｂページ画像１００を消去して、再生画像１０７の表示を開始する。また、端末装置７には、再生制御ＵＩ１０３および再生終了ボタン１０４が合成表示される（図１４参照）。なお、再生制御ＵＩ１０３は端末装置７の画面の下端、または、再生画像１０７の下方に位置するように表示される。
【０１５８】
ステップＳ４４の後、ステップＳ４５において、再生制御操作があったか否かが判断される。具体的には、再生制御ＵＩ１０３や再生終了ボタン１０４に対するタッチ操作があったか否かが判断される。そのような操作があったときには、ステップＳ４８において、対応する再生制御が実行される。
【０１５９】
ステップＳ４５の後、ステップＳ４７において、再生モードから検索モードへの切替操作があったか否かが判断される。より具体的には、本実施例においては、前述したように、ボタン１０５へのタッチがあったか、または、端末装置７の画面上で（またはコンテンツの再生画像上で）上方向にスライド操作があったか、が判断される。
【０１６０】
ステップＳ４７において、再生モードから検索モードへの切替操作があったことが判断されると、ステップＳ４８において、端末装置７の画面上で、再生画像１０７を上方向にスライドアウトし、代わりに、Ｗｅｂページ画像１００（直近に生成され保存されていたＷｅｂページ画像）、ボタン群１０２、および、再生制御ＵＩを表示する。なお、再生制御ＵＩは、画面上端、または、コンテンツの再生画像の上方に位置するように表示される。これにより、端末装置７の操作者は、コンテンツ一覧から新たに再生したいコンテンツを指定したり、新たなコンテンツ一覧を取得したりすることができる。ステップＳ４８の後、ステップＳ１６に戻って処理を繰り返す。
【０１６１】
コンテンツの再生中に検索モードに切り替えた後、コンテンツの再生が継続している間は、再度再生モードに切り替えることができる。具体的には、ステップＳ３５において、コンテンツ再生中であることが判断され、ステップＳ３６において、検索モードから再生モードへの切替操作があったことが、そして、ステップＳ３７およびＳ３８において、端末装置７に直近に生成された再生画像１０７（テレビ２に表示中の再生画像）が表示される。なお、切替操作があった時、再生画像１０７は端末装置７の画面の上方向から徐々にスライドインするように表示される。そして、端末装置7のＷｅｂページ画像１００が非表示となり、端末装置７には、再生画像１０７と、再生制御ＵＩ１０３と、＋再生終了ボタン１０４とが表示される。なお、再生制御ＵＩ１０３は、画面下端、または、再生画像１０７の下方に位置するように表示される。
【０１６２】
ステップＳ４７の後、ステップＳ４９において、コンテンツの再生が終了したか（最後のフレームまで再生がされたか）が判断される。終了した場合には、ステップＳ１６に戻って処理を繰り返す。なお、このとき、端末装置７が再生モードであったときには、直近に生成され保存されていたＷｅｂページ画像を表示してもよい。また、テレビ２には、コンテンツの最後のシーンを表示したままとしてもよいし、端末装置７と同様のＷｅｂページ画像を表示してもよい。
【０１６３】
［６．変形例］
上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。
【０１６４】
上記実施形態においては、コンテンツデータをネットワークを介して取得するようにしたが、ゲーム装置内に多数のコンテンツデータを記憶しておいて、それらから再生するコンテンツを指定して再生するようにしてもかまわない。
【０１６５】
上記実施形態においては、端末装置７が操作装置として用いられ、コントローラ５は用いられない。したがって、ゲームシステム１はコントローラ５を含まない構成であってもよい。ただし、他の実施形態においては、端末装置７とともにコントローラ５が操作装置として用いられてもよい。すなわち、ＣＰＵ１０は、コントローラ５に対する操作を表す操作データ（コントローラ操作データ）を取得し、当該操作データに基づいて、テレビ２に表示される動画に関する情報処理を実行してもよい。例えば、テレビ２に動画が表示される場合において、コントローラ５を用いて動画の再生や一時停止の操作を行うことができるようにしてもよい。これによれば、端末装置７を把持するユーザだけでなく、他のユーザもコントローラ５を用いて、テレビ２に表示される動画に関する操作を行うことができ、操作性を向上することができる。
【０１６６】
上記実施形態においては、ゲームシステム１は端末装置７を１つのみ有する構成であったが、ゲームシステム１は複数の端末装置を有する構成であってもよい。すなわち、ゲーム装置３は、複数の端末装置とそれぞれ無線通信可能であり、画像のデータを各端末装置へ送信し、操作データとカメラ画像データとマイク音データとを各端末装置から受信するものであってもよい。また、各端末装置に表示される操作画像はそれぞれ異なっていてもよく、テレビ２に画像を表示させる操作も各端末装置で個別に行われてもよい。なお、ゲーム装置３は、複数の端末装置のそれぞれと無線通信を行うが、このとき、ゲーム装置３は、各端末装置との無線通信を時分割で行ってもよいし、周波数帯域を分割して行ってもよい。
【０１６７】
また、端末装置は、操作データをゲーム装置へ出力し、ゲーム装置からの画像を受信して表示する機能を有していればよい。つまり、他の実施形態においては、端末装置は、例えば携帯ゲーム機のように、所定のプログラム（ゲームプログラム）によって所定の情報処理（ゲーム処理）を実行する機能を有する装置であってもよい。
【０１６８】
上記実施形態においては、テレビ２に画像（動画および／または静止画）を出力する実施例を説明したが、ゲームシステム１は、画像に代えて、テレビ２（テレビ２のスピーカ２ａ）に音声を出力するために用いることも可能である。すなわち、ゲーム装置３は、外部装置９１からネットワーク９０を介して音声（音楽等）のデータを受信し、当該音声をスピーカ２ａに出力してもよい。このとき、端末装置７には、上記音声に関する操作を行うための操作画像が表示される。また、ＣＰＵ１０は、上記音声に関する情報処理を端末操作データに基づいて実行する。なお、一般的には、可搬型である端末装置７よりも大きいテレビ２の方がより高音質の音声を出力することができるので、上記によれば、ユーザは、外部装置９１から取得した音声を、テレビ２によってより良い音質で聴くことができる。
【０１６９】
上記実施形態においては、ゲームシステム１において実行される一連の情報処理をゲーム装置３が実行したが、当該情報処理の一部は他の装置によって実行されてもよい。例えば、他の実施形態においては、情報処理の一部（例えば、端末用画像の生成処理）を端末装置７が実行するようにしてもよい。また、他の実施形態では、互いに通信可能な複数の情報処理装置を有するゲームシステムにおいて、当該複数の情報処理装置が情報処理を分担して実行するようにしてもよい。なお、複数の情報処理装置において情報処理が実行される場合には、各情報処理装置で実行される処理を同期させる必要があり、処理が複雑になってしまう。これに対して、上記実施形態のように、情報処理が１つのゲーム装置３によって実行され、端末装置７が画像を受信して表示する場合（つまり、端末装置７がシンクライアント端末である場合）には、複数の情報処理装置間で処理の同期をとる必要がなく、処理を簡易化することができる。
【０１７０】
また、上記実施形態においては、ゲーム処理を実行することが可能なゲーム装置３を含むゲームシステム１を例として説明したが、上記実施形態で記載した各処理動作は、ゲームシステムおよびゲーム装置に限らず、任意の情報処理システムおよび情報処理装置によって実行可能である。情報処理システムは、情報処理装置と、ユーザによる操作入力が可能な可搬型の表示装置（例えば端末装置７）とを含むものであればよく、情報処理装置は、可搬型の表示装置と、当該可搬型の表示装置とは異なる表示装置（例えばテレビ２）とにそれぞれ画像を出力して表示させることができるものであればよい。
【０１７１】
上記のように、本明細書で説明した種々のシステム、方法、および技術は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、またはこれら要素の組み合わせによって提供されてもよい。上記の技術を実現するための装置は、プログラム可能なプロセッサによる実行のためのコンピュータ読み取り可能な非一時的な記憶装置において実体的に具体化されるコンピュータプログラムプロダクト、入出力装置、およびコンピュータプロセッサを含んでもよい。上記技術を実現するための処理は、入力データを処理して所望の出力を生成することによって、要求される機能を実行するためのプログラムを実行する、プログラム可能なプロセッサによって実行されてもよい。上記の技術は、入力装置、出力装置、および情報記憶装置といったハードウェア資源との間でデータや指示のやり取りを行うプログラム可能なプロセッサを含むコンピュータシステム上で実行可能な１以上のコンピュータプログラムによって実現されてもよい。また、各コンピュータプログラムは、手続型やオブジェクト指向型の高水準プログラミング言語、アセンブリ言語、または、機械語によって実現されてもよく、必要に応じてコンパイルまたはインタプリタされて実行されてもよい。また、上記のプロセッサは、汎用または専用のマイクロプロセッサであってもよい。プロセッサは、一般的に、ＲＯＭまたはＲＡＭからデータおよび指示を受け取る。また、上記の記憶装置は、（ａ）ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリのような半導体メモリ装置を含む不揮発性のメモリ、（ｂ）内部ハードディスクあるいは着脱可能な外部ディスクのような磁気ディスク、（ｃ）光磁気ディスク、（ｄ）ＣＤＲＯＭ、に限定されず、あらゆる種類のコンピュータメモリを含む。上記のプロセッサや記憶装置は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって補充される、あるいは、ＡＳＩＣに組み込まれる形で実現されてもよい。
【０１７２】
また、本明細書に記載の処理システム（回路）は、本明細書において記載された内容に応じたゲーム処理のような制御処理のためにプログラムされる。上記の内容に応じた指示を実行する少なくとも１つのＣＰＵを含む処理システムが、上記の内容によって定義される処理動作を実行するための「プログラムされた論理回路」として作用するものであってもよい。
【産業上の利用可能性】
【０１７３】
以上のように、本発明は、画像をより見やすく提供するとともに、画像に関する操作をユーザが容易に行うこと等を目的として、例えば、ゲームシステムおよびゲーム装置等に利用することができる。
【符号の説明】
【０１７４】
１ ゲームシステム
２ テレビ
３ ゲーム装置
４ 光ディスク
７ 端末装置
１０ ＣＰＵ
５１ 端末装置の画面
９０ ネットワーク
９１ 外部装置
１００ Ｗｅｂページ画像
１０１ サムネイルアイコン
１０２ ボタン画像群
１０３ 画像制御ＵＩ画像
１０４ 再生終了ボタン
１０５ 再生モードから検索モードへの切替ボタン
１０６ 検索モードから再生モードへの切替ボタン
１０７ コンテンツの再生画像
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、情報処理プログラム、およびコンテンツ再生制御方法に関する。
【背景技術】
【０００２】
従来、インターネットから取得したウェブページ等をテレビを用いて閲覧する技術がある。例えば、非特許文献１に記載の技術では、ゲーム装置によってインターネットにアクセスし、インターネット上のウェブページをテレビに表示することが可能である。これによって、ユーザは、一般的なパーソナルコンピュータに用いられるモニタに比べて画面が大きなテレビでウェブページを閲覧することができる。例えば、動画や静止画といったコンテンツを含むウェブページをテレビに表示することによって、複数人でもコンテンツを見やすくなり、また、迫力のある画像を提供することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】“Ｗｉｉチャンネル インターネットチャンネル”、［ｏｎｌｉｎｅ］、任天堂、［２０１１年２月２３日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｎｉｎｔｅｎｄｏ．ｃｏ．ｊｐ／ｗｉｉ／ｆｅａｔｕｒｅｓ／ｉｎｔｅｒｎｅｔ／＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記非特許文献１に記載の技術は、ウェブページをテレビに単に表示するものであるので、見やすく操作性の良いコンテンツ再生を提供することができない場合があった。
【０００５】
それ故、本発明の目的は、見やすく操作性の良いコンテンツの再生制御をおこなうことができる情報処理システム、情報処理装置、情報処理プログラム、およびコンテンツ再生制御方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するために、以下の構成を採用した。
【０００７】
（１）本発明の一例は、以下の情報処理システムである。
据置型表示装置と、ユーザにより所定の入力が可能な可搬型表示装置とを含む情報処理システムであって、
コンテンツを再生して、再生画像を生成し、少なくとも前記据置型表示装置に表示するコンテンツ再生部と、
再生するコンテンツを指定するためのユーザインターフェース用画像を生成するＵＩ画像生成部と、
前記コンテンツ再生部によるコンテンツの再生中に、前記可搬型表示装置に、当該再生中の前記再生画像と、前記ユーザインターフェース用画像とを選択的に表示する切替表示制御部と、
前記ユーザインターフェース用画像を用いて、前記可搬型表示装置におけるユーザによる所定の入力により、次に再生すべきコンテンツを指定するコンテンツ指定部と、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを次に再生する、情報処理システム。
【０００８】
上記「情報処理システム」は、据置型表示装置と可搬型表示装置と１つの情報処理装置とによって構成されてもよいし、据置型表示装置と可搬型表示装置と複数の情報処理装置によって構成されてもよい。また、可搬型表示装置が情報処理装置の機能を有して各処理（またはその一部）を実行してもよい。情報処理装置の機能を有する可搬型装置と据置型の情報処理装置が処理を分担して実行してもよい。また、据置型表示装置が情報処理装置の機能を有して各処理を実行してもよい。「情報処理装置」は、後述する実施形態におけるゲーム装置の他、一般的なパーソナルコンピュータのような多用途の情報処理装置であってもよい。
【０００９】
上記「再生すべきコンテンツを選択するためのユーザインターフェース用画像」は、再生可能なコンテンツの一覧（典型的にはサムネイルの一覧や名称の一覧）を含む画像や、再生可能なコンテンツを検索するための画像であってもよい。これらの画像を用いて再生すべきコンテンツが選択される。
上記「可搬型表示装置」は、ユーザが手に持って動かしたり、任意の位置に配置を変更したりすることができる程度の大きさの表示装置である。
上記「据置型表示装置」は、後述する実施形態のようなテレビの他、任意の据置型の表示装置を含む概念である。
【００１０】
上記（１）の構成によれば、据置型表示装置でコンテンツを見やすく表示できるとともに、可搬型表示装置を用いて、現在見ているコンテンツの視聴を妨げることなく、次に再生するコンテンツの指定操作をおこなうことができる。また、可搬型表示装置の操作者は、次に再生すべきコンテンツを指定する裏方的な操作ができるとともに、可搬型表示装置に再生画像を表示して現在再生中のコンテンツを楽しむことができる。
【００１１】
（２）以下のように構成してもよい。
前記コンテンツ再生部によって再生中のコンテンツの再生状態を示す表示である再生状態画像を前記可搬型表示装置に表示する再生状態表示制御部をさらに備え、
前記再生状態表示制御部は、前記切替表示制御部によって前記再生中の再生画像に切り替えられているときには、当該再生画像とともに前記再生状態画像を前記可搬型表示装置に表示し、前記ユーザインターフェース用画像に切り替えられているときは、当該ユーザインターフェース用画像とともに前記再生状態画像を前記可搬型表示装置に表示する。
【００１２】
（２）の構成によれば、可搬型表示装置において現在再生中のコンテンツの再生状態が確認できる。可搬型表示装置において、次に再生すべきコンテンツを選択しているときであっても現在再生中のコンテンツの再生状態が表示されるので、可搬型表示装置において現在再生中のコンテンツの再生状態を確認しつつ、次に再生すべきコンテンツを選択することができる。
【００１３】
（３）以下のように構成してもよい。
前記再生状態表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像の下方に前記再生状態画像を表示し、前記ユーザインターフェース用画像に切り替えられているときには、当該ユーザインターフェース用画像示の上方に前記再生状態画像を表示する。
【００１４】
（３）の構成によれば、可搬型表示装置の操作者は、据置型表示装置の前で可搬型表示装置を手元に把持しつつ操作するのが通常の使用状態である。このとき、据置型表示装置の画面が可搬型表示装置の画面の上方に位置することが多い。可搬型表示装置において再生画像に切り替えられているときには、可搬型表示装置上の再生画像の下方に再生状態画像が配置され、ユーザインターフェース用画像に切り替えられているときには、据置型表示装置上の再生画像の実質的な下方に再生状態画像が位置する。いずれの状況においても、配置関係が実質的に変わらないので、直感的で使いやすいユーザインターフェースを提供することができる。
【００１５】
（４）以下のように構成してもよい。
前記可搬型表示装置は座標入力部を備え、
前記コンテンツ再生部によって再生中のコンテンツの再生を制御するための表示である再生制御画像を前記可搬型表示装置に表示する再生制御表示制御部をさらに備え、
前記再生制御表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像とともに前記再生制御画像を前記可搬型表示装置に表示し、前記ユーザインターフェース用画像に切り替えられているときは、当該ユーザインターフェース用画像とともに前記再生制御画像を前記可搬型表示装置に表示し、
前記再生制御部は、前記座標入力部によって前記再生制御画像に対する座標入力がされたときに、現在再生中のコンテンツに対して再生制御をおこなう。
【００１６】
（４）の構成によれば、可搬型表示装置において再生中のコンテンツの再生制御ができる。可搬型表示装置において、次に再生すべきコンテンツを選択しているときであっても現在再生中のコンテンツの再生制御ができるので、可搬型表示装置において現在再生中のコンテンツの再生を制御しつつ、次に再生すべきコンテンツを選択することができる。
【００１７】
（５）以下のように構成してもよい。
前記再生制御表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像の下方に前記再生制御画像を表示し、前記ユーザインターフェース用画像に切り替えられているときには、当該ユーザインタフェース画像の上方に前記再生制御画像を表示する。
【００１８】
（５）の構成によれば、可搬型表示装置に再生画像が表示されているときには、可搬型表示装置上の再生画像の下方に再生制御画像が配置され、ユーザインターフェース用画像が表示されているときにおいても、据置型表示装置上の再生画像の実質的な下方に再生制御画像が位置するので、直感的で使いやすいユーザインターフェースを提供することができる。
【００１９】
（６）以下のように構成してもよい。
前記可搬型表示装置は、座標入力部を備え、
前記切替表示制御部は、前記座標入力部において上方向を示す座標入力があったときに、前記可搬型表示装置の表示内容を、前記再生画像から前記ユーザインターフェース用画像に切り替える。
【００２０】
（６）の構成によれば、可搬型表示装置において上方向（すなわち、据置型表示装置上の再生画像が位置する方向）を示す座標入力があったときに、可搬型表示装置の表示を再生画像からユーザインターフェース用画像に切り替えるので、可搬型表示装置上で再生されているコンテンツが据置型表示装置上で再生されているコンテンツに統合して消失したかのような印象となり、直感的で使いやすいユーザインターフェースを提供することができる。
【００２１】
（７）以下のように構成してもよい。
前記切替表示制御部は、前記ユーザインターフェース用画像から前記再生画像に切り替えるときに、前記コンテンツ再生部により現在再生中のコンテンツの再生画像を前記可搬型表示装置において上方向から徐々にスライドインするように表示する。
【００２２】
（７）の構成によれば、据置型表示装置上で再生されているコンテンツが可搬型表示装置に降りてきたかのような印象となり直感的で使いやすいユーザインターフェースを提供することができる。
【００２３】
（８）以下のように構成してもよい。
前記切替表示制御部は、前記ユーザインターフェース用画像から前記再生画像に切り替えるときに、前記コンテンツ再生部により現在再生中のコンテンツの再生画像を前記可搬型表示装置において上方向へ徐々にスライドアウトするように表示する。
【００２４】
（９）以下のように構成してもよい。
前記コンテンツ再生部は、前記コンテンツ指定部によって次に再生すべきことが指定されたコンテンツを再生するときに、前記再生画像を前記据置型表示装置に表示するとともに、前記切替表示制御部により前記可搬型表示装置の表示を前記再生画像に切り替えて、当該再生画像を前記可搬型表示装置に表示する。
【００２５】
（１０）以下のように構成してもよい。
前記切替表示制御部は、前記コンテンツ再生部によるコンテンツの再生が終了したときに、前記ユーザインターフェース用画像を前記可搬型表示装置と前記据置型表示装置の両方に表示する。
【００２６】
（１１）以下のように構成してもよい。
ネットワークに接続可能であり、当該ネットワークを介して、コンテンツを記憶した所定の外部装置と通信を行う通信部をさらに備え、
前記ＵＩ画像生成部は、前記通信部によって前記外部装置に記憶されたコンテンツの一覧を取得してそのなかから再生すべきコンテンツを指定するためのインターフェース画像を生成し、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを前記通信部によって前記外部装置から取得して再生する。
【００２７】
（１２）以下のように構成してもよい。
前記情報処理システムは、表示データを生成して前記据置型表示装置および前記可搬型表示装置に出力することが可能な情報処理部を含み、
前記情報処理部は、前記ＵＩ画像生成部、前記コンテンツ再生部として機能し、
前記ＵＩ画像生成部により生成されたユーザインターフェース用画像と前記コンテンツ再生部による再生画像を、選択的にまたは同時に前記可搬型表示装置に出力し、
前記コンテンツ再生部による再生画像を前記据置型表示装置に出力し、
前記据置型表示装置および前記可搬型表示装置は、情報処理装置から表示データを受信して表示する。
【００２８】
なお、本発明の別の一例は、上記（１）〜（１２）の各部と同等の手段を有する情報処理装置の形態であってもよい。また、本発明の別の一例は、情報処理システムまたは情報処理装置のコンピュータを上記（１）〜（１２）における各部と同等の手段として機能させる情報処理プログラムの形態であってもよい。さらに、本発明の別の一例は、上記（１）〜（１２）の情報処理システムまたは情報処理装置において行われるコンテンツ再生制御方法の形態であってもよい。
【発明の効果】
【００２９】
以上のように、本発明によれば、コンテンツの見やすさと再生するコンテンツの指定が両立させることができる。
【図面の簡単な説明】
【００３０】
【図１】ゲームシステム１の外観図
【図２】ゲーム装置３の内部構成を示すブロック図
【図３】コントローラ５の外観構成を示す斜視図
【図４】コントローラ５の外観構成を示す斜視図
【図５】コントローラ５の内部構造を示す図
【図６】コントローラ５の内部構造を示す図
【図７】コントローラ５の構成を示すブロック図
【図８】端末装置７の外観構成を示す図
【図９】ユーザが端末装置７を把持した様子を示す図
【図１０】端末装置７の内部構成を示すブロック図
【図１１】ゲームシステム１と外部装置との接続関係と示すブロック図
【図１２】テレビ２および端末装置７の画面５１の画面例（コンテンツ非再生時）
【図１３】テレビ２および端末装置７の画面５１の画面例（コンテンツ再生開始時）
【図１４】テレビ２および端末装置７の画面５１の画面例（コンテンツ再生時）
【図１５】テレビ２および端末装置７の画面５１の画面例（コンテンツ再生時の再生モードと検索モードの切替）
【図１６】テレビ２および端末装置７の画面５１の画面例（コンテンツ再生中における次の再生コンテンツの決定操作）
【図１７】処理の流れを示すメインフローチャート
【図１８】処理の流れを示すメインフローチャート
【図１９】処理の流れを示すメインフローチャート
【発明を実施するための形態】
【００３１】
［１．ゲームシステムの全体構成］
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５および／または端末装置７を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。
【００３２】
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
【００３３】
ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
【００３４】
テレビ２の画面の周辺（図１では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の動きや位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６はゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図１ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。
【００３５】
コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、本実施形態では、ゲームシステム１に含まれるコントローラ５は１つとするが、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。コントローラ５の詳細な構成については後述する。
【００３６】
端末装置７は、ユーザが把持可能な程度の大きさであり、ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ６４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３で生成された画像（例えばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
【００３７】
［２．ゲーム装置３の内部構成］
次に、図２を参照して、ゲーム装置３の内部構成について説明する。図２は、ゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
【００３８】
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。
【００３９】
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１ｂ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
【００４０】
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、ゲーム装置３は、テレビ２に表示する画像と、端末装置７に表示する画像との両方を生成する。以下では、テレビ２に表示される画像を「テレビ用画像」と呼び、端末装置７に表示される画像を「端末用画像」と呼ぶことがある。
【００４１】
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、テレビ２のスピーカから出力するゲーム音声と、端末装置７のスピーカから出力するゲーム音声との両方が生成される。以下では、テレビ２から出力される音声を「テレビ用音声」と呼び、端末装置７から出力される音声を「端末用音声」と呼ぶことがある。
【００４２】
上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２に出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａに出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。なお、ゲーム装置３とテレビ２との接続は、どのような方式で行われてもよいが、ゲーム装置３は、テレビ２を制御する制御指令を有線または無線でテレビ２へ送信するようにしてもよい。例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格に則ったＨＤＭＩケーブルが用いられてもよい。ＨＤＭＩ規格では、ＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）と呼ばれる機能によって、接続相手の機器を制御することが可能である。したがって、ＨＤＭＩケーブルが用いられる場合のように、ゲーム装置３がテレビ２に対する制御が可能である場合には、ゲーム装置３は、適宜のタイミングでテレビ２の電源をオンにしたり、テレビ２の入力を切り替えたりすることができる。
【００４３】
また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。
【００４４】
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
【００４５】
ゲーム装置３は、インターネット等のネットワークに接続して外部の情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続可能であり、ネットワークに接続される他の装置と通信を行うことができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
【００４６】
また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００４７】
また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、本実施形態では、ゲーム装置３から端末装置７へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
【００４８】
また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。
【００４９】
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置７へ送信する。制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１０に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１０に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを端末装置７へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
【００５０】
また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａに出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａに出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００５１】
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
【００５２】
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【００５３】
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。
【００５４】
［３．コントローラ５の構成］
次に、図３〜図７を参照して、コントローラ５について説明する。図３は、コントローラ５の外観構成を示す斜視図である。図４は、コントローラ５の外観構成を示す斜視図である。図３は、コントローラ５の上側後方から見た斜視図であり、図４は、コントローラ５を下側前方から見た斜視図である。
【００５５】
図３および図４において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。
【００５６】
ハウジング３１には、複数の操作ボタンが設けられる。図３に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ〜３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図４に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ〜３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。ホームボタン３２ｆおよび電源ボタン３２ｈは、その上面がハウジング３１の上面に埋没している。これによって、ユーザがホームボタン３２ｆまたは電源ボタン３２ｈを誤って押下することを防止することができる。
【００５７】
ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、コントローラ５に他の機器（例えば、他のセンサユニットやコントローラ）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。
【００５８】
ハウジング３１上面の後方には複数（図３では４つ）のＬＥＤ３４ａ〜３４ｄが設けられる。ここで、コントローラ５には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ〜３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いてゲーム操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ〜３４ｄのいずれか１つが点灯する。
【００５９】
また、コントローラ５は撮像情報演算部３５（図６）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。
【００６０】
ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、コントローラ５に内蔵されるスピーカ４７（図５）からの音を外部に放出するための音抜き孔３１ａが形成されている。
【００６１】
次に、図５および図６を参照して、コントローラ５の内部構造について説明する。図５および図６は、コントローラ５の内部構造を示す図である。なお、図５は、コントローラ５の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６は、コントローラ５の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６に示す斜視図は、図５に示す基板３０を裏面から見た斜視図となっている。
【００６２】
図５において、ハウジング３１の内部には基板３０が固設されており、当該基板３０の上主面上に各操作ボタン３２ａ〜３２ｈ、各ＬＥＤ３４ａ〜３４ｄ、加速度センサ３７、アンテナ４５、およびスピーカ４７等が設けられる。これらは、基板３０等に形成された配線（図示せず）によってマイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）４２（図６参照）に接続される。本実施形態では、加速度センサ３７は、Ｘ軸方向に関してコントローラ５の中心からずれた位置に配置されている。これによって、コントローラ５をＺ軸回りに回転させたときのコントローラ５の動きが算出しやすくなる。また、加速度センサ３７は、長手方向（Ｚ軸方向）に関してコントローラ５の中心よりも前方に配置されている。また、無線モジュール４４（図６）およびアンテナ４５によって、コントローラ５がワイヤレスコントローラとして機能する。
【００６３】
一方、図６において、基板３０の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ５の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を備えている。これらの部材３８〜４１はそれぞれ基板３０の下主面に取り付けられる。
【００６４】
さらに、基板３０の下主面上には、上記マイコン４２およびバイブレータ４６が設けられている。バイブレータ４６は、例えば振動モータやソレノイドであり、基板３０等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータ４６が作動することによってコントローラ５に振動が発生する。これによって、コントローラ５を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。本実施形態では、バイブレータ４６は、ハウジング３１のやや前方寄りに配置される。つまり、バイブレータ４６がコントローラ５の中心よりも端側に配置することによって、バイブレータ４６の振動によりコントローラ５全体を大きく振動させることができる。また、コネクタ３３は、基板３０の下主面上の後端縁に取り付けられる。なお、図５および図６に示す他、コントローラ５は、マイコン４２の基本クロックを生成する水晶振動子、スピーカ４７に音声信号を出力するアンプ等を備えている。
【００６５】
なお、図３〜図６に示したコントローラ５の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、本実施形態では、撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。
【００６６】
図７は、コントローラ５の構成を示すブロック図である。コントローラ５は、操作部３２（各操作ボタン３２ａ〜３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。
【００６７】
操作部３２は、上述した各操作ボタン３２ａ〜３２ｉを含み、各操作ボタン３２ａ〜３２ｉに対する入力状態（各操作ボタン３２ａ〜３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。
【００６８】
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ５の動きでも追跡して解析することができる。
【００６９】
撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。
【００７０】
なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。
【００７１】
加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。例えば、２軸以上の多軸加速度センサの場合には、加速度センサの検出部に加わっている加速度として、各軸に沿った成分の加速度をそれぞれ検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。
【００７２】
本実施形態では、加速度センサ３７は、コントローラ５を基準とした上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。加速度センサ３７は、各軸に沿った直線方向に関する加速度を検出するものであるため、加速度センサ３７からの出力は３軸それぞれの直線加速度の値を表すものとなる。すなわち、検出された加速度は、コントローラ５を基準に設定されるＸＹＺ座標系（コントローラ座標系）における３次元のベクトルとして表される。
【００７３】
加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や動きに対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや動きを算出することができる。本実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。
【００７４】
なお、加速度センサ３７（後述する加速度センサ６３についても同様）から出力される加速度の信号に基づいて、ゲーム装置３のプロセッサ（例えばＣＰＵ１０）またはコントローラ５のプロセッサ（例えばマイコン４２）等のコンピュータが処理を行うことによって、コントローラ５に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサ３７を搭載するコントローラ５が静止状態であることを前提としてコンピュータ側の処理が実行される場合（すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理が実行される場合）、コントローラ５が現実に静止状態であれば、検出された加速度に基づいてコントローラ５の姿勢が重力方向に対して傾いているか否かまたはどの程度傾いているかを知ることができる。具体的には、加速度センサ３７の検出軸が鉛直下方向を向いている状態を基準としたとき、１Ｇ（重力加速度）がかかっているか否かによって、コントローラ５が基準に対して傾いているか否かを知ることができるし、その大きさによって基準に対してどの程度傾いているかも知ることができる。また、多軸の加速度センサ３７の場合には、さらに各軸の加速度の信号に対して処理を施すことによって、重力方向に対してコントローラ５がどの程度傾いているかをより詳細に知ることができる。この場合において、プロセッサは、加速度センサ３７からの出力に基づいてコントローラ５の傾斜角度を算出してもよいし、当該傾斜角度を算出せずに、コントローラ５の傾斜方向を算出するようにしてもよい。このように、加速度センサ３７をプロセッサと組み合わせて用いることによって、コントローラ５の傾斜角度または姿勢を判定することができる。
【００７５】
一方、コントローラ５が動的な状態（コントローラ５が動かされている状態）であることを前提とする場合には、加速度センサ３７は重力加速度に加えてコントローラ５の動きに応じた加速度を検出するので、検出された加速度から重力加速度の成分を所定の処理により除去することによってコントローラ５の動き方向を知ることができる。また、コントローラ５が動的な状態であることを前提とする場合であっても、検出された加速度から、加速度センサの動きに応じた加速度の成分を所定の処理により除去することによって、重力方向に対するコントローラ５の傾きを知ることが可能である。なお、他の実施例では、加速度センサ３７は、内蔵の加速度検出手段で検出された加速度信号をマイコン４２に出力する前に当該加速度信号に対して所定の処理を行うための、組込み式の処理装置または他の種類の専用の処理装置を備えていてもよい。組込み式または専用の処理装置は、例えば、加速度センサ３７が静的な加速度（例えば、重力加速度）を検出するために用いられる場合、加速度信号を傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。
【００７６】
ジャイロセンサ４８は、３軸（本実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。例えば、ジャイロセンサ４８は、３軸ジャイロセンサであってもよいし、２軸ジャイロセンサと１軸ジャイロセンサとを組み合わせて３軸周りの角速度を検出するものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。
【００７７】
通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。
【００７８】
操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。これらのデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ５から送信される。微弱電波信号はゲーム装置３側のコントローラ通信モジュール１９で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行うことが好ましい。コントローラ５の通信部３６は、例えば１／２００秒に１回の割合で操作データをゲーム装置３のコントローラ通信モジュール１９へ出力する。
【００７９】
以上のように、コントローラ５は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下する従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、コントローラ５を任意の姿勢に傾ける操作、コントローラ５によって画面上の任意の位置を指示する操作、および、コントローラ５自体を動かす操作等を行うことが可能となる。
【００８０】
また、本実施形態において、コントローラ５は、ゲーム画像を表示する表示手段を有しないが、例えば電池残量を表す画像等を表示するための表示手段を有していてもよい。
【００８１】
［４．端末装置７の構成］
次に、図８〜図１０を参照して、端末装置７の構成について説明する。図８は、端末装置７の外観構成を示す図である。図８における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。また、図９は、ユーザが端末装置７を把持した様子を示す図である。
【００８２】
図８に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。
【００８３】
端末装置７は、ハウジング５０の表面にＬＣＤ５１を有する。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図９に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置を持って動かすことができる。なお、図９ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つ例を示しているが、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。
【００８４】
図８の（ａ）図に示すように、端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本実施形態では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペンを用いて行われるが、タッチペンに限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペンを収納するための収納穴が設けられていてもよい。このように、端末装置７はタッチパネル５２を備えるので、ユーザは、端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
【００８５】
図８に示すように、端末装置７は、操作手段として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン５４Ａ〜５４Ｌとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示するデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作されるスティック部がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライド（または傾倒）することができるように構成されている。また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図９に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置７を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。
【００８６】
各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作手段である。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる（図９参照）。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
【００８７】
図８の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈとが設けられる。つまり、これらのボタン５４Ａ〜５４Ｇは、ユーザの親指で操作可能な位置に配置されている（図９参照）。
【００８８】
十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、上下左右の方向を指示することが可能なボタンである。また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ〜５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。
【００８９】
また、図８の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、上側および左側の側面から露出している。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、上側および右側の側面から露出している。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図９参照）。
【００９０】
また、図８の（ｂ）図および（ｃ）図に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、板状のハウジング５０の裏面（すなわちＬＣＤ５１が設けられる表面の反対側の面）に突起して設けられる足部５９Ａおよび５９Ｂに配置される。具体的には、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの概ね反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの概ね反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指で操作可能な位置に配置される（図９参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図８の（ｃ）図に示すように、上記足部５９Ａおよび５９Ｂの斜め上方を向く面に設けられ、斜め上方を向くボタン面を有する。ユーザが端末装置７を把持した場合には中指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。また、ハウジング５０の裏面に足部が設けられることにより、ユーザはハウジング５０を把持しやすくなり、かつ、足部にボタンが設けられることで、ハウジング５０を把持したまま操作しやすくなる。
【００９１】
なお、図８に示す端末装置７に関しては、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面が完全に水平にはならない場合がある。そのため、他の実施形態においては、ハウジング５０の裏面に３つ以上の足部が形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では足部が床面に接することで床面に載置できるので、画面が水平になるように端末装置７を載置することができる。また、着脱可能な足部を追加することで端末装置７を水平に載置するようにしてもよい。
【００９２】
各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｅは決定操作やキャンセル操作等に用いられてもよい。
【００９３】
なお、図示しないが、端末装置７は、端末装置７の電源をオン／オフするための電源ボタンを有している。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンや、スピーカ（図１０に示すスピーカ６７）の音量を調節するためのボタンを有していてもよい。
【００９４】
図８の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部（図１０に示すマーカ部５５）をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
【００９５】
端末装置７は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図８に示すように、本実施形態では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。
【００９６】
なお、端末装置７は、音声入力手段であるマイク（図１０に示すマイク６９）を備えている。ハウジング５０の表面には、マイクロフォン用孔６０が設けられる。マイク６９はこのマイクロフォン用孔６０の奥のハウジング５０内部に設けられる。マイクは、ユーザの音声等、端末装置７の周囲の音を検出する。
【００９７】
端末装置７は、音声出力手段であるスピーカ（図１０に示すスピーカ６７）を備えている。図８の（ｄ）図に示すように、ハウジング５０の下側側面にはスピーカ孔５７が設けられる。スピーカ６７の出力音はこのスピーカ孔５７から出力される。本実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。
【００９８】
また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。本実施形態においては、図８の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。他の装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。
【００９９】
なお、図８に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
【０１００】
次に、図１０を参照して、端末装置７の内部構成について説明する。図１０は、端末装置７の内部構成を示すブロック図である。図１０に示すように、端末装置７は、図８に示した構成の他、タッチパネルコントローラ６１、磁気センサ６２、加速度センサ６３、ジャイロセンサ６４、ユーザインタフェースコントローラ（ＵＩコントローラ）６５、コーデックＬＳＩ６６、スピーカ６７、サウンドＩＣ６８、マイク６９、無線モジュール７０、アンテナ７１、赤外線通信モジュール７２、フラッシュメモリ７３、電源ＩＣ７４、電池７５、および、バイブレータ７９を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
【０１０１】
ＵＩコントローラ６５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ６５は、タッチパネルコントローラ６１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、マーカ部５５、磁気センサ６２、加速度センサ６３、ジャイロセンサ６４、およびバイブレータ７９に接続される。また、ＵＩコントローラ６５は、コーデックＬＳＩ６６と拡張コネクタ５８に接続される。また、ＵＩコントローラ６５には電源ＩＣ７４が接続され、ＵＩコントローラ６５を介して各部に電力が供給される。電源ＩＣ７４には内蔵の電池７５が接続され、電力が供給される。また、電源ＩＣ７４には、コネクタ等を介して外部電源から電力を取得可能な充電器７６またはケーブルを接続することが可能であり、端末装置７は、当該充電器７６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うようにしてもよい。
【０１０２】
タッチパネルコントローラ６１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ６１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ６５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ６１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ６５からタッチパネルコントローラ６１へは、タッチパネル５２に対する各種の制御指示が出力される。
【０１０３】
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ６５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ６５へ出力する。
【０１０４】
磁気センサ６２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から磁気センサ６２へは、磁気センサ６２に対する制御指示が出力される。磁気センサ６２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。
【０１０５】
加速度センサ６３は、ハウジング５０の内部に設けられ、３軸（図８の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ６３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の短辺方向をｙ軸、ハウジング５０の表面に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から加速度センサ６３へは、加速度センサ６３に対する制御指示が出力される。加速度センサ６３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ６３は１軸または２軸方向を検出する加速度センサであってもよい。
【０１０６】
ジャイロセンサ６４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５からジャイロセンサ６４へは、ジャイロセンサ６４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ６４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ６４は１軸または２軸方向を検出するジャイロセンサであってもよい。
【０１０７】
バイブレータ７９は、例えば振動モータやソレノイドであり、ＵＩコントローラ６５に接続される。ＵＩコントローラ６５の指示によりバイブレータ７９が作動することによって端末装置７に振動が発生する。これによって、端末装置７を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。
【０１０８】
ＵＩコントローラ６５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ６６に出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
【０１０９】
コーデックＬＳＩ６６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ６６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ６８、無線モジュール７０、フラッシュメモリ７３、および赤外線通信モジュール７２が接続される。また、コーデックＬＳＩ６６はＣＰＵ７７と内部メモリ７８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ７３に格納されたプログラムを内部メモリ７８に読み出してＣＰＵ７７が実行することで、端末装置７が起動する。また、内部メモリ７８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。
【０１１０】
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ６６へ出力する。また、コーデックＬＳＩ６６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ６６へ繰り返し出力することも可能である。
【０１１１】
サウンドＩＣ６８は、スピーカ６７およびマイク６９に接続され、スピーカ６７およびマイク６９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ６６から音声データを受け取った場合、サウンドＩＣ６８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ６７へ出力し、スピーカ６７から音を出力させる。また、マイク６９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ６８へ出力する。サウンドＩＣ６８は、マイク６９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ６６へ出力する。
【０１１２】
赤外線通信モジュール７２は、赤外線信号を発光し、他の装置との間で赤外線通信を行う。ここでは、赤外線通信モジュール７２は、例えばＩｒＤＡの規格に従った赤外線通信を行う機能と、テレビ２を制御するための赤外線信号を出力する機能とを備える。
【０１１３】
コーデックＬＳＩ６６は、カメラ５６からの画像データと、マイク６９からの音声データと、ＵＩコントローラ６５からの端末操作データとを無線モジュール７０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ６６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール７０に出力される。無線モジュール７０にはアンテナ７１が接続されており、無線モジュール７０はアンテナ７１を介してゲーム装置３へ上記送信データを送信する。無線モジュール７０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール７０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
【０１１４】
以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。コーデックＬＳＩ６６は、赤外線通信モジュール７２による赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
【０１１５】
また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ７１および無線モジュール７０を介してコーデックＬＳＩ６６に受信される。コーデックＬＳＩ６６は、受信した画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。また、伸張された音声データはサウンドＩＣ６８へ出力され、サウンドＩＣ６８はスピーカ６７から音を出力させる。
【０１１６】
また、ゲーム装置３から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ６６およびＵＩコントローラ６５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ６１、マーカ部５５、各センサ６２〜６４、赤外線通信モジュール７２、およびバイブレータ７９）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
【０１１７】
また、ゲーム装置３は、上記赤外線通信モジュール７２の出力を制御することによって、テレビ２の動作を制御することが可能である。すなわち、ゲーム装置３は、テレビ２を制御するための制御指令に対応する赤外線信号を赤外線通信モジュール７２に出力させるための指示（上記制御データ）を端末装置７に出力する。この指示に応じて、コーデックＬＳＩ６６は、上記制御指令に対応する赤外線信号を赤外線通信モジュール７２に出力させる。ここで、テレビ２は赤外線信号を受光可能な赤外線受光部を備えている。赤外線通信モジュール７２から出力された赤外線信号が赤外線受光部によって受光されることで、テレビ２は当該赤外線信号に応じた動作を行う。なお、ゲーム装置３からの上記指示は、赤外線信号のパターンを示すものであってもよいし、端末装置７が赤外線信号のパターンを記憶している場合には、当該パターンを示す指示であってもよい。
【０１１８】
以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
【０１１９】
また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ６２、加速度センサ６３、およびジャイロセンサ６４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【０１２０】
また、端末装置７は、カメラ５６およびマイク６９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク６９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【０１２１】
また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
【０１２２】
［５．コンテンツの再生］
次に、ゲームシステム１において実行されるコンテンツ再生の動作について説明する。ゲームシステム１は、テレビ２と端末装置７という２つの表示装置を用いることによって、インターネット等のネットワークから取得されるコンテンツ等を、見やすく、操作しやすいようにユーザに提供するものである。
【０１２３】
図１１は、ゲームシステム１と外部装置との接続関係と示すブロック図である。図１１に示すように、ゲームシステム１におけるゲーム装置３は、ネットワーク９０を介して外部装置９１と通信可能である。ネットワーク９０は、インターネット等の任意の通信ネットワークである。外部装置９１は、典型的には、コンテンツ（動画や静止画等）の提供サイトまたはコンテンツ検索サイト（例えば、動画が蓄積されたサイト、または、動画を検索するためのサイト）である。ゲーム装置３は、ネットワーク９０を介して外部装置９１から取得した情報に基づいて、再生するコンテンツを指定するためのユーザインターフェースを構築する。より具体的には、当該情報に基づいて、ユーザインターフェース用画像（以下、ＵＩ用画像と呼ぶ）を生成する。より具体的には、ゲーム装置３は、外部装置９からＷｅｂページ情報を取得して、このＵＩ用画像を生成する。ＵＩ用画像は、具体的には、以下を例として挙げることができる。
・再生候補となるコンテンツの一覧の画像
・コンテンツを検索する条件（キーワードなど）の入力のための画像
検索結果の一覧の画像の画像
ＵＩ用画像は端末装置７に表示される。なお、後述のように、ＵＩ画像はテレビ２に表示されることもある。
また、ゲーム装置３は、外部装置９から取得したＷｅｂページ情報に基づいて、ＵＩ用画像を生成するだけでなく、タッチパネルやそのほかの入力部からの入力を受け付けてそれに応じた処理を実行するなどして再生するコンテンツを指定するための入出力制御をおこなう。
【０１２４】
端末装置７においてＵＩ用画像を表示しつつユーザが再生すべきコンテンツを指定すると、ゲーム装置３は、外部装置９１または他のサーバから、指定されたコンテンツを取得する。そして、取得したコンテンツが再生処理され、再生画像がテレビ２に表示される。
【０１２５】
このように、端末装置７は、再生するコンテンツを指定するための端末として使うことができるが、コンテンツを視聴するための端末として使うこともできる。前者を検索モードと呼び、後者を再生モードと呼ぶ。なお、本明細書において検索とは、キーワードなどを入力して検索結果を得ることだけでなく、単にコンテンツの一覧から希望のものを探すことを含む。
【０１２６】
上記再生モードは、端末装置７の画面上にテレビ２と同じコンテンツを表示するモードである。一方、上記検索モードは端末装置７の画面上に上述のようなＷｅｂページを表示して、次に再生するコンテンツを指定するモードである。後述の実施例では、再生モード時にはＷｅｂページを表示せずにコンテンツの再生画像を表示し、検索モード時にはＷｅｂページを表示してコンテンツの再生画像を表示しないようにしたが、変形例としては、再生モード時にＷｅｂページを小さく表示してもよい。より具体的には、再生モード時には、Ｗｅｂページはコンテンツの再生画像よりも小さく表示する、または、再生モード時のＷｅｂページを検索モード時のＷｅｂページの表示サイズよりも小さく表示するようにしてもよい。また、検索モード時にコンテンツ再生画像を小さく表示してもよい。より具体的には、検索モード時にコンテンツ再生画像をＷｅｂページ画像よりも小さく表示する、または、検索モード時のコンテンツ再生画像を再生モード時の再生画像の表示サイズよりも小さく表示するようにしてもよい。すなわち、再生モード時には、現在再生中のコンテンツを見るのに適した表示とし、検索モード時には、次に再生すべきコンテンツを指定するのに適した表示としてもよい。
【０１２７】
端末装置７は、コンテンツの再生中において、再生モードと検索モードとを任意のタイミングで何度も切り替えることができる。それゆえ、コンテンツの再生中において端末装置７を検索モードにすることにより、他の人がテレビ２でコンテンツを楽しんでいる最中に、端末装置７を用いて次に再生するコンテンツを指定することができる。また、そのようにして検索モードにおいて次に再生するコンテンツを指定した後、コンテンツの再生が継続していれば、再度、再生モードに変更して、端末装置７にコンテンツの再生画像を表示して他の人がテレビ２で楽しんでいるコンテンツを一緒に楽しむことができる。なお、端末装置７が検索モードに移行した後も、テレビ２ではコンテンツの再生が継続される。また、端末装置７が一旦検索モードに移行した後再度再生モードに復帰したときには、端末装置７に表示される再生画像はテレビ２の再生画像と同期した内容が表示される（すなわち、同じ場面、同じフレームが表示される）。すなわち、端末装置７を再生モードで用いる場合、テレビ２および端末装置７の動画再生は同期する。すなわち、テレビ２上の動画と端末装置７上の動画は同じ場面、同じフレームが表示される。
【０１２８】
上述のような構成により、端末装置７の操作者は、他の人がテレビ２で視聴するコンテンツを決める裏方的な役割と、他の人と一緒にコンテンツを楽しむ立場とを任意のタイミングで自由に切り替えることができる。
【０１２９】
より具体的には、本実施例において、テレビ２および端末装置７には、図１２から図１８に示すような画像が表示される。
【０１３０】
図１２は、コンテンツが再生されていない状態において、テレビ２および端末装置７（の画面５１）に表示される画像である。コンテンツが再生されていない状態のとき、端末装置７は検索モードに設定される。ゲーム装置３は動画サイトからＷｅｂページデータを取得し、Ｗｅｂページ画像１００を生成して、テレビ２と端末装置７に表示する。このとき、本実施例では、Ｗｅｂページ画像が全画面表示される。このＷｅｂページ画像１０１には、再生するコンテンツを指定するためのＵＩ用画像が含まれる。具体的には、本実施例においては、Ｗｅｂページ画像１００には動画サイトから取得可能なコンテンツのサムネイル１０１の一覧が含まれる。なお、ゲーム装置３は、動画サイトから取得したＷｅｂページデータに基づいて、入力制御もおこなう。
【０１３１】
端末装置７には動画サイトから取得されるＷｅｂページ画像１００の他に、インターネットブラウザとしての各種機能を実行するための種々のボタン群１０２が表示される。ボタン群１０２に含まれる各ボタンは、タッチ入力されたときに、たとえば以下のような機能を有する。
戻るボタン：閲覧履歴の一つ前にサイトを表示
進むボタン：閲覧履歴の一つ先のサイトを表示
拡大/縮小ボタン ：表示中サイトの拡大/縮小表示する
お気に入りボタン：お気に入り一覧の表示/編集/追加
リロードボタン ：表示中サイトの再読み込み
タブボタン ：開いているタブ一覧画面を表示
テレビ表示ストップボタン：Ｗｅｂページ画像のテレビ２への表示を一時的に非表示にする
メニューボタン ：各種メニュー一覧を表示
なお、ボタン群１０２はテレビ２には表示されない。
【０１３２】
上述の通り、テレビ２と端末装置７には同じＷｅｂページが表示されるが、上述のテレビ表示ストップボタンは、端末装置７を用いてパスワードを入力するときなどテレビ２を見ている人に見られたくないシーンや、コンテンツを指定している過程を見られたくない時に使う機能である。このボタンを選択することにより（より具体的にはタッチ操作することにより）、テレビ２上のＷｅｂページ画像１００は非表示となり、代わりに、所定のメッセージや演出画像が表示される。テレビ表示ストップボタンを操作する毎に、テレビ２にＷｅｂページ画像１００を表示するモード（テレビ表示モード）と、テレビ２にＷｅｂページ画像１００を表示しないモード（テレビ非表示モード）との間で切替を繰り返す。なお、テレビ表示モードに設定されているときであっても、コンテンツの再生中は、テレビ２には、コンテンツの再生画像が表示され、Ｗｅｂページ画像１００は表示されない。
【０１３３】
また、端末装置７の画面上でスライドタッチをするとＷｅｂページ画像１００をスクロールさせることが可能である。このときテレビ側のＷｅｂページ画像１００も同様にスクロールする。
【０１３４】
また、端末装置７は、上記ボタン群１０２による機能に加えて、タッチパネル、十字キー、スライドスティック、ジャイロ機能を用いて、Ｗｅｂページ内のテキストや画像などのデータを選択したり、Ｗｅｂページ画像１００を縦横スクロール、拡大縮小することができる。また、テレビ２の表示内容も変更できる。さらに、ＵＲＬなどのテキスト入力を行うことができる。
【０１３５】
なお、ボタン群１０２やスライドタッチによるＷｅｂページ画像のスクロール機能などは、（動画サイトから取得されるＷｅｂページ情報ではなく）ゲーム装置内に記憶されるブラウザプログラムにより実現される。
【０１３６】
端末装置７に表示されたＷｅｂページ画像１００上でコンテンツのサムネイルをタッチすることにより再生するコンテンツが指定される。例えば、図１２においては、コンテンツＡのサムネイルがタッチされた状態を示す。コンテンツのサムネイルがタッチされると、図１３に示すように、指定されたコンテンツの静止画１０８（例えば、サムネイルの拡大画像や動画の先頭フレームの画像）が端末装置７に表示される。この状態において、端末装置７の画面上で（または当該静止画上で）上方向にスライドタッチをすると（またはスライドタッチした後タッチオフすると）、コンテンツの再生が開始され、図１４に示すように、テレビ２および端末装置７の両方でコンテンツの再生画像１０７が表示される。このとき、端末装置７は自動的に再生モードに移行する。なお、このとき、本実施例では、テレビ２では、再生画像１０７が全画面表示される。また、本実施例では、テレビ２には、後述の再生制御ＵＩ１０３は表示されない。
【０１３７】
このように端末装置７上にコンテンツを静止状態で表示しておき、上方向へのスライドタッチをきっかけにして、テレビ２上で再生開始することにより、端末装置７に存在するコンテンツがテレビ２に飛んで行って再生されるかのようなユーザ体験を提供できる。なお、単に、コンテンツのサムネイルをタッチすることによりコンテンツの再生を開始してもよい。
【０１３８】
図１３に示すように、再生モードにおいて、端末装置７の画面の下端（コンテンツの再生画像１０７の下方）には再生制御ＵＩ１０３(早送り/巻き戻し/スキップ/一時停止)が表示される。再生制御ＵＩ１０３は、本実施例においては、バー状のＵＩであり、バーの色の変化により、コンテンツ全体のうちの再生済の部分と未再生の部分との割合が示される。また、バーの任意の箇所や再生済と未再生の境界のマーカーをタッチ操作することにより早送りなどの制御が可能である。再生制御ＵＩ１０３は再生中の動画のうちどの程度再生が終了しているかを示す機能も有する。さらに、再生モードにおいて、端末装置７には、コンテンツの再生を終了するためのボタン１０４、および、端末装置７を再生モードから検索モードにするためのボタン１０５が表示され、これらのＵＩやボタンをタッチすることにより対応する処理が実行される。
【０１３９】
再生制御ＵＩ１０３や、ボタン１０４、１０５の機能は、（動画サイトから取得されるＷｅｂページ情報ではなく）ゲーム装置内に記憶されるブラウザプログラムにより実現される。
【０１４０】
図１５は、コンテンツの再生中における、再生モードから検索モードへの移行、または、検索モードから再生モードへの移行を示す図である。再生モードから検索モードへの移行は、上述したように、ボタン１０５へのタッチによっても実行されるが、それに加えて、端末装置７の画面上で（またはコンテンツの再生画像上で）上方向にスライドタッチする（またはスライドタッチした後タッチオフする）ことによっても、端末装置７は再生モードから検索モードに移行する。また、コンテンツ再生中の検索モード時には、図１５に示すようにボタン１０６が表示され、検索モードから再生モードへの移行は、ボタン１０６をタッチすることによって実行される。
【０１４１】
図１５に示すように、再生モードから検索モードへの移行が指示されたとき、端末装置７の画面では、コンテンツの再生画像１０７が徐々に上方向にスライドアウトして消失し、Ｗｅｂページ画像１００が徐々に出現する。また、検索モードから再生モードへの移行が指示されたときには、コンテンツの再生画像１０７が徐々に上方向からスライドインして出現する。
【０１４２】
コンテンツ再生中において、検索モードに移行すると、図１６に示すように、端末装置７にはＷｅｂページ画像１００に加えて、再生制御ＵＩ１０３が表示される。再生制御ＵＩ１０３は、再生モード時には、図１４で示したように、画面の下端、または、コンテンツ再生画像の下方に表示されるが、検索モード時には、図１６で示すように、画面の上端、または、Ｗｅｂページの上方に表示される。
【０１４３】
コンテンツ再生中の検索モードにおいても、コンテンツ非再生時の検索モード（図１２）と同様、Ｗｅｂページ中のサムネイルなどを指定することによって再生するコンテンツを指定することができる。図１６では、映像コンテンツＫのサムネイルをタッチした状態を示している。コンテンツのサムネイルをタッチすると（または、図１３を用いて前述したような上方向へのスライドタッチをすると）、図１４で示したものと同様、テレビ２および端末装置７の両方において、タッチしたコンテンツ（映像コンテンツＫ）の再生が開始される。このとき、端末装置７は自動的に再生モードに移行する。
【０１４４】
図１７ないし１９は、ゲーム装置３の処理動作を示すフローチャートである。このフローチャートで示される各ステップの処理は、ゲーム装置３内の不揮発メモリ、または、光ディスク４に記憶されるプログラム（ブラウザプログラム）をＣＰＵ１０が実行することにより実現される。
【０１４５】
まず、図１７を参照して、ステップＳ１１において、ゲーム装置３は、デフォルトのサイトに接続し、ステップＳ１２において、Ｗｅｂページ情報を取得して、Ｗｅｂページ画像１００を生成する。
【０１４６】
そして、前述の図１２で示されるように、ステップＳ１３において、Ｗｅｂページ画像１００をテレビ２に表示し、ステップＳ１４において、Ｗｅｂページ画像１００とボタン画像１０２を端末装置７に表示する（ゲーム装置３が生成したＷｅｂページ画像データを前述の無線機能により端末装置７に送信し、端末装置７は当該データを受信して画面に表示する。なお、本フローチャートにおいて端末装置７の画面は同様の方法により表示される）。さらに、ステップＳ１２で取得したＷｅｂページ情報に基づいて、入力制御を構築する。これにより、Ｗｅｂページに対する入力制御が行われる（後述のステップＳ１８）。
【０１４７】
ステップＳ１５の後、ステップＳ１６において、サイト指定入力を受け付ける。より具体的には、動画サイトのアドレス入力を受け付ける。お気に入りなどの機能によりサイトを選択するようにしてもよい。ステップＳ１６でサイト指定入力があると、ステップＳ１７において、指定されたサイトからＷｅｂページ情報を取得し、Ｗｅｂページ画像１００を生成する。
【０１４８】
ステップＳ１７の後、ステップＳ２１において、ステップＳ１７で生成したＷｅｂページ画像１００を端末装置７に表示する。そして、ステップＳ２２において、コンテンツ再生中か否かを判断し、かつ、ステップＳ２３においてテレビ非表示モードか否かを判断し、コンテンツ再生中でなくて、テレビ非表示モードでもないときには、ステップＳ２４において、ステップＳ１７で生成したＷｅｂページ画像１００をテレビ２に表示する。
【０１４９】
ステップＳ１６において、サイト指定入力がなかったときには、ステップＳ１８において、Ｗｅｂページに対する入力があったか否かが判断される。これは、前述のステップＳ１５において構築された入力制御設定により判断される。例えば、Ｗｅｂページ内のリンク先、ボタン、サムネイル画像などをタッチなどで指定したか否かが判断される。
【０１５０】
ステップＳ１８において、Ｗｅｂページに対する入力があったと判断されたときには、ステップＳ１９において、コンテンツ指定入力があったか否かが判断される。より具体的には、たとえば、コンテンツ一覧中のサムネイル画像がタッチなどで指定されたか否かが判断される。コンテンツが指定されたときには、ステップＳ３９に移行するが、これは後述する。
【０１５１】
ステップＳ１９において、Ｗｅｂページに対する入力がコンテンツ指定入力でなかったときには、ステップＳ２０において、サイト内の各種Ｗｅｂページ情報を取得したり、コンテンツの一覧を取得したり、検索結果を取得するなどして、Ｗｅｂページ画像１００を生成する。ステップＳ２０において、Ｗｅｂページ画像１００が生成された後、ステップＳ２１からステップＳ２４を参照して前述したとおり、端末装置７に、生成されたＷｅｂページ画像１００を表示し、かつ、コンテンツ再生中でなくかつテレビ非表示モードでもないときには、テレビ２にも表示する。
【０１５２】
次に、図１８を参照して、ステップＳ２５において、ボタン群１０２に対する入力があったか否かが判断される。前述したようにボタン群１０２には、各種ボタンが含まれており、ステップＳ２６において、テレビ表示ストップボタンがタッチなどで指定されたか否かが判断され、テレビ表示ストップボタンが指定されたときには、ステップＳ２７において、現在、テレビ非表示モードであるか否かが判断される。テレビ非表示モードでないときには、テレビ非表示モードに設定して、コンテンツ再生中でないときには、ステップＳ３０において、テレビ２に表示されているＷｅｂページ画像１００を非表示にし、メッセージや演出画像などの代わりの画像をテレビ２に表示する。また、現在、テレビ非表示モードであるときには、テレビ非表示モードを解除して、コンテンツ再生中でないときには、ステップＳ３３において、テレビ２にＷｅｂページ画像１００を表示する。ステップＳ２６においてその他のボタンであることが判断されたときには、ステップＳ３４においてそれぞれ対応する処理を実行する。
【０１５３】
次に、ステップＳ３５において、コンテンツ再生中であるか否かが判断され、コンテンツ再生中でないときには、ステップＳ１６に戻って同様の処理を繰り返す。
【０１５４】
前述したステップＳ１９において、コンテンツ指定入力があったことが判断されたときには、図１９を参照して、ステップＳ３９に移行する。ステップＳ３９において、端末装置７にコンテンツの静止画１０８を表示する。そして、ステップＳ４０において、当該静止画上で上方向へのスライド操作があったことが判断されると、ステップＳ４１において、動画サイトからコンテンツデータを取得し、ステップＳ４２において、コンテンツの再生を開始して、再生画像の生成を開始する。なお、コンテンツが再生中の場合には、現在再生中のコンテンツの再生を中止して、新たに指定されたコンテンツを再生開始してもよいし、現在再生中のコンテンツの再生が終了した後に、新たに指定されたコンテンツの再生を開始してもよい。
【０１５５】
なお、ステップＳ４２の後も、コンテンツを再生して再生画像を生成する処理は、再生終了まで継続的に実行される。
【０１５６】
ステップＳ４２の後、ステップＳ４３において、テレビ２に再生画像１０７の表示が開始される。なお、ステップＳ４３の後も、コンテンツの再生画像１０７をテレビ２に表示する処理は、再生終了まで継続的に実行される。
【０１５７】
ステップＳ４３の後、ステップＳ４４において、端末装置７上に表示について、Ｗｅｂページ画像１００を消去して、再生画像１０７の表示を開始する。また、端末装置７には、再生制御ＵＩ１０３および再生終了ボタン１０４が合成表示される（図１４参照）。なお、再生制御ＵＩ１０３は端末装置７の画面の下端、または、再生画像１０７の下方に位置するように表示される。
【０１５８】
ステップＳ４４の後、ステップＳ４５において、再生制御操作があったか否かが判断される。具体的には、再生制御ＵＩ１０３や再生終了ボタン１０４に対するタッチ操作があったか否かが判断される。そのような操作があったときには、ステップＳ４８において、対応する再生制御が実行される。
【０１５９】
ステップＳ４５の後、ステップＳ４７において、再生モードから検索モードへの切替操作があったか否かが判断される。より具体的には、本実施例においては、前述したように、ボタン１０５へのタッチがあったか、または、端末装置７の画面上で（またはコンテンツの再生画像上で）上方向にスライド操作があったか、が判断される。
【０１６０】
ステップＳ４７において、再生モードから検索モードへの切替操作があったことが判断されると、ステップＳ４８において、端末装置７の画面上で、再生画像１０７を上方向にスライドアウトし、代わりに、Ｗｅｂページ画像１００（直近に生成され保存されていたＷｅｂページ画像）、ボタン群１０２、および、再生制御ＵＩを表示する。なお、再生制御ＵＩは、画面上端、または、コンテンツの再生画像の上方に位置するように表示される。これにより、端末装置７の操作者は、コンテンツ一覧から新たに再生したいコンテンツを指定したり、新たなコンテンツ一覧を取得したりすることができる。ステップＳ４８の後、ステップＳ１６に戻って処理を繰り返す。
【０１６１】
コンテンツの再生中に検索モードに切り替えた後、コンテンツの再生が継続している間は、再度再生モードに切り替えることができる。具体的には、ステップＳ３５において、コンテンツ再生中であることが判断され、ステップＳ３６において、検索モードから再生モードへの切替操作があったことが、そして、ステップＳ３７およびＳ３８において、端末装置７に直近に生成された再生画像１０７（テレビ２に表示中の再生画像）が表示される。なお、切替操作があった時、再生画像１０７は端末装置７の画面の上方向から徐々にスライドインするように表示される。そして、端末装置7のＷｅｂページ画像１００が非表示となり、端末装置７には、再生画像１０７と、再生制御ＵＩ１０３と、＋再生終了ボタン１０４とが表示される。なお、再生制御ＵＩ１０３は、画面下端、または、再生画像１０７の下方に位置するように表示される。
【０１６２】
ステップＳ４７の後、ステップＳ４９において、コンテンツの再生が終了したか（最後のフレームまで再生がされたか）が判断される。終了した場合には、ステップＳ１６に戻って処理を繰り返す。なお、このとき、端末装置７が再生モードであったときには、直近に生成され保存されていたＷｅｂページ画像を表示してもよい。また、テレビ２には、コンテンツの最後のシーンを表示したままとしてもよいし、端末装置７と同様のＷｅｂページ画像を表示してもよい。
【０１６３】
［６．変形例］
上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。
【０１６４】
上記実施形態においては、コンテンツデータをネットワークを介して取得するようにしたが、ゲーム装置内に多数のコンテンツデータを記憶しておいて、それらから再生するコンテンツを指定して再生するようにしてもかまわない。
【０１６５】
上記実施形態においては、端末装置７が操作装置として用いられ、コントローラ５は用いられない。したがって、ゲームシステム１はコントローラ５を含まない構成であってもよい。ただし、他の実施形態においては、端末装置７とともにコントローラ５が操作装置として用いられてもよい。すなわち、ＣＰＵ１０は、コントローラ５に対する操作を表す操作データ（コントローラ操作データ）を取得し、当該操作データに基づいて、テレビ２に表示される動画に関する情報処理を実行してもよい。例えば、テレビ２に動画が表示される場合において、コントローラ５を用いて動画の再生や一時停止の操作を行うことができるようにしてもよい。これによれば、端末装置７を把持するユーザだけでなく、他のユーザもコントローラ５を用いて、テレビ２に表示される動画に関する操作を行うことができ、操作性を向上することができる。
【０１６６】
上記実施形態においては、ゲームシステム１は端末装置７を１つのみ有する構成であったが、ゲームシステム１は複数の端末装置を有する構成であってもよい。すなわち、ゲーム装置３は、複数の端末装置とそれぞれ無線通信可能であり、画像のデータを各端末装置へ送信し、操作データとカメラ画像データとマイク音データとを各端末装置から受信するものであってもよい。また、各端末装置に表示される操作画像はそれぞれ異なっていてもよく、テレビ２に画像を表示させる操作も各端末装置で個別に行われてもよい。なお、ゲーム装置３は、複数の端末装置のそれぞれと無線通信を行うが、このとき、ゲーム装置３は、各端末装置との無線通信を時分割で行ってもよいし、周波数帯域を分割して行ってもよい。
【０１６７】
また、端末装置は、操作データをゲーム装置へ出力し、ゲーム装置からの画像を受信して表示する機能を有していればよい。つまり、他の実施形態においては、端末装置は、例えば携帯ゲーム機のように、所定のプログラム（ゲームプログラム）によって所定の情報処理（ゲーム処理）を実行する機能を有する装置であってもよい。
【０１６８】
上記実施形態においては、テレビ２に画像（動画および／または静止画）を出力する実施例を説明したが、ゲームシステム１は、画像に代えて、テレビ２（テレビ２のスピーカ２ａ）に音声を出力するために用いることも可能である。すなわち、ゲーム装置３は、外部装置９１からネットワーク９０を介して音声（音楽等）のデータを受信し、当該音声をスピーカ２ａに出力してもよい。このとき、端末装置７には、上記音声に関する操作を行うための操作画像が表示される。また、ＣＰＵ１０は、上記音声に関する情報処理を端末操作データに基づいて実行する。なお、一般的には、可搬型である端末装置７よりも大きいテレビ２の方がより高音質の音声を出力することができるので、上記によれば、ユーザは、外部装置９１から取得した音声を、テレビ２によってより良い音質で聴くことができる。
【０１６９】
上記実施形態においては、ゲームシステム１において実行される一連の情報処理をゲーム装置３が実行したが、当該情報処理の一部は他の装置によって実行されてもよい。例えば、他の実施形態においては、情報処理の一部（例えば、端末用画像の生成処理）を端末装置７が実行するようにしてもよい。また、他の実施形態では、互いに通信可能な複数の情報処理装置を有するゲームシステムにおいて、当該複数の情報処理装置が情報処理を分担して実行するようにしてもよい。なお、複数の情報処理装置において情報処理が実行される場合には、各情報処理装置で実行される処理を同期させる必要があり、処理が複雑になってしまう。これに対して、上記実施形態のように、情報処理が１つのゲーム装置３によって実行され、端末装置７が画像を受信して表示する場合（つまり、端末装置７がシンクライアント端末である場合）には、複数の情報処理装置間で処理の同期をとる必要がなく、処理を簡易化することができる。
【０１７０】
また、上記実施形態においては、ゲーム処理を実行することが可能なゲーム装置３を含むゲームシステム１を例として説明したが、上記実施形態で記載した各処理動作は、ゲームシステムおよびゲーム装置に限らず、任意の情報処理システムおよび情報処理装置によって実行可能である。情報処理システムは、情報処理装置と、ユーザによる操作入力が可能な可搬型の表示装置（例えば端末装置７）とを含むものであればよく、情報処理装置は、可搬型の表示装置と、当該可搬型の表示装置とは異なる表示装置（例えばテレビ２）とにそれぞれ画像を出力して表示させることができるものであればよい。
【０１７１】
上記のように、本明細書で説明した種々のシステム、方法、および技術は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、またはこれら要素の組み合わせによって提供されてもよい。上記の技術を実現するための装置は、プログラム可能なプロセッサによる実行のためのコンピュータ読み取り可能な非一時的な記憶装置において実体的に具体化されるコンピュータプログラムプロダクト、入出力装置、およびコンピュータプロセッサを含んでもよい。上記技術を実現するための処理は、入力データを処理して所望の出力を生成することによって、要求される機能を実行するためのプログラムを実行する、プログラム可能なプロセッサによって実行されてもよい。上記の技術は、入力装置、出力装置、および情報記憶装置といったハードウェア資源との間でデータや指示のやり取りを行うプログラム可能なプロセッサを含むコンピュータシステム上で実行可能な１以上のコンピュータプログラムによって実現されてもよい。また、各コンピュータプログラムは、手続型やオブジェクト指向型の高水準プログラミング言語、アセンブリ言語、または、機械語によって実現されてもよく、必要に応じてコンパイルまたはインタプリタされて実行されてもよい。また、上記のプロセッサは、汎用または専用のマイクロプロセッサであってもよい。プロセッサは、一般的に、ＲＯＭまたはＲＡＭからデータおよび指示を受け取る。また、上記の記憶装置は、（ａ）ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリのような半導体メモリ装置を含む不揮発性のメモリ、（ｂ）内部ハードディスクあるいは着脱可能な外部ディスクのような磁気ディスク、（ｃ）光磁気ディスク、（ｄ）ＣＤＲＯＭ、に限定されず、あらゆる種類のコンピュータメモリを含む。上記のプロセッサや記憶装置は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって補充される、あるいは、ＡＳＩＣに組み込まれる形で実現されてもよい。
【０１７２】
また、本明細書に記載の処理システム（回路）は、本明細書において記載された内容に応じたゲーム処理のような制御処理のためにプログラムされる。上記の内容に応じた指示を実行する少なくとも１つのＣＰＵを含む処理システムが、上記の内容によって定義される処理動作を実行するための「プログラムされた論理回路」として作用するものであってもよい。
【産業上の利用可能性】
【０１７３】
以上のように、本発明は、画像をより見やすく提供するとともに、画像に関する操作をユーザが容易に行うこと等を目的として、例えば、ゲームシステムおよびゲーム装置等に利用することができる。
【符号の説明】
【０１７４】
１ ゲームシステム
２ テレビ
３ ゲーム装置
４ 光ディスク
７ 端末装置
１０ ＣＰＵ
５１ 端末装置の画面
９０ ネットワーク
９１ 外部装置
１００ Ｗｅｂページ画像
１０１ サムネイルアイコン
１０２ ボタン画像群
１０３ 画像制御ＵＩ画像
１０４ 再生終了ボタン
１０５ 再生モードから検索モードへの切替ボタン
１０６ 検索モードから再生モードへの切替ボタン
１０７ コンテンツの再生画像
【特許請求の範囲】
【請求項１】
据置型表示装置と、ユーザにより所定の入力が可能な可搬型表示装置とを含む情報処理システムであって、
コンテンツを再生して、再生画像を生成し、少なくとも前記据置型表示装置に表示するコンテンツ再生部と、
再生するコンテンツを指定するためのユーザインターフェース用画像を生成するＵＩ画像生成部と、
前記コンテンツ再生部によるコンテンツの再生中に、前記可搬型表示装置に、当該再生中の前記再生画像と、前記ユーザインターフェース用画像とを選択的に表示する切替表示制御部と、
前記ユーザインターフェース用画像を用いて、前記可搬型表示装置におけるユーザによる所定の入力により、次に再生すべきコンテンツを指定するコンテンツ指定部と、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを次に再生する、情報処理システム。
【請求項２】
前記コンテンツ再生部によって再生中のコンテンツの再生状態を示す表示である再生状態画像を前記可搬型表示装置に表示する再生状態表示制御部をさらに備え、
前記再生状態表示制御部は、前記切替表示制御部によって前記再生中の再生画像に切り替えられているときには、当該再生画像とともに前記再生状態画像を前記可搬型表示装置に表示し、前記ユーザインターフェース用画像に切り替えられているときは、当該ユーザインターフェース用画像とともに前記再生状態画像を前記可搬型表示装置に表示する、請求項１に記載の情報処理システム。
【請求項３】
前記再生状態表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像の下方に前記再生状態画像を表示し、前記ユーザインターフェース用画像に切り替えられているときには、当該ユーザインターフェース用画像示の上方に前記再生状態画像を表示する、請求項２に記載の情報処理システム。
【請求項４】
前記可搬型表示装置は座標入力部を備え、
前記コンテンツ再生部によって再生中のコンテンツの再生を制御するための表示である再生制御画像を前記可搬型表示装置に表示する再生制御表示制御部をさらに備え、
前記再生制御表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像とともに前記再生制御画像を前記可搬型表示装置に表示し、前記ユーザインターフェース用画像に切り替えられているときは、当該ユーザインターフェース用画像とともに前記再生制御画像を前記可搬型表示装置に表示し、
前記再生制御部は、前記座標入力部によって前記再生制御画像に対する座標入力がされたときに、現在再生中のコンテンツに対して再生制御をおこなう、請求項１に記載の情報処理システム。
【請求項５】
前記再生制御表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像の下方に前記再生制御画像を表示し、前記ユーザインターフェース用画像に切り替えられているときには、当該ユーザインタフェース画像の上方に前記再生制御画像を表示する、請求項４に記載の情報処理システム。
【請求項６】
前記可搬型表示装置は、座標入力部を備え、
前記切替表示制御部は、前記座標入力部において上方向を示す座標入力があったときに、前記可搬型表示装置の表示内容を、前記再生画像から前記ユーザインターフェース用画像に切り替える、請求項１に記載の情報処理システム。
【請求項７】
前記切替表示制御部は、前記ユーザインターフェース用画像から前記再生画像に切り替えるときに、前記コンテンツ再生部により現在再生中のコンテンツの再生画像を前記可搬型表示装置において上方向から徐々にスライドインするように表示する、請求項１または６に記載の情報処理システム。
【請求項８】
前記切替表示制御部は、前記ユーザインターフェース用画像から前記再生画像に切り替えるときに、前記コンテンツ再生部により現在再生中のコンテンツの再生画像を前記可搬型表示装置において上方向へ徐々にスライドアウトするように表示する、請求項１、６または７のいずれかに記載の情報処理システム。
【請求項９】
前記コンテンツ再生部は、前記コンテンツ指定部によって次に再生すべきことが指定されたコンテンツを再生するときに、前記再生画像を前記据置型表示装置に表示するとともに、前記切替表示制御部により前記可搬型表示装置の表示を前記再生画像に切り替えて、当該再生画像を前記可搬型表示装置に表示する、請求項１ないし８のいずれかに記載の情報処理システム。
【請求項１０】
前記切替表示制御部は、前記コンテンツ再生部によるコンテンツの再生が終了したときに、前記ユーザインターフェース用画像を前記可搬型表示装置と前記据置型表示装置の両に表示する、請求項１ないし９のいずれかに記載の情報処理システム。
【請求項１１】
ネットワークに接続可能であり、当該ネットワークを介して、コンテンツを記憶した所定の外部装置と通信を行う通信部をさらに備え、
前記ＵＩ画像生成部は、前記通信部によって前記外部装置に記憶されたコンテンツの一覧を取得してそのなかから再生すべきコンテンツを指定するためのインターフェース画像を生成し、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを前記通信部によって前記外部装置から取得して再生する、請求項１ないし１０のいずれかに記載の情報処理システム。
【請求項１２】
前記情報処理システムは、表示データを生成して前記据置型表示装置および前記可搬型表示装置に出力することが可能な情報処理部を含み、
前記情報処理部は、前記ＵＩ画像生成部、前記コンテンツ再生部として機能し、
前記ＵＩ画像生成部により生成されたユーザインターフェース用画像と前記コンテンツ再生部による再生画像を、選択的にまたは同時に前記可搬型表示装置に出力し、
前記コンテンツ再生部による再生画像を前記据置型表示装置に出力し、
前記据置型表示装置および前記可搬型表示装置は、情報処理装置から表示データを受信して表示する、請求項１ないし１１のいずれかに記載の情報処理システム。
【請求項１３】
据置型表示装置およびユーザにより所定の入力が可能な可搬型表示装置に表示データを出力可能な情報処理装置であって、
コンテンツを再生して、再生画像を生成し、少なくとも前記据置型表示装置に表示するコンテンツ再生部と、
再生するコンテンツを指定するためのユーザインターフェース用画像を生成するＵＩ画像生成部と、
前記コンテンツ再生部によるコンテンツの再生中に、前記可搬型表示装置に、当該再生中の前記再生画像と、前記ユーザインターフェース用画像とを選択的に表示する切替表示制御部と、
前記ユーザインターフェース用画像を用いて、前記可搬型表示装置におけるユーザによる所定の入力により、次に再生すべきコンテンツを指定するコンテンツ指定部とを備え、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを次に再生する、情報処理装置。
【請求項１４】
据置型表示装置およびユーザにより所定の入力が可能な可搬型表示装置に表示データを出力可能な情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
コンテンツを再生して、再生画像を生成し、少なくとも前記据置型表示装置に表示するコンテンツ再生部と、
再生するコンテンツを指定するためのユーザインターフェース用画像を生成するＵＩ画像生成部と、
前記コンテンツ再生部によるコンテンツの再生中に、前記可搬型表示装置に、当該再生中の前記再生画像と、前記ユーザインターフェース用画像とを選択的に表示する切替表示制御部と、
前記ユーザインターフェース用画像を用いて、前記可搬型表示装置におけるユーザによる所定の入力により、次に再生すべきコンテンツを指定するコンテンツ指定部として前記コンピュータを機能させ、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを次に再生する、情報処理プログラム。
【請求項１５】
据置型表示装置と、ユーザにより所定の入力が可能な可搬型表示装置とを含む情報処理システムにおいて実行されるコンテンツ再生制御方法であって、
コンテンツを再生して、再生画像を生成し、少なくとも前記据置型表示装置に表示し、
再生するコンテンツを指定するためのユーザインターフェース用画像を生成し、
前記コンテンツ再生部によるコンテンツの再生中に、前記可搬型表示装置に、当該再生中の前記再生画像と、前記ユーザインターフェース画像とを選択的に表示し、
前記ユーザインターフェース画像を用いて、前記可搬型表示装置におけるユーザによる所定の入力により、次に再生すべきコンテンツを指定し、当該指定されたコンテンツを次に再生する、コンテンツ再生制御方法。
【請求項１】
据置型表示装置と、ユーザにより所定の入力が可能な可搬型表示装置とを含む情報処理システムであって、
コンテンツを再生して、再生画像を生成し、少なくとも前記据置型表示装置に表示するコンテンツ再生部と、
再生するコンテンツを指定するためのユーザインターフェース用画像を生成するＵＩ画像生成部と、
前記コンテンツ再生部によるコンテンツの再生中に、前記可搬型表示装置に、当該再生中の前記再生画像と、前記ユーザインターフェース用画像とを選択的に表示する切替表示制御部と、
前記ユーザインターフェース用画像を用いて、前記可搬型表示装置におけるユーザによる所定の入力により、次に再生すべきコンテンツを指定するコンテンツ指定部と、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを次に再生する、情報処理システム。
【請求項２】
前記コンテンツ再生部によって再生中のコンテンツの再生状態を示す表示である再生状態画像を前記可搬型表示装置に表示する再生状態表示制御部をさらに備え、
前記再生状態表示制御部は、前記切替表示制御部によって前記再生中の再生画像に切り替えられているときには、当該再生画像とともに前記再生状態画像を前記可搬型表示装置に表示し、前記ユーザインターフェース用画像に切り替えられているときは、当該ユーザインターフェース用画像とともに前記再生状態画像を前記可搬型表示装置に表示する、請求項１に記載の情報処理システム。
【請求項３】
前記再生状態表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像の下方に前記再生状態画像を表示し、前記ユーザインターフェース用画像に切り替えられているときには、当該ユーザインターフェース用画像示の上方に前記再生状態画像を表示する、請求項２に記載の情報処理システム。
【請求項４】
前記可搬型表示装置は座標入力部を備え、
前記コンテンツ再生部によって再生中のコンテンツの再生を制御するための表示である再生制御画像を前記可搬型表示装置に表示する再生制御表示制御部をさらに備え、
前記再生制御表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像とともに前記再生制御画像を前記可搬型表示装置に表示し、前記ユーザインターフェース用画像に切り替えられているときは、当該ユーザインターフェース用画像とともに前記再生制御画像を前記可搬型表示装置に表示し、
前記再生制御部は、前記座標入力部によって前記再生制御画像に対する座標入力がされたときに、現在再生中のコンテンツに対して再生制御をおこなう、請求項１に記載の情報処理システム。
【請求項５】
前記再生制御表示制御部は、前記切替表示制御部により前記再生中の再生画像に切り替えられているときには、当該再生画像の下方に前記再生制御画像を表示し、前記ユーザインターフェース用画像に切り替えられているときには、当該ユーザインタフェース画像の上方に前記再生制御画像を表示する、請求項４に記載の情報処理システム。
【請求項６】
前記可搬型表示装置は、座標入力部を備え、
前記切替表示制御部は、前記座標入力部において上方向を示す座標入力があったときに、前記可搬型表示装置の表示内容を、前記再生画像から前記ユーザインターフェース用画像に切り替える、請求項１に記載の情報処理システム。
【請求項７】
前記切替表示制御部は、前記ユーザインターフェース用画像から前記再生画像に切り替えるときに、前記コンテンツ再生部により現在再生中のコンテンツの再生画像を前記可搬型表示装置において上方向から徐々にスライドインするように表示する、請求項１または６に記載の情報処理システム。
【請求項８】
前記切替表示制御部は、前記ユーザインターフェース用画像から前記再生画像に切り替えるときに、前記コンテンツ再生部により現在再生中のコンテンツの再生画像を前記可搬型表示装置において上方向へ徐々にスライドアウトするように表示する、請求項１、６または７のいずれかに記載の情報処理システム。
【請求項９】
前記コンテンツ再生部は、前記コンテンツ指定部によって次に再生すべきことが指定されたコンテンツを再生するときに、前記再生画像を前記据置型表示装置に表示するとともに、前記切替表示制御部により前記可搬型表示装置の表示を前記再生画像に切り替えて、当該再生画像を前記可搬型表示装置に表示する、請求項１ないし８のいずれかに記載の情報処理システム。
【請求項１０】
前記切替表示制御部は、前記コンテンツ再生部によるコンテンツの再生が終了したときに、前記ユーザインターフェース用画像を前記可搬型表示装置と前記据置型表示装置の両に表示する、請求項１ないし９のいずれかに記載の情報処理システム。
【請求項１１】
ネットワークに接続可能であり、当該ネットワークを介して、コンテンツを記憶した所定の外部装置と通信を行う通信部をさらに備え、
前記ＵＩ画像生成部は、前記通信部によって前記外部装置に記憶されたコンテンツの一覧を取得してそのなかから再生すべきコンテンツを指定するためのインターフェース画像を生成し、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを前記通信部によって前記外部装置から取得して再生する、請求項１ないし１０のいずれかに記載の情報処理システム。
【請求項１２】
前記情報処理システムは、表示データを生成して前記据置型表示装置および前記可搬型表示装置に出力することが可能な情報処理部を含み、
前記情報処理部は、前記ＵＩ画像生成部、前記コンテンツ再生部として機能し、
前記ＵＩ画像生成部により生成されたユーザインターフェース用画像と前記コンテンツ再生部による再生画像を、選択的にまたは同時に前記可搬型表示装置に出力し、
前記コンテンツ再生部による再生画像を前記据置型表示装置に出力し、
前記据置型表示装置および前記可搬型表示装置は、情報処理装置から表示データを受信して表示する、請求項１ないし１１のいずれかに記載の情報処理システム。
【請求項１３】
据置型表示装置およびユーザにより所定の入力が可能な可搬型表示装置に表示データを出力可能な情報処理装置であって、
コンテンツを再生して、再生画像を生成し、少なくとも前記据置型表示装置に表示するコンテンツ再生部と、
再生するコンテンツを指定するためのユーザインターフェース用画像を生成するＵＩ画像生成部と、
前記コンテンツ再生部によるコンテンツの再生中に、前記可搬型表示装置に、当該再生中の前記再生画像と、前記ユーザインターフェース用画像とを選択的に表示する切替表示制御部と、
前記ユーザインターフェース用画像を用いて、前記可搬型表示装置におけるユーザによる所定の入力により、次に再生すべきコンテンツを指定するコンテンツ指定部とを備え、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを次に再生する、情報処理装置。
【請求項１４】
据置型表示装置およびユーザにより所定の入力が可能な可搬型表示装置に表示データを出力可能な情報処理装置のコンピュータにおいて実行される情報処理プログラムであって、
コンテンツを再生して、再生画像を生成し、少なくとも前記据置型表示装置に表示するコンテンツ再生部と、
再生するコンテンツを指定するためのユーザインターフェース用画像を生成するＵＩ画像生成部と、
前記コンテンツ再生部によるコンテンツの再生中に、前記可搬型表示装置に、当該再生中の前記再生画像と、前記ユーザインターフェース用画像とを選択的に表示する切替表示制御部と、
前記ユーザインターフェース用画像を用いて、前記可搬型表示装置におけるユーザによる所定の入力により、次に再生すべきコンテンツを指定するコンテンツ指定部として前記コンピュータを機能させ、
前記コンテンツ再生部は、前記コンテンツ指定部によって指定されたコンテンツを次に再生する、情報処理プログラム。
【請求項１５】
据置型表示装置と、ユーザにより所定の入力が可能な可搬型表示装置とを含む情報処理システムにおいて実行されるコンテンツ再生制御方法であって、
コンテンツを再生して、再生画像を生成し、少なくとも前記据置型表示装置に表示し、
再生するコンテンツを指定するためのユーザインターフェース用画像を生成し、
前記コンテンツ再生部によるコンテンツの再生中に、前記可搬型表示装置に、当該再生中の前記再生画像と、前記ユーザインターフェース画像とを選択的に表示し、
前記ユーザインターフェース画像を用いて、前記可搬型表示装置におけるユーザによる所定の入力により、次に再生すべきコンテンツを指定し、当該指定されたコンテンツを次に再生する、コンテンツ再生制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−２５２６０９（Ｐ２０１２−２５２６０９Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２５８６５（Ｐ２０１１−１２５８６５）
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
[ Back to top ]