制御プログラム、入力端末装置、制御システムおよび制御方法
【構成】 入力端末装置７は、ＣＰＵ（９７）を含み、ＣＰＵは、ユーザの操作に応じて、ゲーム処理を実行するゲーム装置３に操作データを送信する。また、入力端末装置に設けられるＴＶリモコンボタン（７１）が操作されると、ＣＰＵによって、テレビ２を操作可能なＴＶ制御モードが設定され、入力端末装置のＬＣＤ５１にＴＶリモコン画像（３００）が表示される。これを用いて、ユーザは、テレビの操作データを入力する。
【効果】 入力端末装置のみによって、ゲーム装置の処理を中断することなく、テレビも操作可能である。
【効果】 入力端末装置のみによって、ゲーム装置の処理を中断することなく、テレビも操作可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は制御プログラム、入力端末装置、制御システムおよび制御方法に関し、特にたとえば、アプリケーションを実行する情報処理装置に対して入力を行う、制御プログラム、入力端末装置、制御システムおよび制御方法に関する。
【背景技術】
【０００２】
背景技術の一例が特許文献１に開示される。この特許文献１には、異なる製造業者により製造された異なるタイプの機器をそれぞれ遠隔より制御できる遠隔制御送信器が開示されている。この遠隔制御送信器は、異なる製造業者により製造された異なるタイプの機器のデータを複数蓄積するメモリから、該当する機器を制御する為のデータを読み出すことにより、それぞれの機器を遠隔より制御する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２−１９８２９９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の遠隔制御送信器は、異なる製造業者により製造された異なるタイプの機器をそれぞれ遠隔制御する為だけの機能しか有していない。したがって、遠隔制御する際にデータを送信するための手段を別の用途で用いるような情報処理装置では用いることができなかった。そのため、情報処理装置によって所定の情報処理が行われている際に、遠隔より制御できる機器を制御したい場合には、情報処理装置の入力装置から当該機器を制御可能な遠隔制御送信器に持ち替えて操作を行う必要があり、非常に効率が悪かった。
【０００５】
それゆえに、この発明の主たる目的は、新規な、制御プログラム、入力端末装置、制御システムおよび制御方法を提供することである。
【０００６】
また、この発明の他の目的は、情報処理装置の情報処理を中断することなく、他の機器の遠隔制御を行うことができる、制御プログラム、入力端末装置、制御システムおよび制御方法を提供することである。
【課題を解決するための手段】
【０００７】
第１の発明は、入力端末装置からの入力に基づいてアプリケーションを実行する情報処理装置における当該入力端末装置の制御プログラムであって、入力端末装置のコンピュータを、入力判断部と、モード設定部として機能させる。入力判断部は、所定の入力が有るかどうかを判断する。モード設定部は、入力判断部によって所定の入力があると判断されたとき、アプリケーションを実行する情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替える。つまり、モード設定部は、アプリケーションモードが設定されている場合に、所定の入力があると、機器制御モードに切り替え、逆に、機器制御モードが設定されている場合に、所定の入力があると、アプリケーションモードに切り替える。
【０００８】
第１の発明によれば、所定の入力が有ると、情報処理装置への入力可能なアプリケーションモードと、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるので、入力端末装置を制御対象機器の制御装置としても使用することができる。したがって、たとえば、情報処理装置において情報処理の実行中であっても、その情報処理を中断することなく、他の機器の遠隔制御を行うことができる。
【０００９】
第２の発明は、第１の発明に従属し、入力端末装置は、操作情報を入力するため操作手段を備える。制御プログラムは、アプリケーション操作データ生成部と、アプリケーション操作データ送信部と、機器操作データ生成部と、機器操作データ送信部としてコンピュータをさらに機能させる。アプリケーション操作データ生成部は、アプリケーションモードのとき、操作情報に対応するアプリケーション操作データを生成する。アプリケーション操作データ送信部は、アプリケーション操作データを、情報処理装置に送信する。たとえば、これに応じて、情報処理装置は、アプリケーション操作データに基づいてアプリケーションの処理を実行する。
【００１０】
機器操作データ生成部は、機器制御モードであるとき、操作情報に基づき制御対象機器に対応した機器操作データを生成する。機器操作データ送信部は、機器操作データを、制御対象機器に送信する。たとえば、これに応じて、制御対象機器は、機器操作データに基づく処理を実行する。
【００１１】
第２の発明によれば、入力端末装置のみを用いて、情報処理装置と制御対象機器を制御することができる。
【００１２】
第３の発明は、第２の発明に従属し、制御プログラムは、ダミー操作データ生成部と、ダミー操作データ送信部としてコンピュータをさらに機能させる。ダミー操作データ生成部は、モード設定部において機器制御モードを設定したとき、アプリケーション操作データに対応し、操作情報に基づかない所定のダミー操作データを生成する。ダミー操作データ送信部は、ダミー操作データを、情報処理装置に送信する。
【００１３】
第３の発明によれば、機器制御モードが設定されている場合には、操作情報に基づかないダミー操作データを生成して情報処理装置に送信するので、情報処理装置における処理を何ら変更する必要がない。また、ダミーの操作データなので、情報処理装置のアプリケーションの処理に何ら影響を及ぼさない。
【００１４】
第４の発明は、第２または第３の発明に従属し、アプリケーション操作データ生成部において生成するアプリケーション操作データと、機器操作データ生成部において生成する機器操作データとは異なる形式のデータである。
【００１５】
第４の発明によれば、第１操作データと第２操作データとは異なる形式のデータであるため、情報処理装置と制御対象機器が誤って制御されることがない。
【００１６】
第５の発明は、第２ないし第４の発明のいずれかに従属し、アプリケーション操作データ送信部は、アプリケーション操作データを、第１送信手段を用いて情報処理装置に送信する。また、機器操作データ送信部は、機器操作データを、第１送信手段とは異なる第２送信手段を用いて制御対象機器に送信する。
【００１７】
第５の発明によれば、アプリケーション操作データと機器操作データとは異なる送信手段を用いて送信するので、第４の発明と同様に、情報処理装置と制御対象機器が誤って制御されることがない。
【００１８】
第６の発明は、第２ないし第５の発明のいずれかに従属し、制御プログラムは、機器選択部としてコンピュータをさらに機能させる。機器選択部は、たとえば、ユーザの操作に応じて、制御対象機器の種類を選択する。機器操作データ生成部は、機器選択部において選択された制御対象機器の種類に応じて機器操作データを生成する。
【００１９】
第６の発明によれば、制御対象機器の種類に応じて適切な操作データを生成することができる。
【００２０】
第７の発明は、第１ないし第６の発明のいずれかに従属し、入力端末装置は、所定の入力をさせるための所定入力手段を備える。所定入力手段が操作されることに応じて、入力判断部は所定の入力が有ると判断する。また、モード設定部は、入力判断部によって所定の入力が有ると判断されたときに機器制御モードを設定し、当該機器制御モードが設定されているときに、所定の入力が有ると判断されたときに当該機器制御モードを終了する。
【００２１】
第７の発明によれば、機器制御モードを設定したり、終了したりする所定入力手段を備えているので、操作が簡単である。
【００２２】
第８の発明は、第１ないし第７の発明のいずれかに従属し、制御プログラムは、受信画像表示部と、操作画像表示部としてコンピュータをさらに機能させる。受信画像表示部は、情報処理装置からの画像データを受信して、当該画像データに対応する画像を表示手段に表示する。操作画像表示部は、モード設定部において機器制御モードを設定したとき、表示手段に表示される画像の前面に、制御対象機器の操作画像を表示する。
【００２３】
第８の発明によれば、制御対象機器の操作画像を、情報処理装置から受信した画像データに対応する画像の前面に表示するので、制御対象機器の操作（制御）が容易である。
【００２４】
第９の発明は、第１ないし第８の発明のいずれかに従属し、制御プログラムは、音声出力部としてコンピュータをさらに機能させる。音声出力部は、情報処理装置からの音声データを受信して、当該音声データに対応する音声をスピーカから出力する。モード設定部において機器制御モードが設定されたとき、音声出力部は、情報処理装置からの音声データに対応する音声の音量を低減させる。
【００２５】
第９の発明によれば、機器制御モードが設定されているとき、情報処理装置からの音声データに対応する音声の音量を低減させるので、たとえば、制御対象機器の操作するときの操作音を出力する場合に、その操作音を聞き取り易い。
【００２６】
第１０の発明は、第１ないし第９の発明のいずれかに従属し、アプリケーションは、ゲームアプリケーションを含む。
【００２７】
第１０の発明によれば、情報処理装置におけるゲーム操作と制御対象機器における操作とが可能である。
【００２８】
第１１の発明は、第１ないし第１０の発明のいずれに従属し、入力端末装置は、情報処理装置の電源を制御するための電源制御情報を入力するための電源操作手段をさらに備える。制御プログラムは、電源制御データ生成部と電源制御データ送信部としてさらにコンピュータを機能させる。電源制御データ生成部は、電源操作手段によって電源制御情報が入力されたとき、機器制御モードを設定しているか否かに拘わらず、電源制御情報についての電源制御データを生成する。電源制御データ送信部は、電源制御データ生成部において生成された電源制御データを、情報処理装置に送信する。
【００２９】
第１１の発明によれば、機器制御モードが設定されているか否かに拘わらず、情報処理装置の電源制御を行うことができる。
【００３０】
第１２の発明は、アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御プログラムであって、入力端末装置は、情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンを備え、入力端末装置のコンピュータを、専用ボタンが操作されたかどうかを判断する入力判断部と、入力判断部において専用ボタンが操作されたことが判断されたとき、情報処理装置の起動の有無に拘わらず、機器制御モードを設定するモード設定部として機能させる、制御プログラムである。
【００３１】
第１２の発明によれば、第１の発明と同様の効果を有するとともに、機器制御モードを設定する専用ボタンを備えているので、操作が簡単である。
【００３２】
第１３の発明は、アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置であって、所定の入力が有るかどうかを判断する入力判断部と、入力判断部において所定の入力があると判断されたとき、アプリケーションを実行する情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるモード設定部を備える、入力端末装置である。
【００３３】
第１３の発明においても、第１の発明と同様に、情報処理を中断することなく、他の機器の遠隔制御を行うことができる。
【００３４】
第１４の発明は、アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置であって、情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンと、専用ボタンが操作されたかどうかを判断する入力判断部と、入力判断部において専用ボタンが操作されたことが判断されたとき、情報処理装置の起動の有無に拘わらず、機器制御モードを設定するモード設定部を備える、入力端末装置である。
【００３５】
第１４の発明においても、第１２の発明と同様に、第１の発明と同様の効果を有するとともに、機器制御モードを設定する専用ボタンを備えているので、操作が簡単である。
【００３６】
第１５の発明は、アプリケーションを実行する情報処理装置に対して入力を行う制御システムであって、所定の入力が有るかどうかを判断する入力判断部と、入力判断部において所定の入力があると判断されたとき、アプリケーションを実行する情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるモード設定部を備える、制御システムである。
【００３７】
第１５の発明においても、第１の発明と同様に、情報処理を中断することなく、他の機器の遠隔制御を行うことができる。
【００３８】
第１６の発明は、アプリケーションを実行する情報処理装置に対して入力を行う制御システムであって、情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンと、専用ボタンが操作されたかどうかを判断する入力判断部と、入力判断部において専用ボタンが操作されたことが判断されたとき、情報処理装置の起動の有無に拘わらず、機器制御モードを設定するモード設定部を備える、制御システムである。
【００３９】
第１６の発明においても、第１２の発明と同様に、第１の発明と同様の効果を有するとともに、機器制御モードを設定する専用ボタンを備えているので、操作が簡単である。
【００４０】
第１７の発明は、アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御方法であって、入力端末装置のコンピュータは、（ａ）所定の入力が有るかどうかを判断し、そして（ｂ）ステップ（ａ）において所定の入力があると判断されたとき、アプリケーションを実行する情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替える、制御方法である。
【００４１】
第１７の発明においても、第１の発明と同様に、情報処理を中断することなく、他の機器の遠隔制御を行うことができる。
【００４２】
第１８の発明は、アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御方法であって、入力端末装置は、情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンを備え、入力端末装置のコンピュータは、（ａ）専用ボタンが操作されたかどうかを判断し、（ｂ）ステップ（ａ）において専用ボタンが操作されたことが判断されたとき、情報処理装置の起動の有無に拘わらず、機器制御モードを設定する、制御方法である。
【００４３】
第１８の発明においても、第１２の発明と同様に、第１の発明と同様の効果を有するとともに、機器制御モードを設定する専用ボタンを備えているので、操作が簡単である。
【発明の効果】
【００４４】
この発明によれば、所定の入力が有ると、情報処理装置への入力可能なアプリケーションモードと、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるので、入力端末装置を制御対象機器の制御装置としても使用することができる。したがって、たとえば、情報処理装置において情報処理の実行中であっても、その情報処理を中断することなく、他の機器の遠隔制御を行うことができる。
【００４５】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施形態の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００４６】
【図１】図１はゲームシステムの外観図である。
【図２】図２はゲーム装置の電気的な構成を示すブロック図である。
【図３】図３は入力端末装置の外観構成を示す図である。
【図４】図４は入力端末装置の電気的な構成を示すブロック図である。
【図５】図５はテレビのゲーム画像の例と入力端末装置のゲーム画像の例とを示す図である。
【図６】図６は入力端末装置のＴＶリモコン画像の例を示す図である。
【図７】図７は図２に示すゲーム装置のメインメモリのメモリマップの一例を示す図である。
【図８】図８は図４に示す入力端末装置の内部メモリのメモリマップの一例を示す図である。
【図９】図９は図２に示すゲーム装置のＣＰＵのゲーム全体処理を示すフロー図である。
【図１０】図１０は図２に示すゲーム装置のＣＰＵのゲーム制御処理を示すフロー図である。
【図１１】図１１は図４に示す入力端末装置のＣＰＵの制御処理の第１の一部を示すフロー図である。
【図１２】図１２は図４に示す入力端末装置のＣＰＵの制御処理の第２の一部を示すフロー図である。
【図１３】図１３は図４に示す入力端末装置のＣＰＵの制御処理の第３の一部を示すフロー図である。
【図１４】図１４は図４に示す入力端末装置のＣＰＵの制御処理の第４の一部を示すフロー図である。
【図１５】図１５は図４に示す入力端末装置のＣＰＵの制御処理の第５の一部を示すフロー図である。
【図１６】図１６は図４に示す入力端末装置のＣＰＵの制御処理の第６の一部を示すフロー図である。
【発明を実施するための形態】
【００４７】
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１に示すゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、および入力端末装置７を含む。このゲームシステム１は、入力端末装置７を用いたゲーム操作に基づいて、ゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または入力端末装置７に表示するものである。
【００４８】
なお、ゲームシステム１では、入力端末装置７とともに、または、場合によっては入力端末装置７を用いずに、コントローラ５を用いたゲーム操作に基づいて、ゲーム装置３においてゲーム処理が実行される場合がある。
【００４９】
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラムのようなアプリケーションプログラム）が記憶されている。ゲーム装置３は、その前面に設けられた挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
【００５０】
ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。
【００５１】
なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
【００５２】
また、コントローラ５とゲーム装置３とは、たとえばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いた無線通信によって通信可能である。ただし、コントローラ５とゲーム装置３とは有線で接続されてもよい。
【００５３】
入力端末装置７は、少なくとも、ゲーム装置３との間でデータを送受信する。ユーザ（プレイヤ）は、入力端末装置７を手に持って動かしたり、入力端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、入力端末装置７は、表示手段であるＬＣＤ５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ８４等）を備える。入力端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。入力端末装置７は、ゲーム装置３で生成された画像（たとえばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。また、入力端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
【００５４】
なお、本実施形態では表示装置としてＬＣＤを用いているが、入力端末装置７は、たとえばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）を利用した表示装置等、他の任意の表示装置を有していてもよい。
【００５５】
また、図１では、ゲームシステム１に含まれる入力端末装置７は１つであるが、ゲーム装置３は複数の入力端末装置７と通信可能であり、所定台数の入力端末装置７を同時に使用することによって複数人でゲームをプレイすることが可能である。
【００５６】
図２は、ゲーム装置３の電気的な構成を示すブロック図である。ゲーム装置３は、ＣＰＵ１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
【００５７】
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。
【００５８】
揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に、読み出したデータを書き込む。
【００５９】
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ１１ｂ、ＤＳＰ１１ｃ、ＶＲＡＭ１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
【００６０】
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像データを生成する。ただし、ＶＲＡＭ１１ｄに、ポリゴンデータやテクスチャデータ等のデータが記憶され、ＧＰＵ１１ｂは、そのデータを用いて画像データを生成する。本実施形態においては、ゲーム装置３は、テレビ２に表示するゲーム画像と、入力端末装置７に表示するゲーム画像との両方を生成する。以下では、テレビ２に表示されるゲーム画像を「テレビ用ゲーム画像」と呼び、入力端末装置７に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。
【００６１】
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、テレビ２のスピーカから出力するゲーム音声と、入力端末装置７のスピーカから出力するゲーム音声との両方が生成される。以下では、テレビ２から出力されるゲーム音声を「テレビ用ゲーム音声」と呼び、入力端末装置７から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。
【００６２】
上記のように、ゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声（効果音や音楽なども含む。以下、同じ。）のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データを、ＡＶコネクタ１６を介してテレビ２に出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａに出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音声が出力される。
【００６３】
また、ゲーム装置３において生成される画像および音声のうちで、入力端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって入力端末装置７へ送信される。入出力プロセッサ１１ａ等による入力端末装置７へのデータの送信については後述する。
【００６４】
なお、ゲーム装置３において生成される音声のうちで、コントローラ５において出力される音声のデータは、入出力プロセッサ１１ａ等によってコントローラ５に送信される。
【００６５】
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。また、入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
【００６６】
入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続し、ネットワークに接続される外部情報処理装置（たとえば他のゲーム装置や、各種サーバ等）と通信することができる。
【００６７】
入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。
【００６８】
また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。
【００６９】
ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
【００７０】
また、ゲーム装置３は、コントローラ５からの操作データを受信したり、必要に応じて制御データや音データをコントローラ５に送信したりすることが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。一方、入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じた制御データやＤＳＰ１１ｃが生成した音声データをコントローラ通信モジュール１９へ出力し、コントローラ通信モジュール１９は、制御データや音声データをアンテナ２３を介してコントローラ５へ送信する。
【００７１】
また、ゲーム装置３は、入力端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、入力端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、入力端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して入力端末装置７へ送信される。本実施形態では、コーデックＬＳＩ２７は、たとえばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。
【００７２】
なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。
【００７３】
また、端末通信モジュール２８は、たとえばＷｉ−Ｆｉの認証を受けた通信モジュールであり、たとえばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて、入力端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
【００７４】
また、ゲーム装置３は、画像データの他、音声データを入力端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して入力端末装置７へ送信する。
【００７５】
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを入力端末装置７へ送信する。制御データは、入力端末装置７が備える構成要素に対する制御指示を表すデータであり、たとえばカメラ（図３に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを入力端末装置７へ送信する。
【００７６】
なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。また、ゲーム装置３から入力端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
【００７７】
また、ゲーム装置３は、入力端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、入力端末装置７は、操作データ、画像データ、および音声データを送信する。入力端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、入力端末装置７からの画像データおよび音声データは、ゲーム装置３から入力端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。
【００７８】
したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａに出力される。
【００７９】
一方、入力端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａに出力される。入出力プロセッサ１１ａは、入力端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００８０】
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。
【００８１】
メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。たとえば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
【００８２】
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【００８３】
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、たとえば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。
【００８４】
次に、図３を参照して、入力端末装置７の構成について説明する。図３は、入力端末装置７の外観構成を示す平面図である。図３（ａ）は入力端末装置７の正面図であり、図３（ｂ）は上面図であり、図３（ｃ）は右側面図である。
【００８５】
図３（ａ）に示されるように、入力端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。ハウジング５０は、ユーザが両手もしくは片手で把持することができる程度の大きさである。したがって、ユーザは、入力端末装置７を持って動かしたり、入力端末装置７の配置位置を変更したりすることができる。
【００８６】
入力端末装置７は、ハウジング５０の表面（表側）であり、その中央付近にＬＣＤ５１を有する。したがって、図示は省略するが、ユーザは、ＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら入力端末装置７を動かすことができる。ただし、入力端末装置７は横持ちでも（横に長い向きにして持つことも）、縦持ちでも（縦に長い向きにして持つことも）可能である。
【００８７】
図３（ａ）に示すように、入力端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。たとえば、タッチパネル５２としては、抵抗膜方式や静電容量方式等の任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。
【００８８】
このように、入力端末装置７はタッチパネル５２を備えるので、ユーザは、入力端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
【００８９】
図３（ａ）に示すように、入力端末装置７は、所定の入力を行うための操作手段（操作部）として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン（キー）５４Ａ〜５４Ｌ、７１および７２とを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示することが可能なデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作される可動部材（スティック部）がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライドすることができるように構成されている。すなわち、スライドパッドと呼ばれることもある方向入力デバイスである。
【００９０】
なお、各アナログスティック５３Ａおよび５３Ｂの可動部材は、ハウジング５０の表面に対して任意の方向に傾倒する種類のものでもよい。
【００９１】
図示は省略するが、各ボタン５４Ａ〜５４Ｌは、ユーザが入力端末装置７の左右部分を把持した状態（横持ちした状態）で操作可能な位置に設けられる。したがって、ユーザは、入力端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
【００９２】
図３（ａ）に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａ、ボタン５４Ｂ〜５４Ｈ、テレビリモコンボタン（以下、「ＴＶリモコンボタン」という。）７１および電源ボタン７２が設けられる。
【００９３】
ＴＶリモコンボタン７１は、当該入力端末装置７を、テレビ２を操作（制御）するリモコン装置として機能するモード（ＴＶ制御モード）を設定したり、ＴＶ制御モードを終了したりするためのボタンである。また、電源ボタン７２は、ゲーム装置３の電源をオン／オフするためのボタンである。電源ボタン７２の操作により、ゲーム装置３の電源を遠隔でオン／オフすることも可能である。
【００９４】
また、図３（ｂ）に示すように、ハウジング５０の上面には、各操作ボタン５４Ａ〜５４Ｌのうち、第１Ｌボタン５４Ｉおよび第２Ｒボタン５４Ｊが設けられる。
【００９５】
さらに、図３（ｂ）および図３（ｃ）に示すように、ハウジング５０の裏面には、庇部５９の上面側に、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが設けられる。
【００９６】
また、図３（ａ）に示すように、ハウジング５０の表面には、マイクロフォン用孔５０ａ、カメラ５６および２つのスピーカ孔５７が設けられる。さらに、図３（ｂ）に示すように、ハウジング５０の上面には、タッチペン６０を収納する収納穴６０ａ、イヤホン等の音声出力手段を接続するための音声出力端子（イヤホンジャック）６１、後述する赤外線モジュール９２および赤外ＬＥＤ１０１からの赤外線信号を入力端末装置７の外部に出力するための窓６２、および後述するスピーカ８７から出力される音量を調整するためのつまみ６３が設けられる。
【００９７】
次に、図４を参照して、入力端末装置７の電気的な構成について説明する。図４は、入力端末装置７の電気的な構成を示すブロック図である。図４に示すように、入力端末装置７は、図３（ａ）−図３（ｃ）に示した構成の他、タッチパネルコントローラ８１、磁気センサ８２、加速度センサ８３、ジャイロセンサ８４、ユーザインタフェースコントローラ（ＵＩコントローラ）８５、コーデックＬＳＩ８６、スピーカ８７、サウンドＩＣ８８、マイク８９、無線モジュール９０、アンテナ９１、赤外線通信モジュール９２、フラッシュメモリ９３、リモコンＩＣ１００および赤外ＬＥＤ１０１を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
【００９８】
なお、図示は省略するが、入力端末装置７には、内蔵の電池または外部電源からの電力が供給される。
【００９９】
ＵＩコントローラ８５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ８５は、タッチパネルコントローラ８１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、ＴＶリモコンボタン７１、電源ボタン７２、磁気センサ８２、加速度センサ８３、およびジャイロセンサ８４に接続される。
【０１００】
また、ＵＩコントローラ８５は、コーデックＬＳＩ８６に接続される。タッチパネルコントローラ８１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ８１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ８５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置（タッチ位置）の座標を表す。
【０１０１】
なお、タッチパネルコントローラ８１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ８５からタッチパネルコントローラ８１へは、タッチパネル５２に対する各種の制御指示が出力される。
【０１０２】
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ８５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ８５へ出力する。
【０１０３】
磁気センサ８２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ８５へ出力される。また、ＵＩコントローラ８５から磁気センサ８２へは、磁気センサ８２に対する制御指示が出力される。
【０１０４】
加速度センサ８３は、ハウジング５０の内部に設けられ、３軸（図３（ａ）に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ８５へ出力される。また、ＵＩコントローラ８５から加速度センサ８３へは、加速度センサ８３に対する制御指示が出力される。
【０１０５】
ジャイロセンサ８４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ８５へ出力される。また、ＵＩコントローラ８５からジャイロセンサ８４へは、ジャイロセンサ８４に対する制御指示が出力される。
【０１０６】
ＵＩコントローラ８５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ８６に出力する。
【０１０７】
コーデックＬＳＩ８６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ８６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ８８、無線モジュール９０、フラッシュメモリ９３、赤外線通信モジュール９２およびリモコンＩＣ１００が接続される。また、コーデックＬＳＩ８６はＣＰＵ９７と内部メモリ９８を含む。
【０１０８】
入力端末装置７はゲーム処理自体を行なわない構成であるが、入力端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ９３に格納されたプログラムを内部メモリ９８に読み出してＣＰＵ９７が実行することで、入力端末装置７が起動する。ただし、入力端末装置７は、ゲーム装置３からの動作データに基づいて起動または停止したり、ＴＶリモコンボタン７１や電源ボタン７２の操作に基づいて起動または停止したりする。ただし、この実施形態では、入力端末装置７の停止は、一部の回路コンポーネント（ＵＩコントローラ８５、コーデックＬＳＩ８６および無線モジュール９０）に電源が供給されているスリープの状態を意味する。したがって、上記のように、電源投入（電源オン）される場合には、入力端末装置７は、スリープの状態から起動されるのである。また、内部メモリ９８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。さらに、入力端末装置７がテレビ２を操作（制御）可能なリモコン装置として機能する場合には、ＣＰＵ９７は、タッチ位置データに基づいて、操作（タッチ）されたボタン（後述するボタン画像３０２ａ−３０２ｆ）を特定する。
【０１０９】
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像に対応する画像データをコーデックＬＳＩ８６へ出力する。また、コーデックＬＳＩ８６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。
【０１１０】
サウンドＩＣ８８は、スピーカ８７およびマイク８９に接続され、スピーカ８７およびマイク８９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ８６から音声データを受け取った場合、サウンドＩＣ８８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ８７へ出力し、スピーカ８７から音を出力させる。また、マイク８９は、入力端末装置７に伝わる音（ユーザの音声や手拍子等）を検知して、当該音を示す音声信号をサウンドＩＣ８８へ出力する。サウンドＩＣ８８は、マイク８９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ８６へ出力する。
【０１１１】
コーデックＬＳＩ８６は、カメラ５６からの画像データ、マイク８９からの音声データ、および、ＵＩコントローラ８５からの操作データ（端末操作データ）を、無線モジュール９０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ８６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール９０に出力される。無線モジュール９０にはアンテナ９１が接続されており、無線モジュール９０はアンテナ９１を介してゲーム装置３へ上記送信データを送信する。無線モジュール９０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール９０は、たとえばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
【０１１２】
以上のように、入力端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。
【０１１３】
また、赤外線通信モジュール９２は、他の装置との間でたとえばＩｒＤＡの規格に従った赤外線通信を行う。コーデックＬＳＩ８６は、赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
【０１１４】
リモコンＩＣ１００は、テレビ２に送信するための操作データ（以下、「リモコン操作データ」という。）を所定の送信フォーマットデータに従って生成する。ただし、所定の送信フォーマットデータは、テレビ２の種類（メーカ、機種など）によって決定される。後述するように、所定の送信フォーマットデータは、ゲーム装置３から取得され、フラッシュメモリ９３に記憶されており、入力端末装置７が、テレビ２のリモコン装置として機能する場合に、内部メモリ９８に読み込まれる。そして、リモコンＩＣ１００は、所定のフォーマットデータに従って生成したリモコン操作データを、赤外ＬＥＤ１０１から出力（送信）する。
【０１１５】
このように、リモコン操作データを出力するための赤外ＬＥＤ１０１を設けるのは、赤外線通信モジュール９２に設けられる赤外ＬＥＤ（図示せず）とは出力レベルが異なるためである。
【０１１６】
また、ゲーム装置３から受信されるデータに制御データが含まれる場合、入力端末装置７のコーデックＬＳＩ８６およびＵＩコントローラ８５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、入力端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ８１、各センサ８２〜８４および赤外線通信モジュール９２）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、入力端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。
【０１１７】
なお、制御データとは別に、ゲーム装置３の電源ボタン２４の操作に応じて、ゲーム装置３から入力端末装置７に、入力端末装置７自体の起動および停止（スリープ）を指示するデータ（動作指示データ）も送信される。
【０１１８】
以上のように、入力端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
【０１１９】
また、入力端末装置７は、入力端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ８２、加速度センサ８３、およびジャイロセンサ８４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【０１２０】
また、入力端末装置７は、カメラ５６およびマイク８９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク８９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【０１２１】
このようなゲームシステム１において実行されるゲームの例について説明する。ここでは、野球ゲームの一例について説明する。たとえば、第１プレイヤはコンピュータプレイヤであり、コンピュータ（ゲーム装置３のＣＰＵ１０）によって打者が操作される。第２プレイヤは入力端末装置７を用いて投手を操作する。
【０１２２】
図５（Ａ）は、このゲームにおいて、テレビ２に表示されるテレビ用ゲーム画像２００の一例を示す。このテレビ用ゲーム画像２００は、第１プレイヤの操作対象である打者（打者オブジェクト）２０２の側から、第２プレイヤの操作対象である投手（投手オブジェクト）２０４の方を見たゲーム空間を表す。テレビ用ゲーム画像２００を生成するための第１仮想カメラは、打者オブジェクト２０２の後方の位置に、打者オブジェクト２０２から投手オブジェクト２０４の方を向くように配置される。
【０１２３】
一方、図５（Ｂ）は、このゲームにおいて、入力端末装置７に表示される端末用ゲーム画像２５０の一例を示す。この端末用ゲーム画像２５０は、第２プレイヤの操作対象である投手オブジェクト２０４の側から、第１プレイヤの操作対象である打者オブジェクト２０２の方を見たゲーム空間を表す。また、端末用ゲーム画像２５０には、投手オブジェクト２０４がボールオブジェクトを投げる方向を示すためのカーソル２６０が表示される。
【０１２４】
上述したように、端末用ゲーム画像２５０の画像データは、ゲーム装置３で生成される。つまり、ＣＰＵ１０は、端末用ゲーム画像２５０の画像データを生成するために用いる第２仮想カメラを入力端末装置７の姿勢に基づいて制御する。ただし、ＣＰＵ１０は、慣性センサ（加速度センサ８３およびジャイロセンサ８４）ならびに磁気センサ８２の出力に基づいて入力端末装置７の姿勢を算出し、算出した姿勢に基づいて、端末用ゲーム画像２５０の画像データを生成するための第２仮想カメラの姿勢を制御する。たとえば、この第２仮想カメラの位置は、予め定められた所定位置に固定される。
【０１２５】
また、第２プレイヤによる投手オブジェクト２０４の操作方法は、どのような方法であってもよい。たとえば、ＣＰＵ１０は、入力端末装置７のアナログスティック５３に対する操作に従ってカーソル２６０を移動させ、操作ボタン５４のうちの所定のボタンが押下された場合、カーソル２６０が指示する位置に向かってボールオブジェクトを投げる動作を投手オブジェクト２０４に行わせてもよい。また、カーソル２６０は、アナログスティック５３に対する操作に代えて、入力端末装置７の姿勢に応じて移動されてもよいし、タッチ操作によって移動されてもよい。
【０１２６】
なお、打者オブジェクト２０２は、コンピュータプレイヤ以外の第１プレイヤによって操作されてもよい。かかる場合には、入力端末装置７（またはコントローラ５）を用いて、打者オブジェクト２０２が操作される。打者オブジェクト２０２の操作方法は、どのような方法であってもよい。たとえば、ＣＰＵ１０は、入力端末装置７（またはコントローラ５）自体を振ったり（動かしたり）、入力端末装置７（またはコントローラ５）の所定のボタンを押したりしたことに応じて、打者オブジェクト２０２にバット（オブジェクト）をスイングする動作を行わせてよい。
【０１２７】
このように、ゲーム（ゲームアプリケーション）を実行することができる。たとえば、ゲームの実行中に、入力端末装置７のＴＶリモコンボタン７１が押されると、ＴＶ制御モードが設定され、図６（Ａ）に示すようなＴＶリモコン画像３００が入力端末装置７のＬＣＤ５１に表示される。この実施形態では、ＴＶリモコン画像３００は、端末用ゲーム画像２５０に重畳して、その前面に表示される。
【０１２８】
図６（Ａ）に示すように、ＴＶリモコン画像３００には、ボタン画像３０２ａ、ボタン画像３０２ｂ、ボタン画像３０２ｃ、ボタン画像３０２ｄ、ボタン画像３０２ｅおよびボタン画像３０２ｆが表示される。
【０１２９】
ボタン画像３０２ａは、数字キー（テンキー）であり、チャネル番号を直接的に入力するために用いられる。ボタン画像３０２ｂは、テレビ２の電源をオン／オフするために用いられる。ボタン画像３０２ｃは、テレビ２の入力切替を指示するために用いられる。ボタン画像３０２ｄは、チャネル番号を一段階ずつ上昇または下降させるために用いられる。ボタン画像３０２ｅは、テレビ２のスピーカ２ａから出力される音の音量を、大きくされたり、小さくさせたりするために用いられる。ボタン画像３０２ｆは、ＴＶリモコン画像３００を閉じる（消去する）ために用いられる。ただし、ＴＶリモコン画像３００が閉じられると、ＴＶ制御モードが終了される。
【０１３０】
ＴＶ制御モードは、入力端末装置７において設定されるだけであり、ゲームなどのアプリケーションの実行には影響を及ぼさない。つまり、ＴＶ制御モードが実行されることによって、アプリケーションの処理が中断されたり、終了されたりすることはない。
【０１３１】
したがって、ゲームの実行中では、ゲーム装置３からの画像データおよび音声データを受信すると、入力端末装置７は、端末用ゲーム画像２５０を更新するとともに、音声データに対応する端末用ゲーム音声を出力する。ただし、ＴＶ制御モードでは、端末用ゲーム画像２５０は、常に、ＴＶリモコン画像３００の背面に表示される。また、ゲーム装置３からの音声データに対応する端末用ゲーム音声の音量を少し低減するようにしてある。これは、ＴＶリモコン画像３００を用いた操作による操作音を、ユーザないしプレイヤが聞き取り易くするためである。
【０１３２】
なお、ＴＶリモコン画像３００を用いた操作に応じて操作音を出力するのは、タッチパネル５２をタッチ操作する場合には、押しボタンのような感覚が無く、入力端末装置７によって操作が受け付けられたかどうかが分かり難いためである。
【０１３３】
ＴＶ制御モードでは、ボタン画像３０２ａ−３０２ｅがオンされると、それに応じたリモコン操作データがテレビ２に送信される。具体的には、ＣＰＵ９７は、タッチパネル５２のタッチ位置から操作（オン）されたボタン画像３０２ａ−３０２ｆを特定する。たとえば、タッチパネル５２の解像度（検出精度）は、ＬＣＤ５１の解像度と同じであるため、双方の座標系を同じにしておければ、タッチ位置の座標（タッチ座標）から、ＬＣＤ５１の画面上の座標を容易に知ることができる。したがって、ＣＰＵ９７は、タッチ座標に対応するＬＣＤ５１の座標の位置に表示されているボタン画像（３０２ａ−３０２ｆ）を、タッチされたボタン画像（３０２ａ−３０２ｆ）として特定する。
【０１３４】
そして、リモコンＩＣ１００は、ＣＰＵ９７の指示の下、ＣＰＵ９７で特定されたボタン画像（３０２ａ−３０２ｅ）に割り当てられた操作内容に応じたリモコン操作データを生成し、赤外ＬＥＤ１０１から出力する。ただし、ボタン画像３０２ｆがタッチ（オン）された場合には、ＴＶリモコン画像３００が消去（非表示）され、ＴＶ制御モードは終了される。また、ＴＶ制御モードが設定されている場合に、ＴＶリモコンボタン７１が押されたときも、同様にＴＶ制御モードは終了される。
【０１３５】
上述したように、リモコン操作データは、テレビ２に応じた送信フォーマットに従って操作内容についてのデータ（操作内容データ）がコード化されることにより、生成される。
【０１３６】
たとえば、ゲーム装置３のフラッシュメモリ１７には、複数の種類（メーカおよび機種）に応じた送信フォーマットのデータ（送信フォーマットデータ）が記憶されている。したがって、たとえば、メニュー機能において、リモコン装置として機能させるための初期設定（リモコン設定）を行う場合に、入力端末装置７を用いてテレビ２の種類が設定（選択）されると、ゲーム装置３から選択されたテレビ２の種類に応じた送信フォーマットデータが入力端末装置７にダウンロードされる。したがって、入力端末装置７は、その送信フォーマットデータをゲーム装置３から取得し、フラッシュメモリ９３に記憶する。そして、入力端末装置７では、ＴＶ制御モードが設定されたときに、フラッシュメモリ９３から送信フォーマットデータが読み込まれ、これに従って、リモコン送信データが生成される。
【０１３７】
なお、この実施形態では、各種の送信フォーマットデータをゲーム装置３のフラッシュメモリ１７に記憶しておくようにしたが、入力端末装置７のフラッシュメモリ９３に記憶しておくようにしてもよい。かかる場合には、選択されたテレビ２の種類を記憶しておき、ＴＶ制御モードが設定されたときに、当該種類に応じて使用する送信フォーマットデータが読み込まれる。
【０１３８】
また、ＴＶ制御モードでは、入力端末装置７の操作に応じて、ゲーム装置３に端末操作データも送信される。この実施形態では、ＴＶ制御モードにおいては、ゲーム装置３に対してはその電源をオン／オフする操作（指示）のみを可能とするため、電源ボタン７２以外の操作があったとしても、何ら操作情報を含んでいない端末操作データ（以下、「ダミー操作データ」という）が生成および送信される。つまり、操作情報に基づかないダミー操作データが生成および送信される。たとえば、ダミー操作データは、各種の操作情報（操作ボタンデータ、スティックデータ、タッチ位置データ、加速度データ、角速度データ、および方位データ）としてｎｕｌｌが記述される。ただし、何ら操作情報を記述しないようにしてもよい。
【０１３９】
このように、ダミー操作データを生成するのは、端末操作データの内容を変更するだけで良く、入力端末装置７で端末操作データを送信する処理やゲーム装置３における処理を変更する必要がないからである。また、入力端末装置７において、操作情報をそのまま用いて、テレビ２へのリモコン送信データを生成および送信することができるからである。
【０１４０】
ただし、ＴＶ制御モードでは、電源ボタン７２以外の操作があった場合には、端末操作データを生成しないようにしてもよい。
【０１４１】
また、この実施形態では、ＴＶ制御モードでは、ゲーム装置３の電源のオン／オフ以外の操作（以下、「他のゲーム操作」ということがある。）をしないことを前提としてあるが、他のゲーム操作を可能にしてもよい。かかる場合には、ＴＶ制御モードでない場合と同様に、ユーザの操作に応じて端末操作データが生成および送信される。
【０１４２】
なお、上述したように、ＴＶ制御モードでは、電源ボタン７２の操作のみが有効である。したがって、ＴＶリモコン画像３００を用いた操作と同様の操作をさせるために、ＴＶリモコン画像３００とともに、ゲーム装置３の電源をオン／オフするためのボタン画像を表示するようにしてもよい。
【０１４３】
また、図６（Ａ）および図６（Ｂ）に示したＴＶリモコン画像３００は単なる一例であり、限定されるべきでない。ボタン画像の数、配置などのデザインは適宜変更することができる。たとえば、テンキーについてのボタン画像３０２ａは無くてもよい。
【０１４４】
ここでは、ゲームの実行中に、ＴＶ制御モードが設定された場合について説明したが、入力端末装置７において、ゲーム以外のアプリケーションやメニュー機能が実行されている場合も同様である。
【０１４５】
詳細な説明は省略するが、入力端末装置７がＴＶ制御モードであっても、ゲーム装置３の処理は中断等されないため、ＴＶ制御モードが設定されていない他の入力端末装置７やコントローラ５からの操作データに基づいてゲーム処理が実行されることは言うまでもない。
【０１４６】
また、図示は省略するが、入力端末装置７は、ゲーム装置３の電源がオフの場合にも、ＴＶ制御モードを設定して、テレビ２の操作をすることが可能である。ゲーム装置３の電源がオフの場合には、上述したように、入力端末装置７はスリープの状態（スリープ中）である。スリープ中においては、ＵＩコントローラ８５、コーデックＬＳＩ８６および無線通信モジュール９０にのみ、電源が付与される。そして、入力端末装置７では、ＴＶリモコンボタン７１または電源ボタン７２の操作信号を受け付け、ゲーム装置３からの起動を示す動作データを受信可能としてある。
【０１４７】
したがって、スリープ状態において、入力端末装置７の電源ボタン７２が押されると、上述したように、ＣＰＵ９７によって、入力端末装置７は起動され、電源ボタン７２が押された操作情報を含む端末操作データが生成および送信される。これに応じて、ゲーム装置３が起動される。
【０１４８】
また、スリープ状態において、入力端末装置７のＴＶリモコンボタン７１が押されると、同様に、ＣＰＵ９７によって、入力端末装置７は起動され、ＴＶ制御モードが設定され、図６（Ｂ）に示すように、ＴＶリモコン画像３００がＬＣＤ５１に表示される。
【０１４９】
ただし、スリープ状態において、ＴＶリモコンボタン７１が押された場合には、ゲーム装置３は起動されないため、入力端末装置７には、ゲーム装置３から制御データ、画像データおよび音声データは送信されない。このため、ＬＣＤ５１には、ＴＶリモコン画像３００のみが表示され、その背面側には何ら画像は表示されない。
【０１５０】
なお、図６（Ｂ）では、ＴＶリモコン画像３００の背面側に何ら画像が表示されていないことを灰色で塗りつぶすことにより示してある。
【０１５１】
また、テレビ２への操作データおよびゲーム装置３へのダミー操作データが生成および送信される点は、ゲーム装置３の電源がオンである場合と同じであるため、重複した説明は省略する。
【０１５２】
このように、ゲーム装置３の状態に拘わらず、ＴＶリモコンボタン７１の操作に応じて、ＴＶ制御モードが設定され、テレビ２の操作が可能である。ただし、ゲーム装置３の状態とは、ゲーム装置３の電源がオン（起動している）またはオフ（起動していない）の状態、およびゲーム装置３でアプリケーションが実行されているまたは実行されていない状態を意味する。
【０１５３】
なお、リモコン設定を行って（完了）していない場合には、入力端末装置７をリモコン装置として機能させることができない。したがって、この実施形態では、リモコン設定を完了していない場合には、ＴＶリモコンボタン７１が押されると、リモコン設定を実行することを促す画像（設定催促画像）をＬＣＤ５１に表示するようにしてある。
【０１５４】
図７は、図２に示したゲーム装置３のメインメモリ（１１ｅ，１２）のメモリマップ４００の一例を示す。図７に示すように、メインメモリ（１１ｅ，１２）は、プログラム記憶領域４０２およびデータ記憶領域４０４を含む。プログラム記憶領域４０２には、ゲームプログラム４１０などの情報処理プログラム（アプリケーションプログラム）が記憶される。たとえば、ゲームプログラム４１０は、ゲーム装置３に電源が投入された後の適宜のタイミングで光ディスク４からその一部または全部が読み込まれてメインメモリに記憶される。
【０１５５】
なお、ゲームプログラム４１０は、光ディスク４に代えて、フラッシュメモリ１７やゲーム装置３の外部装置から（たとえばインターネットを介して）取得されてもよい。また、ゲームプログラム４１０に含まれる一部のプログラムについては、ゲーム装置３内に予め記憶されていてもよい。
【０１５６】
データ記憶領域４０４には、受信データ４１２および送信データ４１４などが記憶される。
【０１５７】
受信データ４１２は、入力端末装置７から受信される各種のデータである。受信データ４１２は、端末操作データ４１２ａ、カメラ画像データ４１２ｂ、およびマイク音データ４１２ｃを含む。入力端末装置７が複数接続される場合には、各入力端末装置７に対応して、端末操作データ４１２ａ、カメラ画像データ４１２ｂおよびマイク音データ４１２ｃも複数記憶される。
【０１５８】
なお、図示は省略するが、コントローラ５が用いられる場合には、当該コントローラ５から受信されるデータ（コントローラ操作データ）も受信データ４１２に含まれる。
【０１５９】
端末操作データ４１２ａは、入力端末装置７に対するユーザの操作を表すデータである。端末操作データ４１２ａは、入力端末装置７から送信されてゲーム装置３において取得され、メインメモリ（１１ｅ，１２）に記憶される。端末操作データ４１２ａは、上述したように、操作ボタンデータ、スティックデータ、タッチ位置データ、加速度データ、角速度データ、および方位データを含む。
【０１６０】
なお、メインメモリ（１１ｅ，１２）には、最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。
【０１６１】
また、端末操作データ４１２ａは、入力端末装置７を操作するユーザの操作を表すものであればよく、上記各データのいずれか１つのみを含むものであってもよい。
【０１６２】
カメラ画像データ４１２ｂは、入力端末装置７のカメラ５６によって撮像された画像（カメラ画像）を表すデータである。カメラ画像データ４１２ｃは、入力端末装置７からの圧縮された画像データがコーデックＬＳＩ２７によって伸張された画像データであり、入出力プロセッサ１１ａによってメインメモリ（１１ｅ，１２）に記憶される。
【０１６３】
なお、メインメモリ（１１ｅ，１２）には、最新の（最後に取得された）ものから順に所定個数のカメラ画像データが記憶されてもよい。
【０１６４】
マイク音データ４１２ｃは、入力端末装置７のマイク８９によって検出された音声（マイク音）を表すデータである。マイク音データ４１２ｃは、入力端末装置７から送信されてくる圧縮された音声データがコーデックＬＳＩ２７によって伸張された音声データであり、入出力プロセッサ１１ａによってメインメモリ（１１ｅ，１２）に記憶される。
【０１６５】
なお、メインメモリ（１１ｅ，１２）には、最新の（最後に取得された）ものから順に所定個数のマイク音データが記憶されてもよい。
【０１６６】
送信データ４１４は、制御データ４１４ａ、画像データ４１４ｂおよび音声データ４１４ｃなどを含む。制御データ４１４ａは、入力端末装置７が備える構成要素に対する制御指示を表すデータである。制御データ４１４ａは、たとえば、カメラ５６の撮像を制御する指示等を表す。制御データ４１４ａは、適宜のタイミングで入力端末装置７へ送信される。
【０１６７】
なお、コントローラ５が用いられる場合には、当該コントローラ５が備える構成要素（図示せず）に対する制御指示を表す制御データが、送信データ４１４にさらに含まれ、適宜のタイミングで当該コントローラ５へ送信される。
【０１６８】
画像データ４１４ｂは、ゲーム処理によって生成され、入力端末装置７で出力される端末用ゲーム画像の画像データやメニュー機能によって入力端末装置７で出力されるメニュー画像の画像データなどである。音声データ４１４ｃは、ゲーム処理によって生成され、入力端末装置７で出力される端末用ゲーム音声の音声データやＢＧＭや効果音についての音声データである。
【０１６９】
なお、コントローラ５が用いられる場合には、音声データ４１４ｃは、当該コントローラ５にも送信される。ただし、入力端末装置７とコントローラ５とで異なる音声データを出力する場合には、コントローラ５で出力される音声データは別途生成される。
【０１７０】
図示は省略するが、データ記憶領域４０４には、後述するゲーム全体処理（図９）において用いられるデータが記憶される。たとえば、端末姿勢データ、画像認識データ、および音声認識データなどが記憶される。また、データ記憶領域４０４には、ゲームに登場する各種オブジェクトに設定される各種パラメータを表すデータ等、ゲーム処理において用いられる各種データを含む。
【０１７１】
なお、端末姿勢データは、入力端末装置７の姿勢を表すデータである。画像認識データは、上記カメラ画像に対する所定の画像認識処理の結果を表すデータである。音声認識データは、上記マイク音声に対する所定の音声認識処理の結果を表すデータである。
【０１７２】
図８は、図４に示した入力端末装置７の内部メモリ９８のメモリマップ５００の一例を示す。図８に示すように、内部メモリ９８は、プログラム記憶領域５０２およびデータ記憶領域５０４を含む。
【０１７３】
プログラム記憶領域５０２には、制御プログラム５１０などのプログラムが記憶される。制御プログラム５１０は、入力端末装置７の全体処理を実行するためのプログラムである。
【０１７４】
データ記憶領域５０４には、送信データ５１２、受信データ５１４およびＴＶリモコンデータ５１６が記憶される。また、データ記憶領域５０４には、ＴＶリモコンフラグ５１８が設けられる。
【０１７５】
送信データ５１２は、端末操作データ５１２ａ、カメラ画像データ５１２ｂおよびマイク音データ５１２ｃを含む。これらは、上述した受信データ４１２に含まれる端末操作データ４１２ａ、カメラ画像データ４１２ｂおよびマイク音データ４１２ｃと同じ内容であるため、重複した説明は省略する。
【０１７６】
同様に、受信データ５１４は、制御データ５１４ａ、画像データ５１４ｂおよび音声データ５１４ｃなどを含む。これらは、上述した送信データ４１４に含まれる制御データ４１４ａ、画像データ４１４ｂおよび音声データ４１４ｃと同じ内容であるため、重複した説明は省略する。
【０１７７】
ＴＶリモコンデータ５１６は、操作内容データ５１６ａ、リモコン画像データ５１６ｂ、送信フォーマットデータ５１６ｃおよび操作音データ５１６ｄを含む。
【０１７８】
操作内容データ５１６ａは、図６（Ａ）および図６（Ｂ）に示したＴＶリモコン画像３００においてタッチ操作されたボタン画像３０２ａ−３０２ｆに対応する操作内容（操作情報）についてのデータである。
【０１７９】
リモコン画像データ５１６ｂは、図６（Ａ）および図６（Ｂ）に示したＴＶリモコン画像３００についての画像データである。
【０１８０】
送信フォーマットデータ５１６ｃは、入力端末装置７に設定されたテレビ２の種類に対応してゲーム装置３から取得した送信フォーマットについてのデータである。
【０１８１】
操作音データ５１６ｄは、図６（Ａ）および図６（Ｂ）に示したＴＶリモコン画像３００に表示されたボタン画像３０２ａ−３０２ｆを操作した場合に出力される操作音についての音（効果音）データである。詳細な説明は省略するが、操作音は、ボタン画像３０２ａ−３０２ｆのすべてについて同じ音でよいし、ボタン画像３０２ａ−３０２ｆの各々で異なる音にしてもよい。
【０１８２】
ただし、この実施形態では、リモコン画像データ５１６ｂ、送信フォーマットデータ５１６ｃおよび操作音データ５１６ｄは、ＴＶ制御モードが設定されたときに、フラッシュメモリ９３から読み込まれる。
【０１８３】
ＴＶリモコンフラグ５１８は、ＴＶ制御モードが設定されているかどうかを判断するためのフラグである。このＴＶリモコンフラグ５１８は、１ビットのレジスタで構成される。ＴＶ制御モードが設定されている場合には、ＴＶリモコンフラグ５１８はオンされ、レジスタにデータ値「１」が設定される。一方、ＴＶ制御モードが設定されていない場合には、ＴＶリモコンフラグ５１８はオフされ、レジスタにデータ値「０」が設定される。
【０１８４】
図示は省略するが、データ記憶領域５０４には、制御プログラム５１０の実行に必要な他のデータが記憶されたり、他のフラグやカウンタ（タイマ）が設けられたりする。
【０１８５】
図９は、図２に示したゲーム装置３に設けられるＣＰＵ１０のゲーム全体処理についてのフロー図である。なお、図９に示すフロー図の各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値を採用してもよい。また、本実施形態では、図９に示すフロー図の各ステップの処理をＣＰＵ１０が実行するものとして説明するが、ＣＰＵ１０以外のプロセッサや専用回路が一部のステップを実行するようにしてもよい。
【０１８６】
ゲーム装置３の電源が投入されると、ゲーム全体処理の実行に先だって、ＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ（１１ｅ，１２）等の各ユニットが初期化される。そして、光ディスク４に記憶されたゲームプログラム４１０がメインメモリ（１１ｅ、１２）に読み込まれ、ＣＰＵ１０によって当該ゲームプログラム４１０の実行が開始される。
【０１８７】
ＣＰＵ１０は、ゲーム全体処理を開始すると、ステップＳ１において、初期処理を実行する。初期処理は、たとえば、仮想のゲーム空間を構築し、ゲーム空間に登場する各オブジェクトを初期位置に配置したり、ゲーム処理で用いる各種パラメータの初期値を設定したりする処理である。
【０１８８】
ステップＳ３では、ＣＰＵ１０は、入力端末装置７から送信されてくる各種のデータを取得する。
【０１８９】
なお、コントローラ５が用いられる場合には、ＣＰＵ１０は、ステップＳ３において、コントローラ５から送信されてくるコントローラ操作データも取得する。ただし、コントローラ５のみが用いられる場合には、コントローラ操作データのみを取得する。
【０１９０】
次のステップＳ５において、ＣＰＵ１０はゲーム制御処理を実行する。ゲーム制御処理は、ユーザによるゲーム操作に従ってゲーム空間内のオブジェクトを動作させる処理等を実行し、ゲームを進行させる処理である。本実施形態においては、ユーザは、主として、入力端末装置７を用いて種々のゲームを行うことが可能である。以下、図１０を参照して、ゲーム制御処理について説明する。
【０１９１】
図１０は、図２に示すＣＰＵ１０のゲーム制御処理を示すフロー図である。なお、図１０に示す一連の処理は、入力端末装置７を操作装置として用いる場合において実行され得る種々の処理であるが、各処理の必ずしも全てが実行される必要はなく、ゲームの種類や内容によっては一部の処理のみが実行されてもよい。
【０１９２】
ゲーム制御処理においては、まずステップＳ３１において、ＣＰＵ１０は、入力端末装置７の姿勢を算出する。ただし、入力端末装置７からダミー操作データを受信した場合には、ＣＰＵ１０は、ステップＳ３１の処理（ゲーム処理）を実行しない。後述するステップＳ３３、Ｓ３５、Ｓ３７においても同じである。このように、ゲーム装置３では、入力端末装置７からのダミー操作データを受信した場合には、つまり入力端末装置７でＴＶ制御モードが設定されている場合には、ダミー操作データに基づいてゲーム処理を実行しないだけであり、ゲーム処理自体が中断されたり、終了されたりすることはない。
【０１９３】
なお、コントローラ５が用いられる場合には、ＣＰＵ１０は、ステップＳ３１において、コントローラ５の姿勢も算出する。ただし、コントローラ５のみが用いられる場合には、コントローラ５の姿勢のみが算出される。
【０１９４】
続いて、ステップＳ３３において、ＣＰＵ１０は、カメラ画像の認識処理を実行する。すなわち、ＣＰＵ１０は、カメラ画像データ１０４に対して所定の認識処理を行い、認識結果を表すデータを、画像認識データとしてメインメモリ（１１ｅ、１２）に記憶する。
【０１９５】
続くステップＳ３５において、ＣＰＵ１０は、マイク音声の認識処理を実行する。すなわち、ＣＰＵ１０は、マイク音データ４１２ｄに対して所定の認識処理を行い、認識処理の結果を表すデータは、音声認識データとしてメインメモリ（１１ｅ，１２）に記憶する。
【０１９６】
次に、ステップＳ３７において、ＣＰＵ１０は、ゲーム入力に応じたゲーム処理を実行して、図９に示したゲーム全体処理にリターンする。ここで、ゲーム入力とは、入力端末装置７から送信されてくるデータ、あるいは、当該データから得られるデータであればどのようなものであってもよい。具体的には、ゲーム入力は、端末操作データ４１２ａに含まれる各データの他、当該各データから得られるデータ（端末姿勢データ、画像認識データおよび音声認識データ）であってもよい。
【０１９７】
なお、ゲーム入力には、コントローラ５から送信されてくるコントローラ操作データやそのデータから得られるコントローラ姿勢データが含まれる場合もある。
【０１９８】
また、ステップＳ３７におけるゲーム処理の内容はどのようなものであってもよく、たとえば、ゲームに登場するオブジェクト（キャラクタ）を動作させる処理、仮想カメラを制御する処理、または、画面に表示されるカーソルを移動する処理であってもよい。また、カメラ画像（またはその一部）をゲーム画像として用いる処理、または、マイク音声をゲーム音声として用いる処理等であってもよい。
【０１９９】
図９に戻って、ステップＳ７においては、ＣＰＵ１０およびＧＰＵ１１ｂは、テレビ２に表示するためのテレビ用ゲーム画像を生成する。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ５のゲーム制御処理の結果を表すデータをメインメモリ（１１ｅ，１２）から読み出し、また、ゲーム画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、テレビ用ゲーム画像を生成する。
【０２００】
次のステップＳ９において、ＣＰＵ１０およびＧＰＵ１１ｂは、入力端末装置７に表示するための端末用ゲーム画像を生成する。端末用ゲーム画像もまた、上記テレビ用ゲーム画像と同様に、ステップＳ５のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。
【０２０１】
続いて、ステップＳ１１においては、ＣＰＵ１０は、テレビ２のスピーカ２ａに出力するためのテレビ用ゲーム音声を生成する。すなわち、ＣＰＵ１０は、ステップＳ５のゲーム制御処理の結果に応じたゲーム音声をＤＳＰ１１ｃに生成させる。
【０２０２】
次に、ステップＳ１３においては、ＣＰＵ１０は、入力端末装置７のスピーカ８７に出力するための端末用ゲーム音声を生成する。すなわち、ＣＰＵ１０は、ステップＳ５のゲーム制御処理の結果に応じたゲーム音声をＤＳＰ１１ｃに生成させる。
【０２０３】
ただし、テレビ用ゲーム音声と端末用ゲーム音声とが同一である場合には、ステップＳ１３の処理は実行されなくてよい。
【０２０４】
また、コントローラ５が用いられる場合には、ステップＳ１３においては、ＣＰＵ１０は、コントローラ５に出力するためのゲーム音声を生成する。
【０２０５】
続いて、ステップＳ１５において、ＣＰＵ１０は、テレビ２へゲーム画像およびゲーム音声を出力する。具体的には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶されたテレビ用ゲーム画像の画像データと、ステップＳ１１でＤＳＰ１１ｃによって生成されたテレビ用ゲーム音声の音声データとをＡＶ−ＩＣ１５へ送る。
【０２０６】
次に、ステップＳ１７において、ＣＰＵ１０は、入力端末装置７へゲーム画像およびゲーム音声を送信する。具体的には、ＶＲＡＭ１１ｄに記憶された端末用ゲーム画像の画像データ、および、ステップＳ１３でＤＳＰ１１ｃによって生成された音声データは、ＣＰＵ１０によってコーデックＬＳＩ８６に送られ、コーデックＬＳＩ８６によって所定の圧縮処理が行われる。さらに、圧縮処理が施された画像および音声のデータは、端末通信モジュール２８によってアンテナ２９を介して入力端末装置７へ送信される。入力端末装置７は、ゲーム装置３から送信されてくる画像および音声のデータを無線モジュール９０によって受信し、コーデックＬＳＩ８６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力され、伸張処理が行われた音声データはサウンドＩＣ８８に出力される。
【０２０７】
なお、コントローラ５が用いられる場合には、ステップＳ１７においては、ステップＳ１３において生成した音声データを、当該コントローラ５に送信する。
【０２０８】
そして、ステップＳ１９において、ＣＰＵ１０は、ゲームを終了するかどうかを判断する。ステップＳ１９の判断は、たとえば、ゲームオーバーになったか否か、あるいは、ユーザがゲームを中止する指示を行ったか否か等によって行われる。
【０２０９】
ステップＳ１９で“ＮＯ”であれば、つまりゲームを終了しない場合には、ステップＳ３に戻る。一方、ステップＳ１９で“ＹＥＳ”であれば、つまりゲームを終了する場合には、ゲーム全体処理を終了する。
【０２１０】
図１１−図１６は、図４に示した入力端末装置７のＣＰＵ９７の制御処理を示すフロー図である。図１１に示すように、ＣＰＵ９７は、制御処理を開始すると、ステップＳ７１において、スリープ中かどうかを判断する。ステップＳ７１で“ＹＥＳ”であれば、つまりスリープ中であれば、図１６に示すステップＳ１４３に進む。
【０２１１】
一方、ステップＳ７１で“ＮＯ”であれば、つまりスリープ中でなければ、ステップＳ７３において、受信データ５１４があるかどうかを判断する。ＣＰＵ９７は、制御処理とは別のタスクで受信処理を実行しており、ゲーム装置３から送信されたデータを受信データ５１４として内部メモリ９８に記憶する。したがって、ステップＳ７３においては、ＣＰＵ９７は、データ記憶領域５０４に受信データ５１４が記憶されているかどうかを判断するのである。
【０２１２】
ステップＳ７３で“ＮＯ”であれば、つまり受信データ５４が無ければ、そのまま図１２に示すステップＳ８９に進む。一方、ステップＳ７３で“ＹＥＳ”であれば、つまり受信データ５１４があれば、ステップＳ７５で、制御データ５１４ａであるかどうかを判断する。ステップＳ７５で“ＹＥＳ”であれば、つまり制御データ５１４ａであれば、ステップＳ７７で、制御データに応じた処理を実行して、図１２に示すステップＳ８９に進む。たとえば、ステップＳ７７では、ＣＰＵ９７は、カメラ５６、タッチパネルコントローラ８１、各センサ８２〜８４および赤外線通信モジュール９２の各構成要素を動作させたり、動作を休止（停止）させたりする。
【０２１３】
また、ステップＳ７５で“ＮＯ”であれば、画像データおよび音声データと判断して、ステップＳ７９で、ＴＶリモコンフラグ５１８がオンであるかどうかを判断する。ステップＳ７９で“ＮＯ”であれば、つまりＴＶリモコンフラグ５１８がオフであれば、ＴＶ制御モードが設定されていないと判断して、ステップＳ８１で、端末用ゲーム音声をそのまま出力し、ステップＳ８３で、端末用ゲーム画像２５０をそのまま表示（更新）して、図１２に示すステップＳ８９に進む。
【０２１４】
一方、ステップＳ７９で“ＹＥＳ”であれば、つまりＴＶリモコンフラグがオンであれば、ＴＶ制御モードが設定されていると判断して、ステップＳ８５で、端末用ゲーム音声を、音量を低減して出力し、端末用ゲーム画像２５０をリモコン画像３００の背面に表示（更新）して、図１２に示すステップＳ８９に進む。
【０２１５】
なお、ステップＳ８１−Ｓ８７では、画像データ５１４ｂおよび音声データ５１４ｃが受信データ５１４に含まれていることを前提として説明したが、いずれか一方のみしか含まれていない場合には、ステップＳ８１−Ｓ８５の処理は適宜省略される。
【０２１６】
図１２に示すように、ステップＳ８９においては、ＴＶリモコンボタン７１が操作（オン）されたかどうかを判断する。ステップＳ８９で“ＹＥＳ”であれば、つまりＴＶリモコンボタン７１が操作されれば、図１３に示すステップＳ１０１に進む。一方、ステップＳ８９で“ＮＯ”であれば、つまりＴＶリモコンボタン７１が操作されていなければ、ステップＳ９１において、電源ボタン７２が操作されたかどうかを判断する。
【０２１７】
ステップＳ９１で“ＹＥＳ”であれば、つまり電源ボタン７２が操作されれば、図１４に示すステップＳ１１７に進む。一方、ステップＳ９１で“ＮＯ”であれば、つまり電源ボタン７２が操作されなければ、ステップＳ９３において、他のボタン（操作ボタン５４）が操作されたかどうかを判断する。
【０２１８】
ステップＳ９３で“ＮＯ”であれば、つまり他のボタンが操作されていなければ、図１５に示すステップＳ１２３に進む。一方、ステップＳ９３で“ＹＥＳ”であれば、つまり他のボタンが操作されれば、ステップＳ９５で、ＴＶリモコンフラグ５１８がオンかどうかを判断する。つまり、ＣＰＵ９７は、ＴＶ制御モードが設定されているかどうかを判断する。
【０２１９】
ステップＳ９５で“ＮＯ”であれば、つまりＴＶリモコンフラグ５１８がオフであれば、ＴＶ制御モードが設定されていないと判断して、ステップＳ９７で、他のボタンの操作に応じた端末操作データを生成および送信して、ステップＳ７３に戻る。つまり、ステップＳ９７では、ＣＰＵ９７は、ＩＥＥＥ８０２．１１ｎ規格に従う端末操作データを生成し、無線モジュール９０からアンテナ９１を介して送信する。したがって、ゲーム装置３にユーザの操作内容が入力される。これに応じて、ゲーム装置３では、上述したように、ゲーム処理などが実行される。
【０２２０】
以下、端末操作データを生成および送信する場合について同様であるが、ダミー操作データを生成および送信した場合には、上述したように、ゲーム装置３では、ダミー操作データに基づいてゲーム処理が実行されることはない。
【０２２１】
一方、ステップＳ９５で“ＹＥＳ”であれば、つまりＴＶリモコンフラグ５１８がオンであれば、ＴＶ制御モードが設定されていると判断して、ステップＳ９９において、ダミー操作データを生成および送信して、ステップＳ７３に戻る。
【０２２２】
上述したように、スリープ中でない場合に、ＴＶリモコンボタン７１が操作されると、ステップＳ８９で“ＹＥＳ”となり、図１３に示すステップＳ１０１において、ＴＶリモコンフラグ５１８がオンであるかどうかを判断する。
【０２２３】
ステップＳ１０１で“ＹＥＳ”であれば、つまりＴＶリモコンフラグ５１８がオンであれば、ステップＳ１０３で、ＴＶリモコン画像３００を閉じ、ステップＳ１０５で、ＴＶリモコンフラグ５１８をオフして、図１１に示したステップＳ７３に戻る。つまり、ＣＰＵ９７は、ＴＶ制御モードを終了する。
【０２２４】
一方、ステップＳ１０１で“ＮＯ”であれば、つまりＴＶリモコンフラグ５１８がオフであれば、ステップＳ１０７で、リモコン設定を完了しているかどうかを判断する。ここでは、ＣＰＵ９７は、フラッシュメモリ９３に、送信フォーマットデータ５１６ｃが記憶されているかどうかを判断する。
【０２２５】
ステップＳ１０７で“ＮＯ”であれば、つまりリモコン設定を完了していなければ、ステップＳ１０９で、設定催促画像をＬＣＤ５１に表示して、ステップＳ７３に戻る。図示は省略するが、上述したように、設定催促画像は数秒間表示された後に消去される。
【０２２６】
一方、ステップＳ１０７で“ＹＥＳ”であれば、つまりリモコン設定を完了していれば、ステップＳ１１１で、ＴＶリモコン用のデータをフラッシュメモリ９３から読み込む。具体的には、ＣＰＵ９７は、リモコン画像データ５１６ｂ、送信フォーマットデータ５１６ｃおよび操作音データ５２５ｄをフラッシュメモリ９３から読み出して、内部メモリ９８のデータ記領域５０４に記憶する。
【０２２７】
続いて、ステップＳ１１３においては、ステップＳ１１３で、ＴＶリモコン画像３００をＬＣＤ５１に表示する。このとき、図６（Ａ）に示したように、端末用ゲーム画像２５０の前面に、ＴＶリモコン画像３００が表示される。そして、ステップＳ１１５において、ＴＶリモコンフラグ５１８をオンして、ステップＳ７３に戻る。
【０２２８】
また、上述したように、スリープ中でない場合に、電源ボタン７２が操作されると、ステップＳ９１で“ＹＥＳ”となり、図１４に示すステップＳ１１７において、電源ボタン７２の操作に応じた端末操作データを生成および送信する。次に、ステップＳ１１９においては、ＴＶリモコンフラグ５１８がオンであるかどうかを判断する。
【０２２９】
ステップＳ１１９で“ＹＥＳ”であれば、つまりＴＶリモコンフラグ５１８がオンであれば、テレビ２の操作中である、またはテレビ２を操作する可能性があるため、そのまま図１１に示したステップＳ７３に戻る。一方、ステップＳ１１９で“ＮＯ”であれば、つまりＴＶリモコンフラグ５１８がオフであれば、ＴＶ制御モードが設定されていないと判断し、ステップＳ１２１で、入力端末装置７をスリープさせて、図１１に示したステップＳ７１に戻る。ただし、ステップＳ１２１においては、ＣＰＵ９７の指示によって、ＵＩコントローラ８５、コーデックＬＳＩ８６および無線モジュール９０への電源供給は継続され、他の回路コンポーネントへの電源供給は停止される。
【０２３０】
上述したように、スリープ中でない場合に、操作ボタン５４、ＴＶリモコンボタン７１および電源ボタン７２が操作されなければ、ステップＳ９３で“ＮＯ”となり、図１５に示すステップＳ１２３において、タッチ入力があるかどうかを判断する。
【０２３１】
ステップＳ１２３で“ＮＯ”であれば、つまりタッチ入力が無ければ、そのままステップＳ７３に戻る。ただし、図示は省略するが、入力端末装置７において、カメラ画像が撮像されたり、音声が検出されたりしている場合には、ステップＳ１２３で“ＮＯ”である場合には、カメラ画像データや音声データをゲーム装置３に送信した後に、ステップＳ７３に戻る。一方、ステップＳ１２３で“ＹＥＳ”であれば、つまりタッチ入力があれば、ステップＳ１２５において、ＴＶリモコンフラグ５１８がオンであるかどうかを判断する。
【０２３２】
ステップＳ１２５で“ＮＯ”であれば、つまりＴＶリモコンフラグ５１８がオフであれば、タッチ操作に応じた端末操作データを生成および送信して、図１１に示したステップＳ７３に戻る。一方、ステップＳ１２５で“ＹＥＳ”であれば、つまりＴＶリモコンフラグ５１８がオンであれば、ステップＳ１２９で、操作内容を特定する。ここでは、ＣＰＵ９７は、タッチ位置データに基づいて、タッチ操作されたボタン画像（３０２ａ−３０２ｆ）を特定し、特定したボタン画像（３０２ａ−３０２ｆ）に割り当てられた操作内容を特定する。したがって、操作内容に対応する操作内容データ５１６ａがデータ記憶領域５０４に記憶される。
【０２３３】
続くステップＳ１３１においては、ボタン画像（３０２ａ−３０２ｆ）の操作に応じた操作音を出力する。つまり、ＣＰＵ９７は、ボタン画像（３０２ａ−３０２ｆ）の操作に応じて、操作音データ５１６ｄを出力する。
【０２３４】
次のステップＳ１３３においては、ＴＶリモコンの終了かどうかを判断する。ここでは、ＣＰＵ９７は、ステップＳ１２９で特定された操作内容が、ＴＶリモコン画像３００を閉じることであるかどうかを判断するのである。
【０２３５】
ステップＳ１３３で“ＮＯ”であれば、つまりＴＶリモコンの終了でなければ、ステップＳ１３５で、タッチ操作に応じたリモコン操作データを、送信フォーマットデータ５１６ｃに従って生成および送信し、ステップＳ１３７においては、ダミー操作データを生成および送信して、図１１に示したステップＳ７３に戻る。
【０２３６】
ただし、ステップＳ１３５では、リモコンＩＣ１００は、ＣＰＵ９７の指示の下、送信フォーマットデータ５１６ｃに従って、操作内容データ５１６ａをコード化したリモコン操作データを生成し、赤外ＬＥＤ１０１から出力する。したがって、赤外線によるリモコン操作データが送信される。
【０２３７】
一方、ステップＳ１３３で“ＹＥＳ”であれば、ＴＶリモコンの終了であれば、ステップＳ１３９で、ＴＶリモコン画像３００を閉じて、ステップＳ１４１で、ＴＶリモコンフラグ５１８をオフして、図１１に示したステップＳ７３に戻る。ステップＳ１３９の処理によって、入力端末装置７は、ゲーム装置３に端末操作データを送信（入力）可能なモードに設定（移行）される。つまり、ゲーム装置３で実行されるゲーム（アプリケーション）に対して入力可能なモード（アプリケーションモード）に設定される。
【０２３８】
また、上述したように、スリープ中である場合には、ステップＳ７１で“ＹＥＳ”となり、図１６に示すステップＳ１４３において、電源オンの制御データ５１４ａを受信したかどうかを判断する。
【０２３９】
なお、これ以降では、ステップＳ７１−Ｓ１４１までに説明した処理と同じ処理については、簡単に説明することにする。
【０２４０】
ステップＳ１４３で“ＹＥＳ”であれば、つまり起動（電源オン）の動作データを受信すれば、ステップＳ１４５で、入力端末装置７を起動して、図１１に示したステップＳ７３に戻る。一方、ステップＳ１４３で“ＮＯ”であれば、つまり起動の動作データを受信していなければ、ステップＳ１４７で、ＴＶリモコンボタン７１が操作されたかどうかを判断する。ステップＳ１４７で“ＹＥＳ”であれば、ステップＳ１４９で、入力端末装置７を起動する。
【０２４１】
次のステップＳ１５１では、リモコン設定を完了しているかどうかを判断する。ステップＳ１５１で“ＮＯ”であれば、ステップＳ１５３で、設定催促画像をＬＣＤ５１に表示して、図１１に示したステップＳ７３に戻る。一方、ステップＳ１５１で“ＹＥＳ”であれば、ステップＳ１５５で、ＴＶリモコン用のデータを読み込む。そして、ステップＳ１５７において、ＴＶリモコン画像３００をＬＣＤ５１に表示し、ステップＳ１５９において、ＴＶリモコンフラグ５１８をオンして、図１１に示したステップＳ７３に戻る。
【０２４２】
また、ステップＳ１４７で“ＮＯ”であれば、ステップＳ１６１において、電源ボタン７２が操作されたかどうかを判断する。ステップＳ１６１で“ＮＯ”であれば、図１１に示したステップＳ７１に戻る。一方、ステップＳ１６１で“ＹＥＳ”であれば、ステップＳ１６３で、入力端末装置７を起動し、ステップＳ１６５で、電源ボタン７２の操作に応じた端末操作データを生成および送信して、ステップＳ７３に戻る。
【０２４３】
なお、図示は省略したが、入力端末装置７は、ゲーム装置３から停止の動作データを受信すると、ＴＶ制御モードが設定されていない場合には、スリープの状態となる。一方、ＴＶ制御モードが設定されている場合には、入力端末装置７は、スリープの状態にならず、ＴＶ制御モードが継続される。
【０２４４】
この実施形態によれば、所定の入力がある場合に、ゲーム装置に対して入力可能なモードと、テレビを制御可能なモードとを切り替えるので、当該テレビに付属のリモコンに持ち替える必要がない。
【０２４５】
また、この実施形態によれば、入力端末装置がテレビのリモコン装置としても機能する場合であっても、ゲーム装置はアプリケーションの処理を中断または停止する必要がないため、アプリケーションの処理を継続したままで、テレビを操作することができる。
【０２４６】
さらに、この実施形態によれば、ゲーム装置の操作データと、テレビの操作データとは異なる通信形式であるため、ゲーム装置やテレビを誤って操作することがない。
【０２４７】
なお、上述の実施形態においては、ゲーム装置とは異なる制御対象機器としてテレビを制御する場合について説明したが、これに限定される必要はない。たとえば、エアコン、オーディオ、シーリングライトなどの遠隔操作可能な機器を制御対象機器することができる。ただし、各機器に応じた送信フォーマットデータを端末装置に登録（記憶）する必要がある。
【０２４８】
また、この実施形態では、制御対象機器への操作データを赤外線信号で送信する場合について説明したが、これに限定される必要はない。Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）などの他の形式で操作データを制御対象機器に送信するようにしてもよい。ただし、ゲーム装置への操作データと同一の形式となる場合には、使用する周波数帯を互いに異なるように設定する必要がある。
【０２４９】
さらに、上述の実施形態においては、ＴＶリモコン画像を表示して、タッチ操作によってテレビを操作（制御）するようにしたが、これに代えて、または、これとともに、操作ボタン５４を用いてテレビを操作するようにしてもよい。
【０２５０】
さらに、上述の実施形態においては、ＴＶリモコンボタンのような専用のボタンを端末装置に設けて、このボタンがオンされた場合にＴＶ制御モードを設定するようにしたが、これに限定される必要はない。専用のボタンがオンされる場合と同様に、所定の入力を検知した場合に、ＴＶ制御モードを設定するようにしてもよい。
【０２５１】
たとえば、入力端末装置は、マイク、カメラ、加速度センサ、ジャイロセンサ等のような種々のセンサを備えるため、音を検出したり、画像認識したり、明るさ（輝度）を検出したり、加速度を検出したり、角速度を検出したりして、所定の入力があるかどうかを判断することができる。そして、所定の音量以上の音（音声）を検出したり、所定の顔画像を検出（認識）したり、所定の輝度以上の光を検出したり、加速度や角速度の変化で入力端末装置の姿勢や移動ないし振動を検出したり、専用のボタン以外の他のボタンの複合的な操作などを検出したりした場合に、所定の入力があると判断することができる。
【０２５２】
また、上述の実施形態は、図１１−図１６に示した制御処理が複数のコンピュータ等によって分散処理されるような制御システムにも適用可能である。
【０２５３】
さらに、上述の実施形態においては、据置型のゲーム装置と共に用いられる入力端末装置を例として説明したが、本明細書に記載の操作装置の構成は、ユーザが把持して使用する任意の装置に適用することが可能である。たとえば、操作装置は、携帯ゲーム機、フィーチャーフォン（フューチャーフォン）、スマートフォン、および電子書籍端末等の情報端末として実現されてもよい。
【符号の説明】
【０２５４】
１ …ゲームシステム
２ …テレビ
３ …ゲーム装置
４ …光ディスク
５ …コントローラ
７ …入力端末装置
１０ …ＣＰＵ
１１ｅ …内部メインメモリ
１２ …外部メインメモリ
５１ …ＬＣＤ
５２ …タッチパネル
５３ …アナログスティック
５４ …操作ボタン
５６ …カメラ
５９ …庇部
７１ …ＴＶリモコンボタン
７２ …電源ボタン
８２ …磁気センサ
８３ …加速度センサ
８４ …ジャイロセンサ
【技術分野】
【０００１】
この発明は制御プログラム、入力端末装置、制御システムおよび制御方法に関し、特にたとえば、アプリケーションを実行する情報処理装置に対して入力を行う、制御プログラム、入力端末装置、制御システムおよび制御方法に関する。
【背景技術】
【０００２】
背景技術の一例が特許文献１に開示される。この特許文献１には、異なる製造業者により製造された異なるタイプの機器をそれぞれ遠隔より制御できる遠隔制御送信器が開示されている。この遠隔制御送信器は、異なる製造業者により製造された異なるタイプの機器のデータを複数蓄積するメモリから、該当する機器を制御する為のデータを読み出すことにより、それぞれの機器を遠隔より制御する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２−１９８２９９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の遠隔制御送信器は、異なる製造業者により製造された異なるタイプの機器をそれぞれ遠隔制御する為だけの機能しか有していない。したがって、遠隔制御する際にデータを送信するための手段を別の用途で用いるような情報処理装置では用いることができなかった。そのため、情報処理装置によって所定の情報処理が行われている際に、遠隔より制御できる機器を制御したい場合には、情報処理装置の入力装置から当該機器を制御可能な遠隔制御送信器に持ち替えて操作を行う必要があり、非常に効率が悪かった。
【０００５】
それゆえに、この発明の主たる目的は、新規な、制御プログラム、入力端末装置、制御システムおよび制御方法を提供することである。
【０００６】
また、この発明の他の目的は、情報処理装置の情報処理を中断することなく、他の機器の遠隔制御を行うことができる、制御プログラム、入力端末装置、制御システムおよび制御方法を提供することである。
【課題を解決するための手段】
【０００７】
第１の発明は、入力端末装置からの入力に基づいてアプリケーションを実行する情報処理装置における当該入力端末装置の制御プログラムであって、入力端末装置のコンピュータを、入力判断部と、モード設定部として機能させる。入力判断部は、所定の入力が有るかどうかを判断する。モード設定部は、入力判断部によって所定の入力があると判断されたとき、アプリケーションを実行する情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替える。つまり、モード設定部は、アプリケーションモードが設定されている場合に、所定の入力があると、機器制御モードに切り替え、逆に、機器制御モードが設定されている場合に、所定の入力があると、アプリケーションモードに切り替える。
【０００８】
第１の発明によれば、所定の入力が有ると、情報処理装置への入力可能なアプリケーションモードと、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるので、入力端末装置を制御対象機器の制御装置としても使用することができる。したがって、たとえば、情報処理装置において情報処理の実行中であっても、その情報処理を中断することなく、他の機器の遠隔制御を行うことができる。
【０００９】
第２の発明は、第１の発明に従属し、入力端末装置は、操作情報を入力するため操作手段を備える。制御プログラムは、アプリケーション操作データ生成部と、アプリケーション操作データ送信部と、機器操作データ生成部と、機器操作データ送信部としてコンピュータをさらに機能させる。アプリケーション操作データ生成部は、アプリケーションモードのとき、操作情報に対応するアプリケーション操作データを生成する。アプリケーション操作データ送信部は、アプリケーション操作データを、情報処理装置に送信する。たとえば、これに応じて、情報処理装置は、アプリケーション操作データに基づいてアプリケーションの処理を実行する。
【００１０】
機器操作データ生成部は、機器制御モードであるとき、操作情報に基づき制御対象機器に対応した機器操作データを生成する。機器操作データ送信部は、機器操作データを、制御対象機器に送信する。たとえば、これに応じて、制御対象機器は、機器操作データに基づく処理を実行する。
【００１１】
第２の発明によれば、入力端末装置のみを用いて、情報処理装置と制御対象機器を制御することができる。
【００１２】
第３の発明は、第２の発明に従属し、制御プログラムは、ダミー操作データ生成部と、ダミー操作データ送信部としてコンピュータをさらに機能させる。ダミー操作データ生成部は、モード設定部において機器制御モードを設定したとき、アプリケーション操作データに対応し、操作情報に基づかない所定のダミー操作データを生成する。ダミー操作データ送信部は、ダミー操作データを、情報処理装置に送信する。
【００１３】
第３の発明によれば、機器制御モードが設定されている場合には、操作情報に基づかないダミー操作データを生成して情報処理装置に送信するので、情報処理装置における処理を何ら変更する必要がない。また、ダミーの操作データなので、情報処理装置のアプリケーションの処理に何ら影響を及ぼさない。
【００１４】
第４の発明は、第２または第３の発明に従属し、アプリケーション操作データ生成部において生成するアプリケーション操作データと、機器操作データ生成部において生成する機器操作データとは異なる形式のデータである。
【００１５】
第４の発明によれば、第１操作データと第２操作データとは異なる形式のデータであるため、情報処理装置と制御対象機器が誤って制御されることがない。
【００１６】
第５の発明は、第２ないし第４の発明のいずれかに従属し、アプリケーション操作データ送信部は、アプリケーション操作データを、第１送信手段を用いて情報処理装置に送信する。また、機器操作データ送信部は、機器操作データを、第１送信手段とは異なる第２送信手段を用いて制御対象機器に送信する。
【００１７】
第５の発明によれば、アプリケーション操作データと機器操作データとは異なる送信手段を用いて送信するので、第４の発明と同様に、情報処理装置と制御対象機器が誤って制御されることがない。
【００１８】
第６の発明は、第２ないし第５の発明のいずれかに従属し、制御プログラムは、機器選択部としてコンピュータをさらに機能させる。機器選択部は、たとえば、ユーザの操作に応じて、制御対象機器の種類を選択する。機器操作データ生成部は、機器選択部において選択された制御対象機器の種類に応じて機器操作データを生成する。
【００１９】
第６の発明によれば、制御対象機器の種類に応じて適切な操作データを生成することができる。
【００２０】
第７の発明は、第１ないし第６の発明のいずれかに従属し、入力端末装置は、所定の入力をさせるための所定入力手段を備える。所定入力手段が操作されることに応じて、入力判断部は所定の入力が有ると判断する。また、モード設定部は、入力判断部によって所定の入力が有ると判断されたときに機器制御モードを設定し、当該機器制御モードが設定されているときに、所定の入力が有ると判断されたときに当該機器制御モードを終了する。
【００２１】
第７の発明によれば、機器制御モードを設定したり、終了したりする所定入力手段を備えているので、操作が簡単である。
【００２２】
第８の発明は、第１ないし第７の発明のいずれかに従属し、制御プログラムは、受信画像表示部と、操作画像表示部としてコンピュータをさらに機能させる。受信画像表示部は、情報処理装置からの画像データを受信して、当該画像データに対応する画像を表示手段に表示する。操作画像表示部は、モード設定部において機器制御モードを設定したとき、表示手段に表示される画像の前面に、制御対象機器の操作画像を表示する。
【００２３】
第８の発明によれば、制御対象機器の操作画像を、情報処理装置から受信した画像データに対応する画像の前面に表示するので、制御対象機器の操作（制御）が容易である。
【００２４】
第９の発明は、第１ないし第８の発明のいずれかに従属し、制御プログラムは、音声出力部としてコンピュータをさらに機能させる。音声出力部は、情報処理装置からの音声データを受信して、当該音声データに対応する音声をスピーカから出力する。モード設定部において機器制御モードが設定されたとき、音声出力部は、情報処理装置からの音声データに対応する音声の音量を低減させる。
【００２５】
第９の発明によれば、機器制御モードが設定されているとき、情報処理装置からの音声データに対応する音声の音量を低減させるので、たとえば、制御対象機器の操作するときの操作音を出力する場合に、その操作音を聞き取り易い。
【００２６】
第１０の発明は、第１ないし第９の発明のいずれかに従属し、アプリケーションは、ゲームアプリケーションを含む。
【００２７】
第１０の発明によれば、情報処理装置におけるゲーム操作と制御対象機器における操作とが可能である。
【００２８】
第１１の発明は、第１ないし第１０の発明のいずれに従属し、入力端末装置は、情報処理装置の電源を制御するための電源制御情報を入力するための電源操作手段をさらに備える。制御プログラムは、電源制御データ生成部と電源制御データ送信部としてさらにコンピュータを機能させる。電源制御データ生成部は、電源操作手段によって電源制御情報が入力されたとき、機器制御モードを設定しているか否かに拘わらず、電源制御情報についての電源制御データを生成する。電源制御データ送信部は、電源制御データ生成部において生成された電源制御データを、情報処理装置に送信する。
【００２９】
第１１の発明によれば、機器制御モードが設定されているか否かに拘わらず、情報処理装置の電源制御を行うことができる。
【００３０】
第１２の発明は、アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御プログラムであって、入力端末装置は、情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンを備え、入力端末装置のコンピュータを、専用ボタンが操作されたかどうかを判断する入力判断部と、入力判断部において専用ボタンが操作されたことが判断されたとき、情報処理装置の起動の有無に拘わらず、機器制御モードを設定するモード設定部として機能させる、制御プログラムである。
【００３１】
第１２の発明によれば、第１の発明と同様の効果を有するとともに、機器制御モードを設定する専用ボタンを備えているので、操作が簡単である。
【００３２】
第１３の発明は、アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置であって、所定の入力が有るかどうかを判断する入力判断部と、入力判断部において所定の入力があると判断されたとき、アプリケーションを実行する情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるモード設定部を備える、入力端末装置である。
【００３３】
第１３の発明においても、第１の発明と同様に、情報処理を中断することなく、他の機器の遠隔制御を行うことができる。
【００３４】
第１４の発明は、アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置であって、情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンと、専用ボタンが操作されたかどうかを判断する入力判断部と、入力判断部において専用ボタンが操作されたことが判断されたとき、情報処理装置の起動の有無に拘わらず、機器制御モードを設定するモード設定部を備える、入力端末装置である。
【００３５】
第１４の発明においても、第１２の発明と同様に、第１の発明と同様の効果を有するとともに、機器制御モードを設定する専用ボタンを備えているので、操作が簡単である。
【００３６】
第１５の発明は、アプリケーションを実行する情報処理装置に対して入力を行う制御システムであって、所定の入力が有るかどうかを判断する入力判断部と、入力判断部において所定の入力があると判断されたとき、アプリケーションを実行する情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるモード設定部を備える、制御システムである。
【００３７】
第１５の発明においても、第１の発明と同様に、情報処理を中断することなく、他の機器の遠隔制御を行うことができる。
【００３８】
第１６の発明は、アプリケーションを実行する情報処理装置に対して入力を行う制御システムであって、情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンと、専用ボタンが操作されたかどうかを判断する入力判断部と、入力判断部において専用ボタンが操作されたことが判断されたとき、情報処理装置の起動の有無に拘わらず、機器制御モードを設定するモード設定部を備える、制御システムである。
【００３９】
第１６の発明においても、第１２の発明と同様に、第１の発明と同様の効果を有するとともに、機器制御モードを設定する専用ボタンを備えているので、操作が簡単である。
【００４０】
第１７の発明は、アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御方法であって、入力端末装置のコンピュータは、（ａ）所定の入力が有るかどうかを判断し、そして（ｂ）ステップ（ａ）において所定の入力があると判断されたとき、アプリケーションを実行する情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替える、制御方法である。
【００４１】
第１７の発明においても、第１の発明と同様に、情報処理を中断することなく、他の機器の遠隔制御を行うことができる。
【００４２】
第１８の発明は、アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御方法であって、入力端末装置は、情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンを備え、入力端末装置のコンピュータは、（ａ）専用ボタンが操作されたかどうかを判断し、（ｂ）ステップ（ａ）において専用ボタンが操作されたことが判断されたとき、情報処理装置の起動の有無に拘わらず、機器制御モードを設定する、制御方法である。
【００４３】
第１８の発明においても、第１２の発明と同様に、第１の発明と同様の効果を有するとともに、機器制御モードを設定する専用ボタンを備えているので、操作が簡単である。
【発明の効果】
【００４４】
この発明によれば、所定の入力が有ると、情報処理装置への入力可能なアプリケーションモードと、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるので、入力端末装置を制御対象機器の制御装置としても使用することができる。したがって、たとえば、情報処理装置において情報処理の実行中であっても、その情報処理を中断することなく、他の機器の遠隔制御を行うことができる。
【００４５】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施形態の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００４６】
【図１】図１はゲームシステムの外観図である。
【図２】図２はゲーム装置の電気的な構成を示すブロック図である。
【図３】図３は入力端末装置の外観構成を示す図である。
【図４】図４は入力端末装置の電気的な構成を示すブロック図である。
【図５】図５はテレビのゲーム画像の例と入力端末装置のゲーム画像の例とを示す図である。
【図６】図６は入力端末装置のＴＶリモコン画像の例を示す図である。
【図７】図７は図２に示すゲーム装置のメインメモリのメモリマップの一例を示す図である。
【図８】図８は図４に示す入力端末装置の内部メモリのメモリマップの一例を示す図である。
【図９】図９は図２に示すゲーム装置のＣＰＵのゲーム全体処理を示すフロー図である。
【図１０】図１０は図２に示すゲーム装置のＣＰＵのゲーム制御処理を示すフロー図である。
【図１１】図１１は図４に示す入力端末装置のＣＰＵの制御処理の第１の一部を示すフロー図である。
【図１２】図１２は図４に示す入力端末装置のＣＰＵの制御処理の第２の一部を示すフロー図である。
【図１３】図１３は図４に示す入力端末装置のＣＰＵの制御処理の第３の一部を示すフロー図である。
【図１４】図１４は図４に示す入力端末装置のＣＰＵの制御処理の第４の一部を示すフロー図である。
【図１５】図１５は図４に示す入力端末装置のＣＰＵの制御処理の第５の一部を示すフロー図である。
【図１６】図１６は図４に示す入力端末装置のＣＰＵの制御処理の第６の一部を示すフロー図である。
【発明を実施するための形態】
【００４７】
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１に示すゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、および入力端末装置７を含む。このゲームシステム１は、入力端末装置７を用いたゲーム操作に基づいて、ゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または入力端末装置７に表示するものである。
【００４８】
なお、ゲームシステム１では、入力端末装置７とともに、または、場合によっては入力端末装置７を用いずに、コントローラ５を用いたゲーム操作に基づいて、ゲーム装置３においてゲーム処理が実行される場合がある。
【００４９】
ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラムのようなアプリケーションプログラム）が記憶されている。ゲーム装置３は、その前面に設けられた挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
【００５０】
ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。
【００５１】
なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
【００５２】
また、コントローラ５とゲーム装置３とは、たとえばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いた無線通信によって通信可能である。ただし、コントローラ５とゲーム装置３とは有線で接続されてもよい。
【００５３】
入力端末装置７は、少なくとも、ゲーム装置３との間でデータを送受信する。ユーザ（プレイヤ）は、入力端末装置７を手に持って動かしたり、入力端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、入力端末装置７は、表示手段であるＬＣＤ５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ８４等）を備える。入力端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。入力端末装置７は、ゲーム装置３で生成された画像（たとえばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。また、入力端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
【００５４】
なお、本実施形態では表示装置としてＬＣＤを用いているが、入力端末装置７は、たとえばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）を利用した表示装置等、他の任意の表示装置を有していてもよい。
【００５５】
また、図１では、ゲームシステム１に含まれる入力端末装置７は１つであるが、ゲーム装置３は複数の入力端末装置７と通信可能であり、所定台数の入力端末装置７を同時に使用することによって複数人でゲームをプレイすることが可能である。
【００５６】
図２は、ゲーム装置３の電気的な構成を示すブロック図である。ゲーム装置３は、ＣＰＵ１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。
【００５７】
ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。
【００５８】
揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に、読み出したデータを書き込む。
【００５９】
システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ１１ｂ、ＤＳＰ１１ｃ、ＶＲＡＭ１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。
【００６０】
ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像データを生成する。ただし、ＶＲＡＭ１１ｄに、ポリゴンデータやテクスチャデータ等のデータが記憶され、ＧＰＵ１１ｂは、そのデータを用いて画像データを生成する。本実施形態においては、ゲーム装置３は、テレビ２に表示するゲーム画像と、入力端末装置７に表示するゲーム画像との両方を生成する。以下では、テレビ２に表示されるゲーム画像を「テレビ用ゲーム画像」と呼び、入力端末装置７に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。
【００６１】
ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、テレビ２のスピーカから出力するゲーム音声と、入力端末装置７のスピーカから出力するゲーム音声との両方が生成される。以下では、テレビ２から出力されるゲーム音声を「テレビ用ゲーム音声」と呼び、入力端末装置７から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。
【００６２】
上記のように、ゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声（効果音や音楽なども含む。以下、同じ。）のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データを、ＡＶコネクタ１６を介してテレビ２に出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａに出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音声が出力される。
【００６３】
また、ゲーム装置３において生成される画像および音声のうちで、入力端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって入力端末装置７へ送信される。入出力プロセッサ１１ａ等による入力端末装置７へのデータの送信については後述する。
【００６４】
なお、ゲーム装置３において生成される音声のうちで、コントローラ５において出力される音声のデータは、入出力プロセッサ１１ａ等によってコントローラ５に送信される。
【００６５】
入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。また、入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
【００６６】
入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続し、ネットワークに接続される外部情報処理装置（たとえば他のゲーム装置や、各種サーバ等）と通信することができる。
【００６７】
入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。
【００６８】
また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。
【００６９】
ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
【００７０】
また、ゲーム装置３は、コントローラ５からの操作データを受信したり、必要に応じて制御データや音データをコントローラ５に送信したりすることが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。一方、入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じた制御データやＤＳＰ１１ｃが生成した音声データをコントローラ通信モジュール１９へ出力し、コントローラ通信モジュール１９は、制御データや音声データをアンテナ２３を介してコントローラ５へ送信する。
【００７１】
また、ゲーム装置３は、入力端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、入力端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、入力端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して入力端末装置７へ送信される。本実施形態では、コーデックＬＳＩ２７は、たとえばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。
【００７２】
なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。
【００７３】
また、端末通信モジュール２８は、たとえばＷｉ−Ｆｉの認証を受けた通信モジュールであり、たとえばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて、入力端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
【００７４】
また、ゲーム装置３は、画像データの他、音声データを入力端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して入力端末装置７へ送信する。
【００７５】
さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを入力端末装置７へ送信する。制御データは、入力端末装置７が備える構成要素に対する制御指示を表すデータであり、たとえばカメラ（図３に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを入力端末装置７へ送信する。
【００７６】
なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。また、ゲーム装置３から入力端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
【００７７】
また、ゲーム装置３は、入力端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、入力端末装置７は、操作データ、画像データ、および音声データを送信する。入力端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、入力端末装置７からの画像データおよび音声データは、ゲーム装置３から入力端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。
【００７８】
したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａに出力される。
【００７９】
一方、入力端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａに出力される。入出力プロセッサ１１ａは、入力端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
【００８０】
また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。
【００８１】
メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。たとえば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
【００８２】
ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
【００８３】
なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、たとえば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。
【００８４】
次に、図３を参照して、入力端末装置７の構成について説明する。図３は、入力端末装置７の外観構成を示す平面図である。図３（ａ）は入力端末装置７の正面図であり、図３（ｂ）は上面図であり、図３（ｃ）は右側面図である。
【００８５】
図３（ａ）に示されるように、入力端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。ハウジング５０は、ユーザが両手もしくは片手で把持することができる程度の大きさである。したがって、ユーザは、入力端末装置７を持って動かしたり、入力端末装置７の配置位置を変更したりすることができる。
【００８６】
入力端末装置７は、ハウジング５０の表面（表側）であり、その中央付近にＬＣＤ５１を有する。したがって、図示は省略するが、ユーザは、ＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら入力端末装置７を動かすことができる。ただし、入力端末装置７は横持ちでも（横に長い向きにして持つことも）、縦持ちでも（縦に長い向きにして持つことも）可能である。
【００８７】
図３（ａ）に示すように、入力端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。たとえば、タッチパネル５２としては、抵抗膜方式や静電容量方式等の任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。
【００８８】
このように、入力端末装置７はタッチパネル５２を備えるので、ユーザは、入力端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
【００８９】
図３（ａ）に示すように、入力端末装置７は、所定の入力を行うための操作手段（操作部）として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン（キー）５４Ａ〜５４Ｌ、７１および７２とを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示することが可能なデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作される可動部材（スティック部）がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライドすることができるように構成されている。すなわち、スライドパッドと呼ばれることもある方向入力デバイスである。
【００９０】
なお、各アナログスティック５３Ａおよび５３Ｂの可動部材は、ハウジング５０の表面に対して任意の方向に傾倒する種類のものでもよい。
【００９１】
図示は省略するが、各ボタン５４Ａ〜５４Ｌは、ユーザが入力端末装置７の左右部分を把持した状態（横持ちした状態）で操作可能な位置に設けられる。したがって、ユーザは、入力端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
【００９２】
図３（ａ）に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａ、ボタン５４Ｂ〜５４Ｈ、テレビリモコンボタン（以下、「ＴＶリモコンボタン」という。）７１および電源ボタン７２が設けられる。
【００９３】
ＴＶリモコンボタン７１は、当該入力端末装置７を、テレビ２を操作（制御）するリモコン装置として機能するモード（ＴＶ制御モード）を設定したり、ＴＶ制御モードを終了したりするためのボタンである。また、電源ボタン７２は、ゲーム装置３の電源をオン／オフするためのボタンである。電源ボタン７２の操作により、ゲーム装置３の電源を遠隔でオン／オフすることも可能である。
【００９４】
また、図３（ｂ）に示すように、ハウジング５０の上面には、各操作ボタン５４Ａ〜５４Ｌのうち、第１Ｌボタン５４Ｉおよび第２Ｒボタン５４Ｊが設けられる。
【００９５】
さらに、図３（ｂ）および図３（ｃ）に示すように、ハウジング５０の裏面には、庇部５９の上面側に、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが設けられる。
【００９６】
また、図３（ａ）に示すように、ハウジング５０の表面には、マイクロフォン用孔５０ａ、カメラ５６および２つのスピーカ孔５７が設けられる。さらに、図３（ｂ）に示すように、ハウジング５０の上面には、タッチペン６０を収納する収納穴６０ａ、イヤホン等の音声出力手段を接続するための音声出力端子（イヤホンジャック）６１、後述する赤外線モジュール９２および赤外ＬＥＤ１０１からの赤外線信号を入力端末装置７の外部に出力するための窓６２、および後述するスピーカ８７から出力される音量を調整するためのつまみ６３が設けられる。
【００９７】
次に、図４を参照して、入力端末装置７の電気的な構成について説明する。図４は、入力端末装置７の電気的な構成を示すブロック図である。図４に示すように、入力端末装置７は、図３（ａ）−図３（ｃ）に示した構成の他、タッチパネルコントローラ８１、磁気センサ８２、加速度センサ８３、ジャイロセンサ８４、ユーザインタフェースコントローラ（ＵＩコントローラ）８５、コーデックＬＳＩ８６、スピーカ８７、サウンドＩＣ８８、マイク８９、無線モジュール９０、アンテナ９１、赤外線通信モジュール９２、フラッシュメモリ９３、リモコンＩＣ１００および赤外ＬＥＤ１０１を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
【００９８】
なお、図示は省略するが、入力端末装置７には、内蔵の電池または外部電源からの電力が供給される。
【００９９】
ＵＩコントローラ８５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ８５は、タッチパネルコントローラ８１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、ＴＶリモコンボタン７１、電源ボタン７２、磁気センサ８２、加速度センサ８３、およびジャイロセンサ８４に接続される。
【０１００】
また、ＵＩコントローラ８５は、コーデックＬＳＩ８６に接続される。タッチパネルコントローラ８１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ８１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ８５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置（タッチ位置）の座標を表す。
【０１０１】
なお、タッチパネルコントローラ８１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ８５からタッチパネルコントローラ８１へは、タッチパネル５２に対する各種の制御指示が出力される。
【０１０２】
アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ８５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ８５へ出力する。
【０１０３】
磁気センサ８２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ８５へ出力される。また、ＵＩコントローラ８５から磁気センサ８２へは、磁気センサ８２に対する制御指示が出力される。
【０１０４】
加速度センサ８３は、ハウジング５０の内部に設けられ、３軸（図３（ａ）に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ８５へ出力される。また、ＵＩコントローラ８５から加速度センサ８３へは、加速度センサ８３に対する制御指示が出力される。
【０１０５】
ジャイロセンサ８４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ８５へ出力される。また、ＵＩコントローラ８５からジャイロセンサ８４へは、ジャイロセンサ８４に対する制御指示が出力される。
【０１０６】
ＵＩコントローラ８５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ８６に出力する。
【０１０７】
コーデックＬＳＩ８６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ８６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ８８、無線モジュール９０、フラッシュメモリ９３、赤外線通信モジュール９２およびリモコンＩＣ１００が接続される。また、コーデックＬＳＩ８６はＣＰＵ９７と内部メモリ９８を含む。
【０１０８】
入力端末装置７はゲーム処理自体を行なわない構成であるが、入力端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ９３に格納されたプログラムを内部メモリ９８に読み出してＣＰＵ９７が実行することで、入力端末装置７が起動する。ただし、入力端末装置７は、ゲーム装置３からの動作データに基づいて起動または停止したり、ＴＶリモコンボタン７１や電源ボタン７２の操作に基づいて起動または停止したりする。ただし、この実施形態では、入力端末装置７の停止は、一部の回路コンポーネント（ＵＩコントローラ８５、コーデックＬＳＩ８６および無線モジュール９０）に電源が供給されているスリープの状態を意味する。したがって、上記のように、電源投入（電源オン）される場合には、入力端末装置７は、スリープの状態から起動されるのである。また、内部メモリ９８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。さらに、入力端末装置７がテレビ２を操作（制御）可能なリモコン装置として機能する場合には、ＣＰＵ９７は、タッチ位置データに基づいて、操作（タッチ）されたボタン（後述するボタン画像３０２ａ−３０２ｆ）を特定する。
【０１０９】
カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像に対応する画像データをコーデックＬＳＩ８６へ出力する。また、コーデックＬＳＩ８６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。
【０１１０】
サウンドＩＣ８８は、スピーカ８７およびマイク８９に接続され、スピーカ８７およびマイク８９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ８６から音声データを受け取った場合、サウンドＩＣ８８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ８７へ出力し、スピーカ８７から音を出力させる。また、マイク８９は、入力端末装置７に伝わる音（ユーザの音声や手拍子等）を検知して、当該音を示す音声信号をサウンドＩＣ８８へ出力する。サウンドＩＣ８８は、マイク８９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ８６へ出力する。
【０１１１】
コーデックＬＳＩ８６は、カメラ５６からの画像データ、マイク８９からの音声データ、および、ＵＩコントローラ８５からの操作データ（端末操作データ）を、無線モジュール９０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ８６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール９０に出力される。無線モジュール９０にはアンテナ９１が接続されており、無線モジュール９０はアンテナ９１を介してゲーム装置３へ上記送信データを送信する。無線モジュール９０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール９０は、たとえばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
【０１１２】
以上のように、入力端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。
【０１１３】
また、赤外線通信モジュール９２は、他の装置との間でたとえばＩｒＤＡの規格に従った赤外線通信を行う。コーデックＬＳＩ８６は、赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
【０１１４】
リモコンＩＣ１００は、テレビ２に送信するための操作データ（以下、「リモコン操作データ」という。）を所定の送信フォーマットデータに従って生成する。ただし、所定の送信フォーマットデータは、テレビ２の種類（メーカ、機種など）によって決定される。後述するように、所定の送信フォーマットデータは、ゲーム装置３から取得され、フラッシュメモリ９３に記憶されており、入力端末装置７が、テレビ２のリモコン装置として機能する場合に、内部メモリ９８に読み込まれる。そして、リモコンＩＣ１００は、所定のフォーマットデータに従って生成したリモコン操作データを、赤外ＬＥＤ１０１から出力（送信）する。
【０１１５】
このように、リモコン操作データを出力するための赤外ＬＥＤ１０１を設けるのは、赤外線通信モジュール９２に設けられる赤外ＬＥＤ（図示せず）とは出力レベルが異なるためである。
【０１１６】
また、ゲーム装置３から受信されるデータに制御データが含まれる場合、入力端末装置７のコーデックＬＳＩ８６およびＵＩコントローラ８５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、入力端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ８１、各センサ８２〜８４および赤外線通信モジュール９２）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、入力端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。
【０１１７】
なお、制御データとは別に、ゲーム装置３の電源ボタン２４の操作に応じて、ゲーム装置３から入力端末装置７に、入力端末装置７自体の起動および停止（スリープ）を指示するデータ（動作指示データ）も送信される。
【０１１８】
以上のように、入力端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
【０１１９】
また、入力端末装置７は、入力端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ８２、加速度センサ８３、およびジャイロセンサ８４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
【０１２０】
また、入力端末装置７は、カメラ５６およびマイク８９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク８９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
【０１２１】
このようなゲームシステム１において実行されるゲームの例について説明する。ここでは、野球ゲームの一例について説明する。たとえば、第１プレイヤはコンピュータプレイヤであり、コンピュータ（ゲーム装置３のＣＰＵ１０）によって打者が操作される。第２プレイヤは入力端末装置７を用いて投手を操作する。
【０１２２】
図５（Ａ）は、このゲームにおいて、テレビ２に表示されるテレビ用ゲーム画像２００の一例を示す。このテレビ用ゲーム画像２００は、第１プレイヤの操作対象である打者（打者オブジェクト）２０２の側から、第２プレイヤの操作対象である投手（投手オブジェクト）２０４の方を見たゲーム空間を表す。テレビ用ゲーム画像２００を生成するための第１仮想カメラは、打者オブジェクト２０２の後方の位置に、打者オブジェクト２０２から投手オブジェクト２０４の方を向くように配置される。
【０１２３】
一方、図５（Ｂ）は、このゲームにおいて、入力端末装置７に表示される端末用ゲーム画像２５０の一例を示す。この端末用ゲーム画像２５０は、第２プレイヤの操作対象である投手オブジェクト２０４の側から、第１プレイヤの操作対象である打者オブジェクト２０２の方を見たゲーム空間を表す。また、端末用ゲーム画像２５０には、投手オブジェクト２０４がボールオブジェクトを投げる方向を示すためのカーソル２６０が表示される。
【０１２４】
上述したように、端末用ゲーム画像２５０の画像データは、ゲーム装置３で生成される。つまり、ＣＰＵ１０は、端末用ゲーム画像２５０の画像データを生成するために用いる第２仮想カメラを入力端末装置７の姿勢に基づいて制御する。ただし、ＣＰＵ１０は、慣性センサ（加速度センサ８３およびジャイロセンサ８４）ならびに磁気センサ８２の出力に基づいて入力端末装置７の姿勢を算出し、算出した姿勢に基づいて、端末用ゲーム画像２５０の画像データを生成するための第２仮想カメラの姿勢を制御する。たとえば、この第２仮想カメラの位置は、予め定められた所定位置に固定される。
【０１２５】
また、第２プレイヤによる投手オブジェクト２０４の操作方法は、どのような方法であってもよい。たとえば、ＣＰＵ１０は、入力端末装置７のアナログスティック５３に対する操作に従ってカーソル２６０を移動させ、操作ボタン５４のうちの所定のボタンが押下された場合、カーソル２６０が指示する位置に向かってボールオブジェクトを投げる動作を投手オブジェクト２０４に行わせてもよい。また、カーソル２６０は、アナログスティック５３に対する操作に代えて、入力端末装置７の姿勢に応じて移動されてもよいし、タッチ操作によって移動されてもよい。
【０１２６】
なお、打者オブジェクト２０２は、コンピュータプレイヤ以外の第１プレイヤによって操作されてもよい。かかる場合には、入力端末装置７（またはコントローラ５）を用いて、打者オブジェクト２０２が操作される。打者オブジェクト２０２の操作方法は、どのような方法であってもよい。たとえば、ＣＰＵ１０は、入力端末装置７（またはコントローラ５）自体を振ったり（動かしたり）、入力端末装置７（またはコントローラ５）の所定のボタンを押したりしたことに応じて、打者オブジェクト２０２にバット（オブジェクト）をスイングする動作を行わせてよい。
【０１２７】
このように、ゲーム（ゲームアプリケーション）を実行することができる。たとえば、ゲームの実行中に、入力端末装置７のＴＶリモコンボタン７１が押されると、ＴＶ制御モードが設定され、図６（Ａ）に示すようなＴＶリモコン画像３００が入力端末装置７のＬＣＤ５１に表示される。この実施形態では、ＴＶリモコン画像３００は、端末用ゲーム画像２５０に重畳して、その前面に表示される。
【０１２８】
図６（Ａ）に示すように、ＴＶリモコン画像３００には、ボタン画像３０２ａ、ボタン画像３０２ｂ、ボタン画像３０２ｃ、ボタン画像３０２ｄ、ボタン画像３０２ｅおよびボタン画像３０２ｆが表示される。
【０１２９】
ボタン画像３０２ａは、数字キー（テンキー）であり、チャネル番号を直接的に入力するために用いられる。ボタン画像３０２ｂは、テレビ２の電源をオン／オフするために用いられる。ボタン画像３０２ｃは、テレビ２の入力切替を指示するために用いられる。ボタン画像３０２ｄは、チャネル番号を一段階ずつ上昇または下降させるために用いられる。ボタン画像３０２ｅは、テレビ２のスピーカ２ａから出力される音の音量を、大きくされたり、小さくさせたりするために用いられる。ボタン画像３０２ｆは、ＴＶリモコン画像３００を閉じる（消去する）ために用いられる。ただし、ＴＶリモコン画像３００が閉じられると、ＴＶ制御モードが終了される。
【０１３０】
ＴＶ制御モードは、入力端末装置７において設定されるだけであり、ゲームなどのアプリケーションの実行には影響を及ぼさない。つまり、ＴＶ制御モードが実行されることによって、アプリケーションの処理が中断されたり、終了されたりすることはない。
【０１３１】
したがって、ゲームの実行中では、ゲーム装置３からの画像データおよび音声データを受信すると、入力端末装置７は、端末用ゲーム画像２５０を更新するとともに、音声データに対応する端末用ゲーム音声を出力する。ただし、ＴＶ制御モードでは、端末用ゲーム画像２５０は、常に、ＴＶリモコン画像３００の背面に表示される。また、ゲーム装置３からの音声データに対応する端末用ゲーム音声の音量を少し低減するようにしてある。これは、ＴＶリモコン画像３００を用いた操作による操作音を、ユーザないしプレイヤが聞き取り易くするためである。
【０１３２】
なお、ＴＶリモコン画像３００を用いた操作に応じて操作音を出力するのは、タッチパネル５２をタッチ操作する場合には、押しボタンのような感覚が無く、入力端末装置７によって操作が受け付けられたかどうかが分かり難いためである。
【０１３３】
ＴＶ制御モードでは、ボタン画像３０２ａ−３０２ｅがオンされると、それに応じたリモコン操作データがテレビ２に送信される。具体的には、ＣＰＵ９７は、タッチパネル５２のタッチ位置から操作（オン）されたボタン画像３０２ａ−３０２ｆを特定する。たとえば、タッチパネル５２の解像度（検出精度）は、ＬＣＤ５１の解像度と同じであるため、双方の座標系を同じにしておければ、タッチ位置の座標（タッチ座標）から、ＬＣＤ５１の画面上の座標を容易に知ることができる。したがって、ＣＰＵ９７は、タッチ座標に対応するＬＣＤ５１の座標の位置に表示されているボタン画像（３０２ａ−３０２ｆ）を、タッチされたボタン画像（３０２ａ−３０２ｆ）として特定する。
【０１３４】
そして、リモコンＩＣ１００は、ＣＰＵ９７の指示の下、ＣＰＵ９７で特定されたボタン画像（３０２ａ−３０２ｅ）に割り当てられた操作内容に応じたリモコン操作データを生成し、赤外ＬＥＤ１０１から出力する。ただし、ボタン画像３０２ｆがタッチ（オン）された場合には、ＴＶリモコン画像３００が消去（非表示）され、ＴＶ制御モードは終了される。また、ＴＶ制御モードが設定されている場合に、ＴＶリモコンボタン７１が押されたときも、同様にＴＶ制御モードは終了される。
【０１３５】
上述したように、リモコン操作データは、テレビ２に応じた送信フォーマットに従って操作内容についてのデータ（操作内容データ）がコード化されることにより、生成される。
【０１３６】
たとえば、ゲーム装置３のフラッシュメモリ１７には、複数の種類（メーカおよび機種）に応じた送信フォーマットのデータ（送信フォーマットデータ）が記憶されている。したがって、たとえば、メニュー機能において、リモコン装置として機能させるための初期設定（リモコン設定）を行う場合に、入力端末装置７を用いてテレビ２の種類が設定（選択）されると、ゲーム装置３から選択されたテレビ２の種類に応じた送信フォーマットデータが入力端末装置７にダウンロードされる。したがって、入力端末装置７は、その送信フォーマットデータをゲーム装置３から取得し、フラッシュメモリ９３に記憶する。そして、入力端末装置７では、ＴＶ制御モードが設定されたときに、フラッシュメモリ９３から送信フォーマットデータが読み込まれ、これに従って、リモコン送信データが生成される。
【０１３７】
なお、この実施形態では、各種の送信フォーマットデータをゲーム装置３のフラッシュメモリ１７に記憶しておくようにしたが、入力端末装置７のフラッシュメモリ９３に記憶しておくようにしてもよい。かかる場合には、選択されたテレビ２の種類を記憶しておき、ＴＶ制御モードが設定されたときに、当該種類に応じて使用する送信フォーマットデータが読み込まれる。
【０１３８】
また、ＴＶ制御モードでは、入力端末装置７の操作に応じて、ゲーム装置３に端末操作データも送信される。この実施形態では、ＴＶ制御モードにおいては、ゲーム装置３に対してはその電源をオン／オフする操作（指示）のみを可能とするため、電源ボタン７２以外の操作があったとしても、何ら操作情報を含んでいない端末操作データ（以下、「ダミー操作データ」という）が生成および送信される。つまり、操作情報に基づかないダミー操作データが生成および送信される。たとえば、ダミー操作データは、各種の操作情報（操作ボタンデータ、スティックデータ、タッチ位置データ、加速度データ、角速度データ、および方位データ）としてｎｕｌｌが記述される。ただし、何ら操作情報を記述しないようにしてもよい。
【０１３９】
このように、ダミー操作データを生成するのは、端末操作データの内容を変更するだけで良く、入力端末装置７で端末操作データを送信する処理やゲーム装置３における処理を変更する必要がないからである。また、入力端末装置７において、操作情報をそのまま用いて、テレビ２へのリモコン送信データを生成および送信することができるからである。
【０１４０】
ただし、ＴＶ制御モードでは、電源ボタン７２以外の操作があった場合には、端末操作データを生成しないようにしてもよい。
【０１４１】
また、この実施形態では、ＴＶ制御モードでは、ゲーム装置３の電源のオン／オフ以外の操作（以下、「他のゲーム操作」ということがある。）をしないことを前提としてあるが、他のゲーム操作を可能にしてもよい。かかる場合には、ＴＶ制御モードでない場合と同様に、ユーザの操作に応じて端末操作データが生成および送信される。
【０１４２】
なお、上述したように、ＴＶ制御モードでは、電源ボタン７２の操作のみが有効である。したがって、ＴＶリモコン画像３００を用いた操作と同様の操作をさせるために、ＴＶリモコン画像３００とともに、ゲーム装置３の電源をオン／オフするためのボタン画像を表示するようにしてもよい。
【０１４３】
また、図６（Ａ）および図６（Ｂ）に示したＴＶリモコン画像３００は単なる一例であり、限定されるべきでない。ボタン画像の数、配置などのデザインは適宜変更することができる。たとえば、テンキーについてのボタン画像３０２ａは無くてもよい。
【０１４４】
ここでは、ゲームの実行中に、ＴＶ制御モードが設定された場合について説明したが、入力端末装置７において、ゲーム以外のアプリケーションやメニュー機能が実行されている場合も同様である。
【０１４５】
詳細な説明は省略するが、入力端末装置７がＴＶ制御モードであっても、ゲーム装置３の処理は中断等されないため、ＴＶ制御モードが設定されていない他の入力端末装置７やコントローラ５からの操作データに基づいてゲーム処理が実行されることは言うまでもない。
【０１４６】
また、図示は省略するが、入力端末装置７は、ゲーム装置３の電源がオフの場合にも、ＴＶ制御モードを設定して、テレビ２の操作をすることが可能である。ゲーム装置３の電源がオフの場合には、上述したように、入力端末装置７はスリープの状態（スリープ中）である。スリープ中においては、ＵＩコントローラ８５、コーデックＬＳＩ８６および無線通信モジュール９０にのみ、電源が付与される。そして、入力端末装置７では、ＴＶリモコンボタン７１または電源ボタン７２の操作信号を受け付け、ゲーム装置３からの起動を示す動作データを受信可能としてある。
【０１４７】
したがって、スリープ状態において、入力端末装置７の電源ボタン７２が押されると、上述したように、ＣＰＵ９７によって、入力端末装置７は起動され、電源ボタン７２が押された操作情報を含む端末操作データが生成および送信される。これに応じて、ゲーム装置３が起動される。
【０１４８】
また、スリープ状態において、入力端末装置７のＴＶリモコンボタン７１が押されると、同様に、ＣＰＵ９７によって、入力端末装置７は起動され、ＴＶ制御モードが設定され、図６（Ｂ）に示すように、ＴＶリモコン画像３００がＬＣＤ５１に表示される。
【０１４９】
ただし、スリープ状態において、ＴＶリモコンボタン７１が押された場合には、ゲーム装置３は起動されないため、入力端末装置７には、ゲーム装置３から制御データ、画像データおよび音声データは送信されない。このため、ＬＣＤ５１には、ＴＶリモコン画像３００のみが表示され、その背面側には何ら画像は表示されない。
【０１５０】
なお、図６（Ｂ）では、ＴＶリモコン画像３００の背面側に何ら画像が表示されていないことを灰色で塗りつぶすことにより示してある。
【０１５１】
また、テレビ２への操作データおよびゲーム装置３へのダミー操作データが生成および送信される点は、ゲーム装置３の電源がオンである場合と同じであるため、重複した説明は省略する。
【０１５２】
このように、ゲーム装置３の状態に拘わらず、ＴＶリモコンボタン７１の操作に応じて、ＴＶ制御モードが設定され、テレビ２の操作が可能である。ただし、ゲーム装置３の状態とは、ゲーム装置３の電源がオン（起動している）またはオフ（起動していない）の状態、およびゲーム装置３でアプリケーションが実行されているまたは実行されていない状態を意味する。
【０１５３】
なお、リモコン設定を行って（完了）していない場合には、入力端末装置７をリモコン装置として機能させることができない。したがって、この実施形態では、リモコン設定を完了していない場合には、ＴＶリモコンボタン７１が押されると、リモコン設定を実行することを促す画像（設定催促画像）をＬＣＤ５１に表示するようにしてある。
【０１５４】
図７は、図２に示したゲーム装置３のメインメモリ（１１ｅ，１２）のメモリマップ４００の一例を示す。図７に示すように、メインメモリ（１１ｅ，１２）は、プログラム記憶領域４０２およびデータ記憶領域４０４を含む。プログラム記憶領域４０２には、ゲームプログラム４１０などの情報処理プログラム（アプリケーションプログラム）が記憶される。たとえば、ゲームプログラム４１０は、ゲーム装置３に電源が投入された後の適宜のタイミングで光ディスク４からその一部または全部が読み込まれてメインメモリに記憶される。
【０１５５】
なお、ゲームプログラム４１０は、光ディスク４に代えて、フラッシュメモリ１７やゲーム装置３の外部装置から（たとえばインターネットを介して）取得されてもよい。また、ゲームプログラム４１０に含まれる一部のプログラムについては、ゲーム装置３内に予め記憶されていてもよい。
【０１５６】
データ記憶領域４０４には、受信データ４１２および送信データ４１４などが記憶される。
【０１５７】
受信データ４１２は、入力端末装置７から受信される各種のデータである。受信データ４１２は、端末操作データ４１２ａ、カメラ画像データ４１２ｂ、およびマイク音データ４１２ｃを含む。入力端末装置７が複数接続される場合には、各入力端末装置７に対応して、端末操作データ４１２ａ、カメラ画像データ４１２ｂおよびマイク音データ４１２ｃも複数記憶される。
【０１５８】
なお、図示は省略するが、コントローラ５が用いられる場合には、当該コントローラ５から受信されるデータ（コントローラ操作データ）も受信データ４１２に含まれる。
【０１５９】
端末操作データ４１２ａは、入力端末装置７に対するユーザの操作を表すデータである。端末操作データ４１２ａは、入力端末装置７から送信されてゲーム装置３において取得され、メインメモリ（１１ｅ，１２）に記憶される。端末操作データ４１２ａは、上述したように、操作ボタンデータ、スティックデータ、タッチ位置データ、加速度データ、角速度データ、および方位データを含む。
【０１６０】
なお、メインメモリ（１１ｅ，１２）には、最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。
【０１６１】
また、端末操作データ４１２ａは、入力端末装置７を操作するユーザの操作を表すものであればよく、上記各データのいずれか１つのみを含むものであってもよい。
【０１６２】
カメラ画像データ４１２ｂは、入力端末装置７のカメラ５６によって撮像された画像（カメラ画像）を表すデータである。カメラ画像データ４１２ｃは、入力端末装置７からの圧縮された画像データがコーデックＬＳＩ２７によって伸張された画像データであり、入出力プロセッサ１１ａによってメインメモリ（１１ｅ，１２）に記憶される。
【０１６３】
なお、メインメモリ（１１ｅ，１２）には、最新の（最後に取得された）ものから順に所定個数のカメラ画像データが記憶されてもよい。
【０１６４】
マイク音データ４１２ｃは、入力端末装置７のマイク８９によって検出された音声（マイク音）を表すデータである。マイク音データ４１２ｃは、入力端末装置７から送信されてくる圧縮された音声データがコーデックＬＳＩ２７によって伸張された音声データであり、入出力プロセッサ１１ａによってメインメモリ（１１ｅ，１２）に記憶される。
【０１６５】
なお、メインメモリ（１１ｅ，１２）には、最新の（最後に取得された）ものから順に所定個数のマイク音データが記憶されてもよい。
【０１６６】
送信データ４１４は、制御データ４１４ａ、画像データ４１４ｂおよび音声データ４１４ｃなどを含む。制御データ４１４ａは、入力端末装置７が備える構成要素に対する制御指示を表すデータである。制御データ４１４ａは、たとえば、カメラ５６の撮像を制御する指示等を表す。制御データ４１４ａは、適宜のタイミングで入力端末装置７へ送信される。
【０１６７】
なお、コントローラ５が用いられる場合には、当該コントローラ５が備える構成要素（図示せず）に対する制御指示を表す制御データが、送信データ４１４にさらに含まれ、適宜のタイミングで当該コントローラ５へ送信される。
【０１６８】
画像データ４１４ｂは、ゲーム処理によって生成され、入力端末装置７で出力される端末用ゲーム画像の画像データやメニュー機能によって入力端末装置７で出力されるメニュー画像の画像データなどである。音声データ４１４ｃは、ゲーム処理によって生成され、入力端末装置７で出力される端末用ゲーム音声の音声データやＢＧＭや効果音についての音声データである。
【０１６９】
なお、コントローラ５が用いられる場合には、音声データ４１４ｃは、当該コントローラ５にも送信される。ただし、入力端末装置７とコントローラ５とで異なる音声データを出力する場合には、コントローラ５で出力される音声データは別途生成される。
【０１７０】
図示は省略するが、データ記憶領域４０４には、後述するゲーム全体処理（図９）において用いられるデータが記憶される。たとえば、端末姿勢データ、画像認識データ、および音声認識データなどが記憶される。また、データ記憶領域４０４には、ゲームに登場する各種オブジェクトに設定される各種パラメータを表すデータ等、ゲーム処理において用いられる各種データを含む。
【０１７１】
なお、端末姿勢データは、入力端末装置７の姿勢を表すデータである。画像認識データは、上記カメラ画像に対する所定の画像認識処理の結果を表すデータである。音声認識データは、上記マイク音声に対する所定の音声認識処理の結果を表すデータである。
【０１７２】
図８は、図４に示した入力端末装置７の内部メモリ９８のメモリマップ５００の一例を示す。図８に示すように、内部メモリ９８は、プログラム記憶領域５０２およびデータ記憶領域５０４を含む。
【０１７３】
プログラム記憶領域５０２には、制御プログラム５１０などのプログラムが記憶される。制御プログラム５１０は、入力端末装置７の全体処理を実行するためのプログラムである。
【０１７４】
データ記憶領域５０４には、送信データ５１２、受信データ５１４およびＴＶリモコンデータ５１６が記憶される。また、データ記憶領域５０４には、ＴＶリモコンフラグ５１８が設けられる。
【０１７５】
送信データ５１２は、端末操作データ５１２ａ、カメラ画像データ５１２ｂおよびマイク音データ５１２ｃを含む。これらは、上述した受信データ４１２に含まれる端末操作データ４１２ａ、カメラ画像データ４１２ｂおよびマイク音データ４１２ｃと同じ内容であるため、重複した説明は省略する。
【０１７６】
同様に、受信データ５１４は、制御データ５１４ａ、画像データ５１４ｂおよび音声データ５１４ｃなどを含む。これらは、上述した送信データ４１４に含まれる制御データ４１４ａ、画像データ４１４ｂおよび音声データ４１４ｃと同じ内容であるため、重複した説明は省略する。
【０１７７】
ＴＶリモコンデータ５１６は、操作内容データ５１６ａ、リモコン画像データ５１６ｂ、送信フォーマットデータ５１６ｃおよび操作音データ５１６ｄを含む。
【０１７８】
操作内容データ５１６ａは、図６（Ａ）および図６（Ｂ）に示したＴＶリモコン画像３００においてタッチ操作されたボタン画像３０２ａ−３０２ｆに対応する操作内容（操作情報）についてのデータである。
【０１７９】
リモコン画像データ５１６ｂは、図６（Ａ）および図６（Ｂ）に示したＴＶリモコン画像３００についての画像データである。
【０１８０】
送信フォーマットデータ５１６ｃは、入力端末装置７に設定されたテレビ２の種類に対応してゲーム装置３から取得した送信フォーマットについてのデータである。
【０１８１】
操作音データ５１６ｄは、図６（Ａ）および図６（Ｂ）に示したＴＶリモコン画像３００に表示されたボタン画像３０２ａ−３０２ｆを操作した場合に出力される操作音についての音（効果音）データである。詳細な説明は省略するが、操作音は、ボタン画像３０２ａ−３０２ｆのすべてについて同じ音でよいし、ボタン画像３０２ａ−３０２ｆの各々で異なる音にしてもよい。
【０１８２】
ただし、この実施形態では、リモコン画像データ５１６ｂ、送信フォーマットデータ５１６ｃおよび操作音データ５１６ｄは、ＴＶ制御モードが設定されたときに、フラッシュメモリ９３から読み込まれる。
【０１８３】
ＴＶリモコンフラグ５１８は、ＴＶ制御モードが設定されているかどうかを判断するためのフラグである。このＴＶリモコンフラグ５１８は、１ビットのレジスタで構成される。ＴＶ制御モードが設定されている場合には、ＴＶリモコンフラグ５１８はオンされ、レジスタにデータ値「１」が設定される。一方、ＴＶ制御モードが設定されていない場合には、ＴＶリモコンフラグ５１８はオフされ、レジスタにデータ値「０」が設定される。
【０１８４】
図示は省略するが、データ記憶領域５０４には、制御プログラム５１０の実行に必要な他のデータが記憶されたり、他のフラグやカウンタ（タイマ）が設けられたりする。
【０１８５】
図９は、図２に示したゲーム装置３に設けられるＣＰＵ１０のゲーム全体処理についてのフロー図である。なお、図９に示すフロー図の各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値を採用してもよい。また、本実施形態では、図９に示すフロー図の各ステップの処理をＣＰＵ１０が実行するものとして説明するが、ＣＰＵ１０以外のプロセッサや専用回路が一部のステップを実行するようにしてもよい。
【０１８６】
ゲーム装置３の電源が投入されると、ゲーム全体処理の実行に先だって、ＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ（１１ｅ，１２）等の各ユニットが初期化される。そして、光ディスク４に記憶されたゲームプログラム４１０がメインメモリ（１１ｅ、１２）に読み込まれ、ＣＰＵ１０によって当該ゲームプログラム４１０の実行が開始される。
【０１８７】
ＣＰＵ１０は、ゲーム全体処理を開始すると、ステップＳ１において、初期処理を実行する。初期処理は、たとえば、仮想のゲーム空間を構築し、ゲーム空間に登場する各オブジェクトを初期位置に配置したり、ゲーム処理で用いる各種パラメータの初期値を設定したりする処理である。
【０１８８】
ステップＳ３では、ＣＰＵ１０は、入力端末装置７から送信されてくる各種のデータを取得する。
【０１８９】
なお、コントローラ５が用いられる場合には、ＣＰＵ１０は、ステップＳ３において、コントローラ５から送信されてくるコントローラ操作データも取得する。ただし、コントローラ５のみが用いられる場合には、コントローラ操作データのみを取得する。
【０１９０】
次のステップＳ５において、ＣＰＵ１０はゲーム制御処理を実行する。ゲーム制御処理は、ユーザによるゲーム操作に従ってゲーム空間内のオブジェクトを動作させる処理等を実行し、ゲームを進行させる処理である。本実施形態においては、ユーザは、主として、入力端末装置７を用いて種々のゲームを行うことが可能である。以下、図１０を参照して、ゲーム制御処理について説明する。
【０１９１】
図１０は、図２に示すＣＰＵ１０のゲーム制御処理を示すフロー図である。なお、図１０に示す一連の処理は、入力端末装置７を操作装置として用いる場合において実行され得る種々の処理であるが、各処理の必ずしも全てが実行される必要はなく、ゲームの種類や内容によっては一部の処理のみが実行されてもよい。
【０１９２】
ゲーム制御処理においては、まずステップＳ３１において、ＣＰＵ１０は、入力端末装置７の姿勢を算出する。ただし、入力端末装置７からダミー操作データを受信した場合には、ＣＰＵ１０は、ステップＳ３１の処理（ゲーム処理）を実行しない。後述するステップＳ３３、Ｓ３５、Ｓ３７においても同じである。このように、ゲーム装置３では、入力端末装置７からのダミー操作データを受信した場合には、つまり入力端末装置７でＴＶ制御モードが設定されている場合には、ダミー操作データに基づいてゲーム処理を実行しないだけであり、ゲーム処理自体が中断されたり、終了されたりすることはない。
【０１９３】
なお、コントローラ５が用いられる場合には、ＣＰＵ１０は、ステップＳ３１において、コントローラ５の姿勢も算出する。ただし、コントローラ５のみが用いられる場合には、コントローラ５の姿勢のみが算出される。
【０１９４】
続いて、ステップＳ３３において、ＣＰＵ１０は、カメラ画像の認識処理を実行する。すなわち、ＣＰＵ１０は、カメラ画像データ１０４に対して所定の認識処理を行い、認識結果を表すデータを、画像認識データとしてメインメモリ（１１ｅ、１２）に記憶する。
【０１９５】
続くステップＳ３５において、ＣＰＵ１０は、マイク音声の認識処理を実行する。すなわち、ＣＰＵ１０は、マイク音データ４１２ｄに対して所定の認識処理を行い、認識処理の結果を表すデータは、音声認識データとしてメインメモリ（１１ｅ，１２）に記憶する。
【０１９６】
次に、ステップＳ３７において、ＣＰＵ１０は、ゲーム入力に応じたゲーム処理を実行して、図９に示したゲーム全体処理にリターンする。ここで、ゲーム入力とは、入力端末装置７から送信されてくるデータ、あるいは、当該データから得られるデータであればどのようなものであってもよい。具体的には、ゲーム入力は、端末操作データ４１２ａに含まれる各データの他、当該各データから得られるデータ（端末姿勢データ、画像認識データおよび音声認識データ）であってもよい。
【０１９７】
なお、ゲーム入力には、コントローラ５から送信されてくるコントローラ操作データやそのデータから得られるコントローラ姿勢データが含まれる場合もある。
【０１９８】
また、ステップＳ３７におけるゲーム処理の内容はどのようなものであってもよく、たとえば、ゲームに登場するオブジェクト（キャラクタ）を動作させる処理、仮想カメラを制御する処理、または、画面に表示されるカーソルを移動する処理であってもよい。また、カメラ画像（またはその一部）をゲーム画像として用いる処理、または、マイク音声をゲーム音声として用いる処理等であってもよい。
【０１９９】
図９に戻って、ステップＳ７においては、ＣＰＵ１０およびＧＰＵ１１ｂは、テレビ２に表示するためのテレビ用ゲーム画像を生成する。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ５のゲーム制御処理の結果を表すデータをメインメモリ（１１ｅ，１２）から読み出し、また、ゲーム画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、テレビ用ゲーム画像を生成する。
【０２００】
次のステップＳ９において、ＣＰＵ１０およびＧＰＵ１１ｂは、入力端末装置７に表示するための端末用ゲーム画像を生成する。端末用ゲーム画像もまた、上記テレビ用ゲーム画像と同様に、ステップＳ５のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。
【０２０１】
続いて、ステップＳ１１においては、ＣＰＵ１０は、テレビ２のスピーカ２ａに出力するためのテレビ用ゲーム音声を生成する。すなわち、ＣＰＵ１０は、ステップＳ５のゲーム制御処理の結果に応じたゲーム音声をＤＳＰ１１ｃに生成させる。
【０２０２】
次に、ステップＳ１３においては、ＣＰＵ１０は、入力端末装置７のスピーカ８７に出力するための端末用ゲーム音声を生成する。すなわち、ＣＰＵ１０は、ステップＳ５のゲーム制御処理の結果に応じたゲーム音声をＤＳＰ１１ｃに生成させる。
【０２０３】
ただし、テレビ用ゲーム音声と端末用ゲーム音声とが同一である場合には、ステップＳ１３の処理は実行されなくてよい。
【０２０４】
また、コントローラ５が用いられる場合には、ステップＳ１３においては、ＣＰＵ１０は、コントローラ５に出力するためのゲーム音声を生成する。
【０２０５】
続いて、ステップＳ１５において、ＣＰＵ１０は、テレビ２へゲーム画像およびゲーム音声を出力する。具体的には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶されたテレビ用ゲーム画像の画像データと、ステップＳ１１でＤＳＰ１１ｃによって生成されたテレビ用ゲーム音声の音声データとをＡＶ−ＩＣ１５へ送る。
【０２０６】
次に、ステップＳ１７において、ＣＰＵ１０は、入力端末装置７へゲーム画像およびゲーム音声を送信する。具体的には、ＶＲＡＭ１１ｄに記憶された端末用ゲーム画像の画像データ、および、ステップＳ１３でＤＳＰ１１ｃによって生成された音声データは、ＣＰＵ１０によってコーデックＬＳＩ８６に送られ、コーデックＬＳＩ８６によって所定の圧縮処理が行われる。さらに、圧縮処理が施された画像および音声のデータは、端末通信モジュール２８によってアンテナ２９を介して入力端末装置７へ送信される。入力端末装置７は、ゲーム装置３から送信されてくる画像および音声のデータを無線モジュール９０によって受信し、コーデックＬＳＩ８６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力され、伸張処理が行われた音声データはサウンドＩＣ８８に出力される。
【０２０７】
なお、コントローラ５が用いられる場合には、ステップＳ１７においては、ステップＳ１３において生成した音声データを、当該コントローラ５に送信する。
【０２０８】
そして、ステップＳ１９において、ＣＰＵ１０は、ゲームを終了するかどうかを判断する。ステップＳ１９の判断は、たとえば、ゲームオーバーになったか否か、あるいは、ユーザがゲームを中止する指示を行ったか否か等によって行われる。
【０２０９】
ステップＳ１９で“ＮＯ”であれば、つまりゲームを終了しない場合には、ステップＳ３に戻る。一方、ステップＳ１９で“ＹＥＳ”であれば、つまりゲームを終了する場合には、ゲーム全体処理を終了する。
【０２１０】
図１１−図１６は、図４に示した入力端末装置７のＣＰＵ９７の制御処理を示すフロー図である。図１１に示すように、ＣＰＵ９７は、制御処理を開始すると、ステップＳ７１において、スリープ中かどうかを判断する。ステップＳ７１で“ＹＥＳ”であれば、つまりスリープ中であれば、図１６に示すステップＳ１４３に進む。
【０２１１】
一方、ステップＳ７１で“ＮＯ”であれば、つまりスリープ中でなければ、ステップＳ７３において、受信データ５１４があるかどうかを判断する。ＣＰＵ９７は、制御処理とは別のタスクで受信処理を実行しており、ゲーム装置３から送信されたデータを受信データ５１４として内部メモリ９８に記憶する。したがって、ステップＳ７３においては、ＣＰＵ９７は、データ記憶領域５０４に受信データ５１４が記憶されているかどうかを判断するのである。
【０２１２】
ステップＳ７３で“ＮＯ”であれば、つまり受信データ５４が無ければ、そのまま図１２に示すステップＳ８９に進む。一方、ステップＳ７３で“ＹＥＳ”であれば、つまり受信データ５１４があれば、ステップＳ７５で、制御データ５１４ａであるかどうかを判断する。ステップＳ７５で“ＹＥＳ”であれば、つまり制御データ５１４ａであれば、ステップＳ７７で、制御データに応じた処理を実行して、図１２に示すステップＳ８９に進む。たとえば、ステップＳ７７では、ＣＰＵ９７は、カメラ５６、タッチパネルコントローラ８１、各センサ８２〜８４および赤外線通信モジュール９２の各構成要素を動作させたり、動作を休止（停止）させたりする。
【０２１３】
また、ステップＳ７５で“ＮＯ”であれば、画像データおよび音声データと判断して、ステップＳ７９で、ＴＶリモコンフラグ５１８がオンであるかどうかを判断する。ステップＳ７９で“ＮＯ”であれば、つまりＴＶリモコンフラグ５１８がオフであれば、ＴＶ制御モードが設定されていないと判断して、ステップＳ８１で、端末用ゲーム音声をそのまま出力し、ステップＳ８３で、端末用ゲーム画像２５０をそのまま表示（更新）して、図１２に示すステップＳ８９に進む。
【０２１４】
一方、ステップＳ７９で“ＹＥＳ”であれば、つまりＴＶリモコンフラグがオンであれば、ＴＶ制御モードが設定されていると判断して、ステップＳ８５で、端末用ゲーム音声を、音量を低減して出力し、端末用ゲーム画像２５０をリモコン画像３００の背面に表示（更新）して、図１２に示すステップＳ８９に進む。
【０２１５】
なお、ステップＳ８１−Ｓ８７では、画像データ５１４ｂおよび音声データ５１４ｃが受信データ５１４に含まれていることを前提として説明したが、いずれか一方のみしか含まれていない場合には、ステップＳ８１−Ｓ８５の処理は適宜省略される。
【０２１６】
図１２に示すように、ステップＳ８９においては、ＴＶリモコンボタン７１が操作（オン）されたかどうかを判断する。ステップＳ８９で“ＹＥＳ”であれば、つまりＴＶリモコンボタン７１が操作されれば、図１３に示すステップＳ１０１に進む。一方、ステップＳ８９で“ＮＯ”であれば、つまりＴＶリモコンボタン７１が操作されていなければ、ステップＳ９１において、電源ボタン７２が操作されたかどうかを判断する。
【０２１７】
ステップＳ９１で“ＹＥＳ”であれば、つまり電源ボタン７２が操作されれば、図１４に示すステップＳ１１７に進む。一方、ステップＳ９１で“ＮＯ”であれば、つまり電源ボタン７２が操作されなければ、ステップＳ９３において、他のボタン（操作ボタン５４）が操作されたかどうかを判断する。
【０２１８】
ステップＳ９３で“ＮＯ”であれば、つまり他のボタンが操作されていなければ、図１５に示すステップＳ１２３に進む。一方、ステップＳ９３で“ＹＥＳ”であれば、つまり他のボタンが操作されれば、ステップＳ９５で、ＴＶリモコンフラグ５１８がオンかどうかを判断する。つまり、ＣＰＵ９７は、ＴＶ制御モードが設定されているかどうかを判断する。
【０２１９】
ステップＳ９５で“ＮＯ”であれば、つまりＴＶリモコンフラグ５１８がオフであれば、ＴＶ制御モードが設定されていないと判断して、ステップＳ９７で、他のボタンの操作に応じた端末操作データを生成および送信して、ステップＳ７３に戻る。つまり、ステップＳ９７では、ＣＰＵ９７は、ＩＥＥＥ８０２．１１ｎ規格に従う端末操作データを生成し、無線モジュール９０からアンテナ９１を介して送信する。したがって、ゲーム装置３にユーザの操作内容が入力される。これに応じて、ゲーム装置３では、上述したように、ゲーム処理などが実行される。
【０２２０】
以下、端末操作データを生成および送信する場合について同様であるが、ダミー操作データを生成および送信した場合には、上述したように、ゲーム装置３では、ダミー操作データに基づいてゲーム処理が実行されることはない。
【０２２１】
一方、ステップＳ９５で“ＹＥＳ”であれば、つまりＴＶリモコンフラグ５１８がオンであれば、ＴＶ制御モードが設定されていると判断して、ステップＳ９９において、ダミー操作データを生成および送信して、ステップＳ７３に戻る。
【０２２２】
上述したように、スリープ中でない場合に、ＴＶリモコンボタン７１が操作されると、ステップＳ８９で“ＹＥＳ”となり、図１３に示すステップＳ１０１において、ＴＶリモコンフラグ５１８がオンであるかどうかを判断する。
【０２２３】
ステップＳ１０１で“ＹＥＳ”であれば、つまりＴＶリモコンフラグ５１８がオンであれば、ステップＳ１０３で、ＴＶリモコン画像３００を閉じ、ステップＳ１０５で、ＴＶリモコンフラグ５１８をオフして、図１１に示したステップＳ７３に戻る。つまり、ＣＰＵ９７は、ＴＶ制御モードを終了する。
【０２２４】
一方、ステップＳ１０１で“ＮＯ”であれば、つまりＴＶリモコンフラグ５１８がオフであれば、ステップＳ１０７で、リモコン設定を完了しているかどうかを判断する。ここでは、ＣＰＵ９７は、フラッシュメモリ９３に、送信フォーマットデータ５１６ｃが記憶されているかどうかを判断する。
【０２２５】
ステップＳ１０７で“ＮＯ”であれば、つまりリモコン設定を完了していなければ、ステップＳ１０９で、設定催促画像をＬＣＤ５１に表示して、ステップＳ７３に戻る。図示は省略するが、上述したように、設定催促画像は数秒間表示された後に消去される。
【０２２６】
一方、ステップＳ１０７で“ＹＥＳ”であれば、つまりリモコン設定を完了していれば、ステップＳ１１１で、ＴＶリモコン用のデータをフラッシュメモリ９３から読み込む。具体的には、ＣＰＵ９７は、リモコン画像データ５１６ｂ、送信フォーマットデータ５１６ｃおよび操作音データ５２５ｄをフラッシュメモリ９３から読み出して、内部メモリ９８のデータ記領域５０４に記憶する。
【０２２７】
続いて、ステップＳ１１３においては、ステップＳ１１３で、ＴＶリモコン画像３００をＬＣＤ５１に表示する。このとき、図６（Ａ）に示したように、端末用ゲーム画像２５０の前面に、ＴＶリモコン画像３００が表示される。そして、ステップＳ１１５において、ＴＶリモコンフラグ５１８をオンして、ステップＳ７３に戻る。
【０２２８】
また、上述したように、スリープ中でない場合に、電源ボタン７２が操作されると、ステップＳ９１で“ＹＥＳ”となり、図１４に示すステップＳ１１７において、電源ボタン７２の操作に応じた端末操作データを生成および送信する。次に、ステップＳ１１９においては、ＴＶリモコンフラグ５１８がオンであるかどうかを判断する。
【０２２９】
ステップＳ１１９で“ＹＥＳ”であれば、つまりＴＶリモコンフラグ５１８がオンであれば、テレビ２の操作中である、またはテレビ２を操作する可能性があるため、そのまま図１１に示したステップＳ７３に戻る。一方、ステップＳ１１９で“ＮＯ”であれば、つまりＴＶリモコンフラグ５１８がオフであれば、ＴＶ制御モードが設定されていないと判断し、ステップＳ１２１で、入力端末装置７をスリープさせて、図１１に示したステップＳ７１に戻る。ただし、ステップＳ１２１においては、ＣＰＵ９７の指示によって、ＵＩコントローラ８５、コーデックＬＳＩ８６および無線モジュール９０への電源供給は継続され、他の回路コンポーネントへの電源供給は停止される。
【０２３０】
上述したように、スリープ中でない場合に、操作ボタン５４、ＴＶリモコンボタン７１および電源ボタン７２が操作されなければ、ステップＳ９３で“ＮＯ”となり、図１５に示すステップＳ１２３において、タッチ入力があるかどうかを判断する。
【０２３１】
ステップＳ１２３で“ＮＯ”であれば、つまりタッチ入力が無ければ、そのままステップＳ７３に戻る。ただし、図示は省略するが、入力端末装置７において、カメラ画像が撮像されたり、音声が検出されたりしている場合には、ステップＳ１２３で“ＮＯ”である場合には、カメラ画像データや音声データをゲーム装置３に送信した後に、ステップＳ７３に戻る。一方、ステップＳ１２３で“ＹＥＳ”であれば、つまりタッチ入力があれば、ステップＳ１２５において、ＴＶリモコンフラグ５１８がオンであるかどうかを判断する。
【０２３２】
ステップＳ１２５で“ＮＯ”であれば、つまりＴＶリモコンフラグ５１８がオフであれば、タッチ操作に応じた端末操作データを生成および送信して、図１１に示したステップＳ７３に戻る。一方、ステップＳ１２５で“ＹＥＳ”であれば、つまりＴＶリモコンフラグ５１８がオンであれば、ステップＳ１２９で、操作内容を特定する。ここでは、ＣＰＵ９７は、タッチ位置データに基づいて、タッチ操作されたボタン画像（３０２ａ−３０２ｆ）を特定し、特定したボタン画像（３０２ａ−３０２ｆ）に割り当てられた操作内容を特定する。したがって、操作内容に対応する操作内容データ５１６ａがデータ記憶領域５０４に記憶される。
【０２３３】
続くステップＳ１３１においては、ボタン画像（３０２ａ−３０２ｆ）の操作に応じた操作音を出力する。つまり、ＣＰＵ９７は、ボタン画像（３０２ａ−３０２ｆ）の操作に応じて、操作音データ５１６ｄを出力する。
【０２３４】
次のステップＳ１３３においては、ＴＶリモコンの終了かどうかを判断する。ここでは、ＣＰＵ９７は、ステップＳ１２９で特定された操作内容が、ＴＶリモコン画像３００を閉じることであるかどうかを判断するのである。
【０２３５】
ステップＳ１３３で“ＮＯ”であれば、つまりＴＶリモコンの終了でなければ、ステップＳ１３５で、タッチ操作に応じたリモコン操作データを、送信フォーマットデータ５１６ｃに従って生成および送信し、ステップＳ１３７においては、ダミー操作データを生成および送信して、図１１に示したステップＳ７３に戻る。
【０２３６】
ただし、ステップＳ１３５では、リモコンＩＣ１００は、ＣＰＵ９７の指示の下、送信フォーマットデータ５１６ｃに従って、操作内容データ５１６ａをコード化したリモコン操作データを生成し、赤外ＬＥＤ１０１から出力する。したがって、赤外線によるリモコン操作データが送信される。
【０２３７】
一方、ステップＳ１３３で“ＹＥＳ”であれば、ＴＶリモコンの終了であれば、ステップＳ１３９で、ＴＶリモコン画像３００を閉じて、ステップＳ１４１で、ＴＶリモコンフラグ５１８をオフして、図１１に示したステップＳ７３に戻る。ステップＳ１３９の処理によって、入力端末装置７は、ゲーム装置３に端末操作データを送信（入力）可能なモードに設定（移行）される。つまり、ゲーム装置３で実行されるゲーム（アプリケーション）に対して入力可能なモード（アプリケーションモード）に設定される。
【０２３８】
また、上述したように、スリープ中である場合には、ステップＳ７１で“ＹＥＳ”となり、図１６に示すステップＳ１４３において、電源オンの制御データ５１４ａを受信したかどうかを判断する。
【０２３９】
なお、これ以降では、ステップＳ７１−Ｓ１４１までに説明した処理と同じ処理については、簡単に説明することにする。
【０２４０】
ステップＳ１４３で“ＹＥＳ”であれば、つまり起動（電源オン）の動作データを受信すれば、ステップＳ１４５で、入力端末装置７を起動して、図１１に示したステップＳ７３に戻る。一方、ステップＳ１４３で“ＮＯ”であれば、つまり起動の動作データを受信していなければ、ステップＳ１４７で、ＴＶリモコンボタン７１が操作されたかどうかを判断する。ステップＳ１４７で“ＹＥＳ”であれば、ステップＳ１４９で、入力端末装置７を起動する。
【０２４１】
次のステップＳ１５１では、リモコン設定を完了しているかどうかを判断する。ステップＳ１５１で“ＮＯ”であれば、ステップＳ１５３で、設定催促画像をＬＣＤ５１に表示して、図１１に示したステップＳ７３に戻る。一方、ステップＳ１５１で“ＹＥＳ”であれば、ステップＳ１５５で、ＴＶリモコン用のデータを読み込む。そして、ステップＳ１５７において、ＴＶリモコン画像３００をＬＣＤ５１に表示し、ステップＳ１５９において、ＴＶリモコンフラグ５１８をオンして、図１１に示したステップＳ７３に戻る。
【０２４２】
また、ステップＳ１４７で“ＮＯ”であれば、ステップＳ１６１において、電源ボタン７２が操作されたかどうかを判断する。ステップＳ１６１で“ＮＯ”であれば、図１１に示したステップＳ７１に戻る。一方、ステップＳ１６１で“ＹＥＳ”であれば、ステップＳ１６３で、入力端末装置７を起動し、ステップＳ１６５で、電源ボタン７２の操作に応じた端末操作データを生成および送信して、ステップＳ７３に戻る。
【０２４３】
なお、図示は省略したが、入力端末装置７は、ゲーム装置３から停止の動作データを受信すると、ＴＶ制御モードが設定されていない場合には、スリープの状態となる。一方、ＴＶ制御モードが設定されている場合には、入力端末装置７は、スリープの状態にならず、ＴＶ制御モードが継続される。
【０２４４】
この実施形態によれば、所定の入力がある場合に、ゲーム装置に対して入力可能なモードと、テレビを制御可能なモードとを切り替えるので、当該テレビに付属のリモコンに持ち替える必要がない。
【０２４５】
また、この実施形態によれば、入力端末装置がテレビのリモコン装置としても機能する場合であっても、ゲーム装置はアプリケーションの処理を中断または停止する必要がないため、アプリケーションの処理を継続したままで、テレビを操作することができる。
【０２４６】
さらに、この実施形態によれば、ゲーム装置の操作データと、テレビの操作データとは異なる通信形式であるため、ゲーム装置やテレビを誤って操作することがない。
【０２４７】
なお、上述の実施形態においては、ゲーム装置とは異なる制御対象機器としてテレビを制御する場合について説明したが、これに限定される必要はない。たとえば、エアコン、オーディオ、シーリングライトなどの遠隔操作可能な機器を制御対象機器することができる。ただし、各機器に応じた送信フォーマットデータを端末装置に登録（記憶）する必要がある。
【０２４８】
また、この実施形態では、制御対象機器への操作データを赤外線信号で送信する場合について説明したが、これに限定される必要はない。Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）などの他の形式で操作データを制御対象機器に送信するようにしてもよい。ただし、ゲーム装置への操作データと同一の形式となる場合には、使用する周波数帯を互いに異なるように設定する必要がある。
【０２４９】
さらに、上述の実施形態においては、ＴＶリモコン画像を表示して、タッチ操作によってテレビを操作（制御）するようにしたが、これに代えて、または、これとともに、操作ボタン５４を用いてテレビを操作するようにしてもよい。
【０２５０】
さらに、上述の実施形態においては、ＴＶリモコンボタンのような専用のボタンを端末装置に設けて、このボタンがオンされた場合にＴＶ制御モードを設定するようにしたが、これに限定される必要はない。専用のボタンがオンされる場合と同様に、所定の入力を検知した場合に、ＴＶ制御モードを設定するようにしてもよい。
【０２５１】
たとえば、入力端末装置は、マイク、カメラ、加速度センサ、ジャイロセンサ等のような種々のセンサを備えるため、音を検出したり、画像認識したり、明るさ（輝度）を検出したり、加速度を検出したり、角速度を検出したりして、所定の入力があるかどうかを判断することができる。そして、所定の音量以上の音（音声）を検出したり、所定の顔画像を検出（認識）したり、所定の輝度以上の光を検出したり、加速度や角速度の変化で入力端末装置の姿勢や移動ないし振動を検出したり、専用のボタン以外の他のボタンの複合的な操作などを検出したりした場合に、所定の入力があると判断することができる。
【０２５２】
また、上述の実施形態は、図１１−図１６に示した制御処理が複数のコンピュータ等によって分散処理されるような制御システムにも適用可能である。
【０２５３】
さらに、上述の実施形態においては、据置型のゲーム装置と共に用いられる入力端末装置を例として説明したが、本明細書に記載の操作装置の構成は、ユーザが把持して使用する任意の装置に適用することが可能である。たとえば、操作装置は、携帯ゲーム機、フィーチャーフォン（フューチャーフォン）、スマートフォン、および電子書籍端末等の情報端末として実現されてもよい。
【符号の説明】
【０２５４】
１ …ゲームシステム
２ …テレビ
３ …ゲーム装置
４ …光ディスク
５ …コントローラ
７ …入力端末装置
１０ …ＣＰＵ
１１ｅ …内部メインメモリ
１２ …外部メインメモリ
５１ …ＬＣＤ
５２ …タッチパネル
５３ …アナログスティック
５４ …操作ボタン
５６ …カメラ
５９ …庇部
７１ …ＴＶリモコンボタン
７２ …電源ボタン
８２ …磁気センサ
８３ …加速度センサ
８４ …ジャイロセンサ
【特許請求の範囲】
【請求項１】
入力端末装置からの入力に基づいてアプリケーションを実行する情報処理装置における当該入力端末装置の制御プログラムであって、
前記入力端末装置のコンピュータを、
所定の入力が有るかどうかを判断する入力判断部と、
前記入力判断部によって所定の入力があると判断されたとき、前記アプリケーションを実行する前記情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるモード設定部として機能させる、制御プログラム。
【請求項２】
前記入力端末装置は、操作情報を入力するため操作手段を備え、
前記アプリケーションモードのとき、前記操作情報に対応するアプリケーション操作データを生成するアプリケーション操作データ生成部と、
前記アプリケーション操作データを、前記情報処理装置に送信するアプリケーション操作データ送信部と、
前記機器制御モードであるとき、前記操作情報に基づき前記制御対象機器に対応した機器操作データを生成する機器操作データ生成部と、
前記機器操作データを、前記制御対象機器に送信する機器操作データ送信部として前記コンピュータをさらに機能させる、請求項１記載の制御プログラム。
【請求項３】
前記モード設定部において前記機器制御モードを設定したとき、前記アプリケーション操作データに対応し、前記操作情報に基づかない所定のダミー操作データを生成するダミー操作データ生成部と、
前記ダミー操作データを、前記情報処理装置に送信するダミー操作データ送信部として前記コンピュータをさらに機能させる、請求項２記載の制御プログラム。
【請求項４】
前記アプリケーション操作データ生成部において生成するアプリケーション操作データと、前記機器操作データ生成部において生成する機器操作データとは異なる形式のデータである、請求項２または３記載の制御プログラム。
【請求項５】
前記アプリケーション操作データ送信部は、前記アプリケーション操作データを、第１送信手段を用いて前記情報処理装置に送信し、
前記機器操作データ送信部は、前記機器操作データを、前記第１送信手段とは異なる第２送信手段を用いて前記制御対象機器に送信する、請求項２ないし４のいずれかに記載の制御プログラム。
【請求項６】
前記制御対象機器の種類を選択する機器選択部として前記コンピュータをさらに機能させ、
前記機器操作データ生成部は、前記機器選択部において選択された前記制御対象機器の種類に応じて前記機器操作データを生成する、請求項２ないし５のいずれかに記載の制御プログラム。
【請求項７】
前記入力端末装置は、前記所定の入力をさせるための所定入力手段を備え、
前記所定入力手段が操作されることに応じて、前記入力判断部は前記所定の入力が有ると判断し、
前記モード設定部は、前記入力判断部によって所定の入力が有ると判断されたときに前記機器制御モードを設定し、当該機器制御モードが設定されているときに、前記所定の入力が有ると判断されたときに当該機器制御モードを終了する、請求項１ないし６のいずれかに記載の制御プログラム。
【請求項８】
前記情報処理装置から画像データを受信して、当該画像データに対応する画像を表示手段に表示する受信画像表示部と、
前記モード設定部において前記機器制御モードを設定したとき、前記表示手段に表示される画像の前面に、前記制御対象機器の操作画像を表示する操作画像表示部として前記コンピュータを機能させる、請求項１ないし７のいずれかに記載の制御プログラム。
【請求項９】
前記情報処理装置からの音声データを受信して、当該音声データに対応する音声をスピーカから出力する音声出力部として前記コンピュータをさらに機能させ、
前記モード設定部において機器制御モードを設定したとき、前記音声出力部は、前記情報処理装置からの音声データに対応する音声の音量を低減させる、請求項１ないし８のいずれかに記載の制御プログラム。
【請求項１０】
前記アプリケーションは、ゲームアプリケーションを含む、請求項１ないし９のいずれかに記載の制御プログラム。
【請求項１１】
前記入力端末装置は、前記情報処理装置の電源を制御するための電源制御情報を入力するための電源操作手段をさらに備え、
前記電源操作手段によって電源制御情報が入力されたとき、前記機器制御モードを設定しているか否かに拘わらず、電源制御情報についての電源制御データを生成する電源制御データ生成部と、
前記電源制御データ生成部において生成された電源制御データを、前記情報処理装置に送信する電源制御データ送信部として前記コンピュータをさらに機能させる、請求項１ないし１０のいずれかに記載の制御プログラム。
【請求項１２】
アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御プログラムであって、
前記入力端末装置は、前記情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンを備え、
前記入力端末装置のコンピュータを、
前記専用ボタンが操作されたかどうかを判断する入力判断部と、
前記入力判断部において前記専用ボタンが操作されたことが判断されたとき、前記情報処理装置の起動の有無に拘わらず、前記機器制御モードを設定するモード設定部として機能させる、制御プログラム。
【請求項１３】
アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置であって、
所定の入力が有るかどうかを判断する入力判断部と、
前記入力判断部において所定の入力があると判断されたとき、前記アプリケーションを実行する前記情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるモード設定部を備える、入力端末装置。
【請求項１４】
アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置であって、
前記情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンと、
前記専用ボタンが操作されたかどうかを判断する入力判断部と、
前記入力判断部において前記専用ボタンが操作されたことが判断されたとき、前記情報処理装置の起動の有無に拘わらず、前記機器制御モードを設定するモード設定部を備える、入力端末装置。
【請求項１５】
アプリケーションを実行する情報処理装置に対して入力を行う制御システムであって、
所定の入力が有るかどうかを判断する入力判断部と、
前記入力判断部において所定の入力があると判断されたとき、前記アプリケーションを実行する前記情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるモード設定部を備える、制御システム。
【請求項１６】
アプリケーションを実行する情報処理装置に対して入力を行う制御システムであって、
前記情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンと、
前記専用ボタンが操作されたかどうかを判断する入力判断部と、
前記入力判断部において前記専用ボタンが操作されたことが判断されたとき、前記情報処理装置の起動の有無に拘わらず、前記機器制御モードを設定するモード設定部を備える、制御システム。
【請求項１７】
アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御方法であって、
前記入力端末装置のコンピュータは、
（ａ）所定の入力が有るかどうかを判断し、そして
（ｂ）前記ステップ（ａ）において所定の入力があると判断されたとき、前記アプリケーションを実行する前記情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替える、制御方法。
【請求項１８】
アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御方法であって
前記入力端末装置は、前記情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンを備え、
前記入力端末装置のコンピュータは、
（ａ）前記専用ボタンが操作されたかどうかを判断し、
（ｂ）前記ステップ（ａ）において前記専用ボタンが操作されたことが判断されたとき、前記情報処理装置の起動の有無に拘わらず、前記機器制御モードを設定する、制御方法。
【請求項１】
入力端末装置からの入力に基づいてアプリケーションを実行する情報処理装置における当該入力端末装置の制御プログラムであって、
前記入力端末装置のコンピュータを、
所定の入力が有るかどうかを判断する入力判断部と、
前記入力判断部によって所定の入力があると判断されたとき、前記アプリケーションを実行する前記情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるモード設定部として機能させる、制御プログラム。
【請求項２】
前記入力端末装置は、操作情報を入力するため操作手段を備え、
前記アプリケーションモードのとき、前記操作情報に対応するアプリケーション操作データを生成するアプリケーション操作データ生成部と、
前記アプリケーション操作データを、前記情報処理装置に送信するアプリケーション操作データ送信部と、
前記機器制御モードであるとき、前記操作情報に基づき前記制御対象機器に対応した機器操作データを生成する機器操作データ生成部と、
前記機器操作データを、前記制御対象機器に送信する機器操作データ送信部として前記コンピュータをさらに機能させる、請求項１記載の制御プログラム。
【請求項３】
前記モード設定部において前記機器制御モードを設定したとき、前記アプリケーション操作データに対応し、前記操作情報に基づかない所定のダミー操作データを生成するダミー操作データ生成部と、
前記ダミー操作データを、前記情報処理装置に送信するダミー操作データ送信部として前記コンピュータをさらに機能させる、請求項２記載の制御プログラム。
【請求項４】
前記アプリケーション操作データ生成部において生成するアプリケーション操作データと、前記機器操作データ生成部において生成する機器操作データとは異なる形式のデータである、請求項２または３記載の制御プログラム。
【請求項５】
前記アプリケーション操作データ送信部は、前記アプリケーション操作データを、第１送信手段を用いて前記情報処理装置に送信し、
前記機器操作データ送信部は、前記機器操作データを、前記第１送信手段とは異なる第２送信手段を用いて前記制御対象機器に送信する、請求項２ないし４のいずれかに記載の制御プログラム。
【請求項６】
前記制御対象機器の種類を選択する機器選択部として前記コンピュータをさらに機能させ、
前記機器操作データ生成部は、前記機器選択部において選択された前記制御対象機器の種類に応じて前記機器操作データを生成する、請求項２ないし５のいずれかに記載の制御プログラム。
【請求項７】
前記入力端末装置は、前記所定の入力をさせるための所定入力手段を備え、
前記所定入力手段が操作されることに応じて、前記入力判断部は前記所定の入力が有ると判断し、
前記モード設定部は、前記入力判断部によって所定の入力が有ると判断されたときに前記機器制御モードを設定し、当該機器制御モードが設定されているときに、前記所定の入力が有ると判断されたときに当該機器制御モードを終了する、請求項１ないし６のいずれかに記載の制御プログラム。
【請求項８】
前記情報処理装置から画像データを受信して、当該画像データに対応する画像を表示手段に表示する受信画像表示部と、
前記モード設定部において前記機器制御モードを設定したとき、前記表示手段に表示される画像の前面に、前記制御対象機器の操作画像を表示する操作画像表示部として前記コンピュータを機能させる、請求項１ないし７のいずれかに記載の制御プログラム。
【請求項９】
前記情報処理装置からの音声データを受信して、当該音声データに対応する音声をスピーカから出力する音声出力部として前記コンピュータをさらに機能させ、
前記モード設定部において機器制御モードを設定したとき、前記音声出力部は、前記情報処理装置からの音声データに対応する音声の音量を低減させる、請求項１ないし８のいずれかに記載の制御プログラム。
【請求項１０】
前記アプリケーションは、ゲームアプリケーションを含む、請求項１ないし９のいずれかに記載の制御プログラム。
【請求項１１】
前記入力端末装置は、前記情報処理装置の電源を制御するための電源制御情報を入力するための電源操作手段をさらに備え、
前記電源操作手段によって電源制御情報が入力されたとき、前記機器制御モードを設定しているか否かに拘わらず、電源制御情報についての電源制御データを生成する電源制御データ生成部と、
前記電源制御データ生成部において生成された電源制御データを、前記情報処理装置に送信する電源制御データ送信部として前記コンピュータをさらに機能させる、請求項１ないし１０のいずれかに記載の制御プログラム。
【請求項１２】
アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御プログラムであって、
前記入力端末装置は、前記情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンを備え、
前記入力端末装置のコンピュータを、
前記専用ボタンが操作されたかどうかを判断する入力判断部と、
前記入力判断部において前記専用ボタンが操作されたことが判断されたとき、前記情報処理装置の起動の有無に拘わらず、前記機器制御モードを設定するモード設定部として機能させる、制御プログラム。
【請求項１３】
アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置であって、
所定の入力が有るかどうかを判断する入力判断部と、
前記入力判断部において所定の入力があると判断されたとき、前記アプリケーションを実行する前記情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるモード設定部を備える、入力端末装置。
【請求項１４】
アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置であって、
前記情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンと、
前記専用ボタンが操作されたかどうかを判断する入力判断部と、
前記入力判断部において前記専用ボタンが操作されたことが判断されたとき、前記情報処理装置の起動の有無に拘わらず、前記機器制御モードを設定するモード設定部を備える、入力端末装置。
【請求項１５】
アプリケーションを実行する情報処理装置に対して入力を行う制御システムであって、
所定の入力が有るかどうかを判断する入力判断部と、
前記入力判断部において所定の入力があると判断されたとき、前記アプリケーションを実行する前記情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替えるモード設定部を備える、制御システム。
【請求項１６】
アプリケーションを実行する情報処理装置に対して入力を行う制御システムであって、
前記情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンと、
前記専用ボタンが操作されたかどうかを判断する入力判断部と、
前記入力判断部において前記専用ボタンが操作されたことが判断されたとき、前記情報処理装置の起動の有無に拘わらず、前記機器制御モードを設定するモード設定部を備える、制御システム。
【請求項１７】
アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御方法であって、
前記入力端末装置のコンピュータは、
（ａ）所定の入力が有るかどうかを判断し、そして
（ｂ）前記ステップ（ａ）において所定の入力があると判断されたとき、前記アプリケーションを実行する前記情報処理装置に対して入力可能なアプリケーションモードと、少なくとも、当該情報処理装置とは異なる制御対象機器を制御可能な機器制御モードとを切り替える、制御方法。
【請求項１８】
アプリケーションを実行する情報処理装置に対して入力を行う入力端末装置の制御方法であって
前記入力端末装置は、前記情報処理装置とは異なる制御対象機器を制御可能な機器制御モードを設定するための専用ボタンを備え、
前記入力端末装置のコンピュータは、
（ａ）前記専用ボタンが操作されたかどうかを判断し、
（ｂ）前記ステップ（ａ）において前記専用ボタンが操作されたことが判断されたとき、前記情報処理装置の起動の有無に拘わらず、前記機器制御モードを設定する、制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−１０２３５９（Ｐ２０１３−１０２３５９Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４５０９５（Ｐ２０１１−２４５０９５）
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
[ Back to top ]