入力装置および情報処理システム
【構成】 ゲームシステム１０はゲーム装置１２およびコントローラ２２を含み、コントローラ２２には付属装置３６が装着される。コントローラ２２は、モニタ３４上に配置されたマーカ３４０ｍ、３４０ｎから出力される赤外光を含む画像を付属装置３６に内蔵されるハーフミラー（３６０ｆ）を通して撮影する。また、コントローラ２２は、タッチパネル（３６０ｂ）を介し、ハーフミラー（３６０ｆ）で反射されたペン入力装置３８からの赤外光を含む画像を撮影する。前者の場合、コントローラ２２は座標を直接入力する入力装置として機能し、後者の場合、コントローラ２２はペンタブレットとして機能する。
【効果】 撮像装置を有するコントローラを、座標を直接入力する入力装置およびペンタブレットとして使用することができる。
【効果】 撮像装置を有するコントローラを、座標を直接入力する入力装置およびペンタブレットとして使用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は入力装置および情報処理システムに関し、特にたとえば、撮像装置を備える、入力装置および情報処理システムに関する。
【背景技術】
【０００２】
この種の情報処理システムの一例が特許文献１に開示されている。特許文献１の情報処理システムでは、モニタ付近に配置された２つのＬＥＤモジュールから出力される赤外線を、コントローラの先端部に設けた撮像情報演算処理ユニットの撮像装置によって撮像する。撮像情報演算処理ユニットの画像処理回路は、その赤外線を含む撮影画像を処理することによって、２つのＬＥＤモジュールの位置や面積情報を高輝度点の情報として取得する。高輝度点の位置や大きさのデータがコントローラからゲーム機に送信され、ゲーム機で受信される。プレイヤがコントローラを動かすと、高輝度点の位置や大きさのデータが変化するため、それを利用して、ゲーム機はコントローラの動きに対応した操作信号を取得して、たとえば、画面内における、座標の直接入力や回転の入力が可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２００７−８３０２４号［G06F 13/06,H01H 9/02］
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の情報処理システムでは、撮像装置を設けたコントローラを、座標の直接入力や回転の入力にしか使用していないため、他の用途について開発する余地があった。
【０００５】
それゆえに、この発明の主たる目的は、新規な、入力装置および情報処理システムを提供することである。
【０００６】
また、この発明の他の目的は、撮像装置を有効に利用できる、入力装置および情報処理システムを提供することである。
【課題を解決するための手段】
【０００７】
第１の発明は、情報処理装置にデータを送信する入力装置である。この入力装置は、撮像装置と、撮像装置によって撮影された画像内の高輝度部分の位置を算出する位置算出部と、高輝度部分の位置に関するデータを送信する送信部と、撮像装置の撮像方向に設けられ、当該撮像方向の光を透過するとともに、当該撮像方向とは異なる方向の光を当該撮像装置に向けて反射するハーフミラーと、ハーフミラーに向けて光を入射させることが可能な位置に設けられ、少なくとも、第１光源を有する入力部を通して入力可能なパネルを備える。
【０００８】
第１の発明によれば、撮像方向の光を含む画像と撮像方向とは異なる方向の光を含む画像とを撮像するので、各方向について撮像画像内の光に対応する高輝度部分の位置をそれぞれ算出することができる。したがって、入力装置に設けられる撮像装置を有効に利用した入力装置を提供することができる。
【０００９】
第２の発明は、第１の発明に従属し、ハーフミラーとパネルとの間の特定の位置に配置される第２光源をさらに備える。たとえば、第２光源は、ペンや指がパネルに触れた場合に光を発光し、ペンや指がパネルに触れていない場合に光を発光しない。
【００１０】
第２の発明によれば、第２光源の光を含む画像を撮像することにより、ペンや指がパネルに触れているか否かを判断することができる。
【００１１】
第３の発明は、第２の発明に従属し、パネルへの接触を検出する検出部をさらに備える。たとえば、第２光源は、検出部によってパネルへの接触が検出されたときに発光する。また、第２光源は、検出部によってパネルへの接触が検出されてないときに発光しない。
【００１２】
第３の発明によれば、検出部を備えるので、ペンや指がパネルに触れたかどうかに応じて、容易に第２光源を発光および消灯させることができる。
【００１３】
第４の発明は、パネルおよび検出部は、タッチパネルである。したがって、ペンや指がタッチパネルに触れると、タッチパネルから接触を示す信号が出力される。
【００１４】
第４の発明によれば、タッチパネルから出力される信号を利用して、第２光源を発光させることができる。
【００１５】
第５の発明は、第４の発明に従属し、撮像装置と、位置算出部と、送信部を含む第１ユニットと、第１ユニットに着脱可能に取り付けられ、ハーフミラーと、パネルと、検出部と、第２光源とを含む第２ユニットによって構成される。
【００１６】
第５の発明によれば、第１ユニットと第２ユニットとは着脱可能に設けられるため、使用態様に応じて、入力装置の構成を容易に変化させることができる。
【００１７】
第６の発明は、第１の発明に従属し、パネルの大きさは、撮像装置（撮像素子）の画角に基づいて決定される。
【００１８】
第６の発明によれば、撮像装置の画角に基づいてパネルの大きさが決定されるので、たとえば、撮影装置で撮影可能な範囲と同じ大きさ（範囲）のパネルを設けることができる。つまり、必要以上に大きなパネルを設けることが無く、また、操作入力の範囲をいたずらに狭くするようなパネルを設けることも無い。
【００１９】
第７の発明は、第１ないし第６の発明のいずれかに記載の入力装置と、入力装置からのデータを受信して情報処理を実行する情報処理装置を備える、情報処理システムである。情報処理装置は、送信部によって送信された位置に関するデータを受信する受信部と、受信部によって受信された位置に関するデータに従う位置を特定し、第２光源からの光の有無を判定する判定部と、判定部によって第２光源からの光が有ることが判定された場合に、位置に関するデータに基づく第１情報処理を実行する第１情報処理部と、判定部によって第２光源からの光が無いことが判定された場合に、位置に関するデータに基づき、第１情報処理とは異なる第２情報処理を実行する第２情報処理部を備える。したがって、たとえば、情報処理装置は、ペンや指がパネルに触れている場合と、ペンや指がパネルに触れていない場合とで、異なる情報処理を実行する。
【００２０】
第７の発明によれば、第２光源からの光の有無に応じて異なる情報処理を実行するので、第１の発明と同様に、撮像装置を有効に用いることができる。
【００２１】
第８の発明は、第７の発明に従属し、所定の位置に配置される第３光源、および第１情報処理部によって第１情報処理が実行されるとき、第３光源を消灯させる光源制御部をさらに備える。したがって、第１情報処理部は、第１光源に基づいて、第１情報処理を実行する。また、たとえば、第２情報処理部は、第３光源に基づいて、第２情報処理を実行する。
【００２２】
第８の発明によれば、第１情報処理を実行する場合には、第３光源を消灯させるので、無駄な消費電力を削減することができる。
【発明の効果】
【００２３】
この発明によれば、撮像方向の光を含む画像と撮像方向とは異なる方向の光を含む画像とを撮像するので、各方向について撮像画像内の光に対応する高輝度部分の位置をそれぞれ算出することができる。したがって、入力装置に設けられる撮像装置を有効に利用した入力装置を提供することができる。
【００２４】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２５】
【図１】図１はこの発明のゲームシステムの一実施例を示す図解図である。
【図２】図２は図１に示すゲームシステムの電気的な構成を示すブロック図である。
【図３】図３は図１に示すコントローラの外観を説明するための図解図である。
【図４】図４は図３に示すコントローラの電気的な構成を示すブロック図である。
【図５】図５は図１に示すコントローラを用いて仮想ゲームをプレイするときの状態を概説するための図解図である。
【図６】図６は図１に示すマーカおよびコントローラの視野角を説明するための図解図である。
【図７】図７は対象画像を含む撮像画像の一例を示す図解図である。
【図８】図８は図１に示すコントローラに着脱可能な付属装置の外観構成を示す斜視図である。
【図９】図９は図１に示すコントローラに着脱可能な付属装置の正面図である。
【図１０】図１０は付属装置の内部構造と、この付属装置を装着したコントローラの使用態様とを説明するための図解図である。
【図１１】図１１は付属装置に設けられるタッチパネルの領域およびそれに対応する撮像画像における領域を説明するための図解図である。
【発明を実施するための形態】
【００２６】
図１を参照して、この発明の情報処理システムの一実施例であるゲームシステム１０は、ビデオゲーム装置（以下、単に「ゲーム装置」という）１２およびコントローラ２２を含む。なお、図示は省略するが、この実施例のゲーム装置１２は、最大４つのコントローラ２２と通信可能に設計されている。また、ゲーム装置１２と各コントローラ２２とは、無線によって接続される。たとえば、無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に従って実行されるが、赤外線や無線ＬＡＮなど他の規格に従って実行されてもよい。さらには、有線で接続されてもよい。ただし、図１に示すように、コントローラ２２には、付属装置３６が装着されている。この付属装置３６は、コントローラ２２に着脱可能である。また、ゲームシステム１０では、付属装置３６を通して入力を行うためのペン型の入力装置（ペン入力装置）３８が設けられる。
【００２７】
ゲーム装置１２は、略直方体のハウジング１４を含み、ハウジング１４の前面にはディスクスロット１６が設けられる。ディスクスロット１６から、ゲームプログラム等を記憶した情報記憶媒体の一例である光ディスク１８が挿入されて、ハウジング１４内のディスクドライブ５４（図２参照）に装着される。図示は省略するが、ディスクスロット１６の周囲には、ＬＥＤと導光板とが配置され、様々な処理に応答させて、ディスクスロット１６を点灯または点滅させることが可能である。
【００２８】
また、ゲーム装置１２のハウジング１４の前面であり、その上部には、電源ボタン２０ａおよびリセットボタン２０ｂが設けられ、その下部には、イジェクトボタン２０ｃが設けられる。さらに、リセットボタン２０ｂとイジェクトボタン２０ｃとの間であり、ディスクスロット１６の近傍には、外部メモリカード用コネクタカバー２８が設けられる。この外部メモリカード用コネクタカバー２８の内側には、外部メモリカード用コネクタ６２（図２参照）が設けられ、図示しない外部メモリカード（以下、単に「メモリカード」という）が挿入される。メモリカードは、光ディスク１８から読み出したゲームプログラム等をローディングして一時的に記憶したり、このゲームシステム１０を利用してプレイしたゲームのゲームデータ（ゲームの結果データまたは途中データ）を保存（セーブ）しておいたりするために利用される。ただし、上記のゲームデータの保存は、メモリカードに対して行うことに代えて、たとえばゲーム装置１２の内部に設けられるフラッシュメモリ４４（図２参照）のような内部メモリに対して行うようにしてもよい。また、メモリカードは、内部メモリのバックアップメモリとして用いるようにしてもよい。さらに、ゲーム装置１２では、ゲーム以外の他のアプリケーションを実行することも可能であり、かかる場合には、メモリカードには当該他のアプリケーションのデータを保存することができる。
【００２９】
なお、メモリカードとしては、汎用のＳＤカードを用いることができるが、メモリスティックやマルチメディアカード（登録商標）のような他の汎用のメモリカードを用いることもできる。
【００３０】
図１では省略するが、ゲーム装置１２のハウジング１４の後面には、ＡＶケーブルコネクタ５８（図２参照）が設けられ、そのＡＶコネクタ５８を用いて、ＡＶケーブル３２ａを通してゲーム装置１２にモニタ３４およびスピーカ３４ａを接続する。このモニタ３４およびスピーカ３４ａは典型的にはカラーテレビジョン受像機であり、ＡＶケーブル３２ａによって、ゲーム装置１２からの映像信号がカラーテレビのビデオ入力端子に入力され、ゲーム装置１２からの音声信号が音声入力端子に入力される。したがって、カラーテレビ（モニタ）３４の画面上にたとえば３次元（３Ｄ）ビデオゲームのゲーム画像が表示され、左右のスピーカ３４ａからゲーム音楽や効果音などのステレオゲーム音声が出力される。また、モニタ３４の周辺（この実施例では、モニタ３４の上側）には、２つの赤外ＬＥＤ（マーカ）３４０ｍ，３４０ｎを備えるマーカ部３４ｂが設けられる。このマーカ部３４ｂは、電源ケーブル３２ｂを通してゲーム装置１２に接続される。したがって、マーカ部３４ｂには、ゲーム装置１２から電源が供給される。これによって、マーカ３４０ｍ，３４０ｎは発光し、それぞれモニタ３４の前方に向けて赤外光を出力する。
【００３１】
なお、ゲーム装置１２の電源は、一般的なＡＣアダプタ（図示せず）によって与えられる。ＡＣアダプタは家庭用の標準的な壁ソケットに差し込まれ、ゲーム装置１２は、家庭用電源（商用電源）を、駆動に適した低いＤＣ電圧信号に変換する。他の実施例では、電源としてバッテリが用いられてもよい。
【００３２】
このゲームシステム１０において、ユーザまたはプレイヤがゲーム（またはゲームに限らず、他のアプリケーション）をプレイするために、ユーザはまずゲーム装置１２の電源をオンし、次いで、ユーザはビデオゲーム（もしくはプレイしたいと思う他のアプリケーション）のプログラムを記録している適宜の光ディスク１８を選択し、その光ディスク１８をゲーム装置１２のディスクドライブ５４にローディングする。応じて、ゲーム装置１２がその光ディスク１８に記録されているプログラムに基づいてビデオゲームもしくは他のアプリケーションを実行し始めるようにする。ユーザはゲーム装置１２に入力を与えるためにコントローラ２２を操作する。たとえば、入力手段２６のどれかを操作することによってゲームもしくは他のアプリケーションをスタートさせる。また、入力手段２６に対する操作以外にも、コントローラ２２自体を動かすことによって、動画オブジェクト（プレイヤオブジェクト）を異なる方向に移動させ、または３Ｄのゲーム世界におけるユーザの視点（カメラ位置）を変化させることができる。また、後述するように、付属装置３６を装着した状態で、光源３８ａを備えるペン入力装置３８を用いることにより、パネル（この実施例では、タッチパネル３６０ｂ）上で、文字、図形、記号、画像など（以下、これらをまとめて「文字等」ということがある）が描画されると、描画された文字等に従う所定の情報処理を実行することができる。
【００３３】
たとえば、所定の情報処理としては、付属装置３６の装着されたコントローラ２２を用いて、ペン入力装置３８を用いて文字等を描画すると、描画した文字等は、モニタ３４に表示される。したがって、たとえば字の練習をしたりお絵かきしたりするアプリケーションを実行することができる。また、ゲーム装置１２が電子メール機能やメッセージの送受信機能を備える場合には、送信メールや送信メッセージの件名や本文を入力するような所定の情報処理を実行することができる。さらに、ゲーム装置１２によって、アクションゲームのアプリケーションソフトを実行している場合には、文字等を入力することにより、プレイヤキャラクタに任意のアクションを実行させたり、コマンドを入力したりするような所定の情報処理が実行される。
【００３４】
これらは単なる例示であり、限定的に解釈されるべきではない。コントローラ２２に付属装置３６を装着することにより、ペン入力装置３８を用いた入力が可能である点に着目されたい。
【００３５】
ただし、ビデオゲームや他のアプリケーションのプログラムは、ゲーム装置１２の内部メモリ（フラッシュメモリ４２（図２参照））に記憶（インストール）しておき、当該内部メモリから実行するようにしてもよい。かかる場合には，光ディスク１８のような記憶媒体に記憶されたプログラムを内部メモリにインストールしてもよいし、ダウンロードされたプログラムを内部メモリにインストールしてもよい。
【００３６】
図２は図１実施例のゲームシステム１０の電気的な構成を示すブロック図である。図示は省略するが、ハウジング１４内の各コンポーネントは、プリント基板に実装される。図２に示すように、ゲーム装置１２には、ＣＰＵ４０が設けられ、ゲームプロセッサとして機能する。また、ＣＰＵ４０には、システムＬＳＩ４２が接続される。このシステムＬＳＩ４２には、外部メインメモリ４６、ＲＯＭ／ＲＴＣ４８、ディスクドライブ５４およびＡＶ ＩＣ５６が接続される。
【００３７】
外部メインメモリ４６は、ゲームプログラム等のプログラムを記憶したり、各種データを記憶したりして、ＣＰＵ４０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ４８は、いわゆるブートＲＯＭであり、ゲーム装置１２の起動用のプログラムが組み込まれるとともに、時間をカウントする時計回路が設けられる。ディスクドライブ５４は、光ディスク１８からプログラム、画像データや音声データ等を読み出し、ＣＰＵ４０の制御の下で、後述する内部メインメモリ４２ｅまたは外部メインメモリ４６に書き込む。
【００３８】
システムＬＳＩ４２には、入出力プロセッサ４２ａ、ＧＰＵ(Graphics Processor Unit)４２ｂ、ＤＳＰ(Digital Signal Processor)４２ｃ、ＶＲＡＭ４２ｄおよび内部メインメモリ４２ｅが設けられ、図示は省略するが、これらは内部バスによって互いに接続される。入出力プロセッサ（Ｉ／Ｏプロセッサ）４２ａは、データの送受信を実行したり、データのダウンロードを実行したりする。データの送受信やダウンロードについては後述する。
【００３９】
ＧＰＵ４２ｂは、描画手段の一部を形成し、ＣＰＵ４０からのグラフィクスコマンド(作画命令)を受け、そのコマンドに従ってゲーム画像データを生成する。ただし、ＣＰＵ４０は、グラフィクスコマンドに加えて、ゲーム画像データの生成に必要な画像生成プログラムをＧＰＵ４２ｂに与える。
【００４０】
図示は省略するが、上述したように、ＧＰＵ４２ｂにはＶＲＡＭ４２ｄが接続される。ＧＰＵ４２ｂが作画コマンドを実行するにあたって必要なデータ（画像データ：ポリゴンデータやテクスチャデータなどのデータ）は、ＧＰＵ４２ｂがＶＲＡＭ４２ｄにアクセスして取得する。ただし、ＣＰＵ４０は、描画に必要な画像データを、ＧＰＵ４２ｂを介してＶＲＡＭ４２ｄに書き込む。ＧＰＵ４２ｂは、ＶＲＡＭ４２ｄにアクセスして描画のためのゲーム画像データを作成する。
【００４１】
なお、この実施例では、ＧＰＵ４２ｂがゲーム画像データを生成する場合について説明するが、ゲームアプリケーション以外の任意のアプリケーションを実行する場合には、ＧＰＵ４２ｂは当該任意のアプリケーションについての画像データを生成する。
【００４２】
また、ＤＳＰ４２ｃは、オーディオプロセッサとして機能し、内部メインメモリ４２ｅや外部メインメモリ４６に記憶されるサウンドデータや音波形（音色）データを用いて、スピーカ３４ａから出力する音、音声或いは音楽に対応するオーディオデータを生成する。
【００４３】
上述のように生成されたゲーム画像データおよびオーディオデータは、ＡＶ ＩＣ５６によって読み出され、ＡＶコネクタ５８を介してモニタ３４およびスピーカ３４ａに出力される。したがって、ゲーム画面がモニタ３４に表示され、ゲームに必要な音（音楽）がスピーカ３４ａから出力される。
【００４４】
また、入出力プロセッサ４２ａには、フラッシュメモリ４４、無線通信モジュール５０および無線コントローラモジュール５２が接続されるとともに、拡張コネクタ６０およびメモリカード用コネクタ６２が接続される。また、無線通信モジュール５０にはアンテナ５０ａが接続され、無線コントローラモジュール５２にはアンテナ５２ａが接続される。
【００４５】
図示は省略するが、入出力プロセッサ４２ａは、無線通信モジュール５０を介して、ネットワークに接続される他のゲーム装置や各種サーバと通信することができる。ただし、ネットワークを介さずに、直接的に他のゲーム装置と通信することもできる。入出力プロセッサ４２ａは、定期的にフラッシュメモリ４４にアクセスし、ネットワークへ送信する必要があるデータ（「送信データ」とする）の有無を検出し、当該送信データが有る場合には、無線通信モジュール５０およびアンテナ５０ａを介してネットワークに送信する。また、入出力プロセッサ４２ａは、他のゲーム装置から送信されるデータ（「受信データ」とする）を、ネットワーク、アンテナ５０ａおよび無線通信モジュール５０を介して受信し、当該受信データをフラッシュメモリ４４に記憶する。ただし、受信データが一定の条件を満たさない場合には、当該受信データはそのまま破棄される。さらに、入出力プロセッサ４２ａは、ダウンロードサーバからダウンロードしたデータ（ダウンロードデータとする）をネットワーク、アンテナ５０ａおよび無線通信モジュール５０を介して受信し、そのダウンロードデータをフラッシュメモリ４４に記憶する。
【００４６】
また、入出力プロセッサ４２ａは、コントローラ２２から送信される入力データをアンテナ５２ａおよび無線コントローラモジュール５２を介して受信し、内部メインメモリ４２ｅまたは外部メインメモリ４６のバッファ領域に記憶（一時記憶）する。入力データは、ＣＰＵ４０の処理（たとえば、ゲーム処理などの情報処理）によって利用された後、バッファ領域から消去される。
【００４７】
なお、この実施例では、上述したように、無線コントローラモジュール５２は、Ｂｌｕｅｔｏｏｔｈ規格に従ってコントローラ２２との間で通信を行う。
【００４８】
さらに、入出力プロセッサ４２ａには、拡張コネクタ６０およびメモリカード用コネクタ６２が接続される。拡張コネクタ６０は、ＵＳＢやＳＣＳＩのようなインターフェイスのためのコネクタであり、外部記憶媒体のようなメディアを接続したり、コントローラ２２とは異なる他のコントローラのような周辺機器を接続したりすることができる。また、拡張コネクタ６０に有線ＬＡＮアダプタを接続し、無線通信モジュール５０に代えて当該有線ＬＡＮを利用することもできる。メモリカード用コネクタ６２には、メモリカードのような外部記憶媒体を接続することができる。したがって、たとえば、入出力プロセッサ４２ａは、拡張コネクタ６０やメモリカード用コネクタ６２を介して、外部記憶媒体にアクセスし、データを保存したり、データを読み出したりすることができる。
【００４９】
詳細な説明は省略するが、図１にも示したように、ゲーム装置１２（ハウジング１４）には、電源ボタン２０ａ，リセットボタン２０ｂおよびイジェクトボタン２０ｃが設けられる。電源ボタン２０ａは、システムＬＳＩ４２に接続される。この電源ボタン２０ａがオンされると、システムＬＳＩ４２には、ゲーム装置１２の各コンポーネントに図示しないＡＣアダプタを経て電源が供給され、通常の通電状態となるモード（以下、「通常モード」という）が設定される。一方、電源ボタン２０ａがオフされると、システムＬＳＩ４２には、ゲーム装置１２の一部のコンポーネントのみに電源が供給され、消費電力を必要最低限に抑えるモード（以下、「スタンバイモード」という）が設定される。
【００５０】
この実施例では、スタンバイモードが設定された場合には、システムＬＳＩ４２は、入出力プロセッサ４２ａ、フラッシュメモリ４４、外部メインメモリ４６、ＲＯＭ／ＲＴＣ４８および無線通信モジュール５０、無線コントローラモジュール５２以外のコンポーネントに対して、電源供給を停止する指示を行う。したがって、この実施例では、スタンバイモードにおいて、ＣＰＵ４０がアプリケーションを実行することはない。
【００５１】
なお、システムＬＳＩ４２には、スタンバイモードにおいても電源が供給されるが、ＧＰＵ４２ｂ、ＤＳＰ４２ｃおよびＶＲＡＭ４２ｄへのクロックの供給を停止することにより、これらを駆動しないようにして、消費電力を低減するようにしてある。
【００５２】
また、図示は省略するが、ゲーム装置１２のハウジング１４内部には、ＣＰＵ４０やシステムＬＳＩ４２などのＩＣの熱を外部に排出するためのファンが設けられる。スタンバイモードでは、このファンも停止される。
【００５３】
ただし、スタンバイモードを利用したくない場合には、スタンバイモードを利用しない設定にしておくことにより、電源ボタン２０ａがオフされたときに、すべての回路コンポーネントへの電源供給が完全に停止される。
【００５４】
また、通常モードとスタンバイモードとの切り替えは、コントローラ２２の電源スイッチ２６ｈのオン／オフの切り替えによって、遠隔操作によって行うことが可能である。当該遠隔操作を行わない場合には、スタンバイモードにおいて無線コントローラモジュール５２ａへの電源供給を行わない設定にしてもよい。
【００５５】
リセットボタン２０ｂもまた、システムＬＳＩ４２に接続される。リセットボタン２０ｂが押されると、システムＬＳＩ４２は、ゲーム装置１２の起動プログラムを再起動する。イジェクトボタン２０ｃは、ディスクドライブ５４に接続される。イジェクトボタン２０ｃが押されると、ディスクドライブ５４から光ディスク１８が排出される。
【００５６】
図３（Ａ）ないし図３（Ｅ）は、コントローラ２２の外観の一例を示す。図３（Ａ）はコントローラ２２の先端面を示し、図３（Ｂ）はコントローラ２２の上面を示し、図３（Ｃ）はコントローラ２２の右側面を示し、図３（Ｄ）はコントローラ２２の下面を示し、そして、図３（Ｅ）はコントローラ２２の後端面を示す。
【００５７】
図３（Ａ）ないし図３（Ｅ）を参照して、コントローラ２２は、たとえばプラスチック成型によって形成されたハウジング２２ａを有している。ハウジング２２ａは、略直方体形状であり、ユーザが片手で把持可能な大きさである。ハウジング２２ａ（コントローラ２２）には、入力手段（複数のボタンないしスイッチ）２６が設けられる。具体的には、図３（Ｂ）に示すように、ハウジング２２ａの上面には、十字キー２６ａ，１ボタン２６ｂ，２ボタン２６ｃ，Ａボタン２６ｄ，−ボタン２６ｅ，ＨＯＭＥボタン２６ｆ，＋ボタン２６ｇおよび電源スイッチ２６ｈが設けられる。また、図３（Ｃ）および図３（Ｄ）に示すように、ハウジング２２ａの下面に傾斜面が形成されており、この傾斜面に、Ｂトリガースイッチ２６ｉが設けられる。
【００５８】
十字キー２６ａは、４方向プッシュスイッチであり、矢印で示す４つの方向、前（または上）、後ろ（または下）、右および左の操作部を含む。この操作部のいずれか１つを操作することによって、プレイヤによって操作可能なキャラクタまたはオブジェクト（プレイヤキャラクタまたはプレイヤオブジェクト）の移動方向を指示したり、カーソルの移動方向を指示したり、単に方向を指示したりすることができる。
【００５９】
１ボタン２６ｂおよび２ボタン２６ｃは、それぞれ、押しボタンスイッチである。たとえば３次元ゲーム画像を表示する際の視点位置や視点方向、すなわち仮想カメラの位置や画角を調整する等のゲームの操作に使用される。または、１ボタン２６ｂおよび２ボタン２６ｃは、Ａボタン２６ｄおよびＢトリガースイッチ２６ｉと同じ操作或いは補助的な操作をする場合に用いるようにしてもよい。
【００６０】
Ａボタンスイッチ２６ｄは、押しボタンスイッチであり、プレイヤキャラクタまたはプレイヤオブジェクトに、方向指示以外の動作、すなわち、打つ（パンチ）、投げる、つかむ（取得）、乗る、ジャンプするなどの任意のアクションをさせるために使用される。たとえば、アクションゲームにおいては、ジャンプ、パンチ、武器を動かすなどを指示することができる。また、ロールプレイングゲーム（ＲＰＧ）やシミュレーションＲＰＧにおいては、アイテムの取得、武器やコマンドの選択および決定等を指示することができる。また、Ａボタンスイッチ２６ｄは、コントローラ２２をポインティングデバイスとして用いる場合に、ゲーム画面上でポインタ（指示画像）が指示するアイコンないしボタン画像の決定を指示するために使用される。たとえば、アイコンやボタン画像が決定されると、これらに対応して予め設定されている指示ないし命令（コマンド）を入力することができる。
【００６１】
−ボタン２６ｅ、ＨＯＭＥボタン２６ｆ、＋ボタン２６ｇおよび電源スイッチ２６ｈもまた、押しボタンスイッチである。−ボタン２６ｅは、ゲームモードを選択するために使用される。ＨＯＭＥボタン２６ｆは、ゲームメニュー（メニュー画面）を表示するために使用される。＋ボタン２６ｇは、ゲームを開始（再開）したり、一時停止したりするなどのために使用される。電源スイッチ２６ｈは、ゲーム装置１２の電源を遠隔操作によってオン／オフするために使用される。
【００６２】
なお、この実施例では、コントローラ２２自体をオン／オフするための電源スイッチは設けておらず、コントローラ２２の入力手段２６のいずれかを操作することによってコントローラ２２はオンとなり、一定時間（たとえば、３０秒）以上操作しなければ自動的にオフとなるようにしてある。
【００６３】
Ｂトリガースイッチ２６ｉもまた、押しボタンスイッチであり、主として、弾を撃つなどのトリガを模した入力を行ったり、コントローラ２２で選択した位置を指定したりするために使用される。また、Ｂトリガースイッチ２６ｉを押し続けると、プレイヤオブジェクトの動作やパラメータを一定の状態に維持することもできる。また、一定の場合には、Ｂトリガースイッチ２６ｉは、通常のＢボタンと同様に機能し、Ａボタン２６ｄによって決定したアクションやコマンドなどを取り消すなどのために使用される。
【００６４】
また、図３（Ｅ）に示すように、ハウジング２２ａの後端面に外部拡張コネクタ２２ｂが設けられ、また、図３（Ｂ）に示すように、ハウジング２２ａの上面であり、後端面側にはインジケータ２２ｃが設けられる。外部拡張コネクタ２２ｂは、コントローラ２２とは異なる拡張コントローラ（図示せず）を接続するためなどに使用される。インジケータ２２ｃは、たとえば、４つのＬＥＤで構成される。たとえば、インジケータ２２ｃでは、４つのうちのいずれか１つを点灯させることにより、点灯したＬＥＤに応じて、コントローラ２２の識別情報（コントローラ番号）を示すことができる。また、インジケータ２２ｃでは、点灯させるＬＥＤの個数によってコントローラ２２の電池残量を示すこともできる。
【００６５】
さらに、コントローラ２２は、撮像情報演算部８０（図４参照）を有しており、図３（Ａ）に示すように、ハウジング２２ａの先端面には撮像情報演算部８０の光入射口２２ｄが設けられる。また、コントローラ２２は、スピーカ８６（図４参照）を有しており、このスピーカ８６は、図３（Ｂ）に示すように、ハウジング２２ａの上面であり、１ボタン２６ｂとＨＯＭＥボタン２６ｆとの間に設けられる音抜き孔２２ｅに対応して、ハウジング２２ａ内部に設けられる。
【００６６】
なお、図３（Ａ）ないし図３（Ｅ）に示したコントローラ２２の形状や、各入力手段２６の形状、数および設置位置等は単なる一例に過ぎず、それらが適宜改変された場合であっても、本発明を実現できることは言うまでもない。
【００６７】
図４はコントローラ２２の電気的な構成を示すブロック図である。この図４を参照して、コントローラ２２はプロセッサ７０を含み、このプロセッサ７０には、内部バス（図示せず）によって、外部拡張コネクタ２２ｂ、入力手段２６、メモリ７２、加速度センサ７４、無線モジュール７６、撮像情報演算部８０、ＬＥＤ８２（インジケータ２２ｃ）、バイブレータ８４、スピーカ８６および電源回路８８が接続される。また、無線モジュール７６には、アンテナ７８が接続される。
【００６８】
なお、簡単のため、図４では省略するが、上述したように、インジケータ２２ｃは４つのＬＥＤ８２によって構成される。
【００６９】
プロセッサ７０は、コントローラ２２の全体制御を司り、入力手段２６、加速度センサ７４および撮像情報演算部８０によって入力された情報（入力情報）を、入力データとして無線モジュール７６およびアンテナ７８を介してゲーム装置１２に送信（入力）する。このとき、プロセッサ７０は、メモリ７２を作業領域ないしバッファ領域として用いる。また、上述した入力手段２６（２６ａ−２６ｉ）からの操作信号（操作データ）は、プロセッサ７０に入力され、プロセッサ７０は操作データを一旦メモリ７２に記憶する。
【００７０】
加速度センサ７４は、コントローラ２２の縦方向（ｙ軸方向）、横方向（ｘ軸方向）および前後方向（ｚ軸方向）の３軸で各々の加速度を検出する。この加速度センサ７４は、典型的には、静電容量式の加速度センサであるが、他の方式のものを用いるようにしてもよい。
【００７１】
たとえば、加速度センサ７４は、第１所定時間毎に、ｘ軸，ｙ軸，ｚ軸の各々についての加速度（ａｘ，ａｙ，ａｚ）を検出し、検出した加速度のデータ（加速度データ）をプロセッサ７０に入力する。たとえば、加速度センサ７４は、各軸方向の加速度を、−２．０ｇ〜２．０ｇ（ｇは重力加速度である。以下、同じ。）の範囲で検出する。プロセッサ７０は、加速度センサ７４から与えられる加速度データを、第２所定時間毎に検出し、一旦メモリ７２に記憶する。
【００７２】
プロセッサ７０は、操作データ、加速度データおよび後述するマーカ座標データの少なくとも１つを含む入力データを作成し、作成した入力データを、第３所定時間（たとえば、５ｍｓｅｃ）毎にゲーム装置１２に送信する。
【００７３】
なお、図３（Ａ）−図３（Ｅ）では省略したが、この実施例では、加速度センサ７４は、ハウジング２２ａ内部の基板上の十字キー２６ａが配置される付近に設けられる。
【００７４】
無線モジュール７６は、たとえばＢｌｕｅｔｏｏｔｈの技術を用いて、所定周波数の搬送波を入力データで変調し、その微弱電波信号をアンテナ７８から放射する。つまり、入力データは、無線モジュール７６によって微弱電波信号に変調されてアンテナ７８（コントローラ２２）から送信される。この微弱電波信号が上述したゲーム装置１２に設けられた無線コントローラモジュール５２によって受信される。受信された微弱電波は、復調および復号の処理を施され、したがって、ゲーム装置１２（ＣＰＵ４０）は、コントローラ２２からの入力データを取得することができる。そして、ＣＰＵ４０は、取得した入力データとアプリケーションプログラムとに従ってアプリケーションの処理を行う。
【００７５】
さらに、上述したように、コントローラ２２には、撮像情報演算部８０が設けられる。この撮像情報演算部８０は、赤外線フィルタ８０ａ、レンズ８０ｂ、撮像素子８０ｃおよび画像処理回路８０ｄによって構成される。赤外線フィルタ８０ａは、コントローラ２２の前方から入射する光から赤外線のみを通過させる。上述したように、モニタ３４の表示画面近傍（周辺）に配置されるマーカ３４０ｍおよび３４０ｎは、モニタ３４の前方に向かって赤外光を出力する赤外ＬＥＤである。したがって、赤外線フィルタ８０ａを設けることによってマーカ３４０ｍおよび３４０ｎの画像をより正確に撮像することができる。レンズ８０ｂは、赤外線フィルタ８０ａを透過した赤外線を集光して撮像素子８０ｃへ出射する。撮像素子８０ｃは、たとえばＣＭＯＳセンサあるいはＣＣＤのような固体撮像素子であり、レンズ８０ｂによって集光された赤外線を撮像する。したがって、撮像素子８０ｃは、赤外線フィルタ８０ａを通過した赤外線だけを撮像して画像データを生成する。以下では、撮像素子８０ｃによって撮像された画像を撮像画像と呼ぶ。また、赤外線フィルタ８０ａ、レンズ８０ｂおよび撮像素子８０ｃによって、撮像装置（カメラ）８００が構成される。撮像素子８０ｃによって生成された画像データは、画像処理回路８０ｄで処理される。画像処理回路８０ｄは、撮像画像内における撮像対象（マーカ３４０ｍおよび３４０ｎ）の位置を算出し、第４所定時間毎に、当該位置を示す各座標値を撮像データ（後述するマーカ座標データ）としてプロセッサ７０に出力する。なお、画像処理回路８０ｄにおける処理については後述する。
【００７６】
図示は省略するが、付属装置３６への電源供給をコントローラ２２から行うようにする場合には、コネクタ２２ｂと付属装置３６（タッチパネル３６０ｂ：図８および図９参照）とが電源ケーブル（図示せず）を用いて接続される。そして、プロセッサ７０の制御によって、電源回路８８から付属装置３６（タッチパネル３６０ｂ）に電源が供給されたり停止されたりする。
【００７７】
ただし、付属装置３６にバッテリのような電源を設ける場合には、コネクタ２２ｂと付属装置３６とを電源ケーブルによって接続する必要はない。
【００７８】
図５は、コントローラ２２を用いてゲームプレイするときの状態を概説する図解図である。ただし、ゲームプレイのみならず、他のアプリケーションを実行する場合も同様である。ここでは、説明の都合上、付属装置３６がコントローラ２２に装着されていない場合について説明する。図５に示すように、ゲームシステム１０でコントローラ２２を用いてゲームをプレイする際、プレイヤは、一方の手でコントローラ２２を把持する。厳密に言うと、プレイヤは、コントローラ２２の先端面（撮像情報演算部８０が撮像する光の入射口２２ｄ側）がマーカ３４０ｍおよび３４０ｎの方を向く状態でコントローラ２２を把持する。ただし、図１からも分かるように、マーカ３４０ｍおよび３４０ｎは、モニタ３４の画面の横方向と平行に配置されている。この状態で、プレイヤは、コントローラ２２が指示する画面上の位置を変更したり、コントローラ２２と各マーカ３４０ｍおよび３４０ｎとの距離を変更したりすることによってゲーム操作を行う。
【００７９】
図６は、マーカ３４０ｍおよび３４０ｎと、コントローラ２２との視野角を説明するための図である。図６に示すように、マーカ３４０ｍおよび３４０ｎは、それぞれ、視野角θ１の範囲で赤外光を放射する。また、撮像情報演算部８０の撮像素子８０ｃは、コントローラ２２の視線方向を中心とした視野角θ２の範囲で入射する光を受光することができる。たとえば、マーカ３４０ｍおよび３４０ｎの視野角θ１は、共に３４°（半値角）であり、一方、撮像素子８０ｃの視野角θ２は４１°である。プレイヤは、撮像素子８０ｃが２つのマーカ３４０ｍおよび３４０ｎからの赤外光を受光することが可能な位置および向きとなるように、コントローラ２２を把持する。具体的には、撮像素子８０ｃの視野角θ２の中にマーカ３４０ｍおよび３４０ｎの少なくとも一方が存在し、かつ、マーカ３４０ｍまたは３４０ｎの少なくとも一方の視野角θ１の中にコントローラ２２が存在する状態となるように、プレイヤはコントローラ２２を把持する。この状態にあるとき、コントローラ２２は、マーカ３４０ｍおよび３４０ｎの少なくとも一方を検知することができる。プレイヤは、この状態を満たす範囲でコントローラ２２の位置および向きを変化させることによってゲーム操作を行うことができる。
【００８０】
なお、コントローラ２２の位置および向きがこの範囲外となった場合、コントローラ２２の位置および向きに基づいたゲーム操作を行うことができなくなる。以下では、上記範囲を「操作可能範囲」と呼ぶ。
【００８１】
操作可能範囲内でコントローラ２２が把持される場合、撮像情報演算部８０によって各マーカ３４０ｍおよび３４０ｎの画像が撮像される。すなわち、撮像素子８０ｃによって得られる撮像画像には、撮像対象である各マーカ３４０ｍおよび３４０ｎの画像（対象画像）が含まれる。図７は、対象画像を含む撮像画像の一例を示す図である。対象画像を含む撮像画像の画像データを用いて、画像処理回路８０ｄは、各マーカ３４０ｍおよび３４０ｎの撮像画像における位置を表す座標（マーカ座標）を算出する。
【００８２】
撮像画像の画像データにおいて対象画像は高輝度部分として現れるため、画像処理回路８０ｄは、まず、この高輝度部分を対象画像の候補として検出する。次に、画像処理回路８０ｄは、検出された高輝度部分の大きさに基づいて、その高輝度部分が対象画像であるか否かを判定する。撮像画像には、対象画像である２つのマーカ３４０ｍおよび３４０ｎに対応する画像３４０ｍ’および３４０ｎ’のみならず、窓からの太陽光や部屋の蛍光灯の光によって対象画像以外の画像が含まれていることがある。高輝度部分が対象画像であるか否かの判定処理は、対象画像である画像３４０ｍ’および３４０ｎ’と、それ以外の画像とを区別し、対象画像を正確に検出するために実行される。具体的には、当該判定処理においては、検出された高輝度部分が、予め定められた所定範囲内の大きさであるか否かが判定される。そして、高輝度部分が所定範囲内の大きさである場合には、当該高輝度部分は対象画像を表すと判定される。逆に、高輝度部分が所定範囲内の大きさでない場合には、当該高輝度部分は対象画像以外の画像を表すと判定される。
【００８３】
さらに、上記の判定処理の結果、対象画像を表すと判定された高輝度部分について、画像処理回路８０ｄは当該高輝度部分の位置を算出する。具体的には、当該高輝度部分の重心位置を算出する。ここでは、当該重心位置の座標をマーカ座標と呼ぶ。また、重心位置は撮像素子８０ｃの解像度よりも詳細なスケールで算出することが可能である。ここでは、撮像素子８０ｃによって撮像された撮像画像の解像度が１２６×９６であるとし、重心位置は１０２４×７６８のスケールで算出されるものとする。つまり、マーカ座標は、（０，０）から（１０２４，７６８）までの整数値で表現される。
【００８４】
なお、撮像画像における位置は、撮像画像の左上を原点とし、下向きをＹ軸正方向とし、右向きをＸ軸正方向とする座標系（ＸＹ座標系）で表現されるものとする。
【００８５】
また、対象画像が正しく検出される場合には、判定処理によって２つの高輝度部分が対象画像として判定されるので、２箇所のマーカ座標が算出される。画像処理回路８０ｄは、算出された２箇所のマーカ座標を示すデータを出力する。出力されたマーカ座標のデータ（マーカ座標データ）は、上述したように、プロセッサ７０によって入力データに含まれ、ゲーム装置１２に送信される。
【００８６】
ゲーム装置１２（ＣＰＵ４０）は、受信した入力データからマーカ座標データを検出すると、このマーカ座標データに基づいて、モニタ３４の画面上におけるコントローラ２２の指示位置（指示座標）と、コントローラ２２からマーカ３４０ｍおよび３４０ｎまでの各距離とを算出することができる。具体的には、２つのマーカ座標の中点の位置から、コントローラ２２の向いている位置すなわち指示位置が算出される。また、撮像画像における対象画像間の距離が、コントローラ２２と、マーカ３４０ｍおよび３４０ｎとの距離に応じて変化するので、２つのマーカ座標間の距離を算出することによって、ゲーム装置１２はコントローラ２２と、マーカ３４０ｍおよび３４０ｎとの間の距離を把握できる。さらに、２つのマーカ座標を通る直線の傾きから、コントローラ２２の光入射口２２ｄをマーカ３４０ｍおよび３４０ｎ（モニタ３４）側に向けた場合における、コントローラ２２の長手方向を回転軸としたコントローラ２２の回転量を検出することができる。
【００８７】
図８は、コントローラ２２に着脱可能に設けられる付属装置３６の外観構成を示す斜視図である。図８に示すように、付属装置３６は、入力操作部３６ａとカバー３６ｂとによって構成される。入力操作部３６ａは、四角錐台を上下反転させたような外観を有する筐体３６０ａを含み、四角錐台の底面に相当する位置にタッチパネル３６０ｂが設けられる。また、筐体３６０ａの側面（この実施例では、カバー３６ｂ側の側面）には、取付孔３６０ｃが設けられる。図８では省略するが、取付孔３６０ｃには、入力操作部３６ａ（筐体３６０ａ）の内部で発光するように、光源としての赤外ＬＥＤ３６０ｈ（図１０参照）が取り付けられる。さらに、図８では分かり難いが、筐体３６０ａには、その四角錐台の上面側に延びる連結部３６０ｄが設けられる。この連結部３６０ｄは、入力操作部３６ａとカバー３６ｂと連結するために用いられる。さらにまた、図９に示すように、付属装置３６を正面から見ると、筐体３６０ａの下端部であり、カバー３６ｂの反対側に、開口３６０ｅが設けられる。開口３６０ｅは、コントローラ２２の光入射口２２ｄや後述するハーフミラー３６０ｆを正面から見た場合の大きさとほぼ同じ大きさを有している。また、入力操作部３６ａの筐体３６０ａ内の下端部には、ハーフミラー３６０ｆが設けられる。
【００８８】
図８に戻って、カバー３６ｂは、本体３６２ａを含み、本体３６２ａは、コントローラ２２を収容可能に形成される。本体３６２ａの上面には、コントローラ２２の上面に設けられるスイッチないしボタン（２６ａ−２６ｈ）を操作可能にするとともに、コントローラ２２の上面に設けられるインジケータ２２ｃを視認可能にするための開口３６２ｂが設けられる。また、本体３６２ａの底面であり、本体３６２ａの先端面側（入力操作部３６ａが設けられる側）に、Ｂトリガースイッチ２６ｉを操作可能にするための開口３６２ｃが設けられる。さらに、本体３６２ａの先端面には、コントローラ２２の光入射口２２ｄ（撮像装置８００）に光を入射させるための開口３６２ｄが設けられる。さらにまた、本体３６２ａの両側面であり、先端面側には、上述の連結部３６０ｄと連結される連結部３６２ｅがそれぞれ設けられる。
【００８９】
図１０（Ａ）および図１０（Ｂ）は、コントローラ２２、操作入力部３６ａの一部およびペン入力装置３８を示す概略図である。この図１０（Ａ）および図１０（Ｂ）では、簡単のため、筐体３６０ａおよび本体３６２ａは省略してある。また、図１０（Ａ）および図１０（Ｂ）は、付属装置３６を装着したコントローラ２２を、当該コントローラ２２の左側面から見た場合について示してある。
【００９０】
図１０（Ａ）および図１０（Ｂ）に示すように、タッチパネル３６０ｂの中央下部にハーフミラー３６０ｆが設けられる。また、ハーフミラー３６０ｆの右側にはコントローラ２２が配置される。つまり、ハーフミラー３６０ｆは、筐体３６０ａの内部であり、コントローラ２２に対して撮像装置８００の撮像方向に設けられる。さらに、タッチパネル３６０ｂとハーフミラー３６０ｆとの間であり、上述したように、筐体３６０ａの側面の内部には、赤外ＬＥＤ３６０ｈが設けられる。
【００９１】
たとえば、タッチパネル３６０ｂとしては、抵抗膜方式のタッチパネルを用いることができる。このタッチパネル３６０ｂは、赤外光を透過させるものである。したがって、タッチパネル３６０ｂとしては、赤外光を透過させるものであれば、抵抗膜方式に限らず、任意の押圧式のタッチパネルを用いることができる。
【００９２】
また、コントローラ２２、タッチパネル３６０ｂ、ハーフミラー３６０ｆおよび赤外ＬＥＤ３６０ｈの配置位置（位置関係）は、付属装置３６をコントローラ２２に装着することにより、固定的に決定される。この実施例では、タッチパネル３６０ｂの大きさと、タッチパネル３６０ｂとハーフミラー３６０ｆとの距離（四角錐台形状の筐体３６０ａの高さ）とは、コントローラ２２に内蔵される撮像装置８００（撮像素子８０ｃ）の画角によって決定される。
【００９３】
また、図１０（Ａ）および図１０（Ｂ）に示すように、タッチパネル３６０ｂの上面であり、赤外ＬＥＤ３６０ｈの上方には、カバー３６０ｇが設けられる。カバー３６０ｇは、タッチパネル３６０ｂを介して入力操作部３６ａの内部に赤外光が入射されるのを防止する。これは、カバー３６０ｇによって覆われたタッチパネル３６０ｂの範囲（領域）において、赤外ＬＥＤ３６０ｈから出力される赤外光以外の赤外光が検出されるのを回避するためである。
【００９４】
なお、この実施例では、カバー３６０ｇを設けるようにしてあるが、赤外光を遮断すれば良いため、カバー３６０ｇに代えて、赤外光を通さない色（黒色）の塗料を塗布するようにしてもよい。
【００９５】
また、タッチパネル３６０ｂの一方端子（グランド）から赤外ＬＥＤ３６０ｈの一方端（カソード）に電源ケーブルが接続されるとともに、タッチパネル３６０ｂの他方端子（座標データの出力端子）からアンプ３６０ｉを介して赤外ＬＥＤ３６０ｈの他方端（アノード）に電源ケーブルが接続される。
【００９６】
したがって、この実施例では、ペン入力装置３８や指などでタッチパネル３６０ｂをタッチした場合には、タッチした位置についてのデータ（位置データ）がタッチパネル３６０ｂから出力される。この位置データがアンプ３６０ｉで赤外ＬＥＤ３６０ｈの駆動電圧に変換される。したがって、赤外ＬＥＤ３６０ｈは発光する。一方、ペン入力装置３８や指などでタッチパネル３６０ｂをタッチしていない場合には、タッチパネル３６０ｂから位置データは出力されない。したがって、赤外ＬＥＤ３６０ｈは発光しない。位置データの有無によって接触の有無が判定されるが、ペンが接触していることがわかればよいので、タッチパネル３６０ｂは、位置を正確に出力できる精度は必要なく、したがって接触したか否かだけが出力されるようなものでもよい。
【００９７】
この実施例では、赤外ＬＥＤ３６０ｈの明滅によって、タッチパネル３６０ｂをタッチしているか否かを判断するようにしてある。このため、図１１（Ａ）に示すように、タッチパネル３６０ｂの全範囲のうち、カバー３６０ｇが設けられる範囲（領域）を、タッチパネル３６０ｂをタッチしているか否かを判断する領域（検出領域）とし、それ以外の範囲（領域）を入力領域としてある。
【００９８】
したがって、図１１（Ｂ）に示すような撮像画像において、検出領域に相当する領域に赤外光に対応する高輝度部分が検出されれば、タッチパネル３６０ｂがオンされていると判断することができる。一方、撮像画像において、検出領域に相当する領域に赤外光に対応する高輝度部分が検出されていなければ、タッチパネル３６０ｂがオフされていると判断することができる。このような撮像画像における検出領域の位置ないし範囲についての座標データは、予めゲーム装置１２に記憶されている。したがってコントローラ２２からの入力データに含まれるマーカ座標データが示す位置（座標）が検出領域に相当する領域に含まれるか否かに基づいて、ペン入力装置３８がタッチパネル３６０ｂに接触しているか否かを判断することができる。
【００９９】
また、タッチパネル３６０ｂがオンされている状態で、プレイヤないしユーザが、タッチパネル３６０ｂの入力領域において、文字等を描画している場合には、撮影画像において、ペン入力装置３８の赤外ＬＥＤ３８ａから出力される赤外光に対応する高輝度部分がさらに検出される。したがって、ゲーム装置１２では、コントローラ２２からの入力データに含まれるマーカ座標データに基づいて、入力領域に相当する領域の座標データに従うモニタ３４の画面上の指示位置を決定することができる。したがって、たとえば、ゲーム装置１２は、指示位置に、マウスポインタやカーソルのような指示画像を表示したり、点を表示したりする。
【０１００】
ただし、図１１（Ｂ）では、簡単のため、撮像画像に含まれる赤外光の画像（対象画像に相当）は省略してある。
【０１０１】
また、図１１（Ｂ）に示すように、実際には、赤外ＬＥＤ３６０ｈから出力された赤外光が照射される領域（斜線を付した照射領域）は検出領域の一部に相当する領域であるため、この照射領域に相当する領域以外の領域を入力領域として設定することも可能である。
【０１０２】
図１０（Ａ）に戻って、たとえば、付属装置３６を装着したコントローラ２２では、コントローラ２２に内蔵される撮像装置８００の撮影方向の赤外光はハーフミラー３６０ｆを介して（透過して）コントローラ２２の光入射口２２ｄに入射される。かかる場合には、図５−図７を用いて説明したように、コントローラ２２は、２つのマーカ３４０ｍおよびマーカ３４０ｎを含む画像を撮像することによって、モニタ３４上の座標入力等に用いられる。つまり、コントローラ２２を、座標入力等に使用する座標入力装置（以下、説明の都合上、「通常の座標入力装置」と呼ぶことにする）として使用することができる。
【０１０３】
一方、図１０（Ｂ）に示すように、付属装置３６を装着したコントローラ２２では、ペン入力装置３８の発光部３８ａから発光された赤外光が、タッチパネル３６０ｂを透過し、ハーフミラー３６０ｆで反射されて、コントローラ２２の光入射口２２ｄに入射される。かかる場合には、たとえば、コントローラ２２を、ペンタブレットとして使用することができる。
【０１０４】
たとえば、コントローラ２２を、通常の座標入力装置として使用する場合と、ペンタブレットとして使用する場合とは、情報処理プログラムのようなアプリケーションプログラムからの要請に応じて切り替えられる。たとえば、前者の場合には、ゲーム装置１２からマーカ３４０ｍ、３４０ｎに電源が供給されるが、ゲーム装置１２からの指示に従ってコントローラ２２からタッチパネル３６０ｂに電源は供給されない。また、コントローラ２２からペン入力装置３８に電源が供給されるようにした場合には、ペン入力装置３８（発光部３８ａ）への電源も供給されない。
【０１０５】
後者の場合には、ゲーム装置１２からマーカ３４０ｍ、３４０ｎに電源は供給されないが、ゲーム装置１２からの指示に従ってコントローラ２２からタッチパネル３６０ｂに電源が供給される。また、コントローラ２２からペン入力装置３８に電源が供給されるようにした場合には、ペン入力装置３８（発光部３８ａ）への電源も供給される。
【０１０６】
ただし、付属装置３６やペン入力装置３８にバッテリを設ける場合には、たとえば、バッテリからの電源を供給および停止するためのスイッチ（図示せず）を設けておき、コントローラ２２を通常の座標入力装置として使用する場合には、そのスイッチをオフし、コントローラ２２をペンタブレットとして使用する場合には、そのスイッチをオンするようにすればよい。この場合には、スイッチを電気的にオン／オフ可能にしておき、コントローラ２２からの制御に従ってスイッチをオン／オフするようにすればよい。
【０１０７】
このようにすれば、マーカ３４０ｍ、３４０ｎまたはタッチパネル３６０ｂを使用しないときに、電源供給を停止することができ、無駄な消費電力を削減することができる。
【０１０８】
また、図１０（Ｂ）に示したように、コントローラ２２を、ペンタブレットとして使用する場合には、ペン入力装置３８がタッチパネル３６０ｂに接触しているか否かで、ゲーム装置１２（ＣＰＵ４０）の処理が異なる。ペン入力装置３８がタッチパネル３６０ｂに接触しているか否かの判断手法は上述したとおりであるため、重複した説明は省略する。
【０１０９】
たとえば、ユーザないしプレイヤが、ペン入力装置３８を用いて、タッチパネル３６０ｂ上の入力領域において文字等を描画すると、ゲーム装置１２では、マーカ座標データに基づいて、ペン入力装置３８がタッチパネル３６０ｂに接触していることと、入力領域への入力が有ることを検出する。したがって、たとえば、入力領域でペン入力装置３８が指示する位置（指示位置）に従って、モニタ３４の画面上にその指示位置を指示する画像（指示画像）および点が表示（描画）され、指示位置の変化によって指示画像が移動するとともに連続的に点が表示（描画）される。したがって、線が描画される。
【０１１０】
一方、ユーザないしプレイヤが、ペン入力装置３８をタッチパネル３６０ｂから離している場合には、文字等を描画していないと判断されるが、ペン入力装置３８がタッチパネル３６０ｂの上方に有る場合と無い場合とで、ゲーム装置１２（ＣＰＵ４０）の処理がさらに異なる。
【０１１１】
ペン入力装置３８がタッチパネル３６０ｂから離れた上方に有る場合には、ペン入力装置３８の赤外ＬＥＤ３８ａからの赤外光を含む画像が撮像装置８００で撮像されるため、コントローラ２２からはその赤外光に対応する高輝度部分についてのマーカ座標データを含む入力データがゲーム装置１２に送信される。したがって、入力領域の範囲内でペン入力装置３８の指示位置に従って、モニタ３４の画面上にその指示位置を指示する指示画像のみが表示される。つまり、かかる場合には、単にペン入力装置３８を移動させているだけであり、文字等を実際に書いている状態ではないと判断し、入力領域に相当する領域で検出される赤外光の位置および軌跡に従って画面上の指示画像を表示および移動させる。
【０１１２】
ペン入力装置３８がタッチパネル３６０ｂの上方に無い場合には、ペン入力装置３８の赤外ＬＥＤ３８ａから出力される赤外光を含まない画像が撮像装置８００で撮像されるため、コントローラ２２からは、少なくともマーカ座標データを含まない入力データがゲーム装置１２に送信される。かかる場合には、マーカ座標データが無いため、指示画像がモニタ３４に表示されない。つまり、かかる場合には、ペン入力装置３８がタッチパネル３６０ｂの外に出されている状態である。
【０１１３】
このように、付属装置３６およびペン入力装置３８を用いることにより、コントローラ２２を、ペンタブレットとして使用するので、直感的な操作が可能である。
【０１１４】
この実施例によれば、撮像装置を備えるコントローラに付属装置を装着することにより、コントローラを通常の座標入力装置およびペンタブレットのような異なる種類のポインティングデバイスとして使用することができる。つまり、コントローラに設けられる撮像装置を有効に使用することができる。
【０１１５】
なお、この実施例では、タッチパネルを用いることにより、ペン入力装置がパネルに接触しているか否かを判断して、直感的な操作を可能にしたがこれに限定される必要はない。たとえば、コントローラに設けられる所定の操作スイッチ（Ａボタンなど）がオンされている場合には、実際に文字等を描画している状態であると判断し、所定の操作スイッチがオフされている場合には、単にペン入力装置が移動されている状態やペン入力装置が付属装置に設けられるパネルの外に出されている状態であると判断するようにしてもよい。また、図示は省略するが、ペン入力装置の赤外ＬＥＤが設けられる先の部分を、このペン入力装置の長手方向に変位可能な構成とし、その変位によってオン／オフが切り替えられるスイッチをこのペン入力装置の内部に設け、スイッチのオン／オフの信号をコントローラに入力するようにして、ペン入力装置がパネルに接触しているかどうかを判断するようにしてもよい。ただし、かかる場合には、コントローラとペン入力装置とを電気的に接続して、上記のスイッチのオン／オフの信号を、ペン入力装置からコントローラに送信する必要がある。
【０１１６】
このような構成にすれば、タッチパネルに代えて、赤外光を透過するパネルを用いることができ、当該パネルの全範囲を入力領域とすることができる。また、かかる場合には、付属装置に、カバー、赤外ＬＥＤおよびアンプを設ける必要がない。
【０１１７】
また、この実施例では、付属装置の内部に設けられる赤外ＬＥＤから出力される赤外光に対応する高輝度部分のマーカ座標データもゲーム装置に送信して、ペン入力装置がタッチパネルに接触しているかどうかを、ゲーム装置側で判断するようにしたが、この判断処理は、コントローラで実行するようにしてもよい。かかる場合には、コントローラは、ペン入力装置がタッチパネルに接触しているか否かを判断した結果についてのデータ（接触判定データ）を入力データに加えて、ゲーム装置に送信する。
【０１１８】
さらに、この実施例では、付属装置にコントローラのカバーを設けるようにしたが、カバーは設けなくてもよい。ただし、かかる場合には、付属装置をコントローラに装着できるように、操作入力部の下端部（四角錐台の上面に相当する部分）を構成する必要がある。
【０１１９】
さらにまた、この実施例では、筐体のカバー（コントローラ）側に側面の内部に、ペン入力装置がパネルに接触しているか否かを判断するための赤外ＬＥＤを設けるようにしたが、筐体内の他の側面または角にその赤外ＬＥＤを設けるようにしてもよい。かかる場合には、ペン入力装置がパネルに接触しているか否かを判断するための赤外ＬＥＤを設ける位置に応じて、タッチパネルの検出領域の位置および範囲（大きさ）と、対応する撮像画像の検出領域に相当する領域の位置および範囲（大きさ）を適宜変更すればよい。
【符号の説明】
【０１２０】
１０ …ゲームシステム
１２ …ゲーム装置
１８ …光ディスク
２２ …コントローラ
２４ …受信ユニット
３４ …モニタ
３４ａ …スピーカ
３６ …付属装置
３６ａ …操作入力部
３６ｂ …カバー
３８ …入力装置
３８ａ、３６０ｈ …赤外ＬＥＤ
４０ …ＣＰＵ
４２ …システムＬＳＩ
４２ａ …入出力プロセッサ
４２ｂ …ＧＰＵ
４２ｃ …ＤＳＰ
４２ｄ …ＶＲＡＭ
４２ｅ …内部メインメモリ
４４ …フラッシュメモリ
４６ …外部メインメモリ
４８ …ＲＯＭ／ＲＴＣ
５０ …無線通信モジュール
５２ …無線コントローラモジュール
５４ …ディスクドライブ
５６ …ＡＶ ＩＣ
５８ …ＡＶコネクタ
６０ …拡張コネクタ
６２ …メモリカード用コネクタ
７０ …プロセッサ
７４ …加速度センサ
８０ …画像情報演算部
８０ｃ …撮像素子
８０ｄ …画像処理回路
３６０ａ …筐体
３６０ｂ …タッチパネル
３６０ｆ …ハーフミラー
【技術分野】
【０００１】
この発明は入力装置および情報処理システムに関し、特にたとえば、撮像装置を備える、入力装置および情報処理システムに関する。
【背景技術】
【０００２】
この種の情報処理システムの一例が特許文献１に開示されている。特許文献１の情報処理システムでは、モニタ付近に配置された２つのＬＥＤモジュールから出力される赤外線を、コントローラの先端部に設けた撮像情報演算処理ユニットの撮像装置によって撮像する。撮像情報演算処理ユニットの画像処理回路は、その赤外線を含む撮影画像を処理することによって、２つのＬＥＤモジュールの位置や面積情報を高輝度点の情報として取得する。高輝度点の位置や大きさのデータがコントローラからゲーム機に送信され、ゲーム機で受信される。プレイヤがコントローラを動かすと、高輝度点の位置や大きさのデータが変化するため、それを利用して、ゲーム機はコントローラの動きに対応した操作信号を取得して、たとえば、画面内における、座標の直接入力や回転の入力が可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２００７−８３０２４号［G06F 13/06,H01H 9/02］
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の情報処理システムでは、撮像装置を設けたコントローラを、座標の直接入力や回転の入力にしか使用していないため、他の用途について開発する余地があった。
【０００５】
それゆえに、この発明の主たる目的は、新規な、入力装置および情報処理システムを提供することである。
【０００６】
また、この発明の他の目的は、撮像装置を有効に利用できる、入力装置および情報処理システムを提供することである。
【課題を解決するための手段】
【０００７】
第１の発明は、情報処理装置にデータを送信する入力装置である。この入力装置は、撮像装置と、撮像装置によって撮影された画像内の高輝度部分の位置を算出する位置算出部と、高輝度部分の位置に関するデータを送信する送信部と、撮像装置の撮像方向に設けられ、当該撮像方向の光を透過するとともに、当該撮像方向とは異なる方向の光を当該撮像装置に向けて反射するハーフミラーと、ハーフミラーに向けて光を入射させることが可能な位置に設けられ、少なくとも、第１光源を有する入力部を通して入力可能なパネルを備える。
【０００８】
第１の発明によれば、撮像方向の光を含む画像と撮像方向とは異なる方向の光を含む画像とを撮像するので、各方向について撮像画像内の光に対応する高輝度部分の位置をそれぞれ算出することができる。したがって、入力装置に設けられる撮像装置を有効に利用した入力装置を提供することができる。
【０００９】
第２の発明は、第１の発明に従属し、ハーフミラーとパネルとの間の特定の位置に配置される第２光源をさらに備える。たとえば、第２光源は、ペンや指がパネルに触れた場合に光を発光し、ペンや指がパネルに触れていない場合に光を発光しない。
【００１０】
第２の発明によれば、第２光源の光を含む画像を撮像することにより、ペンや指がパネルに触れているか否かを判断することができる。
【００１１】
第３の発明は、第２の発明に従属し、パネルへの接触を検出する検出部をさらに備える。たとえば、第２光源は、検出部によってパネルへの接触が検出されたときに発光する。また、第２光源は、検出部によってパネルへの接触が検出されてないときに発光しない。
【００１２】
第３の発明によれば、検出部を備えるので、ペンや指がパネルに触れたかどうかに応じて、容易に第２光源を発光および消灯させることができる。
【００１３】
第４の発明は、パネルおよび検出部は、タッチパネルである。したがって、ペンや指がタッチパネルに触れると、タッチパネルから接触を示す信号が出力される。
【００１４】
第４の発明によれば、タッチパネルから出力される信号を利用して、第２光源を発光させることができる。
【００１５】
第５の発明は、第４の発明に従属し、撮像装置と、位置算出部と、送信部を含む第１ユニットと、第１ユニットに着脱可能に取り付けられ、ハーフミラーと、パネルと、検出部と、第２光源とを含む第２ユニットによって構成される。
【００１６】
第５の発明によれば、第１ユニットと第２ユニットとは着脱可能に設けられるため、使用態様に応じて、入力装置の構成を容易に変化させることができる。
【００１７】
第６の発明は、第１の発明に従属し、パネルの大きさは、撮像装置（撮像素子）の画角に基づいて決定される。
【００１８】
第６の発明によれば、撮像装置の画角に基づいてパネルの大きさが決定されるので、たとえば、撮影装置で撮影可能な範囲と同じ大きさ（範囲）のパネルを設けることができる。つまり、必要以上に大きなパネルを設けることが無く、また、操作入力の範囲をいたずらに狭くするようなパネルを設けることも無い。
【００１９】
第７の発明は、第１ないし第６の発明のいずれかに記載の入力装置と、入力装置からのデータを受信して情報処理を実行する情報処理装置を備える、情報処理システムである。情報処理装置は、送信部によって送信された位置に関するデータを受信する受信部と、受信部によって受信された位置に関するデータに従う位置を特定し、第２光源からの光の有無を判定する判定部と、判定部によって第２光源からの光が有ることが判定された場合に、位置に関するデータに基づく第１情報処理を実行する第１情報処理部と、判定部によって第２光源からの光が無いことが判定された場合に、位置に関するデータに基づき、第１情報処理とは異なる第２情報処理を実行する第２情報処理部を備える。したがって、たとえば、情報処理装置は、ペンや指がパネルに触れている場合と、ペンや指がパネルに触れていない場合とで、異なる情報処理を実行する。
【００２０】
第７の発明によれば、第２光源からの光の有無に応じて異なる情報処理を実行するので、第１の発明と同様に、撮像装置を有効に用いることができる。
【００２１】
第８の発明は、第７の発明に従属し、所定の位置に配置される第３光源、および第１情報処理部によって第１情報処理が実行されるとき、第３光源を消灯させる光源制御部をさらに備える。したがって、第１情報処理部は、第１光源に基づいて、第１情報処理を実行する。また、たとえば、第２情報処理部は、第３光源に基づいて、第２情報処理を実行する。
【００２２】
第８の発明によれば、第１情報処理を実行する場合には、第３光源を消灯させるので、無駄な消費電力を削減することができる。
【発明の効果】
【００２３】
この発明によれば、撮像方向の光を含む画像と撮像方向とは異なる方向の光を含む画像とを撮像するので、各方向について撮像画像内の光に対応する高輝度部分の位置をそれぞれ算出することができる。したがって、入力装置に設けられる撮像装置を有効に利用した入力装置を提供することができる。
【００２４】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２５】
【図１】図１はこの発明のゲームシステムの一実施例を示す図解図である。
【図２】図２は図１に示すゲームシステムの電気的な構成を示すブロック図である。
【図３】図３は図１に示すコントローラの外観を説明するための図解図である。
【図４】図４は図３に示すコントローラの電気的な構成を示すブロック図である。
【図５】図５は図１に示すコントローラを用いて仮想ゲームをプレイするときの状態を概説するための図解図である。
【図６】図６は図１に示すマーカおよびコントローラの視野角を説明するための図解図である。
【図７】図７は対象画像を含む撮像画像の一例を示す図解図である。
【図８】図８は図１に示すコントローラに着脱可能な付属装置の外観構成を示す斜視図である。
【図９】図９は図１に示すコントローラに着脱可能な付属装置の正面図である。
【図１０】図１０は付属装置の内部構造と、この付属装置を装着したコントローラの使用態様とを説明するための図解図である。
【図１１】図１１は付属装置に設けられるタッチパネルの領域およびそれに対応する撮像画像における領域を説明するための図解図である。
【発明を実施するための形態】
【００２６】
図１を参照して、この発明の情報処理システムの一実施例であるゲームシステム１０は、ビデオゲーム装置（以下、単に「ゲーム装置」という）１２およびコントローラ２２を含む。なお、図示は省略するが、この実施例のゲーム装置１２は、最大４つのコントローラ２２と通信可能に設計されている。また、ゲーム装置１２と各コントローラ２２とは、無線によって接続される。たとえば、無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に従って実行されるが、赤外線や無線ＬＡＮなど他の規格に従って実行されてもよい。さらには、有線で接続されてもよい。ただし、図１に示すように、コントローラ２２には、付属装置３６が装着されている。この付属装置３６は、コントローラ２２に着脱可能である。また、ゲームシステム１０では、付属装置３６を通して入力を行うためのペン型の入力装置（ペン入力装置）３８が設けられる。
【００２７】
ゲーム装置１２は、略直方体のハウジング１４を含み、ハウジング１４の前面にはディスクスロット１６が設けられる。ディスクスロット１６から、ゲームプログラム等を記憶した情報記憶媒体の一例である光ディスク１８が挿入されて、ハウジング１４内のディスクドライブ５４（図２参照）に装着される。図示は省略するが、ディスクスロット１６の周囲には、ＬＥＤと導光板とが配置され、様々な処理に応答させて、ディスクスロット１６を点灯または点滅させることが可能である。
【００２８】
また、ゲーム装置１２のハウジング１４の前面であり、その上部には、電源ボタン２０ａおよびリセットボタン２０ｂが設けられ、その下部には、イジェクトボタン２０ｃが設けられる。さらに、リセットボタン２０ｂとイジェクトボタン２０ｃとの間であり、ディスクスロット１６の近傍には、外部メモリカード用コネクタカバー２８が設けられる。この外部メモリカード用コネクタカバー２８の内側には、外部メモリカード用コネクタ６２（図２参照）が設けられ、図示しない外部メモリカード（以下、単に「メモリカード」という）が挿入される。メモリカードは、光ディスク１８から読み出したゲームプログラム等をローディングして一時的に記憶したり、このゲームシステム１０を利用してプレイしたゲームのゲームデータ（ゲームの結果データまたは途中データ）を保存（セーブ）しておいたりするために利用される。ただし、上記のゲームデータの保存は、メモリカードに対して行うことに代えて、たとえばゲーム装置１２の内部に設けられるフラッシュメモリ４４（図２参照）のような内部メモリに対して行うようにしてもよい。また、メモリカードは、内部メモリのバックアップメモリとして用いるようにしてもよい。さらに、ゲーム装置１２では、ゲーム以外の他のアプリケーションを実行することも可能であり、かかる場合には、メモリカードには当該他のアプリケーションのデータを保存することができる。
【００２９】
なお、メモリカードとしては、汎用のＳＤカードを用いることができるが、メモリスティックやマルチメディアカード（登録商標）のような他の汎用のメモリカードを用いることもできる。
【００３０】
図１では省略するが、ゲーム装置１２のハウジング１４の後面には、ＡＶケーブルコネクタ５８（図２参照）が設けられ、そのＡＶコネクタ５８を用いて、ＡＶケーブル３２ａを通してゲーム装置１２にモニタ３４およびスピーカ３４ａを接続する。このモニタ３４およびスピーカ３４ａは典型的にはカラーテレビジョン受像機であり、ＡＶケーブル３２ａによって、ゲーム装置１２からの映像信号がカラーテレビのビデオ入力端子に入力され、ゲーム装置１２からの音声信号が音声入力端子に入力される。したがって、カラーテレビ（モニタ）３４の画面上にたとえば３次元（３Ｄ）ビデオゲームのゲーム画像が表示され、左右のスピーカ３４ａからゲーム音楽や効果音などのステレオゲーム音声が出力される。また、モニタ３４の周辺（この実施例では、モニタ３４の上側）には、２つの赤外ＬＥＤ（マーカ）３４０ｍ，３４０ｎを備えるマーカ部３４ｂが設けられる。このマーカ部３４ｂは、電源ケーブル３２ｂを通してゲーム装置１２に接続される。したがって、マーカ部３４ｂには、ゲーム装置１２から電源が供給される。これによって、マーカ３４０ｍ，３４０ｎは発光し、それぞれモニタ３４の前方に向けて赤外光を出力する。
【００３１】
なお、ゲーム装置１２の電源は、一般的なＡＣアダプタ（図示せず）によって与えられる。ＡＣアダプタは家庭用の標準的な壁ソケットに差し込まれ、ゲーム装置１２は、家庭用電源（商用電源）を、駆動に適した低いＤＣ電圧信号に変換する。他の実施例では、電源としてバッテリが用いられてもよい。
【００３２】
このゲームシステム１０において、ユーザまたはプレイヤがゲーム（またはゲームに限らず、他のアプリケーション）をプレイするために、ユーザはまずゲーム装置１２の電源をオンし、次いで、ユーザはビデオゲーム（もしくはプレイしたいと思う他のアプリケーション）のプログラムを記録している適宜の光ディスク１８を選択し、その光ディスク１８をゲーム装置１２のディスクドライブ５４にローディングする。応じて、ゲーム装置１２がその光ディスク１８に記録されているプログラムに基づいてビデオゲームもしくは他のアプリケーションを実行し始めるようにする。ユーザはゲーム装置１２に入力を与えるためにコントローラ２２を操作する。たとえば、入力手段２６のどれかを操作することによってゲームもしくは他のアプリケーションをスタートさせる。また、入力手段２６に対する操作以外にも、コントローラ２２自体を動かすことによって、動画オブジェクト（プレイヤオブジェクト）を異なる方向に移動させ、または３Ｄのゲーム世界におけるユーザの視点（カメラ位置）を変化させることができる。また、後述するように、付属装置３６を装着した状態で、光源３８ａを備えるペン入力装置３８を用いることにより、パネル（この実施例では、タッチパネル３６０ｂ）上で、文字、図形、記号、画像など（以下、これらをまとめて「文字等」ということがある）が描画されると、描画された文字等に従う所定の情報処理を実行することができる。
【００３３】
たとえば、所定の情報処理としては、付属装置３６の装着されたコントローラ２２を用いて、ペン入力装置３８を用いて文字等を描画すると、描画した文字等は、モニタ３４に表示される。したがって、たとえば字の練習をしたりお絵かきしたりするアプリケーションを実行することができる。また、ゲーム装置１２が電子メール機能やメッセージの送受信機能を備える場合には、送信メールや送信メッセージの件名や本文を入力するような所定の情報処理を実行することができる。さらに、ゲーム装置１２によって、アクションゲームのアプリケーションソフトを実行している場合には、文字等を入力することにより、プレイヤキャラクタに任意のアクションを実行させたり、コマンドを入力したりするような所定の情報処理が実行される。
【００３４】
これらは単なる例示であり、限定的に解釈されるべきではない。コントローラ２２に付属装置３６を装着することにより、ペン入力装置３８を用いた入力が可能である点に着目されたい。
【００３５】
ただし、ビデオゲームや他のアプリケーションのプログラムは、ゲーム装置１２の内部メモリ（フラッシュメモリ４２（図２参照））に記憶（インストール）しておき、当該内部メモリから実行するようにしてもよい。かかる場合には，光ディスク１８のような記憶媒体に記憶されたプログラムを内部メモリにインストールしてもよいし、ダウンロードされたプログラムを内部メモリにインストールしてもよい。
【００３６】
図２は図１実施例のゲームシステム１０の電気的な構成を示すブロック図である。図示は省略するが、ハウジング１４内の各コンポーネントは、プリント基板に実装される。図２に示すように、ゲーム装置１２には、ＣＰＵ４０が設けられ、ゲームプロセッサとして機能する。また、ＣＰＵ４０には、システムＬＳＩ４２が接続される。このシステムＬＳＩ４２には、外部メインメモリ４６、ＲＯＭ／ＲＴＣ４８、ディスクドライブ５４およびＡＶ ＩＣ５６が接続される。
【００３７】
外部メインメモリ４６は、ゲームプログラム等のプログラムを記憶したり、各種データを記憶したりして、ＣＰＵ４０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ４８は、いわゆるブートＲＯＭであり、ゲーム装置１２の起動用のプログラムが組み込まれるとともに、時間をカウントする時計回路が設けられる。ディスクドライブ５４は、光ディスク１８からプログラム、画像データや音声データ等を読み出し、ＣＰＵ４０の制御の下で、後述する内部メインメモリ４２ｅまたは外部メインメモリ４６に書き込む。
【００３８】
システムＬＳＩ４２には、入出力プロセッサ４２ａ、ＧＰＵ(Graphics Processor Unit)４２ｂ、ＤＳＰ(Digital Signal Processor)４２ｃ、ＶＲＡＭ４２ｄおよび内部メインメモリ４２ｅが設けられ、図示は省略するが、これらは内部バスによって互いに接続される。入出力プロセッサ（Ｉ／Ｏプロセッサ）４２ａは、データの送受信を実行したり、データのダウンロードを実行したりする。データの送受信やダウンロードについては後述する。
【００３９】
ＧＰＵ４２ｂは、描画手段の一部を形成し、ＣＰＵ４０からのグラフィクスコマンド(作画命令)を受け、そのコマンドに従ってゲーム画像データを生成する。ただし、ＣＰＵ４０は、グラフィクスコマンドに加えて、ゲーム画像データの生成に必要な画像生成プログラムをＧＰＵ４２ｂに与える。
【００４０】
図示は省略するが、上述したように、ＧＰＵ４２ｂにはＶＲＡＭ４２ｄが接続される。ＧＰＵ４２ｂが作画コマンドを実行するにあたって必要なデータ（画像データ：ポリゴンデータやテクスチャデータなどのデータ）は、ＧＰＵ４２ｂがＶＲＡＭ４２ｄにアクセスして取得する。ただし、ＣＰＵ４０は、描画に必要な画像データを、ＧＰＵ４２ｂを介してＶＲＡＭ４２ｄに書き込む。ＧＰＵ４２ｂは、ＶＲＡＭ４２ｄにアクセスして描画のためのゲーム画像データを作成する。
【００４１】
なお、この実施例では、ＧＰＵ４２ｂがゲーム画像データを生成する場合について説明するが、ゲームアプリケーション以外の任意のアプリケーションを実行する場合には、ＧＰＵ４２ｂは当該任意のアプリケーションについての画像データを生成する。
【００４２】
また、ＤＳＰ４２ｃは、オーディオプロセッサとして機能し、内部メインメモリ４２ｅや外部メインメモリ４６に記憶されるサウンドデータや音波形（音色）データを用いて、スピーカ３４ａから出力する音、音声或いは音楽に対応するオーディオデータを生成する。
【００４３】
上述のように生成されたゲーム画像データおよびオーディオデータは、ＡＶ ＩＣ５６によって読み出され、ＡＶコネクタ５８を介してモニタ３４およびスピーカ３４ａに出力される。したがって、ゲーム画面がモニタ３４に表示され、ゲームに必要な音（音楽）がスピーカ３４ａから出力される。
【００４４】
また、入出力プロセッサ４２ａには、フラッシュメモリ４４、無線通信モジュール５０および無線コントローラモジュール５２が接続されるとともに、拡張コネクタ６０およびメモリカード用コネクタ６２が接続される。また、無線通信モジュール５０にはアンテナ５０ａが接続され、無線コントローラモジュール５２にはアンテナ５２ａが接続される。
【００４５】
図示は省略するが、入出力プロセッサ４２ａは、無線通信モジュール５０を介して、ネットワークに接続される他のゲーム装置や各種サーバと通信することができる。ただし、ネットワークを介さずに、直接的に他のゲーム装置と通信することもできる。入出力プロセッサ４２ａは、定期的にフラッシュメモリ４４にアクセスし、ネットワークへ送信する必要があるデータ（「送信データ」とする）の有無を検出し、当該送信データが有る場合には、無線通信モジュール５０およびアンテナ５０ａを介してネットワークに送信する。また、入出力プロセッサ４２ａは、他のゲーム装置から送信されるデータ（「受信データ」とする）を、ネットワーク、アンテナ５０ａおよび無線通信モジュール５０を介して受信し、当該受信データをフラッシュメモリ４４に記憶する。ただし、受信データが一定の条件を満たさない場合には、当該受信データはそのまま破棄される。さらに、入出力プロセッサ４２ａは、ダウンロードサーバからダウンロードしたデータ（ダウンロードデータとする）をネットワーク、アンテナ５０ａおよび無線通信モジュール５０を介して受信し、そのダウンロードデータをフラッシュメモリ４４に記憶する。
【００４６】
また、入出力プロセッサ４２ａは、コントローラ２２から送信される入力データをアンテナ５２ａおよび無線コントローラモジュール５２を介して受信し、内部メインメモリ４２ｅまたは外部メインメモリ４６のバッファ領域に記憶（一時記憶）する。入力データは、ＣＰＵ４０の処理（たとえば、ゲーム処理などの情報処理）によって利用された後、バッファ領域から消去される。
【００４７】
なお、この実施例では、上述したように、無線コントローラモジュール５２は、Ｂｌｕｅｔｏｏｔｈ規格に従ってコントローラ２２との間で通信を行う。
【００４８】
さらに、入出力プロセッサ４２ａには、拡張コネクタ６０およびメモリカード用コネクタ６２が接続される。拡張コネクタ６０は、ＵＳＢやＳＣＳＩのようなインターフェイスのためのコネクタであり、外部記憶媒体のようなメディアを接続したり、コントローラ２２とは異なる他のコントローラのような周辺機器を接続したりすることができる。また、拡張コネクタ６０に有線ＬＡＮアダプタを接続し、無線通信モジュール５０に代えて当該有線ＬＡＮを利用することもできる。メモリカード用コネクタ６２には、メモリカードのような外部記憶媒体を接続することができる。したがって、たとえば、入出力プロセッサ４２ａは、拡張コネクタ６０やメモリカード用コネクタ６２を介して、外部記憶媒体にアクセスし、データを保存したり、データを読み出したりすることができる。
【００４９】
詳細な説明は省略するが、図１にも示したように、ゲーム装置１２（ハウジング１４）には、電源ボタン２０ａ，リセットボタン２０ｂおよびイジェクトボタン２０ｃが設けられる。電源ボタン２０ａは、システムＬＳＩ４２に接続される。この電源ボタン２０ａがオンされると、システムＬＳＩ４２には、ゲーム装置１２の各コンポーネントに図示しないＡＣアダプタを経て電源が供給され、通常の通電状態となるモード（以下、「通常モード」という）が設定される。一方、電源ボタン２０ａがオフされると、システムＬＳＩ４２には、ゲーム装置１２の一部のコンポーネントのみに電源が供給され、消費電力を必要最低限に抑えるモード（以下、「スタンバイモード」という）が設定される。
【００５０】
この実施例では、スタンバイモードが設定された場合には、システムＬＳＩ４２は、入出力プロセッサ４２ａ、フラッシュメモリ４４、外部メインメモリ４６、ＲＯＭ／ＲＴＣ４８および無線通信モジュール５０、無線コントローラモジュール５２以外のコンポーネントに対して、電源供給を停止する指示を行う。したがって、この実施例では、スタンバイモードにおいて、ＣＰＵ４０がアプリケーションを実行することはない。
【００５１】
なお、システムＬＳＩ４２には、スタンバイモードにおいても電源が供給されるが、ＧＰＵ４２ｂ、ＤＳＰ４２ｃおよびＶＲＡＭ４２ｄへのクロックの供給を停止することにより、これらを駆動しないようにして、消費電力を低減するようにしてある。
【００５２】
また、図示は省略するが、ゲーム装置１２のハウジング１４内部には、ＣＰＵ４０やシステムＬＳＩ４２などのＩＣの熱を外部に排出するためのファンが設けられる。スタンバイモードでは、このファンも停止される。
【００５３】
ただし、スタンバイモードを利用したくない場合には、スタンバイモードを利用しない設定にしておくことにより、電源ボタン２０ａがオフされたときに、すべての回路コンポーネントへの電源供給が完全に停止される。
【００５４】
また、通常モードとスタンバイモードとの切り替えは、コントローラ２２の電源スイッチ２６ｈのオン／オフの切り替えによって、遠隔操作によって行うことが可能である。当該遠隔操作を行わない場合には、スタンバイモードにおいて無線コントローラモジュール５２ａへの電源供給を行わない設定にしてもよい。
【００５５】
リセットボタン２０ｂもまた、システムＬＳＩ４２に接続される。リセットボタン２０ｂが押されると、システムＬＳＩ４２は、ゲーム装置１２の起動プログラムを再起動する。イジェクトボタン２０ｃは、ディスクドライブ５４に接続される。イジェクトボタン２０ｃが押されると、ディスクドライブ５４から光ディスク１８が排出される。
【００５６】
図３（Ａ）ないし図３（Ｅ）は、コントローラ２２の外観の一例を示す。図３（Ａ）はコントローラ２２の先端面を示し、図３（Ｂ）はコントローラ２２の上面を示し、図３（Ｃ）はコントローラ２２の右側面を示し、図３（Ｄ）はコントローラ２２の下面を示し、そして、図３（Ｅ）はコントローラ２２の後端面を示す。
【００５７】
図３（Ａ）ないし図３（Ｅ）を参照して、コントローラ２２は、たとえばプラスチック成型によって形成されたハウジング２２ａを有している。ハウジング２２ａは、略直方体形状であり、ユーザが片手で把持可能な大きさである。ハウジング２２ａ（コントローラ２２）には、入力手段（複数のボタンないしスイッチ）２６が設けられる。具体的には、図３（Ｂ）に示すように、ハウジング２２ａの上面には、十字キー２６ａ，１ボタン２６ｂ，２ボタン２６ｃ，Ａボタン２６ｄ，−ボタン２６ｅ，ＨＯＭＥボタン２６ｆ，＋ボタン２６ｇおよび電源スイッチ２６ｈが設けられる。また、図３（Ｃ）および図３（Ｄ）に示すように、ハウジング２２ａの下面に傾斜面が形成されており、この傾斜面に、Ｂトリガースイッチ２６ｉが設けられる。
【００５８】
十字キー２６ａは、４方向プッシュスイッチであり、矢印で示す４つの方向、前（または上）、後ろ（または下）、右および左の操作部を含む。この操作部のいずれか１つを操作することによって、プレイヤによって操作可能なキャラクタまたはオブジェクト（プレイヤキャラクタまたはプレイヤオブジェクト）の移動方向を指示したり、カーソルの移動方向を指示したり、単に方向を指示したりすることができる。
【００５９】
１ボタン２６ｂおよび２ボタン２６ｃは、それぞれ、押しボタンスイッチである。たとえば３次元ゲーム画像を表示する際の視点位置や視点方向、すなわち仮想カメラの位置や画角を調整する等のゲームの操作に使用される。または、１ボタン２６ｂおよび２ボタン２６ｃは、Ａボタン２６ｄおよびＢトリガースイッチ２６ｉと同じ操作或いは補助的な操作をする場合に用いるようにしてもよい。
【００６０】
Ａボタンスイッチ２６ｄは、押しボタンスイッチであり、プレイヤキャラクタまたはプレイヤオブジェクトに、方向指示以外の動作、すなわち、打つ（パンチ）、投げる、つかむ（取得）、乗る、ジャンプするなどの任意のアクションをさせるために使用される。たとえば、アクションゲームにおいては、ジャンプ、パンチ、武器を動かすなどを指示することができる。また、ロールプレイングゲーム（ＲＰＧ）やシミュレーションＲＰＧにおいては、アイテムの取得、武器やコマンドの選択および決定等を指示することができる。また、Ａボタンスイッチ２６ｄは、コントローラ２２をポインティングデバイスとして用いる場合に、ゲーム画面上でポインタ（指示画像）が指示するアイコンないしボタン画像の決定を指示するために使用される。たとえば、アイコンやボタン画像が決定されると、これらに対応して予め設定されている指示ないし命令（コマンド）を入力することができる。
【００６１】
−ボタン２６ｅ、ＨＯＭＥボタン２６ｆ、＋ボタン２６ｇおよび電源スイッチ２６ｈもまた、押しボタンスイッチである。−ボタン２６ｅは、ゲームモードを選択するために使用される。ＨＯＭＥボタン２６ｆは、ゲームメニュー（メニュー画面）を表示するために使用される。＋ボタン２６ｇは、ゲームを開始（再開）したり、一時停止したりするなどのために使用される。電源スイッチ２６ｈは、ゲーム装置１２の電源を遠隔操作によってオン／オフするために使用される。
【００６２】
なお、この実施例では、コントローラ２２自体をオン／オフするための電源スイッチは設けておらず、コントローラ２２の入力手段２６のいずれかを操作することによってコントローラ２２はオンとなり、一定時間（たとえば、３０秒）以上操作しなければ自動的にオフとなるようにしてある。
【００６３】
Ｂトリガースイッチ２６ｉもまた、押しボタンスイッチであり、主として、弾を撃つなどのトリガを模した入力を行ったり、コントローラ２２で選択した位置を指定したりするために使用される。また、Ｂトリガースイッチ２６ｉを押し続けると、プレイヤオブジェクトの動作やパラメータを一定の状態に維持することもできる。また、一定の場合には、Ｂトリガースイッチ２６ｉは、通常のＢボタンと同様に機能し、Ａボタン２６ｄによって決定したアクションやコマンドなどを取り消すなどのために使用される。
【００６４】
また、図３（Ｅ）に示すように、ハウジング２２ａの後端面に外部拡張コネクタ２２ｂが設けられ、また、図３（Ｂ）に示すように、ハウジング２２ａの上面であり、後端面側にはインジケータ２２ｃが設けられる。外部拡張コネクタ２２ｂは、コントローラ２２とは異なる拡張コントローラ（図示せず）を接続するためなどに使用される。インジケータ２２ｃは、たとえば、４つのＬＥＤで構成される。たとえば、インジケータ２２ｃでは、４つのうちのいずれか１つを点灯させることにより、点灯したＬＥＤに応じて、コントローラ２２の識別情報（コントローラ番号）を示すことができる。また、インジケータ２２ｃでは、点灯させるＬＥＤの個数によってコントローラ２２の電池残量を示すこともできる。
【００６５】
さらに、コントローラ２２は、撮像情報演算部８０（図４参照）を有しており、図３（Ａ）に示すように、ハウジング２２ａの先端面には撮像情報演算部８０の光入射口２２ｄが設けられる。また、コントローラ２２は、スピーカ８６（図４参照）を有しており、このスピーカ８６は、図３（Ｂ）に示すように、ハウジング２２ａの上面であり、１ボタン２６ｂとＨＯＭＥボタン２６ｆとの間に設けられる音抜き孔２２ｅに対応して、ハウジング２２ａ内部に設けられる。
【００６６】
なお、図３（Ａ）ないし図３（Ｅ）に示したコントローラ２２の形状や、各入力手段２６の形状、数および設置位置等は単なる一例に過ぎず、それらが適宜改変された場合であっても、本発明を実現できることは言うまでもない。
【００６７】
図４はコントローラ２２の電気的な構成を示すブロック図である。この図４を参照して、コントローラ２２はプロセッサ７０を含み、このプロセッサ７０には、内部バス（図示せず）によって、外部拡張コネクタ２２ｂ、入力手段２６、メモリ７２、加速度センサ７４、無線モジュール７６、撮像情報演算部８０、ＬＥＤ８２（インジケータ２２ｃ）、バイブレータ８４、スピーカ８６および電源回路８８が接続される。また、無線モジュール７６には、アンテナ７８が接続される。
【００６８】
なお、簡単のため、図４では省略するが、上述したように、インジケータ２２ｃは４つのＬＥＤ８２によって構成される。
【００６９】
プロセッサ７０は、コントローラ２２の全体制御を司り、入力手段２６、加速度センサ７４および撮像情報演算部８０によって入力された情報（入力情報）を、入力データとして無線モジュール７６およびアンテナ７８を介してゲーム装置１２に送信（入力）する。このとき、プロセッサ７０は、メモリ７２を作業領域ないしバッファ領域として用いる。また、上述した入力手段２６（２６ａ−２６ｉ）からの操作信号（操作データ）は、プロセッサ７０に入力され、プロセッサ７０は操作データを一旦メモリ７２に記憶する。
【００７０】
加速度センサ７４は、コントローラ２２の縦方向（ｙ軸方向）、横方向（ｘ軸方向）および前後方向（ｚ軸方向）の３軸で各々の加速度を検出する。この加速度センサ７４は、典型的には、静電容量式の加速度センサであるが、他の方式のものを用いるようにしてもよい。
【００７１】
たとえば、加速度センサ７４は、第１所定時間毎に、ｘ軸，ｙ軸，ｚ軸の各々についての加速度（ａｘ，ａｙ，ａｚ）を検出し、検出した加速度のデータ（加速度データ）をプロセッサ７０に入力する。たとえば、加速度センサ７４は、各軸方向の加速度を、−２．０ｇ〜２．０ｇ（ｇは重力加速度である。以下、同じ。）の範囲で検出する。プロセッサ７０は、加速度センサ７４から与えられる加速度データを、第２所定時間毎に検出し、一旦メモリ７２に記憶する。
【００７２】
プロセッサ７０は、操作データ、加速度データおよび後述するマーカ座標データの少なくとも１つを含む入力データを作成し、作成した入力データを、第３所定時間（たとえば、５ｍｓｅｃ）毎にゲーム装置１２に送信する。
【００７３】
なお、図３（Ａ）−図３（Ｅ）では省略したが、この実施例では、加速度センサ７４は、ハウジング２２ａ内部の基板上の十字キー２６ａが配置される付近に設けられる。
【００７４】
無線モジュール７６は、たとえばＢｌｕｅｔｏｏｔｈの技術を用いて、所定周波数の搬送波を入力データで変調し、その微弱電波信号をアンテナ７８から放射する。つまり、入力データは、無線モジュール７６によって微弱電波信号に変調されてアンテナ７８（コントローラ２２）から送信される。この微弱電波信号が上述したゲーム装置１２に設けられた無線コントローラモジュール５２によって受信される。受信された微弱電波は、復調および復号の処理を施され、したがって、ゲーム装置１２（ＣＰＵ４０）は、コントローラ２２からの入力データを取得することができる。そして、ＣＰＵ４０は、取得した入力データとアプリケーションプログラムとに従ってアプリケーションの処理を行う。
【００７５】
さらに、上述したように、コントローラ２２には、撮像情報演算部８０が設けられる。この撮像情報演算部８０は、赤外線フィルタ８０ａ、レンズ８０ｂ、撮像素子８０ｃおよび画像処理回路８０ｄによって構成される。赤外線フィルタ８０ａは、コントローラ２２の前方から入射する光から赤外線のみを通過させる。上述したように、モニタ３４の表示画面近傍（周辺）に配置されるマーカ３４０ｍおよび３４０ｎは、モニタ３４の前方に向かって赤外光を出力する赤外ＬＥＤである。したがって、赤外線フィルタ８０ａを設けることによってマーカ３４０ｍおよび３４０ｎの画像をより正確に撮像することができる。レンズ８０ｂは、赤外線フィルタ８０ａを透過した赤外線を集光して撮像素子８０ｃへ出射する。撮像素子８０ｃは、たとえばＣＭＯＳセンサあるいはＣＣＤのような固体撮像素子であり、レンズ８０ｂによって集光された赤外線を撮像する。したがって、撮像素子８０ｃは、赤外線フィルタ８０ａを通過した赤外線だけを撮像して画像データを生成する。以下では、撮像素子８０ｃによって撮像された画像を撮像画像と呼ぶ。また、赤外線フィルタ８０ａ、レンズ８０ｂおよび撮像素子８０ｃによって、撮像装置（カメラ）８００が構成される。撮像素子８０ｃによって生成された画像データは、画像処理回路８０ｄで処理される。画像処理回路８０ｄは、撮像画像内における撮像対象（マーカ３４０ｍおよび３４０ｎ）の位置を算出し、第４所定時間毎に、当該位置を示す各座標値を撮像データ（後述するマーカ座標データ）としてプロセッサ７０に出力する。なお、画像処理回路８０ｄにおける処理については後述する。
【００７６】
図示は省略するが、付属装置３６への電源供給をコントローラ２２から行うようにする場合には、コネクタ２２ｂと付属装置３６（タッチパネル３６０ｂ：図８および図９参照）とが電源ケーブル（図示せず）を用いて接続される。そして、プロセッサ７０の制御によって、電源回路８８から付属装置３６（タッチパネル３６０ｂ）に電源が供給されたり停止されたりする。
【００７７】
ただし、付属装置３６にバッテリのような電源を設ける場合には、コネクタ２２ｂと付属装置３６とを電源ケーブルによって接続する必要はない。
【００７８】
図５は、コントローラ２２を用いてゲームプレイするときの状態を概説する図解図である。ただし、ゲームプレイのみならず、他のアプリケーションを実行する場合も同様である。ここでは、説明の都合上、付属装置３６がコントローラ２２に装着されていない場合について説明する。図５に示すように、ゲームシステム１０でコントローラ２２を用いてゲームをプレイする際、プレイヤは、一方の手でコントローラ２２を把持する。厳密に言うと、プレイヤは、コントローラ２２の先端面（撮像情報演算部８０が撮像する光の入射口２２ｄ側）がマーカ３４０ｍおよび３４０ｎの方を向く状態でコントローラ２２を把持する。ただし、図１からも分かるように、マーカ３４０ｍおよび３４０ｎは、モニタ３４の画面の横方向と平行に配置されている。この状態で、プレイヤは、コントローラ２２が指示する画面上の位置を変更したり、コントローラ２２と各マーカ３４０ｍおよび３４０ｎとの距離を変更したりすることによってゲーム操作を行う。
【００７９】
図６は、マーカ３４０ｍおよび３４０ｎと、コントローラ２２との視野角を説明するための図である。図６に示すように、マーカ３４０ｍおよび３４０ｎは、それぞれ、視野角θ１の範囲で赤外光を放射する。また、撮像情報演算部８０の撮像素子８０ｃは、コントローラ２２の視線方向を中心とした視野角θ２の範囲で入射する光を受光することができる。たとえば、マーカ３４０ｍおよび３４０ｎの視野角θ１は、共に３４°（半値角）であり、一方、撮像素子８０ｃの視野角θ２は４１°である。プレイヤは、撮像素子８０ｃが２つのマーカ３４０ｍおよび３４０ｎからの赤外光を受光することが可能な位置および向きとなるように、コントローラ２２を把持する。具体的には、撮像素子８０ｃの視野角θ２の中にマーカ３４０ｍおよび３４０ｎの少なくとも一方が存在し、かつ、マーカ３４０ｍまたは３４０ｎの少なくとも一方の視野角θ１の中にコントローラ２２が存在する状態となるように、プレイヤはコントローラ２２を把持する。この状態にあるとき、コントローラ２２は、マーカ３４０ｍおよび３４０ｎの少なくとも一方を検知することができる。プレイヤは、この状態を満たす範囲でコントローラ２２の位置および向きを変化させることによってゲーム操作を行うことができる。
【００８０】
なお、コントローラ２２の位置および向きがこの範囲外となった場合、コントローラ２２の位置および向きに基づいたゲーム操作を行うことができなくなる。以下では、上記範囲を「操作可能範囲」と呼ぶ。
【００８１】
操作可能範囲内でコントローラ２２が把持される場合、撮像情報演算部８０によって各マーカ３４０ｍおよび３４０ｎの画像が撮像される。すなわち、撮像素子８０ｃによって得られる撮像画像には、撮像対象である各マーカ３４０ｍおよび３４０ｎの画像（対象画像）が含まれる。図７は、対象画像を含む撮像画像の一例を示す図である。対象画像を含む撮像画像の画像データを用いて、画像処理回路８０ｄは、各マーカ３４０ｍおよび３４０ｎの撮像画像における位置を表す座標（マーカ座標）を算出する。
【００８２】
撮像画像の画像データにおいて対象画像は高輝度部分として現れるため、画像処理回路８０ｄは、まず、この高輝度部分を対象画像の候補として検出する。次に、画像処理回路８０ｄは、検出された高輝度部分の大きさに基づいて、その高輝度部分が対象画像であるか否かを判定する。撮像画像には、対象画像である２つのマーカ３４０ｍおよび３４０ｎに対応する画像３４０ｍ’および３４０ｎ’のみならず、窓からの太陽光や部屋の蛍光灯の光によって対象画像以外の画像が含まれていることがある。高輝度部分が対象画像であるか否かの判定処理は、対象画像である画像３４０ｍ’および３４０ｎ’と、それ以外の画像とを区別し、対象画像を正確に検出するために実行される。具体的には、当該判定処理においては、検出された高輝度部分が、予め定められた所定範囲内の大きさであるか否かが判定される。そして、高輝度部分が所定範囲内の大きさである場合には、当該高輝度部分は対象画像を表すと判定される。逆に、高輝度部分が所定範囲内の大きさでない場合には、当該高輝度部分は対象画像以外の画像を表すと判定される。
【００８３】
さらに、上記の判定処理の結果、対象画像を表すと判定された高輝度部分について、画像処理回路８０ｄは当該高輝度部分の位置を算出する。具体的には、当該高輝度部分の重心位置を算出する。ここでは、当該重心位置の座標をマーカ座標と呼ぶ。また、重心位置は撮像素子８０ｃの解像度よりも詳細なスケールで算出することが可能である。ここでは、撮像素子８０ｃによって撮像された撮像画像の解像度が１２６×９６であるとし、重心位置は１０２４×７６８のスケールで算出されるものとする。つまり、マーカ座標は、（０，０）から（１０２４，７６８）までの整数値で表現される。
【００８４】
なお、撮像画像における位置は、撮像画像の左上を原点とし、下向きをＹ軸正方向とし、右向きをＸ軸正方向とする座標系（ＸＹ座標系）で表現されるものとする。
【００８５】
また、対象画像が正しく検出される場合には、判定処理によって２つの高輝度部分が対象画像として判定されるので、２箇所のマーカ座標が算出される。画像処理回路８０ｄは、算出された２箇所のマーカ座標を示すデータを出力する。出力されたマーカ座標のデータ（マーカ座標データ）は、上述したように、プロセッサ７０によって入力データに含まれ、ゲーム装置１２に送信される。
【００８６】
ゲーム装置１２（ＣＰＵ４０）は、受信した入力データからマーカ座標データを検出すると、このマーカ座標データに基づいて、モニタ３４の画面上におけるコントローラ２２の指示位置（指示座標）と、コントローラ２２からマーカ３４０ｍおよび３４０ｎまでの各距離とを算出することができる。具体的には、２つのマーカ座標の中点の位置から、コントローラ２２の向いている位置すなわち指示位置が算出される。また、撮像画像における対象画像間の距離が、コントローラ２２と、マーカ３４０ｍおよび３４０ｎとの距離に応じて変化するので、２つのマーカ座標間の距離を算出することによって、ゲーム装置１２はコントローラ２２と、マーカ３４０ｍおよび３４０ｎとの間の距離を把握できる。さらに、２つのマーカ座標を通る直線の傾きから、コントローラ２２の光入射口２２ｄをマーカ３４０ｍおよび３４０ｎ（モニタ３４）側に向けた場合における、コントローラ２２の長手方向を回転軸としたコントローラ２２の回転量を検出することができる。
【００８７】
図８は、コントローラ２２に着脱可能に設けられる付属装置３６の外観構成を示す斜視図である。図８に示すように、付属装置３６は、入力操作部３６ａとカバー３６ｂとによって構成される。入力操作部３６ａは、四角錐台を上下反転させたような外観を有する筐体３６０ａを含み、四角錐台の底面に相当する位置にタッチパネル３６０ｂが設けられる。また、筐体３６０ａの側面（この実施例では、カバー３６ｂ側の側面）には、取付孔３６０ｃが設けられる。図８では省略するが、取付孔３６０ｃには、入力操作部３６ａ（筐体３６０ａ）の内部で発光するように、光源としての赤外ＬＥＤ３６０ｈ（図１０参照）が取り付けられる。さらに、図８では分かり難いが、筐体３６０ａには、その四角錐台の上面側に延びる連結部３６０ｄが設けられる。この連結部３６０ｄは、入力操作部３６ａとカバー３６ｂと連結するために用いられる。さらにまた、図９に示すように、付属装置３６を正面から見ると、筐体３６０ａの下端部であり、カバー３６ｂの反対側に、開口３６０ｅが設けられる。開口３６０ｅは、コントローラ２２の光入射口２２ｄや後述するハーフミラー３６０ｆを正面から見た場合の大きさとほぼ同じ大きさを有している。また、入力操作部３６ａの筐体３６０ａ内の下端部には、ハーフミラー３６０ｆが設けられる。
【００８８】
図８に戻って、カバー３６ｂは、本体３６２ａを含み、本体３６２ａは、コントローラ２２を収容可能に形成される。本体３６２ａの上面には、コントローラ２２の上面に設けられるスイッチないしボタン（２６ａ−２６ｈ）を操作可能にするとともに、コントローラ２２の上面に設けられるインジケータ２２ｃを視認可能にするための開口３６２ｂが設けられる。また、本体３６２ａの底面であり、本体３６２ａの先端面側（入力操作部３６ａが設けられる側）に、Ｂトリガースイッチ２６ｉを操作可能にするための開口３６２ｃが設けられる。さらに、本体３６２ａの先端面には、コントローラ２２の光入射口２２ｄ（撮像装置８００）に光を入射させるための開口３６２ｄが設けられる。さらにまた、本体３６２ａの両側面であり、先端面側には、上述の連結部３６０ｄと連結される連結部３６２ｅがそれぞれ設けられる。
【００８９】
図１０（Ａ）および図１０（Ｂ）は、コントローラ２２、操作入力部３６ａの一部およびペン入力装置３８を示す概略図である。この図１０（Ａ）および図１０（Ｂ）では、簡単のため、筐体３６０ａおよび本体３６２ａは省略してある。また、図１０（Ａ）および図１０（Ｂ）は、付属装置３６を装着したコントローラ２２を、当該コントローラ２２の左側面から見た場合について示してある。
【００９０】
図１０（Ａ）および図１０（Ｂ）に示すように、タッチパネル３６０ｂの中央下部にハーフミラー３６０ｆが設けられる。また、ハーフミラー３６０ｆの右側にはコントローラ２２が配置される。つまり、ハーフミラー３６０ｆは、筐体３６０ａの内部であり、コントローラ２２に対して撮像装置８００の撮像方向に設けられる。さらに、タッチパネル３６０ｂとハーフミラー３６０ｆとの間であり、上述したように、筐体３６０ａの側面の内部には、赤外ＬＥＤ３６０ｈが設けられる。
【００９１】
たとえば、タッチパネル３６０ｂとしては、抵抗膜方式のタッチパネルを用いることができる。このタッチパネル３６０ｂは、赤外光を透過させるものである。したがって、タッチパネル３６０ｂとしては、赤外光を透過させるものであれば、抵抗膜方式に限らず、任意の押圧式のタッチパネルを用いることができる。
【００９２】
また、コントローラ２２、タッチパネル３６０ｂ、ハーフミラー３６０ｆおよび赤外ＬＥＤ３６０ｈの配置位置（位置関係）は、付属装置３６をコントローラ２２に装着することにより、固定的に決定される。この実施例では、タッチパネル３６０ｂの大きさと、タッチパネル３６０ｂとハーフミラー３６０ｆとの距離（四角錐台形状の筐体３６０ａの高さ）とは、コントローラ２２に内蔵される撮像装置８００（撮像素子８０ｃ）の画角によって決定される。
【００９３】
また、図１０（Ａ）および図１０（Ｂ）に示すように、タッチパネル３６０ｂの上面であり、赤外ＬＥＤ３６０ｈの上方には、カバー３６０ｇが設けられる。カバー３６０ｇは、タッチパネル３６０ｂを介して入力操作部３６ａの内部に赤外光が入射されるのを防止する。これは、カバー３６０ｇによって覆われたタッチパネル３６０ｂの範囲（領域）において、赤外ＬＥＤ３６０ｈから出力される赤外光以外の赤外光が検出されるのを回避するためである。
【００９４】
なお、この実施例では、カバー３６０ｇを設けるようにしてあるが、赤外光を遮断すれば良いため、カバー３６０ｇに代えて、赤外光を通さない色（黒色）の塗料を塗布するようにしてもよい。
【００９５】
また、タッチパネル３６０ｂの一方端子（グランド）から赤外ＬＥＤ３６０ｈの一方端（カソード）に電源ケーブルが接続されるとともに、タッチパネル３６０ｂの他方端子（座標データの出力端子）からアンプ３６０ｉを介して赤外ＬＥＤ３６０ｈの他方端（アノード）に電源ケーブルが接続される。
【００９６】
したがって、この実施例では、ペン入力装置３８や指などでタッチパネル３６０ｂをタッチした場合には、タッチした位置についてのデータ（位置データ）がタッチパネル３６０ｂから出力される。この位置データがアンプ３６０ｉで赤外ＬＥＤ３６０ｈの駆動電圧に変換される。したがって、赤外ＬＥＤ３６０ｈは発光する。一方、ペン入力装置３８や指などでタッチパネル３６０ｂをタッチしていない場合には、タッチパネル３６０ｂから位置データは出力されない。したがって、赤外ＬＥＤ３６０ｈは発光しない。位置データの有無によって接触の有無が判定されるが、ペンが接触していることがわかればよいので、タッチパネル３６０ｂは、位置を正確に出力できる精度は必要なく、したがって接触したか否かだけが出力されるようなものでもよい。
【００９７】
この実施例では、赤外ＬＥＤ３６０ｈの明滅によって、タッチパネル３６０ｂをタッチしているか否かを判断するようにしてある。このため、図１１（Ａ）に示すように、タッチパネル３６０ｂの全範囲のうち、カバー３６０ｇが設けられる範囲（領域）を、タッチパネル３６０ｂをタッチしているか否かを判断する領域（検出領域）とし、それ以外の範囲（領域）を入力領域としてある。
【００９８】
したがって、図１１（Ｂ）に示すような撮像画像において、検出領域に相当する領域に赤外光に対応する高輝度部分が検出されれば、タッチパネル３６０ｂがオンされていると判断することができる。一方、撮像画像において、検出領域に相当する領域に赤外光に対応する高輝度部分が検出されていなければ、タッチパネル３６０ｂがオフされていると判断することができる。このような撮像画像における検出領域の位置ないし範囲についての座標データは、予めゲーム装置１２に記憶されている。したがってコントローラ２２からの入力データに含まれるマーカ座標データが示す位置（座標）が検出領域に相当する領域に含まれるか否かに基づいて、ペン入力装置３８がタッチパネル３６０ｂに接触しているか否かを判断することができる。
【００９９】
また、タッチパネル３６０ｂがオンされている状態で、プレイヤないしユーザが、タッチパネル３６０ｂの入力領域において、文字等を描画している場合には、撮影画像において、ペン入力装置３８の赤外ＬＥＤ３８ａから出力される赤外光に対応する高輝度部分がさらに検出される。したがって、ゲーム装置１２では、コントローラ２２からの入力データに含まれるマーカ座標データに基づいて、入力領域に相当する領域の座標データに従うモニタ３４の画面上の指示位置を決定することができる。したがって、たとえば、ゲーム装置１２は、指示位置に、マウスポインタやカーソルのような指示画像を表示したり、点を表示したりする。
【０１００】
ただし、図１１（Ｂ）では、簡単のため、撮像画像に含まれる赤外光の画像（対象画像に相当）は省略してある。
【０１０１】
また、図１１（Ｂ）に示すように、実際には、赤外ＬＥＤ３６０ｈから出力された赤外光が照射される領域（斜線を付した照射領域）は検出領域の一部に相当する領域であるため、この照射領域に相当する領域以外の領域を入力領域として設定することも可能である。
【０１０２】
図１０（Ａ）に戻って、たとえば、付属装置３６を装着したコントローラ２２では、コントローラ２２に内蔵される撮像装置８００の撮影方向の赤外光はハーフミラー３６０ｆを介して（透過して）コントローラ２２の光入射口２２ｄに入射される。かかる場合には、図５−図７を用いて説明したように、コントローラ２２は、２つのマーカ３４０ｍおよびマーカ３４０ｎを含む画像を撮像することによって、モニタ３４上の座標入力等に用いられる。つまり、コントローラ２２を、座標入力等に使用する座標入力装置（以下、説明の都合上、「通常の座標入力装置」と呼ぶことにする）として使用することができる。
【０１０３】
一方、図１０（Ｂ）に示すように、付属装置３６を装着したコントローラ２２では、ペン入力装置３８の発光部３８ａから発光された赤外光が、タッチパネル３６０ｂを透過し、ハーフミラー３６０ｆで反射されて、コントローラ２２の光入射口２２ｄに入射される。かかる場合には、たとえば、コントローラ２２を、ペンタブレットとして使用することができる。
【０１０４】
たとえば、コントローラ２２を、通常の座標入力装置として使用する場合と、ペンタブレットとして使用する場合とは、情報処理プログラムのようなアプリケーションプログラムからの要請に応じて切り替えられる。たとえば、前者の場合には、ゲーム装置１２からマーカ３４０ｍ、３４０ｎに電源が供給されるが、ゲーム装置１２からの指示に従ってコントローラ２２からタッチパネル３６０ｂに電源は供給されない。また、コントローラ２２からペン入力装置３８に電源が供給されるようにした場合には、ペン入力装置３８（発光部３８ａ）への電源も供給されない。
【０１０５】
後者の場合には、ゲーム装置１２からマーカ３４０ｍ、３４０ｎに電源は供給されないが、ゲーム装置１２からの指示に従ってコントローラ２２からタッチパネル３６０ｂに電源が供給される。また、コントローラ２２からペン入力装置３８に電源が供給されるようにした場合には、ペン入力装置３８（発光部３８ａ）への電源も供給される。
【０１０６】
ただし、付属装置３６やペン入力装置３８にバッテリを設ける場合には、たとえば、バッテリからの電源を供給および停止するためのスイッチ（図示せず）を設けておき、コントローラ２２を通常の座標入力装置として使用する場合には、そのスイッチをオフし、コントローラ２２をペンタブレットとして使用する場合には、そのスイッチをオンするようにすればよい。この場合には、スイッチを電気的にオン／オフ可能にしておき、コントローラ２２からの制御に従ってスイッチをオン／オフするようにすればよい。
【０１０７】
このようにすれば、マーカ３４０ｍ、３４０ｎまたはタッチパネル３６０ｂを使用しないときに、電源供給を停止することができ、無駄な消費電力を削減することができる。
【０１０８】
また、図１０（Ｂ）に示したように、コントローラ２２を、ペンタブレットとして使用する場合には、ペン入力装置３８がタッチパネル３６０ｂに接触しているか否かで、ゲーム装置１２（ＣＰＵ４０）の処理が異なる。ペン入力装置３８がタッチパネル３６０ｂに接触しているか否かの判断手法は上述したとおりであるため、重複した説明は省略する。
【０１０９】
たとえば、ユーザないしプレイヤが、ペン入力装置３８を用いて、タッチパネル３６０ｂ上の入力領域において文字等を描画すると、ゲーム装置１２では、マーカ座標データに基づいて、ペン入力装置３８がタッチパネル３６０ｂに接触していることと、入力領域への入力が有ることを検出する。したがって、たとえば、入力領域でペン入力装置３８が指示する位置（指示位置）に従って、モニタ３４の画面上にその指示位置を指示する画像（指示画像）および点が表示（描画）され、指示位置の変化によって指示画像が移動するとともに連続的に点が表示（描画）される。したがって、線が描画される。
【０１１０】
一方、ユーザないしプレイヤが、ペン入力装置３８をタッチパネル３６０ｂから離している場合には、文字等を描画していないと判断されるが、ペン入力装置３８がタッチパネル３６０ｂの上方に有る場合と無い場合とで、ゲーム装置１２（ＣＰＵ４０）の処理がさらに異なる。
【０１１１】
ペン入力装置３８がタッチパネル３６０ｂから離れた上方に有る場合には、ペン入力装置３８の赤外ＬＥＤ３８ａからの赤外光を含む画像が撮像装置８００で撮像されるため、コントローラ２２からはその赤外光に対応する高輝度部分についてのマーカ座標データを含む入力データがゲーム装置１２に送信される。したがって、入力領域の範囲内でペン入力装置３８の指示位置に従って、モニタ３４の画面上にその指示位置を指示する指示画像のみが表示される。つまり、かかる場合には、単にペン入力装置３８を移動させているだけであり、文字等を実際に書いている状態ではないと判断し、入力領域に相当する領域で検出される赤外光の位置および軌跡に従って画面上の指示画像を表示および移動させる。
【０１１２】
ペン入力装置３８がタッチパネル３６０ｂの上方に無い場合には、ペン入力装置３８の赤外ＬＥＤ３８ａから出力される赤外光を含まない画像が撮像装置８００で撮像されるため、コントローラ２２からは、少なくともマーカ座標データを含まない入力データがゲーム装置１２に送信される。かかる場合には、マーカ座標データが無いため、指示画像がモニタ３４に表示されない。つまり、かかる場合には、ペン入力装置３８がタッチパネル３６０ｂの外に出されている状態である。
【０１１３】
このように、付属装置３６およびペン入力装置３８を用いることにより、コントローラ２２を、ペンタブレットとして使用するので、直感的な操作が可能である。
【０１１４】
この実施例によれば、撮像装置を備えるコントローラに付属装置を装着することにより、コントローラを通常の座標入力装置およびペンタブレットのような異なる種類のポインティングデバイスとして使用することができる。つまり、コントローラに設けられる撮像装置を有効に使用することができる。
【０１１５】
なお、この実施例では、タッチパネルを用いることにより、ペン入力装置がパネルに接触しているか否かを判断して、直感的な操作を可能にしたがこれに限定される必要はない。たとえば、コントローラに設けられる所定の操作スイッチ（Ａボタンなど）がオンされている場合には、実際に文字等を描画している状態であると判断し、所定の操作スイッチがオフされている場合には、単にペン入力装置が移動されている状態やペン入力装置が付属装置に設けられるパネルの外に出されている状態であると判断するようにしてもよい。また、図示は省略するが、ペン入力装置の赤外ＬＥＤが設けられる先の部分を、このペン入力装置の長手方向に変位可能な構成とし、その変位によってオン／オフが切り替えられるスイッチをこのペン入力装置の内部に設け、スイッチのオン／オフの信号をコントローラに入力するようにして、ペン入力装置がパネルに接触しているかどうかを判断するようにしてもよい。ただし、かかる場合には、コントローラとペン入力装置とを電気的に接続して、上記のスイッチのオン／オフの信号を、ペン入力装置からコントローラに送信する必要がある。
【０１１６】
このような構成にすれば、タッチパネルに代えて、赤外光を透過するパネルを用いることができ、当該パネルの全範囲を入力領域とすることができる。また、かかる場合には、付属装置に、カバー、赤外ＬＥＤおよびアンプを設ける必要がない。
【０１１７】
また、この実施例では、付属装置の内部に設けられる赤外ＬＥＤから出力される赤外光に対応する高輝度部分のマーカ座標データもゲーム装置に送信して、ペン入力装置がタッチパネルに接触しているかどうかを、ゲーム装置側で判断するようにしたが、この判断処理は、コントローラで実行するようにしてもよい。かかる場合には、コントローラは、ペン入力装置がタッチパネルに接触しているか否かを判断した結果についてのデータ（接触判定データ）を入力データに加えて、ゲーム装置に送信する。
【０１１８】
さらに、この実施例では、付属装置にコントローラのカバーを設けるようにしたが、カバーは設けなくてもよい。ただし、かかる場合には、付属装置をコントローラに装着できるように、操作入力部の下端部（四角錐台の上面に相当する部分）を構成する必要がある。
【０１１９】
さらにまた、この実施例では、筐体のカバー（コントローラ）側に側面の内部に、ペン入力装置がパネルに接触しているか否かを判断するための赤外ＬＥＤを設けるようにしたが、筐体内の他の側面または角にその赤外ＬＥＤを設けるようにしてもよい。かかる場合には、ペン入力装置がパネルに接触しているか否かを判断するための赤外ＬＥＤを設ける位置に応じて、タッチパネルの検出領域の位置および範囲（大きさ）と、対応する撮像画像の検出領域に相当する領域の位置および範囲（大きさ）を適宜変更すればよい。
【符号の説明】
【０１２０】
１０ …ゲームシステム
１２ …ゲーム装置
１８ …光ディスク
２２ …コントローラ
２４ …受信ユニット
３４ …モニタ
３４ａ …スピーカ
３６ …付属装置
３６ａ …操作入力部
３６ｂ …カバー
３８ …入力装置
３８ａ、３６０ｈ …赤外ＬＥＤ
４０ …ＣＰＵ
４２ …システムＬＳＩ
４２ａ …入出力プロセッサ
４２ｂ …ＧＰＵ
４２ｃ …ＤＳＰ
４２ｄ …ＶＲＡＭ
４２ｅ …内部メインメモリ
４４ …フラッシュメモリ
４６ …外部メインメモリ
４８ …ＲＯＭ／ＲＴＣ
５０ …無線通信モジュール
５２ …無線コントローラモジュール
５４ …ディスクドライブ
５６ …ＡＶ ＩＣ
５８ …ＡＶコネクタ
６０ …拡張コネクタ
６２ …メモリカード用コネクタ
７０ …プロセッサ
７４ …加速度センサ
８０ …画像情報演算部
８０ｃ …撮像素子
８０ｄ …画像処理回路
３６０ａ …筐体
３６０ｂ …タッチパネル
３６０ｆ …ハーフミラー
【特許請求の範囲】
【請求項１】
情報処理装置にデータを送信する入力装置であって、
撮像装置と、
前記撮像装置によって撮影された画像内の高輝度部分の位置を算出する位置算出部と、
前記高輝度部分の位置に関するデータを送信する送信部と、
前記撮像装置の撮像方向に設けられ、当該撮像方向の光を透過するとともに、当該撮像方向とは異なる方向の光を当該撮像装置に向けて反射するハーフミラーと、
前記ハーフミラーに向けて光を入射させることが可能な位置に設けられ、少なくとも、第１光源を有する入力部を通して入力可能なパネルを備える、入力装置。
【請求項２】
前記ハーフミラーと前記パネルとの間の特定の位置に配置される第２光源をさらに備える、請求項１記載の入力装置。
【請求項３】
前記パネルへの接触を検出する検出部をさらに備え、
前記第２光源は前記検出部によって前記パネルへの接触が検出されたときに発光する、請求項２記載の入力装置。
【請求項４】
前記パネルおよび前記検出部は、タッチパネルである、請求項３記載の入力装置。
【請求項５】
前記撮像装置と、前記位置算出部と、前記送信部を含む第１ユニットと、
前記第１ユニットに着脱可能に取り付けられ、前記ハーフミラーと、前記パネルと、前記検出部と、前記第２光源とを含む第２ユニットによって構成される、請求項４記載の入力装置。
【請求項６】
前記パネルの大きさは前記撮像装置の画角に基づいて決定される、請求項１記載の入力装置。
【請求項７】
請求項１ないし６のいずれかに記載の入力装置と、
前記入力装置からのデータを受信して情報処理を実行する情報処理装置を備える、情報処理システムであって、
前記情報処理装置は、
前記送信部によって送信された前記位置に関するデータを受信する受信部と、
前記受信部によって受信された前記位置に関するデータに従う位置を特定し、前記第２光源からの光の有無を判定する判定部と、
前記判定部によって前記第２光源からの光が有ることが判定された場合に、前記位置に関するデータに基づく第１情報処理を実行する第１情報処理部と、
前記判定部によって前記第２光源からの光が無いことが判定された場合に、前記位置に関するデータに基づき、前記第１情報処理とは異なる第２情報処理を実行する第２情報処理部を備える、情報処理システム。
【請求項８】
所定の位置に配置される第３光源、および前記第１情報処理部によって前記第１情報処理が実行されるとき、前記第３光源を消灯させる光源制御部をさらに備え、
前記第１情報処理部は、前記第１光源に基づく前記第１情報処理を実行し、
前記第２情報処理部は、前記第３光源に基づく前記第２情報処理を実行する、請求項７記載の情報処理システム。
【請求項１】
情報処理装置にデータを送信する入力装置であって、
撮像装置と、
前記撮像装置によって撮影された画像内の高輝度部分の位置を算出する位置算出部と、
前記高輝度部分の位置に関するデータを送信する送信部と、
前記撮像装置の撮像方向に設けられ、当該撮像方向の光を透過するとともに、当該撮像方向とは異なる方向の光を当該撮像装置に向けて反射するハーフミラーと、
前記ハーフミラーに向けて光を入射させることが可能な位置に設けられ、少なくとも、第１光源を有する入力部を通して入力可能なパネルを備える、入力装置。
【請求項２】
前記ハーフミラーと前記パネルとの間の特定の位置に配置される第２光源をさらに備える、請求項１記載の入力装置。
【請求項３】
前記パネルへの接触を検出する検出部をさらに備え、
前記第２光源は前記検出部によって前記パネルへの接触が検出されたときに発光する、請求項２記載の入力装置。
【請求項４】
前記パネルおよび前記検出部は、タッチパネルである、請求項３記載の入力装置。
【請求項５】
前記撮像装置と、前記位置算出部と、前記送信部を含む第１ユニットと、
前記第１ユニットに着脱可能に取り付けられ、前記ハーフミラーと、前記パネルと、前記検出部と、前記第２光源とを含む第２ユニットによって構成される、請求項４記載の入力装置。
【請求項６】
前記パネルの大きさは前記撮像装置の画角に基づいて決定される、請求項１記載の入力装置。
【請求項７】
請求項１ないし６のいずれかに記載の入力装置と、
前記入力装置からのデータを受信して情報処理を実行する情報処理装置を備える、情報処理システムであって、
前記情報処理装置は、
前記送信部によって送信された前記位置に関するデータを受信する受信部と、
前記受信部によって受信された前記位置に関するデータに従う位置を特定し、前記第２光源からの光の有無を判定する判定部と、
前記判定部によって前記第２光源からの光が有ることが判定された場合に、前記位置に関するデータに基づく第１情報処理を実行する第１情報処理部と、
前記判定部によって前記第２光源からの光が無いことが判定された場合に、前記位置に関するデータに基づき、前記第１情報処理とは異なる第２情報処理を実行する第２情報処理部を備える、情報処理システム。
【請求項８】
所定の位置に配置される第３光源、および前記第１情報処理部によって前記第１情報処理が実行されるとき、前記第３光源を消灯させる光源制御部をさらに備え、
前記第１情報処理部は、前記第１光源に基づく前記第１情報処理を実行し、
前記第２情報処理部は、前記第３光源に基づく前記第２情報処理を実行する、請求項７記載の情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−２２４２４０（Ｐ２０１１−２２４２４０Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９８５７６（Ｐ２０１０−９８５７６）
【出願日】平成２２年４月２２日（２０１０．４．２２）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月２２日（２０１０．４．２２）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
[ Back to top ]