情報処理システムおよび付属装置
【構成】 ゲームシステム１０はゲーム装置１２およびコントローラ２２を含み、コントローラ２２には付属装置３６が装着される。付属装置３６のスリット板（３６２）を外した場合には、コントローラ２２は、モニタ３４上に配置されたマーカ３４０ｍ、３４０ｎから出力される赤外光についての高輝度部分の位置を検出し、それによってモニタ画面上の座標を指示する。また、スリット板（３６２）を装着した場合には、ドットのパターン（３８０）が印刷等されたカード（４００）を、付属装置３６のガイド溝（３６４）に沿ってスライドさせると、赤外光の照射される複数のドットについての高輝度部分の位置を検出し、それによってドットのパターン（３８０）に基づく情報処理が実行される。
【効果】 撮像装置を有するコントローラをポインティングデバイスおよびパターン読取装置として使用することができる。
【効果】 撮像装置を有するコントローラをポインティングデバイスおよびパターン読取装置として使用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は情報処理システムおよび付属装置に関し、特にたとえば、撮像装置を備える入力装置を用いた、情報処理システムおよび付属装置に関する。
【背景技術】
【０００２】
この種の情報処理システムの一例が特許文献１に開示されている。特許文献１の情報処理システムでは、モニタ付近に配置された２つのＬＥＤモジュールから出力される赤外線を、コントローラの先端部に設けた撮像情報演算処理ユニットの撮像装置によって撮像する。撮像情報演算処理ユニットの画像処理回路は、その赤外線を含む撮影画像を処理することによって、２つのＬＥＤモジュールの位置や面積情報を高輝度点の情報として取得する。高輝度点の位置や大きさのデータがコントローラからゲーム機に送信され、ゲーム機で受信される。プレイヤがコントローラを動かすと、高輝度点の位置や大きさのデータが変化するため、それを利用して、ゲーム機はコントローラの動きに対応した操作信号を取得して、たとえば、画面内における、座標の直接入力や回転の入力が可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２００７−８３０２４号［G06F 13/06,H01H 9/02］
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の情報処理システムでは、撮像装置を設けたコントローラを、座標の直接入力や回転の入力を行うような、ポインティングデバイスとしてしか使用していないため、他の用途について開発する余地があった。
【０００５】
それゆえに、この発明の主たる目的は、新規な、情報処理システムおよび付属装置を提供することである。
【０００６】
また、この発明の他の目的は、パターン読取装置として使用できる、情報処理システムおよび付属装置を提供することである。
【課題を解決するための手段】
【０００７】
第１の発明は、入力装置と、入力装置に着脱可能に設けられる付属装置と、入力装置と通信を行って所定の情報処理を実行する情報処理装置を備える、情報処理システムである。入力装置は、撮像装置と、撮像装置によって撮像された画像内の高輝度部分の位置を算出する位置算出部と、少なくとも高輝度部分の位置に関するデータを送信する送信部を備える。付属装置は、撮像装置を覆うとともに、所定幅のスリットを有するカバーを備える。したがって、位置算出部は、スリットを通して撮像された画像内の高輝度部分の位置を算出する。情報処理装置は、送信部によって送信されたデータを受信する受信部と、受信部によって受信されたデータに基づいて所定の情報処理を実行する実行部を備える。
【０００８】
第１の発明によれば、撮像装置を有する入力装置に付属装置を装着することにより、スリットを通して撮像された画像内の高輝度部分の位置を算出して、これに基づいて情報処理装置が所定の情報処理を実行するので、高輝度部分の位置を検出するようなパターン読取装置として入力装置を使用することができる。
【０００９】
第２の発明は、第１の発明に従属し、付属装置は、撮像装置の撮像方向に向かって発光する発光部をさらに備える。たとえば、撮影方向に配置され、所定のパターンが記載された情報媒体に発光することにより、当該所定のパターンが高輝度にされる。したがって、様々な情報媒体を用意すれば、それに応じた所定の情報処理が実行される。
【００１０】
第２の発明によれば、様々な情報媒体を用意すれば、それに応じた所定の情報処理が実行されるので、パターン読取装置としての汎用性を高めることができる。
【００１１】
第３の発明は、第１または第２の発明に従属し、スリットの幅方向に延びるガイド部をさらに備える。したがって、カード形状の情報媒体を作成すれば、情報媒体をガイド部に沿ってスライドさせることにより、所定のパターンに従う高輝度部分の位置が検出される。
【００１２】
第３の発明によれば、ガイド部を設けるので、所定距離を保つとともに、安定してカードのような情報媒体をスライドさせることができる。したがって、高輝度部分の位置を正しく検出することができる。
【００１３】
第４の発明は、第１ないし第３の発明に従属し、付属装置は、スリットを含む板部材を着脱可能に設けた。板部材を外すと、通常の入力装置として使用される。
【００１４】
第４の発明によれば、スリットを含む板部材を着脱可能に設けるので、付属装置自体を着脱することなく、通常の使用態様と、付属装置を装着した使用態様とで、入力装置を選択的に使用することができる。
【００１５】
第５の発明は、撮像装置を有する入力装置に付属する付属装置である。この付属装置は、所定幅のスリットを含む板部材、板部材の外側から当該板部材の面と交差する方向に赤外光を出力する発光部、および板部材と平行に延びるガイド部を備える。たとえば、ドットのパターンが印刷されたカードを、ガイド部に沿ってスライドさせたり、ガイド部に差し込んだりすると、ドットのパターンが発光部からの赤外光によって高輝度にされる。また、高輝度部分の位置は、撮像装置によって撮像された撮像画像から検出される。
【００１６】
第５の発明によれば、付属装置を用いることによって、撮像装置を備える入力装置を高輝度部分の位置を検出するようなパターン読取装置として使用することができる。
【００１７】
第６の発明は、第５の発明に従属し、撮像装置、板部材および発光部を覆うように形成されたカバーをさらに備える。
【００１８】
第６の発明よれば、撮像装置、板部材および発光部を覆うようにカバーを形成するので、スリットを通して撮像される画像に含まれる高輝度部分以外の高輝度部分を誤って検出するのを防止することができる。
【００１９】
第７の発明は、板部材およびカバーに黒色を付した。つまり、発光部からの光が板部材やカバーの黒色によって吸収される。
【００２０】
第７の発明によれば、板部材やカバーによって発光部からの赤外光は吸収されるので、スリットを通して撮影される高輝度部分の位置のみを正確に検出することができる。
【発明の効果】
【００２１】
この発明によれば、スリットを通して検出される高輝度部分の位置に関するデータに基づいて所定の情報処理を実行するので、高輝度部分の位置そのものや高輝度部分の位置の変化に応じた情報処理が可能である。したがって、撮像装置を設けた入力装置をパターン読取装置として使用することができる。
【００２２】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２３】
【図１】図１はこの発明のゲームシステムの一実施例を示す図解図である。
【図２】図２は図１に示すゲームシステムの電気的な構成を示すブロック図である。
【図３】図３は図１に示すコントローラの外観を説明するための図解図である。
【図４】図４は図３に示すコントローラの電気的な構成を示すブロック図である。
【図５】図５は図１に示すコントローラを用いて仮想ゲームをプレイするときの状態を概説するための図解図である。
【図６】図６は図１に示すマーカおよびコントローラの視野角を説明するための図解図である。
【図７】図７は対象画像を含む撮像画像の一例を示す図解図である。
【図８】図８は図１に示すコントローラに着脱可能な付属装置の外観を示す図解図である。
【図９】図９は図１に示す付属装置が装着されたコントローラの使用態様を説明するための図解図である。
【図１０】図１０はゲームシステムにおいて、付属装置が装着されたコントローラを、パターン読取装置として使用する場合において、ドットのパターンを読み取る方法を説明するための図解図である。
【図１１】図１１はドットのパターンを説明するための図解図およびドットのパターンを読み取る際の概念図である。
【図１２】図１２は付属装置に用いられるスリット板の他の例を示す図解図である。
【発明を実施するための形態】
【００２４】
図１を参照して、この発明の情報処理システムの一実施例であるゲームシステム１０は、ビデオゲーム装置（以下、単に「ゲーム装置」という）１２およびコントローラ２２を含む。なお、図示は省略するが、この実施例のゲーム装置１２は、最大４つのコントローラ２２と通信可能に設計されている。また、ゲーム装置１２と各コントローラ２２とは、無線によって接続される。たとえば、無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に従って実行されるが、赤外線や無線ＬＡＮなど他の規格に従って実行されてもよい。さらには、有線で接続されてもよい。ただし、図１に示すように、コントローラ２２には、付属装置３６が装着されている。この付属装置３６は、コントローラ２２に着脱可能である。
【００２５】
ゲーム装置１２は、略直方体のハウジング１４を含み、ハウジング１４の前面にはディスクスロット１６が設けられる。ディスクスロット１６から、ゲームプログラム等を記憶した情報記憶媒体の一例である光ディスク１８が挿入されて、ハウジング１４内のディスクドライブ５４（図２参照）に装着される。図示は省略するが、ディスクスロット１６の周囲には、ＬＥＤと導光板とが配置され、様々な処理に応答させて、ディスクスロット１６を点灯または点滅させることが可能である。
【００２６】
また、ゲーム装置１２のハウジング１４の前面であり、その上部には、電源ボタン２０ａおよびリセットボタン２０ｂが設けられ、その下部には、イジェクトボタン２０ｃが設けられる。さらに、リセットボタン２０ｂとイジェクトボタン２０ｃとの間であり、ディスクスロット１６の近傍には、外部メモリカード用コネクタカバー２８が設けられる。この外部メモリカード用コネクタカバー２８の内側には、外部メモリカード用コネクタ６２（図２参照）が設けられ、図示しない外部メモリカード（以下、単に「メモリカード」という）が挿入される。メモリカードは、光ディスク１８から読み出したゲームプログラム等をローディングして一時的に記憶したり、このゲームシステム１０を利用してプレイしたゲームのゲームデータ（ゲームの結果データまたは途中データ）を保存（セーブ）しておいたりするために利用される。ただし、上記のゲームデータの保存は、メモリカードに対して行うことに代えて、たとえばゲーム装置１２の内部に設けられるフラッシュメモリ４４（図２参照）のような内部メモリに対して行うようにしてもよい。また、メモリカードは、内部メモリのバックアップメモリとして用いるようにしてもよい。さらに、ゲーム装置１２では、ゲーム以外の他のアプリケーションを実行することも可能であり、かかる場合には、メモリカードには当該他のアプリケーションのデータを保存することができる。
【００２７】
なお、メモリカードとしては、汎用のＳＤカードを用いることができるが、メモリスティックやマルチメディアカード（登録商標）のような他の汎用のメモリカードを用いることもできる。
【００２８】
図１では省略するが、ゲーム装置１２のハウジング１４の後面には、ＡＶケーブルコネクタ５８（図２参照）が設けられ、そのＡＶコネクタ５８を用いて、ＡＶケーブル３２ａを通してゲーム装置１２にモニタ３４およびスピーカ３４ａを接続する。このモニタ３４およびスピーカ３４ａは典型的にはカラーテレビジョン受像機であり、ＡＶケーブル３２ａによって、ゲーム装置１２からの映像信号がカラーテレビのビデオ入力端子に入力され、ゲーム装置１２からの音声信号が音声入力端子に入力される。したがって、カラーテレビ（モニタ）３４の画面上にたとえば３次元（３Ｄ）ビデオゲームのゲーム画像が表示され、左右のスピーカ３４ａからゲーム音楽や効果音などのステレオゲーム音声が出力される。また、モニタ３４の周辺（この実施例では、モニタ３４の上側）には、２つの赤外ＬＥＤ（マーカ）３４０ｍ，３４０ｎを備えるマーカ部３４ｂが設けられる。このマーカ部３４ｂは、電源ケーブル３２ｂを通してゲーム装置１２に接続される。したがって、マーカ部３４ｂには、ゲーム装置１２から電源が供給される。これによって、マーカ３４０ｍ，３４０ｎは発光し、それぞれモニタ３４の前方に向けて赤外光を出力する。
【００２９】
なお、ゲーム装置１２の電源は、一般的なＡＣアダプタ（図示せず）によって与えられる。ＡＣアダプタは家庭用の標準的な壁ソケットに差し込まれ、ゲーム装置１２は、家庭用電源（商用電源）を、駆動に適した低いＤＣ電圧信号に変換する。他の実施例では、電源としてバッテリが用いられてもよい。
【００３０】
このゲームシステム１０において、ユーザまたはプレイヤがゲーム（またはゲームに限らず、他のアプリケーション）をプレイするために、ユーザはまずゲーム装置１２の電源をオンし、次いで、ユーザはビデオゲーム（もしくはプレイしたいと思う他のアプリケーション）のプログラムを記録している適宜の光ディスク１８を選択し、その光ディスク１８をゲーム装置１２のディスクドライブ５４にローディングする。応じて、ゲーム装置１２がその光ディスク１８に記録されているプログラムに基づいてビデオゲームもしくは他のアプリケーションを実行し始めるようにする。ユーザはゲーム装置１２に入力を与えるためにコントローラ２２を操作する。たとえば、入力手段２６のどれかを操作することによってゲームもしくは他のアプリケーションをスタートさせる。また、入力手段２６に対する操作以外にも、付属装置３６をコントローラ２２から外したり、付属装置３６のスリット板３６ｂ（後述する）を外したりした状態で、コントローラ２２自体を動かすことによって、動画オブジェクト（プレイヤオブジェクト）を異なる方向に移動させ、または３Ｄのゲーム世界におけるユーザの視点（カメラ位置）を変化させることができる。また、後述するように、付属装置３６を装着した状態で、ドットのパターン（コード）を読み取ることによって、読み取ったドットのパターンに従う所定の情報処理（ゲーム処理）を実行することができる。
【００３１】
たとえば、所定の情報処理（ゲーム処理）としては、ドットのパターンに基づいて、ゲームキャラクタを発生したり、ゲームキャラクタの属性を追加・変更したり、ゲームキャラクタに所定のアクションを実行させたり、マップを追加したり、人間の顔画像や個人情報を表示したり、文字コードを発生させたり、辞書（単語）を追加・変更したりするなどの様々な処理が該当する。つまり、所定の情報処理は、ドットのパターンおよび情報処理装置としてのゲーム装置１２で実行されるアプリケーション（情報処理）に応じて予め決定される。
【００３２】
ただし、ビデオゲームや他のアプリケーションのプログラムは、ゲーム装置１２の内部メモリ（フラッシュメモリ４２（図２参照））に記憶（インストール）しておき、当該内部メモリから実行するようにしてもよい。かかる場合には，光ディスク１８のような記憶媒体に記憶されたプログラムを内部メモリにインストールしてもよいし、ダウンロードされたプログラムを内部メモリにインストールしてもよい。
【００３３】
図２は図１実施例のゲームシステム１０の電気的な構成を示すブロック図である。図示は省略するが、ハウジング１４内の各コンポーネントは、プリント基板に実装される。図２に示すように、ゲーム装置１２には、ＣＰＵ４０が設けられ、ゲームプロセッサとして機能する。また、ＣＰＵ４０には、システムＬＳＩ４２が接続される。このシステムＬＳＩ４２には、外部メインメモリ４６、ＲＯＭ／ＲＴＣ４８、ディスクドライブ５４およびＡＶ ＩＣ５６が接続される。
【００３４】
外部メインメモリ４６は、ゲームプログラム等のプログラムを記憶したり、各種データを記憶したりして、ＣＰＵ４０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ４８は、いわゆるブートＲＯＭであり、ゲーム装置１２の起動用のプログラムが組み込まれるとともに、時間をカウントする時計回路が設けられる。ディスクドライブ５４は、光ディスク１８からプログラム、画像データや音声データ等を読み出し、ＣＰＵ４０の制御の下で、後述する内部メインメモリ４２ｅまたは外部メインメモリ４６に書き込む。
【００３５】
システムＬＳＩ４２には、入出力プロセッサ４２ａ、ＧＰＵ(Graphics Processor Unit)４２ｂ，ＤＳＰ(Digital Signal Processor)４２ｃ，ＶＲＡＭ４２ｄおよび内部メインメモリ４２ｅが設けられ、図示は省略するが、これらは内部バスによって互いに接続される。入出力プロセッサ（Ｉ／Ｏプロセッサ）４２ａは、データの送受信を実行したり、データのダウンロードを実行したりする。データの送受信やダウンロードについては後述する。
【００３６】
ＧＰＵ４２ｂは、描画手段の一部を形成し、ＣＰＵ４０からのグラフィクスコマンド(作画命令)を受け、そのコマンドに従ってゲーム画像データを生成する。ただし、ＣＰＵ４０は、グラフィクスコマンドに加えて、ゲーム画像データの生成に必要な画像生成プログラムをＧＰＵ４２ｂに与える。
【００３７】
図示は省略するが、上述したように、ＧＰＵ４２ｂにはＶＲＡＭ４２ｄが接続される。ＧＰＵ４２ｂが作画コマンドを実行するにあたって必要なデータ（画像データ：ポリゴンデータやテクスチャデータなどのデータ）は、ＧＰＵ４２ｂがＶＲＡＭ４２ｄにアクセスして取得する。ただし、ＣＰＵ４０は、描画に必要な画像データを、ＧＰＵ４２ｂを介してＶＲＡＭ４２ｄに書き込む。ＧＰＵ４２ｂは、ＶＲＡＭ４２ｄにアクセスして描画のためのゲーム画像データを作成する。
【００３８】
なお、この実施例では、ＧＰＵ４２ｂがゲーム画像データを生成する場合について説明するが、ゲームアプリケーション以外の任意のアプリケーションを実行する場合には、ＧＰＵ４２ｂは当該任意のアプリケーションについての画像データを生成する。
【００３９】
また、ＤＳＰ４２ｃは、オーディオプロセッサとして機能し、内部メインメモリ４２ｅや外部メインメモリ４６に記憶されるサウンドデータや音波形（音色）データを用いて、スピーカ３４ａから出力する音、音声或いは音楽に対応するオーディオデータを生成する。
【００４０】
上述のように生成されたゲーム画像データおよびオーディオデータは、ＡＶ ＩＣ５６によって読み出され、ＡＶコネクタ５８を介してモニタ３４およびスピーカ３４ａに出力される。したがって、ゲーム画面がモニタ３４に表示され、ゲームに必要な音（音楽）がスピーカ３４ａから出力される。
【００４１】
また、入出力プロセッサ４２ａには、フラッシュメモリ４４、無線通信モジュール５０および無線コントローラモジュール５２が接続されるとともに、拡張コネクタ６０およびメモリカード用コネクタ６２が接続される。また、無線通信モジュール５０にはアンテナ５０ａが接続され、無線コントローラモジュール５２にはアンテナ５２ａが接続される。
【００４２】
図示は省略するが、入出力プロセッサ４２ａは、無線通信モジュール５０を介して、ネットワークに接続される他のゲーム装置や各種サーバと通信することができる。ただし、ネットワークを介さずに、直接的に他のゲーム装置と通信することもできる。入出力プロセッサ４２ａは、定期的にフラッシュメモリ４４にアクセスし、ネットワークへ送信する必要があるデータ（「送信データ」とする）の有無を検出し、当該送信データが有る場合には、無線通信モジュール５０およびアンテナ５０ａを介してネットワークに送信する。また、入出力プロセッサ４２ａは、他のゲーム装置から送信されるデータ（「受信データ」とする）を、ネットワーク、アンテナ５０ａおよび無線通信モジュール５０を介して受信し、当該受信データをフラッシュメモリ４４に記憶する。ただし、受信データが一定の条件を満たさない場合には、当該受信データはそのまま破棄される。さらに、入出力プロセッサ４２ａは、ダウンロードサーバからダウンロードしたデータ（ダウンロードデータとする）をネットワーク、アンテナ５０ａおよび無線通信モジュール５０を介して受信し、そのダウンロードデータをフラッシュメモリ４４に記憶する。
【００４３】
また、入出力プロセッサ４２ａは、コントローラ２２から送信される入力データをアンテナ５２ａおよび無線コントローラモジュール５２を介して受信し、内部メインメモリ４２ｅまたは外部メインメモリ４６のバッファ領域に記憶（一時記憶）する。入力データは、ＣＰＵ４０の処理（たとえば、ゲーム処理などの情報処理）によって利用された後、バッファ領域から消去される。
【００４４】
なお、この実施例では、上述したように、無線コントローラモジュール５２は、Ｂｌｕｅｔｏｏｔｈ規格に従ってコントローラ２２との間で通信を行う。
【００４５】
さらに、入出力プロセッサ４２ａには、拡張コネクタ６０およびメモリカード用コネクタ６２が接続される。拡張コネクタ６０は、ＵＳＢやＳＣＳＩのようなインターフェイスのためのコネクタであり、外部記憶媒体のようなメディアを接続したり、コントローラ２２とは異なる他のコントローラのような周辺機器を接続したりすることができる。また、拡張コネクタ６０に有線ＬＡＮアダプタを接続し、無線通信モジュール５０に代えて当該有線ＬＡＮを利用することもできる。メモリカード用コネクタ６２には、メモリカードのような外部記憶媒体を接続することができる。したがって、たとえば、入出力プロセッサ４２ａは、拡張コネクタ６０やメモリカード用コネクタ６２を介して、外部記憶媒体にアクセスし、データを保存したり、データを読み出したりすることができる。
【００４６】
詳細な説明は省略するが、図１にも示したように、ゲーム装置１２（ハウジング１４）には、電源ボタン２０ａ，リセットボタン２０ｂおよびイジェクトボタン２０ｃが設けられる。電源ボタン２０ａは、システムＬＳＩ４２に接続される。この電源ボタン２０ａがオンされると、システムＬＳＩ４２には、ゲーム装置１２の各コンポーネントに図示しないＡＣアダプタを経て電源が供給され、通常の通電状態となるモード（以下、「通常モード」という）が設定される。一方、電源ボタン２０ａがオフされると、システムＬＳＩ４２には、ゲーム装置１２の一部のコンポーネントのみに電源が供給され、消費電力を必要最低限に抑えるモード（以下、「スタンバイモード」という）が設定される。
【００４７】
この実施例では、スタンバイモードが設定された場合には、システムＬＳＩ４２は、入出力プロセッサ４２ａ、フラッシュメモリ４４、外部メインメモリ４６、ＲＯＭ／ＲＴＣ４８および無線通信モジュール５０、無線コントローラモジュール５２以外のコンポーネントに対して、電源供給を停止する指示を行う。したがって、この実施例では、スタンバイモードにおいて、ＣＰＵ４０がアプリケーションを実行することはない。
【００４８】
なお、システムＬＳＩ４２には、スタンバイモードにおいても電源が供給されるが、ＧＰＵ４２ｂ、ＤＳＰ４２ｃおよびＶＲＡＭ４２ｄへのクロックの供給を停止することにより、これらを駆動しないようにして、消費電力を低減するようにしてある。
【００４９】
また、図示は省略するが、ゲーム装置１２のハウジング１４内部には、ＣＰＵ４０やシステムＬＳＩ４２などのＩＣの熱を外部に排出するためのファンが設けられる。スタンバイモードでは、このファンも停止される。
【００５０】
ただし、スタンバイモードを利用したくない場合には、スタンバイモードを利用しない設定にしておくことにより、電源ボタン２０ａがオフされたときに、すべての回路コンポーネントへの電源供給が完全に停止される。
【００５１】
また、通常モードとスタンバイモードとの切り替えは、コントローラ２２の電源スイッチ２６ｈのオン／オフの切り替えによって、遠隔操作によって行うことが可能である。当該遠隔操作を行わない場合には、スタンバイモードにおいて無線コントローラモジュール５２ａへの電源供給を行わない設定にしてもよい。
【００５２】
リセットボタン２０ｂもまた、システムＬＳＩ４２に接続される。リセットボタン２０ｂが押されると、システムＬＳＩ４２は、ゲーム装置１２の起動プログラムを再起動する。イジェクトボタン２０ｃは、ディスクドライブ５４に接続される。イジェクトボタン２０ｃが押されると、ディスクドライブ５４から光ディスク１８が排出される。
【００５３】
図３（Ａ）ないし図３（Ｅ）は、コントローラ２２の外観の一例を示す。図３（Ａ）はコントローラ２２の先端面を示し、図３（Ｂ）はコントローラ２２の上面を示し、図３（Ｃ）はコントローラ２２の右側面を示し、図３（Ｄ）はコントローラ２２の下面を示し、そして、図３（Ｅ）はコントローラ２２の後端面を示す。
【００５４】
図３（Ａ）ないし図３（Ｅ）を参照して、コントローラ２２は、たとえばプラスチック成型によって形成されたハウジング２２ａを有している。ハウジング２２ａは、略直方体形状であり、ユーザが片手で把持可能な大きさである。ハウジング２２ａ（コントローラ２２）には、入力手段（複数のボタンないしスイッチ）２６が設けられる。具体的には、図３（Ｂ）に示すように、ハウジング２２ａの上面には、十字キー２６ａ，１ボタン２６ｂ，２ボタン２６ｃ，Ａボタン２６ｄ，−ボタン２６ｅ，ＨＯＭＥボタン２６ｆ，＋ボタン２６ｇおよび電源スイッチ２６ｈが設けられる。また、図３（Ｃ）および図３（Ｄ）に示すように、ハウジング２２ａの下面に傾斜面が形成されており、この傾斜面に、Ｂトリガースイッチ２６ｉが設けられる。
【００５５】
十字キー２６ａは、４方向プッシュスイッチであり、矢印で示す４つの方向、前（または上）、後ろ（または下）、右および左の操作部を含む。この操作部のいずれか１つを操作することによって、プレイヤによって操作可能なキャラクタまたはオブジェクト（プレイヤキャラクタまたはプレイヤオブジェクト）の移動方向を指示したり、カーソルの移動方向を指示したり、単に方向を指示したりすることができる。
【００５６】
１ボタン２６ｂおよび２ボタン２６ｃは、それぞれ、押しボタンスイッチである。たとえば３次元ゲーム画像を表示する際の視点位置や視点方向、すなわち仮想カメラの位置や画角を調整する等のゲームの操作に使用される。または、１ボタン２６ｂおよび２ボタン２６ｃは、Ａボタン２６ｄおよびＢトリガースイッチ２６ｉと同じ操作或いは補助的な操作をする場合に用いるようにしてもよい。
【００５７】
Ａボタンスイッチ２６ｄは、押しボタンスイッチであり、プレイヤキャラクタまたはプレイヤオブジェクトに、方向指示以外の動作、すなわち、打つ（パンチ）、投げる、つかむ（取得）、乗る、ジャンプするなどの任意のアクションをさせるために使用される。たとえば、アクションゲームにおいては、ジャンプ、パンチ、武器を動かすなどを指示することができる。また、ロールプレイングゲーム（ＲＰＧ）やシミュレーションＲＰＧにおいては、アイテムの取得、武器やコマンドの選択および決定等を指示することができる。また、Ａボタンスイッチ２６ｄは、コントローラ２２をポインティングデバイスとして用いる場合に、ゲーム画面上でポインタ（指示画像）が指示するアイコンないしボタン画像の決定を指示するために使用される。たとえば、アイコンやボタン画像が決定されると、これらに対応して予め設定されている指示ないし命令（コマンド）を入力することができる。
【００５８】
−ボタン２６ｅ、ＨＯＭＥボタン２６ｆ、＋ボタン２６ｇおよび電源スイッチ２６ｈもまた、押しボタンスイッチである。−ボタン２６ｅは、ゲームモードを選択するために使用される。ＨＯＭＥボタン２６ｆは、ゲームメニュー（メニュー画面）を表示するために使用される。＋ボタン２６ｇは、ゲームを開始（再開）したり、一時停止したりするなどのために使用される。電源スイッチ２６ｈは、ゲーム装置１２の電源を遠隔操作によってオン／オフするために使用される。
【００５９】
なお、この実施例では、コントローラ２２自体をオン／オフするための電源スイッチは設けておらず、コントローラ２２の入力手段２６のいずれかを操作することによってコントローラ２２はオンとなり、一定時間（たとえば、３０秒）以上操作しなければ自動的にオフとなるようにしてある。
【００６０】
Ｂトリガースイッチ２６ｉもまた、押しボタンスイッチであり、主として、弾を撃つなどのトリガを模した入力を行ったり、コントローラ２２で選択した位置を指定したりするために使用される。また、Ｂトリガースイッチ２６ｉを押し続けると、プレイヤオブジェクトの動作やパラメータを一定の状態に維持することもできる。また、一定の場合には、Ｂトリガースイッチ２６ｉは、通常のＢボタンと同様に機能し、Ａボタン２６ｄによって決定したアクションやコマンドなどを取り消すなどのために使用される。
【００６１】
また、図３（Ｅ）に示すように、ハウジング２２ａの後端面に外部拡張コネクタ２２ｂが設けられ、また、図３（Ｂ）に示すように、ハウジング２２ａの上面であり、後端面側にはインジケータ２２ｃが設けられる。外部拡張コネクタ２２ｂは、コントローラ２２とは異なる拡張コントローラ（図示せず）を接続するためなどに使用される。インジケータ２２ｃは、たとえば、４つのＬＥＤで構成される。たとえば、インジケータ２２ｃでは、４つのうちのいずれか１つを点灯させることにより、点灯したＬＥＤに応じて、コントローラ２２の識別情報（コントローラ番号）を示すことができる。また、インジケータ２２ｃでは、点灯させるＬＥＤの個数によってコントローラ２２の電池残量を示すこともできる。
【００６２】
さらに、コントローラ２２は、撮像情報演算部８０（図４参照）を有しており、図３（Ａ）に示すように、ハウジング２２ａの先端面には撮像情報演算部８０の光入射口２２ｄが設けられる。また、コントローラ２２は、スピーカ８６（図４参照）を有しており、このスピーカ８６は、図３（Ｂ）に示すように、ハウジング２２ａの上面であり、１ボタン２６ｂとＨＯＭＥボタン２６ｆとの間に設けられる音抜き孔２２ｅに対応して、ハウジング２２ａ内部に設けられる。
【００６３】
なお、図３（Ａ）ないし図３（Ｅ）に示したコントローラ２２の形状や、各入力手段２６の形状、数および設置位置等は単なる一例に過ぎず、それらが適宜改変された場合であっても、本発明を実現できることは言うまでもない。
【００６４】
図４はコントローラ２２の電気的な構成を示すブロック図である。この図４を参照して、コントローラ２２はプロセッサ７０を含み、このプロセッサ７０には、内部バス（図示せず）によって、外部拡張コネクタ２２ｂ、入力手段２６、メモリ７２、加速度センサ７４、無線モジュール７６、撮像情報演算部８０、ＬＥＤ８２（インジケータ２２ｃ）、バイブレータ８４、スピーカ８６および電源回路８８が接続される。また、無線モジュール７６には、アンテナ７８が接続される。
【００６５】
なお、簡単のため、図４では省略するが、上述したように、インジケータ２２ｃは４つのＬＥＤ８２によって構成される。
【００６６】
プロセッサ７０は、コントローラ２２の全体制御を司り、入力手段２６、加速度センサ７４および撮像情報演算部８０によって入力された情報（入力情報）を、入力データとして無線モジュール７６およびアンテナ７８を介してゲーム装置１２に送信（入力）する。このとき、プロセッサ７０は、メモリ７２を作業領域ないしバッファ領域として用いる。また、上述した入力手段２６（２６ａ−２６ｉ）からの操作信号（操作データ）は、プロセッサ７０に入力され、プロセッサ７０は操作データを一旦メモリ７２に記憶する。
【００６７】
加速度センサ７４は、コントローラ２２の縦方向（ｙ軸方向）、横方向（ｘ軸方向）および前後方向（ｚ軸方向）の３軸で各々の加速度を検出する。この加速度センサ７４は、典型的には、静電容量式の加速度センサであるが、他の方式のものを用いるようにしてもよい。
【００６８】
たとえば、加速度センサ７４は、第１所定時間毎に、ｘ軸，ｙ軸，ｚ軸の各々についての加速度（ａｘ，ａｙ，ａｚ）を検出し、検出した加速度のデータ（加速度データ）をプロセッサ７０に入力する。たとえば、加速度センサ７４は、各軸方向の加速度を、−２．０ｇ〜２．０ｇ（ｇは重力加速度である。以下、同じ。）の範囲で検出する。プロセッサ７０は、加速度センサ７４から与えられる加速度データを、第２所定時間毎に検出し、一旦メモリ７２に記憶する。
【００６９】
プロセッサ７０は、操作データ、加速度データおよび後述するマーカ座標データの少なくとも１つを含む入力データを作成し、作成した入力データを、第３所定時間（たとえば、５ｍｓｅｃ）毎にゲーム装置１２に送信する。
【００７０】
なお、図３（Ａ）−図３（Ｅ）では省略したが、この実施例では、加速度センサ７４は、ハウジング２２ａ内部の基板上の十字キー２６ａが配置される付近に設けられる。
【００７１】
無線モジュール７６は、たとえばＢｌｕｅｔｏｏｔｈの技術を用いて、所定周波数の搬送波を入力データで変調し、その微弱電波信号をアンテナ７８から放射する。つまり、入力データは、無線モジュール７６によって微弱電波信号に変調されてアンテナ７８（コントローラ２２）から送信される。この微弱電波信号が上述したゲーム装置１２に設けられた無線コントローラモジュール５２によって受信される。受信された微弱電波は、復調および復号の処理を施され、したがって、ゲーム装置１２（ＣＰＵ４０）は、コントローラ２２からの入力データを取得することができる。そして、ＣＰＵ４０は、取得した入力データとアプリケーションプログラムとに従ってアプリケーションの処理を行う。
【００７２】
さらに、上述したように、コントローラ２２には、撮像情報演算部８０が設けられる。この撮像情報演算部８０は、赤外線フィルタ８０ａ、レンズ８０ｂ、撮像素子８０ｃおよび画像処理回路８０ｄによって構成される。赤外線フィルタ８０ａは、コントローラ２２の前方から入射する光から赤外線のみを通過させる。上述したように、モニタ３４の表示画面近傍（周辺）に配置されるマーカ３４０ｍおよび３４０ｎは、モニタ３４の前方に向かって赤外光を出力する赤外ＬＥＤである。したがって、赤外線フィルタ８０ａを設けることによってマーカ３４０ｍおよび３４０ｎの画像をより正確に撮像することができる。レンズ８０ｂは、赤外線フィルタ８０ａを透過した赤外線を集光して撮像素子８０ｃへ出射する。撮像素子８０ｃは、たとえばＣＭＯＳセンサあるいはＣＣＤのような固体撮像素子であり、レンズ８０ｂによって集光された赤外線を撮像する。したがって、撮像素子８０ｃは、赤外線フィルタ８０ａを通過した赤外線だけを撮像して画像データを生成する。以下では、撮像素子８０ｃによって撮像された画像を撮像画像と呼ぶ。また、赤外線フィルタ８０ａ、レンズ８０ｂおよび撮像素子８０ｃによって、撮像装置（カメラ）８００が構成される。撮像素子８０ｃによって生成された画像データは、画像処理回路８０ｄで処理される。画像処理回路８０ｄは、撮像画像内における撮像対象（マーカ３４０ｍおよび３４０ｎ）の位置を算出し、第４所定時間毎に、当該位置を示す各座標値を撮像データ（後述するマーカ座標データ）としてプロセッサ７０に出力する。なお、画像処理回路８０ｄにおける処理については後述する。
【００７３】
図示は省略するが、付属装置３６への電源供給をコントローラ２２から行うようにする場合には、コネクタ２２ｂと付属装置３６（赤外ＬＥＤ３６６：図１０参照）とが電源ケーブル（図示せず）を用いて接続される。そして、プロセッサ７０の制御によって、電源回路８８から付属装置３６（赤外ＬＥＤ３６６）に電源が供給されたり停止されたりする。
【００７４】
ただし、付属装置３６にバッテリのような電源を設ける場合には、コネクタ２２ｂと付属装置３６とを電源ケーブルによって接続する必要はない。
【００７５】
図５は、コントローラ２２を用いてゲームプレイするときの状態を概説する図解図である。ただし、ゲームプレイのみならず、他のアプリケーションを実行する場合も同様である。ここでは、説明の都合上、付属装置３６がコントローラ２２に装着されていない場合について説明する。図５に示すように、ゲームシステム１０でコントローラ２２を用いてゲームをプレイする際、プレイヤは、一方の手でコントローラ２２を把持する。厳密に言うと、プレイヤは、コントローラ２２の先端面（撮像情報演算部８０が撮像する光の入射口２２ｄ側）がマーカ３４０ｍおよび３４０ｎの方を向く状態でコントローラ２２を把持する。ただし、図１からも分かるように、マーカ３４０ｍおよび３４０ｎは、モニタ３４の画面の横方向と平行に配置されている。この状態で、プレイヤは、コントローラ２２が指示する画面上の位置を変更したり、コントローラ２２と各マーカ３４０ｍおよび３４０ｎとの距離を変更したりすることによってゲーム操作を行う。
【００７６】
図６は、マーカ３４０ｍおよび３４０ｎと、コントローラ２２との視野角を説明するための図である。図６に示すように、マーカ３４０ｍおよび３４０ｎは、それぞれ、視野角θ１の範囲で赤外光を放射する。また、撮像情報演算部８０の撮像素子８０ｃは、コントローラ２２の視線方向を中心とした視野角θ２の範囲で入射する光を受光することができる。たとえば、マーカ３４０ｍおよび３４０ｎの視野角θ１は、共に３４°（半値角）であり、一方、撮像素子８０ｃの視野角θ２は４１°である。プレイヤは、撮像素子８０ｃが２つのマーカ３４０ｍおよび３４０ｎからの赤外光を受光することが可能な位置および向きとなるように、コントローラ２２を把持する。具体的には、撮像素子８０ｃの視野角θ２の中にマーカ３４０ｍおよび３４０ｎの少なくとも一方が存在し、かつ、マーカ３４０ｍまたは３４０ｎの少なくとも一方の視野角θ１の中にコントローラ２２が存在する状態となるように、プレイヤはコントローラ２２を把持する。この状態にあるとき、コントローラ２２は、マーカ３４０ｍおよび３４０ｎの少なくとも一方を検知することができる。プレイヤは、この状態を満たす範囲でコントローラ２２の位置および向きを変化させることによってゲーム操作を行うことができる。
【００７７】
なお、コントローラ２２の位置および向きがこの範囲外となった場合、コントローラ２２の位置および向きに基づいたゲーム操作を行うことができなくなる。以下では、上記範囲を「操作可能範囲」と呼ぶ。
【００７８】
操作可能範囲内でコントローラ２２が把持される場合、撮像情報演算部８０によって各マーカ３４０ｍおよび３４０ｎの画像が撮像される。すなわち、撮像素子８０ｃによって得られる撮像画像には、撮像対象である各マーカ３４０ｍおよび３４０ｎの画像（対象画像）が含まれる。図７は、対象画像を含む撮像画像の一例を示す図である。対象画像を含む撮像画像の画像データを用いて、画像処理回路８０ｄは、各マーカ３４０ｍおよび３４０ｎの撮像画像における位置を表す座標（マーカ座標）を算出する。
【００７９】
撮像画像の画像データにおいて対象画像は高輝度部分として現れるため、画像処理回路８０ｄは、まず、この高輝度部分を対象画像の候補として検出する。次に、画像処理回路８０ｄは、検出された高輝度部分の大きさに基づいて、その高輝度部分が対象画像であるか否かを判定する。撮像画像には、対象画像である２つのマーカ３４０ｍおよび３４０ｎに対応する画像３４０ｍ’および３４０ｎ’のみならず、窓からの太陽光や部屋の蛍光灯の光によって対象画像以外の画像が含まれていることがある。高輝度部分が対象画像であるか否かの判定処理は、対象画像である画像３４０ｍ’および３４０ｎ’と、それ以外の画像とを区別し、対象画像を正確に検出するために実行される。具体的には、当該判定処理においては、検出された高輝度部分が、予め定められた所定範囲内の大きさであるか否かが判定される。そして、高輝度部分が所定範囲内の大きさである場合には、当該高輝度部分は対象画像を表すと判定される。逆に、高輝度部分が所定範囲内の大きさでない場合には、当該高輝度部分は対象画像以外の画像を表すと判定される。
【００８０】
さらに、上記の判定処理の結果、対象画像を表すと判定された高輝度部分について、画像処理回路８０ｄは当該高輝度部分の位置を算出する。具体的には、当該高輝度部分の重心位置を算出する。ここでは、当該重心位置の座標をマーカ座標と呼ぶ。また、重心位置は撮像素子８０ｃの解像度よりも詳細なスケールで算出することが可能である。ここでは、撮像素子８０ｃによって撮像された撮像画像の解像度が１２６×９６であるとし、重心位置は１０２４×７６８のスケールで算出されるものとする。つまり、マーカ座標は、（０，０）から（１０２４，７６８）までの整数値で表現される。
【００８１】
なお、撮像画像における位置は、撮像画像の左上を原点とし、下向きをＹ軸正方向とし、右向きをＸ軸正方向とする座標系（ＸＹ座標系）で表現されるものとする。
【００８２】
また、対象画像が正しく検出される場合には、判定処理によって２つの高輝度部分が対象画像として判定されるので、２箇所のマーカ座標が算出される。画像処理回路８０ｄは、算出された２箇所のマーカ座標を示すデータを出力する。出力されたマーカ座標のデータ（マーカ座標データ）は、上述したように、プロセッサ７０によって入力データに含まれ、ゲーム装置１２に送信される。
【００８３】
ゲーム装置１２（ＣＰＵ４０）は、受信した入力データからマーカ座標データを検出すると、このマーカ座標データに基づいて、モニタ３４の画面上におけるコントローラ２２の指示位置（指示座標）と、コントローラ２２からマーカ３４０ｍおよび３４０ｎまでの各距離とを算出することができる。具体的には、２つのマーカ座標の中点の位置から、コントローラ２２の向いている位置すなわち指示位置が算出される。また、撮像画像における対象画像間の距離が、コントローラ２２と、マーカ３４０ｍおよび３４０ｎとの距離に応じて変化するので、２つのマーカ座標間の距離を算出することによって、ゲーム装置１２はコントローラ２２と、マーカ３４０ｍおよび３４０ｎとの間の距離を把握できる。さらに、２つのマーカ座標を通る直線の傾きから、コントローラ２２の光入射口２２ｄをマーカ３４０ｍおよび３４０ｎ（モニタ３４）側に向けた場合における、コントローラ２２の長手方向を回転軸としたコントローラ２２の回転量を検出することができる。
【００８４】
図８（Ａ）および図８（Ｂ）は、コントローラ２２に着脱可能に設けられる付属装置３６の外観構成を示す図解図である。図８（Ａ）および図８（Ｂ）に示すように、付属装置３６は、本体３６０とスリット板３６２とによって構成される。また、本体３６０は、大きく分けて、コントローラ２２に接合するための接合部３６００と、スリット板３６２を装着するための装着部３６０２とによって構成される。接合部３６００は、装着部３６０２を構成する板部材３６２２（図８（Ｂ）参照）の平面に対して垂直に延びて、断面が略四角形状の筒で構成される。
【００８５】
図８（Ａ）に示すように、本体３６０の接合部３６００には、付属装置３６をコントローラ２２に装着する際に、コントローラ２２の先端部を挿入するための挿入口３６０ａが設けられる。また、接合部３６００の一部には切り欠き３６０ｂが設けられ、したがって、コントローラ２２に付属装置３６を着脱する際、挿入口３６０ａが拡大される。このため、付属装置３６をコントローラ２２に着脱し易い。また、図示は省略するが、コントローラ２２の先端部には、撮像装置８００が収納されており、したがって、付属装置３６をコントローラ２２に装着すると、撮像装置８００は接合部３６００によって囲まれることになる。
【００８６】
また、装着部３６０２には、ドットのパターン３８０を印刷ないし貼り付けたカード４００（図９（Ｂ）参照）のような情報媒体から、そのパターン（コード）を読み取る場合に、そのカード４００をスライドさせるためのガイド溝３６４が設けられる。これは、カード４００（ドットのパターン３８０）とコントローラ２２（撮像装置８００）との距離を一定に保つためであり、スライド時にコントローラ２２（撮像装置８００）に対してカード４００（ドットのパターン８０）が斜めになるのを防止するためである。ただし、場合によっては、カード４００をスライドさせずに、ガイド溝３６４に差し込むだけでもよい。
【００８７】
また、接合部３６００の側面には、２つの赤外ＬＥＤ３６６（図８では省略）を取り付けるための２つの取付孔３６０ｃが設けられる。図示は省略するが、赤外ＬＥＤ３６６のうち、少なくとも発光する部分が本体３６０の内部に配置されるように、赤外ＬＥＤ３６６は取り付けられる。また、この実施例では、２つの赤外ＬＥＤ３６６を取り付けるため、２つの取付孔３６０ｃを設けるようにしてある。つまり、取付孔３６０ｃの数は、取り付ける赤外ＬＥＤ３６６の数によって決定される。ただし、取り付ける赤外ＬＥＤ３６６の数は、赤外光を照射する範囲（赤外光の照射範囲）の大きさや形状に応じて決定される。
【００８８】
図８（Ｂ）は、図８（Ａ）の挿入口３６０ａとは逆方向から付属装置３６を見た図解図である。この図８（Ｂ）では、スリット板３６２を本体３６０（装着部３６０２）から外した状態の付属装置３６を示してある。図８（Ｂ）に示すように、装着部３６０２には、四角形の貫通孔３６０ｄが設けられる。また、図面では分かり難いが、接合部３６００の内部には、光入射口２２ｄとほぼ同じ大きさ（形状）の切り抜き部３６１０を有するストッパ３６０ｅが設けられる。図８（Ｂ）に示すように、ストッパ３６０ｅは、取付孔３６０ｃよりも挿入口３６０ａ側に設けられ、付属装置３６をコントローラ２２に装着する際、差し込む方向におけるコントローラ２２の位置（移動）を規制する。
【００８９】
図面では分かり難いが、貫通孔３６０ｄおよびストッパ３６０ｅに設けられる切り抜き部３６１０の大きさは、コントローラ２２に設けられる撮像素子８０ｃの画角（図６に示した視野角θ２参照）に応じて決定される。また、ストッパ３６０ｅの位置は、コントローラ２２の光入射口２２ｄ（撮像素子８０ｃ）と、ガイド溝３６４（ドットのパターン３８０）との距離が所定距離になるように、決定される。ただし、所定距離は、撮像素子８０ｃによって後述するドットのパターン３８０（図１０および図１１（Ａ）参照）を撮像した場合に、撮像画像における高輝度部分（上述した「対象画像」と同様である）およびその高輝度部分の位置を正しく認識できる距離であり、ドットの大きさや撮像素子８０ｃの解像度等によって決定される。
【００９０】
図８（Ｂ）に戻って、装着部３６０２は、さらに、板部材３６２０と板部材３６２２とによって構成される。板部材３６２０と板部材３６２２とは、２つの連結部３６０４で連結（接着）される。図面では分かり難いが、板部材３６２２には、スリット板３６２を装着するためのガイド溝が形成される。スリット板３６２が板部材３６２２に装着されると、板部材３６２０とスリット板３６２が装着された板部材３６２２とによって、上述したガイド溝３６４が形成される。図８（Ａ）および図８（Ｂ）からも分かるように、ガイド溝３６４は、装着部３６０２を構成する板部材３６２０、３６２２と平行に延びて形成される。言い換えると、ガイド溝３６４は、スリット３６２ａの幅方向に延びて形成されている。
【００９１】
また、スリット板３６２の中央下部には、スリット３６２ａが設けられる。スリット３６２ａは、縦長の長方形状であり、所定の長さおよび所定の幅を有している。ただし、所定の長さは、後述するドットのパターン３８０の縦の長さ（一列のドットの数およびドットの大きさで決まる長さ）と同程度の長さに設定される。また、所定の幅は、ドットのパターン３８０におけるドットの横幅よりも少し長く設定される。たとえば、所定の幅は、カード４００（ドットのパターン３８０）が少し斜めになった場合であっても、一列の４つの白色のドットを読み取れる長さである。
【００９２】
図示は省略するが、少なくとも、本体３６０の内部（内面）であり、ストッパ３６０ｅとスリット板３６２とを含み、それらの間の範囲においては、黒色が付される。ただし、付属装置３６の全体を黒色にしてもよい。これは、後述するように、ドットのパターン３８０以外の高輝度を検出しないようにするためである。
【００９３】
たとえば、図９（Ａ）に示すように、付属装置３６をコントローラ２２に装着した状態で、スリット板３６２を取り外した場合には、図５−図７を用いて説明したように、コントローラ２２は、２つのマーカ３４０ｍおよびマーカ３４０ｎを撮像することによって、モニタ３４上の座標入力などに用いられる。つまり、かかる場合には、コントローラ２２を、ポインティングデバイスとして使用することができる。
【００９４】
一方、図９（Ｂ）に示すように、付属装置３６をコントローラ２２に装着した状態で、スリット板３６２も装着している場合には、コントローラ２２は、赤外ＬＥＤ３６６から赤外光を照射されたカード４００に印刷等されたドットのパターン３８０の一部を撮像することによって、ドットのパターン３８０に従う所定の情報処理を実行するために用いられる。つまり、かかる場合には、コントローラ２２を、ドットのパターン３８０（コード）を読み取る装置（パターン読取装置）として使用することができる。
【００９５】
なお、図９（Ｂ）では分かり難いが、カード４００の裏面（コントローラ２２側）にドットのパターン３８０は印刷等されている。
【００９６】
ここで、コントローラ２２を、ポインティングデバイスとして使用する場合と、パターン読取装置として使用する場合とは、情報処理プログラムのようなアプリケーションプログラムからの要請に応じて切り替えられる。たとえば、前者の場合には、ゲーム装置１２からマーカ３４０ｍ、３４０ｎに電源が供給されるが、ゲーム装置１２からの指示に従ってコントローラ２２から赤外ＬＥＤ３６６に電源は供給されない。後者の場合には、ゲーム装置１２からマーカ３４０ｍ、３４０ｎに電源は供給されないが、ゲーム装置１２からの指示に従ってコントローラ２２から赤外ＬＥＤ３６６に電源が供給される。
【００９７】
ただし、付属装置３６にバッテリを設ける場合には、たとえば、スリット板３６２を付属装置３６に装着したときに、赤外ＬＥＤ３６６に電源が供給され、スリット板３６２を付属装置３６から外したときに、赤外ＬＥＤ３６６への電源が停止されるスイッチ機構（図示せず）を設けることにより、上述したように、コントローラ２２を、ポインティングデバイスまたはパターン読取装置として使用するようにすればよい。
【００９８】
このようにすれば、マーカ３４０ｍ、３４０ｎまたは赤外ＬＥＤ３６６を使用しないときに、電源供給を停止することができ、無駄な消費電力を削減することができる。
【００９９】
たとえば、コントローラ２２を、パターン読取装置として使用する場合には、付属装置３６を装着したコントローラ２２では、図９（Ｂ）に示したように、ドットのパターン３８０が印刷等されたカード４００がユーザないしプレイヤによってガイド溝３６４をスライドされる。ここで、図１０に示すように、付属装置３６では、コントローラ２２の反対側であり、スリット板３６２に設けられるスリット３６２ａに対向する位置に、赤外光が出力される。図１０からも分かるように、ドットのパターン３８０の読み取り時には、コントローラ２２（光入射口２２ｄ）とドットのパターン３８０（カード４００）との間に、スリット３６２ａ（スリット板３６２）が配置されることになる。ただし、図１０では分かり易く示すために、付属装置３６の本体３６０を省略し、スリット板３６２の一部と赤外ＬＥＤ３６６のみを示してある。実際には、スリット３６２ａを含むスリット板３６２と赤外ＬＥＤ３６６とは、本体３６０によって囲まれている。また、図１０では、スリット板３６２とドットのパターン３８０とを分かり易く示すために、黒色に代えて斜線を付してある。
【０１００】
したがって、上述したように、カード４００をガイド溝３６４に沿ってスライドさせる場合には、カード４００に印刷等されたドットのパターン３８０の一部（赤外光の照射範囲）に赤外光が照射される。ただし、この実施例では、スリット板３６２の一部ないし全部およびドットのパターン３８０の背景は黒色にされるため、その黒色部分によって赤外ＬＥＤ３６６からの赤外光が吸収され、白色のドットのみを高輝度にするとともに、スリット３６２ａを通して検出される高輝度部分以外の高輝度部分を検出しないようにすることができる。つまり、誤検出が防止される。
【０１０１】
ここで、ドットのパターン３８０は、図１１（Ａ）に示すように、黒色の背景に、複数の白色のドットが描画されることにより、表される。ただし、図１１（Ｂ）に示すように、ドットのパターン３８０の縦の長さは、６個のドットが配列可能な長さに設定されており、６個のドットのうちのいずれか４個に白色が付され、残りの２個に黒色が付される。したがって、２つの黒色のドットは背景と区別がつかない。
【０１０２】
なお、ドットのパターン３８０は、このようなドットのパターン３８０を使用するアプリケーションプログラムの開発者やプログラマ等によって設定される。
【０１０３】
たとえば、縦方向に一列に並ぶ４つの白色のドットによって１つの情報を与えることができる。ただし、ドットのパターン３８０の全体を認識することにより、つまり、ドットのパターン３８０に含まれるすべての列の白色のドットの位置を検出することにより、認識したドットのパターン３８０に基づいて、ゲーム装置１２では、上述した所定の情報処理が実行される。
【０１０４】
たとえば、コントローラ２２では、一定時間（１フレーム）毎に、撮像装置８００による撮像処理が実行され、１つの撮像画像から４つの高輝度部分の座標（位置）が検出される。ドットのパターン３８０のすべての列についての座標データ（上述の「マーカ座標データ」に相当する）を含む入力データがゲーム装置１２に送信される。したがって、上述したように、ゲーム装置１２側では、ドットのパターン３８０に基づいて、所定の情報処理が実行される。ただし、上述したように、入力データは、第３所定時間毎にゲーム装置１２に送信されるため、ドットのパターン３８０のすべての列についての座標データが分割して送信されることもある。
【０１０５】
ただし、フレームは、ゲーム画面などの画面を更新する単位時間（１／６０秒）である。
【０１０６】
なお、図１１（Ｂ）では、ドットを分かり易く示すために、背景およびドットの黒色を省略するとともに、各ドットの外周を実線で示してある。
【０１０７】
また、ドットのパターン３８０の縦の長さは、７個以上のドットが配列可能な長さにされてもよい。また、各列において、白色が付された４個のドットによって１つの情報が与えられるようにしてあるが、白色が付されたドットの数は１つ以上であれば、５個以上であっても構わない。つまり、ドットの位置のみならず、ドットの位置および個数によって情報を与えることができる。ただし、撮像情報演算部８０によって一度に処理可能な高輝度部分（ドット）の数によって、各列に表示される白色が付されたドットの最大数は決定される。
【０１０８】
さらに、この実施例では、スリット３６２ａを縦長に形成したため、ドットのパターン３８０において、各列単位で１つの情報が与えられるようにしたが、スリット３６２ａの幅を広げたり、向きを変えたりした場合には、複数列単位で１つの情報が与えられたり、行単位で情報が与えられたりするように、ドットのパターン３８０を形成する必要がある。これらは設計事項であり、付属装置３６をコントローラ２２に装着することにより、コントローラ２２をパターン読取装置として使用できる点に着目されたい。
【０１０９】
したがって、図９（Ｂ）および図１０に示したように、カード４００に印刷等されたドットのパターン３８０を読み取る場合には、図１１（Ｃ）に示すように、スリット板３６２に設けられたスリット３６２ａを通して、列毎に４つの白色のドットが高輝度部分として検出される。具体的には、１フレーム毎に撮像された撮像画像から高輝度部分の位置（マーカ座標）が検出される。ただし、図１１（Ｃ）では、スリット３６２とドットのパターン３８０とを分かり易く示すために、ドットのパターン３８０の背景およびドットの一部を灰色で示してあるが、実際には、上述したように、黒色である。
【０１１０】
この実施例によれば、撮像装置を備えるコントローラに付属装置を装着することにより、コントローラをポインティングデバイスおよびパターン読取装置として使用することができる。
【０１１１】
なお、この実施例では、スリット板に縦長のスリットを設けるようにしたが、これに限定される必要はない。図１２（Ａ）に示すように、横長のスリット３６２ｂを設けるようにしてもよい。ただし、かかる場合には、赤外ＬＥＤの配置を変更する必要がある。図示は省略するが、縦方向または横方向から斜めに傾けたスリットを設けるようにしてもよい。
【０１１２】
また、スリットは１つに限定される必要はない。たとえば、図１２（Ｂ）に示すように、縦長のスリット３６２ａと横長のスリット３６２ｂとを設けるようにしてもよい。かかる場合には、２つのスリットに対向する位置を照射するように、赤外ＬＥＤを配置する必要がある。また、かかる場合には、各スリットを通して読み取られる情報のそれぞれに基づいて、異なる情報処理を実行することも可能である。ただし、スリットの個数や形状は、例示のものに限定される必要はない。
【０１１３】
さらに、この実施例では、付属装置をコントローラに着脱可能に設けるようにしたが、付属装置が一体的に設けられたコントローラを用いるようにしてもよい。
【０１１４】
さらにまた、この実施例では、カードに印刷等したドットのパターンを読み取るようにしたが、これに限定される必要はない。雑誌に載せたり、ゲーム画面（モニタ）に表示したりしたドットのパターンを読み取るようにしてもよい。かかる場合には、たとえば、付属装置がドットパターンの表示された雑誌やゲーム画面に接触するように、付属装置が装着されたコントローラを押し当てた状態で、コントローラを２次元方向（左、右、上、下、斜め）に移動させることにより、ドットのパターンを読み取るようにすればよい。
【０１１５】
さらにまた、この実施例では、高輝度にしたいドットについては、白色を付すようにしてが、黒色以外であれば、赤外光は吸収されないため、他の色を付すようにしてもよい。
【符号の説明】
【０１１６】
１０ …ゲームシステム
１２ …ゲーム装置
１８ …光ディスク
２２ …コントローラ
２４ …受信ユニット
３４ …モニタ
３４ａ …スピーカ
３６ …付属装置
４０ …ＣＰＵ
４２ …システムＬＳＩ
４２ａ …入出力プロセッサ
４２ｂ …ＧＰＵ
４２ｃ …ＤＳＰ
４２ｄ …ＶＲＡＭ
４２ｅ …内部メインメモリ
４４ …フラッシュメモリ
４６ …外部メインメモリ
４８ …ＲＯＭ／ＲＴＣ
５０ …無線通信モジュール
５２ …無線コントローラモジュール
５４ …ディスクドライブ
５６ …ＡＶ ＩＣ
５８ …ＡＶコネクタ
６０ …拡張コネクタ
６２ …メモリカード用コネクタ
７０ …プロセッサ
７４ …加速度センサ
８０ …画像情報演算部
８０ｃ …撮像素子
８０ｄ …画像処理回路
３６０ …本体
３６２ …スリット板
３６２ａ …スリット
３６４ …ガイド溝
３６６ …赤外ＬＥＤ
３８０ …ドットのパターン
【技術分野】
【０００１】
この発明は情報処理システムおよび付属装置に関し、特にたとえば、撮像装置を備える入力装置を用いた、情報処理システムおよび付属装置に関する。
【背景技術】
【０００２】
この種の情報処理システムの一例が特許文献１に開示されている。特許文献１の情報処理システムでは、モニタ付近に配置された２つのＬＥＤモジュールから出力される赤外線を、コントローラの先端部に設けた撮像情報演算処理ユニットの撮像装置によって撮像する。撮像情報演算処理ユニットの画像処理回路は、その赤外線を含む撮影画像を処理することによって、２つのＬＥＤモジュールの位置や面積情報を高輝度点の情報として取得する。高輝度点の位置や大きさのデータがコントローラからゲーム機に送信され、ゲーム機で受信される。プレイヤがコントローラを動かすと、高輝度点の位置や大きさのデータが変化するため、それを利用して、ゲーム機はコントローラの動きに対応した操作信号を取得して、たとえば、画面内における、座標の直接入力や回転の入力が可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２００７−８３０２４号［G06F 13/06,H01H 9/02］
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の情報処理システムでは、撮像装置を設けたコントローラを、座標の直接入力や回転の入力を行うような、ポインティングデバイスとしてしか使用していないため、他の用途について開発する余地があった。
【０００５】
それゆえに、この発明の主たる目的は、新規な、情報処理システムおよび付属装置を提供することである。
【０００６】
また、この発明の他の目的は、パターン読取装置として使用できる、情報処理システムおよび付属装置を提供することである。
【課題を解決するための手段】
【０００７】
第１の発明は、入力装置と、入力装置に着脱可能に設けられる付属装置と、入力装置と通信を行って所定の情報処理を実行する情報処理装置を備える、情報処理システムである。入力装置は、撮像装置と、撮像装置によって撮像された画像内の高輝度部分の位置を算出する位置算出部と、少なくとも高輝度部分の位置に関するデータを送信する送信部を備える。付属装置は、撮像装置を覆うとともに、所定幅のスリットを有するカバーを備える。したがって、位置算出部は、スリットを通して撮像された画像内の高輝度部分の位置を算出する。情報処理装置は、送信部によって送信されたデータを受信する受信部と、受信部によって受信されたデータに基づいて所定の情報処理を実行する実行部を備える。
【０００８】
第１の発明によれば、撮像装置を有する入力装置に付属装置を装着することにより、スリットを通して撮像された画像内の高輝度部分の位置を算出して、これに基づいて情報処理装置が所定の情報処理を実行するので、高輝度部分の位置を検出するようなパターン読取装置として入力装置を使用することができる。
【０００９】
第２の発明は、第１の発明に従属し、付属装置は、撮像装置の撮像方向に向かって発光する発光部をさらに備える。たとえば、撮影方向に配置され、所定のパターンが記載された情報媒体に発光することにより、当該所定のパターンが高輝度にされる。したがって、様々な情報媒体を用意すれば、それに応じた所定の情報処理が実行される。
【００１０】
第２の発明によれば、様々な情報媒体を用意すれば、それに応じた所定の情報処理が実行されるので、パターン読取装置としての汎用性を高めることができる。
【００１１】
第３の発明は、第１または第２の発明に従属し、スリットの幅方向に延びるガイド部をさらに備える。したがって、カード形状の情報媒体を作成すれば、情報媒体をガイド部に沿ってスライドさせることにより、所定のパターンに従う高輝度部分の位置が検出される。
【００１２】
第３の発明によれば、ガイド部を設けるので、所定距離を保つとともに、安定してカードのような情報媒体をスライドさせることができる。したがって、高輝度部分の位置を正しく検出することができる。
【００１３】
第４の発明は、第１ないし第３の発明に従属し、付属装置は、スリットを含む板部材を着脱可能に設けた。板部材を外すと、通常の入力装置として使用される。
【００１４】
第４の発明によれば、スリットを含む板部材を着脱可能に設けるので、付属装置自体を着脱することなく、通常の使用態様と、付属装置を装着した使用態様とで、入力装置を選択的に使用することができる。
【００１５】
第５の発明は、撮像装置を有する入力装置に付属する付属装置である。この付属装置は、所定幅のスリットを含む板部材、板部材の外側から当該板部材の面と交差する方向に赤外光を出力する発光部、および板部材と平行に延びるガイド部を備える。たとえば、ドットのパターンが印刷されたカードを、ガイド部に沿ってスライドさせたり、ガイド部に差し込んだりすると、ドットのパターンが発光部からの赤外光によって高輝度にされる。また、高輝度部分の位置は、撮像装置によって撮像された撮像画像から検出される。
【００１６】
第５の発明によれば、付属装置を用いることによって、撮像装置を備える入力装置を高輝度部分の位置を検出するようなパターン読取装置として使用することができる。
【００１７】
第６の発明は、第５の発明に従属し、撮像装置、板部材および発光部を覆うように形成されたカバーをさらに備える。
【００１８】
第６の発明よれば、撮像装置、板部材および発光部を覆うようにカバーを形成するので、スリットを通して撮像される画像に含まれる高輝度部分以外の高輝度部分を誤って検出するのを防止することができる。
【００１９】
第７の発明は、板部材およびカバーに黒色を付した。つまり、発光部からの光が板部材やカバーの黒色によって吸収される。
【００２０】
第７の発明によれば、板部材やカバーによって発光部からの赤外光は吸収されるので、スリットを通して撮影される高輝度部分の位置のみを正確に検出することができる。
【発明の効果】
【００２１】
この発明によれば、スリットを通して検出される高輝度部分の位置に関するデータに基づいて所定の情報処理を実行するので、高輝度部分の位置そのものや高輝度部分の位置の変化に応じた情報処理が可能である。したがって、撮像装置を設けた入力装置をパターン読取装置として使用することができる。
【００２２】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２３】
【図１】図１はこの発明のゲームシステムの一実施例を示す図解図である。
【図２】図２は図１に示すゲームシステムの電気的な構成を示すブロック図である。
【図３】図３は図１に示すコントローラの外観を説明するための図解図である。
【図４】図４は図３に示すコントローラの電気的な構成を示すブロック図である。
【図５】図５は図１に示すコントローラを用いて仮想ゲームをプレイするときの状態を概説するための図解図である。
【図６】図６は図１に示すマーカおよびコントローラの視野角を説明するための図解図である。
【図７】図７は対象画像を含む撮像画像の一例を示す図解図である。
【図８】図８は図１に示すコントローラに着脱可能な付属装置の外観を示す図解図である。
【図９】図９は図１に示す付属装置が装着されたコントローラの使用態様を説明するための図解図である。
【図１０】図１０はゲームシステムにおいて、付属装置が装着されたコントローラを、パターン読取装置として使用する場合において、ドットのパターンを読み取る方法を説明するための図解図である。
【図１１】図１１はドットのパターンを説明するための図解図およびドットのパターンを読み取る際の概念図である。
【図１２】図１２は付属装置に用いられるスリット板の他の例を示す図解図である。
【発明を実施するための形態】
【００２４】
図１を参照して、この発明の情報処理システムの一実施例であるゲームシステム１０は、ビデオゲーム装置（以下、単に「ゲーム装置」という）１２およびコントローラ２２を含む。なお、図示は省略するが、この実施例のゲーム装置１２は、最大４つのコントローラ２２と通信可能に設計されている。また、ゲーム装置１２と各コントローラ２２とは、無線によって接続される。たとえば、無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に従って実行されるが、赤外線や無線ＬＡＮなど他の規格に従って実行されてもよい。さらには、有線で接続されてもよい。ただし、図１に示すように、コントローラ２２には、付属装置３６が装着されている。この付属装置３６は、コントローラ２２に着脱可能である。
【００２５】
ゲーム装置１２は、略直方体のハウジング１４を含み、ハウジング１４の前面にはディスクスロット１６が設けられる。ディスクスロット１６から、ゲームプログラム等を記憶した情報記憶媒体の一例である光ディスク１８が挿入されて、ハウジング１４内のディスクドライブ５４（図２参照）に装着される。図示は省略するが、ディスクスロット１６の周囲には、ＬＥＤと導光板とが配置され、様々な処理に応答させて、ディスクスロット１６を点灯または点滅させることが可能である。
【００２６】
また、ゲーム装置１２のハウジング１４の前面であり、その上部には、電源ボタン２０ａおよびリセットボタン２０ｂが設けられ、その下部には、イジェクトボタン２０ｃが設けられる。さらに、リセットボタン２０ｂとイジェクトボタン２０ｃとの間であり、ディスクスロット１６の近傍には、外部メモリカード用コネクタカバー２８が設けられる。この外部メモリカード用コネクタカバー２８の内側には、外部メモリカード用コネクタ６２（図２参照）が設けられ、図示しない外部メモリカード（以下、単に「メモリカード」という）が挿入される。メモリカードは、光ディスク１８から読み出したゲームプログラム等をローディングして一時的に記憶したり、このゲームシステム１０を利用してプレイしたゲームのゲームデータ（ゲームの結果データまたは途中データ）を保存（セーブ）しておいたりするために利用される。ただし、上記のゲームデータの保存は、メモリカードに対して行うことに代えて、たとえばゲーム装置１２の内部に設けられるフラッシュメモリ４４（図２参照）のような内部メモリに対して行うようにしてもよい。また、メモリカードは、内部メモリのバックアップメモリとして用いるようにしてもよい。さらに、ゲーム装置１２では、ゲーム以外の他のアプリケーションを実行することも可能であり、かかる場合には、メモリカードには当該他のアプリケーションのデータを保存することができる。
【００２７】
なお、メモリカードとしては、汎用のＳＤカードを用いることができるが、メモリスティックやマルチメディアカード（登録商標）のような他の汎用のメモリカードを用いることもできる。
【００２８】
図１では省略するが、ゲーム装置１２のハウジング１４の後面には、ＡＶケーブルコネクタ５８（図２参照）が設けられ、そのＡＶコネクタ５８を用いて、ＡＶケーブル３２ａを通してゲーム装置１２にモニタ３４およびスピーカ３４ａを接続する。このモニタ３４およびスピーカ３４ａは典型的にはカラーテレビジョン受像機であり、ＡＶケーブル３２ａによって、ゲーム装置１２からの映像信号がカラーテレビのビデオ入力端子に入力され、ゲーム装置１２からの音声信号が音声入力端子に入力される。したがって、カラーテレビ（モニタ）３４の画面上にたとえば３次元（３Ｄ）ビデオゲームのゲーム画像が表示され、左右のスピーカ３４ａからゲーム音楽や効果音などのステレオゲーム音声が出力される。また、モニタ３４の周辺（この実施例では、モニタ３４の上側）には、２つの赤外ＬＥＤ（マーカ）３４０ｍ，３４０ｎを備えるマーカ部３４ｂが設けられる。このマーカ部３４ｂは、電源ケーブル３２ｂを通してゲーム装置１２に接続される。したがって、マーカ部３４ｂには、ゲーム装置１２から電源が供給される。これによって、マーカ３４０ｍ，３４０ｎは発光し、それぞれモニタ３４の前方に向けて赤外光を出力する。
【００２９】
なお、ゲーム装置１２の電源は、一般的なＡＣアダプタ（図示せず）によって与えられる。ＡＣアダプタは家庭用の標準的な壁ソケットに差し込まれ、ゲーム装置１２は、家庭用電源（商用電源）を、駆動に適した低いＤＣ電圧信号に変換する。他の実施例では、電源としてバッテリが用いられてもよい。
【００３０】
このゲームシステム１０において、ユーザまたはプレイヤがゲーム（またはゲームに限らず、他のアプリケーション）をプレイするために、ユーザはまずゲーム装置１２の電源をオンし、次いで、ユーザはビデオゲーム（もしくはプレイしたいと思う他のアプリケーション）のプログラムを記録している適宜の光ディスク１８を選択し、その光ディスク１８をゲーム装置１２のディスクドライブ５４にローディングする。応じて、ゲーム装置１２がその光ディスク１８に記録されているプログラムに基づいてビデオゲームもしくは他のアプリケーションを実行し始めるようにする。ユーザはゲーム装置１２に入力を与えるためにコントローラ２２を操作する。たとえば、入力手段２６のどれかを操作することによってゲームもしくは他のアプリケーションをスタートさせる。また、入力手段２６に対する操作以外にも、付属装置３６をコントローラ２２から外したり、付属装置３６のスリット板３６ｂ（後述する）を外したりした状態で、コントローラ２２自体を動かすことによって、動画オブジェクト（プレイヤオブジェクト）を異なる方向に移動させ、または３Ｄのゲーム世界におけるユーザの視点（カメラ位置）を変化させることができる。また、後述するように、付属装置３６を装着した状態で、ドットのパターン（コード）を読み取ることによって、読み取ったドットのパターンに従う所定の情報処理（ゲーム処理）を実行することができる。
【００３１】
たとえば、所定の情報処理（ゲーム処理）としては、ドットのパターンに基づいて、ゲームキャラクタを発生したり、ゲームキャラクタの属性を追加・変更したり、ゲームキャラクタに所定のアクションを実行させたり、マップを追加したり、人間の顔画像や個人情報を表示したり、文字コードを発生させたり、辞書（単語）を追加・変更したりするなどの様々な処理が該当する。つまり、所定の情報処理は、ドットのパターンおよび情報処理装置としてのゲーム装置１２で実行されるアプリケーション（情報処理）に応じて予め決定される。
【００３２】
ただし、ビデオゲームや他のアプリケーションのプログラムは、ゲーム装置１２の内部メモリ（フラッシュメモリ４２（図２参照））に記憶（インストール）しておき、当該内部メモリから実行するようにしてもよい。かかる場合には，光ディスク１８のような記憶媒体に記憶されたプログラムを内部メモリにインストールしてもよいし、ダウンロードされたプログラムを内部メモリにインストールしてもよい。
【００３３】
図２は図１実施例のゲームシステム１０の電気的な構成を示すブロック図である。図示は省略するが、ハウジング１４内の各コンポーネントは、プリント基板に実装される。図２に示すように、ゲーム装置１２には、ＣＰＵ４０が設けられ、ゲームプロセッサとして機能する。また、ＣＰＵ４０には、システムＬＳＩ４２が接続される。このシステムＬＳＩ４２には、外部メインメモリ４６、ＲＯＭ／ＲＴＣ４８、ディスクドライブ５４およびＡＶ ＩＣ５６が接続される。
【００３４】
外部メインメモリ４６は、ゲームプログラム等のプログラムを記憶したり、各種データを記憶したりして、ＣＰＵ４０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ４８は、いわゆるブートＲＯＭであり、ゲーム装置１２の起動用のプログラムが組み込まれるとともに、時間をカウントする時計回路が設けられる。ディスクドライブ５４は、光ディスク１８からプログラム、画像データや音声データ等を読み出し、ＣＰＵ４０の制御の下で、後述する内部メインメモリ４２ｅまたは外部メインメモリ４６に書き込む。
【００３５】
システムＬＳＩ４２には、入出力プロセッサ４２ａ、ＧＰＵ(Graphics Processor Unit)４２ｂ，ＤＳＰ(Digital Signal Processor)４２ｃ，ＶＲＡＭ４２ｄおよび内部メインメモリ４２ｅが設けられ、図示は省略するが、これらは内部バスによって互いに接続される。入出力プロセッサ（Ｉ／Ｏプロセッサ）４２ａは、データの送受信を実行したり、データのダウンロードを実行したりする。データの送受信やダウンロードについては後述する。
【００３６】
ＧＰＵ４２ｂは、描画手段の一部を形成し、ＣＰＵ４０からのグラフィクスコマンド(作画命令)を受け、そのコマンドに従ってゲーム画像データを生成する。ただし、ＣＰＵ４０は、グラフィクスコマンドに加えて、ゲーム画像データの生成に必要な画像生成プログラムをＧＰＵ４２ｂに与える。
【００３７】
図示は省略するが、上述したように、ＧＰＵ４２ｂにはＶＲＡＭ４２ｄが接続される。ＧＰＵ４２ｂが作画コマンドを実行するにあたって必要なデータ（画像データ：ポリゴンデータやテクスチャデータなどのデータ）は、ＧＰＵ４２ｂがＶＲＡＭ４２ｄにアクセスして取得する。ただし、ＣＰＵ４０は、描画に必要な画像データを、ＧＰＵ４２ｂを介してＶＲＡＭ４２ｄに書き込む。ＧＰＵ４２ｂは、ＶＲＡＭ４２ｄにアクセスして描画のためのゲーム画像データを作成する。
【００３８】
なお、この実施例では、ＧＰＵ４２ｂがゲーム画像データを生成する場合について説明するが、ゲームアプリケーション以外の任意のアプリケーションを実行する場合には、ＧＰＵ４２ｂは当該任意のアプリケーションについての画像データを生成する。
【００３９】
また、ＤＳＰ４２ｃは、オーディオプロセッサとして機能し、内部メインメモリ４２ｅや外部メインメモリ４６に記憶されるサウンドデータや音波形（音色）データを用いて、スピーカ３４ａから出力する音、音声或いは音楽に対応するオーディオデータを生成する。
【００４０】
上述のように生成されたゲーム画像データおよびオーディオデータは、ＡＶ ＩＣ５６によって読み出され、ＡＶコネクタ５８を介してモニタ３４およびスピーカ３４ａに出力される。したがって、ゲーム画面がモニタ３４に表示され、ゲームに必要な音（音楽）がスピーカ３４ａから出力される。
【００４１】
また、入出力プロセッサ４２ａには、フラッシュメモリ４４、無線通信モジュール５０および無線コントローラモジュール５２が接続されるとともに、拡張コネクタ６０およびメモリカード用コネクタ６２が接続される。また、無線通信モジュール５０にはアンテナ５０ａが接続され、無線コントローラモジュール５２にはアンテナ５２ａが接続される。
【００４２】
図示は省略するが、入出力プロセッサ４２ａは、無線通信モジュール５０を介して、ネットワークに接続される他のゲーム装置や各種サーバと通信することができる。ただし、ネットワークを介さずに、直接的に他のゲーム装置と通信することもできる。入出力プロセッサ４２ａは、定期的にフラッシュメモリ４４にアクセスし、ネットワークへ送信する必要があるデータ（「送信データ」とする）の有無を検出し、当該送信データが有る場合には、無線通信モジュール５０およびアンテナ５０ａを介してネットワークに送信する。また、入出力プロセッサ４２ａは、他のゲーム装置から送信されるデータ（「受信データ」とする）を、ネットワーク、アンテナ５０ａおよび無線通信モジュール５０を介して受信し、当該受信データをフラッシュメモリ４４に記憶する。ただし、受信データが一定の条件を満たさない場合には、当該受信データはそのまま破棄される。さらに、入出力プロセッサ４２ａは、ダウンロードサーバからダウンロードしたデータ（ダウンロードデータとする）をネットワーク、アンテナ５０ａおよび無線通信モジュール５０を介して受信し、そのダウンロードデータをフラッシュメモリ４４に記憶する。
【００４３】
また、入出力プロセッサ４２ａは、コントローラ２２から送信される入力データをアンテナ５２ａおよび無線コントローラモジュール５２を介して受信し、内部メインメモリ４２ｅまたは外部メインメモリ４６のバッファ領域に記憶（一時記憶）する。入力データは、ＣＰＵ４０の処理（たとえば、ゲーム処理などの情報処理）によって利用された後、バッファ領域から消去される。
【００４４】
なお、この実施例では、上述したように、無線コントローラモジュール５２は、Ｂｌｕｅｔｏｏｔｈ規格に従ってコントローラ２２との間で通信を行う。
【００４５】
さらに、入出力プロセッサ４２ａには、拡張コネクタ６０およびメモリカード用コネクタ６２が接続される。拡張コネクタ６０は、ＵＳＢやＳＣＳＩのようなインターフェイスのためのコネクタであり、外部記憶媒体のようなメディアを接続したり、コントローラ２２とは異なる他のコントローラのような周辺機器を接続したりすることができる。また、拡張コネクタ６０に有線ＬＡＮアダプタを接続し、無線通信モジュール５０に代えて当該有線ＬＡＮを利用することもできる。メモリカード用コネクタ６２には、メモリカードのような外部記憶媒体を接続することができる。したがって、たとえば、入出力プロセッサ４２ａは、拡張コネクタ６０やメモリカード用コネクタ６２を介して、外部記憶媒体にアクセスし、データを保存したり、データを読み出したりすることができる。
【００４６】
詳細な説明は省略するが、図１にも示したように、ゲーム装置１２（ハウジング１４）には、電源ボタン２０ａ，リセットボタン２０ｂおよびイジェクトボタン２０ｃが設けられる。電源ボタン２０ａは、システムＬＳＩ４２に接続される。この電源ボタン２０ａがオンされると、システムＬＳＩ４２には、ゲーム装置１２の各コンポーネントに図示しないＡＣアダプタを経て電源が供給され、通常の通電状態となるモード（以下、「通常モード」という）が設定される。一方、電源ボタン２０ａがオフされると、システムＬＳＩ４２には、ゲーム装置１２の一部のコンポーネントのみに電源が供給され、消費電力を必要最低限に抑えるモード（以下、「スタンバイモード」という）が設定される。
【００４７】
この実施例では、スタンバイモードが設定された場合には、システムＬＳＩ４２は、入出力プロセッサ４２ａ、フラッシュメモリ４４、外部メインメモリ４６、ＲＯＭ／ＲＴＣ４８および無線通信モジュール５０、無線コントローラモジュール５２以外のコンポーネントに対して、電源供給を停止する指示を行う。したがって、この実施例では、スタンバイモードにおいて、ＣＰＵ４０がアプリケーションを実行することはない。
【００４８】
なお、システムＬＳＩ４２には、スタンバイモードにおいても電源が供給されるが、ＧＰＵ４２ｂ、ＤＳＰ４２ｃおよびＶＲＡＭ４２ｄへのクロックの供給を停止することにより、これらを駆動しないようにして、消費電力を低減するようにしてある。
【００４９】
また、図示は省略するが、ゲーム装置１２のハウジング１４内部には、ＣＰＵ４０やシステムＬＳＩ４２などのＩＣの熱を外部に排出するためのファンが設けられる。スタンバイモードでは、このファンも停止される。
【００５０】
ただし、スタンバイモードを利用したくない場合には、スタンバイモードを利用しない設定にしておくことにより、電源ボタン２０ａがオフされたときに、すべての回路コンポーネントへの電源供給が完全に停止される。
【００５１】
また、通常モードとスタンバイモードとの切り替えは、コントローラ２２の電源スイッチ２６ｈのオン／オフの切り替えによって、遠隔操作によって行うことが可能である。当該遠隔操作を行わない場合には、スタンバイモードにおいて無線コントローラモジュール５２ａへの電源供給を行わない設定にしてもよい。
【００５２】
リセットボタン２０ｂもまた、システムＬＳＩ４２に接続される。リセットボタン２０ｂが押されると、システムＬＳＩ４２は、ゲーム装置１２の起動プログラムを再起動する。イジェクトボタン２０ｃは、ディスクドライブ５４に接続される。イジェクトボタン２０ｃが押されると、ディスクドライブ５４から光ディスク１８が排出される。
【００５３】
図３（Ａ）ないし図３（Ｅ）は、コントローラ２２の外観の一例を示す。図３（Ａ）はコントローラ２２の先端面を示し、図３（Ｂ）はコントローラ２２の上面を示し、図３（Ｃ）はコントローラ２２の右側面を示し、図３（Ｄ）はコントローラ２２の下面を示し、そして、図３（Ｅ）はコントローラ２２の後端面を示す。
【００５４】
図３（Ａ）ないし図３（Ｅ）を参照して、コントローラ２２は、たとえばプラスチック成型によって形成されたハウジング２２ａを有している。ハウジング２２ａは、略直方体形状であり、ユーザが片手で把持可能な大きさである。ハウジング２２ａ（コントローラ２２）には、入力手段（複数のボタンないしスイッチ）２６が設けられる。具体的には、図３（Ｂ）に示すように、ハウジング２２ａの上面には、十字キー２６ａ，１ボタン２６ｂ，２ボタン２６ｃ，Ａボタン２６ｄ，−ボタン２６ｅ，ＨＯＭＥボタン２６ｆ，＋ボタン２６ｇおよび電源スイッチ２６ｈが設けられる。また、図３（Ｃ）および図３（Ｄ）に示すように、ハウジング２２ａの下面に傾斜面が形成されており、この傾斜面に、Ｂトリガースイッチ２６ｉが設けられる。
【００５５】
十字キー２６ａは、４方向プッシュスイッチであり、矢印で示す４つの方向、前（または上）、後ろ（または下）、右および左の操作部を含む。この操作部のいずれか１つを操作することによって、プレイヤによって操作可能なキャラクタまたはオブジェクト（プレイヤキャラクタまたはプレイヤオブジェクト）の移動方向を指示したり、カーソルの移動方向を指示したり、単に方向を指示したりすることができる。
【００５６】
１ボタン２６ｂおよび２ボタン２６ｃは、それぞれ、押しボタンスイッチである。たとえば３次元ゲーム画像を表示する際の視点位置や視点方向、すなわち仮想カメラの位置や画角を調整する等のゲームの操作に使用される。または、１ボタン２６ｂおよび２ボタン２６ｃは、Ａボタン２６ｄおよびＢトリガースイッチ２６ｉと同じ操作或いは補助的な操作をする場合に用いるようにしてもよい。
【００５７】
Ａボタンスイッチ２６ｄは、押しボタンスイッチであり、プレイヤキャラクタまたはプレイヤオブジェクトに、方向指示以外の動作、すなわち、打つ（パンチ）、投げる、つかむ（取得）、乗る、ジャンプするなどの任意のアクションをさせるために使用される。たとえば、アクションゲームにおいては、ジャンプ、パンチ、武器を動かすなどを指示することができる。また、ロールプレイングゲーム（ＲＰＧ）やシミュレーションＲＰＧにおいては、アイテムの取得、武器やコマンドの選択および決定等を指示することができる。また、Ａボタンスイッチ２６ｄは、コントローラ２２をポインティングデバイスとして用いる場合に、ゲーム画面上でポインタ（指示画像）が指示するアイコンないしボタン画像の決定を指示するために使用される。たとえば、アイコンやボタン画像が決定されると、これらに対応して予め設定されている指示ないし命令（コマンド）を入力することができる。
【００５８】
−ボタン２６ｅ、ＨＯＭＥボタン２６ｆ、＋ボタン２６ｇおよび電源スイッチ２６ｈもまた、押しボタンスイッチである。−ボタン２６ｅは、ゲームモードを選択するために使用される。ＨＯＭＥボタン２６ｆは、ゲームメニュー（メニュー画面）を表示するために使用される。＋ボタン２６ｇは、ゲームを開始（再開）したり、一時停止したりするなどのために使用される。電源スイッチ２６ｈは、ゲーム装置１２の電源を遠隔操作によってオン／オフするために使用される。
【００５９】
なお、この実施例では、コントローラ２２自体をオン／オフするための電源スイッチは設けておらず、コントローラ２２の入力手段２６のいずれかを操作することによってコントローラ２２はオンとなり、一定時間（たとえば、３０秒）以上操作しなければ自動的にオフとなるようにしてある。
【００６０】
Ｂトリガースイッチ２６ｉもまた、押しボタンスイッチであり、主として、弾を撃つなどのトリガを模した入力を行ったり、コントローラ２２で選択した位置を指定したりするために使用される。また、Ｂトリガースイッチ２６ｉを押し続けると、プレイヤオブジェクトの動作やパラメータを一定の状態に維持することもできる。また、一定の場合には、Ｂトリガースイッチ２６ｉは、通常のＢボタンと同様に機能し、Ａボタン２６ｄによって決定したアクションやコマンドなどを取り消すなどのために使用される。
【００６１】
また、図３（Ｅ）に示すように、ハウジング２２ａの後端面に外部拡張コネクタ２２ｂが設けられ、また、図３（Ｂ）に示すように、ハウジング２２ａの上面であり、後端面側にはインジケータ２２ｃが設けられる。外部拡張コネクタ２２ｂは、コントローラ２２とは異なる拡張コントローラ（図示せず）を接続するためなどに使用される。インジケータ２２ｃは、たとえば、４つのＬＥＤで構成される。たとえば、インジケータ２２ｃでは、４つのうちのいずれか１つを点灯させることにより、点灯したＬＥＤに応じて、コントローラ２２の識別情報（コントローラ番号）を示すことができる。また、インジケータ２２ｃでは、点灯させるＬＥＤの個数によってコントローラ２２の電池残量を示すこともできる。
【００６２】
さらに、コントローラ２２は、撮像情報演算部８０（図４参照）を有しており、図３（Ａ）に示すように、ハウジング２２ａの先端面には撮像情報演算部８０の光入射口２２ｄが設けられる。また、コントローラ２２は、スピーカ８６（図４参照）を有しており、このスピーカ８６は、図３（Ｂ）に示すように、ハウジング２２ａの上面であり、１ボタン２６ｂとＨＯＭＥボタン２６ｆとの間に設けられる音抜き孔２２ｅに対応して、ハウジング２２ａ内部に設けられる。
【００６３】
なお、図３（Ａ）ないし図３（Ｅ）に示したコントローラ２２の形状や、各入力手段２６の形状、数および設置位置等は単なる一例に過ぎず、それらが適宜改変された場合であっても、本発明を実現できることは言うまでもない。
【００６４】
図４はコントローラ２２の電気的な構成を示すブロック図である。この図４を参照して、コントローラ２２はプロセッサ７０を含み、このプロセッサ７０には、内部バス（図示せず）によって、外部拡張コネクタ２２ｂ、入力手段２６、メモリ７２、加速度センサ７４、無線モジュール７６、撮像情報演算部８０、ＬＥＤ８２（インジケータ２２ｃ）、バイブレータ８４、スピーカ８６および電源回路８８が接続される。また、無線モジュール７６には、アンテナ７８が接続される。
【００６５】
なお、簡単のため、図４では省略するが、上述したように、インジケータ２２ｃは４つのＬＥＤ８２によって構成される。
【００６６】
プロセッサ７０は、コントローラ２２の全体制御を司り、入力手段２６、加速度センサ７４および撮像情報演算部８０によって入力された情報（入力情報）を、入力データとして無線モジュール７６およびアンテナ７８を介してゲーム装置１２に送信（入力）する。このとき、プロセッサ７０は、メモリ７２を作業領域ないしバッファ領域として用いる。また、上述した入力手段２６（２６ａ−２６ｉ）からの操作信号（操作データ）は、プロセッサ７０に入力され、プロセッサ７０は操作データを一旦メモリ７２に記憶する。
【００６７】
加速度センサ７４は、コントローラ２２の縦方向（ｙ軸方向）、横方向（ｘ軸方向）および前後方向（ｚ軸方向）の３軸で各々の加速度を検出する。この加速度センサ７４は、典型的には、静電容量式の加速度センサであるが、他の方式のものを用いるようにしてもよい。
【００６８】
たとえば、加速度センサ７４は、第１所定時間毎に、ｘ軸，ｙ軸，ｚ軸の各々についての加速度（ａｘ，ａｙ，ａｚ）を検出し、検出した加速度のデータ（加速度データ）をプロセッサ７０に入力する。たとえば、加速度センサ７４は、各軸方向の加速度を、−２．０ｇ〜２．０ｇ（ｇは重力加速度である。以下、同じ。）の範囲で検出する。プロセッサ７０は、加速度センサ７４から与えられる加速度データを、第２所定時間毎に検出し、一旦メモリ７２に記憶する。
【００６９】
プロセッサ７０は、操作データ、加速度データおよび後述するマーカ座標データの少なくとも１つを含む入力データを作成し、作成した入力データを、第３所定時間（たとえば、５ｍｓｅｃ）毎にゲーム装置１２に送信する。
【００７０】
なお、図３（Ａ）−図３（Ｅ）では省略したが、この実施例では、加速度センサ７４は、ハウジング２２ａ内部の基板上の十字キー２６ａが配置される付近に設けられる。
【００７１】
無線モジュール７６は、たとえばＢｌｕｅｔｏｏｔｈの技術を用いて、所定周波数の搬送波を入力データで変調し、その微弱電波信号をアンテナ７８から放射する。つまり、入力データは、無線モジュール７６によって微弱電波信号に変調されてアンテナ７８（コントローラ２２）から送信される。この微弱電波信号が上述したゲーム装置１２に設けられた無線コントローラモジュール５２によって受信される。受信された微弱電波は、復調および復号の処理を施され、したがって、ゲーム装置１２（ＣＰＵ４０）は、コントローラ２２からの入力データを取得することができる。そして、ＣＰＵ４０は、取得した入力データとアプリケーションプログラムとに従ってアプリケーションの処理を行う。
【００７２】
さらに、上述したように、コントローラ２２には、撮像情報演算部８０が設けられる。この撮像情報演算部８０は、赤外線フィルタ８０ａ、レンズ８０ｂ、撮像素子８０ｃおよび画像処理回路８０ｄによって構成される。赤外線フィルタ８０ａは、コントローラ２２の前方から入射する光から赤外線のみを通過させる。上述したように、モニタ３４の表示画面近傍（周辺）に配置されるマーカ３４０ｍおよび３４０ｎは、モニタ３４の前方に向かって赤外光を出力する赤外ＬＥＤである。したがって、赤外線フィルタ８０ａを設けることによってマーカ３４０ｍおよび３４０ｎの画像をより正確に撮像することができる。レンズ８０ｂは、赤外線フィルタ８０ａを透過した赤外線を集光して撮像素子８０ｃへ出射する。撮像素子８０ｃは、たとえばＣＭＯＳセンサあるいはＣＣＤのような固体撮像素子であり、レンズ８０ｂによって集光された赤外線を撮像する。したがって、撮像素子８０ｃは、赤外線フィルタ８０ａを通過した赤外線だけを撮像して画像データを生成する。以下では、撮像素子８０ｃによって撮像された画像を撮像画像と呼ぶ。また、赤外線フィルタ８０ａ、レンズ８０ｂおよび撮像素子８０ｃによって、撮像装置（カメラ）８００が構成される。撮像素子８０ｃによって生成された画像データは、画像処理回路８０ｄで処理される。画像処理回路８０ｄは、撮像画像内における撮像対象（マーカ３４０ｍおよび３４０ｎ）の位置を算出し、第４所定時間毎に、当該位置を示す各座標値を撮像データ（後述するマーカ座標データ）としてプロセッサ７０に出力する。なお、画像処理回路８０ｄにおける処理については後述する。
【００７３】
図示は省略するが、付属装置３６への電源供給をコントローラ２２から行うようにする場合には、コネクタ２２ｂと付属装置３６（赤外ＬＥＤ３６６：図１０参照）とが電源ケーブル（図示せず）を用いて接続される。そして、プロセッサ７０の制御によって、電源回路８８から付属装置３６（赤外ＬＥＤ３６６）に電源が供給されたり停止されたりする。
【００７４】
ただし、付属装置３６にバッテリのような電源を設ける場合には、コネクタ２２ｂと付属装置３６とを電源ケーブルによって接続する必要はない。
【００７５】
図５は、コントローラ２２を用いてゲームプレイするときの状態を概説する図解図である。ただし、ゲームプレイのみならず、他のアプリケーションを実行する場合も同様である。ここでは、説明の都合上、付属装置３６がコントローラ２２に装着されていない場合について説明する。図５に示すように、ゲームシステム１０でコントローラ２２を用いてゲームをプレイする際、プレイヤは、一方の手でコントローラ２２を把持する。厳密に言うと、プレイヤは、コントローラ２２の先端面（撮像情報演算部８０が撮像する光の入射口２２ｄ側）がマーカ３４０ｍおよび３４０ｎの方を向く状態でコントローラ２２を把持する。ただし、図１からも分かるように、マーカ３４０ｍおよび３４０ｎは、モニタ３４の画面の横方向と平行に配置されている。この状態で、プレイヤは、コントローラ２２が指示する画面上の位置を変更したり、コントローラ２２と各マーカ３４０ｍおよび３４０ｎとの距離を変更したりすることによってゲーム操作を行う。
【００７６】
図６は、マーカ３４０ｍおよび３４０ｎと、コントローラ２２との視野角を説明するための図である。図６に示すように、マーカ３４０ｍおよび３４０ｎは、それぞれ、視野角θ１の範囲で赤外光を放射する。また、撮像情報演算部８０の撮像素子８０ｃは、コントローラ２２の視線方向を中心とした視野角θ２の範囲で入射する光を受光することができる。たとえば、マーカ３４０ｍおよび３４０ｎの視野角θ１は、共に３４°（半値角）であり、一方、撮像素子８０ｃの視野角θ２は４１°である。プレイヤは、撮像素子８０ｃが２つのマーカ３４０ｍおよび３４０ｎからの赤外光を受光することが可能な位置および向きとなるように、コントローラ２２を把持する。具体的には、撮像素子８０ｃの視野角θ２の中にマーカ３４０ｍおよび３４０ｎの少なくとも一方が存在し、かつ、マーカ３４０ｍまたは３４０ｎの少なくとも一方の視野角θ１の中にコントローラ２２が存在する状態となるように、プレイヤはコントローラ２２を把持する。この状態にあるとき、コントローラ２２は、マーカ３４０ｍおよび３４０ｎの少なくとも一方を検知することができる。プレイヤは、この状態を満たす範囲でコントローラ２２の位置および向きを変化させることによってゲーム操作を行うことができる。
【００７７】
なお、コントローラ２２の位置および向きがこの範囲外となった場合、コントローラ２２の位置および向きに基づいたゲーム操作を行うことができなくなる。以下では、上記範囲を「操作可能範囲」と呼ぶ。
【００７８】
操作可能範囲内でコントローラ２２が把持される場合、撮像情報演算部８０によって各マーカ３４０ｍおよび３４０ｎの画像が撮像される。すなわち、撮像素子８０ｃによって得られる撮像画像には、撮像対象である各マーカ３４０ｍおよび３４０ｎの画像（対象画像）が含まれる。図７は、対象画像を含む撮像画像の一例を示す図である。対象画像を含む撮像画像の画像データを用いて、画像処理回路８０ｄは、各マーカ３４０ｍおよび３４０ｎの撮像画像における位置を表す座標（マーカ座標）を算出する。
【００７９】
撮像画像の画像データにおいて対象画像は高輝度部分として現れるため、画像処理回路８０ｄは、まず、この高輝度部分を対象画像の候補として検出する。次に、画像処理回路８０ｄは、検出された高輝度部分の大きさに基づいて、その高輝度部分が対象画像であるか否かを判定する。撮像画像には、対象画像である２つのマーカ３４０ｍおよび３４０ｎに対応する画像３４０ｍ’および３４０ｎ’のみならず、窓からの太陽光や部屋の蛍光灯の光によって対象画像以外の画像が含まれていることがある。高輝度部分が対象画像であるか否かの判定処理は、対象画像である画像３４０ｍ’および３４０ｎ’と、それ以外の画像とを区別し、対象画像を正確に検出するために実行される。具体的には、当該判定処理においては、検出された高輝度部分が、予め定められた所定範囲内の大きさであるか否かが判定される。そして、高輝度部分が所定範囲内の大きさである場合には、当該高輝度部分は対象画像を表すと判定される。逆に、高輝度部分が所定範囲内の大きさでない場合には、当該高輝度部分は対象画像以外の画像を表すと判定される。
【００８０】
さらに、上記の判定処理の結果、対象画像を表すと判定された高輝度部分について、画像処理回路８０ｄは当該高輝度部分の位置を算出する。具体的には、当該高輝度部分の重心位置を算出する。ここでは、当該重心位置の座標をマーカ座標と呼ぶ。また、重心位置は撮像素子８０ｃの解像度よりも詳細なスケールで算出することが可能である。ここでは、撮像素子８０ｃによって撮像された撮像画像の解像度が１２６×９６であるとし、重心位置は１０２４×７６８のスケールで算出されるものとする。つまり、マーカ座標は、（０，０）から（１０２４，７６８）までの整数値で表現される。
【００８１】
なお、撮像画像における位置は、撮像画像の左上を原点とし、下向きをＹ軸正方向とし、右向きをＸ軸正方向とする座標系（ＸＹ座標系）で表現されるものとする。
【００８２】
また、対象画像が正しく検出される場合には、判定処理によって２つの高輝度部分が対象画像として判定されるので、２箇所のマーカ座標が算出される。画像処理回路８０ｄは、算出された２箇所のマーカ座標を示すデータを出力する。出力されたマーカ座標のデータ（マーカ座標データ）は、上述したように、プロセッサ７０によって入力データに含まれ、ゲーム装置１２に送信される。
【００８３】
ゲーム装置１２（ＣＰＵ４０）は、受信した入力データからマーカ座標データを検出すると、このマーカ座標データに基づいて、モニタ３４の画面上におけるコントローラ２２の指示位置（指示座標）と、コントローラ２２からマーカ３４０ｍおよび３４０ｎまでの各距離とを算出することができる。具体的には、２つのマーカ座標の中点の位置から、コントローラ２２の向いている位置すなわち指示位置が算出される。また、撮像画像における対象画像間の距離が、コントローラ２２と、マーカ３４０ｍおよび３４０ｎとの距離に応じて変化するので、２つのマーカ座標間の距離を算出することによって、ゲーム装置１２はコントローラ２２と、マーカ３４０ｍおよび３４０ｎとの間の距離を把握できる。さらに、２つのマーカ座標を通る直線の傾きから、コントローラ２２の光入射口２２ｄをマーカ３４０ｍおよび３４０ｎ（モニタ３４）側に向けた場合における、コントローラ２２の長手方向を回転軸としたコントローラ２２の回転量を検出することができる。
【００８４】
図８（Ａ）および図８（Ｂ）は、コントローラ２２に着脱可能に設けられる付属装置３６の外観構成を示す図解図である。図８（Ａ）および図８（Ｂ）に示すように、付属装置３６は、本体３６０とスリット板３６２とによって構成される。また、本体３６０は、大きく分けて、コントローラ２２に接合するための接合部３６００と、スリット板３６２を装着するための装着部３６０２とによって構成される。接合部３６００は、装着部３６０２を構成する板部材３６２２（図８（Ｂ）参照）の平面に対して垂直に延びて、断面が略四角形状の筒で構成される。
【００８５】
図８（Ａ）に示すように、本体３６０の接合部３６００には、付属装置３６をコントローラ２２に装着する際に、コントローラ２２の先端部を挿入するための挿入口３６０ａが設けられる。また、接合部３６００の一部には切り欠き３６０ｂが設けられ、したがって、コントローラ２２に付属装置３６を着脱する際、挿入口３６０ａが拡大される。このため、付属装置３６をコントローラ２２に着脱し易い。また、図示は省略するが、コントローラ２２の先端部には、撮像装置８００が収納されており、したがって、付属装置３６をコントローラ２２に装着すると、撮像装置８００は接合部３６００によって囲まれることになる。
【００８６】
また、装着部３６０２には、ドットのパターン３８０を印刷ないし貼り付けたカード４００（図９（Ｂ）参照）のような情報媒体から、そのパターン（コード）を読み取る場合に、そのカード４００をスライドさせるためのガイド溝３６４が設けられる。これは、カード４００（ドットのパターン３８０）とコントローラ２２（撮像装置８００）との距離を一定に保つためであり、スライド時にコントローラ２２（撮像装置８００）に対してカード４００（ドットのパターン８０）が斜めになるのを防止するためである。ただし、場合によっては、カード４００をスライドさせずに、ガイド溝３６４に差し込むだけでもよい。
【００８７】
また、接合部３６００の側面には、２つの赤外ＬＥＤ３６６（図８では省略）を取り付けるための２つの取付孔３６０ｃが設けられる。図示は省略するが、赤外ＬＥＤ３６６のうち、少なくとも発光する部分が本体３６０の内部に配置されるように、赤外ＬＥＤ３６６は取り付けられる。また、この実施例では、２つの赤外ＬＥＤ３６６を取り付けるため、２つの取付孔３６０ｃを設けるようにしてある。つまり、取付孔３６０ｃの数は、取り付ける赤外ＬＥＤ３６６の数によって決定される。ただし、取り付ける赤外ＬＥＤ３６６の数は、赤外光を照射する範囲（赤外光の照射範囲）の大きさや形状に応じて決定される。
【００８８】
図８（Ｂ）は、図８（Ａ）の挿入口３６０ａとは逆方向から付属装置３６を見た図解図である。この図８（Ｂ）では、スリット板３６２を本体３６０（装着部３６０２）から外した状態の付属装置３６を示してある。図８（Ｂ）に示すように、装着部３６０２には、四角形の貫通孔３６０ｄが設けられる。また、図面では分かり難いが、接合部３６００の内部には、光入射口２２ｄとほぼ同じ大きさ（形状）の切り抜き部３６１０を有するストッパ３６０ｅが設けられる。図８（Ｂ）に示すように、ストッパ３６０ｅは、取付孔３６０ｃよりも挿入口３６０ａ側に設けられ、付属装置３６をコントローラ２２に装着する際、差し込む方向におけるコントローラ２２の位置（移動）を規制する。
【００８９】
図面では分かり難いが、貫通孔３６０ｄおよびストッパ３６０ｅに設けられる切り抜き部３６１０の大きさは、コントローラ２２に設けられる撮像素子８０ｃの画角（図６に示した視野角θ２参照）に応じて決定される。また、ストッパ３６０ｅの位置は、コントローラ２２の光入射口２２ｄ（撮像素子８０ｃ）と、ガイド溝３６４（ドットのパターン３８０）との距離が所定距離になるように、決定される。ただし、所定距離は、撮像素子８０ｃによって後述するドットのパターン３８０（図１０および図１１（Ａ）参照）を撮像した場合に、撮像画像における高輝度部分（上述した「対象画像」と同様である）およびその高輝度部分の位置を正しく認識できる距離であり、ドットの大きさや撮像素子８０ｃの解像度等によって決定される。
【００９０】
図８（Ｂ）に戻って、装着部３６０２は、さらに、板部材３６２０と板部材３６２２とによって構成される。板部材３６２０と板部材３６２２とは、２つの連結部３６０４で連結（接着）される。図面では分かり難いが、板部材３６２２には、スリット板３６２を装着するためのガイド溝が形成される。スリット板３６２が板部材３６２２に装着されると、板部材３６２０とスリット板３６２が装着された板部材３６２２とによって、上述したガイド溝３６４が形成される。図８（Ａ）および図８（Ｂ）からも分かるように、ガイド溝３６４は、装着部３６０２を構成する板部材３６２０、３６２２と平行に延びて形成される。言い換えると、ガイド溝３６４は、スリット３６２ａの幅方向に延びて形成されている。
【００９１】
また、スリット板３６２の中央下部には、スリット３６２ａが設けられる。スリット３６２ａは、縦長の長方形状であり、所定の長さおよび所定の幅を有している。ただし、所定の長さは、後述するドットのパターン３８０の縦の長さ（一列のドットの数およびドットの大きさで決まる長さ）と同程度の長さに設定される。また、所定の幅は、ドットのパターン３８０におけるドットの横幅よりも少し長く設定される。たとえば、所定の幅は、カード４００（ドットのパターン３８０）が少し斜めになった場合であっても、一列の４つの白色のドットを読み取れる長さである。
【００９２】
図示は省略するが、少なくとも、本体３６０の内部（内面）であり、ストッパ３６０ｅとスリット板３６２とを含み、それらの間の範囲においては、黒色が付される。ただし、付属装置３６の全体を黒色にしてもよい。これは、後述するように、ドットのパターン３８０以外の高輝度を検出しないようにするためである。
【００９３】
たとえば、図９（Ａ）に示すように、付属装置３６をコントローラ２２に装着した状態で、スリット板３６２を取り外した場合には、図５−図７を用いて説明したように、コントローラ２２は、２つのマーカ３４０ｍおよびマーカ３４０ｎを撮像することによって、モニタ３４上の座標入力などに用いられる。つまり、かかる場合には、コントローラ２２を、ポインティングデバイスとして使用することができる。
【００９４】
一方、図９（Ｂ）に示すように、付属装置３６をコントローラ２２に装着した状態で、スリット板３６２も装着している場合には、コントローラ２２は、赤外ＬＥＤ３６６から赤外光を照射されたカード４００に印刷等されたドットのパターン３８０の一部を撮像することによって、ドットのパターン３８０に従う所定の情報処理を実行するために用いられる。つまり、かかる場合には、コントローラ２２を、ドットのパターン３８０（コード）を読み取る装置（パターン読取装置）として使用することができる。
【００９５】
なお、図９（Ｂ）では分かり難いが、カード４００の裏面（コントローラ２２側）にドットのパターン３８０は印刷等されている。
【００９６】
ここで、コントローラ２２を、ポインティングデバイスとして使用する場合と、パターン読取装置として使用する場合とは、情報処理プログラムのようなアプリケーションプログラムからの要請に応じて切り替えられる。たとえば、前者の場合には、ゲーム装置１２からマーカ３４０ｍ、３４０ｎに電源が供給されるが、ゲーム装置１２からの指示に従ってコントローラ２２から赤外ＬＥＤ３６６に電源は供給されない。後者の場合には、ゲーム装置１２からマーカ３４０ｍ、３４０ｎに電源は供給されないが、ゲーム装置１２からの指示に従ってコントローラ２２から赤外ＬＥＤ３６６に電源が供給される。
【００９７】
ただし、付属装置３６にバッテリを設ける場合には、たとえば、スリット板３６２を付属装置３６に装着したときに、赤外ＬＥＤ３６６に電源が供給され、スリット板３６２を付属装置３６から外したときに、赤外ＬＥＤ３６６への電源が停止されるスイッチ機構（図示せず）を設けることにより、上述したように、コントローラ２２を、ポインティングデバイスまたはパターン読取装置として使用するようにすればよい。
【００９８】
このようにすれば、マーカ３４０ｍ、３４０ｎまたは赤外ＬＥＤ３６６を使用しないときに、電源供給を停止することができ、無駄な消費電力を削減することができる。
【００９９】
たとえば、コントローラ２２を、パターン読取装置として使用する場合には、付属装置３６を装着したコントローラ２２では、図９（Ｂ）に示したように、ドットのパターン３８０が印刷等されたカード４００がユーザないしプレイヤによってガイド溝３６４をスライドされる。ここで、図１０に示すように、付属装置３６では、コントローラ２２の反対側であり、スリット板３６２に設けられるスリット３６２ａに対向する位置に、赤外光が出力される。図１０からも分かるように、ドットのパターン３８０の読み取り時には、コントローラ２２（光入射口２２ｄ）とドットのパターン３８０（カード４００）との間に、スリット３６２ａ（スリット板３６２）が配置されることになる。ただし、図１０では分かり易く示すために、付属装置３６の本体３６０を省略し、スリット板３６２の一部と赤外ＬＥＤ３６６のみを示してある。実際には、スリット３６２ａを含むスリット板３６２と赤外ＬＥＤ３６６とは、本体３６０によって囲まれている。また、図１０では、スリット板３６２とドットのパターン３８０とを分かり易く示すために、黒色に代えて斜線を付してある。
【０１００】
したがって、上述したように、カード４００をガイド溝３６４に沿ってスライドさせる場合には、カード４００に印刷等されたドットのパターン３８０の一部（赤外光の照射範囲）に赤外光が照射される。ただし、この実施例では、スリット板３６２の一部ないし全部およびドットのパターン３８０の背景は黒色にされるため、その黒色部分によって赤外ＬＥＤ３６６からの赤外光が吸収され、白色のドットのみを高輝度にするとともに、スリット３６２ａを通して検出される高輝度部分以外の高輝度部分を検出しないようにすることができる。つまり、誤検出が防止される。
【０１０１】
ここで、ドットのパターン３８０は、図１１（Ａ）に示すように、黒色の背景に、複数の白色のドットが描画されることにより、表される。ただし、図１１（Ｂ）に示すように、ドットのパターン３８０の縦の長さは、６個のドットが配列可能な長さに設定されており、６個のドットのうちのいずれか４個に白色が付され、残りの２個に黒色が付される。したがって、２つの黒色のドットは背景と区別がつかない。
【０１０２】
なお、ドットのパターン３８０は、このようなドットのパターン３８０を使用するアプリケーションプログラムの開発者やプログラマ等によって設定される。
【０１０３】
たとえば、縦方向に一列に並ぶ４つの白色のドットによって１つの情報を与えることができる。ただし、ドットのパターン３８０の全体を認識することにより、つまり、ドットのパターン３８０に含まれるすべての列の白色のドットの位置を検出することにより、認識したドットのパターン３８０に基づいて、ゲーム装置１２では、上述した所定の情報処理が実行される。
【０１０４】
たとえば、コントローラ２２では、一定時間（１フレーム）毎に、撮像装置８００による撮像処理が実行され、１つの撮像画像から４つの高輝度部分の座標（位置）が検出される。ドットのパターン３８０のすべての列についての座標データ（上述の「マーカ座標データ」に相当する）を含む入力データがゲーム装置１２に送信される。したがって、上述したように、ゲーム装置１２側では、ドットのパターン３８０に基づいて、所定の情報処理が実行される。ただし、上述したように、入力データは、第３所定時間毎にゲーム装置１２に送信されるため、ドットのパターン３８０のすべての列についての座標データが分割して送信されることもある。
【０１０５】
ただし、フレームは、ゲーム画面などの画面を更新する単位時間（１／６０秒）である。
【０１０６】
なお、図１１（Ｂ）では、ドットを分かり易く示すために、背景およびドットの黒色を省略するとともに、各ドットの外周を実線で示してある。
【０１０７】
また、ドットのパターン３８０の縦の長さは、７個以上のドットが配列可能な長さにされてもよい。また、各列において、白色が付された４個のドットによって１つの情報が与えられるようにしてあるが、白色が付されたドットの数は１つ以上であれば、５個以上であっても構わない。つまり、ドットの位置のみならず、ドットの位置および個数によって情報を与えることができる。ただし、撮像情報演算部８０によって一度に処理可能な高輝度部分（ドット）の数によって、各列に表示される白色が付されたドットの最大数は決定される。
【０１０８】
さらに、この実施例では、スリット３６２ａを縦長に形成したため、ドットのパターン３８０において、各列単位で１つの情報が与えられるようにしたが、スリット３６２ａの幅を広げたり、向きを変えたりした場合には、複数列単位で１つの情報が与えられたり、行単位で情報が与えられたりするように、ドットのパターン３８０を形成する必要がある。これらは設計事項であり、付属装置３６をコントローラ２２に装着することにより、コントローラ２２をパターン読取装置として使用できる点に着目されたい。
【０１０９】
したがって、図９（Ｂ）および図１０に示したように、カード４００に印刷等されたドットのパターン３８０を読み取る場合には、図１１（Ｃ）に示すように、スリット板３６２に設けられたスリット３６２ａを通して、列毎に４つの白色のドットが高輝度部分として検出される。具体的には、１フレーム毎に撮像された撮像画像から高輝度部分の位置（マーカ座標）が検出される。ただし、図１１（Ｃ）では、スリット３６２とドットのパターン３８０とを分かり易く示すために、ドットのパターン３８０の背景およびドットの一部を灰色で示してあるが、実際には、上述したように、黒色である。
【０１１０】
この実施例によれば、撮像装置を備えるコントローラに付属装置を装着することにより、コントローラをポインティングデバイスおよびパターン読取装置として使用することができる。
【０１１１】
なお、この実施例では、スリット板に縦長のスリットを設けるようにしたが、これに限定される必要はない。図１２（Ａ）に示すように、横長のスリット３６２ｂを設けるようにしてもよい。ただし、かかる場合には、赤外ＬＥＤの配置を変更する必要がある。図示は省略するが、縦方向または横方向から斜めに傾けたスリットを設けるようにしてもよい。
【０１１２】
また、スリットは１つに限定される必要はない。たとえば、図１２（Ｂ）に示すように、縦長のスリット３６２ａと横長のスリット３６２ｂとを設けるようにしてもよい。かかる場合には、２つのスリットに対向する位置を照射するように、赤外ＬＥＤを配置する必要がある。また、かかる場合には、各スリットを通して読み取られる情報のそれぞれに基づいて、異なる情報処理を実行することも可能である。ただし、スリットの個数や形状は、例示のものに限定される必要はない。
【０１１３】
さらに、この実施例では、付属装置をコントローラに着脱可能に設けるようにしたが、付属装置が一体的に設けられたコントローラを用いるようにしてもよい。
【０１１４】
さらにまた、この実施例では、カードに印刷等したドットのパターンを読み取るようにしたが、これに限定される必要はない。雑誌に載せたり、ゲーム画面（モニタ）に表示したりしたドットのパターンを読み取るようにしてもよい。かかる場合には、たとえば、付属装置がドットパターンの表示された雑誌やゲーム画面に接触するように、付属装置が装着されたコントローラを押し当てた状態で、コントローラを２次元方向（左、右、上、下、斜め）に移動させることにより、ドットのパターンを読み取るようにすればよい。
【０１１５】
さらにまた、この実施例では、高輝度にしたいドットについては、白色を付すようにしてが、黒色以外であれば、赤外光は吸収されないため、他の色を付すようにしてもよい。
【符号の説明】
【０１１６】
１０ …ゲームシステム
１２ …ゲーム装置
１８ …光ディスク
２２ …コントローラ
２４ …受信ユニット
３４ …モニタ
３４ａ …スピーカ
３６ …付属装置
４０ …ＣＰＵ
４２ …システムＬＳＩ
４２ａ …入出力プロセッサ
４２ｂ …ＧＰＵ
４２ｃ …ＤＳＰ
４２ｄ …ＶＲＡＭ
４２ｅ …内部メインメモリ
４４ …フラッシュメモリ
４６ …外部メインメモリ
４８ …ＲＯＭ／ＲＴＣ
５０ …無線通信モジュール
５２ …無線コントローラモジュール
５４ …ディスクドライブ
５６ …ＡＶ ＩＣ
５８ …ＡＶコネクタ
６０ …拡張コネクタ
６２ …メモリカード用コネクタ
７０ …プロセッサ
７４ …加速度センサ
８０ …画像情報演算部
８０ｃ …撮像素子
８０ｄ …画像処理回路
３６０ …本体
３６２ …スリット板
３６２ａ …スリット
３６４ …ガイド溝
３６６ …赤外ＬＥＤ
３８０ …ドットのパターン
【特許請求の範囲】
【請求項１】
入力装置と、
前記入力装置に着脱可能に設けられる付属装置と、
前記入力装置と通信を行って所定の情報処理を実行する情報処理装置を備える、情報処理システムであって、
前記入力装置は、
撮像装置と、
前記撮像装置によって撮像された画像内の高輝度部分の位置を算出する位置算出部と、
少なくとも前記高輝度部分の位置に関するデータを送信する送信部を備え、
前記付属装置は、
前記撮像装置を覆うとともに、所定幅のスリットを有するカバーを備え、
前記情報処理装置は、
前記送信部によって送信されたデータを受信する受信部と、
前記受信部によって受信されたデータに基づいて所定の情報処理を実行する実行部を備える、情報処理システム。
【請求項２】
前記付属装置は、前記撮像装置の撮像方向に向かって発光する発光部をさらに備える、請求項１記載の情報処理システム。
【請求項３】
前記付属装置は、前記スリットの幅方向に延びるガイド部をさらに備える、請求項１または２記載の情報処理システム。
【請求項４】
前記付属装置は、前記スリットを含む板部材を着脱可能に設けた、請求項１ないし３のいずれかに記載の情報処理システム。
【請求項５】
撮像装置を有する入力装置に付属する付属装置であって、
所定幅のスリットを含む板部材、
前記板部材の外側から当該板部材の面と交差する方向に赤外光を出力する発光部、および
前記板部材と平行に延びるガイド部を備える、付属装置。
【請求項６】
前記撮像装置、前記板部材および前記発光部を覆うように形成されたカバーをさらに備える、請求項５記載の付属装置。
【請求項７】
前記板部材および前記カバーに黒色を付した、請求項６記載の付属装置。
【請求項１】
入力装置と、
前記入力装置に着脱可能に設けられる付属装置と、
前記入力装置と通信を行って所定の情報処理を実行する情報処理装置を備える、情報処理システムであって、
前記入力装置は、
撮像装置と、
前記撮像装置によって撮像された画像内の高輝度部分の位置を算出する位置算出部と、
少なくとも前記高輝度部分の位置に関するデータを送信する送信部を備え、
前記付属装置は、
前記撮像装置を覆うとともに、所定幅のスリットを有するカバーを備え、
前記情報処理装置は、
前記送信部によって送信されたデータを受信する受信部と、
前記受信部によって受信されたデータに基づいて所定の情報処理を実行する実行部を備える、情報処理システム。
【請求項２】
前記付属装置は、前記撮像装置の撮像方向に向かって発光する発光部をさらに備える、請求項１記載の情報処理システム。
【請求項３】
前記付属装置は、前記スリットの幅方向に延びるガイド部をさらに備える、請求項１または２記載の情報処理システム。
【請求項４】
前記付属装置は、前記スリットを含む板部材を着脱可能に設けた、請求項１ないし３のいずれかに記載の情報処理システム。
【請求項５】
撮像装置を有する入力装置に付属する付属装置であって、
所定幅のスリットを含む板部材、
前記板部材の外側から当該板部材の面と交差する方向に赤外光を出力する発光部、および
前記板部材と平行に延びるガイド部を備える、付属装置。
【請求項６】
前記撮像装置、前記板部材および前記発光部を覆うように形成されたカバーをさらに備える、請求項５記載の付属装置。
【請求項７】
前記板部材および前記カバーに黒色を付した、請求項６記載の付属装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１１】
【公開番号】特開２０１１−２２４２３９（Ｐ２０１１−２２４２３９Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９８５７５（Ｐ２０１０−９８５７５）
【出願日】平成２２年４月２２日（２０１０．４．２２）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月２２日（２０１０．４．２２）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
[ Back to top ]