情報処理システムおよびプログラム
【課題】ユーザが手に持って使用する入力装置を用いて従来にはない新たな操作が可能な情報処理システムおよびそれにおいて用いられるプログラムを提供する。
【解決手段】ゲームシステムは、画像取得手段と、方向算出手段と、移動手段と、表示制御手段とを備えている。画像取得手段は、撮像装置によって撮像された画像を取得する。方向算出手段は、取得された画像内に含まれる撮像対象の画像から一意に決定される方向を算出する。移動手段は、算出された方向に応じて操作対象を予め決められた方向へ移動させる。表示制御手段は、移動手段による操作対象の移動に応じた画像を生成して表示装置の画面に表示させる。
【解決手段】ゲームシステムは、画像取得手段と、方向算出手段と、移動手段と、表示制御手段とを備えている。画像取得手段は、撮像装置によって撮像された画像を取得する。方向算出手段は、取得された画像内に含まれる撮像対象の画像から一意に決定される方向を算出する。移動手段は、算出された方向に応じて操作対象を予め決められた方向へ移動させる。表示制御手段は、移動手段による操作対象の移動に応じた画像を生成して表示装置の画面に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システムおよびプログラムに関し、より特定的には、撮像装置を備える操作装置を用いてユーザが操作を行う情報処理システムおよびそれに用いられるプログラムに関する。
【背景技術】
【０００２】
従来、光学式のポインティングシステムを用いて表示画面上の特定の位置を指定する技術が考えられている。例えば、特許文献１に記載の光学式ポインティングシステムは、複数の視聴者を対象とした会議等において用いられるシステムである。このシステムでは、表示画面の近傍に発光素子が設けられ、指示器には光電変換素子を用いた撮像装置が内蔵される。指示者が指示器を用いて表示画面の任意の位置を指定する場合、指示器は、撮像装置によって上記発光素子を撮像し、撮像された画像に基づいて指示器が指定する位置を算出する。算出された位置にマークが表示されることによって、指示者が指示したい位置がマークによって示されることとなる。
【０００３】
また、上記と同様の光学式のポインティングシステムを用いたゲーム用コントローラが考えられている（例えば、特許文献２参照。）。このコントローラは、ガン（拳銃）型の形状を有しており、射撃ゲームに用いられる。この射撃ゲームは、画面に表示されている標的に向かってガンを用いて射撃させるゲームである。ガンは、画面上の任意の位置（弾が飛んでいく位置）を指定するために用いられる。ガン型のコントローラにはＣＣＤカメラが内蔵されており、画面の周囲の４箇所に配置された発光体をＣＣＤカメラが撮像する。コントローラは、撮像された画像を用いてガンの向きや回転や傾きを算出する。算出結果を用いて、画面に表示されている標的の向きをガンが正しく向いているか否かを検出することによって、標的に命中したか否かを判断する。以上の構成によって、プレイヤが手に持ったコントローラ（ガン）自体を動かしてゲーム操作を行うゲームシステムを実現することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−３０８８７９号公報
【特許文献２】特開平８−７１２５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の技術では、ユーザが手に持って使用する操作装置（上記指示器やガン型のコントローラ）は、表示画面上の位置を指定するために用いられるのみである。つまり、上記の指示器やガン型のコントローラでは、表示画面上の位置を指定するという単一の操作のみが可能であり、他の操作を行うことができなかった。例えば、上記操作装置をゲーム装置に用いる場合、表示画面上の位置を指定するという１種類の単純なゲーム操作しか行うことができない。そのため、ゲーム操作が単純であることからゲーム自体も単純な内容となってしまい、興趣性に欠けるものとなる。
【０００６】
それゆえ、本発明の目的は、ユーザが手に持って使用する操作装置を用いて従来にはない新たな操作が可能な情報処理システムおよびそれにおいて用いられるプログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、本欄における括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施形態との対応関係を示したものであって、本発明を何ら限定するものではない。
【０００８】
第１の発明は、撮像対象（マーカ８ａおよび８ｂ）を撮像するための撮像手段（撮像素子４０）を備える操作装置（コントローラ７）から操作データを受け取り、当該操作データを用いて所定の操作対象（ウィンドウ内の画像、プレイヤキャラクタ８１、プレイヤカート９１）に演算処理を加えた後の仮想空間を表示装置（モニタ２）に表示させる、情報処理装置（ゲーム装置３）のコンピュータ（ＣＰＵ１０等）で実行されるプログラムである。プログラムは、取得ステップ（Ｓ１）と、ベクトル算出ステップ（Ｓ１６）と、第１移動ステップ（Ｓ３）と、表示ステップ（Ｓ４）とを前記コンピュータに実行させる。取得ステップにおいては、前記操作装置の前記撮像手段で撮像された撮像画像を操作データとして取得する。ベクトル算出ステップにおいては、前記撮像画像における前記撮像対象の位置を用いて、２次元ベクトル（方向データ５７により示されるベクトル）を算出する。第１移動ステップにおいては、算出された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる。表示ステップにおいては、前記第１移動ステップにおける前記操作対象の移動に応じて変更される、前記仮想空間を前記表示装置の表示領域に表示させる。
【０００９】
第２の発明においては、前記ベクトル算出ステップは、第１算出ステップと、第２算出ステップとを含んでいてもよい。このとき、第１算出ステップにおいては、前記撮像画像に対応した座標系において、前記撮像対象の画像のうちの所定の２点の座標を算出する。第２算出ステップにおいては、前記所定の２点の座標を結ぶ２次元ベクトルを算出する。
【００１０】
第３の発明は、情報処理装置（ゲーム装置３）のコンピュータ（ＣＰＵ１０等）で実行されるプログラムである。情報処理装置は、操作装置（コントローラ７）から操作データを受け取り、当該操作データを用いて所定の操作対象（ウィンドウ内の画像、プレイヤキャラクタ８１、プレイヤカート９１）に演算処理を加えた後の仮想空間を表示装置（モニタ２）に表示させる。操作装置は、撮像対象を撮像するための撮像手段（撮像素子４０）と、当該撮像手段によって撮像された撮像画像に含まれる撮像対象の画像のうちの所定の２点の座標を算出する第１算出手段（画像処理手段４１）とを備えている。プログラムは、取得ステップ（Ｓ１）と、第２算出ステップと、第１移動ステップ（Ｓ３）と、表示ステップ（Ｓ４）とを前記コンピュータに実行させる。取得ステップにおいては、前記所定の２点の座標を操作データとして取得する。第２算出ステップにおいては、前記２点の座標を結ぶ２次元ベクトルを算出する。第１移動ステップにおいては、算出された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる。表示ステップにおいては、前記第１移動ステップにおける前記操作対象の移動に応じて変更される、前記仮想空間を前記表示装置の表示領域に表示させる。
【００１１】
第４の発明は、情報処理装置（ゲーム装置３）のコンピュータ（ＣＰＵ１０等）で実行されるプログラムである。情報処理装置は、操作装置（コントローラ７）から操作データを受け取り、当該操作データを用いて所定の操作対象（ウィンドウ内の画像、プレイヤキャラクタ８１、プレイヤカート９１）に演算処理を加えた後の仮想空間を表示装置（モニタ２）に表示させる。操作装置は、撮像対象を撮像するための撮像手段（撮像素子４０）と、当該撮像手段によって撮像された撮像画像における当該撮像対象の位置を用いて２次元ベクトルを算出するベクトル算出手段（画像処理手段４１）とを備えている。プログラムは、取得ステップ（Ｓ１）と、第１移動ステップ（Ｓ３）と、表示ステップ（Ｓ４）とを前記コンピュータに実行させる。取得ステップにおいては、前記２次元ベクトルデータを操作データとして取得する。第１移動ステップにおいては、取得された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる。表示ステップにおいては、前記第１移動ステップにおける前記操作対象の移動に応じて変更される前記仮想空間の画像を前記表示装置の表示領域に表示させる。
【００１２】
第５の発明においては、プログラムは、指示座標算出ステップ（Ｓ２４）を前記コンピュータにさらに実行させてもよい。指示座標算出ステップにおいては、前記取得された撮像画像における前記撮像対象の画像の位置に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する。前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる。
【００１３】
第６の発明においては、プログラムは、指示座標算出ステップを前記コンピュータにさらに実行させてもよい。指示座標算出ステップにおいては、前記２点の座標の中点座標に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する。前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる。
【００１４】
第７の発明においては、前記操作データには、前記撮像対象の画像位置に対応した少なくとも１点の座標がさらに含まれていてもよい。このとき、プログラムは、指示座標算出ステップを前記コンピュータにさらに実行させる。指示座標算出ステップにおいては、前記１点の座標に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する。前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる。
【００１５】
第８の発明においては、前記指示座標算出ステップは、第１ステップ（Ｓ３１，Ｓ３２）と、第２ステップ（Ｓ２４）とを含んでいてもよい。第１ステップにおいては、前記撮像手段によって撮像された画像を、画像中心を軸として回転させ、当該回転によって前記２次元ベクトルが一定の方向になるようにした場合における、前記撮像対象の画像の位置を算出する。第２ステップにおいては、前記第１ステップにおいて算出された座標位置に対応させて前記表示領域上の位置に対応した指示座標を算出する。
【００１６】
第９の発明においては、プログラムは、指示座標算出ステップを前記コンピュータにさらに実行させてもよい。指示座標算出ステップにおいては、前記表示領域上の位置に対応した所定の座標を指示座標として設定する。前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる。
【００１７】
第１０の発明においては、プログラムは、オブジェクト配置ステップ（Ｓ４２，Ｓ５１）を前記コンピュータにさらに実行させるようにしてもよい。オブジェクト配置ステップにおいては、前記仮想空間内に少なくとも１つのオブジェクト（プレイヤキャラクタ８１，プレイヤカート９１）を配置する。前記第１移動ステップにおいては、前記仮想空間に配置されるオブジェクトのいずれかを前記操作対象とし、移動させる。
【００１８】
第１１の発明においては、プログラムは、オブジェクト配置ステップ（Ｓ４２，Ｓ５１）と、判別ステップ（Ｓ２５）と、操作対象設定ステップとを前記コンピュータにさらに実行させるようにしてもよい。オブジェクト配置ステップにおいては、前記仮想空間内に少なくとも１つのオブジェクトを配置する。判別ステップにおいては、前記指示座標算出ステップにおいて算出された指示座標に対応した表示領域上の位置に、当該オブジェクトが表示されるか否か判別する。操作対象設定ステップにおいては、前記指示座標に対応した位置にオブジェクトが表示される場合には、当該オブジェクトを前記操作対象として設定する。前記第１移動ステップにおいては、前記操作対象設定ステップにおいて設定されたオブジェクトを移動させる。
【００１９】
第１２の発明においては、前記仮想空間は仮想的な３次元空間であってもよい。このとき、前記オブジェクト配置ステップにおいては、３次元の仮想空間に３次元のオブジェクトが配置される。前記第１移動ステップにおいては、前記仮想空間内における予め決められた３次元の方向に前記オブジェクトが移動される。
【００２０】
第１３の発明においては、前記仮想空間は仮想的な３次元空間であってもよい。このとき、プログラムは、仮想カメラ設定ステップ（Ｓ５１）と、操作対象設定ステップとを前記コンピュータにさらに実行させる。仮想カメラ設定ステップにおいては、当該仮想空間内における所定位置に所定方向を向く仮想カメラを設定する。操作対象設定ステップにおいては、前記仮想カメラを前記操作対象とする。前記第１移動ステップにおいては、前記仮想カメラを前記操作対象とし、前記仮想空間内における予め決められた３次元の方向に移動させる。前記表示ステップにおいては、前記仮想カメラから見た前記仮想空間の画像が前記画面に表示される。
【００２１】
第１４の発明においては、前記仮想空間は仮想的な３次元空間であってもよい。このとき、プログラムは、３次元指示座標設定ステップ（Ｓ４６）を前記コンピュータにさらに実行させる。３次元指示座標設定ステップにおいては、前記指示座標算出ステップで算出された指示座標に対応する前記仮想空間内での３次元座標（第２実施例における目標位置の座標）を算出して３次元指示座標として設定する。前記第１移動ステップにおいては、前記２次元ベクトルと、前記３次元指示座標とを用いた演算によって操作対象を移動させる。
【００２２】
第１５の発明においては、前記第１移動ステップにおいて、前記指示座標算出ステップにおいて算出された位置に向かう方向に前記操作対象を移動させてもよい。
【００２３】
第１６の発明においては、前記第１移動ステップにおいて、前記３次元指示座標算出ステップにおいて算出された位置に向かう方向に前記操作対象を移動させてもよい。
【００２４】
第１７の発明においては、前記仮想空間には、前記表示ステップにおいて前記表示領域の所定範囲（ウィンドウ）内に表示されるべきオブジェクト（ウィンドウ内の画像。例えば第１実施例のメニュー画像）が含まれてもよい。なお、仮想空間とは、例えば、３次元的に構築されるゲーム空間の他、２次元の仮想空間や、パーソナルコンピュータのデスクトップ画面を含む概念である。このとき、前記第１移動ステップにおいては、前記所定範囲内に表示される画像が、前記予め決められた方向へスクロールするように、オブジェクトの表示内容を移動させる。
【００２５】
第１８の発明においては、前記仮想空間には、前記表示ステップにおいて前記表示領域の所定範囲（ウィンドウ）内に表示されるべきオブジェクト（ウィンドウ内の画像。例えば第１実施例のメニュー画像）が含まれてもよい。このとき、プログラムは、操作対象設定ステップ（Ｓ２５）を前記コンピュータにさらに実行させる。操作対象設定ステップにおいては、前記指示座標が所定範囲に対応する範囲に含まれるか否か判別し、含まれる場合には前記オブジェクトを操作対象として設定する。前記第１移動ステップにおいては、前記所定範囲内に表示される画像が、前記予め決められた方向へスクロールするように、前記操作対象設定ステップにおいて設定されたオブジェクトの表示内容を移動させる。
【００２６】
第１９の発明においては、前記仮想空間には、前記表示ステップにおいて前記表示領域の所定範囲内に選択可能な項目を表す項目画像として表示されるオブジェクトが含まれていてもよい。このとき、前記第１移動ステップにおいては、前記所定範囲内に表示される選択項目が、前記予め決められた方向へスクロールして次々と表示されるように、前記操作対象設定ステップにおいて設定されたオブジェクトの表示内容を移動させる。プログラムは、選択入力受付ステップ（Ｓ２６）と、項目判断ステップ（Ｓ２７，Ｓ２８）とを前記コンピュータにさらに実行させる。選択入力受付ステップにおいては、前記項目を選択する旨の指示入力を受け付ける。項目判断ステップにおいては、前記指示座標算出ステップにおいて算出された位置に前記項目画像が表示されている時点で前記指示入力が受け付けられたとき、当該項目画像により表される項目が選択されたと判断する。
【００２７】
第２０の発明においては、前記操作対象の移動経路が予め設定されていてもよい。このとき、第１ステップにおいては、当該経路に沿った方向へ前記操作対象を移動させる。
【００２８】
第２１の発明においては、プログラムは、傾き算出ステップ（Ｓ３３，Ｓ４４，Ｓ５３）を前記コンピュータにさらに実行させてもよい。傾き算出ステップにおいては、前記２次元ベクトルの方向と、所定の基準方向との差を角度またはベクトルとして求める。前記第１移動ステップにおいては、前記傾き算出ステップで算出された差に応じて前記操作対象を移動させる。
【００２９】
第２２の発明においては、前記第１移動ステップにおいて、前記傾き算出ステップで算出された差の値に応じて、前記操作対象の移動量が決定されてもよい。
【００３０】
第２３の発明においては、前記第１移動ステップにおいて、前記傾き算出ステップで算出された差の値に応じて、前記操作対象が移動する速度が決定されてもよい。
【００３１】
第２４の発明においては、前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象が移動する加速度が決定されてもよい。
【００３２】
第２５の発明においては、前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象の移動方向に沿った位置が決定されてもよい。
【００３３】
第２６の発明においては、前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値が所定の範囲を超えたとき、前記操作対象を移動させてもよい。
【００３４】
第２７の発明においては、前記操作対象は、前記予め決められた２方向に移動可能であってもよい。このとき、前記第１移動ステップにおいては、前記２方向のうちで前記操作対象が移動する方向は前記傾き算出ステップで算出された差の値と所定の基準値との比較結果に応じて決定される。
【００３５】
第２８の発明においては、前記情報処理装置は、記憶手段（メインメモリ１３）と、操作受付手段（コントローラ７の操作部３２）とを備えていてもよい。記憶手段は、前記基準方向を記憶する。操作受付手段は、ユーザから所定の操作を受け付ける。プログラムは、記憶制御ステップ（Ｓ４１）を前記コンピュータにさらに実行させる。記憶制御ステップにおいては、前記操作受付手段によって前記所定の操作が受け付けられた時点における前記算出された２次元ベクトルを新たな基準方向として前記記憶手段に記憶させる。
【００３６】
第２９の発明においては、前記情報処理装置は、記憶手段（メインメモリ１３）を備えていてもよい。記憶手段は、前記基準方向を記憶する。プログラムは、記憶制御ステップを前記コンピュータにさらに実行させる。記憶制御ステップにおいては、新たに２次元ベクトルが算出されたとき、前回に算出された２次元ベクトルの方向を前記基準方向として前記記憶手段に記憶させる。
【００３７】
第３０の発明においては、前記操作装置は、自機の傾きを検出する傾き検出手段（加速度センサ３７）を備えていてもよい。このとき、プログラムは、判定ステップと、傾き取得ステップと、第２移動ステップとを前記コンピュータにさらに実行させる。判定ステップにおいては、前記取得された画像から前記ベクトル算出ステップによってベクトルが算出可能か否かを判定する。傾き取得ステップにおいては、前記判定ステップによってベクトルが算出不可能と判定されたとき、前記傾き検出手段によって検出される前記操作装置の傾きを示す傾きデータを取得する。第２移動ステップにおいては、前記判定ステップにおいて方向が算出不可能と判定されたとき、前記傾きデータにより示される傾きに応じて、前記予め決められた方向に前記操作対象を移動させる。前記ベクトル算出ステップにおいては、前記判定ステップにおいてベクトルが算出不可能と判定されたときにはベクトルを算出する処理が停止される。
【００３８】
第３１の発明は、操作装置（コントローラ７）と、情報処理装置（ゲーム装置３）と、表示装置（モニタ２）とを含む情報処理システムである。操作装置は、ユーザによって操作可能であり所定の撮像対象（マーカ８ａおよび８ｂ）を撮像するための撮像手段（撮像素子４０）を備える。情報処理装置は、当該操作装置が通信可能に接続される。表示装置は、当該情報処理装置によって処理された結果を表示する。情報処理システムは、表示制御手段（ステップＳ４を実行するＣＰＵ１０等。以下、単にステップ番号のみを記載する。）と、第１算出手段（画像処理回路４１）と、第２算出手段（Ｓ１６）と、第１移動手段（Ｓ３）とを備える。表示制御手段は、前記表示装置にウィンドウを表示する。第１算出手段は、前記撮像手段によって撮像された撮像画像に含まれる撮像対象の画像のうちの所定の２点の座標を算出する。第２算出手段は、前記２点の座標を結ぶ２次元ベクトルを算出する。第１移動手段は、算出された前記２次元ベクトルの値とこれよりも前に算出された２次元ベクトルの値とに基づいて回転量を求め、当該回転量に応じて前記ウィンドウ内をスクロールさせる。
【００３９】
第３２の発明においては、前記表示制御手段は、複数のウィンドウを表示する複数表示機能を含んでいてもよい。情報処理システムは、指示座標算出手段をさらに備えている。指示座標算出手段は、撮像画像における所定の２点の座標の位置関係から前記表示装置の表示領域上の１点の指示座標を算出する。前記第１移動手段は、前記指示座標と重なるウィンドウを検出し、前記回転量に応じて当該ウィンドウ内をスクロールさせる。
【発明の効果】
【００４０】
第１の発明によれば、ベクトル算出ステップによって、撮像対象の画像（撮像画像）から２次元のベクトルが算出される。この２次元ベクトルの値は、撮像装置を備える操作装置の回転状態によって変化する。したがって、この方向に応じて移動するように操作対象を表示することによって、操作装置を回転させる操作に応じて操作対象を移動させることができる。すなわち、第１の発明によれば、ユーザが手に持って使用する操作装置を用いて、操作装置自体を回転させるという今までにない操作によって操作対象を移動させるという、新規な操作方法を提供することができる。また、第１の発明によれば、撮像画像が操作装置から取得されるので、操作装置は、画像を撮像する機能のみを有すればよい。したがって、操作装置の構成を簡易化することができる。
【００４１】
第２の発明によれば、撮像対象の画像のうちの所定の２点の位置が算出されるので、当該２点の位置を用いて２次元ベクトルを容易に算出することができる。
【００４２】
第３の発明によれば、第１の発明と同様、ユーザが手に持って使用する操作装置を用いて、操作装置自体を回転させるという今までにない操作によって操作対象を移動させるという、新規な操作方法を提供することができる。また、第３の発明によれば、操作装置によって撮像対象の画像のうちの所定の２点の位置が算出されるので、情報処理装置は、当該２点の位置を用いて２次元ベクトルを容易に算出することができる。すなわち、情報処理装置のコンピュータにおける処理負荷を軽減することができる。
【００４３】
第４の発明によれば、第１の発明と同様、ユーザが手に持って使用する操作装置を用いて、操作装置自体を回転させるという今までにない操作によって操作対象を移動させるという、新規な操作方法を提供することができる。また、第４の発明によれば、操作装置によって２次元ベクトルが算出されるので、情報処理装置は、２次元ベクトルを算出する処理を実行する必要がない。すなわち、情報処理装置のコンピュータにおける処理負荷を軽減することができる。
【００４４】
第５の発明によれば、指示座標算出ステップによって、撮像画像内における撮像対象の画像の位置から、表示領域上の位置が算出される。したがって、ユーザは、ユーザが手に持って使用するタイプの操作装置を用いて、表示領域上の位置を指定することができる。さらに、このようなユーザによって指定される位置と２次元ベクトルとを用いて操作対象が移動される。したがって、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いてより複雑な移動操作が可能となり、ユーザは、操作対象の移動をより詳細に制御することができる。
【００４５】
第６の発明によれば、指示座標算出ステップによって、撮像画像内における撮像対象の画像の位置から、表示領域上の位置が算出される。したがって、ユーザは、ユーザが手に持って使用するタイプの操作装置を用いて、表示領域上の位置を指定することができる。さらに、このようなユーザによって指定される位置と２次元ベクトルとを用いて操作対象が移動されるので、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いてより複雑な移動操作が可能となり、ユーザは、操作対象の移動をより詳細に制御することができる。
【００４６】
第７の発明によれば、指示座標算出ステップによって、撮像画像内における撮像対象の画像の位置から、表示領域上の位置が算出される。したがって、ユーザは、ユーザが手に持って使用するタイプの操作装置を用いて、表示領域上の位置を指定することができる。さらに、このようなユーザによって指定される位置と２次元ベクトルとを用いて操作対象が移動されるので、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いてより複雑な移動操作が可能となり、ユーザは、操作対象の移動をより詳細に制御することができる。
【００４７】
ここで、撮像画像内における対象画像の位置は、操作装置の回転状態によって異なる（図２３参照）。つまり、操作装置がある１箇所の位置を指し示す状態であっても、操作装置の回転状態によって対象画像の位置が異なってしまう場合がある。この場合、操作装置が指し示す位置（すなわち、指示座標算出ステップで算出される指示座標の位置）を対象画像の位置から正確に算出することができない。これに対して、第８の発明によれば、撮像画像の向きが一定となるように撮像対象の画像を回転させたときの当該撮像画像の位置を算出している。これによって、操作装置の回転状態の影響をなくすことができるので、位置算出ステップで算出される画面上または仮想空間内の位置を、撮像画像の位置から正確に算出することができる。
【００４８】
第９の発明によれば、指示座標算出ステップによって、撮像画像内における撮像対象の画像の位置から、表示領域上の位置が算出される。したがって、ユーザは、ユーザが手に持って使用するタイプの操作装置を用いて、表示領域上の位置を指定することができる。さらに、このようなユーザによって指定される位置と２次元ベクトルとを用いて操作対象が移動されるので、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いてより複雑な移動操作が可能となり、ユーザは、操作対象の移動をより詳細に制御することができる。
【００４９】
第１０の発明によれば、操作装置自体を回転させるという今までにない操作によって、仮想空間に登場するオブジェクトに移動動作を行わせることができる。
【００５０】
第１１の発明によれば、指示座標算出ステップで算出される指示座標に対応した表示領域上の位置に表示されるオブジェクトが操作対象として設定される。したがって、ユーザは、操作装置を用いて、画面上に表示されているオブジェクトを指定する操作を行うことができる。さらに、ユーザは、この操作装置を用いて、指定されたオブジェクトを移動させることができる。したがって、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いて、操作対象となるオブジェクトの選択に関する指示と、選択したオブジェクトを移動させる指示という２種類の指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【００５１】
第１２の発明によれば、操作装置自体を回転させるという今までにない操作によって、３次元の仮想空間内に存在するオブジェクトを移動させることができる。
【００５２】
第１３の発明によれば、第１移動ステップで仮想カメラを移動させることによって、画面に表示されている仮想空間の画像の視点位置や視線方向を変化させることができる。プレイヤは、入力装置自体を回転させるという今までにない操作によって、画面に表示されている仮想空間の画像の視点位置や視線方向を変化させることができる。
【００５３】
第１４の発明によれば、操作装置自体を回転させるという今までにない操作によって、３次元の仮想空間内に存在する操作対象を移動させることができる。
【００５４】
第１５の発明によれば、指示座標により示される表示領域上の位置に操作対象が移動される。これによって、ユーザは、操作装置を用いて、表示領域上における位置を指定し、指定された位置まで操作対象を移動させることができる。したがって、ユーザは、操作装置を用いて操作対象を単に移動させるのではなく、当該操作装置を用いて所望の位置を指定して操作対象を移動させることができる。それゆえ、操作対象の移動をより詳細に操作することができる。また、ユーザは、移動を実行する指示と移動する位置を指定する指示という２種類の指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【００５５】
第１６の発明によれば、指示座標により示される仮想空間内の位置に操作対象が移動される。これによって、ユーザは、操作装置を用いて、仮想空間における位置を指定し、指定された位置まで操作対象を移動させることができる。したがって、ユーザは、操作装置を用いて操作対象を単に移動させるのではなく、当該操作装置を用いて所望の位置を指定して３次元の仮想空間内において操作対象を移動させることができる。それゆえ、操作対象の移動をより詳細に操作することができる。また、ユーザは、移動を実行する指示と移動する位置を指定する指示という２種類の指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【００５６】
第１７の発明によれば、所定領域内に表示される画像をスクロールさせる操作を、入力装置自体を回転させるという今までにない操作によって行うことができる。
【００５７】
第１８の発明によれば、指示座標により示される位置にある所定領域内のオブジェクトが操作対象として設定される。したがって、ユーザは、操作装置を用いて、表示領域内に表示されているオブジェクトを指定する操作を行うことができる。さらに、ユーザは、この操作装置を用いて、指定されたオブジェクトをスクロールさせることができる。したがって、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いて、操作対象となるオブジェクトの選択に関する指示と、選択したオブジェクトをスクロールさせる指示という２種類の指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【００５８】
第１９の発明によれば、ユーザは、操作装置を用いて、表示領域内に表示されている項目を選択する操作を行うことができる。さらに、ユーザは、この操作装置を用いて、所定領域内の画像をスクロールさせることができる。したがって、本発明によれば、ユーザは、操作対象となるオブジェクトの選択に関する指示と、選択したオブジェクトをスクロールさせる指示とに加えて、所定領域内に表示されている項目を選択する指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【００５９】
第２０の発明によれば、操作装置自体を回転させるという今までにない操作によって、操作対象を経路に沿って移動させることができる。したがって、経路を自由に設定することにより、操作対象を自由に移動させることができる。
【００６０】
第２１の発明によれば、２次元ベクトルの方向と基準方向との差に応じて操作対象が移動される。この差は、入力装置を回転させる度合いによって変化するものであるので、第２１の発明によれば、入力装置を回転させる度合いによって、操作対象の移動の様子を変化させることができる。
【００６１】
第２２の発明によれば、上記差に基づいて操作対象の移動量が決定されるので、ユーザは、操作装置を回転させる度合いを変化させることによって、操作対象の移動量を変化させることができる。これによって、ユーザは、操作対象の移動量を直感的かつ容易に制御することができる。
【００６２】
第２３の発明によれば、上記差に基づいて操作対象の速度が決定されるので、ユーザは、操作装置を回転させる度合いを変化させることによって、操作対象の速度を変化させることができる。これによって、ユーザは、操作対象の速度を直感的かつ容易に制御することができる。
【００６３】
第２４の発明によれば、上記差に基づいて操作対象の加速度が決定されるので、ユーザは、操作装置を回転させる度合いを変化させることによって、操作対象の加速度を変化させることができる。これによって、ユーザは、操作対象の加速度を直感的かつ容易に制御することができる。
【００６４】
第２５の発明によれば、上記差に基づいて操作対象の位置が決定されるので、ユーザは、操作装置を回転させる度合いを変化させることによって、操作対象の位置を変化させることができる。これによって、ユーザは、操作対象の位置を直感的かつ容易に制御することができる。
【００６５】
ここで、操作装置の回転角度に敏感に反応して操作対象が移動するとすれば、操作装置を厳密に操作することをユーザに要求することとなり、当該操作装置の操作性がかえって悪くなってしまう。これに対して、第２６の発明によれば、上記差が所定の範囲を超えないときには操作対象は移動されないので、操作装置の回転操作においていわゆる遊びの部分を設定することができる。これによって操作装置の操作性を向上することができる。
【００６６】
第２７の発明によれば、上記差の値と所定の基準値との大小関係によって操作対象が移動する方向が異なるので、ユーザは、操作装置を回転させる向きを変化させることによって、操作対象の移動方向を変化させることができる。
【００６７】
第２８の発明によれば、ユーザが所定の操作を行うことによって基準方向が更新される。したがって、ユーザは基準方向を自由に設定することができるので、自分の操作しやすいように操作装置の設定を変更することができる。
【００６８】
第２９の発明によれば、前回に算出された２次元ベクトルの方向と今回に算出された２次元ベクトルの方向との差に応じて操作対象が移動される。したがって、操作装置の相対的な回転角度によって操作対象を移動させることができる。
【００６９】
第３０の発明によれば、撮像手段が撮像対象を撮像することができる範囲（後述する操作可能範囲）を超えた状態で操作装置がユーザによって把持された場合、傾き検出手段によって検出される傾きに応じて操作対象が回転される。したがって、ユーザが操作装置を移動させる操作を行っている途中において操作可能範囲を超えた状態となっても、操作対象の回転動作を継続することができる。
【００７０】
第３１の発明によれば、第２算出ステップによって、撮像対象の画像（撮像画像）から２次元のベクトルが算出される。この２次元ベクトルの値は、撮像装置を備える操作装置の回転状態によって変化する。また、情報処理装置は、２次元ベクトルに基づいて求められる回転量に応じてウィンドウ内をスクロールさせる。したがって、ユーザは、操作装置を回転させる操作に応じて操作対象を移動させることができる。すなわち、第３１の発明によれば、ユーザが手に持って使用する操作装置を用いて、操作装置自体を回転させるという今までにない操作によってウィンドウをスクロールさせるという、新規な操作方法を提供することができる。
【００７１】
第３２の発明によれば、指示座標により示される位置にあるウィンドウがスクロールの対象となる。したがって、ユーザは、操作装置を用いて、ウィンドウを指定する操作を行うことができる。さらに、ユーザは、この操作装置を用いて、指定されたオブジェクトをスクロールさせることができる。したがって、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いて、操作対象となるウィンドウの選択に関する指示と、選択したウィンドウをスクロールさせる指示という２種類の指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施形態に係る情報処理システムの一例であるゲームシステム１の外観図
【図２】ゲーム装置３の機能ブロック図
【図３】コントローラ７の斜視図
【図４】コントローラ７を前方から見た図
【図５】コントローラ７の内部構造を示す図
【図６】コントローラ７の構成を示すブロック図
【図７】コントローラ７を用いてゲーム操作するときの状態を概説する図解図
【図８】マーカ８ａおよび８ｂとコントローラ７との視野角を説明するための図
【図９】対象画像を含む撮像画像の一例を示す図
【図１０】コントローラ７の位置および／または向きを変化させた場合における撮像画像の変化を示す図
【図１１】ゲーム装置３のメインメモリ１３に記憶される主なデータを示す図
【図１２】ゲーム装置３において実行されるゲーム処理の流れを示すフローチャート
【図１３】図１２に示す操作状態算出処理（Ｓ２）の詳細な処理の流れを示すフローチャート
【図１４】第１座標および第２座標を決定するための処理を説明するための図
【図１５】操作対象の移動動作の例を示す図
【図１６】操作対象の移動動作の例を示す図
【図１７】第１実施例におけるゲーム画面の一例を示す図
【図１８】ウィンドウ７２に表示可能なメニュー画像と、メニュー画像のうちで実際に表示される領域との関係を示す図
【図１９】回転操作によるウィンドウ内の画像の変化を説明するための図
【図２０】第１実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図
【図２１】第１実施例におけるゲーム処理の流れを示すフローチャート
【図２２】第１実施例におけるステップＳ２の詳細を示すフローチャート
【図２３】図２２に示すステップＳ３２の処理を説明するための図
【図２４】第１実施例における移動処理の詳細を示すフローチャート
【図２５】第１実施例の変形例における移動処理の詳細を示すフローチャート
【図２６】第２実施例におけるゲーム画面の一例を示す図
【図２７】第２実施例におけるゲーム画面の一例を示す図
【図２８】回転操作によるプレイヤキャラクタ８１の移動動作を説明するための図
【図２９】第２実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図
【図３０】第２実施例におけるゲーム処理の流れを示すフローチャート
【図３１】第２実施例における移動処理の詳細を示すフローチャート
【図３２】第３実施例におけるゲーム画面の一例を示す図
【図３３】回転操作によって変化するプレイヤカート９１の加速度を説明するための図
【図３４】第３実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図
【図３５】第３実施例におけるゲーム処理の流れを示すフローチャート
【図３６】第３実施例における移動処理の詳細を示すフローチャート
【発明を実施するための形態】
【００７３】
図１を参照して、本発明の一実施形態に係る情報処理システムの一例であるゲームシステム１について説明する。なお、図１は、当該ゲームシステム１を説明するための外観図である。以下、据置型ゲーム装置を一例にして、本発明のゲームシステム１について説明する。
【００７４】
図１において、当該ゲームシステム１は、家庭用テレビジョン受像機等のスピーカ２２を備えたディスプレイ（以下、モニタと記載する）２に、接続コードを介して接続される据置型ゲーム装置（以下、単にゲーム装置と記載する）３および当該ゲーム装置３に操作データを与えるコントローラ７によって構成される。また、モニタ２の周辺（図では画面の上側）には、２つのマーカ８ａおよび８ｂが設置される。マーカ８ａおよび８ｂは、具体的には赤色ＬＥＤであり、それぞれモニタ２の前方に向かって赤外光を含む光を出力する。ゲーム装置３は、接続端子を介して受信ユニット６が接続される。受信ユニット６は、コントローラ７から無線送信される操作データを受信し、コントローラ７とゲーム装置３とは無線通信によって接続される。また、ゲーム装置１には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着される。ゲーム装置３の上部主面には、当該ゲーム装置３の電源ＯＮ／ＯＦＦスイッチ、ゲーム処理のリセットスイッチ、およびゲーム装置３上部の蓋を開くＯＰＥＮスイッチが設けられている。ここで、プレイヤがＯＰＥＮスイッチを押下することによって上記蓋が開き、光ディスク４の脱着が可能となる。
【００７５】
また、ゲーム装置３には、セーブデータ等を固定的に記憶するバックアップメモリ等を搭載する外部メモリカード５が必要に応じて着脱自在に装着される。ゲーム装置３は、光ディスク４に記憶されたゲームプログラムなどを実行することによって、その結果をゲーム画像としてモニタ２に表示する。さらに、ゲーム装置３は、外部メモリカード５に記憶されたセーブデータを用いて、過去に実行されたゲーム状態を再現して、ゲーム画像をモニタ２に表示することもできる。そして、ゲーム装置３のプレイヤは、モニタ２に表示されたゲーム画像を見ながら、コントローラ７を操作することによって、ゲーム進行を楽しむことができる。
【００７６】
コントローラ７は、その内部に備える通信部３６（後述）から受信ユニット６が接続されたゲーム装置３へ、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて操作データを無線送信する。コントローラ７は、操作対象（モニタ２に表示されるオブジェクトや仮想カメラ）を操作するための操作手段である。コントローラ７は、複数の操作ボタンからなる操作部が設けられている。また、後述により明らかとなるが、コントローラ７は、当該コントローラ７から見た画像を撮像するための撮像情報演算部３５（後述）を備えている。すなわち、撮像情報演算部３５は、モニタ２の周辺に配置された各マーカ８ａおよび８ｂを撮像対象として、各マーカ８ａおよび８ｂの画像を撮像する。ゲーム装置３は、この画像を用いてコントローラ７の位置および姿勢に対応した操作信号を得る。
【００７７】
次に、図２を参照して、ゲーム装置３の構成について説明する。なお、図２は、ゲーム装置３の機能ブロック図である。
【００７８】
図２において、ゲーム装置３は、各種プログラムを実行する例えばリスク（ＲＩＳＣ）ＣＰＵ（セントラルプロセッシングユニット）１０を備える。ＣＰＵ１０は、図示しないブートＲＯＭに記憶された起動プログラムを実行し、メインメモリ１３等のメモリの初期化等を行った後、光ディスク４に記憶されているゲームプログラムを実行し、そのゲームプログラムに応じたゲーム処理等を行うものである。ＣＰＵ１０には、メモリコントローラ１１を介して、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２、メインメモリ１３、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３４、およびＡＲＡＭ（Ａｕｄｉｏ ＲＡＭ）３５が接続される。また、メモリコントローラ１１には、所定のバスを介して、コントローラＩ／Ｆ（インターフェース）１６、ビデオＩ／Ｆ１７、外部メモリＩ／Ｆ１８、オーディオＩ／Ｆ１９、およびディスクＩ／Ｆ２１が接続され、それぞれ受信ユニット６、モニタ２、外部メモリカード５、スピーカ２２、およびディスクドライブ２０が接続されている。
【００７９】
ＧＰＵ１２は、ＣＰＵ１０の命令に基づいて画像処理を行うものあり、例えば、３Ｄグラフィックスの表示に必要な計算処理を行う半導体チップで構成される。ＧＰＵ１２は、図示しない画像処理専用のメモリやメインメモリ１３の一部の記憶領域を用いて画像処理を行う。ＧＰＵ１２は、これらを用いてモニタ２に表示すべきゲーム画像データやムービー映像を生成し、適宜メモリコントローラ１１およびビデオＩ／Ｆ１７を介してモニタ２に出力する。
【００８０】
メインメモリ１３は、ＣＰＵ１０で使用される記憶領域であって、ＣＰＵ１０の処理に必要なゲームプログラム等を適宜記憶する。例えば、メインメモリ１３は、ＣＰＵ１０によって光ディスク４から読み出されたゲームプログラムや各種データ等を記憶する。このメインメモリ１３に記憶されたゲームプログラムや各種データ等がＣＰＵ１０によって実行される。
【００８１】
ＤＳＰ１４は、ゲームプログラム実行時にＣＰＵ１０において生成されるサウンドデータ等を処理するものであり、そのサウンドデータ等を記憶するためのＡＲＡＭ１５が接続される。ＡＲＡＭ１５は、ＤＳＰ１４が所定の処理（例えば、先読みしておいたゲームプログラムやサウンドデータの記憶）を行う際に用いられる。ＤＳＰ１４は、ＡＲＡＭ１５に記憶されたサウンドデータを読み出し、メモリコントローラ１１およびオーディオＩ／Ｆ１９を介してモニタ２に備えるスピーカ２２に出力させる。
【００８２】
メモリコントローラ１１は、データ転送を統括的に制御するものであり、上述した各種Ｉ／Ｆが接続される。コントローラＩ／Ｆ１６は、例えば４つのコントローラＩ／Ｆで構成され、それらが有するコネクタを介して嵌合可能な外部機器とゲーム装置３とを通信可能に接続する。例えば、受信ユニット６は、上記コネクタと嵌合し、コントローラＩ／Ｆ１６を介してゲーム装置３と接続される。上述したように受信ユニット６は、コントローラ７からの操作データを受信し、コントローラＩ／Ｆ１６を介して当該操作データをＣＰＵ１０へ出力する。なお、他の実施形態においては、ゲーム装置３は、受信ユニット６に代えて、コントローラ７から送信されてくる操作データを受信する受信モジュールをその内部に設ける構成としてもよい。この場合、受信モジュールが受信した送信データは、所定のバスを介してＣＰＵ１０に出力される。ビデオＩ／Ｆ１７には、モニタ２が接続される。外部メモリＩ／Ｆ１８には、外部メモリカード５が接続され、その外部メモリカード５に設けられたバックアップメモリ等とアクセス可能となる。オーディオＩ／Ｆ１９にはモニタ２に内蔵されるスピーカ２２が接続され、ＤＳＰ１４がＡＲＡＭ１５から読み出したサウンドデータやディスクドライブ２０から直接出力されるサウンドデータをスピーカ２２から出力可能に接続される。ディスクＩ／Ｆ２１には、ディスクドライブ２０が接続される。ディスクドライブ２０は、所定の読み出し位置に配置された光ディスク４に記憶されたデータを読み出し、ゲーム装置３のバスやオーディオＩ／Ｆ１９に出力する。
【００８３】
次に、図３〜図７を参照して、コントローラ７について説明する。図３〜図５は、コントローラ７の外観構成を示す斜視図である。図３（ａ）は、コントローラ７の上面後方から見た斜視図であり、図３（ｂ）は、コントローラ７を下面後方から見た斜視図である。図４は、コントローラ７を前方から見た図である。
【００８４】
図３および図４において、コントローラ７は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。プレイヤは、コントローラ７を用いることによって、それに設けられたボタンを押下するゲーム操作を行うことに加え、コントローラ７自体の位置や向きを変えることによってゲーム操作を行うことができる。例えば、プレイヤは、長手方向を軸としてコントローラ７を回転させることによって、操作対象に移動動作を行わせることができる。また、プレイヤは、コントローラ７によって指し示される画面上の位置を変える操作によって、例えば、当該位置に向けて操作対象を移動させることができる。ここで、「コントローラ７によって指し示される画面上の位置」とは、コントローラ７の前端部から上記長手方向に延ばした直線と、モニタ２の画面とが交わる位置である。以下では、当該位置を「指示位置」と呼ぶことがある。また、コントローラ７（ハウジング３１）の長手方向を、「コントローラ７の指示方向」と呼ぶことがある。
【００８５】
ハウジング３１には、複数の操作ボタンが設けられる。ハウジング３１の上面には、十字キー３２ａ、Ｘボタン３２ｂ、Ｙボタン３２ｃ、Ｂボタン３２ｄ、セレクトスイッチ３２ｅ、メニュースイッチ３２ｆ、およびスタートスイッチ３２ｇが設けられる。一方、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＡボタン３２ｉが設けられる。これらの各ボタン（スイッチ）は、ゲーム装置３が実行するゲームプログラムに応じてそれぞれの機能が割り当てられるが、本発明の説明とは直接関連しないため詳細な説明を省略する。また、ハウジング３１の上面には、遠隔からゲーム装置３本体の電源をオン／オフするための電源スイッチ３２ｈが設けられる。
【００８６】
また、コントローラ７は撮像情報演算部３５（図５）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射口３５ａが設けられる。一方、ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、例えば３２ピンのエッジコネクタであり、コントローラ７に他の機器を接続するために利用される。また、ハウジング３１上面の後面側には複数のＬＥＤ３４が設けられる。ここで、コントローラ７には、他のコントローラ７と区別するためにコントローラ種別（番号）が付与される。ＬＥＤ３４は、コントローラ７に現在設定されている上記コントローラ種別をプレイヤに通知するために用いられる。具体的には、コントローラ７からゲーム装置３へ操作データを送信する際、上記コントローラ種別に応じて複数のＬＥＤ３４のいずれか１つが点灯する。
【００８７】
次に、図５および図６を参照して、コントローラ７の内部構造について説明する。図５は、コントローラ７の内部構造を示す図である。なお、図５（ａ）は、コントローラ７の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図５（ｂ）は、コントローラ７の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図５（ｂ）に示す基板３００は、図５（ａ）に示す基板３００の裏面から見た斜視図となっている。
【００８８】
図５（ａ）において、ハウジング３１の内部には基板３００が固設されており、当該基板３００の上主面上に操作ボタン３２ａ〜３２ｈ、加速度センサ３７、ＬＥＤ３４、水晶振動子４６、無線モジュール４４、およびアンテナ４５等が設けられる。そして、これらは、基板３００等に形成された配線（図示せず）によってマイコン４２（図６参照）に接続される。また、無線モジュール４４およびアンテナ４５によって、コントローラ７がワイヤレスコントローラとして機能する。なお、水晶振動子４６は、後述するマイコン４２の基本クロックを生成する。
【００８９】
一方、図５（ｂ）において、基板３００の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ７の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１によって構成されおり、それぞれ基板３００の下主面に取り付けられる。また、基板３００の下主面上の後端縁にコネクタ３３が取り付けられる。そして、撮像情報演算部３５の後方であって基板３００の下主面上に操作ボタン３２ｉが取り付けられていて、それよりさらに後方に、電池４７が収容される。電池４７とコネクタ３３との間の基板３００の下主面上には、バイブレータ４８が取り付けられる。このバイブレータ４８は、例えば振動モータやソレノイドであってよい。バイブレータ４８が作動することによってコントローラ７に振動が発生するので、それを把持しているプレイヤの手にその振動が伝達され、いわゆる振動対応ゲームを実現することができる。
【００９０】
図６は、コントローラ７の構成を示すブロック図である。コントローラ７は、上述した操作部３２（各操作ボタン）および撮像情報演算部３５の他に、その内部に通信部３６および加速度センサ３７を備えている。
【００９１】
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い場所を判別してその場所の重心位置やサイズなどを検出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ７の動きでも追跡して解析することができる。
【００９２】
具体的には、撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ７の前方から入射する光から赤外線のみを通過させる。ここで、モニタ２の表示画面近傍に配置されるマーカ８ａおよび８ｂは、モニタ２の前方に向かって赤外光を出力する赤外ＬＥＤである。したがって、赤外線フィルタ３８を設けることによってマーカ８ａおよび８ｂの画像をより正確に撮像することができる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ出射する。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤのような固体撮像素子であり、レンズ３９が集光した赤外線を撮像する。したがって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを撮像して画像データを生成する。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象（マーカ８ａおよび８ｂ）の位置を算出する。画像処理回路４１は、各マーカ８ａおよび８ｂの撮像画像内における位置を示す各座標値を通信部３６へ出力する。なお、画像処理回路４１における処理の詳細については後述する。
【００９３】
加速度センサ３７は、コントローラ７の上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸でそれぞれ加速度を検知する加速度センサである。この加速度センサによって、コントローラ７のＸ軸方向、Ｙ軸方向およびＺ軸方向に関する傾きを検知することが可能である。つまり、ゲーム装置３は、上記撮像画像からコントローラ７のＺ軸周りの回転角度を検出するだけでなく、加速度センサによっても当該回転角度を検出することが可能である。なお、加速度センサ３７は、必要な操作信号の種類によっては、上下方向および左右方向の２軸でそれぞれ加速度を検出する加速度センサが用いられてもかまわない。加速度センサ３７が検知した加速度を示すデータは、通信部３６へ出力される。なお、加速度センサ３７は、典型的には静電容量式の加速度センサが用いられるが、他の方式の加速度センサやジャイロセンサを用いてもかまわない。この加速度センサ３７から出力される加速度データに基づいて、コントローラ７の傾きを検出することができる。
【００９４】
通信部３６は、マイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理の際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータを無線送信する無線モジュール４４を制御する。
【００９５】
操作部３２、加速度センサ３７、および撮像情報演算部３５からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。ここで、通信部３６から受信ユニット６への無線送信は所定の周期毎に行われるが、ゲームの処理は１／６０を単位として行われることが一般的であるので、それよりも短い周期で送信を行うことが必要となる。マイコン４２は、受信ユニット６への送信タイミングが到来すると、メモリ４３に格納されているデータを操作データとして無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ７から送信される。微弱電波信号はゲーム装置３側の受信ユニット６で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、取得した操作データとゲームプログラムとに基づいて、ゲーム処理を行う。
【００９６】
なお、図３〜図５に示したコントローラ７の形状や、各操作スイッチの形状、数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であっても、本発明を実現することができることは言うまでもない。また、コントローラ７における撮像情報演算部３５の位置（撮像情報演算部３５の光入射口３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。このとき、上記「コントローラ７の指示方向」は、光入射口に垂直な方向となる。
【００９７】
上記コントローラ７を用いることによって、プレイヤは、各操作スイッチを押下する従来のゲーム操作に加えて、コントローラ７自身の位置を動かしたり、コントローラ７を回転させたりするという、今までにないゲーム操作を行うことができる。以下、上記コントローラ７を用いたゲーム操作について説明する。
【００９８】
図７は、コントローラ７を用いてゲーム操作するときの状態を概説する図解図である。図７に示すように、ゲームシステム１でコントローラ７を用いてゲームをプレイする際、プレイヤは、一方の手（例えば右手）でコントローラ７を把持する。ここで、マーカ８ａおよび８ｂは、モニタ２の画面の横方向と平行に配置されている。プレイヤは、コントローラ７の前面（撮像情報演算部３５が撮像する光の入射口側）がマーカ８ａおよび８ｂの方向を向く状態でコントローラ７を把持する。この状態で、プレイヤは、コントローラ７を回転させたり（図７の矢印参照）、コントローラ７が指し示す画面上の位置を変更したりすることによってゲーム操作を行う。
【００９９】
図８は、マーカ８ａおよび８ｂとコントローラ７との視野角を説明するための図である。図８に示すように、各マーカ８ａおよび８ｂは、それぞれ視野角θ１の範囲で赤外光を放射している。また、撮像情報演算部３５の撮像素子４０は、視野角θ２の範囲で入射する光を受光することができる。例えば、各マーカ８ａおよび８ｂの視野角θ１は共に３４°（半値角）であり、撮像素子４０の視野角θ２は４１°である。プレイヤは、撮像素子４０が２つのマーカ８ａおよび８ｂからの赤外光を共に受光することが可能な位置および向きとなるように、コントローラ７を把持する。具体的には、撮像素子４０の視野角θ２の中に各マーカ８ａおよび８ｂが共に存在し、かつ、マーカ８ａの視野角θ１の中であってかつマーカ８ｂの視野角θ１の中にコントローラ７が存在する範囲で、プレイヤはコントローラ７を把持する。プレイヤは、この範囲内でコントローラ７の位置および向きを変化させることによってゲーム操作を行うことができる。なお、コントローラ７の位置および向きがこの範囲外となった場合、コントローラ７の位置および向きに基づいたゲーム操作を行うことができなくなる。以下では、上記範囲を「操作可能範囲」と呼ぶ。
【０１００】
操作可能範囲内でコントローラ７が把持される場合、撮像情報演算部３５によって各マーカ８ａおよび８ｂの画像が撮像される。すなわち、撮像素子４０によって得られる撮像画像には、撮像対象である各マーカ８ａおよび８ｂの画像（対象画像）が含まれる。図９は、対象画像を含む撮像画像の一例を示す図である。対象画像を含む撮像画像の画像データを用いて、画像処理回路４１は、各マーカ８ａおよび８ｂの撮像画像における位置を表す座標を算出する。
【０１０１】
撮像画像の画像データにおいて対象画像は高輝度部分として現れるので、画像処理回路４１は、まず、この高輝度部分を対象画像の候補として検出する。次に、検出された高輝度部分の大きさに基づいて、その高輝度部分が対象画像であるか否かを判定する。撮像画像には、対象画像である２つのマーカ８ａおよび８ｂの画像８ａ’および８ｂ’の他、窓からの太陽光や部屋の蛍光灯の光によって対象画像以外の画像が含まれていることがある。上記の判定処理は、対象画像であるマーカ８ａおよび８ｂの画像８ａ’および８ｂ’とそれ以外の画像とを区別し、対象画像を正確に検出するための処理である。具体的には、当該判定処理においては、検出された高輝度部分が、予め定められた所定範囲内の大きさであるか否かが判定される。そして、高輝度部分が所定範囲内の大きさである場合、当該高輝度部分は対象画像を表すと判定され、高輝度部分が所定範囲内の大きさでない場合、当該高輝度部分は対象画像以外の画像を表すと判定される。
【０１０２】
さらに、上記の判定処理の結果、対象画像を表すと判定された高輝度部分について、画像処理回路４１は当該高輝度部分の位置を算出する。具体的には、当該高輝度部分の重心位置を算出する。対象画像が正しく検出される場合には上記判定処理によって２つの高輝度部分が対象画像として判定されるので、上記算出処理によって２箇所の位置が算出される。ここで、撮像画像における位置は、撮像画像の左上を原点とし、下向きをｙ軸正方向とし、右向きをｘ軸正方向とする座標系（ｘｙ座標系）で表現されるものとする。したがって、画像処理回路４１は、上記算出処理によって算出された２箇所の位置を示す２つの座標値を示すデータを出力する。出力された座標値のデータは、上述したように、マイコン４２によって操作データとしてゲーム装置３に送信される。
【０１０３】
ゲーム装置３は、受信した操作データに含まれる上記座標値のデータを用いて、上記指示位置（コントローラ７が指し示す画面上の位置）と、コントローラ７の指示方向を軸とした回転角度（姿勢）と、コントローラ７から各マーカ８ａおよび８ｂまでの距離を算出することができる。図１０は、コントローラ７の位置および／または向きを変化させた場合における撮像画像の変化を示す図である。図１０は、コントローラの状態と、その状態にあるときに得られる撮像画像との対応を示している。図１０において、コントローラ７が状態Ａにあるときの撮像画像を撮像画像Ｉ１とする。撮像画像Ｉ１では、対象画像である各マーカ８ａおよび８ｂの画像８ａ’および８ｂ’は、撮像画像Ｉ１の中央付近に位置している。また、対象画像８ａ’および８ｂ’は、ｘ軸方向にほぼ平行に配置されている。状態Ａは、コントローラ７がマーカ８ａとマーカ８ｂとの中間の位置を指し示している状態である。
【０１０４】
図１０に示す状態Ｂは、指示方向を軸として（Ｚ軸周りに）状態Ａから右回りに９０°だけコントローラ７を回転させた状態である。なお、以下、本明細書では、コントローラ７に関する「右回り」および「左回り」とは、コントローラ７の後方（図３に示すＺ軸負方向側）から見たときの回転方向を言うものとする。状態Ｂにおいては、撮像情報演算部３５によって撮像画像Ｉ２が得られる。撮像画像Ｉ２においては、対象画像８ａ’および８ｂ’は、撮像画像Ｉ１の状態から左回りに９０°回転している。このように、コントローラの姿勢が変化すると、撮像画像内における対象画像の向き（画像８ａ’から画像８ｂ’への向きまたは画像８ｂ’から画像８ａ’への向き）が変化する。したがって、撮像画像内における対象画像の向きを検出することによって、コントローラ７の指示方向を軸とした姿勢を知ることができる。
【０１０５】
図１０に示す状態Ｃは、状態Ａを基準としてコントローラ７を右方向（Ｘ軸正方向）に平行移動させた状態である。この状態Ｃにおいては、撮像情報演算部３５によって撮像画像Ｉ３が得られる。撮像画像Ｉ３においては、対象画像８ａ’および８ｂ’は、撮像画像Ｉ１を基準として左方向（ｘ軸負方向）に平行移動している。なお、状態Ｃは、コントローラ７の指示方向を状態Ａから右方向に向けた状態である。ここで、コントローラ７を右方向に平行移動させる場合だけでなく、コントローラ７をＹ軸周りに回転させることによっても、コントローラ７の指示方向を右方向に向けることができる。また、コントローラ７をＹ軸周りに回転させる場合にも撮像画像Ｉ３と同様の撮像画像が得られる。以上より、コントローラ７の指示方向を右方向に向けるようにコントローラ７を移動（回転）させた場合、撮像画像Ｉ３と同様の撮像画像が得られる、すなわち、対象画像８ａ’および８ｂ’が平行移動した画像が得られる。したがって、撮像画像内における対象画像の位置（後述する例では、画像８ａ’と画像８ｂ’の中点の位置）を検出することによって、コントローラ７が指し示す方向を知ることができる。
【０１０６】
次に、ゲーム装置３において行われるゲーム処理の詳細を説明する。まず、ゲーム処理において用いられる主なデータについて図１１を用いて説明する。図１１は、ゲーム装置３のメインメモリ１３に記憶される主なデータを示す図である。図１１に示すように、メインメモリ１３には、現在操作データ５０、前操作データ５３、操作状態データ５６、および操作対象データ５８等が記憶される。なお、メインメモリ１３には、図１１に示すデータの他、ゲームに登場するプレイヤキャラクタに関するデータ（プレイヤキャラクタの画像データや位置データ等）やゲーム空間に関するデータ（地形データ等）等、ゲーム処理に必要なデータが記憶される。
【０１０７】
現在操作データ５０は、コントローラ７から送信されてくる操作データであり、最新の操作データである。現在操作データ５０には、現在第１座標データ５１および現在第２座標データ５２が含まれる。現在第１座標データ５１は、２つのマークのうちの一方の画像の位置（取得画像内における位置）を表す座標のデータである。現在第２座標データ５２は、他方のマークの画像の位置（取得画像内における位置）を表す座標のデータである。なお、マークの画像の位置は、上記ｘｙ座標系（図９参照）によって表される。以下では、現在第１座標データ５１により示される座標を第１座標と呼び、現在第２座標データ５２により示される座標を第２座標と呼ぶ。なお、第１座標および第２座標は、後述する方向データ５７を正しく算出するために区別され、いずれがマーカ８ａの画像の位置を示し、いずれがマーカ８ｂの画像の位置を示すものであってもよい。ただし、前回のフレームで第１座標が一方のマーカの画像の位置を示している場合、次のフレームにおいても第１座標は当該一方のマーカの画像の位置を示すように設定する必要がある（後述するステップＳ１３〜Ｓ１５参照）。
【０１０８】
また、現在操作データ５０には、撮像画像から得られる座標データ（現在第１座標データ５１および現在第２座標データ５２）の他、操作部３２や加速度センサ３７から得られるデータが含まれる。ゲーム装置３は、所定時間間隔（例えば、１フレーム時間間隔）で操作データをコントローラ７から取得する。取得された操作データのうちで最新の操作データが現在操作データ５０としてメインメモリ１３に記憶される。
【０１０９】
前操作データ５３には、前第１座標データ５４および前第２座標データ５５が含まれる。前第１座標データ５４は、現在第１座標データ５１よりも１つ前に取得された第１座標データである。すなわち、新たに操作データが取得されたとき、それまでの現在第１座標データ５１が前第１座標データ５４として記憶される。そして、新たに取得された操作データに含まれる座標データのうちの一方が新たな現在第１座標データ５１としてメインメモリ１３に記憶される。また、前第２座標データ５５は、前第１座標データ５４と同様、現在第２座標データ５２よりも１つ前に取得された第１座標データである。すなわち、新たに操作データが取得されたとき、それまでの現在第２座標データ５２が前第２座標データ５５として記憶され、新たに取得された操作データに含まれる座標データのうちの他方（現在第１座標データでない方）が新たな現在第２座標データ５２としてメインメモリ１３に記憶される。
【０１１０】
操作状態データ５６は、撮像画像に基づいて判断される、コントローラ７の操作状態を示すデータである。操作状態データ５６は、撮像画像に含まれる対象画像の位置や向きや大きさを示すデータである。操作状態データ５６には、方向データ５７が含まれる。方向データ５７は、第１座標から第２座標への方向を示すデータである。ここでは、方向データ５７は、第１座標の位置を始点とし第２座標の位置を終点とするベクトルのデータとする。方向データ５７は、取得画像内における対象画像（マーカ８ａおよび８ｂ）の向きを示す。
【０１１１】
操作対象データ５８は、画面上またはゲーム空間内における操作対象の位置および姿勢を示すデータである。ここで、操作対象とは、画面に表示されているオブジェクトや、仮想のゲーム空間に登場するオブジェクトの他、仮想の３次元ゲーム空間が構築される場合には、当該３次元ゲーム空間を画面に表示するための仮想カメラであってもよい。さらに
、操作対象は、画面に表示される画像、または、画面に表示されるウィンドウ内の画像であってもよい。また、操作対象データ５８には、位置データ５９が含まれる。位置データ５９は、操作対象のゲーム空間における位置、または、画面上における位置を示すデータである。また、操作対象がウィンドウ内の画像である場合、位置データ５９は、ウィンドウに表示可能な画像の領域全体のうちで、ウィンドウ内に実際に表示される画像の領域の位置を示すデータである。
【０１１２】
次に、ゲーム装置３において行われるゲーム処理の詳細を、図１２〜図１４を用いて説明する。図１２は、ゲーム装置３において実行されるゲーム処理の流れを示すフローチャートである。ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ１３等の各ユニットが初期化される。そして、光ディスク４に記憶されたゲームプログラムがメインメモリ１３に読み込まれ、ＣＰＵ１０によって当該ゲームプログラムの実行が開始される。図１２に示すフローチャートは、以上の処理が完了した後に行われるゲーム処理を示すフローチャートである。なお、図１２〜図１４に示すフローチャートにおいては、ゲーム処理のうち、コントローラ７の位置および向きに関するゲーム操作に基づいて行われるゲーム処理について詳細に示し、本願発明と直接関連しない他のゲーム処理については詳細な説明を省略する。
【０１１３】
図１２に示すステップＳ１において、コントローラ７から操作データが取得される。ＣＰＵ１０は、操作データを現在操作データ５０としてメインメモリ１３に記憶する。また、それまでの現在第１座標データ５１および現在第２座標データ５２の内容が、前第１座標データ５４および前第２座標データ５５としてメインメモリ１３に記憶される。なお、この時点では、操作データに含まれる２つの座標データのうち、いずれが現在第１座標データ５１となり、いずれが現在第２座標データ５２となるかが決定されていない。したがって、この時点では、現在第１座標データ５１および現在第２座標データ５２はメインメモリ１３に記憶されておらず、操作データに含まれる２つの座標データは現在第１座標データ５１および現在第２座標データ５２とは別にメインメモリ１３に記憶される。
【０１１４】
また、ステップＳ１で取得される操作データには、マーカ８ａおよび８ｂの撮像画像内における位置を示す座標データの他、コントローラ７の各操作ボタンが押下されたか否かを示すデータ、および、コントローラ７の上下方向および左右方向の加速度を示すデータが含まれている。ここでは、コントローラ７は１フレーム時間間隔で操作データを送信し、ＣＰＵ１０は、１フレーム毎に操作データを取得するものとする。したがって、図１２に示すステップＳ１〜Ｓ５の処理ループは、１フレーム毎に繰り返し実行される。
【０１１５】
ステップＳ１の次のステップＳ２において、操作状態算出処理が実行される。操作状態算出処理においては、コントローラ７からの操作データに基づいてコントローラ７の操作状態（コントローラ７の位置や向き等に対応した値）が算出される。以下、図１３および図１４を用いて操作状態算出処理の詳細を説明する。
【０１１６】
図１３は、図１２に示す操作状態算出処理（Ｓ２）の詳細な処理の流れを示すフローチャートである。操作状態算出処理においては、まずステップＳ１１において、コントローラ７の撮像情報演算部３５によって２つのマーカ８ａおよび８ｂが撮像されたか否かが判定される。ステップＳ１１の判定処理は、コントローラ７が上記操作可能範囲内で把持されているか否かを判定するための処理である。撮像情報演算部３５によって２つのマーカ８ａおよび８ｂが撮像がされない場合（コントローラ７が操作可能範囲内で把持されていない場合）、コントローラ７からの操作データには座標データが２つ含まれない。すなわち、撮像情報演算部３５によって１つのマーカのみが撮像される場合には、画像処理回路４１は座標データを１つのみ出力するので、コントローラ７からの操作データには座標データが１つのみ含まれる。また、撮像情報演算部３５によってマーカが撮像されない場合には、画像処理回路４１は座標データを出力しないので、コントローラ７からの操作データには座標データが含まれない。したがって、ステップＳ１１の判定は、ステップＳ１で取得された操作データに座標データが２つ含まれるか否かによって行うことができる。ステップＳ１１の判定において、２つのマーカ８ａおよび８ｂが撮像されたと判定される場合、ステップＳ１３の処理が行われる。一方、ステップＳ１１の判定において、２つのマーカ８ａおよび８ｂが撮像されていないと判定される場合、ステップＳ１２の処理が行われる。
【０１１７】
ステップＳ１２において、メインメモリ１３に記憶されている操作状態データ５６の内容がクリアされる。なお、メインメモリ１３に操作状態データ５６が記憶されていない場合、後述する移動処理において操作対象の移動が行われない。つまり、本実施形態では、２つのマーカが撮像されない場合にはゲーム操作が行われない。ステップＳ１２の後、ＣＰＵ１０は操作状態算出処理を終了する。
【０１１８】
一方、ステップＳ１３〜Ｓ１５において、２つの座標データのいずれが第１座標であり、いずれが第２座標であるかが決定される。図１４は、第１座標および第２座標を決定するための処理を説明するための図である。図１４においては、点線で示す点Ｐ１’が前回の第１座標の位置を表し、点Ｐ２’が前回の第２座標の位置を表す。また、実線で示す点Ｐ１および点Ｐ２が、今回取得された２つの座標データにより示される座標の位置を表す。
【０１１９】
図１４において、新たに取得された２つの座標データにより示される座標Ｐ１およびＰ２については、これらの座標Ｐ１およびＰ２のみからでは、いずれが第１座標でいずれが第２座標かを検出することができない。つまり、座標Ｐ１’が移動して座標Ｐ１となったのか、それとも、座標Ｐ２’が移動して座標Ｐ１となったのかを、ゲーム装置３は座標Ｐ１およびＰ２のみからでは判断することができない。なお、第１座標と第２座標とは、いずれの一方がマーカ８ａの画像の位置を示し、他方がマーカ８ｂの画像の位置を示すものであってもよいが、第１座標から第２座標への方向を算出する（後述するステップＳ１６）都合上、第１座標と第２座標とが逆に検出されてしまうと、算出される方向が逆方向になってしまう。したがって、前回の第１座標が今回は第２座標として検出されると、ステップＳ１６において誤った方向が算出されてしまう。
【０１２０】
そこで、本実施形態においては、前回の座標と今回の座標との距離に基づいて、第１座標および第２座標を検出する。すなわち、新たに取得された２つの座標のうち、前回の第１座標に近い方の座標を第１座標とし、他方を第２座標とする。図１４を例にとって説明すると、前回の第１座標Ｐ１’に近い方の座標Ｐ１が第１座標に設定され、他方の座標Ｐ２が第２座標に決定される。なお、あるフレームから次のフレームまでの間においてコントローラ７が９０°よりも大きく回転した場合、前回の第１座標に遠い方の座標が正しい第１座標となる。しかし、座標が取得される（撮像情報演算部３５による撮像が行われる）時間間隔は通常非常に短い（例えば、１／６０秒間隔）ので、１フレームの間にコントローラ７が９０°よりも大きく回転することは実際にはあり得ないと考えられる。そのため、前回の第１座標に近い方の座標を第１座標とすることによって、第１座標を正しく判断することができる。
【０１２１】
具体的には、ステップＳ１３において、前回のフレームにおいて第１座標および第２座標が検出されているか否かが判定される。ステップＳ１３の判定は、メインメモリ１３に操作状態データ５６が記憶されているか否かによって行われる。なお、前回のフレームにおいてステップＳ１２が実行された場合には、メインメモリ１３に操作状態データ５６が記憶されていない。この場合、前回のフレームにおいて第１座標および第２座標の少なくとも一方が取得されていないので、前回の座標を用いて第１座標および第２座標を判断することができない。一方、前回のフレームにおいてステップＳ１３が実行された場合には、メインメモリ１３に操作状態データ５６が記憶されている。この場合、前回の座標を用いて第１座標および第２座標を判断することができる。ステップＳ１３の処理は、前回の座標を用いて第１座標および第２座標を判断するか否かを判定するための処理である。ステップＳ１３の判定において、前回のフレームにおいて第１座標および第２座標が検出されている場合、ステップＳ１４の処理が実行される。一方、前回のフレームにおいて第１座標および第２座標の少なくとも一方が検出されていない場合、ステップＳ１５の処理が実行される。
【０１２２】
ステップＳ１４においては、ステップＳ１で取得された操作データに含まれる２つの座標データにより示される２つの座標のうち、前回の第１座標に近い方が第１座標に設定される。具体的には、ＣＰＵ１０は、メインメモリ１３に記憶されている前第１座標データ５４と上記２つの座標データとを参照して、当該２つの座標データにより示される座標のうちで、前第１座標データ５４により示される座標に近い方の座標を特定する。そして、特定した座標の座標データを現在第１座標データ５１としてメインメモリ１３に記憶する。また、もう一方の座標データを現在第２座標データ５２としてメインメモリ１３に記憶する。
【０１２３】
一方、ステップＳ１５においては、上記２つの座標データにより示される座標のうち、予め定められた所定の条件に従って一方の座標を第１座標に決定する。所定の条件はどのような条件であってもよいが、ＣＰＵ１０は、例えば、ｙ座標値が小さい方の座標を第１座標に決定し、他方の座標を第２座標に決定する。第１座標に決定された座標データは、現在第１座標データ５１としてメインメモリ１３に記憶され、第２座標に決定された座標データは、現在第２座標データ５２としてメインメモリ１３に記憶される。
【０１２４】
ステップＳ１６において、第１座標から第２座標への方向が算出される。具体的には、ＣＰＵ１０は、現在第１座標データ５１および現在第２座標データ５２を参照して、第１座標の位置を始点とし第２座標の位置を終点とするベクトルを算出する。算出されたベクトルのデータは、方向データ５７としてメインメモリ１３に記憶される。算出されたベクトルは、コントローラ７の指示方向に関する回転角度を示している。つまり、このステップＳ１６によって、コントローラ７の指示方向に関する回転角度が算出されたこととなる。以上のステップＳ１６の後、ＣＰＵ１０は操作状態算出処理を終了する。
【０１２５】
図１２の説明に戻り、ステップＳ３において、操作対象を移動させる移動処理が実行される。この移動処理においては、ステップＳ１６で算出された方向に応じて、予め決められた方向へ操作対象が移動される。以下、ステップＳ３の詳細を説明する。
【０１２６】
ステップＳ３における操作対象としては、仮想のゲーム空間に登場するオブジェクト、仮想カメラ、および、画面全体に表示されるまたはウィンドウ内に表示される画像が考えられる。つまり、本実施形態においては、ゲーム空間をオブジェクトが移動する様子が画面に表示されてもよいし、ゲーム空間を見る視点が移動しながらゲーム空間の画像が画面に表示されてもよい。さらに、ウィンドウ内に表示される画像がスクロールして表示されてもよいし、画面全体に表示される画像がスクロールして表示されてもよい。
【０１２７】
また、ステップＳ３における操作対象の移動動作は、予め決められた方向へ移動する動作であればどのようなものであってもよい。ここで、「予め決められた方向」とは、予め固定的に決められている方向、および、ユーザやゲーム状況によってその都度可変的に決められる方向であってもよい。例えば、ユーザによって指定された位置（画面上における位置、または、ゲーム空間内における位置）に向かって操作対象が移動するようにしてもよい。
【０１２８】
図１５および図１６は、操作対象の移動動作の例を示す図である。なお、図１５および図１６では、ゲーム空間に登場するオブジェクトＯｂを操作対象の一例として示している。ゲーム装置３は、図１５（ａ）に示すように直線的にオブジェクトＯｂを移動させてもよいし、図１５（ｂ）に示すように、予め決められた軌跡Ｔｒに沿った方向にオブジェクトＯｂを移動させてもよい。また、ゲーム装置３は、ある一方向およびその逆方向の双方向に可逆に操作対象を移動させてもよいし、ある一方向にのみ操作対象を移動させてもよい。
【０１２９】
また、操作対象の移動動作は、画面上を移動する動作であってもよいし、ゲーム空間内を移動する動作であってもよい。図１６は、仮想の３次元ゲーム空間においてオブジェクトが移動する様子を示す図である。図１６においては、移動前のオブジェクトＯｂを点線で示し、移動後のオブジェクトＯｂを実線で示している。図１６において、Ｙ軸の負方向から正方向に見たゲーム空間が画面に表示される場合、図１６（ａ）のようにオブジェクトＯｂが画面の奥側（Ｙ軸正方向側）に移動すると、オブジェクトＯｂは小さくなったように表示される（図１６（ｂ））。このように、ゲーム空間内を操作対象が移動する場合には、画面の表示上は操作対象が移動していることがわかりにくい場合がある。しかし、操作対象の移動動作は、画面上を移動する動作に限らず、ゲーム空間内を移動する動作であってもよく、移動していることが表示上はわかりにくいものであってもよい。
【０１３０】
また、ステップＳ３において、ゲーム装置３は、ステップＳ１６で算出された方向に応じて操作対象を移動させる。具体的には、ゲーム装置３は、ステップＳ１６で算出された方向に基づいて、操作対象を移動させる方向を決定してもよいし、操作対象を移動させる移動量を決定してもよいし、操作対象を移動させる速度（単位時間当たりの移動量）や加速度を決定してもよい。
【０１３１】
ステップＳ１６で算出された方向に基づいて操作対象の移動方向を決定する場合、ゲーム装置３は、例えば、当該方向と、予め決められた基準方向との角度差に応じて移動方向を決定することができる。具体的には、当該角度差が正である場合と当該角度差が負である場合とで逆向きに操作対象を移動させるようにしてもよい。
【０１３２】
また、ステップＳ１６で算出された方向に基づいて操作対象の移動量を決定する場合、ゲーム装置３は、例えば、当該方向と上記基準方向との角度差に応じて移動量を決定することができる。具体的には、角度差が大きくなるほど操作対象の移動量を大きくするようにしてもよいし、角度差が所定値以上になったときにのみ操作対象を移動させるようにしてもよい。また、ステップＳ１６で算出された方向に基づいて操作対象の速度（加速度）を決定する場合には、角度差が大きくなるほど操作対象の速度（加速度）を大きくするようにしてもよい。
【０１３３】
操作対象の移動量や速度や加速度（以下、移動量等と記載する）は、ステップＳ１６で算出された方向に基づいて決定されてもよいし、当該方向に基づいて操作対象の移動方向が決定される場合には、予め決められた量に決定されてもよい。ステップＳ１６で算出された方向に基づいて操作対象の移動量等が決定される場合、当該移動量等は、ステップＳ１６で算出された方向を示すベクトルのみに基づいて決定されてもよいし、当該ベクトルと上記基準方向を表すベクトルとの角度差に基づいて決定されてもよいし、当該ベクトルと前回のフレームにおけるベクトルとの角度差に基づいて決定されてもよい。より具体的には、当該ベクトルの方向と、当該ベクトルがその方向を向くときに操作対象が移動すべき移動量との対応を予め定めておき、当該対応に基づいてベクトルから操作対象の移動量を算出してもよい。また、当該ベクトルと基準方向を表すベクトルとのなす角度（角度差）を算出し、角度差が大きいほど操作対象の移動量が大きくなるように移動量を算出するようにしてもよい。また、前回のフレームにおけるベクトルと今回のフレームにおけるベクトルとのなす角度（角度差）を算出し、角度差が大きいほど操作対象の移動量が大きくなるように移動量を算出するようにしてもよい。
【０１３４】
ステップＳ３において、ゲーム装置３は、以上のように算出された移動量等に従って操作対象の移動後の位置を決定する。ステップＳ３で決定された操作対象の移動後の位置を示すデータは、位置データ５９としてメインメモリ１３に記憶される。
【０１３５】
図１２の説明に戻り、ステップＳ３の次のステップＳ４において、表示処理が実行される。ＣＰＵ１０は、メインメモリ１３に記憶されている操作対象データ５８を参照し、ステップＳ３で決定された位置に応じた画像を生成する。そして、生成した画像をモニタ２の画面に表示させる。例えば、操作対象が画面に表示されるオブジェクトである場合、ステップＳ３で決定された位置にオブジェクトを表示させる。また例えば、操作対象が仮想カメラである場合、ステップＳ３で決定された位置に設定された仮想カメラから見たゲーム空間の画像を生成して当該画像を表示させる。また例えば、操作対象がウィンドウ内の画像である場合、当該ウィンドウに表示可能な画像領域全体のうちで、ステップＳ３で決定された領域をウィンドウ内に表示させる。１フレーム毎にステップＳ４の処理が繰り返し実行されることによって、操作対象が移動している様子を表す動画を表示することができる。
【０１３６】
ステップＳ５において、ゲームを終了するか否かが判定される。ゲームを終了する条件としては、例えば、ゲームオーバーとなる条件（例えば、プレイヤキャラクタの体力を示すパラメータが０になったこと等）が満たされたことや、プレイヤがゲームを終了する操作を行ったこと等が考えられる。ゲームを終了しないと判定された場合、ステップＳ１の処理が再度実行され、以降、ステップＳ５でゲームを終了すると判定されるまでステップＳ１〜Ｓ５の処理が繰り返し実行される。一方、ゲームを終了すると判定された場合、ＣＰＵ１０は、図１２に示すゲーム処理を終了する。
【０１３７】
以上のように、本実施形態によれば、撮像情報演算部３５によって撮像された撮像画像から、コントローラ７の前後方向を軸とした回転に関するコントローラ７の姿勢に対応した値を算出することができる。そして、当該コントローラ７の姿勢に基づいて操作対象に移動動作を行わせることができる。これによって、プレイヤは、コントローラ７を前後方向の軸周りに回転させるゲーム操作を行うことによって、コントローラ７の回転に応じた移動動作を操作対象に行わせることができる。したがって、ゲーム装置３は、コントローラ７を回転させることによって操作対象に移動を行わせるという、新たなゲーム操作をプレイヤに行わせることが可能となる。
【０１３８】
なお、本発明では、コントローラ７の指示方向を軸とした回転を算出するためには、ゲーム装置３は、少なくとも方向を示す情報を撮像画像から得ることができればよい。したがって、画像処理回路４１は、上記２つの位置の座標値を出力することに代えて、方向を示す情報を出力するようにしてもよい。具体的には、画像処理回路４１は、マーカ８ａの画像の位置からマーカ８ｂの画像の位置への方向（マーカ８ｂの画像の位置からマーカ８ａの画像の位置への方向であってもよい）を示すベクトルのデータを算出するようにしてもよい。さらに、このベクトルは方向を示すベクトルであればよいので、画像処理回路４１は、大きさが一定の単位ベクトルのデータを出力するようにしてもよい。
【０１３９】
また、他の実施形態においては、撮像情報演算部３５が画像処理回路４１を含まない構成であってもよい。このとき、撮像情報演算部３５は、撮像画像の画像データをマイコン４２に出力し、当該画像データが操作データとしてコントローラ７からゲーム装置３へ送信されることとなる。このとき、ゲーム装置３は、上記方向データを当該画像データに基づいて算出する。以上のように、撮像画像の画像データから方向データを算出する処理は、その一部の処理が専用の回路（画像処理回路４１）によって行われてもよいし、その全部が当該回路に行われてもよいし、その全部がゲーム装置３によってソフトウェア処理として行われてもよい。
【０１４０】
また、上述した実施形態では、赤外光を出射する２つのマーカ８ａおよび８ｂを撮像対象としたが、他のものを撮像対象にしてもかまわない。撮像対象は、その画像を撮像した場合に方向を検出することができるものであればよく、例えば、３つ以上のマーカを撮像対象としてもよいし、方向を検出することができる１つのマーカを撮像対象としてもよい。なお、１つのマーカを撮像対象とする場合、方向を検出することができる必要があるので、円形のマーカは適切ではなく、直線状の形状等、その形状から所定の２点を特定することができる形状であることが好ましい。このとき、ゲーム装置３は、撮像対象の所定の２点を結ぶ方向を算出することによって、撮像画像内における対象画像の方向を算出することができる。また、マーカは、発光体であることが好ましいが、赤外光を出射するものに限らず、他の波長の光を出射するものであってもよいし白色光を出射するものであってもよい。さらに、モニタ２の画面の枠を撮像対象としてもよいし、撮像対象を画面に表示するようにしてもよい。これによれば、マーカをモニタと別に用意する必要がなく、システムの構成を簡略化することができる。
【０１４１】
なお、他の実施形態においては、コントローラ７が操作可能範囲から外れた場合、加速度センサの出力を用いて操作対象を移動させるようにしてもよい。具体的には、図１３のステップＳ１１の判定結果が否定であった場合、ステップＳ１２に代えて、加速度センサの出力を用いて、コントローラ７の指示方向を軸とした回転状態を検出する処理を実行するようにする。この処理においては、ＣＰＵ１０は、操作データに含まれる加速度を示すデータを参照して、コントローラ７の当該回転状態を検出する。そして、ステップＳ３の移動処理においては、上記処理によって検出された回転状態に応じて操作対象を移動させる。これによって、コントローラ７が操作可能範囲から外れた場合であっても、操作対象を移動させる操作を継続することができる。また、コントローラ７が操作可能範囲から外れ、コントローラ７の姿勢が変わった状態で再び操作可能範囲内に入った場合にも、加速度センサの出力によって、コントローラ７の姿勢が判断できるため、２つのマーカがそれぞれどちらのマーカであるか識別が可能となる。
【０１４２】
なお、上記の実施形態は、コントローラ７を用いて指示方向を軸とした回転操作を行って遊ぶ種々のゲームに適用することが可能である。以下では、具体的なゲーム例を実施例として説明する。
【０１４３】
（第１実施例）
以下、第１実施例として、ゲームのメニュー画面において本発明を適用した実施例について説明する。ここでは、プレイヤによって操作されるプレイヤキャラクタがゲーム空間に登場するゲームを例として説明する。図１７は、第１実施例におけるゲーム画面の一例を示す図である。図１７においては、モニタ２の画面にウィンドウ７１および７２が表示されている。ウィンドウ７１および７２は、メニュー画面の画像（メニュー画像）を表示するための表示領域である。ウィンドウ７１および７２は、プレイヤが所定の操作（例えば、Ｙボタン３２ｃを押下する操作）を行うことによって表示される。また、図１７においてはカーソル７３が表示される。プレイヤは、コントローラ７を操作することによって画面上においてカーソル７３を自由に移動させることができる。なお、図１７では図示していないが、ウィンドウ７１および７２以外の表示領域には、通常のゲーム画像（例えば、プレイヤキャラクタ付近のゲーム空間の画像）が表示される。
【０１４４】
ウィンドウ７１内には、プレイヤキャラクタが使用するアイテムをプレイヤが選択するためのメニュー画面が表示される。図１７においては、ウィンドウ７１内には、選択可能なアイテムを示す項目７４ａ〜７４ｃが表示されている。図１８は、ウィンドウ７２に表示可能なメニュー画像と、メニュー画像のうちで実際に表示される領域との関係を示す図である。図１８に示すように、メニュー画像７７の大きさはウィンドウ７１の表示領域７８よりも大きく、ウィンドウ７１内にはメニュー画像７７の一部が表示されることとなる。メニュー画像７７には、項目を示す画像（項目画像）７４ａ〜７４ｆが合計６つ含まれ、一度に全ての項目画像をウィンドウ７１内に表示させることはできない。プレイヤは、ウィンドウ７１内のメニュー画像を上下方向にスクロールさせることによって、メニュー画像７７内の全ての領域を表示させる。なお、ウィンドウの表示領域（実際に表示される領域）７８の位置は、メニュー画像の最上部から表示領域７８の最上部までの長さｓによって表される。
【０１４５】
なお、ウィンドウ７１の右端のスクロールバー７５およびスクロールつまみ７６は、メニュー画像のうちのどの部分がウィンドウ７１内に表示されているかを示す。図１７においては、スクロールバー７５の最上部にスクロールつまみ７６が位置しているので、メニュー画像のうちの最上部がウィンドウ７１内に表示されていることがわかる。なお、図１７には示していないが、ウィンドウ７２もウィンドウ７１と同様、その内側領域に項目が表示される。
【０１４６】
第１実施例においては、プレイヤは、コントローラ７自体を操作することによって、ウィンドウ内に表示されている画像をスクロールさせることができる。具体的には、指示方向を軸としてコントローラ７を回転させる操作（回転操作）を行うことによって、ウィンドウ内に表示されている画像を上下方向にスクロールさせることができる。
【０１４７】
図１９は、回転操作によるウィンドウ内の画像の変化を説明するための図である。図１９は、コントローラ７の状態と、コントローラ７が当該状態にあるときに得られる撮像画像と、コントローラ７が当該状態にあるときに表示されるウィンドウ７１内の画像との対応を示している。
【０１４８】
図１９に示す状態Ａは、コントローラ７の上面が上方向を向いている状態である。この状態Ａにおける撮像画像Ｉ７において、各マーカ８ａおよび８ｂの画像８ａ’および８ｂ’は水平に位置している（ｙ軸方向の座標が同じ値になる）。このとき、ウィンドウ７１内の画像には、項目画像７４ｂ〜７４ｄが含まれているとする。
【０１４９】
図１９に示す状態Ｂは、コントローラ７を状態Ａから左回りに所定角度回転させた状態である。この状態Ｂにおける撮像画像Ｉ８において、各画像８ａ’および８ｂ’は、状態Ａから右回りに上記所定角度回転した状態となる。このとき、ウィンドウ７１内の画像には、項目画像７４ｃ〜７４ｅが含まれる。すなわち、ウィンドウ７１内の画像が上方向にスクロールされる（表示領域が下方向にスクロールされる）。このように、プレイヤは、コントローラ７を左回りに回転させることによってウィンドウ７１内の画像を上方向にスクロールさせることができる。また、図１９に示す状態Ｃは、コントローラ７を状態Ａから右回りに所定角度回転させた状態である。この状態Ｃにおける撮像画像Ｉ９において、各画像８ａ’および８ｂ’は、状態Ａから左回りに上記所定角度回転した状態となる。このとき、ウィンドウ７１内の画像には、項目画像７４ａ〜７４ｃが含まれる。すなわち、ウィンドウ７１内の画像が下方向にスクロールされる（表示領域が上方向にスクロールされる）。このように、プレイヤは、コントローラ７を右回りに回転させることによってウィンドウ７１内の画像を下方向にスクロールさせることができる。
【０１５０】
また、プレイヤは、コントローラ７による指示位置を変化させることで、カーソル７３を画面上で移動させることができる。つまり、ゲーム装置３は、コントローラ７の位置や姿勢に応じて、コントローラ７による指示位置を決定し、当該指示位置にカーソル７３を表示する。
【０１５１】
なお、プレイヤは、カーソル７３によって操作対象となるウィンドウ（画像をスクロールさせるウィンドウ）を指定することができる。具体的には、カーソル７３によっていずれかのウィンドウを指定すると（カーソル７３をウィンドウの位置に移動すると）、指定されたウィンドウが一番手前に表示される。そして、カーソル７３がウィンドウを指定した状態で上記回転操作を行うと、当該ウィンドウ内の画像がスクロールする。したがって、プレイヤは、複数のウィンドウが表示されている場合であっても、コントローラ７を用いて操作対象となるウィンドウを容易に指定することができ、さらに、指定したウィンドウ内の画面をコントローラ７を用いたまま容易にスクロールさせることができる。
【０１５２】
次に、第１実施例におけるゲーム処理の詳細を説明する。図２０は、第１実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図である。第１実施例においては、図１１に示したデータに加え、前方向データ６０および中点データ６１が操作状態データ５６としてメインメモリ１３に記憶される。また、対象識別データ６２が操作対象データ５８としてメインメモリ１３に記憶される。
【０１５３】
前方向データ６０は、１フレーム前に算出された方向データである。すなわち、新たに方向データが算出されたとき、それまでの方向データ５７が前方向データ６０として記憶される。そして、新たに算出された方向データが新たな方向データ５７としてメインメモリ１３に記憶される。前方向データ６０は、ウィンドウ内の画像をスクロールさせる量を算出するために用いられる。
【０１５４】
また、中点データ６１は、第１座標と第２座標との中点の座標を示す。マーカ８ａおよび８ｂの画像を１つの対象画像としてみた場合、中点データ６１は、対象画像の位置を示すと言える。中点データ６１は、コントローラ７による指示位置、すなわち、カーソル７３の画面上の位置を算出するために用いられる。
【０１５５】
また、対象識別データ６２は、カーソル７３によって現在指定されているウィンドウを識別するためのデータであり、具体的には、各ウィンドウに予め付された番号を示す。なお、カーソル７３がいずれのウィンドウも指定していない場合、いずれのウィンドウも指定されていないことを示すデータが対象識別データ６２として記憶される。
【０１５６】
なお、第１実施例において、位置データ５９は、現在指定されているウィンドウの表示領域７８の位置を示す。すなわち、位置データ５９は、メニュー画像の最上部から表示領域７８の最上部までの長さｓを示す。
【０１５７】
図２１は、第１実施例におけるゲーム処理の流れを示すフローチャートである。なお、図２１において、図１２に示すゲーム処理のステップと同様のステップについては図１２と同じステップ番号を付し、詳細な説明を省略する。図２１に示すフローチャートが開始されるまでの処理は、図１２に示した場合と同様である。
【０１５８】
第１実施例におけるゲーム処理においては、まずステップＳ２１において、初期処理が実行される。初期処理においては、ＣＰＵ１０は、初期状態のゲーム画面を表示させる。具体的には、仮想のゲーム空間が構築され、プレイヤキャラクタが所定の初期位置に配置される。そして、プレイヤキャラクタ周辺のゲーム空間の画像が生成されてモニタ２に表示される。
【０１５９】
ステップＳ２１の次に上述のステップＳ１の処理が実行され、ステップＳ１の次にステップＳ２２の処理が実行される。すなわち、ステップＳ２２において、メニュー表示モードに設定されているか否かが判定される。ここで、第１実施例におけるゲームでは、プレイヤがプレイヤキャラクタを操作してゲームを進行するゲームモードと、ゲームに関する設定等を変更するためのメニュー画像を表示するメニュー表示モードという２つのモードが用意されているとする。２つのモードは、例えばＹボタン３２ｃを押下する操作をプレイヤが行うことによって切り替えられる。また、本実施例では、メニュー表示モードに移行すると複数のウィンドウが表示されるものとするが、他の実施例では、メニュー表示モードの移行時には１つのウィンドウのみが表示され、ウィンドウ内の項目をプレイヤが選択することによって新たなウィンドウが表示されるようにしてもよい。なお、図２１に示すフローチャートには示していないが、モードを切り替える処理は適宜のタイミングで実行される。ステップＳ２２において、ＣＰＵ１０は、現在のモードがゲームモードであるかメニュー表示モードであるかを判定する。現在のモードがメニュー表示モードである場合、ステップＳ２の処理が実行され、現在のモードがゲームモードである場合、ステップＳ２３の処理が実行される。
【０１６０】
なお、ステップＳ２３においては、プレイヤのゲーム操作に応じたゲーム処理が実行される。例えば、プレイヤキャラクタに所望の動作を行わせたり、ゲーム空間に敵キャラクタが登場する場合には、敵キャラクタの動作の制御が行われたりする。ステップＳ２３の後、ステップＳ４の処理が実行される。
【０１６１】
一方、ステップＳ２においては、操作状態算出処理が実行される。図２２は、第１実施例におけるステップＳ２の詳細を示すフローチャートである。なお、図２２において、図１３に示すゲーム処理のステップと同様のステップについては図１３と同じステップ番号を付し、詳細な説明を省略する。
【０１６２】
図２２において、ステップＳ１１〜Ｓ１６までの処理は、図１３に示した処理と同じである。第１実施例においては、ステップＳ１６の次のステップＳ３１において、対象画像である第１座標および第２座標の中点の位置が算出される。具体的には、ＣＰＵ１０は、現在第１座標データ５１および現在第２座標データ５２を参照して、当該中点の座標を算出する。算出された中点の座標のデータは、中点データ６１としてメインメモリ１３に記憶される。この中点データ６１は、撮像画像内における対象画像（マーカ８ａおよび８ｂ）の位置を示している。
【０１６３】
続くステップＳ３２において、ステップＳ３１で算出された中点座標が補正される。図２３は、図２２に示すステップＳ３２の処理を説明するための図である。図２３は、コントローラの状態と、その状態にあるときに得られる撮像画像との対応を示している。図２３において、状態Ａおよび状態Ｂはともに、モニタ２の画面の中央がコントローラ７による指示位置となっている状態である。ただし、状態Ａはコントローラ７の上面が上方向を向いている状態（本実施形態では、この状態を基準状態とする。）であり、状態Ｂはコントローラ７の上面が右方向を向いている状態である。ここで、マーカ８ａおよび８ｂは画面の上方に配置されており、マーカ８ａおよび８ｂの配置位置が指示位置（画面の中央の位置）と一致しない。そのため、状態Ａにおいては、撮像画像における対象画像の位置は撮像画像の中心から上方の位置となる。一方、状態Ｂにおいては、撮像画像内における対象画像の位置は撮像画像の中心から左方の位置となる。このように、コントローラ７が同じ指示位置を指し示していても、撮像画像内における中点Ｐｍの位置はコントローラ７の姿勢によって異なる。すなわち、マーカ８ａおよび８ｂの配置位置が指示位置（画面の中央の位置）と一致しないことから、コントローラ７の指示方向を軸とした回転角度によって、撮像画像内における対象画像の位置が変化してしまう。そのため、対象画像の位置を単に算出する処理（ステップＳ３１）だけでは、対象画像の位置に基づいて指示位置を正確に算出することができない。
【０１６４】
そこで、ステップＳ３２においては、ステップＳ１６で算出された方向に基づいて、ステップＳ３１で算出された中点座標を補正する。具体的には、ステップＳ３１で算出された中点座標を、コントローラ７が基準状態にあるとした場合における中点座標に補正する。より具体的には、ステップＳ３１で算出された中点座標を、ステップＳ１６で算出された方向と基準状態における方向との角度差に応じた量だけ、撮像画像の中心を軸として回転移動させる。図２３の状態Ｂにおいては、ステップＳ１６では、基準状態から左方向に９０°に傾いた方向のベクトルが算出されるので、コントローラ７が基準状態から右方向に９０°に傾いた状態であることがわかる。したがって、ステップＳ３２では、ステップＳ３１で算出された中点座標を、撮像画像の中心を軸として右方向に９０°だけ回転移動させる。以上のステップＳ３２によって補正が行われた中点座標のデータは、中点データ６１としてメインメモリ１３に更新して記憶される。ステップＳ３２による補正が行われた中点座標によって、ゲーム装置３は、コントローラ７による指示位置を算出することができる。以上のステップＳ３２の処理の後、ＣＰＵ１０は操作状態算出処理を終了する。
【０１６５】
図２１の説明に戻り、ステップＳ２の次にステップＳ２４の処理が実行される。すなわち、ステップＳ２４において、カーソル７３の画面上の位置が算出される。具体的には、ＣＰＵ１０は、操作状態算出処理のステップ３２で得られた中点データに基づいて、カーソル７３の画面上の位置を算出する。すなわち、中点座標を表す座標系（ｘｙ座標系）の座標値から、画面上の位置を表す座標系の座標値を算出する。カーソル７３の画面上の位置は、中点座標をモニタ２の画面上の座標に変換する関数を用いて算出される。この関数は、ある撮像画像から算出される中点座標の値を、当該撮像画像が撮像される時のコントローラ７によって指し示される画面上の位置（指示位置）を表す座標に変換するものである。この関数によって、中点座標から画面上の指示位置を算出することができる。
【０１６６】
続くステップＳ２５において、カーソル７３によっていずれかのウィンドウが指定されているか否かが判定される。ＣＰＵ１０は、ステップＳ２４で算出したカーソル７３の位置がいずれかのウィンドウ内の位置であるか否かを判定する。判定の結果、算出された位置がいずれかのウィンドウ内の位置である場合、いずれかのウィンドウが指定されていると判断されてステップＳ３の処理が実行される。なお、この場合、指定されていると判断されたウィンドウが操作対象として設定される。すなわち、指定されていると判断されたウィンドウを示すデータが対象識別データ６２としてメインメモリに記憶される。一方、算出された位置がいずれかのウィンドウ内の位置でない場合、いずれのウィンドウも指定されていないと判断されてステップＳ４の処理が実行される。
【０１６７】
ステップＳ３においては、移動処理が実行される。第１実施例における移動処理では、ウィンドウ内に表示されるメニュー画像を操作対象として、コントローラ７の回転操作に従ってメニュー画像がスクロールされる。以下、移動処理の詳細を説明する。
【０１６８】
図２４は、第１実施例における移動処理の詳細を示すフローチャートである。移動処理においては、まずステップＳ３３において、今回の方向と前回の方向との角度差が算出される。ここで、「今回の方向」とは、今回のフレームで算出された対象画像の方向、すなわち、今回のフレームにおけるステップＳ１６で算出された方向であり、メインメモリ１３に記憶されている方向データ５７により示されるベクトル（第１ベクトルと呼ぶ）の方向である。また、「前回の方向」とは、前回のフレームで算出された対象画像の方向、すなわち、前回のフレームにおけるステップＳ１６で算出された方向であり、メインメモリ１３に記憶されている前方向データ６０により示されるベクトル（第２ベクトルと呼ぶ）の方向である。具体的には、ＣＰＵ１０は、第１ベクトルと第２ベクトルとのなす角度（角度差）θを算出する。当該角度差θは、−１８０°＜θ≦１８０°の範囲で表されるものとする。また、角度差θは、第２ベクトルを基準として右回りする方向を正とし、左回りする方向を負とする。角度差θが正であることは、撮像画像が右回りに回転していることであり、コントローラ７が指示方向を軸として左回りに回転していることを表す（図１９に示す状態Ｂ）。逆に、角度差θが負であることは、撮像画像が左回りに回転していることであり、コントローラ７が指示方向を軸として右回りに回転していることを表す（図１９に示す状態Ｃ）。
【０１６９】
ステップＳ３３の次のステップＳ３４において、ステップＳ３３で算出された角度差に基づいてメニュー画像のスクロール量が算出される。スクロール量は、角度差θが正であれば正となり、角度差θが負であれば負となるように決定される。さらに、角度差θの絶対値が大きいほどスクロール量の絶対値が大きくなるように決定される。典型的には、スクロール量は角度差θに正比例するように決定される。
【０１７０】
ステップＳ３４の次のステップＳ３５において、ステップＳ３４で算出されたスクロール量に従って表示領域が移動される。すなわち、メニュー画像の最上部から表示領域の最上部までの長さ（図１８に示す長さｓ）が、スクロール量に従って変更される。具体的には、ＣＰＵ１０は、当該長さにスクロール量を加算することによって変更後の長さを算出する。このとき、メインメモリ１３に記憶されている位置データ５９の内容は、算出された変更後の長さを示す値に更新される。後述するステップＳ４の表示処理においては、更新後の長さに従った位置に表示領域が設定されて、表示領域内のメニュー画像がウィンドウ内に表示される。これによって、メニュー画像がスクロール（移動）して画面に表示されることとなる。以上のステップＳ３５の後、ＣＰＵ１０は移動処理を終了する。
【０１７１】
図２１の説明に戻り、ステップＳ３の次のステップＳ２６では、ウィンドウ内の項目を選択する操作がプレイヤによって行われたか否かが判定される。ＣＰＵ１０は、ステップＳ１で取得した操作データを参照することによって、当該操作（例えば、Ａボタン３２ｉを押下する操作）が行われたか否かを判定する。判定の結果、当該操作が行われた場合、ステップＳ２７の処理が実行される。一方、当該操作が行われていない場合、ステップＳ２７およびＳ２８の処理がスキップされてステップＳ４の処理が実行される。
【０１７２】
ステップＳ２７において、カーソル７３によって項目が指定されているか否かが判定される。具体的には、ＣＰＵ１０は、ステップＳ２５で算出された画面上の位置が、項目画像が表示される位置であるか否かを判定する。判定の結果、当該画面上の位置が項目画像の表示位置である場合、ステップＳ２８の処理が実行される。一方、当該画面上の位置が項目画像の表示位置でない場合、ステップＳ２８の処理がスキップされてステップＳ４の処理が実行される。以上のステップＳ２６およびＳ２７の処理は、カーソル７３が項目画像を指定した状態で項目選択操作が行われたか否かを判定するための処理である。ステップＳ２６およびＳ２７の判定結果がともに肯定であった場合、ＣＰＵ１０は、項目が選択されたと判断して、ステップＳ２８において項目に応じたゲーム処理を実行する。
【０１７３】
ステップＳ２８においては、選択された項目に応じた処理が実行される。例えば、図１７に示すウィンドウ７１内の項目画像７４ａが選択された場合には、ＣＰＵ１０は、プレイヤキャラクタに剣を使用可能な状態にするべく、プレイヤキャラクタに関するデータや、プレイヤキャラクタの画像データ等を変更する。ステップＳ２８の次にステップＳ４の処理が実行される。
【０１７４】
ステップＳ４においては、表示処理が実行される。すなわち、今回のフレームにおいてステップＳ３の移動処理が実行されている場合には、更新後の位置データ５９の内容に従った表示領域でメニュー画像がウィンドウ内に表示される。このとき、カーソル７３は、ステップＳ２５で算出された画面上の位置に表示される。ステップＳ４の次のステップＳ５の処理は、図１１と同様である。
【０１７５】
以上のように、第１実施例によれば、方向データ５７により示される２次元ベクトルと、画面上の指示位置を示す座標とを用いた演算によって操作対象（ウィンドウ内の画像）を移動させる。これによって、コントローラ７自体を回転させる操作によって、ウィンドウの表示内容をスクロールすることができる。さらに、コントローラ７による指示位置を変更する操作によって、カーソル７３を画面上で移動させ、操作対象となるウィンドウを指定することができる。つまり、第１実施例によれば、操作対象となるウィンドウを指定する操作と、ウィンドウの表示内容をスクロールさせる操作という２種類の異なる操作を、コントローラ７自体を操作することによって行うことができ、コントローラ７を用いた従来にはない操作方法を実現することができる。
【０１７６】
なお、上記第１実施例では、コントローラ７によって画面上の位置を指定することによって、操作対象となるウィンドウを選択するようにした。ここで、他の実施例では、画面上の位置を指定する方法は、どのような方法であってもよい。例えば、コントローラ７に設けられた十字キーによってカーソルを移動させるようにしてもよい。
【０１７７】
また、第１実施例では、ゲーム中に表示されるメニュー画像のウィンドウを例として説明した。ここで、他の実施例においては、スクロールの対象となるウィンドウは、ゲーム用途のウィンドウに限らず、例えば、パーソナルコンピュータのデスクトップ画像に重ねて表示されるウィンドウ等であってもよい。すなわち、本発明は、一般的なパーソナルコンピュータについても適用することができ、例えば、ブラウザのウィンドウ内の画像をスクロールすることについても適用することができる。
【０１７８】
なお、コントローラ７の回転操作は、所定のボタン操作（例えば、Ｂボタン３２ｄを押下する操作）が行われている間のみ実行可能であるようにしてもよい。図２５は、第１実施例の変形例における移動処理の詳細を示すフローチャートである。図２５に示す処理は、ステップＳ３６の処理が実行される点で図２４に示す処理と異なる。
【０１７９】
図２５においては、まずステップＳ３６において、所定のボタンが押下されているか否かが判定される。ＣＰＵ１０は、ステップＳ１で取得した操作データを参照することによって、当該操作（例えば、Ｂボタン３２ｄを押下する操作）が行われたか否かを判定する。判定の結果、当該操作が行われた場合、ステップＳ３３〜Ｓ３５の処理が実行される。一方、当該操作が行われていない場合、ステップＳ３３〜３５の処理がスキップされて、ＣＰＵ１０は移動処理を終了する。
【０１８０】
以上のように図２５に示した処理によれば、Ｂボタン３２ｄが押下されていない場合には、表示領域の移動（メニュー画像のスクロール）が行われない。つまり、プレイヤは、Ｂボタン３２ｄを押下した状態で指示方向を軸としてコントローラ７を回転させた場合にのみ、ウィンドウ内の表示内容をスクロールさせることができる。ここで、Ｂボタン３２ｄが押下されているか否かにかかわらず、表示領域の移動が行われる場合（図２４に示す移動処理の場合）、コントローラ７が少し回転しただけでウィンドウ内の表示内容がスクロールすることとなる。したがって、指示位置を変更する操作（コントローラ７の指示方向を変更する操作）を行う場合のように、プレイヤが回転操作を行う意図がない場合でも、プレイヤが意図しないにもかかわらず、ウィンドウ内の表示内容がスクロールしてしまうおそれがある。
【０１８１】
これに対して、Ｂボタン３２ｄが押下されていることを条件として表示領域の移動が行われる場合（図２４に示す移動処理の場合）には、プレイヤが意図する場合のみ、ウィンドウ内の表示内容をスクロールさせることができる。つまり、プレイヤは、ウィンドウ内の表示内容をスクロールさせたい場合、Ｂボタン３２ｄが押下しながら回転操作を行えばよい。以上のように、図２５に示した処理によれば、プレイヤが意図しないにもかかわらず回転操作が行われてしまうことを防止することができる。
【０１８２】
また、他の実施形態によれば、ステップＳ３３で算出された角度差θの絶対値が所定値よりも小さい場合、ステップＳ３４においてスクロール量を０としてもよい。つまり、角度差θが微少であれば、操作対象を移動させないようにしてもよい。ゲームの種類や状況によっては、操作対象を一定の姿勢で維持することをプレイヤが望む場合も考えられ、このような場合、操作対象の移動がコントローラ７の回転角度に敏感に反応してしまうと、操作性がかえって悪くなるからである。以上のように、コントローラ７の回転操作においていわゆる遊びの部分を設定することによって操作性を向上することができる。
【０１８３】
なお、上記第１実施例においては、ゲーム装置３は、対象画像（マーカ８ａおよび８ｂ）の２つの位置を示すデータを操作データとしてコントローラ７から取得し、２つの位置の中点を算出することによって撮像対象の画像の位置を特定した。ここで、他の実施例においては、コントローラ７が中点の位置を算出し、算出された中点の位置を示すデータをゲーム装置３に操作データとして送信するようにしてもよい。つまり、ゲーム装置３は、対象画像の位置を示すデータを操作データとしてコントローラ７から取得するようにしてもよい。さらに、他の実施例では、ゲーム装置３は、コントローラ７から撮像画像の画像データを取得し、画像データから対象画像の位置を算出するようにしてもよい。画像データから対象画像の位置を算出する方法としては、第１実施例と同様、対象画像の２つの位置（マーカ８ａおよび８ｂの位置）を画像データから特定し、当該２つの位置の中点を算出する方法が考えられる。
【０１８４】
（第２実施例）
以下、第２実施例として、プレイヤキャラクタを移動する操作に本発明を適用した実施例について説明する。ここでは、プレイヤによって操作されるプレイヤキャラクタが３次元のゲーム空間を移動するゲームを例として説明する。図２６は、第２実施例におけるゲーム画面の一例を示す図である。図２６においては、３次元の仮想のゲーム空間およびゲーム空間内に存在するプレイヤキャラクタ８１がモニタ２の画面に表示されている。また、画面にはカーソル８２が表示されている。プレイヤキャラクタ８１は、プレイヤによって操作されるキャラクタであり、コントローラ７の回転操作による操作対象である。カーソル８２は、上記第１実施例と同様、コントローラ７による指示位置に表示される。
【０１８５】
第２実施例においては、プレイヤは、コントローラ７の回転操作によってプレイヤキャラクタ８１を移動させることができる。プレイヤキャラクタ８１を移動させる際、プレイヤは、まず、移動させたい方向にカーソル８２を移動させる。カーソルを移動させる操作は上記第１実施例と同様である。次に、プレイヤは、移動させたい方向にカーソル８２を配置した状態で、コントローラ７の回転操作を行う。例えば図２６に示す状態でコントローラ７の回転操作が行われると、プレイヤキャラクタ８１は、カーソル８２によって指示される位置に向かって移動する（図２７参照）。
【０１８６】
また、プレイヤは、コントローラ７を回転させる方向によって、プレイヤキャラクタ８１を前進させたり後退させたりすることができる。つまり、コントローラ７を回転させる方向によって、プレイヤキャラクタ８１の移動方向を制御することができる。図２８は、回転操作によるプレイヤキャラクタ８１の移動動作を説明するための図である。図２８は、コントローラ７の状態と、コントローラ７が当該状態にあるときに行われるプレイヤキャラクタ８１の移動動作との対応を示している。なお、図２８においてはコントローラ７を後方（図３に示すＺ軸負方向側）から見た図を示している。
【０１８７】
図２８に示す状態Ａは、コントローラ７の上面が真上方向を向いている状態である。この状態Ａにおいて撮像される撮像画像は、図１９に示す撮像画像Ｉ７のようになる。すなわち、各マーカ８ａおよび８ｂの画像８ａ’および８ｂ’はｙ軸と水平に配置される。図２８においては、この状態Ａを基準状態とする。また、基準状態における撮像画像から算出される対象画像の方向を基準方向と呼ぶ。すなわち、図２８における基準方向は、マーカ８ａの画像８ａ’からマーカ８ｂ’の画像８ｂ’への方向（またはその逆方向）である。コントローラ７が基準状態にあるとき、プレイヤキャラクタ８１は移動しない（停止する）。なお、詳細は後述するが、プレイヤは、基準方向を設定することができる。
【０１８８】
図２８に示す状態Ｂは、コントローラ７を基準状態から左回りに所定角度回転させた状態である。この状態Ｂにおいて撮像される撮像画像は、図１９に示す撮像画像Ｉ８のようになる。すなわち、各画像８ａ’および８ｂ’は、状態Ａから右回りに上記所定角度回転した状態となる。このとき、プレイヤキャラクタ８１はカーソル８２によって指示される位置に向かって前進する。一方、図２８に示す状態Ｃは、コントローラ７を基準状態から右回りに所定角度回転させた状態である。この状態Ｃにおいて撮像される撮像画像は、図１９に示す撮像画像Ｉ９のようになる。すなわち、各画像８ａ’および８ｂ’は、状態Ａから左回りに上記所定角度回転した状態となる。このとき、プレイヤキャラクタ８１は、現在位置からカーソル８２によって指示される位置への方向を前方向とすると、後退する。以上のように、プレイヤは、コントローラ７を左回り／右回りに回転させることによってプレイヤキャラクタ８１を前進／後退させることができる。
【０１８９】
次に、第２実施例におけるゲーム処理の詳細を説明する。図２９は、第２実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図である。第２実施例においては、図１１に示したデータに加え、第１実施例において説明した中点データ６１が操作状態データ５６としてメインメモリ１３に記憶される。また、基準方向データ６３がメインメモリ１３に記憶される。さらに、移動方向データ６４が操作対象データ５８としてメインメモリ１３に記憶される。
【０１９０】
基準方向データ６３は、上記基準方向を示すデータである。基準方向は、撮像画像から得られる方向に関して基準となる方向である。基準方向は、プレイヤキャラクタ８１の移動量および移動方向を決定する際に用いられる。具体的には、プレイヤキャラクタ８１の移動量および移動方向は、基準方向と現在の方向（方向データ５７により示される方向）との角度差に基づいて決定される。なお、第２実施例においては、基準方向はゲーム開始時にプレイヤによって設定されるものとする。
【０１９１】
移動方向データ６４は、操作対象であるプレイヤキャラクタ８１の３次元ゲーム空間における移動方向を示す。具体的には、移動方向データ６４は、３次元ゲーム空間における方向を示す３次元のベクトルのデータである。なお、第２実施例における位置データ５９は、３次元ゲーム空間におけるプレイヤキャラクタ８１の位置を示す３次元の座標値のデータである。
【０１９２】
図３０は、第２実施例におけるゲーム処理の流れを示すフローチャートである。なお、図３０において、図１２に示すゲーム処理のステップと同様のステップについては図１２と同じステップ番号を付し、詳細な説明を省略する。図３０に示すフローチャートが開始されるまでの処理は、図１２に示した場合と同様である。
【０１９３】
第２実施例におけるゲーム処理においては、まずステップＳ４１において、基準方向を設定する処理が実行される。具体的には、ＣＰＵ１０は、基準方向を設定する旨の操作を行うことを表示等によりプレイヤに促す。これに応じて、プレイヤは、指示方向を軸とした回転に関して任意の姿勢でコントローラ７を把持し、基準方向を決定する操作（例えば、Ａボタン３２ｉを押下する操作）を行う。当該操作が行われると、ＣＰＵ１０は、当該操作が行われた時点において撮像された撮像画像に基づいて、ステップＳ１６と同様の処理によって方向を算出する。算出された方向を示すベクトルのデータは、基準方向データ６３としてメインメモリ１３に記憶される。第３実施例においては、以上のステップＳ５１の処理が、プレイヤキャラクタ８１を移動させる処理（ステップＳ３）の前に実行される。ステップＳ４１の次にステップＳ４２の処理が実行される。
【０１９４】
ステップＳ４２において、初期処理が実行される。この初期処理においては、３次元の仮想ゲーム空間が構築されてモニタ２に表示される。具体的には、ＣＰＵ１０は、３次元の仮想ゲーム空間を構築し、当該ゲーム空間内にプレイヤキャラクタ８１や敵キャラクタ等を配置する。また、当該ゲーム空間内における所定位置に所定の視線方向で仮想カメラを設定し、仮想カメラから見たゲーム空間の画像を生成してモニタ２に表示する。なお、ここでは、仮想カメラの位置および視線方向は、プレイヤキャラクタ８１が画面に表示されるように自動的に制御されるものとする。
【０１９５】
ステップＳ４２の次に、第１実施例と同様のステップＳ１の処理が実行される。続くステップＳ２の操作状態算出処理も、第１実施例における操作状態算出処理と同様である。すなわち、操作状態算出処理によって、操作状態データ５６が算出され、方向データ５７および中点データ６１がメインメモリ１３に記憶される。ステップＳ２の次にステップＳ３の処理が実行される。
【０１９６】
ステップＳ３においては、移動処理が実行される。第２実施例における移動処理では、プレイヤキャラクタ８１を操作対象として、コントローラ７の回転操作に従ってプレイヤキャラクタ８１が移動される。以下、移動処理の詳細を説明する。
【０１９７】
図３１は、第２実施例における移動処理の詳細を示すフローチャートである。移動処理においては、まずステップＳ４４において、ステップＳ１６で算出された方向と基準方向との角度差が算出される。具体的には、ＣＰＵ１０は、メインメモリ１３に記憶されている基準方向データ６３により示されるベクトル（第２実施例において基準ベクトルと呼ぶ）と、操作状態データ５６の方向データ５７により示されるベクトル（第２実施例において対象ベクトルと呼ぶ）とのなす角度（角度差）θ’を算出する。当該角度差θ’は、−１８０°＜θ’≦１８０°の範囲で表されるものとする。また、角度差θ’は、基準ベクトルを基準として右回りする方向を正とし、左回りする方向を負とする。角度差θ’が正であることは、基準方向を基準として撮像画像が右回りに回転していることであり、コントローラ７が指示方向を軸として基準状態から左回りに回転していることを表す（図２８に示す状態Ｂ）。逆に、角度差θが負であることは、基準方向を基準として撮像画像が左回りに回転していることであり、コントローラ７が指示方向を軸として基準状態から右回りに回転していることを表す（図２８に示す状態Ｃ）。
【０１９８】
ステップＳ４４の次のステップＳ４５において、ステップＳ４４で算出された角度差が所定値以上であるか否かが判定される。なお、この所定値は予め定められている。ステップＳ４４の判定において、上記角度差が所定値以上であると判定された場合、ステップＳ４５〜Ｓ４９の一連の処理が実行される。一方、上記角度差が所定値よりも小さいと判定された場合、ステップＳ４５〜Ｓ４９の一連の処理がスキップされて、ＣＰＵ１０は移動処理を終了する。ステップＳ４５の判定処理は、プレイヤキャラクタ８１を移動させるか否かを判定するための処理である。
【０１９９】
ステップＳ４６においては、ステップＳ１８で得られた中点座標に基づいて目標位置が算出される。ここで、目標位置とは、カーソル８２によって指定されるゲーム空間内における位置であり、プレイヤキャラクタ８１の移動方向を決定する位置である。具体的には、ＣＰＵ１０はまず、中点座標から画面上の位置（２次元の座標値）を算出する。画面上の位置を算出する方法は、上記第１実施例と同様の方法である。次に、ＣＰＵ１０は、画面上の位置から、当該画面上の位置に対応するゲーム空間内の位置（３次元の座標値）を算出する。「画面上の位置に対応するゲーム空間内の位置」とは、その画面上の位置に表示されるゲーム空間内の位置である。算出されたゲーム空間内の位置が目標位置となる。ステップＳ４６の次にステップＳ４７の処理が実行される。
【０２００】
ステップＳ４７において、ステップＳ４６で算出された目標位置とプレイヤキャラクタ８１の現在位置とに基づいて、プレイヤキャラクタ８１の移動方向が決定される。ＣＰＵ１０は、現在位置を始点として、目標位置を終点とする３次元のベクトルを算出する。算出されたベクトルがプレイヤキャラクタ８１の移動方向を示す。算出されたベクトルのデータは、移動方向データ６４としてメインメモリ１３に記憶される。ステップＳ４７の次にステップＳ４８の処理が実行される。
【０２０１】
ステップＳ４８において、ステップＳ４４で算出された角度差に基づいてプレイヤキャラクタ８１の移動量（１フレーム当たりの移動量、すなわち、速度）が算出される。ここで、移動量は、角度差θ’が正であれば正となり、角度差θ’が負であれば負となるように決定される。さらに、角度差θ’の絶対値が大きいほど移動量の絶対値が大きくなるように決定される。典型的には、移動量は角度差θ’に正比例するように決定される。ステップＳ４８の次にステップＳ４９の処理が実行される。
【０２０２】
ステップＳ４９において、プレイヤキャラクタ８１の移動後の位置が算出される。プレイヤキャラクタ８１の移動後の位置は、ステップＳ４７で算出された移動方向と、ステップＳ４８で算出された移動量とに基づいて決定される。具体的には、ＣＰＵ１０はまず、上記移動方向を示すベクトル（移動方向データ６４により示されるベクトル）を正規化して所定の大きさの単位ベクトルを算出する。そして、算出した単位ベクトルに上記移動量を乗算したベクトルを算出する。さらに、プレイヤキャラクタ８１の現在位置を基点として当該ベクトルの向きに当該ベクトルの大きさだけ移動した位置を、プレイヤキャラクタ８１の移動後の位置とする。なお、移動量が正の値の場合、算出されるベクトルは単位ベクトルとは逆向きになるので、プレイヤキャラクタ８１は前進する。また、移動量が負の値の場合、算出されるベクトルは単位ベクトルとは逆向きになるので、プレイヤキャラクタ８１は後退する。以上のように算出された移動後の位置を示す座標値のデータは、位置データ５９としてメインメモリ１３に記憶される。以上のステップＳ４９の後、ＣＰＵ１０は移動処理を終了する。
【０２０３】
図３０の説明に戻り、ステップＳ３の次のステップＳ４３において、プレイヤキャラクタ８１を移動させる処理以外の他のゲーム処理が実行される。他のゲーム処理には、例えば、プレイヤキャラクタ８１に移動以外の動作（例えば、敵キャラクタを攻撃する動作）を行わせるための処理や、敵キャラクタの動作を制御する処理等が含まれる。
【０２０４】
ステップＳ４３の次のステップＳ４において、表示処理が実行される。表示処理においては、ステップＳ３で決定された移動後の位置に配置されたプレイヤキャラクタ８１を含むゲーム空間の画像が表示される。これによって、プレイヤキャラクタ８１が移動する様子が画面に表示されることとなる。ステップＳ４の次のステップＳ５の処理は、図１１と同様である。
【０２０５】
以上のように、第２実施例によれば、コントローラ７自体を回転させる操作によって、ゲーム空間内におけるプレイヤキャラクタを前進または後退させることができる。さらに、コントローラ７による指示位置を変更する操作によって、カーソル７３を画面上で移動させ、プレイヤキャラクタを移動させる方向を指定することができる。つまり、第２実施例によれば、操作対象となるプレイヤキャラクタを移動させる移動量を指定する操作と、プレイヤキャラクタを移動させる方向を指定する操作という２種類の異なる操作を、コントローラ７自体を操作することによって行うことができ、コントローラ７を用いた従来にはない操作方法を実現することができる。
【０２０６】
また、第２実施例においては、ステップＳ１６で算出された方向と基準方向との角度差が所定値よりも小さい場合、プレイヤキャラクタの移動が行われない。したがって、コントローラ７が基準状態から多少回転した状態であっても、プレイヤキャラクタは移動しない。ここで、プレイヤキャラクタの移動がコントローラ７の回転角度に敏感に反応してしまうと、プレイヤが意図しないにもかかわらずプレイヤキャラクタが移動してしまうことがあり、操作性が悪くなることがある。また、ゲームの種類や状況によっては、操作対象を一定の姿勢で維持することをプレイヤが望む場合も考えられる。このような場合に、操作対象の移動がコントローラの回転角度に敏感に反応してしまうと、操作対象を一定の位置に維持することが困難となり、操作性が悪くなる。これに対して、第２実施例においては、コントローラ７が基準状態から多少回転した状態であってもプレイヤキャラクタは移動しないので、プレイヤが意図しないにもかかわらずプレイヤキャラクタが移動してしまうことを防止することができる。以上のように、コントローラ７の回転操作においていわゆる遊びの部分を設定することによって操作性を向上することができる。
【０２０７】
なお、上記第２実施例においては、３次元の仮想ゲーム空間に登場するオブジェクトを操作対象としたが、ゲーム空間の画像を生成するための仮想カメラを操作対象としてもよい。すなわち、ステップＳ１６で算出される方向に応じて、仮想カメラを上記目標位置に移動させるようにしてもよい。仮想カメラを操作対象とする場合も、図３０および図３１に示した処理と同様の処理によって仮想カメラを目標位置に移動させることができる。
【０２０８】
また、上記第２実施例においては、操作対象であるプレイヤキャラクタを目標位置に向かって移動させた。ここで、他の実施例においては、プレイヤキャラクタを目標位置まで移動させるようにしてもよい。つまり、上記第２実施例ではプレイヤキャラクタを目標位置の方向へ移動させたが、他の実施例では、プレイヤキャラクタを目標位置まで移動させるようにしてもよい。このとき、目標位置の決定は、コントローラ７に設けられた所定のボタンを押下することによって実行される。すなわち、プレイヤは、コントローラ７によってカーソル７３を所望の位置に移動させ、所望の位置となった時点で上記所定のボタンを押下する。ゲーム装置３は、所定のボタンが押下されたことに応じて、目標位置を決定する。そして、プレイヤキャラクタを目標位置まで移動させる。つまり、所定のボタンを押下した後でカーソル７３が他の位置に移動しても、新たに目標位置が決定されない限り、プレイヤキャラクタを目標位置まで移動させる。なお、このとき、１フレーム当たりの移動量は上記角度差に応じて決定されてもよい。
【０２０９】
（第３実施例）
以下、第３実施例として、プレイヤキャラクタを移動する操作に本発明を適用した実施例について説明する。ここでは、プレイヤがカート（プレイヤキャラクタ）を操作するレースゲームを例として説明する。図３２は、第３実施例におけるゲーム画面の一例を示す図である。図３２においては、レースコースである３次元の仮想のゲーム空間およびゲーム空間内に存在するカート９１〜９３がモニタ２の画面に表示されている。カート９１は、プレイヤによって操作されるカート（プレイヤカート）であり、カート９２および９３は、ゲーム装置３によって動作が制御されるカートである。
【０２１０】
第３実施例においては、プレイヤは、コントローラ７の回転操作と、コントローラ７に設けられた各操作ボタンに対する押下操作とによってプレイヤカート９１を移動させることができる。具体的には、プレイヤカート９１の加速度の前後方向に関する成分は、コントローラ７の回転操作によって決定される。また、加速度の左右方向に関する成分は、十字キー３２ａの押下操作によって決定される。なお、ここでは、加速度は、プレイヤカート９１のフレーム毎の速度を決定するために用いられる変数である。プレイヤカート９１は、加速度によって決められる速度に基づいて移動される。プレイヤは、コントローラ７を回転させることによってプレイヤカート９１の加速度の前後方向成分を調整するとともに、十字キー３２ａの左右のキーを押下することによって左右方向成分を調整することによって、プレイヤカート９１の移動を制御する。
【０２１１】
図３３は、回転操作によって変化するプレイヤカート９１の加速度を説明するための図である。図３３は、コントローラ７の状態と、コントローラ７が当該状態にあるときのプレイヤカート９１の加速度（前後方向の成分）との対応を示している。なお、図３３においてはコントローラ７を後方（図３に示すＺ軸負方向側）から見た図を示している。
【０２１２】
図３３に示す状態Ａは、コントローラ７の上面が真上方向を向いている状態からコントローラ７を左回りに所定角度θａだけ回転させた状態である。なお、第３実施例では、コントローラ７の上面が真上方向を向いている状態におけるコントローラ上面に対する鉛直上向き方向を０°とする。コントローラ７が状態Ａにあるとき、プレイヤカート９１の加速度は“０”と算出される。第３実施例においては、この状態Ａを基準状態とする。また、基準状態における撮像画像から算出される対象画像の方向を基準方向と呼ぶ。
【０２１３】
図３３に示す状態Ｂは、コントローラ７を状態Ａから右回りに所定角度回転させた状態である。コントローラ７が状態Ｂにあるとき、プレイヤカート９１の加速度は“Ａ１”と算出される。また、図３３に示す状態Ｃは、コントローラ７を状態Ｂからさらに右回りに所定角度回転させた状態である。状態Ｃは、コントローラ７の上面が真上方向を向いている状態からコントローラ７を右回りに所定角度θｂだけ回転させた状態である。コントローラ７が状態Ｃにあるとき、プレイヤカート９１の加速度は“Ａｍａｘ”と算出される。ここで、Ａｍａｘは加速度の最大値である。以上のように、プレイヤカート９１の加速度は、コントローラ７を状態Ａから右回りに回転させるほど大きくなり、状態Ｃとなった時点で最大値Ａｍａｘとなるように算出される。
【０２１４】
次に、第３実施例におけるゲーム処理の詳細を説明する。図３４は、第３実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図である。第３実施例においては、図１１に示したデータに加え、また、基準方向データ６３がメインメモリ１３に記憶される。また、速度ベクトルデータ６５および加速度ベクトルデータ６６が操作対象データ５８としてメインメモリ１３に記憶される。
【０２１５】
基準方向データ６３は、上記基準方向を示すデータである。基準方向は、撮像画像から得られる方向に関して基準となる方向である。基準方向は、プレイヤカート９１の加速度を算出する際に用いられる。具体的には、プレイヤカート９１の加速度は、基準方向と現在の方向（方向データ５７により示される方向）との角度差に基づいて決定される。なお、第３実施例においては、基準方向は予め定められているものとするが、他の実施例においては、ゲーム開始時にプレイヤによって設定されてもよい。
【０２１６】
速度ベクトルデータ６５は、プレイヤカート９１の速度を示すデータである。すなわち、速度ベクトルデータ６５は、プレイヤカート９１の１フレーム当たりの移動方向および移動量を示す。また、加速度ベクトルデータ６６は、プレイヤカート９１の加速度ベクトルを示すデータである。第３実施例においては、加速度ベクトルデータ６６は、プレイヤカート９１の速度を算出するために用いられる。
【０２１７】
図３５は、第３実施例におけるゲーム処理の流れを示すフローチャートである。なお、図３５において、図１２に示すゲーム処理のステップと同様のステップについては図１２と同じステップ番号を付し、詳細な説明を省略する。図３５に示すフローチャートが開始されるまでの処理は、図１２に示した場合と同様である。
【０２１８】
第３実施例におけるゲーム処理においては、まずステップＳ５１において、初期処理が実行される。この初期処理においては、３次元の仮想ゲーム空間が構築されてモニタ２に表示される。具体的には、ＣＰＵ１０は、３次元の仮想ゲーム空間を構築し、当該ゲーム空間内にプレイヤカート９１を含む複数のカートを配置する。また、当該ゲーム空間内における所定位置に所定の視線方向で仮想カメラを設定し、仮想カメラから見たゲーム空間の画像を生成してモニタ２に表示する。なお、ここでは、仮想カメラの位置および視線方向は、プレイヤカート９１が画面に表示されるように自動的に制御されるものとする。
【０２１９】
ステップＳ５１の次に、図１２と同様のステップＳ１の処理が実行される。続くステップＳ２の操作状態算出処理も、図１２に示した操作状態算出処理と同様である。すなわち、操作状態算出処理によって、操作状態データ５６が算出され、方向データ５７がメインメモリ１３に記憶される。ステップＳ２の次にステップＳ３の処理が実行される。
【０２２０】
ステップＳ３においては、移動処理が実行される。第３実施例における移動処理では、プレイヤカート９１を操作対象として、コントローラ７の回転操作および十字キー３２ａの押下操作に従ってプレイヤカート９１が移動される。以下、移動処理の詳細を説明する。
【０２２１】
図３６は、第３実施例における移動処理の詳細を示すフローチャートである。移動処理においては、まずステップＳ５３において、ステップＳ１６で算出された方向に基づいてプレイヤカート９１の加速度の前後方向の成分が算出される。なお、角度差は、−１８０°より大きく１８０°以下の範囲で表されるものとする。また、角度差は、基準ベクトルを基準として左回りする方向を正とし、右回りする方向を負とする。つまり、角度差が正であることは、基準方向を基準として撮像画像が左回りに回転していることであり、コントローラ７が指示方向を軸として基準状態から右回りに回転していることを表す。
【０２２２】
具体的には、ＣＰＵ１０はまず、基準方向とステップＳ１６で算出された方向との角度差を算出する。次に、算出された角度差に応じた大きさとなるように加速度の前後方向成分を算出する。図３３に示したように、加速度の前後方向成分Ａは、０≦Ａ≦Ａｍａｘの範囲で、角度差に応じた大きさとなるように算出される。なお、コントローラ７が状態Ａよりもさらに左回りに回転した状態にある場合、すなわち、角度差が負となる場合、加速度の前後方向成分は“０”と算出される。また、コントローラ７が状態Ｃよりもさらに右回りに回転した状態にある場合、すなわち、角度差がθａ＋θｂよりも大きい値となる場合、加速度の前後方向成分は“Ａｍａｘ”と算出される。ステップＳ５３の次にステップＳ５４の処理が実行される。
【０２２３】
ステップＳ５４において、操作キーによる操作に基づいて加速度の左右方向の成分が決定される。すなわち、ＣＰＵ１０は、ステップＳ１で取得された操作データに基づいて、十字キー３２ａの右方向のキーまたは左方向のキーが押下されているかを判定する。そして、右方向のキーが押下されている場合、加速度の左右方向成分の大きさを、右方向を表す所定値に決定する。一方、左方向のキーが押下されている場合、加速度の左右方向成分の大きさを、左方向を表す所定値に決定する。以上のステップＳ５３で算出された加速度の前後方向成分とステップＳ５４で決定された左右方向成分とを合成することによって加速度のベクトルが得られる。得られた加速度のベクトルのデータは、加速度ベクトルデータ６６としてメインメモリ１３に記憶される。ステップＳ５４の次にステップＳ５５の処理が実行される。
【０２２４】
ステップＳ５５において、ステップＳ５３およびＳ５４で算出された加速度に基づいて速度が算出される。新たな速度ベクトルは、前回のフレームにおける速度ベクトルと、ステップＳ５３およびＳ５４で得られた加速度ベクトルとを加算することによって得られる。すなわち、ＣＰＵ１０は、メインメモリ１３に記憶されている速度ベクトルデータ６５および加速度ベクトルデータ６６を参照して、新たな速度ベクトルを算出する。そして、算出された速度ベクトルのデータを新たな速度ベクトルデータ６５としてメインメモリ１３に更新して記憶する。ステップＳ５５の次にステップＳ５６の処理が実行される。
【０２２５】
ステップＳ５６において、ステップＳ５５で算出された速度に基づいて移動後の位置が算出される。すなわち、ＣＰＵ１０は、プレイヤカートの現在位置を基点として、上記速度ベクトルの向きに当該速度ベクトルの大きさだけ移動した位置を、プレイヤカートの移動後の位置として算出する。算出された位置のデータは、位置データ５９としてメインメモリ１３に更新して記憶される。ＣＰＵ１０は、以上のステップＳ５６の後、移動処理を終了する。
【０２２６】
図３５の説明に戻り、ステップＳ３のステップＳ５２において、他のゲーム処理が実行される。例えば、プレイヤカート以外のカートに移動動作を行わせるための処理が実行される。続くステップＳ４において、表示処理が実行される。表示処理においては、ステップＳ３で決定された移動後の位置に配置されたプレイヤカートを含むゲーム空間の画像が表示される。これによって、プレイヤカートが移動する様子が画面に表示されることとなる。ステップＳ４の次のステップＳ５の処理は、図１１と同様である。
【０２２７】
以上のように、第３実施例によれば、コントローラ７自体を回転させる操作によって、ゲーム空間内におけるプレイヤカートの加速度（速度）を変化させることができる。さらに、コントローラ７に設けられた操作ボタンを押下する操作によって、プレイヤカートの移動方向を変化させることができる。つまり、第３実施例によれば、コントローラ７自体の操作とコントローラ７に設けられた操作ボタンの操作とによって、操作対象となるプレイヤカートの移動を制御することができる。これによって、コントローラ７自体を動かす操作とそれに設けられた操作ボタンに対する操作とを組み合わせて１つの操作対象を操作するという、従来にはない操作方法を実現することができる。
【０２２８】
なお、以上の実施例においては、回転量の一例として回転角度、すなわち方向データ５７に対応したベクトルと、基準ベクトルの差を、角度差として算出したが、ベクトル同士の差分をベクトル（差分ベクトル）として算出し、当該差分ベクトルを角度差の代わりに用いてもよい。さらに、差分ベクトルの所定成分の値のみを用いて操作対象を移動させてもよい。また、他の実施例においては、基準ベクトルを用いず、方向データに対応したベクトルの値のみを用いて操作対象を移動させてもよい。例えば、方向データに対応したベクトルの値と、その値をとる場合の操作対象の位置（画面上または仮想空間上の位置）とを対応付けておくことで、当該ベクトルの値のみを用いて操作対象を移動させることができる。このようにすることで、コントローラの傾きに応じた制御を可能としつつ、角度を算出するコストを軽減することができる。
【０２２９】
なお、以上においては、本発明に係る情報処理システムおよびプログラムを、ゲームシステムおよびゲームプログラムとして実現する場合を例として説明したが、本発明は、ゲーム分野に限らず、撮像画像を用いて入力装置自体の位置や向きを検知する入力装置を用いる情報処理システムに適用することが可能である。
【０２３０】
例えば、第１実施例は、ゲームのメニュー画面を表示する場合の他、表示画面上の任意の位置を指定するためのシステムにおいても適用することができる。このシステムは、例えば会議等で画面に表示される内容を説明者が説明する際に用いられる。具体的には、第１実施例と同様の方法で表示画面上のカーソルを移動させるとともに、第１実施例と同様の方法で表示画面に表示されている画像をスクロールさせる。これによれば、説明者は、表示画面上の任意の位置を指定するためにカーソルを移動させる操作と、表示画面の内容をスクロールさせる操作とを、１つのコントローラ７を用いて行うことができる。カーソルによって任意の位置を指定したり表示画面の内容をスクロールさせたりする操作を片手で行うことができるので、説明者にとっては非常に便利である。
【産業上の利用可能性】
【０２３１】
本発明は、ユーザが手に持って使用する入力装置を使用する情報処理システムにおいて、従来にはない新たな操作を可能とすること等を目的として、例えばゲーム装置やゲームプログラムに利用することが可能である。
【符号の説明】
【０２３２】
１ ゲームシステム
２ モニタ
３ ゲーム装置
４ 光ディスク
５ 外部メモリカード
７ コントローラ
８ａ，８ｂ マーカ
１０ ＣＰＵ
１３ メインメモリ
３２ 操作部
３５ 撮像情報演算部
３６ 通信部
３７ 加速度センサ
４０ 撮像素子
７１，７２ ウィンドウ
７３，８２ カーソル
７４ａ〜７４ｉ 項目画像
８１ プレイヤキャラクタ
９１ プレイヤカート
【技術分野】
【０００１】
本発明は、情報処理システムおよびプログラムに関し、より特定的には、撮像装置を備える操作装置を用いてユーザが操作を行う情報処理システムおよびそれに用いられるプログラムに関する。
【背景技術】
【０００２】
従来、光学式のポインティングシステムを用いて表示画面上の特定の位置を指定する技術が考えられている。例えば、特許文献１に記載の光学式ポインティングシステムは、複数の視聴者を対象とした会議等において用いられるシステムである。このシステムでは、表示画面の近傍に発光素子が設けられ、指示器には光電変換素子を用いた撮像装置が内蔵される。指示者が指示器を用いて表示画面の任意の位置を指定する場合、指示器は、撮像装置によって上記発光素子を撮像し、撮像された画像に基づいて指示器が指定する位置を算出する。算出された位置にマークが表示されることによって、指示者が指示したい位置がマークによって示されることとなる。
【０００３】
また、上記と同様の光学式のポインティングシステムを用いたゲーム用コントローラが考えられている（例えば、特許文献２参照。）。このコントローラは、ガン（拳銃）型の形状を有しており、射撃ゲームに用いられる。この射撃ゲームは、画面に表示されている標的に向かってガンを用いて射撃させるゲームである。ガンは、画面上の任意の位置（弾が飛んでいく位置）を指定するために用いられる。ガン型のコントローラにはＣＣＤカメラが内蔵されており、画面の周囲の４箇所に配置された発光体をＣＣＤカメラが撮像する。コントローラは、撮像された画像を用いてガンの向きや回転や傾きを算出する。算出結果を用いて、画面に表示されている標的の向きをガンが正しく向いているか否かを検出することによって、標的に命中したか否かを判断する。以上の構成によって、プレイヤが手に持ったコントローラ（ガン）自体を動かしてゲーム操作を行うゲームシステムを実現することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−３０８８７９号公報
【特許文献２】特開平８−７１２５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の技術では、ユーザが手に持って使用する操作装置（上記指示器やガン型のコントローラ）は、表示画面上の位置を指定するために用いられるのみである。つまり、上記の指示器やガン型のコントローラでは、表示画面上の位置を指定するという単一の操作のみが可能であり、他の操作を行うことができなかった。例えば、上記操作装置をゲーム装置に用いる場合、表示画面上の位置を指定するという１種類の単純なゲーム操作しか行うことができない。そのため、ゲーム操作が単純であることからゲーム自体も単純な内容となってしまい、興趣性に欠けるものとなる。
【０００６】
それゆえ、本発明の目的は、ユーザが手に持って使用する操作装置を用いて従来にはない新たな操作が可能な情報処理システムおよびそれにおいて用いられるプログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、本欄における括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施形態との対応関係を示したものであって、本発明を何ら限定するものではない。
【０００８】
第１の発明は、撮像対象（マーカ８ａおよび８ｂ）を撮像するための撮像手段（撮像素子４０）を備える操作装置（コントローラ７）から操作データを受け取り、当該操作データを用いて所定の操作対象（ウィンドウ内の画像、プレイヤキャラクタ８１、プレイヤカート９１）に演算処理を加えた後の仮想空間を表示装置（モニタ２）に表示させる、情報処理装置（ゲーム装置３）のコンピュータ（ＣＰＵ１０等）で実行されるプログラムである。プログラムは、取得ステップ（Ｓ１）と、ベクトル算出ステップ（Ｓ１６）と、第１移動ステップ（Ｓ３）と、表示ステップ（Ｓ４）とを前記コンピュータに実行させる。取得ステップにおいては、前記操作装置の前記撮像手段で撮像された撮像画像を操作データとして取得する。ベクトル算出ステップにおいては、前記撮像画像における前記撮像対象の位置を用いて、２次元ベクトル（方向データ５７により示されるベクトル）を算出する。第１移動ステップにおいては、算出された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる。表示ステップにおいては、前記第１移動ステップにおける前記操作対象の移動に応じて変更される、前記仮想空間を前記表示装置の表示領域に表示させる。
【０００９】
第２の発明においては、前記ベクトル算出ステップは、第１算出ステップと、第２算出ステップとを含んでいてもよい。このとき、第１算出ステップにおいては、前記撮像画像に対応した座標系において、前記撮像対象の画像のうちの所定の２点の座標を算出する。第２算出ステップにおいては、前記所定の２点の座標を結ぶ２次元ベクトルを算出する。
【００１０】
第３の発明は、情報処理装置（ゲーム装置３）のコンピュータ（ＣＰＵ１０等）で実行されるプログラムである。情報処理装置は、操作装置（コントローラ７）から操作データを受け取り、当該操作データを用いて所定の操作対象（ウィンドウ内の画像、プレイヤキャラクタ８１、プレイヤカート９１）に演算処理を加えた後の仮想空間を表示装置（モニタ２）に表示させる。操作装置は、撮像対象を撮像するための撮像手段（撮像素子４０）と、当該撮像手段によって撮像された撮像画像に含まれる撮像対象の画像のうちの所定の２点の座標を算出する第１算出手段（画像処理手段４１）とを備えている。プログラムは、取得ステップ（Ｓ１）と、第２算出ステップと、第１移動ステップ（Ｓ３）と、表示ステップ（Ｓ４）とを前記コンピュータに実行させる。取得ステップにおいては、前記所定の２点の座標を操作データとして取得する。第２算出ステップにおいては、前記２点の座標を結ぶ２次元ベクトルを算出する。第１移動ステップにおいては、算出された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる。表示ステップにおいては、前記第１移動ステップにおける前記操作対象の移動に応じて変更される、前記仮想空間を前記表示装置の表示領域に表示させる。
【００１１】
第４の発明は、情報処理装置（ゲーム装置３）のコンピュータ（ＣＰＵ１０等）で実行されるプログラムである。情報処理装置は、操作装置（コントローラ７）から操作データを受け取り、当該操作データを用いて所定の操作対象（ウィンドウ内の画像、プレイヤキャラクタ８１、プレイヤカート９１）に演算処理を加えた後の仮想空間を表示装置（モニタ２）に表示させる。操作装置は、撮像対象を撮像するための撮像手段（撮像素子４０）と、当該撮像手段によって撮像された撮像画像における当該撮像対象の位置を用いて２次元ベクトルを算出するベクトル算出手段（画像処理手段４１）とを備えている。プログラムは、取得ステップ（Ｓ１）と、第１移動ステップ（Ｓ３）と、表示ステップ（Ｓ４）とを前記コンピュータに実行させる。取得ステップにおいては、前記２次元ベクトルデータを操作データとして取得する。第１移動ステップにおいては、取得された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる。表示ステップにおいては、前記第１移動ステップにおける前記操作対象の移動に応じて変更される前記仮想空間の画像を前記表示装置の表示領域に表示させる。
【００１２】
第５の発明においては、プログラムは、指示座標算出ステップ（Ｓ２４）を前記コンピュータにさらに実行させてもよい。指示座標算出ステップにおいては、前記取得された撮像画像における前記撮像対象の画像の位置に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する。前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる。
【００１３】
第６の発明においては、プログラムは、指示座標算出ステップを前記コンピュータにさらに実行させてもよい。指示座標算出ステップにおいては、前記２点の座標の中点座標に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する。前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる。
【００１４】
第７の発明においては、前記操作データには、前記撮像対象の画像位置に対応した少なくとも１点の座標がさらに含まれていてもよい。このとき、プログラムは、指示座標算出ステップを前記コンピュータにさらに実行させる。指示座標算出ステップにおいては、前記１点の座標に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する。前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる。
【００１５】
第８の発明においては、前記指示座標算出ステップは、第１ステップ（Ｓ３１，Ｓ３２）と、第２ステップ（Ｓ２４）とを含んでいてもよい。第１ステップにおいては、前記撮像手段によって撮像された画像を、画像中心を軸として回転させ、当該回転によって前記２次元ベクトルが一定の方向になるようにした場合における、前記撮像対象の画像の位置を算出する。第２ステップにおいては、前記第１ステップにおいて算出された座標位置に対応させて前記表示領域上の位置に対応した指示座標を算出する。
【００１６】
第９の発明においては、プログラムは、指示座標算出ステップを前記コンピュータにさらに実行させてもよい。指示座標算出ステップにおいては、前記表示領域上の位置に対応した所定の座標を指示座標として設定する。前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる。
【００１７】
第１０の発明においては、プログラムは、オブジェクト配置ステップ（Ｓ４２，Ｓ５１）を前記コンピュータにさらに実行させるようにしてもよい。オブジェクト配置ステップにおいては、前記仮想空間内に少なくとも１つのオブジェクト（プレイヤキャラクタ８１，プレイヤカート９１）を配置する。前記第１移動ステップにおいては、前記仮想空間に配置されるオブジェクトのいずれかを前記操作対象とし、移動させる。
【００１８】
第１１の発明においては、プログラムは、オブジェクト配置ステップ（Ｓ４２，Ｓ５１）と、判別ステップ（Ｓ２５）と、操作対象設定ステップとを前記コンピュータにさらに実行させるようにしてもよい。オブジェクト配置ステップにおいては、前記仮想空間内に少なくとも１つのオブジェクトを配置する。判別ステップにおいては、前記指示座標算出ステップにおいて算出された指示座標に対応した表示領域上の位置に、当該オブジェクトが表示されるか否か判別する。操作対象設定ステップにおいては、前記指示座標に対応した位置にオブジェクトが表示される場合には、当該オブジェクトを前記操作対象として設定する。前記第１移動ステップにおいては、前記操作対象設定ステップにおいて設定されたオブジェクトを移動させる。
【００１９】
第１２の発明においては、前記仮想空間は仮想的な３次元空間であってもよい。このとき、前記オブジェクト配置ステップにおいては、３次元の仮想空間に３次元のオブジェクトが配置される。前記第１移動ステップにおいては、前記仮想空間内における予め決められた３次元の方向に前記オブジェクトが移動される。
【００２０】
第１３の発明においては、前記仮想空間は仮想的な３次元空間であってもよい。このとき、プログラムは、仮想カメラ設定ステップ（Ｓ５１）と、操作対象設定ステップとを前記コンピュータにさらに実行させる。仮想カメラ設定ステップにおいては、当該仮想空間内における所定位置に所定方向を向く仮想カメラを設定する。操作対象設定ステップにおいては、前記仮想カメラを前記操作対象とする。前記第１移動ステップにおいては、前記仮想カメラを前記操作対象とし、前記仮想空間内における予め決められた３次元の方向に移動させる。前記表示ステップにおいては、前記仮想カメラから見た前記仮想空間の画像が前記画面に表示される。
【００２１】
第１４の発明においては、前記仮想空間は仮想的な３次元空間であってもよい。このとき、プログラムは、３次元指示座標設定ステップ（Ｓ４６）を前記コンピュータにさらに実行させる。３次元指示座標設定ステップにおいては、前記指示座標算出ステップで算出された指示座標に対応する前記仮想空間内での３次元座標（第２実施例における目標位置の座標）を算出して３次元指示座標として設定する。前記第１移動ステップにおいては、前記２次元ベクトルと、前記３次元指示座標とを用いた演算によって操作対象を移動させる。
【００２２】
第１５の発明においては、前記第１移動ステップにおいて、前記指示座標算出ステップにおいて算出された位置に向かう方向に前記操作対象を移動させてもよい。
【００２３】
第１６の発明においては、前記第１移動ステップにおいて、前記３次元指示座標算出ステップにおいて算出された位置に向かう方向に前記操作対象を移動させてもよい。
【００２４】
第１７の発明においては、前記仮想空間には、前記表示ステップにおいて前記表示領域の所定範囲（ウィンドウ）内に表示されるべきオブジェクト（ウィンドウ内の画像。例えば第１実施例のメニュー画像）が含まれてもよい。なお、仮想空間とは、例えば、３次元的に構築されるゲーム空間の他、２次元の仮想空間や、パーソナルコンピュータのデスクトップ画面を含む概念である。このとき、前記第１移動ステップにおいては、前記所定範囲内に表示される画像が、前記予め決められた方向へスクロールするように、オブジェクトの表示内容を移動させる。
【００２５】
第１８の発明においては、前記仮想空間には、前記表示ステップにおいて前記表示領域の所定範囲（ウィンドウ）内に表示されるべきオブジェクト（ウィンドウ内の画像。例えば第１実施例のメニュー画像）が含まれてもよい。このとき、プログラムは、操作対象設定ステップ（Ｓ２５）を前記コンピュータにさらに実行させる。操作対象設定ステップにおいては、前記指示座標が所定範囲に対応する範囲に含まれるか否か判別し、含まれる場合には前記オブジェクトを操作対象として設定する。前記第１移動ステップにおいては、前記所定範囲内に表示される画像が、前記予め決められた方向へスクロールするように、前記操作対象設定ステップにおいて設定されたオブジェクトの表示内容を移動させる。
【００２６】
第１９の発明においては、前記仮想空間には、前記表示ステップにおいて前記表示領域の所定範囲内に選択可能な項目を表す項目画像として表示されるオブジェクトが含まれていてもよい。このとき、前記第１移動ステップにおいては、前記所定範囲内に表示される選択項目が、前記予め決められた方向へスクロールして次々と表示されるように、前記操作対象設定ステップにおいて設定されたオブジェクトの表示内容を移動させる。プログラムは、選択入力受付ステップ（Ｓ２６）と、項目判断ステップ（Ｓ２７，Ｓ２８）とを前記コンピュータにさらに実行させる。選択入力受付ステップにおいては、前記項目を選択する旨の指示入力を受け付ける。項目判断ステップにおいては、前記指示座標算出ステップにおいて算出された位置に前記項目画像が表示されている時点で前記指示入力が受け付けられたとき、当該項目画像により表される項目が選択されたと判断する。
【００２７】
第２０の発明においては、前記操作対象の移動経路が予め設定されていてもよい。このとき、第１ステップにおいては、当該経路に沿った方向へ前記操作対象を移動させる。
【００２８】
第２１の発明においては、プログラムは、傾き算出ステップ（Ｓ３３，Ｓ４４，Ｓ５３）を前記コンピュータにさらに実行させてもよい。傾き算出ステップにおいては、前記２次元ベクトルの方向と、所定の基準方向との差を角度またはベクトルとして求める。前記第１移動ステップにおいては、前記傾き算出ステップで算出された差に応じて前記操作対象を移動させる。
【００２９】
第２２の発明においては、前記第１移動ステップにおいて、前記傾き算出ステップで算出された差の値に応じて、前記操作対象の移動量が決定されてもよい。
【００３０】
第２３の発明においては、前記第１移動ステップにおいて、前記傾き算出ステップで算出された差の値に応じて、前記操作対象が移動する速度が決定されてもよい。
【００３１】
第２４の発明においては、前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象が移動する加速度が決定されてもよい。
【００３２】
第２５の発明においては、前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象の移動方向に沿った位置が決定されてもよい。
【００３３】
第２６の発明においては、前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値が所定の範囲を超えたとき、前記操作対象を移動させてもよい。
【００３４】
第２７の発明においては、前記操作対象は、前記予め決められた２方向に移動可能であってもよい。このとき、前記第１移動ステップにおいては、前記２方向のうちで前記操作対象が移動する方向は前記傾き算出ステップで算出された差の値と所定の基準値との比較結果に応じて決定される。
【００３５】
第２８の発明においては、前記情報処理装置は、記憶手段（メインメモリ１３）と、操作受付手段（コントローラ７の操作部３２）とを備えていてもよい。記憶手段は、前記基準方向を記憶する。操作受付手段は、ユーザから所定の操作を受け付ける。プログラムは、記憶制御ステップ（Ｓ４１）を前記コンピュータにさらに実行させる。記憶制御ステップにおいては、前記操作受付手段によって前記所定の操作が受け付けられた時点における前記算出された２次元ベクトルを新たな基準方向として前記記憶手段に記憶させる。
【００３６】
第２９の発明においては、前記情報処理装置は、記憶手段（メインメモリ１３）を備えていてもよい。記憶手段は、前記基準方向を記憶する。プログラムは、記憶制御ステップを前記コンピュータにさらに実行させる。記憶制御ステップにおいては、新たに２次元ベクトルが算出されたとき、前回に算出された２次元ベクトルの方向を前記基準方向として前記記憶手段に記憶させる。
【００３７】
第３０の発明においては、前記操作装置は、自機の傾きを検出する傾き検出手段（加速度センサ３７）を備えていてもよい。このとき、プログラムは、判定ステップと、傾き取得ステップと、第２移動ステップとを前記コンピュータにさらに実行させる。判定ステップにおいては、前記取得された画像から前記ベクトル算出ステップによってベクトルが算出可能か否かを判定する。傾き取得ステップにおいては、前記判定ステップによってベクトルが算出不可能と判定されたとき、前記傾き検出手段によって検出される前記操作装置の傾きを示す傾きデータを取得する。第２移動ステップにおいては、前記判定ステップにおいて方向が算出不可能と判定されたとき、前記傾きデータにより示される傾きに応じて、前記予め決められた方向に前記操作対象を移動させる。前記ベクトル算出ステップにおいては、前記判定ステップにおいてベクトルが算出不可能と判定されたときにはベクトルを算出する処理が停止される。
【００３８】
第３１の発明は、操作装置（コントローラ７）と、情報処理装置（ゲーム装置３）と、表示装置（モニタ２）とを含む情報処理システムである。操作装置は、ユーザによって操作可能であり所定の撮像対象（マーカ８ａおよび８ｂ）を撮像するための撮像手段（撮像素子４０）を備える。情報処理装置は、当該操作装置が通信可能に接続される。表示装置は、当該情報処理装置によって処理された結果を表示する。情報処理システムは、表示制御手段（ステップＳ４を実行するＣＰＵ１０等。以下、単にステップ番号のみを記載する。）と、第１算出手段（画像処理回路４１）と、第２算出手段（Ｓ１６）と、第１移動手段（Ｓ３）とを備える。表示制御手段は、前記表示装置にウィンドウを表示する。第１算出手段は、前記撮像手段によって撮像された撮像画像に含まれる撮像対象の画像のうちの所定の２点の座標を算出する。第２算出手段は、前記２点の座標を結ぶ２次元ベクトルを算出する。第１移動手段は、算出された前記２次元ベクトルの値とこれよりも前に算出された２次元ベクトルの値とに基づいて回転量を求め、当該回転量に応じて前記ウィンドウ内をスクロールさせる。
【００３９】
第３２の発明においては、前記表示制御手段は、複数のウィンドウを表示する複数表示機能を含んでいてもよい。情報処理システムは、指示座標算出手段をさらに備えている。指示座標算出手段は、撮像画像における所定の２点の座標の位置関係から前記表示装置の表示領域上の１点の指示座標を算出する。前記第１移動手段は、前記指示座標と重なるウィンドウを検出し、前記回転量に応じて当該ウィンドウ内をスクロールさせる。
【発明の効果】
【００４０】
第１の発明によれば、ベクトル算出ステップによって、撮像対象の画像（撮像画像）から２次元のベクトルが算出される。この２次元ベクトルの値は、撮像装置を備える操作装置の回転状態によって変化する。したがって、この方向に応じて移動するように操作対象を表示することによって、操作装置を回転させる操作に応じて操作対象を移動させることができる。すなわち、第１の発明によれば、ユーザが手に持って使用する操作装置を用いて、操作装置自体を回転させるという今までにない操作によって操作対象を移動させるという、新規な操作方法を提供することができる。また、第１の発明によれば、撮像画像が操作装置から取得されるので、操作装置は、画像を撮像する機能のみを有すればよい。したがって、操作装置の構成を簡易化することができる。
【００４１】
第２の発明によれば、撮像対象の画像のうちの所定の２点の位置が算出されるので、当該２点の位置を用いて２次元ベクトルを容易に算出することができる。
【００４２】
第３の発明によれば、第１の発明と同様、ユーザが手に持って使用する操作装置を用いて、操作装置自体を回転させるという今までにない操作によって操作対象を移動させるという、新規な操作方法を提供することができる。また、第３の発明によれば、操作装置によって撮像対象の画像のうちの所定の２点の位置が算出されるので、情報処理装置は、当該２点の位置を用いて２次元ベクトルを容易に算出することができる。すなわち、情報処理装置のコンピュータにおける処理負荷を軽減することができる。
【００４３】
第４の発明によれば、第１の発明と同様、ユーザが手に持って使用する操作装置を用いて、操作装置自体を回転させるという今までにない操作によって操作対象を移動させるという、新規な操作方法を提供することができる。また、第４の発明によれば、操作装置によって２次元ベクトルが算出されるので、情報処理装置は、２次元ベクトルを算出する処理を実行する必要がない。すなわち、情報処理装置のコンピュータにおける処理負荷を軽減することができる。
【００４４】
第５の発明によれば、指示座標算出ステップによって、撮像画像内における撮像対象の画像の位置から、表示領域上の位置が算出される。したがって、ユーザは、ユーザが手に持って使用するタイプの操作装置を用いて、表示領域上の位置を指定することができる。さらに、このようなユーザによって指定される位置と２次元ベクトルとを用いて操作対象が移動される。したがって、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いてより複雑な移動操作が可能となり、ユーザは、操作対象の移動をより詳細に制御することができる。
【００４５】
第６の発明によれば、指示座標算出ステップによって、撮像画像内における撮像対象の画像の位置から、表示領域上の位置が算出される。したがって、ユーザは、ユーザが手に持って使用するタイプの操作装置を用いて、表示領域上の位置を指定することができる。さらに、このようなユーザによって指定される位置と２次元ベクトルとを用いて操作対象が移動されるので、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いてより複雑な移動操作が可能となり、ユーザは、操作対象の移動をより詳細に制御することができる。
【００４６】
第７の発明によれば、指示座標算出ステップによって、撮像画像内における撮像対象の画像の位置から、表示領域上の位置が算出される。したがって、ユーザは、ユーザが手に持って使用するタイプの操作装置を用いて、表示領域上の位置を指定することができる。さらに、このようなユーザによって指定される位置と２次元ベクトルとを用いて操作対象が移動されるので、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いてより複雑な移動操作が可能となり、ユーザは、操作対象の移動をより詳細に制御することができる。
【００４７】
ここで、撮像画像内における対象画像の位置は、操作装置の回転状態によって異なる（図２３参照）。つまり、操作装置がある１箇所の位置を指し示す状態であっても、操作装置の回転状態によって対象画像の位置が異なってしまう場合がある。この場合、操作装置が指し示す位置（すなわち、指示座標算出ステップで算出される指示座標の位置）を対象画像の位置から正確に算出することができない。これに対して、第８の発明によれば、撮像画像の向きが一定となるように撮像対象の画像を回転させたときの当該撮像画像の位置を算出している。これによって、操作装置の回転状態の影響をなくすことができるので、位置算出ステップで算出される画面上または仮想空間内の位置を、撮像画像の位置から正確に算出することができる。
【００４８】
第９の発明によれば、指示座標算出ステップによって、撮像画像内における撮像対象の画像の位置から、表示領域上の位置が算出される。したがって、ユーザは、ユーザが手に持って使用するタイプの操作装置を用いて、表示領域上の位置を指定することができる。さらに、このようなユーザによって指定される位置と２次元ベクトルとを用いて操作対象が移動されるので、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いてより複雑な移動操作が可能となり、ユーザは、操作対象の移動をより詳細に制御することができる。
【００４９】
第１０の発明によれば、操作装置自体を回転させるという今までにない操作によって、仮想空間に登場するオブジェクトに移動動作を行わせることができる。
【００５０】
第１１の発明によれば、指示座標算出ステップで算出される指示座標に対応した表示領域上の位置に表示されるオブジェクトが操作対象として設定される。したがって、ユーザは、操作装置を用いて、画面上に表示されているオブジェクトを指定する操作を行うことができる。さらに、ユーザは、この操作装置を用いて、指定されたオブジェクトを移動させることができる。したがって、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いて、操作対象となるオブジェクトの選択に関する指示と、選択したオブジェクトを移動させる指示という２種類の指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【００５１】
第１２の発明によれば、操作装置自体を回転させるという今までにない操作によって、３次元の仮想空間内に存在するオブジェクトを移動させることができる。
【００５２】
第１３の発明によれば、第１移動ステップで仮想カメラを移動させることによって、画面に表示されている仮想空間の画像の視点位置や視線方向を変化させることができる。プレイヤは、入力装置自体を回転させるという今までにない操作によって、画面に表示されている仮想空間の画像の視点位置や視線方向を変化させることができる。
【００５３】
第１４の発明によれば、操作装置自体を回転させるという今までにない操作によって、３次元の仮想空間内に存在する操作対象を移動させることができる。
【００５４】
第１５の発明によれば、指示座標により示される表示領域上の位置に操作対象が移動される。これによって、ユーザは、操作装置を用いて、表示領域上における位置を指定し、指定された位置まで操作対象を移動させることができる。したがって、ユーザは、操作装置を用いて操作対象を単に移動させるのではなく、当該操作装置を用いて所望の位置を指定して操作対象を移動させることができる。それゆえ、操作対象の移動をより詳細に操作することができる。また、ユーザは、移動を実行する指示と移動する位置を指定する指示という２種類の指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【００５５】
第１６の発明によれば、指示座標により示される仮想空間内の位置に操作対象が移動される。これによって、ユーザは、操作装置を用いて、仮想空間における位置を指定し、指定された位置まで操作対象を移動させることができる。したがって、ユーザは、操作装置を用いて操作対象を単に移動させるのではなく、当該操作装置を用いて所望の位置を指定して３次元の仮想空間内において操作対象を移動させることができる。それゆえ、操作対象の移動をより詳細に操作することができる。また、ユーザは、移動を実行する指示と移動する位置を指定する指示という２種類の指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【００５６】
第１７の発明によれば、所定領域内に表示される画像をスクロールさせる操作を、入力装置自体を回転させるという今までにない操作によって行うことができる。
【００５７】
第１８の発明によれば、指示座標により示される位置にある所定領域内のオブジェクトが操作対象として設定される。したがって、ユーザは、操作装置を用いて、表示領域内に表示されているオブジェクトを指定する操作を行うことができる。さらに、ユーザは、この操作装置を用いて、指定されたオブジェクトをスクロールさせることができる。したがって、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いて、操作対象となるオブジェクトの選択に関する指示と、選択したオブジェクトをスクロールさせる指示という２種類の指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【００５８】
第１９の発明によれば、ユーザは、操作装置を用いて、表示領域内に表示されている項目を選択する操作を行うことができる。さらに、ユーザは、この操作装置を用いて、所定領域内の画像をスクロールさせることができる。したがって、本発明によれば、ユーザは、操作対象となるオブジェクトの選択に関する指示と、選択したオブジェクトをスクロールさせる指示とに加えて、所定領域内に表示されている項目を選択する指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【００５９】
第２０の発明によれば、操作装置自体を回転させるという今までにない操作によって、操作対象を経路に沿って移動させることができる。したがって、経路を自由に設定することにより、操作対象を自由に移動させることができる。
【００６０】
第２１の発明によれば、２次元ベクトルの方向と基準方向との差に応じて操作対象が移動される。この差は、入力装置を回転させる度合いによって変化するものであるので、第２１の発明によれば、入力装置を回転させる度合いによって、操作対象の移動の様子を変化させることができる。
【００６１】
第２２の発明によれば、上記差に基づいて操作対象の移動量が決定されるので、ユーザは、操作装置を回転させる度合いを変化させることによって、操作対象の移動量を変化させることができる。これによって、ユーザは、操作対象の移動量を直感的かつ容易に制御することができる。
【００６２】
第２３の発明によれば、上記差に基づいて操作対象の速度が決定されるので、ユーザは、操作装置を回転させる度合いを変化させることによって、操作対象の速度を変化させることができる。これによって、ユーザは、操作対象の速度を直感的かつ容易に制御することができる。
【００６３】
第２４の発明によれば、上記差に基づいて操作対象の加速度が決定されるので、ユーザは、操作装置を回転させる度合いを変化させることによって、操作対象の加速度を変化させることができる。これによって、ユーザは、操作対象の加速度を直感的かつ容易に制御することができる。
【００６４】
第２５の発明によれば、上記差に基づいて操作対象の位置が決定されるので、ユーザは、操作装置を回転させる度合いを変化させることによって、操作対象の位置を変化させることができる。これによって、ユーザは、操作対象の位置を直感的かつ容易に制御することができる。
【００６５】
ここで、操作装置の回転角度に敏感に反応して操作対象が移動するとすれば、操作装置を厳密に操作することをユーザに要求することとなり、当該操作装置の操作性がかえって悪くなってしまう。これに対して、第２６の発明によれば、上記差が所定の範囲を超えないときには操作対象は移動されないので、操作装置の回転操作においていわゆる遊びの部分を設定することができる。これによって操作装置の操作性を向上することができる。
【００６６】
第２７の発明によれば、上記差の値と所定の基準値との大小関係によって操作対象が移動する方向が異なるので、ユーザは、操作装置を回転させる向きを変化させることによって、操作対象の移動方向を変化させることができる。
【００６７】
第２８の発明によれば、ユーザが所定の操作を行うことによって基準方向が更新される。したがって、ユーザは基準方向を自由に設定することができるので、自分の操作しやすいように操作装置の設定を変更することができる。
【００６８】
第２９の発明によれば、前回に算出された２次元ベクトルの方向と今回に算出された２次元ベクトルの方向との差に応じて操作対象が移動される。したがって、操作装置の相対的な回転角度によって操作対象を移動させることができる。
【００６９】
第３０の発明によれば、撮像手段が撮像対象を撮像することができる範囲（後述する操作可能範囲）を超えた状態で操作装置がユーザによって把持された場合、傾き検出手段によって検出される傾きに応じて操作対象が回転される。したがって、ユーザが操作装置を移動させる操作を行っている途中において操作可能範囲を超えた状態となっても、操作対象の回転動作を継続することができる。
【００７０】
第３１の発明によれば、第２算出ステップによって、撮像対象の画像（撮像画像）から２次元のベクトルが算出される。この２次元ベクトルの値は、撮像装置を備える操作装置の回転状態によって変化する。また、情報処理装置は、２次元ベクトルに基づいて求められる回転量に応じてウィンドウ内をスクロールさせる。したがって、ユーザは、操作装置を回転させる操作に応じて操作対象を移動させることができる。すなわち、第３１の発明によれば、ユーザが手に持って使用する操作装置を用いて、操作装置自体を回転させるという今までにない操作によってウィンドウをスクロールさせるという、新規な操作方法を提供することができる。
【００７１】
第３２の発明によれば、指示座標により示される位置にあるウィンドウがスクロールの対象となる。したがって、ユーザは、操作装置を用いて、ウィンドウを指定する操作を行うことができる。さらに、ユーザは、この操作装置を用いて、指定されたオブジェクトをスクロールさせることができる。したがって、本発明によれば、ユーザが手に持って使用するタイプの操作装置を用いて、操作対象となるウィンドウの選択に関する指示と、選択したウィンドウをスクロールさせる指示という２種類の指示を、１つの操作装置に対する姿勢操作という１種類の操作方法によって行うことができる。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施形態に係る情報処理システムの一例であるゲームシステム１の外観図
【図２】ゲーム装置３の機能ブロック図
【図３】コントローラ７の斜視図
【図４】コントローラ７を前方から見た図
【図５】コントローラ７の内部構造を示す図
【図６】コントローラ７の構成を示すブロック図
【図７】コントローラ７を用いてゲーム操作するときの状態を概説する図解図
【図８】マーカ８ａおよび８ｂとコントローラ７との視野角を説明するための図
【図９】対象画像を含む撮像画像の一例を示す図
【図１０】コントローラ７の位置および／または向きを変化させた場合における撮像画像の変化を示す図
【図１１】ゲーム装置３のメインメモリ１３に記憶される主なデータを示す図
【図１２】ゲーム装置３において実行されるゲーム処理の流れを示すフローチャート
【図１３】図１２に示す操作状態算出処理（Ｓ２）の詳細な処理の流れを示すフローチャート
【図１４】第１座標および第２座標を決定するための処理を説明するための図
【図１５】操作対象の移動動作の例を示す図
【図１６】操作対象の移動動作の例を示す図
【図１７】第１実施例におけるゲーム画面の一例を示す図
【図１８】ウィンドウ７２に表示可能なメニュー画像と、メニュー画像のうちで実際に表示される領域との関係を示す図
【図１９】回転操作によるウィンドウ内の画像の変化を説明するための図
【図２０】第１実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図
【図２１】第１実施例におけるゲーム処理の流れを示すフローチャート
【図２２】第１実施例におけるステップＳ２の詳細を示すフローチャート
【図２３】図２２に示すステップＳ３２の処理を説明するための図
【図２４】第１実施例における移動処理の詳細を示すフローチャート
【図２５】第１実施例の変形例における移動処理の詳細を示すフローチャート
【図２６】第２実施例におけるゲーム画面の一例を示す図
【図２７】第２実施例におけるゲーム画面の一例を示す図
【図２８】回転操作によるプレイヤキャラクタ８１の移動動作を説明するための図
【図２９】第２実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図
【図３０】第２実施例におけるゲーム処理の流れを示すフローチャート
【図３１】第２実施例における移動処理の詳細を示すフローチャート
【図３２】第３実施例におけるゲーム画面の一例を示す図
【図３３】回転操作によって変化するプレイヤカート９１の加速度を説明するための図
【図３４】第３実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図
【図３５】第３実施例におけるゲーム処理の流れを示すフローチャート
【図３６】第３実施例における移動処理の詳細を示すフローチャート
【発明を実施するための形態】
【００７３】
図１を参照して、本発明の一実施形態に係る情報処理システムの一例であるゲームシステム１について説明する。なお、図１は、当該ゲームシステム１を説明するための外観図である。以下、据置型ゲーム装置を一例にして、本発明のゲームシステム１について説明する。
【００７４】
図１において、当該ゲームシステム１は、家庭用テレビジョン受像機等のスピーカ２２を備えたディスプレイ（以下、モニタと記載する）２に、接続コードを介して接続される据置型ゲーム装置（以下、単にゲーム装置と記載する）３および当該ゲーム装置３に操作データを与えるコントローラ７によって構成される。また、モニタ２の周辺（図では画面の上側）には、２つのマーカ８ａおよび８ｂが設置される。マーカ８ａおよび８ｂは、具体的には赤色ＬＥＤであり、それぞれモニタ２の前方に向かって赤外光を含む光を出力する。ゲーム装置３は、接続端子を介して受信ユニット６が接続される。受信ユニット６は、コントローラ７から無線送信される操作データを受信し、コントローラ７とゲーム装置３とは無線通信によって接続される。また、ゲーム装置１には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着される。ゲーム装置３の上部主面には、当該ゲーム装置３の電源ＯＮ／ＯＦＦスイッチ、ゲーム処理のリセットスイッチ、およびゲーム装置３上部の蓋を開くＯＰＥＮスイッチが設けられている。ここで、プレイヤがＯＰＥＮスイッチを押下することによって上記蓋が開き、光ディスク４の脱着が可能となる。
【００７５】
また、ゲーム装置３には、セーブデータ等を固定的に記憶するバックアップメモリ等を搭載する外部メモリカード５が必要に応じて着脱自在に装着される。ゲーム装置３は、光ディスク４に記憶されたゲームプログラムなどを実行することによって、その結果をゲーム画像としてモニタ２に表示する。さらに、ゲーム装置３は、外部メモリカード５に記憶されたセーブデータを用いて、過去に実行されたゲーム状態を再現して、ゲーム画像をモニタ２に表示することもできる。そして、ゲーム装置３のプレイヤは、モニタ２に表示されたゲーム画像を見ながら、コントローラ７を操作することによって、ゲーム進行を楽しむことができる。
【００７６】
コントローラ７は、その内部に備える通信部３６（後述）から受信ユニット６が接続されたゲーム装置３へ、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて操作データを無線送信する。コントローラ７は、操作対象（モニタ２に表示されるオブジェクトや仮想カメラ）を操作するための操作手段である。コントローラ７は、複数の操作ボタンからなる操作部が設けられている。また、後述により明らかとなるが、コントローラ７は、当該コントローラ７から見た画像を撮像するための撮像情報演算部３５（後述）を備えている。すなわち、撮像情報演算部３５は、モニタ２の周辺に配置された各マーカ８ａおよび８ｂを撮像対象として、各マーカ８ａおよび８ｂの画像を撮像する。ゲーム装置３は、この画像を用いてコントローラ７の位置および姿勢に対応した操作信号を得る。
【００７７】
次に、図２を参照して、ゲーム装置３の構成について説明する。なお、図２は、ゲーム装置３の機能ブロック図である。
【００７８】
図２において、ゲーム装置３は、各種プログラムを実行する例えばリスク（ＲＩＳＣ）ＣＰＵ（セントラルプロセッシングユニット）１０を備える。ＣＰＵ１０は、図示しないブートＲＯＭに記憶された起動プログラムを実行し、メインメモリ１３等のメモリの初期化等を行った後、光ディスク４に記憶されているゲームプログラムを実行し、そのゲームプログラムに応じたゲーム処理等を行うものである。ＣＰＵ１０には、メモリコントローラ１１を介して、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２、メインメモリ１３、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３４、およびＡＲＡＭ（Ａｕｄｉｏ ＲＡＭ）３５が接続される。また、メモリコントローラ１１には、所定のバスを介して、コントローラＩ／Ｆ（インターフェース）１６、ビデオＩ／Ｆ１７、外部メモリＩ／Ｆ１８、オーディオＩ／Ｆ１９、およびディスクＩ／Ｆ２１が接続され、それぞれ受信ユニット６、モニタ２、外部メモリカード５、スピーカ２２、およびディスクドライブ２０が接続されている。
【００７９】
ＧＰＵ１２は、ＣＰＵ１０の命令に基づいて画像処理を行うものあり、例えば、３Ｄグラフィックスの表示に必要な計算処理を行う半導体チップで構成される。ＧＰＵ１２は、図示しない画像処理専用のメモリやメインメモリ１３の一部の記憶領域を用いて画像処理を行う。ＧＰＵ１２は、これらを用いてモニタ２に表示すべきゲーム画像データやムービー映像を生成し、適宜メモリコントローラ１１およびビデオＩ／Ｆ１７を介してモニタ２に出力する。
【００８０】
メインメモリ１３は、ＣＰＵ１０で使用される記憶領域であって、ＣＰＵ１０の処理に必要なゲームプログラム等を適宜記憶する。例えば、メインメモリ１３は、ＣＰＵ１０によって光ディスク４から読み出されたゲームプログラムや各種データ等を記憶する。このメインメモリ１３に記憶されたゲームプログラムや各種データ等がＣＰＵ１０によって実行される。
【００８１】
ＤＳＰ１４は、ゲームプログラム実行時にＣＰＵ１０において生成されるサウンドデータ等を処理するものであり、そのサウンドデータ等を記憶するためのＡＲＡＭ１５が接続される。ＡＲＡＭ１５は、ＤＳＰ１４が所定の処理（例えば、先読みしておいたゲームプログラムやサウンドデータの記憶）を行う際に用いられる。ＤＳＰ１４は、ＡＲＡＭ１５に記憶されたサウンドデータを読み出し、メモリコントローラ１１およびオーディオＩ／Ｆ１９を介してモニタ２に備えるスピーカ２２に出力させる。
【００８２】
メモリコントローラ１１は、データ転送を統括的に制御するものであり、上述した各種Ｉ／Ｆが接続される。コントローラＩ／Ｆ１６は、例えば４つのコントローラＩ／Ｆで構成され、それらが有するコネクタを介して嵌合可能な外部機器とゲーム装置３とを通信可能に接続する。例えば、受信ユニット６は、上記コネクタと嵌合し、コントローラＩ／Ｆ１６を介してゲーム装置３と接続される。上述したように受信ユニット６は、コントローラ７からの操作データを受信し、コントローラＩ／Ｆ１６を介して当該操作データをＣＰＵ１０へ出力する。なお、他の実施形態においては、ゲーム装置３は、受信ユニット６に代えて、コントローラ７から送信されてくる操作データを受信する受信モジュールをその内部に設ける構成としてもよい。この場合、受信モジュールが受信した送信データは、所定のバスを介してＣＰＵ１０に出力される。ビデオＩ／Ｆ１７には、モニタ２が接続される。外部メモリＩ／Ｆ１８には、外部メモリカード５が接続され、その外部メモリカード５に設けられたバックアップメモリ等とアクセス可能となる。オーディオＩ／Ｆ１９にはモニタ２に内蔵されるスピーカ２２が接続され、ＤＳＰ１４がＡＲＡＭ１５から読み出したサウンドデータやディスクドライブ２０から直接出力されるサウンドデータをスピーカ２２から出力可能に接続される。ディスクＩ／Ｆ２１には、ディスクドライブ２０が接続される。ディスクドライブ２０は、所定の読み出し位置に配置された光ディスク４に記憶されたデータを読み出し、ゲーム装置３のバスやオーディオＩ／Ｆ１９に出力する。
【００８３】
次に、図３〜図７を参照して、コントローラ７について説明する。図３〜図５は、コントローラ７の外観構成を示す斜視図である。図３（ａ）は、コントローラ７の上面後方から見た斜視図であり、図３（ｂ）は、コントローラ７を下面後方から見た斜視図である。図４は、コントローラ７を前方から見た図である。
【００８４】
図３および図４において、コントローラ７は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。プレイヤは、コントローラ７を用いることによって、それに設けられたボタンを押下するゲーム操作を行うことに加え、コントローラ７自体の位置や向きを変えることによってゲーム操作を行うことができる。例えば、プレイヤは、長手方向を軸としてコントローラ７を回転させることによって、操作対象に移動動作を行わせることができる。また、プレイヤは、コントローラ７によって指し示される画面上の位置を変える操作によって、例えば、当該位置に向けて操作対象を移動させることができる。ここで、「コントローラ７によって指し示される画面上の位置」とは、コントローラ７の前端部から上記長手方向に延ばした直線と、モニタ２の画面とが交わる位置である。以下では、当該位置を「指示位置」と呼ぶことがある。また、コントローラ７（ハウジング３１）の長手方向を、「コントローラ７の指示方向」と呼ぶことがある。
【００８５】
ハウジング３１には、複数の操作ボタンが設けられる。ハウジング３１の上面には、十字キー３２ａ、Ｘボタン３２ｂ、Ｙボタン３２ｃ、Ｂボタン３２ｄ、セレクトスイッチ３２ｅ、メニュースイッチ３２ｆ、およびスタートスイッチ３２ｇが設けられる。一方、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＡボタン３２ｉが設けられる。これらの各ボタン（スイッチ）は、ゲーム装置３が実行するゲームプログラムに応じてそれぞれの機能が割り当てられるが、本発明の説明とは直接関連しないため詳細な説明を省略する。また、ハウジング３１の上面には、遠隔からゲーム装置３本体の電源をオン／オフするための電源スイッチ３２ｈが設けられる。
【００８６】
また、コントローラ７は撮像情報演算部３５（図５）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射口３５ａが設けられる。一方、ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、例えば３２ピンのエッジコネクタであり、コントローラ７に他の機器を接続するために利用される。また、ハウジング３１上面の後面側には複数のＬＥＤ３４が設けられる。ここで、コントローラ７には、他のコントローラ７と区別するためにコントローラ種別（番号）が付与される。ＬＥＤ３４は、コントローラ７に現在設定されている上記コントローラ種別をプレイヤに通知するために用いられる。具体的には、コントローラ７からゲーム装置３へ操作データを送信する際、上記コントローラ種別に応じて複数のＬＥＤ３４のいずれか１つが点灯する。
【００８７】
次に、図５および図６を参照して、コントローラ７の内部構造について説明する。図５は、コントローラ７の内部構造を示す図である。なお、図５（ａ）は、コントローラ７の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図５（ｂ）は、コントローラ７の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図５（ｂ）に示す基板３００は、図５（ａ）に示す基板３００の裏面から見た斜視図となっている。
【００８８】
図５（ａ）において、ハウジング３１の内部には基板３００が固設されており、当該基板３００の上主面上に操作ボタン３２ａ〜３２ｈ、加速度センサ３７、ＬＥＤ３４、水晶振動子４６、無線モジュール４４、およびアンテナ４５等が設けられる。そして、これらは、基板３００等に形成された配線（図示せず）によってマイコン４２（図６参照）に接続される。また、無線モジュール４４およびアンテナ４５によって、コントローラ７がワイヤレスコントローラとして機能する。なお、水晶振動子４６は、後述するマイコン４２の基本クロックを生成する。
【００８９】
一方、図５（ｂ）において、基板３００の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ７の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１によって構成されおり、それぞれ基板３００の下主面に取り付けられる。また、基板３００の下主面上の後端縁にコネクタ３３が取り付けられる。そして、撮像情報演算部３５の後方であって基板３００の下主面上に操作ボタン３２ｉが取り付けられていて、それよりさらに後方に、電池４７が収容される。電池４７とコネクタ３３との間の基板３００の下主面上には、バイブレータ４８が取り付けられる。このバイブレータ４８は、例えば振動モータやソレノイドであってよい。バイブレータ４８が作動することによってコントローラ７に振動が発生するので、それを把持しているプレイヤの手にその振動が伝達され、いわゆる振動対応ゲームを実現することができる。
【００９０】
図６は、コントローラ７の構成を示すブロック図である。コントローラ７は、上述した操作部３２（各操作ボタン）および撮像情報演算部３５の他に、その内部に通信部３６および加速度センサ３７を備えている。
【００９１】
撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い場所を判別してその場所の重心位置やサイズなどを検出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ７の動きでも追跡して解析することができる。
【００９２】
具体的には、撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ７の前方から入射する光から赤外線のみを通過させる。ここで、モニタ２の表示画面近傍に配置されるマーカ８ａおよび８ｂは、モニタ２の前方に向かって赤外光を出力する赤外ＬＥＤである。したがって、赤外線フィルタ３８を設けることによってマーカ８ａおよび８ｂの画像をより正確に撮像することができる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ出射する。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤのような固体撮像素子であり、レンズ３９が集光した赤外線を撮像する。したがって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを撮像して画像データを生成する。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象（マーカ８ａおよび８ｂ）の位置を算出する。画像処理回路４１は、各マーカ８ａおよび８ｂの撮像画像内における位置を示す各座標値を通信部３６へ出力する。なお、画像処理回路４１における処理の詳細については後述する。
【００９３】
加速度センサ３７は、コントローラ７の上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸でそれぞれ加速度を検知する加速度センサである。この加速度センサによって、コントローラ７のＸ軸方向、Ｙ軸方向およびＺ軸方向に関する傾きを検知することが可能である。つまり、ゲーム装置３は、上記撮像画像からコントローラ７のＺ軸周りの回転角度を検出するだけでなく、加速度センサによっても当該回転角度を検出することが可能である。なお、加速度センサ３７は、必要な操作信号の種類によっては、上下方向および左右方向の２軸でそれぞれ加速度を検出する加速度センサが用いられてもかまわない。加速度センサ３７が検知した加速度を示すデータは、通信部３６へ出力される。なお、加速度センサ３７は、典型的には静電容量式の加速度センサが用いられるが、他の方式の加速度センサやジャイロセンサを用いてもかまわない。この加速度センサ３７から出力される加速度データに基づいて、コントローラ７の傾きを検出することができる。
【００９４】
通信部３６は、マイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理の際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータを無線送信する無線モジュール４４を制御する。
【００９５】
操作部３２、加速度センサ３７、および撮像情報演算部３５からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。ここで、通信部３６から受信ユニット６への無線送信は所定の周期毎に行われるが、ゲームの処理は１／６０を単位として行われることが一般的であるので、それよりも短い周期で送信を行うことが必要となる。マイコン４２は、受信ユニット６への送信タイミングが到来すると、メモリ４３に格納されているデータを操作データとして無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ７から送信される。微弱電波信号はゲーム装置３側の受信ユニット６で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、取得した操作データとゲームプログラムとに基づいて、ゲーム処理を行う。
【００９６】
なお、図３〜図５に示したコントローラ７の形状や、各操作スイッチの形状、数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であっても、本発明を実現することができることは言うまでもない。また、コントローラ７における撮像情報演算部３５の位置（撮像情報演算部３５の光入射口３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。このとき、上記「コントローラ７の指示方向」は、光入射口に垂直な方向となる。
【００９７】
上記コントローラ７を用いることによって、プレイヤは、各操作スイッチを押下する従来のゲーム操作に加えて、コントローラ７自身の位置を動かしたり、コントローラ７を回転させたりするという、今までにないゲーム操作を行うことができる。以下、上記コントローラ７を用いたゲーム操作について説明する。
【００９８】
図７は、コントローラ７を用いてゲーム操作するときの状態を概説する図解図である。図７に示すように、ゲームシステム１でコントローラ７を用いてゲームをプレイする際、プレイヤは、一方の手（例えば右手）でコントローラ７を把持する。ここで、マーカ８ａおよび８ｂは、モニタ２の画面の横方向と平行に配置されている。プレイヤは、コントローラ７の前面（撮像情報演算部３５が撮像する光の入射口側）がマーカ８ａおよび８ｂの方向を向く状態でコントローラ７を把持する。この状態で、プレイヤは、コントローラ７を回転させたり（図７の矢印参照）、コントローラ７が指し示す画面上の位置を変更したりすることによってゲーム操作を行う。
【００９９】
図８は、マーカ８ａおよび８ｂとコントローラ７との視野角を説明するための図である。図８に示すように、各マーカ８ａおよび８ｂは、それぞれ視野角θ１の範囲で赤外光を放射している。また、撮像情報演算部３５の撮像素子４０は、視野角θ２の範囲で入射する光を受光することができる。例えば、各マーカ８ａおよび８ｂの視野角θ１は共に３４°（半値角）であり、撮像素子４０の視野角θ２は４１°である。プレイヤは、撮像素子４０が２つのマーカ８ａおよび８ｂからの赤外光を共に受光することが可能な位置および向きとなるように、コントローラ７を把持する。具体的には、撮像素子４０の視野角θ２の中に各マーカ８ａおよび８ｂが共に存在し、かつ、マーカ８ａの視野角θ１の中であってかつマーカ８ｂの視野角θ１の中にコントローラ７が存在する範囲で、プレイヤはコントローラ７を把持する。プレイヤは、この範囲内でコントローラ７の位置および向きを変化させることによってゲーム操作を行うことができる。なお、コントローラ７の位置および向きがこの範囲外となった場合、コントローラ７の位置および向きに基づいたゲーム操作を行うことができなくなる。以下では、上記範囲を「操作可能範囲」と呼ぶ。
【０１００】
操作可能範囲内でコントローラ７が把持される場合、撮像情報演算部３５によって各マーカ８ａおよび８ｂの画像が撮像される。すなわち、撮像素子４０によって得られる撮像画像には、撮像対象である各マーカ８ａおよび８ｂの画像（対象画像）が含まれる。図９は、対象画像を含む撮像画像の一例を示す図である。対象画像を含む撮像画像の画像データを用いて、画像処理回路４１は、各マーカ８ａおよび８ｂの撮像画像における位置を表す座標を算出する。
【０１０１】
撮像画像の画像データにおいて対象画像は高輝度部分として現れるので、画像処理回路４１は、まず、この高輝度部分を対象画像の候補として検出する。次に、検出された高輝度部分の大きさに基づいて、その高輝度部分が対象画像であるか否かを判定する。撮像画像には、対象画像である２つのマーカ８ａおよび８ｂの画像８ａ’および８ｂ’の他、窓からの太陽光や部屋の蛍光灯の光によって対象画像以外の画像が含まれていることがある。上記の判定処理は、対象画像であるマーカ８ａおよび８ｂの画像８ａ’および８ｂ’とそれ以外の画像とを区別し、対象画像を正確に検出するための処理である。具体的には、当該判定処理においては、検出された高輝度部分が、予め定められた所定範囲内の大きさであるか否かが判定される。そして、高輝度部分が所定範囲内の大きさである場合、当該高輝度部分は対象画像を表すと判定され、高輝度部分が所定範囲内の大きさでない場合、当該高輝度部分は対象画像以外の画像を表すと判定される。
【０１０２】
さらに、上記の判定処理の結果、対象画像を表すと判定された高輝度部分について、画像処理回路４１は当該高輝度部分の位置を算出する。具体的には、当該高輝度部分の重心位置を算出する。対象画像が正しく検出される場合には上記判定処理によって２つの高輝度部分が対象画像として判定されるので、上記算出処理によって２箇所の位置が算出される。ここで、撮像画像における位置は、撮像画像の左上を原点とし、下向きをｙ軸正方向とし、右向きをｘ軸正方向とする座標系（ｘｙ座標系）で表現されるものとする。したがって、画像処理回路４１は、上記算出処理によって算出された２箇所の位置を示す２つの座標値を示すデータを出力する。出力された座標値のデータは、上述したように、マイコン４２によって操作データとしてゲーム装置３に送信される。
【０１０３】
ゲーム装置３は、受信した操作データに含まれる上記座標値のデータを用いて、上記指示位置（コントローラ７が指し示す画面上の位置）と、コントローラ７の指示方向を軸とした回転角度（姿勢）と、コントローラ７から各マーカ８ａおよび８ｂまでの距離を算出することができる。図１０は、コントローラ７の位置および／または向きを変化させた場合における撮像画像の変化を示す図である。図１０は、コントローラの状態と、その状態にあるときに得られる撮像画像との対応を示している。図１０において、コントローラ７が状態Ａにあるときの撮像画像を撮像画像Ｉ１とする。撮像画像Ｉ１では、対象画像である各マーカ８ａおよび８ｂの画像８ａ’および８ｂ’は、撮像画像Ｉ１の中央付近に位置している。また、対象画像８ａ’および８ｂ’は、ｘ軸方向にほぼ平行に配置されている。状態Ａは、コントローラ７がマーカ８ａとマーカ８ｂとの中間の位置を指し示している状態である。
【０１０４】
図１０に示す状態Ｂは、指示方向を軸として（Ｚ軸周りに）状態Ａから右回りに９０°だけコントローラ７を回転させた状態である。なお、以下、本明細書では、コントローラ７に関する「右回り」および「左回り」とは、コントローラ７の後方（図３に示すＺ軸負方向側）から見たときの回転方向を言うものとする。状態Ｂにおいては、撮像情報演算部３５によって撮像画像Ｉ２が得られる。撮像画像Ｉ２においては、対象画像８ａ’および８ｂ’は、撮像画像Ｉ１の状態から左回りに９０°回転している。このように、コントローラの姿勢が変化すると、撮像画像内における対象画像の向き（画像８ａ’から画像８ｂ’への向きまたは画像８ｂ’から画像８ａ’への向き）が変化する。したがって、撮像画像内における対象画像の向きを検出することによって、コントローラ７の指示方向を軸とした姿勢を知ることができる。
【０１０５】
図１０に示す状態Ｃは、状態Ａを基準としてコントローラ７を右方向（Ｘ軸正方向）に平行移動させた状態である。この状態Ｃにおいては、撮像情報演算部３５によって撮像画像Ｉ３が得られる。撮像画像Ｉ３においては、対象画像８ａ’および８ｂ’は、撮像画像Ｉ１を基準として左方向（ｘ軸負方向）に平行移動している。なお、状態Ｃは、コントローラ７の指示方向を状態Ａから右方向に向けた状態である。ここで、コントローラ７を右方向に平行移動させる場合だけでなく、コントローラ７をＹ軸周りに回転させることによっても、コントローラ７の指示方向を右方向に向けることができる。また、コントローラ７をＹ軸周りに回転させる場合にも撮像画像Ｉ３と同様の撮像画像が得られる。以上より、コントローラ７の指示方向を右方向に向けるようにコントローラ７を移動（回転）させた場合、撮像画像Ｉ３と同様の撮像画像が得られる、すなわち、対象画像８ａ’および８ｂ’が平行移動した画像が得られる。したがって、撮像画像内における対象画像の位置（後述する例では、画像８ａ’と画像８ｂ’の中点の位置）を検出することによって、コントローラ７が指し示す方向を知ることができる。
【０１０６】
次に、ゲーム装置３において行われるゲーム処理の詳細を説明する。まず、ゲーム処理において用いられる主なデータについて図１１を用いて説明する。図１１は、ゲーム装置３のメインメモリ１３に記憶される主なデータを示す図である。図１１に示すように、メインメモリ１３には、現在操作データ５０、前操作データ５３、操作状態データ５６、および操作対象データ５８等が記憶される。なお、メインメモリ１３には、図１１に示すデータの他、ゲームに登場するプレイヤキャラクタに関するデータ（プレイヤキャラクタの画像データや位置データ等）やゲーム空間に関するデータ（地形データ等）等、ゲーム処理に必要なデータが記憶される。
【０１０７】
現在操作データ５０は、コントローラ７から送信されてくる操作データであり、最新の操作データである。現在操作データ５０には、現在第１座標データ５１および現在第２座標データ５２が含まれる。現在第１座標データ５１は、２つのマークのうちの一方の画像の位置（取得画像内における位置）を表す座標のデータである。現在第２座標データ５２は、他方のマークの画像の位置（取得画像内における位置）を表す座標のデータである。なお、マークの画像の位置は、上記ｘｙ座標系（図９参照）によって表される。以下では、現在第１座標データ５１により示される座標を第１座標と呼び、現在第２座標データ５２により示される座標を第２座標と呼ぶ。なお、第１座標および第２座標は、後述する方向データ５７を正しく算出するために区別され、いずれがマーカ８ａの画像の位置を示し、いずれがマーカ８ｂの画像の位置を示すものであってもよい。ただし、前回のフレームで第１座標が一方のマーカの画像の位置を示している場合、次のフレームにおいても第１座標は当該一方のマーカの画像の位置を示すように設定する必要がある（後述するステップＳ１３〜Ｓ１５参照）。
【０１０８】
また、現在操作データ５０には、撮像画像から得られる座標データ（現在第１座標データ５１および現在第２座標データ５２）の他、操作部３２や加速度センサ３７から得られるデータが含まれる。ゲーム装置３は、所定時間間隔（例えば、１フレーム時間間隔）で操作データをコントローラ７から取得する。取得された操作データのうちで最新の操作データが現在操作データ５０としてメインメモリ１３に記憶される。
【０１０９】
前操作データ５３には、前第１座標データ５４および前第２座標データ５５が含まれる。前第１座標データ５４は、現在第１座標データ５１よりも１つ前に取得された第１座標データである。すなわち、新たに操作データが取得されたとき、それまでの現在第１座標データ５１が前第１座標データ５４として記憶される。そして、新たに取得された操作データに含まれる座標データのうちの一方が新たな現在第１座標データ５１としてメインメモリ１３に記憶される。また、前第２座標データ５５は、前第１座標データ５４と同様、現在第２座標データ５２よりも１つ前に取得された第１座標データである。すなわち、新たに操作データが取得されたとき、それまでの現在第２座標データ５２が前第２座標データ５５として記憶され、新たに取得された操作データに含まれる座標データのうちの他方（現在第１座標データでない方）が新たな現在第２座標データ５２としてメインメモリ１３に記憶される。
【０１１０】
操作状態データ５６は、撮像画像に基づいて判断される、コントローラ７の操作状態を示すデータである。操作状態データ５６は、撮像画像に含まれる対象画像の位置や向きや大きさを示すデータである。操作状態データ５６には、方向データ５７が含まれる。方向データ５７は、第１座標から第２座標への方向を示すデータである。ここでは、方向データ５７は、第１座標の位置を始点とし第２座標の位置を終点とするベクトルのデータとする。方向データ５７は、取得画像内における対象画像（マーカ８ａおよび８ｂ）の向きを示す。
【０１１１】
操作対象データ５８は、画面上またはゲーム空間内における操作対象の位置および姿勢を示すデータである。ここで、操作対象とは、画面に表示されているオブジェクトや、仮想のゲーム空間に登場するオブジェクトの他、仮想の３次元ゲーム空間が構築される場合には、当該３次元ゲーム空間を画面に表示するための仮想カメラであってもよい。さらに
、操作対象は、画面に表示される画像、または、画面に表示されるウィンドウ内の画像であってもよい。また、操作対象データ５８には、位置データ５９が含まれる。位置データ５９は、操作対象のゲーム空間における位置、または、画面上における位置を示すデータである。また、操作対象がウィンドウ内の画像である場合、位置データ５９は、ウィンドウに表示可能な画像の領域全体のうちで、ウィンドウ内に実際に表示される画像の領域の位置を示すデータである。
【０１１２】
次に、ゲーム装置３において行われるゲーム処理の詳細を、図１２〜図１４を用いて説明する。図１２は、ゲーム装置３において実行されるゲーム処理の流れを示すフローチャートである。ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ１３等の各ユニットが初期化される。そして、光ディスク４に記憶されたゲームプログラムがメインメモリ１３に読み込まれ、ＣＰＵ１０によって当該ゲームプログラムの実行が開始される。図１２に示すフローチャートは、以上の処理が完了した後に行われるゲーム処理を示すフローチャートである。なお、図１２〜図１４に示すフローチャートにおいては、ゲーム処理のうち、コントローラ７の位置および向きに関するゲーム操作に基づいて行われるゲーム処理について詳細に示し、本願発明と直接関連しない他のゲーム処理については詳細な説明を省略する。
【０１１３】
図１２に示すステップＳ１において、コントローラ７から操作データが取得される。ＣＰＵ１０は、操作データを現在操作データ５０としてメインメモリ１３に記憶する。また、それまでの現在第１座標データ５１および現在第２座標データ５２の内容が、前第１座標データ５４および前第２座標データ５５としてメインメモリ１３に記憶される。なお、この時点では、操作データに含まれる２つの座標データのうち、いずれが現在第１座標データ５１となり、いずれが現在第２座標データ５２となるかが決定されていない。したがって、この時点では、現在第１座標データ５１および現在第２座標データ５２はメインメモリ１３に記憶されておらず、操作データに含まれる２つの座標データは現在第１座標データ５１および現在第２座標データ５２とは別にメインメモリ１３に記憶される。
【０１１４】
また、ステップＳ１で取得される操作データには、マーカ８ａおよび８ｂの撮像画像内における位置を示す座標データの他、コントローラ７の各操作ボタンが押下されたか否かを示すデータ、および、コントローラ７の上下方向および左右方向の加速度を示すデータが含まれている。ここでは、コントローラ７は１フレーム時間間隔で操作データを送信し、ＣＰＵ１０は、１フレーム毎に操作データを取得するものとする。したがって、図１２に示すステップＳ１〜Ｓ５の処理ループは、１フレーム毎に繰り返し実行される。
【０１１５】
ステップＳ１の次のステップＳ２において、操作状態算出処理が実行される。操作状態算出処理においては、コントローラ７からの操作データに基づいてコントローラ７の操作状態（コントローラ７の位置や向き等に対応した値）が算出される。以下、図１３および図１４を用いて操作状態算出処理の詳細を説明する。
【０１１６】
図１３は、図１２に示す操作状態算出処理（Ｓ２）の詳細な処理の流れを示すフローチャートである。操作状態算出処理においては、まずステップＳ１１において、コントローラ７の撮像情報演算部３５によって２つのマーカ８ａおよび８ｂが撮像されたか否かが判定される。ステップＳ１１の判定処理は、コントローラ７が上記操作可能範囲内で把持されているか否かを判定するための処理である。撮像情報演算部３５によって２つのマーカ８ａおよび８ｂが撮像がされない場合（コントローラ７が操作可能範囲内で把持されていない場合）、コントローラ７からの操作データには座標データが２つ含まれない。すなわち、撮像情報演算部３５によって１つのマーカのみが撮像される場合には、画像処理回路４１は座標データを１つのみ出力するので、コントローラ７からの操作データには座標データが１つのみ含まれる。また、撮像情報演算部３５によってマーカが撮像されない場合には、画像処理回路４１は座標データを出力しないので、コントローラ７からの操作データには座標データが含まれない。したがって、ステップＳ１１の判定は、ステップＳ１で取得された操作データに座標データが２つ含まれるか否かによって行うことができる。ステップＳ１１の判定において、２つのマーカ８ａおよび８ｂが撮像されたと判定される場合、ステップＳ１３の処理が行われる。一方、ステップＳ１１の判定において、２つのマーカ８ａおよび８ｂが撮像されていないと判定される場合、ステップＳ１２の処理が行われる。
【０１１７】
ステップＳ１２において、メインメモリ１３に記憶されている操作状態データ５６の内容がクリアされる。なお、メインメモリ１３に操作状態データ５６が記憶されていない場合、後述する移動処理において操作対象の移動が行われない。つまり、本実施形態では、２つのマーカが撮像されない場合にはゲーム操作が行われない。ステップＳ１２の後、ＣＰＵ１０は操作状態算出処理を終了する。
【０１１８】
一方、ステップＳ１３〜Ｓ１５において、２つの座標データのいずれが第１座標であり、いずれが第２座標であるかが決定される。図１４は、第１座標および第２座標を決定するための処理を説明するための図である。図１４においては、点線で示す点Ｐ１’が前回の第１座標の位置を表し、点Ｐ２’が前回の第２座標の位置を表す。また、実線で示す点Ｐ１および点Ｐ２が、今回取得された２つの座標データにより示される座標の位置を表す。
【０１１９】
図１４において、新たに取得された２つの座標データにより示される座標Ｐ１およびＰ２については、これらの座標Ｐ１およびＰ２のみからでは、いずれが第１座標でいずれが第２座標かを検出することができない。つまり、座標Ｐ１’が移動して座標Ｐ１となったのか、それとも、座標Ｐ２’が移動して座標Ｐ１となったのかを、ゲーム装置３は座標Ｐ１およびＰ２のみからでは判断することができない。なお、第１座標と第２座標とは、いずれの一方がマーカ８ａの画像の位置を示し、他方がマーカ８ｂの画像の位置を示すものであってもよいが、第１座標から第２座標への方向を算出する（後述するステップＳ１６）都合上、第１座標と第２座標とが逆に検出されてしまうと、算出される方向が逆方向になってしまう。したがって、前回の第１座標が今回は第２座標として検出されると、ステップＳ１６において誤った方向が算出されてしまう。
【０１２０】
そこで、本実施形態においては、前回の座標と今回の座標との距離に基づいて、第１座標および第２座標を検出する。すなわち、新たに取得された２つの座標のうち、前回の第１座標に近い方の座標を第１座標とし、他方を第２座標とする。図１４を例にとって説明すると、前回の第１座標Ｐ１’に近い方の座標Ｐ１が第１座標に設定され、他方の座標Ｐ２が第２座標に決定される。なお、あるフレームから次のフレームまでの間においてコントローラ７が９０°よりも大きく回転した場合、前回の第１座標に遠い方の座標が正しい第１座標となる。しかし、座標が取得される（撮像情報演算部３５による撮像が行われる）時間間隔は通常非常に短い（例えば、１／６０秒間隔）ので、１フレームの間にコントローラ７が９０°よりも大きく回転することは実際にはあり得ないと考えられる。そのため、前回の第１座標に近い方の座標を第１座標とすることによって、第１座標を正しく判断することができる。
【０１２１】
具体的には、ステップＳ１３において、前回のフレームにおいて第１座標および第２座標が検出されているか否かが判定される。ステップＳ１３の判定は、メインメモリ１３に操作状態データ５６が記憶されているか否かによって行われる。なお、前回のフレームにおいてステップＳ１２が実行された場合には、メインメモリ１３に操作状態データ５６が記憶されていない。この場合、前回のフレームにおいて第１座標および第２座標の少なくとも一方が取得されていないので、前回の座標を用いて第１座標および第２座標を判断することができない。一方、前回のフレームにおいてステップＳ１３が実行された場合には、メインメモリ１３に操作状態データ５６が記憶されている。この場合、前回の座標を用いて第１座標および第２座標を判断することができる。ステップＳ１３の処理は、前回の座標を用いて第１座標および第２座標を判断するか否かを判定するための処理である。ステップＳ１３の判定において、前回のフレームにおいて第１座標および第２座標が検出されている場合、ステップＳ１４の処理が実行される。一方、前回のフレームにおいて第１座標および第２座標の少なくとも一方が検出されていない場合、ステップＳ１５の処理が実行される。
【０１２２】
ステップＳ１４においては、ステップＳ１で取得された操作データに含まれる２つの座標データにより示される２つの座標のうち、前回の第１座標に近い方が第１座標に設定される。具体的には、ＣＰＵ１０は、メインメモリ１３に記憶されている前第１座標データ５４と上記２つの座標データとを参照して、当該２つの座標データにより示される座標のうちで、前第１座標データ５４により示される座標に近い方の座標を特定する。そして、特定した座標の座標データを現在第１座標データ５１としてメインメモリ１３に記憶する。また、もう一方の座標データを現在第２座標データ５２としてメインメモリ１３に記憶する。
【０１２３】
一方、ステップＳ１５においては、上記２つの座標データにより示される座標のうち、予め定められた所定の条件に従って一方の座標を第１座標に決定する。所定の条件はどのような条件であってもよいが、ＣＰＵ１０は、例えば、ｙ座標値が小さい方の座標を第１座標に決定し、他方の座標を第２座標に決定する。第１座標に決定された座標データは、現在第１座標データ５１としてメインメモリ１３に記憶され、第２座標に決定された座標データは、現在第２座標データ５２としてメインメモリ１３に記憶される。
【０１２４】
ステップＳ１６において、第１座標から第２座標への方向が算出される。具体的には、ＣＰＵ１０は、現在第１座標データ５１および現在第２座標データ５２を参照して、第１座標の位置を始点とし第２座標の位置を終点とするベクトルを算出する。算出されたベクトルのデータは、方向データ５７としてメインメモリ１３に記憶される。算出されたベクトルは、コントローラ７の指示方向に関する回転角度を示している。つまり、このステップＳ１６によって、コントローラ７の指示方向に関する回転角度が算出されたこととなる。以上のステップＳ１６の後、ＣＰＵ１０は操作状態算出処理を終了する。
【０１２５】
図１２の説明に戻り、ステップＳ３において、操作対象を移動させる移動処理が実行される。この移動処理においては、ステップＳ１６で算出された方向に応じて、予め決められた方向へ操作対象が移動される。以下、ステップＳ３の詳細を説明する。
【０１２６】
ステップＳ３における操作対象としては、仮想のゲーム空間に登場するオブジェクト、仮想カメラ、および、画面全体に表示されるまたはウィンドウ内に表示される画像が考えられる。つまり、本実施形態においては、ゲーム空間をオブジェクトが移動する様子が画面に表示されてもよいし、ゲーム空間を見る視点が移動しながらゲーム空間の画像が画面に表示されてもよい。さらに、ウィンドウ内に表示される画像がスクロールして表示されてもよいし、画面全体に表示される画像がスクロールして表示されてもよい。
【０１２７】
また、ステップＳ３における操作対象の移動動作は、予め決められた方向へ移動する動作であればどのようなものであってもよい。ここで、「予め決められた方向」とは、予め固定的に決められている方向、および、ユーザやゲーム状況によってその都度可変的に決められる方向であってもよい。例えば、ユーザによって指定された位置（画面上における位置、または、ゲーム空間内における位置）に向かって操作対象が移動するようにしてもよい。
【０１２８】
図１５および図１６は、操作対象の移動動作の例を示す図である。なお、図１５および図１６では、ゲーム空間に登場するオブジェクトＯｂを操作対象の一例として示している。ゲーム装置３は、図１５（ａ）に示すように直線的にオブジェクトＯｂを移動させてもよいし、図１５（ｂ）に示すように、予め決められた軌跡Ｔｒに沿った方向にオブジェクトＯｂを移動させてもよい。また、ゲーム装置３は、ある一方向およびその逆方向の双方向に可逆に操作対象を移動させてもよいし、ある一方向にのみ操作対象を移動させてもよい。
【０１２９】
また、操作対象の移動動作は、画面上を移動する動作であってもよいし、ゲーム空間内を移動する動作であってもよい。図１６は、仮想の３次元ゲーム空間においてオブジェクトが移動する様子を示す図である。図１６においては、移動前のオブジェクトＯｂを点線で示し、移動後のオブジェクトＯｂを実線で示している。図１６において、Ｙ軸の負方向から正方向に見たゲーム空間が画面に表示される場合、図１６（ａ）のようにオブジェクトＯｂが画面の奥側（Ｙ軸正方向側）に移動すると、オブジェクトＯｂは小さくなったように表示される（図１６（ｂ））。このように、ゲーム空間内を操作対象が移動する場合には、画面の表示上は操作対象が移動していることがわかりにくい場合がある。しかし、操作対象の移動動作は、画面上を移動する動作に限らず、ゲーム空間内を移動する動作であってもよく、移動していることが表示上はわかりにくいものであってもよい。
【０１３０】
また、ステップＳ３において、ゲーム装置３は、ステップＳ１６で算出された方向に応じて操作対象を移動させる。具体的には、ゲーム装置３は、ステップＳ１６で算出された方向に基づいて、操作対象を移動させる方向を決定してもよいし、操作対象を移動させる移動量を決定してもよいし、操作対象を移動させる速度（単位時間当たりの移動量）や加速度を決定してもよい。
【０１３１】
ステップＳ１６で算出された方向に基づいて操作対象の移動方向を決定する場合、ゲーム装置３は、例えば、当該方向と、予め決められた基準方向との角度差に応じて移動方向を決定することができる。具体的には、当該角度差が正である場合と当該角度差が負である場合とで逆向きに操作対象を移動させるようにしてもよい。
【０１３２】
また、ステップＳ１６で算出された方向に基づいて操作対象の移動量を決定する場合、ゲーム装置３は、例えば、当該方向と上記基準方向との角度差に応じて移動量を決定することができる。具体的には、角度差が大きくなるほど操作対象の移動量を大きくするようにしてもよいし、角度差が所定値以上になったときにのみ操作対象を移動させるようにしてもよい。また、ステップＳ１６で算出された方向に基づいて操作対象の速度（加速度）を決定する場合には、角度差が大きくなるほど操作対象の速度（加速度）を大きくするようにしてもよい。
【０１３３】
操作対象の移動量や速度や加速度（以下、移動量等と記載する）は、ステップＳ１６で算出された方向に基づいて決定されてもよいし、当該方向に基づいて操作対象の移動方向が決定される場合には、予め決められた量に決定されてもよい。ステップＳ１６で算出された方向に基づいて操作対象の移動量等が決定される場合、当該移動量等は、ステップＳ１６で算出された方向を示すベクトルのみに基づいて決定されてもよいし、当該ベクトルと上記基準方向を表すベクトルとの角度差に基づいて決定されてもよいし、当該ベクトルと前回のフレームにおけるベクトルとの角度差に基づいて決定されてもよい。より具体的には、当該ベクトルの方向と、当該ベクトルがその方向を向くときに操作対象が移動すべき移動量との対応を予め定めておき、当該対応に基づいてベクトルから操作対象の移動量を算出してもよい。また、当該ベクトルと基準方向を表すベクトルとのなす角度（角度差）を算出し、角度差が大きいほど操作対象の移動量が大きくなるように移動量を算出するようにしてもよい。また、前回のフレームにおけるベクトルと今回のフレームにおけるベクトルとのなす角度（角度差）を算出し、角度差が大きいほど操作対象の移動量が大きくなるように移動量を算出するようにしてもよい。
【０１３４】
ステップＳ３において、ゲーム装置３は、以上のように算出された移動量等に従って操作対象の移動後の位置を決定する。ステップＳ３で決定された操作対象の移動後の位置を示すデータは、位置データ５９としてメインメモリ１３に記憶される。
【０１３５】
図１２の説明に戻り、ステップＳ３の次のステップＳ４において、表示処理が実行される。ＣＰＵ１０は、メインメモリ１３に記憶されている操作対象データ５８を参照し、ステップＳ３で決定された位置に応じた画像を生成する。そして、生成した画像をモニタ２の画面に表示させる。例えば、操作対象が画面に表示されるオブジェクトである場合、ステップＳ３で決定された位置にオブジェクトを表示させる。また例えば、操作対象が仮想カメラである場合、ステップＳ３で決定された位置に設定された仮想カメラから見たゲーム空間の画像を生成して当該画像を表示させる。また例えば、操作対象がウィンドウ内の画像である場合、当該ウィンドウに表示可能な画像領域全体のうちで、ステップＳ３で決定された領域をウィンドウ内に表示させる。１フレーム毎にステップＳ４の処理が繰り返し実行されることによって、操作対象が移動している様子を表す動画を表示することができる。
【０１３６】
ステップＳ５において、ゲームを終了するか否かが判定される。ゲームを終了する条件としては、例えば、ゲームオーバーとなる条件（例えば、プレイヤキャラクタの体力を示すパラメータが０になったこと等）が満たされたことや、プレイヤがゲームを終了する操作を行ったこと等が考えられる。ゲームを終了しないと判定された場合、ステップＳ１の処理が再度実行され、以降、ステップＳ５でゲームを終了すると判定されるまでステップＳ１〜Ｓ５の処理が繰り返し実行される。一方、ゲームを終了すると判定された場合、ＣＰＵ１０は、図１２に示すゲーム処理を終了する。
【０１３７】
以上のように、本実施形態によれば、撮像情報演算部３５によって撮像された撮像画像から、コントローラ７の前後方向を軸とした回転に関するコントローラ７の姿勢に対応した値を算出することができる。そして、当該コントローラ７の姿勢に基づいて操作対象に移動動作を行わせることができる。これによって、プレイヤは、コントローラ７を前後方向の軸周りに回転させるゲーム操作を行うことによって、コントローラ７の回転に応じた移動動作を操作対象に行わせることができる。したがって、ゲーム装置３は、コントローラ７を回転させることによって操作対象に移動を行わせるという、新たなゲーム操作をプレイヤに行わせることが可能となる。
【０１３８】
なお、本発明では、コントローラ７の指示方向を軸とした回転を算出するためには、ゲーム装置３は、少なくとも方向を示す情報を撮像画像から得ることができればよい。したがって、画像処理回路４１は、上記２つの位置の座標値を出力することに代えて、方向を示す情報を出力するようにしてもよい。具体的には、画像処理回路４１は、マーカ８ａの画像の位置からマーカ８ｂの画像の位置への方向（マーカ８ｂの画像の位置からマーカ８ａの画像の位置への方向であってもよい）を示すベクトルのデータを算出するようにしてもよい。さらに、このベクトルは方向を示すベクトルであればよいので、画像処理回路４１は、大きさが一定の単位ベクトルのデータを出力するようにしてもよい。
【０１３９】
また、他の実施形態においては、撮像情報演算部３５が画像処理回路４１を含まない構成であってもよい。このとき、撮像情報演算部３５は、撮像画像の画像データをマイコン４２に出力し、当該画像データが操作データとしてコントローラ７からゲーム装置３へ送信されることとなる。このとき、ゲーム装置３は、上記方向データを当該画像データに基づいて算出する。以上のように、撮像画像の画像データから方向データを算出する処理は、その一部の処理が専用の回路（画像処理回路４１）によって行われてもよいし、その全部が当該回路に行われてもよいし、その全部がゲーム装置３によってソフトウェア処理として行われてもよい。
【０１４０】
また、上述した実施形態では、赤外光を出射する２つのマーカ８ａおよび８ｂを撮像対象としたが、他のものを撮像対象にしてもかまわない。撮像対象は、その画像を撮像した場合に方向を検出することができるものであればよく、例えば、３つ以上のマーカを撮像対象としてもよいし、方向を検出することができる１つのマーカを撮像対象としてもよい。なお、１つのマーカを撮像対象とする場合、方向を検出することができる必要があるので、円形のマーカは適切ではなく、直線状の形状等、その形状から所定の２点を特定することができる形状であることが好ましい。このとき、ゲーム装置３は、撮像対象の所定の２点を結ぶ方向を算出することによって、撮像画像内における対象画像の方向を算出することができる。また、マーカは、発光体であることが好ましいが、赤外光を出射するものに限らず、他の波長の光を出射するものであってもよいし白色光を出射するものであってもよい。さらに、モニタ２の画面の枠を撮像対象としてもよいし、撮像対象を画面に表示するようにしてもよい。これによれば、マーカをモニタと別に用意する必要がなく、システムの構成を簡略化することができる。
【０１４１】
なお、他の実施形態においては、コントローラ７が操作可能範囲から外れた場合、加速度センサの出力を用いて操作対象を移動させるようにしてもよい。具体的には、図１３のステップＳ１１の判定結果が否定であった場合、ステップＳ１２に代えて、加速度センサの出力を用いて、コントローラ７の指示方向を軸とした回転状態を検出する処理を実行するようにする。この処理においては、ＣＰＵ１０は、操作データに含まれる加速度を示すデータを参照して、コントローラ７の当該回転状態を検出する。そして、ステップＳ３の移動処理においては、上記処理によって検出された回転状態に応じて操作対象を移動させる。これによって、コントローラ７が操作可能範囲から外れた場合であっても、操作対象を移動させる操作を継続することができる。また、コントローラ７が操作可能範囲から外れ、コントローラ７の姿勢が変わった状態で再び操作可能範囲内に入った場合にも、加速度センサの出力によって、コントローラ７の姿勢が判断できるため、２つのマーカがそれぞれどちらのマーカであるか識別が可能となる。
【０１４２】
なお、上記の実施形態は、コントローラ７を用いて指示方向を軸とした回転操作を行って遊ぶ種々のゲームに適用することが可能である。以下では、具体的なゲーム例を実施例として説明する。
【０１４３】
（第１実施例）
以下、第１実施例として、ゲームのメニュー画面において本発明を適用した実施例について説明する。ここでは、プレイヤによって操作されるプレイヤキャラクタがゲーム空間に登場するゲームを例として説明する。図１７は、第１実施例におけるゲーム画面の一例を示す図である。図１７においては、モニタ２の画面にウィンドウ７１および７２が表示されている。ウィンドウ７１および７２は、メニュー画面の画像（メニュー画像）を表示するための表示領域である。ウィンドウ７１および７２は、プレイヤが所定の操作（例えば、Ｙボタン３２ｃを押下する操作）を行うことによって表示される。また、図１７においてはカーソル７３が表示される。プレイヤは、コントローラ７を操作することによって画面上においてカーソル７３を自由に移動させることができる。なお、図１７では図示していないが、ウィンドウ７１および７２以外の表示領域には、通常のゲーム画像（例えば、プレイヤキャラクタ付近のゲーム空間の画像）が表示される。
【０１４４】
ウィンドウ７１内には、プレイヤキャラクタが使用するアイテムをプレイヤが選択するためのメニュー画面が表示される。図１７においては、ウィンドウ７１内には、選択可能なアイテムを示す項目７４ａ〜７４ｃが表示されている。図１８は、ウィンドウ７２に表示可能なメニュー画像と、メニュー画像のうちで実際に表示される領域との関係を示す図である。図１８に示すように、メニュー画像７７の大きさはウィンドウ７１の表示領域７８よりも大きく、ウィンドウ７１内にはメニュー画像７７の一部が表示されることとなる。メニュー画像７７には、項目を示す画像（項目画像）７４ａ〜７４ｆが合計６つ含まれ、一度に全ての項目画像をウィンドウ７１内に表示させることはできない。プレイヤは、ウィンドウ７１内のメニュー画像を上下方向にスクロールさせることによって、メニュー画像７７内の全ての領域を表示させる。なお、ウィンドウの表示領域（実際に表示される領域）７８の位置は、メニュー画像の最上部から表示領域７８の最上部までの長さｓによって表される。
【０１４５】
なお、ウィンドウ７１の右端のスクロールバー７５およびスクロールつまみ７６は、メニュー画像のうちのどの部分がウィンドウ７１内に表示されているかを示す。図１７においては、スクロールバー７５の最上部にスクロールつまみ７６が位置しているので、メニュー画像のうちの最上部がウィンドウ７１内に表示されていることがわかる。なお、図１７には示していないが、ウィンドウ７２もウィンドウ７１と同様、その内側領域に項目が表示される。
【０１４６】
第１実施例においては、プレイヤは、コントローラ７自体を操作することによって、ウィンドウ内に表示されている画像をスクロールさせることができる。具体的には、指示方向を軸としてコントローラ７を回転させる操作（回転操作）を行うことによって、ウィンドウ内に表示されている画像を上下方向にスクロールさせることができる。
【０１４７】
図１９は、回転操作によるウィンドウ内の画像の変化を説明するための図である。図１９は、コントローラ７の状態と、コントローラ７が当該状態にあるときに得られる撮像画像と、コントローラ７が当該状態にあるときに表示されるウィンドウ７１内の画像との対応を示している。
【０１４８】
図１９に示す状態Ａは、コントローラ７の上面が上方向を向いている状態である。この状態Ａにおける撮像画像Ｉ７において、各マーカ８ａおよび８ｂの画像８ａ’および８ｂ’は水平に位置している（ｙ軸方向の座標が同じ値になる）。このとき、ウィンドウ７１内の画像には、項目画像７４ｂ〜７４ｄが含まれているとする。
【０１４９】
図１９に示す状態Ｂは、コントローラ７を状態Ａから左回りに所定角度回転させた状態である。この状態Ｂにおける撮像画像Ｉ８において、各画像８ａ’および８ｂ’は、状態Ａから右回りに上記所定角度回転した状態となる。このとき、ウィンドウ７１内の画像には、項目画像７４ｃ〜７４ｅが含まれる。すなわち、ウィンドウ７１内の画像が上方向にスクロールされる（表示領域が下方向にスクロールされる）。このように、プレイヤは、コントローラ７を左回りに回転させることによってウィンドウ７１内の画像を上方向にスクロールさせることができる。また、図１９に示す状態Ｃは、コントローラ７を状態Ａから右回りに所定角度回転させた状態である。この状態Ｃにおける撮像画像Ｉ９において、各画像８ａ’および８ｂ’は、状態Ａから左回りに上記所定角度回転した状態となる。このとき、ウィンドウ７１内の画像には、項目画像７４ａ〜７４ｃが含まれる。すなわち、ウィンドウ７１内の画像が下方向にスクロールされる（表示領域が上方向にスクロールされる）。このように、プレイヤは、コントローラ７を右回りに回転させることによってウィンドウ７１内の画像を下方向にスクロールさせることができる。
【０１５０】
また、プレイヤは、コントローラ７による指示位置を変化させることで、カーソル７３を画面上で移動させることができる。つまり、ゲーム装置３は、コントローラ７の位置や姿勢に応じて、コントローラ７による指示位置を決定し、当該指示位置にカーソル７３を表示する。
【０１５１】
なお、プレイヤは、カーソル７３によって操作対象となるウィンドウ（画像をスクロールさせるウィンドウ）を指定することができる。具体的には、カーソル７３によっていずれかのウィンドウを指定すると（カーソル７３をウィンドウの位置に移動すると）、指定されたウィンドウが一番手前に表示される。そして、カーソル７３がウィンドウを指定した状態で上記回転操作を行うと、当該ウィンドウ内の画像がスクロールする。したがって、プレイヤは、複数のウィンドウが表示されている場合であっても、コントローラ７を用いて操作対象となるウィンドウを容易に指定することができ、さらに、指定したウィンドウ内の画面をコントローラ７を用いたまま容易にスクロールさせることができる。
【０１５２】
次に、第１実施例におけるゲーム処理の詳細を説明する。図２０は、第１実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図である。第１実施例においては、図１１に示したデータに加え、前方向データ６０および中点データ６１が操作状態データ５６としてメインメモリ１３に記憶される。また、対象識別データ６２が操作対象データ５８としてメインメモリ１３に記憶される。
【０１５３】
前方向データ６０は、１フレーム前に算出された方向データである。すなわち、新たに方向データが算出されたとき、それまでの方向データ５７が前方向データ６０として記憶される。そして、新たに算出された方向データが新たな方向データ５７としてメインメモリ１３に記憶される。前方向データ６０は、ウィンドウ内の画像をスクロールさせる量を算出するために用いられる。
【０１５４】
また、中点データ６１は、第１座標と第２座標との中点の座標を示す。マーカ８ａおよび８ｂの画像を１つの対象画像としてみた場合、中点データ６１は、対象画像の位置を示すと言える。中点データ６１は、コントローラ７による指示位置、すなわち、カーソル７３の画面上の位置を算出するために用いられる。
【０１５５】
また、対象識別データ６２は、カーソル７３によって現在指定されているウィンドウを識別するためのデータであり、具体的には、各ウィンドウに予め付された番号を示す。なお、カーソル７３がいずれのウィンドウも指定していない場合、いずれのウィンドウも指定されていないことを示すデータが対象識別データ６２として記憶される。
【０１５６】
なお、第１実施例において、位置データ５９は、現在指定されているウィンドウの表示領域７８の位置を示す。すなわち、位置データ５９は、メニュー画像の最上部から表示領域７８の最上部までの長さｓを示す。
【０１５７】
図２１は、第１実施例におけるゲーム処理の流れを示すフローチャートである。なお、図２１において、図１２に示すゲーム処理のステップと同様のステップについては図１２と同じステップ番号を付し、詳細な説明を省略する。図２１に示すフローチャートが開始されるまでの処理は、図１２に示した場合と同様である。
【０１５８】
第１実施例におけるゲーム処理においては、まずステップＳ２１において、初期処理が実行される。初期処理においては、ＣＰＵ１０は、初期状態のゲーム画面を表示させる。具体的には、仮想のゲーム空間が構築され、プレイヤキャラクタが所定の初期位置に配置される。そして、プレイヤキャラクタ周辺のゲーム空間の画像が生成されてモニタ２に表示される。
【０１５９】
ステップＳ２１の次に上述のステップＳ１の処理が実行され、ステップＳ１の次にステップＳ２２の処理が実行される。すなわち、ステップＳ２２において、メニュー表示モードに設定されているか否かが判定される。ここで、第１実施例におけるゲームでは、プレイヤがプレイヤキャラクタを操作してゲームを進行するゲームモードと、ゲームに関する設定等を変更するためのメニュー画像を表示するメニュー表示モードという２つのモードが用意されているとする。２つのモードは、例えばＹボタン３２ｃを押下する操作をプレイヤが行うことによって切り替えられる。また、本実施例では、メニュー表示モードに移行すると複数のウィンドウが表示されるものとするが、他の実施例では、メニュー表示モードの移行時には１つのウィンドウのみが表示され、ウィンドウ内の項目をプレイヤが選択することによって新たなウィンドウが表示されるようにしてもよい。なお、図２１に示すフローチャートには示していないが、モードを切り替える処理は適宜のタイミングで実行される。ステップＳ２２において、ＣＰＵ１０は、現在のモードがゲームモードであるかメニュー表示モードであるかを判定する。現在のモードがメニュー表示モードである場合、ステップＳ２の処理が実行され、現在のモードがゲームモードである場合、ステップＳ２３の処理が実行される。
【０１６０】
なお、ステップＳ２３においては、プレイヤのゲーム操作に応じたゲーム処理が実行される。例えば、プレイヤキャラクタに所望の動作を行わせたり、ゲーム空間に敵キャラクタが登場する場合には、敵キャラクタの動作の制御が行われたりする。ステップＳ２３の後、ステップＳ４の処理が実行される。
【０１６１】
一方、ステップＳ２においては、操作状態算出処理が実行される。図２２は、第１実施例におけるステップＳ２の詳細を示すフローチャートである。なお、図２２において、図１３に示すゲーム処理のステップと同様のステップについては図１３と同じステップ番号を付し、詳細な説明を省略する。
【０１６２】
図２２において、ステップＳ１１〜Ｓ１６までの処理は、図１３に示した処理と同じである。第１実施例においては、ステップＳ１６の次のステップＳ３１において、対象画像である第１座標および第２座標の中点の位置が算出される。具体的には、ＣＰＵ１０は、現在第１座標データ５１および現在第２座標データ５２を参照して、当該中点の座標を算出する。算出された中点の座標のデータは、中点データ６１としてメインメモリ１３に記憶される。この中点データ６１は、撮像画像内における対象画像（マーカ８ａおよび８ｂ）の位置を示している。
【０１６３】
続くステップＳ３２において、ステップＳ３１で算出された中点座標が補正される。図２３は、図２２に示すステップＳ３２の処理を説明するための図である。図２３は、コントローラの状態と、その状態にあるときに得られる撮像画像との対応を示している。図２３において、状態Ａおよび状態Ｂはともに、モニタ２の画面の中央がコントローラ７による指示位置となっている状態である。ただし、状態Ａはコントローラ７の上面が上方向を向いている状態（本実施形態では、この状態を基準状態とする。）であり、状態Ｂはコントローラ７の上面が右方向を向いている状態である。ここで、マーカ８ａおよび８ｂは画面の上方に配置されており、マーカ８ａおよび８ｂの配置位置が指示位置（画面の中央の位置）と一致しない。そのため、状態Ａにおいては、撮像画像における対象画像の位置は撮像画像の中心から上方の位置となる。一方、状態Ｂにおいては、撮像画像内における対象画像の位置は撮像画像の中心から左方の位置となる。このように、コントローラ７が同じ指示位置を指し示していても、撮像画像内における中点Ｐｍの位置はコントローラ７の姿勢によって異なる。すなわち、マーカ８ａおよび８ｂの配置位置が指示位置（画面の中央の位置）と一致しないことから、コントローラ７の指示方向を軸とした回転角度によって、撮像画像内における対象画像の位置が変化してしまう。そのため、対象画像の位置を単に算出する処理（ステップＳ３１）だけでは、対象画像の位置に基づいて指示位置を正確に算出することができない。
【０１６４】
そこで、ステップＳ３２においては、ステップＳ１６で算出された方向に基づいて、ステップＳ３１で算出された中点座標を補正する。具体的には、ステップＳ３１で算出された中点座標を、コントローラ７が基準状態にあるとした場合における中点座標に補正する。より具体的には、ステップＳ３１で算出された中点座標を、ステップＳ１６で算出された方向と基準状態における方向との角度差に応じた量だけ、撮像画像の中心を軸として回転移動させる。図２３の状態Ｂにおいては、ステップＳ１６では、基準状態から左方向に９０°に傾いた方向のベクトルが算出されるので、コントローラ７が基準状態から右方向に９０°に傾いた状態であることがわかる。したがって、ステップＳ３２では、ステップＳ３１で算出された中点座標を、撮像画像の中心を軸として右方向に９０°だけ回転移動させる。以上のステップＳ３２によって補正が行われた中点座標のデータは、中点データ６１としてメインメモリ１３に更新して記憶される。ステップＳ３２による補正が行われた中点座標によって、ゲーム装置３は、コントローラ７による指示位置を算出することができる。以上のステップＳ３２の処理の後、ＣＰＵ１０は操作状態算出処理を終了する。
【０１６５】
図２１の説明に戻り、ステップＳ２の次にステップＳ２４の処理が実行される。すなわち、ステップＳ２４において、カーソル７３の画面上の位置が算出される。具体的には、ＣＰＵ１０は、操作状態算出処理のステップ３２で得られた中点データに基づいて、カーソル７３の画面上の位置を算出する。すなわち、中点座標を表す座標系（ｘｙ座標系）の座標値から、画面上の位置を表す座標系の座標値を算出する。カーソル７３の画面上の位置は、中点座標をモニタ２の画面上の座標に変換する関数を用いて算出される。この関数は、ある撮像画像から算出される中点座標の値を、当該撮像画像が撮像される時のコントローラ７によって指し示される画面上の位置（指示位置）を表す座標に変換するものである。この関数によって、中点座標から画面上の指示位置を算出することができる。
【０１６６】
続くステップＳ２５において、カーソル７３によっていずれかのウィンドウが指定されているか否かが判定される。ＣＰＵ１０は、ステップＳ２４で算出したカーソル７３の位置がいずれかのウィンドウ内の位置であるか否かを判定する。判定の結果、算出された位置がいずれかのウィンドウ内の位置である場合、いずれかのウィンドウが指定されていると判断されてステップＳ３の処理が実行される。なお、この場合、指定されていると判断されたウィンドウが操作対象として設定される。すなわち、指定されていると判断されたウィンドウを示すデータが対象識別データ６２としてメインメモリに記憶される。一方、算出された位置がいずれかのウィンドウ内の位置でない場合、いずれのウィンドウも指定されていないと判断されてステップＳ４の処理が実行される。
【０１６７】
ステップＳ３においては、移動処理が実行される。第１実施例における移動処理では、ウィンドウ内に表示されるメニュー画像を操作対象として、コントローラ７の回転操作に従ってメニュー画像がスクロールされる。以下、移動処理の詳細を説明する。
【０１６８】
図２４は、第１実施例における移動処理の詳細を示すフローチャートである。移動処理においては、まずステップＳ３３において、今回の方向と前回の方向との角度差が算出される。ここで、「今回の方向」とは、今回のフレームで算出された対象画像の方向、すなわち、今回のフレームにおけるステップＳ１６で算出された方向であり、メインメモリ１３に記憶されている方向データ５７により示されるベクトル（第１ベクトルと呼ぶ）の方向である。また、「前回の方向」とは、前回のフレームで算出された対象画像の方向、すなわち、前回のフレームにおけるステップＳ１６で算出された方向であり、メインメモリ１３に記憶されている前方向データ６０により示されるベクトル（第２ベクトルと呼ぶ）の方向である。具体的には、ＣＰＵ１０は、第１ベクトルと第２ベクトルとのなす角度（角度差）θを算出する。当該角度差θは、−１８０°＜θ≦１８０°の範囲で表されるものとする。また、角度差θは、第２ベクトルを基準として右回りする方向を正とし、左回りする方向を負とする。角度差θが正であることは、撮像画像が右回りに回転していることであり、コントローラ７が指示方向を軸として左回りに回転していることを表す（図１９に示す状態Ｂ）。逆に、角度差θが負であることは、撮像画像が左回りに回転していることであり、コントローラ７が指示方向を軸として右回りに回転していることを表す（図１９に示す状態Ｃ）。
【０１６９】
ステップＳ３３の次のステップＳ３４において、ステップＳ３３で算出された角度差に基づいてメニュー画像のスクロール量が算出される。スクロール量は、角度差θが正であれば正となり、角度差θが負であれば負となるように決定される。さらに、角度差θの絶対値が大きいほどスクロール量の絶対値が大きくなるように決定される。典型的には、スクロール量は角度差θに正比例するように決定される。
【０１７０】
ステップＳ３４の次のステップＳ３５において、ステップＳ３４で算出されたスクロール量に従って表示領域が移動される。すなわち、メニュー画像の最上部から表示領域の最上部までの長さ（図１８に示す長さｓ）が、スクロール量に従って変更される。具体的には、ＣＰＵ１０は、当該長さにスクロール量を加算することによって変更後の長さを算出する。このとき、メインメモリ１３に記憶されている位置データ５９の内容は、算出された変更後の長さを示す値に更新される。後述するステップＳ４の表示処理においては、更新後の長さに従った位置に表示領域が設定されて、表示領域内のメニュー画像がウィンドウ内に表示される。これによって、メニュー画像がスクロール（移動）して画面に表示されることとなる。以上のステップＳ３５の後、ＣＰＵ１０は移動処理を終了する。
【０１７１】
図２１の説明に戻り、ステップＳ３の次のステップＳ２６では、ウィンドウ内の項目を選択する操作がプレイヤによって行われたか否かが判定される。ＣＰＵ１０は、ステップＳ１で取得した操作データを参照することによって、当該操作（例えば、Ａボタン３２ｉを押下する操作）が行われたか否かを判定する。判定の結果、当該操作が行われた場合、ステップＳ２７の処理が実行される。一方、当該操作が行われていない場合、ステップＳ２７およびＳ２８の処理がスキップされてステップＳ４の処理が実行される。
【０１７２】
ステップＳ２７において、カーソル７３によって項目が指定されているか否かが判定される。具体的には、ＣＰＵ１０は、ステップＳ２５で算出された画面上の位置が、項目画像が表示される位置であるか否かを判定する。判定の結果、当該画面上の位置が項目画像の表示位置である場合、ステップＳ２８の処理が実行される。一方、当該画面上の位置が項目画像の表示位置でない場合、ステップＳ２８の処理がスキップされてステップＳ４の処理が実行される。以上のステップＳ２６およびＳ２７の処理は、カーソル７３が項目画像を指定した状態で項目選択操作が行われたか否かを判定するための処理である。ステップＳ２６およびＳ２７の判定結果がともに肯定であった場合、ＣＰＵ１０は、項目が選択されたと判断して、ステップＳ２８において項目に応じたゲーム処理を実行する。
【０１７３】
ステップＳ２８においては、選択された項目に応じた処理が実行される。例えば、図１７に示すウィンドウ７１内の項目画像７４ａが選択された場合には、ＣＰＵ１０は、プレイヤキャラクタに剣を使用可能な状態にするべく、プレイヤキャラクタに関するデータや、プレイヤキャラクタの画像データ等を変更する。ステップＳ２８の次にステップＳ４の処理が実行される。
【０１７４】
ステップＳ４においては、表示処理が実行される。すなわち、今回のフレームにおいてステップＳ３の移動処理が実行されている場合には、更新後の位置データ５９の内容に従った表示領域でメニュー画像がウィンドウ内に表示される。このとき、カーソル７３は、ステップＳ２５で算出された画面上の位置に表示される。ステップＳ４の次のステップＳ５の処理は、図１１と同様である。
【０１７５】
以上のように、第１実施例によれば、方向データ５７により示される２次元ベクトルと、画面上の指示位置を示す座標とを用いた演算によって操作対象（ウィンドウ内の画像）を移動させる。これによって、コントローラ７自体を回転させる操作によって、ウィンドウの表示内容をスクロールすることができる。さらに、コントローラ７による指示位置を変更する操作によって、カーソル７３を画面上で移動させ、操作対象となるウィンドウを指定することができる。つまり、第１実施例によれば、操作対象となるウィンドウを指定する操作と、ウィンドウの表示内容をスクロールさせる操作という２種類の異なる操作を、コントローラ７自体を操作することによって行うことができ、コントローラ７を用いた従来にはない操作方法を実現することができる。
【０１７６】
なお、上記第１実施例では、コントローラ７によって画面上の位置を指定することによって、操作対象となるウィンドウを選択するようにした。ここで、他の実施例では、画面上の位置を指定する方法は、どのような方法であってもよい。例えば、コントローラ７に設けられた十字キーによってカーソルを移動させるようにしてもよい。
【０１７７】
また、第１実施例では、ゲーム中に表示されるメニュー画像のウィンドウを例として説明した。ここで、他の実施例においては、スクロールの対象となるウィンドウは、ゲーム用途のウィンドウに限らず、例えば、パーソナルコンピュータのデスクトップ画像に重ねて表示されるウィンドウ等であってもよい。すなわち、本発明は、一般的なパーソナルコンピュータについても適用することができ、例えば、ブラウザのウィンドウ内の画像をスクロールすることについても適用することができる。
【０１７８】
なお、コントローラ７の回転操作は、所定のボタン操作（例えば、Ｂボタン３２ｄを押下する操作）が行われている間のみ実行可能であるようにしてもよい。図２５は、第１実施例の変形例における移動処理の詳細を示すフローチャートである。図２５に示す処理は、ステップＳ３６の処理が実行される点で図２４に示す処理と異なる。
【０１７９】
図２５においては、まずステップＳ３６において、所定のボタンが押下されているか否かが判定される。ＣＰＵ１０は、ステップＳ１で取得した操作データを参照することによって、当該操作（例えば、Ｂボタン３２ｄを押下する操作）が行われたか否かを判定する。判定の結果、当該操作が行われた場合、ステップＳ３３〜Ｓ３５の処理が実行される。一方、当該操作が行われていない場合、ステップＳ３３〜３５の処理がスキップされて、ＣＰＵ１０は移動処理を終了する。
【０１８０】
以上のように図２５に示した処理によれば、Ｂボタン３２ｄが押下されていない場合には、表示領域の移動（メニュー画像のスクロール）が行われない。つまり、プレイヤは、Ｂボタン３２ｄを押下した状態で指示方向を軸としてコントローラ７を回転させた場合にのみ、ウィンドウ内の表示内容をスクロールさせることができる。ここで、Ｂボタン３２ｄが押下されているか否かにかかわらず、表示領域の移動が行われる場合（図２４に示す移動処理の場合）、コントローラ７が少し回転しただけでウィンドウ内の表示内容がスクロールすることとなる。したがって、指示位置を変更する操作（コントローラ７の指示方向を変更する操作）を行う場合のように、プレイヤが回転操作を行う意図がない場合でも、プレイヤが意図しないにもかかわらず、ウィンドウ内の表示内容がスクロールしてしまうおそれがある。
【０１８１】
これに対して、Ｂボタン３２ｄが押下されていることを条件として表示領域の移動が行われる場合（図２４に示す移動処理の場合）には、プレイヤが意図する場合のみ、ウィンドウ内の表示内容をスクロールさせることができる。つまり、プレイヤは、ウィンドウ内の表示内容をスクロールさせたい場合、Ｂボタン３２ｄが押下しながら回転操作を行えばよい。以上のように、図２５に示した処理によれば、プレイヤが意図しないにもかかわらず回転操作が行われてしまうことを防止することができる。
【０１８２】
また、他の実施形態によれば、ステップＳ３３で算出された角度差θの絶対値が所定値よりも小さい場合、ステップＳ３４においてスクロール量を０としてもよい。つまり、角度差θが微少であれば、操作対象を移動させないようにしてもよい。ゲームの種類や状況によっては、操作対象を一定の姿勢で維持することをプレイヤが望む場合も考えられ、このような場合、操作対象の移動がコントローラ７の回転角度に敏感に反応してしまうと、操作性がかえって悪くなるからである。以上のように、コントローラ７の回転操作においていわゆる遊びの部分を設定することによって操作性を向上することができる。
【０１８３】
なお、上記第１実施例においては、ゲーム装置３は、対象画像（マーカ８ａおよび８ｂ）の２つの位置を示すデータを操作データとしてコントローラ７から取得し、２つの位置の中点を算出することによって撮像対象の画像の位置を特定した。ここで、他の実施例においては、コントローラ７が中点の位置を算出し、算出された中点の位置を示すデータをゲーム装置３に操作データとして送信するようにしてもよい。つまり、ゲーム装置３は、対象画像の位置を示すデータを操作データとしてコントローラ７から取得するようにしてもよい。さらに、他の実施例では、ゲーム装置３は、コントローラ７から撮像画像の画像データを取得し、画像データから対象画像の位置を算出するようにしてもよい。画像データから対象画像の位置を算出する方法としては、第１実施例と同様、対象画像の２つの位置（マーカ８ａおよび８ｂの位置）を画像データから特定し、当該２つの位置の中点を算出する方法が考えられる。
【０１８４】
（第２実施例）
以下、第２実施例として、プレイヤキャラクタを移動する操作に本発明を適用した実施例について説明する。ここでは、プレイヤによって操作されるプレイヤキャラクタが３次元のゲーム空間を移動するゲームを例として説明する。図２６は、第２実施例におけるゲーム画面の一例を示す図である。図２６においては、３次元の仮想のゲーム空間およびゲーム空間内に存在するプレイヤキャラクタ８１がモニタ２の画面に表示されている。また、画面にはカーソル８２が表示されている。プレイヤキャラクタ８１は、プレイヤによって操作されるキャラクタであり、コントローラ７の回転操作による操作対象である。カーソル８２は、上記第１実施例と同様、コントローラ７による指示位置に表示される。
【０１８５】
第２実施例においては、プレイヤは、コントローラ７の回転操作によってプレイヤキャラクタ８１を移動させることができる。プレイヤキャラクタ８１を移動させる際、プレイヤは、まず、移動させたい方向にカーソル８２を移動させる。カーソルを移動させる操作は上記第１実施例と同様である。次に、プレイヤは、移動させたい方向にカーソル８２を配置した状態で、コントローラ７の回転操作を行う。例えば図２６に示す状態でコントローラ７の回転操作が行われると、プレイヤキャラクタ８１は、カーソル８２によって指示される位置に向かって移動する（図２７参照）。
【０１８６】
また、プレイヤは、コントローラ７を回転させる方向によって、プレイヤキャラクタ８１を前進させたり後退させたりすることができる。つまり、コントローラ７を回転させる方向によって、プレイヤキャラクタ８１の移動方向を制御することができる。図２８は、回転操作によるプレイヤキャラクタ８１の移動動作を説明するための図である。図２８は、コントローラ７の状態と、コントローラ７が当該状態にあるときに行われるプレイヤキャラクタ８１の移動動作との対応を示している。なお、図２８においてはコントローラ７を後方（図３に示すＺ軸負方向側）から見た図を示している。
【０１８７】
図２８に示す状態Ａは、コントローラ７の上面が真上方向を向いている状態である。この状態Ａにおいて撮像される撮像画像は、図１９に示す撮像画像Ｉ７のようになる。すなわち、各マーカ８ａおよび８ｂの画像８ａ’および８ｂ’はｙ軸と水平に配置される。図２８においては、この状態Ａを基準状態とする。また、基準状態における撮像画像から算出される対象画像の方向を基準方向と呼ぶ。すなわち、図２８における基準方向は、マーカ８ａの画像８ａ’からマーカ８ｂ’の画像８ｂ’への方向（またはその逆方向）である。コントローラ７が基準状態にあるとき、プレイヤキャラクタ８１は移動しない（停止する）。なお、詳細は後述するが、プレイヤは、基準方向を設定することができる。
【０１８８】
図２８に示す状態Ｂは、コントローラ７を基準状態から左回りに所定角度回転させた状態である。この状態Ｂにおいて撮像される撮像画像は、図１９に示す撮像画像Ｉ８のようになる。すなわち、各画像８ａ’および８ｂ’は、状態Ａから右回りに上記所定角度回転した状態となる。このとき、プレイヤキャラクタ８１はカーソル８２によって指示される位置に向かって前進する。一方、図２８に示す状態Ｃは、コントローラ７を基準状態から右回りに所定角度回転させた状態である。この状態Ｃにおいて撮像される撮像画像は、図１９に示す撮像画像Ｉ９のようになる。すなわち、各画像８ａ’および８ｂ’は、状態Ａから左回りに上記所定角度回転した状態となる。このとき、プレイヤキャラクタ８１は、現在位置からカーソル８２によって指示される位置への方向を前方向とすると、後退する。以上のように、プレイヤは、コントローラ７を左回り／右回りに回転させることによってプレイヤキャラクタ８１を前進／後退させることができる。
【０１８９】
次に、第２実施例におけるゲーム処理の詳細を説明する。図２９は、第２実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図である。第２実施例においては、図１１に示したデータに加え、第１実施例において説明した中点データ６１が操作状態データ５６としてメインメモリ１３に記憶される。また、基準方向データ６３がメインメモリ１３に記憶される。さらに、移動方向データ６４が操作対象データ５８としてメインメモリ１３に記憶される。
【０１９０】
基準方向データ６３は、上記基準方向を示すデータである。基準方向は、撮像画像から得られる方向に関して基準となる方向である。基準方向は、プレイヤキャラクタ８１の移動量および移動方向を決定する際に用いられる。具体的には、プレイヤキャラクタ８１の移動量および移動方向は、基準方向と現在の方向（方向データ５７により示される方向）との角度差に基づいて決定される。なお、第２実施例においては、基準方向はゲーム開始時にプレイヤによって設定されるものとする。
【０１９１】
移動方向データ６４は、操作対象であるプレイヤキャラクタ８１の３次元ゲーム空間における移動方向を示す。具体的には、移動方向データ６４は、３次元ゲーム空間における方向を示す３次元のベクトルのデータである。なお、第２実施例における位置データ５９は、３次元ゲーム空間におけるプレイヤキャラクタ８１の位置を示す３次元の座標値のデータである。
【０１９２】
図３０は、第２実施例におけるゲーム処理の流れを示すフローチャートである。なお、図３０において、図１２に示すゲーム処理のステップと同様のステップについては図１２と同じステップ番号を付し、詳細な説明を省略する。図３０に示すフローチャートが開始されるまでの処理は、図１２に示した場合と同様である。
【０１９３】
第２実施例におけるゲーム処理においては、まずステップＳ４１において、基準方向を設定する処理が実行される。具体的には、ＣＰＵ１０は、基準方向を設定する旨の操作を行うことを表示等によりプレイヤに促す。これに応じて、プレイヤは、指示方向を軸とした回転に関して任意の姿勢でコントローラ７を把持し、基準方向を決定する操作（例えば、Ａボタン３２ｉを押下する操作）を行う。当該操作が行われると、ＣＰＵ１０は、当該操作が行われた時点において撮像された撮像画像に基づいて、ステップＳ１６と同様の処理によって方向を算出する。算出された方向を示すベクトルのデータは、基準方向データ６３としてメインメモリ１３に記憶される。第３実施例においては、以上のステップＳ５１の処理が、プレイヤキャラクタ８１を移動させる処理（ステップＳ３）の前に実行される。ステップＳ４１の次にステップＳ４２の処理が実行される。
【０１９４】
ステップＳ４２において、初期処理が実行される。この初期処理においては、３次元の仮想ゲーム空間が構築されてモニタ２に表示される。具体的には、ＣＰＵ１０は、３次元の仮想ゲーム空間を構築し、当該ゲーム空間内にプレイヤキャラクタ８１や敵キャラクタ等を配置する。また、当該ゲーム空間内における所定位置に所定の視線方向で仮想カメラを設定し、仮想カメラから見たゲーム空間の画像を生成してモニタ２に表示する。なお、ここでは、仮想カメラの位置および視線方向は、プレイヤキャラクタ８１が画面に表示されるように自動的に制御されるものとする。
【０１９５】
ステップＳ４２の次に、第１実施例と同様のステップＳ１の処理が実行される。続くステップＳ２の操作状態算出処理も、第１実施例における操作状態算出処理と同様である。すなわち、操作状態算出処理によって、操作状態データ５６が算出され、方向データ５７および中点データ６１がメインメモリ１３に記憶される。ステップＳ２の次にステップＳ３の処理が実行される。
【０１９６】
ステップＳ３においては、移動処理が実行される。第２実施例における移動処理では、プレイヤキャラクタ８１を操作対象として、コントローラ７の回転操作に従ってプレイヤキャラクタ８１が移動される。以下、移動処理の詳細を説明する。
【０１９７】
図３１は、第２実施例における移動処理の詳細を示すフローチャートである。移動処理においては、まずステップＳ４４において、ステップＳ１６で算出された方向と基準方向との角度差が算出される。具体的には、ＣＰＵ１０は、メインメモリ１３に記憶されている基準方向データ６３により示されるベクトル（第２実施例において基準ベクトルと呼ぶ）と、操作状態データ５６の方向データ５７により示されるベクトル（第２実施例において対象ベクトルと呼ぶ）とのなす角度（角度差）θ’を算出する。当該角度差θ’は、−１８０°＜θ’≦１８０°の範囲で表されるものとする。また、角度差θ’は、基準ベクトルを基準として右回りする方向を正とし、左回りする方向を負とする。角度差θ’が正であることは、基準方向を基準として撮像画像が右回りに回転していることであり、コントローラ７が指示方向を軸として基準状態から左回りに回転していることを表す（図２８に示す状態Ｂ）。逆に、角度差θが負であることは、基準方向を基準として撮像画像が左回りに回転していることであり、コントローラ７が指示方向を軸として基準状態から右回りに回転していることを表す（図２８に示す状態Ｃ）。
【０１９８】
ステップＳ４４の次のステップＳ４５において、ステップＳ４４で算出された角度差が所定値以上であるか否かが判定される。なお、この所定値は予め定められている。ステップＳ４４の判定において、上記角度差が所定値以上であると判定された場合、ステップＳ４５〜Ｓ４９の一連の処理が実行される。一方、上記角度差が所定値よりも小さいと判定された場合、ステップＳ４５〜Ｓ４９の一連の処理がスキップされて、ＣＰＵ１０は移動処理を終了する。ステップＳ４５の判定処理は、プレイヤキャラクタ８１を移動させるか否かを判定するための処理である。
【０１９９】
ステップＳ４６においては、ステップＳ１８で得られた中点座標に基づいて目標位置が算出される。ここで、目標位置とは、カーソル８２によって指定されるゲーム空間内における位置であり、プレイヤキャラクタ８１の移動方向を決定する位置である。具体的には、ＣＰＵ１０はまず、中点座標から画面上の位置（２次元の座標値）を算出する。画面上の位置を算出する方法は、上記第１実施例と同様の方法である。次に、ＣＰＵ１０は、画面上の位置から、当該画面上の位置に対応するゲーム空間内の位置（３次元の座標値）を算出する。「画面上の位置に対応するゲーム空間内の位置」とは、その画面上の位置に表示されるゲーム空間内の位置である。算出されたゲーム空間内の位置が目標位置となる。ステップＳ４６の次にステップＳ４７の処理が実行される。
【０２００】
ステップＳ４７において、ステップＳ４６で算出された目標位置とプレイヤキャラクタ８１の現在位置とに基づいて、プレイヤキャラクタ８１の移動方向が決定される。ＣＰＵ１０は、現在位置を始点として、目標位置を終点とする３次元のベクトルを算出する。算出されたベクトルがプレイヤキャラクタ８１の移動方向を示す。算出されたベクトルのデータは、移動方向データ６４としてメインメモリ１３に記憶される。ステップＳ４７の次にステップＳ４８の処理が実行される。
【０２０１】
ステップＳ４８において、ステップＳ４４で算出された角度差に基づいてプレイヤキャラクタ８１の移動量（１フレーム当たりの移動量、すなわち、速度）が算出される。ここで、移動量は、角度差θ’が正であれば正となり、角度差θ’が負であれば負となるように決定される。さらに、角度差θ’の絶対値が大きいほど移動量の絶対値が大きくなるように決定される。典型的には、移動量は角度差θ’に正比例するように決定される。ステップＳ４８の次にステップＳ４９の処理が実行される。
【０２０２】
ステップＳ４９において、プレイヤキャラクタ８１の移動後の位置が算出される。プレイヤキャラクタ８１の移動後の位置は、ステップＳ４７で算出された移動方向と、ステップＳ４８で算出された移動量とに基づいて決定される。具体的には、ＣＰＵ１０はまず、上記移動方向を示すベクトル（移動方向データ６４により示されるベクトル）を正規化して所定の大きさの単位ベクトルを算出する。そして、算出した単位ベクトルに上記移動量を乗算したベクトルを算出する。さらに、プレイヤキャラクタ８１の現在位置を基点として当該ベクトルの向きに当該ベクトルの大きさだけ移動した位置を、プレイヤキャラクタ８１の移動後の位置とする。なお、移動量が正の値の場合、算出されるベクトルは単位ベクトルとは逆向きになるので、プレイヤキャラクタ８１は前進する。また、移動量が負の値の場合、算出されるベクトルは単位ベクトルとは逆向きになるので、プレイヤキャラクタ８１は後退する。以上のように算出された移動後の位置を示す座標値のデータは、位置データ５９としてメインメモリ１３に記憶される。以上のステップＳ４９の後、ＣＰＵ１０は移動処理を終了する。
【０２０３】
図３０の説明に戻り、ステップＳ３の次のステップＳ４３において、プレイヤキャラクタ８１を移動させる処理以外の他のゲーム処理が実行される。他のゲーム処理には、例えば、プレイヤキャラクタ８１に移動以外の動作（例えば、敵キャラクタを攻撃する動作）を行わせるための処理や、敵キャラクタの動作を制御する処理等が含まれる。
【０２０４】
ステップＳ４３の次のステップＳ４において、表示処理が実行される。表示処理においては、ステップＳ３で決定された移動後の位置に配置されたプレイヤキャラクタ８１を含むゲーム空間の画像が表示される。これによって、プレイヤキャラクタ８１が移動する様子が画面に表示されることとなる。ステップＳ４の次のステップＳ５の処理は、図１１と同様である。
【０２０５】
以上のように、第２実施例によれば、コントローラ７自体を回転させる操作によって、ゲーム空間内におけるプレイヤキャラクタを前進または後退させることができる。さらに、コントローラ７による指示位置を変更する操作によって、カーソル７３を画面上で移動させ、プレイヤキャラクタを移動させる方向を指定することができる。つまり、第２実施例によれば、操作対象となるプレイヤキャラクタを移動させる移動量を指定する操作と、プレイヤキャラクタを移動させる方向を指定する操作という２種類の異なる操作を、コントローラ７自体を操作することによって行うことができ、コントローラ７を用いた従来にはない操作方法を実現することができる。
【０２０６】
また、第２実施例においては、ステップＳ１６で算出された方向と基準方向との角度差が所定値よりも小さい場合、プレイヤキャラクタの移動が行われない。したがって、コントローラ７が基準状態から多少回転した状態であっても、プレイヤキャラクタは移動しない。ここで、プレイヤキャラクタの移動がコントローラ７の回転角度に敏感に反応してしまうと、プレイヤが意図しないにもかかわらずプレイヤキャラクタが移動してしまうことがあり、操作性が悪くなることがある。また、ゲームの種類や状況によっては、操作対象を一定の姿勢で維持することをプレイヤが望む場合も考えられる。このような場合に、操作対象の移動がコントローラの回転角度に敏感に反応してしまうと、操作対象を一定の位置に維持することが困難となり、操作性が悪くなる。これに対して、第２実施例においては、コントローラ７が基準状態から多少回転した状態であってもプレイヤキャラクタは移動しないので、プレイヤが意図しないにもかかわらずプレイヤキャラクタが移動してしまうことを防止することができる。以上のように、コントローラ７の回転操作においていわゆる遊びの部分を設定することによって操作性を向上することができる。
【０２０７】
なお、上記第２実施例においては、３次元の仮想ゲーム空間に登場するオブジェクトを操作対象としたが、ゲーム空間の画像を生成するための仮想カメラを操作対象としてもよい。すなわち、ステップＳ１６で算出される方向に応じて、仮想カメラを上記目標位置に移動させるようにしてもよい。仮想カメラを操作対象とする場合も、図３０および図３１に示した処理と同様の処理によって仮想カメラを目標位置に移動させることができる。
【０２０８】
また、上記第２実施例においては、操作対象であるプレイヤキャラクタを目標位置に向かって移動させた。ここで、他の実施例においては、プレイヤキャラクタを目標位置まで移動させるようにしてもよい。つまり、上記第２実施例ではプレイヤキャラクタを目標位置の方向へ移動させたが、他の実施例では、プレイヤキャラクタを目標位置まで移動させるようにしてもよい。このとき、目標位置の決定は、コントローラ７に設けられた所定のボタンを押下することによって実行される。すなわち、プレイヤは、コントローラ７によってカーソル７３を所望の位置に移動させ、所望の位置となった時点で上記所定のボタンを押下する。ゲーム装置３は、所定のボタンが押下されたことに応じて、目標位置を決定する。そして、プレイヤキャラクタを目標位置まで移動させる。つまり、所定のボタンを押下した後でカーソル７３が他の位置に移動しても、新たに目標位置が決定されない限り、プレイヤキャラクタを目標位置まで移動させる。なお、このとき、１フレーム当たりの移動量は上記角度差に応じて決定されてもよい。
【０２０９】
（第３実施例）
以下、第３実施例として、プレイヤキャラクタを移動する操作に本発明を適用した実施例について説明する。ここでは、プレイヤがカート（プレイヤキャラクタ）を操作するレースゲームを例として説明する。図３２は、第３実施例におけるゲーム画面の一例を示す図である。図３２においては、レースコースである３次元の仮想のゲーム空間およびゲーム空間内に存在するカート９１〜９３がモニタ２の画面に表示されている。カート９１は、プレイヤによって操作されるカート（プレイヤカート）であり、カート９２および９３は、ゲーム装置３によって動作が制御されるカートである。
【０２１０】
第３実施例においては、プレイヤは、コントローラ７の回転操作と、コントローラ７に設けられた各操作ボタンに対する押下操作とによってプレイヤカート９１を移動させることができる。具体的には、プレイヤカート９１の加速度の前後方向に関する成分は、コントローラ７の回転操作によって決定される。また、加速度の左右方向に関する成分は、十字キー３２ａの押下操作によって決定される。なお、ここでは、加速度は、プレイヤカート９１のフレーム毎の速度を決定するために用いられる変数である。プレイヤカート９１は、加速度によって決められる速度に基づいて移動される。プレイヤは、コントローラ７を回転させることによってプレイヤカート９１の加速度の前後方向成分を調整するとともに、十字キー３２ａの左右のキーを押下することによって左右方向成分を調整することによって、プレイヤカート９１の移動を制御する。
【０２１１】
図３３は、回転操作によって変化するプレイヤカート９１の加速度を説明するための図である。図３３は、コントローラ７の状態と、コントローラ７が当該状態にあるときのプレイヤカート９１の加速度（前後方向の成分）との対応を示している。なお、図３３においてはコントローラ７を後方（図３に示すＺ軸負方向側）から見た図を示している。
【０２１２】
図３３に示す状態Ａは、コントローラ７の上面が真上方向を向いている状態からコントローラ７を左回りに所定角度θａだけ回転させた状態である。なお、第３実施例では、コントローラ７の上面が真上方向を向いている状態におけるコントローラ上面に対する鉛直上向き方向を０°とする。コントローラ７が状態Ａにあるとき、プレイヤカート９１の加速度は“０”と算出される。第３実施例においては、この状態Ａを基準状態とする。また、基準状態における撮像画像から算出される対象画像の方向を基準方向と呼ぶ。
【０２１３】
図３３に示す状態Ｂは、コントローラ７を状態Ａから右回りに所定角度回転させた状態である。コントローラ７が状態Ｂにあるとき、プレイヤカート９１の加速度は“Ａ１”と算出される。また、図３３に示す状態Ｃは、コントローラ７を状態Ｂからさらに右回りに所定角度回転させた状態である。状態Ｃは、コントローラ７の上面が真上方向を向いている状態からコントローラ７を右回りに所定角度θｂだけ回転させた状態である。コントローラ７が状態Ｃにあるとき、プレイヤカート９１の加速度は“Ａｍａｘ”と算出される。ここで、Ａｍａｘは加速度の最大値である。以上のように、プレイヤカート９１の加速度は、コントローラ７を状態Ａから右回りに回転させるほど大きくなり、状態Ｃとなった時点で最大値Ａｍａｘとなるように算出される。
【０２１４】
次に、第３実施例におけるゲーム処理の詳細を説明する。図３４は、第３実施例におけるゲーム装置３のメインメモリ１３に記憶される主なデータを示す図である。第３実施例においては、図１１に示したデータに加え、また、基準方向データ６３がメインメモリ１３に記憶される。また、速度ベクトルデータ６５および加速度ベクトルデータ６６が操作対象データ５８としてメインメモリ１３に記憶される。
【０２１５】
基準方向データ６３は、上記基準方向を示すデータである。基準方向は、撮像画像から得られる方向に関して基準となる方向である。基準方向は、プレイヤカート９１の加速度を算出する際に用いられる。具体的には、プレイヤカート９１の加速度は、基準方向と現在の方向（方向データ５７により示される方向）との角度差に基づいて決定される。なお、第３実施例においては、基準方向は予め定められているものとするが、他の実施例においては、ゲーム開始時にプレイヤによって設定されてもよい。
【０２１６】
速度ベクトルデータ６５は、プレイヤカート９１の速度を示すデータである。すなわち、速度ベクトルデータ６５は、プレイヤカート９１の１フレーム当たりの移動方向および移動量を示す。また、加速度ベクトルデータ６６は、プレイヤカート９１の加速度ベクトルを示すデータである。第３実施例においては、加速度ベクトルデータ６６は、プレイヤカート９１の速度を算出するために用いられる。
【０２１７】
図３５は、第３実施例におけるゲーム処理の流れを示すフローチャートである。なお、図３５において、図１２に示すゲーム処理のステップと同様のステップについては図１２と同じステップ番号を付し、詳細な説明を省略する。図３５に示すフローチャートが開始されるまでの処理は、図１２に示した場合と同様である。
【０２１８】
第３実施例におけるゲーム処理においては、まずステップＳ５１において、初期処理が実行される。この初期処理においては、３次元の仮想ゲーム空間が構築されてモニタ２に表示される。具体的には、ＣＰＵ１０は、３次元の仮想ゲーム空間を構築し、当該ゲーム空間内にプレイヤカート９１を含む複数のカートを配置する。また、当該ゲーム空間内における所定位置に所定の視線方向で仮想カメラを設定し、仮想カメラから見たゲーム空間の画像を生成してモニタ２に表示する。なお、ここでは、仮想カメラの位置および視線方向は、プレイヤカート９１が画面に表示されるように自動的に制御されるものとする。
【０２１９】
ステップＳ５１の次に、図１２と同様のステップＳ１の処理が実行される。続くステップＳ２の操作状態算出処理も、図１２に示した操作状態算出処理と同様である。すなわち、操作状態算出処理によって、操作状態データ５６が算出され、方向データ５７がメインメモリ１３に記憶される。ステップＳ２の次にステップＳ３の処理が実行される。
【０２２０】
ステップＳ３においては、移動処理が実行される。第３実施例における移動処理では、プレイヤカート９１を操作対象として、コントローラ７の回転操作および十字キー３２ａの押下操作に従ってプレイヤカート９１が移動される。以下、移動処理の詳細を説明する。
【０２２１】
図３６は、第３実施例における移動処理の詳細を示すフローチャートである。移動処理においては、まずステップＳ５３において、ステップＳ１６で算出された方向に基づいてプレイヤカート９１の加速度の前後方向の成分が算出される。なお、角度差は、−１８０°より大きく１８０°以下の範囲で表されるものとする。また、角度差は、基準ベクトルを基準として左回りする方向を正とし、右回りする方向を負とする。つまり、角度差が正であることは、基準方向を基準として撮像画像が左回りに回転していることであり、コントローラ７が指示方向を軸として基準状態から右回りに回転していることを表す。
【０２２２】
具体的には、ＣＰＵ１０はまず、基準方向とステップＳ１６で算出された方向との角度差を算出する。次に、算出された角度差に応じた大きさとなるように加速度の前後方向成分を算出する。図３３に示したように、加速度の前後方向成分Ａは、０≦Ａ≦Ａｍａｘの範囲で、角度差に応じた大きさとなるように算出される。なお、コントローラ７が状態Ａよりもさらに左回りに回転した状態にある場合、すなわち、角度差が負となる場合、加速度の前後方向成分は“０”と算出される。また、コントローラ７が状態Ｃよりもさらに右回りに回転した状態にある場合、すなわち、角度差がθａ＋θｂよりも大きい値となる場合、加速度の前後方向成分は“Ａｍａｘ”と算出される。ステップＳ５３の次にステップＳ５４の処理が実行される。
【０２２３】
ステップＳ５４において、操作キーによる操作に基づいて加速度の左右方向の成分が決定される。すなわち、ＣＰＵ１０は、ステップＳ１で取得された操作データに基づいて、十字キー３２ａの右方向のキーまたは左方向のキーが押下されているかを判定する。そして、右方向のキーが押下されている場合、加速度の左右方向成分の大きさを、右方向を表す所定値に決定する。一方、左方向のキーが押下されている場合、加速度の左右方向成分の大きさを、左方向を表す所定値に決定する。以上のステップＳ５３で算出された加速度の前後方向成分とステップＳ５４で決定された左右方向成分とを合成することによって加速度のベクトルが得られる。得られた加速度のベクトルのデータは、加速度ベクトルデータ６６としてメインメモリ１３に記憶される。ステップＳ５４の次にステップＳ５５の処理が実行される。
【０２２４】
ステップＳ５５において、ステップＳ５３およびＳ５４で算出された加速度に基づいて速度が算出される。新たな速度ベクトルは、前回のフレームにおける速度ベクトルと、ステップＳ５３およびＳ５４で得られた加速度ベクトルとを加算することによって得られる。すなわち、ＣＰＵ１０は、メインメモリ１３に記憶されている速度ベクトルデータ６５および加速度ベクトルデータ６６を参照して、新たな速度ベクトルを算出する。そして、算出された速度ベクトルのデータを新たな速度ベクトルデータ６５としてメインメモリ１３に更新して記憶する。ステップＳ５５の次にステップＳ５６の処理が実行される。
【０２２５】
ステップＳ５６において、ステップＳ５５で算出された速度に基づいて移動後の位置が算出される。すなわち、ＣＰＵ１０は、プレイヤカートの現在位置を基点として、上記速度ベクトルの向きに当該速度ベクトルの大きさだけ移動した位置を、プレイヤカートの移動後の位置として算出する。算出された位置のデータは、位置データ５９としてメインメモリ１３に更新して記憶される。ＣＰＵ１０は、以上のステップＳ５６の後、移動処理を終了する。
【０２２６】
図３５の説明に戻り、ステップＳ３のステップＳ５２において、他のゲーム処理が実行される。例えば、プレイヤカート以外のカートに移動動作を行わせるための処理が実行される。続くステップＳ４において、表示処理が実行される。表示処理においては、ステップＳ３で決定された移動後の位置に配置されたプレイヤカートを含むゲーム空間の画像が表示される。これによって、プレイヤカートが移動する様子が画面に表示されることとなる。ステップＳ４の次のステップＳ５の処理は、図１１と同様である。
【０２２７】
以上のように、第３実施例によれば、コントローラ７自体を回転させる操作によって、ゲーム空間内におけるプレイヤカートの加速度（速度）を変化させることができる。さらに、コントローラ７に設けられた操作ボタンを押下する操作によって、プレイヤカートの移動方向を変化させることができる。つまり、第３実施例によれば、コントローラ７自体の操作とコントローラ７に設けられた操作ボタンの操作とによって、操作対象となるプレイヤカートの移動を制御することができる。これによって、コントローラ７自体を動かす操作とそれに設けられた操作ボタンに対する操作とを組み合わせて１つの操作対象を操作するという、従来にはない操作方法を実現することができる。
【０２２８】
なお、以上の実施例においては、回転量の一例として回転角度、すなわち方向データ５７に対応したベクトルと、基準ベクトルの差を、角度差として算出したが、ベクトル同士の差分をベクトル（差分ベクトル）として算出し、当該差分ベクトルを角度差の代わりに用いてもよい。さらに、差分ベクトルの所定成分の値のみを用いて操作対象を移動させてもよい。また、他の実施例においては、基準ベクトルを用いず、方向データに対応したベクトルの値のみを用いて操作対象を移動させてもよい。例えば、方向データに対応したベクトルの値と、その値をとる場合の操作対象の位置（画面上または仮想空間上の位置）とを対応付けておくことで、当該ベクトルの値のみを用いて操作対象を移動させることができる。このようにすることで、コントローラの傾きに応じた制御を可能としつつ、角度を算出するコストを軽減することができる。
【０２２９】
なお、以上においては、本発明に係る情報処理システムおよびプログラムを、ゲームシステムおよびゲームプログラムとして実現する場合を例として説明したが、本発明は、ゲーム分野に限らず、撮像画像を用いて入力装置自体の位置や向きを検知する入力装置を用いる情報処理システムに適用することが可能である。
【０２３０】
例えば、第１実施例は、ゲームのメニュー画面を表示する場合の他、表示画面上の任意の位置を指定するためのシステムにおいても適用することができる。このシステムは、例えば会議等で画面に表示される内容を説明者が説明する際に用いられる。具体的には、第１実施例と同様の方法で表示画面上のカーソルを移動させるとともに、第１実施例と同様の方法で表示画面に表示されている画像をスクロールさせる。これによれば、説明者は、表示画面上の任意の位置を指定するためにカーソルを移動させる操作と、表示画面の内容をスクロールさせる操作とを、１つのコントローラ７を用いて行うことができる。カーソルによって任意の位置を指定したり表示画面の内容をスクロールさせたりする操作を片手で行うことができるので、説明者にとっては非常に便利である。
【産業上の利用可能性】
【０２３１】
本発明は、ユーザが手に持って使用する入力装置を使用する情報処理システムにおいて、従来にはない新たな操作を可能とすること等を目的として、例えばゲーム装置やゲームプログラムに利用することが可能である。
【符号の説明】
【０２３２】
１ ゲームシステム
２ モニタ
３ ゲーム装置
４ 光ディスク
５ 外部メモリカード
７ コントローラ
８ａ，８ｂ マーカ
１０ ＣＰＵ
１３ メインメモリ
３２ 操作部
３５ 撮像情報演算部
３６ 通信部
３７ 加速度センサ
４０ 撮像素子
７１，７２ ウィンドウ
７３，８２ カーソル
７４ａ〜７４ｉ 項目画像
８１ プレイヤキャラクタ
９１ プレイヤカート
【特許請求の範囲】
【請求項１】
撮像対象を撮像するための撮像手段を備える操作装置から操作データを受け取り、当該操作データを用いて所定の操作対象に演算処理を加えた後の仮想空間を表示装置に表示させる、情報処理装置のコンピュータで実行されるプログラムであって、
前記操作装置の前記撮像手段で撮像された撮像画像を操作データとして取得する取得ステップと、
前記撮像画像における前記撮像対象の位置を用いて、２次元ベクトルを算出するベクトル算出ステップと、
算出された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる第１移動ステップと、
前記第１移動ステップにおける前記操作対象の移動に応じて変更される前記仮想空間を前記表示装置の表示領域に表示させる表示ステップとを前記コンピュータに実行させる、プログラム。
【請求項２】
前記ベクトル算出ステップは、
前記撮像画像に対応した座標系において、前記撮像対象の画像のうちの所定の２点の座標を算出する第１算出ステップと、
前記所定の２点の座標を結ぶ２次元ベクトルを算出する第２算出ステップとを含む、請求項１に記載のプログラム。
【請求項３】
撮像対象を撮像するための撮像手段と、当該撮像手段によって撮像された撮像画像に含まれる撮像対象の画像のうちの所定の２点の座標を算出する第１算出手段とを備える操作装置から操作データを受け取り、当該操作データを用いて所定の操作対象に演算処理を加えた後の仮想空間を表示装置に表示させる、情報処理装置のコンピュータで実行されるプログラムであって、
前記所定の２点の座標を操作データとして取得する取得ステップと、
前記２点の座標を結ぶ２次元ベクトルを算出する第２算出ステップと、
算出された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる第１移動ステップと、
前記第１移動ステップにおける前記操作対象の移動に応じて変更される前記仮想空間を前記表示装置の表示領域に表示させる表示ステップとを前記コンピュータに実行させる、プログラム。
【請求項４】
撮像対象を撮像するための撮像手段と、当該撮像手段によって撮像された撮像画像における当該撮像対象の位置を用いて２次元ベクトルを算出するベクトル算出手段とを備える操作装置から操作データを受け取り、当該操作データを用いて所定の操作対象に演算処理を加えた後の仮想空間を表示装置に表示させる、情報処理装置のコンピュータで実行されるプログラムであって、
前記２次元ベクトルデータを操作データとして取得する取得ステップと、
取得された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる第１移動ステップと、
前記第１移動ステップにおける前記操作対象の移動に応じて変更される前記仮想空間の画像を前記表示装置の表示領域に表示させる表示ステップとを前記コンピュータに実行させる、プログラム。
【請求項５】
前記取得された撮像画像における前記撮像対象の画像の位置に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する指示座標算出ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる、請求項１に記載のプログラム。
【請求項６】
前記２点の座標の中点座標に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する指示座標算出ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる、請求項２または請求項３のいずれかに記載のプログラム。
【請求項７】
前記操作データには、前記撮像対象の画像位置に対応した少なくとも１点の座標がさらに含まれ、
前記１点の座標に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する指示座標算出ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる、請求項４に記載のプログラム。
【請求項８】
前記指示座標算出ステップは、
前記撮像手段によって撮像された画像を、画像中心を軸として回転させ、当該回転によって前記２次元ベクトルが一定の方向になるようにした場合における、前記撮像対象の画像の位置を算出する第１ステップと、
前記第１ステップにおいて算出された座標位置に対応させて、前記表示領域上の位置に対応した指示座標を算出する第２ステップとを含む、請求項５ないし請求項７のいずれかに記載のプログラム。
【請求項９】
前記表示領域上の位置に対応した所定の座標を指示座標として設定する指示座標算出ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項１０】
前記仮想空間内に少なくとも１つのオブジェクトを配置するオブジェクト配置ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記仮想空間に配置されるオブジェクトのいずれかを前記操作対象とし、移動させる、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項１１】
前記仮想空間内に少なくとも１つのオブジェクトを配置するオブジェクト配置ステップと、
前記指示座標算出ステップにおいて算出された指示座標に対応した表示領域上の位置に、当該オブジェクトが表示されるか否か判別する判別ステップと、
前記指示座標に対応した位置にオブジェクトが表示される場合には、当該オブジェクトを前記操作対象として設定する操作対象設定ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記操作対象設定ステップにおいて設定されたオブジェクトを移動させる、請求項５ないし９のいずれかに記載のプログラム。
【請求項１２】
前記仮想空間は仮想的な３次元空間であって、
前記オブジェクト配置ステップにおいては、３次元の仮想空間に３次元のオブジェクトが配置され、
前記第１移動ステップにおいては、前記仮想空間内における予め決められた３次元の方向に前記オブジェクトが移動される、請求項１０または１１のいずれかに記載のプログラム。
【請求項１３】
前記仮想空間は仮想的な３次元空間であって、
当該仮想空間内における所定位置に所定方向を向く仮想カメラを設定する仮想カメラ設定ステップと、
前記仮想カメラを前記操作対象とする操作対象設定ステップとを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記仮想カメラを前記操作対象とし、前記仮想空間内における予め決められた３次元の方向に移動させ、
前記表示ステップにおいては、前記仮想カメラから見た前記仮想空間の画像が前記画面に表示される、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項１４】
前記仮想空間は仮想的な３次元空間であって、
前記指示座標算出ステップで算出された指示座標に対応する前記仮想空間内での３次元座標を算出して３次元指示座標として設定する３次元指示座標設定ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記２次元ベクトルと、前記３次元指示座標とを用いた演算によって操作対象を移動させる、請求項５ないし請求項９のいずれかに記載のプログラム。
【請求項１５】
前記第１移動ステップにおいては、前記指示座標算出ステップにおいて算出された位置に向かう方向に前記操作対象を移動させる、請求項５ないし請求項９のいずれかに記載のプログラム。
【請求項１６】
前記第１移動ステップにおいては、前記３次元指示座標算出ステップにおいて算出された位置に向かう方向に前記操作対象を移動させる、請求項１４に記載のプログラム。
【請求項１７】
前記仮想空間には、前記表示ステップにおいて前記表示領域の所定範囲内に表示されるべきオブジェクトが含まれ、
前記第１移動ステップにおいては、前記所定範囲内に表示される画像が、前記予め決められた方向へスクロールするように、オブジェクトの表示内容を移動させる、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項１８】
前記仮想空間には、前記表示ステップにおいて前記表示領域の所定範囲内に表示されるべきオブジェクトが含まれ、
前記指示座標が所定範囲に対応する範囲に含まれるか否か判別し、含まれる場合には前記オブジェクトを操作対象として設定する操作対象設定ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記所定範囲内に表示される画像が、前記予め決められた方向へスクロールするように、前記操作対象設定ステップにおいて設定されたオブジェクトの表示内容を移動させる、請求項５ないし９のいずれかに記載のプログラム。
【請求項１９】
前記仮想空間には、前記表示ステップにおいて、選択可能な項目を表す項目画像として前記表示領域の所定範囲内に表示されるオブジェクトが含まれ、
前記第１移動ステップにおいては、前記所定範囲内に表示される選択項目が、前記予め決められた方向へスクロールして次々と表示されるように、前記操作対象設定ステップにおいて設定されたオブジェクトの表示内容を移動させ、
前記項目を選択する旨の指示入力を受け付ける選択入力受付ステップと、
前記指示座標算出ステップにおいて算出された位置に前記項目画像が表示されている時点で前記指示入力が受け付けられたとき、当該項目画像により表される項目が選択されたと判断する項目判断ステップとを前記コンピュータにさらに実行させる、請求項５ないし９のいずれかに記載のプログラム。
【請求項２０】
前記操作対象の移動経路が予め設定されていて、
前記第１ステップにおいては、当該経路に沿った方向へ前記操作対象を移動させる、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項２１】
前記２次元ベクトルの方向と、所定の基準方向との差を角度またはベクトルとして求める傾き算出ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差に応じて前記操作対象を移動させる、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項２２】
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象の移動量が決定される、請求項２１に記載のプログラム。
【請求項２３】
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象が移動する速度が決定される、請求項２１に記載のプログラム。
【請求項２４】
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象が移動する加速度が決定される、請求項２１に記載のプログラム。
【請求項２５】
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象の移動方向に沿った位置が決定される、請求項２１に記載のプログラム。
【請求項２６】
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値が所定の範囲を超えたとき、前記操作対象を移動させる、請求項２１に記載のプログラム。
【請求項２７】
前記操作対象は、前記予め決められた２方向に移動可能であり、
前記第１移動ステップにおいては、前記２方向のうちで前記操作対象が移動する方向は、前記傾き算出ステップで算出された差の値と所定の基準値との比較結果に応じて決定される、請求項２１に記載のプログラム。
【請求項２８】
前記情報処理装置は、
前記基準方向を記憶する記憶手段と、
ユーザから所定の操作を受け付ける操作受付手段とを備え、
前記操作受付手段によって前記所定の操作が受け付けられた時点における前記算出された２次元ベクトルの方向を新たな基準方向として前記記憶手段に記憶させる記憶制御ステップを前記コンピュータにさらに実行させる、請求項２１に記載のプログラム。
【請求項２９】
前記情報処理装置は、前記基準方向を記憶する記憶手段を備え、
新たに２次元ベクトルが算出されたとき、前回に算出された２次元ベクトルの方向を前記基準方向として前記記憶手段に記憶させる記憶制御ステップを前記コンピュータにさらに実行させる、請求項２１に記載のプログラム。
【請求項３０】
前記操作装置は、自機の傾きを検出する傾き検出手段を備え、
前記取得された画像から前記ベクトル算出ステップによってベクトルが算出可能か否かを判定する判定ステップと、
前記判定ステップによってベクトルが算出不可能と判定されたとき、前記傾き検出手段によって検出される前記操作装置の傾きを示す傾きデータを取得する傾き取得ステップと、
前記判定ステップにおいて方向が算出不可能と判定されたとき、前記傾きデータにより示される傾きに応じて、前記予め決められた方向に前記操作対象を移動させる第２移動ステップとを前記コンピュータにさらに実行させ、
前記ベクトル算出ステップにおいては、前記判定ステップにおいてベクトルが算出不可能と判定されたときにはベクトルを算出する処理が停止される、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項３１】
ユーザによって操作可能であり所定の撮像対象を撮像するための撮像手段を備える操作装置と、当該操作装置が通信可能に接続される情報処理装置と、当該情報処理装置によって処理された結果を表示する表示装置とを含む情報処理システムであって、
前記表示装置にウィンドウを表示する表示制御手段と、
前記撮像手段によって撮像された撮像画像に含まれる撮像対象の画像のうちの所定の２点の座標を算出する第１算出手段と、
前記２点の座標を結ぶ２次元ベクトルを算出する第２算出手段と、
算出された前記２次元ベクトルの値とこれよりも前に算出された２次元ベクトルの値とに基づいて回転量を求め、当該回転量に応じて前記ウィンドウ内をスクロールさせる第１移動手段と、を備える情報処理システム。
【請求項３２】
前記表示制御手段は、複数のウィンドウを表示する複数表示機能を含み、
前記撮像画像における所定の２点の座標の位置関係から前記表示装置の表示領域上の１点の指示座標を算出する指示座標算出手段をさらに備え、
前記第１移動手段は、前記指示座標と重なるウィンドウを検出し、前記回転量に応じて当該ウィンドウ内をスクロールさせる、請求項３１に記載の情報処理システム。
【請求項１】
撮像対象を撮像するための撮像手段を備える操作装置から操作データを受け取り、当該操作データを用いて所定の操作対象に演算処理を加えた後の仮想空間を表示装置に表示させる、情報処理装置のコンピュータで実行されるプログラムであって、
前記操作装置の前記撮像手段で撮像された撮像画像を操作データとして取得する取得ステップと、
前記撮像画像における前記撮像対象の位置を用いて、２次元ベクトルを算出するベクトル算出ステップと、
算出された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる第１移動ステップと、
前記第１移動ステップにおける前記操作対象の移動に応じて変更される前記仮想空間を前記表示装置の表示領域に表示させる表示ステップとを前記コンピュータに実行させる、プログラム。
【請求項２】
前記ベクトル算出ステップは、
前記撮像画像に対応した座標系において、前記撮像対象の画像のうちの所定の２点の座標を算出する第１算出ステップと、
前記所定の２点の座標を結ぶ２次元ベクトルを算出する第２算出ステップとを含む、請求項１に記載のプログラム。
【請求項３】
撮像対象を撮像するための撮像手段と、当該撮像手段によって撮像された撮像画像に含まれる撮像対象の画像のうちの所定の２点の座標を算出する第１算出手段とを備える操作装置から操作データを受け取り、当該操作データを用いて所定の操作対象に演算処理を加えた後の仮想空間を表示装置に表示させる、情報処理装置のコンピュータで実行されるプログラムであって、
前記所定の２点の座標を操作データとして取得する取得ステップと、
前記２点の座標を結ぶ２次元ベクトルを算出する第２算出ステップと、
算出された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる第１移動ステップと、
前記第１移動ステップにおける前記操作対象の移動に応じて変更される前記仮想空間を前記表示装置の表示領域に表示させる表示ステップとを前記コンピュータに実行させる、プログラム。
【請求項４】
撮像対象を撮像するための撮像手段と、当該撮像手段によって撮像された撮像画像における当該撮像対象の位置を用いて２次元ベクトルを算出するベクトル算出手段とを備える操作装置から操作データを受け取り、当該操作データを用いて所定の操作対象に演算処理を加えた後の仮想空間を表示装置に表示させる、情報処理装置のコンピュータで実行されるプログラムであって、
前記２次元ベクトルデータを操作データとして取得する取得ステップと、
取得された前記２次元ベクトルの値に応じて、前記操作対象を予め決められた方向へ移動させる第１移動ステップと、
前記第１移動ステップにおける前記操作対象の移動に応じて変更される前記仮想空間の画像を前記表示装置の表示領域に表示させる表示ステップとを前記コンピュータに実行させる、プログラム。
【請求項５】
前記取得された撮像画像における前記撮像対象の画像の位置に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する指示座標算出ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる、請求項１に記載のプログラム。
【請求項６】
前記２点の座標の中点座標に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する指示座標算出ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる、請求項２または請求項３のいずれかに記載のプログラム。
【請求項７】
前記操作データには、前記撮像対象の画像位置に対応した少なくとも１点の座標がさらに含まれ、
前記１点の座標に対応させて、前記表示領域上の位置に対応した所定の指示座標を算出する指示座標算出ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる、請求項４に記載のプログラム。
【請求項８】
前記指示座標算出ステップは、
前記撮像手段によって撮像された画像を、画像中心を軸として回転させ、当該回転によって前記２次元ベクトルが一定の方向になるようにした場合における、前記撮像対象の画像の位置を算出する第１ステップと、
前記第１ステップにおいて算出された座標位置に対応させて、前記表示領域上の位置に対応した指示座標を算出する第２ステップとを含む、請求項５ないし請求項７のいずれかに記載のプログラム。
【請求項９】
前記表示領域上の位置に対応した所定の座標を指示座標として設定する指示座標算出ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記２次元ベクトルと、前記指示座標とを用いた演算によって操作対象を移動させる、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項１０】
前記仮想空間内に少なくとも１つのオブジェクトを配置するオブジェクト配置ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記仮想空間に配置されるオブジェクトのいずれかを前記操作対象とし、移動させる、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項１１】
前記仮想空間内に少なくとも１つのオブジェクトを配置するオブジェクト配置ステップと、
前記指示座標算出ステップにおいて算出された指示座標に対応した表示領域上の位置に、当該オブジェクトが表示されるか否か判別する判別ステップと、
前記指示座標に対応した位置にオブジェクトが表示される場合には、当該オブジェクトを前記操作対象として設定する操作対象設定ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記操作対象設定ステップにおいて設定されたオブジェクトを移動させる、請求項５ないし９のいずれかに記載のプログラム。
【請求項１２】
前記仮想空間は仮想的な３次元空間であって、
前記オブジェクト配置ステップにおいては、３次元の仮想空間に３次元のオブジェクトが配置され、
前記第１移動ステップにおいては、前記仮想空間内における予め決められた３次元の方向に前記オブジェクトが移動される、請求項１０または１１のいずれかに記載のプログラム。
【請求項１３】
前記仮想空間は仮想的な３次元空間であって、
当該仮想空間内における所定位置に所定方向を向く仮想カメラを設定する仮想カメラ設定ステップと、
前記仮想カメラを前記操作対象とする操作対象設定ステップとを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記仮想カメラを前記操作対象とし、前記仮想空間内における予め決められた３次元の方向に移動させ、
前記表示ステップにおいては、前記仮想カメラから見た前記仮想空間の画像が前記画面に表示される、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項１４】
前記仮想空間は仮想的な３次元空間であって、
前記指示座標算出ステップで算出された指示座標に対応する前記仮想空間内での３次元座標を算出して３次元指示座標として設定する３次元指示座標設定ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記２次元ベクトルと、前記３次元指示座標とを用いた演算によって操作対象を移動させる、請求項５ないし請求項９のいずれかに記載のプログラム。
【請求項１５】
前記第１移動ステップにおいては、前記指示座標算出ステップにおいて算出された位置に向かう方向に前記操作対象を移動させる、請求項５ないし請求項９のいずれかに記載のプログラム。
【請求項１６】
前記第１移動ステップにおいては、前記３次元指示座標算出ステップにおいて算出された位置に向かう方向に前記操作対象を移動させる、請求項１４に記載のプログラム。
【請求項１７】
前記仮想空間には、前記表示ステップにおいて前記表示領域の所定範囲内に表示されるべきオブジェクトが含まれ、
前記第１移動ステップにおいては、前記所定範囲内に表示される画像が、前記予め決められた方向へスクロールするように、オブジェクトの表示内容を移動させる、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項１８】
前記仮想空間には、前記表示ステップにおいて前記表示領域の所定範囲内に表示されるべきオブジェクトが含まれ、
前記指示座標が所定範囲に対応する範囲に含まれるか否か判別し、含まれる場合には前記オブジェクトを操作対象として設定する操作対象設定ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記所定範囲内に表示される画像が、前記予め決められた方向へスクロールするように、前記操作対象設定ステップにおいて設定されたオブジェクトの表示内容を移動させる、請求項５ないし９のいずれかに記載のプログラム。
【請求項１９】
前記仮想空間には、前記表示ステップにおいて、選択可能な項目を表す項目画像として前記表示領域の所定範囲内に表示されるオブジェクトが含まれ、
前記第１移動ステップにおいては、前記所定範囲内に表示される選択項目が、前記予め決められた方向へスクロールして次々と表示されるように、前記操作対象設定ステップにおいて設定されたオブジェクトの表示内容を移動させ、
前記項目を選択する旨の指示入力を受け付ける選択入力受付ステップと、
前記指示座標算出ステップにおいて算出された位置に前記項目画像が表示されている時点で前記指示入力が受け付けられたとき、当該項目画像により表される項目が選択されたと判断する項目判断ステップとを前記コンピュータにさらに実行させる、請求項５ないし９のいずれかに記載のプログラム。
【請求項２０】
前記操作対象の移動経路が予め設定されていて、
前記第１ステップにおいては、当該経路に沿った方向へ前記操作対象を移動させる、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項２１】
前記２次元ベクトルの方向と、所定の基準方向との差を角度またはベクトルとして求める傾き算出ステップを前記コンピュータにさらに実行させ、
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差に応じて前記操作対象を移動させる、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項２２】
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象の移動量が決定される、請求項２１に記載のプログラム。
【請求項２３】
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象が移動する速度が決定される、請求項２１に記載のプログラム。
【請求項２４】
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象が移動する加速度が決定される、請求項２１に記載のプログラム。
【請求項２５】
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値に応じて、前記操作対象の移動方向に沿った位置が決定される、請求項２１に記載のプログラム。
【請求項２６】
前記第１移動ステップにおいては、前記傾き算出ステップで算出された差の値が所定の範囲を超えたとき、前記操作対象を移動させる、請求項２１に記載のプログラム。
【請求項２７】
前記操作対象は、前記予め決められた２方向に移動可能であり、
前記第１移動ステップにおいては、前記２方向のうちで前記操作対象が移動する方向は、前記傾き算出ステップで算出された差の値と所定の基準値との比較結果に応じて決定される、請求項２１に記載のプログラム。
【請求項２８】
前記情報処理装置は、
前記基準方向を記憶する記憶手段と、
ユーザから所定の操作を受け付ける操作受付手段とを備え、
前記操作受付手段によって前記所定の操作が受け付けられた時点における前記算出された２次元ベクトルの方向を新たな基準方向として前記記憶手段に記憶させる記憶制御ステップを前記コンピュータにさらに実行させる、請求項２１に記載のプログラム。
【請求項２９】
前記情報処理装置は、前記基準方向を記憶する記憶手段を備え、
新たに２次元ベクトルが算出されたとき、前回に算出された２次元ベクトルの方向を前記基準方向として前記記憶手段に記憶させる記憶制御ステップを前記コンピュータにさらに実行させる、請求項２１に記載のプログラム。
【請求項３０】
前記操作装置は、自機の傾きを検出する傾き検出手段を備え、
前記取得された画像から前記ベクトル算出ステップによってベクトルが算出可能か否かを判定する判定ステップと、
前記判定ステップによってベクトルが算出不可能と判定されたとき、前記傾き検出手段によって検出される前記操作装置の傾きを示す傾きデータを取得する傾き取得ステップと、
前記判定ステップにおいて方向が算出不可能と判定されたとき、前記傾きデータにより示される傾きに応じて、前記予め決められた方向に前記操作対象を移動させる第２移動ステップとを前記コンピュータにさらに実行させ、
前記ベクトル算出ステップにおいては、前記判定ステップにおいてベクトルが算出不可能と判定されたときにはベクトルを算出する処理が停止される、請求項１ないし請求項４のいずれかに記載のプログラム。
【請求項３１】
ユーザによって操作可能であり所定の撮像対象を撮像するための撮像手段を備える操作装置と、当該操作装置が通信可能に接続される情報処理装置と、当該情報処理装置によって処理された結果を表示する表示装置とを含む情報処理システムであって、
前記表示装置にウィンドウを表示する表示制御手段と、
前記撮像手段によって撮像された撮像画像に含まれる撮像対象の画像のうちの所定の２点の座標を算出する第１算出手段と、
前記２点の座標を結ぶ２次元ベクトルを算出する第２算出手段と、
算出された前記２次元ベクトルの値とこれよりも前に算出された２次元ベクトルの値とに基づいて回転量を求め、当該回転量に応じて前記ウィンドウ内をスクロールさせる第１移動手段と、を備える情報処理システム。
【請求項３２】
前記表示制御手段は、複数のウィンドウを表示する複数表示機能を含み、
前記撮像画像における所定の２点の座標の位置関係から前記表示装置の表示領域上の１点の指示座標を算出する指示座標算出手段をさらに備え、
前記第１移動手段は、前記指示座標と重なるウィンドウを検出し、前記回転量に応じて当該ウィンドウ内をスクロールさせる、請求項３１に記載の情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【公開番号】特開２０１１−１７７５７９（Ｐ２０１１−１７７５７９Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１１−１３６１８１（Ｐ２０１１−１３６１８１）
【出願日】平成２３年６月２０日（２０１１．６．２０）
【分割の表示】特願２００５−２５３７１５（Ｐ２００５−２５３７１５）の分割
【原出願日】平成１７年９月１日（２００５．９．１）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２３年６月２０日（２０１１．６．２０）
【分割の表示】特願２００５−２５３７１５（Ｐ２００５−２５３７１５）の分割
【原出願日】平成１７年９月１日（２００５．９．１）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
[ Back to top ]