複数の光源を使って操作を行うゲームシステム

【課題】体に取り付けた複数の光源によって、所定の操作方法を提供でき、２つのカメラを使うことによる転送処理の負荷軽減と同期を取ることのできるゲームシステムを提供する。
【解決手段】情報処理装置と表示装置と２つのカメラを有するセンサーユニットとで構成するゲームシステムで、前記センサーユニットの２つの各々のカメラは光源を読み取りカメラ画像とするステップと、２つの各々のカメラ画像に色をつけるステップと、２つの各々のカメラ画像を合成し合成画像とするステップと、合成画像を情報処理装置に転送するステップで動作し、前記情報処理装置は、合成画像を色成分で分解し、２つの画像とするステップと、２つの画像の光源の位置関係から、光源の位置座標を算出するステップを具備する情報処理装置である。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゲームシステムに関し、より特定的には、２つのカメラを備えるセンサーユニットを用いてユーザが体を動かして操作を行うゲームシステムに用いられるゲームシステムに関する。
ゲームシステムとは、専用ゲーム機やゲームソフトを内蔵したパソコンであっても良い。これらは、何らかの入力装置を備え、表示装置などの表示手段と接続されたシステムである。また、ネットワーク機能や記憶装置を備えたものなど、高機能なゲーム機もあり、これらを総称してゲームシステムと称している。
特に、脳のトレーニングの為のゲームシステムが開発されている。記憶や反応性を見ながら、老人向けに脳を鍛えるゲームが存在する。これらは、認知症などの予防に一役買っている。一方、体をより使うことで、脳に刺激があり、認知症の予防により良いという説がある。この様に、体を動かして操作を行うゲームシステムの主な用途は、医療用途に使う場合が多い。
【背景技術】
【０００２】
従来から、体を使ったゲームシステムが開発されている。例えば、楽器にみたてた入力装置を備えたゲームは、入力装置を太鼓などにみたてて、リズムゲームとして用いられているし、棒状の入力デバイスを用いて、その動作から、ゴルフやテニスなどのスポーツのゲームを楽しむことができる。特に、特願２００５−２６４２０７においては、手に持って使用する入力デバイスとして開示されている。
【０００３】
入力装置としては、代表例としてタッチパネルの技術で開示されている。特に、複数の指示体の検出技術に関しては、本発明者が発明した特願２０００−３６３１７の複数の指示部位で操作可能なタッチパネルシステムとして開示されている。これは、タッチパネルにタッチされる複数のタッチ数をカウントし、そのタッチ間の距離などの過渡的な変化を読み取り、所定の動作とするものである。
【０００４】
従来より、ステレオカメラという２つのカメラのレンズ機構とシャッター機構を1台にしたカメラが存在した。対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラのことである。これを使うことにより、立体写真を撮ることができるものである。これを応用し、コンピューターと接続できるＣＣＤカメラを２台取り付けて、立体映像を取る応用技術も存在した。
【０００５】
従来の技術のゲームシステムはよりシンプルな構造を求めている為、特徴的な入力デバイスを使って、擬似的に体を動かす場合が多い。
体を動かしながら、表示画面に表示されているオブジェクトの選択や移動などの指示をさせるには、一定のリアクションを通して行われる。このリアクションを検出するには、前述、特徴的なデバイスを使うよりも、体に何らかの目印を付け、それをカメラなどで読み取る方がより確実である。そこで、目印を光源などにし、複数の光源を体に取り付け、それを目印にするのが一般的である。これらは、３Ｄ映像を作成する技術として、モーションキャプチャーなどの技術にも、応用されている。
【０００６】
もし、頭、両手、両足に複数の光源を取り付けた場合、これらを捕らえるカメラは、全ての動き、奥行きを含めた前後左右、前進、後進まで捕らえようとすると、カメラは少なくとも２つある必要がある。
この、２つのカメラを使った技術として、２つの方式がある。一つは、３角測量の要領で、光源を捕らえる方式と、１つは、人の目のように視差を用いて光源を捕らえる方式である。本件発明のステレオカメラとは、後者の方式である。
【先行技術文献】
【特許文献】
【０００７】
特願２００５−２６４２０７公報
特願２０００−３６３１７公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ゲームシステムにおいて、情報を処理する情報処理装置と入力装置とが、転送手段で接続されている場合、例えば、接続手段がＵＳＢの転送手段で、各々２つのカメラをゲームシステムの情報処理装置に接続すれば、単純に２つのカメラを利用することが可能である。
しかし、２つのカメラ画像を処理しようとすると、カメラからのカメラ画像のデータは、膨大で高速性も求められるから、その転送処理に、高度な性能が求められ、一般的なゲームシステムの能力負荷を超えてしまう。よって、２つのカメラの画像を処理する方法は不適切と言える。また、単純に２つのカメラを情報処理装置と接続すると、接続ケーブルが２つになり、見た目も良くない。
【０００９】
また、２つのカメラを使った場合、同期を取る必要があり、その問題が生じてくる。つまり、全く同じタイミングでカメラの画像を取り、同じタイミングで、情報処理を行わないと、目標物が動いていた場合、正しく動きを捉えることができない。これをゲームシステム本体で制御しようとすると、これもまた高度で高速な処理が必要となってしまう。
【００１０】
一方、体に取り付けた複数の光源を使った、操作方法を考えた時、様々な動きに対して、動きを検出する一定の処理パターンを考える必要がある。単純な動きであるパンチやキック、手を振る、歩く真似をするなどの動作などにおいても、処理パターンは複雑な判断処理を求められていた。特に、表示画面に対して、何らかのオブジェクトの操作、例えば、選択や移動などといった操作は、体の動きと対応する場合、十分な工夫が必要となる。尚、体の動きのことを、リアクションと称する。
【００１１】
更に、従来のモーションキャプチャーなどの技術だと、頭、両手、両足に複数の光源を取り付けた場合、手や足が交差してしまったり、逆立ちした時など、その位置関係を見失う可能性があった。
【００１２】
本発明は、体を動かして操作を行うゲームシステムとして適した２つのカメラを使ったセンサーユニットを、画像転送の負荷を軽減する仕組みを提供するものであり、更に２つのカメラ画像の取得と処理に対して、同期を取る手段も持ち合わせ、頭や手、足に複数の光源を取り付けることで、リアクションによる、様々な操作手段を提供するゲームシステムである。
【課題を解決するための手段】
【００１３】
上述した本発明の目的を達成するために、本発明によるゲームシステムは、情報処理装置と、２つのカメラを有するセンサーユニットとで構成するゲームシステムで、前記情報処理装置とセンサーユニットは転送手段で接続された構成であり、更に前記情報処理装置とは、表示装置と接続され、情報処理装置の表示手段より表示装置は表示するセンサーユニットである。
【００１４】
情報処理装置は、ＣＰＵモジュールと、表示処理モジュールと、記憶モジュールと、音声再生モジュールとで構成されたゲームシステムである。
前記センサーユニットは、前記情報処理装置と転送手段で接続され、入力装置となる。
前記表示処理モジュールと、音声再生モジュールとは、表示装置と接続されている。
前記、情報処理装置と接続された表示装置に表示される内容には、オブジェクトが表示され、オブジェクトに対して、センサーユニットからの情報を元に、選択や移動などを行う。
【００１５】
カメラは所定の光源を読み取る。光源は電池などを使ってＬＥＤを発光させるものでも良いし、センサーユニットなどに取り付けた発光部位と、光源としたい箇所には、再起反射材を使った反射部位を取り付けることで、発光部位からの反射部位の光の反射によって、カメラに光源として読み取らせる方法がある。
【００１６】
前記センサーユニットの２つの各々のカメラは光源を読み取りカメラ画像とするステップと、２つの各々のカメラ画像に色をつけるステップと、２つの各々のカメラ画像を合成し合成画像とするステップと、合成画像を情報処理装置に転送するステップで動作し、
前記情報処理装置は、合成画像を色成分で分解し、２つの画像とするステップと、２つの画像の光源の位置関係から、光源の位置座標を算出するステップを具備する情報処理装置である。
【００１７】
前記光源は複数あって、前記情報処理装置は、複数の光源の数をカウントする光源カウント手段と、各々の光源間の距離を算出する距離算出手段とを具備する情報処理装置である。
また、各々の光源のサイズを算出するサイズ算出手段を具備した場合、前記、各々の光源間の距離を算出する距離算出手段とで、組み合わされた位置関係パターンを検出する情報処理装置である。
【００１８】
前記光源は複数あって、前記情報処理装置は、複数の光源の数をカウントする光源カウント手段と、各々の光源の移動速度を算出する移動速度算出手段とを具備する情報処理装置であっても良い。
【００１９】
前記光源は複数あって、前記情報処理装置は、複数の光源の数をカウントする光源カウント手段と、各々の光源の移動速度を算出する移動速度算出手段と、光源の移動方向を算出する光源移動方向算出手段とを具備する情報処理装置であっても良い。
【００２０】
前記複数の光源は、リング若しくはバンド状であって、人の部位に装着しても良い。また、前記複数の光源は、手袋若しくは靴状、若しくは帽子状であって、人の部位に装着しても良い。
また、前記の複数の光源は、向きを変えると、光源の数や光源の大きさが変化する、リング若しくはバンド状若しくは、手袋若しくは靴状、若しくは帽子状の光源であっても良い。
【００２１】
前記光源は複数あって、前記複数の光源は、複数の光源を具備したマットであっても良い。
【００２２】
前記、光源は複数ある場合、複数の光源の数をカウントする光源カウント手段と、各々の光源間の距離を算出する距離算出手段、各々の光源の移動速度を算出する移動速度算出手段、光源の移動方向を算出する光源移動方向算出手段は、光源の前記光源カウントの増減、前記記載の距離、速度、方向などの変化若しくは過渡的な変化をもって、前記情報処理装置が、所定の動作を行う様にする制御手段とを、具備した情報処理装置である。
【００２３】
前記情報処理装置と接続された表示装置には、教示する人型の表示やそれに準じる表示でポーズを誘導する誘導ポーズがあり、前記、複数の光源を装着したゲームプレイヤーは、表示装置に表示の誘導ポーズのポーズをするゲームの場合は、ゲームシステムは、ゲームプレイヤーがポーズした時の光源の位置から、そのポーズの形を読み取り、誘導ポーズとのずれや位置の位相の差を計算して、得点や数値の形で表示装置に表示するゲームシステムである。
【００２４】
更には、前記誘導ポーズが連続したポーズの動きやモーションである場合、連続したポーズの動きやモーションとのずれや位置の位相の差を計算して、得点や数値の形で表示装置に表示するゲームシステムである。
【発明の効果】
【００２５】
本発明の複数の光源を使って操作を行うゲームシステムは、複数の光源を使って操作を行うゲームシステムで、体に取り付けた複数の光源によって、所定の操作方法を提供でき、２つのカメラを使うことによる転送処理の負荷軽減と同期を取ることのできる利点がある。
また、本発明では、カメラ画像を光源と隣接するカラー色を取得することで、光源の種類を判断することができ、右手と左手、右足と左足など交差するとわからなくなる位置関係をも判断する手段を持つゲームシステムである。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の使用例を示す図
【図２】図２は、本発明の概略ブロック図
【図３】図３は、本発明のセンサーユニットの動作説明図
【図４】図４は、本発明の処理ステップ図
【図５】図５は、ラベリング処理を説明する簡略図
【図６】図６は、本発明の自発的発光と反射的発光の切り分けを行いヘッダー情報を付けて情報を転送するセンサーユニットの処理ステップ図
【図７】図７は、本発明の自発的発光と反射的発光を判別させる為の処理として、複数の色の変換処理で判別するステップ図
【図８】図８は、再起反射材を光源とし縁を色づけしたバンドの例
【図９】図９は、光源の近傍の色を判別する方法を利用する場合の処理ステップ図
【図１０】図８は、頭に取り付けた複数の再起反射材を光源としたバンドの例
【図１１】図９は、手に装着する光源を付けたバンドの例
【図１２】図１０は、複数の光源がついたマットの例
【発明を実施するための形態】
【００２７】
以下、本発明を実施するための形態を図示例と共に説明する。
図１は、本発明の使用例を示す図である。図示の通り、本発明の複数の光源を使って操作を行うゲームシステムは、情報処理装置１とセンサーユニット２と表示装置３とで構成され、センサーユニット２及び表示装置３は各々情報処理装置１と接続される。特に情報処理装置１とセンサーユニット２とは、ＵＳＢ形式の転送手段を持ってＵＳＢケーブル４とで接続される。センサーユニットは、カメラ８、カメラ９の２つのカメラが取り付けられる。２つのカメラとの間の位置には、発行部位１６が取り付けられる。このセンサーユニット２は、横置きにしても、縦置きにしても良い。また、発行部位１６は、カメラに近ければどこに配置してもかまわない。
【００２８】
右側の人物には、頭と手と足に、再起反射材の取り付けられたバンドが巻かれている。頭のバンド５には、額の部分のみ再起反射材があり、手のバンド６と足のバンド７には、バンド全体が再起反射材となっている。バンドは取り外し可能であるから、取り付け位置は自由に決められる。
本発明はゲームシステムであることから、ゲームの種類によっては、手のみの装着であったり、足だけの装着であったりと、ゲームによって装着方法が指示される。
【００２９】
次に、図２は、概略ブロック図である。図示の通り、本発明の複数の光源を使って操作を行うゲームシステムは、情報処理装置１１とセンサーユニット１２と表示装置１３とで構成され、センサーユニット１２及び表示装置１３は各々情報処理装置１１と接続される。情報処理装置１１は、少なくとも、ＣＰＵモジュールと音声モジュールと表示モジュールと記憶モジュールを備えており、音声モジュール及び表示モジュールは表示装置１３と接続され、表示と音声出力を行う。
【００３０】
本発明の主要部となるセンサーユニット１２についての詳細を説明する。センサーユニット１２には、カメラＡ１４とカメラＢ１５の２つが、一定の離れた位置に並んで配置されている。このカメラの間の位置には、赤外線を光源とする発光部位１６が配置される。発行部位１６は、カメラに近ければどこに配置してもかまわない。センサーユニット１２のカメラはＣＣＤカメラを用いる。このカメラはシャッター機能のついたものが好ましい。
センサーユニット内蔵のＣＰＵモジュールの制御によって、前記発行部位１６の発光と、各々のカメラのシャッターの制御を行う。カメラが読み取った画像は、センサーユニット内の記録バッファに一時的に記録される。記録された各々のカメラ画像は、センサーユニット内蔵のＣＰＵモジュールによって処理される。その処理内容は後で説明する。処理されたカメラ画像は、転送処理によって、情報処理装置１１へと転送される。この転送手段には、ＵＳＢ通信などの転送手段を用いる。
【００３１】
次に、図３は、センサーユニットの動作説明図である。センサーユニット２１のカメラの配置方法は、２つのカメラＡ２２、カメラＢ２３の向きを、同じ向きに合わせて、並行になる位置に配置する。例えて言うならば、人の目の様に配置されている。このカメラの配置をステレオカメラ方式と称する。この時得られる２つのカメラからのカメラ画像２６及び２７は、一つの目標物２５に対しては、この画像を合成してみると、合成画像２８の様に、目標物２５の映像がずれた位置となる。このずれた距離を元に、奥行きであるＺ座標を算出できる。また、同じであろう目標物の映像を、各々のカメラ画像の目標物の映像のずれを補正した上で、その位置であるＸ座標、Ｙ座標を算出する。この様に、ステレオカメラ方式を用いることで、目標物に対して３次元の位置を特定することができる。
一方、２つのカメラの向きを４５度内側に向けることで、３角測量の要領で、目標物を特定する手段も考えられるが、本発明では便宜上、ステレオカメラ方式で説明する。
【００３２】
本発明では、赤外線の光源を使い、カメラに赤外線のフィルターをつけるのが基本である。これにより赤外線光の光源のみカメラ画像に映ることになる為、目標物の特定がより容易となる。光源は電池などを使って赤外線ＬＥＤを発光させるもの（自発的発光）と、センサーユニット２１などに取り付けた赤外線発光部位２４と、光源としたい箇所には、再起反射材を使った反射部位２５を取り付けることで、前記発光部位２４からの赤外線光の発光がフラッシュ的に強く発光させることで、前記反射部位２５の光の反射（反射的発光）によって、カメラに光源として読み取らせる方法を取る。再起反射材とは、光の光った方向、つまり光っている方向へ戻ってくる方向に反射する部材である。
本発明では、この前記の自発的発光と反射的発光を識別する手段を持っているが、後術で詳しく説明する。
【００３３】
次に本発明の処理ステップを図４−ａで説明する。図４−ａはセンサーユニット２１の処理ステップの説明図である。この処理ステップによれば、発明が解決しようとする課題としている、画像の転送処理の負荷軽減と同期を取る課題の解決方法を説明できる。
センサーユニット２１の、発行部位２４より赤外線光を発光させる処理ステップを行い、次にカメラＡ２２とカメラＢ２３のシャッターを切り画像を取得するステップを行う。これは、赤外線光の発光がフラッシュ的に強く発光させ、その瞬間の反射光を読み取る為に行う。次に、カメラＡ２２のカメラ画像２６を赤色に変更させるステップを行う。本発明では赤外線光のみ受光するのであるから、カメラ画像は白黒の画像となる。そして、光源にあたる部分は、より白く、その他は黒く映る。前記ステップでは、この白黒の色を反転し、黒色は赤色に色を変換する処理である。次に、カメラＢ２３のカメラ画像２７を青色に変更させるステップを行う。これは、カメラＡの色変更処理を青色にしたものである。次に、色変換処理後のカメラ画像２６とカメラ画像２７の画像を合成し合成画像２８とするステップを行う。これは、２つの赤色及び青色の各々単色の画像を合成し、１枚のカラー色の合成画像２８とする処理である。次に、前記合成画像を情報処理装置へ転送するステップがある。
この様にして、前記合成画像２８を１枚のカラー画像として、情報処理装置１１へと同期して転送することができる。
【００３４】
次に本発明の処理ステップを図４−ｂで説明する。図４−ｂは情報処理装置１１がセンサーユニット１２から取得した合成画像２８を元に処理を行うステップの説明図である。最初にセンサーユニット１２から転送された合成画像２８を取得するステップを行う。次に、合成画像２８を赤色と青色の色で分解するステップを行う。これは、赤色と青色だけの２枚の画像に分解する処理である。
【００３５】
次に、２枚の分解画像から、光源位置を検出し、光源にラベリング処理をするステップを行う。一般的に画像認識処理を行う場合、光源にあたる模様に、番号をつけていく処理を行う。この番号をつける処理をラベリング処理という。このラベリング処理を示したのが、図５のラベリング処理を説明する簡略図である。今回の場合、２枚の分解画像があるから、図５のラベリング処理が各々２回行うことになる。各々の分解画像３１に対して、一定の方向に従って、ラベリング処理を行うと、光源の位置に対して、一致したラベル番号がつけられる。イメージ図３２はラベル番号をつけた例としである。これにより、例えば、赤色の分解画像のラベル１と青色の分解画像のラベル１は、簡易的な判断ではあるが、同じ光源であるということが認識できる。ラベリング処理された模様の中心位置を計算すれば、その中心位置は、２枚の分解画像でずれた位置になる。このずれた位置の平均を取ると、およその光源のＸ軸座標とＹ軸座標の中心位置座標が定まる。また２枚の分解画像でずれた位置の距離を計算することで、奥行きであるＺ座標を計算できる。これは、図４−ｂのラベリング処理されたラベル化された光源の位置座標を計算するステップにあたる。
【００３６】
次に、図４−ｂの光源の数、光源間の距離を算出し、光源の位置座標と共に一時保存するステップの処理を行う。光源の数はラベリング処理した時に、ラベルの数に相当する。これを本発明では、光源カウント数とも称している。光源間の距離は、各ラベリング処理された光源の模様の中心位置座標である光源位置座標間の距離を指す。光源の数が多い程、この情報は多くなる。光源の数と光源の位置座標値は一時的に保存する。
次に、前回の光源の位置座標、光源の数、光源間の距離から、過渡的な変化を算出するステップを行う。これは、前回に一時的に保存した情報を元に、光源の数や光源間の距離の変化を計算し、過渡的な変化、つまり、光源の数が増えたり減ったりしていないか、光源間の距離が一定数、大きくなったり小さくなったりしていないかを算出し、変化が認められれば、所定の動作として処理を行う。所定の動作とは、情報処理装置１１の表示装置１３上で、表示されているオブジェクトの選択や移動などをさす。最後に、表示装置１３に表示を更新するステップで一連の流れを説明できる。
【００３７】
次に本発明の処理ステップで、光源を自発的発光か反射的発光の２種類を検出する方法を示している。ここでは、センサーユニットの処理のみ説明する。
【００３８】
図６は、自発的発光と反射的発光の違いを、発光部位２４の赤外線光の発光あり、発行なしの情報をヘッダー情報として情報処理装置１１に転送する方法を示している。
まず、自発的発光を検出するグループ（ア）の処理群においては、発光部位２４から赤外線光を発光させないステップを行い、次にカメラＡ２２とカメラＢ２３のシャッターを切り画像取得するステップを行い、次に、カメラＡ２２のカメラ画像２６を赤色に変更させるステップ、カメラＢ２３のカメラ画像２７を青色に変更させるステップ、次に、色変換処理後のカメラ画像２６、カメラ画像２７の画像を合成し合成画像２８とするステップを行う。次に、前記合成画像２８と、発光なしヘッダー情報を合わせた情報を、情報処理装置１１へと転送するステップを行う。
【００３９】
この一連の、自発的発光の検出ステップのグループ（ア）の処理群とすれば、反射的発光の検出ステップのグループ（イ）の処理群は、赤外線光を発光させるステップから始まり、情報処理装置１１への転送には、前記合成画像２８と、発光ありヘッダー情報を合わせた情報を、情報処理装置１１へと転送するステップを行う。この様に、前記合成画像２８を１枚のカラー画像とヘッダー情報として、情報処理装置１１へと同期して転送することができる。
【００４０】
この自発的発光の検出ステップのグループ（ア）の処理群と反射的発光の検出ステップのグループ（イ）の処理群を交互に行いながら、光源を自発的発光か反射的発光かを識別し、検出することが可能となる。
【００４１】
図７は、自発的発光と反射的発光を判別させる為の処理として、複数の色の変換処理で判別する方法を示したステップ図である。
カメラ画像の色変換において、発光部位２４の赤外線発光をさせないで自発的発光を検出する場合、カメラＡ２２のカメラ画像２６を緑色に、カメラＢ２３のカメラ画像２７を黄色の色に変換する。次に、発光部位２４の赤外線発光をさせ反射的発光を検出する場合、カメラＡ２２のカメラ画像２６を赤色に、カメラＢ２３のカメラ画像２７を青色の色に変換する。それぞれの変換画像を合成画像として合成し合成画像２８とする。この場合、合成画像２８で使われる色は４色となり赤色、青色、緑色、黄色の合成画像２８となる。前記合成画像２８を情報処理装置１１へ転送するステップで、前記合成画像２８を１枚のカラー画像として、情報処理装置１１へと同期して転送することができる。
【００４２】
尚、自発的発光の検出ステップのグループ（ア）の処理群と反射的発光の検出ステップのグループ（イ）の処理群を交互に処理していくが、その検出の頻度の割合を変えてもかまわない。つまり、反射的発光の検出ステップのグループ（イ）を１０回行った後、自発的発光の検出ステップのグループ（ア）を１回行うなどすれば、自発的発光を行う操作は、メニュー選択操作など、特別に追従性の性能が要らない用途の位置検出として利用することができる。
【００４３】
尚、色変換に使う色の組み合わせや、色は、別別であれば何でも良い。一般的には、色の三原色と言われる赤、青、緑を主に利用するが、コンピューターでは８色や１６色といった分解が可能である。また、特別に追従性の要らなく、更に奥行きの位置情報を取らなくても良い場合の検出方法として、例えば自発的発光の検出で行われる場合、前述、図７の説明では、緑色と黄色に色変換したが、どちらの色変換も緑色として、合成画像２８とする簡易的な処理方法も可能である。
【００４４】
前述の説明では、赤外線フィルターを使って、光源のみを取得する方法を示した。センサーユニット２１のカメラがカラー画像を取得できる場合においては、自発的発光を判別させる為の処理の代わりに、光源の近傍の色を判別する為の処理におきかえられる。
【００４５】
図８は、光源の近傍の色を判別する方法を利用する場合の、再起反射材を光源とし縁を色づけしたバンドの例である。この様に、バンド３７に取り付けた、光源となる再起反射材３５の周りには、特定の色の縁３６が付けられている。これを例えば、頭には黒、右手には赤、左手には青など、色を特定すれば、その光源の位置つまりは装着の場所を特定できる。
【００４６】
図９は、光源の近傍の色を判別する方法を利用する場合の処理ステップである。
まず、発光部位２４から赤外線光を発光させるステップを行い、次にカメラＡ２２とカメラＢ２３のシャッターを切り画像取得するステップを行い、次に、カメラＡ２２のカメラ画像２６を赤色に変更させるステップ、カメラＢ２３のカメラ画像２７を青色に変更させるステップ、次に、色変換処理後のカメラ画像２６、カメラ画像２７の画像を合成し合成画像２８とするステップを行う。次に、前記合成画像２８を、情報処理装置１１へと転送するステップを行う。
【００４７】
次に、発光部位２４から赤外線光を発光させないステップを行い、代表するカメラＡ２２のシャッターを切り画像取得するステップを行う。この時、カラー画像として取得する。次に、前記カメラＡ２２のカラー画像２８を、情報処理装置１１へと転送するステップを行う。
【００４８】
図９にある通り、Ａ群とＢ群の処理を交互に行うが、その割合は、Ａ群の処理を多く行い、Ｂ群の処理は適宜行うというのでも良い。例えば、情報処理装置１１から、ちょうど、人がポーズを決めた状態。あまり動きのない状態の時に、センサーユニット１２に指令を出し、Ｂ群の処理を行わせても構わない。
【００４９】
次に、これらの情報を取得した後、画像を受信した情報処理装置１１は、Ａ群の合成画像から得られる光源の位置、特にカメラＡ２２で取得した赤色の画像の部分を記録し、Ｂ群で処理したカラー画像から、前記、赤色の画像の部分の周りの色を取得する。前述、光源の位置はラベリング処理を行うが、ラベリングの番号を、色の番号と同等として付加すれば、光源の種類を判別することが可能である。
【００５０】
説明では、カメラＡ２２のみ利用したが、カメラＢ２３を利用しても良く。これらを交互に利用することも可能である。
【００５１】
次に、実際の利用方法に関わる、光源の取り付け方法を示す。
図１に示す人には、バンド状の再起反射材が装着されている。特に頭のバンド５の場合は、面積が大きいので、おでこの付近だけ、再起反射材が取り付けられている。
図１の例は、バンド状であるが、これが、帽子、手袋、靴や靴下の形状でもかまわない。
【００５２】
応用として、図１０がある。光源のサイズを算出する方法の応用例としても説明ができる。これは、頭に装着するバンド状４１であり複数の光源、再起反射材が取り付けられている場所が数か所ある。これによると、頭の部位であろう光源のパターンは、頭の向きによって変化するので、頭の向きが検出できる。
例えば、前向きならば、大きい光源４２が中央にあり、左右と上に小さい光源４３、４４、４５が検出され、横向きならば、大きい光源４２が左右のどちらかに寄っており、中央と上に小さい光源４３、４４、４５のいずれかが検出され、おじぎをした場合は、小さい光源が中央にあり、下に３ヵ所の光源４２、４３、４４があるといったパターンとなる。これらの距離関係は、光源４２を基準に常に一定であるから、頭の光源であることが認識可能である。
この様に、光源のサイズを算出する方法とを組み合わせることで、パターンの認識により向きを算出することが可能である。
【００５３】
応用として、図１１がある。これは、手に装着するバンドで、その再起反射材が取り付けられている場所が、見え隠れする位置にある。図１１は、手のひらに再起反射材が取り付けられている。これによれば、手を握った時には、再起反射材による光源が消え、手を開いた時には、光源が見えることになる。また、親指の表面に再起反射材が取り付けられた場合は、親指を畳んだ時には、再起反射材による光源が消え、親指を突き出した時には、光源が見えることになる。尚、親指ではなく、他の指でもかまわない。
この光源の見え隠れの変化によって、情報処理装置の表示画面に表示されるメニューやオブジェクトの選択などを行う決定の操作に有効である。
【００５４】
この図１１のバンドの、再起反射材の周りを、特定の色にした場合、前述図８及び図９で説明した方法を用いれば、左手と右手を判別できる。
【００５５】
応用として、図１２がある。これは、複数の光源パターンが敷設されたマット状のものを用いた例である。
この図の光源のついたマット６４を持ちいれば、マット６４を踏んで光源６５のいづれかを隠すことによって、光源６５のいづれかが消えることになるので、その消えた位置を特定すれば、例えば、特定のメニュー操作や、もぐらたたきゲームや、リズムゲームなどのボタン位置として特定することが可能である。
尚、光源のついたマット６４は、床に敷いても良いし、壁に貼り付けても良い。基本的に動かない光源であることを覚えさせる為に、情報処理装置１１は、キャリブレーションという処理をさせる。これは、マットにある光源の位置をあらかじめ記録する処理である。
【００５６】
次に複数の光源を使う場合の、処理方法について、詳細な説明をする。
複数の光源の各々の位置座標の計算方法は、前述の通りであるが、その他に光源に対して以下の検出処理手段が可能である。
（１）光源の数を検出する光源カウント手段
（２）光源のサイズを検出する光源サイズ手段
（３）光源の各々の距離を検出する距離算出手段
（４）光源が移動した時の、移動速度算出手段
（５）光源が移動した時の、移動方向算出手段
【００５７】
（１）光源の数を検出する光源カウント手段とは、光源の数を数える手段である。前述、図５を持ちいてラベリング処理に関しての簡単な説明をした。ラベリング処理をさらに詳細に説明すると、光源の模様を２値化画像として処理し、連結している画素に同じラベルを付加することで複数の領域をグループとして分類する。一般的なラベリング処理例として、画像上でラベルが付加されていない画素（ｘ，ｙ）
を見つけ、新しいラベルを付加する。次に、画素（ｘ，ｙ）に４方向に連結している画素に同じラベルを付加する。最後に、同じラベルを付加した画素と４方向に連結している画素に対して、同じラベルを付加する。画像内にラベルを付加する画素がある限り、この操作を繰り返す。この様にグループとして分類された後、グループの数を数えることで、光源の数、つまり、光源カウント手段となる。
尚、グループに分類された光源の画素群の、中心位置となる画素の中心座標値がすなわち、光源の位置座標値となる。
【００５８】
（２）光源のサイズを検出する光源サイズ手段においては、前記ラベリング処理における、１つのグループに対し、画素数を数えることで、サイズを簡易的に算出することができる。
【００５９】
（３）光源の各々の距離を検出する距離算出手段は、各々の光源の中心位置を示す位置座標値において、各々の光源間の距離を算出する。これは、光源の数によって、算出される距離が決まる。つまり、光源が３つある場合は、光源間の距離は３つ、光源が４つある場合は、光源間の距離は６つある。これらは、ラベリング処理で各々の光源には番号が付けられるので、算出された距離には、１−１、１−２、などの光源の番号との関連情報を示すヘッダー情報を付け加えた形で記録される。
【００６０】
（４）光源が移動した時の、移動速度算出手段は、各々の光源の中心位置を示す位置座標値を、バッファに一時的に保存し、前回の位置座標値と、今回の位置座標値との差分で移動距離が決まるので、検出タイミング時間とで計算することで、移動速度が算出できる。
【００６１】
（５）光源が移動した時の、移動方向算出手段は、各々の光源の中心位置を示す位置座標値を、バッファに一時的に保存し、前回の位置座標値と、今回の位置座標値との差分で、そのプラス方向かマイナス方向かで、移動方向がわかる。この移動方向は、Ｘ方向、Ｙ方向と、本発明では、３次元に検出できるのであるから、Ｚ方向のにおいて移動方向を算出することができる。
【００６２】
本発明は、これらの検出処理手段を用いて、情報処理装置１１の表示画面１３に表示されるメニューやオブジェクトに対して、所定の動作を行う様にする制御手段を提供するものである。
検出処理手段を使った所定の動作を行う様にする制御手段の具体的な一例をあげる。
【００６３】
光源の数を検出する光源カウント手段を用いれば、光源カウント数の増減の変化によって、所定の動作を行うことができる。例えば、前記、図１１の手に装着するバンドを使った場合で説明する。手のひらに再起反射材が取り付けられている場合、手を握っている時は、光源の数が減り、手を開いている時は、光源の数が増える変化が起こる。マウスを使った場合、マウスの左クリックとダブルクリックという動作があるが、手を握った位置座標において、手を一回握って開けば、クリック動作とし、手を２回握って開けば、ダブルクリック動作とすることも考えられる。
【００６４】
図１の人の様に、両手に取り付けた再起反射材が取り付けられているバンドを使った場合、両手を近づける動作と離れる動作の組み合わせで、情報処理装置１１の表示画面１３に表示されるオブジェクトの挟む動作と離す動作にできる。その実現手段は、光源の各々の距離を検出する距離算出手段を持ちいて、その距離の過渡的な変化に応じて判断する。過渡的な変化とは、挟む動作の場合は、両手が十分に離れた状態から近づいた状態に変化することを指し、離す動作の場合は、両手が近づいている状態から、十分離れた状態まで変化することを指す。この過渡的な変化の変化量をしきい値で判断することによって、人間が通常におこりえる、ぶれやゆれに対して、フィルターをかけることができる。
【００６５】
同様に、光源が移動した時の、移動速度算出手段と移動方向算出手段を組み合わせて、スポーツゲームなどの動作の検出が可能となる。例えば、バレーボールのサーブを例にあげると、左手でボールを上に上げて、右手でボールを叩いてサーブを行う場合、図１の様な両手に取り付けた再起反射材が取り付けられているバンドを使った場合、左手を上に上げる動作は、左手のバンドからの光源の動き、即ち上に上げる速度と方向を検出手段で読み取ることで、情報処理装置１１の表示画面１３に表示されているボールの移動の速度と方向を再現できる。同様に、右手でボールを叩く動作においても、右手のバンドからの光源の動き、即ち前に振り下ろす速度と方向とタイミングによって、情報処理装置１１の表示画面１３に表示されている叩かれるボールの速度と方向を再現できる。また、移動速度においては、加速度の加わった過渡的な変化を伴うものであるから、移動速度の過渡的な変化においても、スポーツゲームにおいては十分考慮されるべき要素である。本発明においては、この移動速度の過渡的な変化においても、明示している。
【００６６】
光源のサイズを検出する光源サイズ手段による、光源のサイズの違いや、自発的発光による光源などを使った例としては、何かの基準なる点や面を示す場合に有効な手段である。前述、図８の頭に取り付けた複数の再起反射材を光源としたバンドの例では、大きい面積の光源４２と小さい面積の光源４３、４４，４５との組み合わせで構成されていた。これは頭の向きを検出する例だったが、大きい面積の光源４２を頭の位置の基準とし、その近傍の小さい面積の光源の位置関係をパターン化することでパターン検出処理を明確化できる。また前述図１１の説明にある複数の光源パターンが敷設されたマット状の場合、少なくとも２つの頂点に対して、大きい面積の再起反射材とするか、自発的発光のＬＥＤを取り付けるとすれば、マットの大きさや位置を特定するのに目印となる。
【００６７】
ここで、光源に所定の色をつけた場合のケース、若しくは、光源の代わりに際立った所定の色の色体とする場合のケースを説明する。
単なる光源である場合は、赤外線光を利用して、赤外線フィルターをカメラに取り付けるなどして、光源だけを際立たせたが、赤外線フィルターの代わりに、色フィルターとすることで、同様の効果を得られる。色フィルターはカメラのレンズに取り付けても良いし、そのままのカメラ画像を画像処理することで、色成分を取り出す処理を行っても良い。この場合は、前記記載の反射的発光は、反射しない際立った所定の色成分ということになる。
【００６８】
ここで、実際に本件のゲームシステムで、ゲームを行った時の基本的な動作方法を示す。
前記情報処理装置と接続された表示装置には、教示する人型の表示やそれに準じる表示でポーズを誘導する。これを誘導ポーズと称する。例えば、ダンスゲームであれば、キャラクターや３Ｄによる人のモデルが表示されておりポーズを表示する。例えば、ゴルフゲームであれば、「スィングをしてください」という文字の表示を行う。この場合は、誰でもゴルフのスィングは知っているので、文字での教示でも構わない。
【００６９】
前記、複数の光源を装着したゲームプレイヤーは、表示装置に表示の前述の誘導ポーズのポーズをする。前記の例のダンスゲームなら、誘導ポーズを真似してダンスを行う。この時、ゲームシステムは、ゲームプレイヤーがポーズした時の複数の光源の位置から、そのポーズの形を読み取る。少なくとも、頭、両手、両足に光源のバンドが取り付けてあれば、簡易的にも、そのポーズが読み取れる。
【００７０】
ゲームシステムが読み取ったゲームプレイヤーがポーズした形と、誘導ポーズのポーズの形のずれや位置の位相の差を計算して、得点や数値の形で表示装置に表示する。ゲームプレイヤーが複数の光源を装着している位置と、誘導ポーズのその位置との相対的なずれを計算すれば良いので、頭、両手、両足に光源のバンドが取り付けてあれば、５点の位置座標から計算が可能である。これらの諸々の計算方法はいくつかあるが、本件ではこれを限定しない。
【００７１】
更には、前記誘導ポーズが連続したポーズの動きやモーションである場合、連続したポーズの動きやモーションとのずれや位置の位相の差を計算して、得点や数値の形で表示装置に表示する。例えば、ゴルフゲームのゴルフのスィングであれば、連続したモーションが重要視されるので、この方法であれば、ゴルフゲームを実現できる。
【００７２】
このように本発明の検出処理手段を用いれば、さまざまな操作が可能であることを例をあげて述べた。これらの操作が可能とするのも、カメラ画像の転送処理の軽減と同期を取る手段の解決により実現できるものである。
【符号の説明】
【００７３】
１、１１情報処理装置
２、１２センサーユニット
３、１３表示装置
８、９カメラ
１４、２２カメラＡ
１５、２３カメラＢ
１０、１６、２４発光部位
５、６、７、２５光源
（自発的発光の場合赤外線ＬＥＤ、
反射的発光の場合再起反射材）

【特許請求の範囲】
【請求項１】
情報処理装置と、該情報処理装置に接続され、２つのカメラを内蔵したセンサーユニットを有するゲームシステムであって、
該２つの各々のカメラは光源を読み取り、カメラ画像とするステップと、そのカメラ画像は単色であり、２つの各々のカメラ画像に色をつけるステップと、２つの各々のカメラ画像を合成し合成画像とするステップと、合成画像を情報処理装置に転送するステップで動作し、
情報処理装置は、合成画像を受信する受信ステップと、合成画像を色成分で分解し、２つの画像とするステップと、２つの画像の光源の位置関係から、光源の位置座標を算出するステップとを、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項２】
請求項１のゲームシステムであって、光源は再起反射をする反射材であって、センサーユニットはセンサーユニットと連動した発光部を備え、前記発光部から発光する光源の反射であることを、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項３】
請求項１から請求項２のゲームシステムであって、光源は自身が電源を持ち発光する光源（ア）と、前記反射材によって前記発光部の光の反射で発光する光源（イ）で構成され、
前記センサーユニットの２つのカメラで光源を読み取りカメラ画像とするステップは、発光部を消灯した状態での光源（ア）の読み取りステップか、発行部を発光した状態での光源（イ）の読み取りステップとのどちらかを切り替える構成であり、２つの各々のカメラ画像に色をつけるステップと、２つの各々のカメラ画像を合成し合成画像とするステップと、発行部の発行情報と合成画像とを情報処理装置に転送するステップで動作し、
情報処理装置は、合成画像を受信する受信ステップと、合成画像を色成分で分解し、２つの画像とするステップと、２つの画像の光源の位置関係から、光源の位置座標を算出するステップと、発行部の発行情報を識別情報として処理するステップとを、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項４】
請求項１から請求項２のゲームシステムであって、光源は前記反射材によって前記発光部の光の反射で発光する光源（ア）と、光源（ア）の周りに特定の色を付けた縁（イ）とで構成され、
発行部を発光した状態で前記センサーユニットの２つのカメラで光源を読み取りカメラ画像とするステップと、そのカメラ画像は単色であり、２つの各々のカメラ画像に色をつけるステップと、２つの各々のカメラ画像を合成し合成画像とするステップと、合成画像（１）を情報処理装置に転送するステップで動作し、
発行部を発光した状態で前記センサーユニットの２つのカメラ若しくはどちらかのカメラで、カラー画像を取得するステップと、カラー画像（２）を情報処理装置に転送するステップで動作し、
情報処理装置は、合成画像（１）を受信する受信ステップと、合成画像を色成分で分解し、２つの画像とするステップと、２つの画像の光源の位置関係から、光源の位置座標を算出するステップと、
カラー画像（２）を受信する受信ステップと、光源の位置座標の近傍のカラー画像（２）の識別色を取得するステップと、識別色によって、識別情報として処理するステップとを、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項５】
請求項１から請求項４のゲームシステムであって、光源は複数あって、前記情報処理装置は、複数の光源の数をカウントする光源カウント手段と、各々の光源間の距離を算出する距離算出手段と、
前記光源カウント手段により、カウントされる光源の数に加え、前記距離算出手段により算出される光源の位置の間の距離又は距離の過渡的な変化に応じて、前記情報処理装置が、所定の動作を行う様にする制御手段を、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項６】
請求項５のゲームシステムであって、光源は複数あって、前記情報処理装置は、前記光源カウント数が減ったか、前記距離算出手段による距離が一定値以下になった場合、前記情報処理装置が、その位置を特定し、所定の動作を行う様にする制御手段を、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項７】
請求項５のゲームシステムであって、光源は複数あって、前記情報処理装置は、前記光源カウント数が増えたたか、前記距離算出手段による距離が一定値以上になった場合、前記情報処理装置が、その位置を特定し、所定の動作を行う様にする制御手段を、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項８】
請求項５のゲームシステムであって、光源は複数あって、前記情報処理装置は、各々の光源のサイズを算出するサイズ算出手段と、前記サイズ算出手段による光源のサイズが一定値以上若しくは以下になった時、前記情報処理装置が、所定の動作を行う様にする制御手段を、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項９】
請求項８のゲームシステムであって、光源は複数あって、前記情報処理装置は、サイズを算出するサイズ算出手段による光源のサイズの違い、若しくは、光源は自身が電源を持ち発光する光源（ア）と前記発光部の光の反射で発光する光源（イ）の違いと、各々の光源間の距離を算出する距離算出手段とで、組み合わされた位置関係パターンを検出し、前記情報処理装置が、所定の動作を行う様にする制御手段を、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項１０】
請求項１から請求項４のゲームシステムであって、光源は複数あって、前記情報処理装置は、複数の光源の数をカウントする光源カウント手段と、各々の光源の移動速度を算出する移動速度算出手段と、前記光源カウント手段により、カウントされる光源の数に加え、前記移動速度手段により算出される光源の移動速度の過渡的な変化に応じて、前記情報処理装置が、所定の動作を行う様にする制御手段を、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項１１】
請求項１０のゲームシステムであって、光源は複数あって、前記情報処理装置は、前記光源カウント手段と前記移動速度手段に加え、光源の移動方向を算出する光源移動方向算出手段とを持ち、
前記光源カウント手段により、カウントされる光源の数に加え、前記移動方向算出手段により算出される光源の移動方向と前記移動速度手段により算出される光源の移動速度の過渡的な変化に応じて、前記情報処理装置が、所定の動作を行う様にする制御手段を、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項１２】
請求項１から請求項１１のゲームシステムであって、前記複数の光源は、複数の光源を具備した平面マット若しくは板であって、情報処理装置は、複数の光源の数をカウントする光源カウント手段を持ち、前記光源カウント数が減った場合、その減った位置に応じて、所定の動作を行う様にする制御手段を、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項１３】
請求項１から請求項１１のゲームシステムであって、光源と光源の周りに特定の色を付けた縁のある複数の光源は、リング若しくはバンド状であって、人の部位に装着することを特徴とした複数の光源を使って操作を行うゲームシステム。
【請求項１４】
請求項１から請求項１１のゲームシステムであって、光源と光源の周りに特定の色を付けた縁のある複数の光源は、手袋若しくは靴状、若しくは帽子状であって、人の部位に装着することを特徴とした複数の光源を使って操作を行うゲームシステム。
【請求項１５】
請求項１３から１４のゲームシステムであって、前記、リング若しくはバンド状若しくは手袋若しくは靴状の、手に装着する複数の光源であって、
光源が、手のひら部、若しくは指に装着され、手をにぎる動作若しくは、指を畳む動作であれば、光源を隠す動作となり、手を開く動作、指をつき立てる動作では、光源を見せる動作となる様に、光源は装着され、
請求項５若しくは請求項６若しくは請求項７に記載の、前記光源カウント数の増減、前記距離算出手段による距離が一定値以上若しくは一定値以下になった場合、前記情報処理装置が、その位置を特定し、所定の動作を行う様にする制御手段を、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項１６】
請求項１３若しくは１４のゲームシステムであって、複数の光源は、両手若しくは両足に装着し、前記情報処理装置は、請求項１１に記載の、前記光源カウント手段および前記移動速度手段および前記移動方向算出手段を具備し、前記算出手段により、手によるパンチ動作若しくは、足によるキック動作、若しくは、手による拍手動作、若しくは、足による踏みつけ動作を判別する判別手段を持ち、判別手段に応じて、所定の動作を行う様にする制御手段を、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項１７】
請求項１３若しくは請求項１４のゲームシステムであって、複数の光源は、人の部位に装着するバンド若しくはリング若しくは手袋若しくは靴状若しくは帽子状であって、各々には、更に複数の光源を有し、前記情報処理装置は、その光源の位置関係から、向きを判別する判別手段を持ち、向きに応じて、所定の動作を行う様にする制御手段を、具備することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項１８】
請求項１から請求項１７のゲームシステムであって、少なくとも２つの光源がある場合、前記情報処理装置の前記制御手段は、前記距離算出手段による距離に応じたサイズのオブジェクトを表示装置に表示するようにすることを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項１９】
請求項１から請求項１８のゲームシステムであって、少なくとも２つの光源がある場合、前記情報処理装置の前記制御手段は、前記距離算出手段による距離が一定値以下になった場合、表示装置に表示するオブジェクトの選択若しくは、はさむ動作とし、前記距離算出手段による距離が一定値以上になった場合、オブジェクトの選択決定若しくは解除、若しくは、はなす動作とすることを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項２０】
請求項１から請求項１９のゲームシステムであって、前記情報処理装置と接続された表示装置の誘導によって、少なくとも２ヵ所以上の位置座標を、前記所定の動作によって決定することによって、その位置座標から、光源の検出範囲とすることを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項２１】
請求項１と、請求項５から請求項１９のゲームシステムであって、前記の光源とは、所定の色のついた光源、若しくは際立った所定の色の色体であることを特徴とし、色フィルターによって、所定の色成分を取り出し、所定の色成分を光源の代わりとしたことを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項２２】
請求項１から請求項１９のいづれかのゲームシステムであって、前記情報処理装置と接続された表示装置には、教示する人型の表示やそれに準じる表示でポーズを誘導する誘導ポーズと、前記、複数の光源を装着したゲームプレイヤーは、表示装置に表示の誘導ポーズのポーズをするゲームの場合、該ゲームシステムは、ゲームプレイヤーがポーズした時の複数の光源の位置から、そのポーズの形を読み取り、誘導ポーズとのずれや位置の位相の差を計算して、得点や数値の形で表示装置に表示することを特徴とする複数の光源を使って操作を行うゲームシステム。
【請求項２３】
請求項２２のゲームシステムであって、該誘導ポーズは、連続したポーズの動きやモーションであって、該ゲームシステムは、ゲームプレイヤーが連続したポーズの動きやモーションをした時の連続した複数の光源の位置のデータから、そのポーズの動きを読み取り、誘導ポーズの連続したポーズの動きやモーションとのずれや位置の位相の差を計算して、得点や数値の形で表示装置に表示することを特徴とする複数の光源を使って操作を行うゲームシステム。

【図４】