ストロボスコープを使った入力システムを備える情報処理装置、入力装置、マンマシンインターフェースシステム、及び、コンピュータプログラム
【課題】 ストロボスコープを用いてコンピュータやゲーム機にリアルタイムで入力を与えることができる情報処理装置を提供する。
【解決手段】 ゴルフゲームシステム１０は、情報処理装置であるゲーム機１２、ゴルフクラブ型入力装置１４を含み、ゲーム機のハウジング１６の内部には撮像ユニット２８が収納され、この撮像ユニットは、イメージセンサ４０と赤外発光ダイオード４２が設けられる。赤外発光ダイオードによって撮像ユニットの上方の所定範囲に赤外光が間欠的に照射され、したがって、イメージセンサは、その範囲内で移動するゴルフクラブ型入力装置に設けられた反射体を間欠的に撮影する。このような反射体のストロボ映像を処理することによって、ゲーム機の入力となる速度などを計算する。
【解決手段】 ゴルフゲームシステム１０は、情報処理装置であるゲーム機１２、ゴルフクラブ型入力装置１４を含み、ゲーム機のハウジング１６の内部には撮像ユニット２８が収納され、この撮像ユニットは、イメージセンサ４０と赤外発光ダイオード４２が設けられる。赤外発光ダイオードによって撮像ユニットの上方の所定範囲に赤外光が間欠的に照射され、したがって、イメージセンサは、その範囲内で移動するゴルフクラブ型入力装置に設けられた反射体を間欠的に撮影する。このような反射体のストロボ映像を処理することによって、ゲーム機の入力となる速度などを計算する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はストロボスコープを使った入力システムを備える情報処理装置に関し、特にたとえば、ストロボスコープで照射した対象物の映像信号を処理する情報処理装置に関する。更に、この発明はストロボスコープを使った入力システムを備えるゲーム機等のエンターテインメント装置に関する。更に、この発明はストロボスコープを使った入力システムを備えるマンマシンインターフェースシステムに関する。
【背景技術】
【０００２】
本件出願人は、特許文献１などにおいて、圧電ブザーを利用してバットやラケットの実空間中での加速度の変化を検出してゲーム入力しとして使う体感ゲーム装置を提案している。このような体感ゲーム装置では、加速度の変化が所定以上のとき、ゲームプレイヤが対象物（上記の例でいえば、バットやラケット）を実空間中において操作した（振った）と判定するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１０４６３６号公報
【特許文献２】特開２００２−２３１４８９号公報
【特許文献３】特開平７−１４１１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ゲームの種類によっては、対象物を操作したかどうか、すなわち対象物に加速度が与えられたかどうかだけでなく、どの位置で、あるいはどのような速度で、さらにはどの向きに操作したかを示す情報が欲しい場合もある。特許文献１に開示されるような入力装置では、このような要求を充足することはできない。
【０００５】
他方、たとえば特許文献２に開示されるようなストロボスコープを用いて対象物を撮影すれば、その映像信号を解析することによって、上述のような、対象物の位置や速度を把握することができる。しかしながら、この特許文献２にはストロボスコープを開示するのみであり、そのストロボスコープを用いて対象物を撮影することやそれによって得られた映像信号をリアルタイムで解析する具体的な手法はこの特許文献２からはわからない。
【０００６】
なお、特許文献３には、撮影した映像信号から対象物を抽出し、その対象物の位置を求め、その位置情報をゲーム装置やコンピュータの入力とすることが開示されているが、この方法は、特定の使用環境ではうまく動作するが、ゲーム機が用いられる一般家庭の室内では正確な位置情報をえるのはかなり困難である。なぜなら、室内の照明、窓、雑多な色の物体、ゲームプレイヤ以外の移動体の存在がすべてノイズや外乱となって検出精度に影響を与えるからである。このようなノイズや外乱の影響を抑えて物体位置を正確に検出するには高速コンピュータが必要であり、プロセサの処理能力が限定される低コストの情報処理装置においては現実的ではない。
【０００７】
それゆえに、この発明の主たる目的は、ストロボスコープを用いてコンピュータやゲーム機にリアルタイムで入力を与えることができる、新規な情報処理装置、エンターテインメント装置、およびマンマシンインターフェースシステムを提供することである。
【課題を解決するための手段】
【０００８】
請求項１の発明は、ストロボスコープを使った入力システムを備える情報処理装置であって、ストロボスコープ、ストロボスコープの発光時および非発光時にそれぞれ対象物を撮影して発光時映像信号および非発光時映像信号を出力する撮像手段、複数の発光時映像信号と複数の非発光時映像信号とのそれぞれの差に基づいて対象物の位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出する第１の手段、および第１の手段によって算出された情報に基づき情報処理を行う第２の手段を備える、情報処理装置である。
【０００９】
請求項１の発明では、ストロボスコープ（４２，５２：実施例で相当する要素またはコンポーネントの参照符号。以下、同様。）が対象物（１４，９４，１１２）を明るく照射すことにより、撮像結果における対象物と対象物以外とのコントラストを高め、対象物の検出を容易にしている。また、第１の手段（５２，Ｓ５９，Ｓ１２９，図３５：Ｓ６１，図２２，図２５，図３３）が複数の発光時映像信号と複数の非発光時映像信号とのそれぞれの差を算出することにより、移動体である対象物以外の静止画像や固定光源等のノイズ成分の影響を抑えて対象物の位置、大きさ、速度、加速度、運動軌跡パターンを正確に、かつ簡単な情報処理で検出することが可能となる。そのようにして算出された情報に基づいて、第２の手段（５２，Ｓ６３）が所定の情報処理を行う。
【００１０】
そして、これらの情報を算出するための情報処理とアプリケーション側の情報処理とを分離することにより、アプリケーション側の情報処理が簡便になり、またアプリケーション側の情報処理を別な処理に置き換える際に、対象物の位置、大きさ、速度、加速度、運動軌跡パターンの算出に関する処理を変更することなく用いることが可能となる。
【００１１】
請求項２は、請求項１に従属し、第１の手段は、情報が所定の条件に合致するか否かを判定する判定手段を含む、情報処理装置である。
【００１２】
請求項２の発明では、判定手段（５２，Ｓ６１，図２２，図２５，図３３）が対象物の位置、大きさ、速度、加速度、運動軌跡パターン等が所定の条件に合致するか否かを判定し、アプリケーション側の情報処理では、判定結果を参照し所定の条件に合致していなければ算出された情報を受取らないようにすることで、簡便なアプリケーション処理が可能となる。
【００１３】
請求項３は、請求項２に従属し、第１の手段は、判定手段における判定結果に基づき情報の中から有効な情報のみを検出し、有効な入力が行われたとして第２手段に伝達する有効入力検出手段を含む、情報処理装置である。
【００１４】
請求項３の発明では、第１の手段に含まれる有効入力検出手段（５２，図２２，図２５，図３３）が判定手段からの判定結果に基づいて情報の取捨選択を行い、ユーザからの有効な入力のみをアプリケーション側の情報処理に伝達する。したがって、簡便なアプリケーション処理が可能となる。
【００１５】
請求項４は、請求項１−３のいずれかに従属し、第１の手段は、対象物の大きさを示す情報より対象物と撮像手段の距離を算出する距離算出手段を含む、情報処理装置である。
【００１６】
請求項４の発明では、第１の手段に含まれる距離算出手段（５２，Ｓ１１１，Ｓ１１３）が、撮像結果より対象物の大きさを算出し、算出された大きさの情報より対象物と撮像手段の距離を算出する。それによって、２次元の撮像結果から対象物の３次元空間中での位置、速度、加速度、運動軌跡パターンを求めることが可能となる。
【００１７】
請求項５は、請求項１−４のいずれかに従属し、第１の手段は、発光時映像信号と非発光時映像信号との差より得られる情報を解析し対象物の形状を抽出する解析手段、および形状より対象物と撮像手段の角度を算出する角度算出手段を含む、情報処理装置である。
【００１８】
請求項５の発明では、第１の手段が解析手段（５２，図２４：Ｓ１５９−Ｓ１６７）、および角度算出手段（５２，Ｓ１６９）を含み、撮像結果より対象物の形状を解析することで、撮像結果として２次元イメージ上に投影された対象物と、撮像手段との成す角度を求めることが可能となる。
【００１９】
請求項６は、請求項５に従属し、解析手段における解析は、対象物中の所定の２点を抽出するものであり、角度算出手段における角度の算出は、所定の２点を結ぶ線分と所定の座標軸との角度を算出するものである、情報処理装置である。
【００２０】
請求項６の発明では、解析手段は、対象物中の所定の２点を抽出する解析（Ｓ１６６）を行い、角度算出手段における角度の算出は、所定の２点を結ぶ線分と所定の座標軸との角度を算出するものである（Ｓ１６９）。
【００２１】
請求項７は、請求項１−６のいずれかに従属し、ストロボスコープの発光の時間間隔は自在に設定可能である、情報処理装置である。
【００２２】
請求項８は、請求項１−６のいずれかに従属し、ストロボスコープの発光期間の長さおよび非発光期間の長さは自在に設定可能である、情報処理装置である。
【００２３】
請求項９は、請求項１−６のいずれかに従属し、撮像手段の露光期間は自在に設定可能である、情報処理装置である。
【００２４】
たとえば実施例の図６に示すようにプロセサが赤外発光ダイオードの点灯／消灯を制御することによって、請求項７の発明、請求項８の発明あるいは請求項９の発明では、必要な時間間隔で、また必要なタイミングでのみストロボ光源の発光、撮像手段での露光を行うようにすることができ、消費電力の低減を行うことが可能となる。
【００２５】
請求項１０は、請求項１−９のいずれかに従属し、対象物は反射体を含む、情報処理装置である。
【００２６】
請求項１０の発明のように対象物が反射体（５０，５０Ａ，１００，１１６）を含むと、対象物と他の画像とのコントラストがさらに強調されるため、安価な構成で検出精度を高めることが可能となる。
【００２７】
請求項１１は、請求項１−１０のいずれかに従属し、ストロボスコープは特定の波長領域の光を出力する光源を含み、撮像手段は特定の波長領域にのみ応答する、情報処理装置である。
【００２８】
請求項１２は、請求項１１に従属し、撮像手段は特定の波長領域の光のみを透過するフィルタと、フィルタを透過した光で形成される映像を撮影する撮像素子とを含む、情報処理装置である。
【００２９】
請求項１３は、請求項１１に従属し、撮像手段は、特定の波長領域の光で形成される映像のみを撮影する撮像素子を含む、情報処理装置である。
【００３０】
請求項１１の発明や請求項１２の発明あるいは請求項１３の発明では、ストロボスコープは特定の波長領域の光を出力する光源（たとえば赤外発光ダイオード４２）を含み、撮像手段はたとえば赤外フィルタを用いることによって、特定の波長領域にのみ応答する。そのため、検出を行う対象物以外の移動光源および点滅光源（蛍光灯など）に含まれない波長領域の光をストロボスコープの光源とし、撮像手段がこの波長領域の光にのみ応答するようにすることで、これらのノイズ光源を除去することが可能となる。
【００３１】
請求項１４は、請求項１−１３のいずれかに従属し、第１の手段および第２の手段は、それぞれ単一または複数のプロセサによって処理されるプロセスである、情報処理装置である。
【００３２】
請求項１４の発明では、第１の手段および第２の手段は、それぞれ単一または複数のプロセサ（５２および／またはＳ６３を処理するプロセサ）によって処理されるプロセスである。このように、第１および第２の手段をプロセサのソフトウェアとして処理されるプロセスとすることで、安価でかつ自由度の高いシステムが構築できる。ただし、第１および第２の手段の両方のプロセスが単一のプロセサで実行されることがさらに望ましい。
【００３３】
請求項１５は、請求項１−１４のいずれかにおいて、第２の手段で行われる情報処理がゲーム等のエンターテインメント処理である、エンターテインメント装置である。
【００３４】
請求項１５の発明は、第２の手段で行われる情報処理をゲーム等のエンターテインメント処理とした、エンターテインメント装置である。
【００３５】
請求項１６は、ストロボスコープを使った入力システムを備えるマンマシンインターフェースシステムであって、ストロボスコープ、ストロボスコープの発光時および非発光時にそれぞれ対象物を撮影して発光時映像信号および非発光時映像信号を出力する撮像手段、複数の発光時映像信号と複数の非発光時映像信号とのそれぞれの差に基づいて対象物の位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出する第１の手段、および第１の手段によって算出された情報に基づき情報処理を行う第２の手段を備える、マンマシンインターフェースシステムである。
【００３６】
請求項１６の発明のシステムを、パーソナルコンピュータ、ワークステーション、ゲーム機器、教育機器、医療機器等のマンマシンインターフェースとして用いても、安価且つ精度の高い入力システムが構築できる。
【発明の効果】
【００３７】
これらの発明によれば、ストロボスコープによって照射された対象物の撮像結果をディジタル的に解析し、対象物の位置、移動速度、加速度、運動軌跡といった情報をパーソナルコンピュータやビデオゲーム機といった情報処理装置への入力として扱うことが可能となる。
【００３８】
また、簡単な情報処理のみで、ノイズや外乱の影響を抑えた精度の高い検出が可能であるので、コスト、許容される消費電力等の条件によりプロセサのパフォーマンスが制限されるシステムの上でも容易に達成が可能である。
【００３９】
この発明の上述の目的，その他の目的，特徴，および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００４０】
【図１】図１はストロボスコープで撮影したストロボ映像の一例を示す図解図である。
【図２】図２はこの発明の一実施例のゴルフゲームシステムの全体構成を示す図解図である。
【図３】図３は図２実施例の撮影ユニットの一例を示す図解図である。
【図４】図４は図２実施例のゴルフクラブ型入力装置の一例を示す図解図である。
【図５】図５は図２実施例を示すブロック図である。
【図６】図６は図５実施例においてイメージセンサからゲームプロセサへピクセルデータを取り込む構成およびＬＥＤ駆動回路を示す回路図である。
【図７】図７は図６実施例の動作を示すタイミング図である。
【図８】図８は図７の一部を拡大して示すタイミング図である。
【図９】図９は図２実施例の状態ないしステートの遷移を示す図解図である。
【図１０】図１０は図２実施例の全体動作を示すフロー図である。
【図１１】図１１は図１０実施例の初期化処理の一例であるセンサ初期化設定処理動作を示すフロー図である。
【図１２】図１２は図１１のコマンド送信処理動作を示すフロー図である。
【図１３】図１３は図１１のレジスタ設定処理動作を示すフロー図である。
【図１４】図１４は図１３に示すレジスタ設定処理動作を示すタイミング図である。
【図１５】図１５は図２実施例におけるゲームプロセサの動作を示すフロー図である。
【図１６】図１６は図１５実施例におけるストロボスコープ撮影動作を示すフロー図である。
【図１７】図１７は図１５実施例における画素データ取得処理動作を示すフロー図である。
【図１８】図１８は図１５実施例における注目点抽出処理動作を示すフロー図である。
【図１９】図１９は実施例において差分データを採用する原理を示す図解図である。
【図２０】図２０は図１５実施例における速度ベクトル算出処理動作を示すフロー図である。
【図２１】図２１は図２０の速度ベクトル算出動作における各座標位置を示す図解図である。
【図２２】図２２は図１５実施例における判定処理動作を示すフロー図である。
【図２３】ゴルフゲームシステムに使われるゴルフクラブ型入力装置の変形例を示す図解図である。
【図２４】図２４は図２３のゴルフクラブ型入力装置を利用した場合の図１５実施例における注目点抽出処理動作を示すフロー図である。
【図２５】図２５は図２３のゴルフクラブ型入力装置を利用した場合の図１５実施例における判定処理動作を示すフロー図である。
【図２６】図２６は図２５の判定処理動作における角度を示す図解図である。
【図２７】図２７はこの発明の他の実施例のボーリングゲームシステムの全体構成を示す図解図である。
【図２８】図２８は図２７に示すボール型入力装置の内部構造を示す図２７の線ＸＸVIII−ＸＸVIIIにおける断面図解図である。
【図２９】図２９は図２７実施例におけるテレビジョンモニタに表示されるゲーム画面の一例を示す図解図である。
【図３０】図３０は図２７実施例におけるテレビジョンモニタに表示されるスコアシートの一例を示す図解図である。
【図３１】図３１は図２７実施例を示すブロック図である。
【図３２】図３２は図２７実施例の全体動作を示すフロー図である。
【図３３】図３３は図２７のボーリングシステムの図１５実施例における判定処理動作を示すフロー図である。
【図３４】図３４は手袋型入力装置の一例を示す図解図である。
【図３５】図３５は図３４の手袋型入力装置を用いる場合の図１５実施例に示す動き検出処理動作を示すフロー図である。
【図３６】図３６は図１５実施例における画素データ配列取得処理動作を示すフロー図である。
【発明を実施するための形態】
【００４１】
図２を参照して、この発明の一実施例であるゴルフゲームシステム１０は、ゲーム機１２およびゴルフクラブ型入力装置１４を含み、このゴルフクラブ型入力装置１４はゲームプレイヤによって、ゲーム機１２上で振られる。なお、ゲーム機１２は、たとえばＡＣアダプタ（図示せず）または電池のような直流電源によって駆動される。ゲーム機１２は、さらに、ＡＶケーブル１６を通して、テレビジョンモニタ（図示せず）のＡＶ端子（図示せず）に接続される。
【００４２】
ゲーム機１２は、また、ハウジング１８を含み、このハウジング１８上に電源スイッチ２０が設けられるとともに、方向ボタン２２ならびに決定キー２４およびキャンセルキー２６が設けられる。方向ボタン２２は、４方向（上下左右）の個別のボタンを有し、たとえばテレビジョンモニタの表示画面上においてメニューやゲームモード選択のためにカーソルを移動させたりするために用いられる。
【００４３】
決定キー２４はゲーム機１２への入力を決定するために用いられる。また、キャンセルキー２６は、ゲーム機１２への入力をキャンセルするために用いられる。
【００４４】
ゲーム機１２のハウジング１６の内部には、図３に詳細に示す撮像ユニット２８が収納される。この撮像ユニット２８は、たとえばプラスチック成型によって形成されるユニットベース３０を含み、このユニットベース３０内には支持筒３２が取り付けられる。支持筒３２の上面には内面が逆円錐形状であるラッパ状の開口３４が形成され、その開口３４の下方の筒状部内部には、いずれもがたとえば透明プラスチックの成型によって形成された凹レンズ３６および凸レンズ３８を含む光学系が設けられ、凸レンズ３８の下方において、撮像素子としてのイメージセンサ４０が固着される。したがって、イメージセンサ４０は、開口３４からレンズ３６および３８を通して入射する光に応じた映像を撮影することができる。
【００４５】
イメージセンサ４０は、低解像度のＣＭＯＳイメージセンサ(たとえば３２×３２画素：グレースケール)である。ただし、このイメージセンサ４０は、画素数のもっと多いものでもよいし、ＣＣＤ等の他の素子からなるものであってよい。
【００４６】
また、ユニットベース３０には、光出射方向がいずれも上方向とされた複数（この実施例では４つ）の赤外発光ダイオード４２が取り付けられる。この赤外発光ダイオード４２によって、撮像ユニット２８の上方の図３に示す線４４aおよび４４bで決まる範囲に赤外光が照射される。また、ユニットベース３０の上方には、赤外フィルタ（赤外線のみを透過するフィルタ）が上記開口３４を覆うように、取り付けられる。そして、赤外発光ダイオード４２は後述のように、点灯／消灯が連続的に繰り返されるので、赤外ストロボスコープとして機能する。ただし、「ストロボスコープ」とは、運動体を間欠的に照らす装置の総称である。
【００４７】
したがって、上記イメージセンサ４０は、線４４ａおよび４４ｂで示す撮影範囲内で移動する物体、この実施例ではゴルフクラブ型入力装置１４に設けられた反射体５０（図４参照）を撮影することになる。
【００４８】
ゴルフクラブ型入力装置１４は、全体がたとえばプラスチック成型によって形成され、図４に示すように、クラブシャフト４６とそれの先端に取り付けられたクラブヘッド４８とを含み、クラブヘッド４８の底面に、たとえば再帰反射シートからなる、円形の反射体５０が設けられる。したがって、図２に示すように、ゲームプレイヤがこの入力装置１４のクラブシャフト４６を持って、普通のゴルフをするときと同じように、ゲーム機１２の上方で振れば、ヘッド４８の底面の反射体５０によって反射された光がイメージセンサ４０によって撮影される。このとき、赤外発光ダイオード４２は上述のように間欠的に赤外光を照射するため、結果的に、図３に示すように、反射体５０が間欠的に撮影される。この実施例のゴルフゲームシステム１０では、後述のように、このような反射体のストロボ映像を処理することによって、ゲーム機１２の入力となる速度などを計算する。
【００４９】
図５を参照して、クラブ型入力装置１４は、上述のように、赤外発光ダイオード４２の発光に照射され、その赤外光を反射体５０で反射する。この反射体５０からの反射光がイメージセンサ４０によって撮影され、したがって、イメージセンサ４０からは反射体５０の映像信号が出力される。イメージセンサ４０からのこのアナログ映像信号はゲームプロセサ５２に内蔵されたＡ／Ｄコンバータ（図示せず）によってディジタルデータに変換される。
【００５０】
なお、ゲームプロセサ５２は、上述のストロボ撮影のために、赤外発光ダイオード４２を間欠的に点滅する。
【００５１】
このようなゲームプロセサ５２としては、任意の種類のプロセサを利用できるが、この実施例では、本件出願人が開発しかつ既に特許出願している高速プロセサを用いる。この高速プロセサは、たとえば特開平１０−３０７７９０号公報［Ｇ０６Ｆ１３／３６，１５／７８］およびこれに対応するアメリカ特許第６，０７０，２０５号に詳細に開示されている。
【００５２】
ゲームプロセサ５２は、図示しないが、演算プロセサ，グラフィックプロセサ，サウンドプロセサおよびＤＭＡプロセサ等の各種プロセサを含むとともに、アナログ信号を取り込むときに用いられる上述のＡ／Ｄコンバータやキー操作信号や赤外線信号のような入力信号を受けかつ出力信号を外部機器に与える入出力制御回路を含む。したがって、操作キー２２−２６からの入力信号がこの入出力制御回路を経て、演算プロセサに与えられる。演算プロセサは、その入力信号に応じて必要な演算を実行し、その結果をグラフィックプロセサ等に与える。したがって、グラフィックプロセサやサウンドプロセサはその演算結果に応じた画像処理や音声処理を実行する。
【００５３】
プロセサ５２には、図示しないが内部メモリが設けられ、この内部メモリは、ＲＯＭまたはＲＡＭ（ＳＲＡＭおよび／またはＤＲＡＭ）を含む。ＲＡＭは一時メモリ，ワーキングメモリあるいはカウンタまたはレジスタ領域（テンポラリデータ領域）およびフラグ領域として利用される。なお、プロセサ５２にはＲＯＭ５４が外部バスを通して接続される。このＲＯＭ５４に後に説明するようなゲームプログラムが予め設定される。
【００５４】
プロセサ５２は、イメージセンサ４０からＡ／Ｄコンバータを介して入力されるディジタル映像信号を処理してゴルフクラブ型入力装置１４の動きを検出するとともに、操作キー２２−２６からの入力信号に従って演算、グラフィック処理、サウンド処理等を実行し、ビデオ信号およびオーディオ信号を出力する。ビデオ信号はゲーム画面を表示するための画像信号であり、オーディオ信号はゲーム音楽や効果音の信号であり、したがって、テレビジョンモニタ（図示せず）の画面上にゲーム画面表示され、必要なサウンド（効果音、ゲーム音楽）がそれのスピーカから出力される。
【００５５】
ここで、図６−図８を参照して、ＣＭＯＳイメージセンサ４０からゲームプロセサ５２へピクセルデータを取り込むための構成を詳細に説明する。図６に示すように、実施例のＣＭＯＳイメージセンサ４０は、ピクセル信号（画素信号）をアナログ信号として出力するタイプのものであるため、このピクセル信号はゲームプロセサ５２のアナログ入力ポートに入力される。アナログ入力ポートは、このゲームプロセサ５２内においてＡ／Ｄコンバータ（図示せず）に接続され、したがって、ゲームプロセサ５２は、Ａ／Ｄコンバータからディジタルデータに変換されたピクセル信号（ピクセルデータ）をその内部に取得する。
【００５６】
上述のアナログピクセル信号の中点は、ＣＭＯＳイメージセンサ４０の基準電圧端子Ｖｒｅｆに与えられる基準電圧によって決定される。そのため、この実施例では、イメージセンサ４０に関連してたとえば抵抗分圧回路からなる基準電圧発生回路５６が設けられ、この回路５６から基準電圧端子Ｖｒｅｆに常に一定の大きさの基準電圧が与えられる。
【００５７】
ＣＭＯＳイメージセンサ４０を制御するための各ディジタル信号は、ゲームプロセサ５２のＩ／Ｏポートに与えられ、またはそこから出力される。このＩ／Ｏポートは各々入力／出力の制御が可能なディジタルポートであり、このゲームプロセサ５２内で入出力制御回路（図示せず）に接続されている。
【００５８】
詳しくいうと、ゲームプロセサ５２の出力ポートからはイメージセンサ４０をリセットするためのリセット信号が出力され、イメージセンサ４０に与えられる。また、イメージセンサ４０からは、ピクセルデータストローブ信号およびフレームステータスフラグ信号が出力され、それらの信号がゲームプロセサ５２の入力ポートに与えられる。ピクセルデータストローブ信号は上述の各ピクセル信号を読み込むための図７（ｂ）に示すようなストローブ信号である。フレームステータスフラグ信号はイメージセンサ４０の状態を示すフラグ信号で、図７（ａ）に示すように、このイメージセンサの露光期間を規定する。つまり、フレームステータスフラグ信号の図７（ａ）に示すローレベルが露光期間を示し、図７（ａ）に示すハイレベルが非露光期間を示す。
【００５９】
また、ゲームプロセサ５２は、ＣＭＯＳイメージセンサ４０内の制御レジスタ（図示せず）に設定するコマンド（またはコマンド＋データ）をレジスタデータとしてＩ／Ｏポートから出力するとともに、たとえばハイレベルおよびローレベルを繰り返すレジスタ設定クロックを出力し、それらをイメージセンサ４０に与える。
【００６０】
なお、この実施例では、赤外発光ダイオード４２として、図６に示すように互いに並列接続された４つの赤外発光ダイオード４２ａ，４２ｂ，４２ｃおよび４２ｄを用いる。この４つの赤外発光ダイオード４２ａ−４２ｄは、上で説明したように、対象物（ゴルフクラブ型入力装置１４）を照らすように、イメージセンサ４０の視点方向と同一方向に赤外光を照射するようにかつイメージセンサ４０を囲むように配置される。ただし、これら個別の赤外発光ダイオード４２ａ−４２ｄは、特に区別する必要がある場合を除いて、単に赤外発光ダイオード４２と呼ばれる。この赤外発光ダイオード４２はＬＥＤ駆動回路５８によって、点灯されまたは消灯（非点灯）される。ＬＥＤ駆動回路５８は、イメージセンサ４０から上述のフレームステータスフラグ信号を受け、このフラグ信号は、抵抗６２およびコンデンサ６４からなる微分回路６０を通してＰＮＰトランジスタ６８のベースに与えられる。このＰＮＰトランジスタ６８にはさらにプルアップ抵抗６６が接続されていて、このＰＮＰトランジスタ６８のベースは、通常は、ハイレベルにプルアップされている。そして、フレームステータス信号がローレベルになると、そのローレベルが微分回路６０を経てベースに入力されるため、ＰＮＰトランジスタ６８は、フラグ信号がローレベル期間にのみオンする。
【００６１】
ＰＮＰトランジスタ６８のエミッタは抵抗７０および７２を介して接地される。そして、エミッタ抵抗７０および７２の接続点がＮＰＮトランジスタ７４のベースに接続される。このＮＰＮトランジスタ７４のコレクタが各赤外発光ダイオード４２ａ−４２ｄのアノードに共通に接続される。ＮＰＮトランジスタ７４のエミッタが別のＮＰＮトランジスタ７６のベースに直接接続される。ＮＰＮトランジスタ７４のコレクタが各赤外発光ダイオード４２ａ−４２ｄのカソードに共通接続され、エミッタが接地される。
【００６２】
このＬＥＤ駆動回路５８では、ゲームプロセサ５２のＩ／Ｏポートから出力されるＬＥＤコントロール信号（第２信号に相当する）がアクティブ（ハイレベル）でありかつイメージセンサ４０からのフレームステータスフラグ信号がローレベルである期間にのみ赤外発光ダイオード４２が点灯される。図７（ａ）に示すようにフレームステータスフラグ信号がローレベルになると、そのローレベル期間中（実際には微分回路６０の時定数での遅れがあるが）、ＰＮＰトランジスタ６８がオンする。したがって、図７（ｄ）に示すＬＥＤコントロール信号がゲームプロセサ５２からハイレベルで出力されると、ＮＰＮトランジスタ７４のベースがローレベルとなり、このトランジスタ６８がオフとなる。トランジスタ６８がオフするとトランジスタ７４はオンとなる。したがって、電源（図６では小さい白丸で示す）から各赤外発光ダイオード４２ａ−４２ｄおよびトランジスタ７６を経て電流が流れ、応じて図７（ｅ）に示すように各赤外発光ダイオード４２ａ−４２ｄが点灯される。
【００６３】
実施例のＬＥＤ駆動回路５８では、このように、図７（ｄ）のＬＥＤコントロール信号がアクティブでありかつ図７（ａ）のフレームステータスフラグ信号がローレベルである期間にのみ赤外発光ダイオード４２が点灯されるので、イメージセンサ４０の露光期間（図７（ｆ）参照）にのみ赤外発光ダイオード４２が点灯されることになる。したがって、この実施例によれば、無駄な電力消費を抑制することができる。さらに、フレームステータスフラグ信号はコンデンサ６４によってカップリングされているので、万一イメージセンサ４０の暴走等によりそのフラグ信号がローレベルのまま停止した場合でも、一定時間後にはトランジスタ６８は必ずオフされ、赤外発光ダイオード４２も一定時間後には必ずオフされる。
【００６４】
このように、この実施例では、フレームステータス信号の持続期間を変更することによって、イメージセンサ４０の露光時間を任意にかつ自在に設定または変更することができる。
【００６５】
さらに、フレームステータス信号およびＬＥＤコントロール信号の持続時間や周期を変更することによって、赤外発光ダイオード４２すなわちストロボスコープの発光期間、非発光期間、発光／非発光周期などを任意にかつ自在に変更または設定できる。
【００６６】
先に説明したように、赤外発光ダイオード４２からの赤外光によってゴルフクラブ型入力装置１４の反射体５０が照射されると、反射体５０からの反射光によってイメージセンサ４０が露光される。応じて、イメージセンサ４０から上述のピクセル信号が出力される。詳しく説明すると、ＣＭＯＳイメージセンサ４０は、上述の図７（ａ）のフレームステータスフラグ信号がハイレベルの期間（赤外発光ダイオード４２の非点灯期間）に図７（ｂ）に示すピクセルデータストローブに同期して、図７（ｃ）に示すようにアナログのピクセル信号を出力する。ゲームプロセサ５２では、そのフレームステータスフラグ信号とピクセルデータストローブとを監視しながら、Ａ／Ｄコンバータを通じて、ディジタルのピクセルデータを取得する。
【００６７】
ただし、ピクセルデータ（ピクセル信号）は実施例では、図８（ｃ）に示すように、第０行，第１行，…第３１行と行順次に出力される。ただし、後に説明するように、各行の先頭の１ピクセルはダミーデータとなる。
【００６８】
ここで、図９および図１０を参照して、図２実施例のゴルフゲームシステム１０の概略動作を説明する。図２に示す電源スイッチ２０をオンしてゲームスタートとなるが、図５に示すゲームプロセサ５２は、まず、ステップＳ１で初期化処理を実行する。具体的には、システムおよび各変数を初期化する。
【００６９】
ステップＳ１での初期化処理は、イメージセンサ４０内の制御レジスタへのデータ設定処理を含み、具体的には、図１１−図１３に示すフロー図に従って、かつ図１４に示すタイミングで実行される。
【００７０】
図１１の最初のステップＳ１１では、ゲームプロセサ５２は、設定データとして、コマンド“ＣＯＮＦ”を設定する。ただし、このコマンド“ＣＯＮＦ”は、イメージセンサ４０に、ゲームプロセサ５２からコマンドを送信する設定モードに入ることを知らせるためのコマンドである。そして、次のステップＳ１３で、図１２に詳細に示すコマンド送信処理を実行する。
【００７１】
コマンド送信処理の最初のステップＳ３１では、プロセサ５２は、設定データ（ステップＳ１３の場合はコマンド“ＣＯＮＦ”）をレジスタデータ（Ｉ／Ｏポート）に設定し、次のステップＳ３３でレジスタ設定クロック（Ｉ／Ｏポート）をローレベルに設定する。その後、ステップＳ３５で規定時間待機した後、ステップＳ３７で、レジスタ設定クロックをハイレベルに設定する。そして、さらにステップＳ３９での規定時間の待機の後、ステップＳ４１でレジスタ設定クロックを再びローレベルに設定する。このようにして、図１４に示すように、規定時間の待機を行いながら、レジスタ設定クロックをローレベル，ハイレベルそしてローレベルとすることによって、コマンド（コマンドまたはコマンド＋データ）の送信処理が行われる。
【００７２】
ステップＳ１５（図１１）では、ピクセルモードを設定するとともに、露光時間の設定を行う。この実施例の場合、イメージセンサ４０は先に述べたようにたとえば３２×３２のＣＭＯＳセンサであるため、設定アドレス“０”のピクセルモードレジスタに３２×３２画素であることを示す“０ｈ”を設定する。次のステップＳ１７において、ゲームプロセサ５２は、図１３に詳細に示すレジスタ設定処理を実行する。
【００７３】
レジスタ設定処理の最初のステップＳ４３では、プロセサ５２は、設定データとして、コマンド“ＭＯＶ”＋アドレスを設定し、次のステップＳ４５で、図１２で先に説明したコマンド送信処理を実行して、それを送信する。次にステップＳ４７において、プロセサ５２は、設定データとして、コマンド“ＬＤ”＋データを設定し、次のステップＳ４９でコマンド送信処理を実行して、それを送信する。そして、ステップＳ５１で、プロセサ５２は、設定データとして、コマンド“ＳＥＴ”を設定し、次のステップＳ５３でそれを送信する。なお、コマンド“ＭＯＶ”は制御レジスタのアドレスを送信することを示すコマンドで、コマンド“ＬＤ”はデータを送信することを示すコマンドで、コマンド“ＳＥＴ”はデータをそのアドレスに実際に設定させるためのコマンドである。なお、この処理は、設定する制御レジスタが複数ある場合には、繰り返し実行される。
【００７４】
図１１に戻って、次のステップＳ１９では、設定アドレスを“１”（露光時間設定レジスタのローニブルのアドレスを示す）とし、最大露光時間を示す“ＦＦｈ”のローニブルデータ“Ｆｈ”を設定すべきデータとして設定する。そして、ステップＳ２１で図１３のレジスタ設定処理を実行する。同様にして、ステップＳ２３において、設定アドレスを“２”（露光時間設定レジスタのハイニブルのアドレスを示す）とし、最大露光時間を示す“ＦＦｈ”のハイニブルデータ“Ｆｈ”を設定すべきデータとして設定し、ステップＳ２５でレジスタ設定処理を実行する。
【００７５】
その後、ステップＳ２７で設定終了を示しかつイメージセンサ４０にデータの出力を開始させるためのコマンド“ＲＵＮ”を設定し、ステップＳ２９で送信する。このようにして、図１０に示すステップＳ１での初期設定動作が実行される。ただし、図１１−図１４に示す具体例は、使用されるイメージセンサの仕様に応じて、適宜変更され得るものである。
【００７６】
図１０のステップＳ１の後、ゲームプロセサ５２は、ステップＳ２で画像信号を更新してモニタ（図示せず）に表示される画像を更新する。ただし、この表示画像更新は、１フレーム（テレビジョンフレームまたはビデオフレーム）毎に実行される。
【００７７】
そして、ゲームプロセサ５２は、ステート（状態）に応じた処理を実行する。ただし、最初に処理するのは、ゲームモードの選択である。このゲームモード選択では、ユーザないしゲームプレイヤは、図１０のステップＳ３で、図１に示す選択キー２２を操作して、１人プレイモードまたは２人プレイモードなどのゲームモードを選択するとともに、ゲームの難易度等を設定する。
【００７８】
実際のゴルフゲームではゴルフクラブを振ってゲーム画面内でゴルフボールを転動させる必要があるが、実施例のゴルフゲームシステム１０では、先に述べたように、ゴルフクラブ型入力装置１４を用いて実空間中でゴルフクラブスイング動作を行う。そこで、ゲームプロセサ５２は、ステップＳ４でスイング動作の判定処理を実行し、スイング動作が行われたかどうか判定する。そして、スイング動作が行われたのであれば、ついでステップＳ５で、ゲーム画面内でボールが飛翔しまたは転動しているとき、ボールの軌道を計算するとともに、ボールが停止したときに、ステップＳ６において、ステップＳ５での軌道計算処理の結果として、スコア計算および結果判定処理を実行する。
【００７９】
その後、ビデオ同期信号による割り込みがあれば、ステップＳ２（図１０）の画像更新を実行する。また、ステップＳ７の音声処理は、音声割り込みが発生したとき実行され、それによってゲーム音楽やゴルフクラブがボールを叩いた音のような効果音を出力する。
【００８０】
図１５−図２２を参照して、このようなゴルフゲームシステム１０の具体的な全体動作を説明する。図１５の最初のステップＳ５５では、ゲームプロセサ５２は、ゴルフクラブ型入力装置１４の移動位置を検出するためのストロボスコープ撮影を実行する。
【００８１】
このストロボスコープ撮影処理の詳細が図１６に示される。図１６の最初のス６７では、ゲームプロセサ５２は、内部メモリ（図示せず）の適宜の領域の回数レジスタ（図示せず）の回数Ｎに「１」を代入する。続くステップＳ６９において、ゲームプロセサ５２は、ストロボスコープ撮影のために赤外発光ダイオード４２を点灯する。具体的には、図７に示すＬＥＤコントロール信号をハイレベルとする。その後、ステップＳ７１で、画素データ配列の取得処理を実行する。
【００８２】
図３６の最初のステップＳ３０１で、ゲームプロセサ５２は画素データ配列の要素番号としてＸに「−１」、Ｙに「０」を設定する。本実施例における画素データ配列は、Ｘ＝０〜３１、Ｙ＝０〜３１の２次元配列であるが、前述のように各行の先頭ピクセルのデータとしてダミーデータが出力されるので、Ｘの初期値として「−１」が設定される。続くステップＳ３０３では、図１７に示す要素［Ｙ］［Ｘ］の画素データの取得処理を実行する。
【００８３】
図１７の最初のステップＳ８３で、ゲームプロセサ５２は、イメージセンサ４０からのフレームステータスフラグ信号をチェックし、ステップＳ８５でその立ち上がりエッジ（ローレベルからハイレベルへの）が発生したかどうか判断する。そして、ステップＳ８５でフラグ信号の立ち上がりエッジを検出すると、次のステップＳ８７において、ゲームプロセサ５２は、それの内部のＡ／Ｄコンバータに入力されてきたアナログのピクセル信号のディジタルデータへの変換の開始を指示する。その後、ステップＳ８９でイメージセンサ４０からのピクセルストローブをチェックし、ステップＳ９１でそのストローブ信号のローレベルからハイレベルへの立ち上がりエッジが発生したかどうか判断する。
【００８４】
ステップＳ９１で“ＹＥＳ”が判断されると、ゲームプロセサ５２は続いて、ステップＳ９３において、Ｘ＝−１かどうか、すなわち先頭ピクセルかどうか判断する。先に述べたように、各行の先頭ピクセルはダミーピクセルとして設定されているので、このステップＳ９３で“ＹＥＳ”が判断されると、次のステップＳ９５でそのときのピクセルデータを取得しないで、ステップＳ９７で要素番号Ｘをインクリメントする。
【００８５】
ステップＳ９３で“ＮＯ”が判断されると、行の第２番目以降のピクセルデータであるので、ステップＳ９９およびＳ１０１において、そのときのピクセルデータを取得し、テンポラリレジスタ（図示せず）にそのピクセルデータを格納する。その後、図３６のステップＳ３０５にリターンする。
【００８６】
ステップＳ３０５では、テンポラリレジスタに格納されたピクセルデータを画素データ配列の要素［Ｙ］［Ｘ］として格納する。
【００８７】
続くステップＳ３０９でＸをインクリメントする。Ｘが３２に満たない場合、前述のＳ３０３からＳ３０７の処理を繰り返し実行する。Ｘが３２の場合、すなわち画素データの取得が行の終端に到達した場合には、続くステップＳ３１１Ｘに「−１」を設定し、ステップＳ３１３でＹをインクリメントし、次の行の先頭から画素データの取得処理を繰り返す。
【００８８】
ステップＳ３１５でＹが３２の場合、すなわち画素データの取得が画素データ配列の終端に到達した場合、図１６のステップＳ７３にリターンする。
【００８９】
ステップＳ７３では、上記画素データ配列をＮ回目点灯時取得データとして、たとえば内部ＲＡＭのワーキング領域に格納する。
【００９０】
続くステップＳ７５で、ゲームプロセサ５２は、ＬＥＤコントロール信号をローレベルにするなどして、赤外発光ダイオード４２を消灯する。その後、ステップＳ７６で、ステップＳ７１と同様にして、図１７および図３５のサブルーチンに従って、赤外発光ダイオード４２が消灯されているときの画素データ配列を取得し、ステップＳ７７においてステップＳ７３と同様にして、内部ＲＡＭのワーキング領域に格納する。
【００９１】
そして、ステップＳ７９で回数レジスタＮをインクリメントし、ステップＳ８１で回数Ｎが規定値に達したかどうか判断する。このステップＳ８１で“ＹＥＳ”が判断されると、そのまま、図１５のステップＳ５７（注目点抽出処理）にリターンする。ただし“ＮＯ”のときには、先のステップＳ６９に戻る。
【００９２】
注目点抽出処理の詳細が図１８に示される。図１８の最初のステップＳ１０３では、ゲームプロセサ５２は、内部メモリ（図示せず）内の回数レジスタ（図示せず）の回数Ｎに「１」を代入する。そして、次のステップＳ１０５で、図１６のステップＳ７３およびＳ７７で得た、点灯時取得データおよび消灯時取得データとの差分から、差分データ配列を算出する。
【００９３】
つまり、この実施例では、前述のように、ゴルフクラブ型入力装置１４の反射体５０に赤外光を照射し、赤外フィルタを介してイメージセンサ４０に入射した反射赤外光による映像を撮影している。一般的な室内環境で一般的な光源を用いてゴルフクラブ型入力装置１４をストロボスコープ撮影をした場合には、イメージセンサ（実施例のイメージセンサ４０に相当する）には、図１９（Ａ）に示すように、反射体による映像以外に、蛍光灯光源、白熱灯光源、太陽光（窓）のような光源だけでなく、室内のすべてのものの画像がすべて写り込む。したがって、この図１９（Ａ）の映像を処理して反射体の映像のみを抽出するのは、かなり高速のコンピュータまたはプロセサが必要である。しかしながら、安価が条件のゲーム装置ではそのような高性能コンピュータを使えない。そこで種々の処理を行って負担を軽減することが考えられる。
【００９４】
図１９（Ｂ）は、図１９（Ａ）の映像信号を或る閾値でレベル弁別したときの映像信号である。このようなレベル弁別処理は専用のハードウェア回路でも、ソフトウェア的にでも、実行することができるが、いずれの方法によっても、一定以下の光量の画素データをカットするレベル弁別を実行すると、反射体や光源以外の低輝度画像を除去することができる。この図１９（Ｂ）の映像では反射体および室内の光源以外の画像の処理を省略でき、したがって、コンピュータの負担を軽減できるが、それでも、光源画像を含む高輝度画像が依然として写り込んでいるので、反射体と他の光源を分別することは難しい。
【００９５】
そこで、実施例では、図３に示したように赤外フィルタ４４を利用して、イメージセンサ４０に赤外光による画像以外の画像が写らないようにした。それによって、図１９（Ｃ）に示すように、赤外光を殆ど含まない蛍光灯光源の画像は除去できる。しかしながら、それでもなお太陽光や白熱灯が映像信号中に含まれてしまう。したがって、更なる負担軽減のために、赤外ストロボスコープの点灯時の画素データと消灯時の画素データとの差分を計算することとした。
【００９６】
そのため、図１９（Ｃ）の点灯時の映像信号の画素データと、図１９（Ｄ）の消灯時の映像信号の画素データとの差分を計算した。すると、図１９（Ｅ）に示すように、その差分だけの映像が取得できる。この差分データによる映像は、図１９（Ａ）と対比すれば明らかなように、ゴルフクラブ型入力装置１４の反射体によって得られる画像のみを含むことになる。したがって、ゲームプロセサ５２の性能があまり高くなくても、ゴルフクラブ型入力装置１４のスイングによる、反射体５０すなわちクラブヘッド４８（図４）の移動軌跡を取得することができる。
【００９７】
このような理由で、この実施例では、図１８のステップＳ１０５において、たとえば図１９（Ｅ）に示す差分データ配列を算出する。ステップＳ１０５で差分データ配列を求めた後、ステップＳ１０７で値の最も大きい画素（最大輝度の画素）の座標を取得し、ステップＳ１０９で、その座標の画素の輝度が規定値を超えているかどうか判断する。
【００９８】
このステップＳ１０９で“ＹＥＳ”が判断されると、続くステップＳ１１１で、ステップＳ１０７で取得した座標の画素に接する画素、さらにはそれに接する画素が上記規定値を超えているかどうかを順次判定し、注目部（実施例でいえば反射体の画像）の直径Φ［Ｎ］を計算する。この注目部の直径（または大きさ）を計算するのは、ステップＳ１１３で反射体５０の高さ（Ｚ座標）を取得するためと、ステップＳ１１５でその反射体の中心座標を特定する必要があるからである。
【００９９】
図３に示すように、この実施例の撮像ユニット２８には単焦点の光学系が用いられている。したがって、反射体５０と撮像素子、すなわちイメージセンサ４０との間の距離が上記光学系の焦点と合致するとき画像の「ぼけ」が最も少なく、直径が最も大きい。これに対して、その合焦距離と反射体−イメージセンサ間距離との乖離が大きいほど、画像そのものが小さくなる。図１９（Ｅ）および後述の図２１の例では、その反射体−イメージセンサ間距離に応じて画像の大きさ（直径）が変化することを示している。このようにして、反射体画像の直径（大きさ）に基づいて、反射体−イメージセンサ間距離すなわち反射体５０の高さ（Ｚ座標）を求めることができる。この実施例のゴルフゲームシステムではこのＺ座標は使用していないが、必要に応じてこのＺ座標を利用することによって、さらに異なるゲーム入力を与えることができる。
【０１００】
このようにして、ステップＳ１１３でＺ座標を求め、ステップＳ１１５で反射体５０の中心座標（Ｘ，ＹまたはＸ，Ｙ，Ｚ）を保存する。
【０１０１】
その後ステップＳ１１７で回数レジスタのＮ値をインクリメントして、ステップＳ１１９で回数Ｎが規定値を超えたかどうか判断する。ステップＳ１１９で“ＹＥＳ”が判断されると、そのまま図１５のステップＳ５９にリターンする。しかしながら、“ＮＯ”が判断されると、先のステップＳ１０５に戻って、ステップＳ１０５以下の各ステップを繰り返し実行する。
【０１０２】
なお、ステップＳ１０９で“ＮＯ”が判断されたとき、つまり、最大輝度の画素の輝度が規定値を超えないと判断されたときには、次のステップＳ１２１で規定個数のデータをすべて検索した結果かどうか判断する。ステップＳ１２１で“ＹＥＳ”が判断されると、つまり、規定個数の画素をすべて検索したときには、ステップＳ１２３で、注目点がないとして検索結果を保存する。ただし、ステップＳ１２１で“ＮＯ”が判断されたときには、ステップＳ１２５で次に輝度の大きな画素の座標データを取得して、ステップＳ１０７に戻る。
【０１０３】
ステップＳ５７でこのようにして注目点の抽出処理をした後、次のステップＳ５９で、速度ベクトルを計算するなどの動き算出処理を実行する。
【０１０４】
図２０がこの動き算出処理の一例である速度ベクトル算出処理の具体例を詳細図示している。図２０のステップＳ１２７では上で述べたように、回数レジスタＮに「１」を代入する。その後、ステップＳ１２９では、Ｎ回目の注目点座標（ＰＸ［Ｎ］，ＰＹ［Ｎ］：図２１）からＮ−１回目の注目点座標（ＰＸ［Ｎ−１］，ＰＹ［Ｎ−１］）を減算してＮ回目の速度ベクトル（ＶＸ［Ｎ］，ＶＹ［Ｎ］）を算出して内部メモリに格納する。
【０１０５】
図２１には、直径Φ［１］を有する第１回目の注目領域の画像が示され、この第１回目の注目領域の中心座標は（ＰＸ［１］，ＰＹ［１］）で、直径Φ［２］を有する第２回目の注目領域の中心座標は（ＰＸ［２］，ＰＹ［２］）である。同様に、第３回目および第４回目の注目領域はそれぞれ直径Φ［３］およびΦ［４］を有し、それらの中心座標は、それぞれ（ＰＸ［３］，ＰＹ［３］）および（ＰＸ［４］，ＰＹ［４］）で示されている。
【０１０６】
第２回目の注目領域をＮ回目とした場合、Ｎ−１回目のものは第１回目の注目領域である。したがって、ステップＳ１２９では、この場合、Ｘ方向の速度ベクトルＶＸ［２］は（ＰＸ［２］−ＰＸ［１］）で与えられ、Ｙ方向の速度ベクトルＶＹ［２］は（ＰＹ［２］−ＰＹ［１］）で与えられ。なお、Ｎ＝１の場合、Ｎ−１の座標データはないので、前回の最終結果データを用いるか、あるいはその最終結果データがなければ、規定値を用いて速度ベクトルを計算することになる。
【０１０７】
なお、図２１には、各ストロボ映像の注目点領域（反射体）の画像毎の変化量ΔＸ，ΔＹも併せて図示されている。したがって、必要なら、この変化量を使って変化または変位速度を計算することもできる。
【０１０８】
ステップＳ１２９で速度ベクトルを計算した後、ステップＳ１３１で回数Ｎをインクリメントし、続くステップＳ１３３でＮが規定値に達したかどうか判断する。ステップＳか１３３で“ＮＯ”なら先のステップＳ１２９に戻って、ステップＳ１２９を繰り返し実行する。
【０１０９】
ステップＳ５９の後、次のステップＳ６１で、図２２に詳細に示す判定処理を実行する。この判定処理では、ゴルフクラブ型入力装置１４をスイングしたかどうかを判定する。図２２の最初のステップＳ１３５では、Ｎに「１」を代入し、ついで、ステップＳ１３７で、Ｎ点目の速度ベクトル（ＶＸ［Ｎ］，ＶＹ［Ｎ］）から速度Ｖ［Ｎ］（スカラー値）を算出する。そして、次のステップＳ１３９において、そのようにして算出した速度Ｖ［Ｎ］が第１の閾値を超えているかどうか判断する。このステップＳ１３９で“ＹＥＳ”なら、直ちにステップＳ１４１で「スイングは行われた」と判定するとともに、ステップＳ１４３で、Ｎ点目の速度ベクトルから打球時のゴルフボールの初速度ベクトルを求める。したがって、実施例のゴルフゲームシステムの場合であれば、この初速度ベクトル、風向き、風の強さおよび地形のデータからボールの飛距離を計算することができる。
【０１１０】
ステップＳ１３９で“ＮＯ”が判断されたとき、つまり、ゴルフクラブのスイングの速度が第１の閾値を下回ったときには、次のステップＳ１４５において、Ｎ点目とＮ−１点目とを結ぶ線分が規定の領域と交わっているかどうかを判定する。そして、この判定の結果、ステップＳ１４７で“ＹＥＳ”が得られたら、次のステップＳ１４９で、今度は、そのＮ点目の速度（スカラー値）が第２の閾値を超えているかどうか判断する。ただし、第２の閾値は当然第１の閾値より小さい値である。
【０１１１】
ステップＳ１４９で“ＹＥＳ”のときには、先のステップＳ１４１に進むが、“ＮＯ”なら、ステップＳ１４７で“ＮＯ”のときと同様に、ステップＳ１５１に進み、Ｎ値をインクリメントする。そして、Ｎ＞規定値かどうか判断し、“ＮＯ”なら先のステップＳ１３７に戻ってそれ以降の各ステップを繰り返し実行する。ただし、ステップＳ１５３で“ＮＯ”が判断されたときには、すなわち、ステップＳ１４５の線分が所定の領域と交わることがなく、あるいは交わっていたとしても、速度が所定値より小さい場合には、ステップＳ１５５で、結局、「スイングは行われていない」と判定される。
【０１１２】
図２２の判定処理が終わると、図１５のステップＳ６３にリターンするが、このステップＳ６３では、ゲーム等のアプリケーションに応じた処理が行われ」、さらに、ステップＳ６５で処理が終了したかどうか（ゲームの場合であればゲーム終了どうか）判断され、“ＹＥＳ”なら終了する。
【０１１３】
なお、上述の実施例では、ゴルフクラブ型入力装置１４に円形の反射体５０を設けて、その移動軌跡から初速度ベクトルを求め、その初速度ベクトルでゴルフボールが打ち出されたものとして、ボールの飛距離を計算した。つまり、ボールに与えられる回転は無視していた。円形の反射体ではゴルフクラブ型入力装置１４の向きを特定することができないからである。そこで、次の実施例では、ゴルフクラブ型入力装置１４の向きをも計算することができるようにする。
【０１１４】
そのために、次の実施例では、図２３に示すゴルフクラブ型入力装置１４を使う。この実施例では、先の図４のゴルフクラブ型入力装置が円形の反射体を用いていたのに対し、長円形または長手の反射体５０Ａを用いる。
【０１１５】
そして、図１５のステップＳ５５で発光ダイオード４２の点灯時および消灯時の各画素データを取得した後、図２４で示す注目点抽出処理を実行する。ただし、ステップＳ１５７−Ｓ１６３は図１８のステップＳ１０３−Ｓ１０９と同様である。
【０１１６】
そして、次のステップＳ１６５において、ステップＳ１６１で取得した座標の画素に接する画素、さらにはそれに接する画素が規定値を超えているかどうかを順次判定し、注目部（実施例でいえば反射体の画像）の全画素を抽出する。そして、ステップＳ１６６で、注目部の全画素の中から、互いの距離が最も離れた２つの画素Ｐａ（Ｘａ，Ｙａ）およびＰｂ（Ｘｂ，Ｙｂ）を抽出する。この２点は、図２６に示すように、長円形の反射体５０Ａの長手方向両端位置を示すことになる。長手方向両端以外に、２点間距離が最遠となる点はない。
【０１１７】
そして、ステップＳ１６７で、２点Ｐａ，Ｐｂの中点座標をＮ点目の座標（ＰＸ［Ｎ］，ＰＹ［Ｎ］）としてメモリに格納する。そして、ステップＳ１６９において、図２６に示す、２点Ｐａ，Ｐｂ間の傾きを計算して、角度データθ［Ｎ］として格納する。ただし、この傾きθ［Ｎ］は、ステップＳ１６９に示すように、（Ｘｂ-Ｘａ）／（Ｙａ-Ｙｂ）のアークタンジェントで計算することができる。
【０１１８】
このようにして、ゴルフクラブ型入力装置１４の撮像素子に対する向きが角度データθ［Ｎ］として得られる。
【０１１９】
図２４のステップＳ１７１−Ｓ１７９は、図１８の対応する各ステップＳ１１７−Ｓ１２５と同様である。そして、次の判定処理では、図２５に示す各ステップを実行するが、図２５のステップＳ１８１−Ｓ１８９およびＳ１９１−Ｓ２０１は、図２２の対応するステップＳ１３５−Ｓ１４３およびＳ１４５−Ｓ１５５と同様である。
【０１２０】
図２５のステップＳ２０３において、図２４のステップＳ１６９で求めた、Ｎ点目の座標およびＮ−１点目の座標によって、角度θｊ（図２６）を計算する。この角度θｊは、ステップＳ２０３に示すように、（ＰＹ［Ｎ］-ＰＹ［Ｎ−１］）／（ＰＸ［Ｎ］-ＰＸ［Ｎ−１］）のアークタンジェントで計算することができ、ゴルフクラブ型入力装置のスイングの方向を示す。そして、ステップＳ２０５において、このステップＳ２０５に示す式に従って、ゴルフクラブ型入力装置１４のスイングの方向に対するゴルフクラブ型入力装置１４の傾きθｋ（＝θ［Ｎ］−θｊ）が算出され、θｋより打球時のフック／スライスのパラメータを計算する。このようにして、フック／スライスのパラメータを求めることによって、単純な飛距離だけでなく、球のスピンによる飛翔方向の変化をも加味することができ、実施例のゴルフゲームシステムに一層のリアリティや面白さを与えることができる。
【０１２１】
図２７を参照して、この発明の他の実施例であるボーリングゲームシステム７８は、ゲーム機８０を含み、このゲーム機８０は、図２のシステム１０のゲーム機１２と同様に、ＡＣアダプタや電池で駆動され、ＡＶケーブル１６を通して、テレビジョンモニタ（図示せず）のＡＶ端子（図示せず）に接続される。
【０１２２】
ゲーム機７８は、また、ハウジング８２を含み、このハウジング８２上に電源スイッチ８４が設けられるとともに、方向ボタン８６ならびに決定キー８８およびキャンセルキー９０が設けられる。これらのボタンや操作キーは図２の対応のものと同様の機能を持つ。
【０１２３】
ゲーム機８０のハウジング８２の一部が切り欠かれ、その部分に可動体９２が俯仰方向に回動可能に軸支され、その可動体９２の側面には、先に図３を参照して説明した撮像ユニット２８が収納され、したがって、可動体９２には、先のものと同様のイメージセンサ４０が設けられる。そして、可動体９２の側面上であってイメージセンサ４０の近傍に、このイメージセンサ４０と一体的に俯仰される赤外発光ダイオード４２が設けられ、ストロボスコーブ撮像手段を構成する。
【０１２４】
可動体９２は、実施例の場合、俯仰方向に一定の自由度を有するように支持されている。しかしながら、俯仰方向に代えて、あるいは俯仰方向と併用して、旋回方向に自由度を持つようにされてもよい。つまり、可動体９２すなわちイメージセンサ４０および赤外発光ダイオード４２は、任意の方向に変位可能に設けられる。
【０１２５】
ただし、イメージセンサ４０のレンズ（図４に示す凹レンズや凸レンズ）をより広角なレンズとすれば、イメージセンサ４０を可動なものにする必要はなく、イメージセンサ４０を固定的に取り付けるようにしてもよい。
【０１２６】
ボール型入力装置９４は、実際のボーリングゲームと同様に、ユーザの手の３本の指すなわち親指，中指および薬指をそれぞれ挿入する穴９４ａ，９４ｂおよび９４ｃ有するとともに、子供が親指以外の任意の１本または複数の指を挿入できる幅広の孔９４ｄをさらに形成している。そして、ストラップ９６が設けられていて、ゲームプレイヤは、このストラップ９６を自分の腕（上腕または前腕）に装着することによって、安全が図られている。すなわち、ボール型入力装置９４がストラップ９６によって自分の腕に連結されているので、ゲームプレイヤが誤ってボール型入力装置９４を実際のボーリングゲームのように放しても、ボール型入力装置９４がどこかに飛んで行き、結果的に自己または他人に当たるなどの事故は起きない。
【０１２７】
さらに、この実施例のボール型入力装置９４は、図２８に示すように、透明または半透明の半球状外殻９８Ａおよび９８Ｂをボスで連結することによってボール型入力装置９４のハウジングを形成していて、その外殻９８Ａおよび９８Ｂ中に、同様にボスで連結された半球状内殻１００Ａおよび１００Ｂを固定している。そして、各半球状内殻１００Ａおよび１００Ｂの表面に反射性シートを貼付することによって反射体を形成している。つまり、内殻が反射体となる。したがって、この実施例では、反射体１００とする。
【０１２８】
さらに、この実施例のボーリングゲームシステム７８では、先に説明したように、ストロボスコープによってボール型入力装置９４の動きを検出し、それによって、図２９に示すゲーム画面１０２上でボーリングボール１０４の位置を制御する。このゲーム画面１０２は、ユーザまたはプレイヤの視点から見た投影画像(perspective image) として表示される。すなわち、ゲーム画面１０２には、ボーリングレーン１０６およびその奥行き方向位置に配置されるピン１０８が表示され、そのゲーム画面１０２上でレーン１０６上をボーリングボール１０４が移動し、そのボール１０４の到達位置や強さに応じて、実際のボーリングゲームと同様に、ピンが倒される。ただし、たとえばボーリングボール１０４がピン１０８に当たる直前からそのピン部部を拡大した画像をウィンドウ(図示せず)として画面中央に表示すると、一層大きな臨場感をプレイヤに与えることかできる。
【０１２９】
なお、プレイヤの投球動作が終了する毎に、図２９に示すゲーム画面１０２と図３０に示すスコアシート１１０とが切り替えて表示される。そして、複数のゲームプレイヤがプレイする場合には、各人のスコアが同時に表示される。図３０の例は、４人のゲームプレイヤがボーリングゲームに同時に参加している場合のスコアシートの例を示す。
【０１３０】
このボーリングゲームシステム７８では、ボール型入力装置９４を用いてプレイヤが実空間中で実際に投球動作をしたとき、ゲームプロセサ５２（図３１）が、赤外発光ダイオード４２を間欠的に点灯し、その点灯時および消灯時毎のＣＭＯＳイメージセンサ４０の画像を解析または処理することによって、ボール型入力装置９４の位置を間欠的に検出する。そして、そのボール型入力装置９４の位置（座標）に応じてボーリングボール１０４の動きを制御し、それによって０本のまたは１本以上のピンを倒す。
【０１３１】
図３１を参照して、ボール型入力装置９４は、上述のように、赤外発光ダイオード４２の発光に照射され、その赤外光を反射体１００で反射する。この反射体１００からの反射光がＣＭＯＳイメージセンサ４０によって撮影され、したがって、ＣＭＯＳイメージセンサ４０からは反射体１００の映像信号が出力される。ただし、それ以外の部分は、図５に示すゴルフゲームシステム１０の場合と同様である。
【０１３２】
ここで、図３２を参照して、実施例のボーリングゲームシステム７８の概略動作を説明する。図２７に示す電源スイッチ８４をオンしてゲームスタートとなるが、図３１に示すゲームプロセサ５２は、まず、ステップＳ１で初期化処理を実行する。具体的には、システムおよび各変数を初期化する。ただし、初期化の具体的方法は先に述べたとおりである。
【０１３３】
そして、図３２のステップＳ１の後、ゲームプロセサ５２は、ステップＳ２で画像信号を更新してモニタ２０に表示される画像を更新する。ただし、この表示画像更新は、１フレーム（テレビジョンフレームまたはビデオフレーム）毎に実行される。
【０１３４】
そして、ゲームプロセサ５２は、ステート（状態）に応じた処理を実行する。ただし、最初に処理するのは、ゲームモードの選択である。このゲームモード選択では、ユーザないしゲームプレイヤは、図３２のステップＳ３で、図２７に示す選択キー８６を操作して、１人プレイモードまたは２人プレイモードなどのゲームモードを選択するとともに、ゲームの難易度等を設定する。
【０１３５】
実際のボーリングゲームではレーン上にボールを転動させる必要があるが、実施例のボーリングゲームシステム１０では、先に述べたように、ボール型入力装置９４を用いて投球動作を行う。そこで、ゲームプロセサ５２は、ステップＳ４で投球動作の判定処理を実行し、投球動作が行われたかどうか判定する。そして、投球動作が行われたのであれば、ついでステップＳ５で、ボール１０４がレーン１０６（いずれも図３０）上を移動しているとき、ボールの軌道を計算するとともに、ボール１０４のピン１０８（図３０）への衝突判定処理を実行する。そして、ボール１０４がレーン１０６の終端まで到着したときに、ステップＳ６において、ステップＳ５でのピン衝突判断処理の結果として、スコア計算および結果判定処理を実行する。
【０１３６】
なお、この実施例のボーリングゲームシステム７８においても、ストロボスコープによって反射体１００を撮影することによって、ゲーム入力とすることは先の実施例と同様である。したがって、先の実施例に比べて図１５の判定処理ステップＳ６１が異なるだけである。
【０１３７】
判定処理ステップが図３３に詳細に図示され、それぞれの最初のステップＳ２０７はＮ値を「１」として設定する。そして、ステップＳ２０９で、速度ベクトルのＹ成分（上下方向成分）ＶＹ［Ｎ］（図２１）が規定値を超えているかどうか判断する。このステップＳ２０９で“ＹＥＳ”の場合には、ステップＳ２１１に進み、たとえば内部メモリに形成されたカウンタをインクリメントする。そして、次のステップＳ２１３で、そのカウンタのカウント値が規定の定数Ｃ（たとえば「３」）になったかどうか判断する。“ＹＥＳ”なら、ステップＳ２１５で「投球動作が行われた」と判断し、続くステップＳ２１７でＮ点目のＸ座標ＰＸ［Ｎ］を投球位置のＸ座標とするとともに、ステップＳ２１９で、Ｎ点目の速度ベクトル（ＶＸ［Ｎ］，ＶＹ［Ｎ］）から投球時のボールの初速度を求める。そして、この初速度に応じてボーリングボールが投げ出されたものとして、ゲーム処理が実行される。
【０１３８】
なお、ステップＳ２０９で“ＮＯ”が判断されたときには、ステップＳ２２１で上述のカウンタをリセットする。したがって、たとえば３回分連続して速度ベクトルのＹ成分が規定値を超えないと投球動作があったと判断されることはない。これによって、ゲームプレイヤの不所望の動きがゲームに反映されるが防止されている。
【０１３９】
ステップＳ２２１の後、ステップＳ２２３でＮ値をインクリメントし、ステップＳ２２５でそのＮが所定値に達したかどうか判定する。“ＹＥＳ”が判断されると、ステップＳ２２７で「投球はまだ行われていない」と判断される。そして、ステップＳ２１９の後と同じように、図１５のステップＳ６３にリターンする。
【０１４０】
図３４はストロボスコープを利用する入力装置の他の実施例を示し、この実施例の入力装置１１２は、手袋型入力装置である。手袋型入力装置１１２はゲームプレイヤまたはユーザの左右両手に装着される手袋１１４Ｌおよび１１４Ｒを含み、この手袋１１４Ｌおよび１１４Ｒのそれぞれの所定位置（この実施例では先端部分）に再帰反射シートで反射体１１６Ｌおよび１１６Ｒを設ける。この反射体１１６Ｌおよび１１６Ｒは、それぞれ、手袋１１４Ｌおよび１１４Ｒの一部として形成され得るが、手袋１１４Ｌおよび１１４Ｒの上に貼付するようにしてもよい。
【０１４１】
そして、入力信号を与えるためには、ユーザは手袋１１４Ｌおよび１１４Ｒを両手に装着し、両手をたとえば図２７に示すようなゲーム機８０の撮影ユニット２８（図３）の上で移動させる。そうすると、既に説明した図１５のステップＳ５５すなわち図１６に従って、反射体１１６Ｌおよび１１６Ｒがともに、赤外発光ダイオード４２によって照射され、または照射されないで、イメージセンサ４０によって撮影される。そして、図１５のステップＳ５７すなわち図１８に従って注目点（この実施例では２つの反射体１１６があるので２つの注目点がある）を抽出する。その後、図１５のステップＳ５９を適用して、動き算出または検出処理を実行する。ただし、図３４の手袋型入力装置１１２を利用する場合には、ステップＳ５９は図３５に示すように変形される。
【０１４２】
図３５に示すフロー図では、移動平均を検出または算出することによって入力を得る。詳しく説明すると、最初のステップＳ２０７では、回数レジスタＮに「規定値−Ｍ」を設定する。次いで、ステップＳ２０９において、変数ΣＸ，ΣＹにそれぞれ「０」を設定する。
【０１４３】
そして、ステップＳ２１１において、Ｎ回目の座標（ＰＸ[Ｎ]，ＰＹ[Ｎ]：図２１）を取得する。ただし、このとき、Ｎ＜１の場合には、前回までの座標情報から座標データを取得する。次のステップＳ２１３で、ステップＳ２０９で初期化した変数ΣＸ，ΣＹに、ステップＳ２１１で取得した座標をそれぞれ加算し、ΣＸ，ΣＹを更新する。このことを、ステップＳ２１５でインクリメントした回数Ｎが規定値に達したとステップＳ２１７で検出されるまで、繰り返し実行される。したがって、ゲームプロセサ５２はこの時点でＭ個の座標を加算した変数ΣＸ，ΣＹを保存している。そして、ステップＳ２１９において、ΣＸ，ΣＹを個数Ｍで除算することによって、移動平均（ＡＸ，ＡＹ）を算出する。この移動平均ＡＸ，ＡＹを使って、ゲームプロセサ５２は、たとえばゲーム画面上のプレイヤ操作可能な移動体の位置を変化させる。
【０１４４】
なお、この発明は上で説明した実施例以外に、次のような実施例または変形例が可能である。
【０１４５】
たとえば、図２に示す実施例では、ゴルフクラブ型入力装置１４を用いて入力を行うが、同様のシステムを用いて、野球のバット型の入力装置かつ／または野球のボール型の入力装置を用いる野球ゲーム装置、卓球のラケット型入力装置を用いる卓球ゲーム、テニスのラケット型入力装置を用いるテニスゲーム等の変形が多数考えられる。
【０１４６】
また、反射体を備える入力装置を下脚部または足首に取り付け、プレイヤの足の位置、速度、運動軌跡のパターンを入力信号として扱うサッカーゲーム装置のような変形も考えられる。
【０１４７】
また、図３４に示す手袋型入力装置を用いる実施例については、図３５のフローチャートにて算出する移動平均値を入力信号として用いているが、手袋型入力装置の位置、移動速度、移動軌跡を算出し、これらを入力信号として扱う拳闘ゲーム装置、ダンスゲーム装置のような変形が多数考えられる。また、これらの変形例においては、手袋型入力装置の代りに、手首に巻くリストバンド形状の入力装置によっても手袋型入力装置と同様の効果が期待できる。
【０１４８】
また、前述の足に取り付ける入力装置を、図３４に示す手袋型入力装置、あるいはリストバンド形状の入力装置と組み合わせて用いることにより、四肢を使うダンスゲーム装置のような変形も多数考えられる。
【０１４９】
また、図２３に示すゴルフクラブ型入力装置１４のように、細長い形状の反射体５０Ａを剣の形状をした入力装置に貼付し、剣の角度、位置、移動速度、移動軌跡を入力信号として扱う剣闘ゲーム装置のような変形も多数考えられる。
【０１５０】
この発明ではストロボスコープと撮像手段を用いて対象物を撮影し、複数の発光時映像信号と複数の非発光時映像信号とのそれぞれの差に基づいて対象物の位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出する。情報処理装置やエンターテインメント装置は、その情報を用いて情報処理やゲーム，その他のエンターテインメント処理を実行する。
【０１５１】
ただし、上述の例では１つのゲームプロセサによってすべての情報処理を実行するようにしたが、２以上のプロセサやコンピュータを用いて全体の処理を分担させることも当然できる。
【符号の説明】
【０１５２】
１０…ゴルフゲームシステム、７８…ボーリングゲームシステム、１２，８０…ゲーム機、１４…ゴルフクラブ型入力装置、２８…撮影ユニット、４０…イメージセンサ、４２…赤外発光ダイオード、５０，５０Ａ，１００…反射体、５２…ゲームプロセサ、９４…ボール型入力装置、１１２…手袋型入力装置。
【技術分野】
【０００１】
この発明はストロボスコープを使った入力システムを備える情報処理装置に関し、特にたとえば、ストロボスコープで照射した対象物の映像信号を処理する情報処理装置に関する。更に、この発明はストロボスコープを使った入力システムを備えるゲーム機等のエンターテインメント装置に関する。更に、この発明はストロボスコープを使った入力システムを備えるマンマシンインターフェースシステムに関する。
【背景技術】
【０００２】
本件出願人は、特許文献１などにおいて、圧電ブザーを利用してバットやラケットの実空間中での加速度の変化を検出してゲーム入力しとして使う体感ゲーム装置を提案している。このような体感ゲーム装置では、加速度の変化が所定以上のとき、ゲームプレイヤが対象物（上記の例でいえば、バットやラケット）を実空間中において操作した（振った）と判定するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１０４６３６号公報
【特許文献２】特開２００２−２３１４８９号公報
【特許文献３】特開平７−１４１１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ゲームの種類によっては、対象物を操作したかどうか、すなわち対象物に加速度が与えられたかどうかだけでなく、どの位置で、あるいはどのような速度で、さらにはどの向きに操作したかを示す情報が欲しい場合もある。特許文献１に開示されるような入力装置では、このような要求を充足することはできない。
【０００５】
他方、たとえば特許文献２に開示されるようなストロボスコープを用いて対象物を撮影すれば、その映像信号を解析することによって、上述のような、対象物の位置や速度を把握することができる。しかしながら、この特許文献２にはストロボスコープを開示するのみであり、そのストロボスコープを用いて対象物を撮影することやそれによって得られた映像信号をリアルタイムで解析する具体的な手法はこの特許文献２からはわからない。
【０００６】
なお、特許文献３には、撮影した映像信号から対象物を抽出し、その対象物の位置を求め、その位置情報をゲーム装置やコンピュータの入力とすることが開示されているが、この方法は、特定の使用環境ではうまく動作するが、ゲーム機が用いられる一般家庭の室内では正確な位置情報をえるのはかなり困難である。なぜなら、室内の照明、窓、雑多な色の物体、ゲームプレイヤ以外の移動体の存在がすべてノイズや外乱となって検出精度に影響を与えるからである。このようなノイズや外乱の影響を抑えて物体位置を正確に検出するには高速コンピュータが必要であり、プロセサの処理能力が限定される低コストの情報処理装置においては現実的ではない。
【０００７】
それゆえに、この発明の主たる目的は、ストロボスコープを用いてコンピュータやゲーム機にリアルタイムで入力を与えることができる、新規な情報処理装置、エンターテインメント装置、およびマンマシンインターフェースシステムを提供することである。
【課題を解決するための手段】
【０００８】
請求項１の発明は、ストロボスコープを使った入力システムを備える情報処理装置であって、ストロボスコープ、ストロボスコープの発光時および非発光時にそれぞれ対象物を撮影して発光時映像信号および非発光時映像信号を出力する撮像手段、複数の発光時映像信号と複数の非発光時映像信号とのそれぞれの差に基づいて対象物の位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出する第１の手段、および第１の手段によって算出された情報に基づき情報処理を行う第２の手段を備える、情報処理装置である。
【０００９】
請求項１の発明では、ストロボスコープ（４２，５２：実施例で相当する要素またはコンポーネントの参照符号。以下、同様。）が対象物（１４，９４，１１２）を明るく照射すことにより、撮像結果における対象物と対象物以外とのコントラストを高め、対象物の検出を容易にしている。また、第１の手段（５２，Ｓ５９，Ｓ１２９，図３５：Ｓ６１，図２２，図２５，図３３）が複数の発光時映像信号と複数の非発光時映像信号とのそれぞれの差を算出することにより、移動体である対象物以外の静止画像や固定光源等のノイズ成分の影響を抑えて対象物の位置、大きさ、速度、加速度、運動軌跡パターンを正確に、かつ簡単な情報処理で検出することが可能となる。そのようにして算出された情報に基づいて、第２の手段（５２，Ｓ６３）が所定の情報処理を行う。
【００１０】
そして、これらの情報を算出するための情報処理とアプリケーション側の情報処理とを分離することにより、アプリケーション側の情報処理が簡便になり、またアプリケーション側の情報処理を別な処理に置き換える際に、対象物の位置、大きさ、速度、加速度、運動軌跡パターンの算出に関する処理を変更することなく用いることが可能となる。
【００１１】
請求項２は、請求項１に従属し、第１の手段は、情報が所定の条件に合致するか否かを判定する判定手段を含む、情報処理装置である。
【００１２】
請求項２の発明では、判定手段（５２，Ｓ６１，図２２，図２５，図３３）が対象物の位置、大きさ、速度、加速度、運動軌跡パターン等が所定の条件に合致するか否かを判定し、アプリケーション側の情報処理では、判定結果を参照し所定の条件に合致していなければ算出された情報を受取らないようにすることで、簡便なアプリケーション処理が可能となる。
【００１３】
請求項３は、請求項２に従属し、第１の手段は、判定手段における判定結果に基づき情報の中から有効な情報のみを検出し、有効な入力が行われたとして第２手段に伝達する有効入力検出手段を含む、情報処理装置である。
【００１４】
請求項３の発明では、第１の手段に含まれる有効入力検出手段（５２，図２２，図２５，図３３）が判定手段からの判定結果に基づいて情報の取捨選択を行い、ユーザからの有効な入力のみをアプリケーション側の情報処理に伝達する。したがって、簡便なアプリケーション処理が可能となる。
【００１５】
請求項４は、請求項１−３のいずれかに従属し、第１の手段は、対象物の大きさを示す情報より対象物と撮像手段の距離を算出する距離算出手段を含む、情報処理装置である。
【００１６】
請求項４の発明では、第１の手段に含まれる距離算出手段（５２，Ｓ１１１，Ｓ１１３）が、撮像結果より対象物の大きさを算出し、算出された大きさの情報より対象物と撮像手段の距離を算出する。それによって、２次元の撮像結果から対象物の３次元空間中での位置、速度、加速度、運動軌跡パターンを求めることが可能となる。
【００１７】
請求項５は、請求項１−４のいずれかに従属し、第１の手段は、発光時映像信号と非発光時映像信号との差より得られる情報を解析し対象物の形状を抽出する解析手段、および形状より対象物と撮像手段の角度を算出する角度算出手段を含む、情報処理装置である。
【００１８】
請求項５の発明では、第１の手段が解析手段（５２，図２４：Ｓ１５９−Ｓ１６７）、および角度算出手段（５２，Ｓ１６９）を含み、撮像結果より対象物の形状を解析することで、撮像結果として２次元イメージ上に投影された対象物と、撮像手段との成す角度を求めることが可能となる。
【００１９】
請求項６は、請求項５に従属し、解析手段における解析は、対象物中の所定の２点を抽出するものであり、角度算出手段における角度の算出は、所定の２点を結ぶ線分と所定の座標軸との角度を算出するものである、情報処理装置である。
【００２０】
請求項６の発明では、解析手段は、対象物中の所定の２点を抽出する解析（Ｓ１６６）を行い、角度算出手段における角度の算出は、所定の２点を結ぶ線分と所定の座標軸との角度を算出するものである（Ｓ１６９）。
【００２１】
請求項７は、請求項１−６のいずれかに従属し、ストロボスコープの発光の時間間隔は自在に設定可能である、情報処理装置である。
【００２２】
請求項８は、請求項１−６のいずれかに従属し、ストロボスコープの発光期間の長さおよび非発光期間の長さは自在に設定可能である、情報処理装置である。
【００２３】
請求項９は、請求項１−６のいずれかに従属し、撮像手段の露光期間は自在に設定可能である、情報処理装置である。
【００２４】
たとえば実施例の図６に示すようにプロセサが赤外発光ダイオードの点灯／消灯を制御することによって、請求項７の発明、請求項８の発明あるいは請求項９の発明では、必要な時間間隔で、また必要なタイミングでのみストロボ光源の発光、撮像手段での露光を行うようにすることができ、消費電力の低減を行うことが可能となる。
【００２５】
請求項１０は、請求項１−９のいずれかに従属し、対象物は反射体を含む、情報処理装置である。
【００２６】
請求項１０の発明のように対象物が反射体（５０，５０Ａ，１００，１１６）を含むと、対象物と他の画像とのコントラストがさらに強調されるため、安価な構成で検出精度を高めることが可能となる。
【００２７】
請求項１１は、請求項１−１０のいずれかに従属し、ストロボスコープは特定の波長領域の光を出力する光源を含み、撮像手段は特定の波長領域にのみ応答する、情報処理装置である。
【００２８】
請求項１２は、請求項１１に従属し、撮像手段は特定の波長領域の光のみを透過するフィルタと、フィルタを透過した光で形成される映像を撮影する撮像素子とを含む、情報処理装置である。
【００２９】
請求項１３は、請求項１１に従属し、撮像手段は、特定の波長領域の光で形成される映像のみを撮影する撮像素子を含む、情報処理装置である。
【００３０】
請求項１１の発明や請求項１２の発明あるいは請求項１３の発明では、ストロボスコープは特定の波長領域の光を出力する光源（たとえば赤外発光ダイオード４２）を含み、撮像手段はたとえば赤外フィルタを用いることによって、特定の波長領域にのみ応答する。そのため、検出を行う対象物以外の移動光源および点滅光源（蛍光灯など）に含まれない波長領域の光をストロボスコープの光源とし、撮像手段がこの波長領域の光にのみ応答するようにすることで、これらのノイズ光源を除去することが可能となる。
【００３１】
請求項１４は、請求項１−１３のいずれかに従属し、第１の手段および第２の手段は、それぞれ単一または複数のプロセサによって処理されるプロセスである、情報処理装置である。
【００３２】
請求項１４の発明では、第１の手段および第２の手段は、それぞれ単一または複数のプロセサ（５２および／またはＳ６３を処理するプロセサ）によって処理されるプロセスである。このように、第１および第２の手段をプロセサのソフトウェアとして処理されるプロセスとすることで、安価でかつ自由度の高いシステムが構築できる。ただし、第１および第２の手段の両方のプロセスが単一のプロセサで実行されることがさらに望ましい。
【００３３】
請求項１５は、請求項１−１４のいずれかにおいて、第２の手段で行われる情報処理がゲーム等のエンターテインメント処理である、エンターテインメント装置である。
【００３４】
請求項１５の発明は、第２の手段で行われる情報処理をゲーム等のエンターテインメント処理とした、エンターテインメント装置である。
【００３５】
請求項１６は、ストロボスコープを使った入力システムを備えるマンマシンインターフェースシステムであって、ストロボスコープ、ストロボスコープの発光時および非発光時にそれぞれ対象物を撮影して発光時映像信号および非発光時映像信号を出力する撮像手段、複数の発光時映像信号と複数の非発光時映像信号とのそれぞれの差に基づいて対象物の位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出する第１の手段、および第１の手段によって算出された情報に基づき情報処理を行う第２の手段を備える、マンマシンインターフェースシステムである。
【００３６】
請求項１６の発明のシステムを、パーソナルコンピュータ、ワークステーション、ゲーム機器、教育機器、医療機器等のマンマシンインターフェースとして用いても、安価且つ精度の高い入力システムが構築できる。
【発明の効果】
【００３７】
これらの発明によれば、ストロボスコープによって照射された対象物の撮像結果をディジタル的に解析し、対象物の位置、移動速度、加速度、運動軌跡といった情報をパーソナルコンピュータやビデオゲーム機といった情報処理装置への入力として扱うことが可能となる。
【００３８】
また、簡単な情報処理のみで、ノイズや外乱の影響を抑えた精度の高い検出が可能であるので、コスト、許容される消費電力等の条件によりプロセサのパフォーマンスが制限されるシステムの上でも容易に達成が可能である。
【００３９】
この発明の上述の目的，その他の目的，特徴，および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００４０】
【図１】図１はストロボスコープで撮影したストロボ映像の一例を示す図解図である。
【図２】図２はこの発明の一実施例のゴルフゲームシステムの全体構成を示す図解図である。
【図３】図３は図２実施例の撮影ユニットの一例を示す図解図である。
【図４】図４は図２実施例のゴルフクラブ型入力装置の一例を示す図解図である。
【図５】図５は図２実施例を示すブロック図である。
【図６】図６は図５実施例においてイメージセンサからゲームプロセサへピクセルデータを取り込む構成およびＬＥＤ駆動回路を示す回路図である。
【図７】図７は図６実施例の動作を示すタイミング図である。
【図８】図８は図７の一部を拡大して示すタイミング図である。
【図９】図９は図２実施例の状態ないしステートの遷移を示す図解図である。
【図１０】図１０は図２実施例の全体動作を示すフロー図である。
【図１１】図１１は図１０実施例の初期化処理の一例であるセンサ初期化設定処理動作を示すフロー図である。
【図１２】図１２は図１１のコマンド送信処理動作を示すフロー図である。
【図１３】図１３は図１１のレジスタ設定処理動作を示すフロー図である。
【図１４】図１４は図１３に示すレジスタ設定処理動作を示すタイミング図である。
【図１５】図１５は図２実施例におけるゲームプロセサの動作を示すフロー図である。
【図１６】図１６は図１５実施例におけるストロボスコープ撮影動作を示すフロー図である。
【図１７】図１７は図１５実施例における画素データ取得処理動作を示すフロー図である。
【図１８】図１８は図１５実施例における注目点抽出処理動作を示すフロー図である。
【図１９】図１９は実施例において差分データを採用する原理を示す図解図である。
【図２０】図２０は図１５実施例における速度ベクトル算出処理動作を示すフロー図である。
【図２１】図２１は図２０の速度ベクトル算出動作における各座標位置を示す図解図である。
【図２２】図２２は図１５実施例における判定処理動作を示すフロー図である。
【図２３】ゴルフゲームシステムに使われるゴルフクラブ型入力装置の変形例を示す図解図である。
【図２４】図２４は図２３のゴルフクラブ型入力装置を利用した場合の図１５実施例における注目点抽出処理動作を示すフロー図である。
【図２５】図２５は図２３のゴルフクラブ型入力装置を利用した場合の図１５実施例における判定処理動作を示すフロー図である。
【図２６】図２６は図２５の判定処理動作における角度を示す図解図である。
【図２７】図２７はこの発明の他の実施例のボーリングゲームシステムの全体構成を示す図解図である。
【図２８】図２８は図２７に示すボール型入力装置の内部構造を示す図２７の線ＸＸVIII−ＸＸVIIIにおける断面図解図である。
【図２９】図２９は図２７実施例におけるテレビジョンモニタに表示されるゲーム画面の一例を示す図解図である。
【図３０】図３０は図２７実施例におけるテレビジョンモニタに表示されるスコアシートの一例を示す図解図である。
【図３１】図３１は図２７実施例を示すブロック図である。
【図３２】図３２は図２７実施例の全体動作を示すフロー図である。
【図３３】図３３は図２７のボーリングシステムの図１５実施例における判定処理動作を示すフロー図である。
【図３４】図３４は手袋型入力装置の一例を示す図解図である。
【図３５】図３５は図３４の手袋型入力装置を用いる場合の図１５実施例に示す動き検出処理動作を示すフロー図である。
【図３６】図３６は図１５実施例における画素データ配列取得処理動作を示すフロー図である。
【発明を実施するための形態】
【００４１】
図２を参照して、この発明の一実施例であるゴルフゲームシステム１０は、ゲーム機１２およびゴルフクラブ型入力装置１４を含み、このゴルフクラブ型入力装置１４はゲームプレイヤによって、ゲーム機１２上で振られる。なお、ゲーム機１２は、たとえばＡＣアダプタ（図示せず）または電池のような直流電源によって駆動される。ゲーム機１２は、さらに、ＡＶケーブル１６を通して、テレビジョンモニタ（図示せず）のＡＶ端子（図示せず）に接続される。
【００４２】
ゲーム機１２は、また、ハウジング１８を含み、このハウジング１８上に電源スイッチ２０が設けられるとともに、方向ボタン２２ならびに決定キー２４およびキャンセルキー２６が設けられる。方向ボタン２２は、４方向（上下左右）の個別のボタンを有し、たとえばテレビジョンモニタの表示画面上においてメニューやゲームモード選択のためにカーソルを移動させたりするために用いられる。
【００４３】
決定キー２４はゲーム機１２への入力を決定するために用いられる。また、キャンセルキー２６は、ゲーム機１２への入力をキャンセルするために用いられる。
【００４４】
ゲーム機１２のハウジング１６の内部には、図３に詳細に示す撮像ユニット２８が収納される。この撮像ユニット２８は、たとえばプラスチック成型によって形成されるユニットベース３０を含み、このユニットベース３０内には支持筒３２が取り付けられる。支持筒３２の上面には内面が逆円錐形状であるラッパ状の開口３４が形成され、その開口３４の下方の筒状部内部には、いずれもがたとえば透明プラスチックの成型によって形成された凹レンズ３６および凸レンズ３８を含む光学系が設けられ、凸レンズ３８の下方において、撮像素子としてのイメージセンサ４０が固着される。したがって、イメージセンサ４０は、開口３４からレンズ３６および３８を通して入射する光に応じた映像を撮影することができる。
【００４５】
イメージセンサ４０は、低解像度のＣＭＯＳイメージセンサ(たとえば３２×３２画素：グレースケール)である。ただし、このイメージセンサ４０は、画素数のもっと多いものでもよいし、ＣＣＤ等の他の素子からなるものであってよい。
【００４６】
また、ユニットベース３０には、光出射方向がいずれも上方向とされた複数（この実施例では４つ）の赤外発光ダイオード４２が取り付けられる。この赤外発光ダイオード４２によって、撮像ユニット２８の上方の図３に示す線４４aおよび４４bで決まる範囲に赤外光が照射される。また、ユニットベース３０の上方には、赤外フィルタ（赤外線のみを透過するフィルタ）が上記開口３４を覆うように、取り付けられる。そして、赤外発光ダイオード４２は後述のように、点灯／消灯が連続的に繰り返されるので、赤外ストロボスコープとして機能する。ただし、「ストロボスコープ」とは、運動体を間欠的に照らす装置の総称である。
【００４７】
したがって、上記イメージセンサ４０は、線４４ａおよび４４ｂで示す撮影範囲内で移動する物体、この実施例ではゴルフクラブ型入力装置１４に設けられた反射体５０（図４参照）を撮影することになる。
【００４８】
ゴルフクラブ型入力装置１４は、全体がたとえばプラスチック成型によって形成され、図４に示すように、クラブシャフト４６とそれの先端に取り付けられたクラブヘッド４８とを含み、クラブヘッド４８の底面に、たとえば再帰反射シートからなる、円形の反射体５０が設けられる。したがって、図２に示すように、ゲームプレイヤがこの入力装置１４のクラブシャフト４６を持って、普通のゴルフをするときと同じように、ゲーム機１２の上方で振れば、ヘッド４８の底面の反射体５０によって反射された光がイメージセンサ４０によって撮影される。このとき、赤外発光ダイオード４２は上述のように間欠的に赤外光を照射するため、結果的に、図３に示すように、反射体５０が間欠的に撮影される。この実施例のゴルフゲームシステム１０では、後述のように、このような反射体のストロボ映像を処理することによって、ゲーム機１２の入力となる速度などを計算する。
【００４９】
図５を参照して、クラブ型入力装置１４は、上述のように、赤外発光ダイオード４２の発光に照射され、その赤外光を反射体５０で反射する。この反射体５０からの反射光がイメージセンサ４０によって撮影され、したがって、イメージセンサ４０からは反射体５０の映像信号が出力される。イメージセンサ４０からのこのアナログ映像信号はゲームプロセサ５２に内蔵されたＡ／Ｄコンバータ（図示せず）によってディジタルデータに変換される。
【００５０】
なお、ゲームプロセサ５２は、上述のストロボ撮影のために、赤外発光ダイオード４２を間欠的に点滅する。
【００５１】
このようなゲームプロセサ５２としては、任意の種類のプロセサを利用できるが、この実施例では、本件出願人が開発しかつ既に特許出願している高速プロセサを用いる。この高速プロセサは、たとえば特開平１０−３０７７９０号公報［Ｇ０６Ｆ１３／３６，１５／７８］およびこれに対応するアメリカ特許第６，０７０，２０５号に詳細に開示されている。
【００５２】
ゲームプロセサ５２は、図示しないが、演算プロセサ，グラフィックプロセサ，サウンドプロセサおよびＤＭＡプロセサ等の各種プロセサを含むとともに、アナログ信号を取り込むときに用いられる上述のＡ／Ｄコンバータやキー操作信号や赤外線信号のような入力信号を受けかつ出力信号を外部機器に与える入出力制御回路を含む。したがって、操作キー２２−２６からの入力信号がこの入出力制御回路を経て、演算プロセサに与えられる。演算プロセサは、その入力信号に応じて必要な演算を実行し、その結果をグラフィックプロセサ等に与える。したがって、グラフィックプロセサやサウンドプロセサはその演算結果に応じた画像処理や音声処理を実行する。
【００５３】
プロセサ５２には、図示しないが内部メモリが設けられ、この内部メモリは、ＲＯＭまたはＲＡＭ（ＳＲＡＭおよび／またはＤＲＡＭ）を含む。ＲＡＭは一時メモリ，ワーキングメモリあるいはカウンタまたはレジスタ領域（テンポラリデータ領域）およびフラグ領域として利用される。なお、プロセサ５２にはＲＯＭ５４が外部バスを通して接続される。このＲＯＭ５４に後に説明するようなゲームプログラムが予め設定される。
【００５４】
プロセサ５２は、イメージセンサ４０からＡ／Ｄコンバータを介して入力されるディジタル映像信号を処理してゴルフクラブ型入力装置１４の動きを検出するとともに、操作キー２２−２６からの入力信号に従って演算、グラフィック処理、サウンド処理等を実行し、ビデオ信号およびオーディオ信号を出力する。ビデオ信号はゲーム画面を表示するための画像信号であり、オーディオ信号はゲーム音楽や効果音の信号であり、したがって、テレビジョンモニタ（図示せず）の画面上にゲーム画面表示され、必要なサウンド（効果音、ゲーム音楽）がそれのスピーカから出力される。
【００５５】
ここで、図６−図８を参照して、ＣＭＯＳイメージセンサ４０からゲームプロセサ５２へピクセルデータを取り込むための構成を詳細に説明する。図６に示すように、実施例のＣＭＯＳイメージセンサ４０は、ピクセル信号（画素信号）をアナログ信号として出力するタイプのものであるため、このピクセル信号はゲームプロセサ５２のアナログ入力ポートに入力される。アナログ入力ポートは、このゲームプロセサ５２内においてＡ／Ｄコンバータ（図示せず）に接続され、したがって、ゲームプロセサ５２は、Ａ／Ｄコンバータからディジタルデータに変換されたピクセル信号（ピクセルデータ）をその内部に取得する。
【００５６】
上述のアナログピクセル信号の中点は、ＣＭＯＳイメージセンサ４０の基準電圧端子Ｖｒｅｆに与えられる基準電圧によって決定される。そのため、この実施例では、イメージセンサ４０に関連してたとえば抵抗分圧回路からなる基準電圧発生回路５６が設けられ、この回路５６から基準電圧端子Ｖｒｅｆに常に一定の大きさの基準電圧が与えられる。
【００５７】
ＣＭＯＳイメージセンサ４０を制御するための各ディジタル信号は、ゲームプロセサ５２のＩ／Ｏポートに与えられ、またはそこから出力される。このＩ／Ｏポートは各々入力／出力の制御が可能なディジタルポートであり、このゲームプロセサ５２内で入出力制御回路（図示せず）に接続されている。
【００５８】
詳しくいうと、ゲームプロセサ５２の出力ポートからはイメージセンサ４０をリセットするためのリセット信号が出力され、イメージセンサ４０に与えられる。また、イメージセンサ４０からは、ピクセルデータストローブ信号およびフレームステータスフラグ信号が出力され、それらの信号がゲームプロセサ５２の入力ポートに与えられる。ピクセルデータストローブ信号は上述の各ピクセル信号を読み込むための図７（ｂ）に示すようなストローブ信号である。フレームステータスフラグ信号はイメージセンサ４０の状態を示すフラグ信号で、図７（ａ）に示すように、このイメージセンサの露光期間を規定する。つまり、フレームステータスフラグ信号の図７（ａ）に示すローレベルが露光期間を示し、図７（ａ）に示すハイレベルが非露光期間を示す。
【００５９】
また、ゲームプロセサ５２は、ＣＭＯＳイメージセンサ４０内の制御レジスタ（図示せず）に設定するコマンド（またはコマンド＋データ）をレジスタデータとしてＩ／Ｏポートから出力するとともに、たとえばハイレベルおよびローレベルを繰り返すレジスタ設定クロックを出力し、それらをイメージセンサ４０に与える。
【００６０】
なお、この実施例では、赤外発光ダイオード４２として、図６に示すように互いに並列接続された４つの赤外発光ダイオード４２ａ，４２ｂ，４２ｃおよび４２ｄを用いる。この４つの赤外発光ダイオード４２ａ−４２ｄは、上で説明したように、対象物（ゴルフクラブ型入力装置１４）を照らすように、イメージセンサ４０の視点方向と同一方向に赤外光を照射するようにかつイメージセンサ４０を囲むように配置される。ただし、これら個別の赤外発光ダイオード４２ａ−４２ｄは、特に区別する必要がある場合を除いて、単に赤外発光ダイオード４２と呼ばれる。この赤外発光ダイオード４２はＬＥＤ駆動回路５８によって、点灯されまたは消灯（非点灯）される。ＬＥＤ駆動回路５８は、イメージセンサ４０から上述のフレームステータスフラグ信号を受け、このフラグ信号は、抵抗６２およびコンデンサ６４からなる微分回路６０を通してＰＮＰトランジスタ６８のベースに与えられる。このＰＮＰトランジスタ６８にはさらにプルアップ抵抗６６が接続されていて、このＰＮＰトランジスタ６８のベースは、通常は、ハイレベルにプルアップされている。そして、フレームステータス信号がローレベルになると、そのローレベルが微分回路６０を経てベースに入力されるため、ＰＮＰトランジスタ６８は、フラグ信号がローレベル期間にのみオンする。
【００６１】
ＰＮＰトランジスタ６８のエミッタは抵抗７０および７２を介して接地される。そして、エミッタ抵抗７０および７２の接続点がＮＰＮトランジスタ７４のベースに接続される。このＮＰＮトランジスタ７４のコレクタが各赤外発光ダイオード４２ａ−４２ｄのアノードに共通に接続される。ＮＰＮトランジスタ７４のエミッタが別のＮＰＮトランジスタ７６のベースに直接接続される。ＮＰＮトランジスタ７４のコレクタが各赤外発光ダイオード４２ａ−４２ｄのカソードに共通接続され、エミッタが接地される。
【００６２】
このＬＥＤ駆動回路５８では、ゲームプロセサ５２のＩ／Ｏポートから出力されるＬＥＤコントロール信号（第２信号に相当する）がアクティブ（ハイレベル）でありかつイメージセンサ４０からのフレームステータスフラグ信号がローレベルである期間にのみ赤外発光ダイオード４２が点灯される。図７（ａ）に示すようにフレームステータスフラグ信号がローレベルになると、そのローレベル期間中（実際には微分回路６０の時定数での遅れがあるが）、ＰＮＰトランジスタ６８がオンする。したがって、図７（ｄ）に示すＬＥＤコントロール信号がゲームプロセサ５２からハイレベルで出力されると、ＮＰＮトランジスタ７４のベースがローレベルとなり、このトランジスタ６８がオフとなる。トランジスタ６８がオフするとトランジスタ７４はオンとなる。したがって、電源（図６では小さい白丸で示す）から各赤外発光ダイオード４２ａ−４２ｄおよびトランジスタ７６を経て電流が流れ、応じて図７（ｅ）に示すように各赤外発光ダイオード４２ａ−４２ｄが点灯される。
【００６３】
実施例のＬＥＤ駆動回路５８では、このように、図７（ｄ）のＬＥＤコントロール信号がアクティブでありかつ図７（ａ）のフレームステータスフラグ信号がローレベルである期間にのみ赤外発光ダイオード４２が点灯されるので、イメージセンサ４０の露光期間（図７（ｆ）参照）にのみ赤外発光ダイオード４２が点灯されることになる。したがって、この実施例によれば、無駄な電力消費を抑制することができる。さらに、フレームステータスフラグ信号はコンデンサ６４によってカップリングされているので、万一イメージセンサ４０の暴走等によりそのフラグ信号がローレベルのまま停止した場合でも、一定時間後にはトランジスタ６８は必ずオフされ、赤外発光ダイオード４２も一定時間後には必ずオフされる。
【００６４】
このように、この実施例では、フレームステータス信号の持続期間を変更することによって、イメージセンサ４０の露光時間を任意にかつ自在に設定または変更することができる。
【００６５】
さらに、フレームステータス信号およびＬＥＤコントロール信号の持続時間や周期を変更することによって、赤外発光ダイオード４２すなわちストロボスコープの発光期間、非発光期間、発光／非発光周期などを任意にかつ自在に変更または設定できる。
【００６６】
先に説明したように、赤外発光ダイオード４２からの赤外光によってゴルフクラブ型入力装置１４の反射体５０が照射されると、反射体５０からの反射光によってイメージセンサ４０が露光される。応じて、イメージセンサ４０から上述のピクセル信号が出力される。詳しく説明すると、ＣＭＯＳイメージセンサ４０は、上述の図７（ａ）のフレームステータスフラグ信号がハイレベルの期間（赤外発光ダイオード４２の非点灯期間）に図７（ｂ）に示すピクセルデータストローブに同期して、図７（ｃ）に示すようにアナログのピクセル信号を出力する。ゲームプロセサ５２では、そのフレームステータスフラグ信号とピクセルデータストローブとを監視しながら、Ａ／Ｄコンバータを通じて、ディジタルのピクセルデータを取得する。
【００６７】
ただし、ピクセルデータ（ピクセル信号）は実施例では、図８（ｃ）に示すように、第０行，第１行，…第３１行と行順次に出力される。ただし、後に説明するように、各行の先頭の１ピクセルはダミーデータとなる。
【００６８】
ここで、図９および図１０を参照して、図２実施例のゴルフゲームシステム１０の概略動作を説明する。図２に示す電源スイッチ２０をオンしてゲームスタートとなるが、図５に示すゲームプロセサ５２は、まず、ステップＳ１で初期化処理を実行する。具体的には、システムおよび各変数を初期化する。
【００６９】
ステップＳ１での初期化処理は、イメージセンサ４０内の制御レジスタへのデータ設定処理を含み、具体的には、図１１−図１３に示すフロー図に従って、かつ図１４に示すタイミングで実行される。
【００７０】
図１１の最初のステップＳ１１では、ゲームプロセサ５２は、設定データとして、コマンド“ＣＯＮＦ”を設定する。ただし、このコマンド“ＣＯＮＦ”は、イメージセンサ４０に、ゲームプロセサ５２からコマンドを送信する設定モードに入ることを知らせるためのコマンドである。そして、次のステップＳ１３で、図１２に詳細に示すコマンド送信処理を実行する。
【００７１】
コマンド送信処理の最初のステップＳ３１では、プロセサ５２は、設定データ（ステップＳ１３の場合はコマンド“ＣＯＮＦ”）をレジスタデータ（Ｉ／Ｏポート）に設定し、次のステップＳ３３でレジスタ設定クロック（Ｉ／Ｏポート）をローレベルに設定する。その後、ステップＳ３５で規定時間待機した後、ステップＳ３７で、レジスタ設定クロックをハイレベルに設定する。そして、さらにステップＳ３９での規定時間の待機の後、ステップＳ４１でレジスタ設定クロックを再びローレベルに設定する。このようにして、図１４に示すように、規定時間の待機を行いながら、レジスタ設定クロックをローレベル，ハイレベルそしてローレベルとすることによって、コマンド（コマンドまたはコマンド＋データ）の送信処理が行われる。
【００７２】
ステップＳ１５（図１１）では、ピクセルモードを設定するとともに、露光時間の設定を行う。この実施例の場合、イメージセンサ４０は先に述べたようにたとえば３２×３２のＣＭＯＳセンサであるため、設定アドレス“０”のピクセルモードレジスタに３２×３２画素であることを示す“０ｈ”を設定する。次のステップＳ１７において、ゲームプロセサ５２は、図１３に詳細に示すレジスタ設定処理を実行する。
【００７３】
レジスタ設定処理の最初のステップＳ４３では、プロセサ５２は、設定データとして、コマンド“ＭＯＶ”＋アドレスを設定し、次のステップＳ４５で、図１２で先に説明したコマンド送信処理を実行して、それを送信する。次にステップＳ４７において、プロセサ５２は、設定データとして、コマンド“ＬＤ”＋データを設定し、次のステップＳ４９でコマンド送信処理を実行して、それを送信する。そして、ステップＳ５１で、プロセサ５２は、設定データとして、コマンド“ＳＥＴ”を設定し、次のステップＳ５３でそれを送信する。なお、コマンド“ＭＯＶ”は制御レジスタのアドレスを送信することを示すコマンドで、コマンド“ＬＤ”はデータを送信することを示すコマンドで、コマンド“ＳＥＴ”はデータをそのアドレスに実際に設定させるためのコマンドである。なお、この処理は、設定する制御レジスタが複数ある場合には、繰り返し実行される。
【００７４】
図１１に戻って、次のステップＳ１９では、設定アドレスを“１”（露光時間設定レジスタのローニブルのアドレスを示す）とし、最大露光時間を示す“ＦＦｈ”のローニブルデータ“Ｆｈ”を設定すべきデータとして設定する。そして、ステップＳ２１で図１３のレジスタ設定処理を実行する。同様にして、ステップＳ２３において、設定アドレスを“２”（露光時間設定レジスタのハイニブルのアドレスを示す）とし、最大露光時間を示す“ＦＦｈ”のハイニブルデータ“Ｆｈ”を設定すべきデータとして設定し、ステップＳ２５でレジスタ設定処理を実行する。
【００７５】
その後、ステップＳ２７で設定終了を示しかつイメージセンサ４０にデータの出力を開始させるためのコマンド“ＲＵＮ”を設定し、ステップＳ２９で送信する。このようにして、図１０に示すステップＳ１での初期設定動作が実行される。ただし、図１１−図１４に示す具体例は、使用されるイメージセンサの仕様に応じて、適宜変更され得るものである。
【００７６】
図１０のステップＳ１の後、ゲームプロセサ５２は、ステップＳ２で画像信号を更新してモニタ（図示せず）に表示される画像を更新する。ただし、この表示画像更新は、１フレーム（テレビジョンフレームまたはビデオフレーム）毎に実行される。
【００７７】
そして、ゲームプロセサ５２は、ステート（状態）に応じた処理を実行する。ただし、最初に処理するのは、ゲームモードの選択である。このゲームモード選択では、ユーザないしゲームプレイヤは、図１０のステップＳ３で、図１に示す選択キー２２を操作して、１人プレイモードまたは２人プレイモードなどのゲームモードを選択するとともに、ゲームの難易度等を設定する。
【００７８】
実際のゴルフゲームではゴルフクラブを振ってゲーム画面内でゴルフボールを転動させる必要があるが、実施例のゴルフゲームシステム１０では、先に述べたように、ゴルフクラブ型入力装置１４を用いて実空間中でゴルフクラブスイング動作を行う。そこで、ゲームプロセサ５２は、ステップＳ４でスイング動作の判定処理を実行し、スイング動作が行われたかどうか判定する。そして、スイング動作が行われたのであれば、ついでステップＳ５で、ゲーム画面内でボールが飛翔しまたは転動しているとき、ボールの軌道を計算するとともに、ボールが停止したときに、ステップＳ６において、ステップＳ５での軌道計算処理の結果として、スコア計算および結果判定処理を実行する。
【００７９】
その後、ビデオ同期信号による割り込みがあれば、ステップＳ２（図１０）の画像更新を実行する。また、ステップＳ７の音声処理は、音声割り込みが発生したとき実行され、それによってゲーム音楽やゴルフクラブがボールを叩いた音のような効果音を出力する。
【００８０】
図１５−図２２を参照して、このようなゴルフゲームシステム１０の具体的な全体動作を説明する。図１５の最初のステップＳ５５では、ゲームプロセサ５２は、ゴルフクラブ型入力装置１４の移動位置を検出するためのストロボスコープ撮影を実行する。
【００８１】
このストロボスコープ撮影処理の詳細が図１６に示される。図１６の最初のス６７では、ゲームプロセサ５２は、内部メモリ（図示せず）の適宜の領域の回数レジスタ（図示せず）の回数Ｎに「１」を代入する。続くステップＳ６９において、ゲームプロセサ５２は、ストロボスコープ撮影のために赤外発光ダイオード４２を点灯する。具体的には、図７に示すＬＥＤコントロール信号をハイレベルとする。その後、ステップＳ７１で、画素データ配列の取得処理を実行する。
【００８２】
図３６の最初のステップＳ３０１で、ゲームプロセサ５２は画素データ配列の要素番号としてＸに「−１」、Ｙに「０」を設定する。本実施例における画素データ配列は、Ｘ＝０〜３１、Ｙ＝０〜３１の２次元配列であるが、前述のように各行の先頭ピクセルのデータとしてダミーデータが出力されるので、Ｘの初期値として「−１」が設定される。続くステップＳ３０３では、図１７に示す要素［Ｙ］［Ｘ］の画素データの取得処理を実行する。
【００８３】
図１７の最初のステップＳ８３で、ゲームプロセサ５２は、イメージセンサ４０からのフレームステータスフラグ信号をチェックし、ステップＳ８５でその立ち上がりエッジ（ローレベルからハイレベルへの）が発生したかどうか判断する。そして、ステップＳ８５でフラグ信号の立ち上がりエッジを検出すると、次のステップＳ８７において、ゲームプロセサ５２は、それの内部のＡ／Ｄコンバータに入力されてきたアナログのピクセル信号のディジタルデータへの変換の開始を指示する。その後、ステップＳ８９でイメージセンサ４０からのピクセルストローブをチェックし、ステップＳ９１でそのストローブ信号のローレベルからハイレベルへの立ち上がりエッジが発生したかどうか判断する。
【００８４】
ステップＳ９１で“ＹＥＳ”が判断されると、ゲームプロセサ５２は続いて、ステップＳ９３において、Ｘ＝−１かどうか、すなわち先頭ピクセルかどうか判断する。先に述べたように、各行の先頭ピクセルはダミーピクセルとして設定されているので、このステップＳ９３で“ＹＥＳ”が判断されると、次のステップＳ９５でそのときのピクセルデータを取得しないで、ステップＳ９７で要素番号Ｘをインクリメントする。
【００８５】
ステップＳ９３で“ＮＯ”が判断されると、行の第２番目以降のピクセルデータであるので、ステップＳ９９およびＳ１０１において、そのときのピクセルデータを取得し、テンポラリレジスタ（図示せず）にそのピクセルデータを格納する。その後、図３６のステップＳ３０５にリターンする。
【００８６】
ステップＳ３０５では、テンポラリレジスタに格納されたピクセルデータを画素データ配列の要素［Ｙ］［Ｘ］として格納する。
【００８７】
続くステップＳ３０９でＸをインクリメントする。Ｘが３２に満たない場合、前述のＳ３０３からＳ３０７の処理を繰り返し実行する。Ｘが３２の場合、すなわち画素データの取得が行の終端に到達した場合には、続くステップＳ３１１Ｘに「−１」を設定し、ステップＳ３１３でＹをインクリメントし、次の行の先頭から画素データの取得処理を繰り返す。
【００８８】
ステップＳ３１５でＹが３２の場合、すなわち画素データの取得が画素データ配列の終端に到達した場合、図１６のステップＳ７３にリターンする。
【００８９】
ステップＳ７３では、上記画素データ配列をＮ回目点灯時取得データとして、たとえば内部ＲＡＭのワーキング領域に格納する。
【００９０】
続くステップＳ７５で、ゲームプロセサ５２は、ＬＥＤコントロール信号をローレベルにするなどして、赤外発光ダイオード４２を消灯する。その後、ステップＳ７６で、ステップＳ７１と同様にして、図１７および図３５のサブルーチンに従って、赤外発光ダイオード４２が消灯されているときの画素データ配列を取得し、ステップＳ７７においてステップＳ７３と同様にして、内部ＲＡＭのワーキング領域に格納する。
【００９１】
そして、ステップＳ７９で回数レジスタＮをインクリメントし、ステップＳ８１で回数Ｎが規定値に達したかどうか判断する。このステップＳ８１で“ＹＥＳ”が判断されると、そのまま、図１５のステップＳ５７（注目点抽出処理）にリターンする。ただし“ＮＯ”のときには、先のステップＳ６９に戻る。
【００９２】
注目点抽出処理の詳細が図１８に示される。図１８の最初のステップＳ１０３では、ゲームプロセサ５２は、内部メモリ（図示せず）内の回数レジスタ（図示せず）の回数Ｎに「１」を代入する。そして、次のステップＳ１０５で、図１６のステップＳ７３およびＳ７７で得た、点灯時取得データおよび消灯時取得データとの差分から、差分データ配列を算出する。
【００９３】
つまり、この実施例では、前述のように、ゴルフクラブ型入力装置１４の反射体５０に赤外光を照射し、赤外フィルタを介してイメージセンサ４０に入射した反射赤外光による映像を撮影している。一般的な室内環境で一般的な光源を用いてゴルフクラブ型入力装置１４をストロボスコープ撮影をした場合には、イメージセンサ（実施例のイメージセンサ４０に相当する）には、図１９（Ａ）に示すように、反射体による映像以外に、蛍光灯光源、白熱灯光源、太陽光（窓）のような光源だけでなく、室内のすべてのものの画像がすべて写り込む。したがって、この図１９（Ａ）の映像を処理して反射体の映像のみを抽出するのは、かなり高速のコンピュータまたはプロセサが必要である。しかしながら、安価が条件のゲーム装置ではそのような高性能コンピュータを使えない。そこで種々の処理を行って負担を軽減することが考えられる。
【００９４】
図１９（Ｂ）は、図１９（Ａ）の映像信号を或る閾値でレベル弁別したときの映像信号である。このようなレベル弁別処理は専用のハードウェア回路でも、ソフトウェア的にでも、実行することができるが、いずれの方法によっても、一定以下の光量の画素データをカットするレベル弁別を実行すると、反射体や光源以外の低輝度画像を除去することができる。この図１９（Ｂ）の映像では反射体および室内の光源以外の画像の処理を省略でき、したがって、コンピュータの負担を軽減できるが、それでも、光源画像を含む高輝度画像が依然として写り込んでいるので、反射体と他の光源を分別することは難しい。
【００９５】
そこで、実施例では、図３に示したように赤外フィルタ４４を利用して、イメージセンサ４０に赤外光による画像以外の画像が写らないようにした。それによって、図１９（Ｃ）に示すように、赤外光を殆ど含まない蛍光灯光源の画像は除去できる。しかしながら、それでもなお太陽光や白熱灯が映像信号中に含まれてしまう。したがって、更なる負担軽減のために、赤外ストロボスコープの点灯時の画素データと消灯時の画素データとの差分を計算することとした。
【００９６】
そのため、図１９（Ｃ）の点灯時の映像信号の画素データと、図１９（Ｄ）の消灯時の映像信号の画素データとの差分を計算した。すると、図１９（Ｅ）に示すように、その差分だけの映像が取得できる。この差分データによる映像は、図１９（Ａ）と対比すれば明らかなように、ゴルフクラブ型入力装置１４の反射体によって得られる画像のみを含むことになる。したがって、ゲームプロセサ５２の性能があまり高くなくても、ゴルフクラブ型入力装置１４のスイングによる、反射体５０すなわちクラブヘッド４８（図４）の移動軌跡を取得することができる。
【００９７】
このような理由で、この実施例では、図１８のステップＳ１０５において、たとえば図１９（Ｅ）に示す差分データ配列を算出する。ステップＳ１０５で差分データ配列を求めた後、ステップＳ１０７で値の最も大きい画素（最大輝度の画素）の座標を取得し、ステップＳ１０９で、その座標の画素の輝度が規定値を超えているかどうか判断する。
【００９８】
このステップＳ１０９で“ＹＥＳ”が判断されると、続くステップＳ１１１で、ステップＳ１０７で取得した座標の画素に接する画素、さらにはそれに接する画素が上記規定値を超えているかどうかを順次判定し、注目部（実施例でいえば反射体の画像）の直径Φ［Ｎ］を計算する。この注目部の直径（または大きさ）を計算するのは、ステップＳ１１３で反射体５０の高さ（Ｚ座標）を取得するためと、ステップＳ１１５でその反射体の中心座標を特定する必要があるからである。
【００９９】
図３に示すように、この実施例の撮像ユニット２８には単焦点の光学系が用いられている。したがって、反射体５０と撮像素子、すなわちイメージセンサ４０との間の距離が上記光学系の焦点と合致するとき画像の「ぼけ」が最も少なく、直径が最も大きい。これに対して、その合焦距離と反射体−イメージセンサ間距離との乖離が大きいほど、画像そのものが小さくなる。図１９（Ｅ）および後述の図２１の例では、その反射体−イメージセンサ間距離に応じて画像の大きさ（直径）が変化することを示している。このようにして、反射体画像の直径（大きさ）に基づいて、反射体−イメージセンサ間距離すなわち反射体５０の高さ（Ｚ座標）を求めることができる。この実施例のゴルフゲームシステムではこのＺ座標は使用していないが、必要に応じてこのＺ座標を利用することによって、さらに異なるゲーム入力を与えることができる。
【０１００】
このようにして、ステップＳ１１３でＺ座標を求め、ステップＳ１１５で反射体５０の中心座標（Ｘ，ＹまたはＸ，Ｙ，Ｚ）を保存する。
【０１０１】
その後ステップＳ１１７で回数レジスタのＮ値をインクリメントして、ステップＳ１１９で回数Ｎが規定値を超えたかどうか判断する。ステップＳ１１９で“ＹＥＳ”が判断されると、そのまま図１５のステップＳ５９にリターンする。しかしながら、“ＮＯ”が判断されると、先のステップＳ１０５に戻って、ステップＳ１０５以下の各ステップを繰り返し実行する。
【０１０２】
なお、ステップＳ１０９で“ＮＯ”が判断されたとき、つまり、最大輝度の画素の輝度が規定値を超えないと判断されたときには、次のステップＳ１２１で規定個数のデータをすべて検索した結果かどうか判断する。ステップＳ１２１で“ＹＥＳ”が判断されると、つまり、規定個数の画素をすべて検索したときには、ステップＳ１２３で、注目点がないとして検索結果を保存する。ただし、ステップＳ１２１で“ＮＯ”が判断されたときには、ステップＳ１２５で次に輝度の大きな画素の座標データを取得して、ステップＳ１０７に戻る。
【０１０３】
ステップＳ５７でこのようにして注目点の抽出処理をした後、次のステップＳ５９で、速度ベクトルを計算するなどの動き算出処理を実行する。
【０１０４】
図２０がこの動き算出処理の一例である速度ベクトル算出処理の具体例を詳細図示している。図２０のステップＳ１２７では上で述べたように、回数レジスタＮに「１」を代入する。その後、ステップＳ１２９では、Ｎ回目の注目点座標（ＰＸ［Ｎ］，ＰＹ［Ｎ］：図２１）からＮ−１回目の注目点座標（ＰＸ［Ｎ−１］，ＰＹ［Ｎ−１］）を減算してＮ回目の速度ベクトル（ＶＸ［Ｎ］，ＶＹ［Ｎ］）を算出して内部メモリに格納する。
【０１０５】
図２１には、直径Φ［１］を有する第１回目の注目領域の画像が示され、この第１回目の注目領域の中心座標は（ＰＸ［１］，ＰＹ［１］）で、直径Φ［２］を有する第２回目の注目領域の中心座標は（ＰＸ［２］，ＰＹ［２］）である。同様に、第３回目および第４回目の注目領域はそれぞれ直径Φ［３］およびΦ［４］を有し、それらの中心座標は、それぞれ（ＰＸ［３］，ＰＹ［３］）および（ＰＸ［４］，ＰＹ［４］）で示されている。
【０１０６】
第２回目の注目領域をＮ回目とした場合、Ｎ−１回目のものは第１回目の注目領域である。したがって、ステップＳ１２９では、この場合、Ｘ方向の速度ベクトルＶＸ［２］は（ＰＸ［２］−ＰＸ［１］）で与えられ、Ｙ方向の速度ベクトルＶＹ［２］は（ＰＹ［２］−ＰＹ［１］）で与えられ。なお、Ｎ＝１の場合、Ｎ−１の座標データはないので、前回の最終結果データを用いるか、あるいはその最終結果データがなければ、規定値を用いて速度ベクトルを計算することになる。
【０１０７】
なお、図２１には、各ストロボ映像の注目点領域（反射体）の画像毎の変化量ΔＸ，ΔＹも併せて図示されている。したがって、必要なら、この変化量を使って変化または変位速度を計算することもできる。
【０１０８】
ステップＳ１２９で速度ベクトルを計算した後、ステップＳ１３１で回数Ｎをインクリメントし、続くステップＳ１３３でＮが規定値に達したかどうか判断する。ステップＳか１３３で“ＮＯ”なら先のステップＳ１２９に戻って、ステップＳ１２９を繰り返し実行する。
【０１０９】
ステップＳ５９の後、次のステップＳ６１で、図２２に詳細に示す判定処理を実行する。この判定処理では、ゴルフクラブ型入力装置１４をスイングしたかどうかを判定する。図２２の最初のステップＳ１３５では、Ｎに「１」を代入し、ついで、ステップＳ１３７で、Ｎ点目の速度ベクトル（ＶＸ［Ｎ］，ＶＹ［Ｎ］）から速度Ｖ［Ｎ］（スカラー値）を算出する。そして、次のステップＳ１３９において、そのようにして算出した速度Ｖ［Ｎ］が第１の閾値を超えているかどうか判断する。このステップＳ１３９で“ＹＥＳ”なら、直ちにステップＳ１４１で「スイングは行われた」と判定するとともに、ステップＳ１４３で、Ｎ点目の速度ベクトルから打球時のゴルフボールの初速度ベクトルを求める。したがって、実施例のゴルフゲームシステムの場合であれば、この初速度ベクトル、風向き、風の強さおよび地形のデータからボールの飛距離を計算することができる。
【０１１０】
ステップＳ１３９で“ＮＯ”が判断されたとき、つまり、ゴルフクラブのスイングの速度が第１の閾値を下回ったときには、次のステップＳ１４５において、Ｎ点目とＮ−１点目とを結ぶ線分が規定の領域と交わっているかどうかを判定する。そして、この判定の結果、ステップＳ１４７で“ＹＥＳ”が得られたら、次のステップＳ１４９で、今度は、そのＮ点目の速度（スカラー値）が第２の閾値を超えているかどうか判断する。ただし、第２の閾値は当然第１の閾値より小さい値である。
【０１１１】
ステップＳ１４９で“ＹＥＳ”のときには、先のステップＳ１４１に進むが、“ＮＯ”なら、ステップＳ１４７で“ＮＯ”のときと同様に、ステップＳ１５１に進み、Ｎ値をインクリメントする。そして、Ｎ＞規定値かどうか判断し、“ＮＯ”なら先のステップＳ１３７に戻ってそれ以降の各ステップを繰り返し実行する。ただし、ステップＳ１５３で“ＮＯ”が判断されたときには、すなわち、ステップＳ１４５の線分が所定の領域と交わることがなく、あるいは交わっていたとしても、速度が所定値より小さい場合には、ステップＳ１５５で、結局、「スイングは行われていない」と判定される。
【０１１２】
図２２の判定処理が終わると、図１５のステップＳ６３にリターンするが、このステップＳ６３では、ゲーム等のアプリケーションに応じた処理が行われ」、さらに、ステップＳ６５で処理が終了したかどうか（ゲームの場合であればゲーム終了どうか）判断され、“ＹＥＳ”なら終了する。
【０１１３】
なお、上述の実施例では、ゴルフクラブ型入力装置１４に円形の反射体５０を設けて、その移動軌跡から初速度ベクトルを求め、その初速度ベクトルでゴルフボールが打ち出されたものとして、ボールの飛距離を計算した。つまり、ボールに与えられる回転は無視していた。円形の反射体ではゴルフクラブ型入力装置１４の向きを特定することができないからである。そこで、次の実施例では、ゴルフクラブ型入力装置１４の向きをも計算することができるようにする。
【０１１４】
そのために、次の実施例では、図２３に示すゴルフクラブ型入力装置１４を使う。この実施例では、先の図４のゴルフクラブ型入力装置が円形の反射体を用いていたのに対し、長円形または長手の反射体５０Ａを用いる。
【０１１５】
そして、図１５のステップＳ５５で発光ダイオード４２の点灯時および消灯時の各画素データを取得した後、図２４で示す注目点抽出処理を実行する。ただし、ステップＳ１５７−Ｓ１６３は図１８のステップＳ１０３−Ｓ１０９と同様である。
【０１１６】
そして、次のステップＳ１６５において、ステップＳ１６１で取得した座標の画素に接する画素、さらにはそれに接する画素が規定値を超えているかどうかを順次判定し、注目部（実施例でいえば反射体の画像）の全画素を抽出する。そして、ステップＳ１６６で、注目部の全画素の中から、互いの距離が最も離れた２つの画素Ｐａ（Ｘａ，Ｙａ）およびＰｂ（Ｘｂ，Ｙｂ）を抽出する。この２点は、図２６に示すように、長円形の反射体５０Ａの長手方向両端位置を示すことになる。長手方向両端以外に、２点間距離が最遠となる点はない。
【０１１７】
そして、ステップＳ１６７で、２点Ｐａ，Ｐｂの中点座標をＮ点目の座標（ＰＸ［Ｎ］，ＰＹ［Ｎ］）としてメモリに格納する。そして、ステップＳ１６９において、図２６に示す、２点Ｐａ，Ｐｂ間の傾きを計算して、角度データθ［Ｎ］として格納する。ただし、この傾きθ［Ｎ］は、ステップＳ１６９に示すように、（Ｘｂ-Ｘａ）／（Ｙａ-Ｙｂ）のアークタンジェントで計算することができる。
【０１１８】
このようにして、ゴルフクラブ型入力装置１４の撮像素子に対する向きが角度データθ［Ｎ］として得られる。
【０１１９】
図２４のステップＳ１７１−Ｓ１７９は、図１８の対応する各ステップＳ１１７−Ｓ１２５と同様である。そして、次の判定処理では、図２５に示す各ステップを実行するが、図２５のステップＳ１８１−Ｓ１８９およびＳ１９１−Ｓ２０１は、図２２の対応するステップＳ１３５−Ｓ１４３およびＳ１４５−Ｓ１５５と同様である。
【０１２０】
図２５のステップＳ２０３において、図２４のステップＳ１６９で求めた、Ｎ点目の座標およびＮ−１点目の座標によって、角度θｊ（図２６）を計算する。この角度θｊは、ステップＳ２０３に示すように、（ＰＹ［Ｎ］-ＰＹ［Ｎ−１］）／（ＰＸ［Ｎ］-ＰＸ［Ｎ−１］）のアークタンジェントで計算することができ、ゴルフクラブ型入力装置のスイングの方向を示す。そして、ステップＳ２０５において、このステップＳ２０５に示す式に従って、ゴルフクラブ型入力装置１４のスイングの方向に対するゴルフクラブ型入力装置１４の傾きθｋ（＝θ［Ｎ］−θｊ）が算出され、θｋより打球時のフック／スライスのパラメータを計算する。このようにして、フック／スライスのパラメータを求めることによって、単純な飛距離だけでなく、球のスピンによる飛翔方向の変化をも加味することができ、実施例のゴルフゲームシステムに一層のリアリティや面白さを与えることができる。
【０１２１】
図２７を参照して、この発明の他の実施例であるボーリングゲームシステム７８は、ゲーム機８０を含み、このゲーム機８０は、図２のシステム１０のゲーム機１２と同様に、ＡＣアダプタや電池で駆動され、ＡＶケーブル１６を通して、テレビジョンモニタ（図示せず）のＡＶ端子（図示せず）に接続される。
【０１２２】
ゲーム機７８は、また、ハウジング８２を含み、このハウジング８２上に電源スイッチ８４が設けられるとともに、方向ボタン８６ならびに決定キー８８およびキャンセルキー９０が設けられる。これらのボタンや操作キーは図２の対応のものと同様の機能を持つ。
【０１２３】
ゲーム機８０のハウジング８２の一部が切り欠かれ、その部分に可動体９２が俯仰方向に回動可能に軸支され、その可動体９２の側面には、先に図３を参照して説明した撮像ユニット２８が収納され、したがって、可動体９２には、先のものと同様のイメージセンサ４０が設けられる。そして、可動体９２の側面上であってイメージセンサ４０の近傍に、このイメージセンサ４０と一体的に俯仰される赤外発光ダイオード４２が設けられ、ストロボスコーブ撮像手段を構成する。
【０１２４】
可動体９２は、実施例の場合、俯仰方向に一定の自由度を有するように支持されている。しかしながら、俯仰方向に代えて、あるいは俯仰方向と併用して、旋回方向に自由度を持つようにされてもよい。つまり、可動体９２すなわちイメージセンサ４０および赤外発光ダイオード４２は、任意の方向に変位可能に設けられる。
【０１２５】
ただし、イメージセンサ４０のレンズ（図４に示す凹レンズや凸レンズ）をより広角なレンズとすれば、イメージセンサ４０を可動なものにする必要はなく、イメージセンサ４０を固定的に取り付けるようにしてもよい。
【０１２６】
ボール型入力装置９４は、実際のボーリングゲームと同様に、ユーザの手の３本の指すなわち親指，中指および薬指をそれぞれ挿入する穴９４ａ，９４ｂおよび９４ｃ有するとともに、子供が親指以外の任意の１本または複数の指を挿入できる幅広の孔９４ｄをさらに形成している。そして、ストラップ９６が設けられていて、ゲームプレイヤは、このストラップ９６を自分の腕（上腕または前腕）に装着することによって、安全が図られている。すなわち、ボール型入力装置９４がストラップ９６によって自分の腕に連結されているので、ゲームプレイヤが誤ってボール型入力装置９４を実際のボーリングゲームのように放しても、ボール型入力装置９４がどこかに飛んで行き、結果的に自己または他人に当たるなどの事故は起きない。
【０１２７】
さらに、この実施例のボール型入力装置９４は、図２８に示すように、透明または半透明の半球状外殻９８Ａおよび９８Ｂをボスで連結することによってボール型入力装置９４のハウジングを形成していて、その外殻９８Ａおよび９８Ｂ中に、同様にボスで連結された半球状内殻１００Ａおよび１００Ｂを固定している。そして、各半球状内殻１００Ａおよび１００Ｂの表面に反射性シートを貼付することによって反射体を形成している。つまり、内殻が反射体となる。したがって、この実施例では、反射体１００とする。
【０１２８】
さらに、この実施例のボーリングゲームシステム７８では、先に説明したように、ストロボスコープによってボール型入力装置９４の動きを検出し、それによって、図２９に示すゲーム画面１０２上でボーリングボール１０４の位置を制御する。このゲーム画面１０２は、ユーザまたはプレイヤの視点から見た投影画像(perspective image) として表示される。すなわち、ゲーム画面１０２には、ボーリングレーン１０６およびその奥行き方向位置に配置されるピン１０８が表示され、そのゲーム画面１０２上でレーン１０６上をボーリングボール１０４が移動し、そのボール１０４の到達位置や強さに応じて、実際のボーリングゲームと同様に、ピンが倒される。ただし、たとえばボーリングボール１０４がピン１０８に当たる直前からそのピン部部を拡大した画像をウィンドウ(図示せず)として画面中央に表示すると、一層大きな臨場感をプレイヤに与えることかできる。
【０１２９】
なお、プレイヤの投球動作が終了する毎に、図２９に示すゲーム画面１０２と図３０に示すスコアシート１１０とが切り替えて表示される。そして、複数のゲームプレイヤがプレイする場合には、各人のスコアが同時に表示される。図３０の例は、４人のゲームプレイヤがボーリングゲームに同時に参加している場合のスコアシートの例を示す。
【０１３０】
このボーリングゲームシステム７８では、ボール型入力装置９４を用いてプレイヤが実空間中で実際に投球動作をしたとき、ゲームプロセサ５２（図３１）が、赤外発光ダイオード４２を間欠的に点灯し、その点灯時および消灯時毎のＣＭＯＳイメージセンサ４０の画像を解析または処理することによって、ボール型入力装置９４の位置を間欠的に検出する。そして、そのボール型入力装置９４の位置（座標）に応じてボーリングボール１０４の動きを制御し、それによって０本のまたは１本以上のピンを倒す。
【０１３１】
図３１を参照して、ボール型入力装置９４は、上述のように、赤外発光ダイオード４２の発光に照射され、その赤外光を反射体１００で反射する。この反射体１００からの反射光がＣＭＯＳイメージセンサ４０によって撮影され、したがって、ＣＭＯＳイメージセンサ４０からは反射体１００の映像信号が出力される。ただし、それ以外の部分は、図５に示すゴルフゲームシステム１０の場合と同様である。
【０１３２】
ここで、図３２を参照して、実施例のボーリングゲームシステム７８の概略動作を説明する。図２７に示す電源スイッチ８４をオンしてゲームスタートとなるが、図３１に示すゲームプロセサ５２は、まず、ステップＳ１で初期化処理を実行する。具体的には、システムおよび各変数を初期化する。ただし、初期化の具体的方法は先に述べたとおりである。
【０１３３】
そして、図３２のステップＳ１の後、ゲームプロセサ５２は、ステップＳ２で画像信号を更新してモニタ２０に表示される画像を更新する。ただし、この表示画像更新は、１フレーム（テレビジョンフレームまたはビデオフレーム）毎に実行される。
【０１３４】
そして、ゲームプロセサ５２は、ステート（状態）に応じた処理を実行する。ただし、最初に処理するのは、ゲームモードの選択である。このゲームモード選択では、ユーザないしゲームプレイヤは、図３２のステップＳ３で、図２７に示す選択キー８６を操作して、１人プレイモードまたは２人プレイモードなどのゲームモードを選択するとともに、ゲームの難易度等を設定する。
【０１３５】
実際のボーリングゲームではレーン上にボールを転動させる必要があるが、実施例のボーリングゲームシステム１０では、先に述べたように、ボール型入力装置９４を用いて投球動作を行う。そこで、ゲームプロセサ５２は、ステップＳ４で投球動作の判定処理を実行し、投球動作が行われたかどうか判定する。そして、投球動作が行われたのであれば、ついでステップＳ５で、ボール１０４がレーン１０６（いずれも図３０）上を移動しているとき、ボールの軌道を計算するとともに、ボール１０４のピン１０８（図３０）への衝突判定処理を実行する。そして、ボール１０４がレーン１０６の終端まで到着したときに、ステップＳ６において、ステップＳ５でのピン衝突判断処理の結果として、スコア計算および結果判定処理を実行する。
【０１３６】
なお、この実施例のボーリングゲームシステム７８においても、ストロボスコープによって反射体１００を撮影することによって、ゲーム入力とすることは先の実施例と同様である。したがって、先の実施例に比べて図１５の判定処理ステップＳ６１が異なるだけである。
【０１３７】
判定処理ステップが図３３に詳細に図示され、それぞれの最初のステップＳ２０７はＮ値を「１」として設定する。そして、ステップＳ２０９で、速度ベクトルのＹ成分（上下方向成分）ＶＹ［Ｎ］（図２１）が規定値を超えているかどうか判断する。このステップＳ２０９で“ＹＥＳ”の場合には、ステップＳ２１１に進み、たとえば内部メモリに形成されたカウンタをインクリメントする。そして、次のステップＳ２１３で、そのカウンタのカウント値が規定の定数Ｃ（たとえば「３」）になったかどうか判断する。“ＹＥＳ”なら、ステップＳ２１５で「投球動作が行われた」と判断し、続くステップＳ２１７でＮ点目のＸ座標ＰＸ［Ｎ］を投球位置のＸ座標とするとともに、ステップＳ２１９で、Ｎ点目の速度ベクトル（ＶＸ［Ｎ］，ＶＹ［Ｎ］）から投球時のボールの初速度を求める。そして、この初速度に応じてボーリングボールが投げ出されたものとして、ゲーム処理が実行される。
【０１３８】
なお、ステップＳ２０９で“ＮＯ”が判断されたときには、ステップＳ２２１で上述のカウンタをリセットする。したがって、たとえば３回分連続して速度ベクトルのＹ成分が規定値を超えないと投球動作があったと判断されることはない。これによって、ゲームプレイヤの不所望の動きがゲームに反映されるが防止されている。
【０１３９】
ステップＳ２２１の後、ステップＳ２２３でＮ値をインクリメントし、ステップＳ２２５でそのＮが所定値に達したかどうか判定する。“ＹＥＳ”が判断されると、ステップＳ２２７で「投球はまだ行われていない」と判断される。そして、ステップＳ２１９の後と同じように、図１５のステップＳ６３にリターンする。
【０１４０】
図３４はストロボスコープを利用する入力装置の他の実施例を示し、この実施例の入力装置１１２は、手袋型入力装置である。手袋型入力装置１１２はゲームプレイヤまたはユーザの左右両手に装着される手袋１１４Ｌおよび１１４Ｒを含み、この手袋１１４Ｌおよび１１４Ｒのそれぞれの所定位置（この実施例では先端部分）に再帰反射シートで反射体１１６Ｌおよび１１６Ｒを設ける。この反射体１１６Ｌおよび１１６Ｒは、それぞれ、手袋１１４Ｌおよび１１４Ｒの一部として形成され得るが、手袋１１４Ｌおよび１１４Ｒの上に貼付するようにしてもよい。
【０１４１】
そして、入力信号を与えるためには、ユーザは手袋１１４Ｌおよび１１４Ｒを両手に装着し、両手をたとえば図２７に示すようなゲーム機８０の撮影ユニット２８（図３）の上で移動させる。そうすると、既に説明した図１５のステップＳ５５すなわち図１６に従って、反射体１１６Ｌおよび１１６Ｒがともに、赤外発光ダイオード４２によって照射され、または照射されないで、イメージセンサ４０によって撮影される。そして、図１５のステップＳ５７すなわち図１８に従って注目点（この実施例では２つの反射体１１６があるので２つの注目点がある）を抽出する。その後、図１５のステップＳ５９を適用して、動き算出または検出処理を実行する。ただし、図３４の手袋型入力装置１１２を利用する場合には、ステップＳ５９は図３５に示すように変形される。
【０１４２】
図３５に示すフロー図では、移動平均を検出または算出することによって入力を得る。詳しく説明すると、最初のステップＳ２０７では、回数レジスタＮに「規定値−Ｍ」を設定する。次いで、ステップＳ２０９において、変数ΣＸ，ΣＹにそれぞれ「０」を設定する。
【０１４３】
そして、ステップＳ２１１において、Ｎ回目の座標（ＰＸ[Ｎ]，ＰＹ[Ｎ]：図２１）を取得する。ただし、このとき、Ｎ＜１の場合には、前回までの座標情報から座標データを取得する。次のステップＳ２１３で、ステップＳ２０９で初期化した変数ΣＸ，ΣＹに、ステップＳ２１１で取得した座標をそれぞれ加算し、ΣＸ，ΣＹを更新する。このことを、ステップＳ２１５でインクリメントした回数Ｎが規定値に達したとステップＳ２１７で検出されるまで、繰り返し実行される。したがって、ゲームプロセサ５２はこの時点でＭ個の座標を加算した変数ΣＸ，ΣＹを保存している。そして、ステップＳ２１９において、ΣＸ，ΣＹを個数Ｍで除算することによって、移動平均（ＡＸ，ＡＹ）を算出する。この移動平均ＡＸ，ＡＹを使って、ゲームプロセサ５２は、たとえばゲーム画面上のプレイヤ操作可能な移動体の位置を変化させる。
【０１４４】
なお、この発明は上で説明した実施例以外に、次のような実施例または変形例が可能である。
【０１４５】
たとえば、図２に示す実施例では、ゴルフクラブ型入力装置１４を用いて入力を行うが、同様のシステムを用いて、野球のバット型の入力装置かつ／または野球のボール型の入力装置を用いる野球ゲーム装置、卓球のラケット型入力装置を用いる卓球ゲーム、テニスのラケット型入力装置を用いるテニスゲーム等の変形が多数考えられる。
【０１４６】
また、反射体を備える入力装置を下脚部または足首に取り付け、プレイヤの足の位置、速度、運動軌跡のパターンを入力信号として扱うサッカーゲーム装置のような変形も考えられる。
【０１４７】
また、図３４に示す手袋型入力装置を用いる実施例については、図３５のフローチャートにて算出する移動平均値を入力信号として用いているが、手袋型入力装置の位置、移動速度、移動軌跡を算出し、これらを入力信号として扱う拳闘ゲーム装置、ダンスゲーム装置のような変形が多数考えられる。また、これらの変形例においては、手袋型入力装置の代りに、手首に巻くリストバンド形状の入力装置によっても手袋型入力装置と同様の効果が期待できる。
【０１４８】
また、前述の足に取り付ける入力装置を、図３４に示す手袋型入力装置、あるいはリストバンド形状の入力装置と組み合わせて用いることにより、四肢を使うダンスゲーム装置のような変形も多数考えられる。
【０１４９】
また、図２３に示すゴルフクラブ型入力装置１４のように、細長い形状の反射体５０Ａを剣の形状をした入力装置に貼付し、剣の角度、位置、移動速度、移動軌跡を入力信号として扱う剣闘ゲーム装置のような変形も多数考えられる。
【０１５０】
この発明ではストロボスコープと撮像手段を用いて対象物を撮影し、複数の発光時映像信号と複数の非発光時映像信号とのそれぞれの差に基づいて対象物の位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出する。情報処理装置やエンターテインメント装置は、その情報を用いて情報処理やゲーム，その他のエンターテインメント処理を実行する。
【０１５１】
ただし、上述の例では１つのゲームプロセサによってすべての情報処理を実行するようにしたが、２以上のプロセサやコンピュータを用いて全体の処理を分担させることも当然できる。
【符号の説明】
【０１５２】
１０…ゴルフゲームシステム、７８…ボーリングゲームシステム、１２，８０…ゲーム機、１４…ゴルフクラブ型入力装置、２８…撮影ユニット、４０…イメージセンサ、４２…赤外発光ダイオード、５０，５０Ａ，１００…反射体、５２…ゲームプロセサ、９４…ボール型入力装置、１１２…手袋型入力装置。
【特許請求の範囲】
【請求項１】
ストロボスコープを使った入力システムを備える情報処理装置であって、
特定の波長領域の光を出力する光源を含むストロボスコープ、
ユニットベース、
前記特定の波長領域の光のみを透過するフィルタ、
前記ストロボスコープの発光時および非発光時に、それぞれ、第１再帰反射体を含む第１対象物を撮影して発光時映像信号および非発光時映像信号を生成する撮像手段、および
前記発光時映像信号と前記非発光時映像信号との差から前記第１再帰反射体に対応する第１注目部を検出して前記第１対象物の位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出する処理手段、を備え、
前記ユニットベースは、
開口を有する支持筒と、
前記開口の下方であって、前記支持筒内に設けられるレンズと、を含み、
前記フィルタは、前記支持筒の前記開口を覆うように配置され、
前記撮像手段は、前記ユニットベース内に、かつ、前記レンズの下方に配置され、
前記光源は、前記第１対象物を照らすように、かつ、前記フィルタの近傍に配置される、情報処理装置。
【請求項２】
前記処理手段によって前記差に基づいて算出された前記情報に基づき、画面上の移動体の動きを制御する移動体制御手段をさらに備える請求項１記載の情報処理装置。
【請求項３】
前記処理手段は、前記差に基づく前記情報が所定の条件に合致するか否かを判定する判定手段を含み、
前記移動体制御手段は、前記判定手段が前記差に基づく前記情報が前記所定の条件に合致すると判定した場合に、前記画面上の前記移動体に変化を与える、請求項２記載の情報処理装置。
【請求項４】
前記処理手段は、前記差から前記第１注目部を抽出して、その第１注目部の大きさを示す情報に基づいて、前記第１対象物と前記撮像手段との距離を算出する距離算出手段を含む、請求項１から３のいずれかに記載の情報処理装置。
【請求項５】
前記処理手段は、前記発光時映像信号と前記非発光時映像信号との前記差から前記第１注目部の形状を抽出する解析手段、および
前記第１対象物に対応する前記形状の傾きを示す角度を算出する角度算出手段を含む、請求項１から４のいずれかに記載の情報処理装置。
【請求項６】
前記解析手段は、前記第１注目部中の所定の２点を抽出するものであり、
前記角度算出手段における前記角度の算出は、前記所定の２点を結ぶ線分と所定の座標軸との角度を算出するものである、請求項５に記載の情報処理装置。
【請求項７】
俯仰方向及び／又は旋回方向に回動可能な可動体をさらに備え、
前記撮像手段、前記ユニットベース、及び、前記光源は、前記可動体に収納される、請求項１から６のいずれかに記載の情報処理装置。
【請求項８】
前記第１対象物には、ストラップが設けられる、請求項１から７のいずれかに記載の情報処理装置。
【請求項９】
前記第１対象物は、バンド形状である、請求項１から７のいずれかに記載の情報処理装置。
【請求項１０】
前記第１対象物は、プレイヤの下脚部又は足首に装着される、請求項１から９のいずれかに記載の情報処理装置。
【請求項１１】
前記第１再帰反射体は、透明又は半透明のハウジング内に設けられる、請求項１から１０のいずれかに記載の情報処理装置。
【請求項１２】
前記第１対象物は、手袋型である、請求項１から７のいずれかに記載の情報処理装置。
【請求項１３】
前記第１再帰反射体は、細長い形状を有し、
前記処理手段は、前記差から前記第１注目部を検出して、前記対象物の角度、位置、移動速度、又は、移動軌跡を算出し、
前記情報処理装置は、
前記処理手段が算出した前記第１対象物の角度、位置、移動速度、又は、移動軌跡に基づき、剣闘ゲームを実行する手段をさらに備える請求項１から８のいずれかに記載の情報処理装置。
【請求項１４】
前記撮像手段は、前記ストロボスコープの発光時および非発光時の各々において前記第１対象物及び第２再帰反射体を含む第２対象物を撮影して発光時映像信号および非発光時映像信号を生成し、
前記処理手段は、前記発光時映像信号と前記非発光時映像信号との差から前記第１再帰反射体に対応する前記第１注目部及び前記第２再帰反射体に対応する第２注目部を検出して、前記第１対象物及び前記第２対象物のそれぞれの位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出する、請求項１記載の情報処理装置。
【請求項１５】
前記第１対象物は、プレイヤの手若しくは手首に取り付けられ、又は、手で持たれ、
前記第２対象物は、前記プレイヤの下脚部又は足首に取り付けられる、請求項１４記載の情報処理装置。
【請求項１６】
請求項１から１５のいずれか一に記載の情報処理装置の撮像手段の被写体としての再帰反射体を含む入力装置。
【請求項１７】
請求項１から１５のいずれか一に記載の情報処理装置のストロボスコープ、ユニットベース、フィルタ、および、撮像手段を備えたマンマシンインターフェースシステム。
【請求項１８】
特定の波長領域の光を出力する光源を含むストロボスコープ、ユニットベース、前記特定の波長領域の光のみを透過するフィルタ、並びに、前記ストロボスコープの発光時および非発光時に、それぞれ、再帰反射体を含む対象物を撮影して発光時映像信号および非発光時映像信号を生成する撮像手段を備え、かつ、前記ユニットベースは、開口を有する支持筒と、前記開口の下方であって、前記支持筒内に設けられるレンズと、を含み、前記フィルタは、前記支持筒の前記開口を覆うように配置され、前記撮像手段は、前記ユニットベース内に、かつ、前記レンズの下方に配置され、前記光源は、前記対象物を照らすように、かつ、前記フィルタの近傍に配置される、マンマシンインターフェースシステムからの入力に応じて、
前記発光時映像信号と前記非発光時映像信号との差から前記再帰反射体に対応する注目部を検出するステップと、
前記注目部の位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出するステップと、をコンピュータに実行させるコンピュータプログラム。
【請求項１】
ストロボスコープを使った入力システムを備える情報処理装置であって、
特定の波長領域の光を出力する光源を含むストロボスコープ、
ユニットベース、
前記特定の波長領域の光のみを透過するフィルタ、
前記ストロボスコープの発光時および非発光時に、それぞれ、第１再帰反射体を含む第１対象物を撮影して発光時映像信号および非発光時映像信号を生成する撮像手段、および
前記発光時映像信号と前記非発光時映像信号との差から前記第１再帰反射体に対応する第１注目部を検出して前記第１対象物の位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出する処理手段、を備え、
前記ユニットベースは、
開口を有する支持筒と、
前記開口の下方であって、前記支持筒内に設けられるレンズと、を含み、
前記フィルタは、前記支持筒の前記開口を覆うように配置され、
前記撮像手段は、前記ユニットベース内に、かつ、前記レンズの下方に配置され、
前記光源は、前記第１対象物を照らすように、かつ、前記フィルタの近傍に配置される、情報処理装置。
【請求項２】
前記処理手段によって前記差に基づいて算出された前記情報に基づき、画面上の移動体の動きを制御する移動体制御手段をさらに備える請求項１記載の情報処理装置。
【請求項３】
前記処理手段は、前記差に基づく前記情報が所定の条件に合致するか否かを判定する判定手段を含み、
前記移動体制御手段は、前記判定手段が前記差に基づく前記情報が前記所定の条件に合致すると判定した場合に、前記画面上の前記移動体に変化を与える、請求項２記載の情報処理装置。
【請求項４】
前記処理手段は、前記差から前記第１注目部を抽出して、その第１注目部の大きさを示す情報に基づいて、前記第１対象物と前記撮像手段との距離を算出する距離算出手段を含む、請求項１から３のいずれかに記載の情報処理装置。
【請求項５】
前記処理手段は、前記発光時映像信号と前記非発光時映像信号との前記差から前記第１注目部の形状を抽出する解析手段、および
前記第１対象物に対応する前記形状の傾きを示す角度を算出する角度算出手段を含む、請求項１から４のいずれかに記載の情報処理装置。
【請求項６】
前記解析手段は、前記第１注目部中の所定の２点を抽出するものであり、
前記角度算出手段における前記角度の算出は、前記所定の２点を結ぶ線分と所定の座標軸との角度を算出するものである、請求項５に記載の情報処理装置。
【請求項７】
俯仰方向及び／又は旋回方向に回動可能な可動体をさらに備え、
前記撮像手段、前記ユニットベース、及び、前記光源は、前記可動体に収納される、請求項１から６のいずれかに記載の情報処理装置。
【請求項８】
前記第１対象物には、ストラップが設けられる、請求項１から７のいずれかに記載の情報処理装置。
【請求項９】
前記第１対象物は、バンド形状である、請求項１から７のいずれかに記載の情報処理装置。
【請求項１０】
前記第１対象物は、プレイヤの下脚部又は足首に装着される、請求項１から９のいずれかに記載の情報処理装置。
【請求項１１】
前記第１再帰反射体は、透明又は半透明のハウジング内に設けられる、請求項１から１０のいずれかに記載の情報処理装置。
【請求項１２】
前記第１対象物は、手袋型である、請求項１から７のいずれかに記載の情報処理装置。
【請求項１３】
前記第１再帰反射体は、細長い形状を有し、
前記処理手段は、前記差から前記第１注目部を検出して、前記対象物の角度、位置、移動速度、又は、移動軌跡を算出し、
前記情報処理装置は、
前記処理手段が算出した前記第１対象物の角度、位置、移動速度、又は、移動軌跡に基づき、剣闘ゲームを実行する手段をさらに備える請求項１から８のいずれかに記載の情報処理装置。
【請求項１４】
前記撮像手段は、前記ストロボスコープの発光時および非発光時の各々において前記第１対象物及び第２再帰反射体を含む第２対象物を撮影して発光時映像信号および非発光時映像信号を生成し、
前記処理手段は、前記発光時映像信号と前記非発光時映像信号との差から前記第１再帰反射体に対応する前記第１注目部及び前記第２再帰反射体に対応する第２注目部を検出して、前記第１対象物及び前記第２対象物のそれぞれの位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出する、請求項１記載の情報処理装置。
【請求項１５】
前記第１対象物は、プレイヤの手若しくは手首に取り付けられ、又は、手で持たれ、
前記第２対象物は、前記プレイヤの下脚部又は足首に取り付けられる、請求項１４記載の情報処理装置。
【請求項１６】
請求項１から１５のいずれか一に記載の情報処理装置の撮像手段の被写体としての再帰反射体を含む入力装置。
【請求項１７】
請求項１から１５のいずれか一に記載の情報処理装置のストロボスコープ、ユニットベース、フィルタ、および、撮像手段を備えたマンマシンインターフェースシステム。
【請求項１８】
特定の波長領域の光を出力する光源を含むストロボスコープ、ユニットベース、前記特定の波長領域の光のみを透過するフィルタ、並びに、前記ストロボスコープの発光時および非発光時に、それぞれ、再帰反射体を含む対象物を撮影して発光時映像信号および非発光時映像信号を生成する撮像手段を備え、かつ、前記ユニットベースは、開口を有する支持筒と、前記開口の下方であって、前記支持筒内に設けられるレンズと、を含み、前記フィルタは、前記支持筒の前記開口を覆うように配置され、前記撮像手段は、前記ユニットベース内に、かつ、前記レンズの下方に配置され、前記光源は、前記対象物を照らすように、かつ、前記フィルタの近傍に配置される、マンマシンインターフェースシステムからの入力に応じて、
前記発光時映像信号と前記非発光時映像信号との差から前記再帰反射体に対応する注目部を検出するステップと、
前記注目部の位置、大きさ、速度、加速度、運動軌跡パターンの情報の一部または全部を算出するステップと、をコンピュータに実行させるコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【公開番号】特開２００９−２９７５３９（Ｐ２００９−２９７５３９Ａ）
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願番号】特願２００９−２１９５３４（Ｐ２００９−２１９５３４）
【出願日】平成２１年９月２４日（２００９．９．２４）
【分割の表示】特願２００２−３４６０５２（Ｐ２００２−３４６０５２）の分割
【原出願日】平成１４年１１月２８日（２００２．１１．２８）
【出願人】（３９６０２５８６１）新世代株式会社 (138)
【Ｆターム（参考）】
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願日】平成２１年９月２４日（２００９．９．２４）
【分割の表示】特願２００２−３４６０５２（Ｐ２００２−３４６０５２）の分割
【原出願日】平成１４年１１月２８日（２００２．１１．２８）
【出願人】（３９６０２５８６１）新世代株式会社 (138)
【Ｆターム（参考）】
[ Back to top ]