インタラクティブな３次元位置追跡のためのシステム及び方法
【課題】ユーザ入力装置の３次元方向の動きを反映可能な対話型コンピュータシステムを提供する。
【解決手段】対話型コンピュータシステム100におけるイメージセンサ115の位置のｘ、ｙ、ｚ座標を追跡するためのシステム100及び方法300が開示される。イメージセンサ115は入力装置110に配置され、表示画面120に表示された電子マーカー125の画像を捕捉する。入力装置110の位置が変わると、イメージセンサ115によって捕捉された電子マーカー125の特徴も変化する。ゲームプレイ中に捕捉された電子マーカー125の画像を電子マーカー125の較正画像と比較してイメージセンサ115の位置(p0,p1)の現在のｘ、ｙ、ｚ座標を決定する。イメージセンサ115の動きを反映するためにゲームの表示が更新される。
【解決手段】対話型コンピュータシステム100におけるイメージセンサ115の位置のｘ、ｙ、ｚ座標を追跡するためのシステム100及び方法300が開示される。イメージセンサ115は入力装置110に配置され、表示画面120に表示された電子マーカー125の画像を捕捉する。入力装置110の位置が変わると、イメージセンサ115によって捕捉された電子マーカー125の特徴も変化する。ゲームプレイ中に捕捉された電子マーカー125の画像を電子マーカー125の較正画像と比較してイメージセンサ115の位置(p0,p1)の現在のｘ、ｙ、ｚ座標を決定する。イメージセンサ115の動きを反映するためにゲームの表示が更新される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は一般に対話型コンピュータシステムの分野に関する。より具体的には、本発明の実施形態は、コンピュータシステム用のユーザ入力装置の位置追跡に関する。
【背景技術】
【０００２】
今日の利用可能な多くの対話型コンピュータシステム（インタラクティブコンピュータシステム）は、ゲームなどのコンピュータプログラムのキャラクター及び／または風景と相互作用（または対話）をするためにユーザによって保持または操作される入力装置を使用する。たとえば、従来のビデオゲームは、ユーザが、表示画面上のクレーピジョンを狙って「銃」を構えて「射撃」できるようにする。銃は、コード（たとえばケーブルなど）か無線リンクでゲームコントローラに接続される。引き金が引かれたときの銃のｘ−ｙ位置は、画面上に電子マーカーを光らせる（または一時的に表示する）ことにより判定される。電子マーカーの画像は入力装置のセンサによって捕捉（撮像）され、捕捉された画像の外観を使用して、引き金が引かれたときの銃のｘ−ｙ位置を判定（または評価）する。このようにして、従来のインタラクティブシステム（対話型システム）は、ユーザ入力装置の２次元追跡を可能にしている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
２次元追跡によって提供される、ユーザと、ゲームなどのコンピュータプログラムの要素との対話（または相互作用）は限られている。たとえば、上述のゲームでは、クレーピジョンが表示画面上を移動するときに、ユーザは、それらのクレーピジョンにねらいを定めて射撃することができる。しかしながら、従来のシステムは、ユーザが表示画面に対して前方または後方に動くときの入力装置の移動を追跡することはしない。従来のシステムでは、表示画面からのユーザの距離は、ゲームのインタラクティブ性の要素として考慮されていない。
【０００４】
典型的には、センサはフォトダイオードである。従来のシステムでは、電子マーカーが光る（または表示される）とプログラム（たとえばゲーム）が短時間中断するが、その発光（または表示）は一般にユーザが認識可能なものである。この中断は、プログラムすなわちゲームの楽しみを損なわせる厄介なものになる場合がある。たとえば、いくつかのシステムでは、ユーザが知覚可能な時間の間、画面全体を白く光らせることができる。
【課題を解決するための手段】
【０００５】
本発明の実施形態として、表示画面上の電子マーカー及び入力装置のイメージセンサを使用して、インタラクティブな電子コンピュータシステム用のｘ、ｙ及びｚ追跡を行うための方法及びシステムが開示される。先ず、ｘ、ｙ及びｚ座標を有する較正位置が画定される。次に、較正位置から見たプログラムのビュー（眺めまたは外観などのこと）を表す第１の一連のプログラムフレームが表示画面に表示される。次に、電子マーカーを表示画面上で（一時的または瞬間的に）光らせ、または表示させる。電子マーカーの画像がイメージセンサによって捕捉され、イメージセンサにおける電子マーカーの位置を用いて入力装置の相対的な位置（以下、相対位置）が計算される。相対位置もまたｘ、ｙ、ｚ座標を有する。次に、第２の一連のプログラムフレームが表示画面に表示され、この相対位置から見たプログラムのビューが示される。
【実施例】
【０００６】
本発明の種々の実施形態を詳細に参照して本発明の説明を行うが、それらのいくつかの例は添付図面に示されている。本発明を種々の実施形態に関して説明するが、本発明をそれらの実施形態に限定することは意図されていない。本発明は、特許請求の範囲によって画定される本発明の思想及び範囲内に含まれる代替形態、変更形態及び等価物を包含することが意図されている。さらに、以下の本発明の詳細な説明では、本発明を十分に理解できるようにするために多くの特定の細部が説明される。しかしながら、それらの特定の細部を要することなく本発明を実施できることは当業者には明らかであろう。他の例では、本発明のいくつかの局面が不必要に不明瞭にならないようにするために、周知の方法、手順、コンポーネント（構成要素）、構造及び装置（またはデバイス）については詳しくは説明していない。
【０００７】
図１は、本発明の実施形態によるコンピュータシステムを示す。図１に示すシステムは、インタラクティブな（すなわち、対話型または相互作用型の）電子ゲームシステムである。図１に示す実施形態では、ユーザは、イメージセンサ１１５を備える入力装置１１０を持っている。この例では、入力装置１１０は剣であるが、入力装置１１０は、ゲームシステム１００で行われるそれぞれのゲームに対応して任意の形状または大きさでありうる。他の実施形態では、入力装置は、ユーザが物理的に手で持たないリモート制御される装置または他の装置とすることができる。図１のゲームシステム１００は、コントローラ１３０と表示画面１２０を有する。図１では、コントローラ１３０及び表示画面１２０は、コード１５０によって接続されているが、ワイヤレス接続や他の既知の接続手段を用いることもできる。
【０００８】
システム１００の表示画面１２０に電子マーカー１２５が表示されるときは、入力装置１１０のイメージセンサ１１５によって電子マーカー１２５の画像が捕捉される。本発明の１実施形態では、イメージセンサ１１５は光学位置変位センサである。電子マーカーの画像がイメージセンサ１１５において捕捉されると、捕捉された画像はコントローラ１３０の受信器１３５に送信される。図１では、入力装置１１０とコントローラ１３０はワイヤレス接続（無線接続）１４０を介して接続されているが、コードや他の伝送手段を用いることもできる。画像が捕捉されたときの電子マーカー１２５の外観は情報を伝えるものであり、その情報は、入力装置１１０の位置のｘ、ｙ、ｚ座標を計算するためにコントローラによって使用される。
【０００９】
たとえば、図２Ａ及び図２Ｂは、本発明の１実施形態を示す。図２Ａ及び図２Ｂのゲームシステム１００は、フェンシングゲームをするために使用されている。ユーザは、この実施形態では剣に似た形状の入力装置１１０を手に持っている。ユーザは、表示画面１２０上のユーザの戦闘相手と対戦するときは、表示画面１２０の前方の領域のあたりに物理的に移動する。ユーザは、ときには画面１２０に近づき、ときには、画面１２０から遠ざかり、また、画面１２０の右側や左側に移動する。すべてのこうした動きは追跡され、ゲームの経験データに組み込まれる。
【００１０】
図２Ａ及び図２Ｂは、ゲームシステム１００のインタラクティブ性を示している。ユーザが表示画面１２０の前方の空間のあたりで入力装置１１０を動かすと、ゲームの視点が変化（または展開）する。たとえば、図２Ｂでは、入力装置の位置が、図２Ａにおける入力装置の位置の左側に後退し、かつ上側に移動している。図２Ｂの表示画面は入力装置１１０の位置の変化を反映しており、たとえば、図２Ｂでは、風景の特徴物が図２Ａの場合よりも遠くに見えている。ユーザとゲームの間の３次元相互作用を提供するために、入力装置１１０の位置のｘ、ｙ、ｚ座標が追跡される。
【００１１】
図１を再度参照すると、イメージセンサ１１５によって電子マーカー１２５の画像が捕捉されたときのイメージセンサ１１５における電子マーカー１２５の捕捉された画像の位置を使用して、入力装置１１０の絶対的な位置（以下、絶対位置）を計算する。較正位置を画定するために、絶対位置が、ゲームの始めに、並びに、基準が必要なときはゲーム中いつでも計算される。絶対位置の計算に続いて、イメージセンサ１１５によって捕捉された電子マーカー１２５の画像を用い、相互相関を使用することによって絶対位置に基づいて相対的な位置（以下、相対位置）を計算する。本発明の１実施形態では、ゲーム全体の時間にわたって予め決められた時間間隔で基準位置を確立するために、電子マーカー１２５を（瞬間的または一時的に）光らせ、または表示する。別の実施形態では、必要とされたときのみ（ときにはゲームプレーによって決定されるが）、絶対位置を確立するために、電子マーカー１２５を（瞬間的または一時的に）光らせ、または表示する。
【００１２】
電子マーカー１２５は、ゲームコントローラ１３０によって生成されて、表示画面１２０に表示されるあるパターンである。１実施形態では、電子マーカー１２５は、ユーザの気を散らさないようにするために、画面の小さな部分だけを占有し、常時表示される。別の実施形態では、電子マーカー１２５は、表示画面の大きな部分にわたって表示されるが、ユーザの気を散らさないようにするために、間欠的に表示されるだけである。
【００１３】
１実施形態では、電子マーカー１２５のパターンは、黒と白の正方形が交互に並んだ行である。他の実施形態では、他のパターンが使用される。入力装置１１０の位置は表示画面１２０に対して計算される。このようにして、ゲームは、ユーザがゲーム内の３次元空間を実際に動き回っているかのように、ユーザがゲーム（たとえば、風景、他の戦闘員など）を知覚することができるようにする。
【００１４】
電子マーカー１２５のパターンの特徴は、イメージセンサ１１５によって捕捉された画像の位置を較正するために、基準となるｘ及びｙ座標を直接提供する。本発明の１実施形態では、イメージセンサ１１５は、「フライングマウス（flying mouse）またはチビフクロモモンガ」タイプのナビゲーションセンサ（たとえば、光学位置変位センサ）である。イメージセンサ１１５は、典型的なゲームプレーの間、可能な限り表示画面１２０に向き合うようように、入力装置１１０に位置決めされる。
【００１５】
電子マーカー１２５のパターンの特徴の分離（または分離の程度）は、相対的なｚ軸基準を提供する。たとえば、パターンの特徴が、イメージセンサ１１５によって捕捉された電子マーカー１２５の画像内において遠くに離れて現れるほど、入力装置１１０は表示画面１２０の近くになければならない。一方、パターンの特徴が、イメージセンサ１１５によって捕捉された電子マーカー１２５の画像内においてより近くに現れるほど、入力装置１１０は表示画面１２０から遠くになければならない。
【００１６】
表示画面（表示スクリーンともいう）１２０は、インタラクティブな電子ゲームの映像部分を表示することが可能な任意のタイプの表示画面とすることができる。１実施形態では、表示画面１２０はコンピュータのモニタである。別の実施形態では、表示画面１２０はビデオゲームの画面（video arcade game screen。たとえば、ゲームセンターなどにあるビデオゲーム機のモニタ）である。さらに他の実施形態では、表示画面１２０は、陰極線管（ブラウン管：cathode ray tubeすなわちCRT）である。CRTを用いる実施形態では、ゲームコントローラ１３０によって同期信号が生成されて、パターン情報を見るのに適切な時刻に画像の捕捉が開始される。
【００１７】
好適な実施形態では、ゲームシステム１００は、図３のフローチャート３００に示された方法によって、入力装置１１０のｘ、ｙ及び相対的なｚ位置を追跡する。ステップ３１０に示すように、最初に、入力装置１１０のために較正位置が画定される。較正位置は、イメージセンサ１１５における電子マーカー１２５の画像を捕捉することによって、ゲームプレイの最初、及び、ゲームプレイを通じて必要なときに画定される。１実施形態では、電子マーカー１２５のこの較正表示は、ゲームコントローラ１３０が表示画面１２０にビデオゲームのフレームの送信を開始する前の閃光（または、フラッシュ発光や瞬間的な表示）からなる。１実施形態では、電子マーカー１２５の閃光は、ユーザが知覚可能なものではない。他の実施形態では、電子マーカー１２５を、表示画面１２０のある領域に、たとえば、表示画面１２０の上部や下部や側部に沿って黒と白の正方形が交互に現れる行として、絶えず表示させることができる。
【００１８】
イメージセンサ１１５において捕捉された電子マーカー１２５の較正表示の画像の外観（または出現状態）、たとえば、イメージセンサ１１５における捕捉された画像の位置は、電子マーカー１２５の基準画像（参照画像）を提供する。電子マーカー１２５の較正画像はゲームコントローラ１３０によって記憶される。較正位置が画定されると、ステップ３２０に示すように、第１（または最初）の一連のビデオゲームのフレームが表示画面１２０に表示される。第１の一連のフレームは、較正位置の視点から見たゲームを表す。１実施形態では、第１の一連のフレームは３０フレームからなる。他の実施形態では、ステップ３３０に示す、イメージセンサによる電子マーカーの第２（または次）の画像の捕捉の前に、それとは異なる数のゲームのフレームが表示される。
【００１９】
１実施形態では、たとえば、第１（または最初）の一連のゲームフレームの後に電子マーカー１２５の閃光（フラッシュ発光、または瞬間的な表示）が生じ、その後、第２（または次）の一連のゲームフレームが現れる（ステップ３５０）といったように、電子マーカー１２５は間欠的に表示される。電子マーカー１２５が間欠的に表示される場合には、電子マーカー１２５は、１秒の何分の一かの間だけ表示され、ユーザには認識できない。他の実施形態では、電子マーカーは表示画面１２０のある部分に常時表示され、したがって、第１の一連のゲームフレーム（ステップ３２０）と第２の一連のゲームフレーム（ステップ３５０）との間にとぎれは生じない。
【００２０】
ゲームプレイの間（すなわち、ゲームの実行中）、電子マーカー１２５は、ゲームコントローラ１３０によって生成され、入力装置１１０の現在の位置を反映する。たとえば、図４Ａを参照すると、較正の時刻ｔ０において、入力装置１１０のイメージセンサ１１５は較正位置ｐ０にある。位置ｐ０は座標ｘ０、ｙ０、ｚ０を有する。位置ｐ０は、入力装置１００のイメージセンサの後続の相対位置を相互相関を用いて計算するために使用されることになる。
【００２１】
１例として示した図４Ａと共にフローチャート３００を再度参照すると、ゲームコントローラ１３０によって生成された第１の一連のゲームフレーム（図３のステップ３２０）は表示画面１２０上に表示されて、位置ｐ０の視点からのゲームを描写する。電子マーカーは、第１の一連のゲームフレームの終わりに（または、第１の一連のゲームフレームの間ずっと）表示され、ｐ０を反映する。
【００２２】
図３のステップ３３０に示すように、第１の一連のゲームフレームの後、電子マーカー１２５は、イメージセンサ１１５によって再度捕捉される。図４Ｂを参照すると、電子マーカー１２５の第２の捕捉が時刻ｔ１に実施される。ユーザが入力装置１１０の物理的な位置を時刻ｔ０から変えた場合には、イメージセンサ１１５の視点からの捕捉された電子マーカー１２５の外観（または出現状態）も変化しているであろう。たとえば、図４Ｂに示すように、ユーザの動きに起因して、時刻ｔ１において、入力装置１１０のイメージセンサ１１５は位置ｐ１にある。
【００２３】
位置ｐ１において捕捉された電子マーカー１２５のパターンの特徴部（たとえば、形状や輪郭など）は、位置ｐ０において捕捉されたパターンの特徴部とは異なる。たとえば、図４Ｂに示すように、位置ｐ１が較正位置ｐ０よりも表示画面１２０から離れている場合は、時刻ｔ１においてイメージセンサ１１５で捕捉された電子マーカー１２５の特徴部は互いにより近接したものになるであろう。これに対して、位置ｐ１が較正位置ｐ０よりも表示画面１２０に近い場合は、時刻ｔ１においてイメージセンサ１１５で捕捉された電子マーカー１２５の特徴部はより離れるであろう。
【００２４】
ゲームコントローラ１３０は、時刻ｔ０において捕捉された電子マーカーの外観と時刻ｔ１において捕捉された電子マーカーの外観を比較する。相互相関を用いて、図３のステップ３４０に示すように、時刻ｔ１における入力装置１１０の第１の相対位置が計算される。相対位置ｐ１は、座標ｘ１、ｙ１、ｚ１を含む。ゲームコントローラは、次に、第２の一連のゲームフレームに対する新たな視点を生成する。第２の一連のゲームフレームは、位置ｐ１の視点からのゲームを表す（図３のステップ３５０）。
【００２５】
ゲームプレイの間、電子マーカーは、予め決められたインターバルで、または、ゲームプレイ中の必要なときに捕捉される。入力装置１１０のイメージセンサ１１５の新たな相対位置が計算されて、表示画面１２０上においてビデオゲームのフレームに反映される。好適な実施形態では、電子マーカーの捕捉は、ユーザがゲームの仮想的な環境内を実際に動き回っているかのようにゲームを認識するのに十分な頻度で発生する。
【００２６】
図５は、ゲームシステム１００のブロック図である。上述したように、表示画面１２０は、入力装置１００にあるイメージセンサ１１５によって捕捉される電子マーカー１２５の画像を表示する。好適な実施形態では、入力装置は、ゲームと相互作用するために入力装置を使用するユーザによって保持される。ユーザがゲームを行うときは、ユーザはある領域（図４Ａ、４Ｂの４００）を物理的に動き回り、ユーザは、入力装置を上下及び周囲に動かす（図２Ａ、２Ｂ参照）。１実施形態では、入力装置は剣などの武器である。ユーザは、自身の体と入力装置１１０を動かして、環境及びゲーム内の戦闘相手と相互作用を行う。
【００２７】
入力装置１１０のイメージセンサ１１５の位置の更新が望まれるときはいつでも（たとえば、一定のインターバル（時間間隔）で、またはゲーム内の予め決められたイベントの後）、電子マーカー１２５の画像がイメージセンサ１１５によって捕捉される。次にこの捕捉した画像をゲームコントローラ１３０に伝達する。この伝達を容易にするために、通信リンク１４０（例えば、無線接続）によって入力装置１１０をゲームコントローラ１３０に結合する。
【００２８】
イメージセンサ１１５によって捕捉された画像はゲームコントローラの画像受信器コンポーネント１３５で受信される。次に、この捕捉された画像に関するデータがゲームコントローラ１３０内の相互相関コンポーネント（相互相関器）１３６によって使用されて、入力装置１１０にあるイメージセンサ１１５の現在位置のｘ、ｙ、ｚ座標が決定される。次に、イメージセンサ１１５の現在位置がゲームに組み込まれ、ゲームコントローラ１３０内のビデオ発生器１３７が現在位置を反映する新たな一連のゲームフレームを生成する。この新たな一連のゲームフレームは、第２の通信リンク１５０（例えば、コード）によって表示画面１２０に伝達される。
【００２９】
本発明の好適な実施形態はインタラクティブな電子ゲームシステムであるが、当業者は、表示画面に表示され、イメージセンサにおいて捕捉される電子マーカーの画像を用いて電子ゲームシステム以外の用途のためにｘ、ｙ、及び相対的なｚ位置を追跡することができるということを理解するであろう。
【００３０】
本発明の特定の実施形態についての上記説明は、例示と説明のために提示されたものである。それらは、本発明を網羅することも本発明を開示した形態そのものに限定することも意図するものではなく、上記教示に照らして多くの修正及び変更が可能である。実施形態は、本発明の原理とその実際の適用を最もうまく説明するために選択され記述されたものであり、これによって、当業者が、意図する特定の用途に適するように種々の変更を加えながら本発明及び種々の実施形態を最も好適に使用することが可能である。本発明の範囲は、添付の特許請求の範囲及びそれの等価物によって画定されることが意図されている。
【００３１】
本発明は、対話型コンピュータシステムにおける入力装置の位置のｘ、ｙ、ｚ座標を追跡するためのシステム及び方法に関する。入力装置に配置されたイメージセンサは表示画面に表示された電子マーカーの画像を捕捉する。入力装置の位置が変わると、イメージセンサによって捕捉された電子マーカーの特徴も変化する。ゲームプレイ中に捕捉された電子マーカーの画像を電子マーカーの較正画像と比較して入力装置の位置の現在のｘ、ｙ、ｚ座標を決定する。入力装置の動きを反映するためにゲームの表示が更新される。
【００３２】
以下に、本発明の種々の構成要件の組み合わせからなる例示的な実施態様を示す。
１．インタラクティブな電子システム用の入力装置の位置を追跡する方法であって、
ｘ、ｙ、ｚ座標からなる前記入力装置の較正位置を画定するステップと、
表示画面に第１の一連のプログラムフレームを表示するステップであって、前記第１の一連のフレームは、前記較正位置からのプログラムのビュー（眺め、見え方、または外観）を表すことからなる、ステップと、
電子マーカーを前記表示画面に表示するステップと、
前記イメージセンサのある位置において前記電子マーカーの第１の画像を捕捉するステップと、
ｘ、ｙ、ｚ座標からなる前記入力装置の第１の相対位置を計算するステップと、
前記表示画面に第２の一連のプログラムフレームを表示するステップ
を含み、
前記第２の一連のフレームは、前記第１の相対位置からの前記プログラムのビューを表すことからなる、方法。
２．前記較正位置を画定する前記ステップが、
前記電子マーカーを表示画面に表示するステップと、
前記イメージセンサにおける初期位置において前記電子マーカーの較正画像を捕捉するステップと、
前記初期位置における前記較正画像の外観に基づいて、較正ｘ、ｙ、ｚ座標を割り当てるステップ
を含むことからなる、上項１の方法。
３．前記第１の相対位置を計算する前記ステップが、相互相関を用いて、前記第１の画像と前記較正画像を比較することにより実施される、上項２の方法。
４．前記イメージセンサがナビゲーションセンサである、上項１の方法。
５．前記ナビゲーションセンサがフライングマウス（チビフクロモモンガ型マウス）である、上項４の方法。
６．前記表示画面がテレビ画面である、上項１の方法。
７．前記表示画面がコンピュータ画面である、上項１の方法。
８．前記表示画面がビデオゲームモニタ（ビデオゲーム機のモニタ）である、上項１の方法。
９．前記第１の一連の可視のフレームが３０フレームからなる、上項１の方法。
１０．前記電子マーカーを表示する前記ステップによる表示が、ユーザに認識可能なものではない、上項１の方法。
１１．前記電子マーカーが複数の特徴を含むパターンからなり、前記特徴の外観がｘ及びｙ座標を提供し、前記特徴の分離（または分離の程度）が相対的なｚ軸基準を提供する、上項１の方法。
１２．前記パターンは黒と白の正方形が交番する行からなる、上項１１の方法。
１３．前記プログラムがゲームである、上項１の方法。
１４．インタラクティブな電子システムであって、該電子システムは、イメージセンサを有する入力装置を備え、電子マーカーの第１の画像が、コントローラによって生成され、表示画面上に発光させられ、前記イメージセンサによって捕捉され、前記第１の画像を使用して、前記入力装置の較正位置のｘ、ｙ、ｚ座標を評価し、前記イメージセンサによって捕捉された前記電子マーカーの第２の画像を相互相関コンポーネントによって使用して、前記入力装置の相対位置のｘ、ｙ、ｚ座標を計算することからなる、電子システム。
１５．前記イメージセンサはナビゲーションセンサである、上項１４のシステム。
１６．前記ナビゲーションセンサはフライングマウス（チビフクロモモンガ型マウス）である、上項１４のシステム。
１７．前記コントローラと前記入力装置が無線リンクによって接続される、上項１４のシステム。
１８．前記コントローラと前記入力装置がコードによって接続される、上項１４のシステム。
１９．前記表示画面が陰極線管である、上項１４のシステム。
２０．前記表示画面がコンピュータ画面である、上項１４のシステム。
２１．前記表示画面がビデオゲームモニタ（ビデオゲーム機のモニタ）である、上項１４のシステム。
２２．前記入力装置の前記位置が、
第１の一連のフレームを表示画面に表示するステップであって、前記第１の一連のフレームは、前記較正位置からのゲームのビューを表すことからなる、ステップと、
前記第２の画像を捕捉するステップと、
前記第２の画像と前記第１の画像を比較するステップと、
ｘ、ｙ、ｚ座標からなる前記入力装置の第１の相対位置を計算するステップと、
第２の一連のフレームを前記モニタに表示するステップであって、前記第２の一連のフレームは、前記第１の相対位置からの前記ゲームのビューを表すことからなる、ステップ
からなる方法にしたがって追跡されることからなる、上項１４のシステム。
【図面の簡単な説明】
【００３３】
本願の一部を構成する添付図面は、本発明の実施形態を図示するものであり、本明細書の記載と併せて、本発明の原理を説明するのに役立つものである。
【図１】本発明の実施形態に従う対話型コンピュータシステムの１例を示す。
【図２Ａ】本発明の実施形態に従う対話型コンピュータシステムの別の例を示す。
【図２Ｂ】本発明の実施形態に従う対話型コンピュータシステムの別の例を示す。
【図３】本発明の実施形態に従う対話型コンピュータシステムの入力装置の位置を追跡する方法におけるステップを記述したフローチャートである。
【図４Ａ】本発明の対話型コンピュータシステムを上から見た図である。
【図４Ｂ】本発明の対話型コンピュータシステムを上から見た図である。
【図５】本発明による対話型コンピュータシステムのブロック図である。
【符号の説明】
【００３４】
１００ 対話型電子システム
１１０ 入力装置
１１５ イメージセンサ
１２０ 表示画面
１２５ 電子マーカー
【技術分野】
【０００１】
本発明の実施形態は一般に対話型コンピュータシステムの分野に関する。より具体的には、本発明の実施形態は、コンピュータシステム用のユーザ入力装置の位置追跡に関する。
【背景技術】
【０００２】
今日の利用可能な多くの対話型コンピュータシステム（インタラクティブコンピュータシステム）は、ゲームなどのコンピュータプログラムのキャラクター及び／または風景と相互作用（または対話）をするためにユーザによって保持または操作される入力装置を使用する。たとえば、従来のビデオゲームは、ユーザが、表示画面上のクレーピジョンを狙って「銃」を構えて「射撃」できるようにする。銃は、コード（たとえばケーブルなど）か無線リンクでゲームコントローラに接続される。引き金が引かれたときの銃のｘ−ｙ位置は、画面上に電子マーカーを光らせる（または一時的に表示する）ことにより判定される。電子マーカーの画像は入力装置のセンサによって捕捉（撮像）され、捕捉された画像の外観を使用して、引き金が引かれたときの銃のｘ−ｙ位置を判定（または評価）する。このようにして、従来のインタラクティブシステム（対話型システム）は、ユーザ入力装置の２次元追跡を可能にしている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
２次元追跡によって提供される、ユーザと、ゲームなどのコンピュータプログラムの要素との対話（または相互作用）は限られている。たとえば、上述のゲームでは、クレーピジョンが表示画面上を移動するときに、ユーザは、それらのクレーピジョンにねらいを定めて射撃することができる。しかしながら、従来のシステムは、ユーザが表示画面に対して前方または後方に動くときの入力装置の移動を追跡することはしない。従来のシステムでは、表示画面からのユーザの距離は、ゲームのインタラクティブ性の要素として考慮されていない。
【０００４】
典型的には、センサはフォトダイオードである。従来のシステムでは、電子マーカーが光る（または表示される）とプログラム（たとえばゲーム）が短時間中断するが、その発光（または表示）は一般にユーザが認識可能なものである。この中断は、プログラムすなわちゲームの楽しみを損なわせる厄介なものになる場合がある。たとえば、いくつかのシステムでは、ユーザが知覚可能な時間の間、画面全体を白く光らせることができる。
【課題を解決するための手段】
【０００５】
本発明の実施形態として、表示画面上の電子マーカー及び入力装置のイメージセンサを使用して、インタラクティブな電子コンピュータシステム用のｘ、ｙ及びｚ追跡を行うための方法及びシステムが開示される。先ず、ｘ、ｙ及びｚ座標を有する較正位置が画定される。次に、較正位置から見たプログラムのビュー（眺めまたは外観などのこと）を表す第１の一連のプログラムフレームが表示画面に表示される。次に、電子マーカーを表示画面上で（一時的または瞬間的に）光らせ、または表示させる。電子マーカーの画像がイメージセンサによって捕捉され、イメージセンサにおける電子マーカーの位置を用いて入力装置の相対的な位置（以下、相対位置）が計算される。相対位置もまたｘ、ｙ、ｚ座標を有する。次に、第２の一連のプログラムフレームが表示画面に表示され、この相対位置から見たプログラムのビューが示される。
【実施例】
【０００６】
本発明の種々の実施形態を詳細に参照して本発明の説明を行うが、それらのいくつかの例は添付図面に示されている。本発明を種々の実施形態に関して説明するが、本発明をそれらの実施形態に限定することは意図されていない。本発明は、特許請求の範囲によって画定される本発明の思想及び範囲内に含まれる代替形態、変更形態及び等価物を包含することが意図されている。さらに、以下の本発明の詳細な説明では、本発明を十分に理解できるようにするために多くの特定の細部が説明される。しかしながら、それらの特定の細部を要することなく本発明を実施できることは当業者には明らかであろう。他の例では、本発明のいくつかの局面が不必要に不明瞭にならないようにするために、周知の方法、手順、コンポーネント（構成要素）、構造及び装置（またはデバイス）については詳しくは説明していない。
【０００７】
図１は、本発明の実施形態によるコンピュータシステムを示す。図１に示すシステムは、インタラクティブな（すなわち、対話型または相互作用型の）電子ゲームシステムである。図１に示す実施形態では、ユーザは、イメージセンサ１１５を備える入力装置１１０を持っている。この例では、入力装置１１０は剣であるが、入力装置１１０は、ゲームシステム１００で行われるそれぞれのゲームに対応して任意の形状または大きさでありうる。他の実施形態では、入力装置は、ユーザが物理的に手で持たないリモート制御される装置または他の装置とすることができる。図１のゲームシステム１００は、コントローラ１３０と表示画面１２０を有する。図１では、コントローラ１３０及び表示画面１２０は、コード１５０によって接続されているが、ワイヤレス接続や他の既知の接続手段を用いることもできる。
【０００８】
システム１００の表示画面１２０に電子マーカー１２５が表示されるときは、入力装置１１０のイメージセンサ１１５によって電子マーカー１２５の画像が捕捉される。本発明の１実施形態では、イメージセンサ１１５は光学位置変位センサである。電子マーカーの画像がイメージセンサ１１５において捕捉されると、捕捉された画像はコントローラ１３０の受信器１３５に送信される。図１では、入力装置１１０とコントローラ１３０はワイヤレス接続（無線接続）１４０を介して接続されているが、コードや他の伝送手段を用いることもできる。画像が捕捉されたときの電子マーカー１２５の外観は情報を伝えるものであり、その情報は、入力装置１１０の位置のｘ、ｙ、ｚ座標を計算するためにコントローラによって使用される。
【０００９】
たとえば、図２Ａ及び図２Ｂは、本発明の１実施形態を示す。図２Ａ及び図２Ｂのゲームシステム１００は、フェンシングゲームをするために使用されている。ユーザは、この実施形態では剣に似た形状の入力装置１１０を手に持っている。ユーザは、表示画面１２０上のユーザの戦闘相手と対戦するときは、表示画面１２０の前方の領域のあたりに物理的に移動する。ユーザは、ときには画面１２０に近づき、ときには、画面１２０から遠ざかり、また、画面１２０の右側や左側に移動する。すべてのこうした動きは追跡され、ゲームの経験データに組み込まれる。
【００１０】
図２Ａ及び図２Ｂは、ゲームシステム１００のインタラクティブ性を示している。ユーザが表示画面１２０の前方の空間のあたりで入力装置１１０を動かすと、ゲームの視点が変化（または展開）する。たとえば、図２Ｂでは、入力装置の位置が、図２Ａにおける入力装置の位置の左側に後退し、かつ上側に移動している。図２Ｂの表示画面は入力装置１１０の位置の変化を反映しており、たとえば、図２Ｂでは、風景の特徴物が図２Ａの場合よりも遠くに見えている。ユーザとゲームの間の３次元相互作用を提供するために、入力装置１１０の位置のｘ、ｙ、ｚ座標が追跡される。
【００１１】
図１を再度参照すると、イメージセンサ１１５によって電子マーカー１２５の画像が捕捉されたときのイメージセンサ１１５における電子マーカー１２５の捕捉された画像の位置を使用して、入力装置１１０の絶対的な位置（以下、絶対位置）を計算する。較正位置を画定するために、絶対位置が、ゲームの始めに、並びに、基準が必要なときはゲーム中いつでも計算される。絶対位置の計算に続いて、イメージセンサ１１５によって捕捉された電子マーカー１２５の画像を用い、相互相関を使用することによって絶対位置に基づいて相対的な位置（以下、相対位置）を計算する。本発明の１実施形態では、ゲーム全体の時間にわたって予め決められた時間間隔で基準位置を確立するために、電子マーカー１２５を（瞬間的または一時的に）光らせ、または表示する。別の実施形態では、必要とされたときのみ（ときにはゲームプレーによって決定されるが）、絶対位置を確立するために、電子マーカー１２５を（瞬間的または一時的に）光らせ、または表示する。
【００１２】
電子マーカー１２５は、ゲームコントローラ１３０によって生成されて、表示画面１２０に表示されるあるパターンである。１実施形態では、電子マーカー１２５は、ユーザの気を散らさないようにするために、画面の小さな部分だけを占有し、常時表示される。別の実施形態では、電子マーカー１２５は、表示画面の大きな部分にわたって表示されるが、ユーザの気を散らさないようにするために、間欠的に表示されるだけである。
【００１３】
１実施形態では、電子マーカー１２５のパターンは、黒と白の正方形が交互に並んだ行である。他の実施形態では、他のパターンが使用される。入力装置１１０の位置は表示画面１２０に対して計算される。このようにして、ゲームは、ユーザがゲーム内の３次元空間を実際に動き回っているかのように、ユーザがゲーム（たとえば、風景、他の戦闘員など）を知覚することができるようにする。
【００１４】
電子マーカー１２５のパターンの特徴は、イメージセンサ１１５によって捕捉された画像の位置を較正するために、基準となるｘ及びｙ座標を直接提供する。本発明の１実施形態では、イメージセンサ１１５は、「フライングマウス（flying mouse）またはチビフクロモモンガ」タイプのナビゲーションセンサ（たとえば、光学位置変位センサ）である。イメージセンサ１１５は、典型的なゲームプレーの間、可能な限り表示画面１２０に向き合うようように、入力装置１１０に位置決めされる。
【００１５】
電子マーカー１２５のパターンの特徴の分離（または分離の程度）は、相対的なｚ軸基準を提供する。たとえば、パターンの特徴が、イメージセンサ１１５によって捕捉された電子マーカー１２５の画像内において遠くに離れて現れるほど、入力装置１１０は表示画面１２０の近くになければならない。一方、パターンの特徴が、イメージセンサ１１５によって捕捉された電子マーカー１２５の画像内においてより近くに現れるほど、入力装置１１０は表示画面１２０から遠くになければならない。
【００１６】
表示画面（表示スクリーンともいう）１２０は、インタラクティブな電子ゲームの映像部分を表示することが可能な任意のタイプの表示画面とすることができる。１実施形態では、表示画面１２０はコンピュータのモニタである。別の実施形態では、表示画面１２０はビデオゲームの画面（video arcade game screen。たとえば、ゲームセンターなどにあるビデオゲーム機のモニタ）である。さらに他の実施形態では、表示画面１２０は、陰極線管（ブラウン管：cathode ray tubeすなわちCRT）である。CRTを用いる実施形態では、ゲームコントローラ１３０によって同期信号が生成されて、パターン情報を見るのに適切な時刻に画像の捕捉が開始される。
【００１７】
好適な実施形態では、ゲームシステム１００は、図３のフローチャート３００に示された方法によって、入力装置１１０のｘ、ｙ及び相対的なｚ位置を追跡する。ステップ３１０に示すように、最初に、入力装置１１０のために較正位置が画定される。較正位置は、イメージセンサ１１５における電子マーカー１２５の画像を捕捉することによって、ゲームプレイの最初、及び、ゲームプレイを通じて必要なときに画定される。１実施形態では、電子マーカー１２５のこの較正表示は、ゲームコントローラ１３０が表示画面１２０にビデオゲームのフレームの送信を開始する前の閃光（または、フラッシュ発光や瞬間的な表示）からなる。１実施形態では、電子マーカー１２５の閃光は、ユーザが知覚可能なものではない。他の実施形態では、電子マーカー１２５を、表示画面１２０のある領域に、たとえば、表示画面１２０の上部や下部や側部に沿って黒と白の正方形が交互に現れる行として、絶えず表示させることができる。
【００１８】
イメージセンサ１１５において捕捉された電子マーカー１２５の較正表示の画像の外観（または出現状態）、たとえば、イメージセンサ１１５における捕捉された画像の位置は、電子マーカー１２５の基準画像（参照画像）を提供する。電子マーカー１２５の較正画像はゲームコントローラ１３０によって記憶される。較正位置が画定されると、ステップ３２０に示すように、第１（または最初）の一連のビデオゲームのフレームが表示画面１２０に表示される。第１の一連のフレームは、較正位置の視点から見たゲームを表す。１実施形態では、第１の一連のフレームは３０フレームからなる。他の実施形態では、ステップ３３０に示す、イメージセンサによる電子マーカーの第２（または次）の画像の捕捉の前に、それとは異なる数のゲームのフレームが表示される。
【００１９】
１実施形態では、たとえば、第１（または最初）の一連のゲームフレームの後に電子マーカー１２５の閃光（フラッシュ発光、または瞬間的な表示）が生じ、その後、第２（または次）の一連のゲームフレームが現れる（ステップ３５０）といったように、電子マーカー１２５は間欠的に表示される。電子マーカー１２５が間欠的に表示される場合には、電子マーカー１２５は、１秒の何分の一かの間だけ表示され、ユーザには認識できない。他の実施形態では、電子マーカーは表示画面１２０のある部分に常時表示され、したがって、第１の一連のゲームフレーム（ステップ３２０）と第２の一連のゲームフレーム（ステップ３５０）との間にとぎれは生じない。
【００２０】
ゲームプレイの間（すなわち、ゲームの実行中）、電子マーカー１２５は、ゲームコントローラ１３０によって生成され、入力装置１１０の現在の位置を反映する。たとえば、図４Ａを参照すると、較正の時刻ｔ０において、入力装置１１０のイメージセンサ１１５は較正位置ｐ０にある。位置ｐ０は座標ｘ０、ｙ０、ｚ０を有する。位置ｐ０は、入力装置１００のイメージセンサの後続の相対位置を相互相関を用いて計算するために使用されることになる。
【００２１】
１例として示した図４Ａと共にフローチャート３００を再度参照すると、ゲームコントローラ１３０によって生成された第１の一連のゲームフレーム（図３のステップ３２０）は表示画面１２０上に表示されて、位置ｐ０の視点からのゲームを描写する。電子マーカーは、第１の一連のゲームフレームの終わりに（または、第１の一連のゲームフレームの間ずっと）表示され、ｐ０を反映する。
【００２２】
図３のステップ３３０に示すように、第１の一連のゲームフレームの後、電子マーカー１２５は、イメージセンサ１１５によって再度捕捉される。図４Ｂを参照すると、電子マーカー１２５の第２の捕捉が時刻ｔ１に実施される。ユーザが入力装置１１０の物理的な位置を時刻ｔ０から変えた場合には、イメージセンサ１１５の視点からの捕捉された電子マーカー１２５の外観（または出現状態）も変化しているであろう。たとえば、図４Ｂに示すように、ユーザの動きに起因して、時刻ｔ１において、入力装置１１０のイメージセンサ１１５は位置ｐ１にある。
【００２３】
位置ｐ１において捕捉された電子マーカー１２５のパターンの特徴部（たとえば、形状や輪郭など）は、位置ｐ０において捕捉されたパターンの特徴部とは異なる。たとえば、図４Ｂに示すように、位置ｐ１が較正位置ｐ０よりも表示画面１２０から離れている場合は、時刻ｔ１においてイメージセンサ１１５で捕捉された電子マーカー１２５の特徴部は互いにより近接したものになるであろう。これに対して、位置ｐ１が較正位置ｐ０よりも表示画面１２０に近い場合は、時刻ｔ１においてイメージセンサ１１５で捕捉された電子マーカー１２５の特徴部はより離れるであろう。
【００２４】
ゲームコントローラ１３０は、時刻ｔ０において捕捉された電子マーカーの外観と時刻ｔ１において捕捉された電子マーカーの外観を比較する。相互相関を用いて、図３のステップ３４０に示すように、時刻ｔ１における入力装置１１０の第１の相対位置が計算される。相対位置ｐ１は、座標ｘ１、ｙ１、ｚ１を含む。ゲームコントローラは、次に、第２の一連のゲームフレームに対する新たな視点を生成する。第２の一連のゲームフレームは、位置ｐ１の視点からのゲームを表す（図３のステップ３５０）。
【００２５】
ゲームプレイの間、電子マーカーは、予め決められたインターバルで、または、ゲームプレイ中の必要なときに捕捉される。入力装置１１０のイメージセンサ１１５の新たな相対位置が計算されて、表示画面１２０上においてビデオゲームのフレームに反映される。好適な実施形態では、電子マーカーの捕捉は、ユーザがゲームの仮想的な環境内を実際に動き回っているかのようにゲームを認識するのに十分な頻度で発生する。
【００２６】
図５は、ゲームシステム１００のブロック図である。上述したように、表示画面１２０は、入力装置１００にあるイメージセンサ１１５によって捕捉される電子マーカー１２５の画像を表示する。好適な実施形態では、入力装置は、ゲームと相互作用するために入力装置を使用するユーザによって保持される。ユーザがゲームを行うときは、ユーザはある領域（図４Ａ、４Ｂの４００）を物理的に動き回り、ユーザは、入力装置を上下及び周囲に動かす（図２Ａ、２Ｂ参照）。１実施形態では、入力装置は剣などの武器である。ユーザは、自身の体と入力装置１１０を動かして、環境及びゲーム内の戦闘相手と相互作用を行う。
【００２７】
入力装置１１０のイメージセンサ１１５の位置の更新が望まれるときはいつでも（たとえば、一定のインターバル（時間間隔）で、またはゲーム内の予め決められたイベントの後）、電子マーカー１２５の画像がイメージセンサ１１５によって捕捉される。次にこの捕捉した画像をゲームコントローラ１３０に伝達する。この伝達を容易にするために、通信リンク１４０（例えば、無線接続）によって入力装置１１０をゲームコントローラ１３０に結合する。
【００２８】
イメージセンサ１１５によって捕捉された画像はゲームコントローラの画像受信器コンポーネント１３５で受信される。次に、この捕捉された画像に関するデータがゲームコントローラ１３０内の相互相関コンポーネント（相互相関器）１３６によって使用されて、入力装置１１０にあるイメージセンサ１１５の現在位置のｘ、ｙ、ｚ座標が決定される。次に、イメージセンサ１１５の現在位置がゲームに組み込まれ、ゲームコントローラ１３０内のビデオ発生器１３７が現在位置を反映する新たな一連のゲームフレームを生成する。この新たな一連のゲームフレームは、第２の通信リンク１５０（例えば、コード）によって表示画面１２０に伝達される。
【００２９】
本発明の好適な実施形態はインタラクティブな電子ゲームシステムであるが、当業者は、表示画面に表示され、イメージセンサにおいて捕捉される電子マーカーの画像を用いて電子ゲームシステム以外の用途のためにｘ、ｙ、及び相対的なｚ位置を追跡することができるということを理解するであろう。
【００３０】
本発明の特定の実施形態についての上記説明は、例示と説明のために提示されたものである。それらは、本発明を網羅することも本発明を開示した形態そのものに限定することも意図するものではなく、上記教示に照らして多くの修正及び変更が可能である。実施形態は、本発明の原理とその実際の適用を最もうまく説明するために選択され記述されたものであり、これによって、当業者が、意図する特定の用途に適するように種々の変更を加えながら本発明及び種々の実施形態を最も好適に使用することが可能である。本発明の範囲は、添付の特許請求の範囲及びそれの等価物によって画定されることが意図されている。
【００３１】
本発明は、対話型コンピュータシステムにおける入力装置の位置のｘ、ｙ、ｚ座標を追跡するためのシステム及び方法に関する。入力装置に配置されたイメージセンサは表示画面に表示された電子マーカーの画像を捕捉する。入力装置の位置が変わると、イメージセンサによって捕捉された電子マーカーの特徴も変化する。ゲームプレイ中に捕捉された電子マーカーの画像を電子マーカーの較正画像と比較して入力装置の位置の現在のｘ、ｙ、ｚ座標を決定する。入力装置の動きを反映するためにゲームの表示が更新される。
【００３２】
以下に、本発明の種々の構成要件の組み合わせからなる例示的な実施態様を示す。
１．インタラクティブな電子システム用の入力装置の位置を追跡する方法であって、
ｘ、ｙ、ｚ座標からなる前記入力装置の較正位置を画定するステップと、
表示画面に第１の一連のプログラムフレームを表示するステップであって、前記第１の一連のフレームは、前記較正位置からのプログラムのビュー（眺め、見え方、または外観）を表すことからなる、ステップと、
電子マーカーを前記表示画面に表示するステップと、
前記イメージセンサのある位置において前記電子マーカーの第１の画像を捕捉するステップと、
ｘ、ｙ、ｚ座標からなる前記入力装置の第１の相対位置を計算するステップと、
前記表示画面に第２の一連のプログラムフレームを表示するステップ
を含み、
前記第２の一連のフレームは、前記第１の相対位置からの前記プログラムのビューを表すことからなる、方法。
２．前記較正位置を画定する前記ステップが、
前記電子マーカーを表示画面に表示するステップと、
前記イメージセンサにおける初期位置において前記電子マーカーの較正画像を捕捉するステップと、
前記初期位置における前記較正画像の外観に基づいて、較正ｘ、ｙ、ｚ座標を割り当てるステップ
を含むことからなる、上項１の方法。
３．前記第１の相対位置を計算する前記ステップが、相互相関を用いて、前記第１の画像と前記較正画像を比較することにより実施される、上項２の方法。
４．前記イメージセンサがナビゲーションセンサである、上項１の方法。
５．前記ナビゲーションセンサがフライングマウス（チビフクロモモンガ型マウス）である、上項４の方法。
６．前記表示画面がテレビ画面である、上項１の方法。
７．前記表示画面がコンピュータ画面である、上項１の方法。
８．前記表示画面がビデオゲームモニタ（ビデオゲーム機のモニタ）である、上項１の方法。
９．前記第１の一連の可視のフレームが３０フレームからなる、上項１の方法。
１０．前記電子マーカーを表示する前記ステップによる表示が、ユーザに認識可能なものではない、上項１の方法。
１１．前記電子マーカーが複数の特徴を含むパターンからなり、前記特徴の外観がｘ及びｙ座標を提供し、前記特徴の分離（または分離の程度）が相対的なｚ軸基準を提供する、上項１の方法。
１２．前記パターンは黒と白の正方形が交番する行からなる、上項１１の方法。
１３．前記プログラムがゲームである、上項１の方法。
１４．インタラクティブな電子システムであって、該電子システムは、イメージセンサを有する入力装置を備え、電子マーカーの第１の画像が、コントローラによって生成され、表示画面上に発光させられ、前記イメージセンサによって捕捉され、前記第１の画像を使用して、前記入力装置の較正位置のｘ、ｙ、ｚ座標を評価し、前記イメージセンサによって捕捉された前記電子マーカーの第２の画像を相互相関コンポーネントによって使用して、前記入力装置の相対位置のｘ、ｙ、ｚ座標を計算することからなる、電子システム。
１５．前記イメージセンサはナビゲーションセンサである、上項１４のシステム。
１６．前記ナビゲーションセンサはフライングマウス（チビフクロモモンガ型マウス）である、上項１４のシステム。
１７．前記コントローラと前記入力装置が無線リンクによって接続される、上項１４のシステム。
１８．前記コントローラと前記入力装置がコードによって接続される、上項１４のシステム。
１９．前記表示画面が陰極線管である、上項１４のシステム。
２０．前記表示画面がコンピュータ画面である、上項１４のシステム。
２１．前記表示画面がビデオゲームモニタ（ビデオゲーム機のモニタ）である、上項１４のシステム。
２２．前記入力装置の前記位置が、
第１の一連のフレームを表示画面に表示するステップであって、前記第１の一連のフレームは、前記較正位置からのゲームのビューを表すことからなる、ステップと、
前記第２の画像を捕捉するステップと、
前記第２の画像と前記第１の画像を比較するステップと、
ｘ、ｙ、ｚ座標からなる前記入力装置の第１の相対位置を計算するステップと、
第２の一連のフレームを前記モニタに表示するステップであって、前記第２の一連のフレームは、前記第１の相対位置からの前記ゲームのビューを表すことからなる、ステップ
からなる方法にしたがって追跡されることからなる、上項１４のシステム。
【図面の簡単な説明】
【００３３】
本願の一部を構成する添付図面は、本発明の実施形態を図示するものであり、本明細書の記載と併せて、本発明の原理を説明するのに役立つものである。
【図１】本発明の実施形態に従う対話型コンピュータシステムの１例を示す。
【図２Ａ】本発明の実施形態に従う対話型コンピュータシステムの別の例を示す。
【図２Ｂ】本発明の実施形態に従う対話型コンピュータシステムの別の例を示す。
【図３】本発明の実施形態に従う対話型コンピュータシステムの入力装置の位置を追跡する方法におけるステップを記述したフローチャートである。
【図４Ａ】本発明の対話型コンピュータシステムを上から見た図である。
【図４Ｂ】本発明の対話型コンピュータシステムを上から見た図である。
【図５】本発明による対話型コンピュータシステムのブロック図である。
【符号の説明】
【００３４】
１００ 対話型電子システム
１１０ 入力装置
１１５ イメージセンサ
１２０ 表示画面
１２５ 電子マーカー
【特許請求の範囲】
【請求項１】
インタラクティブな電子システム（１００）用の入力装置（１１０）のイメージセンサ（１１５）の位置を追跡する方法（３００）であって、
ｘ、ｙ、ｚ座標からなる前記イメージセンサ（１１５）の較正位置（ｐ０）を画定するステップと、
表示画面（１２０）に第１の一連のプログラムフレームを表示するステップであって、前記第１の一連のフレームは、前記較正位置（ｐ０）からのプログラムのビューを表すことからなる、ステップと、
電子マーカー（１２５）を前記表示画面（１２０）に表示するステップと、
前記イメージセンサ（１１５）のある位置において前記電子マーカー（１２５）の第１の画像を捕捉するステップと、
前記入力装置（１１０）のｘ、ｙ、ｚ座標からなる第１の相対位置（ｐ１）を計算するステップと、
前記表示画面（１２０）に第２の一連のプログラムフレームを表示するステップ
を含み、
前記第２の一連のフレームは、前記第１の相対位置（ｐ１）からの前記プログラムのビューを表すことからなる、方法。
【請求項２】
前記第１の相対位置（ｐ１）を計算する前記ステップが、相互相関を用いて、前記第１の画像と前記較正画像を比較することにより実施される、請求項１の方法（３００）。
【請求項３】
前記イメージセンサ（１１５）がナビゲーションセンサである、請求項１の方法（３００）。
【請求項４】
前記ナビゲーションセンサがフライングマウスである、請求項３の方法（３００）。
【請求項５】
電子マーカー（１２５）を表示する前記ステップが、ユーザに認識可能なものではない、請求項１の方法（３００）。
【請求項６】
前記電子マーカー（１２５）が複数の特徴を含むパターンからなり、前記特徴の外観がｘ及びｙ座標を提供し、前記特徴の分離が相対的なｚ軸基準を提供する、請求項１の方法（３００）。
【請求項７】
前記パターンは黒と白の正方形が交互をなす行からなる、請求項６の方法（３００）。
【請求項８】
インタラクティブな電子システム（１００）であって、該電子システムは、イメージセンサ（１１５）を有する入力装置（１１０）を備え、電子マーカー（１２５）の第１の画像が、コントローラ（１３０）によって生成され、表示画面（１２０）上で光らせられ、及び、前記イメージセンサ（１１５）によって捕捉され、前記第１の画像を使用して、前記イメージセンサの較正位置（ｐ０）のｘ、ｙ、ｚ座標を評価し、前記イメージセンサ（１１５）によって捕捉された前記電子マーカー（１２５）の第２の画像を相互相関コンポーネントによって使用して、前記イメージセンサ（１１５）の相対位置（ｐ１）のｘ、ｙ、ｚ座標を計算することからなる、電子システム。
【請求項９】
前記イメージセンサ（１１５）はナビゲーションセンサである、請求項８のシステム（１００）。
【請求項１０】
前記イメージセンサ（１１５）の前記位置が、
第１の一連のフレームを表示画面（１２０）に表示するステップであって、前記第１の一連のフレームは、前記較正位置（ｐ０）からのゲームのビューを表すことからなる、ステップと、
前記第２の画像を捕捉するステップと、
前記第２の画像と前記第１の画像を比較するステップと、
前記イメージセンサ（１１５）のｘ、ｙ、ｚ座標からなる第１の相対位置（ｐ１）を計算するステップと、
第２の一連のフレームを前記表示画面（１２０）に表示するステップであって、前記第２の一連のフレームは、前記第１の相対位置（ｐ１）からの前記ゲームのビューを表すことからなる、ステップ
からなる方法にしたがって追跡されることからなる、請求項８のシステム。
【請求項１】
インタラクティブな電子システム（１００）用の入力装置（１１０）のイメージセンサ（１１５）の位置を追跡する方法（３００）であって、
ｘ、ｙ、ｚ座標からなる前記イメージセンサ（１１５）の較正位置（ｐ０）を画定するステップと、
表示画面（１２０）に第１の一連のプログラムフレームを表示するステップであって、前記第１の一連のフレームは、前記較正位置（ｐ０）からのプログラムのビューを表すことからなる、ステップと、
電子マーカー（１２５）を前記表示画面（１２０）に表示するステップと、
前記イメージセンサ（１１５）のある位置において前記電子マーカー（１２５）の第１の画像を捕捉するステップと、
前記入力装置（１１０）のｘ、ｙ、ｚ座標からなる第１の相対位置（ｐ１）を計算するステップと、
前記表示画面（１２０）に第２の一連のプログラムフレームを表示するステップ
を含み、
前記第２の一連のフレームは、前記第１の相対位置（ｐ１）からの前記プログラムのビューを表すことからなる、方法。
【請求項２】
前記第１の相対位置（ｐ１）を計算する前記ステップが、相互相関を用いて、前記第１の画像と前記較正画像を比較することにより実施される、請求項１の方法（３００）。
【請求項３】
前記イメージセンサ（１１５）がナビゲーションセンサである、請求項１の方法（３００）。
【請求項４】
前記ナビゲーションセンサがフライングマウスである、請求項３の方法（３００）。
【請求項５】
電子マーカー（１２５）を表示する前記ステップが、ユーザに認識可能なものではない、請求項１の方法（３００）。
【請求項６】
前記電子マーカー（１２５）が複数の特徴を含むパターンからなり、前記特徴の外観がｘ及びｙ座標を提供し、前記特徴の分離が相対的なｚ軸基準を提供する、請求項１の方法（３００）。
【請求項７】
前記パターンは黒と白の正方形が交互をなす行からなる、請求項６の方法（３００）。
【請求項８】
インタラクティブな電子システム（１００）であって、該電子システムは、イメージセンサ（１１５）を有する入力装置（１１０）を備え、電子マーカー（１２５）の第１の画像が、コントローラ（１３０）によって生成され、表示画面（１２０）上で光らせられ、及び、前記イメージセンサ（１１５）によって捕捉され、前記第１の画像を使用して、前記イメージセンサの較正位置（ｐ０）のｘ、ｙ、ｚ座標を評価し、前記イメージセンサ（１１５）によって捕捉された前記電子マーカー（１２５）の第２の画像を相互相関コンポーネントによって使用して、前記イメージセンサ（１１５）の相対位置（ｐ１）のｘ、ｙ、ｚ座標を計算することからなる、電子システム。
【請求項９】
前記イメージセンサ（１１５）はナビゲーションセンサである、請求項８のシステム（１００）。
【請求項１０】
前記イメージセンサ（１１５）の前記位置が、
第１の一連のフレームを表示画面（１２０）に表示するステップであって、前記第１の一連のフレームは、前記較正位置（ｐ０）からのゲームのビューを表すことからなる、ステップと、
前記第２の画像を捕捉するステップと、
前記第２の画像と前記第１の画像を比較するステップと、
前記イメージセンサ（１１５）のｘ、ｙ、ｚ座標からなる第１の相対位置（ｐ１）を計算するステップと、
第２の一連のフレームを前記表示画面（１２０）に表示するステップであって、前記第２の一連のフレームは、前記第１の相対位置（ｐ１）からの前記ゲームのビューを表すことからなる、ステップ
からなる方法にしたがって追跡されることからなる、請求項８のシステム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【公開番号】特開２００７−３２８７８１（Ｐ２００７−３２８７８１Ａ）
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願番号】特願２００７−１４３２９０（Ｐ２００７−１４３２９０）
【出願日】平成１９年５月３０日（２００７．５．３０）
【出願人】（５０６０７６６０６）アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド (129)
【Ｆターム（参考）】
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願日】平成１９年５月３０日（２００７．５．３０）
【出願人】（５０６０７６６０６）アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド (129)
【Ｆターム（参考）】
[ Back to top ]