遠視野画像絶対ナビゲーションセンシングのための方法、及びシステム
【課題】ＴＶ画面をカメラで撮影して位置測定するリモコンにおいて、高速なリモコンの動きに対処できるようにすること。
【解決手段】遠視野画像ナビゲーションセンシングのための方法、及びシステムを開示する。本方法は、リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換するステップを含む。グレイスケール輪郭データを含む画像の複数のフレームがバッファリングされる。ビーコン画像に関連するにじみデータを含むバッファリングされたフレームからビーコン画像が再構成される。バッファリングされた画像からビーコンの位置が測定される。にじみデータを分析し、にじみベクトルが生成される。ビーコン位置、及びにじみベクトルを処理し、ビーコンに基づくナビゲーション情報が生成される。
【解決手段】遠視野画像ナビゲーションセンシングのための方法、及びシステムを開示する。本方法は、リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換するステップを含む。グレイスケール輪郭データを含む画像の複数のフレームがバッファリングされる。ビーコン画像に関連するにじみデータを含むバッファリングされたフレームからビーコン画像が再構成される。バッファリングされた画像からビーコンの位置が測定される。にじみデータを分析し、にじみベクトルが生成される。ビーコン位置、及びにじみベクトルを処理し、ビーコンに基づくナビゲーション情報が生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して、電子機器の視野に関する。具体的には、本発明の実施形態は、画像ナビゲーションセンシングに関する。
【背景技術】
【０００２】
テレビ（ＴＶ）やコンピュータ化された装置のような電子メディアには、多くの近代的役割がある。中でも、そうした役割の中で最もポピュラーなものは、教育とエンタテイメントである。ＴＶ画面に表示される電子ゲームは、非常にポピュラーになっていて、産業上成功したそのようなメディアの典型であり、それらの役割を遂行するために非常に有効なことがある。
【０００３】
光源のコントラストを生かすために、ＴＶ画面を利用した電子ゲームの中には、暗い場所、すなわち、明かりの不十分な環境で使用されるものがある。例えば、ゲームプレイヤは、ソファ、椅子、クッション、あるいはカーペットなどの上にゆったりと座り、リモートコントロール装置を使用して、暗くした部屋の中でＴＶ画面に表示された電子ゲームと情報をやりとりする場合がある。
【０００４】
リモートコントロール・ゲームインタフェースによっては、ＴＶ画面に対するリモートコントロールユニットの相対位置を検出するカメラ装置を有するものがある。これにより、ゲームをコントロールするプロセッサに対する相対位置入力が可能になる。このようなゲーム態様では、入力を達成するための有効なナビゲーションビーコンとして、ＴＶ画面の相対輝度が使用される。
【０００５】
ゲームプレイヤ（例えば、ユーザ）がリモートコントロールユニットを動かすと、リモートコントロールユニットのカメラは、動いているように見える画像を「見て」、ＴＶ画面ビーコンから視覚的な動きを検出する。ゲームコントローラは、カメラ装置からの相対入力をピクセル、及び単位時間に換算する。しかしながら、ゲームプレイヤによるリモートコントロールユニットの高速な動きは、多少問題になることがある。リモートコントロールデバイスを高速に動かすと、連続したフレーム間におけるベクトル情報を使用した計算が難しくなる。
【０００６】
したがって、ゲームコントローラで使用される連続的相関アルゴリズム、及び関連プロセスでは、ＴＶ画面をビーコンとして使用し、自由空間における高速な絶対位置検出を達成することは難しいことがある。リモートコントロールユニットが元の位置に戻った場合でも、計算プロセスにおける誤差が原因で、コンソールは、ＴＶ画面画像がコンソールの中心に戻らないことがあり、そのため、同期が失われることがある。これは通常、ユーザの予想に反するものであり、ユーザのゲーム体験に悪影響を及ぼすことがある。
【０００７】
遠視野画像ナビゲーションセンシングのための方法、及びシステムを開示する。本方法は、リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換するステップを含む。グレイスケール輪郭データを含む画像の複数のフレームがバッファリングされる。ビーコン画像は、ビーコン画像に関連するにじみ（ぼけ）データを含むこのバッファリングされたフレームから再構成（再現）される。バッファリングされたフレームから、ビーコンの位置が測定される。にじみデータを分析し、にじみ（ぼけ）ベクトルが生成される。ビーコン位置、及びにじみベクトルを処理することにより、ビーコンに基づくナビゲーション情報が生成される。
【発明の開示】
【課題を解決するための手段】
【０００８】
本発明は、一態様として、遠視野画像ナビゲーションセンシングのための方法を提供する。本方法は、リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換するステップと、前記グレイスケール輪郭データを含む前記画像の複数のフレームをバッファリングするステップと、前記ビーコン画像に関連するにじみデータを含む、バッファリングされた前記フレームから前記ビーコン画像を再構成するステップと、バッファリングされた前記フレームから前記ビーコンの位置を測定するステップと、前記にじみデータを分析し、にじみベクトルを生成するステップと、前記ビーコン位置、及び前記にじみベクトルを処理し、前記ビーコンに基づくナビゲーション情報を生成するステップとを含む。
【発明を実施するための最良の形態】
【０００９】
以下では、遠視野画像ナビゲーションセンシングのための方法及びシステムの例示的実施形態について説明する。まず、本発明の実施形態を詳細に参照する。実施形態の例は、添付の図面に描かれている。本発明は、下記の実施形態を例として説明されるが、当然ながら、それらの実施形態は、本発明を単一の形態に限定するためのものではない。むしろ出願人は、本発明の範囲に、添付の特許請求の範囲に規定される本発明の思想、及び範囲に含まれる代替、修正、及び均等実施形態も含めることを意図している。
【００１０】
また、本発明の例示的実施形態に関する下記の詳細な説明では、本発明を完全に理解してもらうために、多数の具体的詳細を記載する。しかしながら、当業者には明らかなように、本発明の実施形態は、それらの具体的詳細がなくても実施可能である。その他、本発明の態様を不必要に不明確にしないように、既知の装置、方法、システム、プロセス、手順、構成部品、回路、機器、プロトコル等について詳しい説明はしない。
【００１１】
詳細な説明の以下の部分は、プロセスを例として提供し、説明される。プロセスのブロック、及びその順序は、プロセス（例えば、プロセス１０）の動作を示すフロー図（例えば、図１）に開示されているが、それらのブロック、及び順序は、単なる例である。本発明の実施形態は、他のブロック、すなわちフロー図に記載されたブロックの変形を実施する場合にも、また、本明細書に記載されたもの以外の順番、順序で実施する場合にも、非常によく適合する。
【００１２】
一実施形態において、遠視野画像ナビゲーションセンシングのためのプロセスは、コンピュータを利用したシステムを用いて実施される。種々の実施形態において、遠視野画像ナビゲーションセンシングのためのプロセスを実施する手段は、種々のコンピュータ、及び撮像システム、装置、機器、及び通信媒体を含み、限定はしないが例えば、カメラその他の画像取り込み装置、テレビ、及び／又はコンピュータモニタ、無線及び／又は有線の媒体を含み、ソフトウェア、ハードウェア、ファームウェア、及び／又はそれらの組み合わせを含む。一実施形態において、そうしたプロセスは、コンピュータ読み取り可能媒体上（内）にエンコードされたコンピュータ読み取り可能コードの制御により、コンピュータを使用して実施される。
【００１３】
本発明の実施形態は、遠視野画像ナビゲーションセンシングのための方法、及びシステムに関する。一実施形態において、遠視野画像ナビゲーションセンシングのための方法は、リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換するステップを含む。グレイスケール輪郭データを含む画像の複数のフレームが、バッファリングされる。バッファリングされたフレームは、ビーコン画像に関連するにじみデータを含み、バッファリングされたフレームから、ビーコン画像が再構成される。バッファリングされたフレームからビーコンの位置が測定される。にじみデータを分析し、にじみベクトルが生成される。ビーコン位置、及びにじみベクトルを処理し、ビーコンに基づくナビゲーション情報が生成される。
【００１４】
したがって、リモートコントロールユニットが例えばゲームプレイヤによって高速に動かされた場合であっても、連続したフレーム間におけるベクトル情報を利用したナビゲーションセンシングが達成される。この高速な動きは、従来のアプローチでは、多少問題になる可能性がある。ゲームコントローラは、例えば、従来のようなＴＶ画面をビーコンとして使用した自由空間における高速な絶対位置検出の難しさを克服する。リモートコントロールユニットが元の位置に戻されたときにも、同期が維持される。なぜなら、従来、コンソールにおいてＴＶ画面画像がコンソールの中心に戻ることを妨げていた計算プロセスにおける誤差が低減されるからである。したがって、本発明の実施形態は、一般のユーザの期待に応え、ユーザのゲーム体験を促進させる。
【００１５】
例示的方法
図１は、本発明の一実施形態による、遠視野画像ナビゲーションセンシングのための例示的方法１０を示すフロー図である。方法１０は、ブロック１１から開始され、そこで、リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換する。
【００１６】
一実施形態において、リモートビーコンはテレビ（ＴＶ）画面である。一実施形態において、リモートビーコンはコンピュータモニタである。一実施形態において、リモートビーコンの画像は、高速カメラ、又は同様の画像取り込み装置によって撮影される。
【００１７】
ブロック１２では、グレイスケール輪郭データを含む画像の複数のフレームをバッファリングする。ブロック１３では、ビーコン画像に関連するにじみデータを含むそのバッファリングされたフレームからビーコン画像を再構成する。
【００１８】
ブロック１４では、バッファリングされたフレームからビーコンの位置を測定する。ブロック１５では、にじみデータを分析し、にじみベクトルを生成する。ブロック１６では、ビーコン位置、及びにじみベクトルを処理し、ビーコンに基づくナビゲーション情報を生成する。
【００１９】
任意選択のブロック１７では、そのナビゲーション情報をリモートデバイスに伝送する。種々の実施形態の伝送が、無線媒体、及び／又は有線媒体を介して実施される。任意選択のブロック１８では、ナビゲーション情報に基づいて制御機能を実施する。この制御機能は、例えばリモートモニタ上に表示された電子ゲームの制御に使用される。
【００２０】
例示的システム
図２は、本発明の一実施形態による、遠視野画像ナビゲーションセンシングのためのコンピュータを利用した例示的システム２００を示している。ＴＶ画面やコンピュータモニタのようなリモートビーコンからの画像は、画像取り込み装置２０２によって撮影される。画像取り込み装置２０２は、高速カメラ等の画像取り込み装置を含む場合がある。画像取り込み装置２０２により、システム２００にビーコン画像を入力することが可能になる。
【００２１】
システム２００は、ビーコン画像を受信するグレイスケール輪郭プロセッサ２０３を含む。グレイスケール輪郭プロセッサ２０３は、画像取り込み装置２０２から入力されたリモートビーコン画像２０１を処理し、グレイスケール輪郭データに変換する。
画像の複数のフレームにグレイスケール輪郭データが関連付けられ、フレームバッファ２０４にバッファリングされる。
【００２２】
画像再構成装置２０５は、にじみデータを含むそのバッファリングされたフレームからビーコン画像を再構成する。ビーコン位置測定モジュール２０６は、バッファリングされたフレーム中のグレイスケール輪郭データからビーコンの位置を測定する。にじみ（ぼけ）分析器２０７は、バッファリングされたフレーム中のにじみデータを分析し、対応するにじみベクトルを生成する。一実施形態において、ビーコン位置測定モジュール２０６、及びにじみ分析器２０７は、例えば、画像再構成装置２０５の機能の一部を含む場合がある。
【００２３】
プロセッサ２０８は、測定されたビーコン位置、及びにじみベクトルを処理し、リモートビーコン２０１に基づくナビゲーション情報を生成するとともに、グレイスケール輪郭プロセッサ２０３を制御する。
【００２４】
一実施形態において、プロセッサ２０８によって生成されたナビゲーション情報は、送信機２０９を使用して、媒体２１２を介して受信機２１０に送信される。一実施形態において、媒体２１２は有線媒体からなる。受信機２１０によって受信されたナビゲーション情報はコントローラ２１１に渡され、コントローラ２１１は、その情報に基づく制御機能を実施する。例えば、コントローラ２１１は、そのナビゲーション情報を使用して、リモートビーコン２０１上に表示されたゲームを制御する。
【００２５】
図３は、本発明の一実施形態による、遠視野画像ナビゲーションセンシングのための他の例示的システム３００を示している。システム３００は、マルチナビゲーションエンジン３２５を備えた高フレームレートのカメラ（又は、他の画像取り込み装置）を使用して、高速な絶対３軸トラッキングを達成することができる。
【００２６】
ナビゲーションエンジン３２５は、フレームバッファ３０４を利用して動作し、ＴＶ画面（又は、コンピュータモニタなど）をナビゲーションビーコンとして再構成する。有利なことに、システム３００は、にじんだビーコン画像から導出された情報も、ナビゲーション機能に使用する。システム３００は、ＴＶ３０１をナビゲーションビーコンとして使用し、自由空間における高速な絶対位置検出を有効に達成する。システム３００は、ＴＶ３０１画面上に表示された画像の一部を使用する。
【００２７】
カメラ３００は、高フレームレートで動作する。一実施形態において、カメラ３０２は、一秒あたり１２０フレーム（ｆｐｓ）で動作する。一実施形態において、カメラ３０２は、ＴＶ３０１の走査電子ビーム（ｅ−ｂｅａｍ）を検出する。カメラ３０２によって撮影された画像データは、第１のプロセッサ３０３によって事前処理され、例えば従来技術における既知の方法を使用して、グレイスケール輪郭データに変換される。一実施形態において、８レベルのグレイスケールが使用される。
【００２８】
フレームバッファ３０４は、高速カメラ３０２から複数のフレームを記憶する。ＴＶビーコン３０１上に表示される画像は、カメラ３０２の動作速度よりも幾分遅いフレームレートでインターレースされたフレーム画像からなる。一実施形態において、ＴＶ３０１は、３０ｆｐｓのフレームレートで動作する。したがって、一実施形態において、バッファ３０４は、最新の４枚のフレームを記憶する。これら複数のフレームは、例えば、当該技術分野で既知の加算技術を使用して結合され、例えば、実質的にリアルタイム、又はほぼリアルタイムで、ＴＶ３０１上に表示される画像の有効な再構成を達成する。
【００２９】
再構成された画像は、幾らか歪みを有する場合がある。なぜなら、カメラ３０２はリモートコントロールユニットに配置され、ユーザはリモートコントロールユニットを動かすことがあるからである。ただし、重要なことは、カメラ３０２を使用してＴＶビーコン３０１から取り込まれた画像は、例えばバッファ３０４を使用して、ナビゲーションシステム３００のメモリ上に有効に再構成されることである。したがって、そのような歪みはすべて、例えば、カメラを備えたリモートコントロールユニットを持つユーザの動きの向き、及び速度に関する情報源として使用される。
【００３０】
再構成された画像は、ナビゲーションエンジン３２５に入力される。一実施形態において、ナビゲーションエンジン３２５は、ビーコン（例えば、ＴＶ）位置判定エンティティ３０５、及びにじみ分析器３０６を含む。位置判定器３０５は、カメラ３０２の視野内のＴＶ３０１の絶対位置（ｘ，ｙ）を有効に測定する。
【００３１】
フレームバッファ３０４から入力された再構成画像は、例えばカメラ３０２を備えたリモートコントロールユニットの動きに関連してかなりの量のにじみデータを含む。このにじみデータはにじみ分析器３０６によって分析され、にじみ分析器３０６は、対応するにじみベクトル（ｄｘ，ｄｙ）を生成する。
【００３２】
ＴＶ３０１の絶対位置（ｘ、ｙ）、及び対応するにじみベクトル（ｄｘ，ｄｙ）は、第２のプロセッサ３０７に入力される。一実施形態において、プロセッサ３０７は、ストレージ３０８を利用して動作する。一実施形態において、ストレージ３０８は記憶装置である。一実施形態において、記憶装置３０８は、ランダムアクセスメモリ（ＲＡＭ）である。
【００３３】
プロセッサ３０７は、絶対位置データ（ｘ，ｙ）、及びにじみベクトル（ｄｘ，ｄｙ）を処理し、ＴＶビーコン３０１に基づくナビゲーション情報を生成する。このナビゲーション情報は、一実施形態において、プリプロセッサ３０３に渡される。また、一実施形態において、プロセッサ３０７によって生成されるこのナビゲーション情報は、制御信号に基づく有用なナビゲーションを提供する。
【００３４】
例えば、一実施形態において、プロセッサ３０７によって生成されたナビゲーション情報は、送信機３０９により、有線、及び／又は無線のインタフェース、及び媒体３１１を介して受信機３１０に送信される。受信機３１０は、そのナビゲーション情報を制御エンティティ３１２に渡す。
【００３５】
一実施形態において、制御エンティティ３１２は、例えば電子ゲーム用のコントローラである。電子ゲームに関連する画像は、ＴＶ３０１上に表示される。したがって、ＴＶビーコン３０１上に表示される画像は、そのナビゲーション情報に基づく制御信号によって制御される。
【００３６】
ある意味、本発明の実施形態は、人間の脳や目に似た動きをシミュレートするものと言える。例えば、比較的迅速な動きをする人の目は、ＴＶ３０１のラスタースキャンを見てとる。一方、人の脳は、視覚的に遅い動きをし、ラスタースキャンを無視して感覚的に「見る」ため、画像は、ラスタースキャンによって電子的に描かれたものになる。
【００３７】
システム３００も、同様に二重的である。つまり、高速カメラ３０２は、人の目と同様に電子ビームラスタースキャンを見てとる。バッファ３０４、及びプロセッサ３０７は、最新の４枚のフレームから画像を再構成し、その画像を用いてナビゲーションに関連する計算を実施する際に、人の脳に似た補助的機能を実施する。
【００３８】
本発明の実施形態、遠視野画像ナビゲーションセンシングのための方法、及びシステムについて説明してきた。本明細書は特定の実施形態を説明しているが、当然ながら、本発明がそれらの実施形態によって制限されることはなく、本発明の範囲は、添付の特許請求の範囲によって規定される。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態による、遠視野画像ナビゲーションセンシングのための例示的方法を示すフロー図である。
【図２】本発明の一実施形態による、遠視野画像ナビゲーションセンシングのためのコンピュータを利用した例示的システムを示す図である。
【図３】本発明の一実施形態による、遠視野画像ナビゲーションセンシングのための他の例示的実施形態を示す図である。
【符号の説明】
【００４０】
２０１ リモートビーコン
２０２ 画像取り込み装置
２０３ グレイスケール輪郭プロセッサ
２０４ フレームバッファ
２０５ 画像再構成装置
２０６ ビーコン位置測定モジュール
２０７ にじみ分析器
２０８ プロセッサ
２０９ 送信機
２１０ 受信機
２１１ コントローラ
【技術分野】
【０００１】
本発明は概して、電子機器の視野に関する。具体的には、本発明の実施形態は、画像ナビゲーションセンシングに関する。
【背景技術】
【０００２】
テレビ（ＴＶ）やコンピュータ化された装置のような電子メディアには、多くの近代的役割がある。中でも、そうした役割の中で最もポピュラーなものは、教育とエンタテイメントである。ＴＶ画面に表示される電子ゲームは、非常にポピュラーになっていて、産業上成功したそのようなメディアの典型であり、それらの役割を遂行するために非常に有効なことがある。
【０００３】
光源のコントラストを生かすために、ＴＶ画面を利用した電子ゲームの中には、暗い場所、すなわち、明かりの不十分な環境で使用されるものがある。例えば、ゲームプレイヤは、ソファ、椅子、クッション、あるいはカーペットなどの上にゆったりと座り、リモートコントロール装置を使用して、暗くした部屋の中でＴＶ画面に表示された電子ゲームと情報をやりとりする場合がある。
【０００４】
リモートコントロール・ゲームインタフェースによっては、ＴＶ画面に対するリモートコントロールユニットの相対位置を検出するカメラ装置を有するものがある。これにより、ゲームをコントロールするプロセッサに対する相対位置入力が可能になる。このようなゲーム態様では、入力を達成するための有効なナビゲーションビーコンとして、ＴＶ画面の相対輝度が使用される。
【０００５】
ゲームプレイヤ（例えば、ユーザ）がリモートコントロールユニットを動かすと、リモートコントロールユニットのカメラは、動いているように見える画像を「見て」、ＴＶ画面ビーコンから視覚的な動きを検出する。ゲームコントローラは、カメラ装置からの相対入力をピクセル、及び単位時間に換算する。しかしながら、ゲームプレイヤによるリモートコントロールユニットの高速な動きは、多少問題になることがある。リモートコントロールデバイスを高速に動かすと、連続したフレーム間におけるベクトル情報を使用した計算が難しくなる。
【０００６】
したがって、ゲームコントローラで使用される連続的相関アルゴリズム、及び関連プロセスでは、ＴＶ画面をビーコンとして使用し、自由空間における高速な絶対位置検出を達成することは難しいことがある。リモートコントロールユニットが元の位置に戻った場合でも、計算プロセスにおける誤差が原因で、コンソールは、ＴＶ画面画像がコンソールの中心に戻らないことがあり、そのため、同期が失われることがある。これは通常、ユーザの予想に反するものであり、ユーザのゲーム体験に悪影響を及ぼすことがある。
【０００７】
遠視野画像ナビゲーションセンシングのための方法、及びシステムを開示する。本方法は、リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換するステップを含む。グレイスケール輪郭データを含む画像の複数のフレームがバッファリングされる。ビーコン画像は、ビーコン画像に関連するにじみ（ぼけ）データを含むこのバッファリングされたフレームから再構成（再現）される。バッファリングされたフレームから、ビーコンの位置が測定される。にじみデータを分析し、にじみ（ぼけ）ベクトルが生成される。ビーコン位置、及びにじみベクトルを処理することにより、ビーコンに基づくナビゲーション情報が生成される。
【発明の開示】
【課題を解決するための手段】
【０００８】
本発明は、一態様として、遠視野画像ナビゲーションセンシングのための方法を提供する。本方法は、リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換するステップと、前記グレイスケール輪郭データを含む前記画像の複数のフレームをバッファリングするステップと、前記ビーコン画像に関連するにじみデータを含む、バッファリングされた前記フレームから前記ビーコン画像を再構成するステップと、バッファリングされた前記フレームから前記ビーコンの位置を測定するステップと、前記にじみデータを分析し、にじみベクトルを生成するステップと、前記ビーコン位置、及び前記にじみベクトルを処理し、前記ビーコンに基づくナビゲーション情報を生成するステップとを含む。
【発明を実施するための最良の形態】
【０００９】
以下では、遠視野画像ナビゲーションセンシングのための方法及びシステムの例示的実施形態について説明する。まず、本発明の実施形態を詳細に参照する。実施形態の例は、添付の図面に描かれている。本発明は、下記の実施形態を例として説明されるが、当然ながら、それらの実施形態は、本発明を単一の形態に限定するためのものではない。むしろ出願人は、本発明の範囲に、添付の特許請求の範囲に規定される本発明の思想、及び範囲に含まれる代替、修正、及び均等実施形態も含めることを意図している。
【００１０】
また、本発明の例示的実施形態に関する下記の詳細な説明では、本発明を完全に理解してもらうために、多数の具体的詳細を記載する。しかしながら、当業者には明らかなように、本発明の実施形態は、それらの具体的詳細がなくても実施可能である。その他、本発明の態様を不必要に不明確にしないように、既知の装置、方法、システム、プロセス、手順、構成部品、回路、機器、プロトコル等について詳しい説明はしない。
【００１１】
詳細な説明の以下の部分は、プロセスを例として提供し、説明される。プロセスのブロック、及びその順序は、プロセス（例えば、プロセス１０）の動作を示すフロー図（例えば、図１）に開示されているが、それらのブロック、及び順序は、単なる例である。本発明の実施形態は、他のブロック、すなわちフロー図に記載されたブロックの変形を実施する場合にも、また、本明細書に記載されたもの以外の順番、順序で実施する場合にも、非常によく適合する。
【００１２】
一実施形態において、遠視野画像ナビゲーションセンシングのためのプロセスは、コンピュータを利用したシステムを用いて実施される。種々の実施形態において、遠視野画像ナビゲーションセンシングのためのプロセスを実施する手段は、種々のコンピュータ、及び撮像システム、装置、機器、及び通信媒体を含み、限定はしないが例えば、カメラその他の画像取り込み装置、テレビ、及び／又はコンピュータモニタ、無線及び／又は有線の媒体を含み、ソフトウェア、ハードウェア、ファームウェア、及び／又はそれらの組み合わせを含む。一実施形態において、そうしたプロセスは、コンピュータ読み取り可能媒体上（内）にエンコードされたコンピュータ読み取り可能コードの制御により、コンピュータを使用して実施される。
【００１３】
本発明の実施形態は、遠視野画像ナビゲーションセンシングのための方法、及びシステムに関する。一実施形態において、遠視野画像ナビゲーションセンシングのための方法は、リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換するステップを含む。グレイスケール輪郭データを含む画像の複数のフレームが、バッファリングされる。バッファリングされたフレームは、ビーコン画像に関連するにじみデータを含み、バッファリングされたフレームから、ビーコン画像が再構成される。バッファリングされたフレームからビーコンの位置が測定される。にじみデータを分析し、にじみベクトルが生成される。ビーコン位置、及びにじみベクトルを処理し、ビーコンに基づくナビゲーション情報が生成される。
【００１４】
したがって、リモートコントロールユニットが例えばゲームプレイヤによって高速に動かされた場合であっても、連続したフレーム間におけるベクトル情報を利用したナビゲーションセンシングが達成される。この高速な動きは、従来のアプローチでは、多少問題になる可能性がある。ゲームコントローラは、例えば、従来のようなＴＶ画面をビーコンとして使用した自由空間における高速な絶対位置検出の難しさを克服する。リモートコントロールユニットが元の位置に戻されたときにも、同期が維持される。なぜなら、従来、コンソールにおいてＴＶ画面画像がコンソールの中心に戻ることを妨げていた計算プロセスにおける誤差が低減されるからである。したがって、本発明の実施形態は、一般のユーザの期待に応え、ユーザのゲーム体験を促進させる。
【００１５】
例示的方法
図１は、本発明の一実施形態による、遠視野画像ナビゲーションセンシングのための例示的方法１０を示すフロー図である。方法１０は、ブロック１１から開始され、そこで、リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換する。
【００１６】
一実施形態において、リモートビーコンはテレビ（ＴＶ）画面である。一実施形態において、リモートビーコンはコンピュータモニタである。一実施形態において、リモートビーコンの画像は、高速カメラ、又は同様の画像取り込み装置によって撮影される。
【００１７】
ブロック１２では、グレイスケール輪郭データを含む画像の複数のフレームをバッファリングする。ブロック１３では、ビーコン画像に関連するにじみデータを含むそのバッファリングされたフレームからビーコン画像を再構成する。
【００１８】
ブロック１４では、バッファリングされたフレームからビーコンの位置を測定する。ブロック１５では、にじみデータを分析し、にじみベクトルを生成する。ブロック１６では、ビーコン位置、及びにじみベクトルを処理し、ビーコンに基づくナビゲーション情報を生成する。
【００１９】
任意選択のブロック１７では、そのナビゲーション情報をリモートデバイスに伝送する。種々の実施形態の伝送が、無線媒体、及び／又は有線媒体を介して実施される。任意選択のブロック１８では、ナビゲーション情報に基づいて制御機能を実施する。この制御機能は、例えばリモートモニタ上に表示された電子ゲームの制御に使用される。
【００２０】
例示的システム
図２は、本発明の一実施形態による、遠視野画像ナビゲーションセンシングのためのコンピュータを利用した例示的システム２００を示している。ＴＶ画面やコンピュータモニタのようなリモートビーコンからの画像は、画像取り込み装置２０２によって撮影される。画像取り込み装置２０２は、高速カメラ等の画像取り込み装置を含む場合がある。画像取り込み装置２０２により、システム２００にビーコン画像を入力することが可能になる。
【００２１】
システム２００は、ビーコン画像を受信するグレイスケール輪郭プロセッサ２０３を含む。グレイスケール輪郭プロセッサ２０３は、画像取り込み装置２０２から入力されたリモートビーコン画像２０１を処理し、グレイスケール輪郭データに変換する。
画像の複数のフレームにグレイスケール輪郭データが関連付けられ、フレームバッファ２０４にバッファリングされる。
【００２２】
画像再構成装置２０５は、にじみデータを含むそのバッファリングされたフレームからビーコン画像を再構成する。ビーコン位置測定モジュール２０６は、バッファリングされたフレーム中のグレイスケール輪郭データからビーコンの位置を測定する。にじみ（ぼけ）分析器２０７は、バッファリングされたフレーム中のにじみデータを分析し、対応するにじみベクトルを生成する。一実施形態において、ビーコン位置測定モジュール２０６、及びにじみ分析器２０７は、例えば、画像再構成装置２０５の機能の一部を含む場合がある。
【００２３】
プロセッサ２０８は、測定されたビーコン位置、及びにじみベクトルを処理し、リモートビーコン２０１に基づくナビゲーション情報を生成するとともに、グレイスケール輪郭プロセッサ２０３を制御する。
【００２４】
一実施形態において、プロセッサ２０８によって生成されたナビゲーション情報は、送信機２０９を使用して、媒体２１２を介して受信機２１０に送信される。一実施形態において、媒体２１２は有線媒体からなる。受信機２１０によって受信されたナビゲーション情報はコントローラ２１１に渡され、コントローラ２１１は、その情報に基づく制御機能を実施する。例えば、コントローラ２１１は、そのナビゲーション情報を使用して、リモートビーコン２０１上に表示されたゲームを制御する。
【００２５】
図３は、本発明の一実施形態による、遠視野画像ナビゲーションセンシングのための他の例示的システム３００を示している。システム３００は、マルチナビゲーションエンジン３２５を備えた高フレームレートのカメラ（又は、他の画像取り込み装置）を使用して、高速な絶対３軸トラッキングを達成することができる。
【００２６】
ナビゲーションエンジン３２５は、フレームバッファ３０４を利用して動作し、ＴＶ画面（又は、コンピュータモニタなど）をナビゲーションビーコンとして再構成する。有利なことに、システム３００は、にじんだビーコン画像から導出された情報も、ナビゲーション機能に使用する。システム３００は、ＴＶ３０１をナビゲーションビーコンとして使用し、自由空間における高速な絶対位置検出を有効に達成する。システム３００は、ＴＶ３０１画面上に表示された画像の一部を使用する。
【００２７】
カメラ３００は、高フレームレートで動作する。一実施形態において、カメラ３０２は、一秒あたり１２０フレーム（ｆｐｓ）で動作する。一実施形態において、カメラ３０２は、ＴＶ３０１の走査電子ビーム（ｅ−ｂｅａｍ）を検出する。カメラ３０２によって撮影された画像データは、第１のプロセッサ３０３によって事前処理され、例えば従来技術における既知の方法を使用して、グレイスケール輪郭データに変換される。一実施形態において、８レベルのグレイスケールが使用される。
【００２８】
フレームバッファ３０４は、高速カメラ３０２から複数のフレームを記憶する。ＴＶビーコン３０１上に表示される画像は、カメラ３０２の動作速度よりも幾分遅いフレームレートでインターレースされたフレーム画像からなる。一実施形態において、ＴＶ３０１は、３０ｆｐｓのフレームレートで動作する。したがって、一実施形態において、バッファ３０４は、最新の４枚のフレームを記憶する。これら複数のフレームは、例えば、当該技術分野で既知の加算技術を使用して結合され、例えば、実質的にリアルタイム、又はほぼリアルタイムで、ＴＶ３０１上に表示される画像の有効な再構成を達成する。
【００２９】
再構成された画像は、幾らか歪みを有する場合がある。なぜなら、カメラ３０２はリモートコントロールユニットに配置され、ユーザはリモートコントロールユニットを動かすことがあるからである。ただし、重要なことは、カメラ３０２を使用してＴＶビーコン３０１から取り込まれた画像は、例えばバッファ３０４を使用して、ナビゲーションシステム３００のメモリ上に有効に再構成されることである。したがって、そのような歪みはすべて、例えば、カメラを備えたリモートコントロールユニットを持つユーザの動きの向き、及び速度に関する情報源として使用される。
【００３０】
再構成された画像は、ナビゲーションエンジン３２５に入力される。一実施形態において、ナビゲーションエンジン３２５は、ビーコン（例えば、ＴＶ）位置判定エンティティ３０５、及びにじみ分析器３０６を含む。位置判定器３０５は、カメラ３０２の視野内のＴＶ３０１の絶対位置（ｘ，ｙ）を有効に測定する。
【００３１】
フレームバッファ３０４から入力された再構成画像は、例えばカメラ３０２を備えたリモートコントロールユニットの動きに関連してかなりの量のにじみデータを含む。このにじみデータはにじみ分析器３０６によって分析され、にじみ分析器３０６は、対応するにじみベクトル（ｄｘ，ｄｙ）を生成する。
【００３２】
ＴＶ３０１の絶対位置（ｘ、ｙ）、及び対応するにじみベクトル（ｄｘ，ｄｙ）は、第２のプロセッサ３０７に入力される。一実施形態において、プロセッサ３０７は、ストレージ３０８を利用して動作する。一実施形態において、ストレージ３０８は記憶装置である。一実施形態において、記憶装置３０８は、ランダムアクセスメモリ（ＲＡＭ）である。
【００３３】
プロセッサ３０７は、絶対位置データ（ｘ，ｙ）、及びにじみベクトル（ｄｘ，ｄｙ）を処理し、ＴＶビーコン３０１に基づくナビゲーション情報を生成する。このナビゲーション情報は、一実施形態において、プリプロセッサ３０３に渡される。また、一実施形態において、プロセッサ３０７によって生成されるこのナビゲーション情報は、制御信号に基づく有用なナビゲーションを提供する。
【００３４】
例えば、一実施形態において、プロセッサ３０７によって生成されたナビゲーション情報は、送信機３０９により、有線、及び／又は無線のインタフェース、及び媒体３１１を介して受信機３１０に送信される。受信機３１０は、そのナビゲーション情報を制御エンティティ３１２に渡す。
【００３５】
一実施形態において、制御エンティティ３１２は、例えば電子ゲーム用のコントローラである。電子ゲームに関連する画像は、ＴＶ３０１上に表示される。したがって、ＴＶビーコン３０１上に表示される画像は、そのナビゲーション情報に基づく制御信号によって制御される。
【００３６】
ある意味、本発明の実施形態は、人間の脳や目に似た動きをシミュレートするものと言える。例えば、比較的迅速な動きをする人の目は、ＴＶ３０１のラスタースキャンを見てとる。一方、人の脳は、視覚的に遅い動きをし、ラスタースキャンを無視して感覚的に「見る」ため、画像は、ラスタースキャンによって電子的に描かれたものになる。
【００３７】
システム３００も、同様に二重的である。つまり、高速カメラ３０２は、人の目と同様に電子ビームラスタースキャンを見てとる。バッファ３０４、及びプロセッサ３０７は、最新の４枚のフレームから画像を再構成し、その画像を用いてナビゲーションに関連する計算を実施する際に、人の脳に似た補助的機能を実施する。
【００３８】
本発明の実施形態、遠視野画像ナビゲーションセンシングのための方法、及びシステムについて説明してきた。本明細書は特定の実施形態を説明しているが、当然ながら、本発明がそれらの実施形態によって制限されることはなく、本発明の範囲は、添付の特許請求の範囲によって規定される。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態による、遠視野画像ナビゲーションセンシングのための例示的方法を示すフロー図である。
【図２】本発明の一実施形態による、遠視野画像ナビゲーションセンシングのためのコンピュータを利用した例示的システムを示す図である。
【図３】本発明の一実施形態による、遠視野画像ナビゲーションセンシングのための他の例示的実施形態を示す図である。
【符号の説明】
【００４０】
２０１ リモートビーコン
２０２ 画像取り込み装置
２０３ グレイスケール輪郭プロセッサ
２０４ フレームバッファ
２０５ 画像再構成装置
２０６ ビーコン位置測定モジュール
２０７ にじみ分析器
２０８ プロセッサ
２０９ 送信機
２１０ 受信機
２１１ コントローラ
【特許請求の範囲】
【請求項１】
遠視野画像ナビゲーションセンシングのための方法であって、
リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換するステップと、
前記グレイスケール輪郭データを含む前記画像の複数のフレームをバッファリングするステップと、
前記ビーコン画像に関連するにじみデータを含む、バッファリングされた前記フレームから前記ビーコン画像を再構成するステップと、
バッファリングされた前記フレームから前記ビーコンの位置を測定するステップと、
前記にじみデータを分析し、にじみベクトルを生成するステップと、
前記ビーコン位置、及び前記にじみベクトルを処理し、前記ビーコンに基づくナビゲーション情報を生成するステップと
を含む方法。
【請求項２】
前記リモートビーコンは、テレビ画面、及びコンピュータモニタのうちの少なくとも一方を含む、請求項１に記載の方法。
【請求項３】
前記ナビゲーション情報に基づく制御機能を実施するステップを更に含む、請求項１に記載の方法。
【請求項４】
前記ナビゲーション情報をリモートデバイスに伝送するステップを更に含む、請求項１に記載の方法。
【請求項５】
前記リモートデバイスは制御装置を含む、請求項４に記載の方法。
【請求項６】
前記リモートデバイスはゲームコントローラを含む、請求項５に記載の方法。
【請求項７】
前記ゲームコントローラはゲームをコントロールし、前記ゲームは、前記リモートビーコン上に表示される、請求項６に記載の方法。
【請求項８】
遠視野画像ナビゲーションセンシングのためのシステムであって、
リモートビーコンから画像情報を検出するための画像取り込み装置と、
前記画像取り込み装置に接続され、前記画像情報を処理し、グレイスケール輪郭データに変換する第１のプロセッサと、
前記第１のプロセッサに接続され、前記グレイスケール輪郭データを含む複数のフレームを記憶するバッファと、
前記バッファに接続され、前記グレイスケール輪郭データから前記ビーコンの位置を測定するビーコン位置分析器と、
前記ビーコン位置分析器、及び前記にじみ分析器に接続され、前記ビーコン位置、及び前記にじみベクトルを処理し、前記ビーコンに基づくナビゲーション情報を生成する第２のプロセッサと
を含むシステム。
【請求項９】
前記リモートビーコンは、テレビ画面、及びコンピュータモニタのうちの少なくとも一方を含む、請求項８に記載のシステム。
【請求項１０】
前記第２のプロセッサに接続され、前記処理に関連するデータを記憶するストレージコンポーネントを更に含む、請求項１に記載のシステム。
【請求項１１】
前記ストレージコンポーネントはメモリである、請求項１０に記載のシステム。
【請求項１２】
前記メモリは、ランダムアクセスメモリからなる、請求項１１に記載のシステム。
【請求項１３】
前記第２のプロセッサに接続され、前記ナビゲーション情報を送信する送信コンポーネントと、
前記送信コンポーネントに接続され、前記送信こんぽーねんとから前記ナビゲーション情報を受信する受信コンポーネントと、
前記受信コンポーネントを前記送信コンポーネントに接続するインタフェース媒体と
を更に含む、請求項８に記載のシステム。
【請求項１４】
前記インタフェース媒体は、有線媒体からなる、請求項１３に記載のシステム。
【請求項１５】
前記インタフェース媒体は、無線媒体からなる、請求項１３に記載のシステム。
【請求項１６】
前記受信コンポーネントに接続され、前記ナビゲーション情報に基づく制御機能を実施する制御装置を更に含む、請求項１３に記載のシステム。
【請求項１７】
前記制御装置は、ゲームコントローラからなる、請求項１６に記載のシステム。
【請求項１８】
前記ゲームコントローラは、ゲームをコントロールし、前記ゲームは、前記リモートビーコン上に表示される、請求項１７に記載のシステム。
【請求項１９】
コンピュータシステムを制御し、遠視野画像ナビゲーションセンシングのためのプロセスを実施させるためのコンピュータ使用可能コードがエンコードされたコンピュータ読み取り可能媒体であって、前記プロセスが、
リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換し、
前記グレイスケール輪郭データを含む前記画像の複数のフレームをバッファリングし、
前記ビーコン画像に関連するにじみデータを含む前記バッファリングされたフレームから前記ビーコン画像を再構成し、
バッファリングされた前記フレームから前記ビーコンの位置を測定し、
前記にじみデータを分析し、にじみベクトルを生成し、
前記ビーコン位置、及び前記にじみベクトルを処理し、前記ビーコンに基づくナビゲーション情報を生成することからなる、コンピュータ読み取り可能媒体。
【請求項２０】
遠視野画像ナビゲーションセンシングのためのシステムであって、
リモートビーコンからの画像を処理し、グレイスケール輪郭データに変換する手段と、
前記グレイスケール輪郭データを含む前記画像の複数のフレームをバッファリングする手段と、
前記ビーコン画像に関連するにじみデータを含むバッファリングされた前記フレームから前記ビーコン画像を再構成する手段と、
バッファリングされた前記フレームから前記ビーコンの位置を測定する手段と、
前記にじみデータを分析し、にじみベクトルを生成する手段と、
前記ビーコン位置、及び前記にじみベクトルを処理し、前記ビーコンに基づくナビゲーション情報を生成する手段と
を含むシステム。
【請求項１】
遠視野画像ナビゲーションセンシングのための方法であって、
リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換するステップと、
前記グレイスケール輪郭データを含む前記画像の複数のフレームをバッファリングするステップと、
前記ビーコン画像に関連するにじみデータを含む、バッファリングされた前記フレームから前記ビーコン画像を再構成するステップと、
バッファリングされた前記フレームから前記ビーコンの位置を測定するステップと、
前記にじみデータを分析し、にじみベクトルを生成するステップと、
前記ビーコン位置、及び前記にじみベクトルを処理し、前記ビーコンに基づくナビゲーション情報を生成するステップと
を含む方法。
【請求項２】
前記リモートビーコンは、テレビ画面、及びコンピュータモニタのうちの少なくとも一方を含む、請求項１に記載の方法。
【請求項３】
前記ナビゲーション情報に基づく制御機能を実施するステップを更に含む、請求項１に記載の方法。
【請求項４】
前記ナビゲーション情報をリモートデバイスに伝送するステップを更に含む、請求項１に記載の方法。
【請求項５】
前記リモートデバイスは制御装置を含む、請求項４に記載の方法。
【請求項６】
前記リモートデバイスはゲームコントローラを含む、請求項５に記載の方法。
【請求項７】
前記ゲームコントローラはゲームをコントロールし、前記ゲームは、前記リモートビーコン上に表示される、請求項６に記載の方法。
【請求項８】
遠視野画像ナビゲーションセンシングのためのシステムであって、
リモートビーコンから画像情報を検出するための画像取り込み装置と、
前記画像取り込み装置に接続され、前記画像情報を処理し、グレイスケール輪郭データに変換する第１のプロセッサと、
前記第１のプロセッサに接続され、前記グレイスケール輪郭データを含む複数のフレームを記憶するバッファと、
前記バッファに接続され、前記グレイスケール輪郭データから前記ビーコンの位置を測定するビーコン位置分析器と、
前記ビーコン位置分析器、及び前記にじみ分析器に接続され、前記ビーコン位置、及び前記にじみベクトルを処理し、前記ビーコンに基づくナビゲーション情報を生成する第２のプロセッサと
を含むシステム。
【請求項９】
前記リモートビーコンは、テレビ画面、及びコンピュータモニタのうちの少なくとも一方を含む、請求項８に記載のシステム。
【請求項１０】
前記第２のプロセッサに接続され、前記処理に関連するデータを記憶するストレージコンポーネントを更に含む、請求項１に記載のシステム。
【請求項１１】
前記ストレージコンポーネントはメモリである、請求項１０に記載のシステム。
【請求項１２】
前記メモリは、ランダムアクセスメモリからなる、請求項１１に記載のシステム。
【請求項１３】
前記第２のプロセッサに接続され、前記ナビゲーション情報を送信する送信コンポーネントと、
前記送信コンポーネントに接続され、前記送信こんぽーねんとから前記ナビゲーション情報を受信する受信コンポーネントと、
前記受信コンポーネントを前記送信コンポーネントに接続するインタフェース媒体と
を更に含む、請求項８に記載のシステム。
【請求項１４】
前記インタフェース媒体は、有線媒体からなる、請求項１３に記載のシステム。
【請求項１５】
前記インタフェース媒体は、無線媒体からなる、請求項１３に記載のシステム。
【請求項１６】
前記受信コンポーネントに接続され、前記ナビゲーション情報に基づく制御機能を実施する制御装置を更に含む、請求項１３に記載のシステム。
【請求項１７】
前記制御装置は、ゲームコントローラからなる、請求項１６に記載のシステム。
【請求項１８】
前記ゲームコントローラは、ゲームをコントロールし、前記ゲームは、前記リモートビーコン上に表示される、請求項１７に記載のシステム。
【請求項１９】
コンピュータシステムを制御し、遠視野画像ナビゲーションセンシングのためのプロセスを実施させるためのコンピュータ使用可能コードがエンコードされたコンピュータ読み取り可能媒体であって、前記プロセスが、
リモートビーコンからの画像を事前処理し、グレイスケール輪郭データに変換し、
前記グレイスケール輪郭データを含む前記画像の複数のフレームをバッファリングし、
前記ビーコン画像に関連するにじみデータを含む前記バッファリングされたフレームから前記ビーコン画像を再構成し、
バッファリングされた前記フレームから前記ビーコンの位置を測定し、
前記にじみデータを分析し、にじみベクトルを生成し、
前記ビーコン位置、及び前記にじみベクトルを処理し、前記ビーコンに基づくナビゲーション情報を生成することからなる、コンピュータ読み取り可能媒体。
【請求項２０】
遠視野画像ナビゲーションセンシングのためのシステムであって、
リモートビーコンからの画像を処理し、グレイスケール輪郭データに変換する手段と、
前記グレイスケール輪郭データを含む前記画像の複数のフレームをバッファリングする手段と、
前記ビーコン画像に関連するにじみデータを含むバッファリングされた前記フレームから前記ビーコン画像を再構成する手段と、
バッファリングされた前記フレームから前記ビーコンの位置を測定する手段と、
前記にじみデータを分析し、にじみベクトルを生成する手段と、
前記ビーコン位置、及び前記にじみベクトルを処理し、前記ビーコンに基づくナビゲーション情報を生成する手段と
を含むシステム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００８−５５１５５（Ｐ２００８−５５１５５Ａ）
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願番号】特願２００７−２１４６９１（Ｐ２００７−２１４６９１）
【出願日】平成１９年８月２１日（２００７．８．２１）
【出願人】（５０６０７６６０６）アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド (129)
【Ｆターム（参考）】
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願日】平成１９年８月２１日（２００７．８．２１）
【出願人】（５０６０７６６０６）アバゴ・テクノロジーズ・ジェネラル・アイピー（シンガポール）プライベート・リミテッド (129)
【Ｆターム（参考）】
[ Back to top ]