光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けするシステムおよび方法
【課題】同じビーコンクラスタが、画像データの取り込みフレーム内のビーコンクラスタを識別し、ラベル付けするシステムおよび方法を提供する。
【解決手段】光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けするシステムおよび方法は、画像データの現在のフレーム内の特徴クラスタと画像データの前のフレーム内の特徴クラスタとの間の距離を使用し、画像データの現在のフレーム内の特徴クラスタと相関関係を有する画像データの前のフレーム内の特徴クラスタと関連付けられている識別子で、画像データの現在のフレーム内の特徴クラスタにラベル付けする。
【解決手段】光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けするシステムおよび方法は、画像データの現在のフレーム内の特徴クラスタと画像データの前のフレーム内の特徴クラスタとの間の距離を使用し、画像データの現在のフレーム内の特徴クラスタと相関関係を有する画像データの前のフレーム内の特徴クラスタと関連付けられている識別子で、画像データの現在のフレーム内の特徴クラスタにラベル付けする。
【発明の詳細な説明】
【背景技術】
【０００１】
典型的な光学ナビゲーションのシステムでは、画像データのフレームを順次取り込み、比較して、光学ナビゲーションシステムに対するフレーム内の特徴の変位を追跡する。これらのフレーム内の特徴の相対的変位を使って、光学ナビゲーションシステムに対する特徴の動き、または特徴に対する光学ナビゲーションシステムの動きを推定することができる。用途によっては、これらの特徴は、光学ナビゲーションの基準点として取り込まれ、使用されるビーコン（赤外線源など）とすることができる。この種の光学ナビゲーション法を、本明細書では、ビーコンベースのナビゲーション法と呼ぶ。ビーコンベースのナビゲーション法は、現在、コンピュータゲームシステムにおいて、ゲームシステムのために遠隔操作装置の動きを追跡するのに使用されている。
【０００２】
ビーコンベースのナビゲーション法では、取り込みフレーム間のビーコンクラスタの任意の変位を推定するために、画像データの取り込みフレーム内の画像化ビーコンまたはビーコンクラスタが特徴クラスタとして識別され、ラベル付けされる。ビーコン源は、普通は静止状態であり、したがって、光学ナビゲーションシステムの相対的動きを判定するための基準点として使用される。画像データの取り込みフレーム内のビーコンクラスタを識別する従来のプロセスでは、画像フレームの各画素を調べて、その画素がビーコンクラスタに属するかどうか判定する。このプロセスの間に、それぞれのビーコンクラスタに、異なるビーコンクラスタを区別する番号でラベル付けする。しかしながら、これらビーコンクラスタのラベル番号は、画像データのあるフレームから次のフレームまでのビーコンクラスタの変位により、画像データの異なるフレーム間では一致しないこともある。したがって、同じビーコンクラスタが、画像データの異なるフレームでは、同じ番号でラベル付けされないこともあり、このために、光学ナビゲーションシステムの相対的位置を計算する際に誤差を生じることになる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、同じビーコンクラスタが、画像データの異なるフレームにおいて、同じ識別子、例えば番号などでより一貫してラベル付けされるように、画像データの取り込みフレーム内のビーコンクラスタを識別し、ラベル付けするシステムおよび方法が求められている。
【課題を解決するための手段】
【０００４】
光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けするシステムおよび方法は、画像データの現在のフレーム内の特徴クラスタと画像データの前のフレーム内の特徴クラスタとの間の距離を使用し、画像データの現在のフレーム内の特徴クラスタと相関関係を有する画像データの前のフレーム内の特徴クラスタと関連付けられている識別子で、画像データの現在のフレーム内の特徴クラスタにラベル付けする。このシステムおよび方法は、画像データの現在のフレームと前のフレーム内の同じ特徴クラスタを、光学ナビゲーションのために識別し、使用することを可能にする。
【０００５】
本発明の一実施形態による、光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けする方法は、画像データの現在のフレーム内の現在の特徴クラスタを識別するステップと、画像データの現在のフレーム内の現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、現在の特徴クラスタと前の特徴クラスタとの間の距離に基づいて相関させるステップと、現在の特徴クラスタのそれぞれに、その現在の特徴クラスタと相関関係を有する前の特徴クラスタの１つと関連付けられている識別子でラベル付けするステップとを備える。
【０００６】
本発明の別の実施形態による、光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けする方法は、画像データの現在のフレーム内の現在の特徴クラスタを識別するステップと、画像データの現在のフレーム内の現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、現在の特徴クラスタと前の特徴クラスタとの間の距離に基づいて相関させるステップであり、現在の特徴クラスタの各現在の特徴クラスタを、その現在の特徴クラスタに最も近い前の特徴クラスタの１つと関連付けること、および現在の特徴クラスタの特定の現在の特徴クラスタを、前の特徴クラスタの関連する前の特徴クラスタと相関させることを含み、特定の現在の特徴クラスタと関連する前の特徴クラスタとの間の距離が、どんな関連する現在の特徴クラスタと前の特徴クラスタとの間でも最長距離である、ステップと、現在の特徴クラスタのそれぞれに、その現在の特徴クラスタと相関関係を有する前の特徴クラスタの１つと関連付けられている識別子でラベル付けするステップとを備える。
【０００７】
本発明の一実施形態による、光学ナビゲーションのシステムは、画像センサと、ナビゲーションエンジンとを備える。画像センサは、画像データのフレームを取り込むように構成されている。ナビゲーションエンジンは、画像センサに動作可能に接続されている。ナビゲーションエンジンは、画像データの現在のフレーム内の現在の特徴クラスタを識別し、画像データの現在のフレーム内の現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、現在の特徴クラスタと前の特徴クラスタとの間の距離に基づいて相関させるように構成されている。ナビゲーションエンジンは、さらに、現在の特徴クラスタのそれぞれに、その現在の特徴クラスタと相関関係を有する前の特徴クラスタの１つと関連付けられている識別子でラベル付けするように構成されている。
【０００８】
本発明の別の態様および利点は、以下の詳細な説明を、本発明の原理の例として示す添付の図面と併せて読めば明らかになる。
【発明を実施するための最良の形態】
【０００９】
図１を参照して、本発明の一実施形態による光学ナビゲーションシステム１００を説明する。本実施形態では、光学ナビゲーションシステム１００は、画像データの取り込みフレーム内の画像化ビーコンを使ってナビゲートするように動作する。すなわち、光学ナビゲーションシステム１００は、光学ナビゲーションにビーコンベースのナビゲーション法を使用する。したがって、光学ナビゲーションシステム１００は、動作に際して、画像データの取り込みフレームを、画像化ビーコン源である取り込みフレーム内の特徴クラスタを識別し、ラベル付けするように処理する。本明細書では、これらの特徴クラスタを、ビーコンクラスタまたは単にクラスタともいう。以下でより詳細に説明するように、光学ナビゲーションシステム１００は、画像データの取り込みフレーム内の特徴クラスタを、画像データの異なるフレームについて、同じ特徴クラスタが、同じ識別子、例えば、番号、文字、シンボル、またはこれらの任意の組み合わせなどを用いて、より一貫してラベル付けされるようにラベル付けする。
【００１０】
図１に示すように、光学ナビゲーションシステム１００は、コントローラユニット１０２と、ビーコンユニット１０４と、表示装置１０６と、コンソールユニット１０８とを含む。いくつかの実施形態では、コンソールユニット１０８は、従来の配線を使って表示装置１０６に結合されている。代替として、別の有線または無線接続が実施されてもよい。いくつかの実施形態では、コントローラユニット１０２およびコンソールユニット１０８は、ゲームシステムの一部である。代替として、光学ナビゲーションシステム１００は、別種のシステムを実施するのに使用されてもよい。例えば、光学ナビゲーションシステム１００の実施形態の中には、コンピュータシステムのアクセス可能なユーザインターフェースを提供するのに使用されるものもある。
【００１１】
コントローラユニット１０２は、ビーコンユニット１０４に対するコントローラユニットの相対的位置を計算するように構成されている。コントローラユニット１０２は、ビーコンユニット１０４を基準として位置計算を行うように設計されている。ビーコンユニット１０４は、複数のビーコン光源１１０を含み、ビーコン光源は、コントローラユニット１０２により、コントローラユニットの相対的位置を計算するための基準点として使用される。一実施形態では、ビーコンユニット１０４のビーコン光源１１０は、赤外線（ＩＲ）、または発光ダイオード（ＬＥＤ）、レーザダイオード等の可視光源である。図示の実施形態では、ビーコンユニット１０４は、２つのビーコン光源１１０を含む。しかしながら、別の実施形態では、ビーコンユニット１０４は、３つ以上のビーコン光源を含んでもよい。コントローラユニット１０２は、画像データのフレーム内にビーコンユニット１０４のビーコン光源１１０を電子的に取り込むように動作する。次いで、コントローラユニット１０２は、画像データの取り込みフレームを、取り込みフレーム内の画像化ビーコン光源を識別し、ラベル付けするように処理する。画像データの取り込みフレーム間での画像化ビーコン光源位置の変化を使って、コントローラユニット１０２の、光学ナビゲーションシステム１００の座標系内での相対的位置を示す位置データが出力される。光学ナビゲーションシステム１００の座標系は、較正段階において確立され得る。出力位置データは、光学ナビゲーションシステムのＸ軸、Ｙ軸およびＺ軸に沿った、ｘ、ｙおよびｚの位置値とすることができる。代替として、出力位置データは、それぞれの軸に沿った変化または変位を表す、光学ナビゲーションシステム１００のＸ軸、Ｙ軸およびＺ軸に沿ったΔｘ、ΔｙおよびΔｚの値とすることもできる。
【００１２】
コントローラユニット１０２の位置データは、コンソールユニット１０８に送られる。コンソールユニット１０８は、特定用途で使用するために位置データを処理する。一例として、コンソールユニット１０８は、コントローラユニットから新しい位置データが受け取られる際のコントローラユニット１０２の動きに従って表示装置１０６上に表示されるグラフィック要素を操作するように構成されることができる。コンソールユニット１０８は、ゲームプログラムなど、１つまたは複数のコンピュータプログラムを走らせるコンピュータシステムとすることができる。本実施形態では、コンソールユニット１０８は、パーソナルコンピュータシステムで一般に見られる構成要素を含むことができる。
【００１３】
次に図２を見ると、本発明の一実施形態によるコントローラユニット１０２のブロック図が示されている。図示のコントローラユニット１０２は、デジタルプロセッサ２１２、メモリデバイス２１４、電源２１６、送受信器２１８、画像センサ２２０、ナビゲーションエンジン２２２、ランダムアクセスメモリ２２４、光学レンズ２２６、および光学フィルタ２２７および水晶発振器２２８を含む。図示の実施形態では、画像センサ２２０、ナビゲーションエンジン２２２およびＲＡＭ２２４は、集積回路（ＩＣ）２３０の一部である。しかしながら、別の実施形態では、画像センサ２２０、ナビゲーションエンジン２２２およびＲＡＭ２２４は、別個の構成要素として実施されてもよい。ＩＣ２３０は、１つまたは複数の信号線２３２を介してデジタルプロセッサ２１２に接続されており、これらの信号線には、アドレス、データおよび／または制御の信号線が含まれ得る。コントローラユニット１０２は、特定の構成要素を含むものとして示されているが、コントローラユニットは、別の構成要素を含んでもよい。例えば、コントローラユニット１０２の実施形態の中には、入力ボタン、ジョイスティックまたはゲームコントローラに通常使用される別のセレクタを含むものもある。コントローラユニット１０２の別の実施形態には、ユーザへの触覚または聴覚フィードバック信号を発生させるフィードバック信号発生器が含まれる。
【００１４】
いくつかの実施形態では、デジタルプロセッサ２１２は、マイクロプロセッサやマイクロコントローラなどの汎用プロセッサとすることもできる。別の実施形態では、デジタルプロセッサ２１２は、デジタル信号プロセッサなどの専用プロセッサとすることもできる。別の実施形態では、デジタルプロセッサ２１２は、別種のコントローラまたはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）とすることもできる。一般に、デジタルプロセッサ２１２は、コントローラユニット１０２の動作および機能を実施する。
【００１５】
メモリデバイス２１４は、コントローラユニット１０２の動作で使用するためのデータおよび／または命令を格納するように構成されている。いくつかの実施形態では、メモリデバイス２１４は、命令を格納し、これらの命令は、デジタルプロセッサ２１２によって実行されると、デジタルプロセッサに特定の動作を実行させる。同様に、若干の命令が、デジタルプロセッサ２１２に統合されたメモリに格納されてもよい。加えて、メモリデバイス２１４は、デジタルプロセッサ２１２および／またはナビゲーションエンジン２２２によって作成される位置データを格納してもよい。
【００１６】
一実施形態では、電源２１６は、デジタルプロセッサ２１２、ならびにコントローラユニット１０２の他の構成要素に、直流（ＤＣ）電気信号Ｖｃｃを提供する。電源２１６の実施形態の中には、１つまたは複数の電池を含むものもある。いくつかの実施形態では、電源２１６が、配線を介してコンソールユニット１０８から電力を受け取るものもある。同様に、水晶発振器２２８は、コントローラユニット１０２の構成要素の１つまたは複数に、クロック信号ＣＬＫを提供する。
【００１７】
送受信器２１８は、デジタルプロセッサ２１２に結合されており、コントローラユニット１０２からコンソールユニット１０８に、位置データ信号などの信号を送信するように構成されている。また、送受信器２１８は、コンソールユニット１０８から、制御信号、すなわちフィードバック信号を受け取るようにも構成されている。加えて、送受信器は、有線または無線通信を円滑化してもよい。例えば、送受信器２１８は、配線による接続を介してコンソールユニット１０８に電気信号を送ってもよい。代替として、送受信器２１８は、公知の無線データ伝送プロトコルを使って、無線周波数（ＲＦ）信号などの無線信号を送ってもよい。
【００１８】
画像センサ２２０は、やはりデジタルプロセッサ２１２に結合されており、画像データのフレームを取り込むように構成されている。画像センサ２２０は、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ配列や電荷結合素子（ＣＣＤ）画像センサ配列などの電子画像化センサ配列を含む。例えば、画像センサ２２０は、比較的低い解像度の画像データのフレームを取り込む３０×３０画素配列を含むことができる。しかしながら、画像センサ２２０の別の実施形態は、画像データのより高い解像度のフレームのためのより大きいサイズの画素配列または画像データのより低い解像度のフレームためのより小さいサイズの画素配列を含んでもよい。図示の実施形態では、画像センサ２２０は、光学レンズ２２６および光学フィルタ２２７と併用される。光学レンズ２２６は、画像の焦点を画像センサ２２０に合わせるのに使用される。光学フィルタ２２７は、望ましくない光を選択的に除去し、ビーコンユニット１０４のビーコン光源１１０からの光を選択的に送って、ビーコン光源１１０からの光が画像センサ２２０によって画像化されるようにするのに使用される。例えば、光学フィルタ２２７は、ＩＲまたはカラーフィルタとすることができる。しかしながら、別の実施形態では、光学レンズ２２６および／または光学フィルタ２２７を省略してもよく、複数の光学レンズおよび／または光学フィルタを実施してもよい。
【００１９】
図示の実施形態では、ナビゲーションエンジン２２２は、ＩＣ２３０上で画像センサ２２０およびＲＡＭ２２４と一体化されている。別の実施形態では、ナビゲーションエンジン２２２は、一部または全部が、デジタルプロセッサ２１２と一体化されてもよい。一般に、ナビゲーションエンジン２２２は、画像センサ２２０によって取り込まれた画像データのフレームを、コントローラユニット１０２に関する現在の位置データを算出し、出力するように処理する。この処理の間、ナビゲーションエンジン２２２は、画像データの取り込みフレーム内の特徴クラスタ、例えば、取り込みフレーム内の画像化ビーコン光源などの識別と仮のラベル付けを含む動作を行う。次いで、ナビゲーションエンジン２２２は、画像データの現在のフレームと前のフレーム内の同じ特徴クラスタが、同じ識別子でラベル付けされるように、特徴クラスタに再ラベル付けする。取り込みフレーム内の特徴クラスタが識別され、ラベル付けされた後、これらのクラスタを使って、コントローラユニットの位置データが算出される。
【００２０】
本発明の一実施形態による、特徴クラスタの識別と仮のラベル付けに関するナビゲーションエンジン２２２の動作を、一例として、図３の１０×１０センサ配列３００と、図４のプロセス流れ図とを参照して説明する。図３では、センサ配列３００は、画素のそれぞれに取り込みデータを含む。一実施形態では、センサ配列３００の画素内の各データは、その画素に取り込まれた輝度または強度の値である。したがって、この例では、画像データの取り込みフレームは１０×１０画素の画像フレームである。図３に示すように、取り込みフレームは、画像化ビーコン源を表し得る３つの特徴クラスタ３０２、３０４および３０６を含む。一実施形態では、画像データのフレームの画素は、その画素が所定の閾値より大きい輝度値を有する場合には、ある特徴クラスタに属するものとみなされる。以下でより詳細に説明するように、１つより多い特徴クラスタがあるものと仮定すると、ナビゲーションエンジン２２２は、まず、画素を、ある特徴クラスタに属するものとして識別し、次いで、その画素を、適正な特徴クラスタにラベル付けする。加えて、ナビゲーションエンジン２２２は、画像フレームの各画素が処理される際に、各特徴クラスタのパラメータ計算も行う。
【００２１】
図４に示すように、ナビゲーションエンジン２２２の動作は、ブロック４０２から開始し、そこで、図３のセンサ配列３００の次の画素からのデータが読み取られる。画素データが読み取られる画素は、ナビゲーションエンジン２２２によって処理されているセンサ配列３００の現在の画素である。画素データは、少なくとも、現在の画素の輝度値を含む。画素データは、センサ配列３００の最上行から始まって最下行まで、左から右へ読み取られる。したがって、最初に読み取られるべき画素データは、図３に示す画素（ｘ１，ｙ１）からのデータである。
【００２２】
次に、ブロック４０４で、現在の画素の画素輝度値が閾値より大きいかどうかが判定される。閾値より大きい輝度値を有する画素は、「クラスタ画素」または１つまたは複数の特徴クラスタに属する画素であるとみなされる。画素輝度値が閾値以下である場合、動作はブロック４２０に進む。画素輝度値が閾値より大きい場合、動作はブロック４０６に進む。
【００２３】
ブロック４０６で、現在の画素が既存の特徴クラスタに連結しているかどうかが判定される。この判定は、現在の画素の周りの近隣画素と関連付けられているラベル情報を調べることによって行われる。現在の画素の周りの近隣画素とは、現在の画素のすぐ隣にある画素である。いくつかの実施形態では、現在の画素が既存の特徴クラスタに連結しているかどうか判定するのに、現在の画素の選択された近隣画素だけが調べられる。一実施形態では、現在の画素の上にある近隣画素と、現在の画素の左隣にある近隣画素だけが調べられる。これは図５に示されており、図５には、現在の画素と近隣画素［１］、［２］、［３］および［４］が示されている。本実施形態では、現在の画素が既存の特徴クラスタに連結しているかどうかを判定するのに、左隣の近隣画素［１］、左上の近隣画素［２］、真上の近隣画素［３］および右上の近隣画素［４］だけが調べられる。したがって、ナビゲーションエンジン２２２は、現在の画素の近隣画素［１］、［２］、［３］および［４］に関するクラスタ情報を格納する必要がある。したがって、処理される各画素ごとに、その画素に関して同様に位置する近隣画素のクラスタ情報が格納され、アクセスされる必要がある。
【００２４】
図４に戻って、ブロック４０６で、現在の画素が既存の特徴クラスタに連結していないと判定された場合、動作はブロック４０８に進み、そこで、現在の画素が、新しい特徴クラスタに属するものとしてラベル付けされる。次いで、動作はブロック４１８に進む。しかしながら、ブロック４０６で、現在の画素が既存の特徴クラスタに連結していると判定された場合、動作はブロック４１０に進み、そこで、現在の画素が１つより多い特徴クラスタに連結しているかどうかが判定される。すなわち、近隣画素の２つ以上が異なる特徴クラスタに属しているかどうかが判定される。現在の画素がただ１つの特徴クラスタに連結している場合、動作はブロック４１４に進む。現在の画素が１つより多い特徴クラスタに連結している場合、ブロック４１２で、近隣画素のうちの異なる特徴クラスタ、および他の選択され、前に処理された画素が、同じ特徴クラスタとして再ラベル付けされる。すなわち、異なる特徴クラスタに属するものとしてラベル付けされている近隣画素および他の選択され、前に処理された画素が、同じ特徴クラスタに属するものとして再ラベル付けされる。一実施形態では、該当する場合には、現在の画素の上にある近隣画素と、現在の画素の左隣にある近隣画素と、右上の近隣画素の右側にある２つの近接する画素だけが再ラベル付けされる。これは図５に示されており、図５には、現在の画素と、近隣画素［１］、［２］、［３］および［４］と、近接する画素［５］および［６］が示されている。一実施形態では、異なる特徴クラスタが、近隣画素をラベル付けするのに使用される最初の既存の特徴クラスタとして再ラベル付けされる。次いで動作はブロック４１４に進む。
【００２５】
ブロック４１４で、現在の画素が、同じ既存の特徴クラスタに属するものとしてラベル付けされる。現在の画素がただ１つの既存の特徴クラスタだけに連結している場合、現在の画素は、その既存の特徴クラスタに属するものとしてラベル付けされる。現在の画素が、１つより多い既存の特徴クラスタに連結している場合、現在の画素は、再ラベル付けされた特徴クラスタに属するものとしてラベル付けされる。
【００２６】
次に、ブロック４１６で、現在の画素の既存の特徴クラスタが１つにまとめられる。次に、ブロック４１８で、現在の画素の特徴クラスタのパラメータ計算が行われる。一実施形態では、パラメータ計算は、ｔｏｔａｌ＿ｘ値、ｔｏｔａｌ＿ｙ値、ｐｉｘｅｌ＿ｃｏｕｎｔ値、ｂｏｕｎｄａｒｙ＿ｘ１値、ｂｏｕｎｄａｒｙ＿ｙ１値、ｂｏｕｎｄａｒｙ＿ｘ２値およびｂｏｕｎｄａｒｙ＿ｙ２値を含む。ｔｏｔａｌ＿ｘ値は、特徴クラスタに属する画素のｘ座標値の和である。ｔｏｔａｌ＿ｙ値は、特徴クラスタに属する画素のｙ座標値の和である。ｐｉｘｅｌ＿ｃｏｕｎｔ値は、特徴クラスタに属する画素の数である。ｂｏｕｎｄａｒｙ＿ｘ１値、ｂｏｕｎｄａｒｙ＿ｙ１値、ｂｏｕｎｄａｒｙ＿ｘ２値およびｂｏｕｎｄａｒｙ＿ｙ２値は、特徴クラスタの矩形境界値であり、これは、特徴クラスタに属する画素の、最小のｘ座標値とｙ座標値、すなわち、ｂｏｕｎｄａｒｙ＿ｘ１値とｂｏｕｎｄａｒｙ＿ｙ１値、ならびに最大のｘ座標値とｙ座標値、すなわち、ｂｏｕｎｄａｒｙ＿ｘ２値とｂｏｕｎｄａｒｙ＿ｙ２値を含む。
【００２７】
次に、ブロック４２０で、現在の画素がセンサ配列３００内の最後の画素であるかどうかが判定される。現在の画素が最後の画素でない場合、動作はブロック４０２に戻り、そこで次の画素が、処理されるべきセンサ配列から読み取られる。現在の画素が最後の画素である場合、動作はブロック４２２に進み、そこで、ナビゲーションを行うためにすべての特徴クラスタが報告される。
【００２８】
このプロセスの間に、各特徴クラスタの重心の座標が算出される。特徴クラスタの重心座標は、パラメータ計算の一部として算出されてもよい。代替として、特徴クラスタの重心座標は、画像データのフレームの画素が処理された後で、独立に算出されてもよい。算出された重心座標は、メモリデバイス２１４、ＲＡＭ２２４またはデジタルプロセッサ２１２の内部メモリに格納され得る。
【００２９】
特徴クラスタは、識別され、仮にラベル付けされた後、ナビゲーションエンジン２２２によって、画像データの現在のフレーム内の特徴クラスタが、前の特徴クラスタ内の同じ特徴クラスタと関連付けられている識別子でラベル付けされるように再ラベル付けされる。本明細書で説明するように、いくつかの実施形態では、再ラベル付けに使用される識別子は、前の特徴クラスタ内の特徴クラスタに使用された識別子である。しかしながら、別の実施形態では、再ラベル付けに使用される識別子は、前の特徴クラスタ内の特徴クラスタに対応する別の識別子とすることもできる。いくつかの実施形態では、画像データの現在のフレーム内の特徴クラスタと画像データの前のフレーム内の特徴クラスタとの間の距離を使って、画像データの現在のフレームと前のフレームの特徴クラスタを相関させる。現在のフレーム内の特徴クラスタと前のフレーム内の特徴クラスタとの間の距離は、現在のフレームと前のフレームが、２つの特徴クラスタが同じフレーム上にあるように重ね合わされた場合のそれら２つの特徴クラスタ間の距離であるとみなすことができる。相関関係にある特徴クラスタでは、画像データの前のフレーム内の相関関係にある特徴クラスタの識別子を使って、相関関係にある特徴クラスタが再ラベル付けされる。画像データの現在のフレーム内のどんな残りの特徴クラスタも、画像データの前のフレームで使用されていない識別子を使って再ラベル付けされる。特定の状況では、画像データの現在のフレーム内の残りの特徴クラスタが、その特徴クラスタの仮の識別子で再ラベル付けされてもよい。
【００３０】
一実施形態では、画像データの現在のフレーム内の特徴クラスタが、画像データの前のフレーム内の相関関係にある特徴クラスタの識別子を使ってその特徴クラスタに再ラベル付けするために、ナビゲーションエンジン２２２によって、前のフレーム内の最も近い特徴クラスタと相関される。最も近い特徴クラスタは、画像データの現在のフレーム内の特徴クラスタの重心と画像データの前のフレーム内の特徴クラスタの重心との間の距離を調べて最短距離を求めることによって見つけてもよい。次いで、画像データの前のフレーム内の最も近い特徴クラスタの識別子が、画像データの現在のフレーム内の相関関係にある特徴クラスタの識別子として使用される。前のフレーム内の特定の特徴クラスタが現在のフレーム内の特定の特徴クラスタの最も近い特徴クラスタとして使用された後では、それら特定の特徴クラスタは、現在のフレーム内の他のどんな特徴クラスタに再ラベル付けする際にも考察されない。このように、画像データの現在のフレーム内の各特徴クラスタを、画像データの前のフレーム内の最も近い特徴クラスタと相関させ、その最も近い特徴クラスタの識別子を使って再ラベル付けすることができる。
【００３１】
いくつかの実施形態では、現在のフレーム内の特徴クラスタと前のフレーム内の最も近い特徴クラスタが、まず、再ラベル付けされる。次いで、現在のフレーム内の特徴クラスタと前のフレーム内の次に近い特徴クラスタが再ラベル付けされる。現在のフレーム内のどんな残りの特徴クラスタも、同様に順次再ラベル付けされる。別の実施形態では、現在のフレーム内の特徴クラスタが、所定の順序で処理される。例えば、現在のフレーム内の特徴クラスタは、特徴クラスタの仮の識別子によって決まる順序で再ラベル付けされてもよい。この例では、識別子「１」を使って仮にラベル付けされている現在のフレーム内の特徴クラスタが最初に再ラベル付けされ、続いて、識別子「２」を使って仮にラベル付けされている特徴クラスタが再ラベル付けされる。現在のフレーム内のどんな残りの特徴クラスタも、同様に順次再ラベル付けされる。
【００３２】
本発明の一実施形態による、画像データの前のフレーム内の最も近い特徴クラスタを使って画像データの現在のフレーム内の特徴クラスタに再ラベル付けするプロセスを、例として図６Ａ〜６Ｄを用いて説明する。この例では、画像フレームＦ１、Ｆ２、Ｆ３、およびＦ４などの画像データのフレーム内に取り込むことのできる、４つのビーコン光源Ａ、Ｂ、ＣおよびＤがある。この例では、コントローラユニット１０２の画像センサ２２０が、ビーコン光源Ａ、Ｂ、ＣおよびＤに対して、矢印６００で示すように、正のＸ方向に変位する際に、画像フレームＦ１、Ｆ２、Ｆ３、およびＦ４が連続して取り込まれる。
【００３３】
フレームＦ１では、ビーコン光源Ａの一部分だけが特徴クラスタＡとして取り込まれる。フレームＦ１の画素が処理される際に、特徴クラスタＡは、仮に「１」としてラベル付けされる。前の画像フレーム内に特徴クラスタがなかったものと仮定すると、特徴クラスタＡは、同じ識別子「１」を使って再ラベル付けされる。
【００３４】
フレームＦ２では、ビーコン光源Ａ全体が、特徴クラスタＡとして取り込まれ、ビーコン光源Ｂの一部分が特徴クラスタＢとして取り込まれる。フレームＦ２の画素が処理される際に、特徴クラスタＡは、仮に「２」としてラベル付けされ、特徴クラスタＢは、仮に「１」としてラベル付けされる。しかしながら、現在のフレームＦ２内の特徴クラスタＡは、前のフレームＦ１内の特徴クラスタＡに最も近いため、現在のフレームＦ２内の特徴クラスタＡは、前のフレームＦ１内の特徴クラスタＡと同じ識別子である「１」として再ラベル付けされる。この例では、現在のフレームＦ２に２つの特徴クラスタＡおよびＢがあるため、識別子「１」および「２」を使って、特徴クラスタがラベル付けされる。現在のフレームＦ２内の特徴クラスタＡが「１」として再ラベル付けされるため、現在のフレームＦ２内の特徴クラスタＢは、「２」として再ラベル付けされる。
【００３５】
フレームＦ３では、ビーコン光源ＡおよびＢの全体が、それぞれ、特徴クラスタＡおよびＢとして取り込まれ、ビーコン光源Ｃの一部分が、特徴クラスタＣとして取り込まれる。フレームＦ３の画素が処理される際に、特徴クラスタＡ、ＢおよびＣは、それぞれ、仮に「３」、「１」および「２」としてラベル付けされる。しかしながら、現在のフレームＦ３内の特徴クラスタＡは、前のフレームＦ２内の特徴クラスタＡに最も近いため、現在のフレームＦ３内の特徴クラスタＡは、前のフレームＦ２内の特徴クラスタＡと同じ識別子である「１」として再ラベル付けされる。同様に、現在のフレームＦ３内の特徴クラスタＢは、前のフレームＦ２内の特徴クラスタＢに最も近いため、現在のフレームＦ３内の特徴クラスタＢは、前のフレームＦ２内の特徴クラスタＢと同じ識別子である「２」として再ラベル付けされる。識別子「３」だけが残されるため、現在のフレームＦ３内の特徴クラスタＣは、「３」として再ラベル付けされる。
【００３６】
フレームＦ４では、ビーコン光源Ａ、ＢおよびＣの全体が、それぞれ、特徴クラスタＡ、ＢおよびＣとして取り込まれ、ビーコン光源Ｄの一部分が特徴クラスタＤとして取り込まれる。フレームＦ４の画素が処理される際に、特徴クラスタＡ、Ｂ、ＣおよびＤは、それぞれ、仮に「４」、「１」、「３」および「２」としてラベル付けされる。しかしながら、現在のフレームＦ４内の特徴クラスタＡは、前のフレームＦ３内の特徴クラスタＡに最も近いため、現在のフレームＦ４内の特徴クラスタＡは、前のフレームＦ３内の特徴クラスタＡと同じ識別子である「１」として再ラベル付けされる。同様に、現在のフレームＦ４内の特徴クラスタＢは、前のフレームＦ３内の特徴クラスタＢに最も近いため、現在のフレームＦ４内の特徴クラスタＢは、前のフレームＦ３内の特徴クラスタＢと同じ識別子である「２」として再ラベル付けされる。同様に、現在のフレームＦ４内の特徴クラスタＣは、前のフレームＦ３内の特徴クラスタＣに最も近いため、現在のフレームＦ４内の特徴クラスタＣは、前のフレームＦ３内の特徴クラスタＣと同じ識別子である「３」として再ラベル付けされる。識別子「４」だけが残されるため、現在のフレームＦ３内の特徴クラスタＤは、「４」として再ラベル付けされる。
【００３７】
以下の表に、フレームＦ１、Ｆ２、Ｆ３およびＦ４内の特徴クラスタＡ、Ｂ、ＣおよびＤの仮の識別子と、最終的な識別子を示す。左の番号は、個々の特徴クラスタの仮の識別子である。右の番号は、個々の特徴クラスタの最終的な識別子である。
【００３８】
【表１】
【００３９】
前述の、前の画像フレーム内の最も近い特徴クラスタを使って現在の画像フレーム内の特徴クラスタに再ラベル付けするプロセスは、現在の画像フレームと前の画像フレームとの間の変位が小さいときには、うまく働く。しかしながら、現在の画像フレームと前の画像フレームとの間の変位が大きいときには、再ラベル付けプロセスの間にラベル付けエラーが導入されて、現在の画像フレームと前の画像フレームの同じ特徴クラスタが異なる識別子で再ラベル付けされ、ナビゲーションエラーが生じることになる。
【００４０】
例えば、図７には、８つの特徴クラスタＡ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２およびＤ２がある。特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１は、画像データの現在のフレーム内の４つの互いに異なる特徴クラスタを表す。特徴クラスタＡ２、Ｂ２、Ｃ２およびＤ２は、画像データの前のフレーム内の同じ特徴クラスタを表す。すなわち、現在のフレーム内の特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１は、それぞれ、前のフレーム内の特徴クラスタＡ２、Ｂ２、Ｃ２およびＤ２と同じクラスタである。この例で、前の画像フレーム内の最も近い特徴クラスタを使った再ラベル付けプロセスが使用される場合、現在のフレーム内の特徴クラスタＢ１、Ｃ１およびＤ１は、それぞれ、前のフレーム内の特徴クラスタＡ２、Ｂ２およびＣ２の識別子を使って再ラベル付けされ、特徴クラスタＡ１は、特徴クラスタＤ２の識別子を使って再ラベル付けされることになる。したがって、現在のフレーム内の特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１は、前のフレーム内の特徴クラスタＡ２、Ｂ２、Ｃ２およびＤ２に関して誤ってラベル付けされることになる。
【００４１】
代替の実施形態では、画像データの現在のフレーム内の１つの特徴クラスタは、画像データの前のフレーム内の最も近い特徴クラスタと、これらの特徴クラスタ間の距離が、現在のフレーム内の他の特徴クラスタと前のフレーム内のそれぞれに最も近い特徴クラスタとの間の距離より大きい場合にのみ、ナビゲーションエンジン２２２により相関される。最も近い特徴クラスタは、画像データの現在のフレーム内の特徴クラスタの重心と、画像データの前のフレーム内の特徴クラスタの重心との間の距離を調べて最短距離を求めることによって見つけてもよい。次いで、画像データの前のフレーム内の最も近い特徴クラスタの識別子が、画像データの現在のフレーム内の対応する特徴クラスタの識別子として使用される。前のフレーム内の特定の特徴クラスタが、現在のフレーム内の特定の特徴クラスタの最も近い特徴クラスタとして使用された後では、それら特定の特徴クラスタは、現在のフレーム内の他のどんな特徴クラスタを再ラベル付けする際にも使用されない。このように、画像データの現在のフレーム内の各特徴クラスタを、画像データの前のフレーム内の正しい特徴クラスタと相関させ、その相関関係にある特徴クラスタの識別子を使って再ラベル付けすることができる。
【００４２】
本発明の代替の実施形態による、画像データの現在のフレーム内の特徴クラスタに再ラベル付けするこの第２のプロセスを、図８のプロセス流れ図を参照してさらに説明する。再ラベル付けプロセスはブロック８０２から開始し、そこで、現在のフレーム内の使用可能な現在の特徴クラスタが選択される。本明細書で使用する際、使用可能な特徴クラスタとは、再ラベル付けプロセスで利用可能である特徴クラスタである。一実施形態では、使用可能な現在の特徴クラスタの選択は、最低の仮の数値識別子を有する現在のフレーム内の特徴クラスタを使用することを含み得る。別の実施形態では、この選択は、別の所定の順序など、１つまたは複数の別の基準を使用することを含んでもよく、これには、不規則な順序も含まれ得る。
【００４３】
次に、ブロック８０４で、画像データの前のフレーム内の使用可能な前の特徴クラスタが選択される。一実施形態では、使用可能な前の特徴クラスタの選択は、最低の数値識別子を有する前のフレーム内の特徴クラスタを使用することを含み得る。別の実施形態では、この選択は、別の所定の順序など、１つまたは複数の別の基準を使用することを含んでもよく、これには、不規則な順序も含まれ得る。
【００４４】
次に、ブロック８０６で、選択された現在の特徴クラスタと選択された前の特徴クラスタとの間の距離の値が算出される。一実施形態では、算出される距離値は、選択された現在の特徴クラスタの重心と選択された前の特徴クラスタの重心との間の距離値である。
【００４５】
次に、ブロック８０８で、算出された距離値が最小距離値より小さいかどうかが判定される。最初は、最小距離値をデフォルト値とすることができる。算出された距離値が最小距離値より小さい場合、プロセスはブロック８１２に進む。しかしながら、算出された距離値が最小距離値より小さくない場合、プロセスは、ブロック８１０に進む。
【００４６】
ブロック８１０で、選択された前の特徴クラスタが最後の使用可能な前の特徴クラスタであるかどうかが判定される。そうでない場合、プロセスはブロック８０４に戻る。そうである場合、プロセスはブロック８１６に進む。
【００４７】
ブロック８１２で、算出された距離値が新しい最小距離値として設定される。したがって、次に、この算出された距離値に対応する前の特徴クラスタが、選択される現在の特徴クラスタの現在の最も近い前の特徴クラスタになる。
【００４８】
次に、ブロック８１４で、選択された前の特徴クラスタが、最後の使用可能な前の特徴クラスタであるかどうかが判定される。そうでない場合、プロセスはブロック８０４に戻る。そうである場合、プロセスはブロック８１６に進む。
【００４９】
ブロック８１６で、選択された現在の特徴クラスタが、最後の使用可能な現在の特徴クラスタであるかどうかが判定される。そうでない場合、プロセスはブロック８０２に戻る。そうである場合、プロセスは、ブロック８１８に進む。
【００５０】
ブロック８１８で、異なる現在の特徴クラスタの最終的な最小距離値の中から、最大距離値が見つけられる。各最小距離値は、現在のフレームと前のフレームにおいて相互に最も近い、特定の使用可能な現在の特徴クラスタと特定の使用可能な前の特徴クラスタの関連対に対応する。
【００５１】
次に、ブロック８２０で、最大距離値に対応する現在の特徴クラスタが、最大距離値に対応する前の特徴クラスタの識別子を使って再ラベル付けされる。
【００５２】
次に、ブロック８２２で、最大距離値に対応する現在の特徴クラスタと前の特徴クラスタが、「使用済み」とマークされる。したがって、これらの特徴クラスタは、もはや再ラベル付けプロセスでは使用できなくなる。
【００５３】
次に、ブロック８２４で、現在のフレーム内のすべての現在の特徴クラスタが再ラベル付けされているかどうかが判定される。そうでない場合、プロセスはブロック８０２に戻り、そこで、現在のフレーム内の別の特徴クラスタが、処理するために選択される。そうである場合、プロセスは終了する。
【００５４】
この第２の再ラベル付けプロセスを、例として、図７の特徴クラスタＡ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２およびＤ２を使って説明する。最初に、現在のフレーム内の特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１のそれぞれと、前のフレーム内の最も近い特徴クラスタとが、特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１のそれぞれと、特徴クラスタＡ２、Ｂ２、Ｃ２およびＤ２のそれぞれとの間の最小の距離を求めることによって関連付けられる。結果として、現在のフレーム内の特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１が、それぞれ、前のフレーム内の特徴クラスタＡ２、Ａ２、Ｂ２およびＣ２と関連付けられる。特徴クラスタＡ１とＡ２との間の距離は、特徴クラスタＡ１とＡ２との間の距離、特徴クラスタＢ１とＡ２との間の距離、特徴クラスタＣ１とＢ２との間の距離、および特徴クラスタＤ１とＣ２との間の距離の中の最大の距離であるため、特徴クラスタＡ１は、特徴クラスタＡ２の識別子で再ラベル付けされる。次いで、特徴クラスタＡ１およびＡ２が「使用済み」とマークされる。次いで、プロセスが、残りの使用可能な特徴クラスタＢ１、Ｃ１、Ｄ１、Ｂ２、Ｃ２およびＤ２について繰り返される。結果として、特徴クラスタＢ１が、特徴クラスタＢ２の識別子で再ラベル付けされる。次いで、同じプロセスが、残りの使用可能な特徴クラスタＣ１、Ｄ１、Ｃ２およびＤ２について繰り返される。結果として、特徴クラスタＣ１が、特徴クラスタＣ２の識別子で再ラベル付けされる。次いで、同じプロセスが、残りの使用可能な特徴クラスタＤ１およびＤ２について繰り返される。結果として、特徴クラスタＤ１が、特徴クラスタＤ２の識別子で再ラベル付けされる。
【００５５】
上記の再ラベル付けプロセスでは、関連する現在の特徴クラスタと前の特徴クラスタの対が、現在の特徴クラスタを選択し、次いで、選択された現在の特徴クラスタとすべての前の特徴クラスタとの間の距離を調べることによって見出される。しかしながら、別の実施形態では、関連する現在の特徴クラスタと前の特徴クラスタの対を、前の特徴クラスタを選択し、次いで、選択された前の特徴クラスタとすべての現在の特徴クラスタとの間の距離を調べることによって見出すこともできる。
【００５６】
いくつかの実施形態では、ナビゲーションエンジン２２２は、第１の再ラベル付けプロセスか第２の再ラベル付けプロセスのどちらかを実行してもよい。しかしながら、別の実施形態では、ナビゲーションエンジン２２２は、１つまたは複数の所定のパラメータに基づいて手動または自動で、第１の再ラベル付けプロセスと第２の再ラベル付けプロセスを切り換えてもよい。例えば、代替の実施形態による第２の再ラベル付けプロセスは、コントローラユニットが、高速で移動されているときに使用されることができる。
【００５７】
本発明の一実施形態による、光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けする方法を、図９のプロセス流れ図を参照して説明する。ブロック９０２で、画像データの現在のフレーム内の現在の特徴クラスタが識別される。次に、ブロック９０４で、画像データの現在のフレーム内の現在の特徴クラスタと画像データの前のフレーム内の前の特徴クラスタが、現在の特徴クラスタと前の特徴クラスタとの間の距離に基づいて相関される。次に、ブロック９０６で、現在の特徴クラスタのそれぞれが、その現在の特徴クラスタと相関関係を有する前の特徴クラスタの１つと関連付けられている識別子でラベル付けされる。
【００５８】
以上、本発明の特定の実施形態を説明し、図示してきたが、本発明は、以上で説明し、図示している部分の特定の形状または構成だけに限定すべきではない。本発明の範囲は、添付の特許請求の範囲およびその均等物によって定義されるべきである。
【図面の簡単な説明】
【００５９】
【図１】本発明の一実施形態による光学ナビゲーションシステムを示す図である。
【図２】図１の光学ナビゲーションシステムに含まれるコントローラユニットのブロック図である。
【図３】３つの特徴クラスタを有する画像データのフレームを含む１０×１０センサ配列を示す図である。
【図４】本発明の一実施形態による図１の光学ナビゲーションシステムに含まれるナビゲーションエンジンの動作のプロセス流れ図である。
【図５】本発明の一実施形態による、現在の画素を特徴クラスタに属するものとして仮にラベル付けするために調べられ、かつ／または処理される、現在の画素の近隣画素を示す図である。
【図６Ａ】本発明の一実施形態による再ラベル付けプロセスを例示する、画像データの異なるフレーム内の特徴クラスタを示す図である。
【図６Ｂ】本発明の一実施形態による再ラベル付けプロセスを例示する、画像データの異なるフレーム内の特徴クラスタを示す図である。
【図６Ｃ】本発明の一実施形態による再ラベル付けプロセスを例示する、画像データの異なるフレーム内の特徴クラスタを示す図である。
【図６Ｄ】本発明の一実施形態による再ラベル付けプロセスを例示する、画像データの異なるフレーム内の特徴クラスタを示す図である。
【図７】本発明の別の実施形態による再ラベル付けプロセスを例示する、画像データの現在のフレームと前のフレームの特徴クラスタの一例を示す図である。
【図８】本発明の代替の実施形態による再ラベル付けプロセスのプロセス流れ図である。
【図９】本発明の一実施形態による、光学ナビゲーションのために画像データのフレーム内のクラスタ画素にラベル付けする方法のプロセス流れ図である。
【符号の説明】
【００６０】
１００ 光学ナビゲーションシステム
１０２ コントローラユニット
１０４ ビーコンユニット
１０６ 表示装置
１０８ コンソールユニット
１１０ ビーコン光源
【背景技術】
【０００１】
典型的な光学ナビゲーションのシステムでは、画像データのフレームを順次取り込み、比較して、光学ナビゲーションシステムに対するフレーム内の特徴の変位を追跡する。これらのフレーム内の特徴の相対的変位を使って、光学ナビゲーションシステムに対する特徴の動き、または特徴に対する光学ナビゲーションシステムの動きを推定することができる。用途によっては、これらの特徴は、光学ナビゲーションの基準点として取り込まれ、使用されるビーコン（赤外線源など）とすることができる。この種の光学ナビゲーション法を、本明細書では、ビーコンベースのナビゲーション法と呼ぶ。ビーコンベースのナビゲーション法は、現在、コンピュータゲームシステムにおいて、ゲームシステムのために遠隔操作装置の動きを追跡するのに使用されている。
【０００２】
ビーコンベースのナビゲーション法では、取り込みフレーム間のビーコンクラスタの任意の変位を推定するために、画像データの取り込みフレーム内の画像化ビーコンまたはビーコンクラスタが特徴クラスタとして識別され、ラベル付けされる。ビーコン源は、普通は静止状態であり、したがって、光学ナビゲーションシステムの相対的動きを判定するための基準点として使用される。画像データの取り込みフレーム内のビーコンクラスタを識別する従来のプロセスでは、画像フレームの各画素を調べて、その画素がビーコンクラスタに属するかどうか判定する。このプロセスの間に、それぞれのビーコンクラスタに、異なるビーコンクラスタを区別する番号でラベル付けする。しかしながら、これらビーコンクラスタのラベル番号は、画像データのあるフレームから次のフレームまでのビーコンクラスタの変位により、画像データの異なるフレーム間では一致しないこともある。したがって、同じビーコンクラスタが、画像データの異なるフレームでは、同じ番号でラベル付けされないこともあり、このために、光学ナビゲーションシステムの相対的位置を計算する際に誤差を生じることになる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、同じビーコンクラスタが、画像データの異なるフレームにおいて、同じ識別子、例えば番号などでより一貫してラベル付けされるように、画像データの取り込みフレーム内のビーコンクラスタを識別し、ラベル付けするシステムおよび方法が求められている。
【課題を解決するための手段】
【０００４】
光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けするシステムおよび方法は、画像データの現在のフレーム内の特徴クラスタと画像データの前のフレーム内の特徴クラスタとの間の距離を使用し、画像データの現在のフレーム内の特徴クラスタと相関関係を有する画像データの前のフレーム内の特徴クラスタと関連付けられている識別子で、画像データの現在のフレーム内の特徴クラスタにラベル付けする。このシステムおよび方法は、画像データの現在のフレームと前のフレーム内の同じ特徴クラスタを、光学ナビゲーションのために識別し、使用することを可能にする。
【０００５】
本発明の一実施形態による、光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けする方法は、画像データの現在のフレーム内の現在の特徴クラスタを識別するステップと、画像データの現在のフレーム内の現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、現在の特徴クラスタと前の特徴クラスタとの間の距離に基づいて相関させるステップと、現在の特徴クラスタのそれぞれに、その現在の特徴クラスタと相関関係を有する前の特徴クラスタの１つと関連付けられている識別子でラベル付けするステップとを備える。
【０００６】
本発明の別の実施形態による、光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けする方法は、画像データの現在のフレーム内の現在の特徴クラスタを識別するステップと、画像データの現在のフレーム内の現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、現在の特徴クラスタと前の特徴クラスタとの間の距離に基づいて相関させるステップであり、現在の特徴クラスタの各現在の特徴クラスタを、その現在の特徴クラスタに最も近い前の特徴クラスタの１つと関連付けること、および現在の特徴クラスタの特定の現在の特徴クラスタを、前の特徴クラスタの関連する前の特徴クラスタと相関させることを含み、特定の現在の特徴クラスタと関連する前の特徴クラスタとの間の距離が、どんな関連する現在の特徴クラスタと前の特徴クラスタとの間でも最長距離である、ステップと、現在の特徴クラスタのそれぞれに、その現在の特徴クラスタと相関関係を有する前の特徴クラスタの１つと関連付けられている識別子でラベル付けするステップとを備える。
【０００７】
本発明の一実施形態による、光学ナビゲーションのシステムは、画像センサと、ナビゲーションエンジンとを備える。画像センサは、画像データのフレームを取り込むように構成されている。ナビゲーションエンジンは、画像センサに動作可能に接続されている。ナビゲーションエンジンは、画像データの現在のフレーム内の現在の特徴クラスタを識別し、画像データの現在のフレーム内の現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、現在の特徴クラスタと前の特徴クラスタとの間の距離に基づいて相関させるように構成されている。ナビゲーションエンジンは、さらに、現在の特徴クラスタのそれぞれに、その現在の特徴クラスタと相関関係を有する前の特徴クラスタの１つと関連付けられている識別子でラベル付けするように構成されている。
【０００８】
本発明の別の態様および利点は、以下の詳細な説明を、本発明の原理の例として示す添付の図面と併せて読めば明らかになる。
【発明を実施するための最良の形態】
【０００９】
図１を参照して、本発明の一実施形態による光学ナビゲーションシステム１００を説明する。本実施形態では、光学ナビゲーションシステム１００は、画像データの取り込みフレーム内の画像化ビーコンを使ってナビゲートするように動作する。すなわち、光学ナビゲーションシステム１００は、光学ナビゲーションにビーコンベースのナビゲーション法を使用する。したがって、光学ナビゲーションシステム１００は、動作に際して、画像データの取り込みフレームを、画像化ビーコン源である取り込みフレーム内の特徴クラスタを識別し、ラベル付けするように処理する。本明細書では、これらの特徴クラスタを、ビーコンクラスタまたは単にクラスタともいう。以下でより詳細に説明するように、光学ナビゲーションシステム１００は、画像データの取り込みフレーム内の特徴クラスタを、画像データの異なるフレームについて、同じ特徴クラスタが、同じ識別子、例えば、番号、文字、シンボル、またはこれらの任意の組み合わせなどを用いて、より一貫してラベル付けされるようにラベル付けする。
【００１０】
図１に示すように、光学ナビゲーションシステム１００は、コントローラユニット１０２と、ビーコンユニット１０４と、表示装置１０６と、コンソールユニット１０８とを含む。いくつかの実施形態では、コンソールユニット１０８は、従来の配線を使って表示装置１０６に結合されている。代替として、別の有線または無線接続が実施されてもよい。いくつかの実施形態では、コントローラユニット１０２およびコンソールユニット１０８は、ゲームシステムの一部である。代替として、光学ナビゲーションシステム１００は、別種のシステムを実施するのに使用されてもよい。例えば、光学ナビゲーションシステム１００の実施形態の中には、コンピュータシステムのアクセス可能なユーザインターフェースを提供するのに使用されるものもある。
【００１１】
コントローラユニット１０２は、ビーコンユニット１０４に対するコントローラユニットの相対的位置を計算するように構成されている。コントローラユニット１０２は、ビーコンユニット１０４を基準として位置計算を行うように設計されている。ビーコンユニット１０４は、複数のビーコン光源１１０を含み、ビーコン光源は、コントローラユニット１０２により、コントローラユニットの相対的位置を計算するための基準点として使用される。一実施形態では、ビーコンユニット１０４のビーコン光源１１０は、赤外線（ＩＲ）、または発光ダイオード（ＬＥＤ）、レーザダイオード等の可視光源である。図示の実施形態では、ビーコンユニット１０４は、２つのビーコン光源１１０を含む。しかしながら、別の実施形態では、ビーコンユニット１０４は、３つ以上のビーコン光源を含んでもよい。コントローラユニット１０２は、画像データのフレーム内にビーコンユニット１０４のビーコン光源１１０を電子的に取り込むように動作する。次いで、コントローラユニット１０２は、画像データの取り込みフレームを、取り込みフレーム内の画像化ビーコン光源を識別し、ラベル付けするように処理する。画像データの取り込みフレーム間での画像化ビーコン光源位置の変化を使って、コントローラユニット１０２の、光学ナビゲーションシステム１００の座標系内での相対的位置を示す位置データが出力される。光学ナビゲーションシステム１００の座標系は、較正段階において確立され得る。出力位置データは、光学ナビゲーションシステムのＸ軸、Ｙ軸およびＺ軸に沿った、ｘ、ｙおよびｚの位置値とすることができる。代替として、出力位置データは、それぞれの軸に沿った変化または変位を表す、光学ナビゲーションシステム１００のＸ軸、Ｙ軸およびＺ軸に沿ったΔｘ、ΔｙおよびΔｚの値とすることもできる。
【００１２】
コントローラユニット１０２の位置データは、コンソールユニット１０８に送られる。コンソールユニット１０８は、特定用途で使用するために位置データを処理する。一例として、コンソールユニット１０８は、コントローラユニットから新しい位置データが受け取られる際のコントローラユニット１０２の動きに従って表示装置１０６上に表示されるグラフィック要素を操作するように構成されることができる。コンソールユニット１０８は、ゲームプログラムなど、１つまたは複数のコンピュータプログラムを走らせるコンピュータシステムとすることができる。本実施形態では、コンソールユニット１０８は、パーソナルコンピュータシステムで一般に見られる構成要素を含むことができる。
【００１３】
次に図２を見ると、本発明の一実施形態によるコントローラユニット１０２のブロック図が示されている。図示のコントローラユニット１０２は、デジタルプロセッサ２１２、メモリデバイス２１４、電源２１６、送受信器２１８、画像センサ２２０、ナビゲーションエンジン２２２、ランダムアクセスメモリ２２４、光学レンズ２２６、および光学フィルタ２２７および水晶発振器２２８を含む。図示の実施形態では、画像センサ２２０、ナビゲーションエンジン２２２およびＲＡＭ２２４は、集積回路（ＩＣ）２３０の一部である。しかしながら、別の実施形態では、画像センサ２２０、ナビゲーションエンジン２２２およびＲＡＭ２２４は、別個の構成要素として実施されてもよい。ＩＣ２３０は、１つまたは複数の信号線２３２を介してデジタルプロセッサ２１２に接続されており、これらの信号線には、アドレス、データおよび／または制御の信号線が含まれ得る。コントローラユニット１０２は、特定の構成要素を含むものとして示されているが、コントローラユニットは、別の構成要素を含んでもよい。例えば、コントローラユニット１０２の実施形態の中には、入力ボタン、ジョイスティックまたはゲームコントローラに通常使用される別のセレクタを含むものもある。コントローラユニット１０２の別の実施形態には、ユーザへの触覚または聴覚フィードバック信号を発生させるフィードバック信号発生器が含まれる。
【００１４】
いくつかの実施形態では、デジタルプロセッサ２１２は、マイクロプロセッサやマイクロコントローラなどの汎用プロセッサとすることもできる。別の実施形態では、デジタルプロセッサ２１２は、デジタル信号プロセッサなどの専用プロセッサとすることもできる。別の実施形態では、デジタルプロセッサ２１２は、別種のコントローラまたはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）とすることもできる。一般に、デジタルプロセッサ２１２は、コントローラユニット１０２の動作および機能を実施する。
【００１５】
メモリデバイス２１４は、コントローラユニット１０２の動作で使用するためのデータおよび／または命令を格納するように構成されている。いくつかの実施形態では、メモリデバイス２１４は、命令を格納し、これらの命令は、デジタルプロセッサ２１２によって実行されると、デジタルプロセッサに特定の動作を実行させる。同様に、若干の命令が、デジタルプロセッサ２１２に統合されたメモリに格納されてもよい。加えて、メモリデバイス２１４は、デジタルプロセッサ２１２および／またはナビゲーションエンジン２２２によって作成される位置データを格納してもよい。
【００１６】
一実施形態では、電源２１６は、デジタルプロセッサ２１２、ならびにコントローラユニット１０２の他の構成要素に、直流（ＤＣ）電気信号Ｖｃｃを提供する。電源２１６の実施形態の中には、１つまたは複数の電池を含むものもある。いくつかの実施形態では、電源２１６が、配線を介してコンソールユニット１０８から電力を受け取るものもある。同様に、水晶発振器２２８は、コントローラユニット１０２の構成要素の１つまたは複数に、クロック信号ＣＬＫを提供する。
【００１７】
送受信器２１８は、デジタルプロセッサ２１２に結合されており、コントローラユニット１０２からコンソールユニット１０８に、位置データ信号などの信号を送信するように構成されている。また、送受信器２１８は、コンソールユニット１０８から、制御信号、すなわちフィードバック信号を受け取るようにも構成されている。加えて、送受信器は、有線または無線通信を円滑化してもよい。例えば、送受信器２１８は、配線による接続を介してコンソールユニット１０８に電気信号を送ってもよい。代替として、送受信器２１８は、公知の無線データ伝送プロトコルを使って、無線周波数（ＲＦ）信号などの無線信号を送ってもよい。
【００１８】
画像センサ２２０は、やはりデジタルプロセッサ２１２に結合されており、画像データのフレームを取り込むように構成されている。画像センサ２２０は、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ配列や電荷結合素子（ＣＣＤ）画像センサ配列などの電子画像化センサ配列を含む。例えば、画像センサ２２０は、比較的低い解像度の画像データのフレームを取り込む３０×３０画素配列を含むことができる。しかしながら、画像センサ２２０の別の実施形態は、画像データのより高い解像度のフレームのためのより大きいサイズの画素配列または画像データのより低い解像度のフレームためのより小さいサイズの画素配列を含んでもよい。図示の実施形態では、画像センサ２２０は、光学レンズ２２６および光学フィルタ２２７と併用される。光学レンズ２２６は、画像の焦点を画像センサ２２０に合わせるのに使用される。光学フィルタ２２７は、望ましくない光を選択的に除去し、ビーコンユニット１０４のビーコン光源１１０からの光を選択的に送って、ビーコン光源１１０からの光が画像センサ２２０によって画像化されるようにするのに使用される。例えば、光学フィルタ２２７は、ＩＲまたはカラーフィルタとすることができる。しかしながら、別の実施形態では、光学レンズ２２６および／または光学フィルタ２２７を省略してもよく、複数の光学レンズおよび／または光学フィルタを実施してもよい。
【００１９】
図示の実施形態では、ナビゲーションエンジン２２２は、ＩＣ２３０上で画像センサ２２０およびＲＡＭ２２４と一体化されている。別の実施形態では、ナビゲーションエンジン２２２は、一部または全部が、デジタルプロセッサ２１２と一体化されてもよい。一般に、ナビゲーションエンジン２２２は、画像センサ２２０によって取り込まれた画像データのフレームを、コントローラユニット１０２に関する現在の位置データを算出し、出力するように処理する。この処理の間、ナビゲーションエンジン２２２は、画像データの取り込みフレーム内の特徴クラスタ、例えば、取り込みフレーム内の画像化ビーコン光源などの識別と仮のラベル付けを含む動作を行う。次いで、ナビゲーションエンジン２２２は、画像データの現在のフレームと前のフレーム内の同じ特徴クラスタが、同じ識別子でラベル付けされるように、特徴クラスタに再ラベル付けする。取り込みフレーム内の特徴クラスタが識別され、ラベル付けされた後、これらのクラスタを使って、コントローラユニットの位置データが算出される。
【００２０】
本発明の一実施形態による、特徴クラスタの識別と仮のラベル付けに関するナビゲーションエンジン２２２の動作を、一例として、図３の１０×１０センサ配列３００と、図４のプロセス流れ図とを参照して説明する。図３では、センサ配列３００は、画素のそれぞれに取り込みデータを含む。一実施形態では、センサ配列３００の画素内の各データは、その画素に取り込まれた輝度または強度の値である。したがって、この例では、画像データの取り込みフレームは１０×１０画素の画像フレームである。図３に示すように、取り込みフレームは、画像化ビーコン源を表し得る３つの特徴クラスタ３０２、３０４および３０６を含む。一実施形態では、画像データのフレームの画素は、その画素が所定の閾値より大きい輝度値を有する場合には、ある特徴クラスタに属するものとみなされる。以下でより詳細に説明するように、１つより多い特徴クラスタがあるものと仮定すると、ナビゲーションエンジン２２２は、まず、画素を、ある特徴クラスタに属するものとして識別し、次いで、その画素を、適正な特徴クラスタにラベル付けする。加えて、ナビゲーションエンジン２２２は、画像フレームの各画素が処理される際に、各特徴クラスタのパラメータ計算も行う。
【００２１】
図４に示すように、ナビゲーションエンジン２２２の動作は、ブロック４０２から開始し、そこで、図３のセンサ配列３００の次の画素からのデータが読み取られる。画素データが読み取られる画素は、ナビゲーションエンジン２２２によって処理されているセンサ配列３００の現在の画素である。画素データは、少なくとも、現在の画素の輝度値を含む。画素データは、センサ配列３００の最上行から始まって最下行まで、左から右へ読み取られる。したがって、最初に読み取られるべき画素データは、図３に示す画素（ｘ１，ｙ１）からのデータである。
【００２２】
次に、ブロック４０４で、現在の画素の画素輝度値が閾値より大きいかどうかが判定される。閾値より大きい輝度値を有する画素は、「クラスタ画素」または１つまたは複数の特徴クラスタに属する画素であるとみなされる。画素輝度値が閾値以下である場合、動作はブロック４２０に進む。画素輝度値が閾値より大きい場合、動作はブロック４０６に進む。
【００２３】
ブロック４０６で、現在の画素が既存の特徴クラスタに連結しているかどうかが判定される。この判定は、現在の画素の周りの近隣画素と関連付けられているラベル情報を調べることによって行われる。現在の画素の周りの近隣画素とは、現在の画素のすぐ隣にある画素である。いくつかの実施形態では、現在の画素が既存の特徴クラスタに連結しているかどうか判定するのに、現在の画素の選択された近隣画素だけが調べられる。一実施形態では、現在の画素の上にある近隣画素と、現在の画素の左隣にある近隣画素だけが調べられる。これは図５に示されており、図５には、現在の画素と近隣画素［１］、［２］、［３］および［４］が示されている。本実施形態では、現在の画素が既存の特徴クラスタに連結しているかどうかを判定するのに、左隣の近隣画素［１］、左上の近隣画素［２］、真上の近隣画素［３］および右上の近隣画素［４］だけが調べられる。したがって、ナビゲーションエンジン２２２は、現在の画素の近隣画素［１］、［２］、［３］および［４］に関するクラスタ情報を格納する必要がある。したがって、処理される各画素ごとに、その画素に関して同様に位置する近隣画素のクラスタ情報が格納され、アクセスされる必要がある。
【００２４】
図４に戻って、ブロック４０６で、現在の画素が既存の特徴クラスタに連結していないと判定された場合、動作はブロック４０８に進み、そこで、現在の画素が、新しい特徴クラスタに属するものとしてラベル付けされる。次いで、動作はブロック４１８に進む。しかしながら、ブロック４０６で、現在の画素が既存の特徴クラスタに連結していると判定された場合、動作はブロック４１０に進み、そこで、現在の画素が１つより多い特徴クラスタに連結しているかどうかが判定される。すなわち、近隣画素の２つ以上が異なる特徴クラスタに属しているかどうかが判定される。現在の画素がただ１つの特徴クラスタに連結している場合、動作はブロック４１４に進む。現在の画素が１つより多い特徴クラスタに連結している場合、ブロック４１２で、近隣画素のうちの異なる特徴クラスタ、および他の選択され、前に処理された画素が、同じ特徴クラスタとして再ラベル付けされる。すなわち、異なる特徴クラスタに属するものとしてラベル付けされている近隣画素および他の選択され、前に処理された画素が、同じ特徴クラスタに属するものとして再ラベル付けされる。一実施形態では、該当する場合には、現在の画素の上にある近隣画素と、現在の画素の左隣にある近隣画素と、右上の近隣画素の右側にある２つの近接する画素だけが再ラベル付けされる。これは図５に示されており、図５には、現在の画素と、近隣画素［１］、［２］、［３］および［４］と、近接する画素［５］および［６］が示されている。一実施形態では、異なる特徴クラスタが、近隣画素をラベル付けするのに使用される最初の既存の特徴クラスタとして再ラベル付けされる。次いで動作はブロック４１４に進む。
【００２５】
ブロック４１４で、現在の画素が、同じ既存の特徴クラスタに属するものとしてラベル付けされる。現在の画素がただ１つの既存の特徴クラスタだけに連結している場合、現在の画素は、その既存の特徴クラスタに属するものとしてラベル付けされる。現在の画素が、１つより多い既存の特徴クラスタに連結している場合、現在の画素は、再ラベル付けされた特徴クラスタに属するものとしてラベル付けされる。
【００２６】
次に、ブロック４１６で、現在の画素の既存の特徴クラスタが１つにまとめられる。次に、ブロック４１８で、現在の画素の特徴クラスタのパラメータ計算が行われる。一実施形態では、パラメータ計算は、ｔｏｔａｌ＿ｘ値、ｔｏｔａｌ＿ｙ値、ｐｉｘｅｌ＿ｃｏｕｎｔ値、ｂｏｕｎｄａｒｙ＿ｘ１値、ｂｏｕｎｄａｒｙ＿ｙ１値、ｂｏｕｎｄａｒｙ＿ｘ２値およびｂｏｕｎｄａｒｙ＿ｙ２値を含む。ｔｏｔａｌ＿ｘ値は、特徴クラスタに属する画素のｘ座標値の和である。ｔｏｔａｌ＿ｙ値は、特徴クラスタに属する画素のｙ座標値の和である。ｐｉｘｅｌ＿ｃｏｕｎｔ値は、特徴クラスタに属する画素の数である。ｂｏｕｎｄａｒｙ＿ｘ１値、ｂｏｕｎｄａｒｙ＿ｙ１値、ｂｏｕｎｄａｒｙ＿ｘ２値およびｂｏｕｎｄａｒｙ＿ｙ２値は、特徴クラスタの矩形境界値であり、これは、特徴クラスタに属する画素の、最小のｘ座標値とｙ座標値、すなわち、ｂｏｕｎｄａｒｙ＿ｘ１値とｂｏｕｎｄａｒｙ＿ｙ１値、ならびに最大のｘ座標値とｙ座標値、すなわち、ｂｏｕｎｄａｒｙ＿ｘ２値とｂｏｕｎｄａｒｙ＿ｙ２値を含む。
【００２７】
次に、ブロック４２０で、現在の画素がセンサ配列３００内の最後の画素であるかどうかが判定される。現在の画素が最後の画素でない場合、動作はブロック４０２に戻り、そこで次の画素が、処理されるべきセンサ配列から読み取られる。現在の画素が最後の画素である場合、動作はブロック４２２に進み、そこで、ナビゲーションを行うためにすべての特徴クラスタが報告される。
【００２８】
このプロセスの間に、各特徴クラスタの重心の座標が算出される。特徴クラスタの重心座標は、パラメータ計算の一部として算出されてもよい。代替として、特徴クラスタの重心座標は、画像データのフレームの画素が処理された後で、独立に算出されてもよい。算出された重心座標は、メモリデバイス２１４、ＲＡＭ２２４またはデジタルプロセッサ２１２の内部メモリに格納され得る。
【００２９】
特徴クラスタは、識別され、仮にラベル付けされた後、ナビゲーションエンジン２２２によって、画像データの現在のフレーム内の特徴クラスタが、前の特徴クラスタ内の同じ特徴クラスタと関連付けられている識別子でラベル付けされるように再ラベル付けされる。本明細書で説明するように、いくつかの実施形態では、再ラベル付けに使用される識別子は、前の特徴クラスタ内の特徴クラスタに使用された識別子である。しかしながら、別の実施形態では、再ラベル付けに使用される識別子は、前の特徴クラスタ内の特徴クラスタに対応する別の識別子とすることもできる。いくつかの実施形態では、画像データの現在のフレーム内の特徴クラスタと画像データの前のフレーム内の特徴クラスタとの間の距離を使って、画像データの現在のフレームと前のフレームの特徴クラスタを相関させる。現在のフレーム内の特徴クラスタと前のフレーム内の特徴クラスタとの間の距離は、現在のフレームと前のフレームが、２つの特徴クラスタが同じフレーム上にあるように重ね合わされた場合のそれら２つの特徴クラスタ間の距離であるとみなすことができる。相関関係にある特徴クラスタでは、画像データの前のフレーム内の相関関係にある特徴クラスタの識別子を使って、相関関係にある特徴クラスタが再ラベル付けされる。画像データの現在のフレーム内のどんな残りの特徴クラスタも、画像データの前のフレームで使用されていない識別子を使って再ラベル付けされる。特定の状況では、画像データの現在のフレーム内の残りの特徴クラスタが、その特徴クラスタの仮の識別子で再ラベル付けされてもよい。
【００３０】
一実施形態では、画像データの現在のフレーム内の特徴クラスタが、画像データの前のフレーム内の相関関係にある特徴クラスタの識別子を使ってその特徴クラスタに再ラベル付けするために、ナビゲーションエンジン２２２によって、前のフレーム内の最も近い特徴クラスタと相関される。最も近い特徴クラスタは、画像データの現在のフレーム内の特徴クラスタの重心と画像データの前のフレーム内の特徴クラスタの重心との間の距離を調べて最短距離を求めることによって見つけてもよい。次いで、画像データの前のフレーム内の最も近い特徴クラスタの識別子が、画像データの現在のフレーム内の相関関係にある特徴クラスタの識別子として使用される。前のフレーム内の特定の特徴クラスタが現在のフレーム内の特定の特徴クラスタの最も近い特徴クラスタとして使用された後では、それら特定の特徴クラスタは、現在のフレーム内の他のどんな特徴クラスタに再ラベル付けする際にも考察されない。このように、画像データの現在のフレーム内の各特徴クラスタを、画像データの前のフレーム内の最も近い特徴クラスタと相関させ、その最も近い特徴クラスタの識別子を使って再ラベル付けすることができる。
【００３１】
いくつかの実施形態では、現在のフレーム内の特徴クラスタと前のフレーム内の最も近い特徴クラスタが、まず、再ラベル付けされる。次いで、現在のフレーム内の特徴クラスタと前のフレーム内の次に近い特徴クラスタが再ラベル付けされる。現在のフレーム内のどんな残りの特徴クラスタも、同様に順次再ラベル付けされる。別の実施形態では、現在のフレーム内の特徴クラスタが、所定の順序で処理される。例えば、現在のフレーム内の特徴クラスタは、特徴クラスタの仮の識別子によって決まる順序で再ラベル付けされてもよい。この例では、識別子「１」を使って仮にラベル付けされている現在のフレーム内の特徴クラスタが最初に再ラベル付けされ、続いて、識別子「２」を使って仮にラベル付けされている特徴クラスタが再ラベル付けされる。現在のフレーム内のどんな残りの特徴クラスタも、同様に順次再ラベル付けされる。
【００３２】
本発明の一実施形態による、画像データの前のフレーム内の最も近い特徴クラスタを使って画像データの現在のフレーム内の特徴クラスタに再ラベル付けするプロセスを、例として図６Ａ〜６Ｄを用いて説明する。この例では、画像フレームＦ１、Ｆ２、Ｆ３、およびＦ４などの画像データのフレーム内に取り込むことのできる、４つのビーコン光源Ａ、Ｂ、ＣおよびＤがある。この例では、コントローラユニット１０２の画像センサ２２０が、ビーコン光源Ａ、Ｂ、ＣおよびＤに対して、矢印６００で示すように、正のＸ方向に変位する際に、画像フレームＦ１、Ｆ２、Ｆ３、およびＦ４が連続して取り込まれる。
【００３３】
フレームＦ１では、ビーコン光源Ａの一部分だけが特徴クラスタＡとして取り込まれる。フレームＦ１の画素が処理される際に、特徴クラスタＡは、仮に「１」としてラベル付けされる。前の画像フレーム内に特徴クラスタがなかったものと仮定すると、特徴クラスタＡは、同じ識別子「１」を使って再ラベル付けされる。
【００３４】
フレームＦ２では、ビーコン光源Ａ全体が、特徴クラスタＡとして取り込まれ、ビーコン光源Ｂの一部分が特徴クラスタＢとして取り込まれる。フレームＦ２の画素が処理される際に、特徴クラスタＡは、仮に「２」としてラベル付けされ、特徴クラスタＢは、仮に「１」としてラベル付けされる。しかしながら、現在のフレームＦ２内の特徴クラスタＡは、前のフレームＦ１内の特徴クラスタＡに最も近いため、現在のフレームＦ２内の特徴クラスタＡは、前のフレームＦ１内の特徴クラスタＡと同じ識別子である「１」として再ラベル付けされる。この例では、現在のフレームＦ２に２つの特徴クラスタＡおよびＢがあるため、識別子「１」および「２」を使って、特徴クラスタがラベル付けされる。現在のフレームＦ２内の特徴クラスタＡが「１」として再ラベル付けされるため、現在のフレームＦ２内の特徴クラスタＢは、「２」として再ラベル付けされる。
【００３５】
フレームＦ３では、ビーコン光源ＡおよびＢの全体が、それぞれ、特徴クラスタＡおよびＢとして取り込まれ、ビーコン光源Ｃの一部分が、特徴クラスタＣとして取り込まれる。フレームＦ３の画素が処理される際に、特徴クラスタＡ、ＢおよびＣは、それぞれ、仮に「３」、「１」および「２」としてラベル付けされる。しかしながら、現在のフレームＦ３内の特徴クラスタＡは、前のフレームＦ２内の特徴クラスタＡに最も近いため、現在のフレームＦ３内の特徴クラスタＡは、前のフレームＦ２内の特徴クラスタＡと同じ識別子である「１」として再ラベル付けされる。同様に、現在のフレームＦ３内の特徴クラスタＢは、前のフレームＦ２内の特徴クラスタＢに最も近いため、現在のフレームＦ３内の特徴クラスタＢは、前のフレームＦ２内の特徴クラスタＢと同じ識別子である「２」として再ラベル付けされる。識別子「３」だけが残されるため、現在のフレームＦ３内の特徴クラスタＣは、「３」として再ラベル付けされる。
【００３６】
フレームＦ４では、ビーコン光源Ａ、ＢおよびＣの全体が、それぞれ、特徴クラスタＡ、ＢおよびＣとして取り込まれ、ビーコン光源Ｄの一部分が特徴クラスタＤとして取り込まれる。フレームＦ４の画素が処理される際に、特徴クラスタＡ、Ｂ、ＣおよびＤは、それぞれ、仮に「４」、「１」、「３」および「２」としてラベル付けされる。しかしながら、現在のフレームＦ４内の特徴クラスタＡは、前のフレームＦ３内の特徴クラスタＡに最も近いため、現在のフレームＦ４内の特徴クラスタＡは、前のフレームＦ３内の特徴クラスタＡと同じ識別子である「１」として再ラベル付けされる。同様に、現在のフレームＦ４内の特徴クラスタＢは、前のフレームＦ３内の特徴クラスタＢに最も近いため、現在のフレームＦ４内の特徴クラスタＢは、前のフレームＦ３内の特徴クラスタＢと同じ識別子である「２」として再ラベル付けされる。同様に、現在のフレームＦ４内の特徴クラスタＣは、前のフレームＦ３内の特徴クラスタＣに最も近いため、現在のフレームＦ４内の特徴クラスタＣは、前のフレームＦ３内の特徴クラスタＣと同じ識別子である「３」として再ラベル付けされる。識別子「４」だけが残されるため、現在のフレームＦ３内の特徴クラスタＤは、「４」として再ラベル付けされる。
【００３７】
以下の表に、フレームＦ１、Ｆ２、Ｆ３およびＦ４内の特徴クラスタＡ、Ｂ、ＣおよびＤの仮の識別子と、最終的な識別子を示す。左の番号は、個々の特徴クラスタの仮の識別子である。右の番号は、個々の特徴クラスタの最終的な識別子である。
【００３８】
【表１】
【００３９】
前述の、前の画像フレーム内の最も近い特徴クラスタを使って現在の画像フレーム内の特徴クラスタに再ラベル付けするプロセスは、現在の画像フレームと前の画像フレームとの間の変位が小さいときには、うまく働く。しかしながら、現在の画像フレームと前の画像フレームとの間の変位が大きいときには、再ラベル付けプロセスの間にラベル付けエラーが導入されて、現在の画像フレームと前の画像フレームの同じ特徴クラスタが異なる識別子で再ラベル付けされ、ナビゲーションエラーが生じることになる。
【００４０】
例えば、図７には、８つの特徴クラスタＡ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２およびＤ２がある。特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１は、画像データの現在のフレーム内の４つの互いに異なる特徴クラスタを表す。特徴クラスタＡ２、Ｂ２、Ｃ２およびＤ２は、画像データの前のフレーム内の同じ特徴クラスタを表す。すなわち、現在のフレーム内の特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１は、それぞれ、前のフレーム内の特徴クラスタＡ２、Ｂ２、Ｃ２およびＤ２と同じクラスタである。この例で、前の画像フレーム内の最も近い特徴クラスタを使った再ラベル付けプロセスが使用される場合、現在のフレーム内の特徴クラスタＢ１、Ｃ１およびＤ１は、それぞれ、前のフレーム内の特徴クラスタＡ２、Ｂ２およびＣ２の識別子を使って再ラベル付けされ、特徴クラスタＡ１は、特徴クラスタＤ２の識別子を使って再ラベル付けされることになる。したがって、現在のフレーム内の特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１は、前のフレーム内の特徴クラスタＡ２、Ｂ２、Ｃ２およびＤ２に関して誤ってラベル付けされることになる。
【００４１】
代替の実施形態では、画像データの現在のフレーム内の１つの特徴クラスタは、画像データの前のフレーム内の最も近い特徴クラスタと、これらの特徴クラスタ間の距離が、現在のフレーム内の他の特徴クラスタと前のフレーム内のそれぞれに最も近い特徴クラスタとの間の距離より大きい場合にのみ、ナビゲーションエンジン２２２により相関される。最も近い特徴クラスタは、画像データの現在のフレーム内の特徴クラスタの重心と、画像データの前のフレーム内の特徴クラスタの重心との間の距離を調べて最短距離を求めることによって見つけてもよい。次いで、画像データの前のフレーム内の最も近い特徴クラスタの識別子が、画像データの現在のフレーム内の対応する特徴クラスタの識別子として使用される。前のフレーム内の特定の特徴クラスタが、現在のフレーム内の特定の特徴クラスタの最も近い特徴クラスタとして使用された後では、それら特定の特徴クラスタは、現在のフレーム内の他のどんな特徴クラスタを再ラベル付けする際にも使用されない。このように、画像データの現在のフレーム内の各特徴クラスタを、画像データの前のフレーム内の正しい特徴クラスタと相関させ、その相関関係にある特徴クラスタの識別子を使って再ラベル付けすることができる。
【００４２】
本発明の代替の実施形態による、画像データの現在のフレーム内の特徴クラスタに再ラベル付けするこの第２のプロセスを、図８のプロセス流れ図を参照してさらに説明する。再ラベル付けプロセスはブロック８０２から開始し、そこで、現在のフレーム内の使用可能な現在の特徴クラスタが選択される。本明細書で使用する際、使用可能な特徴クラスタとは、再ラベル付けプロセスで利用可能である特徴クラスタである。一実施形態では、使用可能な現在の特徴クラスタの選択は、最低の仮の数値識別子を有する現在のフレーム内の特徴クラスタを使用することを含み得る。別の実施形態では、この選択は、別の所定の順序など、１つまたは複数の別の基準を使用することを含んでもよく、これには、不規則な順序も含まれ得る。
【００４３】
次に、ブロック８０４で、画像データの前のフレーム内の使用可能な前の特徴クラスタが選択される。一実施形態では、使用可能な前の特徴クラスタの選択は、最低の数値識別子を有する前のフレーム内の特徴クラスタを使用することを含み得る。別の実施形態では、この選択は、別の所定の順序など、１つまたは複数の別の基準を使用することを含んでもよく、これには、不規則な順序も含まれ得る。
【００４４】
次に、ブロック８０６で、選択された現在の特徴クラスタと選択された前の特徴クラスタとの間の距離の値が算出される。一実施形態では、算出される距離値は、選択された現在の特徴クラスタの重心と選択された前の特徴クラスタの重心との間の距離値である。
【００４５】
次に、ブロック８０８で、算出された距離値が最小距離値より小さいかどうかが判定される。最初は、最小距離値をデフォルト値とすることができる。算出された距離値が最小距離値より小さい場合、プロセスはブロック８１２に進む。しかしながら、算出された距離値が最小距離値より小さくない場合、プロセスは、ブロック８１０に進む。
【００４６】
ブロック８１０で、選択された前の特徴クラスタが最後の使用可能な前の特徴クラスタであるかどうかが判定される。そうでない場合、プロセスはブロック８０４に戻る。そうである場合、プロセスはブロック８１６に進む。
【００４７】
ブロック８１２で、算出された距離値が新しい最小距離値として設定される。したがって、次に、この算出された距離値に対応する前の特徴クラスタが、選択される現在の特徴クラスタの現在の最も近い前の特徴クラスタになる。
【００４８】
次に、ブロック８１４で、選択された前の特徴クラスタが、最後の使用可能な前の特徴クラスタであるかどうかが判定される。そうでない場合、プロセスはブロック８０４に戻る。そうである場合、プロセスはブロック８１６に進む。
【００４９】
ブロック８１６で、選択された現在の特徴クラスタが、最後の使用可能な現在の特徴クラスタであるかどうかが判定される。そうでない場合、プロセスはブロック８０２に戻る。そうである場合、プロセスは、ブロック８１８に進む。
【００５０】
ブロック８１８で、異なる現在の特徴クラスタの最終的な最小距離値の中から、最大距離値が見つけられる。各最小距離値は、現在のフレームと前のフレームにおいて相互に最も近い、特定の使用可能な現在の特徴クラスタと特定の使用可能な前の特徴クラスタの関連対に対応する。
【００５１】
次に、ブロック８２０で、最大距離値に対応する現在の特徴クラスタが、最大距離値に対応する前の特徴クラスタの識別子を使って再ラベル付けされる。
【００５２】
次に、ブロック８２２で、最大距離値に対応する現在の特徴クラスタと前の特徴クラスタが、「使用済み」とマークされる。したがって、これらの特徴クラスタは、もはや再ラベル付けプロセスでは使用できなくなる。
【００５３】
次に、ブロック８２４で、現在のフレーム内のすべての現在の特徴クラスタが再ラベル付けされているかどうかが判定される。そうでない場合、プロセスはブロック８０２に戻り、そこで、現在のフレーム内の別の特徴クラスタが、処理するために選択される。そうである場合、プロセスは終了する。
【００５４】
この第２の再ラベル付けプロセスを、例として、図７の特徴クラスタＡ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、Ｃ２およびＤ２を使って説明する。最初に、現在のフレーム内の特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１のそれぞれと、前のフレーム内の最も近い特徴クラスタとが、特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１のそれぞれと、特徴クラスタＡ２、Ｂ２、Ｃ２およびＤ２のそれぞれとの間の最小の距離を求めることによって関連付けられる。結果として、現在のフレーム内の特徴クラスタＡ１、Ｂ１、Ｃ１およびＤ１が、それぞれ、前のフレーム内の特徴クラスタＡ２、Ａ２、Ｂ２およびＣ２と関連付けられる。特徴クラスタＡ１とＡ２との間の距離は、特徴クラスタＡ１とＡ２との間の距離、特徴クラスタＢ１とＡ２との間の距離、特徴クラスタＣ１とＢ２との間の距離、および特徴クラスタＤ１とＣ２との間の距離の中の最大の距離であるため、特徴クラスタＡ１は、特徴クラスタＡ２の識別子で再ラベル付けされる。次いで、特徴クラスタＡ１およびＡ２が「使用済み」とマークされる。次いで、プロセスが、残りの使用可能な特徴クラスタＢ１、Ｃ１、Ｄ１、Ｂ２、Ｃ２およびＤ２について繰り返される。結果として、特徴クラスタＢ１が、特徴クラスタＢ２の識別子で再ラベル付けされる。次いで、同じプロセスが、残りの使用可能な特徴クラスタＣ１、Ｄ１、Ｃ２およびＤ２について繰り返される。結果として、特徴クラスタＣ１が、特徴クラスタＣ２の識別子で再ラベル付けされる。次いで、同じプロセスが、残りの使用可能な特徴クラスタＤ１およびＤ２について繰り返される。結果として、特徴クラスタＤ１が、特徴クラスタＤ２の識別子で再ラベル付けされる。
【００５５】
上記の再ラベル付けプロセスでは、関連する現在の特徴クラスタと前の特徴クラスタの対が、現在の特徴クラスタを選択し、次いで、選択された現在の特徴クラスタとすべての前の特徴クラスタとの間の距離を調べることによって見出される。しかしながら、別の実施形態では、関連する現在の特徴クラスタと前の特徴クラスタの対を、前の特徴クラスタを選択し、次いで、選択された前の特徴クラスタとすべての現在の特徴クラスタとの間の距離を調べることによって見出すこともできる。
【００５６】
いくつかの実施形態では、ナビゲーションエンジン２２２は、第１の再ラベル付けプロセスか第２の再ラベル付けプロセスのどちらかを実行してもよい。しかしながら、別の実施形態では、ナビゲーションエンジン２２２は、１つまたは複数の所定のパラメータに基づいて手動または自動で、第１の再ラベル付けプロセスと第２の再ラベル付けプロセスを切り換えてもよい。例えば、代替の実施形態による第２の再ラベル付けプロセスは、コントローラユニットが、高速で移動されているときに使用されることができる。
【００５７】
本発明の一実施形態による、光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けする方法を、図９のプロセス流れ図を参照して説明する。ブロック９０２で、画像データの現在のフレーム内の現在の特徴クラスタが識別される。次に、ブロック９０４で、画像データの現在のフレーム内の現在の特徴クラスタと画像データの前のフレーム内の前の特徴クラスタが、現在の特徴クラスタと前の特徴クラスタとの間の距離に基づいて相関される。次に、ブロック９０６で、現在の特徴クラスタのそれぞれが、その現在の特徴クラスタと相関関係を有する前の特徴クラスタの１つと関連付けられている識別子でラベル付けされる。
【００５８】
以上、本発明の特定の実施形態を説明し、図示してきたが、本発明は、以上で説明し、図示している部分の特定の形状または構成だけに限定すべきではない。本発明の範囲は、添付の特許請求の範囲およびその均等物によって定義されるべきである。
【図面の簡単な説明】
【００５９】
【図１】本発明の一実施形態による光学ナビゲーションシステムを示す図である。
【図２】図１の光学ナビゲーションシステムに含まれるコントローラユニットのブロック図である。
【図３】３つの特徴クラスタを有する画像データのフレームを含む１０×１０センサ配列を示す図である。
【図４】本発明の一実施形態による図１の光学ナビゲーションシステムに含まれるナビゲーションエンジンの動作のプロセス流れ図である。
【図５】本発明の一実施形態による、現在の画素を特徴クラスタに属するものとして仮にラベル付けするために調べられ、かつ／または処理される、現在の画素の近隣画素を示す図である。
【図６Ａ】本発明の一実施形態による再ラベル付けプロセスを例示する、画像データの異なるフレーム内の特徴クラスタを示す図である。
【図６Ｂ】本発明の一実施形態による再ラベル付けプロセスを例示する、画像データの異なるフレーム内の特徴クラスタを示す図である。
【図６Ｃ】本発明の一実施形態による再ラベル付けプロセスを例示する、画像データの異なるフレーム内の特徴クラスタを示す図である。
【図６Ｄ】本発明の一実施形態による再ラベル付けプロセスを例示する、画像データの異なるフレーム内の特徴クラスタを示す図である。
【図７】本発明の別の実施形態による再ラベル付けプロセスを例示する、画像データの現在のフレームと前のフレームの特徴クラスタの一例を示す図である。
【図８】本発明の代替の実施形態による再ラベル付けプロセスのプロセス流れ図である。
【図９】本発明の一実施形態による、光学ナビゲーションのために画像データのフレーム内のクラスタ画素にラベル付けする方法のプロセス流れ図である。
【符号の説明】
【００６０】
１００ 光学ナビゲーションシステム
１０２ コントローラユニット
１０４ ビーコンユニット
１０６ 表示装置
１０８ コンソールユニット
１１０ ビーコン光源
【特許請求の範囲】
【請求項１】
光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けする方法であって、
画像データの現在のフレーム内の現在の特徴クラスタを識別するステップと、
画像データの前記現在のフレーム内の前記現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、前記現在の特徴クラスタと前記前の特徴クラスタとの間の距離に基づいて相関させるステップと、
前記現在の特徴クラスタのそれぞれに、該現在の特徴クラスタと相関関係を有する前記前の特徴クラスタの１つと関連付けられている識別子でラベル付けするステップと、
を含む方法。
【請求項２】
画像データの前記現在のフレーム内の前記現在の特徴クラスタの重心を算出するステップをさらに含み、前記現在の特徴クラスタと前記前の特徴クラスタとの間の距離が、前記現在の特徴クラスタの重心と前記前の特徴クラスタの重心との間の距離である、請求項１に記載の方法。
【請求項３】
前記識別するステップが、前記現在の特徴クラスタに仮の識別子を割り当てるステップを含み、前記ラベル付けするステップが、前記現在の特徴クラスタのそれぞれの仮の識別子を、該現在の特徴クラスタと相関関係を有する前記前の特徴クラスタの１つと関連付けられている識別子で置き換えるステップを含む、請求項１に記載の方法。
【請求項４】
前記相関させるステップが、前記現在の特徴クラスタの特定の現在の特徴クラスタと、前記前の特徴クラスタの特定の前の特徴クラスタとを、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離に基づいて相関させるステップを含み、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離は、どんな前記現在の特徴クラスタとどんな前記前の特徴クラスタとの間でも最短距離である、請求項１に記載の方法。
【請求項５】
前記相関させるステップが、前記現在の特徴クラスタの別の現在の特徴クラスタと、前記前の特徴クラスタの別の前の特徴クラスタとを、前記別の現在の特徴クラスタと前記別の前の特徴クラスタとの間の距離に基づいて相関させるステップを含み、前記別の現在の特徴クラスタと前記別の前の特徴クラスタとの間の距離は、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離を除いて、どんな前記現在の特徴クラスタとどんな前記前の特徴クラスタとの間でも最短距離である、請求項４に記載の方法。
【請求項６】
前記相関させるステップが、前記現在の特徴クラスタの１つと、前記前の特徴クラスタの１つとを、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタの前記１つとの間の距離に基づいて関連付けるステップを含み、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタの前記１つとの間の距離は、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタのいずれかとの間、または前記前の特徴クラスタの前記１つと前記現在の特徴クラスタのいずれかとの間の最短距離である、請求項１に記載の方法。
【請求項７】
前記相関させるステップが、前記現在の特徴クラスタの特定の現在の特徴クラスタを、前記前の特徴クラスタの関連する前の特徴クラスタと相関させるステップを含み、前記特定の現在の特徴クラスタと前記関連する前の特徴クラスタとの間の距離は、どんな関連する現在の特徴クラスタと前の特徴クラスタとの間でも最長距離である、請求項６に記載の方法。
【請求項８】
前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタが、前記現在の特徴クラスタの別の特徴クラスタと前記前の特徴クラスタの別の特徴クラスタとを相関させるときに考慮されないように、前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタを使用済みとマークするステップをさらに含む、請求項７に記載の方法。
【請求項９】
画像データの前記現在のフレームに、画像データの前記現在のフレームにおいて前記現在の特徴クラスタとして表されるビーコン光源を電気的に取り込むステップをさらに含む、請求項１に記載の方法。
【請求項１０】
光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けする方法であって、
画像データの現在のフレーム内の現在の特徴クラスタを識別するステップと、
画像データの前記現在のフレーム内の前記現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、前記現在の特徴クラスタと前記前の特徴クラスタとの間の距離に基づいて相関させるステップであって、前記現在の特徴クラスタの各現在の特徴クラスタと、該現在の特徴クラスタに最も近い前記前の特徴クラスタの１つとを関連付けるステップ、および前記現在の特徴クラスタの特定の現在の特徴クラスタと、前記前の特徴クラスタの関連する前の特徴クラスタとを相関させるステップを含み、前記特定の現在の特徴クラスタと前記関連する前の特徴クラスタとの間の距離は、どんな関連する現在の特徴クラスタと前の特徴クラスタとの間でも最長距離である、ステップと、
前記現在の特徴クラスタのそれぞれに、該現在の特徴クラスタと相関関係を有する前記前の特徴クラスタの１つと関連付けられている識別子でラベル付けするステップと、
を含む方法。
【請求項１１】
前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタが、前記現在の特徴クラスタの別の現在の特徴クラスタと前記前の特徴クラスタの別の前の特徴クラスタとを相関させるときに考慮されないように、前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタを使用済みとマークするステップをさらに含む、請求項１０に記載の方法。
【請求項１２】
画像データのフレームを取り込むように構成された画像センサと、
前記画像センサに動作可能に接続されたナビゲーションエンジンであって、画像データの現在のフレーム内の現在の特徴クラスタを識別し、画像データの前記現在のフレーム内の前記現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、前記現在の特徴クラスタと前記前の特徴クラスタとの間の距離に基づいて相関させるように構成されており、さらに、前記現在の特徴クラスタのそれぞれに、該現在の特徴クラスタと相関関係を有する前記前の特徴クラスタの１つと関連付けられている識別子でラベル付けするように構成されている前記ナビゲーションエンジンと、
を備えている、光学ナビゲーションのためのシステム。
【請求項１３】
前記ナビゲーションエンジンが、さらに、画像データの前記現在のフレーム内の前記現在の特徴クラスタの重心を算出するように構成されており、前記現在の特徴クラスタと前記前の特徴クラスタとの間の距離は、前記現在の特徴クラスタの重心と前記前の特徴クラスタの重心との間の距離である、請求項１２に記載のシステム。
【請求項１４】
前記ナビゲーションエンジンが、前記現在の特徴クラスタに仮の識別子を割り当て、前記現在の特徴クラスタのそれぞれの仮の識別子を、該現在の特徴クラスタと相関関係を有する前記前の特徴クラスタの１つと関連付けられている識別子で置き換えるように構成されている、請求項１２に記載のシステム。
【請求項１５】
前記ナビゲーションエンジンが、前記現在の特徴クラスタの特定の現在の特徴クラスタと、前記前の特徴クラスタの特定の前の特徴クラスタとを、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離に基づいて相関させるように構成されており、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離は、どんな前記現在の特徴クラスタとどんな前記前の特徴クラスタとの間でも最短距離である、請求項１２に記載のシステム。
【請求項１６】
前記ナビゲーションエンジンが、前記現在の特徴クラスタの別の現在の特徴クラスタと、前記前の特徴クラスタの別の前の特徴クラスタとを、前記別の現在の特徴クラスタと前記別の前の特徴クラスタとの間の距離に基づいて相関させるように構成されており、前記別の現在の特徴クラスタと前記別の前の特徴クラスタとの間の距離は、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離を除いて、どんな前記現在の特徴クラスタとどんな前記前の特徴クラスタとの間でも最短距離である、請求項１５に記載のシステム。
【請求項１７】
前記ナビゲーションエンジンが、前記現在の特徴クラスタの１つと、前記前の特徴クラスタの１つとを、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタの前記１つとの間の距離に基づいて関連付けるように構成されており、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタの前記１つとの間の距離が、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタのいずれかとの間、または前記前の特徴クラスタの前記１つと前記現在の特徴クラスタのいずれかとの間の最短距離である、請求項１２に記載のシステム。
【請求項１８】
前記ナビゲーションエンジンが、前記現在の特徴クラスタの特定の現在の特徴クラスタと、前記前の特徴クラスタの関連する特徴クラスタとを相関させるように構成されており、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離が、どんな関連する現在の特徴クラスタと前の特徴クラスタとの間でも最長距離である、請求項１７に記載のシステム。
【請求項１９】
前記ナビゲーションエンジンは、さらに、前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタが、前記現在の特徴クラスタの別の特徴クラスタと前記前の特徴クラスタの別の特徴クラスタとを相関させるときに考慮されないように、前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタを使用済みとマークするように構成されている、請求項１８に記載のシステム。
【請求項２０】
ビーコン光源を、画像データの前記現在のフレームに前記現在の特徴クラスタとして取り込むために、前記画像センサの前に配置されて前記ビーコン光源からの光を選択的に送る光学フィルタをさらに備えている、請求項１２に記載のシステム。
【請求項１】
光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けする方法であって、
画像データの現在のフレーム内の現在の特徴クラスタを識別するステップと、
画像データの前記現在のフレーム内の前記現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、前記現在の特徴クラスタと前記前の特徴クラスタとの間の距離に基づいて相関させるステップと、
前記現在の特徴クラスタのそれぞれに、該現在の特徴クラスタと相関関係を有する前記前の特徴クラスタの１つと関連付けられている識別子でラベル付けするステップと、
を含む方法。
【請求項２】
画像データの前記現在のフレーム内の前記現在の特徴クラスタの重心を算出するステップをさらに含み、前記現在の特徴クラスタと前記前の特徴クラスタとの間の距離が、前記現在の特徴クラスタの重心と前記前の特徴クラスタの重心との間の距離である、請求項１に記載の方法。
【請求項３】
前記識別するステップが、前記現在の特徴クラスタに仮の識別子を割り当てるステップを含み、前記ラベル付けするステップが、前記現在の特徴クラスタのそれぞれの仮の識別子を、該現在の特徴クラスタと相関関係を有する前記前の特徴クラスタの１つと関連付けられている識別子で置き換えるステップを含む、請求項１に記載の方法。
【請求項４】
前記相関させるステップが、前記現在の特徴クラスタの特定の現在の特徴クラスタと、前記前の特徴クラスタの特定の前の特徴クラスタとを、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離に基づいて相関させるステップを含み、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離は、どんな前記現在の特徴クラスタとどんな前記前の特徴クラスタとの間でも最短距離である、請求項１に記載の方法。
【請求項５】
前記相関させるステップが、前記現在の特徴クラスタの別の現在の特徴クラスタと、前記前の特徴クラスタの別の前の特徴クラスタとを、前記別の現在の特徴クラスタと前記別の前の特徴クラスタとの間の距離に基づいて相関させるステップを含み、前記別の現在の特徴クラスタと前記別の前の特徴クラスタとの間の距離は、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離を除いて、どんな前記現在の特徴クラスタとどんな前記前の特徴クラスタとの間でも最短距離である、請求項４に記載の方法。
【請求項６】
前記相関させるステップが、前記現在の特徴クラスタの１つと、前記前の特徴クラスタの１つとを、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタの前記１つとの間の距離に基づいて関連付けるステップを含み、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタの前記１つとの間の距離は、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタのいずれかとの間、または前記前の特徴クラスタの前記１つと前記現在の特徴クラスタのいずれかとの間の最短距離である、請求項１に記載の方法。
【請求項７】
前記相関させるステップが、前記現在の特徴クラスタの特定の現在の特徴クラスタを、前記前の特徴クラスタの関連する前の特徴クラスタと相関させるステップを含み、前記特定の現在の特徴クラスタと前記関連する前の特徴クラスタとの間の距離は、どんな関連する現在の特徴クラスタと前の特徴クラスタとの間でも最長距離である、請求項６に記載の方法。
【請求項８】
前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタが、前記現在の特徴クラスタの別の特徴クラスタと前記前の特徴クラスタの別の特徴クラスタとを相関させるときに考慮されないように、前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタを使用済みとマークするステップをさらに含む、請求項７に記載の方法。
【請求項９】
画像データの前記現在のフレームに、画像データの前記現在のフレームにおいて前記現在の特徴クラスタとして表されるビーコン光源を電気的に取り込むステップをさらに含む、請求項１に記載の方法。
【請求項１０】
光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けする方法であって、
画像データの現在のフレーム内の現在の特徴クラスタを識別するステップと、
画像データの前記現在のフレーム内の前記現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、前記現在の特徴クラスタと前記前の特徴クラスタとの間の距離に基づいて相関させるステップであって、前記現在の特徴クラスタの各現在の特徴クラスタと、該現在の特徴クラスタに最も近い前記前の特徴クラスタの１つとを関連付けるステップ、および前記現在の特徴クラスタの特定の現在の特徴クラスタと、前記前の特徴クラスタの関連する前の特徴クラスタとを相関させるステップを含み、前記特定の現在の特徴クラスタと前記関連する前の特徴クラスタとの間の距離は、どんな関連する現在の特徴クラスタと前の特徴クラスタとの間でも最長距離である、ステップと、
前記現在の特徴クラスタのそれぞれに、該現在の特徴クラスタと相関関係を有する前記前の特徴クラスタの１つと関連付けられている識別子でラベル付けするステップと、
を含む方法。
【請求項１１】
前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタが、前記現在の特徴クラスタの別の現在の特徴クラスタと前記前の特徴クラスタの別の前の特徴クラスタとを相関させるときに考慮されないように、前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタを使用済みとマークするステップをさらに含む、請求項１０に記載の方法。
【請求項１２】
画像データのフレームを取り込むように構成された画像センサと、
前記画像センサに動作可能に接続されたナビゲーションエンジンであって、画像データの現在のフレーム内の現在の特徴クラスタを識別し、画像データの前記現在のフレーム内の前記現在の特徴クラスタと、画像データの前のフレーム内の前の特徴クラスタとを、前記現在の特徴クラスタと前記前の特徴クラスタとの間の距離に基づいて相関させるように構成されており、さらに、前記現在の特徴クラスタのそれぞれに、該現在の特徴クラスタと相関関係を有する前記前の特徴クラスタの１つと関連付けられている識別子でラベル付けするように構成されている前記ナビゲーションエンジンと、
を備えている、光学ナビゲーションのためのシステム。
【請求項１３】
前記ナビゲーションエンジンが、さらに、画像データの前記現在のフレーム内の前記現在の特徴クラスタの重心を算出するように構成されており、前記現在の特徴クラスタと前記前の特徴クラスタとの間の距離は、前記現在の特徴クラスタの重心と前記前の特徴クラスタの重心との間の距離である、請求項１２に記載のシステム。
【請求項１４】
前記ナビゲーションエンジンが、前記現在の特徴クラスタに仮の識別子を割り当て、前記現在の特徴クラスタのそれぞれの仮の識別子を、該現在の特徴クラスタと相関関係を有する前記前の特徴クラスタの１つと関連付けられている識別子で置き換えるように構成されている、請求項１２に記載のシステム。
【請求項１５】
前記ナビゲーションエンジンが、前記現在の特徴クラスタの特定の現在の特徴クラスタと、前記前の特徴クラスタの特定の前の特徴クラスタとを、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離に基づいて相関させるように構成されており、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離は、どんな前記現在の特徴クラスタとどんな前記前の特徴クラスタとの間でも最短距離である、請求項１２に記載のシステム。
【請求項１６】
前記ナビゲーションエンジンが、前記現在の特徴クラスタの別の現在の特徴クラスタと、前記前の特徴クラスタの別の前の特徴クラスタとを、前記別の現在の特徴クラスタと前記別の前の特徴クラスタとの間の距離に基づいて相関させるように構成されており、前記別の現在の特徴クラスタと前記別の前の特徴クラスタとの間の距離は、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離を除いて、どんな前記現在の特徴クラスタとどんな前記前の特徴クラスタとの間でも最短距離である、請求項１５に記載のシステム。
【請求項１７】
前記ナビゲーションエンジンが、前記現在の特徴クラスタの１つと、前記前の特徴クラスタの１つとを、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタの前記１つとの間の距離に基づいて関連付けるように構成されており、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタの前記１つとの間の距離が、前記現在の特徴クラスタの前記１つと前記前の特徴クラスタのいずれかとの間、または前記前の特徴クラスタの前記１つと前記現在の特徴クラスタのいずれかとの間の最短距離である、請求項１２に記載のシステム。
【請求項１８】
前記ナビゲーションエンジンが、前記現在の特徴クラスタの特定の現在の特徴クラスタと、前記前の特徴クラスタの関連する特徴クラスタとを相関させるように構成されており、前記特定の現在の特徴クラスタと前記特定の前の特徴クラスタとの間の距離が、どんな関連する現在の特徴クラスタと前の特徴クラスタとの間でも最長距離である、請求項１７に記載のシステム。
【請求項１９】
前記ナビゲーションエンジンは、さらに、前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタが、前記現在の特徴クラスタの別の特徴クラスタと前記前の特徴クラスタの別の特徴クラスタとを相関させるときに考慮されないように、前記特定の現在の特徴クラスタおよび前記関連する前の特徴クラスタを使用済みとマークするように構成されている、請求項１８に記載のシステム。
【請求項２０】
ビーコン光源を、画像データの前記現在のフレームに前記現在の特徴クラスタとして取り込むために、前記画像センサの前に配置されて前記ビーコン光源からの光を選択的に送る光学フィルタをさらに備えている、請求項１２に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７】
【図８】
【図９】
【公開番号】特開２００９−９３６１２（Ｐ２００９−９３６１２Ａ）
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【外国語出願】
【出願番号】特願２００８−１０７７０９（Ｐ２００８−１０７７０９）
【出願日】平成２０年４月１７日（２００８．４．１７）
【出願人】（５０６２００１８６）アバゴ・テクノロジーズ・イーシービーユー・アイピー（シンガポール）プライベート・リミテッド (154)
【Ｆターム（参考）】
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【出願番号】特願２００８−１０７７０９（Ｐ２００８−１０７７０９）
【出願日】平成２０年４月１７日（２００８．４．１７）
【出願人】（５０６２００１８６）アバゴ・テクノロジーズ・イーシービーユー・アイピー（シンガポール）プライベート・リミテッド (154)
【Ｆターム（参考）】
[ Back to top ]