説明

オブジェクトを使用した慣性航法システムの整合および較正

慣性航法システムの初期化が、オブジェクトの画像から取得される情報を使用して、実行される。グローバル基準フレーム内のオブジェクトに対する位置および向き情報と、前記オブジェクトに対するカメラに関する位置および向き情報が、前記画像から取得される。前記グローバル基準フレーム内の前記カメラの位置および向き情報が、慣性センサ基準フレームおよび航行座標フレームの間の変換マトリックスとともに、判断される。慣性航法システムが、前記カメラの位置および向き情報と、前記変換マトリックスと、前記オブジェクトが画像化されたときの前記カメラの速度、すなわちゼロ、とを使用して、初期化される。慣性センサからの測定値と初期化データを使用して、モバイルプラットフォームの位置が、航行中に更新され、デジタルマップ上などに、提供され得る。慣性航行エラーは、異なるオブジェクトの画像から取得される情報を使用し、修正され得る。

【発明の詳細な説明】
【技術分野】
【0001】
オブジェクトを使用した慣性航法システムの整合および較正に関する。
【背景技術】
【0002】
セルラーまたは他のワイヤレス通信デバイスなどの移動局のための正確な位置情報は、通信業界で一般化している。グローバルポジショニングシステム(GPS)は、ワイヤレス移動局位置判断を提供する手法を提供する。GPSユーザは、地球の周りの軌道内のサテライトビークル(SV)から取得される情報を介して、3次元位置、速度および時間を含む正確な航法情報を得ることができる。SVから受信される信号は通常は、やや弱い。したがって、受信機の位置を判断するために、受信機は、これらの弱い信号を取得するのに十分なだけ敏感である必要があり、それらによって表される情報を解釈しなければならない。
【0003】
現在のGPS受信機の1つの限界は、それらの動作が、複数の衛星が、障害物なしに、明確に視野にあり、高品質のアンテナがそのような信号を受信するように適切に位置する状況に限定されるということである。したがって、それらは通常は、著しい群葉または建造物の妨害(アーバンキャニオンなど)が存在するような、特に建造物内の、妨害状態を有するエリアでは使用不可能である。
【発明の概要】
【課題を解決するための手段】
【0004】
モバイルプラットフォーム上の慣性航法システム(INS)は、加速度計およびジャイロスコープの測定値を統合することによって、モバイルプラットフォームの位置、向き、および速度を連続して計算する。INSが位置、向き、および速度を計算するために使用され得る前に、その位置、向き、および速度が初期化されなければならない。INSの初期化は、オブジェクトの画像から取得される情報を使用して、実行される。グローバル基準フレームまたはローカル座標系に対するオブジェクトについての位置および向き情報と、オブジェクトに対するカメラについての位置および向き情報とは、オブジェクトの画像から取得される。グローバル基準フレーム内のカメラの位置および向き情報が次いで、判断され得る。慣性センサ基準フレームおよびグローバル基準フレームの間の変換マトリックスまたは方向余弦マトリックスが次いで、グローバル基準フレーム内のカメラの位置および向きと慣性センサおよびカメラの間の知られている相対的向きから判断され得る。慣性センサ基準フレームおよび航行座標フレームの間の変換マトリックスは次いで、慣性センサ基準フレームおよびグローバル基準フレームの間の変換マトリックスと、グローバル基準フレームおよび航行座標フレームの間の変換マトリックスとから判断され得る。慣性センサの向きが次いで、慣性センサ基準フレームおよび航行座標フレームの間の変換マトリックスから計算され得る。慣性航法システムは、グローバル基準フレーム内のカメラの位置情報と、慣性センサ基準フレームおよび航行座標フレームの間の変換マトリックスと、オブジェクトが画像化されたときのカメラの速度、すなわちゼロ、とを使用し、初期化される。慣性センサからの測定値とともに初期化データを使用して、モバイルプラットフォームの位置は、航行中に更新され、デジタルマップ上などに提供され得る。慣性航行エラーおよび慣性センサエラーが、異なるオブジェクトの画像から取得される情報を使用し、推定および修正され得る。
【図面の簡単な説明】
【0005】
【図1】オブジェクトの画像から取得される情報を使用した慣性航法システムの初期化および較正を実行するモバイルプラットフォームを含むシステムのブロック図である。
【図2】クイックレスポンスコードなどのデータコードラベルの形態のオブジェクトの一例を示す図である。
【図3】オブジェクトの画像から取得される情報を使用した航行の能力を有するモバイルプラットフォームのブロック図である。
【図4】慣性航行のオブジェクトの画像から取得される情報を使用する方法を示す流れ図である。
【図5】オブジェクトに対するモバイルプラットフォーム内のカメラの透視図である。
【図6】建造物の入口に置かれたオブジェクトに対するモバイルプラットフォーム内のカメラの透視図である。
【図7】慣性センサとともにあるモバイルプラットフォーム内のカメラの透視図である。
【図8】慣性航行中のモバイルプラットフォームの位置情報を有する簡単なデジタルマップを示す図である。
【図9】オブジェクトの画像を使用して航行中のINSエラーを修正する方法を示す流れ図である。
【図10】画像化されたオブジェクトからの情報を使用して慣性航行のエラーを修正するシステムを概略的に示す図である。
【発明を実施するための形態】
【0006】
本明細書で説明するシステムおよび方法は、次いで慣性航法システムの初期化および較正に使用され得る位置および向き情報を判断するために、オブジェクトの画像を使用する。本システムは、データコードラベルなどのオブジェクトを画像化し、そのオブジェクトの画像を使用して位置および向き情報を判断する能力を有するモバイルプラットフォームを含み得る。その位置および向き情報は次いで、慣性航法システムの位置および向きの初期化のためにモバイルプラットフォームによって使用され得る。慣性航法システムの位置および向きは、異なるオブジェクトを画像化し、位置および向き情報を同様に判断することによって、定期的に修正され得る。
【0007】
図1は、そこからオブジェクト104についての位置および向き情報が収集され得るオブジェクト104を画像化するモバイルプラットフォーム100を含むシステムのブロック図である。オブジェクト104についての位置および向き情報は次いで、航法に次いで使用され得るモバイルプラットフォーム100についての位置および向き情報を導出するために、使用され得る。オブジェクト104の位置および向き情報は、GPSと使用される、WGS84座標系など、ローカル座標系または一般化されたグローバル座標系などの座標系に関してでもよく、その両方を本明細書では概してグローバル基準フレームと称することになる。オブジェクトの画像からの収集情報はまた、たとえば、航法命令、ローカル環境のマップ、または任意の他の所望の情報なども含み得る。
【0008】
図1に示すオブジェクト104は、建造物、または他のアクセス可能な場所への入口またはディレクトリ記号など、モバイルプラットフォーム100にアクセス可能な場所に取り付けられた物理タグでもよい。オブジェクト104は、日本企業デンソーウェーブによって作られたマトリックスコードであるクイックレスポンス(QR)コードなどのデータコードラベルでもよい。データマトリックスコード、セマコード、マキシコード、アステカコードなど、1次元バーコードまたは光データマトリックス型コードを含む、バーコードまたはデータの機械可読表現など、他のタイプのオブジェクトまたはデータコードラベルも使用され得る。オブジェクト104は、サーバに記憶され、インターネットなどのネットワーク106を介してアクセスされる、位置および向き情報108にアクセスするために、モバイルプラットフォーム100によって使用され得る、ユニフォームリソース識別子(URI)などを有するハイパーリンクでコード化され得る。例として、図2は、URI「http://www.example.com」でコード化されたQRコード(登録商標)形式でのオブジェクト104の一例である。オブジェクト104が、たとえば色を付けられたQRコード(登録商標)を使用して、十分に密な様式で情報をコード化する能力を有する場合、オブジェクト104は、ハイパーリンクの使用なしに、モバイルプラットフォーム100に直接に位置および向き情報を渡すために使用され得る。
【0009】
本明細書で使用するモバイルプラットフォームは、セルラーまたは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナル航法デバイス、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、または、加速度計、磁力計、ジャイロスコープ、および圧力センサを含むがこれらに限定されない内部センサを使用して画像を取得し、ナビゲートする能力を有する他の適したモバイルデバイスなどのデバイスを指す。オブジェクト104が、URIでコード化される、あるいはワイヤレスネットワークへのアクセスを必要とする場合、モバイルプラットフォーム100はワイヤレス通信を送信および受信する能力を有する必要がある。「モバイルプラットフォーム」という用語はまた-衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスでまたはPNDで発生するかどうかにかかわらず-短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、パーソナル航法デバイス(PND)と通信するデバイスを含むものである。また、「モバイルプラットフォーム」は、衛星信号受信、支援データ受信、および/または位置関連処理がデバイスで、サーバで、またはそのネットワークと関連する別のデバイスで発生するかどうかにかかわらず、インターネット、Wi-Fi、または他のネットワークなど、サーバと通信する能力のある、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを含むものである。上記の任意の動作可能な組合せもまた、「モバイルプラットフォーム」と考えられる。
【0010】
モバイルプラットフォーム100は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)など、セルラータワーを含むワイヤレス通信アクセスポイントからの、様々なワイヤレス通信ネットワークとともに実装され得る。「ネットワーク」および「システム」という用語はしばしば、互換的に使用される。WWANは、コード分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、単一搬送周波数多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE)などでもよい。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95、IS-2000、およびIS-856基準を含む。TDMAネットワークは、グローバルシステムフォーモバイルコミュニケーションズ(GSM(登録商標):Global System for Mobile Communications)、デジタル高度モバイルフォンシステム(D-AMPS:Digital Advanced Mobile Phone System)または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMA は、「第3世代パートナーシッププロジェクト」(3GPP)と称されるコンソーシアムからの文書で説明されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)と称されるコンソーシアムからの文書で説明されている。3GPPおよび3GPP2の文書は、公開されている。WLANは、IEEE 802.11xネットワークでもよく、WPANはブルートゥースネットワーク、IEEE 802.15x、または何らかの他のタイプのネットワークでもよい。本技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せとともに実装され得る。
【0011】
モバイルプラットフォーム100はまた、1つまたは複数のグローバルなおよび/または地域的な航法衛星システムおよび/またはオーグメンテーションシステムの任意の組合せを含み得る衛星測位システム(SPS)を使用する位置判断の能力を有することができ、SPS信号は、SPS、SPS様のもの、および/またはそのような1つまたは複数のSPSと関連する他の信号を含み得る。たとえば、モバイルプラットフォーム100は、グローバルポジショニングシステム(GPS)、ガレリオ(Galileo)、グロナスもしくはコンパス、または、たとえば、日本の準天頂衛星システム(QZSS)、インドのインド地域航法衛星システム(IRNSS:Indian Regional Navigational Satellite System)、中国の北斗などの様々な地域的システム、ならびに/あるいは、1つまたは複数のグローバルなおよび/または地域的な航法衛星システムと関連し得る、または場合によってはそれらとともに使用するために使用可能にされ得る、様々なオーグメンテーションシステム(静止衛星型衛星航法補強システム(SBAS))を使用した位置判断の能力を有し得る。
【0012】
本明細書で説明するような、データコードラベルなどのオブジェクトを使用したモバイルプラットフォームの位置および向き情報の取得は、そのモバイルプラットフォームがSPS能力を有さない場合、または、SPSシステムが休止である、もしくは、SPSが、妨害状態を被る場所など、適切に動作しない場所にある場合に、有利であり得る。妨害状態は、モバイルプラットフォーム内のSPS受信機がSPS衛星からのSPS信号を取得および/または追跡することが困難である場合に、存在し得る。たとえば、妨害状態は、屋内環境に、アーバンキャニオン環境に、そして群葉および干渉トポロジなどの自然障害を有する特定の屋外環境に存在し得る。
【0013】
SPSを有さない、または妨害状態での航行は、次の2つの関連する問題を表す:位置の正確な感知を保持すること、およびトポロジに関するローカル情報へのアクセスを有すること。SPSの恩恵なしの航行は、他の技術を代用することの相対的な困難によって妨害される。たとえば、ワイヤレスアクセスポイントのアルマナックは、いくらかのデータを提供することができるが、それらはコンパイルするのに費用がかかり、ローカルエリアに適したアルマナックデータのソースはモバイルプラットフォームのユーザに明らかではないことがある。別の例は、推測航法を介する動きの追跡に基づく情報を提供することができる慣性センサであるが、慣性センサを介する航行は経時的にエラーを蓄積する傾向がある。これらの技法は、場所情報を特定の位置と関連付ける情報へのアクセス、ならびに、関連アルマナックデータまたは入手可能なマップと位置を関連付ける情報へのアクセスの恩恵を被ることができる。
【0014】
図3は、オブジェクト104(図1)の画像から取得される情報を使用した航行の能力を有するモバイルプラットフォーム100のブロック図である。図示のように、モバイルプラットフォーム100は、カメラ120などのオブジェクト104を画像化する手段を含む。カメラ120は、たとえば携帯電話など、よく見られるものなどの従来のカメラでもよい。カメラ120は、たとえば、焦点距離、光心の置換、径方向のひずみ、および接線ひずみなど、カメラパラメータが知られるように、較正される。カメラ120は、モバイルプラットフォーム制御130ユニットと通信する。モバイルプラットフォーム制御130は、プロセッサ132および関連メモリ134と、ハードウェア136と、ソフトウェア138と、ファームウェア140とによって提供される。本明細書で使用するプロセッサは、1つまたは複数のマイクロプロセッサ、組込みプロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得るが、必ずしも含む必要はないことが理解されよう。プロセッサという用語は、特定のハードウェアではなくて本システムによって実装される機能を表すものである。さらに、本明細書で使用する「メモリ」という用語は、モバイルプラットフォームに関連付けられた長期、短期または他のメモリを含む、任意のタイプのコンピュータ記憶媒体を指すが、任意の特定のタイプのメモリ、もしくはメモリの数、またはメモリが記憶される媒体のタイプに限定されるものではない。
【0015】
カメラ120によって生成されるオブジェクト104の画像は、メモリ134に記憶可能であり、モバイルプラットフォーム100はオブジェクト104内にコード化された情報を読み、復号するための手段を含む。たとえば、モバイルプラットフォーム制御130は、メモリ134内に記憶されたソフトウェアを読む適当なデータコードラベルでもよいリーダ142、あるいは、オブジェクト104から被コード化データを抽出し、その抽出データをモバイルプラットフォーム制御130に提供する、ハードウェアまたはファームウェアなどの専用リーダを含み得る。
【0016】
モバイルプラットフォーム100は、グローバル基準フレームに対するそのオブジェクトの位置および向きに関連する情報を取得するための手段を含む。例として、オブジェクト104がこの情報をコード化するのに十分密である場合、モバイルプラットフォーム100は、リーダ142を使用してこの位置および向き情報をオブジェクト104の画像から直接取得することができる。しかしながら、その位置および向き情報がそのオブジェクト自体内にコード化されない場合、モバイルプラットフォーム100は、別のソースからこの情報を取得しなければならないことになる。したがって、たとえば、オブジェクト104から抽出されたコード化データは、モバイルプラットフォーム制御130にネットワーク106(図1)、具体的に言うと、リンクされた位置および向き情報108、たとえばオブジェクト104の位置および向き情報、ならびにデジタルローカルマップなどの他の所望の情報を含むサーバ、にアクセスするように指示することができる。モバイルプラットフォーム100は、たとえば、ワイヤレスアクセスポイントを介してネットワークに接続する能力を有するワイヤレスネットワーク無線トランシーバ150を介するなどして、ネットワーク106にアクセスすることができる。トランシーバ150は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク、(WLAN)、または任意の他の適当なプロトコルなどのワイヤレスネットワークに接続することができる。
【0017】
例として、オブジェクト104内にコード化されたデータがキーワードhttp://を含む場合、モバイルプラットフォーム制御130は、モバイルプラットフォーム100上でブラウザ144を起動し、ブラウザをコード化されたURIに導くことができる。モバイルプラットフォーム制御装置130は次いで、グローバル基準フレームに関するオブジェクト104の位置および向き情報を含む、位置および向き情報108をダウンロードすることができる。モバイルプラットフォーム100のユーザインターフェース160内の表示装置162上にモバイルプラットフォーム100によって表示されることになるローカル環境のデジタルマップなど、追加情報もまたダウンロードされ得る。モバイルプラットフォーム100が携帯電話であるとき、ユーザインターフェース160はまた、キーパッド164、マイクロフォン166、およびスピーカ168などの機構も含み得る。
【0018】
モバイルプラットフォーム100はまた、モバイルプラットフォーム100の位置および向きの変更など、移動を感知する手段を含む、慣性航法システム(INS)も含む。たとえば、慣性センサ170は、モバイルプラットフォーム100の動きの方向および振幅に関するモバイルプラットフォーム制御130へのデータを提供するために使用され得る。モバイルプラットフォーム100と使用され得る慣性センサ170の例は、加速度計、磁力計、ジャイロスコープ、および圧力センサを含む。カメラ120に対する慣性センサ170の向きは、固定され、較正を介して判断される。言い換えれば、カメラ120の基準フレームおよび慣性センサ170の基準フレームの間の変換マトリックスが知られている。
【0019】
モバイルプラットフォーム100はまた、モバイルプラットフォーム100の位置および向きを記憶および更新するために使用される位置データベース148を含み得る。モバイルプラットフォーム制御130が、モバイルプラットフォーム100の位置および/または向きが変わったと慣性センサ170を介して判断するとき、位置データベース148が新しい位置および向き情報で更新される。更新された位置および向き情報は次いで、たとえば、ディスプレイ162上の新しい位置を有するデジタルマップを表示することによって、あるいは、ディスプレイ上におよび/またはスピーカ168を介して追加の航行命令を提供することによって、提供され得る。
【0020】
モバイルプラットフォーム100はまた、カメラ120によって生成されるオブジェクト104の画像に基づいてオブジェクト104に対するカメラ120の位置および向きを推定する手段を含む。たとえば、モバイルプラットフォーム100は、メモリ134に記憶された適当なソフトウェアまたは専用ハードウェアもしくはファームウェアでもよい位置エンジン146を含み得る。位置エンジン146は、焦点距離などの知られているカメラパラメータと、標準構成を有することができ、したがって知られている、または位置および向き情報108とともにダウンロードされ得る、画像内の特徴点とを使用し、オブジェクト104の2次元画像に基づいてカメラ120の位置を判断する。たとえば、図2のオブジェクト104の画像を参照すると、特徴点104a、104b、104c、および104dの間の情報はコード化データでもよく、特徴点104a、104b、104c、および104dは、位置エンジン146によって識別可能であり、オブジェクト104に対するカメラの位置および向きを判断するために使用され得る。オブジェクト104の画像内の4つ以上の特徴点に基づいて、位置エンジン146は、たとえば同形異義性変換を使用し、オブジェクトに対するカメラの位置および向きを推定することができる。同形異義性は、カメラの画像への平面のオブジェクトのポイントの射影マッピングである。
【0021】
モバイルプラットフォーム100はさらに、オブジェクト104に対するカメラ120の推定される位置および向きとオブジェクト104の取得された位置および向き情報とを使用してグローバル基準フレーム内のカメラ120の位置および向きを判断する手段を含む。グローバル基準フレームに対するカメラ120の位置および向きが、たとえば位置エンジン146によって、判断され得る。モバイルプラットフォームはまた、たとえば位置エンジン146でもよい、航行座標フレームに対する慣性センサ170の向きを判断する手段も含み得る。グローバル基準フレーム内のカメラ120の判断された位置および向きと、航行座標フレームに関する慣性センサ170の判断された向きと、ゼロと仮定され得る、オブジェクト104の撮像時のカメラ120の速度とを使用して、INSが初期化され得る。初期化されたデータは次いで、モバイルプラットフォーム100の位置を更新するために、慣性センサ170からの測定値とともに使用され得る。加えて、開示されるように、追加のオブジェクトが、モバイルプラットフォーム100の慣性航行中のエラーを訂正するために、同様の様式で画像化および分析され得る。
【0022】
本明細書で説明する方法論は、アプリケーションに応じて様々な手段によって実装され得る。たとえば、これらの方法論は、ハードウェア136、ソフトウェア138、ファームウェア140、またはそれらの任意の組合せで実装され得る。ハードウェア実装について、処理ユニットが、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他の電子ユニット、またはそれらの組合せ内に実装され得る。
【0023】
ファームウェアおよび/またはソフトウェア実装について、本方法論は、本明細書で説明する機能を実行するモジュール(手順、機能など)で実装され得る。具体的に命令を実施する任意の機械可読媒体が、本明細書で説明する方法論を実装する際に使用され得る。メモリが、プロセッサユニット内にまたはプロセッサユニット外部に実装され得る。本明細書で使用する「メモリ」という用語は、任意のタイプの長期、短期、揮発性、非揮発性または他のメモリを指すが、任意の特定のタイプのメモリ、メモリの数、またはメモリが記憶される媒体のタイプに限定されるものではない。
【0024】
たとえば、ソフトウェア138コードは、メモリ134に記憶可能であり、プロセッサ132によって実行可能であり、プロセッサを走らせて本明細書で説明するモバイルプラットフォーム100の動作を制御するために、使用され得る。たとえば、メモリ134などのコンピュータ可読媒体に記憶されたプログラムコードは、カメラ120によって画像化されるオブジェクトを復号し、そのオブジェクトについての位置および向き情報を取得し、そのオブジェクトに対するカメラの位置を推定し、グローバル基準フレームに関するカメラの位置および向きを判断し、航行座標フレームに関する慣性センサの向きを判断するためのプログラムコードを含み得る。コンピュータ可読媒体に記憶されたプログラムコードはさらに、モバイルプラットフォームの位置および向き情報を更新するためと、更新された位置および向き情報を提供するために、慣性センサからの測定値とともに、判断されたカメラの位置および向きを使用するためのプログラムコードを含み得る。
【0025】
ファームウェアおよび/またはソフトウェアに実装される場合、本機能は、コンピュータ可読媒体上の1つまたは複数の命令またはコードとして記憶され得る。例は、データ構造でコード化されたコンピュータ可読媒体およびコンピュータプログラムでコード化されたコンピュータ可読媒体を含む。コンピュータ可読媒体は、物理的コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセス可能な任意の利用可能な媒体でもよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM、または他の光ディスク記憶装置、磁気ディスク記憶装置もしくは磁気記憶デバイス、あるいは命令またはデータ構造の形態で所望のプログラムコードを記憶するために使用可能であり、コンピュータによってアクセス可能である任意の他の媒体を備えることができ、本明細書で使用するディスク(diskおよびdisc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フレキシブルディスク、およびブルーレイディスクを含み、diskは通常はデータを磁気的に再生し、discはレーザで光学的にデータを再生する。上記の組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
【0026】
図4は慣性航行中のオブジェクト104の画像を使用する方法を示す流れ図である。図示のように、データコードラベルなどのオブジェクト104は、モバイルプラットフォーム100によって画像化される(202)。例として、モバイルプラットフォーム100内のカメラ120は、病院、博物館、ショッピングセンタなどの建物の入口またはディレクトリ記号に位置するオブジェクト104の画像をキャプチャすることができる。モバイルプラットフォーム制御130は、その画像を処理して、オブジェクト104を復号する。オブジェクト104の画像からの復号されたデータを使用して、グローバル基準フレームに対するオブジェクト104の位置および向きを含む、位置および向き情報が取得され得る(204)。たとえば、オブジェクト104内にコード化されたURIは、ワイヤレスネットワークを介して位置および向き情報にアクセスし、それをダウンロードするために使用され得る。位置および向き情報はまた、ローカル環境のデジタルマップなどの追加情報も含み得る。代替的に、復号されたデータは、たとえばオブジェクト104が十分に密な形でコード化され得る場合に、オブジェクト104の位置および向き情報を含み得る。
【0027】
カメラ120の位置および向き情報は、オブジェクト104の画像を使用し、オブジェクト104に対して推定される(206)。例として、図5は、オブジェクト104に対するカメラ120を有するモバイルプラットフォーム100の透視図を示す。オブジェクト104の画像、焦点距離などの知られているカメラパラメータ、およびオブジェクト104の知られている特徴点を使用し、オブジェクト104に対するカメラ120の位置および向きが判断され得る。たとえば、図2のオブジェクト104の画像を参照すると、特徴点104a、104b、104c、および104dが、その画像から識別可能であり、同形異義性変換を使用してオブジェクト104に対するカメラの位置および向きを判断するために使用され得る。同形異義性は、カメラの画像への平面のオブジェクトのポイントの射影マッピングである。特徴点104a、104b、104c、および104dの間の距離、ならびにそれらの向きは、たとえば、ワイヤレスネットワークにアクセスすることよって、または情報がそのオブジェクト内にコード化され得るかのいずれかで、オブジェクト104内にコード化されたデータを使用して取得され得る。代替的に、オブジェクト内の特徴点の標準構成が使用され得る。オブジェクト104上の知られているカメラパラメータおよび特徴点で、図5に示すように、オブジェクト104の中央からの相対距離D、ならびに、ZobjectおよびYobjectによって定義される面の中の垂直なベクトルZobjectからの方位角β、ならびに、仰角αが、判断される。
【0028】
オブジェクト104に対するカメラ120の推定される位置および向きと、グローバル基準フレームに対するオブジェクト104の取得された位置および向きを使用して、グローバル基準フレームに対するカメラの位置および向きが判断される(208)。図6は、例として、建造物180の入口に置かれたオブジェクト104に対するモバイルプラットフォーム100内のカメラ120の透視図を示す。グローバル基準フレームは、建造物基準フレームXbuilding、Ybuilding、Zbuildingとして示されているが、ローカルまたはグローバル座標を含む任意の所望の基準フレームが使用可能である。図6に点線182で示すように、オブジェクト104に対するカメラ120の位置および向きは、上記のステップ206で説明したように、判断される。グローバル基準フレーム内のオブジェクト104の取得された位置および向きと、オブジェクト104に対するカメラ120の判断された位置および向きに基づいて、カメラ120の位置および向きが、距離ρ0、方位角θ0および仰角φ0でグローバル基準フレーム、Xbuilding、Ybuilding、Zbuildingに対して、判断され得る。言い換えれば、カメラ基準フレームとオブジェクト104の画像に基づくグローバル基準フレームの間の変換マトリックスは、次のように判断される:
【0029】
【数1】

【0030】
ただし、
【0031】
【数2】

【0032】
がカメラ基準フレームとグローバル基準フレームの間の情報マトリックスである場合、
【0033】
【数3】

【0034】
は、グローバル基準フレームに対するオブジェクト104の取得された向きから計算され得る、オブジェクト104の基準フレームとグローバル基準フレームの間の変換マトリックスであり、そして、
【0035】
【数4】

【0036】
は、上記のステップ206で判断されたオブジェクト104に対するカメラ120の向きから計算され得る、カメラ基準フレームとオブジェクトの基準フレームの間の変換マトリックスである。グローバル基準フレームに対するカメラの向きは、
【0037】
【数5】

【0038】
から計算され得る。
【0039】
グローバル基準フレームに対するカメラ120の判断された位置および向きと、カメラ120および慣性センサ170の間の知られている向きを使用して、モバイルプラットフォーム100の航行座標フレームおよび慣性センサ基準フレームの間の変換マトリックスが判断される(210)。航行座標フレームに対する慣性センサの向きは、航行座標フレームおよび慣性センサ基準フレームの間の変換マトリックスから計算され得る。一実施形態では、モバイルプラットフォーム100の航行座標フレームは単に、グローバル基準フレームでもよく、その場合、航行座標フレームに対する慣性センサの向きは、グローバル基準フレームおよび慣性センサ基準フレームの間の変換マトリックスから計算され得る。例として、図7は、モバイルプラットフォーム100内の慣性センサ170およびカメラ120の透視図を示す。わかるように、慣性センサ170は、カメラ120と同じ向きを有さないことがある。カメラ基準フレーム120refおよび慣性センサ基準フレーム170refの間の変換マトリックスが知られるように、カメラ120に対する慣性センサ170の向きが、較正によって推定され得る。言い換えれば、慣性センサ170についての変換マトリックスは、次のように判断され得る:
【0040】
【数6】

【0041】
ただし、
【0042】
【数7】

【0043】
は慣性センサ基準フレーム170refおよびグローバル基準フレームの間の変換マトリックスであり、
【0044】
【数8】

【0045】
は、較正中に判断される、慣性センサ基準フレーム170refおよびカメラ基準フレーム120refの間の変換マトリックスである。航行座標フレームに対する慣性センサの向きは、
【0046】
【数9】

【0047】
から計算され得る。
【0048】
別の実施形態では、モバイルプラットフォーム100の航行座標フレームは、グローバル基準フレームとは異なり得る。たとえば、慣性航法システムは、ローカルレベル座標フレーム、または地球固定座標フレームを航行座標フレームとして使用することができる。この実施形態では、航行座標フレームおよび慣性センサ基準フレームの間の変換マトリックス(210)は、慣性センサ基準フレームおよび上記で説明したグローバル基準フレームの間の変換マトリックスと、カメラの判断された位置から計算され得る、グローバル基準フレームおよび航行座標フレームの間の変換マトリックスとに基づいて、判断され得る。航行座標フレームに対する慣性センサの向きは、航行座標フレームおよび慣性センサ基準フレームの間の変換マトリックスから計算され得る。言い換えれば、慣性センサ170についての変換マトリックスは、次のように判断され得る:
【0049】
【数10】

【0050】
ただし、
【0051】
【数11】

【0052】
は慣性センサ基準フレーム170refおよび航行座標フレームの間の変換マトリックスであり、
【0053】
【数12】

【0054】
は、カメラの判断された位置から計算される、グローバル基準フレームおよび航行座標フレームの間の変換マトリックスである。航行座標フレームに対する慣性センサの向きは、
【0055】
【数13】

【0056】
から計算され得る。
【0057】
慣性航法システムの速度、位置、向き、および変換マトリックスが、初期化される(212)。オブジェクト202を画像化する間、モバイルプラットフォーム100は瞬間的に固定状態にされるため、速度はゼロに初期化され得る。慣性航法システムの位置が、ステップ208で判断されたように、グローバル基準フレームに対するカメラ120の位置に設定される。航行座標フレームおよびステップ210で判断された慣性センサ基準フレームの間の変換マトリックスが、
【0058】
【数14】

【0059】
に設定される。航行座標フレームに対する慣性センサの初期の向きは、慣性センサ基準フレームと航行座標フレームの間の初期化された変換マトリックスから計算され得る。
【0060】
航行中、モバイルプラットフォーム100の位置および向きが、慣性航法システムの初期化された位置、変換マトリックス、および初期化された速度とともに、慣性センサからの測定値を使って、更新される(214)。更新された位置および向き情報は、たとえば、図3に示すディスプレイ162またはスピーカ168を介して、提供される。表示される位置および向き情報は、たとえば推測航法によって、判断されるような慣性航法システムの位置および向きを含み得る。しかし、その向きは、所望される場合、表示される必要はないことを理解されたい。
【0061】
したがって、オブジェクト104の画像を使用して判断された位置および向き情報を使用して慣性航法システム170を初期化した後に、慣性センサ170を使用する航行が開始し得る。図8は、たとえばモバイルプラットフォーム100の表示装置162に、表示され得る簡易デジタルマップ300を示し、慣性航行中の位置および向き情報を取得および使用するステップを説明する。デジタルマップ300は、ローカル座標系またはWGS84などのグローバル座標系でもよい、上記で説明したようなグローバル基準フレームを基準にすることができる。デジタルマップ300は、オブジェクト104の画像から復号されたデータを使用して、アクセスおよびダウンロードされ得る。モバイルプラットフォーム100の初期位置302(x0,y0)および速度は、オブジェクト104の画像を使用して、上記で説明したように判断され、デジタルマップ300に表示されているように示される。図8は、説明の目的でローカル屋内環境の比較的簡単なデジタルマップ300を示し、デジタルマップ300は、要望または必要に応じて、複雑になり得ることを理解されたい。たとえば、デジタルマップ300は、複数のレベル、空間などを含むことができ、テキストおよび/またはグラフィカル情報を含むことができる。さらに、デジタルマップ300は、屋内環境に限定されない。たとえば、デジタルマップ300は、特に、GPS航行が妨害状態によりアクセス不可能である、またはモバイルプラットフォーム上で単に利用不可能な場合、任意の屋外環境に使用され得る。
【0062】
モバイルプラットフォーム100が移動するとき、慣性センサ170からの測定値が、初期化された位置、速度、および変換マトリックスとともに使用されて、デジタルマップ300に表示され得る、モバイルプラットフォーム100の位置を更新する。例として、モバイルプラットフォーム100の更新された位置304(xi,yi)がデジタルマップ300に示されている。しかし、慣性センサは時間とともにエラーを蓄積する傾向があるので、モバイルプラットフォームが移動するにつれて、モバイルプラットフォーム100の位置に関連する不確実性は増加する。説明の目的で、モバイルプラットフォーム100のパスは鎖線で図示され、増加する関連不確実性が点線308で示される。しかし、パスおよび/または位置の不確実性は、モバイルプラットフォーム100によって表示され得ないことを理解されたい。
【0063】
図8に示すように、異なるオブジェクト105が、慣性航法システムでのエラーを修正するために、モバイルプラットフォーム100によって使用され得る。異なるオブジェクト105は、オブジェクト104と同様でもよいが、そこからその情報がダウンロードされ得るURIなど、オブジェクト105の特定の位置および向きに関連する情報でコード化される。
【0064】
図9は、オブジェクト105の画像を使用してモバイルプラットフォーム100での航行中のエラーを修正する方法を示す流れ図である。図9に示すプロセスは、慣性航行がすでに初期化されていて、航行中に異なるオブジェクト105が画像化される(302)ことを除いて、図4に記載のプロセスと同様である。図4に記載されているように、グローバル基準フレームに対するオブジェクトの位置および向き情報が取得され(304)、異なるオブジェクト105に対するカメラの位置および向きが、その画像を使用し、推定される(306)。グローバル基準フレーム内の現在のカメラの位置および向きが次いで、判断され得る(308)。グローバル基準フレーム内の新しい位置および向きが次いで、ジャイロおよび加速度計ドリフトなど、慣性位置エラー、速度エラー、向きエラー、および慣性センサ170エラーを推定および修正するために、使用され得る。図8に示すように、航行エラーが修正された、すなわちモバイルプラットフォーム100の位置および向きが判断された、後は、更新された位置での累積不確実性は低減される。したがって、モバイルプラットフォーム100での慣性航行は、新しい関連不確実性を有するモバイルプラットフォーム100のパス310によって示されるように、継続することができる312。
【0065】
図10は、異なるオブジェクトを使用して慣性航法システムにおけるエラーを修正するステップを概略的に示す。図10は、慣性センサ170ならびに位置エンジン146を含む、慣性航法システム352に結合された、離散的カルマンフィルタなどのフィルタ350を示す。フィルタ350はまた、カルマンフィルタによって可変サンプリングレートを有する離散時間位置および向きセンサとして扱われる、画像化されたオブジェクト105からの位置および向き情報などの画像化されたオブジェクトの情報354を受信するために結合されているものとして図示される。フィルタ350は、たとえば、慣性航法システムからの位置、速度、および向き情報と画像化されたオブジェクト105からの位置および向き情報などを受信する。画像化されたオブジェクト105からの位置および向き情報は、フィルタ350を更新して、ジャイロドリフトおよび加速度計のバイアスなど、慣性位置エラー、速度エラー、向きエラー、および慣性センサ170エラーを推定するために、使用される。フィルタ350からのエラー推定は、慣性航法システム352に航行修正およびセンサ修正を提供するために、使用される。
【0066】
本発明は教育的目的で特定の実施形態に関して説明されているが、本発明はそれらに限定されない。様々な適応および修正が、本発明の範囲を逸脱することなしに、行われ得る。したがって、添付の特許請求の範囲の趣旨および範囲は、上記の説明に限定されるべきではない。
【符号の説明】
【0067】
100 モバイルプラットフォーム
104 オブジェクト
105 異なるオブジェクト
106 ネットワーク
108 位置および向き情報
120 カメラ
130 モバイルプラットフォーム制御
132 プロセッサ
134 メモリ
136 ハードウェア
138 ソフトウェア
140 ファームウェア
142 リーダ
144 ブラウザ
146 位置エンジン
148 位置データベース
150 ワイヤレスネットワーク無線トランシーバ
160 ユーザインターフェース
162 ディスプレイ
164 キーパッド
166 マイクロフォン
168 スピーカ
170 慣性センサ
300 デジタルマップ
350 フィルタ
352 慣性航法システム

【特許請求の範囲】
【請求項1】
慣性センサを含む慣性航法システムを有するモバイルプラットフォーム内のカメラでオブジェクトの画像を撮る間にモバイルプラットフォームを固定状態にするステップであって、前記慣性センサおよび前記カメラの間の向きが知られているステップと、
グローバル基準フレーム内の前記オブジェクトの位置および向き情報を取得するステップと、
前記オブジェクトの前記画像から前記オブジェクトに対する前記カメラの位置および向きを推定するステップと、
前記オブジェクトに対する前記カメラの前記推定された位置および向きと前記グローバル基準フレーム内の前記オブジェクトの前記取得された位置および向きとから前記グローバル基準フレーム内の前記カメラの位置および向きを判断するステップと、
前記グローバル基準フレーム内の前記カメラの前記判断された位置および向きと前記慣性センサおよび前記カメラの間の前記向きとを使用して、前記慣性航法システムの航行座標フレームおよび慣性センサ基準フレームの間の変換マトリックスを判断するステップと、
前記慣性航法システムの速度を、ゼロに設定するステップと、
前記慣性航法システムの位置を、前記グローバル基準フレーム内の前記カメラの前記推定された位置に設定するステップと、
前記航行座標フレームおよび前記慣性センサ基準フレームの間の前記変換マトリックスを、前記航行座標フレームおよび前記慣性センサ基準フレームの間の前記判断された変換マトリックスに設定するステップと、
前記慣性センサからの測定値、前記設定された変換マトリックス、前記設定された速度、および前記慣性航法システムの前記設定された位置を使用して、前記慣性航法システムの位置、速度、および向きを更新するステップと、
前記モバイルプラットフォームの位置として前記慣性航法システムの位置の前記更新された推定値を提供するステップと
を備える、方法。
【請求項2】
前記モバイルプラットフォーム内の前記カメラで異なるオブジェクトの画像を撮る間に、前記モバイルプラットフォームを固定状態にするステップと、
前記グローバル基準フレーム内の前記異なるオブジェクトの位置および向き情報を取得するステップと、
前記異なるオブジェクトの前記画像から前記異なるオブジェクトに対する前記カメラの新しい位置および向きを推定するステップと、
前記オブジェクトに対する前記カメラの前記推定された新しい位置および向きと、前記グローバル基準フレーム内の前記異なるオブジェクトの前記取得された位置および向きとから前記グローバル基準フレーム内の新しいカメラ位置および向きを判断するステップと、
前記グローバル基準フレーム内の前記判断された新しいカメラ位置および/または向きの少なくとも1つを使用して、前記慣性航法システム、および前記慣性センサの位置、速度、および向きのエラーを推定および修正するステップと
をさらに備える、請求項1に記載の方法。
【請求項3】
前記慣性航法システムおよび前記慣性センサの位置、速度、および向きのエラーが、カルマンフィルタを使用して推定および修正される、請求項2に記載の方法。
【請求項4】
前記航行座標フレームおよび前記慣性センサ基準フレームの間の変換マトリックスを判断するステップが、カメラ基準フレームおよびオブジェクト基準フレームの間の判断される第1の変換マトリックスと前記グローバル基準フレームおよび前記オブジェクト基準フレームの間の第2の変換マトリックスとを使用するステップを備える、請求項1に記載の方法。
【請求項5】
航行座標フレームおよび前記慣性センサ基準フレームの間の変換マトリックスを判断するステップがさらに、前記カメラ基準フレームおよび前記慣性センサ基準フレームの間の第3の変換マトリックスを使用するステップを備える、請求項4に記載の方法。
【請求項6】
前記航行座標フレームおよび慣性センサ基準フレームの間の変換マトリックスを判断するステップがさらに、前記グローバル基準フレームおよび前記航行座標フレームの間の第4の変換マトリックスを使用するステップを備える、請求項5に記載の方法。
【請求項7】
前記オブジェクトがデータコードラベルである、請求項1に記載の方法。
【請求項8】
前記オブジェクトがクイックレスポンスコードである、請求項1に記載の方法。
【請求項9】
前記オブジェクトがユニフォームリソース識別子(URI)でコード化され、前記オブジェクトに関する位置および向き情報を取得するステップが、
前記オブジェクトを復号して前記URIを判断するステップと、
前記URIを使用して前記オブジェクトに関する前記位置および向き情報にアクセスし、それをダウンロードするステップと
を備える、請求項1に記載の方法。
【請求項10】
前記モバイルプラットフォームの位置として前記慣性航法システムの位置の前記更新された推定値を提供するステップが、前記モバイルプラットフォーム上のデジタルマップ上に前記更新された位置を表示するステップを備える、請求項1に記載の方法。
【請求項11】
モバイルプラットフォームであって、
オブジェクトを画像化するために動作可能なカメラと、
運動および回転データを提供する慣性センサを備える、慣性航法システムと、
前記カメラおよび前記慣性センサに接続された、プロセッサと、
前記プロセッサに接続された、メモリと、
前記メモリ内に保持され、前記プロセッサ内で実行されて、前記プロセッサに、グローバル基準フレーム内の前記オブジェクトに関する位置および向き情報を取得させ、前記カメラによって撮られる前記オブジェクトの画像から前記オブジェクトに対する前記カメラの位置および向きを推定させ、前記推定された位置および向きと前記グローバル基準フレーム内の前記オブジェクトの前記取得された位置および向きとから前記グローバル基準フレーム内のカメラの位置および向きを判断させ、前記グローバル基準フレーム内の前記判断されたカメラの位置および向きと前記慣性センサおよび前記カメラの間の知られている向きとを使用して前記慣性航法システムの航行座標基準フレームおよび慣性センサ基準フレームの間の変換マトリックスを判断させ、前記慣性航法システムを速度ゼロと、前記グローバル基準フレーム内の前記カメラの前記判断された位置と、前記航行座標フレームおよび前記慣性センサ基準フレームの間の前記判定された変換マトリックスとで初期化させ、前記慣性センサからのデータと前記初期化された速度、位置および変換マトリックスとを使用して前記慣性航法システムの位置を更新させ、前記モバイルプラットフォームの位置として前記更新された慣性航法システムの位置を提供させる、ソフトウェアと
を備える、モバイルプラットフォーム。
【請求項12】
前記ソフトウェアが、前記プロセッサにさらに前記グローバル基準フレーム内の異なる画像化されたオブジェクトに関する位置および向き情報を取得させ、前記カメラによって撮られた画像から前記異なる画像化されたオブジェクトに対する前記カメラの新しい位置および向きを推定させ、前記推定された新しい位置および向きと前記グローバル基準フレーム内の前記異なる画像化されたオブジェクトの前記取得された位置および向きとから前記グローバル基準フレーム内の新しいカメラの位置および向きを判断させ、前記グローバル基準フレーム内の前記判断された新しいカメラの位置および向きの少なくとも1つを使用して、前記慣性航法システムおよび前記慣性センサの前記位置、速度、および向きを推定および修正させる、請求項11に記載のモバイルプラットフォーム。
【請求項13】
前記グローバル基準フレーム内の前記判断された新しいカメラの位置および向きの前記少なくとも1つを使用して前記慣性航法システムおよび前記慣性センサの前記位置、速度、および向きのエラーを推定および修正するカルマンフィルタをさらに備える、請求項11に記載のモバイルプラットフォーム。
【請求項14】
前記ソフトウェアが、前記プロセッサに、前記航行座標フレームおよび前記慣性センサ基準フレームの間の前記変換マトリックスを判断するために、カメラ基準フレームおよびオブジェクト基準フレームの間の第1の変換マトリックスと、前記グローバル基準フレームおよび前記オブジェクト基準フレームの間の第2の変換マトリックスとを判断させる、請求項11に記載のモバイルプラットフォーム。
【請求項15】
前記ソフトウェアがさらに、前記プロセッサに、前記航行座標フレームおよび前記慣性センサ基準フレームの間の変換マトリックスを判断するために、前記カメラ基準フレームおよび前記慣性センサ基準フレームの間の第3の変換マトリックスを使用させる、請求項14に記載のモバイルプラットフォーム。
【請求項16】
前記ソフトウェアがさらに、前記プロセッサに、前記航行座標フレームおよび前記慣性センサ基準フレームの間の変換マトリックスを判断するために、前記グローバル基準フレームおよび前記航行座標フレームの間の第4の変換マトリックスを使用させる、請求項15に記載のモバイルプラットフォーム。
【請求項17】
前記メモリ内に保持され、前記プロセッサ内で実行される前記ソフトウェアが前記プロセッサを制御して前記モバイルプラットフォーム上に前記位置を表示する、ディスプレイをさらに備える、請求項11に記載のモバイルプラットフォーム。
【請求項18】
前記オブジェクトを復号するためのオブジェクトデコーダをさらに備え、前記デコーダが、前記オブジェクト内にコード化されたユニフォームリソース識別子(URI)を使用するグローバル基準フレーム内の前記オブジェクトに関する位置および向き情報を取得するプロセッサに結合されている、請求項11に記載のモバイルプラットフォーム。
【請求項19】
モバイルプラットフォームについての位置情報にアクセスし、それを更新するシステムであって、
オブジェクトを画像化する手段と、
グローバル基準フレーム内の前記オブジェクトに関する位置および向き情報を取得する手段と、
前記オブジェクトの前記画像から前記オブジェクトに対する前記画像化する手段の位置および向きを推定する手段と、
前記推定された位置および向きと前記オブジェクトの前記取得された位置および向きとから前記グローバル基準フレーム内の前記画像化する手段の位置および向きを判断する手段と、
前記モバイルプラットフォームの動きを感知する手段と、
前記画像化する手段の前記判断された位置および向きと前記動きを感知する手段および前記画像化する手段の間の知られている向きとを使用して、航行座標フレームおよび前記動きを感知する手段のフレームの間の変換マトリックスを判断する手段と、
速度ゼロと、前記画像化する手段の前記判断された位置と、前記航行座標フレームおよび前記動きを感知する手段のフレームの間の前記判断された変換マトリックスとで、前記慣性航法システムを初期化する手段と、
前記動きを感知する手段からのデータと前記初期化された速度、位置、および変換マトリックスとを使用して、前記モバイルプラットフォームの位置、速度、および向きを判断する手段と、
前記モバイルプラットフォームの前記判断された位置を提供する手段と
を備える、システム。
【請求項20】
前記画像化する手段が異なるオブジェクトを画像化し、前記位置および向き情報を取得する手段が前記グローバル基準フレーム内の前記異なるオブジェクトに関する位置および向き情報を取得し、前記画像化する手段の位置および向きを推定する前記手段が前記画像化する手段の新しい位置および向きを推定し、前記グローバル基準フレーム内の前記画像化する手段の位置および向きを判断する前記手段が前記推定された新しい位置および向きと前記異なるオブジェクトの前記取得された位置および向きから前記グローバル基準フレーム内の前記画像化する手段の新しい位置および向きを判断し、
前記画像化する手段の前記判断された新しい位置および向きのうちの少なくとも1つを使用して前記モバイルプラットフォームの前記位置、速度および向きのエラーを修正する手段
をさらに備える、請求項19に記載のシステム。
【請求項21】
前記変換マトリックスを判断する手段が、前記画像化する手段のフレームおよびオブジェクト基準フレームの間の第1の変換マトリックスと、前記グローバル基準フレームおよび前記オブジェクト基準フレームの間の第2の変換マトリックスとを使用する、請求項19に記載のシステム。
【請求項22】
前記変換マトリックスを判断する手段がさらに、前記画像化する手段の前記フレームおよび前記動きを感知する手段の前記フレームの間の第3の変換マトリックスを使用する、請求項21に記載のシステム。
【請求項23】
前記変換マトリックスを判断する手段がさらに、前記航行座標フレームおよび前記グローバル基準フレームの間の第4の変換マトリックスを使用する、請求項22に記載のシステム。
【請求項24】
前記モバイルプラットフォームの前記判断された位置を提供する手段が、デジタルマップ上に前記判断された位置を表示する手段を備える、請求項19に記載のシステム。
【請求項25】
データコードラベルリーダをさらに備え、前記オブジェクトがデータコードラベルである、請求項19に記載のシステム。
【請求項26】
グローバル基準フレーム内の前記オブジェクトに関する位置および向き情報を取得する前記手段が、前記モバイルプラットフォーム内のウェブブラウザである、請求項19に記載のシステム。
【請求項27】
コンピュータにより実行可能なプログラムコードを記録したコンピュータ読み取り可能な記録媒体であって、
画像化されたオブジェクトに関するグローバル基準フレーム内の位置および向き情報を復号および取得するためのプログラムコードと、
前記オブジェクトの画像から位置および向きを推定するためのプログラムコードと、
前記推定された位置および向きと前記画像化されたオブジェクトに関する前記グローバル基準フレーム内の前記取得された位置および向き情報とから前記グローバル基準フレーム内の位置および向きを判断するためのプログラムコードと、
前記グローバル基準フレーム内の前記判断された位置および向きと前記慣性センサのフレームおよび前記オブジェクトの前記画像を生成したカメラのフレームの間の知られている向きとを使用して、前記航行座標フレームおよび慣性航法システムの慣性センサのフレームの間の変換マトリックスを判断するためのプログラムコードと、
前記判断された位置および向きと、前記判断された変換マトリックスと、速度ゼロとを使用して、前記慣性航法システムを初期化するためのプログラムコードと、
前記初期化された位置、変換マトリックス、速度、および前記慣性センサからのデータを使用して、更新された位置を判断するためのプログラムコードと、
前記更新された位置を提供するためのプログラムコードと
を記録する記録媒体。
【請求項28】
前記判断された位置および異なるオブジェクトの画像から判断される新しい向きのうちの少なくとも1つを使用して、前記慣性航法システムおよび前記センサの位置、速度および向きのエラーを修正するためのプログラムコード
をさらに記録する、請求項27に記載の記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公表番号】特表2013−517483(P2013−517483A)
【公表日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願番号】特願2012−549156(P2012−549156)
【出願日】平成23年1月18日(2011.1.18)
【国際出願番号】PCT/US2011/021577
【国際公開番号】WO2011/088469
【国際公開日】平成23年7月21日(2011.7.21)
【出願人】(507364838)クアルコム,インコーポレイテッド (446)
【Fターム(参考)】