説明

位置確認のために三次元位置と二次元強度のマッピングを組み合わせるための方法と装置

マッピング方法は、第1のモバイルユニットが表面を横断する間に、二次元の特徴のマップを作成するために該第1のモバイルユニットを使用する工程を含む。該特徴の三次元位置はマッピング中に検知される。三次元マップは、特徴の三次元位置と二次元の特徴のマップとの間の関連性を含むように作成される。三次元マップは第1のモバイルユニットから第2のモバイルユニットに提供される。第2のモバイルユニットは、第2のモバイルユニットが表面を横断する間に、二次元の特徴のマップを作成するために使用される。第2のモバイルユニットによってマッピングされた二次元の特徴の三次元位置は、第2のモバイルユニット内で、三次元マップを使用することにより測定される。

【発明の詳細な説明】
【技術分野】
【0001】
1.発明の分野
本発明は、マッピング技術、特に位置確認システムで使用されるマッピング技術に関する。
【背景技術】
【0002】
2.関連技術の詳細
自律走行車両は個人用ロボットと同様に人間環境で安全に作動しなければならない。そのような車両は、ドライバー支援システム、自律駆動、可動ロボット、および、個人用ロボットのためのシステムの分野で使用される。安全に操作するためには、環境の正確な認識と環境内での正確な位置確認が要求される。認識された二次元および三次元のデータは、位置確認工程において環境を表わすためにマッピングプロセスで使用される。
【0003】
三次元認識のための現在のセンサーシステムは、レーザー測距器、ステレオカメラ、または、三次元領域撮像装置(three−dimensional range imagers)を使用するのが一般的である。これらのセンサーは、一般的に非常に高価で、信号処理のためのコンピュータ処理能力を要求する。
【0004】
例えば、超音波センサーまたはモノラルビジョン(mono vision)に基づいた安価な位置確認システムは、配置予定の環境の構造に関して想定をしなければならない。したがって、そのような安価な位置確認システムは、環境の中で単に最も単純なものに一般に適用可能であるか、または、モデル想定の違反によって引き起こされた低いロバスト性に苦しむ。
【0005】
先行技術で開示も示唆もされていないものは、既知のマッピング方法による上記の問題を克服するマッピング方法である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、高度に正確で低価格な位置確認システムについての正確な三次元位置に従って、ロバスト二次元強度の特徴のマップを作成するための方法を提供する。強度特徴は、例えば、スケールの影響を受けない特徴変換(Scale−Invariant Feature Transform)(SIFT)、迅速化ロバスト特性(Speed Up Robust Features)(SURF)、Le Petit Poucet GPSのソフトウェアまたはCalonderによって得られる。正確な三次元位置は、例えば、目盛を付けた光検知測距(LIDAR)システムによって得られる。
【0007】
本発明は、コストのかからない位置確認を可能にするために、グローバル座標が所望である場合に、三次元センサー(例えば、LIDAR)、二次元強度センサー(例えば、カメラ)、および、場合によっては位置決めセンサー(例えば、推測航法システム)を含むハードウェア搭載物(hardware setup)で作成されたマップを利用する。本発明の新しい特徴は、マップ中の三次元位置とともに二次元の強度特徴を関連させることである。マッピングシステムとは異なる車両/ロボットのための実際の位置確認は、低価格なモノスコープの強度センサーで安全に行なうことができる。
【課題を解決するための手段】
【0008】
本発明は、その1つの形状で、第1のモバイルユニットが表面を横断する間に、二次元の特徴(feature)のマップを作成するために第1のモバイルユニットを使用する工程を含むマッピング方法を含む。特徴の三次元位置はマッピング中に検知される。三次元マップは、特徴の三次元位置と二次元の特徴のマップとの間の関連性を含むように作成される。三次元マップは第1のモバイルユニットから第2のモバイルユニットに提供される。第2のモバイルユニットは、第2のモバイルユニットが表面を横断する間に、二次元の特徴のマップを作成するために使用される。第2のモバイルユニットによってマッピングされた二次元の特徴の三次元位置は、第2のモバイルユニット内で、かつ、三次元マップを使用することにより測定される。
【0009】
本発明は、別の形状で、第1のモバイルユニットが表面を横断する間に、二次元の特徴のマップを作成するために第1の強度フィールドセンサーを有する第1のモバイルユニットを含むマッピング構造(mapping arrangement)を含む。三次元位置検出装置は、強度フィールドセンサーによってマッピングする間に特徴の三次元位置を検知する。プロセッサーは強度フィールドセンサーと三次元位置検出装置の両方と通信している。プロセッサーは、特徴の三次元位置と二次元の特徴のマップとの関連性を含む三次元マップを作成する。送信装置はプロセッサーと通信しており、三次元マップを送信する。第2のモバイルユニットは、第1のモバイルユニットから三次元マップを受け取るための受け取り装置を含む。第2のモバイルユニットが表面を横断する間に、第2の強度フィールドセンサーは二次元の特徴のマップを作成する。プロセッサーは、強度フィールドセンサーと受け取り装置の両方と通信している。プロセッサーは、第2のモバイルユニットによってマッピングされた二次元の特徴の三次元位置を測定する。三次元位置の測定は、第2のモバイルユニット内で、かつ、三次元マップを使用することによって行なわれる。
【0010】
本発明は、さらに別の形状で、車道の二次元特徴のマップを作成する工程を含むマッピング方法を含む。特徴の三次元位置はマッピング中に検知される。車道のグローバルな位置座標が測定される。三次元マップは、特徴の三次元位置、二次元の特徴のマップ、および、グローバルな位置座標の間の関連性を含むように作成される。三次元マップは自動車に提供される。自動車は、車道を横断する間に、二次元の特徴のマップを作成するために使用される。自動車が車道を横断する間に、自動車のグローバルな位置座標が追跡される。車両のグローバルな位置座標は、三次元マップに関連するグローバルな位置座標に一致する。一致したグローバルな位置座標に関連する二次元の特徴も一致する。車両と、車両によってマッピングされた二次元の特徴の間の距離は、車両内部で、かつ、一致した二次元の特徴に関連する三次元位置を使用することによって測定される。
【0011】
本発明の利点は、単一のマッピング装置によって、任意の数のロボット/車両は、マッピングされた領域で安全かつ正確な操縦が可能となるということである。
【0012】
別の利点は、潜在的な大量生産部品の統合により、マッピングと位置確認のための現在の開発されているシステムと比較して、コストを著しく削減できる可能性があるということである。
【図面の簡単な説明】
【0013】
【図1】本発明の位置確認構造の1つの実施形態を示す略図である。
【図2a】三次元の情報も含む図1の強度フィールドセンサーによって作成された二次元マップの一例である。
【図2b】含まれる三次元の情報を示す、図2aの車両の拡大図である。
【図3】本発明のマッピング方法の1つの実施形態を介して作成されたマッピングの一例である。
【図4】本発明のマッピング方法の別の実施形態を介して作成されたマッピングの一例である。
【図5】本発明のマッピング方法の実施形態のフローチャートである。
【図6】本発明のマッピング方法の別の実施形態のフローチャートである。
【発明を実施するための形態】
【0014】
本発明の上記特徴および目的と他の特徴および目的、および、これらを成し遂げる手法がさらに明らかになるとともに、本発明そのものは、添付の図面と併せて取り込まれた本発明の実施形態の以下の記載を参照することによって一層よりよく理解されるであろう。
【0015】
対応する参照文字は、複数の図にわたって対応する部分を示している。本明細書で書かれる例証は、本発明の実施形態を示しており、幾つかの形状では、以下に開示される実施形態は、包括的となるよう意図されたものではなく、または、本発明の範囲を開示された正確な形状に制限するものとして解釈されるように意図されたものでもない。
【0016】
ここで図面、特に図1を参照すると、衛星(16)を介して通信している第1の車両(12)と第2の車両(14)とを含む、本発明の位置確認構造(10)の1つの実施形態が示される。両方の車両(12)および(14)は車道(17)上を移動する。車両(12)は、三次元センサー(18)、強度フィールドセンサー(20)、プロセッサー(22)、アンテナ(24)、および、随意の全地球測位システム(GPS)(26)を含む。例えば、三次元センサー(18)は、LIDARシステムまたはステレオカメラの形状である。LIDARシステムは、車両(12)の適応走行制御(ACC)システムで同時に使用される。強度フィールドセンサー(20)は、1つの実施形態においてカメラ形状である。プロセッサー(22)は、任意の標準的なマイクロプロセッサーである。
【0017】
車両(14)は、強度フィールドセンサー(120)、プロセッサー(122)、アンテナ(124)、および、随意のGPS(126)を含む。強度フィールドセンサー(120)は、1つの実施形態においてカメラ形状である。プロセッサー(122)は任意の標準的なマイクロプロセッサーである。衛星(16)はGPS通信で使用される任意の標準的な衛星である。強度フィールドセンサー(20)、(120)と、3Dセンサー(18)は、車両の中央部分であるものとして図1で示されているが、これらのセンサーのうちのいずれかは、視野を遮らないように、それぞれの車両のフロントバンパーに有利に設置される。
【0018】
本発明の三次元のマッピング方法によれば、三次元センサー(18)は強度フィールドセンサー(20)と組み合わされ、GPS(26)の形状をした推測航法システムなどの位置決め装置に場合によっては支持される。道路表面のマップを作成するためのシステムは、高性能のLIDAR、GPS、および、慣性計測装置(IMU)センサーを含む。システムは、道路表面の5センチメートルの解像度で地面の反射率の二次元表面画像を生成する。本発明の1つの実施形態では、このシステムは三次元の表面のメッシュを作成するために拡張される。
【0019】
図2aは、LIDARセンサーによって提供される三次元の情報を含む強度フィールドセンサー(20)によって作成された二次元マップの一例を示す。走査工程は、三次元マップを構成する三次元のデータ点を格子状構造中に並べる。空間の各々の点は、レーザービームの2つの角度に関連した距離値によって表わされる。図2bは車両(222)の拡大図である。図2bで示されるように、三角形メッシュ、または、「3D表面メッシュ」は、各々の角度方向に隣接するもののうちの2つを備える各データ点を接続することにより作成可能である。そのような3つのデータ点(228)が、説明の目的のために図2bで同定される。3Dの表面メッシュは三角形の表面からなり、隣接する3つのデータ点(228)はより複雑な三次元の表面の粗近似を作成するために接続される。
【0020】
本発明の特徴を結合する工程によれば、二次元の強度フィールドセンサー(20)は三次元センサー(18)に位置合わせされる。したがって、例えば、SIFTを介して得られたような追加の特徴が、記録され、その三次元位置に関連付けられ、マップ中に保存される。これらの追加の特徴は安価なカメラシステムによってさえ検知するのが簡単である。
【0021】
本発明のマッピング工程で三次元位置に関連付けられるロバスト二次元強度特徴の一例が図3で示される。図3では、小さな「x」は、その三次元位置に関連付けられてマップ中に保存される特徴を表示する。一般的には、図3で示されるよりも非常に多くの特徴が関連付けられて保存される。しかしながら、説明を明瞭なものとするために、図3では少数の特徴が表示されている。
【0022】
本発明によれば、図3のマップは、車両(14)(図1)などの別の車両の位置確認に使用されてもよい。特に、図3の三次元マップは、図1の矢印(30)によって示されるように車両(12)から衛星(16)にアップロードされ、次に、矢印(32)によって示されるように、衛星(16)から車両(14)にダウンロードされる。
【0023】
図3の先に作成されたマップ上の車両(14)などの別のロボット/車両の位置確認について、強度フィールドセンサー(120)は、安価なモノスコープの強度センサー形状であってもよい。センサー(120)は初期化のために、棚から取り出してすぐに使えるGPSレシーバ(126)と組み合わされる。二次元の強度フィールドセンサー(120)を装備した車両(14)のような車/ロボットの位置は、図3の小さなxによって示される、発見された一致に関連付けられる三次元位置から得られる。
【0024】
図1乃至3に示される特定の実施形態では、第1の車両(12)は、二次元データを集めるために強度フィールドセンサー(20)を使用し、車両(12)は三次元のデータを集めるために3Dセンサー(18)を使用する。図3に示されるように、二次元データは、保存した3Dマップの形状をした三次元のデータに関連して保存される。3Dマップは、車両(12)によって作成された他の3Dマップと同様に、衛星(16)にアップロードされる。3Dマップは、GPSモジュール(26)によって測定されるように、車両(12)のグローバルな地理座標に関連して保存されアップロードされる。
【0025】
車両(12)によって作成された3Dマップは、その後、車両(14)と車道の特定の目印および/またはマークの間の距離を確認するために、車両(14)のような他の車両によって使用されてもよい。1つの実施形態では、車両(12)が現在の位置とほぼ同じGPS座標にあった際に、衛星(16)は、車両(12)によって集められた3Dマップを車両(14)にダウンロードする。特定の実施形態では、車両(14)は、現在のGPS座標を衛星(16)に送信し、衛星(16)は、3Dマップがほぼ同じGPS座標に関連して保存した車両(12)からの3Dマップを、車両(14)にダウンロードする。
【0026】
別の実施形態では、プロセッサー(122)は、現在のGPS座標に単に対応する部分よりも大きな3Dマップの部分にアクセスできる。この場合、プロセッサー(122)は、三次元マップの対応する部分を確認するために、車両(14)の現在のグローバルな位置座標を使用する。
【0027】
現在のグローバルな地理座標にほぼ対応する3Dマップを受け取ったため、車両(14)のプロセッサー(122)は、強度フィールドセンサー(120)によって集められたデータを、受け取った3Dマップ中の二次元データと一致させる。例えば、プロセッサー(122)は、データ点(334)(図3)などのデータ点またはデータ点(334)を含むデータ点の群を、強度フィールドセンサー(120)によって集められたデータ点またはデータ点の群と一致させるために、エッジ検出または他の画像処理技術を使用する。もっと一般的には、プロセッサー(122)は、強度フィールドセンサー(120)によって集められたデータ点の群を、受け取った3Dマップ中の二次元データ点の群と一致させる。強度フィールドセンサー(120)によって3Dマップ中で集められたデータ点の群を一致させたため、プロセッサー(122)は、強度フィールドセンサー(120)によって3Dマップ中で集められたさらに少ないデータ点の群、または、個々のデータ点すらも一致させることもある。
【0028】
3Dマップ中の点(334)に対応する、センサー(120)によって集められた2Dデータ点または2Dデータ点の群を発見した後に、プロセッサー(122)は、点(334)に対応する2Dデータ点と車両(14)との間の距離および場合によっては方向を測定する。すなわち、プロセッサー(122)は、車両(12)と点(334)の間の距離および方向を測定するために3Dマップを使用する。その後、プロセッサー(122)は、点(334)に対応する、センサー(120)によって集められたデータと車両(14)との間の距離および方向の代理として、車両(12)と点(334)の間のその測定された距離と方向を使用する。その後、プロセッサー(122)は、自動操舵および/または衡突回避アルゴリズムのような様々な可能な用途でその予想される距離を使用する。
【0029】
図1の実施形態では、衛星(16)は、三次元マップを受け取るとともに別の車両に該マップを中継するものとして示されている。しかしながら、別の実施形態では、衛星(16)は、車両にそのグローバル座標を測定させるためにのみ使用される。三次元マップは、その後、無線周波数を介して地上波の電話局に送信され、該電話局は、無線周波数を介して他の車両に三次元マップを中継する。別の実施形態では、三次元マップは、マップを作成する車両内のメモリデバイス上に保存される。メモリデバイスはその後、別の車両に移されるか、または、メモリデバイスのコンテンツが他の車両にコピーされる。
【0030】
本発明は、動的で絶えず変化する交通環境(すなわち、他の移動中の車両)に囲まれながら移動する自動車に適用されるものとして、図1乃至3では記載されている。しかしながら、本発明は、ロボット芝刈機またはロボット電気掃除機のような主に静的環境下で作動する他のタイプの移動車両またはロボットによる使用にも適用可能である。例えば、図4は、ロボット電気掃除機によって作られた玄関の3Dマップを示す。自動車のような移動している物のマップを作成する代わりに、ロボット電気掃除機は、鉢植え(436)などの固定物および比較的静止した物体の3Dマップを作成する。この3Dマップは、玄関の掃除をナビゲートする際に、3Dマップを作成したのと同じ電気掃除機、または、異なる電気掃除機によって使用されてもよい。
【0031】
1つの実施形態では、3Dマップは、3Dマップを作成する目的で特別に提供されるロボットによって作成される。専用ロボットによってまたは異なる電気掃除機によって作成されたかどうかにかかわらず、3Dマップは、3Dマップを作成する実体から3Dマップを使用する電気掃除機に電子的に直接送られる。3Dマップの伝達は、無線で、または、マップを作成する実体と3Dマップを使用する電気掃除機との間のハードワイヤ接続によって行われる。
【0032】
1つの実施形態では、玄関を掃除する電気掃除機は、図4に示される玄関の二次元画像データを集める強度フィールドセンサーを含む。電気掃除機の現在の位置を測定するためにGPSを使用するのではなく、電気掃除機のプロセッサーは、電気掃除機が確認するとともに通過する最後の目印に対する自らの位置を追跡する。例えば、電気掃除機のホイールは、ステッピングモーターによって駆動され、プロセッサーは、すぐに前の目印が検知されたため、ステッピングモーターの回転数を追跡する。ステッピングモーターのこの回転数は、集められた対応する二次元画像データに関連して保存される。
【0033】
図1乃至3の先の実施形態のように、玄関の二次元画像データが3Dマップの二次元データと比較される。二次元データの一致群が確認されると、二次元データの一致群に対応する3Dマップの三次元データは、電気掃除機によって抽出される。電気掃除機は、電気掃除機と目印(例えば、壁の角またはドアフレーム)と掃除機をかける領域の障害物(例えば、鉢植え(436))の間の距離および方向を測定するために、3Dマップの三次元の情報を使用する。電気掃除機は自動で操縦するか、または、さもなければマップを作成した領域をナビゲートすることによって、障害物との衝突を回避し、かつ、掃除機をかける全領域を最も効率的にカバーする経路も計画する。
【0034】
別の実施形態では、三次元マップを作成する電気掃除機は人間のオペレータによって操作および操縦され、結果として生じる三次元マップは、人間の操作を必要としないロボット電気掃除機によって利用される。本発明は芝刈機のような他の応用に適用可能であり、三次元マップを作成するための第1の通過は人間のガイダンスの下で行われ、三次元マップを用いるその後の通過は、人間の入力を必要とせず、自動ナビゲーションを用いる。
【0035】
1つの特定の実施形態では、本発明の方法はナビゲーション案内に適用される。本発明によって、単なる安価なカメラシステムを備えた車両が、あらかじめ記録されたマップに対する車線まで正確な位置確認を行なうことができる。最先端技術の車内ナビゲーションシステムは、車両の現在位置に関係なく絶対的な運転の提案(例えば、「二速に変更」)のみを提供する。対照的に、本発明の位置確認精度の向上により、現在の車両位置は、「左側の車線に変更」という形態で、より自然な相互作用のなかで参照される。
【0036】
別の特定の実施形態では、本発明の方法は、ナビゲーションのロバストを増加させる。GPSに基づいた最先端技術のナビゲーションシステムは、マルチパスエラー(multi−path error)と、トンネルおよび「都市峡谷」での受信の損失に苦しむ。この問題を克服するために、走行距離計測センサーが短時間の安定化のために用いられる。しかしながら、GPSの受信が数分間にわたって不十分であるかまたは利用できない場合、位置確認の精度はドリフトエラーによって著しく下がる。本発明の位置確認方法が衛星とのほぼ継続的な通信を必要とせず、改善されたドリフト特性を示すため、GPSなしでの安全な(すなわち、局地化された)運転の時間を著しく延ばすことができる。
【0037】
さらに別の特定の実施形態では、本発明の方法は個々のロボットに適用される。本発明のロボットの適用は、屋内の監視、芝刈り、産業環境での輸送、および、ハウスクリーニングを含む。これらの応用に共通していることは、その環境(例えば、オフィス、庭、家、工場、倉庫)が急激には変わらないということである。したがって、マッピングは、(例えば、マッピングサービスを提供している会社、または、マッピング機器を賃貸している会社によって)1年に数回必要になるだけである。マッピングは、恐らく複数のロボット用に毎日の位置確認を可能にする。
【0038】
本発明によって提供されるように、三次元の目印位置の関連性とマッピングは、純粋な二次元画像特徴にも勝るものである。なぜなら、三次元位置は三次元マップから直接アクセス可能であるからである。したがって、接地面の想定は必要ではなく、計算上高価な、運動からの構造の復元(structure−from−motion)手法を使用する必要はない。
【0039】
さらに別の特定の実施形態では、本発明の方法は個人のロボットのための安価なシステムを提供する。この分野での用途は、皿洗い、指定した場所に物を置くこと、衣服の洗濯と乾燥、および、ハウスクリーニングなどの家中の作業を含む。他の用途は、重たい物を運ぶこと、物がどこにあるのか記憶すること、物を取り出すこと、食事の用意、および、身体の洗浄などというように、高齢人口に役立つものである。さらに他の用途は、遠隔操作、採食、雑用を行うこと、および、健康と活動を監視することなどのように、身障者を支援するものである。さらに他の用途は、摘み取って包装すること、食料品店に搬入すること、在庫を調べること、商品を取り出すこと、および、検索可能な物理的なファイルシステムを維持することなどのように事業運営を含む。
【0040】
本発明のマッピング方法(500)の1つの実施形態が図5で示される。第1の工程(502)では、第1のモバイルユニットは、表面を横断する間に、二次元の特徴のマップを作成するために使用される。例えば、車両(12)(図1)の形状をしたモバイルユニットは、車両(12)が車道(217)を横断する間に、図2aに示される二次元の特徴のマップを作成する強度フィールドセンサー(20)を含む。
【0041】
第2の工程(504)では、この特徴の三次元位置が検知され、この検知はマッピング中に発生する。例えば、車両(12)は、3Dセンサー(18)のような三次元センサーを含み、この3Dセンサー(18)は、強度フィールドセンサー(20)によって行なわれるマッピングの間に、特徴と車両(12)との間の距離を検知する。
【0042】
工程(506)では、三次元マップは、特徴の三次元位置と二次元の特徴のマップとの間の関連性を含むように作成される。例えば、図2bに示されたような三次元マップが作成され、マッピングは、図2aのデータ点(228)の各々と二次元マップ中のそれぞれの点との間の保存された関連性を含む。例えば、図2bの三次元マップにおけるデータ点(228)の三次元位置は図2aの二次元マップの点(228)に関連して保存される。
【0043】
次の工程(508)では、第1のモバイルユニットからの三次元マップが第2のモバイルユニットに提供される。例えば、図1に示されるように、車両(12)からの3Dマップは衛星(16)を介して車両(14)に提供される。他の実施形態では、車両(12)からの3Dマップは、無線周波数信号を介して地上に固定された中心コレクターにアップロードされ、無線周波数信号を介してコレクターから車両(14)にダウンロードされる。あるいは、車両(12)からの3Dマップは導電体によって車両(14)に転送される。さらに別の実施形態では、車両(12)からの3Dマップは、メモリデバイス上に保存され、その後、車両(14)にインストールされる。
【0044】
次に、工程(510)では、第2のモバイルユニットは、表面を横断する間に、二次元の特徴のマップを作成するために使用される。図1の実施形態では、車両(14)は、車道(217)の二次元の特徴のマップを作成するために強度フィールドセンサー(120)を含み、これによって車両(14)が車道(217)上を移動している間に、図2aで示されるマップに似たマップを作成する。
【0045】
最終工程(512)では、第2のモバイルユニットによって作成された二次元の特徴の三次元位置は、第2のモバイルユニット内で、かつ、三次元マップを使用することによって測定される。例えば、車両(14)のプロセッサー(122)は、車両(14)が受け取った三次元マップ中に含まれる二次元の特徴を用いてマッピングした二次元の特徴同士を一致させる。そのような一致は、エッジ検出または他の画像処理アルゴリズムを利用して行われる。三次元マップ中で対応する二次元の特徴を見つけた後に、車両(14)は、車両(14)によってマッピングされた一致する2D特徴の三次元位置の代理として、三次元マップ中に提供されるような、一致する2D特徴の三次元位置を使用する。
【0046】
本発明のマッピング方法(600)の別の実施形態が図6で示される。第1の工程(602)では、車道の二次元の特徴のマップが作成される。例えば、車両(12)(図1)は、車道(217)を横断する間に、図2aに示される二次元の特徴のマップを作成する強度フィールドセンサー(20)を含む。
【0047】
第2の工程(604)では、特徴の三次元位置はマッピング中に検知される。例えば、車両(12)は、3Dセンサー(18)のような三次元センサーを含み、この3Dセンサー(18)は、強度フィールドセンサー(20)によって行われるマッピングの間に特徴と車両(12)との間の距離を検知する。
【0048】
工程(606)では、車道のグローバルな位置座標が測定される。例えば、車両(12)は、GPSモジュール(26)と衛星(16)との間の、または、GPSモジュール(26)と専用GPS衛星との間の通信を介してそのグローバルな位置座標を継続的に追跡するGPSモジュール(26)を含む。
【0049】
次の工程(608)では、三次元マップは、特徴の三次元位置、二次元の特徴のマップ、および、グローバルな位置座標との間の関連性を含むように作成される。例えば、図2bに示されたような三次元マップが作成され、該マッピングは、データ点(228)の各々、図2aの二次元マップ上のそれぞれの点、および、該点のGPS座標間の保存された関連性を含む。例えば、図2bの三次元マップ中のデータ点(228)の三次元位置は、図2aの二次元マップの特徴(228)と、GPSモジュール(26)によって測定されるような、点(228)および(228)に関連するGPS座標の単一セットと関連して保存される。
【0050】
次に、工程(610)では、三次元マップが自動車に提供される。例えば、図1で示されるように、車両(12)からの3Dマップは衛星(16)を介して車両(14)に提供される。他の実施形態では、車両(12)からの3Dマップは、無線周波数信号を介して地上に固定された中心コレクターにアップロードされ、無線周波数信号を介してコレクターから車両(14)にダウンロードされる。あるいは、車両(12)からの3Dマップは導電体によって車両(14)に転送される。さらに別の実施形態では、車両(12)からの3Dマップはメモリデバイス上に保存され、続いて、車両(14)にインストールされる。
【0051】
次の工程(612)では、車両は、車道を横断する間に、二次元の特徴のマップを作成するために使用される。図1の実施形態では、車両(14)は、車道(217)の二次元の特徴のマップを作成するために強度フィールドセンサー(120)を含み、これによって車両(14)が車道(217)上に移動している間に、図2aで示されるマップに似たマップを作成する。
【0052】
次に、工程(614)では、自動車が車道を横断する間に、車両のグローバルな位置座標が追跡される。すなわち、車両(14)は、車道(217)に沿って移動している間に、GPSモジュール(126)と衛星(16)との間の、または、GPSモジュール(126)と専用GPS衛星との間の通信を介してそのグローバルな位置座標を継続的に追跡するGPSモジュール(126)を含む。
【0053】
次の工程(616)では、車両のグローバルな位置座標は、三次元マップに関連したグローバルな位置座標に一致する。例えば、車両(14)の現在のGPS座標と一致するか近似するGPSのグローバル座標に関連する、受け取った三次元マップの一部が確認される。
【0054】
工程(618)では、一致したグローバルな位置座標に関連する二次元の特徴も一致する。すなわち、車両(14)の現在のGPSのグローバル座標に関連する受け取った三次元マップの一部は、車両(14)の強度フィールドセンサー(120)によっても目下作成されている二次元の特徴を含む。三次元マップ中で、かつ、強度フィールドセンサー(120)によって目下作成されているこれらの二次元の特徴は、パターンマッチング、エッジ検出、または、他の画像処理アルゴリズムを介してプロセッサー(122)によって合致する。最終工程(620)では、車両と、車両によってマッピングされた二次元の特徴との間の距離は、車両内部で、かつ、一致した二次元の特徴に関連する三次元位置を使用することによって測定される。例えば、三次元マップ中の対応する二次元の特徴を見つけた後、車両(14)は、車両(14)によってマッピングされた一致する二次元の特徴の三次元位置の代わりに、一致する二次元特徴の三次元位置を使用する。一致する二次元の特徴の三次元位置は、車両(12)と2D特徴との間の距離の観点から3Dマップ中で表現される。したがって、車両(14)は、車両(14)と2D特徴との間の現在の距離の代わりに、車両(12)と2D特徴との間のこの距離を使用する。
【0055】
本発明は、車道を移動する自動車によるマッピングに主に関連して本明細書に記載されている。しかしながら、当然のことながら、本発明はドライバー支援自立駆動、ロボット、マッピング、および、三次元の位置確認の分野のあらゆる製品に適用可能である。
【0056】
この発明は例示的な設計を有するように記載されているが、本発明はこの開示の精神と範囲内でさらに修正されてもよい。したがって、この出願は、その一般的な原則を使用して、本発明の任意の変更形態、使用法、または、改作を包含することを意図している。

【特許請求の範囲】
【請求項1】
第1のモバイルユニットが表面を横断する間に、二次元の特徴のマップを作成するために前記第1のモバイルユニットを使用する工程と、
マッピング中に前記特徴の三次元位置を検知する工程と、
前記特徴の三次元位置と前記二次元の特徴のマップとの間の関連性を含む三次元マップを作成する工程と、
前記第1のモバイルユニットから第2のモバイルユニットまで三次元マップを提供する工程と、
前記第2のモバイルユニットが表面を横断する間に、二次元の特徴のマップを作成するために前記第2のモバイルユニットを使用する工程と、
前記第2のモバイルユニットによってマッピングされた二次元の特徴の三次元位置を測定する工程とを含み、
測定は第2のモバイルユニット内で、かつ、三次元マップを使用することによって行われることを特徴とするマッピング方法。
【請求項2】
第1の強度フィールドセンサーは、前記第1のモバイルユニットが表面を横断する間に、二次元の特徴のマップを作成するために使用されることを特徴とする請求項1に記載の方法。
【請求項3】
第2の強度フィールドセンサーは、前記第2のモバイルユニットが表面を横断する間に、二次元の特徴のマップを作成するために使用されることを特徴とする請求項2に記載の方法。
【請求項4】
前記特徴の三次元位置は、LIDARとステレオカメラの1つによって検知されることを特徴とする請求項1に記載の方法。
【請求項5】
前記第1のモバイルユニットが表面を横断する間に、前記第1のモバイルユニットのグローバルな位置座標を追跡する工程を含み、
前記三次元マップは、前記特徴の三次元位置、前記二次元の特徴のマップ、および、前記第1のモバイルユニットのグローバルな位置座標の間の関連性を含み、
さらに、
前記第2のモバイルユニットが表面を横断する間に、前記第2のモバイルユニットのグローバルな位置座標を追跡する工程を含み、
測定工程は前記第1および第2のモバイルユニットのグローバルな位置座標同士を一致させる工程を含むことを特徴とする請求項1に記載の方法。
【請求項6】
前記測定工程は、一致したグローバルな位置座標に関連するマッピングした二次元の特徴同士を一致させる工程を含むことを特徴とする請求項5に記載の方法。
【請求項7】
前記三次元マップは無線周波数を介して前記第1のモバイルユニットから前記第2のモバイルユニットに提供されることを特徴とする請求項1に記載の方法。
【請求項8】
マッピング構造であって、
前記構造は、
第1のモバイルユニットが表面を横断する間に、二次元の特徴のマップを作成するように構成された第1の強度フィールドセンサー、
前記強度フィールドセンサーによってマッピングする間に特徴の三次元位置を検知するように構成された三次元位置検出装置、
前記強度フィールドセンサーと前記三次元位置検出装置の両方と通信している、前記特徴の三次元位置と前記二次元の特徴のマップとの間の関連性を含む三次元マップを作成するように構成されたプロセッサ、
前記プロセッサと通信しているとともに、前記三次元マップを送信するように構成された送信装置、および、
第2のモバイルユニットを備え、
前記第2のモバイルユニットは、
前記第1のモバイルユニットから前記三次元マップを受け取るように構成された受け取り装置と、
前記第2のモバイルユニットが表面を横断する間に、前記二次元の特徴のマップを作成するように構成された第2の強度フィールドセンサーと、
前記強度フィールドセンサーと前記受け取り装置の両方と通信しているプロセッサを備え、
前記プロセッサは、前記第2のモバイルユニットによってマッピングされた二次元の特徴の三次元位置を測定するように構成され、測定工程は、前記第2のモバイルユニット内で、かつ、前記三次元マップを使用することによって行われることを特徴とするマッピング構造。
【請求項9】
前記第1のモバイルユニットは、前記第1のモバイルユニットのグローバルな位置座標を追跡するように構成された第1のGPSモジュールをさらに備え、前記第1のモバイルユニットは前記第2のモバイルユニットのグローバルな位置座標を追跡するように構成された第2のGPSモジュールをさらに備えることを特徴とする請求項8に記載の構造。
【請求項10】
前記第2のモバイルユニットのプロセッサは、前記三次元マップの対応する部分を確認するために、前記第2のモバイルユニットの現在のグローバルな位置座標を使用するように構成されることを特徴とする請求項9に記載の構造。
【請求項11】
前記三次元位置検出装置がLIDARとステレオカメラのうちの1つを含むことを特徴とする請求項8に記載の構造。
【請求項12】
前記第1および第2のモバイルユニットの各々が芝刈り機と電気掃除機のうちの1つを含むことを特徴とする請求項8に記載の構造。
【請求項13】
前記送信装置は、前記第1のモバイルユニットから前記第2のモバイルユニットまで送信可能な、無線周波数による送信装置、導電体、および、メモリーデバイスのうちの1つを含むことを特徴とする請求項8に記載の構造。
【請求項14】
前記三次元マップが三次元表面メッシュを含むことを特徴とする請求項8に記載の構造。
【請求項15】
車道の二次元特徴のマップを作成する工程と、
前記特徴の三次元位置をマッピング中に検知する工程と、
前記車道のグローバルな位置座標を測定する工程と、
前記特徴の三次元位置、前記二次元の特徴のマップ、および、前記グローバルな位置座標の間の関連性を含む三次元マップを作成する工程と、
前記三次元マップを自動車に提供する工程と、
前記自動車が車道を横断する間に、二次元の特徴のマップを作成するために前記自動車を使用する工程と、
前記自動車が車道を横断する間に、前記自動車のグローバルな位置座標を追跡する工程と、
前記自動車のグローバルな位置座標を、前記三次元マップに関連するグローバルな位置座標に一致させる工程、
一致したグローバルな位置座標に関連する二次元の特徴同士を一致させる工程と、
前記自動車と、前記自動車によってマッピングされた二次元の特徴の間の距離を測定する工程を含み、
測定は、前記自動車内で、かつ、一致した二次元の特徴に関連する三次元位置を使用することによって行われることを特徴とするマッピング方法。
【請求項16】
マッピング工程と、検知および作成工程と、グローバルな位置座標を測定する工程は、第1の自動車内部で行われ、前記三次元マップが提供される前記自動車は第2の自動車を含むことを特徴とする請求項15に記載の方法。
【請求項17】
前記自動車が車道を横断する間に、第1の強度フィールドセンサーは前記二次元の特徴のマップを作成するために使用されることを特徴とする請求項16に記載の方法。
【請求項18】
前記第2の自動車が車道を横断する間に、第2の強度フィールドセンサーは前記二次元の特徴のマップを作成するために使用されることを特徴とする請求項17に記載の方法。
【請求項19】
前記三次元マップが前記第1の自動車から前記第2の自動車に提供されることを特徴とする請求項16に記載の方法。
【請求項20】
前記特徴の三次元位置がLIDARとステレオカメラのうちの1つによって検知されることを特徴とする請求項15に記載の方法。

【図2a】
image rotate

【図2b】
image rotate

【図3】
image rotate

【図4】
image rotate

【図1】
image rotate

【図5】
image rotate

【図6】
image rotate


【公表番号】特表2012−529012(P2012−529012A)
【公表日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願番号】特願2012−513124(P2012−513124)
【出願日】平成22年5月18日(2010.5.18)
【国際出願番号】PCT/US2010/035242
【国際公開番号】WO2010/141209
【国際公開日】平成22年12月9日(2010.12.9)
【出願人】(511150573)ロベルト ボッシュ ゲーエムベーハー (6)
【Fターム(参考)】