説明

自動化された三次元マッピング法

本発明は、複数の画像を利用して三次元モデルを推定する自動化された三次元マッピング法に関する。この方法は、少なくとも一つのカメラについての位置及び姿勢が、画像がとられるときに記録されること、少なくとも一つのカメラが画像における各画素の方向を示すために幾何学的に較正されること、ステレオ視差が、各ステレオ視差について視差及び確実性の程度の推定値を設定して同じ領域位置をカバーする複数の画像対について計算されること、異なるステレオ視差が一緒に重み付けされて3Dモデルを形成すること、及びステレオ視差推定値が、推定された3Dモデルに基づいて自動的にかつ適応させて再重み付けされることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の画像を利用して三次元モデルを推定する自動化された三次元マッピング法に関する。
【背景技術】
【0002】
立体写真測量法からの三次元(3D)モデルの推定は、立体ゴーグルの手動利用と関連して一般に知られている。コンピュータを利用する解決策もあり、かかるコンピュータ化された解決策の例は、特に我々の特許出願PCT/EP2007/056780及びPCT/SE2000/000739で見い出される。従来、結果は、世界の同じ領域をカバーする異なる位置からの二つの画像に基づいている。
【0003】
US5808626及びUS2002/0101438A1から、多数の重複する画像を使用する方法が知られている。これらの方法は、キーポイントの同定及び選択に基づく。重複する画像を使用する方法の他の例は、US6658207B1、US2004/0105090A1、US2002/0163582A1、及びUS5104217から知られている。
【0004】
自動化された推定における精度を得るために、通常、ある種の平滑化法を導入することが要求される。かかる平滑化の欠点は、深さの急激な変化が平滑化され、3Dモデルの全体の品質が極めて不明瞭になることである。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、平滑化の必要性を低下し、より安定した3Dモデルをもたらし、後平滑化が全く要求されないか又は極めて少なくしか要求されない方法を得ることである。
【課題を解決するための手段】
【0006】
本発明の目的は、少なくとも一つのカメラについての位置及び姿勢が、画像がとられるときに記録されること、少なくとも一つのカメラが、画像における各画素の方向を示すために幾何学的に較正されること、ステレオ視差が、各ステレオ視差について視差及び確実性の程度の推定値を設定して同じ領域位置をカバーする複数の画像対について計算されること、異なるステレオ視差推定値が一緒に重み付けされて3Dモデルを形成すること、及びステレオ視差推定値が、推定された3Dモデルに基づいて自動的にかつ適応させて(adaptively)再重み付けされることを特徴とする方法によって得られる。
【0007】
我々のマッピング法は、3Dモデルが、キーポイントの選択又は物体のセグメント化なしで収集された画像によってカバーされる全領域をカバーすることにある。
【0008】
前述のパラグラフによる同じ領域位置をカバーする複数の画像対についてステレオ視差を計算することによって、安定した3Dモデルを得るために後平滑化が全く実施されないか又はわずかしか後平滑化が実施されない。選出(voting)又は重み付け法の後に異なる角度からとられた複数の異なる画像を使用することによって、街路上のように周囲が平滑である場合に平滑であり、同時に急激な深さの変化の場所では急激さを保持できる三次元モデルに立体対からの結果を組み合わせることが可能である。ステレオ視差推定値は、例えば推定された3Dモデルの法線ベクトルに基づいて再重み付けされることができる。さらに、異なるステレオ視差推定値は一緒に重み付けされて3D高さモデルを形成することができる。
【0009】
本発明の方法の好ましい発展例によれば、ステレオ視差は、各可能な画像対について計算される。できるだけ多くの画像対を利用することによって、3Dモデルは精度に関して最適化される。
【0010】
本発明の方法のさらに好ましい発展例によれば、飛行方向の画像は、約60〜90%の重複を伴なってとられる。
【0011】
本発明の方法の別の好ましい発展例によれば、隣接飛行間の画像は、約60〜80%の重複を伴なってとられる。
【0012】
飛行方向及び隣接飛行間に関する上で提案されたような重複の選択は、領域の各点についての推定値への寄与のために少なくとも10個の画像のカバー範囲が利用可能であることをもたらす。
【0013】
利用可能な画像の数をさらに増加するために、本発明の方法のさらに別の好ましい発展例によれば、画像が、二つの本質的に垂直な飛行方向における重複を伴なってとられる。
【0014】
視差推定値の重み付けは、多くの様々な方法で実施されることができる。本発明の方法の一つの提案によれば、ステレオ視差の重み付けは、平均化に基づく。不確実な測定を避けるために、ステレオ視差の重み付けがアウトライアーの除外を含むことが提案される。
【0015】
各ステレオ視差についての確実性の程度の推定値は、低コントラスト、例えば不明瞭化もしくは解像度によって影響される可視性を考慮して、又はこれらの考慮の組み合わせで設定されることができる。
【図面の簡単な説明】
【0016】
本発明は、添付図面を参照してより詳細に記載されるだろう。
【0017】
【図1】図1は、上からの画像の取得を概略的に示す。
【0018】
【図2a−2b】図2aは、データを収集するために使用される既知の立体写真法の一例を示す。図2bは、データを収集するために使用されるべき提案される立体写真法を示す。
【0019】
【図3】図3は、データを収集するために使用されるべき別の提案される方法を概略的に示す。
【0020】
【図4】図4は、本発明による3Dマッピング法に関係する画像処理を概略的に示す。
【発明を実施するための形態】
【0021】
図1によれば、カメラ2を与えられた飛行機1が第一位置では破断していない線によって示され、第二位置では破線によって地形3上に示されている。図に示されるように、地形は高さが異なり、家のような切り立った構成4及び波状の丘のような波状構成5がある。第一位置におけるカメラの位置はx,y,zによって示され、姿勢はα,β,γによって示される。従って、全て六つの回転度及び位置が利用可能である。示された第二カメラ位置に対する対応する位置及び姿勢はx′,y′,z′及びα′,β′,γ′によって示される。カメラ1による地形のカバー範囲は第一位置に対しては線6,7によって示され、第二位置に対しては線6′,7′によって示される。第一位置からとられた地形の画像を第二位置からとられた画像と比較するとき、重複部分8が同定されることができる。もし重複部分8が観察されるなら、第一位置からとられた画像が切り立った構成4の垂直な右部分4.1についての画像情報を欠き、一方、同じ垂直右部分4.1が第二位置から容易に撮像されることがわかる。従って、同じ領域位置をカバーする複数の画像を持っているので、現実の世界に密接に一致する三次元画像を作り上げる可能性を増加する。
【0022】
図1では、約25%の重複が示されている。もちろんこの重複は例えば75%のようにずっと多くすることができる。
【0023】
図2aは、既知の立体写真法の一例を示す。かかる方法は、飛行方向に約50〜60%の重複があり、隣接飛行に対しては主に重複はないが、実際には穴を避けるために約10%の重複があるように、地形の上で下方に向けたカメラを与えられた飛行機又は他の飛行物体を飛ばすことによって得られる。図では、上部灰色ストリップ9は第一飛行の足跡を示し、下部灰色ストリップ10は第二飛行の足跡を示す。ストリップ9,10では、一つおきの画像からの足跡が立体矩形13−20として示され、一方、それらの間の一つおきの画像からの足跡が飛行方向12に垂直な破線によって画定される矩形21−26として示されている。示された方法によって地面上の各地点は二つの画像でカバーされ、これらの画像から立体的な推定値が計算されることができる。
【0024】
図2bは、我々の提案される発明において使用されることができる立体写真法の例を示す。提案される方法では、上部及び下部ストリップ9,10は飛行方向12において80%の重複を示し、隣接飛行間で60%の重複を示す。飛行方向における好適な提案される重複は約60〜90%であり、隣接飛行間では約60〜80%である。異なるストリップ9,10では、飛行方向に沿って繰り返し存在する五つの連続する足跡を示す五つの異なる矩形27〜31を同定することができる。五つの矩形は、飛行方向に垂直な五つの異なる境界線(実線、ダッシュドット線、短いダッシュ線、長いダッシュ線、及びダッシュダブルドット線)によって示される。示されかつ図2bを参照して記載された方法によって、地面上の各地点は少なくとも10個の画像でカバーされ、全てのこれらの画像は、領域の各地点に対する立体的な推定値に寄与することができる。数は、側方で67%の重複を伴なって少なくとも15であることができる。
【0025】
図3は、さらに多く重複を与える方法の一例を概略的に示す。この場合において、画像は、一つの第一飛行方向32の本質的に平行な飛行経路からだけでなく、第一飛行方向に本質的に垂直な第二飛行方向33においても収集される。飛行は、ここでは、第一飛行方向32では矢印34.1〜34.5として、第二飛行方向33では矢印38.1〜38.5として示されているだけである。たとえ矢印が飛行方向について同じ方向を指して示されているとしても、それらの幾つか、例えば一つおきに反対方向を指すことができる。隣接する平行な飛行間の重複及び飛行方向の重複は図3に特に示されていないが、広い枠内で図2bを参照して記載されているように変化させることができる。例えば、地面上の各点は、領域中の各点についてのステレオ視差の推定値に寄与しうる少なくとも20個の画像によってカバーされることができる。
【0026】
本発明の3Dマッピング法に関係する画像処理は、図4を参照して記載される。
【0027】
図1,2b及び3を参照して上記に従って収集されかつ記憶ユニット45で利用可能であることができる画像44は、同じ領域位置をカバーする各可能な画像対nに対するステレオ視差を計算するステレオ視差ブロック42に適用される。関係する各画像に対して画像がとられる位置x,y,z及び姿勢α,β,γが知られている。即ち、全ての六つの回転度及び位置が知られている。さらに、各ステレオ視差の確実性の程度が推定される。この確実性の程度は局所コントラスト、可視性及び/又は解像度に基づくことができる。
【0028】
ステレオ視差ブロック42で計算されたステレオ視差は、推定された確実性の程度に注目して重み付けブロック43において重み付け工程に供される。重み付け後に重み付けブロック43の出力として利用可能なものは、格子として視覚化されることができる高さモデル46である。この第一モデルから、元の立体的な推定値が、可視性、局所コントラスト、解像度のような情報及び不明瞭性のような可視性を考慮して、推定された3Dモデルの法線ベクトルに基づいて自動的にかつ適応して再重み付けされる。この関連において、例えば建物の上にまっすぐとられた画像は屋根構造(建物の側面ではない)を推定するために使用される。別の例は、建物の前側及び後側の混合を避けることであることができる。そばからの画像及び接続された測定を利用する反復法によって、隠された部分を明らかにする信頼性のある3Dモデルが得られる。重み付け法では、アウトライアーは区別されることができ、簡単な例として領域に対して残っているステレオ視差は、同様のステレオ視差の集中を見い出すために平均化又は他の算術的方法によって一緒に重み付けされる。
【0029】
重み付けブロック43の出力の3Dモデル46に基づいて、三角形のワイヤーモデル47が作り上げられ、三角形は、観察方向に適合する画像で覆われる。
【0030】
本発明は、上で例示した方法に限定されず、添付の特許請求の範囲内で変更可能である。

【特許請求の範囲】
【請求項1】
複数の画像を利用して三次元モデルを推定する自動化された三次元マッピング法において、少なくとも一つのカメラについての位置及び姿勢が、画像がとられるときに記録されること、少なくとも一つのカメラが、画像における各画素の方向を示すために幾何学的に較正されること、ステレオ視差が、各ステレオ視差について視差及び確実性の程度の推定値を設定して同じ領域位置をカバーする複数の画像対について計算されること、異なるステレオ視差推定値が一緒に重み付けされて3Dモデルを形成すること、及びステレオ視差推定値が、推定された3Dモデルに基づいて自動的にかつ適応させて再重み付けされることを特徴とする方法。
【請求項2】
ステレオ視差推定値が、推定された3Dモデルの法線ベクトルに基づいて自動的にかつ適応させて再重み付けされることを特徴とする請求項1に記載の方法。
【請求項3】
異なるステレオ視差推定値が一緒に重み付けされて3D高さモデルを形成することを特徴とする請求項1又は2に記載の方法。
【請求項4】
ステレオ視差が各可能な画像対について計算されることを特徴とする請求項1〜3のいずれかに記載の方法。
【請求項5】
飛行方向の画像が約60〜90%の重複を伴なってとられることを特徴とする請求項1〜4のいずれかに記載の方法。
【請求項6】
隣接飛行間の画像が約60〜80%の重複を伴なってとられることを特徴とする請求項1〜5のいずれかに記載の方法。
【請求項7】
画像が、二つの本質的に垂直な飛行方向で重複を伴なってとられることを特徴とする請求項1〜6のいずれかに記載の方法。
【請求項8】
各視差についての確実性の程度の推定値が、解像度を考慮して設定されることを特徴とする請求項1〜7のいずれかに記載の方法。
【請求項9】
ステレオ視差の重み付けがアウトライアーの除外を含むことを特徴とする請求項1〜8のいずれかに記載の方法。
【請求項10】
ステレオ視差の重み付けが平均化に基づくことを特徴とする請求項1〜9のいずれかに記載の方法。
【請求項11】
各ステレオ視差についての確実性の程度の推定値が、局所コントラストを考慮して設定されることを特徴とする請求項1〜10のいずれかに記載の方法。
【請求項12】
各ステレオ視差についての確実性の程度の推定値が、例えば不明瞭化によって影響される可視性を考慮して設定されることを特徴とする請求項1〜11のいずれかに記載の方法。

【図1】
image rotate

【図2a−2b】
image rotate

【図3】
image rotate

【図4】
image rotate


【公表番号】特表2013−518340(P2013−518340A)
【公表日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2012−551120(P2012−551120)
【出願日】平成22年1月26日(2010.1.26)
【国際出願番号】PCT/SE2010/000015
【国際公開番号】WO2011/093752
【国際公開日】平成23年8月4日(2011.8.4)
【出願人】(500387249)サーブ アクティエボラーグ (8)
【Fターム(参考)】