2D電子光学的画像データに対する3D点群データの登録
二次元画像データセット及び点群データを有する三次元画像の登録のための方法及びシステムについて開示している。本発明の方法は、シーンにおいて地表面を有する点群データの一部を除去するように、三次元画像データを有する点群データの三次元ボリュームをクロッピングするステップと、三次元ボリュームをm個のサブボリュームに分割するステップとにより始まる。次に、その方法は、二次元画像データをエッジ強調するステップを有する。次に、サブボリュームを各々適格化するために、フィルタ処理された濃淡画像を生成し、エッジ強調された前記二次元画像データ及び前記フィルタ処理された濃淡画像に基づいて、二次元相関表面を演算し、前記二次元相関表面のピークを求め、前記二次元画像における前記ピークの対応する位置を決定し、対応点セットを規定し、そして点セットリストにおける前記対応点セットを記憶するステップを有する。最終的には、点セットリストに含まれる複数の相関点セット間の誤差を最小化する変換が決定される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像登録に関し、特に、LIDARセンサにより取得された三次元点群画像データによる電子光学的画像センサにより取得された二次元画像データの登録に関する。
【背景技術】
【0002】
イメージングセンサは、国土のセキュリティ及び軍事のアプリケーションを含む広範なアプリケーションで用いられている。例えば、この種のセンサは、飛行機及び地球軌道の衛星のプラットフォームに一般に位置付けられている。従来の電子光学的(EO)センサは、画像データの収集のために用いられてきていて、一般に二次元データを生成するものである。そのようなデータは、一般に、x及びy座標軸により全体的に規定されることが可能である平面場に対する画像の投影に対応するものである。
【0003】
近年、三次元イメージングデータに対する関心が高まってきている。当業者は、3D点群データを生成するように用いられる既存の多様な異なる種類のセンサ、測定装置及びイメージングシステムが存在することを認識している。3D点群データの1つ又はそれ以上のフレームを生成する3Dイメージングシステムの一例は従来のLIDARイメージングシステムである。一般に、そのようなLIDARシステムは、高エネルギーレーザと、光学的検出器と、目標までの距離を決定するタイミング回路とを用いる。従来のLIDARシステムにおいては、1つ又はそれ以上のレーザパルスがシーンを照明するように用いられる。各々のパルスは、検出器アレイと連携して動作するタイミング回路をトリガする。一般に、そのシステムは、レーザから目標までの及び戻って検出器アレイまでの往復経路を通過する光パルスの各々の画素についての時間を測定する。目標からの反射光は、検出器アレイで検出され、その往復時間は、目標における点までの距離を決定するように測定される。演算された範囲又は距離情報は、目標を有する多数の点について得られ、故に、3D点群を生成する。その点群は、オブジェクトの3D形状を表すように用いられる。
【0004】
3D点群における各々の点は、x、y及びz座標軸系により種々の位置で規定される点により3D点データが三次元で配置されることを除いて、ディジタルカメラにより生成される画素データに幾分似ている。LIDARセンサにより生成される3D画像又は点群は一般に、点群データとして知られている。2D画素データとは対照的に、x、y、z座標は空間情報のみを提供する一方、2D画素は、波長の関数として視覚強度情報を含む。一部のLIDARセンサは、所定領域における長い滞留時間により強度データを同時に収集することが可能である。
【0005】
点群データは、シーンの3Dモデルを生成するのに有用である。しかしながら、その点群データは、従来のEOセンサを用いて取得された画像データと通常関連付けられる詳細な視覚情報のかなりの部分がしばしば欠けている。従って、同じシーンについて、2D EOイメージングデータを3D点群データと比較することは有利である。しかしながら、イメージングデータの異なる2つのセットを組み合わせることは、画像登録ステップを必ず必要とする。そのような画像登録ステップは通常、画像と関連付けられるメタデータにより支援される。例えば、そのようなメタデータは、1)センサのオリエンテーション及び姿勢情報と、2)画像の角の点と関連付けられる緯度座標及び経度座標と、3)点群データの場合の、点群データについての生のx、y及びz点位置とを有することが可能である。このメタデータは、データセットと、対応点探索領域との間の重なり合う領域を決定するように用いられることが可能である。更に、この画像登録ステップは、異なるデータ収集時間及び異なる相対的なセンサの位置での異なるセンサにより取得されるEO及びLIDAR画像データの正確なアライメントを必要とするために、困難であり、時間を要する。更に、点群データは基本的には、かなり複雑なセンサ間登録の問題に対処するには、EO画像データと比べてより困難である。
【0006】
種々の登録スキームが、上記の登録の課題を解決するために提供されている。例えば、一部の登録スキームは、登録処理の支援として、LIDAR強度画像を用いる。LIDAR強度画像は、LIDARセンサに長期間にわたってシーンを滞留させることにより、得られる。反射強度データは、この期間中、そのセンサにより収集される。これは、EOセンサにより収集された従来の画像データに幾分似ているLIDARセンサにより得られた2D画像データセットをもたらす。LIDAR強度画像は、従って、登録処理を容易にする種々の方法において用いられることが可能である。更に、2D LIDAR強度画像を用いる登録は多くの短所を有する。第1に、それは、2D EO画像に対してLIDARデータの2D登録のみを提供する。第2に、生の3D点群データ及び2D EO画像と共にこの2D LIDAR強度画像を用いることは、強度を処理し、コンピュータメモリのかなりの容量を必要とする。
【0007】
他の2Dから3Dへの登録技術はまた、都会のシーン(及び形状情報を必要とする)又は医療画像を含むシーン(及び2D画像においてマーカーを必要とする)のみにより主に有用であるシーンに限定される。そのようなシステムはまた、登録と関連付けられるアライメントパラメータの良好な初期推定を必要とする。
【発明の概要】
【課題を解決するための手段】
【0008】
本発明は、2つ又はそれ以上の画像の登録のための方法及びシステムに関する。二次元画像データセット及び三次元画像データセットが、共通のシーンについて得られる。点群データの三次元ボリューム及び二次元画像データは重なり合う領域に対してクロッピングされる。更なるクロッピングは、共通のシーンにおける地表面を含む点群データの一部を除去する。従って、三次元ボリュームはm個のサブボリュームに分割される。各々のサブボリュームにおける点群データは、イメージングセンサから視野方向に対して垂直な登録平面に投影される。
【0009】
二次元画像データはエッジ強調される。従って、3Dの複数の点のサブボリュームを各々適格にするように、次の処理ステップが実行される。1)適格化したサブボリュームが各々、登録平面に対して投影される。2)フィルタリングされた濃淡画像が各々のサブボリュームから生成される。3)対応領域がエッジ強調されたEO画像から選択される。4)二次元相関表面(この表面を達成するための種々の方法が存在している:NCC、位相、位相ρ、相互情報)が、フィルタ処理された濃淡画像及び対応する2Dエッジ強調されたEO画像を用いて、演算される。5)二次元相関表面における最大ピークが位置付けられる(このピークは、特定の副領域についての複数の画像間の変位情報を含む)。6)相関表面におけるピーク位置は各々のEO副領域における位置に戻るように参照される。7)フィルタ処理された濃淡画像の各々の副領域の中心位置が、EO副領域の中心に戻るように参照される。8)各々の副領域について、それらの2つの点は対応点の対を構成する。9)最適化ルーチンは、対応点セット間のベストフィットを探す。‘m個’の相関点の例は、
{[(x1Libar,y1Libar)(x1EO,y1EO)],[(x2Libar,y2Libar)(x2EO,y2EO)],...,[(xmLibar,ymLibar)(xmEO,ymEO)]}
と表される。
【0010】
複数の対応点間の変換は、エラー又はコスト関数を用いてそれら複数の点の間の距離を最小化することにより決定される。この変換はその場合、3D点群データにおける全てのデータ点に適用される。その結果は、3D LIDAR点群データセットが二次元EO画像データセットとアライメントされることである。この処理は他の方向に適用されることが可能であり、即ち、EOを3D LIDARにアライメントする変換が求められる。
【図面の簡単な説明】
【0011】
【図1】本発明を理解するために有用なコンピュータシステムのブロック図である。
【図2】本発明を理解するために有用なフローチャートである。
【図3】異なる有利な点から画像データがどのように取得されるかを理解するために有用な図である。
【図4】三次元画像データ又は点群データを理解するために有用な図である。
【図5】二次元画像データを理解するために有用な図である。
【図6】三次元画像データが地表面を除去するようにどのようにクロッピングされたかを理解するために有用なフローチャートである。
【図7】図6における三次元画像データがサブボリュームにどのように分割されるかを理解するために有用な図である。
【図8】フィルタ処理された濃淡画像及びエッジ強調された二次元画像を用いて、二次元相関表面がどのように演算されるかを理解するために有用な図である。
【図9】二次元相関表面が本発明においてどのように用いられるかを理解するために有用な概念図である。
【図10】対応点セットリストを理解するために有用な図である。
【図11】EOセンサの姿勢がEO及び3D点群データを登録するために登録平面をどのように規定するかを理解するために有用な図である。
【発明を実施するための形態】
【0012】
本発明について、本発明の例示としての実施形態が示されている添付図を参照して、以下に詳述する。本発明は、しかしながら、多くの種々の形態で具現化されることが可能であり、以下に記載する実施形態に限定されるとして解釈されるべきではない。例えば、本発明は、方法、データ処理システム又はコンピュータプログラムとして具現化されることが可能である。従って、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はハードウェア/ソフトウェアの実施形態としての形式をとることが可能である。
【0013】
本発明は、1つのコンピュータシステムで実現されることが可能である。代替として、本発明は、複数の相互接続されたコンピュータシステムで実現されることが可能である。本明細書で記載している方法を実行するように適合されたコンピュータシステム又は他の装置は何れも適するものである。ハードウェア及びソフトウェアの代表的な組み合わせは汎用コンピュータシステムであることが可能である。汎用コンピュータシステムは、本明細書で記載している方法を実行するようなコンピュータシステムを制御することが可能であるコンピュータプログラムを有することが可能である。
【0014】
本発明は、コンピュータ使用可能記憶媒体(例えば、ハードディスク又はCD−ROM)におけるコンピュータプログラムプロダクトの形式をとることが可能である。コンピュータ使用可能記憶媒体は、媒体において具現化されるコンピュータ使用可能プログラムコードを有することが可能である。本明細書で用いている用語“コンピュータプログラムプロダクト”は、本明細書で記載している方法の実施を可能にする特徴全てを有する装置のことをいう。本明細書におけるコンピュータプログラム、ソフトウェアアプリケーション、コンピュータソフトウェアルーチン及び/又はそれらの用語の他の変換は、情報処理能力を有するシステムが、直接に、若しくは、a)他の言語、コード又は表記法への変換、又はb)異なる材料形状での再現、の何れか又は両方の後に、特定の機能を実行するようにすることが意図された命令の集合の何れかの言語、コード又は表記法における何れかの表現を意味している。
【0015】
コンピュータシステム100は、サーバコンピュータ、顧客ユーザコンピュータ、パーソナルコンピュータ(PC)、タブレットPC、ラップトップコンピュータ、デスクトップコンピュータ、制御システム、ネットワークルータ、スイッチ又はブリッジ、装置が行う動作を特定する命令の集合(シーケンシャル、等)を実行することが可能である何れかの他の装置の種々の種類を有することが可能である。本明細書における装置は、音声、映像又はデータ通信をもたらす何れかの電子装置を有することが可能であることが理解される必要がある。更に、単独のコンピュータが示されている一方、表現“コンピュータシステム”は、本明細書で記載されている何れかの1つ又はそれ以上の方法論を実行する命令の集合(又は複数の集合)を別個に又は連携して実行する演算装置の何れかの集合を有するとして理解することができる。
【0016】
コンピュータシステム100は、プロセッサ(中央演算処理装置(CPU))、グラフィクス処理ユニット(GPU)、CPU及びGPUの両方、主メモリ104、バス108を介して互いに通信するスタティックメモリ106を有することが可能である。コンピュータシステム100は、映像ディスプレイ(例えば、液晶ディスプレイ(LCD))、フラットパネル、固体ディスプレイ又はブラウン管(CRT)等のディスプレイユニット110を更に有することが可能である。コンピュータシステム100は、入力装置112(例えば、キーボード)、カーソル制御装置114(例えば、マウス)、ディスクドライブユニット116、信号発生装置118(例えば、スピーカ又はリモートコントロール)及びネットワークインタフェース装置120を有することが可能である。
【0017】
ディスク装置ユニット116は、本明細書で記載している1つ又はそれ以上の方法論、手法又は機能を実行する1つ又はそれ以上の命令の集合124(例えば、ソフトウェアコード)が記憶されているコンピュータ読み出し可能記憶媒体122を有することが可能である。命令124は、コンピュータシステム100による実行中に、主メモリ104、スタティックメモリ106及び/又はプロセッサ102に完全に又は少なくとも一部が存在することが可能である。主メモリ104及びプロセッサ102はまた、機械読み出し可能媒体を有することが可能である。
【0018】
特定のアプリケーション用集積回路、プログラマブルロジックアレイ及び他のハードウェア装置を有する専用ハードウェア実施構成が更に、本明細書で説明している方法を実行するように構成されることが可能であるが、それらに限定されるものではない。種々の実施形態の装置及びシステムを有することが可能であるアプリケーションは、種々の電子システム及びコンピュータシステムを広範に有することが可能である。一部の実施形態は、モジュール間で及びモジュールを介して通信される関連制御信号及びデータ信号により1つ又はそれ以上の特定の相互接続されたハードウェアモジュールにおける機能を実施する。従って、例示としてのシステムは、ソフトウェア、ファームウェア及びハードウェアの実施に適用することが可能である。
【0019】
本発明の種々の実施形態に従って、下に記載の方法は、コンピュータ読み取り可能記憶媒体にソフトウェアプログラムとして記憶されることが可能であり、コンピュータプロセッサにおいて実行させることが可能である。更に、ソフトウェアの実施は、本明細書で説明している方法を実施することも可能である分散処理、成分/オブジェクト分散処理、並列処理、仮想マシン処理を有することが可能であるが、それらに限定されるものではない。
【0020】
本発明の種々の実施形態においては、コンピュータ読み取り可能記憶媒体は、命令124を有する、又はネットワーク環境126に接続された装置が音声データ及び/又は映像データを送信する又は受信することが可能であるように伝播される信号から命令124を受信して、実行する、並びに命令124を用いてネットワーク126において通信することが可能である。命令124は更に、ネットワークインタフェース装置120を介してネットワーク126において送信又は受信されることが可能である。
【0021】
コンピュータ読み取り可能記憶媒体122は、信号記憶媒体であるとして例示としての実施形態に示されている一方、用語“コンピュータ読み取り可能記憶媒体”は、1つ又はそれ以上の命令の集合を記憶する単独の媒体又は複数の媒体(例えば、集中データベース又は分散データベース、並びに/若しくは関連キャッシュ及びサーバ)を有するとして捉えられる必要がある。用語“コンピュータ読み取り可能記憶媒体”はまた、機械により命令の集合を記憶する、符号化する又は担持することが可能である、そして本明細書の方法論の何れかの1つ又はそれ以上を機械が実行するようにする、何れかの媒体を有するとして捉えられる必要がある。
【0022】
用語“コンピュータ読み取り媒体”は従って、1つ又はそれ以上の読み出し専用メモリ(ROM;不揮発性)、ランダムアクセスメモリ(RAM)又は他の書き換え可能(揮発性)メモリを収容するメモリカード又は他のパッケージ等の固体メモリ;ディスク又はテープ等の光磁気媒体又は光媒体;送信媒体におけるコンピュータ命令を実施する信号等の搬送波信号;並びに/若しくは電子メールへのディジタルファイル添付若しくは有形記憶媒体に相当する分散媒体であるとみなされる他の自律型情報アーカイブ又はアーカイブの集合;を有するとして捉えられるが、それらに限定されるものではない。従って、その開示は、ここで列挙され、相当するとみなされた後継の媒体を含むように、本明細書におけるソフトウェア実施構成が記憶されているコンピュータ読み取り可能媒体又は分散媒体の何れか1つ又はそれ以上を有するとみなされる。
【0023】
当業者は、図1に示しているコンピュータシステムアーキテクチャはコンピュータシステムの1つの有効な実施例であることを理解することができる。しかしながら、本発明は、この点に限定されるものではなく、何れかの他の適切なコンピュータシステムアーキテクチャも、制限されることなく用いられることが可能である。
【0024】
3D点群の2D電子光学的データへの登録
ここで図2を参照するに、フローチャートが示されている。このフローチャートは、二次元(2D)画像データに点群を有する三次元(3D)画像データを登録する方法を理解するために有用である。その方法は、ステップ201において、共通シーンについて2D画像データ及び3D画像データの取得から開始する。そのような取得処理の実施例は図3に示されていて、その図において、第1撮像センサ302及び第2撮像センサ304の各々が共通シーン306の画像データを取得する。2つの撮像センサが図3に示されているが、本発明は、それに限定されるものでないことが理解される必要がある。実際には、共通センサが2つの異なる時間に用いられることが可能である。重要であることに、図3においては、第1衛星302は2D画像を収集し、第2センサ304は3D点群画像データを収集することが可能である。
【0025】
ここで記載している二次元画像データは、当業者に知られている何れかの適切なイメージングセンサにより収集されることが可能である。例えば、地球軌道衛星及び航空機データ収集プラットフォームは通常、電子光学的(EO)センサを用いて2Dイメージングデータを収集する。ここで用いられている用語“電子光学的センサ”は一般に、選択されたサンプル期間について、イメージング装置の画像検知表面に対して、シーンからの放射線を画像化するために光学システムが用いられる広範の装置の何れか1つのことをいう。イメージング装置は、光応答性領域の二次元アレイの形式をとることが可能である。イメージング装置に基づく種々の半導体については、当該技術分野において知られている。例えば、CCD(charge coupled device)及びフォトダイオードアレイはしばしば、制限を伴わずに、この目的のために用いられる。更に、上記のイメージング装置は、単なる例示として把握され、本発明は、何れかの特定のEO型のイメージング装置に限定されるようには意図されていない。例えば、本発明は医療用画像の登録のために用いられることも可能である。
【0026】
多様な異なる種類のイメージングセンサが、3Dイメージングデータを、特に、3D点群データを生成するように用いられることが可能である。本発明は、イメージングシステムのそれらの多様な種類の何れかから得られた3D点群データの登録のために利用されることが可能である。3D点群の1つ又はそれ以上のフレームを生成する3Dイメージングシステムの一実施例は従来のLIDARイメージングシステムである。LIDARデータの各々の画像フレームは、複数範囲のエコーに対応する三次元の点(3D点群)の収集を有する。それらの点は、三次元空間における規則的な光子における値を表す“ボクセル”に組織化されることが可能である。3Dイメージングで用いられるボクセルは、2Dイメージング装置に関連して用いられる画素に類似するものである。それらのフレームは、目的の3D画像を再構成するように処理される。この関連で、3D点群における各々の点は、3Dのシーンにおける実際の表面を表す、個別のx、y及びz値を有する。
【0027】
例示としての3D画像データの立方体400が図4に示されている一方、2D画像データのフレームが図5に示されている。2D画像データ500のフレームは単独の面において規定される一方、3D画像データの立方体400は、三次元で規定される点群402を有する。更に、例示としての図4の3D画像データは立方体として境界が画定されているが、本発明はこの点に限定されるものでないことに留意する必要がある。立方体はこの目的のために用いられる従来からの形状であることが理解できるが、3Dデータは、何れかの他の適切な形状のボリュームにおいて規定されることが可能である。例えば、立方体の代わりに、矩形状の角柱が3D点群データセットを、境界を画定するように用いられることも可能である。上記にも拘らず、便宜上、本発明については、点群データの立方体に関連付けて記載されている。
【0028】
図3をもう一度参照するに、イメージングセンサ302、304が異なる位置及びオリエンテーションをそれぞれ有することを理解することができる。当業者はときどき、それらのセンサの位置及びオリエンテーションのことをそれらのセンサの姿勢という。例えば、センサ302は、3D画像データが取得されたときの姿勢パラメータにより規定される姿勢を有するといわれる。
【0029】
図2をもう一度参照するに、登録処理はステップ202に進むことが可能である。ステップ202においては、3D点データの立方体400の一部がクロッピングされる。特に、クロッピング処理は、ベース表面の反射に対応する点群データの一部を取り除く。本発明が地球イメージングに関連して適用されるとき、ベース表面は一般に、地表面である。しかしながら、本発明は、この点に限定されるものではない。この処理については、概念的に、図6に示されている一方、面602の下のデータは、画像立方体から体系的に除去されている。特に、3D点群データボリュームは体系的に、複数の領域に分割されている。その場合、各々の領域についての3D点データは、地上の等高線を検出するように統計的に分析される。特定の領域についての地上の等高線は、その領域についてのクロッピング面とみなされる。従って、この面の下の領域における全ての3D点は捨てられる。
【0030】
ステップ202に続いて、その方法は、3D点データのボリュームがm個のサブボリュームに分割されるステップ204に進む。このように副分割するステップは図7に示されていて、その図は、複数のm個のサブボリューム702に副分割された立方体400を示している。m個のサブボリュームの各々はまた、立方体形状であることが可能であり、この点で、副立方体とみなされる。更に、本発明は、この点に限定されるものではなく、他の形状のサブボリュームも、可能である。ステップ204に続いて、m個のサブボリューム702を有する反復処理がステップ206乃至230において実行される。この反復処理については、下で説明する。
【0031】
反復処理は、サブボリュームが更なる処理について適するかどうかを判定するように試験が適用されるステップ206から始まる。種々の基準が、特定のサブボリュームが適するかどうかを判定するように、この試験の目的のために用いられることが可能である。例えば、十分な量のデータ又はコンテンツを有するサブボリュームをサブボリュームとして適格であると限定することは適切である。例えば、サブボリュームの適格化は、それらのサブボリュームに含まれる少なくとも所定数のデータ点によりそれらのサブボリュームに限定されるのである。サブ領域を適格化するための他の基準は、データがブロブ状構造を有する副領域であることが可能である。ブロブ状点群は、不定形形状を有する三次元球又は塊であるとして理解されるものである。従って、ブロブ状点群は、ここでは一般に、直線、曲線又は平面を形成する点群を有するものではない。ステップ206においては、サブボリュームが適格でないと判定された場合には、その処理は、m個のサブボリューム全てが演算されたかどうかを判定するステップ208に進む。それが肯定的な場合、その処理はステップ210で終了し、そうでない場合は、反復値が増加され、その処理は、次のサブボリューム702を評価するように、ステップ206に戻る。ステップ206においては、サブボリュームが適格であるとして判定され、その処理はステップ214に進む。 ステップ214においては、濃淡画像が、サブボリュームを用いることにより生成される。特に、評価されている現在のサブボリュームは、2D EO画像により規定される登録平面に投影される。EOセンサからの姿勢データが、この平面が何であるかを判定するように用いられる。図11は、EOセンサの姿勢の例であり、EO及び3D点群データを登録するために用いられる対応する平面1102である。3D点群は、フィルタリングされた濃淡画像を作成する前に、平面1102に対して投影される。簡単な例が図4及び5に与えられている。与えられている例は、2D EOセンサ姿勢が天底であり、故に、登録平面が単にxy平面である場合についてのものである。2D EOセンサ姿勢が天底でない、より一般的な場合には、登録平面1102はある他のx′y′平面により規定されることが理解できる。説明を簡単化するために、本発明について以下では、まるで登録が単にxy平面であるかのように説明している。しかしながら、本発明は、この点に限定されるものでないことが理解される必要がある。その代わりに、図11に例示として示されているように、2D EOセンサは天底ではなく、xy平面に対する参照番号は、ある他の座標系x′y′により規定された異なる基準面により置き換えられている。
【0032】
図4及び5を再び参照するに、3D点群を有する各々のサブボリューム702内の種々のデータ点が、登録平面に対して点群内の位置から投影されることが観察される。登録平面がxy平面である図4及び5に示す簡単な場合には、データ点のx値及びy値は同じであるように保たれる一方、データ点の各々についてのz値は0に設定される。より一般的な(EOセンサが天底でない)場合、投影面x′y′(1102)がどのように規定されていようと、データ点は投影される。このことは、点群を有する各々の点が、登録平面に再位置付けされるまで、登録平面に対して垂直な視野方向に沿ってそれらの位置を数学的に調整することにより投影されることを意味する。ステップ214の結果は、3D点群データを有する各々のサブボリューム702を登録平面における二次元投影に変換するものである。この二次元投影は、濃淡画像を生成するように用いられる。ここで記載している濃淡画像の目的は、後に適用されるフィルタリング処理により登録される二次元形状のエッジコンテンツを求めることを可能にすることである。
【0033】
ステップ216においては、その処理は、サブボリューム702についてフィルタ処理された濃淡画像を生成することにより続けられる。ステップ216におけるフィルタ処理された濃淡画像の生成は少なくとも3つのステップを有する。簡単にいうと、ステップ216は、(1)ステップ214に含まれる二次元投影により濃淡画像を生成するステップと、(2)濃淡画像の媒体フィルタ処理を実行するステップと、(3)媒体フィルタ処理された濃淡画像のエッジフィルタ処理を実行するステップと、を有する。濃淡画像は、二次元投影を複数の規則的な格子領域に分割するように、ステップ214において二次元投影に規則的な格子を適用することにより生成される。各々の個別の格子領域に含まれる点数が評価され、その数値はその格子領域に割り当てられる。各々の個別の格子領域の寸法は、EO画像の分解能(ときどき、地表サンプル距離(GSD)と呼ばれる)に対応するように選択される。濃淡画像を可視化する一方法は、それをシミュレートされたパンクロマティックイメージとみなすことである。フィルタ処理ステップ(2)及び(3)については、ここでは、更に詳しく説明しない。
【0034】
メディアンフィルタステップは主に、濃淡画像におけるノイズを低減させるように実行される。メディアンフィルタについては、当該技術分野で知られている。メディアンフィルタ処理は一般に、長さ及び幅で特定数の画素を有するフィルタマスクの選択を有する。マスクの正確なサイズは、特定のアプリケーションに従って変更し得るものである。本発明の場合には、5画素長さx5画素幅の大きさを有するフィルタマスクが適切な結果を提供することが判明している。しかしながら、本発明は、この点に限定されるものではない。実際には、マスクにおいては、画像が畳み込まれている。従って、メディアンフィルタは、中心画素値を、マスクにおける残りの画素値のメディアンと置き換えられる。そのメディアンは、先ず、マスクにおける画素値全てを数値順にソーティングし、次いで、考慮されている画素を中央画素値と置き換えることにより演算される。
【0035】
エッジフィルタ処理ステップについては、ここでは、更に詳しくは説明しない。画像処理分野の熟達者は、2つの画像をアライメントする目的で、画像に含まれるオブジェクトのエッジを特定することが助けとなることを、容易に理解することができる。例えば、画像を構成するオブジェクトのエッジを検出することは、画像に含まれる全データ量を実質的に減少させる。エッジ検出は、画像の重要な構造的特徴を保つが、画像アライメントの目的では一般に助けとならない情報を排除する。従って、メディアンフィルタ処理が実行された後に、濃淡画像においてエッジフィルタ処理を実行することは有利である。
【0036】
ここで用いているように、用語“エッジ”は一般に、複数の強い強度のコントラストが存在する二次元画像における領域のことをいう。そのような領域においては通常、隣接する画素間の強度における急激な変動が存在する。この点に関しては、エッジ検出を実行する多くの種々の方法が存在している一方、それらの方法の全ては本発明の範囲内に入るように意図されていることが理解される必要がある。本発明の目的のために、エッジフィルタ処理は、現在既知である、将来において発見される、又は画像におけるエッジを検出する又は強調するために用いられる、何れかの技術を有することが可能である。
【0037】
一実施形態に従って、本発明のエッジフィルタ処理は、従来のソーベル(Sobel)フィルタを用いて実行されることが可能である。ソーベルフィルタ処理においては、ソーベル演算子が、画像における2D空間勾配測定を決定するように用いられる。従来のソーベルフィルタ処理についての技術は知られている。従って、ソーベルフィルタ処理技術について、ここでは、更に詳細に説明しない。しかしながら、典型的には、第1折り畳みマスクは長さ3画素及び幅3画素を有する。同じ大きさの第2折り畳みマスクは、y方向の勾配を決定するように用いられる。この点に関しては、第1折り畳みマスク及び第2折り畳みマスクの各々は実際の濃淡画像に比べてかなり小さいことが理解される必要がある。それらのマスクは各々、ソーベル演算子に従った時間に1つの3x3画素群を操作して、画像の上をスライドされる。第1折り畳みマスクは、第1方向にエッジをハイライトする一方、第2折り畳みマスクは、第1方向に対して横断する第2方向にエッジをハイライトする。ここで用いているように、用語“ハイライトする”は、点群におけるエッジがより明瞭に検出されることを可能にする何れかの画像又はデータ強調のことをいう。その処理の結果は、x軸及びy軸の両方とアライメントされた方向にハイライトされたエッジである。
【0038】
ステップ218においては、2D画像500がまた、2D画像のエッジを強調するようにフィルタ処理される。このエッジフィルタ処理は、何れかの適切なエッジフィルタ処理技術を用いて実行されることが可能である。例えば、ソーベルフィルタ処理が、ステップ216に関して上で記載されている処理に類似する方法で、この目的のために、用いられることが可能である。更に、本発明は、当業者が理解できるように、この点に限定されるものではなく、他の適切なエッジフィルタが、この目的のために用いられることが可能である。
【0039】
ステップ220においては、二次元相関表面が、フィルタ処理された濃淡画像の領域及びエッジ強調された2D画像の対応する領域に基づいて、生成される。この処理については図8に示され、特定のサブボリューム702nについてフィルタ処理された密度画像802は一回に一画素だけ移動され、各々の位置において、相関値を得るように、エッジ強調された2D EO画像801と相関付けられる。それらの値はその場合、二次元相関プロット900nを概念的に示している図9にプロットして示されている。2つの画像の相互相関は2つの画像間の類似性を確認するために用いられる標準的な方法であることが、当該技術分野において知られている。2つの画像が少なくとも一部の共通の対象を有する場合には、相互相関処理は一般に、実際のx、y変換誤差に対応する位置に相関値におけるピークをもたらす。
【0040】
図8及び9を参照するに、相互相関表面プロットのピークは、フィルタ処理された濃淡画像802nがエッジ強調された2D ED画像801と最もよく相関付けられる場合に得られる。重要であることに、相関ピーク位置は、フィルタ処理された濃淡画像802nと2D EO画像との間の登録平面におけるシフトを特定する。図5及び6に示す簡単なシナリオにおいては、このシフトはxy平面におけるものである。より一般的には、相関ピーク位置は、x′y′が図11に示されている登録平面を表すx′y′平面におけるシフトを特定する。この相関処理を実行する目的で、2D EO画像は基準フレームとして用いられる一方、フィルタ処理された濃淡画像は目的フレームとして用いられる。しかしながら、基準及び目的は、何れの場合にも、推定される誤差に基づいて交換されることが可能である。典型的には、最も小さい絶対誤差を有するものが基準とみなされる。絶対誤差は、真の誤差である、又はそれらの点についてのデータ座標とグランドトゥルース位置との間の誤差である。
【0041】
ステップ220に関してここで説明している相関処理は、正規化された相互相関(NCC)処理を用いて実行されることが可能である。二次元画像の登録のためのNCC処理の使用については、当該技術分野において知られている。従って、NCC処理については、ここでは詳細には説明しない。しかしながら、一般に、2つの画像i及びjの相互相関は次のような積として定義され、
【数1】
ここで、piは、フィルタ処理された濃淡画像iにおける所定のドメインwiにおいて実行される画素インデックスであり、同様に、pjは、エッジ強調された2D画像jにおける所定のドメインwjにおいて実行される二次元インデックスである。当該技術分野においては、
【数2】
で表される相互相関乗算が、相互相関の乗算に依存して、種々の異なる関数により定義されることが知られている。しかしながら、典型的な乗算の定義の一例は次式
【数3】
のようなものである。当業者は、上記の乗算の定義が2つの異なる画像に含まれる2つの所定の領域がどのように似ているかを示すことを、理解することができるであろう。この点で、相互相関値は、最適な相関が得られたピークにおけるものである。勿論、本発明は、この点に限定されるものではなく、何れかの他の相関処理が、特定のサブボリューム702nについての濃淡画像と2D画像との間の変換誤差を表す結果を生成する場合に、用いられることが可能である。
【0042】
サブボリューム702nについての2D相関表面がステップ220において生成された後に、処理はステップ222に進む。ステップ222においては、2D相関表面の最大ピーク902nの位置が特定される。ピーク902nの位置は、点(xnEO,ynEO)により規定される2D画像500におけるある位置に対応する。従って、ステップ224においては、2D画像500における点(xnEO,ynEO)は、最大相関ピーク値の位置に基づいて特定される。相関表面が生成された処理の結果として、2D画像に対する相関表面における各々の画素の直接マッピングが存在する。
【0043】
ステップ226においては、点(xnEO,ynEO)についての値が対応点設定リストに記憶される。点設定リストの実施例が図10に示されている。その図に示されているように、(xnEO,ynEO)値は、対応する(xnLibar,ynLibar)位置値と共に記憶される。(xnLibar,ynLibar)位置値は、3D画像データの立方体400又はより大きいボリュームにおけるフィルタ処理された濃淡画像802nの中心を表す。z成分は、共通のxy登録平面に対する投影が生じるときにこの値は取り除かれているために、対応点セットの目的のためには必要ないことに留意されたい。2つのデータセット間の実施の誤差は、データセット間の対応点をとり、コスト関数を有する最適化ルーチン(最小二乗等)を用いてそれらの間の距離を最小化することにより、決定される。コスト関数は、変換、倍率、歪み、回転、多項式、当業者が知っている種々の他の非線形方法の組み合わせを含む何れかを有することが可能である。
【0044】
ステップ226に続いて、m個のサブボリューム又はサブ立方体の全てがステップ206乃至226において処理されたかどうかに関する判定が、ステップ228で行われる。それが否定的な場合、nの値はステップ230においてインクリメントされ、その処理はステップ206に戻り、次のサブボリュームが、上記のように、評価されて処理される。サブボリューム702nの全てが評価されて処理されるとき、その方法はステップ232に進む。
【0045】
ステップ226に関連して説明しているように、(xnEO,ynEO)値及び対応する(xnLibar,ynLibar)値は、対応対と呼ばれ、それらの位置値は点設定リストに記憶される。ステップ232において、2つの点セット間の変換の関係を求めるように、最適化技術が用いられる。この変換は、その最適化技術がコスト関数を最小化する対応するものの間の最小距離を一旦得ると、規定される。本発明の一実施形態においては、最小二乗誤差関数が最適化技術として用いられる。しかしながら、本発明はこの点に限定されるものでないことが理解される必要がある。当業者が理解できるであろうように、何れかの適切な方法が、一旦対応対が特定されると、最適な変換の解を特定するように用いられる。 対応点間の誤差を最小化するように用いられる、当該技術分野で知られている複数の最適化ルーチンが存在している。例えば、最適化ルーチンは、同時摂動型確率過程的近似法(SPSA)を有することが可能である。用いることが可能である他の最適化方法は、Nelder Mead Simplex法、最小二乗適合法及び準ニュートン法を含む。それらの最適化技術の各々は当該技術分野で知られていて、従って、ここではその詳細について説明しない。
【0046】
一旦、最適な変換がステップ232において決定されると、その方法はステップ234に進む。ステップ234においては、3D点群データにおけるデータ点全てに対して変換が適用される。3D点群に最適な変換を適用することにより、3D点群データを2D画像とアライメントすることができる、その結果は、三次元画像データセットが、二次元画像データセットと共に登録されることである。
【技術分野】
【0001】
本発明は画像登録に関し、特に、LIDARセンサにより取得された三次元点群画像データによる電子光学的画像センサにより取得された二次元画像データの登録に関する。
【背景技術】
【0002】
イメージングセンサは、国土のセキュリティ及び軍事のアプリケーションを含む広範なアプリケーションで用いられている。例えば、この種のセンサは、飛行機及び地球軌道の衛星のプラットフォームに一般に位置付けられている。従来の電子光学的(EO)センサは、画像データの収集のために用いられてきていて、一般に二次元データを生成するものである。そのようなデータは、一般に、x及びy座標軸により全体的に規定されることが可能である平面場に対する画像の投影に対応するものである。
【0003】
近年、三次元イメージングデータに対する関心が高まってきている。当業者は、3D点群データを生成するように用いられる既存の多様な異なる種類のセンサ、測定装置及びイメージングシステムが存在することを認識している。3D点群データの1つ又はそれ以上のフレームを生成する3Dイメージングシステムの一例は従来のLIDARイメージングシステムである。一般に、そのようなLIDARシステムは、高エネルギーレーザと、光学的検出器と、目標までの距離を決定するタイミング回路とを用いる。従来のLIDARシステムにおいては、1つ又はそれ以上のレーザパルスがシーンを照明するように用いられる。各々のパルスは、検出器アレイと連携して動作するタイミング回路をトリガする。一般に、そのシステムは、レーザから目標までの及び戻って検出器アレイまでの往復経路を通過する光パルスの各々の画素についての時間を測定する。目標からの反射光は、検出器アレイで検出され、その往復時間は、目標における点までの距離を決定するように測定される。演算された範囲又は距離情報は、目標を有する多数の点について得られ、故に、3D点群を生成する。その点群は、オブジェクトの3D形状を表すように用いられる。
【0004】
3D点群における各々の点は、x、y及びz座標軸系により種々の位置で規定される点により3D点データが三次元で配置されることを除いて、ディジタルカメラにより生成される画素データに幾分似ている。LIDARセンサにより生成される3D画像又は点群は一般に、点群データとして知られている。2D画素データとは対照的に、x、y、z座標は空間情報のみを提供する一方、2D画素は、波長の関数として視覚強度情報を含む。一部のLIDARセンサは、所定領域における長い滞留時間により強度データを同時に収集することが可能である。
【0005】
点群データは、シーンの3Dモデルを生成するのに有用である。しかしながら、その点群データは、従来のEOセンサを用いて取得された画像データと通常関連付けられる詳細な視覚情報のかなりの部分がしばしば欠けている。従って、同じシーンについて、2D EOイメージングデータを3D点群データと比較することは有利である。しかしながら、イメージングデータの異なる2つのセットを組み合わせることは、画像登録ステップを必ず必要とする。そのような画像登録ステップは通常、画像と関連付けられるメタデータにより支援される。例えば、そのようなメタデータは、1)センサのオリエンテーション及び姿勢情報と、2)画像の角の点と関連付けられる緯度座標及び経度座標と、3)点群データの場合の、点群データについての生のx、y及びz点位置とを有することが可能である。このメタデータは、データセットと、対応点探索領域との間の重なり合う領域を決定するように用いられることが可能である。更に、この画像登録ステップは、異なるデータ収集時間及び異なる相対的なセンサの位置での異なるセンサにより取得されるEO及びLIDAR画像データの正確なアライメントを必要とするために、困難であり、時間を要する。更に、点群データは基本的には、かなり複雑なセンサ間登録の問題に対処するには、EO画像データと比べてより困難である。
【0006】
種々の登録スキームが、上記の登録の課題を解決するために提供されている。例えば、一部の登録スキームは、登録処理の支援として、LIDAR強度画像を用いる。LIDAR強度画像は、LIDARセンサに長期間にわたってシーンを滞留させることにより、得られる。反射強度データは、この期間中、そのセンサにより収集される。これは、EOセンサにより収集された従来の画像データに幾分似ているLIDARセンサにより得られた2D画像データセットをもたらす。LIDAR強度画像は、従って、登録処理を容易にする種々の方法において用いられることが可能である。更に、2D LIDAR強度画像を用いる登録は多くの短所を有する。第1に、それは、2D EO画像に対してLIDARデータの2D登録のみを提供する。第2に、生の3D点群データ及び2D EO画像と共にこの2D LIDAR強度画像を用いることは、強度を処理し、コンピュータメモリのかなりの容量を必要とする。
【0007】
他の2Dから3Dへの登録技術はまた、都会のシーン(及び形状情報を必要とする)又は医療画像を含むシーン(及び2D画像においてマーカーを必要とする)のみにより主に有用であるシーンに限定される。そのようなシステムはまた、登録と関連付けられるアライメントパラメータの良好な初期推定を必要とする。
【発明の概要】
【課題を解決するための手段】
【0008】
本発明は、2つ又はそれ以上の画像の登録のための方法及びシステムに関する。二次元画像データセット及び三次元画像データセットが、共通のシーンについて得られる。点群データの三次元ボリューム及び二次元画像データは重なり合う領域に対してクロッピングされる。更なるクロッピングは、共通のシーンにおける地表面を含む点群データの一部を除去する。従って、三次元ボリュームはm個のサブボリュームに分割される。各々のサブボリュームにおける点群データは、イメージングセンサから視野方向に対して垂直な登録平面に投影される。
【0009】
二次元画像データはエッジ強調される。従って、3Dの複数の点のサブボリュームを各々適格にするように、次の処理ステップが実行される。1)適格化したサブボリュームが各々、登録平面に対して投影される。2)フィルタリングされた濃淡画像が各々のサブボリュームから生成される。3)対応領域がエッジ強調されたEO画像から選択される。4)二次元相関表面(この表面を達成するための種々の方法が存在している:NCC、位相、位相ρ、相互情報)が、フィルタ処理された濃淡画像及び対応する2Dエッジ強調されたEO画像を用いて、演算される。5)二次元相関表面における最大ピークが位置付けられる(このピークは、特定の副領域についての複数の画像間の変位情報を含む)。6)相関表面におけるピーク位置は各々のEO副領域における位置に戻るように参照される。7)フィルタ処理された濃淡画像の各々の副領域の中心位置が、EO副領域の中心に戻るように参照される。8)各々の副領域について、それらの2つの点は対応点の対を構成する。9)最適化ルーチンは、対応点セット間のベストフィットを探す。‘m個’の相関点の例は、
{[(x1Libar,y1Libar)(x1EO,y1EO)],[(x2Libar,y2Libar)(x2EO,y2EO)],...,[(xmLibar,ymLibar)(xmEO,ymEO)]}
と表される。
【0010】
複数の対応点間の変換は、エラー又はコスト関数を用いてそれら複数の点の間の距離を最小化することにより決定される。この変換はその場合、3D点群データにおける全てのデータ点に適用される。その結果は、3D LIDAR点群データセットが二次元EO画像データセットとアライメントされることである。この処理は他の方向に適用されることが可能であり、即ち、EOを3D LIDARにアライメントする変換が求められる。
【図面の簡単な説明】
【0011】
【図1】本発明を理解するために有用なコンピュータシステムのブロック図である。
【図2】本発明を理解するために有用なフローチャートである。
【図3】異なる有利な点から画像データがどのように取得されるかを理解するために有用な図である。
【図4】三次元画像データ又は点群データを理解するために有用な図である。
【図5】二次元画像データを理解するために有用な図である。
【図6】三次元画像データが地表面を除去するようにどのようにクロッピングされたかを理解するために有用なフローチャートである。
【図7】図6における三次元画像データがサブボリュームにどのように分割されるかを理解するために有用な図である。
【図8】フィルタ処理された濃淡画像及びエッジ強調された二次元画像を用いて、二次元相関表面がどのように演算されるかを理解するために有用な図である。
【図9】二次元相関表面が本発明においてどのように用いられるかを理解するために有用な概念図である。
【図10】対応点セットリストを理解するために有用な図である。
【図11】EOセンサの姿勢がEO及び3D点群データを登録するために登録平面をどのように規定するかを理解するために有用な図である。
【発明を実施するための形態】
【0012】
本発明について、本発明の例示としての実施形態が示されている添付図を参照して、以下に詳述する。本発明は、しかしながら、多くの種々の形態で具現化されることが可能であり、以下に記載する実施形態に限定されるとして解釈されるべきではない。例えば、本発明は、方法、データ処理システム又はコンピュータプログラムとして具現化されることが可能である。従って、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はハードウェア/ソフトウェアの実施形態としての形式をとることが可能である。
【0013】
本発明は、1つのコンピュータシステムで実現されることが可能である。代替として、本発明は、複数の相互接続されたコンピュータシステムで実現されることが可能である。本明細書で記載している方法を実行するように適合されたコンピュータシステム又は他の装置は何れも適するものである。ハードウェア及びソフトウェアの代表的な組み合わせは汎用コンピュータシステムであることが可能である。汎用コンピュータシステムは、本明細書で記載している方法を実行するようなコンピュータシステムを制御することが可能であるコンピュータプログラムを有することが可能である。
【0014】
本発明は、コンピュータ使用可能記憶媒体(例えば、ハードディスク又はCD−ROM)におけるコンピュータプログラムプロダクトの形式をとることが可能である。コンピュータ使用可能記憶媒体は、媒体において具現化されるコンピュータ使用可能プログラムコードを有することが可能である。本明細書で用いている用語“コンピュータプログラムプロダクト”は、本明細書で記載している方法の実施を可能にする特徴全てを有する装置のことをいう。本明細書におけるコンピュータプログラム、ソフトウェアアプリケーション、コンピュータソフトウェアルーチン及び/又はそれらの用語の他の変換は、情報処理能力を有するシステムが、直接に、若しくは、a)他の言語、コード又は表記法への変換、又はb)異なる材料形状での再現、の何れか又は両方の後に、特定の機能を実行するようにすることが意図された命令の集合の何れかの言語、コード又は表記法における何れかの表現を意味している。
【0015】
コンピュータシステム100は、サーバコンピュータ、顧客ユーザコンピュータ、パーソナルコンピュータ(PC)、タブレットPC、ラップトップコンピュータ、デスクトップコンピュータ、制御システム、ネットワークルータ、スイッチ又はブリッジ、装置が行う動作を特定する命令の集合(シーケンシャル、等)を実行することが可能である何れかの他の装置の種々の種類を有することが可能である。本明細書における装置は、音声、映像又はデータ通信をもたらす何れかの電子装置を有することが可能であることが理解される必要がある。更に、単独のコンピュータが示されている一方、表現“コンピュータシステム”は、本明細書で記載されている何れかの1つ又はそれ以上の方法論を実行する命令の集合(又は複数の集合)を別個に又は連携して実行する演算装置の何れかの集合を有するとして理解することができる。
【0016】
コンピュータシステム100は、プロセッサ(中央演算処理装置(CPU))、グラフィクス処理ユニット(GPU)、CPU及びGPUの両方、主メモリ104、バス108を介して互いに通信するスタティックメモリ106を有することが可能である。コンピュータシステム100は、映像ディスプレイ(例えば、液晶ディスプレイ(LCD))、フラットパネル、固体ディスプレイ又はブラウン管(CRT)等のディスプレイユニット110を更に有することが可能である。コンピュータシステム100は、入力装置112(例えば、キーボード)、カーソル制御装置114(例えば、マウス)、ディスクドライブユニット116、信号発生装置118(例えば、スピーカ又はリモートコントロール)及びネットワークインタフェース装置120を有することが可能である。
【0017】
ディスク装置ユニット116は、本明細書で記載している1つ又はそれ以上の方法論、手法又は機能を実行する1つ又はそれ以上の命令の集合124(例えば、ソフトウェアコード)が記憶されているコンピュータ読み出し可能記憶媒体122を有することが可能である。命令124は、コンピュータシステム100による実行中に、主メモリ104、スタティックメモリ106及び/又はプロセッサ102に完全に又は少なくとも一部が存在することが可能である。主メモリ104及びプロセッサ102はまた、機械読み出し可能媒体を有することが可能である。
【0018】
特定のアプリケーション用集積回路、プログラマブルロジックアレイ及び他のハードウェア装置を有する専用ハードウェア実施構成が更に、本明細書で説明している方法を実行するように構成されることが可能であるが、それらに限定されるものではない。種々の実施形態の装置及びシステムを有することが可能であるアプリケーションは、種々の電子システム及びコンピュータシステムを広範に有することが可能である。一部の実施形態は、モジュール間で及びモジュールを介して通信される関連制御信号及びデータ信号により1つ又はそれ以上の特定の相互接続されたハードウェアモジュールにおける機能を実施する。従って、例示としてのシステムは、ソフトウェア、ファームウェア及びハードウェアの実施に適用することが可能である。
【0019】
本発明の種々の実施形態に従って、下に記載の方法は、コンピュータ読み取り可能記憶媒体にソフトウェアプログラムとして記憶されることが可能であり、コンピュータプロセッサにおいて実行させることが可能である。更に、ソフトウェアの実施は、本明細書で説明している方法を実施することも可能である分散処理、成分/オブジェクト分散処理、並列処理、仮想マシン処理を有することが可能であるが、それらに限定されるものではない。
【0020】
本発明の種々の実施形態においては、コンピュータ読み取り可能記憶媒体は、命令124を有する、又はネットワーク環境126に接続された装置が音声データ及び/又は映像データを送信する又は受信することが可能であるように伝播される信号から命令124を受信して、実行する、並びに命令124を用いてネットワーク126において通信することが可能である。命令124は更に、ネットワークインタフェース装置120を介してネットワーク126において送信又は受信されることが可能である。
【0021】
コンピュータ読み取り可能記憶媒体122は、信号記憶媒体であるとして例示としての実施形態に示されている一方、用語“コンピュータ読み取り可能記憶媒体”は、1つ又はそれ以上の命令の集合を記憶する単独の媒体又は複数の媒体(例えば、集中データベース又は分散データベース、並びに/若しくは関連キャッシュ及びサーバ)を有するとして捉えられる必要がある。用語“コンピュータ読み取り可能記憶媒体”はまた、機械により命令の集合を記憶する、符号化する又は担持することが可能である、そして本明細書の方法論の何れかの1つ又はそれ以上を機械が実行するようにする、何れかの媒体を有するとして捉えられる必要がある。
【0022】
用語“コンピュータ読み取り媒体”は従って、1つ又はそれ以上の読み出し専用メモリ(ROM;不揮発性)、ランダムアクセスメモリ(RAM)又は他の書き換え可能(揮発性)メモリを収容するメモリカード又は他のパッケージ等の固体メモリ;ディスク又はテープ等の光磁気媒体又は光媒体;送信媒体におけるコンピュータ命令を実施する信号等の搬送波信号;並びに/若しくは電子メールへのディジタルファイル添付若しくは有形記憶媒体に相当する分散媒体であるとみなされる他の自律型情報アーカイブ又はアーカイブの集合;を有するとして捉えられるが、それらに限定されるものではない。従って、その開示は、ここで列挙され、相当するとみなされた後継の媒体を含むように、本明細書におけるソフトウェア実施構成が記憶されているコンピュータ読み取り可能媒体又は分散媒体の何れか1つ又はそれ以上を有するとみなされる。
【0023】
当業者は、図1に示しているコンピュータシステムアーキテクチャはコンピュータシステムの1つの有効な実施例であることを理解することができる。しかしながら、本発明は、この点に限定されるものではなく、何れかの他の適切なコンピュータシステムアーキテクチャも、制限されることなく用いられることが可能である。
【0024】
3D点群の2D電子光学的データへの登録
ここで図2を参照するに、フローチャートが示されている。このフローチャートは、二次元(2D)画像データに点群を有する三次元(3D)画像データを登録する方法を理解するために有用である。その方法は、ステップ201において、共通シーンについて2D画像データ及び3D画像データの取得から開始する。そのような取得処理の実施例は図3に示されていて、その図において、第1撮像センサ302及び第2撮像センサ304の各々が共通シーン306の画像データを取得する。2つの撮像センサが図3に示されているが、本発明は、それに限定されるものでないことが理解される必要がある。実際には、共通センサが2つの異なる時間に用いられることが可能である。重要であることに、図3においては、第1衛星302は2D画像を収集し、第2センサ304は3D点群画像データを収集することが可能である。
【0025】
ここで記載している二次元画像データは、当業者に知られている何れかの適切なイメージングセンサにより収集されることが可能である。例えば、地球軌道衛星及び航空機データ収集プラットフォームは通常、電子光学的(EO)センサを用いて2Dイメージングデータを収集する。ここで用いられている用語“電子光学的センサ”は一般に、選択されたサンプル期間について、イメージング装置の画像検知表面に対して、シーンからの放射線を画像化するために光学システムが用いられる広範の装置の何れか1つのことをいう。イメージング装置は、光応答性領域の二次元アレイの形式をとることが可能である。イメージング装置に基づく種々の半導体については、当該技術分野において知られている。例えば、CCD(charge coupled device)及びフォトダイオードアレイはしばしば、制限を伴わずに、この目的のために用いられる。更に、上記のイメージング装置は、単なる例示として把握され、本発明は、何れかの特定のEO型のイメージング装置に限定されるようには意図されていない。例えば、本発明は医療用画像の登録のために用いられることも可能である。
【0026】
多様な異なる種類のイメージングセンサが、3Dイメージングデータを、特に、3D点群データを生成するように用いられることが可能である。本発明は、イメージングシステムのそれらの多様な種類の何れかから得られた3D点群データの登録のために利用されることが可能である。3D点群の1つ又はそれ以上のフレームを生成する3Dイメージングシステムの一実施例は従来のLIDARイメージングシステムである。LIDARデータの各々の画像フレームは、複数範囲のエコーに対応する三次元の点(3D点群)の収集を有する。それらの点は、三次元空間における規則的な光子における値を表す“ボクセル”に組織化されることが可能である。3Dイメージングで用いられるボクセルは、2Dイメージング装置に関連して用いられる画素に類似するものである。それらのフレームは、目的の3D画像を再構成するように処理される。この関連で、3D点群における各々の点は、3Dのシーンにおける実際の表面を表す、個別のx、y及びz値を有する。
【0027】
例示としての3D画像データの立方体400が図4に示されている一方、2D画像データのフレームが図5に示されている。2D画像データ500のフレームは単独の面において規定される一方、3D画像データの立方体400は、三次元で規定される点群402を有する。更に、例示としての図4の3D画像データは立方体として境界が画定されているが、本発明はこの点に限定されるものでないことに留意する必要がある。立方体はこの目的のために用いられる従来からの形状であることが理解できるが、3Dデータは、何れかの他の適切な形状のボリュームにおいて規定されることが可能である。例えば、立方体の代わりに、矩形状の角柱が3D点群データセットを、境界を画定するように用いられることも可能である。上記にも拘らず、便宜上、本発明については、点群データの立方体に関連付けて記載されている。
【0028】
図3をもう一度参照するに、イメージングセンサ302、304が異なる位置及びオリエンテーションをそれぞれ有することを理解することができる。当業者はときどき、それらのセンサの位置及びオリエンテーションのことをそれらのセンサの姿勢という。例えば、センサ302は、3D画像データが取得されたときの姿勢パラメータにより規定される姿勢を有するといわれる。
【0029】
図2をもう一度参照するに、登録処理はステップ202に進むことが可能である。ステップ202においては、3D点データの立方体400の一部がクロッピングされる。特に、クロッピング処理は、ベース表面の反射に対応する点群データの一部を取り除く。本発明が地球イメージングに関連して適用されるとき、ベース表面は一般に、地表面である。しかしながら、本発明は、この点に限定されるものではない。この処理については、概念的に、図6に示されている一方、面602の下のデータは、画像立方体から体系的に除去されている。特に、3D点群データボリュームは体系的に、複数の領域に分割されている。その場合、各々の領域についての3D点データは、地上の等高線を検出するように統計的に分析される。特定の領域についての地上の等高線は、その領域についてのクロッピング面とみなされる。従って、この面の下の領域における全ての3D点は捨てられる。
【0030】
ステップ202に続いて、その方法は、3D点データのボリュームがm個のサブボリュームに分割されるステップ204に進む。このように副分割するステップは図7に示されていて、その図は、複数のm個のサブボリューム702に副分割された立方体400を示している。m個のサブボリュームの各々はまた、立方体形状であることが可能であり、この点で、副立方体とみなされる。更に、本発明は、この点に限定されるものではなく、他の形状のサブボリュームも、可能である。ステップ204に続いて、m個のサブボリューム702を有する反復処理がステップ206乃至230において実行される。この反復処理については、下で説明する。
【0031】
反復処理は、サブボリュームが更なる処理について適するかどうかを判定するように試験が適用されるステップ206から始まる。種々の基準が、特定のサブボリュームが適するかどうかを判定するように、この試験の目的のために用いられることが可能である。例えば、十分な量のデータ又はコンテンツを有するサブボリュームをサブボリュームとして適格であると限定することは適切である。例えば、サブボリュームの適格化は、それらのサブボリュームに含まれる少なくとも所定数のデータ点によりそれらのサブボリュームに限定されるのである。サブ領域を適格化するための他の基準は、データがブロブ状構造を有する副領域であることが可能である。ブロブ状点群は、不定形形状を有する三次元球又は塊であるとして理解されるものである。従って、ブロブ状点群は、ここでは一般に、直線、曲線又は平面を形成する点群を有するものではない。ステップ206においては、サブボリュームが適格でないと判定された場合には、その処理は、m個のサブボリューム全てが演算されたかどうかを判定するステップ208に進む。それが肯定的な場合、その処理はステップ210で終了し、そうでない場合は、反復値が増加され、その処理は、次のサブボリューム702を評価するように、ステップ206に戻る。ステップ206においては、サブボリュームが適格であるとして判定され、その処理はステップ214に進む。 ステップ214においては、濃淡画像が、サブボリュームを用いることにより生成される。特に、評価されている現在のサブボリュームは、2D EO画像により規定される登録平面に投影される。EOセンサからの姿勢データが、この平面が何であるかを判定するように用いられる。図11は、EOセンサの姿勢の例であり、EO及び3D点群データを登録するために用いられる対応する平面1102である。3D点群は、フィルタリングされた濃淡画像を作成する前に、平面1102に対して投影される。簡単な例が図4及び5に与えられている。与えられている例は、2D EOセンサ姿勢が天底であり、故に、登録平面が単にxy平面である場合についてのものである。2D EOセンサ姿勢が天底でない、より一般的な場合には、登録平面1102はある他のx′y′平面により規定されることが理解できる。説明を簡単化するために、本発明について以下では、まるで登録が単にxy平面であるかのように説明している。しかしながら、本発明は、この点に限定されるものでないことが理解される必要がある。その代わりに、図11に例示として示されているように、2D EOセンサは天底ではなく、xy平面に対する参照番号は、ある他の座標系x′y′により規定された異なる基準面により置き換えられている。
【0032】
図4及び5を再び参照するに、3D点群を有する各々のサブボリューム702内の種々のデータ点が、登録平面に対して点群内の位置から投影されることが観察される。登録平面がxy平面である図4及び5に示す簡単な場合には、データ点のx値及びy値は同じであるように保たれる一方、データ点の各々についてのz値は0に設定される。より一般的な(EOセンサが天底でない)場合、投影面x′y′(1102)がどのように規定されていようと、データ点は投影される。このことは、点群を有する各々の点が、登録平面に再位置付けされるまで、登録平面に対して垂直な視野方向に沿ってそれらの位置を数学的に調整することにより投影されることを意味する。ステップ214の結果は、3D点群データを有する各々のサブボリューム702を登録平面における二次元投影に変換するものである。この二次元投影は、濃淡画像を生成するように用いられる。ここで記載している濃淡画像の目的は、後に適用されるフィルタリング処理により登録される二次元形状のエッジコンテンツを求めることを可能にすることである。
【0033】
ステップ216においては、その処理は、サブボリューム702についてフィルタ処理された濃淡画像を生成することにより続けられる。ステップ216におけるフィルタ処理された濃淡画像の生成は少なくとも3つのステップを有する。簡単にいうと、ステップ216は、(1)ステップ214に含まれる二次元投影により濃淡画像を生成するステップと、(2)濃淡画像の媒体フィルタ処理を実行するステップと、(3)媒体フィルタ処理された濃淡画像のエッジフィルタ処理を実行するステップと、を有する。濃淡画像は、二次元投影を複数の規則的な格子領域に分割するように、ステップ214において二次元投影に規則的な格子を適用することにより生成される。各々の個別の格子領域に含まれる点数が評価され、その数値はその格子領域に割り当てられる。各々の個別の格子領域の寸法は、EO画像の分解能(ときどき、地表サンプル距離(GSD)と呼ばれる)に対応するように選択される。濃淡画像を可視化する一方法は、それをシミュレートされたパンクロマティックイメージとみなすことである。フィルタ処理ステップ(2)及び(3)については、ここでは、更に詳しく説明しない。
【0034】
メディアンフィルタステップは主に、濃淡画像におけるノイズを低減させるように実行される。メディアンフィルタについては、当該技術分野で知られている。メディアンフィルタ処理は一般に、長さ及び幅で特定数の画素を有するフィルタマスクの選択を有する。マスクの正確なサイズは、特定のアプリケーションに従って変更し得るものである。本発明の場合には、5画素長さx5画素幅の大きさを有するフィルタマスクが適切な結果を提供することが判明している。しかしながら、本発明は、この点に限定されるものではない。実際には、マスクにおいては、画像が畳み込まれている。従って、メディアンフィルタは、中心画素値を、マスクにおける残りの画素値のメディアンと置き換えられる。そのメディアンは、先ず、マスクにおける画素値全てを数値順にソーティングし、次いで、考慮されている画素を中央画素値と置き換えることにより演算される。
【0035】
エッジフィルタ処理ステップについては、ここでは、更に詳しくは説明しない。画像処理分野の熟達者は、2つの画像をアライメントする目的で、画像に含まれるオブジェクトのエッジを特定することが助けとなることを、容易に理解することができる。例えば、画像を構成するオブジェクトのエッジを検出することは、画像に含まれる全データ量を実質的に減少させる。エッジ検出は、画像の重要な構造的特徴を保つが、画像アライメントの目的では一般に助けとならない情報を排除する。従って、メディアンフィルタ処理が実行された後に、濃淡画像においてエッジフィルタ処理を実行することは有利である。
【0036】
ここで用いているように、用語“エッジ”は一般に、複数の強い強度のコントラストが存在する二次元画像における領域のことをいう。そのような領域においては通常、隣接する画素間の強度における急激な変動が存在する。この点に関しては、エッジ検出を実行する多くの種々の方法が存在している一方、それらの方法の全ては本発明の範囲内に入るように意図されていることが理解される必要がある。本発明の目的のために、エッジフィルタ処理は、現在既知である、将来において発見される、又は画像におけるエッジを検出する又は強調するために用いられる、何れかの技術を有することが可能である。
【0037】
一実施形態に従って、本発明のエッジフィルタ処理は、従来のソーベル(Sobel)フィルタを用いて実行されることが可能である。ソーベルフィルタ処理においては、ソーベル演算子が、画像における2D空間勾配測定を決定するように用いられる。従来のソーベルフィルタ処理についての技術は知られている。従って、ソーベルフィルタ処理技術について、ここでは、更に詳細に説明しない。しかしながら、典型的には、第1折り畳みマスクは長さ3画素及び幅3画素を有する。同じ大きさの第2折り畳みマスクは、y方向の勾配を決定するように用いられる。この点に関しては、第1折り畳みマスク及び第2折り畳みマスクの各々は実際の濃淡画像に比べてかなり小さいことが理解される必要がある。それらのマスクは各々、ソーベル演算子に従った時間に1つの3x3画素群を操作して、画像の上をスライドされる。第1折り畳みマスクは、第1方向にエッジをハイライトする一方、第2折り畳みマスクは、第1方向に対して横断する第2方向にエッジをハイライトする。ここで用いているように、用語“ハイライトする”は、点群におけるエッジがより明瞭に検出されることを可能にする何れかの画像又はデータ強調のことをいう。その処理の結果は、x軸及びy軸の両方とアライメントされた方向にハイライトされたエッジである。
【0038】
ステップ218においては、2D画像500がまた、2D画像のエッジを強調するようにフィルタ処理される。このエッジフィルタ処理は、何れかの適切なエッジフィルタ処理技術を用いて実行されることが可能である。例えば、ソーベルフィルタ処理が、ステップ216に関して上で記載されている処理に類似する方法で、この目的のために、用いられることが可能である。更に、本発明は、当業者が理解できるように、この点に限定されるものではなく、他の適切なエッジフィルタが、この目的のために用いられることが可能である。
【0039】
ステップ220においては、二次元相関表面が、フィルタ処理された濃淡画像の領域及びエッジ強調された2D画像の対応する領域に基づいて、生成される。この処理については図8に示され、特定のサブボリューム702nについてフィルタ処理された密度画像802は一回に一画素だけ移動され、各々の位置において、相関値を得るように、エッジ強調された2D EO画像801と相関付けられる。それらの値はその場合、二次元相関プロット900nを概念的に示している図9にプロットして示されている。2つの画像の相互相関は2つの画像間の類似性を確認するために用いられる標準的な方法であることが、当該技術分野において知られている。2つの画像が少なくとも一部の共通の対象を有する場合には、相互相関処理は一般に、実際のx、y変換誤差に対応する位置に相関値におけるピークをもたらす。
【0040】
図8及び9を参照するに、相互相関表面プロットのピークは、フィルタ処理された濃淡画像802nがエッジ強調された2D ED画像801と最もよく相関付けられる場合に得られる。重要であることに、相関ピーク位置は、フィルタ処理された濃淡画像802nと2D EO画像との間の登録平面におけるシフトを特定する。図5及び6に示す簡単なシナリオにおいては、このシフトはxy平面におけるものである。より一般的には、相関ピーク位置は、x′y′が図11に示されている登録平面を表すx′y′平面におけるシフトを特定する。この相関処理を実行する目的で、2D EO画像は基準フレームとして用いられる一方、フィルタ処理された濃淡画像は目的フレームとして用いられる。しかしながら、基準及び目的は、何れの場合にも、推定される誤差に基づいて交換されることが可能である。典型的には、最も小さい絶対誤差を有するものが基準とみなされる。絶対誤差は、真の誤差である、又はそれらの点についてのデータ座標とグランドトゥルース位置との間の誤差である。
【0041】
ステップ220に関してここで説明している相関処理は、正規化された相互相関(NCC)処理を用いて実行されることが可能である。二次元画像の登録のためのNCC処理の使用については、当該技術分野において知られている。従って、NCC処理については、ここでは詳細には説明しない。しかしながら、一般に、2つの画像i及びjの相互相関は次のような積として定義され、
【数1】
ここで、piは、フィルタ処理された濃淡画像iにおける所定のドメインwiにおいて実行される画素インデックスであり、同様に、pjは、エッジ強調された2D画像jにおける所定のドメインwjにおいて実行される二次元インデックスである。当該技術分野においては、
【数2】
で表される相互相関乗算が、相互相関の乗算に依存して、種々の異なる関数により定義されることが知られている。しかしながら、典型的な乗算の定義の一例は次式
【数3】
のようなものである。当業者は、上記の乗算の定義が2つの異なる画像に含まれる2つの所定の領域がどのように似ているかを示すことを、理解することができるであろう。この点で、相互相関値は、最適な相関が得られたピークにおけるものである。勿論、本発明は、この点に限定されるものではなく、何れかの他の相関処理が、特定のサブボリューム702nについての濃淡画像と2D画像との間の変換誤差を表す結果を生成する場合に、用いられることが可能である。
【0042】
サブボリューム702nについての2D相関表面がステップ220において生成された後に、処理はステップ222に進む。ステップ222においては、2D相関表面の最大ピーク902nの位置が特定される。ピーク902nの位置は、点(xnEO,ynEO)により規定される2D画像500におけるある位置に対応する。従って、ステップ224においては、2D画像500における点(xnEO,ynEO)は、最大相関ピーク値の位置に基づいて特定される。相関表面が生成された処理の結果として、2D画像に対する相関表面における各々の画素の直接マッピングが存在する。
【0043】
ステップ226においては、点(xnEO,ynEO)についての値が対応点設定リストに記憶される。点設定リストの実施例が図10に示されている。その図に示されているように、(xnEO,ynEO)値は、対応する(xnLibar,ynLibar)位置値と共に記憶される。(xnLibar,ynLibar)位置値は、3D画像データの立方体400又はより大きいボリュームにおけるフィルタ処理された濃淡画像802nの中心を表す。z成分は、共通のxy登録平面に対する投影が生じるときにこの値は取り除かれているために、対応点セットの目的のためには必要ないことに留意されたい。2つのデータセット間の実施の誤差は、データセット間の対応点をとり、コスト関数を有する最適化ルーチン(最小二乗等)を用いてそれらの間の距離を最小化することにより、決定される。コスト関数は、変換、倍率、歪み、回転、多項式、当業者が知っている種々の他の非線形方法の組み合わせを含む何れかを有することが可能である。
【0044】
ステップ226に続いて、m個のサブボリューム又はサブ立方体の全てがステップ206乃至226において処理されたかどうかに関する判定が、ステップ228で行われる。それが否定的な場合、nの値はステップ230においてインクリメントされ、その処理はステップ206に戻り、次のサブボリュームが、上記のように、評価されて処理される。サブボリューム702nの全てが評価されて処理されるとき、その方法はステップ232に進む。
【0045】
ステップ226に関連して説明しているように、(xnEO,ynEO)値及び対応する(xnLibar,ynLibar)値は、対応対と呼ばれ、それらの位置値は点設定リストに記憶される。ステップ232において、2つの点セット間の変換の関係を求めるように、最適化技術が用いられる。この変換は、その最適化技術がコスト関数を最小化する対応するものの間の最小距離を一旦得ると、規定される。本発明の一実施形態においては、最小二乗誤差関数が最適化技術として用いられる。しかしながら、本発明はこの点に限定されるものでないことが理解される必要がある。当業者が理解できるであろうように、何れかの適切な方法が、一旦対応対が特定されると、最適な変換の解を特定するように用いられる。 対応点間の誤差を最小化するように用いられる、当該技術分野で知られている複数の最適化ルーチンが存在している。例えば、最適化ルーチンは、同時摂動型確率過程的近似法(SPSA)を有することが可能である。用いることが可能である他の最適化方法は、Nelder Mead Simplex法、最小二乗適合法及び準ニュートン法を含む。それらの最適化技術の各々は当該技術分野で知られていて、従って、ここではその詳細について説明しない。
【0046】
一旦、最適な変換がステップ232において決定されると、その方法はステップ234に進む。ステップ234においては、3D点群データにおけるデータ点全てに対して変換が適用される。3D点群に最適な変換を適用することにより、3D点群データを2D画像とアライメントすることができる、その結果は、三次元画像データセットが、二次元画像データセットと共に登録されることである。
【特許請求の範囲】
【請求項1】
複数の画像の登録のための方法であって:
共通シーンについて二次元画像データ及び三次元画像データを取得するステップ;
前記共通シーンにおいて地表面を有する点群データの一部を除去するように、前記三次元画像データを有する前記点群データの三次元ボリュームをクロッピングするステップ; 前記三次元ボリュームをm個のサブボリュームに分割するステップであって、ここで、mは1に等しい又は2以上である、ステップ;
前記二次元画像データをエッジ強調するステップ;
サブボリュームを各々適格化するために、フィルタ処理された濃淡画像を生成し、エッジ強調された前記二次元画像データ及び前記フィルタ処理された濃淡画像に基づいて、二次元相関表面を演算し、前記二次元相関表面のピークを求め、前記二次元画像における前記ピークの対応する位置を決定し、対応点セットを規定し、そして点セットリストにおける前記対応点セットを記憶するステップ;
前記点セットリストに含まれた複数の前記対応点セット間のエラーを最小化する変換を求めるステップ;
前記三次元画像データ及び前記二次元画像データを有する群から選択された目標データにおける前記対応点に前記変換を適用するステップ;
を有する方法。
【請求項2】
前記適格なサブボリュームは、所定数のデータ点を有する群から選択された特定のサブボリュームnに関連付けられた1つ又はそれ以上の選択された特徴と、ブロブ状構造の存在とに基づいて特定される、請求項1に記載の方法。
【請求項3】
フィルタ処理された濃淡画像を生成する前記ステップは、濃淡画像を構成するように二次元画像データセンサの姿勢により規定される登録平面に対してサブボリュームnにおいて前記点群データを投影するステップを有する、請求項1に記載の方法。
【請求項4】
前記フィルタ処理された前記濃淡画像を生成する前記ステップは、前記濃淡画像を媒体フィルタ処理するステップを更に有する、請求項3に記載の方法。
【請求項5】
前記フィルタ処理された濃淡画像を生成する前記ステップは、前記濃淡画像における少なくとも1つのエッジを強調するように前記濃淡画像をエッジフィルタ処理するステップを更に有する、請求項4に記載の方法。
【請求項6】
前記エッジフィルタ処理するステップは、ソーベルエッジフィルタであるように選択される、請求項5に記載の方法。
【請求項7】
二次元相関表面を演算する前記ステップは、基準画像としての前記二次元画像及び目標画像としての前記フィルタ処理された濃淡画像、若しくは基準画像としての前記フィルタ処理された濃淡画像及び目標画像としての前記二次元画像を用いるステップを有する、請求項1に記載の方法。
【請求項8】
複数の画像の登録のためのシステムであって:
シーンにおいて地表面を有する点群データの一部を除去するように、三次元画像データを有する前記点群データの三次元ボリュームをクロッピングするステップ、
前記三次元ボリュームをm個のサブボリュームに分割するステップであって、ここで、mは1に等しい又は2以上である、ステップ、
前記二次元画像データをエッジ強調するステップ、
サブボリュームを各々適格化するために、フィルタ処理された濃淡画像を生成し、エッジ強調された前記二次元画像データ及び前記フィルタ処理された濃淡画像に基づいて、二次元相関表面を演算し、前記二次元相関表面のピークを求め、前記二次元画像における前記ピークの対応する位置を決定し、対応点セットを規定し、そして点セットリストにおける前記対応点セットを記憶するステップ、
前記点セットリストに含まれた複数の前記対応点セット間のエラーを最小化する変換を求めるステップ、並びに
前記三次元画像データ及び前記二次元画像データを有する群から選択された目標データにおける前記対応点に前記変換を適用するステップ、
を有する一連のステップを実行するための命令のセットがプログラムされた処理手段; を有するシステム。
【請求項9】
前記適格なサブボリュームは、所定数のデータ点を有する群から選択された特定のサブボリュームnに関連付けられた1つ又はそれ以上の選択された特徴と、ブロブ状構造の存在とに基づいて特定される、請求項8に記載のシステム。
【請求項10】
フィルタ処理された濃淡画像を生成する前記ステップは、濃淡画像を構成するように二次元画像データセンサの姿勢により規定される登録平面に対してサブボリュームnにおいて前記点群データを投影するステップを有する、請求項8に記載のシステム。
【請求項1】
複数の画像の登録のための方法であって:
共通シーンについて二次元画像データ及び三次元画像データを取得するステップ;
前記共通シーンにおいて地表面を有する点群データの一部を除去するように、前記三次元画像データを有する前記点群データの三次元ボリュームをクロッピングするステップ; 前記三次元ボリュームをm個のサブボリュームに分割するステップであって、ここで、mは1に等しい又は2以上である、ステップ;
前記二次元画像データをエッジ強調するステップ;
サブボリュームを各々適格化するために、フィルタ処理された濃淡画像を生成し、エッジ強調された前記二次元画像データ及び前記フィルタ処理された濃淡画像に基づいて、二次元相関表面を演算し、前記二次元相関表面のピークを求め、前記二次元画像における前記ピークの対応する位置を決定し、対応点セットを規定し、そして点セットリストにおける前記対応点セットを記憶するステップ;
前記点セットリストに含まれた複数の前記対応点セット間のエラーを最小化する変換を求めるステップ;
前記三次元画像データ及び前記二次元画像データを有する群から選択された目標データにおける前記対応点に前記変換を適用するステップ;
を有する方法。
【請求項2】
前記適格なサブボリュームは、所定数のデータ点を有する群から選択された特定のサブボリュームnに関連付けられた1つ又はそれ以上の選択された特徴と、ブロブ状構造の存在とに基づいて特定される、請求項1に記載の方法。
【請求項3】
フィルタ処理された濃淡画像を生成する前記ステップは、濃淡画像を構成するように二次元画像データセンサの姿勢により規定される登録平面に対してサブボリュームnにおいて前記点群データを投影するステップを有する、請求項1に記載の方法。
【請求項4】
前記フィルタ処理された前記濃淡画像を生成する前記ステップは、前記濃淡画像を媒体フィルタ処理するステップを更に有する、請求項3に記載の方法。
【請求項5】
前記フィルタ処理された濃淡画像を生成する前記ステップは、前記濃淡画像における少なくとも1つのエッジを強調するように前記濃淡画像をエッジフィルタ処理するステップを更に有する、請求項4に記載の方法。
【請求項6】
前記エッジフィルタ処理するステップは、ソーベルエッジフィルタであるように選択される、請求項5に記載の方法。
【請求項7】
二次元相関表面を演算する前記ステップは、基準画像としての前記二次元画像及び目標画像としての前記フィルタ処理された濃淡画像、若しくは基準画像としての前記フィルタ処理された濃淡画像及び目標画像としての前記二次元画像を用いるステップを有する、請求項1に記載の方法。
【請求項8】
複数の画像の登録のためのシステムであって:
シーンにおいて地表面を有する点群データの一部を除去するように、三次元画像データを有する前記点群データの三次元ボリュームをクロッピングするステップ、
前記三次元ボリュームをm個のサブボリュームに分割するステップであって、ここで、mは1に等しい又は2以上である、ステップ、
前記二次元画像データをエッジ強調するステップ、
サブボリュームを各々適格化するために、フィルタ処理された濃淡画像を生成し、エッジ強調された前記二次元画像データ及び前記フィルタ処理された濃淡画像に基づいて、二次元相関表面を演算し、前記二次元相関表面のピークを求め、前記二次元画像における前記ピークの対応する位置を決定し、対応点セットを規定し、そして点セットリストにおける前記対応点セットを記憶するステップ、
前記点セットリストに含まれた複数の前記対応点セット間のエラーを最小化する変換を求めるステップ、並びに
前記三次元画像データ及び前記二次元画像データを有する群から選択された目標データにおける前記対応点に前記変換を適用するステップ、
を有する一連のステップを実行するための命令のセットがプログラムされた処理手段; を有するシステム。
【請求項9】
前記適格なサブボリュームは、所定数のデータ点を有する群から選択された特定のサブボリュームnに関連付けられた1つ又はそれ以上の選択された特徴と、ブロブ状構造の存在とに基づいて特定される、請求項8に記載のシステム。
【請求項10】
フィルタ処理された濃淡画像を生成する前記ステップは、濃淡画像を構成するように二次元画像データセンサの姿勢により規定される登録平面に対してサブボリュームnにおいて前記点群データを投影するステップを有する、請求項8に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公表番号】特表2012−517651(P2012−517651A)
【公表日】平成24年8月2日(2012.8.2)
【国際特許分類】
【出願番号】特願2011−550197(P2011−550197)
【出願日】平成22年2月10日(2010.2.10)
【国際出願番号】PCT/US2010/023728
【国際公開番号】WO2010/093675
【国際公開日】平成22年8月19日(2010.8.19)
【出願人】(594071675)ハリス コーポレイション (287)
【氏名又は名称原語表記】Harris Corporation
【Fターム(参考)】
【公表日】平成24年8月2日(2012.8.2)
【国際特許分類】
【出願日】平成22年2月10日(2010.2.10)
【国際出願番号】PCT/US2010/023728
【国際公開番号】WO2010/093675
【国際公開日】平成22年8月19日(2010.8.19)
【出願人】(594071675)ハリス コーポレイション (287)
【氏名又は名称原語表記】Harris Corporation
【Fターム(参考)】
[ Back to top ]