説明

重複する複数の画像から単一の画像を形成する技術

複数の画像から単一の画像を形成する技術が開示されている。第1の画像および第2の画像は、部分的に重複して共通の重複領域を定義し、各画像は、複数の画素を有している。第1の画像と第2の画像との境界は、共通の重複領域における処理された画素値に基づいて自動的に計算される。その後、第1の画像および第2の画像は、境界に沿って統合され、単一の画像を形成し得る。境界を計算することは、該境界に隣接する複数の画素の輝度値の間の差を最小化することを含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して画像処理に関し、特に、本発明は、複数の画像から単一の画像を形成することに関する。
【背景技術】
【0002】
写真測量法は、写真、画像、またはその他の感知システムから信頼性のある測定または情報を入手することを求める。現在、この技術分野は、小さなファイルサイズおよびメモリ制限、高速ハードウェア、ならびに改良されたソフトウェアアルゴリズムを使用する、現在利用可能なデジタル技術とコンピュータ処理技術とに移行することに挑戦している。一般に、航空/衛星写真において、地上の測点およびその他の情報は、まず「DEM」と呼称されるデジタル標高モデル(デジタル地形モデル「DTM」としても知られる)に変換される。上記情報は、さらに「ortho」と呼称されるオルソ幾何補正された写真画像のファイルを生成するように処理される。
【0003】
一般に、大きな地理的領域の画像は、単一の写真に統合される複数の航空写真から生成される。例えば、多数重複する個々の画像は、関連する領域の最終的な写真を形成する単一のモザイクに統合され得る。このため、大きな写真において、連続する2つの写真の間の境界が正確に決定されることを保証し、2つの画像が滑らかに融合されることを保証することは、重要である。2つの画像が滑らかに融合されると、全体の画像は、単一画像の外見を有し得る。
【0004】
個々の画像は、単一の領域を取り、典型的にはすぐ隣の画像との重複領域を有する。したがって、隣接する2つの画像の境界を決定するために、一般にはまず、重複領域が大雑把に位置あわせされ得る。それらが位置あわせされた後、上記領域(隣接する両写真の上の領域)の中間のどこかに境界を表す継ぎ目線が描かれる。しかしながら、この処理は、不正確な処理によるエラーを生じやすい。
【0005】
現在の商用の写真測量製品の例は、Intergraph CorporationのZ/I ImagingによるImageStaion OrthoProであり、上記製品は、完全なオルソ生成ワークフロー(ortho production workflow)に対応するオルソ生成ツール(ortho production tool)である。図1は、OrthoProのメインユーザインターフェースを示している。「プロジェクトプランニング(Project Plannning)」ボタンは、操作者が所与のジョブに対するデータを選択することを許容する。上記データは、写真、標高モデル、様々な水平および鉛直データにおけるジオリファレンスされたオルソ、投影、ならびに施設を含み得る。このロバスト機能性は、操作者が外部のユーティリティを用いて入力データを所望の直交座標系に変換する必要性を排除する。さらに、そのすべてが異なる座標系にある複数の標高ファイルが選択され、オルソ幾何補正処理の間にどれを用いるかを自動的に選択する自動のソフトウェアに対する優先順位が付けられる。このことは、操作者がオルソ幾何補正の前にDEMファイルをマージする必要性を排除する。操作者はまた、興味のある画像、配信可能な望ましい領域、および地上の施設における画素のサイズを選択し得る。「優先順位(Preferences)」ボタンは、生成中のジョブの進行状況を視覚的にフィードバックする操作者用優先順位を、操作者がオンまたはオフにすることを許容する。「オルソ幾何補正(Orthorectification)」、「ドッジ(Dodge)」、「正しいオルソ(True Ortho)」、および「モザイク(Mosaic)」ボタンは、オルソに関する自動化された処理を許容するが、これらのボタンは、前のステップの処理が完了する時点まで、ユーザインターフェース上で無効にされる。これらボタンが有効にされると、操作者は「プロジェクトプランニング」の後に望ましいファイルフォーマットと処理オプションとを選択し得るが、「プロジェクトプランニング」の前ではどんな処理も開始されない。
【0006】
例えばOrthoProのようなオルソ生成プログラムにおいて、人間の操作者によって繰り返される集中的な処理は、生成ワークフローの隘路を作り得る。例えばOrthoProは、操作者が現在のステップの進行状況を絶え間なくチェックして次のステップが開始し得る前に現在のステップが完了するか否かについて確認することを要求する。理論上、各ステップは、ボタンを押す前に操作者に現在のステップの完了を待機させずに次のステップを開始するように自動化され得る。このため、処理が開始すると、ジョブが完了する時点まで、停止する必要性が存在し得ない。ワークフローを開始画像から興味のある望ましいオルソ領域へと自動化することを妨げる主な問題点は、隣接するオルソをモザイク化するために必要な継ぎ目を許容可能な程度に定義しなければならないという点である。継ぎ目を描くために多くの操作者時間が必要とされ得る。
【0007】
継ぎ目線に対する要求は、ファイルのフォーマット/サイズとデータ収集技術とに関連した制限から生じる。上記制限は、複数の画像を部分的に重複した領域に分ける。これら重複する領域の和集合は、「投射領域(project area)」と呼称される地上の広い単一領域を形成する。投射領域内に見出され「生成領域(product area)」と呼称される興味のある1つ以上の領域を生成することが目標である。いくつかの場合、望ましい生成領域は、単一の画像内に見出されるが、多くの場合、望ましい生成領域は、これら重複する2つ以上の領域を組み合わせた和集合から抽出されなければならない。すなわち、望ましい生成領域は、オリジナル画像のモザイクから抽出されなければならない。モザイクとは、継ぎ目線に沿って複数の画像を継ぎ合わせたものである。
【0008】
現在では、継ぎ目線を形成するためにデータのどこを継ぎ合わせるか、あるいはデータのどこを融合させるかを決定する様々なアルゴリズムが存在する。ほとんどのアルゴリズムは、時間のかかるビジュアル品質チェックを操作者が行なうことを要求する。ビジュアル品質チェックは、データが継ぎ目に沿って継ぎ合わされている箇所において、滑らかな遷移がなされていることを保証するためのものである。理想的には、隣接するデータを継ぎ合わせている継ぎ目が検出不可能なように見えることが望ましい。現実的には、隣接するデータが継ぎ目の辺(edge)の両側に沿って最小または段階的な変化を有する場合にのみ、検出不可能であり得る。
【0009】
従来の自動化された継ぎ目線アルゴリズムの多くは、デジタル標高モデル(DEM)をベースとしているが、そのようなアルゴリズムは、放射能のバランスを予測することができず、また、オルソを用いることなしに衛星投射における雲量を予測することができない。さらに、DEMファイルは、継ぎ目線に沿って見出される新しい建物または特徴を認識するように作成および/または維持されなければならない。このため、これらアルゴリズムを用いることによりビジュアル検査と手動的な編集とを常に排除できるわけではない。
【0010】
OrthoProは、継ぎ目線を作成する自動化された方法を提供し、操作者に重要な継ぎ目線を編集、セーブするオプションをも提供する。しかしながら、画像が50パーセント以上重複する場合、継ぎ目線をどこに描くかは、紛らわしくなる。図1の「継ぎ目線の生成(Generate Seamlines)」ボタンは、そのような紛らわしさを排除し、画像のカメラ位置が地面に対してより垂直になり、その他利用可能な画像のカメラ位置のどれよりも広く被覆するように、継ぎ目線を作成する。言い換えると、生成された継ぎ目線の内側の任意の点は、その他任意の画像のカメラ位置よりも、上記画像のカメラ位置に近くなる。OrthoProは、最も「天底(nadir)」に近いカメラ位置に関連する継ぎ目線を作成する。一般に、そのような区切り方は、ボロノイ図と呼称される。このアプローチは、地面の可視性を増大させ、カメラの視界を遮る背の高い何かによって隠される領域を無くすのに役立つ。
【0011】
しかしながら、この自動的な方法は、完璧ではない。アルゴリズムは、隠される領域を最小化するが、実質的に検出不可能な継ぎ目線を作成せず、通常は、操作者が、自動的に生成された継ぎ目線を調整しなければならない。手動で継ぎ目線を調整する操作者は、継ぎ目線の付近に測点が少ないことと、不完全なDEMにより、重複する2つのオルソが互いに対する地面のずれを有していることに気付き得る。加えて、時間のかかる正しいオルソ能力を用いないと、カメラの視点に対して傾いている建物や木もまた、問題となり得る。操作者は、典型的には複数のオルソを前後にずらすことにより、複数のオルソの間の重複領域を、継ぎ目線の両側における差が最小になるように改変しなければならない。モザイク処理が完了した後、操作者は、継ぎ目線に沿った滑らかな遷移を保証するために、モザイクのビジュアル品質チェックを行わなければならない。継ぎ目線が適切でない場合、モザイク処理は繰り返し実行されなければならない。操作者による徹底した手動の継ぎ目線の編集、および、モザイクのビジュアル品質チェックは、非常に時間のかかるものである。
【発明の開示】
【課題を解決するための手段】
【0012】
(発明の要約)
共通の重複領域を定義する部分的に重複する複数の画像から単一の画像が形成される。各画像は、複数の画素を有する。第1の画像と第2の画像との間の境界は、共通の重複領域における処理された画素値に基づいて自動的に計算される。その後、該1の画像と第2の画像とは、境界に沿って統合され、単一の画像を形成し得る。
【0013】
さらなる実施形態において、境界を計算することは、境界に隣接する複数の画素の輝度値の間の差を最小化することを含む。画素の輝度値は、最短経路アルゴリズムにおける短い線分を表す重みとして用いられ得る。さらに、実施形態は、余分な線分の頂点を除去することにより、境界に関連するデジタルの継ぎ目を減らし得る。
【0014】
境界の計算は、第1画像および第2画像の各画像のカメラ中心点に関するボロノイ図に基づき得る。第1画像および第2画像は、オルソ幾何補正された画像、地理的領域の航空画像、および/または、地理的領域の衛星画像であり得る。
【0015】
実施形態はまた、上記いずれかの方法に適合した画像化システムと、上記いずれかの方法を実行することに適合したコンピュータソフトウェアをも含み得る。
【発明を実施するための最良の形態】
【0016】
(特定の実施形態の詳細な記述)
本発明の様々な実施形態は、一対の画像の間の実質的に連続した境界を形成する画像の画素に関するデータを自動的に処理する技術に向けられている。例えば、2つの画像の重複領域内における対応する複数の画素値の間の差分値は、境界を形成するために解析され得る。境界が決定された後、2つの画像は、境界に沿って統合され、実質的に1つの単一画像を形成し得る。本発明の様々な実施形態は、実質的に検出不可能な継ぎ目線を作成し、オルソ画像のモザイクにおいて、隠される領域を最小化し得る。操作者がさらに良い継ぎ目線が作成され得ないという確信を持つことができるため、このことは、操作者が継ぎ目線を手動で描くこと、編集すること、または品質チェックすることを排除し得る。例示的な実施形態の詳細は、以下で議論される。勿論、以下で言及される特定の詳細は、実施形態のすべてを制限するには十分でないことに注意されたい。したがって、議論されている多くの実施形態は、例示のためのものである。
【0017】
隣接するオルソを継ぎ合わせる継ぎ目は、検出不可能に見え得る。また、隣接するオルソが継ぎ目の辺の両側に沿って最小または段階的な変化を有することが要求される。本発明の様々な実施形態は、隣接する複数のオルソの画素の輝度値の間の差を、最短経路アルゴリズムにおける短い線分をデジタルに表す重みとして用い、隣接するオルソファイルの間の最小のコントラスト差の方向を生成する。
【0018】
複数のオルソの間の差を見付けるために、隣接するオルソファイルの重複領域が読み取られ、重複領域における画素が解析される。その後、アルゴリズムは、最小の変化が見付けられた場所に基づいて、隣接するオルソの間の継ぎ目線を配置すべき場所を自動的に調整する。継ぎ目線は、デジタルでは、重複領域にわたる正確な方向を計算するために生成された、非常に短い固定された大きさのベクトルとして表される。さらに、デジタルの継ぎ目線は、余分な線分の頂点を除去することによって減らされ得る。上記アプローチは、丘の下に水を流し、丘のふもとに水が到達するまでその進路をプロットすることに似ている。水が最も抵抗が少ない経路を見付けるのと同様に、本発明の実施形態は、複数のオルソからなる単一の大きなキルト/モザイクを形成するため、隣接するオルソをつなぐ最良の継ぎ目線を見付ける。
【0019】
地面の座標系に関連する画素のサイズに基づき、格子のサイズに対して任意に定義された大きさが、選択される。その後、「格子ポスト(grid post)」と呼称される複数の点からなる格子が、格子のサイズを用いることにより、隣接するオルソの重複領域を被覆する地面の座標系で計算され、複数の格子ポストが離間される。画素座標は、格子ポストの地面の座標における隣接するオルソ幾何補正されたファイルから、読み取られる。以下で記述されるように、これら画素座標は、オルソ幾何補正されたファイルに対応する隣接したオルソの画素座標から、差し引かれる。隣接リストのデータ構造は、解析されたデータの結果を格納するために用いられ、これにより、システムのメモリ要求を最小化する。
【0020】
最初の継ぎ目は、最も近いカメラ位置を用いることにより、オルソ画像からのボロノイ図にしたがって作成される。各画像に対するカメラ位置は、生成領域内の任意に与えられた地上位置に対してどの画像がより垂直に近いかを計算するために用いられる。カメラ位置が容易に入手できないと、各オルソの足跡(footprint)の中心が、カメラ位置に対する良い近似としての役割を果たし得る。これら良い地上位置が与えられると、ボロノイ図が計算され得る。ボロノイ図は、継ぎ目線問題に対する優れた最初の適切な解答を与え、その後のアルゴリズムが、継ぎ目線を精緻化する。ボロノイ図を用いて隣接リストがロードされ、隣接リストのロードの順序が制御される。最短経路計算に関するこのセットアップアプリケーションは、オルソの重複部分にわたる変化が最小となる経路を生成するのと同時に、ボロノイ図の継ぎ目線に近い最適な経路を選択し得る。
【0021】
重み付きグラフの最短経路アルゴリズムは、継ぎ目線を重複領域内に配置する。隣接リストは、短絡経路計算への入力として用いられる画素の重みを保持する。隣接リストの目的の1つは、どの画素が隣接するのかとそれら相互の重み付きの接続とを追跡することである。その後、隣接重複領域にわたる最小重みの経路が決定される。
【0022】
図2は、影の付けられた領域のそれぞれにおいて重複する4個の別々の画像A,B,CおよびDの例を示している。所与の重複領域に対する重み格子の計算のため、重複領域内の地上の座標は画素座標に変換され、計算された画素座標(x,y)における画素の輝度値は、対応するオルソ画像のファイルから読み取られる。各帯に対するこれらオルソ画像の画素の輝度の順列の間の差は加えられ、その結果は、上記領域に対する重み格子となる。
【0023】
さらに、図2における4つの画像のすべてはまた、中央の小さな四角形において、共通して重複する。4つの画像に共通なこの領域は、「重複交差(overlap intersection)」と呼称され得る。重複交差の格子ポストは、重み付けされた解において、ただ2つの画像に対してではなく、隣接するオルソ画像のすべてに対して計算しなければならない。このため、重複交差に対する最短経路計算は、その他のオルソ画像の重複領域とは離れて処理され得る。この領域に対する重み格子は、abs(A−B)+abs(A−C)+abs(A−D)+abs(B−C)+abs(B−D)+abs(C−D)として計算される。ここに、absは、画素の輝度値における差の絶対値を表す。
【0024】
図3は、ABCD重複交差30を表す画素の重み格子31を示している。重みゼロのアーティフィシャルな(artificial)格子ポスト32が、重複交差30において交差する各オルソ画像を表すために生成される。図3において、格子ポスト32は、それぞれの重複領域の境界を表す格子ポストA,B,C,およびDとして示されている。このアーティフィシャルな格子ポスト32は、重み格子31に入/出するための、隣接リスト内の単一の入/出ポイントとして用いられる。それぞれの重複境界に沿う格子ポストは、隣接リストにおいて、アーティフィシャルな格子ポスト32と接続され、これにより、入/出ポイントが、計算された解になり得る。AからBへの最小重みの経路が計算され、その後、CからDへの最小重みの経路が計算される。アーティフィシャルな画素に接続する最小重みの(最短の)経路が決定された後、アーティフィシャルな画素は不要になり得る。アーティフィシャルな画素各々に接続される第1の最短経路の画素は、重複領域とそれに対応する重複交差30における領域との間の接続点であり得る。
【0025】
重複交差領域をいかに取り扱うかについての上記の記述に基づき、基本的な2つの画像の重複領域の取り扱いは、類似したものとなる。重み格子の計算は上記と同じであるが、重みの差を見付けるためのオルソ画像のファイルは2つしかない。例えば、オルソ画像AおよびBは、共通の重複領域において交差する。重複領域に対する重み格子は、abs(A−B)として計算される。重複交差からあらかじめ計算された格子点のすべてが利用され、アーティフィシャルな格子ポストの点が、隣接リストをロードする際のどこかで用いられる。その後、このアルゴリズムは、重複交差領域にわたる最小重みの(最短の)経路を決定し得る。この結果、重複領域にわたる継ぎ目線が与えられ、重複するオルソが最小のコントラスト差で互いに継ぎ合わされる。
【0026】
最短経路アルゴリズムを用いることにより、継ぎ目線はデジタル形式に置き換えられる。継ぎ目線の頂点は、正しい方向、すなわち、輝度差が最小の経路を計算する試みにおいて、緻密に作成される。図4に示されているように、これら短いベクトルは、8つの方向の可能性のみを有し、1つの格子の空間のサイズに等しい一定な大きさを有し得る。頂点の継ぎ目線は、1つの格子ポストを任意の方向に動くが、各線分の大きさは、格子の空間によって制限される。この接続性は、隣接リストにおいてセットアップされる。最短経路アルゴリズムは、方向を計算し得るが、ベクトルの大きさは計算し得ない。
【0027】
一旦、最適な継ぎ目線が決定されると、処理時間を減らすため、余分な頂点は除去され得る。特定の実施形態の1つにおいて、この処理は、格子の方向の変化なしに直線に落ち込む点が除去されるような傾斜比較のアルゴリズムに基づき得る。例えば、図5Aに示されている継ぎ目線は、図5Bに示されている継ぎ目線に低減され得る。先の頂点と次の頂点を見ながら継ぎ目線の頂点をループ状につなぐことにより、それらが同じ方向を有しているか否かを決定する。中心に存在する頂点は迅速に除去され、先の頂点にはより大きな大きさが付与され得る。
【0028】
最終的な結果は、操作者時間を節約する自動化された処理である。本発明の実施形態は、重複領域内の画素を解析することにより、複数のオルソを互いに滑らかに継ぎ合わせるためのさらに良い位置が存在しないことを確認する。継ぎ目は、建物の傾き、雲量、および地上における変化した領域を排除するように生成される。手動でモザイクの継ぎ目線を描くことおよび/または手動で継ぎ目線の品質チェックを行う必要はもはや無いため、操作者時間が節約される。
【0029】
本発明の実施形態は、従来のいかなるコンピュータプログラム言語にも実装され得る。例えば、好ましい実施形態は、手続きプログラム言語(例えば「C」)またはオブジェクト指向のプログラム言語(例えば「C++」)に実装され得る。本発明の代替的な実施形態は、プログラムされたハードウェア要素、その他の関連するコンポーネント、あるいはハードウェアとソフトウェアコンポーネントの組み合わせとして実装され得る。
【0030】
実施形態は、コンピュータに使用するコンピュータプログラム製品として実装され得る。そのような実装は、一連のコンピュータ命令を含み得る。上記コンピュータ命令は、コンピュータ読み取り可能媒体(例えば、ディスケット、CD−ROM、ROM、または固定ディスク)のような有形媒体に固定されるか、モデムまたはある媒体を介してネットワークに接続された通信アダプタのようなその他のインターフェース装置を経由してコンピュータシステムに伝送可能であり得る。上記媒体は、有形媒体(例えば、光学通信回線またはアナログ通信回線)であるか、無線技術(例えば、マイクロ波、赤外線、またはその他の伝送技術)を用いて実装された媒体であり得る。一連のコンピュータ命令は、本明細書において既に記述されたシステムに関連する機能のすべてまたは一部を実体化する。当業者は、そのようなコンピュータ命令が、多数のコンピュータアーキテクチャまたはオペレーティングシステムと共に使用するための数多くのプログラム言語で書かれ得ることを理解し得る。さらに、そのような命令は、例えば半導体メモリ、磁気メモリ、光学的メモリ、またはその他のメモリ装置のような任意のメモリ装置に格納され、例えば光学的伝送技術、赤外線伝送技術、マイクロ波伝送技術、またはその他の伝送技術を用いて伝送され得ることを理解し得る。そのようなコンピュータプログラム製品が、添付の印刷文書または電子文書を有する取り外し可能媒体(例えば収縮包装されたソフトウェア)として流通すること、コンピュータシステムを用いて(例えば、システムROMまたは固定ディスク上に)プレロードされること、あるいは、サーバまたはネットワーク上の電子掲示板(例えば、インターネットまたはワールドワイドウェブ)から流通することが、所望される。勿論、本発明の実施形態のいくつかはソフトウェア(例えば、コンピュータプログラム製品)とハードウェアとの組み合わせとして実装され得る。本発明のさらに他の実施形態は、全体がハードウェアとして、または、全体がソフトウェア(例えば、コンピュータプログラム製品)として実装され得る。
【0031】
本発明の様々な例示的実施形態が開示されてきたが、当業者には、本発明の真の目的から逸れずに本発明のいくつかの利点を達成し得る様々な変更と改変が行われ得ることを理解し得る。
【図面の簡単な説明】
【0032】
【図1】図1は、商用のオルソ生成製品の1つのメインユーザインターフェースを示している。
【図2】図2は、単一画像に組み合わされるべき複数の重複する画像を示している。
【図3】図3は、本発明の特定の実施形態の1つにしたがう画素の重み格子を示している。
【図4】図4は、本発明の特定の実施形態の1つにしたがう潜在的な最短経路の格子ベクトルを示している。
【図5】図5は、本発明の特定の実施形態の1つにしたがう余分な頂点の低減を示している。

【特許請求の範囲】
【請求項1】
複数の画像から単一の画像を形成する方法であって、該方法は、
各画像が複数の画素を有する部分的に重複して共通の重複領域を定義する第1画像および第2画像に対し、該共通の重複領域における処理された画素値に基づいて該第1画像と該第2画像との間の境界を自動的に計算することと、
該境界に沿って該第1画像と該第2画像とを統合して単一の画像を形成すること
とを包含する、方法。
【請求項2】
境界を計算することは、該境界に隣接する複数の画素の輝度値の間の差を最小化することを含む、請求項1に記載の方法。
【請求項3】
前記輝度値は、最短経路アルゴリズムにおける短い線分を表す重みとして用いられる、請求項2に記載の方法。
【請求項4】
余分な線分の頂点を除去することによって前記境界に関連するデジタルの継ぎ目を減らすことをさらに包含する、請求項3に記載の方法。
【請求項5】
境界を計算することは、前記第1画像および前記第2画像の各画像のカメラ中心点に関するボロノイ図に基づいている、請求項1に記載の方法。
【請求項6】
前記第1画像および前記第2画像は、オルソ幾何補正された画像である、請求項1に記載の方法。
【請求項7】
前記第1画像および前記第2画像は、地理的領域の航空写真である、請求項1に記載の方法。
【請求項8】
前記第1画像および前記第2画像は、地理的領域の衛星写真である、請求項1に記載の方法。
【請求項9】
請求項1〜8のいずれかにしたがう方法を用いることに適合した画像化システム。
【請求項10】
請求項1〜8のいずれかにしたがう方法を実行することに適合したコンピュータソフトウェア。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公表番号】特表2007−525770(P2007−525770A)
【公表日】平成19年9月6日(2007.9.6)
【国際特許分類】
【出願番号】特願2007−500938(P2007−500938)
【出願日】平成17年2月23日(2005.2.23)
【国際出願番号】PCT/US2005/005689
【国際公開番号】WO2005/088251
【国際公開日】平成17年9月22日(2005.9.22)
【出願人】(506168945)インターグラフ ソフトウェアー テクノロジーズ カンパニー (10)
【Fターム(参考)】