説明

直下ビューに対してつぎ合わされた斜め像をオルソ補正することおよびその用途

本発明の実施形態は、直下ビューに対して斜め像をオルソ補正することに関する。一実施形態において、方法は斜め写真像をオルソ補正する。斜め写真画像は、地形の三次元モデルに投影される。点は、地形の三次元モデルと直下の眺望を有する仮想表示域から伸びた平行光線との交点に投影された写真画像からサンプリングされる。サンプリングされる点は、オルソ補正された画像にアセンブリされる。最後に、オルソ補正された画像またはサンプリングされる点は、斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従って調整されて、短縮遠近法で描かれオルソ補正された画像を生成する。短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する。

【発明の詳細な説明】
【技術分野】
【0001】
(発明の背景)
(発明の分野)
本発明の実施形態は、概して斜め像を表示することに関する。
【背景技術】
【0002】
(関連技術)
写真家は、しばしば飛行機からなど、高所から地球の画像を撮る。そのような航空写真は、異なる眺望から撮られ得る。例えば、鉛直写真は、地球の方にまっすぐ下に向けられたカメラから撮られる。鉛直写真は利点を提供するが、鉛直写真の急な眺望は鉛直写真が捉えるものを限定する。例えば、鉛直写真は、しばしば建物の側面を捉えないで、主に建物の屋根を捉える。
【0003】
これに対して、斜め写真は、地球の表面に対して傾けられたカメラを用いて撮られる。しばしば、斜め写真は、およそ45度だけ傾けられる。直下画像と比べて、斜め写真は、建物の側面を捉える。この理由で斜め写真は、しばしば例えば不動産用途に用いられる。
【0004】
一例において、斜め画像は、Microsoft,Inc.から入手可能なBINGマップサービスから利用可能である。BINGマップサービスは、画像を捉えたカメラの表示域からの斜め画像を表示する「鳥瞰図(Bird’s Eye View)」と呼ばれる特徴を有する。このアプローチは利点を有するが、少なくとも2つの欠点がある。第1に、画像は一度に1つしか示され得ないため、複数の画像間のナビゲーションが困難である。複数の画像間でナビゲートするために、BINGマップサービスは、1つの画像をフェードアウトさせ、別の近くの画像がフェードインする。同様に、BINGマップサービスは、ユーザが2つ以上の画像によってカバーされる領域にズームアウトすることが可能ではない。第2に、道路などの地図データをオーバーレイすることが困難である。なぜなら、地図データは、各画像の座標空間に位置を決められなければならないからである。このことは、大量の追加の処理時間および記憶領域を必要とする。
【0005】
オーバーレイされた地図データを有する斜め像をより良く表示するシステムおよび方法が必要とされる。
【発明の概要】
【課題を解決するための手段】
【0006】
(発明の簡単な概要)
本発明の実施形態は、直下ビューに対して斜め像をオルソ補正することに関する。一実施形態において、方法は斜め写真像をオルソ補正する。一実施形態において、斜め写真画像が、地形の三次元モデルに投影される。点は、地形の三次元モデルと直下の眺望を有する表示域から伸びた平行光線との交点に投影された写真画像からサンプリングされる。サンプリングされる点は、オルソ補正された画像にアセンブリされる。最後に、オルソ補正された画像またはサンプリングされる点は、斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従って調整されて、短縮遠近法で描かれオルソ補正された画像を生成する。短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する。
【0007】
第2の実施形態において、システムは、斜め写真像をオルソ補正する。システムは、地形の三次元モデルに斜め写真画像を投影するように構成されるプロジェクタモジュールを含む。サンプラモジュールは、投影された写真画像から点をサンプリングするように構成される。点は、地形の三次元モデルと直下の眺望を有する表示域から伸びた平行光線との交点に配置される。サンプラモジュールはまた、サンプリングされる点をオルソ補正された画像にアセンブルするように構成される。短縮遠近法モジュールは、斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従ってオルソ補正された画像またはサンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成するように構成される。短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する。
【0008】
第3の実施形態において、方法は、斜め写真像をオルソ補正する。実施形態において、地形の三次元モデルの点は、直下表示域における各点に対して決定される。各点は、地形の三次元モデルと直下表示域から伸びた平行光線との交点にある。三次元モデルにおいて決定された各点は、斜め写真画像を撮って斜め写真画像の点をサンプリングしたカメラモデルの位置に投影される。サンプリングされる点は、オルソ補正された画像にアセンブルされる。斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従う、オルソ補正された画像またはサンプリングされる点は、短縮遠近法で描かれて、短縮遠近法で描かれオルソ補正された画像を生成する。短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する。
【0009】
本発明のさらなる実施形態、特徴、および利点、ならびにさまざまな実施形態の構造および動作は、添付の図面を参照して下記に詳細に説明される。
【0010】
本明細書に組み込まれ本明細書の一部を形成する添付の図面は、本発明を例示し、説明と共にさらに、本発明の原理を説明し、当業者が本発明を作りかつ用いることを可能にするように役立つ。
【図面の簡単な説明】
【0011】
【図1A】図1Aは、斜め像を捉えるように配置されたカメラを例示するダイアグラムである。
【図1B】図1Bは、斜めビューを用いて斜め像をオルソ補正することを例示するダイアグラムである。
【図2】図2は、本発明の一実施形態に従って、直下ビューを用いて斜め像をオルソ補正することを例示するダイアグラムである。
【図3】図3は、一実施形態に従って像を短縮遠近法で描くことを例示するダイアグラムである。
【図4】図4は、一実施形態に従って地形を平滑化することを例示するダイアグラムである。
【図5A】図5Aは、図4に例示された平滑化のない、直下ビューに対してオルソ補正された急な地形の実施例の画像を例示するダイアグラムである。
【図5B】図5Bは、図4に例示された平滑化のある、直下ビューに対してオルソ補正された急な地形の実施例の画像を例示するダイアグラムである。
【図6】図6は、一実施形態に従って、オーバーレイされた地図データを有する斜め画像モザイクを例示するダイアグラムである。
【図7】図7は、一実施形態に従って、直下ビューに対してつぎ合わされた斜め像をオルソ補正するシステムを例示するアーキテクチャダイアグラムである。
【図8】図8は、一実施形態に従って、直下ビューに対してつぎ合わされた斜め像をオルソ補正する方法を例示するフローチャートである。
【0012】
ある要素が最初に現れた図面は、典型的には、対応する参照番号における最左側の数字(単数または複数)によって示される。図面において、類似の参照番号は、同一であるかまたは機能的に類似する要素を示し得る。
【発明を実施するための形態】
【0013】
(実施形態の詳細な説明)
概して、本発明の実施形態は、地図データを用いて表示する斜め像を処理することに関する。この詳細な説明は、複数のセクションに分割される。第1のセクションは、一実施形態に従って斜め画像をオルソ補正することを説明する。第2のセクションは、オルソ補正によって引き起こされる歪を補正する短縮遠近法および平滑化を説明する。第3のセクションは、補正されオルソ補正された画像をモザイクにアセンブルし、地図データをオーバーレイすることを説明する。第4のセクションは、一実施形態に従って、直下ビューに対してつぎ合わされた斜め像をオルソ補正するシステムを説明する。最後に、第5のセクションは、一実施形態に従って、直下ビューに対してつぎ合わされた斜め像をオルソ補正する方法を説明する。
(オルソ補正)
図1Aは、地形104の斜め写真を捉えるように配置されたカメラ102および110を例示するダイアグラム100である。斜め写真は、水平方向と垂直方向との間で傾斜させられたカメラによって撮られた写真である。一実施形態において、斜め写真は、垂直軸から30〜60度の傾きを有し得る。さらなる実施形態において、斜め写真は、垂直軸からおよそ45度の意図された傾きを有し得るが、例えば、飛行機の動きの変動、カメラを向けるときの不正確さなどにより45度から変動し得る。
【0014】
実施形態において、斜め写真は、可視スペクトル(visual spectrum)に限定されない場合がある。一例において、写真は、赤外線センサによって生成される画像などのマルチスペクトル画像であり得る。別の実施例において、写真は、レーザレンジファインダーを用いて生成される画像であり得る。
【0015】
一実施例において、各々の斜め写真は、いくつかの都市ブロックをカバーし得る。都市全体をカバーするために、多数の斜め写真がとられ得る。しかしながら、各々の写真は、異なる眺望から撮られ得る。例えば、カメラ102および110は両方とも、地形104の点108を捉える。しかしながら、光線112および106が異なる角度であるという事実によって示されるように、カメラ102および110は、異なる眺望から点108を捉える。
【0016】
カメラ110および102から撮られた写真を地図に一緒に表示するために、写真は一致した眺望を有するように調整される必要がある。この調整は、オルソ補正と呼ばれる。図1Bは、斜め表示域152を用いて斜め像をオルソ補正することを例示するダイアグラム150である。実際、写真は、計算デバイスによって地形104の三次元モデル上に投影される。計算デバイスは、斜めビューを有する仮想表示域から投影された画像の点をサンプリングする。サンプリングされる各点は、斜め表示域からの平行光線と地形104の三次元モデルとの交点に配置される。このように、斜め写真は、一致した眺望を有するように調整される。
【0017】
斜め画像を斜めビューにオルソ補正することは、結果として、ほとんど歪みをもたらさないかまたは全く歪みをもたらさなくなる。しかし、オルソ補正された斜め画像に地図データをオーバーレイすることは困難である。地図データは、地図上の位置にジオコード化されたデータである。複数の実施例において、地図データは、道路と、都市と、地名と、興味ある点と、境界と、パノラマのストリートビュー画像と、例えばKeyhole Markup Languageによるユーザ生成コンテンツとを含み得る。地図データは、しばしば、緯度および経度などの二次元座標を用いてジオコード化される。しかし、オルソ補正された斜め画像上の位置を決定するために、三次元空間における地図データの位置が決定されなければならない。
【0018】
ダイアグラム150は、一実施例を例示する。実施例において、地図データの要素(道路など)は、点156に対応する緯度−経度座標においてジオコード化される。オルソ補正された斜め画像上に道路の位置を決めるために、計算デバイスは、地形104の三次元モデルを用いて道路の高度を決定しなければならない。結果として生じる三次元座標(緯度、経度および高度)は、点158によって例示される。最後に、計算デバイスは、点160によって例示されるように、オルソ補正された斜め画像に道路の位置を決定するために、斜め表示域152上に点158を投影しなければならない。この計算は、処理能力およびメモリなど計算資源に対する負担となり得る。
【0019】
この負担となる計算を避けるために、本発明の実施形態は、図2に例示されるように斜め像を直下ビューにオルソ補正する。図2は、カメラ102から撮られた斜め像を直下ビュー202にオルソ補正することを例示するダイアグラム200を示す。図1Bと同様に、斜め写真は、計算デバイスによって地形104の三次元モデルに投影される。しかしながら、斜めビューからのサンプリングの代わりに、投影された画像は、直下ビュー202からサンプリングされる。各サンプリングされる点は、直下ビュー202から延びる平行光線(光線208など)から延びる。例えば、投影される画像上の点108は、オルソ補正された画像上の点204に現われる。
【0020】
明快さのために、実施形態は、最初に三次元の地形に斜め画像を投影して、点108などの一組の点を決定すること、および次いでそれらの点を直下ビューにサンプリングすることに関して説明される。しかし当業者は、同じ結果または類似した結果に対してそれらのステップの順序が逆にされ得ることを認識する。例えば、表示域202における点204に画素を決定するために、光線208が延ばされて、地形104における交点108を決定する。交点108は、光線106に沿ってカメラ102の位置に戻るように投影されて、斜めオルソグラフィック画像から対応する点をサンプリングする。
【0021】
斜め像を直下ビューに投影することは、いくらかの歪をもたらし得るが、地図データをオーバーレイすることもまたより容易にする。直下ビューは地球の方にまっすぐ下に向けられているので、地図データの高度はオルソ補正画像に対して地図データの位置を決定することと無関係である。実際、二次元の地図における各位置は、オルソ補正画像における対応する位置に線形的に対応する。
【0022】
ダイアグラム200は、一実施例を例示する。図1Bの場合のように、点156は、緯度−経度座標においてジオコード化される地図データの要素(道路など)に対応する。オルソ補正された画像上のどこに点156を配置するかを決定するために、計算デバイスは、直下ビュー202に点156を投影して、点206を決定し得る。高度は無関係なので、点158を決定するために地形104を用いる必要がない場合がある。実際、点206の緯度−経度座標は、オルソ補正画像における点206の位置に線形的に対応し得る。この線形計算は、処理能力およびメモリなど計算資源に対する負担が少なくなり得る。
【0023】
地形104の三次元モデルは、地球の三次元モデルであり得る。三次元モデルは、丘および山などの地理的構成物を含み得る。モデルは、他の自然の地勢および建物などの人工的地勢をさらに含み得る。モデルは、他の自然の地勢および建物などの人工的地勢をさらに含み得る。他の実施形態において、地形は、家具および店陳列棚などのより小さい規模の物体を含む。実施例において、地形104は、当業者に公知であるような様々な方法で表され得る。第1の実施例において、地形104は、三次元の点の三角形のメッシュとしてモデル化され得る。第2の実施例において、地形104は、各アレイ要素が標高値を有する二次元のアレイとしてモデル化され得る。図2は、特に地形104における丘214に関して下記にさらに説明される。
【0024】
(短縮遠近法および平滑化)
斜めビューに直下像をオルソ補正することは、地図データをオーバーラップさせるための計算をより容易にし得るが、結果として生じる像は歪まされ得る。一実施例において、オルソ補正された画像は、斜め像と直下ビューとの間における傾斜の差により仮想方向に引き伸ばされ得る。引き伸ばしを補正するために、像は短縮遠近法で描かれ得る。
【0025】
図3は、一実施形態に従って短縮遠近法で像を描くことを例示するダイアグラム300である。ダイアグラム300は、引き伸ばされた画像302を示す。引き伸ばされた画像302が垂直方向に縮小されると、その画像は短縮遠近法で描かれた画像304として現れ得る。斜め像がより浅い角度で撮られると(カメラは地上と平行に近づく)、結果としてオルド補正された画像は、より引き伸ばされ得る。その結果、より多く短縮遠近法で描かれることが必要となり得る。反対に、斜め像がより急な角度で撮られると(カメラは地上へのまっすぐな配向に近づく)、結果として生じるオルソ補正された画像は、より少なく引き伸ばされ、短縮遠近法で描かれる必要がより少なくなり得る。
【0026】
当業者は、多くの実施形態において、一組の斜め画像における異なる斜め画像間のカメラの視角にほとんど変化がないかまたは全く変化がない場合があることを認識する。それらの実施形態において、画像が短縮遠近法で描かれ得る程度は、固定値に設定され得る。しかし固定値は、なおもカメラのおよその視角または意図された視角に対応し得る。オルソグラフィック表示面(図1Bにおける表示域152など)の角度がカメラの意図された視角と異なる場合、オルソグラフィック表示面の角度は、短縮遠近法のファクターを決定するために用いられ得る。
【0027】
一実施形態において、画像は、1/sin(θ)のファクター(すなわち、sec(θ))で垂直方向に縮小され得、ここで、θは、カメラの方向と地球の表面の方向との間の角度である。この実施例において、カメラがまっすぐ下に向いている場合、θは90度であり、カメラが地上に平行である場合、θは0度である。斜め像は、しばしばおよそ45度で撮られる。従って、画像は、垂直方向に1/sin(45°)、または
【0028】
【数1】

−約1.414のファクターで垂直方向に縮小され得る。別の表現をすると、引き伸ばされた画像302は、垂直方向において短縮遠近法で描かれた画像304の画素よりおよそ1.414倍の画素を有する。一実施例において、斜め像は、カメラの方向と地球の表面の方向との間で30度から60度の範囲など、異なる眺望の範囲から撮られ得る。カメラが60度である場合(カメラが地球に向って真直ぐ下の方向により近づいて向いている)、短縮遠近法ファクターは、1/sin(60°)または約1.154であり得る。カメラが30度である場合(カメラがより地平線の方に向いている)、短縮遠近法ファクターは、1/sin(30°)または2であり得る。
【0029】
当業者によって認識されるように、短縮遠近法で描かれた画像304を生成するいくつかの異なる方法がある。一実施形態において、計算デバイスは、オルソ補正された画像を上記に考察されたファクターで垂直方向に縮小させ得る。別の実施形態において、オルソ補正処理中にサンプリングを行う場合(図2に関して上記に考察されたように)、計算デバイスは、垂直方向よりも水平方向に頻繁にサンプリングし得る。例えば、計算デバイスは、垂直方向よりも水平方向におよそ1.414倍頻繁にサンプリングし得る。
【0030】
さらなる実施形態において、画像は、およそ傾きの差に従って短縮遠近法で描かれ得る。この実施形態において、傾きの差は、例えば、直下ビューとカメラの意図された傾きとの間の差であり得る。例えば、カメラの意図された傾きは、およそ45度であり得るが、例えば、飛行機の動きの変化、カメラの方向付けの不正確などによって変化し得る。一実施例においてカメラの傾きは、最大10〜15度変化し得る。
【0031】
このように画像を短縮遠近法で描くことによって、斜め画像と直下ビューとの間の傾きの差によって引き起こされる引き伸ばしが補正され得る。
【0032】
傾きの差によって引き起こされる引き伸ばしの他に、地形モデルにおける変化が、オルソ補正画像において歪み効果を引き起こし得る。図2に戻り参照すると、ダイアグラム200は、丘214を有する地形104を例示する。カメラ102の角度により、丘214の遠い側210は、カメラ102の視野の小さい部分を占めるのみである。しかしながら、一旦オルソ補正されると、丘214の遠い側210は、直下ビュー202のはるかにより大きい部分を占める。同様に、丘214の近い側212は、カメラ102の視野の大きい部分を占める。しかしながら、一旦オルソ補正されると、丘214の近い側212は、直下ビュー202のはるかにより小さい部分を占める。このように、地形における変化は、オルソ補正画像において歪み効果を引き起こす。
【0033】
上記で言及されたように、斜め画像は、都市などたくさんの建物がある地域において特に有用である。都市は、概して比較的平坦な地域に建設されている。これらの地域において、地形の変化によって引き起こされる歪みの量は、許容可能であり得るかまたは気づき難くあり得る。しかしながら、歪みを補正する1つの方法は、オルソ補正の前に地形を平滑にすることである。
【0034】
図4は、一実施形態に従って地形モデルを平滑にすることを例示するダイアグラム400である。ダイアグラム400は、地形402を示す。一旦地形402が平滑にされると、地形402は、平滑にされた地形404として現れる。平滑化は、当業者に公知の様々な方法によって達成され得る。例えば、平滑にされた地形404は、ガウスフィルタを用いて地形402を畳み込むことによって決定され得る。第2の実施形態において、メッシュドメイン平滑化が地形402に適用され得る。別の実施例において、100メートルまたは200メートルのボックスフィルタなどのボックスフィルタアルゴリズムが、平滑化される地形404を決定するために地形402に適用され得る。実施形態において、地形402は、どの傾斜も20度より急ではないように平滑化され得る。一旦決定されると、平滑化された地形404は、図2に関して上記に説明されたオルソ補正処理において用いられる。地形モデルを平滑化することは、モデルが現実のモデルとの近似性がより少ないことがあるということにおいてモデルの正確さをより減少させ得る。しかしながら、正確さがより少ないにも関わらず、結果として生じる画像は視覚的にはより魅力的であり得る。
【0035】
図5A〜図5Bは、地形における変化による歪み効果を平滑化がいかに減少させ得るかについての一実施例を示す。図5Aは、カリフォルニア州サンフランシスコの急な丘であるTelegraph Hillのオルソ補正された写真を例示するダイアグラム500である。斜め写真は、図2に関して説明された処理に従って直下ビューにオルソ補正された。地形の変化により、Telegraph Hillの遠い側は伸ばされている。
【0036】
図5Bは、図4に関して上記に説明されたように平滑化された地形と共に生成されたTelegraph Hillのオルソ補正された写真を例示するダイアグラム550である。結果として生じる画像は、図5Aにおける画像より歪みが少なく、視覚的に魅力的であり得る。
【0037】
像を短縮遠近法で描き、地形モデルを平滑化することによって、実施形態は、直下ビューに対して斜め像をオルソ補正することによって引き起こされる歪みのいくつかを補正し得る。
【0038】
(モザイク手法およびオーバーレイング)
一旦、斜め像が直下ビューに対してオルソ補正され、いずれの歪みも補正されると、画像モザイクが生成され得る。代替の実施形態において、画像モザイクは、短縮遠近法を行う前に生成され得る。その実施形態において、短縮遠近法は、モザイク化画像に適用され得る。画像モザイクは、より大きい画像を生成するために一緒につぎ合わされ(stitched)得る複数の画像タイルを含む。画像モザイクは、例えばグラフカットアルゴリズムまたは当業者に公知の他のアルゴリズムを用いて、補正されオルソ補正された画像に基づいて、生成され得る。地図データは、図6に例示されるように画像モザイクにオーバーレイされ得る。
【0039】
図6は、一実施形態に従ってオーバーレイされた地図データを有する斜め画像モザイクを例示するダイアグラム600である。ダイアグラム600は、画像タイル602および604を含む複数の画像タイルを有する画像モザイクを示す。地図データは、画像モザイクの複数の部分にオーバーレイされる。地図データは、様々な要素を含む。各要素は、緯度および経度などの座標を用いてジオコード化される。ダイアグラム600に示される要素は、道路606と関心の点608とを含む。
【0040】
道路606および関心の点608がどのように配置されるかは、どの地図投影が用いられるかにより得る。例えば、Google Mapsサービスは、メルカトール投影を用いる。緯度および経度に基づいてメルカトール投影において地図データをどこに配置されるかを決定するために、周知の機能が適用され得る。画像モザイク上の道路606および関心の点608をどこに置くかを決定するために、計算デバイスは、道路606および関心の点608に関連付けられる地図位置に対して単純な一次関数を実行する必要があるのみであり得る。例えば、像がおよそ45度で捉えられ、45度の角度から見ることが意図される場合、像上の関心の点の垂直位置は、およそ1.414で除した通常のメルカトール投影地図上の像の垂直位置に対応する。この線形的な対応は、オーバーレイされた地図地勢の位置を決定する場合、地形の高さを考慮に入れることを不要にする。このように、地図データは、オルソ補正された画像上により容易にオーバーレイされ得る。
【0041】
モザイク手法およびオーバーレイングについてのさらなる詳細は、図7〜図8に関して下記に提供される。
【0042】
(システム)
図7は、一実施形態に従って直下ビューに対してステッチ斜め像をオルソ補正するシステム700を例示するダイアグラムである。システム700は、画像処理パイプラインサーバ710を含み、画像処理パイプラインサーバ710は、斜め画像データベース702と、地形データベース704と、オルソ補正画像データベース706とに連結される。画像処理サーバ710は、平滑化モジュール716と、オルソ補正モジュール720と、モザイクモジュール740とを含む。オルソ補正画像データベース706はまた、地図ウェブサーバ750に連結され、地図ウェブサーバ750は、地図データベース708に連結される。地図ウェブサーバ750は、インターネットなどの1つ以上のネットワーク770を介してクライアント760に連結される。
【0043】
概して、システム700は、次のとおり動作し得る。平滑化モジュール716は、地形データベース704から地形の三次元モデルを検索する。平滑化モジュール716は、地形を平滑にし、平滑化された地形をオルソ補正モジュール720に送る。オルソ補正モジュール720は、斜め画像データベース702から複数の画像を検索する。オルソ補正モジュール720は、直下ビューに対して斜め画像をオルソ補正し、像を短縮遠近法で描く。モザイクモジュール740は、オルソ補正され短縮遠近法で描かれた画像を受信し、画像モザイクを構成する。画像モザイクは、オルソ補正された画像データベース706に格納される。リクエストに応答して、地図ウェブサーバ750は、オルソ補正された画像データベース706から地図タイルを検索し、地図データベース708から地図データを検索する。地図ウェブサーバ750は、地図データを地図タイルにオーバーレイし得る。あるいは、地図ウェブサーバ750は、地図データおよび地図タイルをクライアント760に送り得、クランアント760は、オーバーレイを行い得る。最後に、クランアント760は、地図タイルおよびオーバーレイされた地図データをユーザに表示する。構成要素の各々およびそれらの動作は、より詳細に下記に説明される。
【0044】
上記に言及されたように、平滑化モジュール716は、地形データベース704に格納された地形の三次元モデルを検索するように構成される。例えば三次元モデルは、地球の三次元モデルであり得る。三次元モデルは、丘および山などの地理的構成物を含み得る。モデルは、他の自然の地勢および建物などの人工的地勢をさらに含み得る。モデルは、他の自然の地勢および建物などの人工的地勢をさらに含み得る。他の実施形態において、地形は、家具および店陳列棚などのより小さい規模の物体を含む。
【0045】
一旦三次元地形が検索されると、平滑化モジュール716は、地形の三次元モデルを平滑化するように構成される。平滑化モジュール716は、図4および図5A〜図5Bに関して上記に説明されたように地形モデルを平滑化し得る。実施形態において、平滑化モジュール716は、移動平均またはボックスフィルタアルゴリズムを用いて地形を平滑にし得る。上記に言及されたように、このように地形モデルを平滑化することは、結果として生じるオルソ補正された画像において地形の変化によって引き起こされるいくらかの歪みを避けることを助け得る。
【0046】
オルソ補正モジュール720は、斜め画像データベース702から複数の斜め画像を検索し得、オルソ補正モジュールのサブモジュールに斜め画像の各々を処理して、複数のオルソ補正され短縮遠近法で描かれた画像を生成するように命令し得る。オルソ補正モジュール720は、プロジェクタモジュール724と、サンプルモジュール722と、短縮遠近法モジュール730とを含む。
【0047】
プロジェクタモジュール724は、地形の平滑化された三次元モデルなど、地形の三次元モデル上に斜め写真画像を投影するように構成される。サンプラモジュール722は、直下の眺望を有する仮想表示域からの投影された写真画像から点をサンプリングするように構成される。点は、地形の三次元モデルと表示域から伸びた平行光線との交点に配置される。サンプラモジュール722はまた、サンプリングされる点をオルソ補正された画像にアセンブリするように構成される。プロジェクタモジュール724およびサンプラモジュール722は、図2に関して上記に説明されたように動作して、直下ビューに斜め像をオルソ補正し得る。
【0048】
上記に説明されたように、斜め像と直下ビューとの間の傾きの差は、引き伸ばしを引き起こし得る。短縮遠近法モジュール730は、像を短縮遠近法で描いて、この引き伸ばしを補正するように構成される。短縮遠近法モジュール730は、図3に関して説明されたように動作し得る。一実施形態において、短縮遠近法モジュール730は、オルソ補正された画像を垂直方向に縮ませ得る。短縮遠近法モジュール730は、オルソ補正において用いられる斜め写真画像と直下表示域との間の傾斜角の差に対応するファクターでオルソ補正された画像を縮ませ得る。一実施例において、オルソ補正された画像は、およそ
【0049】
【数2】

のファクターで垂直方向に縮小され得る。
【0050】
別の実施形態において、短縮遠近法モジュール730は、オルソ補正中にサンプルモジュール722によってサンプリングされる点を調整し得る。短縮遠近法モジュール730は、サンプルモジュール722が垂直方向よりも水平方向に頻繁に点をサンプリングするようにサンプリングされる点を調整し得る。一実施例において、水平方向にサンプリングされる点の数は、垂直方向にサンプリングされる点の数のおよそ
【0051】
【数3】

倍である。このように短縮遠近法モジュール730は、斜め画像と直下ビューとの間の傾きの差によって引き起こされる引き伸ばし効果を補正する。
【0052】
モザイクモジュール740は、オルソ補正モジュール720からオルソ補正され短縮遠近法で描かれた画像を受信する。モザイクモジュール740は、短縮遠近法で描かれオルソ補正された画像に基づいてオルソ補正された画像のモザイクを決定するように構成される。一実施形態において、モザイクモジュール740は、グラフカットアルゴリズムを用いてモザイクを決定し得る。オルソ補正された画像のモザイクは、一緒にステッチされてより大きい画像を形成し得る複数の画像タイルを含む。モザイクモジュール740は、オルソ補正された画像データベース706にモザイクを格納する。
【0053】
地図ウェブサーバ750は、例えばHTTP応答によってHTTPリクエストに応答するHTTPサーバであり得る。地図ウェブサーバ750は、タイルロケータモジュール752と地図データロケータモジュール754とを含む。タイルロケータモジュール752は、リクエストに応答してオルソ補正された画像のモザイクからオルソ補正された画像タイルを識別するように構成される。一実施例において、リクエストは、位置値を含み得、タイルロケータモジュール752は、その位置値に線形的に対応するオルソ補正された画像データベース706においてオルソ補正された画像タイルを識別し得る。
【0054】
地図データロケータモジュール754は、リクエストに応答して地図データを識別するように構成される。一実施例において、リクエストは、位置値を含み得、地図データロケータモジュール754は、その位置においてジオコード化された地図データベース708において地図データを識別し得る。図示されていない実施例において、地図ウェブサーバ750は、画像タイルに地図データをオーバーラップし得る。あるいは、タイルロケータモジュール752および地図データロケータモジュール754は、1つ以上のネットワーク(単数または複数)770を介して識別された画像タイルおよび地図データをクライアント760に送り、地図データをオーバーレイする。
【0055】
一実施形態において、クライアント760は、地図ウェブサーバ750からオルソ補正された画像タイルおよび地図データを受信するように構成される。クライアント760は、オルソ補正された画像タイル上に地図データをオーバーレイするように構成されるオーバーレイモジュール762を含む。オーバーレイモジュール762は、要素の対応する座標に一次関数を適用することによって地図データの各要素に対して、オルソ補正された画像タイルにおける位置を決定する。最後に、クライアント760は、図6に例示されるように、オルソ補正された画像タイル上にオーバーレイされた地図データをユーザに表示し得る。このように地図データは、単純な一次関数を用いて斜め画像上にオーバーレイされ得る。
【0056】
平滑化モジュール716、サンプルモジュール722、プロジェクタモジュール724、短縮遠近法モジュール730、オルソ補正モジュール720、モザイクモジュール740、タイルロケータモジュール752、地図データロケータモジュール754、およびオーバーレイモジュール762の各々は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組み合わせにおいて実装され得る。
【0057】
斜め画像データベース702、地形データベース704、オルソ補正された画像データベース706、および地図データベース708の各々は、永続性メモリを含む任意のタイプの構造メモリであり得る。実施例において、各データベースは、リレーショナルデータベースとして実装され得る。
【0058】
画像処理パイプラインサーバ710、地図ウェブサーバ750、およびクライアント760の各々は、任意のタイプの計算デバイスにおいて実装され得る。そのような計算デバイスは、パーソナルコンピュータ、携帯電話などのモバイルデバイス、ワークステーション、埋込みシステム、ゲームコンソール、テレビジョン、セットトップボックス、または任意の他の計算デバイスを含み得るが、これらに限定されない。さらに、計算デバイスは、命令を実行し格納するプロセッサおよびメモリを有するデバイスを含み得るが、それに限定されない。ソフトウェアは、1つ以上のアプリケーションとオペレーティングシステムとを含み得る。ハードウェアは、プロセッサと、メモリと、グラフィカルユーザインターフェイスディスプレイとを含み得るが、これらに限定されない。計算デバイスはまた、複数のプロセッサと、複数の共有メモリ構成要素または別個のメモリ構成要素とを有し得る。例えば、計算デバイスは、クラスタ計算環境またはサーバファームであり得る。
【0059】
(方法)
図8は、一実施形態に従って直下ビューに対してステッチ斜め像をオルソ補正する方法800を例示するフローチャートである。一実施例において、方法800は、図7におけるシステム700の動作において用いられ得る。
【0060】
方法は、ステップ802において地形データを平滑にすることによって始まる。平滑化は、図4および図5A〜図5Bに関して上記に説明されたように動作し得る。一実施例において、平滑化は、ボックスフィルタアルゴリズムを地形モデルに適用することを含み得る。
【0061】
ステップ804および806は、オルソ補正を行う。ステップ804において、斜め写真画像は、ステップ802からの平滑にされたモデルなどの地形モデルに投影される。ステップ806において、投影された写真画像の点が、直下の眺望を有する仮想表示域からサンプリングされる。点は、地形モデルと表示域から伸びた平行光線との交点からサンプリングされる。最後に、点は、オルソ補正画像にアセンブルされ得る。ステップ804および806は、図2に関して上記に説明されたように動作し得る。このように斜め画像は、直下ビューに対してオルソ補正される。
【0062】
ステップ808において、像は、斜め画像と直下ビューとの間における傾斜の差による引き伸ばしに対して調整するために短縮遠近法で描かれる。短縮遠近法は、図3に関して上記に説明されたように動作し得る。一実施形態において、オルソ補正された画像は、垂直方向に縮小され得る。オルソ補正された画像は、斜め像と直下表示域との間の傾斜角の差に対応するファクターで垂直方向に縮小されて、短縮遠近法で描かれたオルソ補正された画像を生成し得る。一実施例において、オルソ補正された画像は、およそ2の平方根の率で垂直方向に縮小され得る。
【0063】
別の実施形態において、像は、オルソ補正において用いられるサンプリング点を調整することによって短縮遠近法で描かれ得る。ステップ806におけるサンプリングは、点が垂直方向よりも水平方向に頻繁にサンプリングされるように行われ得る。一実施例において、垂直方向にサンプリングされる点の数の2の平方根倍が、水平方向にサンプリングされる点の数におよそ等しい。
【0064】
最後にステップ810において、オルソ補正され短縮遠近法で描かれた画像は、オルソ補正された画像のモザイクを決定するために用いられる。一実施例において、モザイクは、グラフカットアルゴリズムを用いて決定され得る。
【0065】
このように、二次元の地図に線形的に対応する斜め画像のモザイクが作られる。
【0066】
(結論)
概要および要約のセクションは、発明者(単数または複数)によって企図されるように、本発明の1つ以上であるが必ずしもすべてではない例示的実施形態を述べ得、従って、本発明および添付の特許請求の範囲をいかなる方法においても限定することは意図されない。
【0067】
本発明の実施形態は、機能的建物ブロックの助けをもって上記に説明され、特定の機能よびそれらの関係の実装を例示する。これらの機能的建物ブロックの境界は、説明の便宜上本明細書において任意に規定された。特定の機能およびそれらの関係が適切に行われる限り、代替の境界が規定され得る。
【0068】
特定の実施形態の前述の説明は、本発明の全般的性質を十分に明らかにするので、当業者内の知識を適用することによって、他の人が、不適当な実験をすることなく、本発明の全般的概念から逸脱することなく、様々な用途のためにそのような特定の実施形態を容易に修正しかつ/または改変する。従って、そのような改変および修正は、本明細書において提示された教示および指導に基づいて、開示された実施形態の均等物の意味および範囲内であることが意図される。本明細書における語法または術語が説明の目的のためであり限定するものではなく、その結果、本明細書の術語または語法が教示および指導を考慮して当業者によって解釈されるべきであることは理解されるべきである。
【0069】
本発明の広さおよび範囲は、上記に説明されたいかなる例証的実施形態によっても限定されるべきではなく、次の特許請求の範囲およびその均等物に従ってのみ規定されるべきである。

【特許請求の範囲】
【請求項1】
斜め写真像をオルソ補正する方法であって、
(a)地形の三次元モデルに斜め写真画像を投影することと、
(b)直下の眺望を有する表示域から該投影された写真画像の点をサンプリングすることであって、該点は、該地形の三次元モデルと該表示域から伸びる平行光線との交点にある、ことと、
(c)該サンプリングされる点をオルソ補正された画像にアセンブルすることと、
(d)該斜め写真画像を捉えたカメラと該直下の眺望を有する該表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成することと
を包含し、該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、方法。
【請求項2】
前記調整すること(d)は、前記オルソ補正された画像を垂直方向に縮小することを包含する、請求項1に記載の方法。
【請求項3】
前記縮小することは、前記オルソ補正された画像を1.154〜2.0(1.154および2.0を含む)のファクターで前記垂直方向に縮小することを包含する、請求項2に記載の方法。
【請求項4】
前記調整すること(d)は、点が前記垂直方向よりも水平方向に頻繁にサンプリングされるようにサンプリング点を調整することを包含する、請求項1に記載の方法。
【請求項5】
ファクターの前記水平方向にサンプリングされる点間の距離倍は、前記垂直方向にサンプリングされる点間の距離におよそ等しく、該ファクターは、1.154〜2.0(1.154および2.0を含む)である、請求項4に記載の方法。
【請求項6】
(e)前記投影すること(a)の前に、前記地形の三次元モデルを平滑化することであって、該投影すること(a)は、該地形の平滑化された三次元モデル上に前記斜め写真画像を投影することを包含する、ことをさらに包含する、請求項1に記載の方法。
【請求項7】
前記平滑化すること(e)は、前記地形の三次元モデルにボックスフィルタアルゴリズムを適用することを包含する、請求項6に記載の方法。
【請求項8】
前記斜め写真画像は、地球の航空画像であり、前記地形の三次元モデルは、地球の三次元モデルある、請求項1に記載の方法。
【請求項9】
(e)複数の斜め写真画像の各々に対して(a)〜(c)を繰り返して、複数のオルソ補正された画像を決定することと、
(f)グラフカットアルゴリズムを用いて、該複数のオルソ補正された画像に基づいて、オルソ補正された画像のモザイクを決定することと
をさらに包含する、請求項1に記載の方法。
【請求項10】
(e)前記短縮遠近法で描かれオルソ補正された画像の少なくとも一部分に地図データをオーバーレイすることであって、該地図データの各要素は、該地図データの該要素の対応する位置に線形的に対応する、該短縮遠近法で描かれオルソ補正された画像上の位置に配置される、ことをさらに包含する、請求項1に記載の方法。
【請求項11】
前記地図データは、道路データを含む、請求項10に記載の方法。
【請求項12】
斜め写真像をオルソ補正するシステムであって、
(a)地形の三次元モデルに斜め写真画像を投影するように構成されるプロジェクタモジュールと、
(b)サンプラモジュールであって、
(i)直下の眺望を有する表示域からの該投影された写真画像から点をサンプリングすることであって、該点は、該地形の三次元モデルと該表示域から伸びた平行光線との交点に位置している、ことと、
(ii)該サンプリングされる点をオルソ補正された画像にアセンブルすることと
を行うように構成される、サンプラモジュールと、
(c)短縮遠近法モジュールであって、該斜め写真画像を捉えたカメラと該直下の眺望を有する該表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成するように構成される、短縮遠近法モジュールと
を備え、
該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、システム。
【請求項13】
前記短縮遠近法モジュールは、前記オルソ補正された画像を垂直方向に縮小するように構成される、請求項12に記載のシステム。
【請求項14】
前記短縮遠近法モジュールは、前記オルソ補正された画像を1.154〜2.0(1.154および2.0を含む)のファクターで垂直方向に収縮するように構成される、請求項13に記載のシステム。
【請求項15】
前記短縮遠近法モジュールは、点が前記垂直方向よりも水平方向に頻繁にサンプリングされるように前記サンプリング点を調整するように構成される、請求項12に記載のシステム。
【請求項16】
ファクターの前記垂直方向における点の数倍は、前記水平方向にサンプリングされる点間の数におよそ等しく、該ファクターは、1.154〜2.0(1.154および2.0を含む)である、請求項15に記載のシステム。
【請求項17】
(a)前記地形の三次元モデルを平滑化するように構成される平滑化モジュールをさらに備え、
前記プロジェクタモジュールは、該地形の平滑化された三次元モデルに斜め写真画像を投影するように構成される、請求項12に記載のシステム。
【請求項18】
前記平滑化モジュールは、前記地形の三次元モデルにボックスフィルタアルゴリズムを適用するように構成される、請求項17に記載のシステム。
【請求項19】
前記斜め写真画像は、地球の航空画像である、請求項12記載のシステム。
【請求項20】
(a)オルソ補正モジュールであって、複数の斜め写真画像に対して繰返し投影およびサンプリングして、複数の短縮遠近法で描かれオルソ補正された画像を決定することを前記プロジェクタモジュールおよびサンプラモジュールに命令するように構成される、オルソ補正モジュールと、
(b)モザイクモジュールであって、グラフカットアルゴリズムを用いて、該複数の短縮遠近法で描かれオルソ補正された画像に基づいて、オルソ補正された画像のモザイクを決定するように構成される、モザイクモジュールと
をさらに包含する、請求項12に記載のシステム。
【請求項21】
(a)タイルロケータモジュールであって、位置に対応する前記オルソ補正された画像のモザイクからオルソ補正された画像を識別する、タイルロケータモジュールと、
(b)地図データロケータモジュールであって、該位置に線形的に対応する地図データを識別する、地図データロケータモジュールと
をさらに包含する、請求項20に記載のシステム。
【請求項22】
前記地図データは、道路データを含む、請求項21に記載のシステム。
【請求項23】
斜め写真像をオルソ補正する方法であって、
(a)直下表示域における各点に対して地形の三次元モデル上に点を決定することとであって、各点は、該地形の三次元モデルと該直下表示域から伸びた平行光線との交点にある、ことと、
(b)斜め写真画像を撮って該斜め写真画像上の点をサンプリングしたカメラモデルの位置に(a)において決定された各点を投影することと、
(c)該サンプリングされる点をオルソ補正された画像にアセンブルすることと、
(d)該斜め写真画像を捉えたカメラと直下の眺望を有する表示域との間の傾斜角の差におよそ従って該オルソ補正された画像または該サンプリングされる点を調整して、短縮遠近法で描かれオルソ補正された画像を生成することと
を包含し、
該短縮遠近法で描かれオルソ補正された画像における各位置は、二次元地図における対応する位置に線形的に対応する、方法。

【図1A】
image rotate

【図1B】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公表番号】特表2013−510326(P2013−510326A)
【公表日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2012−538085(P2012−538085)
【出願日】平成22年11月9日(2010.11.9)
【特許番号】特許第5118787号(P5118787)
【特許公報発行日】平成25年1月16日(2013.1.16)
【国際出願番号】PCT/US2010/056013
【国際公開番号】WO2011/057258
【国際公開日】平成23年5月12日(2011.5.12)
【出願人】(502208397)グーグル インコーポレイテッド (161)