オルソ補正タイルを生成する方法及び装置
本発明は、オルソ補正タイルを生成する方法に関する。この方法は、地上カメラにより取得されるソース画像を取得する工程と、ソース画像と関連する位置データを取得する工程と、ソース画像と関連する方位データを取得する工程と、オルソ補正タイルを取得するために対応する位置データ及び方位データによりソース画像を取得する工程とを有する。ここで、オルソ補正タイルは、オルソ補正モザイクを生成するために使用される。本発明により、地上カメラにより記録される画像は、対応する道路標識を有する路面の地図を生成するために使用される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オルソ補正タイル（orthorectified tile）を生成する方法に関する。更に本発明は、オルソ補正タイルを記憶するプロセッサ可読記憶媒体、オルソ補正タイルを生成するコンピュータ構成に関する。更に本発明は、地上カメラにより取り込まれる少なくとも１つの地上画像シーケンスのソース画像から、位置が正確な水平情報及び位置が正確な垂直情報の双方を収集する方法、並びに地上カメラにより取得され且つオブジェクトと地面との付着点が可視である少なくとも１つのソース画像から、位置が正確な水平情報及び位置が正確なオブジェクト情報の双方を収集する方法に関する。
【背景技術】
【０００２】
ナビゲーションシステム等において使用されるデジタル地図データベースのため、多くの水平道路情報、例えば車線分離帯、道路の中央線等を収集する必要がある。この情報は、高解像度空中オルソ補正画像を解釈することにより取得可能である。オルソ補正画像は、上方から見た地上の特徴をそれらの正確な地上位置に示し且つカメラ及び飛行特性により引き起こされる歪み、並びに起伏のずれが写真測量技術を使用して除去された「縮尺補正」画像である。オルソ補正画像は、写真の縮尺が均一であるように、すなわち写真が地図と同等であると考えられるように幾何学的に補正された（オルソ補正された）空中写真の一種である。オルソ補正画像は地形の起伏、レンズの歪み及びカメラの傾斜を調整された地表の正確な表現であるため、実際の距離を測定するために使用可能である。オルソ補正図は基準面に対して直角に投影するが、斜視図は単一の固定位置又は視点から表面を基準面に投影する。この点で、オルソ補正図は斜視図とは異なる。オルソ補正画像は、任意の適切な地図投影により取得可能である。地図投影は、円筒図法、擬円筒図法、混成図法、円錐図法、擬円錐図法又は方位図法等の表面投影であってもよい。投影は、距離プロパティの保存による投影であってもよい。地図投影は、それらが正射投影であり、すなわち基準面（地球の形状に近似する楕円体）の表面に対して垂直な線に沿って見た場合に各画素がその表面上の点を表すという点で共通する。従って、地表のオルソ補正画像の各画素は、地球の形状に近似する楕円体に対して垂直な線に沿って見た地表図にほぼ対応する。
【０００３】
上述の投影制約に加えて、オルソ補正画像は、アルゴリズムがオルソ補正画像の任意の画素を地理座標参照系内のポイントに関連付けられるようにするメタデータを含む。地球の形状に近似する楕円体上での各画素の正確な位置が既知であるため、地上の特徴、例えば水平道路情報の位置及びサイズはオルソ補正画像から取得（retrieve)可能であり、非常に正確な距離及び地球座標が計算可能である。ジオコーディングされたオルソ補正画像のメタデータは、地理座標参照系において対応する位置を画素毎に判定するための投影座標参照系を定義する。そのような高解像度オルソ補正画像は、２５ｃｍ以下の画素サイズを有する必要がある。そのような画像を空中写真又は衛星写真を用いて取得するには非常にコストがかかり、全ての道路水平情報が取り込まれるという保証もない。
【０００４】
オルソ補正画像は、空中写真から非常に効率的に取得可能である。しかし、誤差が発生することが多いため、地理位置データは不正確にマッピングされる。主な問題は、通常、空中画像が地表に対して厳密に垂直に撮影されないことである。写真が地表に対してほぼ垂直に撮影される場合であっても、厳密に垂直なのは写真の中心のみである。そのような画像をオルソ補正するためには、地形高度情報を更に取得する必要がある。空中画像がオブジェクトの正確な高さ情報を含まないため、オルソ補正画像を判定するために使用される三角測量処理と組み合わせた場合、そのような画像は最大数十メートルも不正確になる場合がある。重なり合う画像を撮影し且つ同一の空中カメラからの後続画像から取得される同一面を比較することにより、精度を向上できる。しかし、コストに対して得られる精度は依然として制限される。
【０００５】
更に、ナビゲーションシステム等において使用されるデジタル地図データベースのため、「垂直」道路情報、例えば制限速度や方向案内標識等を収集する必要がある。本願において、用語「水平」データ又は情報は、地表に対して平行な表面を有するオブジェクトに対応する。用語「垂直」データ又は情報は、地表上に位置決めされ且つ地表に対して平行な観察軸を用いて観察可能なオブジェクトに対応する。垂直道路情報は、上方から見下ろした通常の空中画像又は衛星画像からは取得できない。現在、垂直道路情報は、移動収集デバイスにより収集される水平な写真画像及び他のデータを解析及び解釈することにより取得可能である。自動車又はバン等の地上車両であるモバイルマッピング車両は、デジタル地図データベースを改善するためのモバイルデータを収集するために使用される。改善例は、交通標識、進路標識、交通信号、街路名を示す街路標識等の場所である。
【０００６】
モバイルマッピング車両は、場合によっては一部が立体カメラである多くのカメラを有し、バンが高精度ＧＰＳ、並びに他の位置及び方位判定機器（例えば、慣性ナビゲーションシステム−ＩＮＳ）を車載するため、それら全てのカメラの地理位置は正確に決められる。道路網を走行中、ジオコーディングされた画像シーケンスが取り込まれる。「ジオコーディングされる」とは、ＧＰＳ受信機及び場合によってはＩＮＳにより計算された位置、並びに画像と関連するタイトルが画像のメタデータに添付されることを意味する。
【０００７】
モバイルマッピング車両はオブジェクト、例えば建物又は路面の２つ以上の画像シーケンスを記録し、画像シーケンスの画像毎に、地理座標参照系における地理位置が前記地理位置に対する画像シーケンスの位置データ及び方位データと共に正確に判定される。対応する地理位置情報を有する画像シーケンスをジオコーディングされた画像シーケンスと呼ぶ。他のデータも他のセンサにより収集され、且つ同時に及び同様にジオコーディングされてもよい。
【０００８】
デジタル地図データベースにおいて、ナビゲーションアプリケーション等をサポートするために水平データ及び垂直データの双方が必要な場合、前記データに関する地理位置は正確である必要がある。しかし、空中画像から取得される水平データに対応する判定された地理位置は、モバイルデータ画像から取得される垂直データに対応する判定された地理位置と常に一致するとは限らない。異なるツールにより解析及び解釈される２つの異なるデータソースが使用されるため、解釈された地理位置は異なる。この結果、双方のデータソースからの情報が同一のデジタル地図データベースに統合される場合、データは不正確に位置決めされ又は解釈される。更に、この結果、水平データ及び垂直データの双方がナビゲーションシステム等において同時に表示される場合、混乱し易い状況が発生する。更に、２種類のデータソースを使用することは、デジタル地図データベースの製造コストに悪影響を及ぼす。
【０００９】
オルソ補正画像により、ナビゲーションシステムの機能性を豊富にできる。道路及び対応する車線の寸法及び地理位置は、オルソ補正画像から正確に判定可能である。ナビゲーションシステム用データベースを経済的に生成することが重要である。オルソ補正画像を使用することにより、安全性を促進し且つ誤った車線の走行又は道路を逸れた走行等の望ましくない状況から車両及びその乗員を保護できる。車両のＧＰＳ位置及び路面の地理位置を組み合わせることにより路面に対する車両位置は判定可能であり、運転者が道路又は車線の境界に接近すると即座に、あるいは誤った車線を走行している場合、運転者はそれを通知される。
【００１０】
定義：
座標：ｎ次元空間内のポイントの位置を指定する一連のｎ個の数字のうちの１つ；
座標変換：１対１の関係に基づいて、１つの座標参照系から同一データに基づく別の座標参照系に座標を変更すること；
座標参照系：データにより実世界に関連付けられる座標系：
座標系：座標がポイントに割り当てられる方法を特定する数学的ルールの集合；
データ：座標参照系の原点の位置、縮尺及び方位を定義するパラメータ又はパラメータの集合；
楕円座標系（測地参照系）：１つ以上の地理座標参照系と関連する測地緯度、測地経度及び（３次元の場合）楕円の高さにより位置が特定される座標系；
地理座標参照系：楕円座標系を使用し且つ地球の形状に近似する楕円体に基づく座標参照系；
地図投影（Map Projection）：楕円座標系から平面への座標変換；
オルソ補正図（Orthorectified view)：あるポイントにおいて、選択された基準面に対して垂直な線に沿ったその基準面からのポイントの図；
投影座標参照系（Projection coordinate conversion system）：地図投影を適用し且つデカルト座標系を使用することにより２次元地理座標参照系から導出される座標参照系。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、オルソ補正タイルを生成する改善された方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明によると、この方法は：
地上カメラにより得られる一連のソース画像を取得する工程と；
ソース画像と関連する位置データであり、車両上のカメラの位置との関係及び移動車両の既定の場所を定義する定数位置パラメータと、既定の場所の実際の場所に対応する地理座標参照系における変数位置パラメータとを含む位置データを取得する工程と；
ソース画像と関連する方位データであり、車両の基準方位に対するカメラの方位と関係する定数方位パラメータと、前記地理座標参照系における車両の基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
オルソ補正タイルとオルソ補正画像内の画素座標から地理座標参照系内の位置への変換を定義する対応するメタデータとを取得するため、対応する位置データ及び方位データによりソース画像を変換する工程とを有する。
本発明は、地表を走行するモバイルマッピング車両が、表面を収集された地理位置画像シーケンスを地上カメラを用いて記録するという認識に基づく。前記画像シーケンスの一部は、車両前方の道路を含む。一般に、車両の走行方向は車両前方の路面に対してほぼ平行である。更に、車両及び路面に対するカメラの位置及び方位は既知である。車両の位置及び方位は、ＧＰＳ受信機及びジャイロスコープ等の慣性測定デバイスにより判定される。全ての位置情報及び方位情報により、三角法を用いて、ソース画像をオルソ補正図に正確に近似する図を表すオルソ補正タイルに変換できる。本発明に係るオルソ補正図は、既定の平面又は表面に対して垂直な観察軸を用いた上方からの観察した図に対応する。オルソ補正タイルは、画像内の全てのポイントが真上から観察されているかのような画像である。
【００１３】
地上カメラと記録された路面との間の距離が制限され且つカメラの地理位置が車載位置決めシステム（例えば、ＧＰＳを使用する受信機）及び場合によっては追加の位置及び方位判定機器により正確に分かるため、各オルソ補正タイルの地理位置は正確に判定可能である。これらのオルソ補正タイルを用いることで、メタデータに格納される対応する地理位置に基づいてオルソ補正タイルを重ね合わせることにより、道路セグメントの地理位置を決められた正確なオルソ補正モザイクを取得できる。本発明のオルソ補正モザイクにより、幹線道路の車線数又は各車線の幅等、１つの単一オルソ補正タイルからは取り込めない水平道路情報を取り込むことができる。これにより、個々のソース画像を解釈するコストが低下し、ソース間の較差誤差により混乱する可能性が減少する。道路情報のうち容易に解釈可能なものは、車線情報、道路案内標識（場所及び属性）、車線接続性属性及び道路の中央線である。
【００１４】
更なる実施形態において、この方法は：
ソース画像と関連する位置データ及び方位データに依存して、地表に対応する平面を推定する工程を更に含み、
変換する工程は、ソース画像を変換してオルソ補正タイルを取得するために平面を使用する。位置データ及び方位データにより、車両の下の路面の位置及び方位を判定できる。これにより、ソース画像内で観察される路面の平面を推定できる。道路の傾斜が徐々に変化するため、車両の下の路面の平面は、ソース画像内で観察される車両前方の路面の近似として使用可能である。一連のソース画像、並びに関連する位置データ及び方位データにより、車両が先に取り込まれたソース画像内で観察される路面に位置決めされる時に取り込まれたソース画像と関連する位置データ及び方位データを選択できる。このように、ソース画像内で観察される路面の位置及び方位を正確に推定できるため、オルソ補正タイルの精度を向上できる。
【００１５】
本発明の更なる実施形態において、オルソ補正タイルは、地上カメラ又はモバイルマッピング車両に対する既定の位置を有する既定の水平領域に対応する。この特徴により、オルソ補正タイルにおいて使用されるソース画像の領域を制限できるため、オルソ補正タイルを取得するために必要な処理能力が減少する。別の利点は、全てのオルソ補正タイルが同一解像度を有することができる点である。同一カメラからのオルソ補正タイルを変倍する必要なく即座に重ね合わせられるため、この利点はオルソ補正モザイクの生成に対して非常に有用である。
【００１６】
本発明の更なる実施形態において、オルソ補正タイルは画素を含み、ソース画像を変換する工程は：
オルソ補正タイルの画素に対応するソース画像内の少なくとも１つの画素を判定する工程と；
ソース画像内の少なくとも１つの画素の値からオルソ補正タイルの画素の値を判定する工程とを含む。この特徴により、本発明を実施する技術者は、オルソ補正タイル内の画素の値を効率的に判定できる。最初に、オルソ補正タイル内の画素の位置を使用してソース画像内の対応する位置を算出する。次に、オルソ補正タイル内の画素の値が判定される。値は、ソース画像内の算出された位置に最近接する位置を有するソース画像内の画素のコピーであってもよい。しかし値は、ソース画像内の隣接画素の平均値又はソース画像におけるオブジェクト認識に基づく値であってもよい。
【００１７】
本発明の更なる実施形態において、既定のオルソ補正タイルの形状は矩形である。この特徴により、同一サイズのオルソ補正タイルを有することができるため、オルソ補正モザイクを取得するためのオルソ補正タイルの位置合わせが更に向上する。オルソ補正タイルは、２つの画像において異なる位置に存在する同一オブジェクトを重ね合わせるか又はマッチングすることにより位置合わせ可能である。
【００１８】
本発明の一実施形態において、一連のソース画像は、地表を移動する車両に取り付けられたカメラにより取得され、方位データは、車両の定義済み方位と車両の走行方向との間の角度と関係する変数方位パラメータを含む。これらの特徴により、車両の懸架装置による路面に対するカメラの傾斜及び横揺れを考慮することができる。これにより、ソース画像からオルソ補正タイルへの変換を正確に実行でき、そのためオルソ補正タイルを容易に重ね合わせてオルソ補正モザイクが取得できる。
【００１９】
本発明の一実地形態において、一連のソース画像は、地表を移動する車両に取り付けられたカメラにより取得され、方位データは、路面により定義される平面と水平面との間の角度と関係する変数方位パラメータを含む。水平面は、地球の形状に近似する地理座標参照系により定義される形状に対応する。これらの特徴により、道路の傾斜及びクロスフォールを補正できるため、路面のより正確なオルソ補正図を取得できる。この図において、各画素の観察軸は重力ベクトルと一致するか又は地球の近似平面に対して垂直である。更なる実施形態において、変数方位パラメータは、移動車両の下の路面により定義される平面と水平面との間の角度と関係する。この実施形態において、スプリングによる自動車の動きが考慮される。変数方位パラメータは、自動車の縦揺れ及び横揺れにより定義可能である。これらのパラメータにより、オルソ補正タイルをより正確に生成できる。
【００２０】
本発明の一実施形態において、変換する工程は：
ソース画像内の幾何歪みを補正する工程と；
垂直画像を取得するようにカメラの焦点での３Ｄ回転を実行する工程と；
垂直画像をオルソ補正タイルに変換する工程とを含む。
これらの特徴により、最初に全ての定数変化を補正し、その後全ての変数変化を補正できる。
【００２１】
本発明の更なる面は、オルソ補正モザイクを生成する方法であって、
本発明に係るオルソ補正タイル生成方法により、地上カメラを用いて取得されるソース画像からオルソ補正タイル及び対応するメタデータを生成する工程と；
オルソ補正タイル及び対応するメタデータからオルソ補正モザイク及びメタデータを生成する工程とを有する方法に関する。
【００２２】
本発明の一実施形態において、オルソ補正モザイクを生成する工程は：
位置データからオルソ補正モザイクに対する投影座標参照系を定義する工程と；
投影座標参照系及び前記オルソ補正タイルに対応するメタデータにより、オルソ補正モザイク内のオルソ補正タイルの領域を判定する工程と；
オルソ補正タイルの判定された領域の画素をオルソ補正モザイクの画素に変換する工程とを含む。
【００２３】
この実施形態を使用することにより、オルソ補正モザイクを生成できる。最初に、オルソ補正モザイクに対する投影座標参照系が定義される。投影座標参照系は、オルソ補正モザイクの画素の地理位置を定義する。その後、オルソ補正モザイク内の画素又は領域毎に対応するオルソ補正タイル及び領域が判定され、オルソ補正タイル内の領域の値はオルソ補正モザイク内の対応する値を取得するために使用される。このように、オルソ補正モザイクは、複数のオルソ補正タイルの少なくとも一部のモザイクである画像である。
【００２４】
本発明の更なる面は、請求項に記載の方法により取得されるオルソ補正モザイクを記憶するプロセッサ可読記憶媒体、コンピュータ構成にロードされた場合に前記コンピュータ構成が請求項に記載の方法のいずれか１つを実行できるようにする命令を含むコンピュータプログラム製品、及びコンピュータ構成にロードされた場合に前記コンピュータ構成が請求項に記載の方法のいずれか１つを実行できるようにするコンピュータプログラム製品を記憶するプロセッサ可読媒体に関する。
【００２５】
本発明の更なる面は、地表を走行する移動車両に取り付けられた地上カメラにより取得される少なくとも１つの地上画像シーケンスのソース画像から位置が正確な水平情報及び位置が正確な垂直情報の双方を収集する方法であって：
ソース画像を取得する工程と；
ソース画像と関連する位置データであり、車両内の基準位置との関係を定義する定数位置パラメータと、地理座標参照系における車両の基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する工程と；
ソース画像と関連する方位データであり、車両の基準方位に対するカメラの方位と関係する定数方位パラメータと、前記地理座標参照系における車両の基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
水平情報と、それと対応する位置であり、画像データ及びオルソ補正表現の画素座標から地理座標参照系内の位置への変換を定義するメタデータを含む水平情報のオルソ補正表現を取得するために水平情報を少なくとも部分的に含むソース画像をソース画像と関連する位置データ及び方位データにより少なくとも部分的に変換することにより得られた位置とをソース画像から取得する工程と；
少なくとも１つのソース画像から垂直情報を検索し且つソース画像と関連する位置データ及び方位データにより前記垂直情報の位置を特定する工程と；
地図データベースで使用するため、前記垂直情報、前記水平情報及び関連する位置を格納する工程とを有する方法に関する。
【００２６】
本発明のこの面により、１つのデータソースから水平情報及び垂直情報の双方を取得できる。双方の種類の情報に対して、それらを少なくとも部分的に含む１つのソース画像が存在する。この画像により、水平情報及び垂直情報の地理位置を正確に判定できる。通常、垂直情報、例えば標識の支柱は１つの画像内で可視であるが、水平情報、例えば交差点前の車線は複数の画像にわたり存在する。従って、水平情報の正確な位置を取得するため、２つ以上のソース画像からの画素、位置情報及び方位情報が必要な場合がある。水平情報及び垂直情報の正確な地理位置により、双方がそれぞれの位置データに対して同一基準面を有する道路標識等の垂直データ及び中央線等の水平データの双方を有する透視画像を正確に構成できる。１つのデータソースのみが、水平データ及び垂直データの双方を判定するために使用される。全データが１つのデータソースから抽出されるため、非常に正確な相対位置測定値を取得できる。更に、垂直データ及び水平データを抽出するコストは、空中画像から水平データを抽出し且つ地上画像から垂直データを抽出するコストと比較して低い。
【００２７】
本発明の更なる面は、地表を走行する移動車両に取り付けられた地上カメラにより取得される少なくとも１つのソース画像から位置が正確な水平情報及び位置が正確なオブジェクト情報の双方を収集する方法であり、オブジェクトが地面に付着される付着点が少なくとも１つのソース画像の少なくとも１つの画素において可視である方法であって：
少なくとも１つのソース画像を取得する工程と；
少なくとも１つのソース画像と関連する位置データであり、車両内の基準位置との関係を定義する定数位置パラメータと、地理座標参照系における車両の基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する工程と；
少なくとも１つのソース画像と関連する方位データであり、車両の基準方位に対するカメラの方位と関係する定数方位パラメータと、前記地理座標参照系における車両の基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
水平情報と、地理座標参照系内の対応する位置であり、画素のオルソ補正位置が水平情報と関連する少なくとも１つのソース画像と関連する位置データ及び方位データを用いて判定することにより取得された位置とを少なくとも１つのソース画像から取得する工程と；
少なくとも１つのソース画像からオブジェクト情報を取得する工程と；
オブジェクトと地面との付着点に対応する少なくとも１つの画素を判定し且つ少なくとも１つのソース画像と関連する位置データ及び方位データにより地理座標参照系におけるオブジェクトと地面との付着点に対応する少なくとも１つの画素のオルソ補正位置を判定する工程と；
地図データベースで使用するため、地理座標参照系における前記オブジェクト情報、前記水平情報及び関連位置を格納する工程とを有する方法に関する。
【００２８】
本発明のこの面により、デジタル地図で使用するための水平情報及びオブジェクト情報の双方の地理位置を非常に正確に導出できる。本発明により、地面に対応する画素の位置は正確に判定可能である。従って、地面及びオブジェクトの双方と関連する画素の位置は正確に判定され、その結果、オブジェクトの位置が正確に分かる。
【００２９】
本発明は、ソフトウェア、ハードウェア又はソフトウェア及びハードウェアの組み合わせを使用して実現可能である。本発明の全部又は一部がソフトウェアで実現される場合、そのソフトウェアはプロセッサ可読記憶媒体に常駐可能である。適切なプロセッサ可読記憶媒体の例は、フロッピディスク、ハードディスク、ＣＤ ＲＯＭ、ＤＶＤ、メモリＩＣ等を含む。システムがハードウェアを含む場合、ハードウェアは、出力デバイス（例えばモニタ、スピーカ又はプリンタ）、入力デバイス（例えばキーボード、位置指示装置及び／又はマイクロホン）、並びに出力デバイスと通信するプロセッサ及びプロセッサと通信するプロセッサ可読記憶媒体を含んでもよい。プロセッサ可読記憶媒体は、本発明を実現するための動作を実行するプロセッサをプログラム可能とするコードを格納する。本発明の処理は、電話線、あるいは他のネットワーク又はインターネット接続を介してアクセス可能なサーバ上でも実現可能である。
【００３０】
多くの例示的な実施形態を使用し且つ添付の図面を参照して、本発明を以下により詳細に説明する。
【図面の簡単な説明】
【００３１】
【図１】ソース画像からオルソ補正タイルへの変換の一般原理を示す側面図である。
【図２】ソース画像からオルソ補正タイルへの変換の一般原理を示すオルソ補正図である。
【図３】立体画像ペアから２つのオルソ補正タイルへの変換を示す図である。
【図４】図３の２つのオルソ補正タイルを組み合わせることにより取得されるオルソ補正モザイクを示す図である。
【図５】一連の立体画像ペアのオルソ補正モザイクの合成の第１の例を示す。
【図６】一連の立体画像ペアのオルソ補正モザイクの合成の第２の例を示す。
【図７】モバイルマッピング車両及びオルソ補正タイルを示すオルソ補正図である。
【図８】本発明に係る方法の好適な実現例を示すブロック図である。
【図９】オルソ補正モザイク生成器を実現する好適なハードウェアシステムを示すブロック図である。
【図１０】モバイルマッピング車両を示すオルソ補正図である。
【図１１】道路を走行するモバイルマッピング車両を示す側面図である。
【図１２】道路を走行するモバイルマッピング車両を示す背面図である。
【図１３】角度αXでの画像の３Ｄ回転の例を示す図である。
【図１４】水平情報及び垂直情報の生成を概略的に示す図である。
【発明を実施するための形態】
【００３２】
図１は、ソース画像からオルソ補正タイルへの変換の一般原理を示す側面図である。カメラ又はＣＣＤカメラ２０２（図２に図示）内の画像センサ１０１は、一連のソース画像を記録する。ソース画像は、地上カメラにより記録される、或る程度垂直な画像を表す。ソース画像は、例えば１０ｍの変位毎に作動される静止画カメラにより記録される一連の静止画であってもよい。画像センサを具備するカメラは画角αを有する。画角αは、カメラのレンズの焦点距離１０２により判定される。画角αは４５°＜α＜１８０°であってもよい。更にカメラは、画角の中心に存在する観察軸１０３を有する。図１において、観察軸１０３は水平面１０４に対して平行である。画像センサ１０１は、観察軸１０３に対して垂直に取り付けられる。この場合、画像センサ１０１は、「純粋な」垂直ソース画像を記録する。更に、画像センサの高さが水平面、例えば地表に対して既知である場合、画像センサ１０１により記録される画像は、水平面のオルソ補正図を変倍した例を表すオルソ補正タイルに変換可能である。水平方向において適切な解像度で水平画像を取得するためには、画像センサの限られた領域が使用される。図１は、水平面内の部分１０８に対応する画像センサ１０１の部分１０６を示す。オルソ補正タイルの最小許容解像度は、画像センサと水平面内の最遠ポイントとの間の最大距離を判定する。地上カメラから検索されるソース画像は、三角法により任意の垂直面に変換可能である。観察軸が水平面に対して既知の角度で傾斜する場合であっても、オルソ補正タイルはソース画像から取得可能である。
【００３３】
図２は、ソース画像からオルソ補正タイルへの変換の一般原理を示すオルソ補正図である。画角α、観察軸２１８及びカメラ２０２との間の距離は、画像センサ１０１により記録される水平面の部分を判定する。原則として、ソース画像がオルソ補正タイルに変換される場合、ソース画像に対応するオルソ補正タイルは三角形の形状を有する。オルソ補正タイルの境界を図中符号２１０で示す。しかし、本発明は、ナビゲーションシステム等において使用されるデジタル地図の属性を収集するために路面のオルソ補正モザイクを取得するのに特に有益である。尚、オルソ補正タイルは原則として既にオルソ補正モザイクであるが、本説明において、オルソ補正モザイクは複数のオルソ補正タイルを合成したものである。属性の収集及びナビゲーションシステム等に必要な精度は、オルソ補正モザイクの既定の最小解像度を必要とする。これらの必要要件は、ソース画像から取得可能な水平面の部分を制限する。水平面に対する境界カメラの焦点２０８の位置と水平面の領域の境界との間の最大距離２０６は解像度を判定する。更に、実際は、最大距離２０６は、ある特定の道路を走行時の２台の自動車間の最小距離により制限される。そのように最大距離を限定することにより、多くの場合において、オルソ補正タイル内の路面がモバイルマッピング車両の前方を走行する自動車の背面を含まないという利点を有する。更に、最大距離２０６と最小距離２０４との間の差分は、カメラによる画像の後続記録間の最大許容距離を判定する。これは、車両の最大走行速度を制限できる。水平面の矩形は、ソース画像において台形の形をほぼ有する領域に対応する。一実施形態において、オルソ補正タイル２１０は、１６ｍの幅２２０及び１６ｍの長さ２２２を有する領域に対応する。オルソ補正タイルを更に処理するためには、台形の形のオルソ補正タイルを有するのが有利である。
【００３４】
観察軸から距離２１４を有し、且つ焦点２０８から距離２０４を有する画素２１６毎にオルソ補正タイルを取得するためのソース画像の変換の一実施形態において、ソース画像内の対応する位置は、以下に更に詳細に説明する角度測定により判定される。
【００３５】
図３は、画像の立体ペアを上段に示す。下段には、２つの対応する変換オルソ補正タイルを示す。オルソ補正タイルにおける画素の値は、最初にソース画像における対応する位置を三角法又は三角測量により判定し、次にソース画像内の最近接画素の値をコピーすることにより導出可能である。値は、４つ又は９つの最近接画素間の補間によっても取得可能である。ソース画像を解析するためにオブジェクト認識ツールが使用される場合、路面の領域及び路縁又は路肩をソース画像において検出できる。その場合、値は対応する領域に割り当てられる値に対応してもよい。破線３０２及び３０４は、オルソ補正タイルを取得するために使用されるソース画像の領域を示す。好適な実施形態において、オルソ補正タイルは矩形である。立体カメラを使用することにより、相対的に大きな重複領域を有する２つのオルソ補正タイルシーケンスが得られる。図４は、図３の２つのオルソ補正タイルを組み合わせることにより取得されるオルソ補正モザイクを示す。組み合わせは、各オルソ補正タイルの地理位置に基づいてもよく、又はオルソ補正タイルを重ね合わせ且つマッチングした後に実行されてもよい。オルソ補正タイルの地理位置は、移動車両からのＧＰＳ位置、自動車の走行方向又は方位、移動車両上のカメラの位置、並びに移動車両上のカメラの方位から導出可能である。オルソ補正モザイクの左領域４０２及び右領域４０６はそれぞれ、図３の左側のオルソ補正タイル及び右側のオルソ補正タイルから取得される。オルソ補正モザイクの中央領域４０４は、左側又は右側のオルソ補正タイルの対応する領域の領域コピーであってもよい。中央領域４０４は、左側及び右側のオルソ補正タイル内の対応する画素値の平均値であってもよい。１つの立体カメラ又は前方の２つのカメラを使用することの利点は、２つのカメラが前記カメラのうち一方のみよりも大きな角度にわたり画像を記録できるため、より大きな／より広いオルソ補正モザイクを取得できることである。同様に、前方観察用カメラを側方観察用カメラと組み合わせて使用することにより、非常に広い道路又は舗道を有する街路から正確なオルソ補正モザイクを取得できる。
【００３６】
尚、本発明の上記説明において、水平面は路面に対応する。垂直画像を水平画像又はオルソ補正画像に変換する本発明の一般原理を簡潔に説明するため、水平面は路面に対応するとした。これは、ソース画像の画像空間からオルソ補正画像の画像空間への１対１の関係が存在する場合に可能である。これにより、ソース画像の画素をオルソ補正画像の画素上に投影できる。しかし実際は、路面は地球の形状に近似する楕円体に対応しない。路面は、楕円体の表面に対して任意の高さを有することができ且つ楕円体に対して傾斜を有することができる。本発明のこれらの面を以下に説明する。ＭＭＳにより取り込まれる位置データ及び方位データにより、地理座標参照系におけるカメラの位置及び方位を正確に判定できる。更に、位置データ及び方位データにより、ＭＭＳの走行方向のベクトルを正確に判定できる。路面が前記ベクトルに対して平行であると仮定することにより、地理座標参照系において路面の３Ｄ位置が分かる。上述の例は、ソース画像を路面に近似する平面上に投影する方法を示す。地理座標参照系において既知の３Ｄ位置を有する路面をオルソ補正画像の投影座標参照系を定義するメタデータを有するオルソ補正画像上に投影する方法は当業者には周知である。
【００３７】
本発明に係る方法を一実現例により以下に更に詳細に説明する。入力データは、図１０に示すようなモバイルマッピング車両１０００により収集される。モバイルマッピング車両１０００は、ＧＰＳ受信機、並びに場合によっては追加の慣性センサ及び推測航法センサ等の位置決めセンサ１００２と、ジャイロスコープ及び距離測定ユニット等の方位センサ１００４とを備える。これらのセンサは周知である。これらのセンサを用いることにより、地理座標参照系における車両の位置及び方位は非常に正確に判定可能である。更に、モバイルマッピング車両は多くのカメラを備える。２つのカメラ１００６は、車両前方の画像を記録するために自動車前方に取り付け可能である。これら２つのカメラ１００６は、一連の立体画像ペアを生成するように構成可能である。更に、カメラ１００８は自動車からの側方ビューを取得するために左側及び右側に取り付け可能であり、車両後方のカメラ１０１０は、車両後方から見た実世界を記録する。カメラが車両の全ての側に取り付けられる場合、車両周辺の全方向における連続したビューが取得可能である。前方及び後方のカメラにより、同一路面の反対方向からの２つの画像シーケンスを取得できる。これにより、同一路面から２つのソース画像シーケンスを取得できる。これらは、同一路面を表すオルソ補正タイルにおける誤差を除去又は検出するために使用可能である。画像シーケンスは、既定のフレーム速度を有するビデオストリームであってもよい。有利な実施形態において、カメラは、車両が所定の距離を移動する度に写真を記録するように作動されるデジタル静止画カメラである。一実施形態において、所定の距離は１０ｍである。
【００３８】
オルソ補正モザイクを生成するために使用される入力データは２つのグループに分けられる。データの第１のグループは、カメラ毎のモバイルマッピングサービス（ＭＭＳ）セッション全体にわたる定数パラメータである。それらは、車両の局所座標系におけるカメラの位置、較正及び方位に関する。
【００３９】
定数パラメータを以下に示す：
cam_dist＝ＧＰＳ受信機の中心からカメラの焦点までの距離；
cam_pos_rot＝車両の長さ軸に対するカメラ位置の回転；
cam_look_angle＝カメラの観察方向の基本回転；
cam_dist_params＝ソース画像の幾何歪み補正に使用されるパラメータの一群；
cam_rot_x＝角度Xにおける局所カメラ回転；
cam_rot_y＝角度Yにおける局所カメラ回転；
cam_rot_z＝角度Zにおける局所カメラ回転；
cam_f＝カメラの焦点の長さ；
cam_dpx＝ＣＣＤ画像センサの解像度（画素／ｍ）；
cam_dpy＝ＣＣＤ画像センサの解像度（画素／ｍ）；
cam_h＝路面からのカメラの高さ；
in_bmp_width＝ＣＣＤセンサの１行における画素数；
in_bmp_height＝ＣＣＤセンサの１列における画素数；
trans_bmp_width＝オルソ補正タイルの１行における画素数；
trans_bmp_height＝オルソ補正タイルの１列における画素数；
trans_real_width＝水平面におけるオルソ補正タイルの幅のサイズ；
trans_real_height＝水平面におけるオルソ補正タイルの深さのサイズ；
trans_min_z＝カメラの焦点２０８から可視画素までの最小距離；
out_width＝オルソ補正モザイクの１行における画素数；
out_height＝オルソ補正モザイクの１列における画素数；
out_resolution＝オルソ補正モザイクの解像度。
【００４０】
変数パラメータを以下に示す：
car_lat＝ＷＧＳ８４座標系における車両の緯度；
car_lon＝ＷＧＳ８４座標系における車両の経度；
car_heading＝車両の進行角度；
car_roll＝車両の横揺れ；
car_cross_fall＝道路のクロスフォール；
car_pitch＝車両の縦揺れ；
car_slope＝道路の傾斜；
in_bmp_bytes＝ソース画像を表すバイト；
【００４１】
ＷＧＳ８４系は、測地学及びナビゲーションにおいて使用するための地球の固定グローバル基準座標系を定義する世界測地系（ＷＧＳ）である。最新の改訂版は１９８４年発行のＷＧＳ８４であり、これは２０１０年頃まで有効である。ＷＧＳ８４は地理座標参照系である。原則として、本発明は任意の地理座標参照系に対して使用可能である。
【００４２】
オルソ補正モザイクの作成は、３つの段階に基づく。第１の段階の主要な目的は、ソース画像内の幾何歪みを補正することである。幾何歪みは、カメラ内のレンズ系の光学収差及びカメラの感光素子、例えばＣＣＤセンサの不規則性である。第２の段階は、補正されたソース画像からオルソ補正タイルへの変換であり、最後の段階は、ある特定の道路セグメントの路面の地図を取得するためにオルソ補正タイルからオルソ補正モザイクを生成することである。
【００４３】
第２の段階において、最初に、補正されたソース画像は、車両の地面に対して垂直な画像に対応する中間画像を取得するために３Ｄ処理される。この段階において、定数方位パラメータcam_rot_x、cam_rot_y、cam_rot_z及びcam_f、並びに定数位置パラメータcam_dpx及びcam_dpyを使用して補正画像を処理し、中間画像を取得する。３Ｄ処理を実行するため、周知の角度測定式が使用される。この段階において、角度cam_rot_x、cam_rot_y、cam_rot_z、解像度cam_dpx、cam_dpy及び焦点距離cam_fを用いて焦点での画像３Ｄ回転が実行される。
【００４４】
画像３Ｄ回転は、次式により実行可能である：
式中：XFC＝画像の中心からのX距離、
YFC＝画像の中心からのY距離、
f＝画素を単位とする焦点距離（cam_f）、
αX＝cam_rot_x、
αY＝cam_rot_y、
αZ＝cam_rot_z、
XNEW＝３Ｄ回転画像の中心からのX距離、
YNEW＝３Ｄ回転画像の中心からのY距離、
YFC＝画像の中心からのY距離。
【００４５】
図１３は、角度αXでの回転の例を示す図である。ソース画像１３０２内の画素P(XFC,YFC)は、中間画像１３０４内の画素P(XNEW,YNEW)になる。正確なオルソ補正タイルを取得するため、cam_rot_x、cam_rot_y及びcam_rot_zは、約０．１度の精度で判定される必要がある。前記精度でカメラを取り付けることはほぼ不可能である。従って、固定較正パラメータcam_rot_x、cam_rot_y及びcam_rot_zはカメラ取り付け後に判定され、中間画像を算出するために使用される。
【００４６】
その後、中間画像は垂直画像からオルソ補正タイルに変換される。この特別な例において、「垂直」は、画像が地面又は車両の走行面に対して垂直であることを意味する。
【００４７】
最初に、オルソ補正タイルの解像度が次式により判定される：
次に、自動車に関する変数変換パラメータcar_roll、car_pitch、car_slope、car_cross_fallを使用して局所写真角度を算出する。パラメータcar_slope及びcar_cross_fallの値は、地理座標参照系において地表に近似する楕円体の表面に対する路面の角度を定義し、パラメータcar_roll及びcar_pitchの値は、車両の加速度／減速度、車両の速度、並びに道路及び路面の曲率に依存する。図１１は、いくつかの変換パラメータを説明するためにモバイルマッピング車両１１００の側面図を示す。定数変換パラメータcam_rot_x１１０２は、車両が静止している場合のカメラ１１０６の観察軸１１０４と車両の下の路面１１０８との間の角度により定義される。図１１において、車両が静止している場合、車両の底板は路面に対して平行であると仮定する。変数方位パラメータcar_pitchは、走行方向に対する車体の底板と水平面１１６の間の実際の角度である。尚、本発明によると、水平面は地球の形状に近似する地理座標参照系により定義される表面に対応する。上述の実施形態において、路面は地球の近似形状上にあると仮定した。しかし、通常これは当てはまらない。更に、ソース画像からオルソ補正タイルへの正確な変換を可能にするため、car_slope１１１４を考慮する必要がある。car_slope１１１４は、水平面１１１６に対する路面１１０８の走行方向における傾斜角度である。走行中、car_slope及びcar_pitchの値は、車両の加速及び減速に応じて異なる。差分１１１０は、幅軸１１１２での車両の回転に対応する。この回転は、車両１１００の加速及び減速により引き起こされる。ＧＰＳ、慣性システム及び距離測定器（ＤＭＩ）により取り込まれる位置データ及び方位データからcar_slope１１１４を直接導出する方法は当業者には周知である。差分１１１０は、車両のマススプリング挙動をモデル化する関数により近似可能である。この関数に対する入力は、車両の進行方向における加速度であり、これはＤＭＩシステムから入手可能である。更に、car_pitchは、car_slope１１１４と車両の底板の実際の方位との間の差分から導出可能である。
【００４８】
図１２は、いくつかの他の変換パラメータを説明するためにモバイルマッピング車両１２００の背面図を示す。定数変換パラメータcam_rot_z１２０２は、車両が静止している場合のカメラ１２０６のソース画像の水平線１２０４と車両の下の路面１２０８との間の角度により定義される。図１２において、車両が静止している場合、車両の底板は路面に対して平行であると仮定する。変数方位パラメータcar_rollは、車体の底板と走行方向に対して垂直な水平面１２１６との間の実際の角度である。更に、ソース画像からオルソ補正タイルへの正確な変換を可能にするため、car_cross_fall１２１４を考慮する必要がある。car_cross_fall又は傾斜１２１４は、水平面１２１６に対する道路１２０８の両側の高低差により定義される角度である。通常、道路の傾斜は、車両がより容易にカーブを曲がるのを補助する。走行中、car_roll及びcar_cross_fallの値は、車両の傾きにより異なる。差分１２１０は、車両１２００の長さ軸１２１２での車両の回転に対応する。この回転は、スプリング系を使用してカーブを曲がることにより引き起こされる。ＧＰＳ、慣性システム及び距離測定器（ＤＭＩ）により取り込まれる位置データ及び方位データからcar_rollを直接導出する方法は当業者には周知である。 差分１２１０は、カーブにおける車両のマススプリング挙動をモデル化する関数により判定可能である。この関数に対する入力は、車両の進行方向に対して垂直な車両の加速度である。これは、慣性航法システムから入手可能であり、又はＤＭＩシステムから入手可能な車両の軌道線及び速度から導出可能である。このように、傾斜１２１４は、car_rollから差分１２１０を減算することにより判定可能である。直線道路の場合、car_cross_fall１２１４は、５０ｍのウィンドウにわたるcar_rollを平均することにより近似可能である。このように、路面の突起による自動車の横揺れが原因となるオルソ補正画像上への投影における誤差は減少可能である。車両のスプリングの長さの同時測定等、車両の下の路面に対する車両の横揺れを導出する他の簡単な解決策は当業者には認識されるだろう。
【００４９】
次式を使用して、変数変換パラメータから局所写真角度を判定する：
Δroll = car_roll - car_cross_fall
Δpitch = car_pitch - car_slope
local_rot_x = Δroll・sin(cam_look_angle) + Δpitch・cos(cam_look_angle)
local_rot_z = Δroll・cos(cam_look_angle) - Δpitch・sin(cam_look_angle)
上記式において、同一時間インスタンスにおけるパラメータcar_roll、car_cross_fall、car_pitch及びcar_slopeが判定され、ソース画像（又は、ステレオペアの場合は複数の画像）と関連付けられる。これは、モバイルマッピング車両が相対的に平坦な道路を走行している場合に実行可能である。その場合、モバイルマッピング車両の下のcar_cross_fall及びcar_slopeは、ソース画像における道路のcar_cross_fall及びcar_slopeとほぼ同様である。パラメータΔpitch１１１０は、幅軸１１１２での車両の回転角に対応し、パラメータΔroll１２１０は、長さ軸１２１２での車両の回転角に対応する。
【００５０】
しかし、モバイルマッピング車両が平坦でない路面、例えば古い都市の橋又は丘陵地に建設された都市を走行している場合、ソース画像により記録されるモバイルマッピング車両の方を向く路面のcar_cross_fall及びcar_slopeは、ソース画像記録時の時間インスタンスにおけるモバイルマッピング車両の下の路面のcar_cross_fall及びcar_slopeとは大幅に異なる場合がある。その場合、ソース画像からオルソ補正タイルへの変換は、対応するオルソ補正タイルを取得するために使用されるソース画像の領域に対応する路面の位置にモバイルマッピング車両があった時点で登録されたcar_cross_fall及びcar_slopeを使用することにより改善可能である。この場合、オルソ補正タイルを取得するための対応する位置データ及び方位データによるソース画像の変換は、異なる時間インスタンスにおいて取得された方位データを使用する。例えば、ソース画像を取得するために静止画カメラが使用され、写真が対応する位置データ及び方位データと共に１０ｍ毎に記録され、且つオルソ補正タイルがモバイルマッピング車両の前方５〜２５ｍの路面に対応する場合、２つの後続ソース画像のcar_slope及びcar_cross_fallを変換に使用できる。車両前方のcar_slope及びcar_cross_fallを近似するため、２つの後続ソース画像のcar_slope及びcar_cross_fallの平均値を使用することも可能である。このように、地理座標参照系における路面に近似する平面の位置及び方位は定義され、これにより平面をオルソ補正タイル上に正確に投影できる。
【００５１】
オルソ補正タイルを取得するため、ソース画像と関連する位置データ及び方位データに依存して、ソース画像内で観察される地表に対応する平面が推定されることは図１１及び図１２から明らかである。位置データ及び方位データにより、車両の下の路面の位置及び方位を判定できる。一実施形態において、車両の下の路面に対応するのは、ソース画像内で観察される車両前方の平面の近似である。道路の傾斜が徐々に変化するため、殆どの場合においてこれは適切な近似である。別の実施形態において、先に取り込まれたソース画像内で観察される路面に車両が位置決めされる時に取り込まれたソース画像と関連する位置データ及び方位データは、路面の平面を近似するために使用される。このように、ソース画像内で観察される路面の位置及び方位はより正確に推定可能であり、それによりオルソ補正タイルの精度を向上できる。
【００５２】
次に、オルソ補正タイル２１０の画素２１６毎に、仮想水平面におけるカメラの焦点２０８からの距離２１２（pt_dist_z）及びカメラの観察軸２１８からの距離２１４（pt_dist_x）が判定される。res_x、res_y、trans_min_z、trans_bmp_width及びtrans_bmp_heightの値。
【００５３】
垂直画像の画素のY座標（src_temp_y）及びX座標（src_temp_x）は次式により算出される：
式中、src_temp_y及びsrc_temp_xの単位はＣＣＤ上でのメートルである。変数src_temp_xは、画像の中心からのＣＣＤ上でのメートルを単位とするx軸距離を定義する。src_temp_y、src_temp_x及びlocal_rot_zの値により、ＣＣＤ上でのメートルを単位とするX,Yソース座標(src_x_m,src_y_m)は次式を用いて判定できる：
src_x_m = src_temp_x・cos(local_rot_z) - src_temp_y・sin(local_rot_z)
src_y_m = src_temp_x・sin(local_rot_z) + src_temp_y・cos(local_rot_z)
【００５４】
最後に、本発明の一実施形態において、オルソ補正タイルの画素の位置に対応する垂直画像の画素の写真座標は次式により判定される：
src_x_px = in_bmp_width/2 + floor(src_x_m*cam_dpx)
src_y_px = in_bmp_height/2 + floor(src_y_m*cam_dpy)
【００５５】
本発明の一実施形態において、中間垂直画像の(src_x_px,src_y_py)画素からのRGB値は、オルソ補正タイルの(dst_x,dst_y)画素にコピーされる。オルソ補正タイルの画像に対応する画素が中間垂直画像内に存在しない場合、オルソ補正タイル内の画素は既定値を取得する。既定値は、黒色画素（＝RGB(0,0,0)）に対応するのが好ましい。本実施形態において、オルソ補正タイルの画素の値は、中間垂直画像内の判定された対応する画素の値のコピーである。
【００５６】
別の実施形態において、src_x_m及びsrc_y_mの値は、中間垂直画像内の４つの最隣接画素を判定するために使用可能である。その後、オルソ補正タイル内の画素の値は、例えば４つの値を平均するか又は補間により、前記４つの最隣接画素の値から導出可能である。
【００５７】
図５は、一連の立体画像ペアのオルソ補正モザイクの合成の第１の例を示す。図５のオルソ補正モザイクは、３つの後続立体画像ペア５０２、５０４、５０６を組み合わせることにより取得される。従って、オルソ補正モザイクを取得するために６つの画像が使用された。いくつかの画素値は、１つのオルソ補正タイルのみから取得可能である。他の画素値は、２つ以上のオルソ補正タイルから取得可能である。その場合、オルソ補正タイルを重ね合わせる際に重複領域５０３、５０５が存在する。重複領域における画素値を取得する複数の方法が存在する。画素値は１つのオルソ補正タイルのみから取得可能であり、あるいは画素値は、例えば平均することにより全ての重複画素から導出可能である。
【００５８】
図６は、一連の立体画像ペアのオルソ補正モザイクの合成の第２の例を示す。図５の例において、後続画像は車両が直進する間に取得されたが、図６の例において、後続画像は車両が道路のカーブに沿って走行している間に取得された。自動車の方向を６０２により示す。図６は、４つの後続オルソ補正タイル６０４、６０６、６０８及び６１０を示す。各オルソ補正タイルの方位がオルソ補正モザイク内で変化することが図６から分かる。オルソ補正タイルは、画像座標系から地理座標参照系への１対１の関係を記述する各画像に対応する地理参照データを含むメタデータを使用することにより適切に重ね合わせられる。図６に示す例において、オルソ補正モザイクのいくつかの画素の値は、３つの異なるオルソ補正タイルから取得可能である。６１２及び６１４により示す２つの領域は前記画素を含む。
【００５９】
尚、垂直／オルソ補正タイル変換を実行するためには、図示される例に示すような画像のステレオペアは必ずしも必要ない。カメラの方位較正及び位置測定が正確であり且つ変換された道路ポイントが自動車と同一平面に存在する限り、オルソ補正タイルは正確である。
【００６０】
オルソ補正タイルからオルソ補正モザイクを取得するため、以下のアルゴリズムが使用される。最初に、局所座標投影が作成される。局所座標投影は、ＭＭＳにより収集されたセッションデータからの地理参照データに基づいてもよい。また、局所座標投影は、地理座標参照系内の地理位置と１対１の関係を定義する座標を有するユーザ定義領域により定義されてもよい。局所座標投影は、オルソ補正モザイク内の画素の位置と地理位置との間の関係を定義する。オルソ補正タイル毎に、オルソ補正モザイクにおけるオルソ補正タイルの位置が判定される。第１に、オルソ補正モザイクにおける自動車の位置が、car_lon、car_latの値x,yを使用して判定される。第２に、オルソ補正モザイクにおけるオルソ補正タイル７００の基本位置７１２が、水平フレームと関連するcar_heading７０２、cam_dist７０４、cam_pos_rot７０６、cam_look_angle７０８、trans_min_z７１０の値を使用して判定される。図７は、モバイルマッピング車両の上面図とオルソ補正タイル及び対応するパラメータとを示す。尚、車両に対する図７のカメラの方位は、路面のオルソ補正モザイクを取得するのに理想的ではない。この図７は、各パラメータの定義を明確にする。カメラが車両の前方に取り付けられ且つ車両前方の路面を記録するカメラの理想的な方位を図７が示す場合、パラメータの一部は明確にならない。パラメータcar_headingは、自動車の走行方向７０１と既定の基準方向７０３との間の角度である。既定の基準方向７０３は、北極を指す方向であってもよい。パラメータcar_pos_rot７０６は、自動車の方向７０１と線７０４との間の角度により定義される。線７０４は、カメラと自動車の位置x,yとの間の距離であるパラメータcam_distに対応する。位置x,yは、ＧＰＳ受信機により取得される自動車の位置に対応する。パラメータcam_look_angle７０８は、カメラの観察軸７１０と自動車の方向７０１との間の角度により定義される。
【００６１】
第３に、オルソ補正モザイクにおけるオルソ補正タイルの隅の位置が、オルソ補正タイルと関連するtrans_bmp_width、trans_bmp_height、trans_real_width及びtrans_real_heightの値を使用して判定される。第４に、オルソ補正モザイクにより定義される領域内に含まれる少なくとも１つの画素を有するオルソ補正タイルが選択され、オルソ補正モザイクにより定義される領域内に含まれる画素の領域に対応するオルソ補正モザイク内の画素の領域が、第３の動作において判定された隅の位置、並びにパラメータout_width、out_height及びout_resolutionを使用して判定される。判定された領域により、オルソ補正モザイクに対するモザイクが生成され、この場合、モザイクの各片はオルソ補正タイル全体又はオルソ補正タイルの少なくとも一部を表す。最後に、モザイクの片を使用してオルソ補正モザイクを構成する。モザイクの各片は、１つのオルソ補正タイルの１つの領域に対応する。本発明の有効な実現例は、単一タイルが局所投影（例えば、軌道線の中央として設定される基本経度を用いるガウス−クリューゲル投影）においてオルソ補正される場合である。オルソ補正タイルの前記領域の画素は、オルソ補正タイルの適切な線形変換後、オルソ補正モザイクに対する画素値を取得するために使用可能である。線形変換は、ＷＧＳ−８４等のグローバル座標系への所定の局所投影の変換パラメータにより定義される。線形性は変換を加速するために仮定され、そのような仮定により発生する潜在誤差は、画素のサイズより低い複数の要素である。
【００６２】
オルソ補正タイルのモザイクを介して取得されるオルソ補正モザイクにより、少なくとも車線情報、水平案内標識、車線接続性属性、道路の列及び道路の幅を容易に解釈できる。
【００６３】
図８は、本発明に係る方法の好適な実現例を示すブロック図である。道路を走行中のモバイルマッピング車両は、複数のカメラにより車両の周辺、特に路面を記録する。更に、モバイルマッピング車両の地理位置が同時に記録される。記録は、モバイルマッピングシステム３Ｄセッション中に実行される。記録されたデータは、最初に、垂直／水平変換を実行する変換処理に供給される。用語「垂直」は、カメラの画角が路面に対して平行であることに限定されず、画角が路面を少なくとも部分的に含む限り、路面に対して垂直ではない任意の適切な画角であってもよいことを意味する。変換処理は、モバイルマッピングシステム３Ｄセッションから位置データ及び方位データを検索し、ＭＭＳ位置決めシステム及びアルゴリズムにより定数パラメータ及び変数パラメータを生成する。
【００６４】
更に、記録された画像シーケンスは、ＭＭＳデータ読取り装置により検索される。画像シーケンスは、定数パラメータ及び変数パラメータと共に変換ステップに供給され、変換ステップにおいて、垂直カメラ画像は地理方向を付けられたオルソ補正タイルに変換される。一実施形態において、オルソ補正タイルは、当業者には周知であるwindows *.avi形式等の画像シーケンスとして格納され、x座標、y座標及び高さ座標は画像の方位と共に、オルソ補正タイルと関連するメタデータを形成するＸＹＨフレーム位置ファイル及びＸＹＨフレーム方位ファイルに格納される。
【００６５】
オルソ補正タイルを含むＡＶＩフレームファイル、並びにＸＹＨフレーム位置ファイル及びＸＹＨフレーム方位ファイルを含むメタデータはモザイク生成処理に供給される。この処理は、供給されたファイルを処理してオルソ補正モザイクを取得する。オルソ補正モザイクは、多くのオルソ補正タイルを組み合わせて単一の合成写真にすることにより取得される。第１に、ＡＶＩフレームファイル及びＸＹＨフレームファイルは、ＡＶＩ及びＸＹＨ読取りモジュールにより検索される。第２に、ＸＹＨファイルにおいて発見される地理情報は投影座標系に変換され、オルソ補正タイルの画素からオルソ補正モザイクの画素への変換が判定される。オルソ補正モザイクの片を生成されるために使用されるモザイクが判定される。フレームから応答モザイクへの挿入モジュールは、モザイクの各片の画素の値を対応するＡＶＩフレームから算出する。最後に、保存モジュールはモザイクの全片を組み合わせてオルソ補正モザイクを取得し、それをメモリに格納する。メモリは、フラッシュメモリ、ＲＡＭ、光ディスク及びハードディスク等の任意のプロセッサ可読記憶媒体である。尚、オルソ補正モザイクは、全ての有用な地理座標参照系、投影座標系又は局所空間座標系に基づく地図を生成するために容易に使用可能である。座標系は、実行される変換を定義する。鳥瞰地図も、オルソ補正モザイクを変換することにより非常に容易に取得可能である。
【００６６】
図１４は、地理カメラにより取得される一連のソース画像１４０１を示す。ソース画像１４００は、水平情報及び垂直案内標識情報の双方を含む。関連するオルソ補正モザイク１４０７を一連のソース画像１４０１の下に示す。画像１４００内の破線台形１４０４は、オルソ補正タイル１４０９の対応する境界を示す。ソース画像内の水平情報は、中央線及び境界線を有する路面１４０６に対応する。ソース画像１４００内の垂直案内標識情報は、８０ｋｍ／ｈの制限速度を示す道路標識１４１０に対応する。本発明に係る方法は、オルソ補正タイル１４０９を取得するために使用される。オルソ補正タイル１４０９は、技術者が座標参照系内の対応する相対及び／又は絶対位置座標を画素毎に判定できるようにする関連位置情報を有する。
【００６７】
オルソ補正モザイク１４０７は、オルソ補正タイル１４０９及び他のソース画像から生成されたオルソ補正タイルを処理することにより取得された。更に、技術者が対応する相対及び／又は絶対位置座標をオルソ補正モザイク１４０７の画素毎に判定できるようにするため、関連位置情報が生成される。関連位置情報は、オルソ補正モザイク１４０７の全ての隅の地理位置により定義可能である。別の実施形態において、関連位置情報は、オルソ補正モザイク１４０７の既定の参照画素１４０８の地理位置に対する画像の水平及び垂直解像度、並びに既定の基準方位軸（不図示）に対するオルソ補正モザイクの方位により定義可能である。
【００６８】
水平道路情報はオルソ補正モザイク１４０７から抽出され、関連位置はオルソ補正モザイク１４０７の基準位置に関して判定される。一実施形態において、抽出された水平情報は線として格納される。抽出された水平情報は、一時データベース１４３０に格納可能である。
【００６９】
道路標識は、手動又は自動で検出可能である。道路標識１４１０が検出されると、その位置は、案内標識が可視である一対の画像から周知の写真測量法により識別可能である。道路標識が構造物、例えば支柱、建物の壁等により地面に付着されているのがソース画像内で見えない場合、技術者は一対の画像により位置を判定できる。例えば支柱により道路標識が地面に付着されているのが見える場合、支柱が地面に接触するソース画像内の画素を使用して、地理座標参照系における標識支柱の位置を正確に判定できる。更に、道路標識の標準化された特性は、道路標識の位置を判定するために使用可能である。例えば、画像における道路標識のサイズは、カメラと道路標識との間の距離を判定するために使用可能である。位置は、オルソ補正タイルの基準位置、又は中央線のある特定の位置等のソース画像における水平情報の位置と相関関係にある。一実施形態において、抽出された案内標識情報は、対応する案内標識の種類指標と共にポイントとして格納される。案内標識の種類指標は、道路標識のグラフィック表現を含むデータベースに対するポインタであり、この場合、ポインタは道路標識の検出された種類を示す。抽出された垂直案内標識情報は、一時案内標識データベース１４４０に格納可能である。
【００７０】
最後に、抽出された水平道路情報及び関連位置データ、並びに抽出された垂直案内標識情報及び関連位置データは、デジタル地図データベース１４５０に格納可能である。水平道路情報、垂直案内標識情報及びそれぞれの位置データは、水平道路情報及び垂直案内標識情報を含む道路のグラフィック表現を生成するためにナビゲーションシステムにおいて使用可能である。水平道路情報及び垂直案内標識情報の双方が同一のデータソース、すなわち地上カメラにより取得される一連のソース画像から検索されるため、２種類の情報の互いに対する相対位置は非常に正確である。
【００７１】
上記説明において、取り込まれる水平情報は２つ以上のソース画像にわたり存在すると仮定する。１つのソース画像において可視である水平情報の場合、地理座標参照系における位置を取得するためにオルソ補正モザイクを生成する必要がないことは明らかである。従って、水平情報及び垂直情報を完全に含むソース画像は、水平情報及び垂直情報の双方の位置を正確に判定するために使用可能である。ソース画像において垂直情報が地面（＝仮想水平面）に接触する付着点の画素のx,y位置は、オルソ補正画像内のx,y位置に変換される。オルソ補正画像のメタデータにより、対応する地理位置を算出できる。
【００７２】
図９は、上述の方法を実行するオルソ補正モザイク生成器を実現するために使用可能なコンピュータシステムの上位ブロック図を示す。
【００７３】
図９のコンピュータシステムは、プロセッサユニット９１２及びメインメモリ９１４を含む。プロセッサユニット９１２は、単一マイクロプロセッサを含んでもよく、又はコンピュータシステムをマルチプロセッサシステムとして構成するために複数のマイクロプロセッサを含んでもよい。メインメモリ９１４は、プロセッサユニット９１２により実行する命令及びデータの一部を格納する。本発明の方法がソフトウェアにおいて完全に又は部分的に実現される場合、メインメモリ９１４は、動作時に実行可能コードを格納する。メインメモリ９１４は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）のバンク及び高速キャッシュメモリを含んでもよい。
【００７４】
図９のシステムは、大容量記憶装置９１６、周辺装置９１８、入力デバイス９２０、携帯記憶媒体ドライブ９２２、グラフィックスサブシステム９２４及び出力表示装置９２６を更に含む。簡潔にするため、図９に示す構成要素は、単一バス９２８を介して接続されるものとして示される。しかし、構成要素は１つ以上のデータ搬送手段を介して接続されてもよい。例えば、プロセッサユニット９１２及びメインメモリ９１４はローカルマイクロプロセッサバスを介して接続されてもよく、大容量記憶装置９１６、周辺装置９１８、携帯記憶媒体ドライブ９２２及びグラフィックスサブシステム９２４は、１つ以上の入出力（Ｉ／Ｏ）バスを介して接続されてもよい。磁気ディスクドライブ又は光ディスクドライブを用いて実現されてもよい大容量記憶装置９１６は、各カメラのジオコーディングされた画像シーケンス、カメラの較正情報、不変位置パラメータ及び可変位置パラメータ、不変方位パラメータ及び可変方位パラメータ、オルソ補正タイル及びオルソ補正モザイク、並びにプロセッサユニット９１２により使用される命令等のデータを格納する不揮発性記憶装置である。一実施形態において、大容量記憶装置９１６は、メインメモリ９１４にロードするために、本発明を実現するためのシステムソフトウェア又はコンピュータプログラムを格納する。
【００７５】
携帯記憶媒体ドライブ９２２は、フロッピディスク、マイクロドライブ及びフラッシュメモリ等の携帯不揮発性記憶媒体と関連して、図９のコンピュータシステムとの間でデータ及びコードを入出力するために動作する。一実施形態において、本発明を実現するためのシステムソフトウェアは、そのような携帯媒体の形態のプロセッサ可読媒体に格納され、携帯記憶媒体ドライブ９２２を介してコンピュータシステムに入力される。周辺装置９１８は、更なる機能性をコンピュータシステムに追加するための入出力（Ｉ／Ｏ）インタフェース等の任意の種類のコンピュータ支援デバイスを含んでもよい。例えば、周辺装置９１８は、コンピュータシステムをネットワークにインタフェースするためのネットワークインタフェースカード、モデム等を含んでもよい。
【００７６】
入力デバイス９２０は、ユーザインタフェースの一部を提供する。入力デバイス９２０は、英数字及び他のキー情報を入力するための英数字キーパッド、あるいはマウス、トラックボール、スタイラス又はカーソル方向キー等の位置指示装置を含んでもよい。文字情報及び図形情報を表示するため、図９のコンピュータシステムはグラフィックスサブシステム９２４及び出力表示装置９２６を含む。
【００７７】
出力表示装置９２６は、ブラウン管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）又は他の適切な表示装置を含んでもよい。グラフィックスサブシステム９２４は、文字情報及び図形情報を受信し、表示装置９２６に出力するために情報を処理する。出力表示装置９２６は、経路発見判定の結果を報告し、オルソ補正モザイクを表示し、案内を表示し、確認情報を表示するため及び／又はユーザインタフェースの一部である他の情報を表示するために使用可能である。図９のシステムは、マイクロホンを含むオーディオシステム９２８を更に含む。一実施形態において、オーディオシステム９２８は、マイクロホンから音声信号を受信するサウンドカードを含む。更に、図９のシステムは出力デバイス９３２を含む。適切な出力デバイスの例は、スピーカ、プリンタ等を含む。
【００７８】
図９のコンピュータシステムに含まれる構成要素は、汎用コンピュータシステムにおいて通常見られる構成要素であり、当業界において周知であるそのようなコンピュータ構成要素の広範な種類を表すことを意図する。
【００７９】
従って、図９のコンピュータシステムは、パーソナルコンピュータ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ等である。コンピュータは、異なるバス構成、ネットワーク化プラットフォーム、マルチプロセッ（登録商標）サプラットフォーム等を更に含むことができる。UNIX（登録商標）、Solaris、Linux、Windows（登録商標）、Macintosh OS及び他の適切なオペレーティングシステムを含む種々のオペレーティングシステムが使用可能である。
【００８０】
上述の方法は自動的に実行可能である。画像によっては、画像処理ツール及びオブジェクト認識ツールが何らかの補正を必要とする場合がある。例えば、オルソ補正タイルを他のオルソ補正タイル又は部分的に生成されたオルソ補正モザイクに重ね合わせた結果、オルソ補正モザイク内に望ましくない可視歪みが発生する場合がある。その場合、方法は、中間結果の確認又は適合を可能にする任意の検証動作及び手動適合動作を含む。これらの動作も、オルソ補正モザイク生成の中間結果又は最終結果を受け入れるのに適している。
【００８１】
本発明の上述の詳細な説明は、例示及び説明のために与えられた。これは、全ての実施形態を含むこと又は本発明を開示される形態に限定することを意図せず、上記の教示を鑑みて多くの変更及び変形が可能であることは明らかである。例えば、本発明は、ソース画像において検出可能な任意の種類のオブジェクトの位置を正確に判定するのにも適している。説明された実施形態は、本発明の原理及びその実際の用途を最適に説明し、それによって他の当業者が、種々の実施形態において及び考えられる特定の使用に適した種々の変更を用いて本発明を最適に利用できるようにするために選択された。本発明の範囲は、添付の請求の範囲により定義されることが意図される。
【技術分野】
【０００１】
本発明は、オルソ補正タイル（orthorectified tile）を生成する方法に関する。更に本発明は、オルソ補正タイルを記憶するプロセッサ可読記憶媒体、オルソ補正タイルを生成するコンピュータ構成に関する。更に本発明は、地上カメラにより取り込まれる少なくとも１つの地上画像シーケンスのソース画像から、位置が正確な水平情報及び位置が正確な垂直情報の双方を収集する方法、並びに地上カメラにより取得され且つオブジェクトと地面との付着点が可視である少なくとも１つのソース画像から、位置が正確な水平情報及び位置が正確なオブジェクト情報の双方を収集する方法に関する。
【背景技術】
【０００２】
ナビゲーションシステム等において使用されるデジタル地図データベースのため、多くの水平道路情報、例えば車線分離帯、道路の中央線等を収集する必要がある。この情報は、高解像度空中オルソ補正画像を解釈することにより取得可能である。オルソ補正画像は、上方から見た地上の特徴をそれらの正確な地上位置に示し且つカメラ及び飛行特性により引き起こされる歪み、並びに起伏のずれが写真測量技術を使用して除去された「縮尺補正」画像である。オルソ補正画像は、写真の縮尺が均一であるように、すなわち写真が地図と同等であると考えられるように幾何学的に補正された（オルソ補正された）空中写真の一種である。オルソ補正画像は地形の起伏、レンズの歪み及びカメラの傾斜を調整された地表の正確な表現であるため、実際の距離を測定するために使用可能である。オルソ補正図は基準面に対して直角に投影するが、斜視図は単一の固定位置又は視点から表面を基準面に投影する。この点で、オルソ補正図は斜視図とは異なる。オルソ補正画像は、任意の適切な地図投影により取得可能である。地図投影は、円筒図法、擬円筒図法、混成図法、円錐図法、擬円錐図法又は方位図法等の表面投影であってもよい。投影は、距離プロパティの保存による投影であってもよい。地図投影は、それらが正射投影であり、すなわち基準面（地球の形状に近似する楕円体）の表面に対して垂直な線に沿って見た場合に各画素がその表面上の点を表すという点で共通する。従って、地表のオルソ補正画像の各画素は、地球の形状に近似する楕円体に対して垂直な線に沿って見た地表図にほぼ対応する。
【０００３】
上述の投影制約に加えて、オルソ補正画像は、アルゴリズムがオルソ補正画像の任意の画素を地理座標参照系内のポイントに関連付けられるようにするメタデータを含む。地球の形状に近似する楕円体上での各画素の正確な位置が既知であるため、地上の特徴、例えば水平道路情報の位置及びサイズはオルソ補正画像から取得（retrieve)可能であり、非常に正確な距離及び地球座標が計算可能である。ジオコーディングされたオルソ補正画像のメタデータは、地理座標参照系において対応する位置を画素毎に判定するための投影座標参照系を定義する。そのような高解像度オルソ補正画像は、２５ｃｍ以下の画素サイズを有する必要がある。そのような画像を空中写真又は衛星写真を用いて取得するには非常にコストがかかり、全ての道路水平情報が取り込まれるという保証もない。
【０００４】
オルソ補正画像は、空中写真から非常に効率的に取得可能である。しかし、誤差が発生することが多いため、地理位置データは不正確にマッピングされる。主な問題は、通常、空中画像が地表に対して厳密に垂直に撮影されないことである。写真が地表に対してほぼ垂直に撮影される場合であっても、厳密に垂直なのは写真の中心のみである。そのような画像をオルソ補正するためには、地形高度情報を更に取得する必要がある。空中画像がオブジェクトの正確な高さ情報を含まないため、オルソ補正画像を判定するために使用される三角測量処理と組み合わせた場合、そのような画像は最大数十メートルも不正確になる場合がある。重なり合う画像を撮影し且つ同一の空中カメラからの後続画像から取得される同一面を比較することにより、精度を向上できる。しかし、コストに対して得られる精度は依然として制限される。
【０００５】
更に、ナビゲーションシステム等において使用されるデジタル地図データベースのため、「垂直」道路情報、例えば制限速度や方向案内標識等を収集する必要がある。本願において、用語「水平」データ又は情報は、地表に対して平行な表面を有するオブジェクトに対応する。用語「垂直」データ又は情報は、地表上に位置決めされ且つ地表に対して平行な観察軸を用いて観察可能なオブジェクトに対応する。垂直道路情報は、上方から見下ろした通常の空中画像又は衛星画像からは取得できない。現在、垂直道路情報は、移動収集デバイスにより収集される水平な写真画像及び他のデータを解析及び解釈することにより取得可能である。自動車又はバン等の地上車両であるモバイルマッピング車両は、デジタル地図データベースを改善するためのモバイルデータを収集するために使用される。改善例は、交通標識、進路標識、交通信号、街路名を示す街路標識等の場所である。
【０００６】
モバイルマッピング車両は、場合によっては一部が立体カメラである多くのカメラを有し、バンが高精度ＧＰＳ、並びに他の位置及び方位判定機器（例えば、慣性ナビゲーションシステム−ＩＮＳ）を車載するため、それら全てのカメラの地理位置は正確に決められる。道路網を走行中、ジオコーディングされた画像シーケンスが取り込まれる。「ジオコーディングされる」とは、ＧＰＳ受信機及び場合によってはＩＮＳにより計算された位置、並びに画像と関連するタイトルが画像のメタデータに添付されることを意味する。
【０００７】
モバイルマッピング車両はオブジェクト、例えば建物又は路面の２つ以上の画像シーケンスを記録し、画像シーケンスの画像毎に、地理座標参照系における地理位置が前記地理位置に対する画像シーケンスの位置データ及び方位データと共に正確に判定される。対応する地理位置情報を有する画像シーケンスをジオコーディングされた画像シーケンスと呼ぶ。他のデータも他のセンサにより収集され、且つ同時に及び同様にジオコーディングされてもよい。
【０００８】
デジタル地図データベースにおいて、ナビゲーションアプリケーション等をサポートするために水平データ及び垂直データの双方が必要な場合、前記データに関する地理位置は正確である必要がある。しかし、空中画像から取得される水平データに対応する判定された地理位置は、モバイルデータ画像から取得される垂直データに対応する判定された地理位置と常に一致するとは限らない。異なるツールにより解析及び解釈される２つの異なるデータソースが使用されるため、解釈された地理位置は異なる。この結果、双方のデータソースからの情報が同一のデジタル地図データベースに統合される場合、データは不正確に位置決めされ又は解釈される。更に、この結果、水平データ及び垂直データの双方がナビゲーションシステム等において同時に表示される場合、混乱し易い状況が発生する。更に、２種類のデータソースを使用することは、デジタル地図データベースの製造コストに悪影響を及ぼす。
【０００９】
オルソ補正画像により、ナビゲーションシステムの機能性を豊富にできる。道路及び対応する車線の寸法及び地理位置は、オルソ補正画像から正確に判定可能である。ナビゲーションシステム用データベースを経済的に生成することが重要である。オルソ補正画像を使用することにより、安全性を促進し且つ誤った車線の走行又は道路を逸れた走行等の望ましくない状況から車両及びその乗員を保護できる。車両のＧＰＳ位置及び路面の地理位置を組み合わせることにより路面に対する車両位置は判定可能であり、運転者が道路又は車線の境界に接近すると即座に、あるいは誤った車線を走行している場合、運転者はそれを通知される。
【００１０】
定義：
座標：ｎ次元空間内のポイントの位置を指定する一連のｎ個の数字のうちの１つ；
座標変換：１対１の関係に基づいて、１つの座標参照系から同一データに基づく別の座標参照系に座標を変更すること；
座標参照系：データにより実世界に関連付けられる座標系：
座標系：座標がポイントに割り当てられる方法を特定する数学的ルールの集合；
データ：座標参照系の原点の位置、縮尺及び方位を定義するパラメータ又はパラメータの集合；
楕円座標系（測地参照系）：１つ以上の地理座標参照系と関連する測地緯度、測地経度及び（３次元の場合）楕円の高さにより位置が特定される座標系；
地理座標参照系：楕円座標系を使用し且つ地球の形状に近似する楕円体に基づく座標参照系；
地図投影（Map Projection）：楕円座標系から平面への座標変換；
オルソ補正図（Orthorectified view)：あるポイントにおいて、選択された基準面に対して垂直な線に沿ったその基準面からのポイントの図；
投影座標参照系（Projection coordinate conversion system）：地図投影を適用し且つデカルト座標系を使用することにより２次元地理座標参照系から導出される座標参照系。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、オルソ補正タイルを生成する改善された方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明によると、この方法は：
地上カメラにより得られる一連のソース画像を取得する工程と；
ソース画像と関連する位置データであり、車両上のカメラの位置との関係及び移動車両の既定の場所を定義する定数位置パラメータと、既定の場所の実際の場所に対応する地理座標参照系における変数位置パラメータとを含む位置データを取得する工程と；
ソース画像と関連する方位データであり、車両の基準方位に対するカメラの方位と関係する定数方位パラメータと、前記地理座標参照系における車両の基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
オルソ補正タイルとオルソ補正画像内の画素座標から地理座標参照系内の位置への変換を定義する対応するメタデータとを取得するため、対応する位置データ及び方位データによりソース画像を変換する工程とを有する。
本発明は、地表を走行するモバイルマッピング車両が、表面を収集された地理位置画像シーケンスを地上カメラを用いて記録するという認識に基づく。前記画像シーケンスの一部は、車両前方の道路を含む。一般に、車両の走行方向は車両前方の路面に対してほぼ平行である。更に、車両及び路面に対するカメラの位置及び方位は既知である。車両の位置及び方位は、ＧＰＳ受信機及びジャイロスコープ等の慣性測定デバイスにより判定される。全ての位置情報及び方位情報により、三角法を用いて、ソース画像をオルソ補正図に正確に近似する図を表すオルソ補正タイルに変換できる。本発明に係るオルソ補正図は、既定の平面又は表面に対して垂直な観察軸を用いた上方からの観察した図に対応する。オルソ補正タイルは、画像内の全てのポイントが真上から観察されているかのような画像である。
【００１３】
地上カメラと記録された路面との間の距離が制限され且つカメラの地理位置が車載位置決めシステム（例えば、ＧＰＳを使用する受信機）及び場合によっては追加の位置及び方位判定機器により正確に分かるため、各オルソ補正タイルの地理位置は正確に判定可能である。これらのオルソ補正タイルを用いることで、メタデータに格納される対応する地理位置に基づいてオルソ補正タイルを重ね合わせることにより、道路セグメントの地理位置を決められた正確なオルソ補正モザイクを取得できる。本発明のオルソ補正モザイクにより、幹線道路の車線数又は各車線の幅等、１つの単一オルソ補正タイルからは取り込めない水平道路情報を取り込むことができる。これにより、個々のソース画像を解釈するコストが低下し、ソース間の較差誤差により混乱する可能性が減少する。道路情報のうち容易に解釈可能なものは、車線情報、道路案内標識（場所及び属性）、車線接続性属性及び道路の中央線である。
【００１４】
更なる実施形態において、この方法は：
ソース画像と関連する位置データ及び方位データに依存して、地表に対応する平面を推定する工程を更に含み、
変換する工程は、ソース画像を変換してオルソ補正タイルを取得するために平面を使用する。位置データ及び方位データにより、車両の下の路面の位置及び方位を判定できる。これにより、ソース画像内で観察される路面の平面を推定できる。道路の傾斜が徐々に変化するため、車両の下の路面の平面は、ソース画像内で観察される車両前方の路面の近似として使用可能である。一連のソース画像、並びに関連する位置データ及び方位データにより、車両が先に取り込まれたソース画像内で観察される路面に位置決めされる時に取り込まれたソース画像と関連する位置データ及び方位データを選択できる。このように、ソース画像内で観察される路面の位置及び方位を正確に推定できるため、オルソ補正タイルの精度を向上できる。
【００１５】
本発明の更なる実施形態において、オルソ補正タイルは、地上カメラ又はモバイルマッピング車両に対する既定の位置を有する既定の水平領域に対応する。この特徴により、オルソ補正タイルにおいて使用されるソース画像の領域を制限できるため、オルソ補正タイルを取得するために必要な処理能力が減少する。別の利点は、全てのオルソ補正タイルが同一解像度を有することができる点である。同一カメラからのオルソ補正タイルを変倍する必要なく即座に重ね合わせられるため、この利点はオルソ補正モザイクの生成に対して非常に有用である。
【００１６】
本発明の更なる実施形態において、オルソ補正タイルは画素を含み、ソース画像を変換する工程は：
オルソ補正タイルの画素に対応するソース画像内の少なくとも１つの画素を判定する工程と；
ソース画像内の少なくとも１つの画素の値からオルソ補正タイルの画素の値を判定する工程とを含む。この特徴により、本発明を実施する技術者は、オルソ補正タイル内の画素の値を効率的に判定できる。最初に、オルソ補正タイル内の画素の位置を使用してソース画像内の対応する位置を算出する。次に、オルソ補正タイル内の画素の値が判定される。値は、ソース画像内の算出された位置に最近接する位置を有するソース画像内の画素のコピーであってもよい。しかし値は、ソース画像内の隣接画素の平均値又はソース画像におけるオブジェクト認識に基づく値であってもよい。
【００１７】
本発明の更なる実施形態において、既定のオルソ補正タイルの形状は矩形である。この特徴により、同一サイズのオルソ補正タイルを有することができるため、オルソ補正モザイクを取得するためのオルソ補正タイルの位置合わせが更に向上する。オルソ補正タイルは、２つの画像において異なる位置に存在する同一オブジェクトを重ね合わせるか又はマッチングすることにより位置合わせ可能である。
【００１８】
本発明の一実施形態において、一連のソース画像は、地表を移動する車両に取り付けられたカメラにより取得され、方位データは、車両の定義済み方位と車両の走行方向との間の角度と関係する変数方位パラメータを含む。これらの特徴により、車両の懸架装置による路面に対するカメラの傾斜及び横揺れを考慮することができる。これにより、ソース画像からオルソ補正タイルへの変換を正確に実行でき、そのためオルソ補正タイルを容易に重ね合わせてオルソ補正モザイクが取得できる。
【００１９】
本発明の一実地形態において、一連のソース画像は、地表を移動する車両に取り付けられたカメラにより取得され、方位データは、路面により定義される平面と水平面との間の角度と関係する変数方位パラメータを含む。水平面は、地球の形状に近似する地理座標参照系により定義される形状に対応する。これらの特徴により、道路の傾斜及びクロスフォールを補正できるため、路面のより正確なオルソ補正図を取得できる。この図において、各画素の観察軸は重力ベクトルと一致するか又は地球の近似平面に対して垂直である。更なる実施形態において、変数方位パラメータは、移動車両の下の路面により定義される平面と水平面との間の角度と関係する。この実施形態において、スプリングによる自動車の動きが考慮される。変数方位パラメータは、自動車の縦揺れ及び横揺れにより定義可能である。これらのパラメータにより、オルソ補正タイルをより正確に生成できる。
【００２０】
本発明の一実施形態において、変換する工程は：
ソース画像内の幾何歪みを補正する工程と；
垂直画像を取得するようにカメラの焦点での３Ｄ回転を実行する工程と；
垂直画像をオルソ補正タイルに変換する工程とを含む。
これらの特徴により、最初に全ての定数変化を補正し、その後全ての変数変化を補正できる。
【００２１】
本発明の更なる面は、オルソ補正モザイクを生成する方法であって、
本発明に係るオルソ補正タイル生成方法により、地上カメラを用いて取得されるソース画像からオルソ補正タイル及び対応するメタデータを生成する工程と；
オルソ補正タイル及び対応するメタデータからオルソ補正モザイク及びメタデータを生成する工程とを有する方法に関する。
【００２２】
本発明の一実施形態において、オルソ補正モザイクを生成する工程は：
位置データからオルソ補正モザイクに対する投影座標参照系を定義する工程と；
投影座標参照系及び前記オルソ補正タイルに対応するメタデータにより、オルソ補正モザイク内のオルソ補正タイルの領域を判定する工程と；
オルソ補正タイルの判定された領域の画素をオルソ補正モザイクの画素に変換する工程とを含む。
【００２３】
この実施形態を使用することにより、オルソ補正モザイクを生成できる。最初に、オルソ補正モザイクに対する投影座標参照系が定義される。投影座標参照系は、オルソ補正モザイクの画素の地理位置を定義する。その後、オルソ補正モザイク内の画素又は領域毎に対応するオルソ補正タイル及び領域が判定され、オルソ補正タイル内の領域の値はオルソ補正モザイク内の対応する値を取得するために使用される。このように、オルソ補正モザイクは、複数のオルソ補正タイルの少なくとも一部のモザイクである画像である。
【００２４】
本発明の更なる面は、請求項に記載の方法により取得されるオルソ補正モザイクを記憶するプロセッサ可読記憶媒体、コンピュータ構成にロードされた場合に前記コンピュータ構成が請求項に記載の方法のいずれか１つを実行できるようにする命令を含むコンピュータプログラム製品、及びコンピュータ構成にロードされた場合に前記コンピュータ構成が請求項に記載の方法のいずれか１つを実行できるようにするコンピュータプログラム製品を記憶するプロセッサ可読媒体に関する。
【００２５】
本発明の更なる面は、地表を走行する移動車両に取り付けられた地上カメラにより取得される少なくとも１つの地上画像シーケンスのソース画像から位置が正確な水平情報及び位置が正確な垂直情報の双方を収集する方法であって：
ソース画像を取得する工程と；
ソース画像と関連する位置データであり、車両内の基準位置との関係を定義する定数位置パラメータと、地理座標参照系における車両の基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する工程と；
ソース画像と関連する方位データであり、車両の基準方位に対するカメラの方位と関係する定数方位パラメータと、前記地理座標参照系における車両の基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
水平情報と、それと対応する位置であり、画像データ及びオルソ補正表現の画素座標から地理座標参照系内の位置への変換を定義するメタデータを含む水平情報のオルソ補正表現を取得するために水平情報を少なくとも部分的に含むソース画像をソース画像と関連する位置データ及び方位データにより少なくとも部分的に変換することにより得られた位置とをソース画像から取得する工程と；
少なくとも１つのソース画像から垂直情報を検索し且つソース画像と関連する位置データ及び方位データにより前記垂直情報の位置を特定する工程と；
地図データベースで使用するため、前記垂直情報、前記水平情報及び関連する位置を格納する工程とを有する方法に関する。
【００２６】
本発明のこの面により、１つのデータソースから水平情報及び垂直情報の双方を取得できる。双方の種類の情報に対して、それらを少なくとも部分的に含む１つのソース画像が存在する。この画像により、水平情報及び垂直情報の地理位置を正確に判定できる。通常、垂直情報、例えば標識の支柱は１つの画像内で可視であるが、水平情報、例えば交差点前の車線は複数の画像にわたり存在する。従って、水平情報の正確な位置を取得するため、２つ以上のソース画像からの画素、位置情報及び方位情報が必要な場合がある。水平情報及び垂直情報の正確な地理位置により、双方がそれぞれの位置データに対して同一基準面を有する道路標識等の垂直データ及び中央線等の水平データの双方を有する透視画像を正確に構成できる。１つのデータソースのみが、水平データ及び垂直データの双方を判定するために使用される。全データが１つのデータソースから抽出されるため、非常に正確な相対位置測定値を取得できる。更に、垂直データ及び水平データを抽出するコストは、空中画像から水平データを抽出し且つ地上画像から垂直データを抽出するコストと比較して低い。
【００２７】
本発明の更なる面は、地表を走行する移動車両に取り付けられた地上カメラにより取得される少なくとも１つのソース画像から位置が正確な水平情報及び位置が正確なオブジェクト情報の双方を収集する方法であり、オブジェクトが地面に付着される付着点が少なくとも１つのソース画像の少なくとも１つの画素において可視である方法であって：
少なくとも１つのソース画像を取得する工程と；
少なくとも１つのソース画像と関連する位置データであり、車両内の基準位置との関係を定義する定数位置パラメータと、地理座標参照系における車両の基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する工程と；
少なくとも１つのソース画像と関連する方位データであり、車両の基準方位に対するカメラの方位と関係する定数方位パラメータと、前記地理座標参照系における車両の基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
水平情報と、地理座標参照系内の対応する位置であり、画素のオルソ補正位置が水平情報と関連する少なくとも１つのソース画像と関連する位置データ及び方位データを用いて判定することにより取得された位置とを少なくとも１つのソース画像から取得する工程と；
少なくとも１つのソース画像からオブジェクト情報を取得する工程と；
オブジェクトと地面との付着点に対応する少なくとも１つの画素を判定し且つ少なくとも１つのソース画像と関連する位置データ及び方位データにより地理座標参照系におけるオブジェクトと地面との付着点に対応する少なくとも１つの画素のオルソ補正位置を判定する工程と；
地図データベースで使用するため、地理座標参照系における前記オブジェクト情報、前記水平情報及び関連位置を格納する工程とを有する方法に関する。
【００２８】
本発明のこの面により、デジタル地図で使用するための水平情報及びオブジェクト情報の双方の地理位置を非常に正確に導出できる。本発明により、地面に対応する画素の位置は正確に判定可能である。従って、地面及びオブジェクトの双方と関連する画素の位置は正確に判定され、その結果、オブジェクトの位置が正確に分かる。
【００２９】
本発明は、ソフトウェア、ハードウェア又はソフトウェア及びハードウェアの組み合わせを使用して実現可能である。本発明の全部又は一部がソフトウェアで実現される場合、そのソフトウェアはプロセッサ可読記憶媒体に常駐可能である。適切なプロセッサ可読記憶媒体の例は、フロッピディスク、ハードディスク、ＣＤ ＲＯＭ、ＤＶＤ、メモリＩＣ等を含む。システムがハードウェアを含む場合、ハードウェアは、出力デバイス（例えばモニタ、スピーカ又はプリンタ）、入力デバイス（例えばキーボード、位置指示装置及び／又はマイクロホン）、並びに出力デバイスと通信するプロセッサ及びプロセッサと通信するプロセッサ可読記憶媒体を含んでもよい。プロセッサ可読記憶媒体は、本発明を実現するための動作を実行するプロセッサをプログラム可能とするコードを格納する。本発明の処理は、電話線、あるいは他のネットワーク又はインターネット接続を介してアクセス可能なサーバ上でも実現可能である。
【００３０】
多くの例示的な実施形態を使用し且つ添付の図面を参照して、本発明を以下により詳細に説明する。
【図面の簡単な説明】
【００３１】
【図１】ソース画像からオルソ補正タイルへの変換の一般原理を示す側面図である。
【図２】ソース画像からオルソ補正タイルへの変換の一般原理を示すオルソ補正図である。
【図３】立体画像ペアから２つのオルソ補正タイルへの変換を示す図である。
【図４】図３の２つのオルソ補正タイルを組み合わせることにより取得されるオルソ補正モザイクを示す図である。
【図５】一連の立体画像ペアのオルソ補正モザイクの合成の第１の例を示す。
【図６】一連の立体画像ペアのオルソ補正モザイクの合成の第２の例を示す。
【図７】モバイルマッピング車両及びオルソ補正タイルを示すオルソ補正図である。
【図８】本発明に係る方法の好適な実現例を示すブロック図である。
【図９】オルソ補正モザイク生成器を実現する好適なハードウェアシステムを示すブロック図である。
【図１０】モバイルマッピング車両を示すオルソ補正図である。
【図１１】道路を走行するモバイルマッピング車両を示す側面図である。
【図１２】道路を走行するモバイルマッピング車両を示す背面図である。
【図１３】角度αXでの画像の３Ｄ回転の例を示す図である。
【図１４】水平情報及び垂直情報の生成を概略的に示す図である。
【発明を実施するための形態】
【００３２】
図１は、ソース画像からオルソ補正タイルへの変換の一般原理を示す側面図である。カメラ又はＣＣＤカメラ２０２（図２に図示）内の画像センサ１０１は、一連のソース画像を記録する。ソース画像は、地上カメラにより記録される、或る程度垂直な画像を表す。ソース画像は、例えば１０ｍの変位毎に作動される静止画カメラにより記録される一連の静止画であってもよい。画像センサを具備するカメラは画角αを有する。画角αは、カメラのレンズの焦点距離１０２により判定される。画角αは４５°＜α＜１８０°であってもよい。更にカメラは、画角の中心に存在する観察軸１０３を有する。図１において、観察軸１０３は水平面１０４に対して平行である。画像センサ１０１は、観察軸１０３に対して垂直に取り付けられる。この場合、画像センサ１０１は、「純粋な」垂直ソース画像を記録する。更に、画像センサの高さが水平面、例えば地表に対して既知である場合、画像センサ１０１により記録される画像は、水平面のオルソ補正図を変倍した例を表すオルソ補正タイルに変換可能である。水平方向において適切な解像度で水平画像を取得するためには、画像センサの限られた領域が使用される。図１は、水平面内の部分１０８に対応する画像センサ１０１の部分１０６を示す。オルソ補正タイルの最小許容解像度は、画像センサと水平面内の最遠ポイントとの間の最大距離を判定する。地上カメラから検索されるソース画像は、三角法により任意の垂直面に変換可能である。観察軸が水平面に対して既知の角度で傾斜する場合であっても、オルソ補正タイルはソース画像から取得可能である。
【００３３】
図２は、ソース画像からオルソ補正タイルへの変換の一般原理を示すオルソ補正図である。画角α、観察軸２１８及びカメラ２０２との間の距離は、画像センサ１０１により記録される水平面の部分を判定する。原則として、ソース画像がオルソ補正タイルに変換される場合、ソース画像に対応するオルソ補正タイルは三角形の形状を有する。オルソ補正タイルの境界を図中符号２１０で示す。しかし、本発明は、ナビゲーションシステム等において使用されるデジタル地図の属性を収集するために路面のオルソ補正モザイクを取得するのに特に有益である。尚、オルソ補正タイルは原則として既にオルソ補正モザイクであるが、本説明において、オルソ補正モザイクは複数のオルソ補正タイルを合成したものである。属性の収集及びナビゲーションシステム等に必要な精度は、オルソ補正モザイクの既定の最小解像度を必要とする。これらの必要要件は、ソース画像から取得可能な水平面の部分を制限する。水平面に対する境界カメラの焦点２０８の位置と水平面の領域の境界との間の最大距離２０６は解像度を判定する。更に、実際は、最大距離２０６は、ある特定の道路を走行時の２台の自動車間の最小距離により制限される。そのように最大距離を限定することにより、多くの場合において、オルソ補正タイル内の路面がモバイルマッピング車両の前方を走行する自動車の背面を含まないという利点を有する。更に、最大距離２０６と最小距離２０４との間の差分は、カメラによる画像の後続記録間の最大許容距離を判定する。これは、車両の最大走行速度を制限できる。水平面の矩形は、ソース画像において台形の形をほぼ有する領域に対応する。一実施形態において、オルソ補正タイル２１０は、１６ｍの幅２２０及び１６ｍの長さ２２２を有する領域に対応する。オルソ補正タイルを更に処理するためには、台形の形のオルソ補正タイルを有するのが有利である。
【００３４】
観察軸から距離２１４を有し、且つ焦点２０８から距離２０４を有する画素２１６毎にオルソ補正タイルを取得するためのソース画像の変換の一実施形態において、ソース画像内の対応する位置は、以下に更に詳細に説明する角度測定により判定される。
【００３５】
図３は、画像の立体ペアを上段に示す。下段には、２つの対応する変換オルソ補正タイルを示す。オルソ補正タイルにおける画素の値は、最初にソース画像における対応する位置を三角法又は三角測量により判定し、次にソース画像内の最近接画素の値をコピーすることにより導出可能である。値は、４つ又は９つの最近接画素間の補間によっても取得可能である。ソース画像を解析するためにオブジェクト認識ツールが使用される場合、路面の領域及び路縁又は路肩をソース画像において検出できる。その場合、値は対応する領域に割り当てられる値に対応してもよい。破線３０２及び３０４は、オルソ補正タイルを取得するために使用されるソース画像の領域を示す。好適な実施形態において、オルソ補正タイルは矩形である。立体カメラを使用することにより、相対的に大きな重複領域を有する２つのオルソ補正タイルシーケンスが得られる。図４は、図３の２つのオルソ補正タイルを組み合わせることにより取得されるオルソ補正モザイクを示す。組み合わせは、各オルソ補正タイルの地理位置に基づいてもよく、又はオルソ補正タイルを重ね合わせ且つマッチングした後に実行されてもよい。オルソ補正タイルの地理位置は、移動車両からのＧＰＳ位置、自動車の走行方向又は方位、移動車両上のカメラの位置、並びに移動車両上のカメラの方位から導出可能である。オルソ補正モザイクの左領域４０２及び右領域４０６はそれぞれ、図３の左側のオルソ補正タイル及び右側のオルソ補正タイルから取得される。オルソ補正モザイクの中央領域４０４は、左側又は右側のオルソ補正タイルの対応する領域の領域コピーであってもよい。中央領域４０４は、左側及び右側のオルソ補正タイル内の対応する画素値の平均値であってもよい。１つの立体カメラ又は前方の２つのカメラを使用することの利点は、２つのカメラが前記カメラのうち一方のみよりも大きな角度にわたり画像を記録できるため、より大きな／より広いオルソ補正モザイクを取得できることである。同様に、前方観察用カメラを側方観察用カメラと組み合わせて使用することにより、非常に広い道路又は舗道を有する街路から正確なオルソ補正モザイクを取得できる。
【００３６】
尚、本発明の上記説明において、水平面は路面に対応する。垂直画像を水平画像又はオルソ補正画像に変換する本発明の一般原理を簡潔に説明するため、水平面は路面に対応するとした。これは、ソース画像の画像空間からオルソ補正画像の画像空間への１対１の関係が存在する場合に可能である。これにより、ソース画像の画素をオルソ補正画像の画素上に投影できる。しかし実際は、路面は地球の形状に近似する楕円体に対応しない。路面は、楕円体の表面に対して任意の高さを有することができ且つ楕円体に対して傾斜を有することができる。本発明のこれらの面を以下に説明する。ＭＭＳにより取り込まれる位置データ及び方位データにより、地理座標参照系におけるカメラの位置及び方位を正確に判定できる。更に、位置データ及び方位データにより、ＭＭＳの走行方向のベクトルを正確に判定できる。路面が前記ベクトルに対して平行であると仮定することにより、地理座標参照系において路面の３Ｄ位置が分かる。上述の例は、ソース画像を路面に近似する平面上に投影する方法を示す。地理座標参照系において既知の３Ｄ位置を有する路面をオルソ補正画像の投影座標参照系を定義するメタデータを有するオルソ補正画像上に投影する方法は当業者には周知である。
【００３７】
本発明に係る方法を一実現例により以下に更に詳細に説明する。入力データは、図１０に示すようなモバイルマッピング車両１０００により収集される。モバイルマッピング車両１０００は、ＧＰＳ受信機、並びに場合によっては追加の慣性センサ及び推測航法センサ等の位置決めセンサ１００２と、ジャイロスコープ及び距離測定ユニット等の方位センサ１００４とを備える。これらのセンサは周知である。これらのセンサを用いることにより、地理座標参照系における車両の位置及び方位は非常に正確に判定可能である。更に、モバイルマッピング車両は多くのカメラを備える。２つのカメラ１００６は、車両前方の画像を記録するために自動車前方に取り付け可能である。これら２つのカメラ１００６は、一連の立体画像ペアを生成するように構成可能である。更に、カメラ１００８は自動車からの側方ビューを取得するために左側及び右側に取り付け可能であり、車両後方のカメラ１０１０は、車両後方から見た実世界を記録する。カメラが車両の全ての側に取り付けられる場合、車両周辺の全方向における連続したビューが取得可能である。前方及び後方のカメラにより、同一路面の反対方向からの２つの画像シーケンスを取得できる。これにより、同一路面から２つのソース画像シーケンスを取得できる。これらは、同一路面を表すオルソ補正タイルにおける誤差を除去又は検出するために使用可能である。画像シーケンスは、既定のフレーム速度を有するビデオストリームであってもよい。有利な実施形態において、カメラは、車両が所定の距離を移動する度に写真を記録するように作動されるデジタル静止画カメラである。一実施形態において、所定の距離は１０ｍである。
【００３８】
オルソ補正モザイクを生成するために使用される入力データは２つのグループに分けられる。データの第１のグループは、カメラ毎のモバイルマッピングサービス（ＭＭＳ）セッション全体にわたる定数パラメータである。それらは、車両の局所座標系におけるカメラの位置、較正及び方位に関する。
【００３９】
定数パラメータを以下に示す：
cam_dist＝ＧＰＳ受信機の中心からカメラの焦点までの距離；
cam_pos_rot＝車両の長さ軸に対するカメラ位置の回転；
cam_look_angle＝カメラの観察方向の基本回転；
cam_dist_params＝ソース画像の幾何歪み補正に使用されるパラメータの一群；
cam_rot_x＝角度Xにおける局所カメラ回転；
cam_rot_y＝角度Yにおける局所カメラ回転；
cam_rot_z＝角度Zにおける局所カメラ回転；
cam_f＝カメラの焦点の長さ；
cam_dpx＝ＣＣＤ画像センサの解像度（画素／ｍ）；
cam_dpy＝ＣＣＤ画像センサの解像度（画素／ｍ）；
cam_h＝路面からのカメラの高さ；
in_bmp_width＝ＣＣＤセンサの１行における画素数；
in_bmp_height＝ＣＣＤセンサの１列における画素数；
trans_bmp_width＝オルソ補正タイルの１行における画素数；
trans_bmp_height＝オルソ補正タイルの１列における画素数；
trans_real_width＝水平面におけるオルソ補正タイルの幅のサイズ；
trans_real_height＝水平面におけるオルソ補正タイルの深さのサイズ；
trans_min_z＝カメラの焦点２０８から可視画素までの最小距離；
out_width＝オルソ補正モザイクの１行における画素数；
out_height＝オルソ補正モザイクの１列における画素数；
out_resolution＝オルソ補正モザイクの解像度。
【００４０】
変数パラメータを以下に示す：
car_lat＝ＷＧＳ８４座標系における車両の緯度；
car_lon＝ＷＧＳ８４座標系における車両の経度；
car_heading＝車両の進行角度；
car_roll＝車両の横揺れ；
car_cross_fall＝道路のクロスフォール；
car_pitch＝車両の縦揺れ；
car_slope＝道路の傾斜；
in_bmp_bytes＝ソース画像を表すバイト；
【００４１】
ＷＧＳ８４系は、測地学及びナビゲーションにおいて使用するための地球の固定グローバル基準座標系を定義する世界測地系（ＷＧＳ）である。最新の改訂版は１９８４年発行のＷＧＳ８４であり、これは２０１０年頃まで有効である。ＷＧＳ８４は地理座標参照系である。原則として、本発明は任意の地理座標参照系に対して使用可能である。
【００４２】
オルソ補正モザイクの作成は、３つの段階に基づく。第１の段階の主要な目的は、ソース画像内の幾何歪みを補正することである。幾何歪みは、カメラ内のレンズ系の光学収差及びカメラの感光素子、例えばＣＣＤセンサの不規則性である。第２の段階は、補正されたソース画像からオルソ補正タイルへの変換であり、最後の段階は、ある特定の道路セグメントの路面の地図を取得するためにオルソ補正タイルからオルソ補正モザイクを生成することである。
【００４３】
第２の段階において、最初に、補正されたソース画像は、車両の地面に対して垂直な画像に対応する中間画像を取得するために３Ｄ処理される。この段階において、定数方位パラメータcam_rot_x、cam_rot_y、cam_rot_z及びcam_f、並びに定数位置パラメータcam_dpx及びcam_dpyを使用して補正画像を処理し、中間画像を取得する。３Ｄ処理を実行するため、周知の角度測定式が使用される。この段階において、角度cam_rot_x、cam_rot_y、cam_rot_z、解像度cam_dpx、cam_dpy及び焦点距離cam_fを用いて焦点での画像３Ｄ回転が実行される。
【００４４】
画像３Ｄ回転は、次式により実行可能である：
式中：XFC＝画像の中心からのX距離、
YFC＝画像の中心からのY距離、
f＝画素を単位とする焦点距離（cam_f）、
αX＝cam_rot_x、
αY＝cam_rot_y、
αZ＝cam_rot_z、
XNEW＝３Ｄ回転画像の中心からのX距離、
YNEW＝３Ｄ回転画像の中心からのY距離、
YFC＝画像の中心からのY距離。
【００４５】
図１３は、角度αXでの回転の例を示す図である。ソース画像１３０２内の画素P(XFC,YFC)は、中間画像１３０４内の画素P(XNEW,YNEW)になる。正確なオルソ補正タイルを取得するため、cam_rot_x、cam_rot_y及びcam_rot_zは、約０．１度の精度で判定される必要がある。前記精度でカメラを取り付けることはほぼ不可能である。従って、固定較正パラメータcam_rot_x、cam_rot_y及びcam_rot_zはカメラ取り付け後に判定され、中間画像を算出するために使用される。
【００４６】
その後、中間画像は垂直画像からオルソ補正タイルに変換される。この特別な例において、「垂直」は、画像が地面又は車両の走行面に対して垂直であることを意味する。
【００４７】
最初に、オルソ補正タイルの解像度が次式により判定される：
次に、自動車に関する変数変換パラメータcar_roll、car_pitch、car_slope、car_cross_fallを使用して局所写真角度を算出する。パラメータcar_slope及びcar_cross_fallの値は、地理座標参照系において地表に近似する楕円体の表面に対する路面の角度を定義し、パラメータcar_roll及びcar_pitchの値は、車両の加速度／減速度、車両の速度、並びに道路及び路面の曲率に依存する。図１１は、いくつかの変換パラメータを説明するためにモバイルマッピング車両１１００の側面図を示す。定数変換パラメータcam_rot_x１１０２は、車両が静止している場合のカメラ１１０６の観察軸１１０４と車両の下の路面１１０８との間の角度により定義される。図１１において、車両が静止している場合、車両の底板は路面に対して平行であると仮定する。変数方位パラメータcar_pitchは、走行方向に対する車体の底板と水平面１１６の間の実際の角度である。尚、本発明によると、水平面は地球の形状に近似する地理座標参照系により定義される表面に対応する。上述の実施形態において、路面は地球の近似形状上にあると仮定した。しかし、通常これは当てはまらない。更に、ソース画像からオルソ補正タイルへの正確な変換を可能にするため、car_slope１１１４を考慮する必要がある。car_slope１１１４は、水平面１１１６に対する路面１１０８の走行方向における傾斜角度である。走行中、car_slope及びcar_pitchの値は、車両の加速及び減速に応じて異なる。差分１１１０は、幅軸１１１２での車両の回転に対応する。この回転は、車両１１００の加速及び減速により引き起こされる。ＧＰＳ、慣性システム及び距離測定器（ＤＭＩ）により取り込まれる位置データ及び方位データからcar_slope１１１４を直接導出する方法は当業者には周知である。差分１１１０は、車両のマススプリング挙動をモデル化する関数により近似可能である。この関数に対する入力は、車両の進行方向における加速度であり、これはＤＭＩシステムから入手可能である。更に、car_pitchは、car_slope１１１４と車両の底板の実際の方位との間の差分から導出可能である。
【００４８】
図１２は、いくつかの他の変換パラメータを説明するためにモバイルマッピング車両１２００の背面図を示す。定数変換パラメータcam_rot_z１２０２は、車両が静止している場合のカメラ１２０６のソース画像の水平線１２０４と車両の下の路面１２０８との間の角度により定義される。図１２において、車両が静止している場合、車両の底板は路面に対して平行であると仮定する。変数方位パラメータcar_rollは、車体の底板と走行方向に対して垂直な水平面１２１６との間の実際の角度である。更に、ソース画像からオルソ補正タイルへの正確な変換を可能にするため、car_cross_fall１２１４を考慮する必要がある。car_cross_fall又は傾斜１２１４は、水平面１２１６に対する道路１２０８の両側の高低差により定義される角度である。通常、道路の傾斜は、車両がより容易にカーブを曲がるのを補助する。走行中、car_roll及びcar_cross_fallの値は、車両の傾きにより異なる。差分１２１０は、車両１２００の長さ軸１２１２での車両の回転に対応する。この回転は、スプリング系を使用してカーブを曲がることにより引き起こされる。ＧＰＳ、慣性システム及び距離測定器（ＤＭＩ）により取り込まれる位置データ及び方位データからcar_rollを直接導出する方法は当業者には周知である。 差分１２１０は、カーブにおける車両のマススプリング挙動をモデル化する関数により判定可能である。この関数に対する入力は、車両の進行方向に対して垂直な車両の加速度である。これは、慣性航法システムから入手可能であり、又はＤＭＩシステムから入手可能な車両の軌道線及び速度から導出可能である。このように、傾斜１２１４は、car_rollから差分１２１０を減算することにより判定可能である。直線道路の場合、car_cross_fall１２１４は、５０ｍのウィンドウにわたるcar_rollを平均することにより近似可能である。このように、路面の突起による自動車の横揺れが原因となるオルソ補正画像上への投影における誤差は減少可能である。車両のスプリングの長さの同時測定等、車両の下の路面に対する車両の横揺れを導出する他の簡単な解決策は当業者には認識されるだろう。
【００４９】
次式を使用して、変数変換パラメータから局所写真角度を判定する：
Δroll = car_roll - car_cross_fall
Δpitch = car_pitch - car_slope
local_rot_x = Δroll・sin(cam_look_angle) + Δpitch・cos(cam_look_angle)
local_rot_z = Δroll・cos(cam_look_angle) - Δpitch・sin(cam_look_angle)
上記式において、同一時間インスタンスにおけるパラメータcar_roll、car_cross_fall、car_pitch及びcar_slopeが判定され、ソース画像（又は、ステレオペアの場合は複数の画像）と関連付けられる。これは、モバイルマッピング車両が相対的に平坦な道路を走行している場合に実行可能である。その場合、モバイルマッピング車両の下のcar_cross_fall及びcar_slopeは、ソース画像における道路のcar_cross_fall及びcar_slopeとほぼ同様である。パラメータΔpitch１１１０は、幅軸１１１２での車両の回転角に対応し、パラメータΔroll１２１０は、長さ軸１２１２での車両の回転角に対応する。
【００５０】
しかし、モバイルマッピング車両が平坦でない路面、例えば古い都市の橋又は丘陵地に建設された都市を走行している場合、ソース画像により記録されるモバイルマッピング車両の方を向く路面のcar_cross_fall及びcar_slopeは、ソース画像記録時の時間インスタンスにおけるモバイルマッピング車両の下の路面のcar_cross_fall及びcar_slopeとは大幅に異なる場合がある。その場合、ソース画像からオルソ補正タイルへの変換は、対応するオルソ補正タイルを取得するために使用されるソース画像の領域に対応する路面の位置にモバイルマッピング車両があった時点で登録されたcar_cross_fall及びcar_slopeを使用することにより改善可能である。この場合、オルソ補正タイルを取得するための対応する位置データ及び方位データによるソース画像の変換は、異なる時間インスタンスにおいて取得された方位データを使用する。例えば、ソース画像を取得するために静止画カメラが使用され、写真が対応する位置データ及び方位データと共に１０ｍ毎に記録され、且つオルソ補正タイルがモバイルマッピング車両の前方５〜２５ｍの路面に対応する場合、２つの後続ソース画像のcar_slope及びcar_cross_fallを変換に使用できる。車両前方のcar_slope及びcar_cross_fallを近似するため、２つの後続ソース画像のcar_slope及びcar_cross_fallの平均値を使用することも可能である。このように、地理座標参照系における路面に近似する平面の位置及び方位は定義され、これにより平面をオルソ補正タイル上に正確に投影できる。
【００５１】
オルソ補正タイルを取得するため、ソース画像と関連する位置データ及び方位データに依存して、ソース画像内で観察される地表に対応する平面が推定されることは図１１及び図１２から明らかである。位置データ及び方位データにより、車両の下の路面の位置及び方位を判定できる。一実施形態において、車両の下の路面に対応するのは、ソース画像内で観察される車両前方の平面の近似である。道路の傾斜が徐々に変化するため、殆どの場合においてこれは適切な近似である。別の実施形態において、先に取り込まれたソース画像内で観察される路面に車両が位置決めされる時に取り込まれたソース画像と関連する位置データ及び方位データは、路面の平面を近似するために使用される。このように、ソース画像内で観察される路面の位置及び方位はより正確に推定可能であり、それによりオルソ補正タイルの精度を向上できる。
【００５２】
次に、オルソ補正タイル２１０の画素２１６毎に、仮想水平面におけるカメラの焦点２０８からの距離２１２（pt_dist_z）及びカメラの観察軸２１８からの距離２１４（pt_dist_x）が判定される。res_x、res_y、trans_min_z、trans_bmp_width及びtrans_bmp_heightの値。
【００５３】
垂直画像の画素のY座標（src_temp_y）及びX座標（src_temp_x）は次式により算出される：
式中、src_temp_y及びsrc_temp_xの単位はＣＣＤ上でのメートルである。変数src_temp_xは、画像の中心からのＣＣＤ上でのメートルを単位とするx軸距離を定義する。src_temp_y、src_temp_x及びlocal_rot_zの値により、ＣＣＤ上でのメートルを単位とするX,Yソース座標(src_x_m,src_y_m)は次式を用いて判定できる：
src_x_m = src_temp_x・cos(local_rot_z) - src_temp_y・sin(local_rot_z)
src_y_m = src_temp_x・sin(local_rot_z) + src_temp_y・cos(local_rot_z)
【００５４】
最後に、本発明の一実施形態において、オルソ補正タイルの画素の位置に対応する垂直画像の画素の写真座標は次式により判定される：
src_x_px = in_bmp_width/2 + floor(src_x_m*cam_dpx)
src_y_px = in_bmp_height/2 + floor(src_y_m*cam_dpy)
【００５５】
本発明の一実施形態において、中間垂直画像の(src_x_px,src_y_py)画素からのRGB値は、オルソ補正タイルの(dst_x,dst_y)画素にコピーされる。オルソ補正タイルの画像に対応する画素が中間垂直画像内に存在しない場合、オルソ補正タイル内の画素は既定値を取得する。既定値は、黒色画素（＝RGB(0,0,0)）に対応するのが好ましい。本実施形態において、オルソ補正タイルの画素の値は、中間垂直画像内の判定された対応する画素の値のコピーである。
【００５６】
別の実施形態において、src_x_m及びsrc_y_mの値は、中間垂直画像内の４つの最隣接画素を判定するために使用可能である。その後、オルソ補正タイル内の画素の値は、例えば４つの値を平均するか又は補間により、前記４つの最隣接画素の値から導出可能である。
【００５７】
図５は、一連の立体画像ペアのオルソ補正モザイクの合成の第１の例を示す。図５のオルソ補正モザイクは、３つの後続立体画像ペア５０２、５０４、５０６を組み合わせることにより取得される。従って、オルソ補正モザイクを取得するために６つの画像が使用された。いくつかの画素値は、１つのオルソ補正タイルのみから取得可能である。他の画素値は、２つ以上のオルソ補正タイルから取得可能である。その場合、オルソ補正タイルを重ね合わせる際に重複領域５０３、５０５が存在する。重複領域における画素値を取得する複数の方法が存在する。画素値は１つのオルソ補正タイルのみから取得可能であり、あるいは画素値は、例えば平均することにより全ての重複画素から導出可能である。
【００５８】
図６は、一連の立体画像ペアのオルソ補正モザイクの合成の第２の例を示す。図５の例において、後続画像は車両が直進する間に取得されたが、図６の例において、後続画像は車両が道路のカーブに沿って走行している間に取得された。自動車の方向を６０２により示す。図６は、４つの後続オルソ補正タイル６０４、６０６、６０８及び６１０を示す。各オルソ補正タイルの方位がオルソ補正モザイク内で変化することが図６から分かる。オルソ補正タイルは、画像座標系から地理座標参照系への１対１の関係を記述する各画像に対応する地理参照データを含むメタデータを使用することにより適切に重ね合わせられる。図６に示す例において、オルソ補正モザイクのいくつかの画素の値は、３つの異なるオルソ補正タイルから取得可能である。６１２及び６１４により示す２つの領域は前記画素を含む。
【００５９】
尚、垂直／オルソ補正タイル変換を実行するためには、図示される例に示すような画像のステレオペアは必ずしも必要ない。カメラの方位較正及び位置測定が正確であり且つ変換された道路ポイントが自動車と同一平面に存在する限り、オルソ補正タイルは正確である。
【００６０】
オルソ補正タイルからオルソ補正モザイクを取得するため、以下のアルゴリズムが使用される。最初に、局所座標投影が作成される。局所座標投影は、ＭＭＳにより収集されたセッションデータからの地理参照データに基づいてもよい。また、局所座標投影は、地理座標参照系内の地理位置と１対１の関係を定義する座標を有するユーザ定義領域により定義されてもよい。局所座標投影は、オルソ補正モザイク内の画素の位置と地理位置との間の関係を定義する。オルソ補正タイル毎に、オルソ補正モザイクにおけるオルソ補正タイルの位置が判定される。第１に、オルソ補正モザイクにおける自動車の位置が、car_lon、car_latの値x,yを使用して判定される。第２に、オルソ補正モザイクにおけるオルソ補正タイル７００の基本位置７１２が、水平フレームと関連するcar_heading７０２、cam_dist７０４、cam_pos_rot７０６、cam_look_angle７０８、trans_min_z７１０の値を使用して判定される。図７は、モバイルマッピング車両の上面図とオルソ補正タイル及び対応するパラメータとを示す。尚、車両に対する図７のカメラの方位は、路面のオルソ補正モザイクを取得するのに理想的ではない。この図７は、各パラメータの定義を明確にする。カメラが車両の前方に取り付けられ且つ車両前方の路面を記録するカメラの理想的な方位を図７が示す場合、パラメータの一部は明確にならない。パラメータcar_headingは、自動車の走行方向７０１と既定の基準方向７０３との間の角度である。既定の基準方向７０３は、北極を指す方向であってもよい。パラメータcar_pos_rot７０６は、自動車の方向７０１と線７０４との間の角度により定義される。線７０４は、カメラと自動車の位置x,yとの間の距離であるパラメータcam_distに対応する。位置x,yは、ＧＰＳ受信機により取得される自動車の位置に対応する。パラメータcam_look_angle７０８は、カメラの観察軸７１０と自動車の方向７０１との間の角度により定義される。
【００６１】
第３に、オルソ補正モザイクにおけるオルソ補正タイルの隅の位置が、オルソ補正タイルと関連するtrans_bmp_width、trans_bmp_height、trans_real_width及びtrans_real_heightの値を使用して判定される。第４に、オルソ補正モザイクにより定義される領域内に含まれる少なくとも１つの画素を有するオルソ補正タイルが選択され、オルソ補正モザイクにより定義される領域内に含まれる画素の領域に対応するオルソ補正モザイク内の画素の領域が、第３の動作において判定された隅の位置、並びにパラメータout_width、out_height及びout_resolutionを使用して判定される。判定された領域により、オルソ補正モザイクに対するモザイクが生成され、この場合、モザイクの各片はオルソ補正タイル全体又はオルソ補正タイルの少なくとも一部を表す。最後に、モザイクの片を使用してオルソ補正モザイクを構成する。モザイクの各片は、１つのオルソ補正タイルの１つの領域に対応する。本発明の有効な実現例は、単一タイルが局所投影（例えば、軌道線の中央として設定される基本経度を用いるガウス−クリューゲル投影）においてオルソ補正される場合である。オルソ補正タイルの前記領域の画素は、オルソ補正タイルの適切な線形変換後、オルソ補正モザイクに対する画素値を取得するために使用可能である。線形変換は、ＷＧＳ−８４等のグローバル座標系への所定の局所投影の変換パラメータにより定義される。線形性は変換を加速するために仮定され、そのような仮定により発生する潜在誤差は、画素のサイズより低い複数の要素である。
【００６２】
オルソ補正タイルのモザイクを介して取得されるオルソ補正モザイクにより、少なくとも車線情報、水平案内標識、車線接続性属性、道路の列及び道路の幅を容易に解釈できる。
【００６３】
図８は、本発明に係る方法の好適な実現例を示すブロック図である。道路を走行中のモバイルマッピング車両は、複数のカメラにより車両の周辺、特に路面を記録する。更に、モバイルマッピング車両の地理位置が同時に記録される。記録は、モバイルマッピングシステム３Ｄセッション中に実行される。記録されたデータは、最初に、垂直／水平変換を実行する変換処理に供給される。用語「垂直」は、カメラの画角が路面に対して平行であることに限定されず、画角が路面を少なくとも部分的に含む限り、路面に対して垂直ではない任意の適切な画角であってもよいことを意味する。変換処理は、モバイルマッピングシステム３Ｄセッションから位置データ及び方位データを検索し、ＭＭＳ位置決めシステム及びアルゴリズムにより定数パラメータ及び変数パラメータを生成する。
【００６４】
更に、記録された画像シーケンスは、ＭＭＳデータ読取り装置により検索される。画像シーケンスは、定数パラメータ及び変数パラメータと共に変換ステップに供給され、変換ステップにおいて、垂直カメラ画像は地理方向を付けられたオルソ補正タイルに変換される。一実施形態において、オルソ補正タイルは、当業者には周知であるwindows *.avi形式等の画像シーケンスとして格納され、x座標、y座標及び高さ座標は画像の方位と共に、オルソ補正タイルと関連するメタデータを形成するＸＹＨフレーム位置ファイル及びＸＹＨフレーム方位ファイルに格納される。
【００６５】
オルソ補正タイルを含むＡＶＩフレームファイル、並びにＸＹＨフレーム位置ファイル及びＸＹＨフレーム方位ファイルを含むメタデータはモザイク生成処理に供給される。この処理は、供給されたファイルを処理してオルソ補正モザイクを取得する。オルソ補正モザイクは、多くのオルソ補正タイルを組み合わせて単一の合成写真にすることにより取得される。第１に、ＡＶＩフレームファイル及びＸＹＨフレームファイルは、ＡＶＩ及びＸＹＨ読取りモジュールにより検索される。第２に、ＸＹＨファイルにおいて発見される地理情報は投影座標系に変換され、オルソ補正タイルの画素からオルソ補正モザイクの画素への変換が判定される。オルソ補正モザイクの片を生成されるために使用されるモザイクが判定される。フレームから応答モザイクへの挿入モジュールは、モザイクの各片の画素の値を対応するＡＶＩフレームから算出する。最後に、保存モジュールはモザイクの全片を組み合わせてオルソ補正モザイクを取得し、それをメモリに格納する。メモリは、フラッシュメモリ、ＲＡＭ、光ディスク及びハードディスク等の任意のプロセッサ可読記憶媒体である。尚、オルソ補正モザイクは、全ての有用な地理座標参照系、投影座標系又は局所空間座標系に基づく地図を生成するために容易に使用可能である。座標系は、実行される変換を定義する。鳥瞰地図も、オルソ補正モザイクを変換することにより非常に容易に取得可能である。
【００６６】
図１４は、地理カメラにより取得される一連のソース画像１４０１を示す。ソース画像１４００は、水平情報及び垂直案内標識情報の双方を含む。関連するオルソ補正モザイク１４０７を一連のソース画像１４０１の下に示す。画像１４００内の破線台形１４０４は、オルソ補正タイル１４０９の対応する境界を示す。ソース画像内の水平情報は、中央線及び境界線を有する路面１４０６に対応する。ソース画像１４００内の垂直案内標識情報は、８０ｋｍ／ｈの制限速度を示す道路標識１４１０に対応する。本発明に係る方法は、オルソ補正タイル１４０９を取得するために使用される。オルソ補正タイル１４０９は、技術者が座標参照系内の対応する相対及び／又は絶対位置座標を画素毎に判定できるようにする関連位置情報を有する。
【００６７】
オルソ補正モザイク１４０７は、オルソ補正タイル１４０９及び他のソース画像から生成されたオルソ補正タイルを処理することにより取得された。更に、技術者が対応する相対及び／又は絶対位置座標をオルソ補正モザイク１４０７の画素毎に判定できるようにするため、関連位置情報が生成される。関連位置情報は、オルソ補正モザイク１４０７の全ての隅の地理位置により定義可能である。別の実施形態において、関連位置情報は、オルソ補正モザイク１４０７の既定の参照画素１４０８の地理位置に対する画像の水平及び垂直解像度、並びに既定の基準方位軸（不図示）に対するオルソ補正モザイクの方位により定義可能である。
【００６８】
水平道路情報はオルソ補正モザイク１４０７から抽出され、関連位置はオルソ補正モザイク１４０７の基準位置に関して判定される。一実施形態において、抽出された水平情報は線として格納される。抽出された水平情報は、一時データベース１４３０に格納可能である。
【００６９】
道路標識は、手動又は自動で検出可能である。道路標識１４１０が検出されると、その位置は、案内標識が可視である一対の画像から周知の写真測量法により識別可能である。道路標識が構造物、例えば支柱、建物の壁等により地面に付着されているのがソース画像内で見えない場合、技術者は一対の画像により位置を判定できる。例えば支柱により道路標識が地面に付着されているのが見える場合、支柱が地面に接触するソース画像内の画素を使用して、地理座標参照系における標識支柱の位置を正確に判定できる。更に、道路標識の標準化された特性は、道路標識の位置を判定するために使用可能である。例えば、画像における道路標識のサイズは、カメラと道路標識との間の距離を判定するために使用可能である。位置は、オルソ補正タイルの基準位置、又は中央線のある特定の位置等のソース画像における水平情報の位置と相関関係にある。一実施形態において、抽出された案内標識情報は、対応する案内標識の種類指標と共にポイントとして格納される。案内標識の種類指標は、道路標識のグラフィック表現を含むデータベースに対するポインタであり、この場合、ポインタは道路標識の検出された種類を示す。抽出された垂直案内標識情報は、一時案内標識データベース１４４０に格納可能である。
【００７０】
最後に、抽出された水平道路情報及び関連位置データ、並びに抽出された垂直案内標識情報及び関連位置データは、デジタル地図データベース１４５０に格納可能である。水平道路情報、垂直案内標識情報及びそれぞれの位置データは、水平道路情報及び垂直案内標識情報を含む道路のグラフィック表現を生成するためにナビゲーションシステムにおいて使用可能である。水平道路情報及び垂直案内標識情報の双方が同一のデータソース、すなわち地上カメラにより取得される一連のソース画像から検索されるため、２種類の情報の互いに対する相対位置は非常に正確である。
【００７１】
上記説明において、取り込まれる水平情報は２つ以上のソース画像にわたり存在すると仮定する。１つのソース画像において可視である水平情報の場合、地理座標参照系における位置を取得するためにオルソ補正モザイクを生成する必要がないことは明らかである。従って、水平情報及び垂直情報を完全に含むソース画像は、水平情報及び垂直情報の双方の位置を正確に判定するために使用可能である。ソース画像において垂直情報が地面（＝仮想水平面）に接触する付着点の画素のx,y位置は、オルソ補正画像内のx,y位置に変換される。オルソ補正画像のメタデータにより、対応する地理位置を算出できる。
【００７２】
図９は、上述の方法を実行するオルソ補正モザイク生成器を実現するために使用可能なコンピュータシステムの上位ブロック図を示す。
【００７３】
図９のコンピュータシステムは、プロセッサユニット９１２及びメインメモリ９１４を含む。プロセッサユニット９１２は、単一マイクロプロセッサを含んでもよく、又はコンピュータシステムをマルチプロセッサシステムとして構成するために複数のマイクロプロセッサを含んでもよい。メインメモリ９１４は、プロセッサユニット９１２により実行する命令及びデータの一部を格納する。本発明の方法がソフトウェアにおいて完全に又は部分的に実現される場合、メインメモリ９１４は、動作時に実行可能コードを格納する。メインメモリ９１４は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）のバンク及び高速キャッシュメモリを含んでもよい。
【００７４】
図９のシステムは、大容量記憶装置９１６、周辺装置９１８、入力デバイス９２０、携帯記憶媒体ドライブ９２２、グラフィックスサブシステム９２４及び出力表示装置９２６を更に含む。簡潔にするため、図９に示す構成要素は、単一バス９２８を介して接続されるものとして示される。しかし、構成要素は１つ以上のデータ搬送手段を介して接続されてもよい。例えば、プロセッサユニット９１２及びメインメモリ９１４はローカルマイクロプロセッサバスを介して接続されてもよく、大容量記憶装置９１６、周辺装置９１８、携帯記憶媒体ドライブ９２２及びグラフィックスサブシステム９２４は、１つ以上の入出力（Ｉ／Ｏ）バスを介して接続されてもよい。磁気ディスクドライブ又は光ディスクドライブを用いて実現されてもよい大容量記憶装置９１６は、各カメラのジオコーディングされた画像シーケンス、カメラの較正情報、不変位置パラメータ及び可変位置パラメータ、不変方位パラメータ及び可変方位パラメータ、オルソ補正タイル及びオルソ補正モザイク、並びにプロセッサユニット９１２により使用される命令等のデータを格納する不揮発性記憶装置である。一実施形態において、大容量記憶装置９１６は、メインメモリ９１４にロードするために、本発明を実現するためのシステムソフトウェア又はコンピュータプログラムを格納する。
【００７５】
携帯記憶媒体ドライブ９２２は、フロッピディスク、マイクロドライブ及びフラッシュメモリ等の携帯不揮発性記憶媒体と関連して、図９のコンピュータシステムとの間でデータ及びコードを入出力するために動作する。一実施形態において、本発明を実現するためのシステムソフトウェアは、そのような携帯媒体の形態のプロセッサ可読媒体に格納され、携帯記憶媒体ドライブ９２２を介してコンピュータシステムに入力される。周辺装置９１８は、更なる機能性をコンピュータシステムに追加するための入出力（Ｉ／Ｏ）インタフェース等の任意の種類のコンピュータ支援デバイスを含んでもよい。例えば、周辺装置９１８は、コンピュータシステムをネットワークにインタフェースするためのネットワークインタフェースカード、モデム等を含んでもよい。
【００７６】
入力デバイス９２０は、ユーザインタフェースの一部を提供する。入力デバイス９２０は、英数字及び他のキー情報を入力するための英数字キーパッド、あるいはマウス、トラックボール、スタイラス又はカーソル方向キー等の位置指示装置を含んでもよい。文字情報及び図形情報を表示するため、図９のコンピュータシステムはグラフィックスサブシステム９２４及び出力表示装置９２６を含む。
【００７７】
出力表示装置９２６は、ブラウン管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）又は他の適切な表示装置を含んでもよい。グラフィックスサブシステム９２４は、文字情報及び図形情報を受信し、表示装置９２６に出力するために情報を処理する。出力表示装置９２６は、経路発見判定の結果を報告し、オルソ補正モザイクを表示し、案内を表示し、確認情報を表示するため及び／又はユーザインタフェースの一部である他の情報を表示するために使用可能である。図９のシステムは、マイクロホンを含むオーディオシステム９２８を更に含む。一実施形態において、オーディオシステム９２８は、マイクロホンから音声信号を受信するサウンドカードを含む。更に、図９のシステムは出力デバイス９３２を含む。適切な出力デバイスの例は、スピーカ、プリンタ等を含む。
【００７８】
図９のコンピュータシステムに含まれる構成要素は、汎用コンピュータシステムにおいて通常見られる構成要素であり、当業界において周知であるそのようなコンピュータ構成要素の広範な種類を表すことを意図する。
【００７９】
従って、図９のコンピュータシステムは、パーソナルコンピュータ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ等である。コンピュータは、異なるバス構成、ネットワーク化プラットフォーム、マルチプロセッ（登録商標）サプラットフォーム等を更に含むことができる。UNIX（登録商標）、Solaris、Linux、Windows（登録商標）、Macintosh OS及び他の適切なオペレーティングシステムを含む種々のオペレーティングシステムが使用可能である。
【００８０】
上述の方法は自動的に実行可能である。画像によっては、画像処理ツール及びオブジェクト認識ツールが何らかの補正を必要とする場合がある。例えば、オルソ補正タイルを他のオルソ補正タイル又は部分的に生成されたオルソ補正モザイクに重ね合わせた結果、オルソ補正モザイク内に望ましくない可視歪みが発生する場合がある。その場合、方法は、中間結果の確認又は適合を可能にする任意の検証動作及び手動適合動作を含む。これらの動作も、オルソ補正モザイク生成の中間結果又は最終結果を受け入れるのに適している。
【００８１】
本発明の上述の詳細な説明は、例示及び説明のために与えられた。これは、全ての実施形態を含むこと又は本発明を開示される形態に限定することを意図せず、上記の教示を鑑みて多くの変更及び変形が可能であることは明らかである。例えば、本発明は、ソース画像において検出可能な任意の種類のオブジェクトの位置を正確に判定するのにも適している。説明された実施形態は、本発明の原理及びその実際の用途を最適に説明し、それによって他の当業者が、種々の実施形態において及び考えられる特定の使用に適した種々の変更を用いて本発明を最適に利用できるようにするために選択された。本発明の範囲は、添付の請求の範囲により定義されることが意図される。
【特許請求の範囲】
【請求項１】
オルソ補正タイルを生成する方法であって、
地表を走行する移動車両に取り付けられた地上カメラにより得られる一連のソース画像を取得する工程と；
前記ソース画像と関連する位置データであり、前記車両内の前記基準位置との関係を定義する定数位置パラメータと、地理座標参照系における前記車両の前記基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する工程と；
前記ソース画像と関連する方位データであり、前記車両の基準方位に対する前記カメラの方位と関係する定数方位パラメータと、前記地理座標参照系における前記車両の前記基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
前記オルソ補正タイルと、前記オルソ補正画像内の画素座標から前記地理座標参照系内の位置への変換を定義する対応するメタデータとを得るため、対応する位置データ及び方位データによりソース画像を変換する工程と
を有することを特徴とする方法。
【請求項２】
前記方法は：
前記ソース画像と関連する前記位置データ及び前記方位データに依存して、前記地表に対応する平面を推定する工程を更に含み、
変換する工程は、ソース画像を変換して前記オルソ補正タイルを取得するために前記平面を使用することを特徴とする請求項１記載の方法。
【請求項３】
前記オルソ補正タイルは画素を含み、前記変換する工程は：
前記オルソ補正タイルの画素に対応する前記ソース画像内の少なくとも１つの画素を判定する工程と；
前記ソース画像内の前記少なくとも１つの画素の値から前記オルソ補正タイルの前記画素の値を判定する工程とを含むことを特徴とする請求項２記載の方法。
【請求項４】
前記オルソ補正タイルの規定の形状は矩形であることを特徴とする請求項２又は３記載の方法。
【請求項５】
前記一連のソース画像は、地表を走行する車両に取り付けられたカメラにより取得され、前記方位データは、前記車両の定義済み方位と前記車両の走行方向との間の角度と関係する変数方位パラメータを含むことを特徴とする請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記一連のソース画像は、前記地表を走行する車両に取り付けられたカメラにより取得され、前記方位データは、路面により定義される平面と水平面との間の角度と関係する変数方位パラメータを含むことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
変数方位パラメータは、前記移動車両の下の前記路面により定義される前記平面と水平面との間の角度と関係することを特徴とする請求項６記載の方法。
【請求項８】
変換する工程は：
前記ソース画像内の幾何歪みを補正する工程と；
垂直画像を取得するように前記カメラの焦点での３Ｄ回転を実行する工程と；
前記垂直画像をオルソ補正タイルに変換する工程とを含むことを特徴とする請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
オルソ補正モザイクを生成する方法であって、
請求項１乃至８のいずれか１項に記載の方法により、地表を走行する移動車両に取り付けられた地上カメラにより取得されるソース画像からオルソ補正タイルを生成する工程と；
前記オルソ補正タイル及び対応するメタデータから前記オルソ補正モザイク及びメタデータを生成する工程とを有することを特徴とする方法。
【請求項１０】
前記オルソ補正モザイクを生成する工程は：
前記位置データから前記オルソ補正モザイクに対する投影座標参照系を定義する工程と；
前記投影座標参照系及び前記オルソ補正タイルに対応するメタデータにより、前記オルソ補正モザイク内のオルソ補正タイルの領域を判定する工程と；
前記オルソ補正タイルの前記判定された領域の画素を前記オルソ補正モザイクの画素に変換する工程とを含むことを特徴とする請求項９記載の方法。
【請求項１１】
請求項１乃至８のいずれか１項に記載の方法を実行するコンピュータ装置であって：
入力デバイスと；
プロセッサ可読記憶媒体と；
前記入力デバイス及び前記プロセッサ可読記憶媒体と通信するプロセッサと；
前記プロセッサと通信する出力デバイスとを具備し、
前記プロセッサ可読記憶媒体は、前記プロセッサに、
地表を走行する移動車両に取り付けられた地上カメラにより得られた一連のソース画像を取得する動作と；
前記ソース画像と関連する位置データであり、前記車両内の前記基準位置との関係を定義する定数位置パラメータと、地理座標参照系における前記車両の前記基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する動作と；
前記ソース画像と関連する方位データであり、前記車両の定義済み方位に対する前記カメラの方位と関係する定数方位パラメータと変数...とを含む方位データを取得する動作と；
オルソ補正タイルと画素座標から前記地理座標参照系内の位置への変換を定義する対応するメタデータとを取得するため、前記対応する位置データ及び前記対応する方位データによりソース画像を変換する動作と；
前記オルソ補正タイルから前記オルソ補正モザイク及び対応するメタデータを生成する動作と；
前記オルソ補正モザイク及び関連するメタデータを記憶媒体に格納する動作と
を実行させるプログラムするコードを格納することを特徴とする装置。
【請求項１２】
請求項９又は１０に記載の方法により取得されるオルソ補正モザイクを記憶するプロセッサ可読記憶媒体。
【請求項１３】
コンピュータ構成にロードされた場合に前記コンピュータ装置が請求項１乃至１０のいずれか１項に記載の方法を実行できるようにする命令を含むコンピュータプログラム製品。
【請求項１４】
コンピュータ構成にロードされた場合に前記コンピュータ装置が請求項１乃至１０のいずれか１項に記載の方法を実行できるようにするコンピュータプログラム製品を記憶するプロセッサ可読媒体。
【請求項１５】
地表を走行する移動車両に取り付けられた地上カメラにより取得される少なくとも１つの地上画像シーケンスのソース画像から位置が正確な水平情報及び位置が正確な垂直情報の双方を収集する方法であって：
ソース画像を取得する工程と；
前記ソース画像と関連する位置データであり、前記車両内の前記基準位置との関係を定義する定数位置パラメータと、地理座標参照系における前記車両の前記基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する工程と；
前記ソース画像と関連する方位データであり、前記車両の基準方位に対する前記カメラの方位と関係する定数方位パラメータと、前記地理座標参照系における前記車両の前記基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
水平情報と、前記地理座標参照系内の対応する位置であり、画像データ及びオルソ補正表現の画素座標から前記地理座標参照系内の位置への変換を定義するメタデータを含む前記水平情報の前記オルソ補正表現を得るために前記水平情報を少なくとも部分的に含むソース画像を前記ソース画像と関連する位置データ及び方位データにより少なくとも部分的に変換することにより取得された位置とを前記ソース画像から取得する工程と；
少なくとも１つのソース画像から垂直情報を取得し且つ前記ソース画像と関連する前記位置データ及び前記方位データにより前記垂直情報の位置を特定する工程と；
地図データベースで使用するため、前記垂直情報、前記水平情報及び関連する位置を格納する工程と
を有することを特徴とする方法。
【請求項１６】
地表を走行する移動車両に取り付けられた地上カメラにより取得される少なくとも１つのソース画像から位置が正確な水平情報及び位置が正確なオブジェクト情報の双方を収集する方法であり、前記オブジェクトが地面に付着される付着点は前記少なくとも１つのソース画像の少なくとも１つの画素において可視である、方法であって：
前記少なくとも１つのソース画像を取得する工程と；
前記少なくとも１つのソース画像と関連する位置データであり、前記車両内の前記基準位置との関係を定義する定数位置パラメータと、地理座標参照系における前記車両の前記基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する工程と；
前記少なくとも１つのソース画像と関連する方位データであり、前記車両の基準方位に対する前記カメラの方位と関係する定数方位パラメータと、前記地理座標参照系における前記車両の前記基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
水平情報と、前記地理座標参照系内の対応する位置であり、画素のオルソ補正位置が水平情報と関連する前記少なくとも１つのソース画像と関連する前記位置データ及び前記方位データを用いて判定することにより取得された位置とを前記少なくとも１つのソース画像から取得する工程と；
前記少なくとも１つのソース画像からオブジェクト情報を取得する工程と；
前記オブジェクトと前記地面との前記付着点に対応する前記少なくとも１つの画素を判定し且つ前記少なくとも１つのソース画像と関連する前記位置データ及び前記方位データにより、前記地理座標参照系における前記オブジェクトと前記地面との前記付着点に対応する少なくとも１つの画素の前記オルソ補正位置を判定する工程と；
地図データベースで使用するため、前記オブジェクト情報、前記水平情報及び前記地理座標参照系における関連位置を格納する工程と
を有することを特徴とする方法。
【請求項１】
オルソ補正タイルを生成する方法であって、
地表を走行する移動車両に取り付けられた地上カメラにより得られる一連のソース画像を取得する工程と；
前記ソース画像と関連する位置データであり、前記車両内の前記基準位置との関係を定義する定数位置パラメータと、地理座標参照系における前記車両の前記基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する工程と；
前記ソース画像と関連する方位データであり、前記車両の基準方位に対する前記カメラの方位と関係する定数方位パラメータと、前記地理座標参照系における前記車両の前記基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
前記オルソ補正タイルと、前記オルソ補正画像内の画素座標から前記地理座標参照系内の位置への変換を定義する対応するメタデータとを得るため、対応する位置データ及び方位データによりソース画像を変換する工程と
を有することを特徴とする方法。
【請求項２】
前記方法は：
前記ソース画像と関連する前記位置データ及び前記方位データに依存して、前記地表に対応する平面を推定する工程を更に含み、
変換する工程は、ソース画像を変換して前記オルソ補正タイルを取得するために前記平面を使用することを特徴とする請求項１記載の方法。
【請求項３】
前記オルソ補正タイルは画素を含み、前記変換する工程は：
前記オルソ補正タイルの画素に対応する前記ソース画像内の少なくとも１つの画素を判定する工程と；
前記ソース画像内の前記少なくとも１つの画素の値から前記オルソ補正タイルの前記画素の値を判定する工程とを含むことを特徴とする請求項２記載の方法。
【請求項４】
前記オルソ補正タイルの規定の形状は矩形であることを特徴とする請求項２又は３記載の方法。
【請求項５】
前記一連のソース画像は、地表を走行する車両に取り付けられたカメラにより取得され、前記方位データは、前記車両の定義済み方位と前記車両の走行方向との間の角度と関係する変数方位パラメータを含むことを特徴とする請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記一連のソース画像は、前記地表を走行する車両に取り付けられたカメラにより取得され、前記方位データは、路面により定義される平面と水平面との間の角度と関係する変数方位パラメータを含むことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
変数方位パラメータは、前記移動車両の下の前記路面により定義される前記平面と水平面との間の角度と関係することを特徴とする請求項６記載の方法。
【請求項８】
変換する工程は：
前記ソース画像内の幾何歪みを補正する工程と；
垂直画像を取得するように前記カメラの焦点での３Ｄ回転を実行する工程と；
前記垂直画像をオルソ補正タイルに変換する工程とを含むことを特徴とする請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
オルソ補正モザイクを生成する方法であって、
請求項１乃至８のいずれか１項に記載の方法により、地表を走行する移動車両に取り付けられた地上カメラにより取得されるソース画像からオルソ補正タイルを生成する工程と；
前記オルソ補正タイル及び対応するメタデータから前記オルソ補正モザイク及びメタデータを生成する工程とを有することを特徴とする方法。
【請求項１０】
前記オルソ補正モザイクを生成する工程は：
前記位置データから前記オルソ補正モザイクに対する投影座標参照系を定義する工程と；
前記投影座標参照系及び前記オルソ補正タイルに対応するメタデータにより、前記オルソ補正モザイク内のオルソ補正タイルの領域を判定する工程と；
前記オルソ補正タイルの前記判定された領域の画素を前記オルソ補正モザイクの画素に変換する工程とを含むことを特徴とする請求項９記載の方法。
【請求項１１】
請求項１乃至８のいずれか１項に記載の方法を実行するコンピュータ装置であって：
入力デバイスと；
プロセッサ可読記憶媒体と；
前記入力デバイス及び前記プロセッサ可読記憶媒体と通信するプロセッサと；
前記プロセッサと通信する出力デバイスとを具備し、
前記プロセッサ可読記憶媒体は、前記プロセッサに、
地表を走行する移動車両に取り付けられた地上カメラにより得られた一連のソース画像を取得する動作と；
前記ソース画像と関連する位置データであり、前記車両内の前記基準位置との関係を定義する定数位置パラメータと、地理座標参照系における前記車両の前記基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する動作と；
前記ソース画像と関連する方位データであり、前記車両の定義済み方位に対する前記カメラの方位と関係する定数方位パラメータと変数...とを含む方位データを取得する動作と；
オルソ補正タイルと画素座標から前記地理座標参照系内の位置への変換を定義する対応するメタデータとを取得するため、前記対応する位置データ及び前記対応する方位データによりソース画像を変換する動作と；
前記オルソ補正タイルから前記オルソ補正モザイク及び対応するメタデータを生成する動作と；
前記オルソ補正モザイク及び関連するメタデータを記憶媒体に格納する動作と
を実行させるプログラムするコードを格納することを特徴とする装置。
【請求項１２】
請求項９又は１０に記載の方法により取得されるオルソ補正モザイクを記憶するプロセッサ可読記憶媒体。
【請求項１３】
コンピュータ構成にロードされた場合に前記コンピュータ装置が請求項１乃至１０のいずれか１項に記載の方法を実行できるようにする命令を含むコンピュータプログラム製品。
【請求項１４】
コンピュータ構成にロードされた場合に前記コンピュータ装置が請求項１乃至１０のいずれか１項に記載の方法を実行できるようにするコンピュータプログラム製品を記憶するプロセッサ可読媒体。
【請求項１５】
地表を走行する移動車両に取り付けられた地上カメラにより取得される少なくとも１つの地上画像シーケンスのソース画像から位置が正確な水平情報及び位置が正確な垂直情報の双方を収集する方法であって：
ソース画像を取得する工程と；
前記ソース画像と関連する位置データであり、前記車両内の前記基準位置との関係を定義する定数位置パラメータと、地理座標参照系における前記車両の前記基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する工程と；
前記ソース画像と関連する方位データであり、前記車両の基準方位に対する前記カメラの方位と関係する定数方位パラメータと、前記地理座標参照系における前記車両の前記基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
水平情報と、前記地理座標参照系内の対応する位置であり、画像データ及びオルソ補正表現の画素座標から前記地理座標参照系内の位置への変換を定義するメタデータを含む前記水平情報の前記オルソ補正表現を得るために前記水平情報を少なくとも部分的に含むソース画像を前記ソース画像と関連する位置データ及び方位データにより少なくとも部分的に変換することにより取得された位置とを前記ソース画像から取得する工程と；
少なくとも１つのソース画像から垂直情報を取得し且つ前記ソース画像と関連する前記位置データ及び前記方位データにより前記垂直情報の位置を特定する工程と；
地図データベースで使用するため、前記垂直情報、前記水平情報及び関連する位置を格納する工程と
を有することを特徴とする方法。
【請求項１６】
地表を走行する移動車両に取り付けられた地上カメラにより取得される少なくとも１つのソース画像から位置が正確な水平情報及び位置が正確なオブジェクト情報の双方を収集する方法であり、前記オブジェクトが地面に付着される付着点は前記少なくとも１つのソース画像の少なくとも１つの画素において可視である、方法であって：
前記少なくとも１つのソース画像を取得する工程と；
前記少なくとも１つのソース画像と関連する位置データであり、前記車両内の前記基準位置との関係を定義する定数位置パラメータと、地理座標参照系における前記車両の前記基準位置の座標場所に対応する前記座標参照系における変数パラメータとを含む位置データを取得する工程と；
前記少なくとも１つのソース画像と関連する方位データであり、前記車両の基準方位に対する前記カメラの方位と関係する定数方位パラメータと、前記地理座標参照系における前記車両の前記基準方位の方位に対応する前記座標参照系における変数方位パラメータとを含む方位データを取得する工程と；
水平情報と、前記地理座標参照系内の対応する位置であり、画素のオルソ補正位置が水平情報と関連する前記少なくとも１つのソース画像と関連する前記位置データ及び前記方位データを用いて判定することにより取得された位置とを前記少なくとも１つのソース画像から取得する工程と；
前記少なくとも１つのソース画像からオブジェクト情報を取得する工程と；
前記オブジェクトと前記地面との前記付着点に対応する前記少なくとも１つの画素を判定し且つ前記少なくとも１つのソース画像と関連する前記位置データ及び前記方位データにより、前記地理座標参照系における前記オブジェクトと前記地面との前記付着点に対応する少なくとも１つの画素の前記オルソ補正位置を判定する工程と；
地図データベースで使用するため、前記オブジェクト情報、前記水平情報及び前記地理座標参照系における関連位置を格納する工程と
を有することを特徴とする方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公表番号】特表２０１０−５０６２９１（Ｐ２０１０−５０６２９１Ａ）
【公表日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願番号】特願２００９−５３１３３５（Ｐ２００９−５３１３３５）
【出願日】平成１９年１０月９日（２００７．１０．９）
【国際出願番号】ＰＣＴ／ＮＬ２００７／０５０４８９
【国際公開番号】ＷＯ２００８／０４４９２７
【国際公開日】平成２０年４月１７日（２００８．４．１７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｌｉｎｕｘ
【出願人】（５０９０９７５６３）テレ アトラス ベスローテン フエンノートシャップ (23)
【氏名又は名称原語表記】Ｔｅｌｅ Ａｔｌａｓ Ｂ．Ｖ．
【住所又は居所原語表記】Ｒｅｉｔｓｃｈｅｗｅｇ ７Ｆ， ＮＬ−５２３２ ＢＸ ’ｓ−Ｈｅｒｔｏｇｅｎｂｏｓｃｈ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
【公表日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願日】平成１９年１０月９日（２００７．１０．９）
【国際出願番号】ＰＣＴ／ＮＬ２００７／０５０４８９
【国際公開番号】ＷＯ２００８／０４４９２７
【国際公開日】平成２０年４月１７日（２００８．４．１７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｌｉｎｕｘ
【出願人】（５０９０９７５６３）テレ アトラス ベスローテン フエンノートシャップ (23)
【氏名又は名称原語表記】Ｔｅｌｅ Ａｔｌａｓ Ｂ．Ｖ．
【住所又は居所原語表記】Ｒｅｉｔｓｃｈｅｗｅｇ ７Ｆ， ＮＬ−５２３２ ＢＸ ’ｓ−Ｈｅｒｔｏｇｅｎｂｏｓｃｈ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
[ Back to top ]