車線情報を作成する方法及び装置
本発明は、地図データベースで使用するための車線情報を作成する方法に関する。方法は、道路の路面の少なくとも１つのソース画像、並びに関連する位置及び方向データを取得する工程であって、その道路は道路の方向に対して平行な方向及び車線標示を有することを特徴とする工程と、道路の方向を示す道路情報を取得する工程と、道路情報に依って、変換画像を取得するために少なくとも１つのソース画像を変換する工程であって、画素の各列が道路の方向に対して平行な面に対応することを特徴とする工程と、フィルタ画像を取得するために、非対称マスクを含むフィルタを変換画像上に適用する工程と、少なくとも１つのソース画像と関連付けられる位置及び方向データに依って、フィルタ画像から車線情報を作成する工程とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、地図データベースで使用するための車線情報を作成する方法に関する。本発明は、更に、車線情報を作成する装置、コンピュータプログラム及びそのコンピュータプログラムを保持するプロセッサが読取可能な媒体に関する。
【背景技術】
【０００２】
例えば、ナビゲーションシステムにおいて使用されるデジタル地図データベースのために、車線分離帯、道路の中央線、道路の幅等の多くの水平道路情報を収集する必要がある。道路情報の地理位置は、絶対位置情報又は相対位置情報として格納可能である。例えば、中央線は絶対地理位置情報を用いて格納されてもよく、道路の幅は中央線の絶対地理位置に対して相対的である相対位置情報を用いて格納されてもよい。道路情報は高解像度空中オルソ画像を解釈することにより取得可能である。オルソ画像は、上方から見た地上の特徴をそれらが補正された地上位置に示し且つカメラ及び飛行特性により引き起こされる歪み、並びに起伏のずれが写真測量技術を使用して除去された「縮尺補正」画像である。オルソ画像は、写真の縮尺が均一であるように、すなわち写真が地図と同等であると考えられるように幾何学的に補正された（「オルソ補正された」）空中写真の一種である。オルソ画像は地形の起伏、レンズの歪み及びカメラの傾斜を調整された地表の正確な表現であるため、実際の距離を測定するために使用可能である。オルソ補正図は基準面に対して直角に投影するが、斜視図は単一の固定位置から表面を基準面に投影する。この点で、オルソ補正図は斜視図とは異なる。オルソ画像は、任意の適切な地図投影により取得可能である。地図投影は、円筒図法、擬円筒図法、混成図法、円錐図法、擬円錐図法又は方位図法等の表面投影であってもよい。投影は距離プロパティの保存による投影であってもよい。地図投影は、それらが正射投影であるという点、すなわち各画素が基準面（地球の形状に近似する楕円体）の表面に対して垂直な線に沿って見た表面上の点を表すという点で共通する。従って、地表のオルソ画像の各画素は、地球の形状に近似する楕円体に対して垂直な線に沿って見た地表図にほぼ対応する。
【０００３】
以上の投影の制約に加えて、オルソ画像は、アルゴリズムがオルソ画像の任意の画素を地理座標参照系内の点に対して参照できるようにするメタデータを含む。地球の形状に近似する楕円体上での各画素の正確な位置が既知であるため、地上の特徴、例えば水平道路情報の位置及びサイズはオルソ画像から検索可能であり、非常に正確な距離及び地球の座標が算出可能である。ジオコーディングされたオルソ補正画像のメタデータは、投影された座標参照系を規定し、その地理座標参照系において対応する位置を画素毎に判定する。
【０００４】
ジオコーディングされたオルソ補正画像は、道路標示が存在する場合にはそれを含む路面を示す。画像処理アルゴリズムにより、道路標示を検出でき且つ対応する画素を判定できる。メタデータにより、地理座標参照系において道路標示の位置を正確に判定できる。
【０００５】
そのような高解像度空中オルソ補正画像は２５ｃｍ未満の画素サイズを有する必要がある。そのような画像を取得するには非常にコストがかかり、全ての道路水平情報が取得されるという保証はない。
【０００６】
オルソ補正画像は空中画像から取得される。しかし、誤差が含まれることが多いため、地理位置データが不正確にマッピングされることになる。主な問題は、空中画像が、通常、地表に対して厳密に垂直に撮影されていないことである。写真が地表に近接して撮影される場合であっても、厳密に垂直であるのは写真の中心のみである。そのような画像をオルソ補正するために、地形の高さ情報を更に取得する必要がある。重複画像を取得し且つ同一の空中カメラからの連続画像から取得される同一表面を比較することにより、精度が増す。しかし、追加コストに対する取得精度には限界がある。尚、空中オルソ補正画像は上面図画像のモザイクであってもよい。
【０００７】
更に、空中オルソ補正画像から「水平」道路情報を取得するために画像を解析する必要がある。画像において路面が検出される必要がある。空中オルソ補正画像と関連付けられる地理位置及び地図データベース中の地理位置は、異なる位置判定装置から取得されている。そのため、地図データベース中の道路の地理位置は、オルソ補正画像において路面が配置される場所を正確に判定するために常に直接使用できるとは限らない。
【０００８】
現在、例えばナビゲーションシステムにおいて使用されるデジタル地図データベースのための制限速度、方向案内標識等の「垂直」道路情報は、地上限定移動収集装置により収集される水平な写真画像及び他のデータを解析及び解釈することにより取得可能である。用語「垂直」は、道路情報の情報平面が重力ベクトルに対してほぼ平行であることを示す。自動車又はバン等の地上車両であるモバイルマッピング車両は、デジタル地図データベースを改善するためのモバイルデータを収集するために使用される。改善例は、交通標識、進路標識、交通信号、街路名を示す街路標識等の場所である。
【０００９】
モバイルマッピング車両は、一部が立体カメラである多くのカメラを有し、車両が車載位置決めシステム（例えば、高精度ＧＰＳ受信機）及び他の位置判定機器（例えば、慣性ナビゲーションシステム−ＩＮＳ）を搭載するため、全てのカメラの地理位置は正確に決められる。道路網を走行中にジオコーディングされた画像シーケンスが取り込まれる。これらは、動画又は静止写真画像のいずれであってもよい。ジオコーディングは、画像と関連付けられる位置がその画像のメタデータに添付されることを意味する。本発明において、その位置は、ＧＰＳ受信機及び場合によってはＩＮＳ、並びに場合によっては距離及び方向測定装置を含む車両の位置判定システムから導出される。
【００１０】
モバイルマッピング車両は、建物又は路面等のオブジェクトの画像シーケンスにおいて２つ以上の画像を記録し、画像シーケンスの画像毎に、座標参照系を基準とする地理位置及び方向が正確に判定される。対応する地理位置及び方向情報を有する画像シーケンスをジオコーディングされた画像シーケンスと呼ぶ。カメラにより取得された画像シーケンスが「水平」道路情報の視覚的な斜視図を表すため、画像処理アルゴリズムは、画像シーケンスから道路情報を抽出するための解決策を提供してもよい。カメラの地理位置は、車載位置決めシステム（例えば、ＧＰＳ受信機）、並びに他の追加の位置及び方向判定機器（例えば、慣性ナビゲーションシステム−ＩＮＳ）により正確にわかる。
【００１１】
車線情報は、モバイルマッピング車両により取り込まれる空中画像及び画像シーケンスの双方に存在する。複雑な画像処理アルゴリズムにより、車線情報が検出され且つ対応する位置情報が判定される。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】国際出願第ＰＣＴ／ＮＬ２００６／０５０２５２号
【特許文献２】国際出願第ＰＣＴ／ＮＬ２００７／０５０１５９号
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は、地図データベースで使用するために、車線情報を作成する改善された方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明によると、方法は、方向及び道路の方向に対して平行な車線標示を有する路面、並びに関連する位置及び方向データの少なくとも１つのソース画像を取得する工程と、道路の方向を示す道路情報を取得する工程と、道路情報に依って、変換画像を取得するために少なくとも１つのソース画像を変換する工程であり、変換画像の画素の各列は道路の方向に対して平行な面に対応していることを特徴とする工程と、フィルタ画像を取得するために非対称マスクを含むフィルタを変換画像上に適用する工程と、少なくとも１つのソース画像と関連付けられる位置及び方向データに依って、フィルタ画像から車線情報を作成する工程とから成る。
【００１５】
本発明は、道路の位置及び方向の情報がデジタル地図データベースから容易に取得されるという認識に基づく。更に道路の位置及び方向は、道路上を走行するモバイルマッピング車両から容易に取得される。道路上を走行する車両の方向は、道路の方向に対してある程度平行である。また、路面上に塗装される直線標示である車線分離帯等の車線標示は、道路の方向に対して平行な標示である。現在、上面図又はオルソ補正図画像であってもよいジオコーディングされた画像は市販されており、地理位置は事前定義済み座標系で画素毎に認識される。ジオコーディングされた画像は空中画像又は衛星画像であってもよい。少なくとも１つのソース画像は、道路上を走行する移動車両上に取り付けられた地上カメラを使用して取得される少なくとも１つの画像シーケンス、並びに関連する位置及び方向データを検索し、且つ少なくとも１つの画像、並びに関連する位置及び方向データを取得するために少なくとも１つの画像シーケンス上で標準化処理を実行することにより取得されたソース画像であってもよい。標準化処理はオルソ補正処理を含んでもよい。
【００１６】
ソース画像は、車線情報の抽出を向上するためにフィルタリングされる。ノイズフィルタ、形態フィルタ及び縁部フィルタ等の一般に周知のフィルタは、抽出を向上するために使用されてもよい。しかし、線形オブジェクトの方向がソース画像中で認識されていないため、フィルタは方向不変フィルタでなければならない。これらのフィルタは２次元の対称フィルタであり、２つの方向に同時に機能を実行する。しかし、検出される線形オブジェクトの方向が認識される場合、１次元のみで動作するフィルタが使用されてもよい。これらのフィルタが有するパラメータ数は減少される。その結果、そのようなフィルタを実行するために必要な演算能力は減少する。また、オブジェクトの方向及び形状が周知である場合、形状フィルタは画像中で周知の方向を含むオブジェクトのみを検出すればよいため、より簡単な形状検出アルゴリズムが使用されてもよい。従って、本発明に従って、ソース画像から車線情報を抽出する前に、道路の方向は画素の各列が道路の方向に対して平行である画像を取得するために使用される。従って、直線車線標示は画像中で垂直な方向を有する。これにより、例えば車線情報の特徴を強調することにより１次元のみの機能を有するフィルタを変換画像に使用して画像を改善する。これらのフィルタは、１方向のみに画像上でフィルタリングするため、非対称フィルタと呼ばれる。フィルタリングを介して画像中の特徴を強調する例には、画像ノイズの低減、直線道路標示の幅の拡張及び不要な画像情報の削除又は抑制が含まれる。画像がフィルタリングされた後、直線車線の塗装を検出するために通常の特徴抽出技術が使用されてもよい。また、検出される線形オブジェクトの方向を認識することにより、より効果的な強調フィルタが設計されてもよい。
【００１７】
本発明の一実施形態において、１つ以上の画像シーケンスの軌道情報、並びに関連する位置及び方向情報は、移動車両に取り付けられた位置判定手段により作成される出力信号から同時に取り込まれる。この特徴により、作成される車線情報の位置情報の相対的な精度が増す。車両の位置及び方向は、ＧＰＳ受信機、並びに１つ以上のジャイロスコープ及び／又は加速度計等の慣性測定装置により判定される。地上カメラと記録される地表との距離が制限され、且つカメラの地理位置が車載位置決めシステム（例えば、ＧＰＳ受信機）、並びに他の追加の位置及び方向判定機器（例えば、慣性ナビゲーションシステム−ＩＮＳ）により正確に認識されるため、画素は地表を示すと仮定される各画素の絶対地理位置は正確に判定される。これにより、未公開特許出願ＰＣＴ／ＮＬ２００６／０５０２５２号に開示されるようなアルゴリズムは、オルソ補正画像、並びに関連する位置及び方向データを非常に正確に生成できる。一般的なモバイルマッピングシステム（ＭＭＳ）は、１００ｍに沿う５０ｃｍの相対精度及び２００ｃｍの絶対精度を含む８ｃｍの解像度を有するオルソ補正モザイク又はオルソ補正画像を生成する。正確な位置及び方向データにより、変換画像の画素の各列が道路の方向に対して平行な表面に対応するようにオルソ補正画像を変換できる。尚、各列が車両の走行方向に対して既に平行である画像をオルソ補正処理が生成する場合、変換は任意であってもよい。
【００１８】
本発明の一実施形態において、変換することは回転操作を含む。画像の回転は、導出される道路の方向に対して平行な地表上の線に画素の列が対応するように、オルソ補正図画像又は上面図画像を整列するために使用される簡単な機能である。
【００１９】
本発明の一実施形態において、非対称マスクを含むフィルタを適用する工程は、第１に、車両の走行方向に対して垂直な方向に線の幅を拡張する構造化要素を有する第１のフィルタを変換画像上に適用する工程と、第２に、車両の走行方向に対して平行な方向に線の長さを短縮する構造化要素を有する第２のフィルタを適用する工程とを含む。
【００２０】
本発明の更なる一実施形態において、第１のフィルタは最大フィルタであり、第２のフィルタは最小フィルタである。これらは、オブジェクトの幅を拡張し且つオブジェクトの長さを短縮する非常に単純なフィルタである。
【００２１】
本発明の更なる実施形態において、非対称マスクを含むフィルタを適用する工程は、
第３に、走行方向に対して平行な方向に線の長さを元のサイズに延長する構造化要素を有する第３のフィルタを適用する工程を更に含む。有利な一実施形態において、第３のフィルタは最大フィルタである。これらの特徴により、オブジェクトの長さを元のサイズに復元できる。その結果、破線の各セグメントの長さを正確に判定できる。
【００２２】
本発明の一実施形態において、車線情報を作成する工程は、フィルタ画像において実線を探索する工程と、少なくとも１つのソース画像と関連付けられる位置及び方向データに依存して実線の位置を算出する工程とを含む。例示的な一実施形態において、車線情報を作成することは、フィルタ画像において矩形を探索する工程と、少なくとも１つのソース画像と関連付けられる位置及び方向データに依って、矩形の位置を算出する工程とを含む。
【００２３】
本発明は、ソフトウェア、ハードウェア又はソフトウェア及びハードウェアの組み合わせを使用して実現可能である。本発明の全部又は一部がソフトウェアで実現される場合、そのソフトウェアはプロセッサが読取可能な記憶媒体に常駐可能である。適切なプロセッサが読取可能な記憶媒体の例は、フロッピーディスク、ハードディスク、ＣＤ ＲＯＭ、ＤＶＤ、メモリＩＣ等を含む。システムがハードウェアを含む場合、ハードウェアは、出力装置（例えばモニタ、スピーカ又はプリンタ）、入力装置（例えばキーボード、位置指示装置及び／又はマイクロホン）、並びに出力装置と通信するプロセッサ及びプロセッサと通信するプロセッサが読取可能な記憶媒体を含んでもよい。プロセッサが読取可能な記憶媒体は、本発明を実現するための動作を実行するようにプロセッサをプログラムできるコードを格納する。本発明の処理は、電話線、あるいは他のネットワーク又はインターネット接続を介してアクセス可能なサーバ上でも実現可能である。
【図面の簡単な説明】
【００２４】
【図１】カメラを有するＭＭＳシステムを示す図である。
【図２】場所及び方向パラメータを示す図である。
【図３】本発明を実行可能なコンピュータ構成を示すブロック図である。
【図４】本発明に従って車線情報を作成する処理の実現例を示すフローチャートである。
【図５】ソース画像からオルソ補正タイルへの変換の基本原理を示す側面図である。
【図６】ソース画像からオルソ補正タイルへの変換の基本原理を示す上面図である。
【図７】道路セグメントのオルソ補正画像を示す図である。
【図８】非対称フィルタリングの一実施形態を示すフローチャートである。
【図９】フィルタマスクの実施形態を示す図である。
【図１０】道路セグメントのフィルタ画像を示す図である。
【図１１】図１０に示すフィルタ画像において検出される特徴を視覚化する図である。
【発明を実施するための形態】
【００２５】
多くの例示的な実施形態を使用し且つ添付の図面を参照して、本発明を以下により詳細に説明する。図面は本発明を例示することを意図し、本発明の範囲を制限することを意図しない。本発明の範囲は、添付の請求の範囲及び同等な実施形態により定義される。
【００２６】
図１は、自動車１の形態をとるＭＭＳシステムを示す。自動車１は、１つ以上のカメラ９（ｉ）を備える。i＝１、２、３、...Ｉである。自動車１は、運転者により関心道路に沿って運転される。
【００２７】
自動車１は複数の車輪２を備える。更に、自動車１は高精度位置判定装置を備える。図１に示すように、位置判定装置は以下の構成要素を具備する。
【００２８】
・アンテナ８に接続され、複数の衛星ＳＬi（i＝１、２、３、...）と通信し且つ衛星ＳＬiから受信する信号から位置信号を算出するように構成されるＧＰＳ（全地球測位システム）ユニット。ＧＰＳユニットはマイクロプロセッサμＰに接続される。ＧＰＳユニットから受信する信号に基づいて、マイクロプロセッサμＰは、自動車１内のモニタ４に表示され且つ運転者に自動車が位置する場所及び場合によっては自動車が移動している方向を通知する適切な表示信号を決定してもよい。ＧＰＳユニットの代わりに、差動ＧＰＳユニットが使用されてもよい。差動全地球測位システム（ＤＧＰＳ）は全地球測位システム（ＧＰＳ）の改良版であり、固定地上基準局のネットワークを使用して、衛星システムにより示される位置と既知の固定位置との間の差分を広く送信する。これらの局は、測定された衛星の擬似距離と実際の（内部で計算された）擬似距離との間の差分を広く送信し、受信局は自身の擬似距離を同一量分補正してもよい。
【００２９】
・ＤＭＩ（距離測定計器）。この計器は、車輪２のうちの１つ以上の車輪の回転数を検知することにより、自動車１が移動した距離を測定する走行距離計である。ＧＰＳユニットからの出力信号から表示信号を算出する際にマイクロプロセッサμＰがＤＭＩにより測定された距離を考慮できるようにするため、ＤＭＩもマイクロプロセッサμＰに接続される。
・ＩＭＵ（慣性測定ユニット）。そのようなＩＭＵは、３つの直交方向に沿う回転加速度及び並進加速度を測定するように構成される３つのジャイロユニットとして実現可能である。ＧＰＳユニットからの出力信号から表示信号を算出する一方でマイクロプロセッサμＰがＤＭＩによる測定値を考慮できるようにするため、ＩＭＵもマイクロプロセッサμＰに接続される。ＩＭＵは、推測航法センサを更に含むことができる。
【００３０】
図１に示すようなシステムは、例えば自動車１に取り付けられた１つ以上のカメラ９（i）を用いて写真を撮影することにより地理データを収集するいわゆる「モバイルマッピングシステム」である。カメラはマイクロプロセッサμＰに接続される。自動車前方のカメラ９（i）は、立体カメラであってもよい。カメラは、画像が既定のフレーム速度で取り込まれた画像シーケンスを生成するように構成可能である。例示的な一実施形態において、カメラの１つ以上は、自動車１の既定の変位毎又は時間間隔毎に写真を取り込むように構成されるスチルカメラである。既定の変位は、２つの連続写真が路面の同様の部分を含むように選択される。例えば写真は、８ｍ移動する毎に取り込まれてもよい。
【００３１】
一般に、３つの測定ユニット、すなわちＧＰＳ、ＩＭＵ及びＤＭＩから可能な限り正確な場所及び方向の測定値を提供することが望まれる。これらの場所及び方向データは、カメラ９（i）が写真を撮影している間に測定される。写真は、後で使用するため、これらの写真が撮影されたのと同時に収集された自動車１の対応する場所及び方向データと関連付けて、μＰの適切なメモリに格納される。写真は、道路の中心、路面の縁部及び道路の幅等の車線情報に関する情報を含む。
【００３２】
図２は、図１に示す３つの測定ユニットであるＧＰＳ、ＤＭＩ及びＩＭＵから取得可能な位置信号を示す。図２は、マイクロプロセッサμＰが６つの異なるパラメータ、すなわち所定の座標系内の原点に関する３つの距離パラメータｘ、ｙ、ｚ、並びにｘ軸、ｙ軸及びｚ軸に関する回転をそれぞれ示す３つの角度パラメータωｘ、ωｙ及びωｚを算出するように構成されることを示す。ｚ方向は重力ベクトルの方向と一致する。グローバルＵＴＭが所定の座標系として使用されてもよい。
【００３３】
自動車１内のマイクロプロセッサμＰ及びメモリは、コンピュータ構成として実現されてもよい。そのようなコンピュータ構成の例を図３に示す。
【００３４】
図３において、算術演算を実行するプロセッサ３１１を具備するコンピュータ構成３００の概略が示される。図１に示す実施形態において、プロセッサはマイクロプロセッサμＰである。
【００３５】
プロセッサ３１１は、ハードディスク３１２、読み出し専用メモリ（ＲＯＭ）３１３、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）３１４及びランダムアクセスメモリ（ＲＡＭ）３１５を含む複数のメモリ要素に接続される。必ずしもこれらメモリの種類の全てを設ける必要はない。更に、これらのメモリ要素はプロセッサ３１１に物理的に近接して配置される必要がなく、プロセッサ３１１から離れて配置されてもよい。
【００３６】
プロセッサ３１１は、ユーザにより命令、データ等を入力する手段、例えばキーボード３１６及びマウス３１７に更に接続される。当業者には周知であるタッチスクリーン、トラックボール及び／又は音声変換器等の他の入力手段が更に設けられてもよい。
【００３７】
プロセッサ３１１に接続された読み取りユニット３１９が設けられる。読み取りユニット３１９は、フロッピーディスク３２０又はＣＤＲＯＭ３１２等の取り外し可能なデータ記憶媒体又は取り外し可能な記憶媒体からデータを読み取り且つ場合によってはそれらにデータを書き込むように構成される。当業者には周知であるように、他の取り外し可能なデータ記憶媒体は、テープ、ＤＶＤ、ＣＤ−Ｒ、ＤＶＤ−Ｒ、メモリスティック等であってもよい。
【００３８】
プロセッサ３１１は、紙上に出力データを印刷するためのプリンタ３２３及びディスプレイ３１８、例えばモニタ又はＬＣＤ（液晶ディスプレイ）画面、あるいは当業者には周知である他の任意の種類のディスプレイに接続されてもよい。
【００３９】
プロセッサ３１１は、スピーカ３２９に接続されてもよい。
【００４０】
更にプロセッサ３１１は、Ｉ／Ｏ手段３２５により公衆交換電話網（ＰＳＴＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット等の通信ネットワーク３２７に接続されてもよい。
【００４１】
データ記憶媒体３２０、３２１は、プロセッサに本発明に従って方法を実行する能力を提供するように構成されるデータ及び命令の形態のコンピュータプログラム製品を具備してもよい。しかし、そのようなコンピュータプログラム製品は電気通信ネットワーク３２７を介してダウンロードされてもよい。
【００４２】
プロセッサ３１１は、独立型システムとして実現されてもよく、各々がより大きなコンピュータプログラムのサブタスクを実行するように構成される複数の並列プロセッサとして実現されてもよく、又は複数のサブプロセッサを有する１つ以上のメインプロセッサとして実現されてもよい。本発明の機能性の一部は、電気通信ネットワーク３２７を介してプロセッサ３１１と通信するリモートプロセッサによって実行されてもよい。
【００４３】
図３のコンピュータシステムに含まれる構成要素は、汎用コンピュータシステムにおいて通常見られる構成要素であり、当業界において周知であるそのようなコンピュータ構成要素の広範な種類を表すことを意図する。
【００４４】
従って、図３のコンピュータシステムは、パーソナルコンピュータ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ等である。コンピュータは、異なるバス構成、ネットワーク化プラットフォーム、マルチプロセッサプラットフォーム等を更に含むことができる。ＵＮＩＸ、Ｓｏｌａｒｉｓ、Ｌｉｎｕｘ、Ｗｉｎｄｏｗｓ、Ｍａｃｉｎｔｏｓｈ ＯＳ及び他の適切なオペレーティングシステムを含む種々のオペレーティングシステムが使用可能である。
【００４５】
カメラ９（ｉ）により取得された画像及びスキャンを後処理するために図３の構成と同様の構成が使用されるが、これは、オフラインの後処理のため、自動車１内ではなく建物内に配置されるのが好都合である。カメラ９（ｉ）により取得された画像及びスキャンは、１つ以上のメモリ３１２〜３１５に格納される。この格納は、それらデータを最初にＤＶＤ又はメモリスティック等に格納するか、あるいはメモリ９から場合によっては無線送信することにより実行可能である。
【００４６】
図４は、本発明に従って車線情報を作成する処理の例示的な実施形態を示すフローチャートである。処理は、図１に示すようなモバイルマッピング車両を使用して座標参照系において関連する位置及び方向データを含むソース画像シーケンスを取り込むこと、並びに取り込まれたデータを記憶媒体上に格納することにより、ＭＭＳ（モバイルマッピングシステム）セッション４１で開始する。処理ブロック４２において、取り込まれたデータは、座標参照系において関連する位置及び方向データに対応するメタデータを含むソース画像毎にオルソ補正タイルを生成するように処理される。オルソ補正処理は、収集ジオメトリ及び地形により生じる歪みを除去し、画像を均一な地上サンプル距離及びユーザ指定の地図投影に再サンプリングする。関連する位置及び方向データは、ＧＰＳ、ＤＭＩ及びＩＭＵから取得される位置信号、並びに自動車の位置及び方向に対する各カメラの位置及び方向を含む。ソース画像からオルソ補正タイルを生成することについて、以下に更に詳細に説明する。位置及び方向データにより、オルソ補正モザイクを取得するために路面の同様の部分を含むオルソ補正画像を重ね合わすことができる。オルソ補正画像４３は、１つのソース画像からのみ生成されるオルソ補正画像又はオルソ補正画像のモザイクであってもよく、例えば１０ｍ〜１００ｍまでの直線道路セグメントを示す。
【００４７】
更に、取り込まれたデータから、道路上のモバイルマッピング車両の走行方向が導出される。車両が路面上を走行しているため、走行方向は道路の方向に対してほぼ平行である。この場合、走行方向は道路の方向の推定値である。道路の方向をブロック４４で示す。
【００４８】
尚、画像の解像度が車線情報を検出するのに十分であると仮定すると、本発明に係る方法は、任意の地理参照オルソ補正画像、例えば空中オルソ補正画像又は衛星オルソ補正画像に適用可能である。更に道路の方向は、市販の地図データベースからも検索される。しかし、モバイルマッピング車両は、画像データ、並びに車両の位置及び方向データの双方を同時に記録するため、このデータにより、空中画像又は衛星画像を使用して行なわれる時よりも画像中の路面を含む画像部分を正確に選択でき、座標参照系において位置を非常に正確に計算できる。
【００４９】
オルソ補正画像、並びにオルソ補正画像の位置及び方向データを規定する関連するメタデータを生成する方法は、未公開特許出願ＰＣＴ／ＮＬ２００６／０５０２５２号に開示される。この方法により、モバイルマッピングシステムデータのみから非常に正確なジオコーディングされたオルソ補正画像を生成できる。ジオコーディングされた画像は８ｃｍの画素解像度（＝画像内での相対位置精度）を有し、地表上での画像の位置及び方向を規定するメタデータは１ｍ及び０．１度の絶対地理位置精度を有する。
【００５０】
ブロック４５において、道路の方向は、オルソ画像４３を変換画像４６に変換するために使用される。一実施形態において、道路の方向はモバイルマッピング車両の走行方向に対応する。別の実施形態において、道路の方向は空中画像又は衛星画像から導出される。更に別の実施形態において、道路の方向はデジタル地図データベース中のデータから導出される。ブロック４５における変換は、オルソ補正画像を標準化するために使用される。変換画像４６において、道路の方向及び解像度は標準化される。標準化とは、変換画像４６において、道路が事前定義済みの方向を有し、変換画像の各画素が地表の固定事前定義済み物理領域を示すことを意味する。これにより、簡単な非対称フィルタの１セットのみを変換画像上に適用できる。画素サイズは標準化処理において画素の縮尺を一致させるように調整され、それはオルソ補正処理の一部であってもよい。道路の方向は、オルソ補正画像を回転させることにより標準化される。道路の方向は、変換画像の画素の列に対して平行であることが好ましい。変換画像は関連する位置及び方向データを含む。位置及び方向データにより、事前定義済みの座標系における対応する地理位置を変換画像において画素毎に判定する処理が可能になる。
【００５１】
ブロック４７において、非対称フィルタは変換画像上で実行され、フィルタ画像４８を取得する。フィルタの実施形態を以下に説明する。道路標示は各国において規格化された事前定義済みの寸法を有するため、非対称フィルタの１セットは国毎に使用されることがわかっている。画像中の道路標示の寸法を認識することにより、フィルタはその寸法に対して最適化される。道路標示の寸法は車線標示の幅及び破線の車線分離帯の長さであってもよく、長さ及び幅は変換画像中の画素数において規定される。一実施形態において、画素は、８×８ｃｍの地表の物理領域に対応する。一般に長さ３ｍ及び幅２０ｃｍである破線は、変換画像において３７画素の長さ及び２〜３画素の幅を有する。
【００５２】
上述の例において第１のフィルタ、第２のフィルタ及び第３のフィルタの組合せである非対称フィルタリングの目的は、探索される情報を強化して変換画像中のノイズを低減することである。強化のいくつかの例には、サイズの拡大及び画素値の明色化／暗色化が含まれる。強化及びノイズ低減の双方により、フィルタ画像における特徴の認識が向上する。
【００５３】
ブロック５０において、特徴が認識される。使用される特徴認識アルゴリズムは本発明の必須の特徴ではない。検出される特徴は、フィルタ画像中のほぼ垂直な線又は矩形である。線は、フィルタ画像中の破線、実線、二重の実線又は任意の他の直線であってもよい。当業者は、特徴を検出するのに適切なアルゴリズムを認識している。アルゴリズムは、フィルタ画像中の実線又は矩形を検出する必要がある。フィルタ画像中の特徴を検出した後、フィルタ画像中の特徴のｘ、ｙ位置を判定する。フィルタ画像が、関連する位置及び方向データを含む変換画像に対応するため、特徴の地理位置は、変換画像と関連付けられる位置及び方向データから導出される。道路の幅及び車線は、フィルタ画像中の２つ以上の平行な実線又は破線を最初に検出することにより算出される。画像中の平行な線の間の距離は、位置及び方向データを使用することにより線の間の距離に変換される。認識される特徴及び関連する位置データは、デジタル地図データベースで使用するためにデータベースに格納される。
【００５４】
図５は、ブロック４２において実行されるソース画像からオルソ補正タイルへの変換の基本原理を示す側面図である。（図６に示す）カメラ又はＣＣＤカメラ２０２の画像センサ１０１は、ソース画像シーケンスを記録する。ソース画像は、図１に示すような自動車に取り付けられた地上カメラ９（ｉ）により記録されるある程度垂直な画像を示す。ソース画像は、例えば８メートルの変位毎にトリガされるスチルカメラを使用して記録される静止写真シーケンスであってもよい。画像センサを含むカメラは視野角αを有する。視野角αはカメラのレンズの焦点距離１０２により判定される。視野角αは、４５°＜α＜１８０°の範囲であってもよい。更にカメラは、視野角の中心である撮像軸１０３を有する。図１において、撮像軸１０３は水平面１０４に対して平行である。画像センサ１０１は撮像軸１０３に対して垂直に装着される。この例において、画像センサ１０１は「純粋な」垂直ソース画像を記録する。更に画像センサの高さが地表等の水平面に対して分かっている場合、画像センサ１０１により記録される画像は、水平面のオルソ補正図の縮尺版を示すオルソ補正タイルに変換されることができる。画像センサの制限領域は、水平方向に適切な解像度を含む水平画像を取得するために使用される。図５は、水平面の部分１０８に対応する画像センサ１０１の部分１０６を示す。オルソ補正タイルの最小許容解像度により、画像センサと水平面の最も遠くの点との最長距離を判定する。ジオメトリを使用することにより、地上カメラから検索されるソース画像は任意の仮想面に変換される。撮像軸が水平面に対して周知の角度で傾けられる場合であっても、オルソ補正タイルはソース画像から取得されることができる。
【００５５】
図６は、ソース画像からオルソ補正タイル２００への変換の基本原理を示すオルソ補正図である。カメラ２０２の視野角α及び撮像軸１０３、２１８の方向により、画像センサ１０１により記録される水平面の部分を判定する。オルソ補正タイル２００の境界を図中符号２２４で示す。図６において、カメラ２０２の撮像軸２１８は、車両の方向中央軸と一致し、その結果道路の車線標示とも対応する。ナビゲーションシステム等に必要な属性の収集及びその位置精度は、オルソ補正タイルの事前定義済み最小解像度を要する。これらの要件により、ソース画像から取得される水平面の部分が制限される。水平面に対するカメラの焦点２０８の位置と水平面の領域の境界との最長距離２０６により、最小解像度を判定する。また、最長距離２０６は、実際には、特定の道路上を走行している際の２台の自動車間の最短距離により制限されてもよい。このように最長距離を制限することにより、殆どの場合において、オルソ補正タイルの路面がモバイルマッピング車両の前を走行する自動車の背面を含まないという利点を有する。また、最長距離２０６と最短距離２０４との差により、カメラによる画像の後続の記録と記録との間の最長許容距離を判定する。これにより、撮像フレームレートを規定し、車両の最高速度を制限してもよい。水平面の矩形は、ソース画像中に略台形形状を有する領域に対応する。最短距離及び視野角αは、オルソ補正タイル２００がソース画像中に対応する領域を有さない小領域２１０を含むかを判定することが図６からわかる。オルソ補正タイル２００は破線の正方形であり、小領域２１０は、２００で示す破線の正方形の隅に近接する部分を切断した小さな三角形である。
【００５６】
一実施形態において、オルソ補正タイル２００は、幅２２０が１６ｍであり且つ長さ２２２が１６ｍである領域に対応する。画像が８メートル毎に撮像される場合、路面の９９％は２つの連続画像において見られる。１６ｍより広い道路の場合、その道路に対してオルソ補正タイルを生成するために前方撮像カメラ及び側方撮像カメラが使用される必要がある。前方撮像カメラにより撮像される画像から検索されない道路の部分は、側方撮像カメラにより撮像される画像から検索される。側方撮像カメラは、車両の方向に対して傾斜撮像軸又は垂直撮像軸を有する任意のカメラであってもよい。ここで、オルソ補正タイル２００は、前方撮像カメラ及び側方撮像カメラから取得されるオルソ補正画像のモザイクである。オルソ補正タイルを更に処理するために、矩形形状のオルソ補正タイルを有することが有利である。ソース画像中に関連する画素を有さないオルソ補正タイルの画素は、事前定義済み色値を与えられる。事前定義済み色値の一例は、存在しない路面の色に対応する色、あるいはソース画像中に一般に存在しないか又は殆ど存在しない値である。これにより、オルソ補正タイルの更なる処理における誤差の可能性を減らす。
【００５７】
ソース画像を変換して撮像軸からの距離２１４及び焦点２０８からの距離２０４を有するオルソ補正タイルを画素２１６毎に取得する一実施形態において、ソース画像中の対応する位置は、本明細書に参考として取り入れられている未公開特許出願ＰＣＴ／ＮＬ２００６／０５０２５２号において更に詳細に説明されるジオメトリを使用して判定される。尚、解像度（各画素が示す物理サイズ）は、ソース画像をオルソ補正画像に変換する際に（より大きく）変更される。ソース画像中の関連する画素の色値を平均してオルソ補正画像の画素の色値を取得することによりサイズが大きくなる。平均することは、路面の色サンプルをクラスタ化し且つ処理内でノイズを低減する効果を有する。
【００５８】
各オルソ補正画像は、関連する位置及び方向データと共に格納される。オルソ補正画像の各画素の地理位置は、座標参照系の位置及び方向データを使用することにより規定される。位置及び方向データにより、プロセッサは、オルソ補正画像を重ね合わせてより大きなオルソ補正画像又はオルソ補正モザイクを取得できる。図７は、５つのオルソ補正画像７０２．．．７１０を重ね合わせることにより取得された道路セグメントのオルソ補正画像を示す。重ね合わせは、各オルソ補正タイルのメタデータに基づいてもよい。各オルソ補正タイルのメタデータは、移動車両からのＧＰＳ位置、移動車両の走行方向又は方向、移動車両上のカメラの位置及び移動車両上のカメラの方向を含む位置判定機能から取得される。オルソ補正タイルの地理位置を導出するパラメータは、ソース画像と関連付けられる位置及び方向データとして格納される。重複領域７１２の画素値は、重複画素の画素値を平均するか又は重複画素のうちの１つの値を選択することにより取得されてもよい。一実施形態において、画素値は、画素に対応する地理位置間の距離が画像を撮像するカメラの地理位置に最も近い画像から選択される。このように、道路セグメントの合成されたオルソ補正画像の最適な解像度が格納される。
【００５９】
図７は、路面の左側及び右側に対応する線７１４、７１６を更に示す。これらの路面の両側は、本明細書に参考として取り入れられている未公開国際特許出願ＰＣＴ／ＮＬ２００７／０５０１５９号において開示される方法により検出されてもよい。路面の左側及び右側を検出することは、水平車線情報を検出するために処理される画素数を減少するために使用される。図７は、２車線道路及び側方空間を示す。図７は、１つの前方撮像カメラから取得される画像を処理することにより取得される。５車線道路を取得するためには２つ以上のカメラが必要である。５車線道路のオルソ補正モザイクは、１つ又は２つの前方撮像カメラ及び２つの側方撮像カメラにより生成される画像シーケンスを処理することで取得される。
【００６０】
図７は、道路セグメントの中央において、破線の色値に類似する色値を含む小領域を示す。使用されるフィルタの選択されるサイズにより、フィルタ画像において小領域を削除するか又は強調するかを判定する。
【００６１】
図８は、非対称フィルタリングの例示的な一実施形態を示すフローチャートである。図８及び図９のフィルタマスクのサイズは、説明するためだけに選択された。当業者は、状況及び要件に依存して適切なサイズを選択する。処理に入力されるのは、道路セグメントの方向を規定する関連する位置及び方向データ、並びにデータ９０４を含む道路セグメントのオルソ補正画像９０２である。オルソ補正画像９０２は、道路のほぼ直線部分を示す。道路はオルソ補正画像９０２中に任意の方向及び位置を有する。道路セグメントの方向を規定するデータ９０４は、事前定義済み座標系における道路の地理位置及び方向を示す。オルソ補正画像と関連付けられる位置及び方向データをデータ９０４と合成することにより、オルソ補正画像は変換画像９０８に変換され、道路の方向は画素の列に対して平行である。変換処理を処理ブロック９０６で示す。変換処理は、オルソ補正画像上で少なくとも回転機能を実行する。オルソ補正画像の解像度が画像間で異なる場合、変換処理が縮尺機能を更に含むことにより、変換機能は全てが同一の解像度を有する変換画像を取得できる。更に変換処理は、関連する位置及び方向データを算出する。関連する位置及び方向データは、画像中の画素の位置と対応する地理位置との関係を規定する。これにより、変換画像中で認識される車線情報に対して車線情報の実際の寸法及び位置を判定できる。変換処理により、対応する位置及び方向データを含む標準化オルソ補正画像を取得する。
【００６２】
変換画像は、カメラのノイズのためだけではなく、路面上に現れる傷及び汚れのために、一般にノイズを伴うデータを有する。従って、特に画像において道路の方向が認識されていない場合、画像から車線情報を抽出することは相対的に困難である。
【００６３】
通常、そのような画像は、対称フィルタマスク又は２次元ウィンドウを有するフィルタでフィルタリングされる。フィルタは、特定の機能に基づいて１つの画像を別の画像に変換する。そのような機能は、隣接画素値の合成として算出される新しい画像の対応する画素値を入力画像の画素毎に出力している。考慮される隣接画素は、いわゆるフィルタマスクを形成する。対称フィルタマスクは、画像上で実行されるフィルタリング機能が水平方向及び垂直方向に等しいという利点を有する。対称フィルタマスクを含むフィルタは、画像を改善する画像処理において非常に有用であり、オブジェクトの方向が認識されていないことが特徴である。改善例には、認識されるオブジェクトの特徴（例えば、画像中のオブジェクトの縁部）を修正すること、ノイズを除去すること等がある。対称形態フィルタは、一般に当業者には周知である。形態フィルタは、集合論のいくつかの簡単な数学的概念に基づく広範な演算子を画像処理に与える。オペレータは２値画像の解析に特に有用であり、一般的な使用方法には、縁部検出、ノイズ除去、画像向上及び画像分割が含まれる。いくつかの種類の形態フィルタは、拡張、侵食、オープン、クローズである。
【００６４】
認識されるオブジェクトの方向、すなわち画素の列に対して並列な方向は周知であるため、非対称フィルタは、画像から所望の情報を認識する前に画像をフィルタリングするために使用される。非対称フィルタリングは、実際の特徴検出工程又は認識工程の前に適用されるデータ準備工程又はデータ調整工程である。車線情報を認識するため、フィルタは、所望の情報を拡大すると同時にノイズを低減するために使用される。フィルタ画像中の車線情報に係る線は、例えばハフ（Ｈｏｕｇｈ）変換により認識される。
【００６５】
変換画像９０８は、水平フィルタ９１０に供給されて水平フィルタ画像を取得する。水平フィルタは、非対称フィルタマスク又は１次元ウィンドウを有するフィルタであり、マスク又はウィンドウは、画素の行に３つ以上の隣接画素のみを含む。水平フィルタは、図９に示すようなフィルタマスク９１２を有してもよい。フィルタマスク９１２は、画素の行に５つの隣接画素に対応するウィンドウを有する。フィルタマスク９１２を含む出力値を計算する際、値は関連する水平フィルタ画像の画素９５２に割り当てられる。水平フィルタ画像の画素９５２の位置は変換画像の位置に類似する。従って、出力値は、水平フィルタマスク９１２により規定されるウィンドウの中央の画素に割り当てられる。一実施形態において、水平フィルタは最大フィルタである。最大フィルタは、出力値が最大値を有するマスクに係る画素値に対応することを特徴とするフィルタである。一実施形態において、最大値は、最高輝度に対応するＲＧＢ値を有する画素値に対応する。
【００６６】
入力画像の画素に対して最大フィルタを実行するアルゴリズムは、以下のように説明される。
【００６７】
−マスクの画素毎にＲＧＢ値から輝度を算出する。
【００６８】
−最高輝度を有するマスクにおいて画素を検出する。
【００６９】
−最も明るい画素に対応するＲＧＢ値を検索する。及び
−フィルタの出力にＲＧＢ値を割り当てる。
【００７０】
このフィルタは画像全体に対して全ての画素に割り当てられる。
【００７１】
水平フィルタ９１０は、車両の走行方向に対して垂直の方向に線の幅を拡張する構造化要素を有するフィルタに対応する。構造化要素は画素を示す小さな格子であり、画像に適用されて画像コンテンツの構造を変化させる。
【００７２】
次に、水平フィルタ画像は第１の垂直フィルタ９１４に供給されて垂直フィルタ画像を取得する。垂直フィルタは、非対称フィルタマスク又は１次元ウィンドウを有するフィルタであり、マスク又はウィンドウは、画素の列に３つ以上の隣接画素のみを含む。第１の垂直フィルタ９１４は、図９に示すようなフィルタマスク９１６を有してもよい。フィルタマスク９１６は、画素の列に５つの隣接画素に対応するウィンドウを有する。値は、フィルタマスク９１６を使用して、垂直フィルタマスク９１６により範囲に含まれるウィンドウの画素に対応する画素９５６に対して生成される。一実施形態において、第１の垂直フィルタは最小フィルタである。最小フィルタは、出力値が最小値を有するマスクに従う画素値に対応することを特徴とするフィルタである。一実施形態において、最小値は、最低輝度又は最も暗い画素に対応するＲＧＢ値を有する画素値に対応する。
【００７３】
入力画像の画素に対して最小フィルタを実行するアルゴリズムは、以下のように説明される。
【００７４】
−マスクの画素毎にＲＧＢ値から輝度を算出する。
【００７５】
−最低輝度（最も暗い画素）を有するマスクにおいて画素を検出する。
【００７６】
−最も暗い画素に対応するＲＧＢ値を検索する。及び
−フィルタの出力にＲＧＢ値を割り当てる。
【００７７】
このフィルタは画像全体に対して全ての画素に適用される。
【００７８】
第１の垂直フィルタ９１４は、車両の走行方向に対して平行な方向に線の長さを短縮する構造化要素を有するフィルタに対応する。
【００７９】
必要に応じて、第１の垂直フィルタ９１４から取得される垂直フィルタ画像は、第２の垂直フィルタ９１８に供給されてフィルタ画像９２２を取得する。第２の垂直フィルタ９１８は、図９に示すようなフィルタマスク９２０を有する。フィルタマスク９２０は、画素の列に５つの隣接画素に対応するウィンドウを有する。一実施形態において、第２の垂直フィルタ９１８は最大フィルタである。
【００８０】
第２の垂直フィルタ９１８は、車両の走行方向に対して平行な方向に線の長さを延長する構造化要素を有するフィルタに対応する。
【００８１】
変換画像中の車線情報の方向は周知であるため、非対称フィルタは変換画像上に適用される。水平フィルタは、画像の水平方向、すなわち画素の行に沿って車線情報の幅を拡張する。ＲＢＧ空間において、車線標示は路面材料よりも明るい色を有する。最大フィルタはｍ−１画素を含む車線情報の幅を伸張する。ここで、ｍはフィルタマスクの隣接画素数である。例えば、１画素の幅を含む垂直な線はｍ画素を含む垂直な線になる。また、最大フィルタは画像の画素の行に沿ってノイズを低減する。
【００８２】
最小フィルタである第１の垂直フィルタは、行に沿ってノイズを低減し、車線情報を示さないが相対的に明るい色値を有する１つ以上の画素を削減する。第１の垂直フィルタは、ｎ−１画素を含む車線情報の垂直なサイズを削減する。ここで、ｎはフィルタマスクの隣接画素数である。ｎの値は、検出される最小の線セグメントの画素の長さより短くなければならない。１０〜２５画素の範囲のｎに対する値は、８×８ｃｍの画素サイズを有する画像において長さ３ｍの破線をフィルタリングするのに非常に適していることがわかっている。
【００８３】
図７に示す道路セグメントの中央の小領域は、ｎが小領域の画素の最長の垂直な長さよりも大きな値を有する場合に削除される。図７の破線の線の幅は２画素である。小領域の長さは８〜９画素である。従って、小領域はｎ＝１０で削除される。
【００８４】
必要に応じて、最大フィルタである第２の垂直フィルタは、ノイズを更に低減すると共に、フィルタマスクのサイズが第１の垂直フィルタのサイズに類似する場合に車線情報の垂直なサイズを復元する。このオプションは、車線情報の長さが正確に判定されなければならない場合に必要である。
【００８５】
フィルタ画像は、水平フィルタ９１０及び第１の垂直フィルタ９１２を使用して取得される。例えば車両の軌道又は中央線により規定される道路の方向に対して平行な車線情報の位置は、正確に判定される。非対称フィルタマスクでフィルタリングすることにより取得されるフィルタ画像は、車線情報を更に認識するのに非常に適している。車線情報の幅が拡張される一方、車線情報の中央線の位置は依然として不変のままである。また、車線情報及び路面は、重要な情報を損失することなくノイズが低減される。
【００８６】
車線情報の長さを正確に判定するために、破線の個々の線、第１の垂直フィルタのフィルタマスクのサイズ等は、第２の垂直フィルタのサイズに類似しているべきである。しかし、第１の垂直フィルタ９１４のサイズを認識することにより、第１の垂直フィルタの出力画像から導出される車線情報の長さはそれに従って補正される。同様に、車線情報の幅は、水平フィルタのサイズから独立したフィルタ画像において検出される幅を補正することにより検出される。
【００８７】
第１の垂直フィルタのマスクの隣接画素数ｍは、探索している変換画像中の線セグメントより少なくなければならない。少なくない場合、車線情報は誤って削除される。
【００８８】
水平フィルタのマスクの隣接画素数ｎは、第１の垂直フィルタのサイズ及び検出される車線情報の方向に対する道路の方向の偏差に依存する。モバイルマッピング車両の軌道は、道路方向の推定値として使用されてもよい。しかし、車両が車線を変更する場合、車両の方向は道路の実際の方向からずれる。偏差は、オルソ補正画像の誤った変換、すなわち誤った回転を招く。車線情報は、画素の列に対して平行ではなく、偏差に対応する角度を有する。以下の式は、ｎとｍとの関係を規定する。
【００８９】
ａｒｃｔａｎ（（ｍ＋ｗ−１）／ｎ） ≧ ａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅ
式中、
ｍは、水平フィルタのマスクの画素数のサイズであり、ｗは、検出される車両情報の変換画像の画素の最小幅であり、ｎは、第１の垂直フィルタのマスクの画素数のサイズであり、ａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅ（度）は、自動車の進行方向と道路の実際の方向との最大角度差である。
【００９０】
一実施形態において、以下の値ｎ＝１０、ｗ＝３及びｍ＝４が適用される。これらのパラメータ値により、最大３０．９度のａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅが可能になる。直進走行車両に対するａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅは一般に５度以内である。突然の車線変更に対するａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅは最大９度である。ａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅの値ｎ、ｗ及びｍは、変換画像の水平解像度及び垂直解像度に依存することが明らかになるだろう。
【００９１】
上記の式は、最大許容可能なａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅを示す。ａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅは、画素の列に対して変換された車両情報の角度に対応する。車両が道路のカーブ上を走行している際、車線標示の最初の画素及び最後の画素は、変換画像の画素の列に対する角度を更に有する。従って、上記式は、所定の最大曲率量に対するｍ及びｎの最適値を判定するために更に使用される。当業者は、値ｍ及びｎを選択し、車両の角度及び曲率量を考慮して発生する状況に対してフィルタリング処理を最適化できる。
【００９２】
上記式が集計されない場合、線は２つ以上のセグメントに分割されるか又は線の長さが誤って短縮される。ｍが２つの平行線間の最少画素数よりも少なくなければならないことは、当業者には更に明らかである。少なくない場合、これらの２つの線は結合されて、１つの線と考えられる。
【００９３】
図１０は、道路セグメントのフィルタ画像を示す。道路セグメントは、図７に示す道路セグメントに類似する解像度を有する。図１０は、それぞれ、破線の車線分離帯１００２及び実線の左右道路側線１００４、１００６を示す。非対称水平フィルタ及び非対称垂直フィルタは、車線情報の幅を拡張することがわかる。また、フィルタ画像の画素ノイズが低減される。
【００９４】
図１０に示すフィルタ画像は線認識方法に適用される。誤った検出の数を減らすために、車線情報を認識するフィルタ画像の領域は、路面の左側の位置１０１０及び右側の位置１００８に限定されてもよい。車線情報は路面上のみに存在するため、路面の外側の画像領域は除外されてもよい。路面の左側及び右側は、未公開国際特許出願ＰＣＴ／ＮＬ２００７／０５０１５９号において開示される方法により規定されてもよい。線は厳密な形状を有するため、車線情報を検出する簡単なパターンマッチングアルゴリズムが使用される。本出願において、パターン認識アルゴリズムは、２種類のパターン、すなわち実線及び破線の部分である矩形のみを探索すれば十分である。また、線の色は、線の種類を判定するように考慮される。図１１は、図１０に示すフィルタ画像で検出される特徴の領域を視覚化した図である。道路の左側の位置及び右側の位置はフィルタ画像を解析する前に判定されるため、路傍は解析の妨げとなる可能性がある。従って、図１０の右側の白点は車線情報として認識されない。
【００９５】
上述の全ての実施形態は、変換及び非対称フィルタリングが実行されるオルソ補正画像を使用する。オルソ補正画像は容易に合成され、例えば道路セグメント又は５車線以上の道路のオルソ補正モザイクを取得できる。尚、ソース画像から１６ｍ×１６ｍのオルソ補正画像を生成する代わりに上面図画像が生成される。上面図画像は、各画素が１点において上から見られる画像である。地表に対して垂直な撮像軸を含むカメラは、上面図画像を提供する。本発明に係る方法を使用する上面図画像の処理は、車線情報を認識するのに非常に適している。使用される投影を認識することにより、車線情報の地理参照位置は、非対称フィルタ上面図画像から正確に導出される。
【００９６】
上述のように、空中オルソ補正画像及び衛星オルソ補正画像は、車線情報を作成するために使用されてもよい。次に、車線情報が判定される必要がある道路がサンプリングされる。各サンプルは、座標参照系に位置及び方向を有する。最初に、例えば２０ｍ×２０ｍの画素の周囲の領域に対応する空中画像の画素又は衛星画像の画素は、サンプル毎に画像に変換される。変換画像の画素の各列は、道路の方向に対して平行な面に対応する。その後、変換画像は非対称にフィルタリングされる。
【００９７】
尚、モバイルマッピング車両において収集されるような画像は、非対称フィルタを適用するため又は車線認識工程のためであっても地理参照される必要はない。カメラは車両上に装着される。従って、走行方向に対するカメラの方向は周知である。これにより、フィルタ画像を生成し且つ地理参照位置及び方向データを使用せずに、画像において特徴を検出できる。慣性ナビゲーションシステム（ＩＮＳ）により、座標参照系における相対的な位置情報を検出される特徴毎に導出できる。検出される車線情報を地図データベース中の適切な道路に十分に正確に一致させる任意の形態の地理参照が必要である。そのような地理参照及びマップマッチングは、当技術分野において周知である。
【００９８】
更に、十分な精度の地理参照は、適切な道路からの道路の位置及び方向が、本発明に係る方法を適用する画像上の場所及び方向を判定し且つ結果として得られる車線情報を地図データベース中の適当な道路情報に再び関連付けるために使用されるように、空中画像及び衛星画像に対して必要である。
【００９９】
本発明は、事前に選択される道路の長さに対応するタイルに作用する。モバイルマッピング車両により撮影される画像から、長さ１６ｍの道路を有する画像が生成される。カーブの箇所が非常に多い道路は、最大１００ｍの半径を有する道路である。自動車の前方に１６メートルを示す場合、そのようなカーブした車線標示の弧は、視点と終点との間に１０度の偏差を有する。しかし、適用される非対称フィルタは、想定されるレベルのノイズを除去するのに十分な程大きくなければならないが、探索している車線標示を削除しないよう常に小さくなければならない。探索している最小の車線標示は破線である。破線は、通常長さ３ｍである。従って、フィルタのサイズは、実世界の座標において３ｍより小さくなければならない。適切な一実施形態において、第１の垂直フィルタのサイズは２５画素である。８×８ｃｍの画素サイズの場合、これは長さ２ｍのフィルタに対応する。２ｍを超える弧の偏差は１〜２画素だけしか変動しない。本発明に係る方法をカーブの箇所が多い道路上で使用する場合、この偏差による問題は起きない。
【０１００】
同様に、車線変更による問題も起きない。時速４０ｋｍの速度で運転し且つ２秒で車線変更する場合、これは非常に速く、車両は前方に２５ｍ及び側方に４ｍ移動する。これは、道路方向から９度ずれることに対応する。
【０１０１】
上述のように、（例えば）道路セグメントのオルソ補正画像は、本発明に係る方法により処理される。認識される道路情報は、デジタル地図データベースで使用するために、種類及び位置、並びに必要に応じて寸法と共にデータベースに格納される。車線情報の地理位置は、変換画像と関連付けられる位置及び方向データから導出される。位置は、事前定義済み座標系において地理位置の形式で絶対的であるか、あるいは車両の軌道又はデータベースから取得される道路の位置に対して相対的である。データベースからの道路の位置情報は、道路の方向を判定するために使用される。車線情報は、ナビゲーションシステムにおいて路面のより現実的なビューを生成するために使用される。例えば、３車線から２車線に道路を狭めることが視覚化される。更に車線情報は、例えば駐停車禁止領域及び他の自動車を追い越すことが禁じられた道路セグメントを判定するのに非常に有用である。また、ナビゲーションがより正確になるにつれ、車線内の車両の場所は、安全上の使用目的及びより高精度な方向指示（次の進路変更のために左車線に移る）のためにシステムの部分となる。
【０１０２】
当然、車線標示及び後続の車線の位置を正確に検出することにより、システムは、車線数及び車線の幅も自動的に判定できる。これは、フィルタ画像において２つ以上の平行な実線又は破線を探索することにより行なわれる。その後、車線数は容易に導出される。また、対応する車線の幅は、１つ以上のソース画像と関連付けられる位置及び方向データに依存して算出される。
【０１０３】
上述の方法は自動的に実行されてもよい。本発明を実行する画像処理ツール及びオブジェクト認識ツールがいくらかの補正を必要とするような画像品質である可能性もある。例えば、後続道路セグメントの車線情報は、道路に沿う不連続性に対して解析されてもよい。例えば、後続道路セグメントの一対は、道路に沿って異なる位置及び／又は種類情報を有してもよい。その場合、人が対応する変換画像又はオルソ補正画像を再検討してもよい。ここで、方法は、中間結果を確認又は適応できるようにするいくつかの検証動作及び手動適応動作を含む。これらの動作は、車線情報作成の中間結果又は最終結果の受け入れにも適しているだろう。これらの動作により、車線情報を含むデータベースの品質が向上する。
【０１０４】
本発明により作成される車線情報は、オルソ補正画像毎に車線情報を作成し、それをデータベースに格納する。車線情報は、情報量を減らすために更に処理されてもよい。例えば、道路区間と関連付けられる画像に対応する道路情報は、区間の道路幅に対して１パラメータに削減されてもよい。また、道路区間が十分に平坦である場合、車線分離帯は、区間に対して少なくとも終点及び形状点を含む１組のパラメータにより示されてもよい。車線分離帯を示す線は多項式の係数により格納されてもよい。あるいは、規則的に位置付けられた車線の集合の場合、車線情報は、幅及び中央線からの偏りにおいて具体化されてもよい。
【０１０５】
本発明の上述の詳細な説明は、例示及び説明のために与えられた。これは、全ての実施形態を含むこと又は本発明を開示される形態に限定することを意図せず、上記の教示を鑑みて多くの変更及び変形が可能であることは明らかである。例えば、垂直最大フィルタで水平最大フィルタを変更し且つ水平最小フィルタで垂直最小フィルタを変更する場合、道路の方向に対して垂直な線に対応する道路標示の道路情報が作成される。
【０１０６】
また、最小フィルタ及び最大フィルタは、端部検出フィルタ、画像クラスタ化フィルタ、統計フィルタ等の任意の他の種類の非対称フィルタに交換されてもよい。推定される道路の方向に基づく変換により変換画像が提供され、検出される特徴は周知の方向、すなわち車線分離帯に対して垂直な方向を有する。これにより、１つの方向、すなわち画素の列の画素の行に沿って画像をフィルタリングすることにのみ効果的なフィルタを使用できる。これは、任意の方向を有する画像中の特徴を検出できる対称フィルタとは異なる。従って、変換画像４６において検出される特徴の方向に基づくフィルタマスクを有する任意のフィルタ又はフィルタの組合せは、本発明に係る方法で使用される。認識される画像中の特徴の方向により、特徴の方向が画像で認識されていない場合に使用される必要があるフィルタと比較して複雑ではないフィルタを使用できる。
【０１０７】
説明された実施形態は、本発明の原理及びその実際の用途を最適に説明し、それによって他の当業者が種々の実施形態において、考えられる特定の使用に適した種々の変更を用いて本発明を最適に利用できるようにするために選択された。本発明の範囲は、添付の請求の範囲により特定されることが意図される。
【技術分野】
【０００１】
本発明は、地図データベースで使用するための車線情報を作成する方法に関する。本発明は、更に、車線情報を作成する装置、コンピュータプログラム及びそのコンピュータプログラムを保持するプロセッサが読取可能な媒体に関する。
【背景技術】
【０００２】
例えば、ナビゲーションシステムにおいて使用されるデジタル地図データベースのために、車線分離帯、道路の中央線、道路の幅等の多くの水平道路情報を収集する必要がある。道路情報の地理位置は、絶対位置情報又は相対位置情報として格納可能である。例えば、中央線は絶対地理位置情報を用いて格納されてもよく、道路の幅は中央線の絶対地理位置に対して相対的である相対位置情報を用いて格納されてもよい。道路情報は高解像度空中オルソ画像を解釈することにより取得可能である。オルソ画像は、上方から見た地上の特徴をそれらが補正された地上位置に示し且つカメラ及び飛行特性により引き起こされる歪み、並びに起伏のずれが写真測量技術を使用して除去された「縮尺補正」画像である。オルソ画像は、写真の縮尺が均一であるように、すなわち写真が地図と同等であると考えられるように幾何学的に補正された（「オルソ補正された」）空中写真の一種である。オルソ画像は地形の起伏、レンズの歪み及びカメラの傾斜を調整された地表の正確な表現であるため、実際の距離を測定するために使用可能である。オルソ補正図は基準面に対して直角に投影するが、斜視図は単一の固定位置から表面を基準面に投影する。この点で、オルソ補正図は斜視図とは異なる。オルソ画像は、任意の適切な地図投影により取得可能である。地図投影は、円筒図法、擬円筒図法、混成図法、円錐図法、擬円錐図法又は方位図法等の表面投影であってもよい。投影は距離プロパティの保存による投影であってもよい。地図投影は、それらが正射投影であるという点、すなわち各画素が基準面（地球の形状に近似する楕円体）の表面に対して垂直な線に沿って見た表面上の点を表すという点で共通する。従って、地表のオルソ画像の各画素は、地球の形状に近似する楕円体に対して垂直な線に沿って見た地表図にほぼ対応する。
【０００３】
以上の投影の制約に加えて、オルソ画像は、アルゴリズムがオルソ画像の任意の画素を地理座標参照系内の点に対して参照できるようにするメタデータを含む。地球の形状に近似する楕円体上での各画素の正確な位置が既知であるため、地上の特徴、例えば水平道路情報の位置及びサイズはオルソ画像から検索可能であり、非常に正確な距離及び地球の座標が算出可能である。ジオコーディングされたオルソ補正画像のメタデータは、投影された座標参照系を規定し、その地理座標参照系において対応する位置を画素毎に判定する。
【０００４】
ジオコーディングされたオルソ補正画像は、道路標示が存在する場合にはそれを含む路面を示す。画像処理アルゴリズムにより、道路標示を検出でき且つ対応する画素を判定できる。メタデータにより、地理座標参照系において道路標示の位置を正確に判定できる。
【０００５】
そのような高解像度空中オルソ補正画像は２５ｃｍ未満の画素サイズを有する必要がある。そのような画像を取得するには非常にコストがかかり、全ての道路水平情報が取得されるという保証はない。
【０００６】
オルソ補正画像は空中画像から取得される。しかし、誤差が含まれることが多いため、地理位置データが不正確にマッピングされることになる。主な問題は、空中画像が、通常、地表に対して厳密に垂直に撮影されていないことである。写真が地表に近接して撮影される場合であっても、厳密に垂直であるのは写真の中心のみである。そのような画像をオルソ補正するために、地形の高さ情報を更に取得する必要がある。重複画像を取得し且つ同一の空中カメラからの連続画像から取得される同一表面を比較することにより、精度が増す。しかし、追加コストに対する取得精度には限界がある。尚、空中オルソ補正画像は上面図画像のモザイクであってもよい。
【０００７】
更に、空中オルソ補正画像から「水平」道路情報を取得するために画像を解析する必要がある。画像において路面が検出される必要がある。空中オルソ補正画像と関連付けられる地理位置及び地図データベース中の地理位置は、異なる位置判定装置から取得されている。そのため、地図データベース中の道路の地理位置は、オルソ補正画像において路面が配置される場所を正確に判定するために常に直接使用できるとは限らない。
【０００８】
現在、例えばナビゲーションシステムにおいて使用されるデジタル地図データベースのための制限速度、方向案内標識等の「垂直」道路情報は、地上限定移動収集装置により収集される水平な写真画像及び他のデータを解析及び解釈することにより取得可能である。用語「垂直」は、道路情報の情報平面が重力ベクトルに対してほぼ平行であることを示す。自動車又はバン等の地上車両であるモバイルマッピング車両は、デジタル地図データベースを改善するためのモバイルデータを収集するために使用される。改善例は、交通標識、進路標識、交通信号、街路名を示す街路標識等の場所である。
【０００９】
モバイルマッピング車両は、一部が立体カメラである多くのカメラを有し、車両が車載位置決めシステム（例えば、高精度ＧＰＳ受信機）及び他の位置判定機器（例えば、慣性ナビゲーションシステム−ＩＮＳ）を搭載するため、全てのカメラの地理位置は正確に決められる。道路網を走行中にジオコーディングされた画像シーケンスが取り込まれる。これらは、動画又は静止写真画像のいずれであってもよい。ジオコーディングは、画像と関連付けられる位置がその画像のメタデータに添付されることを意味する。本発明において、その位置は、ＧＰＳ受信機及び場合によってはＩＮＳ、並びに場合によっては距離及び方向測定装置を含む車両の位置判定システムから導出される。
【００１０】
モバイルマッピング車両は、建物又は路面等のオブジェクトの画像シーケンスにおいて２つ以上の画像を記録し、画像シーケンスの画像毎に、座標参照系を基準とする地理位置及び方向が正確に判定される。対応する地理位置及び方向情報を有する画像シーケンスをジオコーディングされた画像シーケンスと呼ぶ。カメラにより取得された画像シーケンスが「水平」道路情報の視覚的な斜視図を表すため、画像処理アルゴリズムは、画像シーケンスから道路情報を抽出するための解決策を提供してもよい。カメラの地理位置は、車載位置決めシステム（例えば、ＧＰＳ受信機）、並びに他の追加の位置及び方向判定機器（例えば、慣性ナビゲーションシステム−ＩＮＳ）により正確にわかる。
【００１１】
車線情報は、モバイルマッピング車両により取り込まれる空中画像及び画像シーケンスの双方に存在する。複雑な画像処理アルゴリズムにより、車線情報が検出され且つ対応する位置情報が判定される。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】国際出願第ＰＣＴ／ＮＬ２００６／０５０２５２号
【特許文献２】国際出願第ＰＣＴ／ＮＬ２００７／０５０１５９号
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は、地図データベースで使用するために、車線情報を作成する改善された方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明によると、方法は、方向及び道路の方向に対して平行な車線標示を有する路面、並びに関連する位置及び方向データの少なくとも１つのソース画像を取得する工程と、道路の方向を示す道路情報を取得する工程と、道路情報に依って、変換画像を取得するために少なくとも１つのソース画像を変換する工程であり、変換画像の画素の各列は道路の方向に対して平行な面に対応していることを特徴とする工程と、フィルタ画像を取得するために非対称マスクを含むフィルタを変換画像上に適用する工程と、少なくとも１つのソース画像と関連付けられる位置及び方向データに依って、フィルタ画像から車線情報を作成する工程とから成る。
【００１５】
本発明は、道路の位置及び方向の情報がデジタル地図データベースから容易に取得されるという認識に基づく。更に道路の位置及び方向は、道路上を走行するモバイルマッピング車両から容易に取得される。道路上を走行する車両の方向は、道路の方向に対してある程度平行である。また、路面上に塗装される直線標示である車線分離帯等の車線標示は、道路の方向に対して平行な標示である。現在、上面図又はオルソ補正図画像であってもよいジオコーディングされた画像は市販されており、地理位置は事前定義済み座標系で画素毎に認識される。ジオコーディングされた画像は空中画像又は衛星画像であってもよい。少なくとも１つのソース画像は、道路上を走行する移動車両上に取り付けられた地上カメラを使用して取得される少なくとも１つの画像シーケンス、並びに関連する位置及び方向データを検索し、且つ少なくとも１つの画像、並びに関連する位置及び方向データを取得するために少なくとも１つの画像シーケンス上で標準化処理を実行することにより取得されたソース画像であってもよい。標準化処理はオルソ補正処理を含んでもよい。
【００１６】
ソース画像は、車線情報の抽出を向上するためにフィルタリングされる。ノイズフィルタ、形態フィルタ及び縁部フィルタ等の一般に周知のフィルタは、抽出を向上するために使用されてもよい。しかし、線形オブジェクトの方向がソース画像中で認識されていないため、フィルタは方向不変フィルタでなければならない。これらのフィルタは２次元の対称フィルタであり、２つの方向に同時に機能を実行する。しかし、検出される線形オブジェクトの方向が認識される場合、１次元のみで動作するフィルタが使用されてもよい。これらのフィルタが有するパラメータ数は減少される。その結果、そのようなフィルタを実行するために必要な演算能力は減少する。また、オブジェクトの方向及び形状が周知である場合、形状フィルタは画像中で周知の方向を含むオブジェクトのみを検出すればよいため、より簡単な形状検出アルゴリズムが使用されてもよい。従って、本発明に従って、ソース画像から車線情報を抽出する前に、道路の方向は画素の各列が道路の方向に対して平行である画像を取得するために使用される。従って、直線車線標示は画像中で垂直な方向を有する。これにより、例えば車線情報の特徴を強調することにより１次元のみの機能を有するフィルタを変換画像に使用して画像を改善する。これらのフィルタは、１方向のみに画像上でフィルタリングするため、非対称フィルタと呼ばれる。フィルタリングを介して画像中の特徴を強調する例には、画像ノイズの低減、直線道路標示の幅の拡張及び不要な画像情報の削除又は抑制が含まれる。画像がフィルタリングされた後、直線車線の塗装を検出するために通常の特徴抽出技術が使用されてもよい。また、検出される線形オブジェクトの方向を認識することにより、より効果的な強調フィルタが設計されてもよい。
【００１７】
本発明の一実施形態において、１つ以上の画像シーケンスの軌道情報、並びに関連する位置及び方向情報は、移動車両に取り付けられた位置判定手段により作成される出力信号から同時に取り込まれる。この特徴により、作成される車線情報の位置情報の相対的な精度が増す。車両の位置及び方向は、ＧＰＳ受信機、並びに１つ以上のジャイロスコープ及び／又は加速度計等の慣性測定装置により判定される。地上カメラと記録される地表との距離が制限され、且つカメラの地理位置が車載位置決めシステム（例えば、ＧＰＳ受信機）、並びに他の追加の位置及び方向判定機器（例えば、慣性ナビゲーションシステム−ＩＮＳ）により正確に認識されるため、画素は地表を示すと仮定される各画素の絶対地理位置は正確に判定される。これにより、未公開特許出願ＰＣＴ／ＮＬ２００６／０５０２５２号に開示されるようなアルゴリズムは、オルソ補正画像、並びに関連する位置及び方向データを非常に正確に生成できる。一般的なモバイルマッピングシステム（ＭＭＳ）は、１００ｍに沿う５０ｃｍの相対精度及び２００ｃｍの絶対精度を含む８ｃｍの解像度を有するオルソ補正モザイク又はオルソ補正画像を生成する。正確な位置及び方向データにより、変換画像の画素の各列が道路の方向に対して平行な表面に対応するようにオルソ補正画像を変換できる。尚、各列が車両の走行方向に対して既に平行である画像をオルソ補正処理が生成する場合、変換は任意であってもよい。
【００１８】
本発明の一実施形態において、変換することは回転操作を含む。画像の回転は、導出される道路の方向に対して平行な地表上の線に画素の列が対応するように、オルソ補正図画像又は上面図画像を整列するために使用される簡単な機能である。
【００１９】
本発明の一実施形態において、非対称マスクを含むフィルタを適用する工程は、第１に、車両の走行方向に対して垂直な方向に線の幅を拡張する構造化要素を有する第１のフィルタを変換画像上に適用する工程と、第２に、車両の走行方向に対して平行な方向に線の長さを短縮する構造化要素を有する第２のフィルタを適用する工程とを含む。
【００２０】
本発明の更なる一実施形態において、第１のフィルタは最大フィルタであり、第２のフィルタは最小フィルタである。これらは、オブジェクトの幅を拡張し且つオブジェクトの長さを短縮する非常に単純なフィルタである。
【００２１】
本発明の更なる実施形態において、非対称マスクを含むフィルタを適用する工程は、
第３に、走行方向に対して平行な方向に線の長さを元のサイズに延長する構造化要素を有する第３のフィルタを適用する工程を更に含む。有利な一実施形態において、第３のフィルタは最大フィルタである。これらの特徴により、オブジェクトの長さを元のサイズに復元できる。その結果、破線の各セグメントの長さを正確に判定できる。
【００２２】
本発明の一実施形態において、車線情報を作成する工程は、フィルタ画像において実線を探索する工程と、少なくとも１つのソース画像と関連付けられる位置及び方向データに依存して実線の位置を算出する工程とを含む。例示的な一実施形態において、車線情報を作成することは、フィルタ画像において矩形を探索する工程と、少なくとも１つのソース画像と関連付けられる位置及び方向データに依って、矩形の位置を算出する工程とを含む。
【００２３】
本発明は、ソフトウェア、ハードウェア又はソフトウェア及びハードウェアの組み合わせを使用して実現可能である。本発明の全部又は一部がソフトウェアで実現される場合、そのソフトウェアはプロセッサが読取可能な記憶媒体に常駐可能である。適切なプロセッサが読取可能な記憶媒体の例は、フロッピーディスク、ハードディスク、ＣＤ ＲＯＭ、ＤＶＤ、メモリＩＣ等を含む。システムがハードウェアを含む場合、ハードウェアは、出力装置（例えばモニタ、スピーカ又はプリンタ）、入力装置（例えばキーボード、位置指示装置及び／又はマイクロホン）、並びに出力装置と通信するプロセッサ及びプロセッサと通信するプロセッサが読取可能な記憶媒体を含んでもよい。プロセッサが読取可能な記憶媒体は、本発明を実現するための動作を実行するようにプロセッサをプログラムできるコードを格納する。本発明の処理は、電話線、あるいは他のネットワーク又はインターネット接続を介してアクセス可能なサーバ上でも実現可能である。
【図面の簡単な説明】
【００２４】
【図１】カメラを有するＭＭＳシステムを示す図である。
【図２】場所及び方向パラメータを示す図である。
【図３】本発明を実行可能なコンピュータ構成を示すブロック図である。
【図４】本発明に従って車線情報を作成する処理の実現例を示すフローチャートである。
【図５】ソース画像からオルソ補正タイルへの変換の基本原理を示す側面図である。
【図６】ソース画像からオルソ補正タイルへの変換の基本原理を示す上面図である。
【図７】道路セグメントのオルソ補正画像を示す図である。
【図８】非対称フィルタリングの一実施形態を示すフローチャートである。
【図９】フィルタマスクの実施形態を示す図である。
【図１０】道路セグメントのフィルタ画像を示す図である。
【図１１】図１０に示すフィルタ画像において検出される特徴を視覚化する図である。
【発明を実施するための形態】
【００２５】
多くの例示的な実施形態を使用し且つ添付の図面を参照して、本発明を以下により詳細に説明する。図面は本発明を例示することを意図し、本発明の範囲を制限することを意図しない。本発明の範囲は、添付の請求の範囲及び同等な実施形態により定義される。
【００２６】
図１は、自動車１の形態をとるＭＭＳシステムを示す。自動車１は、１つ以上のカメラ９（ｉ）を備える。i＝１、２、３、...Ｉである。自動車１は、運転者により関心道路に沿って運転される。
【００２７】
自動車１は複数の車輪２を備える。更に、自動車１は高精度位置判定装置を備える。図１に示すように、位置判定装置は以下の構成要素を具備する。
【００２８】
・アンテナ８に接続され、複数の衛星ＳＬi（i＝１、２、３、...）と通信し且つ衛星ＳＬiから受信する信号から位置信号を算出するように構成されるＧＰＳ（全地球測位システム）ユニット。ＧＰＳユニットはマイクロプロセッサμＰに接続される。ＧＰＳユニットから受信する信号に基づいて、マイクロプロセッサμＰは、自動車１内のモニタ４に表示され且つ運転者に自動車が位置する場所及び場合によっては自動車が移動している方向を通知する適切な表示信号を決定してもよい。ＧＰＳユニットの代わりに、差動ＧＰＳユニットが使用されてもよい。差動全地球測位システム（ＤＧＰＳ）は全地球測位システム（ＧＰＳ）の改良版であり、固定地上基準局のネットワークを使用して、衛星システムにより示される位置と既知の固定位置との間の差分を広く送信する。これらの局は、測定された衛星の擬似距離と実際の（内部で計算された）擬似距離との間の差分を広く送信し、受信局は自身の擬似距離を同一量分補正してもよい。
【００２９】
・ＤＭＩ（距離測定計器）。この計器は、車輪２のうちの１つ以上の車輪の回転数を検知することにより、自動車１が移動した距離を測定する走行距離計である。ＧＰＳユニットからの出力信号から表示信号を算出する際にマイクロプロセッサμＰがＤＭＩにより測定された距離を考慮できるようにするため、ＤＭＩもマイクロプロセッサμＰに接続される。
・ＩＭＵ（慣性測定ユニット）。そのようなＩＭＵは、３つの直交方向に沿う回転加速度及び並進加速度を測定するように構成される３つのジャイロユニットとして実現可能である。ＧＰＳユニットからの出力信号から表示信号を算出する一方でマイクロプロセッサμＰがＤＭＩによる測定値を考慮できるようにするため、ＩＭＵもマイクロプロセッサμＰに接続される。ＩＭＵは、推測航法センサを更に含むことができる。
【００３０】
図１に示すようなシステムは、例えば自動車１に取り付けられた１つ以上のカメラ９（i）を用いて写真を撮影することにより地理データを収集するいわゆる「モバイルマッピングシステム」である。カメラはマイクロプロセッサμＰに接続される。自動車前方のカメラ９（i）は、立体カメラであってもよい。カメラは、画像が既定のフレーム速度で取り込まれた画像シーケンスを生成するように構成可能である。例示的な一実施形態において、カメラの１つ以上は、自動車１の既定の変位毎又は時間間隔毎に写真を取り込むように構成されるスチルカメラである。既定の変位は、２つの連続写真が路面の同様の部分を含むように選択される。例えば写真は、８ｍ移動する毎に取り込まれてもよい。
【００３１】
一般に、３つの測定ユニット、すなわちＧＰＳ、ＩＭＵ及びＤＭＩから可能な限り正確な場所及び方向の測定値を提供することが望まれる。これらの場所及び方向データは、カメラ９（i）が写真を撮影している間に測定される。写真は、後で使用するため、これらの写真が撮影されたのと同時に収集された自動車１の対応する場所及び方向データと関連付けて、μＰの適切なメモリに格納される。写真は、道路の中心、路面の縁部及び道路の幅等の車線情報に関する情報を含む。
【００３２】
図２は、図１に示す３つの測定ユニットであるＧＰＳ、ＤＭＩ及びＩＭＵから取得可能な位置信号を示す。図２は、マイクロプロセッサμＰが６つの異なるパラメータ、すなわち所定の座標系内の原点に関する３つの距離パラメータｘ、ｙ、ｚ、並びにｘ軸、ｙ軸及びｚ軸に関する回転をそれぞれ示す３つの角度パラメータωｘ、ωｙ及びωｚを算出するように構成されることを示す。ｚ方向は重力ベクトルの方向と一致する。グローバルＵＴＭが所定の座標系として使用されてもよい。
【００３３】
自動車１内のマイクロプロセッサμＰ及びメモリは、コンピュータ構成として実現されてもよい。そのようなコンピュータ構成の例を図３に示す。
【００３４】
図３において、算術演算を実行するプロセッサ３１１を具備するコンピュータ構成３００の概略が示される。図１に示す実施形態において、プロセッサはマイクロプロセッサμＰである。
【００３５】
プロセッサ３１１は、ハードディスク３１２、読み出し専用メモリ（ＲＯＭ）３１３、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）３１４及びランダムアクセスメモリ（ＲＡＭ）３１５を含む複数のメモリ要素に接続される。必ずしもこれらメモリの種類の全てを設ける必要はない。更に、これらのメモリ要素はプロセッサ３１１に物理的に近接して配置される必要がなく、プロセッサ３１１から離れて配置されてもよい。
【００３６】
プロセッサ３１１は、ユーザにより命令、データ等を入力する手段、例えばキーボード３１６及びマウス３１７に更に接続される。当業者には周知であるタッチスクリーン、トラックボール及び／又は音声変換器等の他の入力手段が更に設けられてもよい。
【００３７】
プロセッサ３１１に接続された読み取りユニット３１９が設けられる。読み取りユニット３１９は、フロッピーディスク３２０又はＣＤＲＯＭ３１２等の取り外し可能なデータ記憶媒体又は取り外し可能な記憶媒体からデータを読み取り且つ場合によってはそれらにデータを書き込むように構成される。当業者には周知であるように、他の取り外し可能なデータ記憶媒体は、テープ、ＤＶＤ、ＣＤ−Ｒ、ＤＶＤ−Ｒ、メモリスティック等であってもよい。
【００３８】
プロセッサ３１１は、紙上に出力データを印刷するためのプリンタ３２３及びディスプレイ３１８、例えばモニタ又はＬＣＤ（液晶ディスプレイ）画面、あるいは当業者には周知である他の任意の種類のディスプレイに接続されてもよい。
【００３９】
プロセッサ３１１は、スピーカ３２９に接続されてもよい。
【００４０】
更にプロセッサ３１１は、Ｉ／Ｏ手段３２５により公衆交換電話網（ＰＳＴＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット等の通信ネットワーク３２７に接続されてもよい。
【００４１】
データ記憶媒体３２０、３２１は、プロセッサに本発明に従って方法を実行する能力を提供するように構成されるデータ及び命令の形態のコンピュータプログラム製品を具備してもよい。しかし、そのようなコンピュータプログラム製品は電気通信ネットワーク３２７を介してダウンロードされてもよい。
【００４２】
プロセッサ３１１は、独立型システムとして実現されてもよく、各々がより大きなコンピュータプログラムのサブタスクを実行するように構成される複数の並列プロセッサとして実現されてもよく、又は複数のサブプロセッサを有する１つ以上のメインプロセッサとして実現されてもよい。本発明の機能性の一部は、電気通信ネットワーク３２７を介してプロセッサ３１１と通信するリモートプロセッサによって実行されてもよい。
【００４３】
図３のコンピュータシステムに含まれる構成要素は、汎用コンピュータシステムにおいて通常見られる構成要素であり、当業界において周知であるそのようなコンピュータ構成要素の広範な種類を表すことを意図する。
【００４４】
従って、図３のコンピュータシステムは、パーソナルコンピュータ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ等である。コンピュータは、異なるバス構成、ネットワーク化プラットフォーム、マルチプロセッサプラットフォーム等を更に含むことができる。ＵＮＩＸ、Ｓｏｌａｒｉｓ、Ｌｉｎｕｘ、Ｗｉｎｄｏｗｓ、Ｍａｃｉｎｔｏｓｈ ＯＳ及び他の適切なオペレーティングシステムを含む種々のオペレーティングシステムが使用可能である。
【００４５】
カメラ９（ｉ）により取得された画像及びスキャンを後処理するために図３の構成と同様の構成が使用されるが、これは、オフラインの後処理のため、自動車１内ではなく建物内に配置されるのが好都合である。カメラ９（ｉ）により取得された画像及びスキャンは、１つ以上のメモリ３１２〜３１５に格納される。この格納は、それらデータを最初にＤＶＤ又はメモリスティック等に格納するか、あるいはメモリ９から場合によっては無線送信することにより実行可能である。
【００４６】
図４は、本発明に従って車線情報を作成する処理の例示的な実施形態を示すフローチャートである。処理は、図１に示すようなモバイルマッピング車両を使用して座標参照系において関連する位置及び方向データを含むソース画像シーケンスを取り込むこと、並びに取り込まれたデータを記憶媒体上に格納することにより、ＭＭＳ（モバイルマッピングシステム）セッション４１で開始する。処理ブロック４２において、取り込まれたデータは、座標参照系において関連する位置及び方向データに対応するメタデータを含むソース画像毎にオルソ補正タイルを生成するように処理される。オルソ補正処理は、収集ジオメトリ及び地形により生じる歪みを除去し、画像を均一な地上サンプル距離及びユーザ指定の地図投影に再サンプリングする。関連する位置及び方向データは、ＧＰＳ、ＤＭＩ及びＩＭＵから取得される位置信号、並びに自動車の位置及び方向に対する各カメラの位置及び方向を含む。ソース画像からオルソ補正タイルを生成することについて、以下に更に詳細に説明する。位置及び方向データにより、オルソ補正モザイクを取得するために路面の同様の部分を含むオルソ補正画像を重ね合わすことができる。オルソ補正画像４３は、１つのソース画像からのみ生成されるオルソ補正画像又はオルソ補正画像のモザイクであってもよく、例えば１０ｍ〜１００ｍまでの直線道路セグメントを示す。
【００４７】
更に、取り込まれたデータから、道路上のモバイルマッピング車両の走行方向が導出される。車両が路面上を走行しているため、走行方向は道路の方向に対してほぼ平行である。この場合、走行方向は道路の方向の推定値である。道路の方向をブロック４４で示す。
【００４８】
尚、画像の解像度が車線情報を検出するのに十分であると仮定すると、本発明に係る方法は、任意の地理参照オルソ補正画像、例えば空中オルソ補正画像又は衛星オルソ補正画像に適用可能である。更に道路の方向は、市販の地図データベースからも検索される。しかし、モバイルマッピング車両は、画像データ、並びに車両の位置及び方向データの双方を同時に記録するため、このデータにより、空中画像又は衛星画像を使用して行なわれる時よりも画像中の路面を含む画像部分を正確に選択でき、座標参照系において位置を非常に正確に計算できる。
【００４９】
オルソ補正画像、並びにオルソ補正画像の位置及び方向データを規定する関連するメタデータを生成する方法は、未公開特許出願ＰＣＴ／ＮＬ２００６／０５０２５２号に開示される。この方法により、モバイルマッピングシステムデータのみから非常に正確なジオコーディングされたオルソ補正画像を生成できる。ジオコーディングされた画像は８ｃｍの画素解像度（＝画像内での相対位置精度）を有し、地表上での画像の位置及び方向を規定するメタデータは１ｍ及び０．１度の絶対地理位置精度を有する。
【００５０】
ブロック４５において、道路の方向は、オルソ画像４３を変換画像４６に変換するために使用される。一実施形態において、道路の方向はモバイルマッピング車両の走行方向に対応する。別の実施形態において、道路の方向は空中画像又は衛星画像から導出される。更に別の実施形態において、道路の方向はデジタル地図データベース中のデータから導出される。ブロック４５における変換は、オルソ補正画像を標準化するために使用される。変換画像４６において、道路の方向及び解像度は標準化される。標準化とは、変換画像４６において、道路が事前定義済みの方向を有し、変換画像の各画素が地表の固定事前定義済み物理領域を示すことを意味する。これにより、簡単な非対称フィルタの１セットのみを変換画像上に適用できる。画素サイズは標準化処理において画素の縮尺を一致させるように調整され、それはオルソ補正処理の一部であってもよい。道路の方向は、オルソ補正画像を回転させることにより標準化される。道路の方向は、変換画像の画素の列に対して平行であることが好ましい。変換画像は関連する位置及び方向データを含む。位置及び方向データにより、事前定義済みの座標系における対応する地理位置を変換画像において画素毎に判定する処理が可能になる。
【００５１】
ブロック４７において、非対称フィルタは変換画像上で実行され、フィルタ画像４８を取得する。フィルタの実施形態を以下に説明する。道路標示は各国において規格化された事前定義済みの寸法を有するため、非対称フィルタの１セットは国毎に使用されることがわかっている。画像中の道路標示の寸法を認識することにより、フィルタはその寸法に対して最適化される。道路標示の寸法は車線標示の幅及び破線の車線分離帯の長さであってもよく、長さ及び幅は変換画像中の画素数において規定される。一実施形態において、画素は、８×８ｃｍの地表の物理領域に対応する。一般に長さ３ｍ及び幅２０ｃｍである破線は、変換画像において３７画素の長さ及び２〜３画素の幅を有する。
【００５２】
上述の例において第１のフィルタ、第２のフィルタ及び第３のフィルタの組合せである非対称フィルタリングの目的は、探索される情報を強化して変換画像中のノイズを低減することである。強化のいくつかの例には、サイズの拡大及び画素値の明色化／暗色化が含まれる。強化及びノイズ低減の双方により、フィルタ画像における特徴の認識が向上する。
【００５３】
ブロック５０において、特徴が認識される。使用される特徴認識アルゴリズムは本発明の必須の特徴ではない。検出される特徴は、フィルタ画像中のほぼ垂直な線又は矩形である。線は、フィルタ画像中の破線、実線、二重の実線又は任意の他の直線であってもよい。当業者は、特徴を検出するのに適切なアルゴリズムを認識している。アルゴリズムは、フィルタ画像中の実線又は矩形を検出する必要がある。フィルタ画像中の特徴を検出した後、フィルタ画像中の特徴のｘ、ｙ位置を判定する。フィルタ画像が、関連する位置及び方向データを含む変換画像に対応するため、特徴の地理位置は、変換画像と関連付けられる位置及び方向データから導出される。道路の幅及び車線は、フィルタ画像中の２つ以上の平行な実線又は破線を最初に検出することにより算出される。画像中の平行な線の間の距離は、位置及び方向データを使用することにより線の間の距離に変換される。認識される特徴及び関連する位置データは、デジタル地図データベースで使用するためにデータベースに格納される。
【００５４】
図５は、ブロック４２において実行されるソース画像からオルソ補正タイルへの変換の基本原理を示す側面図である。（図６に示す）カメラ又はＣＣＤカメラ２０２の画像センサ１０１は、ソース画像シーケンスを記録する。ソース画像は、図１に示すような自動車に取り付けられた地上カメラ９（ｉ）により記録されるある程度垂直な画像を示す。ソース画像は、例えば８メートルの変位毎にトリガされるスチルカメラを使用して記録される静止写真シーケンスであってもよい。画像センサを含むカメラは視野角αを有する。視野角αはカメラのレンズの焦点距離１０２により判定される。視野角αは、４５°＜α＜１８０°の範囲であってもよい。更にカメラは、視野角の中心である撮像軸１０３を有する。図１において、撮像軸１０３は水平面１０４に対して平行である。画像センサ１０１は撮像軸１０３に対して垂直に装着される。この例において、画像センサ１０１は「純粋な」垂直ソース画像を記録する。更に画像センサの高さが地表等の水平面に対して分かっている場合、画像センサ１０１により記録される画像は、水平面のオルソ補正図の縮尺版を示すオルソ補正タイルに変換されることができる。画像センサの制限領域は、水平方向に適切な解像度を含む水平画像を取得するために使用される。図５は、水平面の部分１０８に対応する画像センサ１０１の部分１０６を示す。オルソ補正タイルの最小許容解像度により、画像センサと水平面の最も遠くの点との最長距離を判定する。ジオメトリを使用することにより、地上カメラから検索されるソース画像は任意の仮想面に変換される。撮像軸が水平面に対して周知の角度で傾けられる場合であっても、オルソ補正タイルはソース画像から取得されることができる。
【００５５】
図６は、ソース画像からオルソ補正タイル２００への変換の基本原理を示すオルソ補正図である。カメラ２０２の視野角α及び撮像軸１０３、２１８の方向により、画像センサ１０１により記録される水平面の部分を判定する。オルソ補正タイル２００の境界を図中符号２２４で示す。図６において、カメラ２０２の撮像軸２１８は、車両の方向中央軸と一致し、その結果道路の車線標示とも対応する。ナビゲーションシステム等に必要な属性の収集及びその位置精度は、オルソ補正タイルの事前定義済み最小解像度を要する。これらの要件により、ソース画像から取得される水平面の部分が制限される。水平面に対するカメラの焦点２０８の位置と水平面の領域の境界との最長距離２０６により、最小解像度を判定する。また、最長距離２０６は、実際には、特定の道路上を走行している際の２台の自動車間の最短距離により制限されてもよい。このように最長距離を制限することにより、殆どの場合において、オルソ補正タイルの路面がモバイルマッピング車両の前を走行する自動車の背面を含まないという利点を有する。また、最長距離２０６と最短距離２０４との差により、カメラによる画像の後続の記録と記録との間の最長許容距離を判定する。これにより、撮像フレームレートを規定し、車両の最高速度を制限してもよい。水平面の矩形は、ソース画像中に略台形形状を有する領域に対応する。最短距離及び視野角αは、オルソ補正タイル２００がソース画像中に対応する領域を有さない小領域２１０を含むかを判定することが図６からわかる。オルソ補正タイル２００は破線の正方形であり、小領域２１０は、２００で示す破線の正方形の隅に近接する部分を切断した小さな三角形である。
【００５６】
一実施形態において、オルソ補正タイル２００は、幅２２０が１６ｍであり且つ長さ２２２が１６ｍである領域に対応する。画像が８メートル毎に撮像される場合、路面の９９％は２つの連続画像において見られる。１６ｍより広い道路の場合、その道路に対してオルソ補正タイルを生成するために前方撮像カメラ及び側方撮像カメラが使用される必要がある。前方撮像カメラにより撮像される画像から検索されない道路の部分は、側方撮像カメラにより撮像される画像から検索される。側方撮像カメラは、車両の方向に対して傾斜撮像軸又は垂直撮像軸を有する任意のカメラであってもよい。ここで、オルソ補正タイル２００は、前方撮像カメラ及び側方撮像カメラから取得されるオルソ補正画像のモザイクである。オルソ補正タイルを更に処理するために、矩形形状のオルソ補正タイルを有することが有利である。ソース画像中に関連する画素を有さないオルソ補正タイルの画素は、事前定義済み色値を与えられる。事前定義済み色値の一例は、存在しない路面の色に対応する色、あるいはソース画像中に一般に存在しないか又は殆ど存在しない値である。これにより、オルソ補正タイルの更なる処理における誤差の可能性を減らす。
【００５７】
ソース画像を変換して撮像軸からの距離２１４及び焦点２０８からの距離２０４を有するオルソ補正タイルを画素２１６毎に取得する一実施形態において、ソース画像中の対応する位置は、本明細書に参考として取り入れられている未公開特許出願ＰＣＴ／ＮＬ２００６／０５０２５２号において更に詳細に説明されるジオメトリを使用して判定される。尚、解像度（各画素が示す物理サイズ）は、ソース画像をオルソ補正画像に変換する際に（より大きく）変更される。ソース画像中の関連する画素の色値を平均してオルソ補正画像の画素の色値を取得することによりサイズが大きくなる。平均することは、路面の色サンプルをクラスタ化し且つ処理内でノイズを低減する効果を有する。
【００５８】
各オルソ補正画像は、関連する位置及び方向データと共に格納される。オルソ補正画像の各画素の地理位置は、座標参照系の位置及び方向データを使用することにより規定される。位置及び方向データにより、プロセッサは、オルソ補正画像を重ね合わせてより大きなオルソ補正画像又はオルソ補正モザイクを取得できる。図７は、５つのオルソ補正画像７０２．．．７１０を重ね合わせることにより取得された道路セグメントのオルソ補正画像を示す。重ね合わせは、各オルソ補正タイルのメタデータに基づいてもよい。各オルソ補正タイルのメタデータは、移動車両からのＧＰＳ位置、移動車両の走行方向又は方向、移動車両上のカメラの位置及び移動車両上のカメラの方向を含む位置判定機能から取得される。オルソ補正タイルの地理位置を導出するパラメータは、ソース画像と関連付けられる位置及び方向データとして格納される。重複領域７１２の画素値は、重複画素の画素値を平均するか又は重複画素のうちの１つの値を選択することにより取得されてもよい。一実施形態において、画素値は、画素に対応する地理位置間の距離が画像を撮像するカメラの地理位置に最も近い画像から選択される。このように、道路セグメントの合成されたオルソ補正画像の最適な解像度が格納される。
【００５９】
図７は、路面の左側及び右側に対応する線７１４、７１６を更に示す。これらの路面の両側は、本明細書に参考として取り入れられている未公開国際特許出願ＰＣＴ／ＮＬ２００７／０５０１５９号において開示される方法により検出されてもよい。路面の左側及び右側を検出することは、水平車線情報を検出するために処理される画素数を減少するために使用される。図７は、２車線道路及び側方空間を示す。図７は、１つの前方撮像カメラから取得される画像を処理することにより取得される。５車線道路を取得するためには２つ以上のカメラが必要である。５車線道路のオルソ補正モザイクは、１つ又は２つの前方撮像カメラ及び２つの側方撮像カメラにより生成される画像シーケンスを処理することで取得される。
【００６０】
図７は、道路セグメントの中央において、破線の色値に類似する色値を含む小領域を示す。使用されるフィルタの選択されるサイズにより、フィルタ画像において小領域を削除するか又は強調するかを判定する。
【００６１】
図８は、非対称フィルタリングの例示的な一実施形態を示すフローチャートである。図８及び図９のフィルタマスクのサイズは、説明するためだけに選択された。当業者は、状況及び要件に依存して適切なサイズを選択する。処理に入力されるのは、道路セグメントの方向を規定する関連する位置及び方向データ、並びにデータ９０４を含む道路セグメントのオルソ補正画像９０２である。オルソ補正画像９０２は、道路のほぼ直線部分を示す。道路はオルソ補正画像９０２中に任意の方向及び位置を有する。道路セグメントの方向を規定するデータ９０４は、事前定義済み座標系における道路の地理位置及び方向を示す。オルソ補正画像と関連付けられる位置及び方向データをデータ９０４と合成することにより、オルソ補正画像は変換画像９０８に変換され、道路の方向は画素の列に対して平行である。変換処理を処理ブロック９０６で示す。変換処理は、オルソ補正画像上で少なくとも回転機能を実行する。オルソ補正画像の解像度が画像間で異なる場合、変換処理が縮尺機能を更に含むことにより、変換機能は全てが同一の解像度を有する変換画像を取得できる。更に変換処理は、関連する位置及び方向データを算出する。関連する位置及び方向データは、画像中の画素の位置と対応する地理位置との関係を規定する。これにより、変換画像中で認識される車線情報に対して車線情報の実際の寸法及び位置を判定できる。変換処理により、対応する位置及び方向データを含む標準化オルソ補正画像を取得する。
【００６２】
変換画像は、カメラのノイズのためだけではなく、路面上に現れる傷及び汚れのために、一般にノイズを伴うデータを有する。従って、特に画像において道路の方向が認識されていない場合、画像から車線情報を抽出することは相対的に困難である。
【００６３】
通常、そのような画像は、対称フィルタマスク又は２次元ウィンドウを有するフィルタでフィルタリングされる。フィルタは、特定の機能に基づいて１つの画像を別の画像に変換する。そのような機能は、隣接画素値の合成として算出される新しい画像の対応する画素値を入力画像の画素毎に出力している。考慮される隣接画素は、いわゆるフィルタマスクを形成する。対称フィルタマスクは、画像上で実行されるフィルタリング機能が水平方向及び垂直方向に等しいという利点を有する。対称フィルタマスクを含むフィルタは、画像を改善する画像処理において非常に有用であり、オブジェクトの方向が認識されていないことが特徴である。改善例には、認識されるオブジェクトの特徴（例えば、画像中のオブジェクトの縁部）を修正すること、ノイズを除去すること等がある。対称形態フィルタは、一般に当業者には周知である。形態フィルタは、集合論のいくつかの簡単な数学的概念に基づく広範な演算子を画像処理に与える。オペレータは２値画像の解析に特に有用であり、一般的な使用方法には、縁部検出、ノイズ除去、画像向上及び画像分割が含まれる。いくつかの種類の形態フィルタは、拡張、侵食、オープン、クローズである。
【００６４】
認識されるオブジェクトの方向、すなわち画素の列に対して並列な方向は周知であるため、非対称フィルタは、画像から所望の情報を認識する前に画像をフィルタリングするために使用される。非対称フィルタリングは、実際の特徴検出工程又は認識工程の前に適用されるデータ準備工程又はデータ調整工程である。車線情報を認識するため、フィルタは、所望の情報を拡大すると同時にノイズを低減するために使用される。フィルタ画像中の車線情報に係る線は、例えばハフ（Ｈｏｕｇｈ）変換により認識される。
【００６５】
変換画像９０８は、水平フィルタ９１０に供給されて水平フィルタ画像を取得する。水平フィルタは、非対称フィルタマスク又は１次元ウィンドウを有するフィルタであり、マスク又はウィンドウは、画素の行に３つ以上の隣接画素のみを含む。水平フィルタは、図９に示すようなフィルタマスク９１２を有してもよい。フィルタマスク９１２は、画素の行に５つの隣接画素に対応するウィンドウを有する。フィルタマスク９１２を含む出力値を計算する際、値は関連する水平フィルタ画像の画素９５２に割り当てられる。水平フィルタ画像の画素９５２の位置は変換画像の位置に類似する。従って、出力値は、水平フィルタマスク９１２により規定されるウィンドウの中央の画素に割り当てられる。一実施形態において、水平フィルタは最大フィルタである。最大フィルタは、出力値が最大値を有するマスクに係る画素値に対応することを特徴とするフィルタである。一実施形態において、最大値は、最高輝度に対応するＲＧＢ値を有する画素値に対応する。
【００６６】
入力画像の画素に対して最大フィルタを実行するアルゴリズムは、以下のように説明される。
【００６７】
−マスクの画素毎にＲＧＢ値から輝度を算出する。
【００６８】
−最高輝度を有するマスクにおいて画素を検出する。
【００６９】
−最も明るい画素に対応するＲＧＢ値を検索する。及び
−フィルタの出力にＲＧＢ値を割り当てる。
【００７０】
このフィルタは画像全体に対して全ての画素に割り当てられる。
【００７１】
水平フィルタ９１０は、車両の走行方向に対して垂直の方向に線の幅を拡張する構造化要素を有するフィルタに対応する。構造化要素は画素を示す小さな格子であり、画像に適用されて画像コンテンツの構造を変化させる。
【００７２】
次に、水平フィルタ画像は第１の垂直フィルタ９１４に供給されて垂直フィルタ画像を取得する。垂直フィルタは、非対称フィルタマスク又は１次元ウィンドウを有するフィルタであり、マスク又はウィンドウは、画素の列に３つ以上の隣接画素のみを含む。第１の垂直フィルタ９１４は、図９に示すようなフィルタマスク９１６を有してもよい。フィルタマスク９１６は、画素の列に５つの隣接画素に対応するウィンドウを有する。値は、フィルタマスク９１６を使用して、垂直フィルタマスク９１６により範囲に含まれるウィンドウの画素に対応する画素９５６に対して生成される。一実施形態において、第１の垂直フィルタは最小フィルタである。最小フィルタは、出力値が最小値を有するマスクに従う画素値に対応することを特徴とするフィルタである。一実施形態において、最小値は、最低輝度又は最も暗い画素に対応するＲＧＢ値を有する画素値に対応する。
【００７３】
入力画像の画素に対して最小フィルタを実行するアルゴリズムは、以下のように説明される。
【００７４】
−マスクの画素毎にＲＧＢ値から輝度を算出する。
【００７５】
−最低輝度（最も暗い画素）を有するマスクにおいて画素を検出する。
【００７６】
−最も暗い画素に対応するＲＧＢ値を検索する。及び
−フィルタの出力にＲＧＢ値を割り当てる。
【００７７】
このフィルタは画像全体に対して全ての画素に適用される。
【００７８】
第１の垂直フィルタ９１４は、車両の走行方向に対して平行な方向に線の長さを短縮する構造化要素を有するフィルタに対応する。
【００７９】
必要に応じて、第１の垂直フィルタ９１４から取得される垂直フィルタ画像は、第２の垂直フィルタ９１８に供給されてフィルタ画像９２２を取得する。第２の垂直フィルタ９１８は、図９に示すようなフィルタマスク９２０を有する。フィルタマスク９２０は、画素の列に５つの隣接画素に対応するウィンドウを有する。一実施形態において、第２の垂直フィルタ９１８は最大フィルタである。
【００８０】
第２の垂直フィルタ９１８は、車両の走行方向に対して平行な方向に線の長さを延長する構造化要素を有するフィルタに対応する。
【００８１】
変換画像中の車線情報の方向は周知であるため、非対称フィルタは変換画像上に適用される。水平フィルタは、画像の水平方向、すなわち画素の行に沿って車線情報の幅を拡張する。ＲＢＧ空間において、車線標示は路面材料よりも明るい色を有する。最大フィルタはｍ−１画素を含む車線情報の幅を伸張する。ここで、ｍはフィルタマスクの隣接画素数である。例えば、１画素の幅を含む垂直な線はｍ画素を含む垂直な線になる。また、最大フィルタは画像の画素の行に沿ってノイズを低減する。
【００８２】
最小フィルタである第１の垂直フィルタは、行に沿ってノイズを低減し、車線情報を示さないが相対的に明るい色値を有する１つ以上の画素を削減する。第１の垂直フィルタは、ｎ−１画素を含む車線情報の垂直なサイズを削減する。ここで、ｎはフィルタマスクの隣接画素数である。ｎの値は、検出される最小の線セグメントの画素の長さより短くなければならない。１０〜２５画素の範囲のｎに対する値は、８×８ｃｍの画素サイズを有する画像において長さ３ｍの破線をフィルタリングするのに非常に適していることがわかっている。
【００８３】
図７に示す道路セグメントの中央の小領域は、ｎが小領域の画素の最長の垂直な長さよりも大きな値を有する場合に削除される。図７の破線の線の幅は２画素である。小領域の長さは８〜９画素である。従って、小領域はｎ＝１０で削除される。
【００８４】
必要に応じて、最大フィルタである第２の垂直フィルタは、ノイズを更に低減すると共に、フィルタマスクのサイズが第１の垂直フィルタのサイズに類似する場合に車線情報の垂直なサイズを復元する。このオプションは、車線情報の長さが正確に判定されなければならない場合に必要である。
【００８５】
フィルタ画像は、水平フィルタ９１０及び第１の垂直フィルタ９１２を使用して取得される。例えば車両の軌道又は中央線により規定される道路の方向に対して平行な車線情報の位置は、正確に判定される。非対称フィルタマスクでフィルタリングすることにより取得されるフィルタ画像は、車線情報を更に認識するのに非常に適している。車線情報の幅が拡張される一方、車線情報の中央線の位置は依然として不変のままである。また、車線情報及び路面は、重要な情報を損失することなくノイズが低減される。
【００８６】
車線情報の長さを正確に判定するために、破線の個々の線、第１の垂直フィルタのフィルタマスクのサイズ等は、第２の垂直フィルタのサイズに類似しているべきである。しかし、第１の垂直フィルタ９１４のサイズを認識することにより、第１の垂直フィルタの出力画像から導出される車線情報の長さはそれに従って補正される。同様に、車線情報の幅は、水平フィルタのサイズから独立したフィルタ画像において検出される幅を補正することにより検出される。
【００８７】
第１の垂直フィルタのマスクの隣接画素数ｍは、探索している変換画像中の線セグメントより少なくなければならない。少なくない場合、車線情報は誤って削除される。
【００８８】
水平フィルタのマスクの隣接画素数ｎは、第１の垂直フィルタのサイズ及び検出される車線情報の方向に対する道路の方向の偏差に依存する。モバイルマッピング車両の軌道は、道路方向の推定値として使用されてもよい。しかし、車両が車線を変更する場合、車両の方向は道路の実際の方向からずれる。偏差は、オルソ補正画像の誤った変換、すなわち誤った回転を招く。車線情報は、画素の列に対して平行ではなく、偏差に対応する角度を有する。以下の式は、ｎとｍとの関係を規定する。
【００８９】
ａｒｃｔａｎ（（ｍ＋ｗ−１）／ｎ） ≧ ａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅ
式中、
ｍは、水平フィルタのマスクの画素数のサイズであり、ｗは、検出される車両情報の変換画像の画素の最小幅であり、ｎは、第１の垂直フィルタのマスクの画素数のサイズであり、ａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅ（度）は、自動車の進行方向と道路の実際の方向との最大角度差である。
【００９０】
一実施形態において、以下の値ｎ＝１０、ｗ＝３及びｍ＝４が適用される。これらのパラメータ値により、最大３０．９度のａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅが可能になる。直進走行車両に対するａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅは一般に５度以内である。突然の車線変更に対するａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅは最大９度である。ａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅの値ｎ、ｗ及びｍは、変換画像の水平解像度及び垂直解像度に依存することが明らかになるだろう。
【００９１】
上記の式は、最大許容可能なａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅを示す。ａｎｇｌｅ＿ｏｆ＿ｖｅｈｉｃｌｅは、画素の列に対して変換された車両情報の角度に対応する。車両が道路のカーブ上を走行している際、車線標示の最初の画素及び最後の画素は、変換画像の画素の列に対する角度を更に有する。従って、上記式は、所定の最大曲率量に対するｍ及びｎの最適値を判定するために更に使用される。当業者は、値ｍ及びｎを選択し、車両の角度及び曲率量を考慮して発生する状況に対してフィルタリング処理を最適化できる。
【００９２】
上記式が集計されない場合、線は２つ以上のセグメントに分割されるか又は線の長さが誤って短縮される。ｍが２つの平行線間の最少画素数よりも少なくなければならないことは、当業者には更に明らかである。少なくない場合、これらの２つの線は結合されて、１つの線と考えられる。
【００９３】
図１０は、道路セグメントのフィルタ画像を示す。道路セグメントは、図７に示す道路セグメントに類似する解像度を有する。図１０は、それぞれ、破線の車線分離帯１００２及び実線の左右道路側線１００４、１００６を示す。非対称水平フィルタ及び非対称垂直フィルタは、車線情報の幅を拡張することがわかる。また、フィルタ画像の画素ノイズが低減される。
【００９４】
図１０に示すフィルタ画像は線認識方法に適用される。誤った検出の数を減らすために、車線情報を認識するフィルタ画像の領域は、路面の左側の位置１０１０及び右側の位置１００８に限定されてもよい。車線情報は路面上のみに存在するため、路面の外側の画像領域は除外されてもよい。路面の左側及び右側は、未公開国際特許出願ＰＣＴ／ＮＬ２００７／０５０１５９号において開示される方法により規定されてもよい。線は厳密な形状を有するため、車線情報を検出する簡単なパターンマッチングアルゴリズムが使用される。本出願において、パターン認識アルゴリズムは、２種類のパターン、すなわち実線及び破線の部分である矩形のみを探索すれば十分である。また、線の色は、線の種類を判定するように考慮される。図１１は、図１０に示すフィルタ画像で検出される特徴の領域を視覚化した図である。道路の左側の位置及び右側の位置はフィルタ画像を解析する前に判定されるため、路傍は解析の妨げとなる可能性がある。従って、図１０の右側の白点は車線情報として認識されない。
【００９５】
上述の全ての実施形態は、変換及び非対称フィルタリングが実行されるオルソ補正画像を使用する。オルソ補正画像は容易に合成され、例えば道路セグメント又は５車線以上の道路のオルソ補正モザイクを取得できる。尚、ソース画像から１６ｍ×１６ｍのオルソ補正画像を生成する代わりに上面図画像が生成される。上面図画像は、各画素が１点において上から見られる画像である。地表に対して垂直な撮像軸を含むカメラは、上面図画像を提供する。本発明に係る方法を使用する上面図画像の処理は、車線情報を認識するのに非常に適している。使用される投影を認識することにより、車線情報の地理参照位置は、非対称フィルタ上面図画像から正確に導出される。
【００９６】
上述のように、空中オルソ補正画像及び衛星オルソ補正画像は、車線情報を作成するために使用されてもよい。次に、車線情報が判定される必要がある道路がサンプリングされる。各サンプルは、座標参照系に位置及び方向を有する。最初に、例えば２０ｍ×２０ｍの画素の周囲の領域に対応する空中画像の画素又は衛星画像の画素は、サンプル毎に画像に変換される。変換画像の画素の各列は、道路の方向に対して平行な面に対応する。その後、変換画像は非対称にフィルタリングされる。
【００９７】
尚、モバイルマッピング車両において収集されるような画像は、非対称フィルタを適用するため又は車線認識工程のためであっても地理参照される必要はない。カメラは車両上に装着される。従って、走行方向に対するカメラの方向は周知である。これにより、フィルタ画像を生成し且つ地理参照位置及び方向データを使用せずに、画像において特徴を検出できる。慣性ナビゲーションシステム（ＩＮＳ）により、座標参照系における相対的な位置情報を検出される特徴毎に導出できる。検出される車線情報を地図データベース中の適切な道路に十分に正確に一致させる任意の形態の地理参照が必要である。そのような地理参照及びマップマッチングは、当技術分野において周知である。
【００９８】
更に、十分な精度の地理参照は、適切な道路からの道路の位置及び方向が、本発明に係る方法を適用する画像上の場所及び方向を判定し且つ結果として得られる車線情報を地図データベース中の適当な道路情報に再び関連付けるために使用されるように、空中画像及び衛星画像に対して必要である。
【００９９】
本発明は、事前に選択される道路の長さに対応するタイルに作用する。モバイルマッピング車両により撮影される画像から、長さ１６ｍの道路を有する画像が生成される。カーブの箇所が非常に多い道路は、最大１００ｍの半径を有する道路である。自動車の前方に１６メートルを示す場合、そのようなカーブした車線標示の弧は、視点と終点との間に１０度の偏差を有する。しかし、適用される非対称フィルタは、想定されるレベルのノイズを除去するのに十分な程大きくなければならないが、探索している車線標示を削除しないよう常に小さくなければならない。探索している最小の車線標示は破線である。破線は、通常長さ３ｍである。従って、フィルタのサイズは、実世界の座標において３ｍより小さくなければならない。適切な一実施形態において、第１の垂直フィルタのサイズは２５画素である。８×８ｃｍの画素サイズの場合、これは長さ２ｍのフィルタに対応する。２ｍを超える弧の偏差は１〜２画素だけしか変動しない。本発明に係る方法をカーブの箇所が多い道路上で使用する場合、この偏差による問題は起きない。
【０１００】
同様に、車線変更による問題も起きない。時速４０ｋｍの速度で運転し且つ２秒で車線変更する場合、これは非常に速く、車両は前方に２５ｍ及び側方に４ｍ移動する。これは、道路方向から９度ずれることに対応する。
【０１０１】
上述のように、（例えば）道路セグメントのオルソ補正画像は、本発明に係る方法により処理される。認識される道路情報は、デジタル地図データベースで使用するために、種類及び位置、並びに必要に応じて寸法と共にデータベースに格納される。車線情報の地理位置は、変換画像と関連付けられる位置及び方向データから導出される。位置は、事前定義済み座標系において地理位置の形式で絶対的であるか、あるいは車両の軌道又はデータベースから取得される道路の位置に対して相対的である。データベースからの道路の位置情報は、道路の方向を判定するために使用される。車線情報は、ナビゲーションシステムにおいて路面のより現実的なビューを生成するために使用される。例えば、３車線から２車線に道路を狭めることが視覚化される。更に車線情報は、例えば駐停車禁止領域及び他の自動車を追い越すことが禁じられた道路セグメントを判定するのに非常に有用である。また、ナビゲーションがより正確になるにつれ、車線内の車両の場所は、安全上の使用目的及びより高精度な方向指示（次の進路変更のために左車線に移る）のためにシステムの部分となる。
【０１０２】
当然、車線標示及び後続の車線の位置を正確に検出することにより、システムは、車線数及び車線の幅も自動的に判定できる。これは、フィルタ画像において２つ以上の平行な実線又は破線を探索することにより行なわれる。その後、車線数は容易に導出される。また、対応する車線の幅は、１つ以上のソース画像と関連付けられる位置及び方向データに依存して算出される。
【０１０３】
上述の方法は自動的に実行されてもよい。本発明を実行する画像処理ツール及びオブジェクト認識ツールがいくらかの補正を必要とするような画像品質である可能性もある。例えば、後続道路セグメントの車線情報は、道路に沿う不連続性に対して解析されてもよい。例えば、後続道路セグメントの一対は、道路に沿って異なる位置及び／又は種類情報を有してもよい。その場合、人が対応する変換画像又はオルソ補正画像を再検討してもよい。ここで、方法は、中間結果を確認又は適応できるようにするいくつかの検証動作及び手動適応動作を含む。これらの動作は、車線情報作成の中間結果又は最終結果の受け入れにも適しているだろう。これらの動作により、車線情報を含むデータベースの品質が向上する。
【０１０４】
本発明により作成される車線情報は、オルソ補正画像毎に車線情報を作成し、それをデータベースに格納する。車線情報は、情報量を減らすために更に処理されてもよい。例えば、道路区間と関連付けられる画像に対応する道路情報は、区間の道路幅に対して１パラメータに削減されてもよい。また、道路区間が十分に平坦である場合、車線分離帯は、区間に対して少なくとも終点及び形状点を含む１組のパラメータにより示されてもよい。車線分離帯を示す線は多項式の係数により格納されてもよい。あるいは、規則的に位置付けられた車線の集合の場合、車線情報は、幅及び中央線からの偏りにおいて具体化されてもよい。
【０１０５】
本発明の上述の詳細な説明は、例示及び説明のために与えられた。これは、全ての実施形態を含むこと又は本発明を開示される形態に限定することを意図せず、上記の教示を鑑みて多くの変更及び変形が可能であることは明らかである。例えば、垂直最大フィルタで水平最大フィルタを変更し且つ水平最小フィルタで垂直最小フィルタを変更する場合、道路の方向に対して垂直な線に対応する道路標示の道路情報が作成される。
【０１０６】
また、最小フィルタ及び最大フィルタは、端部検出フィルタ、画像クラスタ化フィルタ、統計フィルタ等の任意の他の種類の非対称フィルタに交換されてもよい。推定される道路の方向に基づく変換により変換画像が提供され、検出される特徴は周知の方向、すなわち車線分離帯に対して垂直な方向を有する。これにより、１つの方向、すなわち画素の列の画素の行に沿って画像をフィルタリングすることにのみ効果的なフィルタを使用できる。これは、任意の方向を有する画像中の特徴を検出できる対称フィルタとは異なる。従って、変換画像４６において検出される特徴の方向に基づくフィルタマスクを有する任意のフィルタ又はフィルタの組合せは、本発明に係る方法で使用される。認識される画像中の特徴の方向により、特徴の方向が画像で認識されていない場合に使用される必要があるフィルタと比較して複雑ではないフィルタを使用できる。
【０１０７】
説明された実施形態は、本発明の原理及びその実際の用途を最適に説明し、それによって他の当業者が種々の実施形態において、考えられる特定の使用に適した種々の変更を用いて本発明を最適に利用できるようにするために選択された。本発明の範囲は、添付の請求の範囲により特定されることが意図される。
【特許請求の範囲】
【請求項１】
地図データベースで使用するために車線情報を作成する方法であって、
道路の路面の少なくとも１つのソース画像、並びに、関連する位置及び方向データを取得する工程であって、前記道路は方向及び前記道路の方向に対して平行な車線標示を有する工程と、
前記道路の前記方向を示す道路情報を取得する工程と、
前記道路情報に依って、変換画像を取得するために前記少なくとも１つのソース画像を変換する工程であり、前記変換画像の画素の各列は前記道路の前記方向に対して平行な面に対応していることを特徴とする工程と、
フィルタ画像を取得するために非対称マスクを含むフィルタを前記変換画像上に適用する工程と、
前記少なくとも１つのソース画像と関連付けられる前記位置及び方向データに依って、前記フィルタ画像から車線情報を作成する工程と
を備えることを特徴とする方法。
【請求項２】
前記道路情報は、地図データベースから取得されることを特徴とする請求項１に記載の方法。
【請求項３】
前記道路情報は、前記道路上を走行する移動車両に取り付けられた位置決め判定手段により作成される軌道情報から取得されることを特徴とする請求項１に記載の方法。
【請求項４】
前記少なくとも１つのソース画像は、空中画像又は衛星画像であることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記画像は、オルソ補正画像であることを特徴とする請求項４に記載の方法。
【請求項６】
前記少なくとも１つのソース画像は、
前記道路上を走行する移動車両上に取り付けられた少なくとも１つの地上カメラ並びに関連する位置及び方向データを用いて取得される少なくとも１つの画像シーケンスを検索することと、
少なくとも１つの画像、並びに、前記少なくとも１つの画像と関連付けられる位置及び方向データを取得するために、前記少なくとも１つの画像シーケンス上で標準化処理を実行することとにより取得されることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項７】
前記少なくとも１つのカメラは、前記移動車両の走行方向に沿う撮像軸を有する少なくとも１つのカメラを含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記少なくとも１つのカメラは、前記移動車両の走行方向に対して傾斜した撮像軸を有する少なくとも１つのカメラを含むことを特徴とする請求項６又は７に記載の方法。
【請求項９】
前記少なくとも１つのカメラは、前記移動車両の前記走行方向に対して垂直な撮像軸を有する少なくとも１つのカメラを含むことを特徴とする請求項６乃至８のいずれか１項に記載の方法。
【請求項１０】
前記標準化処理は、オルソ補正画像を生成することを特徴とする請求項６乃至９のいずれか１項に記載の方法。
【請求項１１】
前記少なくとも１つの画像シーケンスの前記軌道情報並びに前記関連する位置及び方向情報は、前記移動車両に取り付けられた位置決め判定手段により作成される出力信号から同時に取り込まれていることを特徴とする請求項３に従属する請求項６乃至１０のいずれか１項に記載の方法。
【請求項１２】
前記変換する工程は、回転操作を含むことを特徴とする請求項１乃至１１のいずれか１項に記載の方法。
【請求項１３】
前記非対称マスクを含むフィルタを適用する工程は、
第１に、車両の走行方向に対して垂直な方向に車線の幅を拡張する構造化要素を有する第１のフィルタを前記変換画像上に適用し、第２に、前記車両の前記走行方向に対して平行な方向に車線の長さを短縮する構造化要素を有する第２のフィルタを適用する工程を含むことを特徴とする請求項１乃至１２のいずれか１項に記載の方法。
【請求項１４】
前記第１のフィルタは最大フィルタであり、前記第２のフィルタは最小フィルタであることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記非対称マスクを含むフィルタを適用する工程は、
第３に、前記走行方向に対して平行な方向に前記車線の長さを元のサイズに延長する構造化要素を有する第３のフィルタを適用する工程を
更に含むことを特徴とする請求項１３又は１４に記載の方法。
【請求項１６】
前記第３のフィルタは、最大フィルタであることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記車線情報を作成する工程は、
前記フィルタ画像において実線を探索する工程と、
前記少なくとも１つのソース画像と関連付けられる前記位置及び方向データに依って、前記実線の位置を算出する工程と
を含むことを特徴とする請求項１乃至１６のいずれか１項に記載の方法。
【請求項１８】
前記車線情報を作成する工程は、
前記フィルタ画像において矩形を探索する工程と、
前記少なくとも１つのソース画像と関連付けられる前記位置及び方向データに依って、前記矩形の位置を算出する工程と
を含むことを特徴とする請求項１乃至１６のいずれか１項に記載の方法。
【請求項１９】
前記車線情報を作成する工程は、
前記フィルタ画像において少なくとも２つの平行な実線又は破線を探索する工程と、
前記少なくとも１つのソース画像と関連付けられる前記位置及び方向データに依って、前記少なくとも２つの実線又は破線の位置から前記車線の幅を算出する工程と
を含むことを特徴とする請求項１乃至１６のいずれか１項に記載の方法。
【請求項２０】
前記車線情報を作成する工程は、
前記フィルタ画像において少なくとも２つの平行な実線又は破線を探索する工程と、
前記少なくとも２つの実線又は破線から前記車線の数を算出する工程と
を含むことを特徴とする請求項１乃至１７のいずれか１項に記載の方法。
【請求項２１】
請求項１乃至２０のいずれか１項に記載の方法を実行する装置であって、
入力装置と、
プロセッサが読取可能な記憶媒体と、
前記入力装置及び前記プロセッサが読取可能な記憶媒体と通信するプロセッサと、
表示部との接続を可能にする出力装置とを備え、
前記プロセッサが読取可能な媒体は、前記プロセッサが、
少なくとも１つのソース画像、並びに関連する位置及び方向データを取得する動作と、
道路の方向に対して平行な車線標示を有する前記道路上を走行する車両の軌道情報を取得する動作と、
前記軌道情報に依って、変換画像を取得するために前記少なくとも１つのソース画像を変換する動作であって、前記変換画像は前記車両の前の路面を示し且つ画素の各列が前記車両の走行方向に対して平行な面に対応することを特徴とする動作と、
フィルタ画像を取得するために、非対称マスクを含むフィルタを前記変換画像上に適用する動作と、
前記少なくとも１つのソース画像と関連付けられる前記位置及び方向データに依って、前記フィルタ画像から車線情報を作成する動作とを含む方法を実行するようにプログラムするコードを格納することを特徴とする装置。
【請求項２２】
コンピュータ構成上にロードされる場合、前記コンピュータ構成が請求項１乃至２０のいずれか１項に記載の方法を実行できるようにする命令を含むコンピュータプログラム。
【請求項２３】
コンピュータ構成上にロードされる場合、前記コンピュータ構成が請求項１乃至２０のいずれか１項に記載の方法を実行できるようにするコンピュータプログラムを保持するプロセッサが読取可能な媒体。
【請求項１】
地図データベースで使用するために車線情報を作成する方法であって、
道路の路面の少なくとも１つのソース画像、並びに、関連する位置及び方向データを取得する工程であって、前記道路は方向及び前記道路の方向に対して平行な車線標示を有する工程と、
前記道路の前記方向を示す道路情報を取得する工程と、
前記道路情報に依って、変換画像を取得するために前記少なくとも１つのソース画像を変換する工程であり、前記変換画像の画素の各列は前記道路の前記方向に対して平行な面に対応していることを特徴とする工程と、
フィルタ画像を取得するために非対称マスクを含むフィルタを前記変換画像上に適用する工程と、
前記少なくとも１つのソース画像と関連付けられる前記位置及び方向データに依って、前記フィルタ画像から車線情報を作成する工程と
を備えることを特徴とする方法。
【請求項２】
前記道路情報は、地図データベースから取得されることを特徴とする請求項１に記載の方法。
【請求項３】
前記道路情報は、前記道路上を走行する移動車両に取り付けられた位置決め判定手段により作成される軌道情報から取得されることを特徴とする請求項１に記載の方法。
【請求項４】
前記少なくとも１つのソース画像は、空中画像又は衛星画像であることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記画像は、オルソ補正画像であることを特徴とする請求項４に記載の方法。
【請求項６】
前記少なくとも１つのソース画像は、
前記道路上を走行する移動車両上に取り付けられた少なくとも１つの地上カメラ並びに関連する位置及び方向データを用いて取得される少なくとも１つの画像シーケンスを検索することと、
少なくとも１つの画像、並びに、前記少なくとも１つの画像と関連付けられる位置及び方向データを取得するために、前記少なくとも１つの画像シーケンス上で標準化処理を実行することとにより取得されることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項７】
前記少なくとも１つのカメラは、前記移動車両の走行方向に沿う撮像軸を有する少なくとも１つのカメラを含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記少なくとも１つのカメラは、前記移動車両の走行方向に対して傾斜した撮像軸を有する少なくとも１つのカメラを含むことを特徴とする請求項６又は７に記載の方法。
【請求項９】
前記少なくとも１つのカメラは、前記移動車両の前記走行方向に対して垂直な撮像軸を有する少なくとも１つのカメラを含むことを特徴とする請求項６乃至８のいずれか１項に記載の方法。
【請求項１０】
前記標準化処理は、オルソ補正画像を生成することを特徴とする請求項６乃至９のいずれか１項に記載の方法。
【請求項１１】
前記少なくとも１つの画像シーケンスの前記軌道情報並びに前記関連する位置及び方向情報は、前記移動車両に取り付けられた位置決め判定手段により作成される出力信号から同時に取り込まれていることを特徴とする請求項３に従属する請求項６乃至１０のいずれか１項に記載の方法。
【請求項１２】
前記変換する工程は、回転操作を含むことを特徴とする請求項１乃至１１のいずれか１項に記載の方法。
【請求項１３】
前記非対称マスクを含むフィルタを適用する工程は、
第１に、車両の走行方向に対して垂直な方向に車線の幅を拡張する構造化要素を有する第１のフィルタを前記変換画像上に適用し、第２に、前記車両の前記走行方向に対して平行な方向に車線の長さを短縮する構造化要素を有する第２のフィルタを適用する工程を含むことを特徴とする請求項１乃至１２のいずれか１項に記載の方法。
【請求項１４】
前記第１のフィルタは最大フィルタであり、前記第２のフィルタは最小フィルタであることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記非対称マスクを含むフィルタを適用する工程は、
第３に、前記走行方向に対して平行な方向に前記車線の長さを元のサイズに延長する構造化要素を有する第３のフィルタを適用する工程を
更に含むことを特徴とする請求項１３又は１４に記載の方法。
【請求項１６】
前記第３のフィルタは、最大フィルタであることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記車線情報を作成する工程は、
前記フィルタ画像において実線を探索する工程と、
前記少なくとも１つのソース画像と関連付けられる前記位置及び方向データに依って、前記実線の位置を算出する工程と
を含むことを特徴とする請求項１乃至１６のいずれか１項に記載の方法。
【請求項１８】
前記車線情報を作成する工程は、
前記フィルタ画像において矩形を探索する工程と、
前記少なくとも１つのソース画像と関連付けられる前記位置及び方向データに依って、前記矩形の位置を算出する工程と
を含むことを特徴とする請求項１乃至１６のいずれか１項に記載の方法。
【請求項１９】
前記車線情報を作成する工程は、
前記フィルタ画像において少なくとも２つの平行な実線又は破線を探索する工程と、
前記少なくとも１つのソース画像と関連付けられる前記位置及び方向データに依って、前記少なくとも２つの実線又は破線の位置から前記車線の幅を算出する工程と
を含むことを特徴とする請求項１乃至１６のいずれか１項に記載の方法。
【請求項２０】
前記車線情報を作成する工程は、
前記フィルタ画像において少なくとも２つの平行な実線又は破線を探索する工程と、
前記少なくとも２つの実線又は破線から前記車線の数を算出する工程と
を含むことを特徴とする請求項１乃至１７のいずれか１項に記載の方法。
【請求項２１】
請求項１乃至２０のいずれか１項に記載の方法を実行する装置であって、
入力装置と、
プロセッサが読取可能な記憶媒体と、
前記入力装置及び前記プロセッサが読取可能な記憶媒体と通信するプロセッサと、
表示部との接続を可能にする出力装置とを備え、
前記プロセッサが読取可能な媒体は、前記プロセッサが、
少なくとも１つのソース画像、並びに関連する位置及び方向データを取得する動作と、
道路の方向に対して平行な車線標示を有する前記道路上を走行する車両の軌道情報を取得する動作と、
前記軌道情報に依って、変換画像を取得するために前記少なくとも１つのソース画像を変換する動作であって、前記変換画像は前記車両の前の路面を示し且つ画素の各列が前記車両の走行方向に対して平行な面に対応することを特徴とする動作と、
フィルタ画像を取得するために、非対称マスクを含むフィルタを前記変換画像上に適用する動作と、
前記少なくとも１つのソース画像と関連付けられる前記位置及び方向データに依って、前記フィルタ画像から車線情報を作成する動作とを含む方法を実行するようにプログラムするコードを格納することを特徴とする装置。
【請求項２２】
コンピュータ構成上にロードされる場合、前記コンピュータ構成が請求項１乃至２０のいずれか１項に記載の方法を実行できるようにする命令を含むコンピュータプログラム。
【請求項２３】
コンピュータ構成上にロードされる場合、前記コンピュータ構成が請求項１乃至２０のいずれか１項に記載の方法を実行できるようにするコンピュータプログラムを保持するプロセッサが読取可能な媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図７】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図７】
【図１０】
【図１１】
【公表番号】特表２０１１−５０４２４８（Ｐ２０１１−５０４２４８Ａ）
【公表日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２０１０−５３３９７８（Ｐ２０１０−５３３９７８）
【出願日】平成１９年１１月１６日（２００７．１１．１６）
【国際出願番号】ＰＣＴ／ＮＬ２００７／０５０５６９
【国際公開番号】ＷＯ２００９／０６４１７２
【国際公開日】平成２１年５月２２日（２００９．５．２２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
２．ＵＮＩＸ
３．Ｌｉｎｕｘ
４．ＷＩＮＤＯＷＳ
【出願人】（５０９０９７５６３）テレ アトラス ベスローテン フエンノートシャップ (23)
【氏名又は名称原語表記】Ｔｅｌｅ Ａｔｌａｓ Ｂ．Ｖ．
【Ｆターム（参考）】
【公表日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成１９年１１月１６日（２００７．１１．１６）
【国際出願番号】ＰＣＴ／ＮＬ２００７／０５０５６９
【国際公開番号】ＷＯ２００９／０６４１７２
【国際公開日】平成２１年５月２２日（２００９．５．２２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
２．ＵＮＩＸ
３．Ｌｉｎｕｘ
４．ＷＩＮＤＯＷＳ
【出願人】（５０９０９７５６３）テレ アトラス ベスローテン フエンノートシャップ (23)
【氏名又は名称原語表記】Ｔｅｌｅ Ａｔｌａｓ Ｂ．Ｖ．
【Ｆターム（参考）】
[ Back to top ]