路面標示地図生成方法及び路面標示地図生成装置
【課題】 道路を走行しながら路面を撮影した画像から、路面標示を含む路面標示地図を生成する。
【解決手段】 道路を走行しながら路面をビデオカメラで撮影するとともに、各撮影地点の位置座標をＧＰＳ等で取得する。コンピュータは、この動画の各フレーム画像を変換して真上から見た状態の正射画像を生成し、撮影地点の位置座標に基づいて走行したパス上に配置することで、連結画像を生成する。次に、位置の異なる複数パス分の連結画像ＰＩＣ５４，ＰＩＣ５５内に共通して写されている対応点Ｐ５３〜Ｐ５６を画像処理によって自動的に特定する。そして、画像撮影時の位置精度が低い側のパスの対応点を、位置精度が高い側のパスの対応点に一致するように、連結画像を構成する各正射画像の配置を平行移動する。
【解決手段】 道路を走行しながら路面をビデオカメラで撮影するとともに、各撮影地点の位置座標をＧＰＳ等で取得する。コンピュータは、この動画の各フレーム画像を変換して真上から見た状態の正射画像を生成し、撮影地点の位置座標に基づいて走行したパス上に配置することで、連結画像を生成する。次に、位置の異なる複数パス分の連結画像ＰＩＣ５４，ＰＩＣ５５内に共通して写されている対応点Ｐ５３〜Ｐ５６を画像処理によって自動的に特定する。そして、画像撮影時の位置精度が低い側のパスの対応点を、位置精度が高い側のパスの対応点に一致するように、連結画像を構成する各正射画像の配置を平行移動する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路面に施された標示が含まれる路面標示地図を生成する技術に関する。
【背景技術】
【０００２】
カーナビゲーションなどで使用される電子地図データには、多様な機能を実現するため、種々の詳細なデータが要求されている。その一つとして、横断歩道や中央線、車線境界線などの路面に描かれる標示が挙げられる。これらの標示を予め画像として取得しておくことにより、ユーザに対して実際の路面に近い画像を提供することができ、直感的に理解しやすい案内を実現することが可能となる。
【０００３】
標示を含む路面の画像を効率的に生成するための技術として特許文献１、特許文献２などが挙げられる。
特許文献１は、車両の前後又は側方に対してデジタルカメラ等により取得された画像から、路面の標示を含む静止画像を生成する技術を開示している。この技術では、目的の道路を車両で走行しながら、その車両に搭載されたデジタルカメラで路面の標示等を撮影する。そして、動画を構成する各フレーム画像を真上から見た状態の正射画像に変換し、撮影位置に応じて配列する。正射画像とは、道路の垂直上方の無限遠点に視点を置いた場合の道路画像をいう。複数のフレーム画像を配列することによって、１回の走行の軌跡に沿った道路面の合成画像を得ることができる。
【０００４】
特許文献２は、２つの走行レーンを走行して撮影することにより得られた画像を合成して幅広の道路画像を合成する技術を開示している。この技術では、まず一つの走行レーンの画像に対して、道路の車線境界線など、本来、直線的に描かれているものが直線として表示されるようにアフィン変換をかける。そして、２つの走行レーンで共通して撮影されている車線境界線などの座標が一致するように、一方の走行レーンの画像をアフィン変換する。また、同様の方法によって、走行レーンごとに画像をアフィン変換しながら合成することによって３以上の走行レーンの画像を合成する技術も開示している。
【０００５】
また、標示を含む路面の画像を生成する技術とは異なるが、複数の画像の合成技術として特許文献３が挙げられる。特許文献３は、空中から地上を撮影したビデオ映像から広域写真地図を作成するための技術を開示している。この技術では、複数の画像に共通して存在する被写体上の特徴点を抽出し、この特徴点の移動量を求める。そして、撮影時の位置・姿勢情報に応じた変換をかけた上でこれらの画像を合成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２４９１０３号公報
【特許文献２】特許第３８２０４２８号公報
【特許文献３】特開２００６−１９５５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
地図データには、経路探索用に道路をノード、リンクで表した道路ネットワーク、および地図を表示するために道路をポリゴンで表したデータなどがある。道路ネットワークでは、道路を１本又は２本のリンクで代表させているため、リンクに付された座標は、道路のいずれの部分を表しているか厳密には分からない。描画データでは、道路を表すポリゴンの外周の位置座標は分かるものの、道路内部の地点についての位置座標は分からない。
例えば、道路内部の各地点の位置座標が詳細に得られている地図データが存在すれば、車両の現在位置に応じて、車両が道路のどの車線を走行しているかを判断して、車線変更の案内を行うことや、車両に横断歩道が接近していることを警告するなどの高機能な案内を実現することが可能となる。
しかし、従来の地図データは、これらの高精度、高機能な案内を実現するためには不十分な精度しか有していなかった。仮に車両の現在位置を精度良く把握したとしても、その位置情報を活かすだけの詳細な地図データが用意されていたとはいえなかった。
【０００８】
路面の標示は道路上の位置座標を豊富にするための目的物として適している。例えば、横断歩道や車線境界線の位置座標が得られていれば、上述した高機能な案内の実現に資することができる。
しかし、上述した従来技術は、いずれも道路面の合成画像を得ることを主目的としており、路面の標示の位置座標を得ることを目的としてはいなかった。
例えば、特許文献２の技術は、道路が直線か曲線かにかかわらず車両の進行方向をＸ軸とし、その移動距離をＸ座標として画像を表しているに過ぎず、このＸ軸に直交する方向にのみ画像をアフィン変換するに過ぎない。複数の走行レーンの画像について、このように定められたＸ座標が十分に一致しているという保証はないから、特許文献２の技術では路面の標示の位置座標を精度良く得ることはできない。
【０００９】
また、アフィン変換は、原画像の長方形領域を平行四辺形に歪ませる作用を持つ変換ともいえるから、特許文献２の技術では、アフィン変換によって画像の合成を行うことにより画質の劣化を招き、路面の標示の位置座標を一層低下させるという課題もある。
一方、特許文献１記載の技術は、一本の移動軌跡について得られている画像に対する処理を開示しているのみであり、１回の撮影幅は１車線分程度に限られているから、幅広の道路では、道路全体を十分にカバーすることができない。
【００１０】
本発明は、これらの課題を解決し、複数の生成対象道路のルートに対応するパスに沿って配置される画像を、高い位置精度で合成することによって、路面の標示が含まれる地図を生成することを目的とする。また、この合成をする際の処理負荷の軽減を図ることを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、道路面に施された標示が含まれる路面標示地図をコンピュータによって生成する路面標示地図生成方法として構成することができる。
本発明では、まず、コンピュータは、標示が施された道路面の連続画像の画像データ、およびこの画像データの撮影位置を表す位置座標データを入力する。連続画像の画像データおよび位置座標データは、路面標示地図の生成対象となる道路面と、生成対象外であるその他の道路面とを混在して撮影してあるものとする。
次に、コンピュータは、生成対象となる道路面に対応する領域を包含する切出用ポリゴンを入力又は生成して、記憶部に記憶する。この記憶部は、例えば、コンピュータに内蔵されているハードディスク等である。切出用ポリゴンは、オペレータによって指定されたものを入力してもよいし、コンピュータにより自動生成してもよい。
そして、コンピュータは、位置座標データが切出用ポリゴンの領域内に存在する画像データを抽出して、連続するフレーム画像として前記記憶部に記憶する。この記憶部は、上述の切出用ポリゴンを記憶した記憶部と物理的に異なるものであってもよい。
【００１２】
一般に、道路を走行して路面表示地図を生成するための撮影を行う場合、生成対象となる道路のみを連続して走行できるとは限らない。例えば、生成対象の道路を走行していても、途中に工事箇所や障害物などがあり、迂回する必要が生じることもある。また、駐停車する場所がない道路では、道路脇の駐車場や、別の道路で撮影準備をしてから、生成対象となる道路に進入することになり、対象道路とは無関係の位置から撮影が開始されることもある。路面標示地図を生成する場合には、このように生成対象である道路面と、生成対象外であるその他の道路面とが混在して撮影されている連続画像から、生成対象の道路面に関するものだけを抽出する必要がある。
上述の方法によれば、生成対象外の画像データが排除されて、位置座標データが切出用ポリゴンの領域内に存在する画像データ等を自動的に抽出することができる。そのため、撮影者が道路を走行する際の自由度が増し、撮影時の負荷が軽減される。また、生成対象となる道路の画像データを抽出する際のオペレータの負荷も軽減される。
【００１３】
また、抽出された画像データおよび位置座標データのうち、連続したフレーム画像をまとめて記憶する点でも負担軽減を図ることができる。例えば、生成対象となる道路に進入して撮影を行った後、生成対象外である他の道路に迂回して、再度、生成対象となる道路に進入した場合、最初の進入時に得られた一連のフレーム画像と、迂回後の進入時に得られた一連のフレーム画像とをまとめて関連づける。
上述の画像データは、例えば、車両などの移動体に搭載した撮影装置によって撮影することができる。撮影装置としては、例えば、ディジタル・ビデオ・カメラなどを用いることができる。また、撮影装置には、撮影時の位置座標データを取得する位置計測装置を搭載しておくことが好ましい。位置計測装置は、例えば、ＧＰＳ（Global Positioning System）や、ジャイロなどの慣性航法装置などを単独又は組み合わせて用いることができる。また、処理の便宜上、撮影した画像と位置座標データとを入力し、両者を同期させて記録する記録装置を用意しておくことが好ましい。
【００１４】
コンピュータは、連続するフレーム画像を変換して、道路面を真上から見た状態の正射画像を得る。正射画像は、各フレーム画像の一部を利用して生成してもよい。
そして、こうして得られた正射画像を位置座標データに基づいて道路面を表す連結画像を生成する。この際、正射画像の一部が重なってもよい。正射画像は、例えば、その中心線が後述するパスの進行方向に沿う状態で配置することが好ましい。
次に、コンピュータは、連続するフレーム画像に対応する位置座標データの点列を接続したラインをパスとして定義する。「パス」は、路面標示地図を生成する対象となっている道路において、任意の始点から任意の終点までを連結した架空のラインと表現することもできる。なお、実施例においては、実際に走行した道路の走行軌跡についても便宜的に「パス」と表現している場合もある。
こうすることで連結画像がパスの本数分だけ得られる。なお、それぞれ位置座標に誤差が含まれるため、複数本の連結画像は、誤差に応じて、ずれた状態で表示される。撮影対象が複数車線の道路である場合、車線ごとに移動して撮影してもよいし、いずれかの車線上を複数回移動して撮影してもよい。
【００１５】
次に、コンピュータは、複数のパスのうち、２本以上のパス上に配置された正射画像に共通して撮影されている領域内で対応する対応点を、各連結画像の所定の特徴点を抽出する画像処理に基づいて特定する。例えば、２本のパスにおける連結画像に横断歩道が共通に撮影されている場合には、それぞれの連結画像において画像処理によって、横断歩道の縞模様のいずれかの角を特徴点として抽出する。そして、これらの特徴点のうち対応するものを対応点とする。対応点として使用する特徴点は、横断歩道に限らず、画像処理によって抽出された特徴点から任意に選択可能である。また、標示と無関係に特定するようにしてもよい。上述の処理によって特定された対応点同士のずれは、位置座標の誤差を表すことになる。
【００１６】
コンピュータは、対応点の位置が一致するように、パス上に配置された連結画像を補正することで、複数のパスにまたがる道路面の合成画像を生成する。
この補正は、例えば移動ベクトルに基づいて行う。具体的には、連結画像を構成する領域ごとに平行移動することによって行う。この領域は、一旦、生成された連結画像を元の正射画像に相当するサイズ又は別の任意に設定されたサイズに分割したものでもよい。また、連結画像を生成する際に、正射画像を合成せずに配置するだけに留めておく場合には、正射画像ごとに位置を修正するようにしてもよい。
本発明の路面標示地図生成方法によれば、撮影時の位置座標データに基づいて各パスの路面を表す連結画像を生成することができるため、位置精度が確保された状態で連結画像を得ることができる。そして、複数のパスに存在する対応点が一致するように修正することによって、パス間の位置の誤差を解消することができる。
【００１７】
また、各パスの合成は、連結画像を領域ごとに平行移動することによって行うため、各領域の正射画像に歪みを加えることなく位置を修正することができる。従って、この修正時には路面の標示は、各領域の正射画像内での相対的な位置精度を保持しておくことができる。
更に、各パスの合成に使用する対応点は、コンピュータが画像処理によって抽出した特徴点に基づき設定することができる。このため、オペレータが逐一、対応点を指定する必要がなく、軽い処理負荷で合成を行うことができる。もっとも、対応点の特定は、完全に自動化する必要はなく、コンピュータが特定した対応点に対し、オペレータが一部を修正、削除したり、他の対応点を追加したりできるようにしてもよい。
以上の作用によって、本発明によれば、撮影時の位置精度を確保した状態で、路面の標示を含む合成画像を得ることができる。従って、この合成画像を用いることにより、路面の標示を含む路面標示地図を生成することが可能となる。ここで、路面標示地図は、この合成画像を用いた印刷物として生成してもよいし、合成画像に基づき路面標示の位置座標を取得して、電子化することにより、電子地図として生成してもよい。
【００１８】
切出用ポリゴンは、生成対象となる道路面に対応する、道路ネットワークデータを構成するリンク列に基づいて生成するようにしてもよい。
このように自動生成することにより、次に示すように、切出用ポリゴンを入力するオペレータの負担をより軽減することができるとともに、切出処理を安定的に実行することができる利点がある。なぜなら、切出処理の精度は、切出用ポリゴンの形状に依存する。例えば、切出用ポリゴンが生成対象となる道路面の領域を包含できていない場合、この欠けている部分では、本来、抽出されるべきデータが抽出されずに欠落してしまう。また、切出用ポリゴンが生成対象となる道路面よりも過大な場合には、生成対象となる道路と無関係の道路面についてのデータが誤って抽出されてしまう。上述の方法で切出用ポリゴンを自動生成すれば、オペレータの負担を軽減するだけでなく、これらの誤りを回避できるため、切出処理の安定化を図ることができる。
【００１９】
リンク列からの切出用ポリゴンの生成は種々の方法で行うことができる。例えば、まず、リンク列を構成する各リンクを対称軸とする矩形状の矩形ポリゴンを生成する。この状態では、それぞれのリンクに対応した矩形ポリゴン同士を重ねたときに、接続点に接続される２つのリンクがなす角における鈍角側に凹部ができることがある。従って、この凹部を埋めて凸形状化する補助ポリゴンを生成する。そして、矩形ポリゴンと補助ポリゴンとを合成して、切出用ポリゴンを生成する。
かかる方法では、補助ポリゴンによって凹部を埋めるため、道路面に沿う形状で、道路面を包含する切出用ポリゴンを生成することができる。
【００２０】
本発明において、連結画像から特徴点を抽出し、複数のパスの連結画像の対応点を特定する際、パスの位置精度が低い場合には、無関係の点を対応点としてしまうことも起き得る。例えば、各連結画像から車線境界線の角を特徴点として抽出した場合を考える。この場合は、複数の連結画像間で近くにある特徴点について、同じ車線境界線を表す点であると認識し、対応点として特定することになる。しかし、車線境界線は各車線に描かれているため、パスの位置精度が１車線に相当する程にずれていると、本来は対応していない隣車線の車線境界線を対応点として特定してしまうおそれがある。
【００２１】
こうした弊害を回避するため、本発明では、対応点の特定に先立って、次の処理を含めてもよい。
まず、各パスに対応する連結画像の解析に基づいて撮影位置を求める。このように画像解析によって得られた撮影位置に基づき、撮影時に取得された位置座標データの位置精度の評価を行う。そして、所定の位置精度以下となる連結画像の位置座標データについては、解析によって得られた撮影位置に基づいて修正する。こうすることにより連結画像の位置精度を確保することができるから、対応点が誤って特定される可能性を抑制できる。
【００２２】
連結画像の解析に基づいて撮影位置を求める方法としては、例えば、次の方法をとることができる。
まず、各パスに共通して含まれる道路との位置関係が固定された所定の地物を撮影したフレーム画像を抽出する。そして、各パスについて、抽出されたフレーム画像内での地物の２次元座標値と、撮影時の画角および撮影方向を含む撮影パラメータとに基づいて、地物と撮影位置との相対的な位置関係を求める。そして、各パスについて得られた位置関係を用いればパス間の距離を算出することができる。
一方、道路の撮影時に得られた位置座標データに基づいて、各パス間の距離を求めることもできる。
位置座標データが十分な位置精度であれば画像解析から得られたパス間の距離と、位置座標データから得られたパス間の距離は、概ね一致するはずである。従って、両者の比較によって位置座標データの位置精度を評価することができる。この結果、所定の位置精度に満たないと評価されたパスについては、画像解析から得られた位置関係に基づいて、位置座標を修正する。
ここでは、フレーム画像の解析から撮影位置を求める方法を採ったが、例えば、各パスの連結画像を用いて固定の地物と各パスの位置関係を求め、パス間の距離を算出するようにしてもよい。
【００２３】
上述の固定の地物としては、例えば、信号機を用いることができる。信号機は発光体であるため、天候等の撮影条件に左右されずに比較的安定した色で撮影される。従って、色に着目することによって、フレーム画像から比較的容易かつ精度よく抽出することが可能だからである。また、信号機は比較的単純な外形をしているため、パターンマッチングにも適しており、画像データから相対的な位置関係を算出しやすいという利点もある。
なお、信号機を固定の地物として用いる場合には、位置関係の算出には、フレーム画像を用いることが好ましい。連結画像のように真上から見た状態の画像では、信号機を明瞭に認識することは困難だからである。
【００２４】
本発明では、各パスの連結画像の特徴点を抽出することによって対応点を特定する。この特徴点の抽出は、いわゆる純粋の画像処理によって、例えば、明度、色相などが周囲と急激に変化する点などを抽出する方法を採ることができる。
また、本発明では、道路面を撮影した画像を対象としているため、各パスの連結画像に含まれる路面に描かれた標示の種別および位置を認識し、複数のパス間で、認識された同一種別の標示の特徴点に基づいて対応点を特定してもよい。
こうすることにより、簡易かつ精度良く特徴点を抽出することが可能となる。
【００２５】
標示の認識には、例えば、次の方法で、パターンマッチングを用いることができる。
まず、二次元平面において予め設定された方向に、パス上の基準点からの距離を表す直線状の距離軸を定義する。この距離軸は、パターンマッチング用に用意されたパターンを配置するのに適した方向に定義する。そして、パスに沿った基準点からの距離に基づいて、フレーム画像を真上から見た状態に変換して得られた正射画像を距離軸上に配置することにより、各パスの路面を表す直線状の連結画像を生成する。こうして得られた連結画像に基づいて、路面に描かれた標示の種別および位置を認識する。こうすることにより、パターンマッチングの精度を向上させることができる。
【００２６】
標示の認識結果に基づいて特徴点を抽出した後は、それぞれのパスから予め設定されている距離を越える点を除いて対応点を特定することが好ましい。対応点とは、パスを平行移動して複数パスにまたがる道路面の合成画像を生成する際の基準となる点である。上述の方法によれば、対応点を、パスから上記距離内にある比較的近傍の点に限定することができ、平行移動における位置合わせの精度向上を図ることができる。距離は合成画像に要求される位置精度に応じて、任意に設定可能である。例えば、道路の１車線分の幅などを用いることができる。
【００２７】
また、特定された対応点については、更に次の方法による取捨選択を行ってもよい。
まず、特定された対応点のうち、パスごとに、そのパスから予め設定されている距離内にある対応点の集合を求める。つまり、多数得られた対応点のうち、第１のパスに対して比較的近傍（上記距離内）にある対応点のみを選択し、これを第１のパスに対するグループとして関連づける。また、第２のパスに対しても同様に、第２のパスの比較的近傍にある対応点のみでグループを形成する。なお、この距離についても任意に設定可能である。
【００２８】
次に、各パスの集合に含まれる対応点の数が最多の集合を選択する。上述の第１のパスおよび第２のパスに関連づけたグループに含まれる対応点の数を比較し、いずれか多い側のグループを選択する。そして、合成画像の生成には、この選択された集合に含まれる対応点を用いる。
こうすることにより、第１のパス又は第２のパスに近い対応点のみを用いて合成画像が生成されることになる。こうすることによって、パスの平行移動の精度を、パスに沿ってほぼ均一に保つことができ、違和感のない合成画像を生成することが可能となる。
仮に、かかる取捨選択を行わずに合成画像を生成すると、第１のパスの近傍にある対応点と、そうでない対応点とが混在した状態で平行移動がなされるため、その精度がパスに沿ってまちまちとなり、平行移動後は、パスの形状がいびつに歪んでしまうなど、違和感のある合成画像となる場合がある。
【００２９】
特定された対応点については、更に、次の取捨選択を行ってもよい。
フレーム画像の撮影位置はパスに沿って連続的に位置する訳ではなく間欠的に配置されている。このように配置される撮影位置のうち、ＣＰＵは、各パスに対して、抽出された各対応点の直前直後に位置する撮影位置を求め、これらの撮影位置を包含するポリゴンを求める。第１の対応点を第１および第２のパスに投影し、それぞれのパスについて、その直前直後の撮影位置（合計４点）を求め、第２の対応点についても同様にして撮影位置を求める。そして、これらの８点の撮影位置を包含するポリゴンを求める。
対応点ごとに、上述のポリゴンが得られると、次に、このポリゴン同士が重なる箇所では、いずれか一組の対応点を残し、他の対応点を削除する。いずれの対応点を残すかは、任意の方法を採ることができる。例えば、それぞれのパスに対する距離が最短となるものを残してもよいし、パスに沿う方向に前側に位置するもの、又は後ろ側に位置するものを残すようにしてもよい。
【００３０】
上述のポリゴン同士が重なる箇所というのは、対応点同士がパスに双方向に近接して位置することを意味している。従って、かかる箇所で、一組の対応点だけを残すようにすることによって、パスに沿う方向に対応点を適度に間引くことができ、処理速度を向上させることができる。
本発明は、必ずしも上述した特徴を全て備えている必要はなく、適宜、その一部を省略してもよいし、いくつかの特徴を適宜、組み合わせて備えるようにしてもよい。
本発明は、上述の路面標示地図生成方法に限らず、この生成方法によって道路面に施された標示を含む路面標示地図を生成する路面標示地図生成装置として構成してもよい。
また、上述の生成方法をコンピュータに実現させるためのコンピュータプログラムとして構成してもよいし、かかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。記録媒体としては、例えば、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等、コンピュータが読み取り可能な種々の媒体を利用できる。
【発明の効果】
【００３１】
生成対象の道路面と、生成対象外であるその他の道路面とが混在して撮影されている連続画像から、生成対象の道路面に関するものだけを自動的に抽出することができるため、オペレータの負荷を軽減することができる。
【図面の簡単な説明】
【００３２】
【図１】実施例としての道路面撮影システムの構成を示す説明図である。
【図２】実施例としての路面標示地図生成装置の構成を示す説明図である。
【図３】路面標示地図の生成過程における中間データを示す説明図である。
【図４】実施例における道路画像の生成例を示す説明図である。
【図５】位置合わせ加工の概要を示す説明図である。
【図６】交差点が存在する場合の位置合わせの手順を示す説明図である。
【図７】連結画像生成処理のフローチャートである。
【図８】位置合わせ加工のフローチャートである。
【図９】基準パス設定処理のフローチャートである。
【図１０】連結画像移動処理のフローチャートである。
【図１１】位置合わせ加工の処理例（１）を示す説明図である。
【図１２】位置合わせ加工の処理例（２）を示す説明図である。
【図１３】位置合わせ加工の処理（２）の加工結果を示す説明図である。
【図１４】路面標示の絶対位置座標の取得方法を示す説明図である。
【図１５】透明化ポリゴン設定処理の概要を示す説明図である。
【図１６】透明化ポリゴン設定処理のフローチャートである。
【図１７】透明化ポリゴンを設定する前の道路画像例を示す説明図である。
【図１８】透明化ポリゴンの設定後の道路画像例を示す説明図である。
【図１９】自動位置合わせ処理のフローチャートである。
【図２０】画像前処理のフローチャートである。
【図２１】ギザギザ除去処理の処理例を示す説明図である。
【図２２】エッジ太らせ処理の処理例を示す説明図である。
【図２３】面領域の除去例を示す説明図である。
【図２４】処理領域設定の様子を模式的に示す説明図である。
【図２５】処理領域の設定例を示す説明図である。
【図２６】対応点フィルタリング処理を示す説明図である。
【図２７】対応点フィルタリング処理のフローチャートである。
【図２８】図２８は道路面撮影時の走行経路を例示する説明図である。
【図２９】フレームデータ切出処理のフローチャートである。
【図３０】補助ポリゴンの生成方法を示す説明図である。
【図３１】ポリゴンの合成方法を示す説明図である。
【図３２】切出用ポリゴンの変形例を示す説明図である。
【図３３】フレームデータ選択処理のフローチャートである。
【図３４】ペイント認識処理のフローチャートである。
【図３５】縦配置処理の内容を示す説明図である。
【図３６】相対座標変換処理の内容を示す説明図である。
【図３７】対応点探索処理のフローチャート（１）である。
【図３８】対応点探索処理のフローチャート（２）である。
【図３９】グループ選択の効果を示す説明図である。
【図４０】パスの位置修正の概要を示す説明図である。
【図４１】パスの位置修正処理のフローチャートである。
【図４２】信号機が写ったフレームデータの抽出例を示す説明図である。
【発明を実施するための形態】
【００３３】
本発明の実施例について以下の順序で説明する。
Ａ．システム構成：
Ａ１．道路面撮影システム：
Ａ２．路面標示地図生成装置：
Ｂ．処理概要：
Ｂ１．中間データ構成：
Ｂ２．処理例：
Ｂ３．位置合わせ加工概要：
Ｃ．路面標示地図生成方法：
Ｃ１．連結画像生成処理：
Ｃ２．位置合わせ加工：
Ｃ３．基準パス設定処理：
Ｃ４．連結画像移動処理：
Ｃ５．透明化ポリゴン設定処理：
Ｄ．自動位置合わせ処理：
Ｄ１．画像前処理：
Ｄ２．処理領域設定：
Ｄ３．対応点フィルタリング処理：
Ｅ．他の実施例：
Ｅ１．フレームデータ読み込み処理：
Ｅ２．特徴点抽出処理：
Ｅ３．対応点探索処理：
【００３４】
Ａ．システム構成：
本実施例では、車両に搭載したビデオカメラで撮影した道路面の画像を用いて、路面の標示を含む地図（以下、「路面標示地図」と呼ぶ）を生成する方法を示す。
本実施例のシステムは、道路面撮影システムと路面標示地図生成装置とを備える。道路面撮影システムは、道路を走行しながら道路面の画像をビデオカメラで撮影するシステムである。本実施例では、対象となる道路を、異なる走行軌跡で複数回走行し、それぞれ画像を撮影する。
路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成する装置である。まず、上述の各走行軌跡上に、撮影された画像を正射画像に変換した上で配置することで、道路面の一部の車線についての画像を生成する。そして、複数の走行軌跡の画像を、位置座標が整合するように配置することで道路全体の画像を生成する。
以下、道路面撮影システムと路面標示地図生成装置のシステム構成について説明する。
【００３５】
Ａ１．道路面撮影システム：
図１に示すように、道路面撮影システム１００は、車両に搭載されたシステムである。ビデオカメラ１２０は、走行中の道路面の画像を撮影する。位置計測部１１０は、撮影中の位置座標を計測する装置である。位置計測部１１０は、ＧＰＳ（Global Positioning System）１１４、ＩＭＵ（InertialMeasurement Unit）１１６、ＤＭＩ（Distance Measuring Instrument）１１８およびコントローラ１１２を備える。ＧＰＳ１１４は、全地球測位システムである。ＩＭＵ１１６は、内部に３軸のジャイロおよび加速度センサを備えた慣性計測装置である。ＤＭＩ１１８は、車輪の回転を検出して移動距離を計測する装置である。
【００３６】
コントローラ１１２は、ＧＰＳ１１４、ＩＭＵ１１６、ＤＭＩ１１８からの信号を受け、撮影時の位置座標を逐次出力する。位置座標は任意の座標系を採ることができるが、本実施例では、緯度経度および標高を用いた。
また、これらの信号の取得後、位置座標の計測精度の評価値である自己推定位置精度σを併せて出力する。一般にＧＰＳ１１４は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。
自己推定位置精度σは、任意に定義可能である。例えば、ＧＰＳ１１４の人工衛星の配置によって定まる精度低下率（ＤＯＰ（Dilution of Precision））を用いて自己推定位置精度σを算出するようにしてもよい。また、自己推定位置精度σは、取得されたデータを後述する路面標示地図生成装置で処理する際に、解析するようにしてもよい。
【００３７】
記録装置１３０は、ビデオカメラ１２０および位置計測部１１０の出力信号を同期して記録する。本実施例では、記録装置１３０は、汎用のパーソナルコンピュータに、記録用のハードディスク１４０を増設した装置によって構成した。ハードディスク１４０内には、図示する通り、画像データ１４２、同期データ１４４、計測データ１４６が記録される。画像データ１４２は、ビデオカメラで撮影された画像の動画ファイルである。計測データ１４６は、位置計測部１１０で得られた位置座標である。同期データ１４４は、画像データ１４２と計測データ１４６との取得時刻を対応づけるデータである。同期データ１４４および計測データ１４６を参照することにより、画像データ１４２のフレームごとに撮影地点の位置座標を得ることができる。
【００３８】
撮影時の記録用のデータ構造は、上述した構造に限られない。例えば、計測データ１４６は、画像データ１４２の各フレームの位置座標を順次、格納するデータとしてもよい。こうすることにより、同期データ１４４を省略することが可能となる。かかるデータを取得するためには、例えば、記録装置１３０がビデオカメラ１２０のフレームごとに同期信号を位置計測部１１０に出力し、そのときの位置座標を取得する方法を採ることができる。
【００３９】
図の上方に、車両に搭載した状態を模式的に示した。
ビデオカメラ１２０は、前方画像を撮影できるよう、車両の前方に設置する。画角を広げるために広角レンズを装着してもよい。
ＧＰＳ１１４のアンテナ１１４Ａは、車両のルーフ上部に設置する。本実施例では、ＧＰＳ用の人工衛星からの電波を確実に受信し、十分な位置精度を確保することができるよう、アンテナ１１４Ａを車両の前後に主副の２台設置した。いずれか一台のみを用いるものとしてもよい。
ＩＭＵ１１６、ＤＭＩ１１８、コントローラ１１２は、それぞれ車両の後部に設置した。ＤＭＩ１１８は、後輪の回転を検出可能に装着されている。
記録装置１３０およびハードディスク１４０は車室内の任意の場所に設置可能であるため、図示を省略した。
【００４０】
Ａ２．路面標示地図生成装置：
図２に示す路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成するための装置である。本実施例では、完全に自動で路面標示地図を生成するのではなく、適宜、オペレータからのコマンドによる指示を受けながら対話型又は半自動で処理を進める方法を採用した。
図２には、路面標示地図生成装置２００の機能ブロックを示した。本実施例では、路面標示地図生成装置２００は、図示する各機能を実現するためのコンピュータプログラムを、汎用のパーソナルコンピュータにインストールすることによってソフトウェア的に構築した。これらの機能ブロックの一部は、ＯＳ（Operating System）によって提供してもよい。また、これらの機能ブロックは、それぞれハードウェア的に構成することも可能である。また、ここでは説明の便宜上、スタンドアロンで稼働する装置として説明するが、各機能ブロックをネットワークで接続された複数のコンピュータに分散して用意してもよい。
【００４１】
主制御部２０１は、各機能ブロックを統合制御する。データ入力部２０４は、道路面撮影システム１００で取得した各種データを記録したハードディスク１４０から、画像データ１４２、同期データ１４４、計測データ１４６を入力する。本実施例では、ハードディスク１４０を道路面撮影システム１００から路面標示地図生成装置２００に接続し直すことによって、これらのデータを受け渡す方法を採ったが、ネットワーク経由でデータを送信する方法や、ＤＶＤなどの記録媒体を用いてデータを受け渡す方法を採ってもよい。計測データには、位置計測部１１０で得られた位置座標が含まれるから、データ入力部２０４は、本発明における入力部に相当する。
【００４２】
コマンド入力部２０２は、コンピュータに備えられたキーボードやマウスなどの操作を介して、オペレータからのコマンドを入力する。
表示制御部２０３は、コンピュータのディスプレイに、路面標示地図生成装置２００での処理結果を表示したり、オペレータが種々のコマンドを指示するための画面を表示したりする。コマンド入力部２０２、表示制御部２０３の機能は、コンピュータのＯＳ（Operating System）によって提供してもよい。
【００４３】
軌跡データ算出部２０５は、計測データ１４６に基づき、画像データ１４２を撮影したときの走行軌跡を表すデータを生成する。本実施例では、軌跡データ算出部２０５は、道路面撮影システム１００によって得られる位置座標を記録した計測データ１４６に対して、位置座標が既知の基準局から提供されている検出情報に基づく補正を施すことによって軌跡データを生成する。基準局の情報を用いて位置座標を補正する技術は周知であるため、説明を省略する。この処理によって位置座標の精度を向上させることが可能となる。
もっとも、基準局からのデータを用いることは必須ではない。計測データ１４６で得られた位置座標をそのまま用いるものとしてもよい。かかる場合には、軌跡データ算出部２０５は省略することも可能である。
【００４４】
画像変換部２０６は、正射投影、即ち画像データ１４２の各フレーム画像を真上から見た状態に変換して正射画像を生成する。
連結画像生成部としての１パス合成部２０７は、画像変換部２０６によって得られた各フレーム画像の正射画像を、その正射画像内の代表点が、撮影時の位置座標に基づいて定まる位置座標に来るように配置することによって、撮影時の走行軌跡に沿った道路面の画像を合成する。こうして合成された画像を、連結画像と呼ぶものとする。合成された連結画像は、記憶部としての処理データ記憶部２１０に保存される。
本実施例では、それぞれの道路に対して、異なる走行軌跡で、複数回走行して、撮影を行う。１パス画像合成部２０７は、それぞれのパスごとに合成画像を生成する。この結果、連結画像は、パスの本数に応じて、複数生成される。
なお、撮影対象が複数車線の道路である場合、車線ごとに１回ずつ移動して撮影してもよいし、いずれかの車線上を複数回移動して撮影してもよい。前者の場合は、車線とパスとが１対１に対応することになる。後者の場合は、パスと車線とが複数対１に対応することになる。本実施例では、特に断らない場合には、各車線について１回ずつ走行した場合、つまり車線とパスとが１対１に対応している場合を例にとって説明する。
【００４５】
合成画像生成部としての位置合わせ処理部２２０は、１パス画像合成部２０７で生成された複数の連結画像を、位置合わせ処理、即ち連結画像間の位置座標の誤差を修正して路面の画像が整合するように配置する処理を行うことで、道路全体の正射画像（以下、「道路画像」と呼ぶこともある）を生成する。位置合わせ処理は、オペレータからの指示に応じて行う。処理内容は後述する。
位置合わせで得られた道路画像は、処理データ記憶部２１０に保存される。
対応点特定部および豪勢画像生成部として機能する自動位置合わせ処理部２２２は、上述の位置合わせ処理部２２０の機能を自動で行う。自動位置合わせ処理部２２２と位置合わせ処理部２２０とを併用しているのは、連結画像が自動処理に適さない場合には、オペレータが手動で位置合わせ処理を行うことができるようにしておくのが好ましいからである。
【００４６】
透明化ポリゴン設定部２２１は、得られた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定する。上述の位置合わせを行う際には、隣接するパスに対応する正射画像の一部が重なり合うことがある。そして重なった部分では、下側に配置された正射画像の方に、路面標示が鮮明に写されている場合もある。透明化ポリゴンは、このような場合に、下側の画像が表示されるように上側の正射画像の一部を透明化する処理を施す領域を指定するためのポリゴンである。透明化ポリゴンを設定することにより、路面標示を正確に把握可能な地図を提供することが可能となる。
路面標示地図生成装置は、以上で生成された道路画像に基づいて路面標示地図を出力することができる。例えば、道路画像を印刷可能なファイルとして出力してもよい。また、路面標示地図を電子地図として生成するように、道路画像を電子データとして出力してもよい。また、これらの出力に先立って、道路画像に基づいて路面標示の位置座標や形状データを取得する処理を行うようにしてもよい。
【００４７】
Ｂ．処理概要：
Ｂ１．中間データ構成：
図３に示す路面標示地図の生成過程における中間データは、順次、処理データ記憶部２１０(図２参照）に記憶される。本実施例では、道路を走行しながらビデオカメラ１２０および位置計測部１１０で取得したデータが記録装置１３０としてのパーソナルコンピュータによってハードディスク１４０内に格納されている。格納されるデータとしては、画像データ１４２、計測データ１４６、および両者の同期をとるための同期データ１４４がある。
【００４８】
計測データ１４６は、撮影時の位置座標データの記録である。本実施例では、基準局データ１５０を参照して、計測データ１４６を補正することにより、軌跡データ２１０ａを算出する。これは、先に図２で説明した軌跡データ算出部２０５が行う処理である。基準局データ１５０は、位置座標が既知の基準点におけるＧＰＳでの検出結果を表すデータであり、例えば、国土地理院が提供している基準点データなどを用いることができる。ここで得られた軌跡データ２１０ａは、以下、それぞれの処理において、道路面の画像を撮影した際の軌跡を緯度経度、高度からなる絶対座標で表すデータとして利用される。
【００４９】
一方、画像データ１４２、同期データ１４４、軌跡データ２１０ａからは、路面テクスチャ２１０ｃが生成される。また、同期データ１４４と軌跡データ２１０ａから、路面軌跡データが生成される。
本実施例では、各道路を複数回走行して、道路面の画像を撮影する。従って、路面軌跡データ２１０ｂおよび路線軌跡データ２１０ｂは、各道路に対して複数パス分、生成されることになる。
【００５０】
路面テクスチャ２１０ｃおよび路線軌跡データ２１０ｂを用いて、連結画像２１０ｄが生成される。連結画像２１０ｄは、図２中の１パス画像合成部２０７によって生成される画像である。つまり、連結画像２１０ｄとは、路線軌跡データ２１０ｂで表される位置座標に基づき、各路面テクスチャ２１０ｃを配置することによって生成される各パスの路面画像である。連結画像２１０ｄも、各道路に対して複数パス分、生成されることになる。
連結画像２１０ｄは、路面テクスチャ２１０ｃを結合した一つの画像ファイルとして生成することもできる。本実施例では、後に続く処理の便宜上、合成画像として生成するのではなく、路面テクスチャ２１０ｃを配置して連結画像２１０ｄを生成するための情報（以下、「登録データ」と呼ぶこともある）を、路面テクスチャ２１０ｃの各画像と対応づけて格納するものとした。かかる情報には、路面テクスチャ２１０ｃを配置する位置座標、配置する際の姿勢（角度）、および隣接する路面テクスチャ２１０ｃを特定する情報、隣接する路面テクスチャ２１０ｃとの上下関係などを含めることができる。
【００５１】
こうして得られた連結画像２１０ｄを用いて、位置合わせおよび透明化ポリゴン設定などの処理を行う。これらの処理は、図２の位置合わせ処理部２２０、透明化ポリゴン設定部２２１が行う処理である。この処理によって、複数パス分の連結画像２１０ｄを合成して、道路ごとに道路画像２１０ｅを得ることができる。
道路画像２１０ｅについても、合成画像として生成してもよいし、路面テクスチャ２１０ｃを配置して道路画像２１０ｅを生成するための情報を、路面テクスチャ２１０ｃの各画像と対応づけて格納するようにしてもよい。本実施例では、後者の方法を採用した。それぞれの路面テクスチャ２１０ｃを配置する位置座標、配置する際の姿勢（角度）などの情報は、道路画像用登録データ２１０ｆとして保存されている。また、位置合わせの過程で、路線軌跡データ２１０ｂに対して、位置誤差を修正する処理が施されるため、この原データに対する修正過程を表す情報を、軌跡用登録データ２１０ｇとして保存する。
【００５２】
この他、連結画像２１０ｄのデータ（路面テクスチャ２１０ｃ、路線軌跡データ２１０ｂを含む）も併せて保存する。原データである画像データ１４２、軌跡データ２１０ａも保存しておくことが好ましい。仮に、合成画像化された形で連結画像２１０ｄを保存している場合には、道路画像２１０ｅは、連結画像２１０ｄを合成することになるため、合成の繰り返しで原データに比較して画質が劣化するおそれがある。これに対し、本実施例のように、路面テクスチャ２１０ｃも含めて、原データに近いデータを残しておくことにより、これらのデータを利用して道路画像２１０ｅを生成することが可能となる。従って、合成の繰り返しなど、画像データに重畳的に画像処理が施されることを抑制でき、道路画像２１０ｅの画質を向上させることが可能となる。
【００５３】
Ｂ２．処理例：
次に、本実施例における処理の概要理解を容易にするため、処理例を示す。
図４（ａ）中の直線Ｌ４１〜Ｌ４４は、それぞれ道路面撮影システム１００で走行しながら道路画像を撮影した際の走行軌跡を表している。図４（ａ）のＰＩＣ４１は、パスＬ４３を走行して得られた画像データに基づいて生成された連結画像である。本実施例では、広角レンズを用いて撮影しているため、１回のパスでも複数車線を覆うだけの連結画像を得ることができている。連結画像の両端が、のこぎり刃状にギザギザになっているのは、画像データの各フレームを正射投影した際に生じる形状歪みの影響である。この連結画像ＰＩＣ４１は、ギザギザの山数に応じたフレーム数の正射画像（路面テクスチャ）を配置して生成されている。
このような連結画像は、図中のパスＬ４１〜Ｌ４４のそれぞれに対して得られる。
【００５４】
図４（ｂ）は、パスＬ４１〜Ｌ４４に対する連結画像を合成して得られた道路画像ＰＩＣ４２を示している。図４（ａ）よりも幅広く、反対車線まで含めて道路画像が生成されていることが分かる。複数パスの連結画像を合成する際、各パスの位置座標に誤差があると、連結画像間にずれが生じる。これらのずれが存在すると、図４（ｂ）中の横断歩道、車線境界線などの標示も途中でずれた状態で表示されてしまう。本実施例では、各パスの連結画像間の位置座標の誤差を修正しつつ合成を行う。この処理を位置合わせと呼ぶ。このように位置合わせを行って連結画像を合成することにより、図４（ｂ）に示すように、横断歩道、車線境界線などの標示が整合した道路画像を得ることができる。
【００５５】
Ｂ３．位置合わせ加工概要：
図５は位置合わせ加工の概要を示す説明図である。本実施例では、複数の連結画像に共通して撮影されている対応点の位置を合わせるように、連結画像を平行移動することによって位置合わせを行う。本実施例では、対応点を自動認識して位置合わせする方法と、オペレータが対応点を標示に基づいて指定して位置合わせを行う方法の双方を採ることができる。以下では、まずオペレータが対応点を指示した場合を例にとって処理内容を説明する。
図５（ａ）には対応点が１つだけ指定された場合の処理方法を示した。図中には、２本の連結画像ＰＩＣ５１、ＰＩＣ５２が描かれている。これらには、それぞれ菱形の標示、つまり横断歩道の予告標示が含まれている。ただし、図５（ａ）左側の状態では、連結画像ＰＩＣ５１、ＰＩＣ５２には相対的に位置誤差があるため、標示の位置がずれている。
【００５６】
オペレータは、この表示画面を見ながら、マウス等のポインティングデバイスを用いて対応点を指定する。図の例では、横断歩道の予告表示の頂点に当たるＰ５１、Ｐ５２を指定した状態を示した。これらの対応点Ｐ５１、Ｐ５２は、連結画像ＰＩＣ５１、ＰＩＣ５２に位置誤差がなければ、本来、同じ位置に重なるはずの点である。そこで、本実施例では、対応点Ｐ５１、Ｐ５２が一致するよう、図中に矢印で示すように連結画像ＰＩＣ５１、ＰＩＣ５２を平行移動させる。
この際、連結画像ＰＩＣ５１、ＰＩＣ５２の一方を基準とし、他方を平行移動する方法を採った。図の例では、連結画像ＰＩＣ５１を基準とし、連結画像ＰＩＣ５２を移動させた例を示している。このように移動することにより、予告標示のずれが解消した状態の道路画像ＰＩＣ５３を得ることができる。
【００５７】
図５（ｂ）には対応点が複数指定された場合の処理方法を示した。図中には、２本の連結画像ＰＩＣ５４、ＰＩＣ５５が描かれている。これらには、それぞれ横断歩道の予告標示が含まれている。但し、図５（ｂ）の左側の状態では、連結画像ＰＩＣ５４、ＰＩＣ５５には相対的に位置誤差があるため、標示の位置がずれている。
この状態で、オペレータが、２組の対応点を指定したとする。対応点Ｐ５４、Ｐ５３の組と、対応点Ｐ５６、Ｐ５５の組である。連結画像ＰＩＣ５４では、連結画像ＰＩＣ５５に含まれる予告標示Ｍ５２は全体が描かれており、連結画像ＰＩＣ５４に含まれる予告標示Ｍ５１は一部が消えている。このような状態であっても、対応点Ｐ５５、Ｐ５６が対応することは明らかであるため、対応点として指定することは可能である。
このように複数組の対応点が指定されると、連結画像ＰＩＣ５４を基準として、それぞれの対応点が一致するように、連結画像ＰＩＣ５５を移動させる。ただし、対応点Ｐ５３をＰ５４に一致させるための第１の移動量と、対応点Ｐ５５をＰ５６に一致させるための第２の移動量とが同じであるとは限らない。そこで、対応点Ｐ５３とＰ５５との間の領域では、第１の移動量、第２の移動量を直線補間して、各点の移動量を設定する。こうすることにより、予告標示のずれが解消した状態の道路画像ＰＩＣ５６を得ることができる。
【００５８】
図５（ｂ）中には、透明化ポリゴンの設定例も併せて示した。
この例では、連結画像ＰＩＣ５４中の予告標示Ｍ５１は半分が欠けている。この状態で位置合わせを行うと、この例では、連結画像ＰＩＣ５４をＰＩＣ５５の上側に重ねるように表示しているから、連結画像ＰＩＣ５５の予告標示Ｍ５２は、連結画像ＰＩＣ５４によって覆い隠されてしまう。この結果、連結画像ＰＩＣ５５では完全な状態で描かれている標示Ｍ５２を道路画像ＰＩＣ５６で活かすことができない。
そこで、このような場合に、オペレータの指示によって予告標示Ｍ５２を取り囲むように透明化ポリゴンＴＰ５０を設定する。透明化ポリゴンＴＰ５０が設定された箇所では、上側の連結画像が透明化され、切り取られたように表示される。この結果、透明化ポリゴンＴＰ５０の部分では、連結画像ＰＩＣ５４の下側に配置された連結画像ＰＩＣ５５に描かれている予告標示Ｍ５２が表示される。
本実施例では、このように透明化ポリゴンを設定可能とすることによって、それぞれの連結画像で描かれている標示を、道路画像においても有効活用することができる。
【００５９】
図６は交差点が存在する場合の位置合わせの手順を示す説明図である。図の煩雑化を避けるため、ここでは連結画像のパスの位置関係のみを示した。図中には、２つの交差点周辺の道路が描かれている。縦の道路では、それぞれパスＢＰ６１、ＢＰ６２に沿って連結画像が得られているとする。横の道路については、破線で示したパスＢＰ６３ｂ、ＢＰ６４ｂ、ＮＰ６１ｂに沿って連結画像が得られているとする。
本実施例では、複数のパス間の位置合わせを行う際には、いずれか一つのパスを基準パスに設定し、他のパスを平行移動して基準パスに合わせる。基準パス以外のパスを、以下、標準パスと呼ぶものとする。基準パスおよび標準パスは、任意の方法で設定可能であるが、本実施例では、後述する通り、位置精度が高いものを基準パスとして設定している。
【００６０】
図６の例では、縦の道路については、それぞれ単一のパスしか存在しないため、パスＢＰ６１、ＢＰ６２が基準パスとなる。
横の道路については、区間Ｄ６１ではパスＢＰ６３ｂとＮＰ６１ｂのうち位置精度が高い側を基準パスとし、区間Ｄ６２についてはＢＰ６４ｂとＮＰ６１ｂのうち位置精度が高い側を基準パスとする。ここでは、それぞれパスＢＰ６３ｂ、ＢＰ６４ｂが基準パスとして設定されているものとする。更に、パスＢＰ６３ｂ、ＢＰ６４ｂ間の位置精度を比較して、優劣を決める。パスＢＰ６３ｂ、ＢＰ６４ｂはそれぞれ区間Ｄ６１、Ｄ６２の基準パスではあるが、一本の道路に配置された連続するパスなので、これらのパス間でも位置合わせを行う必要があるからである。図６の例では、パスＢＰ６３ｂの方が、パスＢＰ６４ｂよりも位置精度が高いものとする。
この結果、横のパスについては、基準パスＢＰ６３ｂ＞基準パスＢＰ６４ｂ＞標準パスＮＰ６１ｂの順に位置合わせの優先度が定まる。
【００６１】
次に、上述の優先度に従って、それぞれのパスの位置合わせを行う。縦のパスＢＰ６１、ＢＰ６２は既に位置合わせが完了しているものとする。
まず、基準パスＢＰ６３ｂの位置合わせを行う。オペレータの指示によって、基準パスＢＰ６３ｂ上の対応点Ｐ６３ｂが指定され、その本来の位置として、点Ｐ６３ａが指定されたとする。この結果、基準パスＢＰ６３ｂは、対応点Ｐ６３ｂが、点Ｐ６３ａに一致するように移動され、実線で示した基準パスＢＰ６３ａが得られる。
図示を省略したが、基準パスＢＰ６３ｂに対応した連結画像も基準パスＢＰ６３ａに合わせて移動する。本実施例では、基準パスＢＰ６３ｂに沿って路面テクスチャを配置することによって連結画像を表示しており、これらの路面テクスチャを合成してはいない。従って、基準パスＢＰ６３ａへの移動が行われた場合には、基準パスＢＰ６３ａに沿うように、各路面テクスチャの位置を平行移動することによって、基準パスＢＰ６３ａの連結画像を得ることができる。
【００６２】
次に、基準パスＢＰ６４ｂの位置合わせを行う。オペレータの指示によって、基準パスＢＰ６４ｂ上の対応点Ｐ６５ｂ、Ｐ６４ｂが指定され、その本来の位置として、点Ｐ６５ａ、Ｐ６４ａが指定されたとする。この対応点は、基準パスＢＰ６３ａの連結画像に基づいて指定されている。つまり、基準パスＢＰ６３ｂを基準パスＢＰ６３ａに位置合わせする処理の結果に応じて、基準パスＢＰ６４ｂの位置合わせは影響を受けることになる。
対応点が指定されると、基準パスＢＰ６４ｂは、対応点Ｐ６５ｂ、Ｐ６４ｂが、点Ｐ６５ａ、Ｐ６４ａに一致するように移動され、実線で示した基準パスＢＰ６４ａが得られる。これに合わせて、基準パスＢＰ６４ｂの連結画像を構成していた路面テクスチャも、それぞれ基準パスＢＰ６４ａ上に平行移動される。
【００６３】
最後に、標準パスＮＰ６１ｂの位置合わせを行う。オペレータの指示によって、標準パスＮＰ６１ｂ上の対応点Ｐ６８ｂ、Ｐ６７ｂ、Ｐ６６ｂが指定され、その本来の位置として、点Ｐ６８ａ、Ｐ６７ａ、Ｐ６６ａが指定されたとする。この対応点は、基準パスＢＰ６３ａ、ＢＰ６４ａの連結画像に基づいて指定されている。つまり、基準パスＢＰ６３ｂを基準パスＢＰ６３ａに位置合わせする処理、および基準パスＢＰ６４ｂを基準パスＢＰ６４ａに位置合わせする処理の結果に応じて、標準パスＮＰ６１ｂの位置合わせは影響を受けることになる。
対応点が指定されると、標準パスＮＰ６１ｂは、対応点Ｐ６８ｂ、Ｐ６７ｂが、点Ｐ６８ａ、Ｐ６７ａに一致するように移動されるとともに、対応点Ｐ６７ｂ、Ｐ６６ｂが、点Ｐ６７ａ、Ｐ６６ａに一致するように移動される。これらの３点は一直線上にはないから、結果として、標準パスＮＰ６１ｂは、折れ線状の標準パスＮ６１ａに移動される。これに合わせて、標準パスＮＰ６１ｂの連結画像を構成していた路面テクスチャも、それぞれ標準パスＮＰ６１ａ上に平行移動される。
【００６４】
本実施例では、図６に示すように複数のパスが存在する場合には、以上で説明した手順によって、位置精度が高いパスから優先的に位置合わせが行われる。こうすることによって、全体の位置精度を十分に確保しつつ位置合わせを行うことができる。
例えば、図６の処理において、位置精度が低い順、つまり標準パスＮＰ６１ｂ、基準パスＢＰ６４ｂ、基準パスＢＰ６３ｂの順に位置合わせをしたとする。この場合には、基準パスＢＰ６４ｂの位置合わせは、標準パスＮＰ６１ｂの位置合わせの影響を受け、位置精度が低下する。基準パスＢＰ６３ｂの位置合わせは、標準パスＮＰ６１ｂ、基準パスＢＰ６４ｂの位置合わせの影響を受け、位置精度が低下する。従って、位置精度が低い順に位置合わせを行うと、パス間の相互作用によって全体の位置精度が低下してしまう。
本実施例では、これとは逆に、位置精度が高い順に位置合わせを行う。従って、最も位置精度が高いパスの位置精度を劣化させることなく、全体の位置合わせを行うことが可能となる。
【００６５】
Ｃ．路面標示地図生成方法：
以下、図１〜６で説明した路面標示地図の生成方法について、詳細に説明する。
まず、連結画像生成処理、つまり図３中の路面テクスチャ２１０ｃ、路面軌跡データ２１０ｂに基づいて各パスの連結画像２１０ｄを得る処理について説明する。
次に、位置合わせ加工、つまり複数パスに対する連結画像２１０ｄの位置合わせを行う処理、および位置合わせ加工の中で行われる基準パス設定処理、連結画像移動処理について説明する。ここでは、まずオペレータが対応点を指示する場合を例にとって説明する。そして、透明化ポリゴンの設定処理について説明する。最後に、位置合わせ加工を自動的に行うための処理、即ち自動位置合わせ処理について説明する。
【００６６】
Ｃ１．連結画像生成処理：
図７は連結画像生成処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した画像変換部２０６、１パス合成部２０７の処理に相当する。
処理を開始すると、ＣＰＵは、まずフレームデータを読み込む（ステップＳ１０）。フレームデータとは、道路面撮影システム１００（図１）のビデオカメラ１２０で撮影された画像データ１４２を構成する各フレームの画像である。
【００６７】
図中にフレームデータの例を示した。ビデオカメラ１２０は、道路面撮影システム１００の前方に向けて設置されているため、フレームデータには、車両の前方の道路、前方車両などが写っている。本実施例では、道路面の画像を生成したいため、このフレームデータの一部の領域を切り出して使用する。図中の領域Ａ７１は、道路面のみが含まれるように設定された切り出し領域を現している。本実施例では、車両の前方５〜７ｍの領域の画像を取得するように領域Ａ７１を設定した。領域Ａ７１の各フレーム内での相対的な位置は一定である。
領域Ａ７１は、上述の例に限らず、任意に設定可能である。ビデオカメラ１２０が一定のフレームレートで画像を撮影するため、フレームデータは、道路面を間欠的に撮影した画像群となる。従って、領域Ａ７１は、間欠的に撮影された画像群を並べたときに、道路が連続画像として再現できるように範囲を決定することが好ましい。例えば、領域Ａ７１の縦幅を狭くすれば、車両の速度が速い場合には、あるフレームデータから切り出された領域と、次のフレームデータから切り出された領域との間に隙間が生じやすくなる。一方、領域Ａ７１の縦幅を広くすれば、前方車両や空、建物など、道路画像とは異なる雑多な映像が含まれやすくなる。領域Ａ７１は、これらの影響を考慮した上で、設定すればよい。
【００６８】
次に、ＣＰＵは、取得されたフレームデータを正射画像（路面テクスチャ）に画像変換する（ステップＳ１２）。図中に処理の概要を示した。上側にはフレームデータの例である。ここでは路面の状態のみが撮影され、道路の左右の車線境界線Ｌ７１、Ｌ７２および標示Ｍ７が写されている例を示した。前方を撮影した画像であるため、パース（遠近法）の影響で、本来平行な車線境界線Ｌ７１、Ｌ７２が、ハの字状に写されている。
先に説明した通り、このフレームデータの一部の領域Ａ７１を切り出して使用する。
下段には、領域Ａ７１の画像を正射投影変換した状態を例示した。道路を真上から見た画像に変換するため、左右の車線境界線Ｌ７１、Ｌ７２は図示する通り、平行な線分に変換される。標示Ｍ７も同様に真上から見た状態の形状に変換される。
【００６９】
正射投影変換の方法を説明する。
まず、道路面撮影システム１００を搭載した車両は水平面上を走行しており、被写体である道路も同一水平面上にあるものとする。
このとき、道路画像、即ちフレームデータの画面上の２次元座標をｍ＝［ｕ，ｖ］Ｔとする。また、地面に固定された世界座標系の３次元座標をＭ＝［Ｘ，Ｙ，Ｚ］Ｔとする。これらの各座標に１の要素を直積で加えたベクトルを、次式（１）の通り定義する。
【００７０】
【数１】
【００７１】
３次元座標Ｍと、その投影画像の２次元座標ｍとの関係を以下の関係式（２）（３）によりモデル化する。
【数２】
【００７２】
ここで、ｓはスケール・ファクター；
［Ｒｔ］は、外部パラメータ行列；
Ｒは回転行列；
ｔは平行移動行列；
Ａは内部パラメータ行列である。
【００７３】
内部パラメータ行列Ａは、ビデオカメラ１２０の焦点距離等を考慮した内部的なパラメータであり、実画像座標系（ｘｙ座標系）からフレーム座標系（ｕｖ座標系）への写像パラメータを表す。
α、βはそれぞれｕ軸、ｖ軸方向のスケール因子、γは２つの画像軸のスキューにより表されるパラメータ；
［ｕ0，ｖ0］Ｔは、画像の主点の座標（主点座標）である。
画像のピクセルサイズを（ｋｕ、ｋｖ）、ｕ軸とｖ軸とのなす角をθ、焦点距離をｆとすると、α、β、γは次式（４）で表される。
【００７４】
【数３】
【００７５】
外部パラメータ行列［Ｒｔ］は、ビデオカメラ１２０の設置位置、設置姿勢などによる外部的なパラメータであり、世界座標系（ＸＹＺ座標系）から実画像座標系（ｘｙ座標系）への写像パラメータを表す。世界座標系は、ビデオカメラ１２０の真下の路面を原点とし、車両の進行方向に対し垂直な水平軸をＸ軸、鉛直軸をＹ軸、進行方向の水平軸をＺ軸とする。
平行移動ベクトルｔは、世界座標系において原点に対する実画像の画像主点の移動ベクトルである。
ビデオカメラ１２０の高さ（実画像の画像主点の高さ）をｈとすると、平行移動ベクトルｔは次式（５）で表される。
【００７６】
【数４】
【００７７】
また、世界座標系において、実画像のヘディング方向の回転角（ヨー角）をφ、ピッチ角をω、ロール角をκとすると、回転行列Ｒは次式（６）で表される。
【数５】
【００７８】
内部パラメータ行列Ａは、事前の測定によって得られる。
ヨー角φ、ピッチ角ω、ロール角κおよび画像主点の高さｈは、次の手順で得られる。まず、初期状態、即ち車両が水平な地面に設置されている状態において、ヨー角φ0、ピッチ角ω0、ロール角κ0、および高さｈ0の基準値を計測しておく。次に、走行中には逐次、車両の姿勢角の変化および車高の変化をジャイロ、加速度センサ等で記録しておき、上述の基準値にこの変化を反映することで、各地点でのヨー角φ、ピッチ角ω、ロール角κおよび高さを得ることができる。
【００７９】
正射投影変換は、これらのパラメータに基づき、式（２）を用いることにより、行われ、フレーム座標系（ｕｖ座標系）の道路画像を、世界座標系（ＸＹＺ座標系）の投射道路画像に変換することができる。その手順は次の通りである。
まず、被写体である道路面を水平面（Ｙ＝０）の画像であると仮定する。このとき、式（２）より、次式（７）の関係が成立する。
【００８０】
【数６】
【００８１】
この結果、ピクセル（ｕ，ｖ）に対する世界座標（Ｘ，Ｚ）およびスケールパラメータｓは次式（８）により求めることができる。
【数７】
【００８２】
次に、路面標示地図生成装置２００のＣＰＵは、被写体である道路面の傾斜を考慮した補正を行う。
まず、フレームデータを取得した各地点の位置座標データ（Ｘ０，Ｙ０，Ｚ０）と、被写体である道路面付近の複数点の位置座標（Ｘｉ，Ｙｉ，Ｚｉ）とから、被写体である道路面の勾配を計算する。本実施例では、勾配は一様であるものと仮定した。
具体的には、撮影地点の世界座標点（Ｘ，Ｙ，Ｚ）付近の位置座標データから、高さの変化Δｈを求める。つまり、Δｈ＝Ｙ−Ｙ０である。このとき、一様な勾配を仮定すると、道路面上の世界座標系（Ｘ’，Ｙ’，Ｚ’）の点の奥行きＺ’は次式（９）で求めることができる。
【００８３】
【数８】
【００８４】
補正した道路面上の奥行きＺ’が決まると、式（２）より、フレーム座標点（ｕ，ｖ）と世界座標点（Ｘ’，Ｙ’，Ｚ’）との関係は次式（１０）の通りとなる。
【数９】
【００８５】
これより、世界座標点のＸ’，Ｙ’を次式（１１）によって計算することができる。
【数１０】
【００８６】
以上の通り、フレームデータ上の点（ｕ，ｖ）を、それぞれ（Ｘ’，Ｚ’）に写像すれば、正射画像（路面テクスチャ）を得ることができる。図７中に示すように、フレームデータを矩形の領域Ａ７１で切り出した上で正射投影すると、上方が広がる台形状の正射画像（路面テクスチャ）Ａ７２が得られる。
本実施例では、後に続く処理の便宜のため、正射画像（路面テクスチャ）を低解像度／高解像度の２通りで生成するものとした。高解像度の正射画像（路面テクスチャ）（以下、「高解像度画像」と呼ぶ）は、もとのフレームデータの切り出し領域Ａ７１をそのまま利用して生成された画像、即ち原画像と同じ解像度で生成された画像である。低解像度の正射画像（路面テクスチャ）（以下、「低解像度画像」と呼ぶ）は、解像度を原データよりも下げた画像である。低解像度画像の解像度は、路面標示地図生成装置２００が軽い負荷で画像を表示することができる程度の値とすることが好ましく、原画像の解像度の半分など、任意に設定可能である。
【００８７】
次に、路面標示地図生成装置２００のＣＰＵは、得られた正射画像（路面テクスチャ）を配置して１パス画像の合成を行う（ステップＳ１４）。図中に１パス画像合成の例を示した。この例では、正射画像（路面テクスチャ）Ａ７２［０］〜Ａ７２［５］が合成されている。
各正射画像（路面テクスチャ）Ａ７２は、フレーム座標系（ｕｖ座標系）の原点に対応する点を、各フレームデータの撮影時の位置座標に基づいて配置すればよい。フレームデータは車両の位置よりも前方を写したものであるため、正射画像（路面テクスチャ）は、フレームデータ毎に車両位置とフレーム座標系の位置関係を計算して配置する。また、正射画像（路面テクスチャ）は、時系列的に古い画像から新しい画像に順次、配置するものとした。
【００８８】
このように正射画像（路面テクスチャ）を配置することによって、道路面の車線境界線Ｌ７１、Ｌ７２および標示Ｍ７が再現される。
本実施例では、連結画像生成処理の段階では、正射画像（路面テクスチャ）を１枚の画像に結合することなく、配置して表示する状態に留めている。従って、１パス画像合成処理（ステップＳ１４）で生成されるのは、合成画像ではなく、各正射画像（路面テクスチャ）の配置を決定する情報となる。もっとも、この処理において、正射画像（路面テクスチャ）を１枚の画像に結合する方法を採ることもできる。
【００８９】
Ｃ２．位置合わせ加工：
図８は位置合わせ加工のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した位置合わせ処理部２２０の処理に相当する。
処理を開始すると、ＣＰＵは、まず処理の対象となる道路（以下、「対象道路」ともいう）についてのオペレータからの指定を入力する（ステップＳ２０）。そして、対象道路に対応する連結画像を入力する（ステップＳ２２）。本実施例では、それぞれの道路について、走行位置を変えながら複数回走行して、路面画像を撮影している。従って、各走行に対応するパスに基づいて、それぞれ連結画像が生成されている。ステップＳ２２では、これらの複数の連結画像を読み込む。
【００９０】
次に、ＣＰＵは基準パスを設定する（ステップＳ３０）。基準パスとは、複数のパスの位置合わせをする際に、基準となるパスである。本実施例では、対象道路に対応するパスのうち、位置精度の評価値、即ち自己推定位置精度が最も高いものを選択する。基準パスの設定方法については、後述する。
基準パスが設定されると、ＣＰＵはオペレータの操作に従い、各パスについて対応点を設定する処理を行う（ステップＳ４０）。
本実施例では、図中に示すように、基準パスおよび標準パスの連結画像をディスプレイに表示し、オペレータが、マウスなどのポインティングデバイスを操作して、この画面内で対応点を設定するという方法を採った。図の例では、標準パスの画像内で菱形をした横断歩道予告標示の頂点を対応点として指定し、次に、これに対応する頂点を基準パスの画像内で指定する例を示した。対応点は、１点に限らず、複数の点を指定可能である。
【００９１】
本実施例では、この連結画像の表示には、低解像度画像を用いる。こうすることにより、対応点を指定する際に、表示の移動、拡大・縮小を円滑に行うことができ、作業効率を高めることができる利点がある。
対応点が指定されると、ＣＰＵは、対応点同士が一致するように、標準パスの連結画像を基準パスの連結画像に合わせるよう移動する処理を行って、位置合わせ加工を終了する（ステップＳ５０）。
先に説明した通り、本実施例では、連結画像は一枚の合成画像として生成されている訳ではなく、正射画像（路面テクスチャ）を配置して表示している。従って、ステップＳ５０の処理では、それぞれの正射画像（路面テクスチャ）を移動することで、連結画像の移動処理が行われる。移動処理と併せて、それぞれの正射画像を低解像度画像から高解像度画像に置換する処理が行われる。高解像度画像を用いて、正射画像を再配置する処理を行うものとしてもよい。
連結画像移動処理の内容は、後で詳述する。
【００９２】
Ｃ３．基準パス設定処理：
図９は基準パス設定処理のフローチャートである。位置合わせ加工（図８）のステップＳ３０に相当する処理であり、複数のパスの位置合わせをする際に、自己推定位置精度が最も高いものを基準パスとして設定するための処理である。
ＣＰＵは、処理を開始すると、対象道路の各パスについて、フレーム画像が取得されている各地点での位置精度を入力する（ステップＳ３１）。撮影時には、図中に示すように、パスにそって点Ｐ９１，Ｐ９２、Ｐ９３等でフレーム画像を撮影するとともに、各点ごとに東西方向の位置精度ＡＣ１、南北方向の位置精度ＡＣ２が記録されている。
【００９３】
一般にＧＰＳ１１４は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。位置精度は、これらの影響を定量的に評価したものである。位置精度は、任意に定義可能であり、例えば、精度低下率（ＤＯＰ（Dilution of Precision））等を用いてもよい。
【００９４】
ＣＰＵは、各点の位置精度に基づいて、パスごとに自己推定位置精度σを算出する（ステップＳ３２）。
自己位置推定精度は、ＧＰＳと、ＩＭＵ、ＤＭＩ等とのずれに基づいて定まる値としてもよい。この場合は、例えば、ずれ量の標準偏差を用いてもよい。また、東西方向の標準偏差の自乗と、南北方向の標準偏差の自乗の和を求め、この平方根を自己位置推定精度として用いてもよい。このように、ＧＰＳと、ＩＭＵ、ＤＭＩ等のずれ量に応じた値とする場合には、自己位置推定精度は、ずれが大きい程、大きい値となる。つまり、自己推定位置精度は値が小さい方が、精度が高いことを示す評価値となる。
各パスの自己推定位置精度σが得られると、ＣＰＵはこの値が最小となるパスを基準パスとして設定する（ステップＳ３３）。対象道路に対して単一のパスしか存在しない場合には、無条件にそのパスが基準パスとして設定されることになる。この基準パスの自己推定位置精度をσＢとする。
【００９５】
ステップＳ３３で設定された基準パスの自己推定位置精度σＢが、所定の閾値σＴＨよりも低い場合には（ステップＳ３４）、基準パス設定処理を終了する。
これに対し、自己推定位置精度σＢが、所定の閾値σＴＨ以上の場合には、エラー表示を行って（ステップＳ３５）、処理を終了する。この場合には、基準パスの位置精度が十分確保されていないことを意味するため、位置合わせ処理を行っても、位置精度が十分に保証されないからである。
所定の閾値σＴＨは、上述の通り、路面標示地図として確保すべき位置精度に基づいて任意に設定可能である。
【００９６】
エラー表示（ステップＳ３５）を行うか否かの判断対象となるのは、基準パスの自己推定位置精度σＢのみとした。他の標準パスについては、自己推定位置精度が低い場合でも、基準パスを基準として位置合わせを行うことにより、位置精度を高めることが可能だからである。
もっとも、位置合わせ処理における修正は、いずれのパスに対してもできるだけ小さい方が、より好ましいといえる。従って、ステップＳ３４において、全てのパスの自己推定位置精度を閾値σＴＨと比較し、いずれか一本でも、この閾値を下回る精度のパスが存在する場合にはエラー表示を行うようにしてもよい。
ただし、標準パスにも基準パスと同等の位置精度を要求すると、エラー表示が頻繁になされるおそれがある。かかる弊害を回避するため、標準パスでは基準パスよりも高い閾値σＴＨを用いるようにしてもよい。つまり、標準パスについては位置精度の要求を基準パスよりも緩める。こうすることによって、標準パスについても最低限の位置精度を保証しつつ、エラー表示が頻繁になされるのを回避することができる。
【００９７】
Ｃ４．連結画像移動処理：
（１）フローチャート：
図１０は連結画像移動処理のフローチャートである。位置合わせ処理（図８）のステップＳ５０の処理に相当する。
処理を開始すると、ＣＰＵは移動対象となる標準パスのデータおよび対応点のデータを入力する（ステップＳ５１）。標準パスのデータとは、フレーム画像が撮影されたときの位置座標を順次、記録した点列からなる軌跡データである。対応点のデータは、図８のステップＳ２０において、基準パスおよび標準パスが表示された画面内でオペレータが指定した対応点の座標値である。
【００９８】
ＣＰＵは、次に、標準パス上で正射画像（路面テクスチャ）が配置されている点ごとに、移動ベクトルを算出する（ステップＳ５２）。
図中に移動ベクトルの算出例を示した。この例では、標準パスＮＰ１０について、対応点Ｐ１０１、Ｐ１０３が指定されているものとする。標準パス上には、図中に台形で示すように正射画像（路面テクスチャ）が配置されている。
対応点Ｐ１０１、Ｐ１０３に対応する点としては、基準パス上では、対応点Ｐ１０２、Ｐ１０４が指定されているものとする。ＣＰＵは、これらの指定結果に基づき、対応点について移動ベクトルを求める。図の例では、標準パスの対応点Ｐ１０１からＰ１０２に向かう移動ベクトルＶ１０と、対応点Ｐ１０３からＰ１０４に向かう移動ベクトルＶ１１が得られる。
【００９９】
対応点は、標示の頂点など、オペレータが基準パスと標準パスとで対応をとりやすい点を指定するため、必ずしも標準パスＮＰ１０上で指定されるとは限らない。対応点が標準パスＮＰ１０からずれた場所で指定されている場合には、図中に破線で示すように標準パスＮＰ１０からずれた場所に移動ベクトルＶ１０ａが得られる。従って、この移動ベクトルＶ１０ａの始点が標準パスＮＰ１０上に来るように、標準パスＮＰ１０に垂直方向に移動させて移動ベクトルＶ１０を求めればよい。
【０１００】
対応点での移動ベクトルＶ１０、Ｖ１１が得られると、ＣＰＵは、これらを補間することによって、対応点Ｐ１０１、Ｐ１０３の間に位置する各点での移動ベクトルを求める。例えば、図中に示すように、フレーム画像の撮影地点ＰＰ１０で移動ベクトルを求める場合には、この地点を始点とするように移動ベクトルＶ１０、Ｖ１１を平行移動し、両ベクトルの終点を結ぶ線分を、対応点Ｐ１０１〜ＰＰ１０の距離、Ｐ１０３〜ＰＰ１０の距離の比で内分する点を求める。こうすることによって、点ＰＰ１０を始点とし、この内分点を終点とする移動ベクトルＶＰ１０を求めることができる。
【０１０１】
２つの移動ベクトルＶ１０、Ｖ１１に挟まれた区間に存在しない点については、最も近い位置にある移動ベクトルをそのまま用いる。図中の例では、点Ｐ１０１よりも右側の区間では、移動ベクトルＶ１０をそのまま用い、点Ｐ１０３の左側の区間では、移動ベクトルＶ１１をそのまま用いることになる。
また、対応点が一つしか指定されておらず、移動ベクトルが一つしか与えられない場合は、この移動ベクトルを用いる。
【０１０２】
ＣＰＵは以上の処理で得られた移動ベクトルに従って、正射画像（路面テクスチャ）を平行移動して（ステップＳ５３）、連結画像移動処理を終了する。図の例では、標準パスＮＰ１０の点ＰＰ１０に配置されていた路面テクスチャＴＸ１１が、移動ベクトルＶＰ１０に従って路面テクスチャＴＸ１２の位置に平行移動される例を示している。
この処理と併せて、標準パスＮＰ１０上の点ＰＰ１０の位置も移動ベクトルＶＰ１０によって修正される。従って、ステップＳ５３の処理では、路面テクスチャの移動とともに、標準パスＮＰ１０の軌跡も修正されることになる。
【０１０３】
（２）位置合わせ加工の処理例（１）：
図１１は位置合わせ加工の処理例（１）を示す説明図である。図１１（ａ）〜図１１（ｃ）のそれぞれには、標準パスＮＰ１１および基準パスＢＰ１１に対する連結画像を重ねて表示した表示した状態を示している。図１１（ａ）は標準パスＮＰ１１の連結画像を、基準パスＢＰ１１の連結画像よりも上に配置した状態である。先に説明した通り、連結画像は多数の路面テクスチャを配置することで構成されているが、図中には、説明の便宜上、一つの路面テクスチャＴＸ１１に輪郭を付して示した。
オペレータは、この画面中で、標準パスＮＰ１１における対応点Ｐ１１１を指定する。対応点Ｐ１１１は、任意に設定可能である。本実施例では、分離帯標示Ｍ１１の白線の斜め縞模様の端点の一つを対応点Ｐ１１１として選択している。
【０１０４】
図１１（ｂ）は、基準パスＢＰ１１の連結画像を上側にして配置した状態を示している。この状態では、標準パスＮＰ１１と基準パスＢＰ１１の位置がずれている。従って、基準パスＢＰ１１の連結画像を上側に表示すると、対応点Ｐ１１１の位置は、分離帯標示Ｍ１２の白線の斜め縞模様からずれてしまう。
図１１（ｃ）は、基準パスＢＰ１１の連結画像を上側にした状態で、対応点Ｐ１１２を指定した状態を示している。つまり、基準パスＢＰ１１を上側にした画像内で、分離帯標示Ｍ１１の白線の斜め縞模様の端点を対応点Ｐ１１２として選択すればよい。
対応点Ｐ１１２が指定されると、標準パスＮＰ１１の対応点Ｐ１１１から基準パスＢＰ１１の対応点Ｐ１１２に向かうように移動ベクトルＶ１１が求められる。この移動ベクトルＶ１１に従って、路面テクスチャＴＸ１１を移動すれば、対応点Ｐ１１１は対応点Ｐ１１２に一致し、分離帯標示Ｍ１１、Ｍ１２の位置も一致させることができる。
【０１０５】
路面テクスチャＴＸ１１だけでなく、位置合わせ加工では、標準パスＮＰ１１を構成する他の路面テクスチャも同様に、移動ベクトルＶ１１に従って移動させる。ここでは対応点を一つだけ指定した処理例を示したが、対応点は複数指定してもよい。例えば、図の例では、横断歩道の縞模様、停止線、車線境界線の端点などを対応点として利用することが考えられる。
【０１０６】
（３）位置合わせ加工の処理例（２）：
図１２は位置合わせ加工の処理例（２）を示す説明図である。標準パスＮＰ１２、基準パスＢＰ１２の連結画像を重ねた状態を示した。説明の便宜上、双方の路面標示を視認可能な状態で示している。位置合わせ前は、標準パスＮＰ１２、基準パスＢＰ１２の位置がずれているため、車線境界線などの標示の位置はずれている。
オペレータは、ここでは破線での車線境界線の端点の一つを対応点として選択している。標準パスＮＰ１２については車線境界線Ｌ１２２の端点を対応点Ｐ１２２として選択し、基準パスＢＰ１２については車線境界線Ｌ１２１の端点を対応点Ｐ１２１として選択する。この結果、標準パスＮＰ１２の対応点Ｐ１２２から基準パスＢＰ１２の対応点Ｐ１２１に向かう移動ベクトルＶ１２が定まる。
【０１０７】
図１３は位置合わせ加工の処理（２）の加工結果を示す説明図である。
上述の通り、標準パスＮＰ１２の連結画像を、移動ベクトルＶ１２に従って移動することによって、車線境界線の位置を合わせることができる。位置合わせの結果が車線境界線Ｌ１３である。
また、この位置合わせ加工によって、標準パスも基準パスの位置に合わせられる。本実施例は、本来、異なる位置を走行した複数のパスを位置合わせすることによって、道路面の画像を生成する。この際、図１２、図１３の比較から分かる通り、対応点に基づいて設定される移動ベクトルに従って、標準パスを平行移動することにより、複数のパス間で、路面標示の位置関係およびパスの位置関係を、非常によく一致させることができる。
【０１０８】
（４）絶対座標の取得：
図１４は路面標示の絶対位置座標の取得方法を示す説明図である。図の例では、標準パスＮＰ１４上の路面テクスチャＴＸ１４２、基準パスＢＰ１４上の路面テクスチャＴＸ１４１を例示した。路面テクスチャＴＸ１４１、ＴＸ１４２内には、それぞれ標示Ｍ１４１、Ｍ１４２が含まれている。路面テクスチャＴＸ１４１、ＴＸ１４２は、それぞれの代表点が、基準パスＢＰ１４上の点Ｐ１４１、および標準パスＮＰ１４上の点Ｐ１４３に一致するように配置される。
【０１０９】
路面テクスチャＴＸ１４１内で、標示Ｍ１４１の頂点Ｐ１４２の位置は、代表点を原点とする相対的な座標（ｘ１４２，ｙ１４２）で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャＴＸ１４１が配置されている位置座標（Ｘ１４１，Ｙ１４１）が分かれば、これに、上述の相対的な座標を加えることによって、標示Ｍ１４１の頂点Ｐ１４２の絶対位置座標を取得することができる。
路面テクスチャＴＸ１４２内も同様に、標示Ｍ１４２の頂点Ｐ１４５の位置は、代表点を原点とする相対的な座標（ｘ１４５，Ｙ１４５）で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャＴＸ１４２が配置されている位置座標（Ｘ１４３，Ｙ１４３）が分かれば、これに、上述の相対的な座標を加えることによって、標示Ｍ１４２の頂点Ｐ１４５の絶対位置座標を取得することができる。
【０１１０】
路面テクスチャＴＸ１４２については、位置合わせ加工によって、移動ベクトルＶ１４に従って、代表点の位置Ｐ１４３が点Ｐ１４４に移動したとする。このとき、位置合わせ後の点Ｐ１４４の絶対位置座標は、移動前の点Ｐ１４３の位置座標（Ｘ１４３，Ｙ１４３）に、移動ベクトルＶ１４の成分（ＶＸ１４，ＶＹ１４）を加えることで得ることができる。更に、こうして得られた点Ｐ１４４の絶対位置座標に対して、点Ｐ１４５の相対的な座標（ｘ１４５，Ｙ１４５）を加えれば、位置合わせ加工後の標示Ｍ１４２の頂点Ｐ１４５の絶対位置座標を取得することができる。
ここでは、路面テクスチャ内の標示Ｍ１４１，Ｍ１４２の頂点について絶対位置座標を取得する方法を示したが、路面テクスチャ内の任意の点は、それぞれ路面テクスチャの代表点を基準とする相対的な座標で特定可能であるから、同様の方法によって任意の点の絶対位置座標を取得することが可能である。
【０１１１】
Ｃ５．透明化ポリゴン設定処理：
（１）処理概要：
図１５は透明化ポリゴン設定処理の概要を示す説明図である。透明化ポリゴン設定処理は、重ねられた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定することによって、隣接するパスに対応する正射画像同士が重なり合っている部分で、上側の正射画像の一部を透明化して、下側の正射画像を透視可能とする処理である。
図の中央に、正射画像Ｐ１５２の上に正射画像Ｐ１５１が重ねられている様子を斜視図的に示した。下側の正射画像Ｐ１５２には、横断歩道Ａ１５４が分断された状態で含まれており、停止線Ａ１５３が完全な状態で含まれている。上側の正射画像Ｐ１５１には、横断歩道Ａ１５２が完全な形で含まれており、停止線Ａ１５１が分断された状態で含まれている。それぞれ分断された部分を、破線で囲んで示した。
この状態で正射画像Ｐ１５１、Ｐ１５２を重ねると、左側に示したように表示される。つまり、両者が重なった部分では、上側の正射画像Ｐ１５１の画像のみが表示されるため、横断歩道Ａ１５２は完全な状態で表示されるが、停止線Ａ１５１は分断された状態で示されてしまう。
【０１１２】
仮に、正射画像Ｐ１５１、Ｐ１５２の上下関係を変えたとすれば、今度は、停止線Ａ１５３は完全な状態で表示することができるが、横断歩道Ａ１５４が分断された状態で表示されることになる。このように、正射画像Ｐ１５１、Ｐ１５２の上下関係だけでは、横断歩道、停止線の双方を完全な状態で表示させることはできない。
そこで、本実施例では、透明化ポリゴンＰＯＬ１５を設定する。この例では、上側の正射画像Ｐ１５１において、分断されている停止線Ａ１５１を覆うように設定した例を示した。透明化ポリゴンＰＯＬ１５内では、上側の正射画像Ｐ１５１は透過した状態で表示される。従って、図の右側に示すように、正射画像Ｐ１５１、Ｐ１５２を重ねた状態では、透明化ポリゴンＰＯＬ１５の内部では、下側の正射画像Ｐ１５２が表示され、その他の部分では、上側の正射画像Ｐ１５１が表示される。この結果、下側の正射画像Ｐ１５２に含まれる停止線Ａ１５３と、上側の正射画像Ｐ１５１に含まれる横断歩道Ａ１５２が表示され、停止線および横断歩道の双方を完全な形で表示することができる。
【０１１３】
（２）フローチャート：
図１６は透明化ポリゴン設定処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した透明化ポリゴン設定部２２１の処理に相当する。
処理を開始すると、ＣＰＵは、オペレータからの対象道路の指定を入力し（ステップＳ１００）、対象道路に対応する連結画像を入力する（ステップＳ１０２）。対象道路に対して複数のパスが対応している場合には、これらのパスに対応する複数の連結画像が入力される。
【０１１４】
ＣＰＵは、これらの連結画像を表示し、オペレータの操作に基づいて優先パスの指定を入力する（ステップＳ１０４）。優先パスとは、複数のパスのうち路面画像が最も良好なパスをいい、複数のパスの連結画像を重ねる際に最も上に位置するパスをいう。優先パスは、位置合わせ加工で用いられた基準パスとは異なる。基準パスは位置精度が最もよいものを意味したが、位置精度がよいからといって、路面画像が良好とは限らないからである。複数のパス間の連結画像の重ね合わせの上下関係がどのような状態であっても、位置合わせは支障なく行うことが可能であるから、位置合わせ用の基準パスと優先パスとは相互に独立して設定可能である。
本実施例では、優先パスは、オペレータが各パスの連結画像を比較しながら、任意に設定することができる。仮に、路面画像が最も粗いパスを優先パスに指定しても構わない。このような場合には、後述する透明化ポリゴンの設定数が増えるだけのことである。
【０１１５】
優先パスが設定されると、ＣＰＵは、オペレータの操作に従い透明化ポリゴンを設定する（ステップＳ１０６）。
図中に透明化ポリゴンの設定例を示した。この例では、優先パスに沿った路面テクスチャＴＸ１６１と、その他のパスに沿った路面テクスチャＴＸ１６２を示した。
撮影時には矩形の画像が、正射画像変換により、台形になるため、路面テクスチャＴＸ１６１、ＴＸ１６２を配置すると、図示するようにのこぎり刃状になる。のこぎり刃状の部分からは、路面画像の見栄えを落とすとともに、分断された路面画像しか得られないため、完全な路面画像を得るという目的からは不要な部分となる。そこで、図の例では、路面テクスチャＴＸ１６１、ＴＸ１６２が重なり合った部分では、のこぎり刃状になった路面テクスチャＴＸ１６１の左端の部分に透明化ポリゴンＰＯＬ１６１を設定し、のこぎり刃状の部分が表示されないようにしている。
【０１１６】
一方、路面テクスチャＴＸ１６１、ＴＸ１６２が重なりあっていない部分、図の例では、両端の領域Ａ１６１、Ａ１６２の部分には、透明化ポリゴンは設定しない。この部分では、それぞれ路面テクスチャＴＸ１６１、ＴＸ１６２によって得られる画像が、唯一の画像情報となるからである。両端の領域に透明化ポリゴンを設定すると、この部分に含まれる路面画像の情報は活用し得なくなる。本実施例では、このように他の路面テクスチャと重なり合っていない部分には、透明化ポリゴンを設定しないようにすることで、路面テクスチャに含まれる路面画像の情報を有効活用できるようにした。
かかる設定は、単に路面テクスチャが重なっていない部分を避けて、オペレータが透明化ポリゴンを設定するという運用によって実現してもよいが、透明化ポリゴンの設定処理（ステップＳ１０６）において、透明化ポリゴンの設定位置を制限するようにしてもよい。つまり、路面テクスチャが重なり合っている部分についてのみ、オペレータによる透明化ポリゴンの設定操作を受け付けるようにしてもよい。
【０１１７】
路面テクスチャＴＸ１６１によって隠されている標示がある場合には、オペレータはその標示が視認できるように透明化ポリゴンを設定する。図の例では、矢印の標示を覆うように、透明化ポリゴンＰＯＬ１６２が設定されている例を示した。矢印の標示は、テクスチャＴＸ１６１の下側に配置されているテクスチャに含まれている画像である。
このように標示を覆う透明化ポリゴンＰＯＬ１６２を設定するためには、一旦、路面テクスチャＴＸ１６１を他の路面テクスチャよりも下側に位置するように上下関係を変更したり、路面テクスチャＴＸ１６１を非表示としたりすればよい。これらの操作によって、路面テクスチャＴＸ１６１に隠された標示を視認可能な状態にした上で、その標示を覆うように透明化ポリゴンＰＯＬ１６２を設定し、路面テクスチャＴＸ１６１の表示を元に戻せばよい。
以上の処理によって、透明化ポリゴンの設定が終わると、ＣＰＵは、設定結果を出力して、透明化ポリゴン設定処理を終了する。
【０１１８】
（３）処理例：
図１７は透明化ポリゴンを設定する前の道路画像例を示す説明図である。この例では、パスＰ１７１、Ｐ１７２の２本に沿って得られた連結画像の位置合わせを行って生成された道路画像を示した。パスＰ１７２の連結画像と、パスＰ１７１の連結画像とで、のこぎり刃状の両端の形状が逆向きになっているのは、これらのパスＰ１７１，Ｐ１７２を道路面撮影システム１００の車両が走行する方向が逆だからである。
【０１１９】
パスＰ１７２の連結画像が、パスＰ１７１の連結画像と重なっている部分では、パスＰ１７２の連結画像の端部Ｂ１７ののこぎり刃状の境界が現れており、道路画像の画質を劣化させている。ただし、図１７では、図示の都合上、のこぎり刃状の輪郭を付して端部Ｂ１７の形状を強調してある。
また、パスＰ１７２の路面画像が端の方で不鮮明なため、例えば、領域Ａ１７１では横断歩道の縞模様が歪んでいる。領域Ａ１７２では、停止線が分断された状態となっている。領域Ａ１７３では、路線バス等優先通行帯（いわゆるバスレーン）であることを示す「バス専用」の文字が読めない程に崩れている。領域Ａ１７４では、破線状の車線境界線が途中で分断された状態となっている。
【０１２０】
これらの影響を回避するため、図１７では、領域Ａ１７１〜Ａ１７４および端部Ｂ１７を包含する透明化テクスチャＰＯＬ１７を図中の一点鎖線のように設定した。
このように透明化ポリゴンＰＯＬ１７を設定すると、パスＰ１７２側の路面テクスチャは、透明化ポリゴンＰＯＬ１７の内部では透視状態となり、下側に配置されたパスＰ１７１側の路面テクスチャが視認されるようになる。
【０１２１】
図１８は透明化ポリゴンの設定後の道路画像例を示す説明図である。上述の透明化ポリゴンの作用により、領域Ａ１８１では、下側の画像が表示されるため、図１７で示した横断歩道の分断状態が解消される。領域Ａ１８２でも同様に、停止線が完全な状態で表示される。また、領域Ｂ１８に例示するように、路面テクスチャの端部ののこぎり刃状の輪郭は視認されなくなり、道路画像全体の画質が向上する。
領域Ａ１８３では、バス専用の文字が、はっきりと判読可能な状態となる。領域Ａ１８４では、車線境界線が完全な状態で表示される。
このように、本実施例では、透明化ポリゴンを設定することにより、道路画像の画質を向上させることができるとともに、道路面の標示の画質も向上させることができる。
【０１２２】
Ｄ．自動位置合わせ処理：
以上の処理では、オペレータが対応点を指示することによって位置合わせ加工を行う例を示した(図８のステップＳ４０参照）。
連結画像の画像処理によって、対応点を自動で指定することができれば、位置合わせ加工を自動で行うことが可能である。以下では、位置合わせを自動で行うための処理について説明する。位置合わせを自動で行うか、手動で行うかは、実行時のメニュー等でオペレータが選択するようにしてもよいし、自動での位置合わせを行った後、この処理がうまくいかなかった連結画像を対象として、手動での位置合わせを行うようにしてもよい。
また、本実施例における自動位置合わせ処理は、オペレータが一切介入しない全自動の処理として構成してもよいし、必要に応じてオペレータが介入する半自動の処理として構成してもよい。
【０１２３】
図１９は自動位置合わせ処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した自動位置合わせ処理部２２２の処理に相当する。オペレータの指示に応じて、自動位置合わせ処理と位置合わせ加工（図８）とのいずれか一方を行うようにしてもよいし、位置合わせ加工（図８）に先だって、行うようにしてもよい。
本実施例では、路面標示地図生成装置２００の画像処理の負荷を抑制するため、自動位置合わせ処理は、地図を所定サイズのメッシュに分割し、メッシュごとに行うものとした。こうすることによって、１回の処理で扱う連結画像を一定サイズに抑え、画像処理の負荷が過大となることを回避できる。また、各連結画像を共通のメッシュで分割するため、分割された画像データを管理しやすくなる利点があるからである。
【０１２４】
連結画像は、例えば、パスに沿って所定の距離ごとに分割する方法も可能である。しかし、かかる方法では、異なるパスに沿って生成された連結画像間では、分割したピースが統一できないことになり、特徴点同士の対応付けも困難となる。本実施例では、連結画像の位置とは無関係に設定されたメッシュ、即ち複数パスの連結画像に対して共通のメッシュを用いることにより、各連結画像を分割したピース間の対応づけなどのデータ管理が容易となる利点がある。
【０１２５】
処理を開始すると、ＣＰＵは処理対象となるメッシュ、即ち対象メッシュ内のパス、連結画像を読み込む（ステップＳ２００）。この処理によって、連結画像はメッシュ単位に分割されることになる。
ＣＰＵは、読み込んだ連結画像に対して、画像前処理を行う（ステップＳ２１０）。画像前処理とは、対応点を自動的に認識する際に、誤認識の可能性を抑制するための処理である。画像前処理の内容は後述するが、本実施例では、連結画像の両端に生じる、のこぎり刃状のギザギザ部分を削除する処理、横断歩道、分離帯その他を示す縞模様の標示を削除する処理などを行う。
【０１２６】
画像前処理が終了すると、ＣＰＵは処理領域を設定する(ステップＳ２２０）。本実施例では、メッシュ単位で読み込んだ連結画像内に、メッシュよりも小面積の処理領域を設定し、処理領域ごとに処理を実行している。処理領域の位置を順次、移動させて繰り返し処理を行うことによりメッシュの全領域をカバーすることができる。処理領域の設定方法および移動方法については、後述する。
こうして処理領域を設定すると、ＣＰＵはその中で特徴点抽出処理を行う(ステップＳ２３０）。特徴点とは、２つの連結画像間で対応する点を安定的に特定できる点を任意に定義して用いることができる。本実施例では、連結画像から種々のエッジを抽出し、エッジが折れ曲がる点（屈折点）、端点、交点などを特徴点として用いるものとした。
【０１２７】
特に、道路上には白線又は黄線で種々の標示が描かれているため、この標示の輪郭をエッジとして抽出することにより、上述の特徴点を抽出することができる。白線又は黄色線で描かれた白線は、道路面とは異なる色を有しているから、連結画像の各画素の階調値の差異に基づいて、標示部分を抽出することが可能である。
抽出は、ＲＧＢなど種々の色系で行うことが可能である。本実施例では、連結画像を、Ｈ(色相）、Ｓ（彩度）、Ｖ（明度）の色空間に変換した上で、Ｖ（明度）画像を用いて標示領域を抽出した。Ｖ画像は、無彩色で明度だけを成分として有する画像となるため、いわゆるグレースケールの画像である。種々の色空間で抽出を試みた結果、Ｖ画像を用いた場合に標示を最も精度良く抽出できることが見いだされた。
【０１２８】
ＣＰＵは、処理領域の設定（ステップＳ２２０）および特徴点抽出処理（ステップＳ２３０）を、各連結画像に関し、メッシュ全体で特徴点の抽出が完了するまで（ステップＳ２４０）、繰り返し実行する。
こうして特徴点の抽出が完了すると、ＣＰＵは、対応点探索処理を行う（ステップＳ２５０）。これは、連結画像間で、特徴点同士を比較し、対応するもの同士を対応点として関連づける処理である。例えば、抽出された特徴点の座標、連結画像内での複数の特徴点の配置などに基づいて、連結画像間の対応をとることができる。特徴点同士を関連づける処理自体は、周知の画像処理技術であるため、詳細な説明は省略する。
【０１２９】
ＣＰＵは、こうして抽出された対応点のフィルタリング処理を行う（ステップＳ２６０）。対応点探索処理（ステップＳ２５０）では、誤認識された対応点が含まれている可能性があるからである。本実施例の位置合わせ加工は、先に図１０で説明したように、対応点ごとに求まる移動ベクトルを補間することで、各路面テクスチャの位置合わせ用の移動量を設定する。従って、位置合わせ加工には、必ずしも多くの対応点を要しない。種々の処理を行った実験結果からは、数十メートルに１点程度の間隔で得られれば、十分な精度で位置合わせ加工ができることが見いだされた。
対応点のフィルタリング処理の詳細は後述する。本実施例では、上述の観点から、対応点のうち、誤認識の可能性が高いと思われるもの、および対応点の位置精度が低いと考えられるものを削除するものとした。フィルタリング処理は、完全に自動で行う態様の他、オペレータの介入を許す半自動の形で行う方法を採ってもよい。
このように、対応点を減らすことは、抽出された対応点を表示した場合に、オペレータが比較的容易に、誤認識の有無を判断できる利点もある。仮に、多数の対応点が表示されていると、オペレータが、これらの中から、対応点の誤認識を見いだすことは非常に困難となるが、対応点の数が少ない場合には、対応点の位置をそれぞれの連結画像内で比較的容易に認識することができ、背景の画像との関係も考慮しながら、対応関係の正誤を比較的容易に判断することができるようになるからである。
【０１３０】
こうして対応点が決まると、ＣＰＵは連結画像の移動処理を行って（ステップＳ２７０）、自動位置合わせ処理を終了する。連結画像の移動処理は、先に図１０で説明したのと同様である。つまり、設定された対応点ごとに移動ベクトルを設定し、この対応点の移動ベクトルを補間することで、パス上の各点の移動ベクトルを設定する（図１０のステップＳ５２）。そして、この移動ベクトルに従って、各路面テクスチャを移動する（ステップＳ５３）。こうすることで、自動位置合わせ処理によっても、図１２、１３に示したように良好な結果を得ることができる。
以下、上述の自動位置合わせ処理で行う各処理のうち、画像前処理（ステップＳ２１０）、処理領域設定（ステップＳ２２０）、および対応点フィルタリング処理（ステップＳ２６０）について、それぞれ詳細な内容を説明する。
【０１３１】
Ｄ１．画像前処理：
図２０は画像前処理のフローチャートである。自動位置合わせ処理(図１９）のステップＳ２１０に相当する処理であり、対応点を自動的に認識する際に、誤認識の可能性を抑制するための処理である。
処理を開始すると、ＣＰＵは、まずギザギザ除去処理を行う（ステップＳ２１１）。図中に処理概要を模式的に示した。本実施例では、路面テクスチャＴＸ２０をパスにそって配置して連結画像を生成する。路面テクスチャＴＸ２０は、ビデオカメラで撮影した画像を正射変換して得られる画像であり、この変換の過程で、もともとは矩形の画像が台形状に変形される。この結果、路面テクスチャＴＸ２０を配置した連結画像には両端に、ギザギザののこぎり刃状の領域Ａ２０が生じる。ギザギザ除去処理では、領域Ａ２０を削除する処理を行う。
【０１３２】
ギザギザ除去処理には、２つの意義がある。
領域Ａ２０内の、のこぎり刃状の頂点は、それぞれエッジが折れ曲がっている屈折点となるから、特徴点として抽出され易い点である。従って、ギザギザ除去を行わずに、特徴点の抽出を行うと、非常に高い密度で特徴点が多数抽出されることになる。このように高密度で多数の特徴点が抽出されると、特徴点同士の対応関係に誤認識を生じやすい。また、誤認識が生じたときに、オペレータが目視で誤認識を発見しづらくなる。ギザギザ除去処理を行うことにより、こうした弊害を回避することが可能となる。
また、領域Ａ２０は、路面テクスチャの両端の部分である。正射変換して路面テクスチャを生成する際には、画像の左右中央付近に比して、両端では変換時の歪みが大きくなる。路面テクスチャの両端付近の各画素は、これらの歪みの影響で、中央付近よりも、位置精度が低くなる。それぞれの連結画像の位置精度を十分に確保した状態で位置合わせを行うためには、位置精度の高い対応点を用いることが好ましい。ギザギザ除去処理では、領域Ａ２０を削除することにより、予め位置精度が低い特徴点を排除しておくことができるから、位置合わせ時の位置精度の低下を回避することができる。
【０１３３】
図２１はギザギザ除去処理の処理例を示す説明図である。図２１（ａ）には、のこぎり刃状の領域が残存した状態を示した。図中の×印は、抽出された特徴点を表している。のこぎり刃状のエッジの屈折点が多数、特徴点として抽出されていることが分かる。しかし、全ての点が抽出されている訳ではなく、エッジの屈折点の中でも特徴点として抽出されていないものもあれば、屈折点からややずれたところの点が抽出されているものもある。このように特徴点が、不正確かつ高密度で多数抽出されると、対応点を特定する上で誤認識を生じやすい。
図２１（ｂ）は、ギザギザ除去処理後の連結画像の様子を示した。特徴点の抽出は行っていない。連結画像の両端のギザギザ領域を除去することにより、両端がほぼ直線状となっているため、特徴点の抽出を行ったとしても、両端の領域から、図２１（ａ）ほどの多くの特徴点が高密度で抽出されることを回避することが可能となる。
【０１３４】
図２０に戻り、画像前処理の内容を引き続き説明する。
ギザギザ除去処理が完了すると、ＣＰＵは、次に、横断歩道やゼブラを除去する処理を行う。ゼブラとは、説明の便宜上付した名称であり、道路標示のうち横断歩道を除く縞模様をいう。例えば、中央分離帯や、交差点付近に設けられた右左折用の車線への移行領域などに付されている縞模様が挙げられる。
この除去処理を行うため、ＣＰＵは、まずＶ（明度）画像を用いてエッジを抽出する（ステップＳ２１２）。エッジの抽出は、ＲＧＢ色系などで行うこともできるが、Ｈ(色相）、Ｓ（彩度）、Ｖ（明度）の色空間で行った方が、道路標示に使われる白色および黄色の線を精度良く抽出できることが分かったからである。エッジ抽出は、周知の画像処理技術であるため、詳細な説明を省略する。エッジ抽出に当たっては、Ｓｏｂｅｌフィルタその他のフィルタによって、エッジを強調する処理を施してもよい。
【０１３５】
次に、ＣＰＵはエッジ太らせ処理を行う（ステップＳ２１３）。
図２２はエッジ太らせ処理の処理例を示す説明図である。図２２（ａ）は、道路面の標示例を示している。道路には、複数の車線境界線で区画された複数の車線が中央付近に縦方向に横断歩道がある。中央分離帯部分はゼブラとなっている。
図２２（ａ）の上方に、横断歩道の一部を拡大して示した。横断歩道のような縞模様では、拡大図中の×印に示すように、縞模様の角が特徴点として抽出され易い。拡大図中では、１個だけが抽出されている例を示したが、縞模様のそれぞれの角が抽出されるため、多数の特徴点が高密度で抽出されることになる。ゼブラも同様である。このように高密度で抽出された特徴点は、連結画像の両端のギザギザ領域と同じく対応点の誤認識につながる。横断歩道やゼブラの除去処理には、特徴点が高密度で多数抽出される領域を予め排除しておくことにより、対応点の誤認識を低減させるという目的がある。
【０１３６】
図２２（ｂ）には、横断歩道に対してエッジを抽出した状態を示した。エッジ抽出によって、横断歩道の縞模様の輪郭が抽出されることになる。この例では、ほぼ連続的な形状で縞模様が抽出されている状態を示しているが、連結画像の画質や、エッジ抽出の際の設定によっては、それぞれの線分が分断されたような状態で抽出されることもある。エッジ抽出された画像は、２値画像となっている。
図２２（ｃ）は、抽出されたエッジに太らせ処理（「膨脹処理」ともいう）を施した例である。太らせ処理とは、処理対象となる画素に対して、その周囲８画素のいずれかに黒画素がある場合には、処理対象となる画素も黒に置換する処理である。こうすることによって、図示するように、黒画素によって構成される境界線の幅を太くすることができる。
【０１３７】
図２２（ｄ）は、太らせ処理を更に施した例である。このように、太らせ処理を繰り返し施すと、横断歩道の縞模様同士が結合されるようになり、いずれ横断歩道全体が一つの面として認識されるようになる。ここでは、横断歩道を例示したが、ゼブラも同様である。
太らせ処理においては、横断歩道やゼブラが面領域として抽出されるよう、連結画像の解像度に応じて、エッジの太らせ量を予め設定しておけばよい。横断歩道およびゼブラの縞模様の間隔および線の幅は、同等であるため、双方を面領域として抽出するのに適した太らせ量は、比較的容易に設定可能である。
【０１３８】
図２０に戻り、画像前処理について説明する。
ＣＰＵは、エッジの太らせ処理を行った後（ステップＳ２１３）、面積が閾値Ｓｔｈ以下となる領域を、解除する（ステップＳ２１４）。解除とは、抽出した領域から外すことを意味する。その後、ＣＰＵは解除されずに残った領域を連結画像から除去する（ステップＳ２１５）。例えば、横断歩道に対応する面領域の面積が、閾値Ｓｔｈを超える場合には、この面領域は抽出された状態のまま解除されずに残っているから、ステップＳ２１５の処理で除去されることになる。
【０１３９】
上述の閾値Ｓｔｈは、横断歩道およびゼブラから構成される面領域の面積よりも小さく、車線境界線その他の道路標示から構成される面領域の領域よりも小さい範囲で設定する。
道路標示のサイズは一定ではなく道路幅等によっても変動する。閾値Ｓｔｈは、道路標示のサイズの変化も考慮して設定することが好ましい。閾値Ｓｔｈは固定値である必要はなく、道路幅などに応じて、変化させてもよい。
また、閾値Ｓｔｈを半自動で設定するようにしてもよい。例えば、太らせ処理を終えた連結画像内で、オペレータが指定した領域の面積を基準として、その面積に所定の係数を乗じて閾値Ｓｔｈを設定するようにしてもよい。こうすることによって、道路標示の状態に応じて柔軟に閾値Ｓｔｈを設定可能となる利点がある。
【０１４０】
閾値Ｓｔｈの設定値によっては、車線境界線など、横断歩道およびゼブラ以外の道路標示が連結画像から除去される可能性もある。しかし、画像前処理は、対応点の誤認識を避けるために、誤認識を生じやすい特徴点を含む部分を予め除去しておくための処理であるから、横断歩道およびゼブラ以外の道路標示が、多少、連結画像から除去されることがあったとしても構わない。位置合わせに支障がない程度、つまり数十メートルに１点程度の特徴点を抽出できるだけの道路標示が連結画像内に残っていれば足りるからである。
【０１４１】
図２３は面領域の除去例を示す説明図である。図２３（ａ）は、連結画像に対して、エッジの抽出（図２２のステップＳ２１２）および太らせ処理（図２２のステップＳ２１３）を施した状態を示している。領域Ａ２３は、横断歩道に対応する面領域である。領域Ｍ２３は、車線の進行方向規制を示す矢印に対応する面領域である。
図２３（ｂ）は、図２２のステップＳ２１４の処理を施した状態、つまり閾値Ｓｔｈ以下の領域を解除した状態を示している。この例では、横断歩道に対応する領域Ａ２３は解除されずに残っている。矢印に対応する領域Ｍ２３は面積が小さいため、解除されている。領域Ｍ２３以外の矢印や車線境界線の一部も、同様に解除されている。停止線や車線境界線の中には、抽出されたままのものも存在するが、先に説明した通り、この状態で処理を継続しても構わない。
図２３（ｃ）は、図２２のステップＳ２１５の処理を施した状態、つまり抽出されている画像を除去した状態を示している。この処理によって、横断歩道の領域Ａ２３が除去されることが分かる。同様に、車線境界線や停止線の一部に対応する部分も除去されている。しかし、車線境界線の一部や矢印などの道路標示は除去されずに残っているため、これらのエッジに基づいて特徴点の抽出が可能な状態となっている。
【０１４２】
このように画像前処理を施すことによって、対応点の誤認識を招きやすい部分、即ち特徴点が高密度で多数抽出されやすい部分を予め連結画像から除去することができる。また、ギザギザ領域の除去処理（図２０のステップＳ２１１）には、連結画像両端の位置精度が低い部分を除去しておくことによって、位置精度が低い特徴点が抽出されるのを回避できるという利点もある。
【０１４３】
Ｄ２．処理領域設定：
図２４は処理領域設定の様子を模式的に示す説明図である。
本実施例では、先に説明した通り、メッシュに分けて特徴点の自動抽出を行う。図２４の太線で示した外枠ＭＥ２４が、メッシュを表している。メッシュ内に、処理対象となる連結画像Ｒ２４を模式的に示した。
特徴点の自動抽出は、メッシュ内に設定された処理領域ＰＡ２４（図中のハッチングを付した領域）を単位として行う。この例では、図示する通り、メッシュＭＥ２４を、７×７のマスに分割し、３×３の配列で処理領域ＰＡ２４を設定した。
本実施例では、処理領域ＰＡ２４の位置を順次、移動させながら処理を行う。図２４（ａ）〜図２４（ｆ）には処理領域ＰＡ２４の移動例を示した。図２４（ａ）〜図２４（ｃ）に示すように、メッシュＭＥ２４内の最下段から３段のマスを用いつつ、１マスずつ右側に処理領域ＰＡ２４を移動させる。図２４（ｃ）の後も、メッシュＭＥ２４の右端に処理領域ＰＡ２４が到達するまで、同様に移動させる。
【０１４４】
次に、図２４（ｄ）〜図２４（ｆ）に示すように、メッシュＭＥ２４内の下から２〜４段目のマスを用いつつ、１マスずつ右側に処理領域ＰＡ２４を移動させる。図２４（ｆ）の後も、メッシュＭＥ２４の右端に処理領域ＰＡ２４が到達するまで、同様に移動させる。
このように処理領域ＰＡ２４を徐々に移動させると、連結画像Ｒ２４と処理領域ＰＡ２４との位置関係を相対的に変化させることができる。図２４（ａ）では、処理領域ＰＡ２４内に連結画像Ｒ２４は、わずかしか存在していない。この状態では、位置合わせを精度良く行うのに十分な対応点を抽出することはできない。一方、図２４（ｃ）では、処理領域ＰＡ２４内に、連結画像Ｒ２４が十分に含まれている。従って、位置合わせを精度良く行うに足りるだけの対応点を抽出することが可能である。
【０１４５】
処理領域の設定は、位置合わせ用の対応点を設定するために行う処理である。つまり、図２４（ａ）〜図２４（ｆ）に示す処理領域ＰＡ２４は、特徴点の抽出、対応点の設定に用いられるだけであり、処理領域ＰＡ２４を単位として連結画像Ｒ２４の移動処理が行われる訳ではない。従って、図２４（ａ）に示すように、処理領域ＰＡ２４内に連結画像Ｒ２４が十分に存在せず、特徴点を十分に抽出できない位置関係となる場合が生じたとしても、他の位置関係（例えば、図２４（ｃ））で、十分に特徴点の抽出、対応点の設定ができれば、位置合わせ処理は支障なく行うことができる。
連結画像Ｒ２４は、道路の形状およびメッシュＭＥ２４との相対的な位置関係に応じて、処理領域ＰＡ２４との位置関係が変化する。従って、処理領域ＰＡ２４を予め固定したサイズ、位置で用いると、処理対象となる道路に応じて、対応点の抽出に適した位置関係となったり、不適切な位置関係となったりする。これに対し、処理領域ＰＡ２４を移動させる場合には、いずれかの位置関係では特徴点の抽出を適切に行うことが可能となる。従って、道路とメッシュＭＥ２４との位置関係に依らず、安定的に特徴点を抽出することができる利点がある。
【０１４６】
図２４では、処理領域が順次、移動する様子を示したが、図２５に示す処理領域の設定例では、この処理領域を方眼状に配置した状態を例示した。図２５（ｂ）は、図２５（ａ）に対して処理領域を相対的に右側に移動した状態を表している。
図２５（ａ）では、処理領域Ｔ２５１、Ｔ２５２には、連結画像がごくわずかしか含まれておらず、対応点を精度良く設定することができない状態となっている。これに対し、処理領域が図２５（ｂ）よりも右側にずれた図２５（ｂ）の状態では、図２５（ａ）で処理領域Ｔ２５１、Ｔ２５２に分属していた画像が、一つの処理領域Ｔ２５３に含まれる。従って、処理領域Ｔ２５３からは対応点を良好に設定することが可能となる。
このように、処理領域を連結画像に対して相対的に移動させることによって、道路とメッシュとの位置関係に依らず、安定的に特徴点の抽出、対応点の設定を行うことが可能となる。
【０１４７】
Ｄ３．対応点フィルタリング処理：
図２６（ａ）には、基準パスＢＰ２６および標準パスＮＰ２６にそれぞれ沿った連結画像を示した。図中の□印は、それぞれのパスの連結画像に対して設定された対応点を表している。矢印は、それぞれの対応点に基づいて定まる移動ベクトルである。つまり、対応点について、標準パスＮＰ２６１の連結画像の位置を基準パスＢＰ２６に合わせるための移動量を表している。
移動ベクトルは、標準パスＮＰ２６１の対応点を始点とし、基準パスＢＰ２６の対応点を終点とするベクトルである。図の例では、このようにして移動ベクトルを設定した結果、矢印Ａ２６のみが左向きとなり、他の移動ベクトルは右向きとなっていることが分かる。図中には他の対応点も存在するが、図の煩雑化を回避するため、４つの対応点についてのみ移動ベクトルを示した。
【０１４８】
図２６（ｂ）は、図２６（ａ）の状態で位置合わせを行った結果を示す説明図である。移動ベクトルに従って、標準パスＮＰ２６１の各点および路面テクスチャを移動する。標準パスＮＰ２６１上で、対応点と対応点の間の点については、移動ベクトルを補間して、各点での移動ベクトルを設定する。矢印Ａ２６の移動ベクトルのみが他の移動ベクトルと方向が異なっているため、補間した各点の移動ベクトルも不自然に変化する。この結果、図２６（ｂ）の領域Ｂ２６に示すように、位置合わせ後のパスが不自然に屈曲してしまう。また、横断歩道の縞模様がずれていることから分かる通り、連結画像同士もきちんと位置合わせされてはいない。
このような現象は、矢印Ａ２６で示した移動ベクトルを用いて位置合わせを行ったことが原因である。従って、かかる現象を回避するためには、予め矢印Ａ２６に対応する対応点を排除しておくことが好ましい。このように、適切な位置合わせを実現するために、用いるべき対応点を取捨選択する処理を、対応点フィルタリング処理と呼ぶ。
【０１４９】
図２７は自動位置合わせ処理（図１９）のステップＳ２６０に相当する処理である。
処理を開始するとＣＰＵは、対応点探索結果を入力する（ステップＳ２６１）。対応点は、各連結画像から抽出された特徴点同士を比較し、対応づけた点をいう。
ＣＰＵは次に、路面テクスチャの両端領域の対応点を除去する（ステップＳ２６２）。図中にこの処理の内容を模式的に示した。
路面テクスチャＴＸ２７が配置された連結画像から、Ｐ２７１〜Ｐ２７４の対応点が設定されたとする。この処理では、パスを含む幅Ｗ２７の領域Ａ２７を規定し、この領域から外れる対応点を両端領域の対応点として除去するものとした。領域Ａ２７を規定する幅Ｗ２７は任意に設定可能である。幅Ｗ２７を大きくとれば、両端領域の対応点を十分に排除することができないし、幅Ｗ２７を小さくとれば、ほとんどの対応点が除去されてしまい、位置合わせに使用する対応点を十分に残すことができなくなる。幅Ｗ２７は、これらの両面を考慮して、任意の値を設定すればよい。
また、幅Ｗ２７は固定値とする必要はなく、例えば、道路幅に応じて変化させてもよい。また、道路幅の○％というように、道路幅を基準とする値としてもよい。
【０１５０】
次に、ＣＰＵは統計的に外れる対応点を除去する（ステップＳ２６３）。本実施例では各移動ベクトルの向きおよび大きさが統計的に外れているものを除去するものとした。
図中に処理例を示した。パスＮＰ２７に沿って、対応点ごとに移動ベクトルＱ２７１〜Ｑ２７５が得られているとする。下側に、各移動ベクトルの大きさおよび向きをグラフにして示した。パスＮＰ２７の上向きを正、下向きを負として向きを表すとともに、大きさをグラフの高さで表した。
図示する通り、移動ベクトルＱ２７２は負の向きとなり、他の移動ベクトルＱ２７１、Ｑ２７３〜Ｑ２７５は正の向きとなる。また、移動ベクトルＱ２７１，Ｑ２７３，Ｑ２７４はほぼ同じ大きさであり、移動ベクトルＱ２７５は他の移動ベクトルよりも大きい。ＣＰＵは、これらの結果に基づき、向きが異なる移動ベクトルＱ２７２および大きさが異なる移動ベクトルＱ２７５を除去する。
向きについては、図中の例のように正負で評価する他、パスＮＰ２７の進行方向を基準とする角度で評価してもよい。
【０１５１】
統計的な除去を行う際、除去するか否かの判断基準は任意に設定可能である。例えば、移動ベクトルの向きおよび大きさの各平均値との偏差が所定値以上のものを除去するようにしてもよいし、このときの所定値は任意の値としてもよいし、標準偏差を用いて設定してもよい。
統計的な除去を終えると、ＣＰＵはオペレータの操作に従って、標示（ペイント）近傍の対応点を選択する処理を行う（ステップＳ２６４）。ステップＳ２６２、Ｓ２６３の処理で対応点のフィルタリングが十分に行われている場合には、この処理は省略しても差し支えない。
【０１５２】
図中には選択例を示した。対応点Ｒ２７１，Ｒ２７２は標示とは無関係の点である。対応点Ｒ２７３、Ｒ２７４は、それぞれ標示の角である。本実施例では、これらの対応点Ｒ２７１〜Ｒ２７４は自動位置合わせ処理（図１９）のステップＳ２５０で設定されている。
オペレータは、設定された対応点ＰＲ２７１〜Ｒ２７４が表示された画面内で、マウス等のポインティングデバイスによって使用する対応点を選択する。例えば、対応点Ｒ２７１、Ｒ２７２は、標示と無関係の点であるため、オペレータは連結画像間で、適切に対応関係が設定されているか否かを判断しづらい。そこで、オペレータは、このような点については位置合わせに使用する対応点の候補から排除する。一方、対応点Ｒ２７３、Ｒ２７４は、道路標示の角であるため、連結画像間で適切に対応関係が設定されていることを比較的容易に確認することができる。そこで、オペレータは、対応点Ｒ２７３、Ｒ２７４について、対応関係の適否を判断し、適切に対応関係が設定されていると判断した場合には、位置合わせで使用する候補として選択する。
【０１５３】
このようにオペレータが目視確認して対応点を指定可能とすることにより、対応点の誤認識を抑制でき、位置精度が高いと考えられる適切な対応点を位置合わせに利用することが可能となる。
本実施例では、ＣＰＵによって自動的に設定された対応点の中から、位置合わせに使用するものを選択する例を示した。この画面内で、オペレータがポインティングデバイスを操作することで、新たな対応点を指定可能としてもよい。
【０１５４】
以上で説明した実施例の道路面撮影システム１００および路面標示地図生成装置２００によれば、道路を走行しながら取得したフレーム画像を正射変換して得られた路面テクスチャを配置することにより、走行軌跡に沿って位置精度のよい連結画像を得ることができる。更に、複数のパスに沿って得られた連結画像同士を、位置合わせして合成することにより、道路全体の路面画像を得ることができる。この際、画像を撮影した際の各パスの位置精度が最も高いものを基準パスとして、他のパスをこの基準パスに合わせる方法を採ることにより、全体の位置精度を確保しつつ路面画像を生成することができる。
本実施例では、各パスの連結画像は、路面テクスチャを配置するまでに留め、これらを一枚の画像として合成していない。従って、路面テクスチャ単位で配置を平行移動することによって、複数パスの連結画像を容易に合成可能である。
【０１５５】
本実施例では、各パスの連結画像の生成、および複数パスの連結画像の合成のいずれの処理も、路面テクスチャに対するアフィン変換を施す必要がなく、単純な平行移動で行う。従って、複雑な画像処理に伴う画質の劣化を回避することができ、路面標示が鮮明な状態で表示された路面画像を得ることが可能である。また、平行移動で行うため、路面テクスチャ内の代表点を基準とする相対的な座標系は、連結画像の生成および合成の前後で維持される。この結果、代表点の絶対位置座標が得られれば、路面テクスチャ内の各点の絶対位置座標を容易に取得することが可能となり、路面標示の絶対位置座標を取得することも可能となる。
【０１５６】
本実施例では、連結画像を構成する複数の路面テクスチャが重なっている領域では、生成された路面画像に対して、透明化ポリゴンを設定可能である。こうすることにより、重なり合っている路面テクスチャに含まれる路面標示の中で、最も鮮明なものを有効活用することが可能となる。従って、路面テクスチャを合成して得られる路面画像の画質を向上させることが可能である。
【０１５７】
更に、本実施例では、対応点を自動的に設定し、位置合わせを行うことが可能であるため、オペレータの負荷を軽減することができる。また、特徴点の抽出に先立って画像前処理を行うことにより、位置精度の悪い特徴点や、対応関係に誤認識が生じやすい特徴点を予め排除することができるため、対応点の設定精度を向上することができる。また、対応点の設定後に、フィルタリングを行うことによって、不適切に設定された対応点を排除することができ、位置合わせの精度向上を図ることもできる。
【０１５８】
Ｅ．他の実施例：
Ｅ１．フレームデータ読み込み処理：
上記実施例では、画像データは、パスごとに処理対象となる道路面を撮影した部分のみが記録されているものとして、道路画像の生成方法を説明した。しかし、実際に道路面の撮影を行う場合には、次に示すように処理対象となる道路のみを撮影できるとは限らない。図２８に示すように、リンクＬ２８１に沿う道路Ｒ２８１の道路画像を生成する場合を考える。この場合、処理対象となる道路Ｒ２８１に沿って、直線状に車線を変えながら必要な回数だけ走行するのが無駄のない理想的な走行経路となる。
【０１５９】
しかし、例えば、道路Ｒ２８１に駐停車する場所がない場合には、他の道路又は駐車場などで撮影開始の準備を行った上で撮影を開始しなくてはならない。また、道路Ｒ２８１上に工事などで通行できない箇所があれば、迂回しなくてはならない。この結果、実際の走行経路は、図中に破線および実線で示すように道路Ｒ２８１以外の道路も含んだ経路となる。
この例では、道路Ｒ２８１以外の場所で撮影準備を行い、矢印Ｐ２８１に沿って道路Ｒ２８１に進入している。その後、矢印Ｐ２８２の部分で道路Ｒ２８１の撮影を行う。しかし、工事などの事情によって矢印Ｐ２８３のように迂回する必要が生じている。そして、矢印２８４に沿って、道路Ｒ２８１を横断した後、更に、矢印Ｐ２８５に沿って再度迂回をし、矢印Ｐ２８６に沿って、道路Ｒ２８１の残り部分の撮影を行っている。
このように実際の処理対象となる道路Ｒ２８１を撮影した画像（矢印Ｐ２８２、Ｐ２８４、およびＰ２８６の部分）と、その他の道路を撮影した画像（矢印Ｐ２８１、Ｐ２８３、Ｐ２８５の部分）とが混在した状態で撮影データが取得されるのが通常である。
そこで、本実施例では、上記実施例の前処理として、このように処理対象となる道路と、そうでない処理対象外となる道路とが混在して撮影された画像データから、処理対象となる道路を撮影した部分を切り出す方法について説明する。
【０１６０】
データの切出は、例えば、撮影時に矢印Ｐ２８２、Ｐ２８４、Ｐ２８６に入った時点で、オペレータが有用なデータの開始を示すマーカを、画像データや位置座標データに記録可能とし、矢印Ｐ２８２、Ｐ２８４、Ｐ２８６の終端では終了を示すマーカを記録可能としておいてもよい。こうすることにより、路面標示地図生成装置は、これらのマーカに基づいて有用なデータを切り出すことができる。ただし、撮影時にオペレータがマーカの記録を誤ると、この方法は利用できない。また、図２８の走行経路で取得した画像データを、当初の計画と異なり、矢印Ｐ２８１の部分の道路画像の生成にも利用しようとすると、マーカが何の役にも立たないという点で柔軟性に欠けるという短所もある。本実施例では、このように撮影時にオペレータの操作を要することなく、取得された画像データ等を事後的に処理することで、道路画像の生成に有用なデータを切り出す方法を示す。
【０１６１】
本実施例の方法では、道路Ｒ２８１に対応する切出用ポリゴンＡ２８１を設定する。そして、取得された画像データに対応する位置座標データの位置座標が、この切出用ポリゴンＡ２８１内にある部分のみを切り出す。
図の例では、矢印Ｐ２８２、Ｐ２８４、Ｐ２８６の部分が切り出されることになる。画像データおよび位置座標データは、時系列的に連続して記録されているから、矢印Ｐ２８２、Ｐ２８４、Ｐ２８６の部分は、それぞれ連続したデータとなっている。本実施例では、これらの連続した一連のデータを、それぞれパスＰ２８２、Ｐ２８４、Ｐ２８６として記録する。こうして記録することにより、各パスのデータは、上記実施例で示した道路画像の生成処理に供することが可能となる。
【０１６２】
切出用ポリゴンＡ２８１は、オペレータが指定してもよいが、本実施例では、リンクＬ２８１に基づいて自動生成するものとした。次に、切出用ポリゴンＡ２８１を自動生成する場合を例にとって、画像データおよび位置座標データの切出処理（以下、「フレームデータ切出処理」ともいう）の内容を説明する。
（１）フレームデータ切出処理：
この処理は、上記実施例で説明した連続画像生成処理（図７）の前処理である。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理であり、図２に示したデータ入力部２０４の機能とすることができる。
【０１６３】
図２９に示すように、フレームデータ切出処理を開始すると、ＣＰＵは、道路ネットワーク地図データベースから、オペレータが指定した対象リンク列を読み込む（ステップＳ２９１）。道路ネットワーク地図データベースとは、経路探索用に道路をノードおよびリンクの結合で表したものである。各道路はリンクと呼ばれる線分で表現され、リンクとリンクとの接続地点はノードと呼ばれる交点で表現される。各リンクおよびノードは、緯度経度などの座標で表される位置データおよび種別などの属性データを含んでいる。
ＣＰＵは、指定された対象リンク列に基づき、基本ポリゴンおよび補助ポリゴンを生成する（ステップＳ２９２）。図２９におけるＬ２９１等の線分がリンク列を表しており、Ｎ２９ｓ等の点がノードを表している。
【０１６４】
基本ポリゴンとは、リンクを対称軸とする矩形のポリゴンである。
リンク列の途中に位置するリンクＬ２９１等では、それぞれのリンクを、リンクに直交する方向両側に所定幅Ｗだけ平行移動することで矩形のポリゴンＰ２９１を生成する。幅Ｗは、対象となる道路をカバーできる範囲で任意に設定可能である。例えば、対象となる道路における半幅分の１．１倍程度の値とすることができる。幅Ｗは、リンクの属性として付与されている道路幅データから自動で抽出することもできる。
リンク列のスタートのリンクＬ２９ｓおよび終端のリンクＬ２９ｅでは、リンクに直交する方向にリンクを平行移動させる他、リンク列の端点方向にも延伸して基本ポリゴンを形成する。例えば、スタートのリンクＬ２９ｓでは、リンク列の端点ノードＮ２９ｓ側に延伸して基本ポリゴンＰ２９ｓを生成する。終端のリンクＬ２９ｅでは、リンク列の終点ノードＮ２９ｅ側に延伸して基本ポリゴンＰ２９ｅを生成する。延伸させる量は、やはり対象となる道路を基本ポリゴンがカバーできる範囲で任意に設定可能である。例えば、交差点部分をカバーできるようにするため、対象となる道路における半幅分の１．１倍程度の値とすることができる。
【０１６５】
補助ポリゴンは、図２９中にハッチングで示したように、隣接する２つの基本ポリゴンの接続部分に生じる凹部を埋めるためのポリゴンである。図２９の例では、ノードＮ２９１で接続されるリンクＬ２９ｓ、Ｌ２９１のなす角における鈍角側にできる、基本ポリゴンＰ２９ｓ、Ｐ２９１の間に生じる凹部を埋めるために補助ポリゴンＱ２９１が生成されている。また、終端のリンクＬ２９ｅ側では、同様に鈍角側に補助ポリゴンＱ２９２が生成されている。
【０１６６】
（２）補助ポリゴンの生成方法：
図３０に示すように、ｘ、ｙの２次元平面上に配置したときに第１のリンクＬ１、第２のリンクＬ２がｘ軸となす角度をθ１、θ２とし、両者のなす角度をθ（０≦θ＜１８０°）とする。補助ポリゴンは、θ１、θ２および２つのリンクの曲がり（θ）の大きさに応じてケースＡ〜Ｄの４通りに分類して求める。
ケースＡ：θ１＞θ２、曲り大（０°≦θ＜１５０°）
このケースは、リンクＬ１から見てリンクＬ２が右側に折れるとともに、その曲りが比較的大きく、基本ポリゴンの間には大きな隙間が生じるケースに当たる。このケースでは、大きな隙間を埋めるよう、図示するように、リンクＬ１、Ｌ２の接続部分に点ｑ０、ｑ１，ｑ２の３点を発生させる。
【０１６７】
点ｑ０は、リンクＬ１、Ｌ２の鈍角側のなす角度の２等分線上で、接続ノードＮ０から距離Ｗだけ離れた点である。
点ｑ１は、リンクＬ１の基本ポリゴンにおいて点ｑ０に最も近い頂点と、点ｑ０との間に設けられる点である。基本ポリゴンの頂点および点ｑ０と、ノードＮ０とをそれぞれ結ぶ線のなす角の２等分線上で、接続ノードＮ０から距離Ｗだけ離れた点とした。
点ｑ２は、点ｑ１と同様、リンクＬ２の基本ポリゴンにおいて点ｑ０に最も近い頂点と、点ｑ０との間に設けられる点である。
【０１６８】
補助ポリゴンは、図２９中のポリゴンＱ２９２に示すように、点ｑ０〜ｑ２の３つの点、リンクＬ１、Ｌ２の基本ポリゴンの頂点、および接続ノードＮ０の６点で構成される。ノードＮ０の座標を（ｘ０、ｙ０）とすると、点ｑ０〜ｑ２のいずれの座標も（ｘ０＋Ｗcosα，ｙ０＋Ｗsinα）の形で表すことができる。但し、αの値は、それぞれ次の通りである。
点ｑ０の場合…α＝（θ１＋θ２＋π）／２；
点ｑ１の場合…α＝（３θ１＋θ２＋２π）／４；
点ｑ２の場合…α＝（θ１＋３θ２＋２π）／４；
なお、図中では混乱を避けるため、点ｑ１の場合をα１、点ｑ２の場合をα２として示した。
【０１６９】
ケースＢ：θ１＞θ２、曲り小（１５０°≦θ＜１８０°）
このケースは、リンクＬ１から見てリンクＬ２が右側に折れるとともに、その曲りが比較的小さく、基本ポリゴンの間には小さな隙間が生じるケースに当たる。このケースでは、図示するように、リンクＬ１、Ｌ２の接続部分に点ｑ０のみを発生させる。点ｑ０の座標は、ケースＡの点ｑ０と同じである。
【０１７０】
ケースＣ：θ１＜θ２、曲り大（０°≦θ＜１５０°）
このケースは、リンクＬ１から見てリンクＬ２が左側に折れるとともに、その曲りが比較的大きく、基本ポリゴンの間には大きな隙間が生じるケースに当たる。このケースでは、大きな隙間を埋めるよう、図示するように、リンクＬ１、Ｌ２の接続部分に点ｑ０、ｑ１，ｑ２の３点を発生させる。点ｑ０〜ｑ２は、ケースＡと同様に定義される。ただし、これらの点は鈍角側に生成するため、ケースＡではリンクＬ１からみて左側に生成したのに対し、ケースＣではリンクＬ１からみて右側に生成する点で相違する。ノードＮ０の座標を（ｘ０、ｙ０）とすると、点ｑ０〜ｑ２のいずれの座標も（ｘ０＋Ｗcosα，ｙ０＋Ｗsinα）の形で表せる。但し、αの値は、それぞれ次の通りである。
点ｑ０の場合…α＝（θ１＋θ２−π）／２；
点ｑ１の場合…α＝（３θ１＋θ２−２π）／４；
点ｑ２の場合…α＝（θ１＋３θ２−２π）／４；
【０１７１】
ケースＤ：θ１＜θ２、曲り小（１５０°≦θ＜１８０°）
このケースは、リンクＬ１から見てリンクＬ２が左側に折れるとともに、その曲りが比較的小さく、基本ポリゴンの間には小さな隙間が生じるケースに当たる。このケースでは、図示するように、リンクＬ１、Ｌ２の接続部分に点ｑ０のみを発生させる。点ｑ０の座標は、ケースＣの点ｑ０と同じである。
【０１７２】
（３）切出用ポリゴンの合成：
図２９に戻り、フレームデータ切出処理について説明する。
基本ポリゴンおよび補助ポリゴンの生成が完了すると、ＣＰＵは、これらのポリゴンを合成して、切出用ポリゴンＣＰ２９を生成する（ステップＳ２９３）。
ポリゴンの一部拡大図（図３１）に示すように、合成処理は、基本ポリゴンおよび補助ポリゴンの構成点が、右回りに格納されていることが前提となっている。左回りに格納されている場合には、以下で説明する手順を逆方向に進めればよい。
合成処理は、スタート側のリンク列について形成された基本ポリゴンＰ３１ａの最初の構成点を見いだすことから開始する。図３１の例では、左上の点Ａ３１ａが最初の構成点に当たるものとする。ＣＰＵは、この点から基本ポリゴンの構成点を順次、切出用ポリゴンＣＰ２９の構成点として格納して行く。構成点は右回りに格納されているから、点Ａ３１ａの次は、矢印Ａｒ１のように進み点Ａ３１ｂを格納する。
【０１７３】
ここでＣＰＵは、構成点を一つ拾う度に、他のポリゴンに移行すべきか否かを判断する。拾った構成点に至るまでに他のポリゴンに移行可能な箇所があれば、移行すべきと判断する。図３１の例では、構成点Ａ３１ｂは、補助ポリゴンＱ３１ｂの構成点を兼用しているため、次の補助ポリゴンＱ３１ｂに移行すべきと判断することになる。従って、ＣＰＵは、補助ポリゴンＱ３１ｂの構成点Ｂ３１ａ、Ｃ３１ａを順次、切出用ポリゴンＣＰ２９の構成点として拾っていく（矢印Ａｒ２）。
構成点Ｃ３１ａは、次の基本ポリゴンＰ３１ｃの構成点と兼用されているため、ＣＰＵは、基本ポリゴンＰ３１ｃに移行し、その構成点Ｃ３１ｂを拾う（矢印Ａｒ３）。ここで、構成点Ｃ３１ａとＣ３１ｂとを結ぶ境界線は、次の基本ポリゴンＰ３１ｅの境界線と交差している。このように他のポリゴンの境界線と交差する場合、ＣＰＵは交差する点に新たに構成点ＣＰ３１ａを生成し、先に格納していた構成点Ｃ３１ｂに上書きする。そして、次のポリゴンＰ３１ｅに移行し、矢印Ａｒ４のように構成点を拾っていく。
【０１７４】
ＣＰＵは、図３１の右側の省略した部分についても同様に上述の処理を続けていった後、矢印Ａｒ５のように構成点Ｅ３１ｄを拾う。この点で、次の補助ポリゴンＱ３１ｄに移行して、構成点Ｄ３１ａ、Ｃ３１ｃを拾う（矢印Ａｒ６）。また、次の基本ポリゴンＰ３１ｃに移行して、構成点Ｃ３１ｄを拾う（矢印Ａｒ７）。構成点Ｃ３１ｃ、Ｃ３１ｄを結ぶ境界線は、基本ポリゴンＰ３１ａの境界線と交差しているから、ＣＰＵは、交差する点に新たな構成点ＣＰ３１ｂを生成し、格納済みの構成点Ｃ３１ｄに上書きする。
そして、基本ポリゴンＰ３１ａに移行し、構成点Ａ３１ｄを拾い（矢印Ａｒ８），構成点Ａ３１ａに戻る（矢印Ａ３１ｄ）。
このように、ＣＰＵは、順次、ポリゴンを移行しながら、構成点を右回りに拾っていくことによって、切出用ポリゴンを生成することができる。
【０１７５】
（４）フレームデータの切出：
図２９に戻り、フレームデータ切出処理について説明する。
ＣＰＵは切出用ポリゴンＣＰ２９の生成が完了すると、切出用ポリゴンＣＰ２９内のフレームデータを切り出す（ステップＳ２９４）。矢印で示す走行経路がある場合、ＣＰＵは、位置座標が切出用ポリゴンＣＰ２９内にある部分（図中の実線部分）を切り出す。この場合、図示する２カ所の実線部分は、それぞれパスとして、関連づけて切り出される。
【０１７６】
（５）効果：
以上で示したフレームデータ切出処理によれば、道路画像の生成対象となる道路と、その他の道路とが混在して撮影されている連続画像から、生成対象の道路面に関するものだけを自動的に抽出することができるため、オペレータの負荷を軽減することができる。また、切出用ポリゴンも自動生成できるため、オペレータの負荷を軽減できるとともに、フレームデータの切出処理の精度を安定化させることができる。
【０１７７】
（６）変形例１：
切出用ポリゴンは、必ずしも図２９、図３０で示したように、基本ポリゴンと補助ポリゴンとから構成する必要はなく、全てを基本ポリゴンで構成してもよい。
基本ポリゴンのみで切出用ポリゴンを構成する例を図３２に示した。この例では、終端のリンクＬ３２ｄだけでなく、中間のリンク列Ｌ３２ａ、Ｌ３２ｂ、Ｌ３２ｃについても各リンク列の両端のノードを包含するように、各リンクを直交する方向に平行移動するとともに、リンクに沿う方向に延長して基本ポリゴンＰ３２ａ、Ｐ３２ｂ、Ｐ３２ｃを生成する。終端のリンクＬ３２ｄについても、同様にして基本ポリゴンＰ３２ｄを生成する。
このようにリンクに沿う方向に十分に長い基本ポリゴンを生成すれば、図３１に示した例と異なり、比較的曲りが小さいリンクの接続点（例えば、リンクＬ３２ａとＬ３２ｂとの間や、リンクＬ３２ｂとＬ３２ｃの間）では、鈍角側においても、基本ポリゴン同士を隙間なく重ねることができるため、補助ポリゴンの生成を省略することができる。
【０１７８】
ただし、リンクＬ３２ｃとＬ３２ｄのように、曲りが大きい箇所では、基本ポリゴンＰ３２ｃとＰ３２ｄの鈍角側に図示する通り、隙間ができてしまう。仮に、図中の矢印で示す走行軌跡で撮影が行われたとすると、このように隙間がある切出用ポリゴンでは、隙間部分に当たる矢印Ｐａ３２２は、処理対象となる道路面と無関係のデータとして削除され、矢印Ｐａ３２１、Ｐａ３２３の２本のパスとしてフレームデータが切り出されるおそれがある。
従って、基本ポリゴンのみで切出用ポリゴンを生成する場合には、このような隙間が生じない範囲で、リンクに沿う方向に十分に延長した状態で基本ポリゴンを生成したり、曲りが大きい部分にのみ補助ポリゴンを生成するなどの対策を施しておくことが好ましい。
【０１７９】
（７）変形例２：
フレームデータ切出処理においては、図２９で示したように、切出用ポリゴン内にあるフレームデータを無条件に切り出すものとしてもよいが、所定の条件に従って取捨選択するようにしてもよい。
図３３に、図２９の処理で切り出されたフレームデータのうち、道路画像の合成処理に有用なものを選択する例を示した。こうすることにより、処理対象となるフレームデータ量を抑制することができるため、連結画像の生成、道路画像の合成処理の処理負荷を軽減することができる。
【０１８０】
フレームデータ選択処理では、ＣＰＵは、まず、処理対象のリンクに対して切り出されたフレームデータ群、およびパスを読み込む（ステップＳ３３１）。パスとは、一連のフレームデータとして関連づけられているまとまりとしても規定することができる。また、パスの読み込みとは、各パスの位置座標データの読み込みを意味する。
ＣＰＵは、次に、パス長の長い順にソートする（ステップＳ３３２）。そして、最長のパスを、対象リンクに投影し、カバー範囲を算出する（ステップＳ３３３）。図３３の右側に、この処理の概要を示した。対象リンクＬ２８１に対して、図２９のフレームデータ切出処理によって、パスＰ２８２、Ｐ２８６、Ｐ２８４が切り出されたとする。この中で最長のパスは、パスＰ２８６である。従って、ＣＰＵはステップＳ３３３では、対象リンクＬ２８１上に、このパスＰ２８６を投影し、図中にハッチングで示したカバー範囲Ｒ２８６を得る。
【０１８１】
こうしてカバー領域が得られると、ＣＰＵは、既にカバーされている範囲との重複率が７０％を超えるか否か判断する（ステップＳ３３４）。７０％という閾値は、例示に過ぎず、フレームデータを間引く必要性に応じて、任意に設定可能である。
パスＰ２８６のカバー範囲Ｒ２８６を求めた時点では、他のカバー範囲は得られていないから、重複率は０％である。重複率が７０％以下の場合には（ステップＳ３３４）、そのパスを、処理対象パスとして選択する（ステップＳ３３６）。
ＣＰＵは、こうして得られたカバー範囲が対象リンクを１００％カバーするまで（ステップＳ３３７）、ステップＳ３３３〜Ｓ３３６の処理を繰り返し実行する。
【０１８２】
上述のカバー範囲Ｒ２８６が得られた時点では、対象リンクＬ２８１は完全にカバーされてはいないから、ＣＰＵは、ステップＳ３３３に戻り、残されたパスの中から最長のパス、つまりパスＰ２８２に基づいてカバー範囲Ｒ２８２を算出する（ステップＳ３３３）。
カバー範囲Ｒ２８２は、部分的にカバー範囲Ｒ２８６と重なっているが、重複率は７０％には至らない（ステップＳ３３４）。従って、パスＰ２８２も処理対象パスとして選択されることになる（ステップＳ３３６）。
更に、次の処理では、ＣＰＵはパスＰ２８４に基づいてカバー範囲Ｒ２８４を算出する（ステップＳ３３３）。しかし、カバー範囲Ｒ２８４は、カバー範囲Ｒ２８６に完全に包含されているため、重複率は７０％を超えている（ステップＳ３３４）。従って、ＣＰＵは、パスＰ２８４は無用なデータと判断して、削除する（ステップＳ３３５）。
そして、選択対象となるパスが無くなるため、フレームデータ選択処理を終了する。
【０１８３】
フレームデータ選択処理を適用すれば、パスＰ２８４のように、無用なパスのフレームデータを削除することができ、連結画像の生成処理等の処理効率を高めることができる。
図３３では、カバー率に基づいて選択する例を示したが、選択方法は、これに限られるものではない。例えば、各パスと対象リンクＬ２８１とのなす角度を基準に選択してもよい。対象リンクＬ２８１となす角度が大きいパスは、対象リンクＬ２８１を横断するパスに過ぎず、連結画像等の生成にあまり有用でないと判断されるからである。また、なす角度と図３３のカバー率を併用して選択を行ってもよい。
【０１８４】
Ｅ２．特徴点抽出処理：
上記実施例では、連結画像から種々のエッジを抽出し、エッジが折れ曲がる点（屈折点）、端点、交点などを特徴点として用いる例を示した（図１９のステップＳ２３０）。本実施例では、道路面を撮影した画像を対象としているため、各パスの連結画像に含まれる路面に描かれたペイントの種別および位置を認識し、複数のパス間で、認識された同一種別のペイントの特徴点を求める方法をとってもよい。
以下では、この方法による特徴点抽出について説明する。この処理は、図１９のステップＳ２２０、Ｓ２３０に代わる処理となる。
【０１８５】
（１）ペイント認識処理：
本実施例の方法では、まず連結画像に含まれるペイントを認識する必要がある。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。
図３４に示すように、ペイント認識処理を開始すると、ＣＰＵは処理データ記憶部２１０から、処理対象となっている道路の画像、即ち路面テクスチャ、パスのデータを読み込む（ステップＳ３４１）。次に、ＣＰＵは縦配置処理を行って（ステップＳ３４２）、縦配置画像を生成し、処理データ記憶部２１０に格納する。
【０１８６】
図３５（ａ）に示すように、一点鎖線の矢印ＰＡ３５は画像を撮影した際のパスを表している。通常の処理では、パスＰＡ３５に沿って路面テクスチャＴｘ３５を配置する。パスＰＡ３５の位置座標は、緯度経度などの絶対座標系ＸＹで得られている。従って、絶対座標系でパスＰＡ３５および路面テクスチャＴｘ３５を配置すると、図３５（ａ）に示すように連結画像は斜めに表示されることがある。この例では、直線状の道路を例示しているが、道路がカーブしている場合には、連結画像もカーブした状態となる。
【０１８７】
図３５（ｂ）は、道路が直線状のため、図３５（ａ）の向きを矢印Ａ３５方向に回転した状態の画像となっている。縦配置の画像は、次の手順で生成することができる。まず、２次元座標ｘｙの縦（ｙ）方向に距離軸を定義する。距離軸とは、パスＰＡ３５に沿って画像を撮影する際の開始点からの移動距離を表す軸である。パスＰＡ３５が直線状のときは、パスＰＡ３５の進行方向を上向きに表示した状態となる。パスが曲線状のときは、パスを直線状に伸ばした状態となる。
【０１８８】
それぞれの路面テクスチャＴｘ３５については、撮影時の位置座標データおよび撮影開始からの移動距離が得られているから（図１の位置計測部１１０参照）、これらのデータに基づき、距離軸上に路面テクスチャＴｘ３５を配置する。路面テクスチャＴｘ３５は、画像内の代表点を距離軸上に置き、左右対称軸が距離軸に平行になるよう配置する。こうすることによって、パスが曲線状か否かにかかわらず、進行方向が縦方向に直線状に伸ばされた状態の連結画像を表示することができる。この連結画像によれば、図示する通り、横断歩道および停止線は距離軸に直交する方向（図中の左右方向）に描かれ、車線境界線は距離軸に沿う方向（図中の上下方向）に描かれる。縦配置画像には、このように道路の標示が一定の位置関係で描画されるため、これらの認識がしやすくなるという利点がある。ここでは、距離軸を縦に配置する例を示したが、横又は斜めなど任意の方向に配置可能である。
【０１８９】
図３４に戻り、ペイント認識処理について説明する。
縦配置処理が完了すると、ＣＰＵは横断関連ペイント抽出処理を行う（ステップＳ３４３）。これは、横断歩道、自転車横断帯、停止線など交差点近辺の標示を抽出する処理である。本実施例では、処理データ記憶部２１０に格納された縦配置画像を用い、そこに描かれた標示を画像処理で抽出するとともに、標示に含まれる線分の位置関係や長さなどに基づく条件判断によって標示の種別を判断するようにした。
【０１９０】
横断関連ペイント処理が終わると、ＣＰＵは各種ペイント抽出処理を行う（ステップＳ３４４）。この処理で抽出対象となる標示を図中に示した。
「境界線」とは、実線および破線などで描かれた車線境界線である。
「矢印」とは、交差点内の進行方向の規制を示すために、交差点付近で各車線に示されている矢印である。
「ゼブラ」とは、横断歩道とは異なり、中央分離帯や右左折用の車線が増える箇所などに標示されている縞模様である。
「Ｕターン」とは、Ｕターン禁止道路に描かれているＵ字形状の矢印である。
「転回禁止」とは、Ｕターンの矢印とともに描かれている×印である。
「規制」とは、通行規制の時刻標示等である。例えば、バスレーンなどの標示と併せて描かれる「１７−１９」の標示（１７時〜１９時であることを意味）のような通行態様の規制等である。
【０１９１】
「数字」とは、速度規制などの数字である。
「横断歩道予告」とは、横断歩道手前に描かれている菱形の記号である。
「減速帯」とは、車速の減速を促すために、路面上にパスに直交する方向の線分をパスの進行方向に沿って平行に複数本配置することで描かれている縞模様である。
「路面塗装」は、急カーブその他の運転者の注意を喚起すべき箇所に対し、通行の安全のために施されている赤色等の舗装領域である。
「バスレーン文字」とは、バスレーンとして使用される車線に付される「バス専用」「バス優先」という文字である。本実施例では、バスレーンを例示しているが、バスレーンに限らず、路面に標示される文字一般を対象としてもよい。
「終わり記号」とは、バスレーンなどの終了地点を示す「０」形状の記号である。
本実施例では、これらの標示を対象としているが、これらは例示に過ぎず、更に多くの標示を対象としてもよいし、この中の一部を抽出処理の対象外としても構わない。
【０１９２】
各種ペイント抽出処理（ステップＳ３４４）では、予め用意されたモデルを用いて、パターンマッチングを行う。本実施例では、人工モデル画像、ＯＣＲモデル画像の２種類を用いるものとした。これらのモデルは、予め処理データ記憶部２１０に記憶されている。人工モデル画像とは、コンピュータグラフィックスによって生成されたモデルである。Ｕターン、転回禁止など、比較的単純な標示のマッチング用のモデルとして適している。
ＯＣＲモデル画像とは、撮影された画像から、オペレータが手作業で切り出した画像に基づいて生成されたモデルである。例えば、数字、バスレーンなどの複雑な形状をした標示のマッチング用のモデルとして適している。これらのモデルをコンピュータグラフィックスによって生成することも不可能ではないが、文字の形状を現実の道路標示に併せてモデルを生成するためには、結局、撮影した画像をトレース等する必要が生じるため、結果としてＯＣＲモデルを利用しているのと大差ない。
ＣＰＵは、以上の処理を連結画像単位で、実行し、ペイント認識結果を処理データ記憶部２１０に格納し、相対座標変換処理を行って（ステップＳ３４５）、ペイント認識処理を終了する。
【０１９３】
（２）相対座標変換処理：
図３６は相対座標変換処理の内容を示す説明図である。本実施例では、以上で説明した各種標示の認識結果は、全て距離軸に沿って路面テクスチャを配置した直線状の画像を用いて得られている。従って、認識結果は、この直線状の画像を表示する座標系における相対的な位置が取得されているに過ぎない。相対座標変換処理は、この相対的な位置を、撮影時の位置座標に対応する絶対座標系の位置に変換する処理である。
図の左側には、直線状の連結画像で標示を認識した状態を示している。ここでは、矩形の存在領域Ｍ３６１、Ｍ３６２を示した。これらの存在領域Ｍ３６１、Ｍ３６２の位置は、代表点としての重心Ｇ３６１、Ｇ３６２の位置座標で表される。この座標は、直線状の連結画像を表示するための座標系ｘｎ、ｙｎで与えられる。この座標系ｘｎ、ｙｎは、例えば、距離軸ＮＰ３６をｙｎ軸として定義することが好ましい。
【０１９４】
連結画像では、路面テクスチャＴｘ３６の代表点が、撮影時の位置に応じて、距離軸上に配置されている。各路面テクスチャＴｘ３６内の各点の代表点からの相対的な座標は既知である。従って、各存在領域の重心Ｇ３６１、Ｇ３６２の路面テクスチャＴｘ３６内での相対的な座標が求まるため、重心Ｇ３６１、Ｇ３６２から距離軸におろした垂線の足Ｒ３６１、Ｒ３６２の座標も求めることができる。
図の右側には、絶対座標系ＸＹに変換した状態を示した。道路は直線とは限らないから、絶対座標系では、撮影時に取得された位置座標に従い、パスＲＰ３６は曲線状に描かれることもある。
【０１９５】
各存在領域Ｍ３６１、Ｍ３６２の位置および向きは次の方法で求める。
まず、この曲線状のパスＲＰ３６の基準点からの距離に応じて、存在領域の垂線の足Ｒ３６１、Ｒ３６２のパスＲＰ３６上での位置を求め、点Ｒ３６１、Ｒ３６２から、それぞれ法線ベクトルＶ３６１、Ｖ３６２を描き、その終点を重心Ｇ３６１、Ｇ３６２とする。法線ベクトルＶ３６１、Ｖ３６２の大きさは、直線状の連結画像における点Ｒ３６１、Ｇ３６１間の距離、および点Ｒ３６２、Ｇ３６２間の距離にそれぞれ等しい。存在領域Ｍ３６１、Ｍ３６２の方向は、長手方向が法線ベクトルＶ３６１、Ｖ３６２と直交するように配置する。つまり、存在領域Ｍ３６１、Ｍ３６２と、重心Ｇ３６１、Ｇ３６２、および垂線の足Ｒ３６１、Ｒ３６２の相対的な位置関係が、直線状の連結画像（図の左側）と絶対座標系（図の右側）とで同一となるように、存在領域Ｍ３６１、Ｍ３６２を配置する。
この変換処理により、抽出された各標示の位置を絶対座標系の位置座標で表すことが可能となる。
【０１９６】
上述した絶対座標系への位置座標の変換処理は、次の方法で行ってもよい。
まず、各存在領域の構成点、つまり存在領域の頂点の位置を、それぞれの頂点が属する路面テクスチャの代表点を基準とする相対座標で求める。そして、それぞれの路面テクスチャを絶対座標系ＸＹでの配置に変換する際に、同様の変換をそれぞれの構成点に施す。こうすることにより、比較的容易に絶対座標系での構成点の位置座標を得ることができる。ただし、この方法では、構成点ごとに座標変換するため、変換時に存在領域の形状が崩れる場合がある。従って、変換後の構成点の配置を、存在領域の形状に適合させる修正処理を施してもよい。
【０１９７】
（３）対応点探索処理：
各パスのペイントを認識したら、次は、この認識結果に基づいて、パス間の対応点を探索する。
図３７は対応点探索処理のフローチャート（１）である。自動位置合わせ処理（図１９）のステップＳ２５０、Ｓ２６０に代わる処理である。
この処理では、ＣＰＵは、まず各パスのペイント認識結果を読み込む（ステップＳ３７０）。そして、対応点の候補となるペイントを抽出する（ステップＳ３７１）。
【０１９８】
図中に候補ペイント抽出の概要を示した。左側には、パスＡについてペイントＰ３７ａが認識されている状態を示している。本実施例では、ペイントＰ３７ａは、２次元座標を図中に破線で示すメッシュごとに関連づけてデータが格納されている。メッシュのサイズはペイントを管理するのに都合のよいように任意に設定可能である。図の例では、ペイントＰ３７ａは図中の中央のメッシュに対応づけて管理されていることになる。
図の右側には、パスＡと位置合わせをする対象となるパスＢについてのペイントＰ３７ｂの認識結果を示している。パスＢの認識結果も、パスＡと同じ位置座標で定義されたメッシュ単位で管理されている。
【０１９９】
本実施例では、パスＡのペイントＰ３７ａの対応点となる候補のペイントとして、このメッシュに基づいて定まる一定の領域内で、同一種別のペイントを探索するものとした。パスＡで認識されたペイントＰ３７ａは、パスＢ側のハッチングを付したメッシュＭ３７ａ内に存在している。そこで、候補ペイント抽出処理（ステップＳ３７１）では、メッシュＭ３７ａを中心として上下左右に、それぞれ１メッシュ分だけ拡大した領域Ｍ３７ｂ内で候補ペイントを抽出する。
ただし、領域Ｍ３７ｂ内に存在するペイントでも、ペイントＰ３７ａと同一種別でないものは、除外する。例えば、ペイントＰ３７ａが車線境界線のとき、領域Ｍ３７ｂ内に存在するからといって、横断歩道のペイントを候補ペイントとして抽出することはない。種別の異なるペイントを抽出しても、対応点とはなり得ないからである。この判断は、ペイント認識時の種別の認識結果に基づいて行う。
【０２００】
拡大した領域Ｍ３７ｂ内で候補ペイントを抽出する理由は次の通りである。
仮に、パスＡとパスＢの位置座標が正確に一致していれば、ペイントＰ３７ａに対応するペイントは、メッシュＭ３７ａ内に見つかるはずである。しかし、実際には、パスＡとパスＢには誤差があるため、対応するペイントがメッシュＭ３７ａで見つかるとは限らない。そこで、誤差を考慮して、探索する範囲を広げて領域Ｍ３７ｂ内で探索するものとした。
探索する領域Ｍ３７ｂは、任意に設定可能である。図の例よりも拡大しても構わない。もっとも、探索する範囲を拡大すれば、ペイントＰ３７ａと無関係のペイントが候補として抽出される可能性も高くなり、ペイントの増加に伴い処理時間が増大する。一方、領域Ｍ３７ｂを狭めれば、本来、候補とされるべきペイントが漏れる可能性もある。このように、探索する領域は、メッシュのサイズ、パスＡ、パスＢ間で想定される誤差範囲などを考慮して設定することが好ましい。
【０２０１】
こうして、それぞれのペイントについて対応点となるべき候補ペイントが抽出されると、ＣＰＵは候補ペイントの同一性を判定する（ステップＳ３７２）。同一性とは、位置誤差がなければパスＡ、パスＢ間で本来、重なるべきペイントとなることを意味する。
本実施例では、候補ペイントの形状および相対位置に基づいて同一性を判断した。図中には、破線の車線境界線に基づいて対応点を得る場合の例を示した。
ペイント形状として示した折れ線Ｐ３７ａは、破線の車線境界線の境界線を模式的に表している。車線境界線は本来、直線だが、ペイント自体の色ムラや撮影条件や種々のノイズなどによって、画像処理時には必ずしも直線状に認識されるとは限らず、このように折れ線状に認識される。ＣＰＵは、最小二乗法などによって、この折れ線の近似直線Ｌ３７ａを求める。こうして得られた近似直線Ｌ３７ａの長さをＬとし、近似直線Ｌ３７ａと折れ線Ｐ３７ａの最大誤差をＥとする。
一方、相対位置の評価値としては、候補ペイントの近似直線Ｌ３７ａ、Ｌ２７ｂの中点を結ぶベクトルＲｐの、ｘ成分（Ｒｐｘ）、ｙ成分（Ｒｐｙ）を用いる。また、近似直線Ｌ３７ａ、Ｌ３７ｂのなす角度θも評価値として用いる。
【０２０２】
上述の評価値は種々の方法で評価することができる。本実施例では、候補ペイント同士を同一と見なすための条件として、次に示す条件を用いた。
条件１：２つの候補ペイントの近似直線の長さＬの差分が所定値以下（例えば３０ｃｍ程度）であること。
条件２：２つの候補ペイント双方について、最大誤差Ｅが所定値以下（例えば１０ｃｍ程度）となっていること。
条件３：ベクトルＲｐのｘ成分Ｒｐｘ、ｙ成分Ｒｐｙが、それぞれ所定値以下（例えばｘ方向に１５０ｃｍ程度、ｙ方向に３００ｃｍ程度）であること。ｘ成分Ｒｐｘの方が、ｙ成分Ｒｐｙよりも小さい閾値を用いることが好ましい。
条件４：近似直線Ｌ３７ａ、Ｌ３７ｂのなす角θが所定値（例えば２．５°）以下であること。
ＣＰＵは、これらの条件を全て満たす場合には、候補ペイントに同一性があるものと判断する。
【０２０３】
こうして候補ペイントの同一性が確認されると、ＣＰＵは、近似線の両端をそれぞれ対応点として抽出する（ステップＳ３７３）。一つの車線境界線から、両端２カ所の対応点が得られることになる。
図３８は対応点探索処理のフローチャート（２）である。
上述の処理によって各パスについて、複数のペイントに基づき、多数の対応点が抽出される。次に、ＣＰＵは、この対応点を評価し、位置合わせ処理に有用な対応点に絞り込む処理を行う。
まず、ＣＰＵはパスに沿って近接位置にある対応点を抽出する（ステップＳ３７４）。図中にこの処理概要を示した。
【０２０４】
この例では、パスＡについて認識されたペイント上の点ＰＡと、パスＢについて認識されたペイント上の点PＢとが対応点として抽出されているものとする。パスＡ上には、連結画像を構成するフレームデータの撮影位置Ａ３７１、Ａ３７２、Ａ３７３，Ａ３７４が間欠的に配置されている。パスＢ上にも、フレームデータの撮影位置Ｂ３７１〜Ｂ３７４が間欠的に配置されている。
ＣＰＵは、対応点ＰＡをパスＡ、Ｂ上に垂直に投影し、その直前直後の撮影位置Ａ３７１、Ａ３７２、Ｂ３７１、Ｂ３７２を抽出する。また、対応点ＰＢを、パスＡ、Ｂに垂直に投影し、その直前直後の撮影位置Ａ３７２、Ａ３７３、Ｂ３７２、Ｂ３７３を抽出する。そして、これらの撮影位置を包含する撮影位置包含ポリゴンとしての矩形枠ＲＥを求める。処理過程で、対応点ＰＡ，ＰＢに挟まれる撮影位置Ａ３７２、Ｂ３７２は抽出対象から除外することで処理の簡素化を図ってもよい。
【０２０５】
こうして得られた矩形枠ＲＥは、パスＡ、Ｂの位置合わせにおいて、対応点ＰＡ、ＰＢが影響を与える範囲を表していると考えられる。ＣＰＵは、各対応点について、同様の方法によって影響を与える範囲（矩形枠ＲＥに相当する領域）を求める。そして、この矩形枠ＲＥ同士が重なる対応点については、いずれか一つのみを選択する。選択方法は、次の処理と併せて説明する。
ＣＰＵは、次に、近接位置の対応点ごとに各パスにグループ分けを行う（ステップＳ３７５）。これは、パスＡ、Ｂのそれぞれにとって、位置合わせのときに都合のよい対応点を選択する処理である。つまり、パスＡにとっては、パスＡに近い位置にある対応点を使用した方が好ましい。一方、パスＢにとっては、パスＢに近い位置にある対応点を使用した方が好ましい。かかる観点から、ステップＳ３７５では、複数の対応点のうち、パスＡにとって好ましい対応点を選択してグループＡとし、パスＢにとって好ましい対応点を選択してグループＢとする。
【０２０６】
図中に処理概要を示した。一組の対応点ＰＡ１、ＰＢ１については、次の手順で処理を行う。まず、パスＡの連結画像に基づいて得られている点ＰＡ１からパスＡまでの距離ＬＥＮ１を求める。また、パスＢの連結画像に基づいて得られている点ＰＢ１からパスＢまでの距離ＬＥＮ２を求める。そして、パスＡまでの距離ＬＥＮ１が所定の閾値（この実施例では道路の幅に基づき３．５ｍとした）よりも小さい場合には対応点ＰＡ１はグループＡに属する点として選択される。また、パスＢまでの距離ＬＥＮ２が所定の閾値（同じく３．５ｍ）よりも小さい場合には対応点ＰＢ１はグループＢに属する点として選択される。一組の対応点ＰＡ１、ＰＢ１は、グループＡ、Ｂの双方に属することもあれば、いずれか一方のみに属する場合もある。
対応点からパスまでの距離が、上述の閾値３．５ｍを超える対応点は、処理対象から除外され、いずれのグループにも属さない点となる。パスから所定以上の距離を隔てた対応点は、位置合わせ精度が低いと考えられるからである。このようにグループに属するために許容される距離に上限を設けておくことにより、位置合わせ処理の精度を確保することが可能となる。
【０２０７】
次に、３組の対応点（ＰＡ２、ＰＢ２）、（ＰＡ３、ＰＢ３）、（ＰＡ４、ＰＢ４）の処理について説明する。この３組の対応点は、ステップＳ３７４で求めた矩形枠ＲＥが相互に部分的に重なり合う対応点であるものとする。従って、ステップＳ３７５の処理では、この中のいずれか一つが選択される。
ここでは、これら３組の対応点の中から、パスＡ、Ｂにそれぞれ最も近い点を選択するものとした。パスＡについては、対応点ＰＡ２、ＰＡ３、ＰＡ４の中では、対応点ＰＡ３からパスＡまでの距離ＬＥＮ３が最も短いため、対応点ＰＡ３がグループＡに属する点として選択される。パスＢについては、対応点ＰＢ２、ＰＢ３、ＰＢ４の中では、対応点ＰＢ４からパスＢまでの距離ＬＥＮ４が最も短いため、対応点ＰＢ４がグループＢに属する点として選択される。矩形枠ＲＥが重なる対応点から一つを選択する場合には、この例のように、各グループで異なる対応点が選択される場合もある。
【０２０８】
対応点のグループ分けが完了すると、ＣＰＵは、対応点のグループ選択を行う。対応点の多い方のグループを選択するものとした。例えば、パスＡ側のグループに含まれる対応点がＮＡ個、パスＢ側のグループに含まれる対応点がＮＢ個であるとすると、ＮＡ＞ＮＢであればグループＡが選択され、ＮＢ＜ＮＡであればグループＢが選択される。ＮＡ＝ＮＢのときは、いずれのグループを選択してもよい。
選択されなかったグループの対応点は、処理対象から除外される。従って、グループＡが選択された場合には、対応点（ＰＡ１、ＰＢ１）、（ＰＡ３、ＰＢ３）等が位置合わせ処理に使用されることになり、グループＢが選択された場合には、対応点（ＰＡ４、ＰＢ４）等が位置合わせ処理に使用されることになる。このようにグループを選択することにより、位置合わせ処理に使用される対応点を、パスＡ又はパスＢのいずれかにとって好ましい点のみに統一することができる。このように統一した場合の効果については後述する。
【０２０９】
ここでは、対応点の数のみでグループを選択する場合を示したが、その他の評価値を用いてもよい。例えば、対応点からパスまでの距離ＬＥＮ１等の平均値が小さい側のグループを選択するようにしてもよい。また、別の例として、パスに沿う方向の分布を考慮してもよい。例えば、それぞれのパスについて、隣接する対応点間のパスに双方向の間隔を求め、この間隔の標準偏差が小さいグループを選択してもよい。標準偏差が小さい方が偏り無く対応点が配置されていると考えられるからである。これらの種々の評価値は、単独で用いてもよいし、併用してもよい。
【０２１０】
対応点のグループが選択されると、ＣＰＵは、そのグループについて、パス方向の対応点の間隔に基づいて対応点を間引く処理を行う（ステップＳ３７７）。
図示するように、パスに沿って対応点の間隔を求める。図の例では、対応点ＰＡ１、ＰＡ３の間隔はＤ１であり、対応点ＰＡ３、ＰＡ５の間隔はＤ２であるとする。ステップＳ３７７では、この間隔が所定の閾値（例えば、４０ｍ）未満となる対応点については、いずれか一方を削除する。いずれの対応点を削除してもよいが、ここでは後から撮影された側の対応点を削除するものとした。図の例で、左から右に走行しながら撮影が行われた場合、対応点ＰＡ１、ＰＡ３、ＰＡ５の順に取得されることになるから、例えば、距離Ｄ２が閾値未満であれば、後から取得された対応点ＰＡ５を削除するものとした。
なお、対応点の間隔は、対応点を削除した結果を反映して求める。例えば、距離Ｄ１が閾値未満であり対応点ＰＡ３が削除された場合には、対応点ＰＡ５を削除するか否かについては、削除済みの対応点ＰＡ３との間隔Ｄ２ではなく、対応点ＰＡ１との間隔に基づいて評価する。
【０２１１】
図３９はグループ選択の効果を示す説明図である。図３９（ａ）にはパスＰ３９Ａ、Ｐ３９Ｂについて位置合わせ処理を行う前の状態を示し、図３９（ｂ）には位置合わせ後の状態を示した。
この例では、パスＰ３９Ａの対応点Ａ３９１、Ａ３８２、Ａ３９３をパスＢの対応点Ｂ３９１、Ｂ３９２、Ｂ３９３に合わせるように、パスＰ３９Ａのテクスチャ画像Ｔｘ３９を平行移動することで位置合わせを行う。図示する通り、対応点Ａ３９１、Ａ３９３はパスＰ３９Ａに比較的近接しているが、対応点Ａ３９２からパスＰ３９Ａまでの距離Ｌ３９は、図３８のステップＳ３７５で説明した閾値（３．５ｍ）を超えているとする。図３８のＳ３７５で示したグループ分けによれば、対応点Ａ３９２はパスＰ３９Ａ側のグループから除外されるべき点である。
図３９（ｂ）は、対応点Ａ３９２も含め、図３９（ａ）中の全ての対応点を用いて位置合わせした結果を表している。この結果、対応点Ａ３９２の近傍の領域Ｃ３９内でパスＰ３８Ｃが湾曲していることが分かる。これは、パスＰ３９Ａから遠い位置にある対応点Ａ３９２を用いたため、領域Ｃ３９の部分の位置合わせの精度が、他の対応点Ｐ３９１、Ｐ３９３近傍の領域に比較して低いからである。対応点Ａ３９２をグループＡから除外することにより、このような湾曲は回避することができる。
【０２１２】
図３７，図３８で示した対応点探索処理によれば、各パスから所定の閾値を超える対応点は、位置合わせで用いる対象から除外するため（図３８のステップＳ３７５参照）、位置合わせの精度の低下を回避できる。
また、各パスからの距離に応じて、それぞれの対応点を各パスのグループに分類した後（図３８のステップＳ３７５）、グループ単位で対応点を選択する（ステップＳ３７６）。こうすることによって、いずれか一方のパスにとって都合のよい対応点を統一的に利用することになるため、パスに沿う方向に位置合わせの精度を均一化させることができる。
【０２１３】
Ｅ３．対応点探索処理：
対応点探索処理の更なる実施例について説明する。上記施例では、各パスの連結画像から特徴点を抽出し、近い位置にある特徴点を対応点とする例を示した（図１９のステップＳ２３０およびステップＳ２５０）。また、本実施例では、各パスの連結画像に基づいて路面のペイントを認識し、認識されたペイント間の同一性を評価して（図３７のステップＳ３７２）、対応点を探索する例を示した。
これらの処理は、連結画像の位置座標の誤差範囲がある程度の許容範囲内におさまっていることが前提とされている。位置座標の誤差が大きい場合には、事前に誤差を評価し、パスの位置を修正する処理を施しておくことが好ましい。以下では、対応点探索処理の前処理として、パスの位置修正を行う方法について説明する。
【０２１４】
（１）位置修正処理の概要：
図４０はパスの位置修正の概要を示す説明図である。
図４０（ａ）は、パスの位置修正を行わない場合の影響を示す説明図である。パスＰ４０Ａ、Ｐ４０Ｂの位置合わせを行う前の連結画像を表している。パスＰ４０Ａの特徴点としては、車線境界線の端点Ａ４０が存在し、パスＰ４０Ｂに対応する特徴点として、車線境界線の端点Ｂ４０が存在する。本来ならば、この端点Ａ４０、Ｂ４０が対応点となり、位置合わせ処理が行われるものとする。
しかし、図４０（ａ）には、これらの特徴点の他に、車線境界線の端点Ｃ４０が存在する。この端点Ｃ４０は、端点Ａ４０、Ｂ４０が含まれる車線境界線とは異なる車線境界線の端点である。端点Ｃ４０を含む連結画像のパスの位置精度が低いため、端点Ａ４０、Ｂ４０の近傍に配置されてしまったものである。
上記実施例等では、近い位置にある特徴点同士を対応点として特定するため、このように位置精度が比較的低い端点Ｃ４０が存在すると、ＣＰＵは、端点Ａ４０とＣ４０とを対応点と認識してしまうおそれがある。誤って特定された端点Ａ４０と端点Ｃ４０とを一致させるように位置合わせが行われると、異常な道路画像が生成されることになる。
【０２１５】
図４０（ｂ）は、位置修正の方法を示している。ここでは、地上に固定された地物を基準として撮影位置を算出した結果に基づいて位置修正を行う。この基準となる地物としては、信号機ＳＩＧを用いている。
まず、パスＰ４０Ａ上のフレームデータから信号機ＳＩＧが写っているものを選択し、信号機ＳＩＧを基準として撮影位置ＤＳＣａの相対座標ｘａ、ｙａを求める。撮影した画像に信号機ＳＩＧが写る位置および大きさは、撮影位置ＤＳＣａ、カメラの画角又は焦点距離、カメラの設置位置および撮影方向などに依存する。逆に、カメラの画角、撮影方向などの撮影パラメータが既知であれば、撮影した画像内での信号機ＳＩＧの位置に基づいて、信号機ＳＩＧに対する相対座標ｘａ、ｙａを算出することができる。画像内の位置から相対座標を算出する方法は、周知であるため、説明を省略する。
同様にして、パスＰ４０Ｃｔ上の撮影位置ＤＳＣｃについても、信号機ＳＩＧを基準とする相対座標ｘｃ、ｙｃを求めることができる。
こうして各パスについて信号機ＳＩＧを基準とする相対座標が得られると、パスＰ４０Ａ、Ｐ４０Ｃｔ間の間隔ＸＯＦＦ２を求めることができる。
【０２１６】
パスＰ４０Ｃは、撮影時に取得された位置座標データに基づいてパスＰ４０Ｃｔを配置した状態を表している。パスＰ４０Ｃは、本来はパスＰ４０Ｃｔの近傍に来るはずであるが、この例では、位置座標データに大きな誤差があり、大きくずれた位置に配置された状態を示した。このようにずれて配置された結果、車線境界線も、本来は実線のＣ４０ｔの位置に配置されるべきものが、破線のＣ４０で示すようにパスＰ４０Ａの車線境界線の近くに配置されてしまっている。
位置座標データに基づいて得られるパスＰ４０Ａ、Ｐ４０Ｃの間隔はＸＯＦＦ１である。位置座標データの誤差が小さければ、間隔ＸＯＦＦ１と、画像解析から得られた間隔ＸＯＦＦ２との誤差Ｅｒｒは十分小さな値となるはずである。従って、この誤差Ｅｒｒに基づいて、パスＰ４０Ｃｔの位置座標の精度を評価することができる。
【０２１７】
誤差Ｅｒｒが所定の閾値（例えば、道路の半幅以上の値という意味で１ｍ）以上ある場合には、パスＰ４０Ｃは位置精度が低いと判断し、画像解析から得られた間隔ＸＯＦＦ２を用いて、位置修正を行う。つまり、パスＰ４０Ａを基準として間隔ＸＯＦＦ２となる位置に、パスＰ４０Ｃを移動させ、パスＰ４０Ｃｔの状態にする。この結果、車線境界線もＣ４０ｔの位置に移動する。従って、パスＰ４０Ａの位置合わせに利用する対応点として、特徴点Ａ４０の近くにある特徴点Ｂ４０が選択されることとなり、特徴点Ｃ４０が誤って選択されることを回避できる。
上述の処理では、パスＰ４０Ａを基準としてパスＰ４０Ｃ側を移動させる形で位置修正を行う例を示した。パスＰ４０Ａを基準としたのは、この例では、パスＰ４０Ａを基準パスとして位置合わせをするものとしたからである。もっとも、画像解析から得られた間隔ＸＯＦＦ２となるように、パスＰ４０ｃを基準としてパスＰ４０Ａを移動させて位置修正してもよい。ここで行っている位置修正は、複数のパス間の相対的な位置関係の修正であるから、パスＰ４０ｃを基準とする場合でも、上述の処理と同じ結果が得られる。
【０２１８】
（２）パスの位置修正処理：
図４１はパスの位置修正処理のフローチャートである。図４０で示した処理を実現するためのものであり、自動位置合わせ処理（図１９）において、対応点探索処理（ステップＳ２５０）の前処理として行うことができる。
この処理では、ＣＰＵは、まず各パスのフレームデータを読み込む（ステップＳ４１１）。そして、このフレームデータのうち、信号機が写ったフレームデータを抽出する（ステップＳ４１２）。この抽出には、信号機を表すパターンマッチングモデルを用いた。
図４２は信号機が写ったフレームデータの抽出例を示す説明図である。図４２（ａ）は信号機を、左側の車線から写した状態を表しており、図４２（ｂ）は同じ信号機を、右側の車線から写した状態を表している。信号機の周囲を囲んでいる枠がパターンＭ４１２である。
【０２１９】
図４２（ａ）（ｂ）に示すように、撮影するときの車線によって、信号機と撮影位置の相対的な位置関係が変化するため、画像内での信号機のサイズおよび形状が変化する。また、同じ車線でも、信号機までの距離に応じて、サイズおよび形状が変化する。信号機のパターンマッチングで利用されるパターンマッチングモデルは、信号機までの距離や撮影時の走行車線の違いに応じて信号機を囲む枠の形状を多数記憶したデータベースである。
パターンマッチングでは、まず、画像データ内に信号機の青色に相当する画素があるか否かによって、信号機の有無を判定する。信号機は発光体であるから、撮影時の周囲の明るさの影響をあまり受けず、安定した色で撮影されるため、色に着目することで容易に信号の有無を判断することができる。黄色や赤色に基づいて判断することも可能ではあるが、走行しながら撮影した一連の画像データには、信号機が青色に点灯している状態が含まれているから、青色に着目して判断することが好ましい。
次に、信号機があると判断されたフレームデータに対して、パターンマッチングモデルのパターンを順次、あてはめる。こうして、画像内の信号機の形状に最も適合するパターンがものに基づいて信号機の画像内での位置を特定することができる。
【０２２０】
図４１に戻り位置修正処理の内容を説明する。
パターンマッチングでは、同じ信号機を写したフレームデータが複数抽出される。ＣＰＵは、この中から、信号機が最大面積で写ったフレームを抽出する（ステップＳ４１３）。この処理の概要を図中に示した。車両が信号機ＳＩＧに近づいていくと、信号機の面積は図中にグラフで示すように、ある地点までは徐々に大きくなり、最大値となった後、小さくなるという変化を示す。信号機までの距離が遠い場合には、フレームデータＦ４１１に示すように信号機は小さく写っているため、面積は小さい。信号機までの距離が近づくにつれて、信号機の面積は徐々に大きくなり、信号機に十分に近づいた状態では、フレームデータＦ４１２に示すように最大面積となる。更に、信号機に近づくと、フレームデータＦ４１３に示すように、信号機が画像内におさまりきらなくなるため、信号機の面積は徐々に小さくなっていく。
ＣＰＵは、各フレームデータ内の信号機の面積を求めることによって、最大面積のフレームデータＦ４１２を抽出することができる。
【０２２１】
位置合わせの基準となる基準パスと、位置合わせ時に平行移動すべき標準パスの各パスについて信号機が最大面積で写っているフレームが抽出されると、ＣＰＵは、同一の信号機を撮影したフレームに基づいて、基準パスから標準パスまでのオフセットＸＯＦＦ２（図４０（ｂ）参照）を算出する（ステップＳ４１５）。先に図４０（ｂ）で説明したように、カメラの画角又は焦点距離、撮影方向（カメラが設置されている角度）などの撮影パラメータに基づいて、各パスについて、画面内の信号機の２次元的な位置座標から撮影位置までの相対的な位置関係を求める。そして、この相対的な位置関係に基づいて２つのパス間のオフセットを求める。
【０２２２】
次に、ＣＰＵは撮影時に計測された位置座標データに基づいて基準パスから標準パスまでのオフセットＸＯＦＦ１を求める（ステップＳ４１６）。
そして、オフセット誤差Ｅｒｒ（＝｜ＸＯＦＦ２−ＸＯＦＦ１｜）を算出し、オフセット誤差Ｅｒｒが閾値１ｍ以上となる場合には、標準パスの位置を、画像解析から得られたオフセットＸＯＦＦ２に基づいて修正する（ステップＳ４１７）。つまり、基準パスから標準パスまでのオフセットがＸＯＦＦ２となるよう、標準パスの位置座標を平行移動によって修正する。
修正するか否かの判断に用いられる閾値は１ｍに限らず任意に設定可能である。また、かかる判断を省略し、全てのパスについて画像解析から得られたオフセット値に基づく位置修正を行ってもよい。
【０２２３】
上述の位置修正処理を施せば、対応点の探索を行う前に、位置座標データの精度が低いパスの位置を修正することができる。従って、隣の車線に位置するペイントに基づいて対応点を設定するなどの誤認識を抑制でき、位置合わせ処理の精度を向上させることができる。
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。
例えば、連結画像は、路面テクスチャを合成した一枚の画像として生成してもよい。この場合、複数パスの合成を行う際には、連結画像を路面テクスチャに相当する複数の領域に分割した上で、領域ごとに平行移動すればよい。
本実施例では、車両に搭載したビデオカメラで撮影した画像を利用する例を示したが、車両に限らず自転車その他の種々の移動体を利用可能であり、歩行しながら撮影する方法を採ってもよい。
【符号の説明】
【０２２４】
１００…道路面撮影システム
１１０…位置計測部
１１０…計測データ
１１２…コントローラ
１１４…ＧＰＳ
１１４Ａ…アンテナ
１１６…ＩＭＵ
１１８…ＤＭＩ
１２０…ビデオカメラ
１３０…記録装置
１４０…ハードディスク
１４２…画像データ
１４４…同期データ
１４６…計測データ
１５０…基準局データ
２００…路面標示地図生成装置
２０１…主制御部
２０２…コマンド入力部
２０３…表示制御部
２０４…データ入力部
２０５…軌跡データ算出部
２０６…画像変換部
２０７…１パス画像合成部
２１０ａ…軌跡データ
２１０ｂ…路面軌跡データ
２１０ｃ…路面テクスチャ
２１０ｄ…連結画像
２１０ｅ…道路画像
２１０ｆ…道路画像用登録データ
２１０ｇ…軌跡用登録データ
２１０ｃ…データ（路面テクスチャ
２１０…処理データ記憶部
２２０…位置合わせ処理部
２２１…透明化ポリゴン設定部
２２２…自動位置合わせ処理部
【技術分野】
【０００１】
本発明は、道路面に施された標示が含まれる路面標示地図を生成する技術に関する。
【背景技術】
【０００２】
カーナビゲーションなどで使用される電子地図データには、多様な機能を実現するため、種々の詳細なデータが要求されている。その一つとして、横断歩道や中央線、車線境界線などの路面に描かれる標示が挙げられる。これらの標示を予め画像として取得しておくことにより、ユーザに対して実際の路面に近い画像を提供することができ、直感的に理解しやすい案内を実現することが可能となる。
【０００３】
標示を含む路面の画像を効率的に生成するための技術として特許文献１、特許文献２などが挙げられる。
特許文献１は、車両の前後又は側方に対してデジタルカメラ等により取得された画像から、路面の標示を含む静止画像を生成する技術を開示している。この技術では、目的の道路を車両で走行しながら、その車両に搭載されたデジタルカメラで路面の標示等を撮影する。そして、動画を構成する各フレーム画像を真上から見た状態の正射画像に変換し、撮影位置に応じて配列する。正射画像とは、道路の垂直上方の無限遠点に視点を置いた場合の道路画像をいう。複数のフレーム画像を配列することによって、１回の走行の軌跡に沿った道路面の合成画像を得ることができる。
【０００４】
特許文献２は、２つの走行レーンを走行して撮影することにより得られた画像を合成して幅広の道路画像を合成する技術を開示している。この技術では、まず一つの走行レーンの画像に対して、道路の車線境界線など、本来、直線的に描かれているものが直線として表示されるようにアフィン変換をかける。そして、２つの走行レーンで共通して撮影されている車線境界線などの座標が一致するように、一方の走行レーンの画像をアフィン変換する。また、同様の方法によって、走行レーンごとに画像をアフィン変換しながら合成することによって３以上の走行レーンの画像を合成する技術も開示している。
【０００５】
また、標示を含む路面の画像を生成する技術とは異なるが、複数の画像の合成技術として特許文献３が挙げられる。特許文献３は、空中から地上を撮影したビデオ映像から広域写真地図を作成するための技術を開示している。この技術では、複数の画像に共通して存在する被写体上の特徴点を抽出し、この特徴点の移動量を求める。そして、撮影時の位置・姿勢情報に応じた変換をかけた上でこれらの画像を合成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２４９１０３号公報
【特許文献２】特許第３８２０４２８号公報
【特許文献３】特開２００６−１９５５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
地図データには、経路探索用に道路をノード、リンクで表した道路ネットワーク、および地図を表示するために道路をポリゴンで表したデータなどがある。道路ネットワークでは、道路を１本又は２本のリンクで代表させているため、リンクに付された座標は、道路のいずれの部分を表しているか厳密には分からない。描画データでは、道路を表すポリゴンの外周の位置座標は分かるものの、道路内部の地点についての位置座標は分からない。
例えば、道路内部の各地点の位置座標が詳細に得られている地図データが存在すれば、車両の現在位置に応じて、車両が道路のどの車線を走行しているかを判断して、車線変更の案内を行うことや、車両に横断歩道が接近していることを警告するなどの高機能な案内を実現することが可能となる。
しかし、従来の地図データは、これらの高精度、高機能な案内を実現するためには不十分な精度しか有していなかった。仮に車両の現在位置を精度良く把握したとしても、その位置情報を活かすだけの詳細な地図データが用意されていたとはいえなかった。
【０００８】
路面の標示は道路上の位置座標を豊富にするための目的物として適している。例えば、横断歩道や車線境界線の位置座標が得られていれば、上述した高機能な案内の実現に資することができる。
しかし、上述した従来技術は、いずれも道路面の合成画像を得ることを主目的としており、路面の標示の位置座標を得ることを目的としてはいなかった。
例えば、特許文献２の技術は、道路が直線か曲線かにかかわらず車両の進行方向をＸ軸とし、その移動距離をＸ座標として画像を表しているに過ぎず、このＸ軸に直交する方向にのみ画像をアフィン変換するに過ぎない。複数の走行レーンの画像について、このように定められたＸ座標が十分に一致しているという保証はないから、特許文献２の技術では路面の標示の位置座標を精度良く得ることはできない。
【０００９】
また、アフィン変換は、原画像の長方形領域を平行四辺形に歪ませる作用を持つ変換ともいえるから、特許文献２の技術では、アフィン変換によって画像の合成を行うことにより画質の劣化を招き、路面の標示の位置座標を一層低下させるという課題もある。
一方、特許文献１記載の技術は、一本の移動軌跡について得られている画像に対する処理を開示しているのみであり、１回の撮影幅は１車線分程度に限られているから、幅広の道路では、道路全体を十分にカバーすることができない。
【００１０】
本発明は、これらの課題を解決し、複数の生成対象道路のルートに対応するパスに沿って配置される画像を、高い位置精度で合成することによって、路面の標示が含まれる地図を生成することを目的とする。また、この合成をする際の処理負荷の軽減を図ることを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、道路面に施された標示が含まれる路面標示地図をコンピュータによって生成する路面標示地図生成方法として構成することができる。
本発明では、まず、コンピュータは、標示が施された道路面の連続画像の画像データ、およびこの画像データの撮影位置を表す位置座標データを入力する。連続画像の画像データおよび位置座標データは、路面標示地図の生成対象となる道路面と、生成対象外であるその他の道路面とを混在して撮影してあるものとする。
次に、コンピュータは、生成対象となる道路面に対応する領域を包含する切出用ポリゴンを入力又は生成して、記憶部に記憶する。この記憶部は、例えば、コンピュータに内蔵されているハードディスク等である。切出用ポリゴンは、オペレータによって指定されたものを入力してもよいし、コンピュータにより自動生成してもよい。
そして、コンピュータは、位置座標データが切出用ポリゴンの領域内に存在する画像データを抽出して、連続するフレーム画像として前記記憶部に記憶する。この記憶部は、上述の切出用ポリゴンを記憶した記憶部と物理的に異なるものであってもよい。
【００１２】
一般に、道路を走行して路面表示地図を生成するための撮影を行う場合、生成対象となる道路のみを連続して走行できるとは限らない。例えば、生成対象の道路を走行していても、途中に工事箇所や障害物などがあり、迂回する必要が生じることもある。また、駐停車する場所がない道路では、道路脇の駐車場や、別の道路で撮影準備をしてから、生成対象となる道路に進入することになり、対象道路とは無関係の位置から撮影が開始されることもある。路面標示地図を生成する場合には、このように生成対象である道路面と、生成対象外であるその他の道路面とが混在して撮影されている連続画像から、生成対象の道路面に関するものだけを抽出する必要がある。
上述の方法によれば、生成対象外の画像データが排除されて、位置座標データが切出用ポリゴンの領域内に存在する画像データ等を自動的に抽出することができる。そのため、撮影者が道路を走行する際の自由度が増し、撮影時の負荷が軽減される。また、生成対象となる道路の画像データを抽出する際のオペレータの負荷も軽減される。
【００１３】
また、抽出された画像データおよび位置座標データのうち、連続したフレーム画像をまとめて記憶する点でも負担軽減を図ることができる。例えば、生成対象となる道路に進入して撮影を行った後、生成対象外である他の道路に迂回して、再度、生成対象となる道路に進入した場合、最初の進入時に得られた一連のフレーム画像と、迂回後の進入時に得られた一連のフレーム画像とをまとめて関連づける。
上述の画像データは、例えば、車両などの移動体に搭載した撮影装置によって撮影することができる。撮影装置としては、例えば、ディジタル・ビデオ・カメラなどを用いることができる。また、撮影装置には、撮影時の位置座標データを取得する位置計測装置を搭載しておくことが好ましい。位置計測装置は、例えば、ＧＰＳ（Global Positioning System）や、ジャイロなどの慣性航法装置などを単独又は組み合わせて用いることができる。また、処理の便宜上、撮影した画像と位置座標データとを入力し、両者を同期させて記録する記録装置を用意しておくことが好ましい。
【００１４】
コンピュータは、連続するフレーム画像を変換して、道路面を真上から見た状態の正射画像を得る。正射画像は、各フレーム画像の一部を利用して生成してもよい。
そして、こうして得られた正射画像を位置座標データに基づいて道路面を表す連結画像を生成する。この際、正射画像の一部が重なってもよい。正射画像は、例えば、その中心線が後述するパスの進行方向に沿う状態で配置することが好ましい。
次に、コンピュータは、連続するフレーム画像に対応する位置座標データの点列を接続したラインをパスとして定義する。「パス」は、路面標示地図を生成する対象となっている道路において、任意の始点から任意の終点までを連結した架空のラインと表現することもできる。なお、実施例においては、実際に走行した道路の走行軌跡についても便宜的に「パス」と表現している場合もある。
こうすることで連結画像がパスの本数分だけ得られる。なお、それぞれ位置座標に誤差が含まれるため、複数本の連結画像は、誤差に応じて、ずれた状態で表示される。撮影対象が複数車線の道路である場合、車線ごとに移動して撮影してもよいし、いずれかの車線上を複数回移動して撮影してもよい。
【００１５】
次に、コンピュータは、複数のパスのうち、２本以上のパス上に配置された正射画像に共通して撮影されている領域内で対応する対応点を、各連結画像の所定の特徴点を抽出する画像処理に基づいて特定する。例えば、２本のパスにおける連結画像に横断歩道が共通に撮影されている場合には、それぞれの連結画像において画像処理によって、横断歩道の縞模様のいずれかの角を特徴点として抽出する。そして、これらの特徴点のうち対応するものを対応点とする。対応点として使用する特徴点は、横断歩道に限らず、画像処理によって抽出された特徴点から任意に選択可能である。また、標示と無関係に特定するようにしてもよい。上述の処理によって特定された対応点同士のずれは、位置座標の誤差を表すことになる。
【００１６】
コンピュータは、対応点の位置が一致するように、パス上に配置された連結画像を補正することで、複数のパスにまたがる道路面の合成画像を生成する。
この補正は、例えば移動ベクトルに基づいて行う。具体的には、連結画像を構成する領域ごとに平行移動することによって行う。この領域は、一旦、生成された連結画像を元の正射画像に相当するサイズ又は別の任意に設定されたサイズに分割したものでもよい。また、連結画像を生成する際に、正射画像を合成せずに配置するだけに留めておく場合には、正射画像ごとに位置を修正するようにしてもよい。
本発明の路面標示地図生成方法によれば、撮影時の位置座標データに基づいて各パスの路面を表す連結画像を生成することができるため、位置精度が確保された状態で連結画像を得ることができる。そして、複数のパスに存在する対応点が一致するように修正することによって、パス間の位置の誤差を解消することができる。
【００１７】
また、各パスの合成は、連結画像を領域ごとに平行移動することによって行うため、各領域の正射画像に歪みを加えることなく位置を修正することができる。従って、この修正時には路面の標示は、各領域の正射画像内での相対的な位置精度を保持しておくことができる。
更に、各パスの合成に使用する対応点は、コンピュータが画像処理によって抽出した特徴点に基づき設定することができる。このため、オペレータが逐一、対応点を指定する必要がなく、軽い処理負荷で合成を行うことができる。もっとも、対応点の特定は、完全に自動化する必要はなく、コンピュータが特定した対応点に対し、オペレータが一部を修正、削除したり、他の対応点を追加したりできるようにしてもよい。
以上の作用によって、本発明によれば、撮影時の位置精度を確保した状態で、路面の標示を含む合成画像を得ることができる。従って、この合成画像を用いることにより、路面の標示を含む路面標示地図を生成することが可能となる。ここで、路面標示地図は、この合成画像を用いた印刷物として生成してもよいし、合成画像に基づき路面標示の位置座標を取得して、電子化することにより、電子地図として生成してもよい。
【００１８】
切出用ポリゴンは、生成対象となる道路面に対応する、道路ネットワークデータを構成するリンク列に基づいて生成するようにしてもよい。
このように自動生成することにより、次に示すように、切出用ポリゴンを入力するオペレータの負担をより軽減することができるとともに、切出処理を安定的に実行することができる利点がある。なぜなら、切出処理の精度は、切出用ポリゴンの形状に依存する。例えば、切出用ポリゴンが生成対象となる道路面の領域を包含できていない場合、この欠けている部分では、本来、抽出されるべきデータが抽出されずに欠落してしまう。また、切出用ポリゴンが生成対象となる道路面よりも過大な場合には、生成対象となる道路と無関係の道路面についてのデータが誤って抽出されてしまう。上述の方法で切出用ポリゴンを自動生成すれば、オペレータの負担を軽減するだけでなく、これらの誤りを回避できるため、切出処理の安定化を図ることができる。
【００１９】
リンク列からの切出用ポリゴンの生成は種々の方法で行うことができる。例えば、まず、リンク列を構成する各リンクを対称軸とする矩形状の矩形ポリゴンを生成する。この状態では、それぞれのリンクに対応した矩形ポリゴン同士を重ねたときに、接続点に接続される２つのリンクがなす角における鈍角側に凹部ができることがある。従って、この凹部を埋めて凸形状化する補助ポリゴンを生成する。そして、矩形ポリゴンと補助ポリゴンとを合成して、切出用ポリゴンを生成する。
かかる方法では、補助ポリゴンによって凹部を埋めるため、道路面に沿う形状で、道路面を包含する切出用ポリゴンを生成することができる。
【００２０】
本発明において、連結画像から特徴点を抽出し、複数のパスの連結画像の対応点を特定する際、パスの位置精度が低い場合には、無関係の点を対応点としてしまうことも起き得る。例えば、各連結画像から車線境界線の角を特徴点として抽出した場合を考える。この場合は、複数の連結画像間で近くにある特徴点について、同じ車線境界線を表す点であると認識し、対応点として特定することになる。しかし、車線境界線は各車線に描かれているため、パスの位置精度が１車線に相当する程にずれていると、本来は対応していない隣車線の車線境界線を対応点として特定してしまうおそれがある。
【００２１】
こうした弊害を回避するため、本発明では、対応点の特定に先立って、次の処理を含めてもよい。
まず、各パスに対応する連結画像の解析に基づいて撮影位置を求める。このように画像解析によって得られた撮影位置に基づき、撮影時に取得された位置座標データの位置精度の評価を行う。そして、所定の位置精度以下となる連結画像の位置座標データについては、解析によって得られた撮影位置に基づいて修正する。こうすることにより連結画像の位置精度を確保することができるから、対応点が誤って特定される可能性を抑制できる。
【００２２】
連結画像の解析に基づいて撮影位置を求める方法としては、例えば、次の方法をとることができる。
まず、各パスに共通して含まれる道路との位置関係が固定された所定の地物を撮影したフレーム画像を抽出する。そして、各パスについて、抽出されたフレーム画像内での地物の２次元座標値と、撮影時の画角および撮影方向を含む撮影パラメータとに基づいて、地物と撮影位置との相対的な位置関係を求める。そして、各パスについて得られた位置関係を用いればパス間の距離を算出することができる。
一方、道路の撮影時に得られた位置座標データに基づいて、各パス間の距離を求めることもできる。
位置座標データが十分な位置精度であれば画像解析から得られたパス間の距離と、位置座標データから得られたパス間の距離は、概ね一致するはずである。従って、両者の比較によって位置座標データの位置精度を評価することができる。この結果、所定の位置精度に満たないと評価されたパスについては、画像解析から得られた位置関係に基づいて、位置座標を修正する。
ここでは、フレーム画像の解析から撮影位置を求める方法を採ったが、例えば、各パスの連結画像を用いて固定の地物と各パスの位置関係を求め、パス間の距離を算出するようにしてもよい。
【００２３】
上述の固定の地物としては、例えば、信号機を用いることができる。信号機は発光体であるため、天候等の撮影条件に左右されずに比較的安定した色で撮影される。従って、色に着目することによって、フレーム画像から比較的容易かつ精度よく抽出することが可能だからである。また、信号機は比較的単純な外形をしているため、パターンマッチングにも適しており、画像データから相対的な位置関係を算出しやすいという利点もある。
なお、信号機を固定の地物として用いる場合には、位置関係の算出には、フレーム画像を用いることが好ましい。連結画像のように真上から見た状態の画像では、信号機を明瞭に認識することは困難だからである。
【００２４】
本発明では、各パスの連結画像の特徴点を抽出することによって対応点を特定する。この特徴点の抽出は、いわゆる純粋の画像処理によって、例えば、明度、色相などが周囲と急激に変化する点などを抽出する方法を採ることができる。
また、本発明では、道路面を撮影した画像を対象としているため、各パスの連結画像に含まれる路面に描かれた標示の種別および位置を認識し、複数のパス間で、認識された同一種別の標示の特徴点に基づいて対応点を特定してもよい。
こうすることにより、簡易かつ精度良く特徴点を抽出することが可能となる。
【００２５】
標示の認識には、例えば、次の方法で、パターンマッチングを用いることができる。
まず、二次元平面において予め設定された方向に、パス上の基準点からの距離を表す直線状の距離軸を定義する。この距離軸は、パターンマッチング用に用意されたパターンを配置するのに適した方向に定義する。そして、パスに沿った基準点からの距離に基づいて、フレーム画像を真上から見た状態に変換して得られた正射画像を距離軸上に配置することにより、各パスの路面を表す直線状の連結画像を生成する。こうして得られた連結画像に基づいて、路面に描かれた標示の種別および位置を認識する。こうすることにより、パターンマッチングの精度を向上させることができる。
【００２６】
標示の認識結果に基づいて特徴点を抽出した後は、それぞれのパスから予め設定されている距離を越える点を除いて対応点を特定することが好ましい。対応点とは、パスを平行移動して複数パスにまたがる道路面の合成画像を生成する際の基準となる点である。上述の方法によれば、対応点を、パスから上記距離内にある比較的近傍の点に限定することができ、平行移動における位置合わせの精度向上を図ることができる。距離は合成画像に要求される位置精度に応じて、任意に設定可能である。例えば、道路の１車線分の幅などを用いることができる。
【００２７】
また、特定された対応点については、更に次の方法による取捨選択を行ってもよい。
まず、特定された対応点のうち、パスごとに、そのパスから予め設定されている距離内にある対応点の集合を求める。つまり、多数得られた対応点のうち、第１のパスに対して比較的近傍（上記距離内）にある対応点のみを選択し、これを第１のパスに対するグループとして関連づける。また、第２のパスに対しても同様に、第２のパスの比較的近傍にある対応点のみでグループを形成する。なお、この距離についても任意に設定可能である。
【００２８】
次に、各パスの集合に含まれる対応点の数が最多の集合を選択する。上述の第１のパスおよび第２のパスに関連づけたグループに含まれる対応点の数を比較し、いずれか多い側のグループを選択する。そして、合成画像の生成には、この選択された集合に含まれる対応点を用いる。
こうすることにより、第１のパス又は第２のパスに近い対応点のみを用いて合成画像が生成されることになる。こうすることによって、パスの平行移動の精度を、パスに沿ってほぼ均一に保つことができ、違和感のない合成画像を生成することが可能となる。
仮に、かかる取捨選択を行わずに合成画像を生成すると、第１のパスの近傍にある対応点と、そうでない対応点とが混在した状態で平行移動がなされるため、その精度がパスに沿ってまちまちとなり、平行移動後は、パスの形状がいびつに歪んでしまうなど、違和感のある合成画像となる場合がある。
【００２９】
特定された対応点については、更に、次の取捨選択を行ってもよい。
フレーム画像の撮影位置はパスに沿って連続的に位置する訳ではなく間欠的に配置されている。このように配置される撮影位置のうち、ＣＰＵは、各パスに対して、抽出された各対応点の直前直後に位置する撮影位置を求め、これらの撮影位置を包含するポリゴンを求める。第１の対応点を第１および第２のパスに投影し、それぞれのパスについて、その直前直後の撮影位置（合計４点）を求め、第２の対応点についても同様にして撮影位置を求める。そして、これらの８点の撮影位置を包含するポリゴンを求める。
対応点ごとに、上述のポリゴンが得られると、次に、このポリゴン同士が重なる箇所では、いずれか一組の対応点を残し、他の対応点を削除する。いずれの対応点を残すかは、任意の方法を採ることができる。例えば、それぞれのパスに対する距離が最短となるものを残してもよいし、パスに沿う方向に前側に位置するもの、又は後ろ側に位置するものを残すようにしてもよい。
【００３０】
上述のポリゴン同士が重なる箇所というのは、対応点同士がパスに双方向に近接して位置することを意味している。従って、かかる箇所で、一組の対応点だけを残すようにすることによって、パスに沿う方向に対応点を適度に間引くことができ、処理速度を向上させることができる。
本発明は、必ずしも上述した特徴を全て備えている必要はなく、適宜、その一部を省略してもよいし、いくつかの特徴を適宜、組み合わせて備えるようにしてもよい。
本発明は、上述の路面標示地図生成方法に限らず、この生成方法によって道路面に施された標示を含む路面標示地図を生成する路面標示地図生成装置として構成してもよい。
また、上述の生成方法をコンピュータに実現させるためのコンピュータプログラムとして構成してもよいし、かかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。記録媒体としては、例えば、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等、コンピュータが読み取り可能な種々の媒体を利用できる。
【発明の効果】
【００３１】
生成対象の道路面と、生成対象外であるその他の道路面とが混在して撮影されている連続画像から、生成対象の道路面に関するものだけを自動的に抽出することができるため、オペレータの負荷を軽減することができる。
【図面の簡単な説明】
【００３２】
【図１】実施例としての道路面撮影システムの構成を示す説明図である。
【図２】実施例としての路面標示地図生成装置の構成を示す説明図である。
【図３】路面標示地図の生成過程における中間データを示す説明図である。
【図４】実施例における道路画像の生成例を示す説明図である。
【図５】位置合わせ加工の概要を示す説明図である。
【図６】交差点が存在する場合の位置合わせの手順を示す説明図である。
【図７】連結画像生成処理のフローチャートである。
【図８】位置合わせ加工のフローチャートである。
【図９】基準パス設定処理のフローチャートである。
【図１０】連結画像移動処理のフローチャートである。
【図１１】位置合わせ加工の処理例（１）を示す説明図である。
【図１２】位置合わせ加工の処理例（２）を示す説明図である。
【図１３】位置合わせ加工の処理（２）の加工結果を示す説明図である。
【図１４】路面標示の絶対位置座標の取得方法を示す説明図である。
【図１５】透明化ポリゴン設定処理の概要を示す説明図である。
【図１６】透明化ポリゴン設定処理のフローチャートである。
【図１７】透明化ポリゴンを設定する前の道路画像例を示す説明図である。
【図１８】透明化ポリゴンの設定後の道路画像例を示す説明図である。
【図１９】自動位置合わせ処理のフローチャートである。
【図２０】画像前処理のフローチャートである。
【図２１】ギザギザ除去処理の処理例を示す説明図である。
【図２２】エッジ太らせ処理の処理例を示す説明図である。
【図２３】面領域の除去例を示す説明図である。
【図２４】処理領域設定の様子を模式的に示す説明図である。
【図２５】処理領域の設定例を示す説明図である。
【図２６】対応点フィルタリング処理を示す説明図である。
【図２７】対応点フィルタリング処理のフローチャートである。
【図２８】図２８は道路面撮影時の走行経路を例示する説明図である。
【図２９】フレームデータ切出処理のフローチャートである。
【図３０】補助ポリゴンの生成方法を示す説明図である。
【図３１】ポリゴンの合成方法を示す説明図である。
【図３２】切出用ポリゴンの変形例を示す説明図である。
【図３３】フレームデータ選択処理のフローチャートである。
【図３４】ペイント認識処理のフローチャートである。
【図３５】縦配置処理の内容を示す説明図である。
【図３６】相対座標変換処理の内容を示す説明図である。
【図３７】対応点探索処理のフローチャート（１）である。
【図３８】対応点探索処理のフローチャート（２）である。
【図３９】グループ選択の効果を示す説明図である。
【図４０】パスの位置修正の概要を示す説明図である。
【図４１】パスの位置修正処理のフローチャートである。
【図４２】信号機が写ったフレームデータの抽出例を示す説明図である。
【発明を実施するための形態】
【００３３】
本発明の実施例について以下の順序で説明する。
Ａ．システム構成：
Ａ１．道路面撮影システム：
Ａ２．路面標示地図生成装置：
Ｂ．処理概要：
Ｂ１．中間データ構成：
Ｂ２．処理例：
Ｂ３．位置合わせ加工概要：
Ｃ．路面標示地図生成方法：
Ｃ１．連結画像生成処理：
Ｃ２．位置合わせ加工：
Ｃ３．基準パス設定処理：
Ｃ４．連結画像移動処理：
Ｃ５．透明化ポリゴン設定処理：
Ｄ．自動位置合わせ処理：
Ｄ１．画像前処理：
Ｄ２．処理領域設定：
Ｄ３．対応点フィルタリング処理：
Ｅ．他の実施例：
Ｅ１．フレームデータ読み込み処理：
Ｅ２．特徴点抽出処理：
Ｅ３．対応点探索処理：
【００３４】
Ａ．システム構成：
本実施例では、車両に搭載したビデオカメラで撮影した道路面の画像を用いて、路面の標示を含む地図（以下、「路面標示地図」と呼ぶ）を生成する方法を示す。
本実施例のシステムは、道路面撮影システムと路面標示地図生成装置とを備える。道路面撮影システムは、道路を走行しながら道路面の画像をビデオカメラで撮影するシステムである。本実施例では、対象となる道路を、異なる走行軌跡で複数回走行し、それぞれ画像を撮影する。
路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成する装置である。まず、上述の各走行軌跡上に、撮影された画像を正射画像に変換した上で配置することで、道路面の一部の車線についての画像を生成する。そして、複数の走行軌跡の画像を、位置座標が整合するように配置することで道路全体の画像を生成する。
以下、道路面撮影システムと路面標示地図生成装置のシステム構成について説明する。
【００３５】
Ａ１．道路面撮影システム：
図１に示すように、道路面撮影システム１００は、車両に搭載されたシステムである。ビデオカメラ１２０は、走行中の道路面の画像を撮影する。位置計測部１１０は、撮影中の位置座標を計測する装置である。位置計測部１１０は、ＧＰＳ（Global Positioning System）１１４、ＩＭＵ（InertialMeasurement Unit）１１６、ＤＭＩ（Distance Measuring Instrument）１１８およびコントローラ１１２を備える。ＧＰＳ１１４は、全地球測位システムである。ＩＭＵ１１６は、内部に３軸のジャイロおよび加速度センサを備えた慣性計測装置である。ＤＭＩ１１８は、車輪の回転を検出して移動距離を計測する装置である。
【００３６】
コントローラ１１２は、ＧＰＳ１１４、ＩＭＵ１１６、ＤＭＩ１１８からの信号を受け、撮影時の位置座標を逐次出力する。位置座標は任意の座標系を採ることができるが、本実施例では、緯度経度および標高を用いた。
また、これらの信号の取得後、位置座標の計測精度の評価値である自己推定位置精度σを併せて出力する。一般にＧＰＳ１１４は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。
自己推定位置精度σは、任意に定義可能である。例えば、ＧＰＳ１１４の人工衛星の配置によって定まる精度低下率（ＤＯＰ（Dilution of Precision））を用いて自己推定位置精度σを算出するようにしてもよい。また、自己推定位置精度σは、取得されたデータを後述する路面標示地図生成装置で処理する際に、解析するようにしてもよい。
【００３７】
記録装置１３０は、ビデオカメラ１２０および位置計測部１１０の出力信号を同期して記録する。本実施例では、記録装置１３０は、汎用のパーソナルコンピュータに、記録用のハードディスク１４０を増設した装置によって構成した。ハードディスク１４０内には、図示する通り、画像データ１４２、同期データ１４４、計測データ１４６が記録される。画像データ１４２は、ビデオカメラで撮影された画像の動画ファイルである。計測データ１４６は、位置計測部１１０で得られた位置座標である。同期データ１４４は、画像データ１４２と計測データ１４６との取得時刻を対応づけるデータである。同期データ１４４および計測データ１４６を参照することにより、画像データ１４２のフレームごとに撮影地点の位置座標を得ることができる。
【００３８】
撮影時の記録用のデータ構造は、上述した構造に限られない。例えば、計測データ１４６は、画像データ１４２の各フレームの位置座標を順次、格納するデータとしてもよい。こうすることにより、同期データ１４４を省略することが可能となる。かかるデータを取得するためには、例えば、記録装置１３０がビデオカメラ１２０のフレームごとに同期信号を位置計測部１１０に出力し、そのときの位置座標を取得する方法を採ることができる。
【００３９】
図の上方に、車両に搭載した状態を模式的に示した。
ビデオカメラ１２０は、前方画像を撮影できるよう、車両の前方に設置する。画角を広げるために広角レンズを装着してもよい。
ＧＰＳ１１４のアンテナ１１４Ａは、車両のルーフ上部に設置する。本実施例では、ＧＰＳ用の人工衛星からの電波を確実に受信し、十分な位置精度を確保することができるよう、アンテナ１１４Ａを車両の前後に主副の２台設置した。いずれか一台のみを用いるものとしてもよい。
ＩＭＵ１１６、ＤＭＩ１１８、コントローラ１１２は、それぞれ車両の後部に設置した。ＤＭＩ１１８は、後輪の回転を検出可能に装着されている。
記録装置１３０およびハードディスク１４０は車室内の任意の場所に設置可能であるため、図示を省略した。
【００４０】
Ａ２．路面標示地図生成装置：
図２に示す路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成するための装置である。本実施例では、完全に自動で路面標示地図を生成するのではなく、適宜、オペレータからのコマンドによる指示を受けながら対話型又は半自動で処理を進める方法を採用した。
図２には、路面標示地図生成装置２００の機能ブロックを示した。本実施例では、路面標示地図生成装置２００は、図示する各機能を実現するためのコンピュータプログラムを、汎用のパーソナルコンピュータにインストールすることによってソフトウェア的に構築した。これらの機能ブロックの一部は、ＯＳ（Operating System）によって提供してもよい。また、これらの機能ブロックは、それぞれハードウェア的に構成することも可能である。また、ここでは説明の便宜上、スタンドアロンで稼働する装置として説明するが、各機能ブロックをネットワークで接続された複数のコンピュータに分散して用意してもよい。
【００４１】
主制御部２０１は、各機能ブロックを統合制御する。データ入力部２０４は、道路面撮影システム１００で取得した各種データを記録したハードディスク１４０から、画像データ１４２、同期データ１４４、計測データ１４６を入力する。本実施例では、ハードディスク１４０を道路面撮影システム１００から路面標示地図生成装置２００に接続し直すことによって、これらのデータを受け渡す方法を採ったが、ネットワーク経由でデータを送信する方法や、ＤＶＤなどの記録媒体を用いてデータを受け渡す方法を採ってもよい。計測データには、位置計測部１１０で得られた位置座標が含まれるから、データ入力部２０４は、本発明における入力部に相当する。
【００４２】
コマンド入力部２０２は、コンピュータに備えられたキーボードやマウスなどの操作を介して、オペレータからのコマンドを入力する。
表示制御部２０３は、コンピュータのディスプレイに、路面標示地図生成装置２００での処理結果を表示したり、オペレータが種々のコマンドを指示するための画面を表示したりする。コマンド入力部２０２、表示制御部２０３の機能は、コンピュータのＯＳ（Operating System）によって提供してもよい。
【００４３】
軌跡データ算出部２０５は、計測データ１４６に基づき、画像データ１４２を撮影したときの走行軌跡を表すデータを生成する。本実施例では、軌跡データ算出部２０５は、道路面撮影システム１００によって得られる位置座標を記録した計測データ１４６に対して、位置座標が既知の基準局から提供されている検出情報に基づく補正を施すことによって軌跡データを生成する。基準局の情報を用いて位置座標を補正する技術は周知であるため、説明を省略する。この処理によって位置座標の精度を向上させることが可能となる。
もっとも、基準局からのデータを用いることは必須ではない。計測データ１４６で得られた位置座標をそのまま用いるものとしてもよい。かかる場合には、軌跡データ算出部２０５は省略することも可能である。
【００４４】
画像変換部２０６は、正射投影、即ち画像データ１４２の各フレーム画像を真上から見た状態に変換して正射画像を生成する。
連結画像生成部としての１パス合成部２０７は、画像変換部２０６によって得られた各フレーム画像の正射画像を、その正射画像内の代表点が、撮影時の位置座標に基づいて定まる位置座標に来るように配置することによって、撮影時の走行軌跡に沿った道路面の画像を合成する。こうして合成された画像を、連結画像と呼ぶものとする。合成された連結画像は、記憶部としての処理データ記憶部２１０に保存される。
本実施例では、それぞれの道路に対して、異なる走行軌跡で、複数回走行して、撮影を行う。１パス画像合成部２０７は、それぞれのパスごとに合成画像を生成する。この結果、連結画像は、パスの本数に応じて、複数生成される。
なお、撮影対象が複数車線の道路である場合、車線ごとに１回ずつ移動して撮影してもよいし、いずれかの車線上を複数回移動して撮影してもよい。前者の場合は、車線とパスとが１対１に対応することになる。後者の場合は、パスと車線とが複数対１に対応することになる。本実施例では、特に断らない場合には、各車線について１回ずつ走行した場合、つまり車線とパスとが１対１に対応している場合を例にとって説明する。
【００４５】
合成画像生成部としての位置合わせ処理部２２０は、１パス画像合成部２０７で生成された複数の連結画像を、位置合わせ処理、即ち連結画像間の位置座標の誤差を修正して路面の画像が整合するように配置する処理を行うことで、道路全体の正射画像（以下、「道路画像」と呼ぶこともある）を生成する。位置合わせ処理は、オペレータからの指示に応じて行う。処理内容は後述する。
位置合わせで得られた道路画像は、処理データ記憶部２１０に保存される。
対応点特定部および豪勢画像生成部として機能する自動位置合わせ処理部２２２は、上述の位置合わせ処理部２２０の機能を自動で行う。自動位置合わせ処理部２２２と位置合わせ処理部２２０とを併用しているのは、連結画像が自動処理に適さない場合には、オペレータが手動で位置合わせ処理を行うことができるようにしておくのが好ましいからである。
【００４６】
透明化ポリゴン設定部２２１は、得られた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定する。上述の位置合わせを行う際には、隣接するパスに対応する正射画像の一部が重なり合うことがある。そして重なった部分では、下側に配置された正射画像の方に、路面標示が鮮明に写されている場合もある。透明化ポリゴンは、このような場合に、下側の画像が表示されるように上側の正射画像の一部を透明化する処理を施す領域を指定するためのポリゴンである。透明化ポリゴンを設定することにより、路面標示を正確に把握可能な地図を提供することが可能となる。
路面標示地図生成装置は、以上で生成された道路画像に基づいて路面標示地図を出力することができる。例えば、道路画像を印刷可能なファイルとして出力してもよい。また、路面標示地図を電子地図として生成するように、道路画像を電子データとして出力してもよい。また、これらの出力に先立って、道路画像に基づいて路面標示の位置座標や形状データを取得する処理を行うようにしてもよい。
【００４７】
Ｂ．処理概要：
Ｂ１．中間データ構成：
図３に示す路面標示地図の生成過程における中間データは、順次、処理データ記憶部２１０(図２参照）に記憶される。本実施例では、道路を走行しながらビデオカメラ１２０および位置計測部１１０で取得したデータが記録装置１３０としてのパーソナルコンピュータによってハードディスク１４０内に格納されている。格納されるデータとしては、画像データ１４２、計測データ１４６、および両者の同期をとるための同期データ１４４がある。
【００４８】
計測データ１４６は、撮影時の位置座標データの記録である。本実施例では、基準局データ１５０を参照して、計測データ１４６を補正することにより、軌跡データ２１０ａを算出する。これは、先に図２で説明した軌跡データ算出部２０５が行う処理である。基準局データ１５０は、位置座標が既知の基準点におけるＧＰＳでの検出結果を表すデータであり、例えば、国土地理院が提供している基準点データなどを用いることができる。ここで得られた軌跡データ２１０ａは、以下、それぞれの処理において、道路面の画像を撮影した際の軌跡を緯度経度、高度からなる絶対座標で表すデータとして利用される。
【００４９】
一方、画像データ１４２、同期データ１４４、軌跡データ２１０ａからは、路面テクスチャ２１０ｃが生成される。また、同期データ１４４と軌跡データ２１０ａから、路面軌跡データが生成される。
本実施例では、各道路を複数回走行して、道路面の画像を撮影する。従って、路面軌跡データ２１０ｂおよび路線軌跡データ２１０ｂは、各道路に対して複数パス分、生成されることになる。
【００５０】
路面テクスチャ２１０ｃおよび路線軌跡データ２１０ｂを用いて、連結画像２１０ｄが生成される。連結画像２１０ｄは、図２中の１パス画像合成部２０７によって生成される画像である。つまり、連結画像２１０ｄとは、路線軌跡データ２１０ｂで表される位置座標に基づき、各路面テクスチャ２１０ｃを配置することによって生成される各パスの路面画像である。連結画像２１０ｄも、各道路に対して複数パス分、生成されることになる。
連結画像２１０ｄは、路面テクスチャ２１０ｃを結合した一つの画像ファイルとして生成することもできる。本実施例では、後に続く処理の便宜上、合成画像として生成するのではなく、路面テクスチャ２１０ｃを配置して連結画像２１０ｄを生成するための情報（以下、「登録データ」と呼ぶこともある）を、路面テクスチャ２１０ｃの各画像と対応づけて格納するものとした。かかる情報には、路面テクスチャ２１０ｃを配置する位置座標、配置する際の姿勢（角度）、および隣接する路面テクスチャ２１０ｃを特定する情報、隣接する路面テクスチャ２１０ｃとの上下関係などを含めることができる。
【００５１】
こうして得られた連結画像２１０ｄを用いて、位置合わせおよび透明化ポリゴン設定などの処理を行う。これらの処理は、図２の位置合わせ処理部２２０、透明化ポリゴン設定部２２１が行う処理である。この処理によって、複数パス分の連結画像２１０ｄを合成して、道路ごとに道路画像２１０ｅを得ることができる。
道路画像２１０ｅについても、合成画像として生成してもよいし、路面テクスチャ２１０ｃを配置して道路画像２１０ｅを生成するための情報を、路面テクスチャ２１０ｃの各画像と対応づけて格納するようにしてもよい。本実施例では、後者の方法を採用した。それぞれの路面テクスチャ２１０ｃを配置する位置座標、配置する際の姿勢（角度）などの情報は、道路画像用登録データ２１０ｆとして保存されている。また、位置合わせの過程で、路線軌跡データ２１０ｂに対して、位置誤差を修正する処理が施されるため、この原データに対する修正過程を表す情報を、軌跡用登録データ２１０ｇとして保存する。
【００５２】
この他、連結画像２１０ｄのデータ（路面テクスチャ２１０ｃ、路線軌跡データ２１０ｂを含む）も併せて保存する。原データである画像データ１４２、軌跡データ２１０ａも保存しておくことが好ましい。仮に、合成画像化された形で連結画像２１０ｄを保存している場合には、道路画像２１０ｅは、連結画像２１０ｄを合成することになるため、合成の繰り返しで原データに比較して画質が劣化するおそれがある。これに対し、本実施例のように、路面テクスチャ２１０ｃも含めて、原データに近いデータを残しておくことにより、これらのデータを利用して道路画像２１０ｅを生成することが可能となる。従って、合成の繰り返しなど、画像データに重畳的に画像処理が施されることを抑制でき、道路画像２１０ｅの画質を向上させることが可能となる。
【００５３】
Ｂ２．処理例：
次に、本実施例における処理の概要理解を容易にするため、処理例を示す。
図４（ａ）中の直線Ｌ４１〜Ｌ４４は、それぞれ道路面撮影システム１００で走行しながら道路画像を撮影した際の走行軌跡を表している。図４（ａ）のＰＩＣ４１は、パスＬ４３を走行して得られた画像データに基づいて生成された連結画像である。本実施例では、広角レンズを用いて撮影しているため、１回のパスでも複数車線を覆うだけの連結画像を得ることができている。連結画像の両端が、のこぎり刃状にギザギザになっているのは、画像データの各フレームを正射投影した際に生じる形状歪みの影響である。この連結画像ＰＩＣ４１は、ギザギザの山数に応じたフレーム数の正射画像（路面テクスチャ）を配置して生成されている。
このような連結画像は、図中のパスＬ４１〜Ｌ４４のそれぞれに対して得られる。
【００５４】
図４（ｂ）は、パスＬ４１〜Ｌ４４に対する連結画像を合成して得られた道路画像ＰＩＣ４２を示している。図４（ａ）よりも幅広く、反対車線まで含めて道路画像が生成されていることが分かる。複数パスの連結画像を合成する際、各パスの位置座標に誤差があると、連結画像間にずれが生じる。これらのずれが存在すると、図４（ｂ）中の横断歩道、車線境界線などの標示も途中でずれた状態で表示されてしまう。本実施例では、各パスの連結画像間の位置座標の誤差を修正しつつ合成を行う。この処理を位置合わせと呼ぶ。このように位置合わせを行って連結画像を合成することにより、図４（ｂ）に示すように、横断歩道、車線境界線などの標示が整合した道路画像を得ることができる。
【００５５】
Ｂ３．位置合わせ加工概要：
図５は位置合わせ加工の概要を示す説明図である。本実施例では、複数の連結画像に共通して撮影されている対応点の位置を合わせるように、連結画像を平行移動することによって位置合わせを行う。本実施例では、対応点を自動認識して位置合わせする方法と、オペレータが対応点を標示に基づいて指定して位置合わせを行う方法の双方を採ることができる。以下では、まずオペレータが対応点を指示した場合を例にとって処理内容を説明する。
図５（ａ）には対応点が１つだけ指定された場合の処理方法を示した。図中には、２本の連結画像ＰＩＣ５１、ＰＩＣ５２が描かれている。これらには、それぞれ菱形の標示、つまり横断歩道の予告標示が含まれている。ただし、図５（ａ）左側の状態では、連結画像ＰＩＣ５１、ＰＩＣ５２には相対的に位置誤差があるため、標示の位置がずれている。
【００５６】
オペレータは、この表示画面を見ながら、マウス等のポインティングデバイスを用いて対応点を指定する。図の例では、横断歩道の予告表示の頂点に当たるＰ５１、Ｐ５２を指定した状態を示した。これらの対応点Ｐ５１、Ｐ５２は、連結画像ＰＩＣ５１、ＰＩＣ５２に位置誤差がなければ、本来、同じ位置に重なるはずの点である。そこで、本実施例では、対応点Ｐ５１、Ｐ５２が一致するよう、図中に矢印で示すように連結画像ＰＩＣ５１、ＰＩＣ５２を平行移動させる。
この際、連結画像ＰＩＣ５１、ＰＩＣ５２の一方を基準とし、他方を平行移動する方法を採った。図の例では、連結画像ＰＩＣ５１を基準とし、連結画像ＰＩＣ５２を移動させた例を示している。このように移動することにより、予告標示のずれが解消した状態の道路画像ＰＩＣ５３を得ることができる。
【００５７】
図５（ｂ）には対応点が複数指定された場合の処理方法を示した。図中には、２本の連結画像ＰＩＣ５４、ＰＩＣ５５が描かれている。これらには、それぞれ横断歩道の予告標示が含まれている。但し、図５（ｂ）の左側の状態では、連結画像ＰＩＣ５４、ＰＩＣ５５には相対的に位置誤差があるため、標示の位置がずれている。
この状態で、オペレータが、２組の対応点を指定したとする。対応点Ｐ５４、Ｐ５３の組と、対応点Ｐ５６、Ｐ５５の組である。連結画像ＰＩＣ５４では、連結画像ＰＩＣ５５に含まれる予告標示Ｍ５２は全体が描かれており、連結画像ＰＩＣ５４に含まれる予告標示Ｍ５１は一部が消えている。このような状態であっても、対応点Ｐ５５、Ｐ５６が対応することは明らかであるため、対応点として指定することは可能である。
このように複数組の対応点が指定されると、連結画像ＰＩＣ５４を基準として、それぞれの対応点が一致するように、連結画像ＰＩＣ５５を移動させる。ただし、対応点Ｐ５３をＰ５４に一致させるための第１の移動量と、対応点Ｐ５５をＰ５６に一致させるための第２の移動量とが同じであるとは限らない。そこで、対応点Ｐ５３とＰ５５との間の領域では、第１の移動量、第２の移動量を直線補間して、各点の移動量を設定する。こうすることにより、予告標示のずれが解消した状態の道路画像ＰＩＣ５６を得ることができる。
【００５８】
図５（ｂ）中には、透明化ポリゴンの設定例も併せて示した。
この例では、連結画像ＰＩＣ５４中の予告標示Ｍ５１は半分が欠けている。この状態で位置合わせを行うと、この例では、連結画像ＰＩＣ５４をＰＩＣ５５の上側に重ねるように表示しているから、連結画像ＰＩＣ５５の予告標示Ｍ５２は、連結画像ＰＩＣ５４によって覆い隠されてしまう。この結果、連結画像ＰＩＣ５５では完全な状態で描かれている標示Ｍ５２を道路画像ＰＩＣ５６で活かすことができない。
そこで、このような場合に、オペレータの指示によって予告標示Ｍ５２を取り囲むように透明化ポリゴンＴＰ５０を設定する。透明化ポリゴンＴＰ５０が設定された箇所では、上側の連結画像が透明化され、切り取られたように表示される。この結果、透明化ポリゴンＴＰ５０の部分では、連結画像ＰＩＣ５４の下側に配置された連結画像ＰＩＣ５５に描かれている予告標示Ｍ５２が表示される。
本実施例では、このように透明化ポリゴンを設定可能とすることによって、それぞれの連結画像で描かれている標示を、道路画像においても有効活用することができる。
【００５９】
図６は交差点が存在する場合の位置合わせの手順を示す説明図である。図の煩雑化を避けるため、ここでは連結画像のパスの位置関係のみを示した。図中には、２つの交差点周辺の道路が描かれている。縦の道路では、それぞれパスＢＰ６１、ＢＰ６２に沿って連結画像が得られているとする。横の道路については、破線で示したパスＢＰ６３ｂ、ＢＰ６４ｂ、ＮＰ６１ｂに沿って連結画像が得られているとする。
本実施例では、複数のパス間の位置合わせを行う際には、いずれか一つのパスを基準パスに設定し、他のパスを平行移動して基準パスに合わせる。基準パス以外のパスを、以下、標準パスと呼ぶものとする。基準パスおよび標準パスは、任意の方法で設定可能であるが、本実施例では、後述する通り、位置精度が高いものを基準パスとして設定している。
【００６０】
図６の例では、縦の道路については、それぞれ単一のパスしか存在しないため、パスＢＰ６１、ＢＰ６２が基準パスとなる。
横の道路については、区間Ｄ６１ではパスＢＰ６３ｂとＮＰ６１ｂのうち位置精度が高い側を基準パスとし、区間Ｄ６２についてはＢＰ６４ｂとＮＰ６１ｂのうち位置精度が高い側を基準パスとする。ここでは、それぞれパスＢＰ６３ｂ、ＢＰ６４ｂが基準パスとして設定されているものとする。更に、パスＢＰ６３ｂ、ＢＰ６４ｂ間の位置精度を比較して、優劣を決める。パスＢＰ６３ｂ、ＢＰ６４ｂはそれぞれ区間Ｄ６１、Ｄ６２の基準パスではあるが、一本の道路に配置された連続するパスなので、これらのパス間でも位置合わせを行う必要があるからである。図６の例では、パスＢＰ６３ｂの方が、パスＢＰ６４ｂよりも位置精度が高いものとする。
この結果、横のパスについては、基準パスＢＰ６３ｂ＞基準パスＢＰ６４ｂ＞標準パスＮＰ６１ｂの順に位置合わせの優先度が定まる。
【００６１】
次に、上述の優先度に従って、それぞれのパスの位置合わせを行う。縦のパスＢＰ６１、ＢＰ６２は既に位置合わせが完了しているものとする。
まず、基準パスＢＰ６３ｂの位置合わせを行う。オペレータの指示によって、基準パスＢＰ６３ｂ上の対応点Ｐ６３ｂが指定され、その本来の位置として、点Ｐ６３ａが指定されたとする。この結果、基準パスＢＰ６３ｂは、対応点Ｐ６３ｂが、点Ｐ６３ａに一致するように移動され、実線で示した基準パスＢＰ６３ａが得られる。
図示を省略したが、基準パスＢＰ６３ｂに対応した連結画像も基準パスＢＰ６３ａに合わせて移動する。本実施例では、基準パスＢＰ６３ｂに沿って路面テクスチャを配置することによって連結画像を表示しており、これらの路面テクスチャを合成してはいない。従って、基準パスＢＰ６３ａへの移動が行われた場合には、基準パスＢＰ６３ａに沿うように、各路面テクスチャの位置を平行移動することによって、基準パスＢＰ６３ａの連結画像を得ることができる。
【００６２】
次に、基準パスＢＰ６４ｂの位置合わせを行う。オペレータの指示によって、基準パスＢＰ６４ｂ上の対応点Ｐ６５ｂ、Ｐ６４ｂが指定され、その本来の位置として、点Ｐ６５ａ、Ｐ６４ａが指定されたとする。この対応点は、基準パスＢＰ６３ａの連結画像に基づいて指定されている。つまり、基準パスＢＰ６３ｂを基準パスＢＰ６３ａに位置合わせする処理の結果に応じて、基準パスＢＰ６４ｂの位置合わせは影響を受けることになる。
対応点が指定されると、基準パスＢＰ６４ｂは、対応点Ｐ６５ｂ、Ｐ６４ｂが、点Ｐ６５ａ、Ｐ６４ａに一致するように移動され、実線で示した基準パスＢＰ６４ａが得られる。これに合わせて、基準パスＢＰ６４ｂの連結画像を構成していた路面テクスチャも、それぞれ基準パスＢＰ６４ａ上に平行移動される。
【００６３】
最後に、標準パスＮＰ６１ｂの位置合わせを行う。オペレータの指示によって、標準パスＮＰ６１ｂ上の対応点Ｐ６８ｂ、Ｐ６７ｂ、Ｐ６６ｂが指定され、その本来の位置として、点Ｐ６８ａ、Ｐ６７ａ、Ｐ６６ａが指定されたとする。この対応点は、基準パスＢＰ６３ａ、ＢＰ６４ａの連結画像に基づいて指定されている。つまり、基準パスＢＰ６３ｂを基準パスＢＰ６３ａに位置合わせする処理、および基準パスＢＰ６４ｂを基準パスＢＰ６４ａに位置合わせする処理の結果に応じて、標準パスＮＰ６１ｂの位置合わせは影響を受けることになる。
対応点が指定されると、標準パスＮＰ６１ｂは、対応点Ｐ６８ｂ、Ｐ６７ｂが、点Ｐ６８ａ、Ｐ６７ａに一致するように移動されるとともに、対応点Ｐ６７ｂ、Ｐ６６ｂが、点Ｐ６７ａ、Ｐ６６ａに一致するように移動される。これらの３点は一直線上にはないから、結果として、標準パスＮＰ６１ｂは、折れ線状の標準パスＮ６１ａに移動される。これに合わせて、標準パスＮＰ６１ｂの連結画像を構成していた路面テクスチャも、それぞれ標準パスＮＰ６１ａ上に平行移動される。
【００６４】
本実施例では、図６に示すように複数のパスが存在する場合には、以上で説明した手順によって、位置精度が高いパスから優先的に位置合わせが行われる。こうすることによって、全体の位置精度を十分に確保しつつ位置合わせを行うことができる。
例えば、図６の処理において、位置精度が低い順、つまり標準パスＮＰ６１ｂ、基準パスＢＰ６４ｂ、基準パスＢＰ６３ｂの順に位置合わせをしたとする。この場合には、基準パスＢＰ６４ｂの位置合わせは、標準パスＮＰ６１ｂの位置合わせの影響を受け、位置精度が低下する。基準パスＢＰ６３ｂの位置合わせは、標準パスＮＰ６１ｂ、基準パスＢＰ６４ｂの位置合わせの影響を受け、位置精度が低下する。従って、位置精度が低い順に位置合わせを行うと、パス間の相互作用によって全体の位置精度が低下してしまう。
本実施例では、これとは逆に、位置精度が高い順に位置合わせを行う。従って、最も位置精度が高いパスの位置精度を劣化させることなく、全体の位置合わせを行うことが可能となる。
【００６５】
Ｃ．路面標示地図生成方法：
以下、図１〜６で説明した路面標示地図の生成方法について、詳細に説明する。
まず、連結画像生成処理、つまり図３中の路面テクスチャ２１０ｃ、路面軌跡データ２１０ｂに基づいて各パスの連結画像２１０ｄを得る処理について説明する。
次に、位置合わせ加工、つまり複数パスに対する連結画像２１０ｄの位置合わせを行う処理、および位置合わせ加工の中で行われる基準パス設定処理、連結画像移動処理について説明する。ここでは、まずオペレータが対応点を指示する場合を例にとって説明する。そして、透明化ポリゴンの設定処理について説明する。最後に、位置合わせ加工を自動的に行うための処理、即ち自動位置合わせ処理について説明する。
【００６６】
Ｃ１．連結画像生成処理：
図７は連結画像生成処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した画像変換部２０６、１パス合成部２０７の処理に相当する。
処理を開始すると、ＣＰＵは、まずフレームデータを読み込む（ステップＳ１０）。フレームデータとは、道路面撮影システム１００（図１）のビデオカメラ１２０で撮影された画像データ１４２を構成する各フレームの画像である。
【００６７】
図中にフレームデータの例を示した。ビデオカメラ１２０は、道路面撮影システム１００の前方に向けて設置されているため、フレームデータには、車両の前方の道路、前方車両などが写っている。本実施例では、道路面の画像を生成したいため、このフレームデータの一部の領域を切り出して使用する。図中の領域Ａ７１は、道路面のみが含まれるように設定された切り出し領域を現している。本実施例では、車両の前方５〜７ｍの領域の画像を取得するように領域Ａ７１を設定した。領域Ａ７１の各フレーム内での相対的な位置は一定である。
領域Ａ７１は、上述の例に限らず、任意に設定可能である。ビデオカメラ１２０が一定のフレームレートで画像を撮影するため、フレームデータは、道路面を間欠的に撮影した画像群となる。従って、領域Ａ７１は、間欠的に撮影された画像群を並べたときに、道路が連続画像として再現できるように範囲を決定することが好ましい。例えば、領域Ａ７１の縦幅を狭くすれば、車両の速度が速い場合には、あるフレームデータから切り出された領域と、次のフレームデータから切り出された領域との間に隙間が生じやすくなる。一方、領域Ａ７１の縦幅を広くすれば、前方車両や空、建物など、道路画像とは異なる雑多な映像が含まれやすくなる。領域Ａ７１は、これらの影響を考慮した上で、設定すればよい。
【００６８】
次に、ＣＰＵは、取得されたフレームデータを正射画像（路面テクスチャ）に画像変換する（ステップＳ１２）。図中に処理の概要を示した。上側にはフレームデータの例である。ここでは路面の状態のみが撮影され、道路の左右の車線境界線Ｌ７１、Ｌ７２および標示Ｍ７が写されている例を示した。前方を撮影した画像であるため、パース（遠近法）の影響で、本来平行な車線境界線Ｌ７１、Ｌ７２が、ハの字状に写されている。
先に説明した通り、このフレームデータの一部の領域Ａ７１を切り出して使用する。
下段には、領域Ａ７１の画像を正射投影変換した状態を例示した。道路を真上から見た画像に変換するため、左右の車線境界線Ｌ７１、Ｌ７２は図示する通り、平行な線分に変換される。標示Ｍ７も同様に真上から見た状態の形状に変換される。
【００６９】
正射投影変換の方法を説明する。
まず、道路面撮影システム１００を搭載した車両は水平面上を走行しており、被写体である道路も同一水平面上にあるものとする。
このとき、道路画像、即ちフレームデータの画面上の２次元座標をｍ＝［ｕ，ｖ］Ｔとする。また、地面に固定された世界座標系の３次元座標をＭ＝［Ｘ，Ｙ，Ｚ］Ｔとする。これらの各座標に１の要素を直積で加えたベクトルを、次式（１）の通り定義する。
【００７０】
【数１】
【００７１】
３次元座標Ｍと、その投影画像の２次元座標ｍとの関係を以下の関係式（２）（３）によりモデル化する。
【数２】
【００７２】
ここで、ｓはスケール・ファクター；
［Ｒｔ］は、外部パラメータ行列；
Ｒは回転行列；
ｔは平行移動行列；
Ａは内部パラメータ行列である。
【００７３】
内部パラメータ行列Ａは、ビデオカメラ１２０の焦点距離等を考慮した内部的なパラメータであり、実画像座標系（ｘｙ座標系）からフレーム座標系（ｕｖ座標系）への写像パラメータを表す。
α、βはそれぞれｕ軸、ｖ軸方向のスケール因子、γは２つの画像軸のスキューにより表されるパラメータ；
［ｕ0，ｖ0］Ｔは、画像の主点の座標（主点座標）である。
画像のピクセルサイズを（ｋｕ、ｋｖ）、ｕ軸とｖ軸とのなす角をθ、焦点距離をｆとすると、α、β、γは次式（４）で表される。
【００７４】
【数３】
【００７５】
外部パラメータ行列［Ｒｔ］は、ビデオカメラ１２０の設置位置、設置姿勢などによる外部的なパラメータであり、世界座標系（ＸＹＺ座標系）から実画像座標系（ｘｙ座標系）への写像パラメータを表す。世界座標系は、ビデオカメラ１２０の真下の路面を原点とし、車両の進行方向に対し垂直な水平軸をＸ軸、鉛直軸をＹ軸、進行方向の水平軸をＺ軸とする。
平行移動ベクトルｔは、世界座標系において原点に対する実画像の画像主点の移動ベクトルである。
ビデオカメラ１２０の高さ（実画像の画像主点の高さ）をｈとすると、平行移動ベクトルｔは次式（５）で表される。
【００７６】
【数４】
【００７７】
また、世界座標系において、実画像のヘディング方向の回転角（ヨー角）をφ、ピッチ角をω、ロール角をκとすると、回転行列Ｒは次式（６）で表される。
【数５】
【００７８】
内部パラメータ行列Ａは、事前の測定によって得られる。
ヨー角φ、ピッチ角ω、ロール角κおよび画像主点の高さｈは、次の手順で得られる。まず、初期状態、即ち車両が水平な地面に設置されている状態において、ヨー角φ0、ピッチ角ω0、ロール角κ0、および高さｈ0の基準値を計測しておく。次に、走行中には逐次、車両の姿勢角の変化および車高の変化をジャイロ、加速度センサ等で記録しておき、上述の基準値にこの変化を反映することで、各地点でのヨー角φ、ピッチ角ω、ロール角κおよび高さを得ることができる。
【００７９】
正射投影変換は、これらのパラメータに基づき、式（２）を用いることにより、行われ、フレーム座標系（ｕｖ座標系）の道路画像を、世界座標系（ＸＹＺ座標系）の投射道路画像に変換することができる。その手順は次の通りである。
まず、被写体である道路面を水平面（Ｙ＝０）の画像であると仮定する。このとき、式（２）より、次式（７）の関係が成立する。
【００８０】
【数６】
【００８１】
この結果、ピクセル（ｕ，ｖ）に対する世界座標（Ｘ，Ｚ）およびスケールパラメータｓは次式（８）により求めることができる。
【数７】
【００８２】
次に、路面標示地図生成装置２００のＣＰＵは、被写体である道路面の傾斜を考慮した補正を行う。
まず、フレームデータを取得した各地点の位置座標データ（Ｘ０，Ｙ０，Ｚ０）と、被写体である道路面付近の複数点の位置座標（Ｘｉ，Ｙｉ，Ｚｉ）とから、被写体である道路面の勾配を計算する。本実施例では、勾配は一様であるものと仮定した。
具体的には、撮影地点の世界座標点（Ｘ，Ｙ，Ｚ）付近の位置座標データから、高さの変化Δｈを求める。つまり、Δｈ＝Ｙ−Ｙ０である。このとき、一様な勾配を仮定すると、道路面上の世界座標系（Ｘ’，Ｙ’，Ｚ’）の点の奥行きＺ’は次式（９）で求めることができる。
【００８３】
【数８】
【００８４】
補正した道路面上の奥行きＺ’が決まると、式（２）より、フレーム座標点（ｕ，ｖ）と世界座標点（Ｘ’，Ｙ’，Ｚ’）との関係は次式（１０）の通りとなる。
【数９】
【００８５】
これより、世界座標点のＸ’，Ｙ’を次式（１１）によって計算することができる。
【数１０】
【００８６】
以上の通り、フレームデータ上の点（ｕ，ｖ）を、それぞれ（Ｘ’，Ｚ’）に写像すれば、正射画像（路面テクスチャ）を得ることができる。図７中に示すように、フレームデータを矩形の領域Ａ７１で切り出した上で正射投影すると、上方が広がる台形状の正射画像（路面テクスチャ）Ａ７２が得られる。
本実施例では、後に続く処理の便宜のため、正射画像（路面テクスチャ）を低解像度／高解像度の２通りで生成するものとした。高解像度の正射画像（路面テクスチャ）（以下、「高解像度画像」と呼ぶ）は、もとのフレームデータの切り出し領域Ａ７１をそのまま利用して生成された画像、即ち原画像と同じ解像度で生成された画像である。低解像度の正射画像（路面テクスチャ）（以下、「低解像度画像」と呼ぶ）は、解像度を原データよりも下げた画像である。低解像度画像の解像度は、路面標示地図生成装置２００が軽い負荷で画像を表示することができる程度の値とすることが好ましく、原画像の解像度の半分など、任意に設定可能である。
【００８７】
次に、路面標示地図生成装置２００のＣＰＵは、得られた正射画像（路面テクスチャ）を配置して１パス画像の合成を行う（ステップＳ１４）。図中に１パス画像合成の例を示した。この例では、正射画像（路面テクスチャ）Ａ７２［０］〜Ａ７２［５］が合成されている。
各正射画像（路面テクスチャ）Ａ７２は、フレーム座標系（ｕｖ座標系）の原点に対応する点を、各フレームデータの撮影時の位置座標に基づいて配置すればよい。フレームデータは車両の位置よりも前方を写したものであるため、正射画像（路面テクスチャ）は、フレームデータ毎に車両位置とフレーム座標系の位置関係を計算して配置する。また、正射画像（路面テクスチャ）は、時系列的に古い画像から新しい画像に順次、配置するものとした。
【００８８】
このように正射画像（路面テクスチャ）を配置することによって、道路面の車線境界線Ｌ７１、Ｌ７２および標示Ｍ７が再現される。
本実施例では、連結画像生成処理の段階では、正射画像（路面テクスチャ）を１枚の画像に結合することなく、配置して表示する状態に留めている。従って、１パス画像合成処理（ステップＳ１４）で生成されるのは、合成画像ではなく、各正射画像（路面テクスチャ）の配置を決定する情報となる。もっとも、この処理において、正射画像（路面テクスチャ）を１枚の画像に結合する方法を採ることもできる。
【００８９】
Ｃ２．位置合わせ加工：
図８は位置合わせ加工のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した位置合わせ処理部２２０の処理に相当する。
処理を開始すると、ＣＰＵは、まず処理の対象となる道路（以下、「対象道路」ともいう）についてのオペレータからの指定を入力する（ステップＳ２０）。そして、対象道路に対応する連結画像を入力する（ステップＳ２２）。本実施例では、それぞれの道路について、走行位置を変えながら複数回走行して、路面画像を撮影している。従って、各走行に対応するパスに基づいて、それぞれ連結画像が生成されている。ステップＳ２２では、これらの複数の連結画像を読み込む。
【００９０】
次に、ＣＰＵは基準パスを設定する（ステップＳ３０）。基準パスとは、複数のパスの位置合わせをする際に、基準となるパスである。本実施例では、対象道路に対応するパスのうち、位置精度の評価値、即ち自己推定位置精度が最も高いものを選択する。基準パスの設定方法については、後述する。
基準パスが設定されると、ＣＰＵはオペレータの操作に従い、各パスについて対応点を設定する処理を行う（ステップＳ４０）。
本実施例では、図中に示すように、基準パスおよび標準パスの連結画像をディスプレイに表示し、オペレータが、マウスなどのポインティングデバイスを操作して、この画面内で対応点を設定するという方法を採った。図の例では、標準パスの画像内で菱形をした横断歩道予告標示の頂点を対応点として指定し、次に、これに対応する頂点を基準パスの画像内で指定する例を示した。対応点は、１点に限らず、複数の点を指定可能である。
【００９１】
本実施例では、この連結画像の表示には、低解像度画像を用いる。こうすることにより、対応点を指定する際に、表示の移動、拡大・縮小を円滑に行うことができ、作業効率を高めることができる利点がある。
対応点が指定されると、ＣＰＵは、対応点同士が一致するように、標準パスの連結画像を基準パスの連結画像に合わせるよう移動する処理を行って、位置合わせ加工を終了する（ステップＳ５０）。
先に説明した通り、本実施例では、連結画像は一枚の合成画像として生成されている訳ではなく、正射画像（路面テクスチャ）を配置して表示している。従って、ステップＳ５０の処理では、それぞれの正射画像（路面テクスチャ）を移動することで、連結画像の移動処理が行われる。移動処理と併せて、それぞれの正射画像を低解像度画像から高解像度画像に置換する処理が行われる。高解像度画像を用いて、正射画像を再配置する処理を行うものとしてもよい。
連結画像移動処理の内容は、後で詳述する。
【００９２】
Ｃ３．基準パス設定処理：
図９は基準パス設定処理のフローチャートである。位置合わせ加工（図８）のステップＳ３０に相当する処理であり、複数のパスの位置合わせをする際に、自己推定位置精度が最も高いものを基準パスとして設定するための処理である。
ＣＰＵは、処理を開始すると、対象道路の各パスについて、フレーム画像が取得されている各地点での位置精度を入力する（ステップＳ３１）。撮影時には、図中に示すように、パスにそって点Ｐ９１，Ｐ９２、Ｐ９３等でフレーム画像を撮影するとともに、各点ごとに東西方向の位置精度ＡＣ１、南北方向の位置精度ＡＣ２が記録されている。
【００９３】
一般にＧＰＳ１１４は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。位置精度は、これらの影響を定量的に評価したものである。位置精度は、任意に定義可能であり、例えば、精度低下率（ＤＯＰ（Dilution of Precision））等を用いてもよい。
【００９４】
ＣＰＵは、各点の位置精度に基づいて、パスごとに自己推定位置精度σを算出する（ステップＳ３２）。
自己位置推定精度は、ＧＰＳと、ＩＭＵ、ＤＭＩ等とのずれに基づいて定まる値としてもよい。この場合は、例えば、ずれ量の標準偏差を用いてもよい。また、東西方向の標準偏差の自乗と、南北方向の標準偏差の自乗の和を求め、この平方根を自己位置推定精度として用いてもよい。このように、ＧＰＳと、ＩＭＵ、ＤＭＩ等のずれ量に応じた値とする場合には、自己位置推定精度は、ずれが大きい程、大きい値となる。つまり、自己推定位置精度は値が小さい方が、精度が高いことを示す評価値となる。
各パスの自己推定位置精度σが得られると、ＣＰＵはこの値が最小となるパスを基準パスとして設定する（ステップＳ３３）。対象道路に対して単一のパスしか存在しない場合には、無条件にそのパスが基準パスとして設定されることになる。この基準パスの自己推定位置精度をσＢとする。
【００９５】
ステップＳ３３で設定された基準パスの自己推定位置精度σＢが、所定の閾値σＴＨよりも低い場合には（ステップＳ３４）、基準パス設定処理を終了する。
これに対し、自己推定位置精度σＢが、所定の閾値σＴＨ以上の場合には、エラー表示を行って（ステップＳ３５）、処理を終了する。この場合には、基準パスの位置精度が十分確保されていないことを意味するため、位置合わせ処理を行っても、位置精度が十分に保証されないからである。
所定の閾値σＴＨは、上述の通り、路面標示地図として確保すべき位置精度に基づいて任意に設定可能である。
【００９６】
エラー表示（ステップＳ３５）を行うか否かの判断対象となるのは、基準パスの自己推定位置精度σＢのみとした。他の標準パスについては、自己推定位置精度が低い場合でも、基準パスを基準として位置合わせを行うことにより、位置精度を高めることが可能だからである。
もっとも、位置合わせ処理における修正は、いずれのパスに対してもできるだけ小さい方が、より好ましいといえる。従って、ステップＳ３４において、全てのパスの自己推定位置精度を閾値σＴＨと比較し、いずれか一本でも、この閾値を下回る精度のパスが存在する場合にはエラー表示を行うようにしてもよい。
ただし、標準パスにも基準パスと同等の位置精度を要求すると、エラー表示が頻繁になされるおそれがある。かかる弊害を回避するため、標準パスでは基準パスよりも高い閾値σＴＨを用いるようにしてもよい。つまり、標準パスについては位置精度の要求を基準パスよりも緩める。こうすることによって、標準パスについても最低限の位置精度を保証しつつ、エラー表示が頻繁になされるのを回避することができる。
【００９７】
Ｃ４．連結画像移動処理：
（１）フローチャート：
図１０は連結画像移動処理のフローチャートである。位置合わせ処理（図８）のステップＳ５０の処理に相当する。
処理を開始すると、ＣＰＵは移動対象となる標準パスのデータおよび対応点のデータを入力する（ステップＳ５１）。標準パスのデータとは、フレーム画像が撮影されたときの位置座標を順次、記録した点列からなる軌跡データである。対応点のデータは、図８のステップＳ２０において、基準パスおよび標準パスが表示された画面内でオペレータが指定した対応点の座標値である。
【００９８】
ＣＰＵは、次に、標準パス上で正射画像（路面テクスチャ）が配置されている点ごとに、移動ベクトルを算出する（ステップＳ５２）。
図中に移動ベクトルの算出例を示した。この例では、標準パスＮＰ１０について、対応点Ｐ１０１、Ｐ１０３が指定されているものとする。標準パス上には、図中に台形で示すように正射画像（路面テクスチャ）が配置されている。
対応点Ｐ１０１、Ｐ１０３に対応する点としては、基準パス上では、対応点Ｐ１０２、Ｐ１０４が指定されているものとする。ＣＰＵは、これらの指定結果に基づき、対応点について移動ベクトルを求める。図の例では、標準パスの対応点Ｐ１０１からＰ１０２に向かう移動ベクトルＶ１０と、対応点Ｐ１０３からＰ１０４に向かう移動ベクトルＶ１１が得られる。
【００９９】
対応点は、標示の頂点など、オペレータが基準パスと標準パスとで対応をとりやすい点を指定するため、必ずしも標準パスＮＰ１０上で指定されるとは限らない。対応点が標準パスＮＰ１０からずれた場所で指定されている場合には、図中に破線で示すように標準パスＮＰ１０からずれた場所に移動ベクトルＶ１０ａが得られる。従って、この移動ベクトルＶ１０ａの始点が標準パスＮＰ１０上に来るように、標準パスＮＰ１０に垂直方向に移動させて移動ベクトルＶ１０を求めればよい。
【０１００】
対応点での移動ベクトルＶ１０、Ｖ１１が得られると、ＣＰＵは、これらを補間することによって、対応点Ｐ１０１、Ｐ１０３の間に位置する各点での移動ベクトルを求める。例えば、図中に示すように、フレーム画像の撮影地点ＰＰ１０で移動ベクトルを求める場合には、この地点を始点とするように移動ベクトルＶ１０、Ｖ１１を平行移動し、両ベクトルの終点を結ぶ線分を、対応点Ｐ１０１〜ＰＰ１０の距離、Ｐ１０３〜ＰＰ１０の距離の比で内分する点を求める。こうすることによって、点ＰＰ１０を始点とし、この内分点を終点とする移動ベクトルＶＰ１０を求めることができる。
【０１０１】
２つの移動ベクトルＶ１０、Ｖ１１に挟まれた区間に存在しない点については、最も近い位置にある移動ベクトルをそのまま用いる。図中の例では、点Ｐ１０１よりも右側の区間では、移動ベクトルＶ１０をそのまま用い、点Ｐ１０３の左側の区間では、移動ベクトルＶ１１をそのまま用いることになる。
また、対応点が一つしか指定されておらず、移動ベクトルが一つしか与えられない場合は、この移動ベクトルを用いる。
【０１０２】
ＣＰＵは以上の処理で得られた移動ベクトルに従って、正射画像（路面テクスチャ）を平行移動して（ステップＳ５３）、連結画像移動処理を終了する。図の例では、標準パスＮＰ１０の点ＰＰ１０に配置されていた路面テクスチャＴＸ１１が、移動ベクトルＶＰ１０に従って路面テクスチャＴＸ１２の位置に平行移動される例を示している。
この処理と併せて、標準パスＮＰ１０上の点ＰＰ１０の位置も移動ベクトルＶＰ１０によって修正される。従って、ステップＳ５３の処理では、路面テクスチャの移動とともに、標準パスＮＰ１０の軌跡も修正されることになる。
【０１０３】
（２）位置合わせ加工の処理例（１）：
図１１は位置合わせ加工の処理例（１）を示す説明図である。図１１（ａ）〜図１１（ｃ）のそれぞれには、標準パスＮＰ１１および基準パスＢＰ１１に対する連結画像を重ねて表示した表示した状態を示している。図１１（ａ）は標準パスＮＰ１１の連結画像を、基準パスＢＰ１１の連結画像よりも上に配置した状態である。先に説明した通り、連結画像は多数の路面テクスチャを配置することで構成されているが、図中には、説明の便宜上、一つの路面テクスチャＴＸ１１に輪郭を付して示した。
オペレータは、この画面中で、標準パスＮＰ１１における対応点Ｐ１１１を指定する。対応点Ｐ１１１は、任意に設定可能である。本実施例では、分離帯標示Ｍ１１の白線の斜め縞模様の端点の一つを対応点Ｐ１１１として選択している。
【０１０４】
図１１（ｂ）は、基準パスＢＰ１１の連結画像を上側にして配置した状態を示している。この状態では、標準パスＮＰ１１と基準パスＢＰ１１の位置がずれている。従って、基準パスＢＰ１１の連結画像を上側に表示すると、対応点Ｐ１１１の位置は、分離帯標示Ｍ１２の白線の斜め縞模様からずれてしまう。
図１１（ｃ）は、基準パスＢＰ１１の連結画像を上側にした状態で、対応点Ｐ１１２を指定した状態を示している。つまり、基準パスＢＰ１１を上側にした画像内で、分離帯標示Ｍ１１の白線の斜め縞模様の端点を対応点Ｐ１１２として選択すればよい。
対応点Ｐ１１２が指定されると、標準パスＮＰ１１の対応点Ｐ１１１から基準パスＢＰ１１の対応点Ｐ１１２に向かうように移動ベクトルＶ１１が求められる。この移動ベクトルＶ１１に従って、路面テクスチャＴＸ１１を移動すれば、対応点Ｐ１１１は対応点Ｐ１１２に一致し、分離帯標示Ｍ１１、Ｍ１２の位置も一致させることができる。
【０１０５】
路面テクスチャＴＸ１１だけでなく、位置合わせ加工では、標準パスＮＰ１１を構成する他の路面テクスチャも同様に、移動ベクトルＶ１１に従って移動させる。ここでは対応点を一つだけ指定した処理例を示したが、対応点は複数指定してもよい。例えば、図の例では、横断歩道の縞模様、停止線、車線境界線の端点などを対応点として利用することが考えられる。
【０１０６】
（３）位置合わせ加工の処理例（２）：
図１２は位置合わせ加工の処理例（２）を示す説明図である。標準パスＮＰ１２、基準パスＢＰ１２の連結画像を重ねた状態を示した。説明の便宜上、双方の路面標示を視認可能な状態で示している。位置合わせ前は、標準パスＮＰ１２、基準パスＢＰ１２の位置がずれているため、車線境界線などの標示の位置はずれている。
オペレータは、ここでは破線での車線境界線の端点の一つを対応点として選択している。標準パスＮＰ１２については車線境界線Ｌ１２２の端点を対応点Ｐ１２２として選択し、基準パスＢＰ１２については車線境界線Ｌ１２１の端点を対応点Ｐ１２１として選択する。この結果、標準パスＮＰ１２の対応点Ｐ１２２から基準パスＢＰ１２の対応点Ｐ１２１に向かう移動ベクトルＶ１２が定まる。
【０１０７】
図１３は位置合わせ加工の処理（２）の加工結果を示す説明図である。
上述の通り、標準パスＮＰ１２の連結画像を、移動ベクトルＶ１２に従って移動することによって、車線境界線の位置を合わせることができる。位置合わせの結果が車線境界線Ｌ１３である。
また、この位置合わせ加工によって、標準パスも基準パスの位置に合わせられる。本実施例は、本来、異なる位置を走行した複数のパスを位置合わせすることによって、道路面の画像を生成する。この際、図１２、図１３の比較から分かる通り、対応点に基づいて設定される移動ベクトルに従って、標準パスを平行移動することにより、複数のパス間で、路面標示の位置関係およびパスの位置関係を、非常によく一致させることができる。
【０１０８】
（４）絶対座標の取得：
図１４は路面標示の絶対位置座標の取得方法を示す説明図である。図の例では、標準パスＮＰ１４上の路面テクスチャＴＸ１４２、基準パスＢＰ１４上の路面テクスチャＴＸ１４１を例示した。路面テクスチャＴＸ１４１、ＴＸ１４２内には、それぞれ標示Ｍ１４１、Ｍ１４２が含まれている。路面テクスチャＴＸ１４１、ＴＸ１４２は、それぞれの代表点が、基準パスＢＰ１４上の点Ｐ１４１、および標準パスＮＰ１４上の点Ｐ１４３に一致するように配置される。
【０１０９】
路面テクスチャＴＸ１４１内で、標示Ｍ１４１の頂点Ｐ１４２の位置は、代表点を原点とする相対的な座標（ｘ１４２，ｙ１４２）で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャＴＸ１４１が配置されている位置座標（Ｘ１４１，Ｙ１４１）が分かれば、これに、上述の相対的な座標を加えることによって、標示Ｍ１４１の頂点Ｐ１４２の絶対位置座標を取得することができる。
路面テクスチャＴＸ１４２内も同様に、標示Ｍ１４２の頂点Ｐ１４５の位置は、代表点を原点とする相対的な座標（ｘ１４５，Ｙ１４５）で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャＴＸ１４２が配置されている位置座標（Ｘ１４３，Ｙ１４３）が分かれば、これに、上述の相対的な座標を加えることによって、標示Ｍ１４２の頂点Ｐ１４５の絶対位置座標を取得することができる。
【０１１０】
路面テクスチャＴＸ１４２については、位置合わせ加工によって、移動ベクトルＶ１４に従って、代表点の位置Ｐ１４３が点Ｐ１４４に移動したとする。このとき、位置合わせ後の点Ｐ１４４の絶対位置座標は、移動前の点Ｐ１４３の位置座標（Ｘ１４３，Ｙ１４３）に、移動ベクトルＶ１４の成分（ＶＸ１４，ＶＹ１４）を加えることで得ることができる。更に、こうして得られた点Ｐ１４４の絶対位置座標に対して、点Ｐ１４５の相対的な座標（ｘ１４５，Ｙ１４５）を加えれば、位置合わせ加工後の標示Ｍ１４２の頂点Ｐ１４５の絶対位置座標を取得することができる。
ここでは、路面テクスチャ内の標示Ｍ１４１，Ｍ１４２の頂点について絶対位置座標を取得する方法を示したが、路面テクスチャ内の任意の点は、それぞれ路面テクスチャの代表点を基準とする相対的な座標で特定可能であるから、同様の方法によって任意の点の絶対位置座標を取得することが可能である。
【０１１１】
Ｃ５．透明化ポリゴン設定処理：
（１）処理概要：
図１５は透明化ポリゴン設定処理の概要を示す説明図である。透明化ポリゴン設定処理は、重ねられた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定することによって、隣接するパスに対応する正射画像同士が重なり合っている部分で、上側の正射画像の一部を透明化して、下側の正射画像を透視可能とする処理である。
図の中央に、正射画像Ｐ１５２の上に正射画像Ｐ１５１が重ねられている様子を斜視図的に示した。下側の正射画像Ｐ１５２には、横断歩道Ａ１５４が分断された状態で含まれており、停止線Ａ１５３が完全な状態で含まれている。上側の正射画像Ｐ１５１には、横断歩道Ａ１５２が完全な形で含まれており、停止線Ａ１５１が分断された状態で含まれている。それぞれ分断された部分を、破線で囲んで示した。
この状態で正射画像Ｐ１５１、Ｐ１５２を重ねると、左側に示したように表示される。つまり、両者が重なった部分では、上側の正射画像Ｐ１５１の画像のみが表示されるため、横断歩道Ａ１５２は完全な状態で表示されるが、停止線Ａ１５１は分断された状態で示されてしまう。
【０１１２】
仮に、正射画像Ｐ１５１、Ｐ１５２の上下関係を変えたとすれば、今度は、停止線Ａ１５３は完全な状態で表示することができるが、横断歩道Ａ１５４が分断された状態で表示されることになる。このように、正射画像Ｐ１５１、Ｐ１５２の上下関係だけでは、横断歩道、停止線の双方を完全な状態で表示させることはできない。
そこで、本実施例では、透明化ポリゴンＰＯＬ１５を設定する。この例では、上側の正射画像Ｐ１５１において、分断されている停止線Ａ１５１を覆うように設定した例を示した。透明化ポリゴンＰＯＬ１５内では、上側の正射画像Ｐ１５１は透過した状態で表示される。従って、図の右側に示すように、正射画像Ｐ１５１、Ｐ１５２を重ねた状態では、透明化ポリゴンＰＯＬ１５の内部では、下側の正射画像Ｐ１５２が表示され、その他の部分では、上側の正射画像Ｐ１５１が表示される。この結果、下側の正射画像Ｐ１５２に含まれる停止線Ａ１５３と、上側の正射画像Ｐ１５１に含まれる横断歩道Ａ１５２が表示され、停止線および横断歩道の双方を完全な形で表示することができる。
【０１１３】
（２）フローチャート：
図１６は透明化ポリゴン設定処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した透明化ポリゴン設定部２２１の処理に相当する。
処理を開始すると、ＣＰＵは、オペレータからの対象道路の指定を入力し（ステップＳ１００）、対象道路に対応する連結画像を入力する（ステップＳ１０２）。対象道路に対して複数のパスが対応している場合には、これらのパスに対応する複数の連結画像が入力される。
【０１１４】
ＣＰＵは、これらの連結画像を表示し、オペレータの操作に基づいて優先パスの指定を入力する（ステップＳ１０４）。優先パスとは、複数のパスのうち路面画像が最も良好なパスをいい、複数のパスの連結画像を重ねる際に最も上に位置するパスをいう。優先パスは、位置合わせ加工で用いられた基準パスとは異なる。基準パスは位置精度が最もよいものを意味したが、位置精度がよいからといって、路面画像が良好とは限らないからである。複数のパス間の連結画像の重ね合わせの上下関係がどのような状態であっても、位置合わせは支障なく行うことが可能であるから、位置合わせ用の基準パスと優先パスとは相互に独立して設定可能である。
本実施例では、優先パスは、オペレータが各パスの連結画像を比較しながら、任意に設定することができる。仮に、路面画像が最も粗いパスを優先パスに指定しても構わない。このような場合には、後述する透明化ポリゴンの設定数が増えるだけのことである。
【０１１５】
優先パスが設定されると、ＣＰＵは、オペレータの操作に従い透明化ポリゴンを設定する（ステップＳ１０６）。
図中に透明化ポリゴンの設定例を示した。この例では、優先パスに沿った路面テクスチャＴＸ１６１と、その他のパスに沿った路面テクスチャＴＸ１６２を示した。
撮影時には矩形の画像が、正射画像変換により、台形になるため、路面テクスチャＴＸ１６１、ＴＸ１６２を配置すると、図示するようにのこぎり刃状になる。のこぎり刃状の部分からは、路面画像の見栄えを落とすとともに、分断された路面画像しか得られないため、完全な路面画像を得るという目的からは不要な部分となる。そこで、図の例では、路面テクスチャＴＸ１６１、ＴＸ１６２が重なり合った部分では、のこぎり刃状になった路面テクスチャＴＸ１６１の左端の部分に透明化ポリゴンＰＯＬ１６１を設定し、のこぎり刃状の部分が表示されないようにしている。
【０１１６】
一方、路面テクスチャＴＸ１６１、ＴＸ１６２が重なりあっていない部分、図の例では、両端の領域Ａ１６１、Ａ１６２の部分には、透明化ポリゴンは設定しない。この部分では、それぞれ路面テクスチャＴＸ１６１、ＴＸ１６２によって得られる画像が、唯一の画像情報となるからである。両端の領域に透明化ポリゴンを設定すると、この部分に含まれる路面画像の情報は活用し得なくなる。本実施例では、このように他の路面テクスチャと重なり合っていない部分には、透明化ポリゴンを設定しないようにすることで、路面テクスチャに含まれる路面画像の情報を有効活用できるようにした。
かかる設定は、単に路面テクスチャが重なっていない部分を避けて、オペレータが透明化ポリゴンを設定するという運用によって実現してもよいが、透明化ポリゴンの設定処理（ステップＳ１０６）において、透明化ポリゴンの設定位置を制限するようにしてもよい。つまり、路面テクスチャが重なり合っている部分についてのみ、オペレータによる透明化ポリゴンの設定操作を受け付けるようにしてもよい。
【０１１７】
路面テクスチャＴＸ１６１によって隠されている標示がある場合には、オペレータはその標示が視認できるように透明化ポリゴンを設定する。図の例では、矢印の標示を覆うように、透明化ポリゴンＰＯＬ１６２が設定されている例を示した。矢印の標示は、テクスチャＴＸ１６１の下側に配置されているテクスチャに含まれている画像である。
このように標示を覆う透明化ポリゴンＰＯＬ１６２を設定するためには、一旦、路面テクスチャＴＸ１６１を他の路面テクスチャよりも下側に位置するように上下関係を変更したり、路面テクスチャＴＸ１６１を非表示としたりすればよい。これらの操作によって、路面テクスチャＴＸ１６１に隠された標示を視認可能な状態にした上で、その標示を覆うように透明化ポリゴンＰＯＬ１６２を設定し、路面テクスチャＴＸ１６１の表示を元に戻せばよい。
以上の処理によって、透明化ポリゴンの設定が終わると、ＣＰＵは、設定結果を出力して、透明化ポリゴン設定処理を終了する。
【０１１８】
（３）処理例：
図１７は透明化ポリゴンを設定する前の道路画像例を示す説明図である。この例では、パスＰ１７１、Ｐ１７２の２本に沿って得られた連結画像の位置合わせを行って生成された道路画像を示した。パスＰ１７２の連結画像と、パスＰ１７１の連結画像とで、のこぎり刃状の両端の形状が逆向きになっているのは、これらのパスＰ１７１，Ｐ１７２を道路面撮影システム１００の車両が走行する方向が逆だからである。
【０１１９】
パスＰ１７２の連結画像が、パスＰ１７１の連結画像と重なっている部分では、パスＰ１７２の連結画像の端部Ｂ１７ののこぎり刃状の境界が現れており、道路画像の画質を劣化させている。ただし、図１７では、図示の都合上、のこぎり刃状の輪郭を付して端部Ｂ１７の形状を強調してある。
また、パスＰ１７２の路面画像が端の方で不鮮明なため、例えば、領域Ａ１７１では横断歩道の縞模様が歪んでいる。領域Ａ１７２では、停止線が分断された状態となっている。領域Ａ１７３では、路線バス等優先通行帯（いわゆるバスレーン）であることを示す「バス専用」の文字が読めない程に崩れている。領域Ａ１７４では、破線状の車線境界線が途中で分断された状態となっている。
【０１２０】
これらの影響を回避するため、図１７では、領域Ａ１７１〜Ａ１７４および端部Ｂ１７を包含する透明化テクスチャＰＯＬ１７を図中の一点鎖線のように設定した。
このように透明化ポリゴンＰＯＬ１７を設定すると、パスＰ１７２側の路面テクスチャは、透明化ポリゴンＰＯＬ１７の内部では透視状態となり、下側に配置されたパスＰ１７１側の路面テクスチャが視認されるようになる。
【０１２１】
図１８は透明化ポリゴンの設定後の道路画像例を示す説明図である。上述の透明化ポリゴンの作用により、領域Ａ１８１では、下側の画像が表示されるため、図１７で示した横断歩道の分断状態が解消される。領域Ａ１８２でも同様に、停止線が完全な状態で表示される。また、領域Ｂ１８に例示するように、路面テクスチャの端部ののこぎり刃状の輪郭は視認されなくなり、道路画像全体の画質が向上する。
領域Ａ１８３では、バス専用の文字が、はっきりと判読可能な状態となる。領域Ａ１８４では、車線境界線が完全な状態で表示される。
このように、本実施例では、透明化ポリゴンを設定することにより、道路画像の画質を向上させることができるとともに、道路面の標示の画質も向上させることができる。
【０１２２】
Ｄ．自動位置合わせ処理：
以上の処理では、オペレータが対応点を指示することによって位置合わせ加工を行う例を示した(図８のステップＳ４０参照）。
連結画像の画像処理によって、対応点を自動で指定することができれば、位置合わせ加工を自動で行うことが可能である。以下では、位置合わせを自動で行うための処理について説明する。位置合わせを自動で行うか、手動で行うかは、実行時のメニュー等でオペレータが選択するようにしてもよいし、自動での位置合わせを行った後、この処理がうまくいかなかった連結画像を対象として、手動での位置合わせを行うようにしてもよい。
また、本実施例における自動位置合わせ処理は、オペレータが一切介入しない全自動の処理として構成してもよいし、必要に応じてオペレータが介入する半自動の処理として構成してもよい。
【０１２３】
図１９は自動位置合わせ処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した自動位置合わせ処理部２２２の処理に相当する。オペレータの指示に応じて、自動位置合わせ処理と位置合わせ加工（図８）とのいずれか一方を行うようにしてもよいし、位置合わせ加工（図８）に先だって、行うようにしてもよい。
本実施例では、路面標示地図生成装置２００の画像処理の負荷を抑制するため、自動位置合わせ処理は、地図を所定サイズのメッシュに分割し、メッシュごとに行うものとした。こうすることによって、１回の処理で扱う連結画像を一定サイズに抑え、画像処理の負荷が過大となることを回避できる。また、各連結画像を共通のメッシュで分割するため、分割された画像データを管理しやすくなる利点があるからである。
【０１２４】
連結画像は、例えば、パスに沿って所定の距離ごとに分割する方法も可能である。しかし、かかる方法では、異なるパスに沿って生成された連結画像間では、分割したピースが統一できないことになり、特徴点同士の対応付けも困難となる。本実施例では、連結画像の位置とは無関係に設定されたメッシュ、即ち複数パスの連結画像に対して共通のメッシュを用いることにより、各連結画像を分割したピース間の対応づけなどのデータ管理が容易となる利点がある。
【０１２５】
処理を開始すると、ＣＰＵは処理対象となるメッシュ、即ち対象メッシュ内のパス、連結画像を読み込む（ステップＳ２００）。この処理によって、連結画像はメッシュ単位に分割されることになる。
ＣＰＵは、読み込んだ連結画像に対して、画像前処理を行う（ステップＳ２１０）。画像前処理とは、対応点を自動的に認識する際に、誤認識の可能性を抑制するための処理である。画像前処理の内容は後述するが、本実施例では、連結画像の両端に生じる、のこぎり刃状のギザギザ部分を削除する処理、横断歩道、分離帯その他を示す縞模様の標示を削除する処理などを行う。
【０１２６】
画像前処理が終了すると、ＣＰＵは処理領域を設定する(ステップＳ２２０）。本実施例では、メッシュ単位で読み込んだ連結画像内に、メッシュよりも小面積の処理領域を設定し、処理領域ごとに処理を実行している。処理領域の位置を順次、移動させて繰り返し処理を行うことによりメッシュの全領域をカバーすることができる。処理領域の設定方法および移動方法については、後述する。
こうして処理領域を設定すると、ＣＰＵはその中で特徴点抽出処理を行う(ステップＳ２３０）。特徴点とは、２つの連結画像間で対応する点を安定的に特定できる点を任意に定義して用いることができる。本実施例では、連結画像から種々のエッジを抽出し、エッジが折れ曲がる点（屈折点）、端点、交点などを特徴点として用いるものとした。
【０１２７】
特に、道路上には白線又は黄線で種々の標示が描かれているため、この標示の輪郭をエッジとして抽出することにより、上述の特徴点を抽出することができる。白線又は黄色線で描かれた白線は、道路面とは異なる色を有しているから、連結画像の各画素の階調値の差異に基づいて、標示部分を抽出することが可能である。
抽出は、ＲＧＢなど種々の色系で行うことが可能である。本実施例では、連結画像を、Ｈ(色相）、Ｓ（彩度）、Ｖ（明度）の色空間に変換した上で、Ｖ（明度）画像を用いて標示領域を抽出した。Ｖ画像は、無彩色で明度だけを成分として有する画像となるため、いわゆるグレースケールの画像である。種々の色空間で抽出を試みた結果、Ｖ画像を用いた場合に標示を最も精度良く抽出できることが見いだされた。
【０１２８】
ＣＰＵは、処理領域の設定（ステップＳ２２０）および特徴点抽出処理（ステップＳ２３０）を、各連結画像に関し、メッシュ全体で特徴点の抽出が完了するまで（ステップＳ２４０）、繰り返し実行する。
こうして特徴点の抽出が完了すると、ＣＰＵは、対応点探索処理を行う（ステップＳ２５０）。これは、連結画像間で、特徴点同士を比較し、対応するもの同士を対応点として関連づける処理である。例えば、抽出された特徴点の座標、連結画像内での複数の特徴点の配置などに基づいて、連結画像間の対応をとることができる。特徴点同士を関連づける処理自体は、周知の画像処理技術であるため、詳細な説明は省略する。
【０１２９】
ＣＰＵは、こうして抽出された対応点のフィルタリング処理を行う（ステップＳ２６０）。対応点探索処理（ステップＳ２５０）では、誤認識された対応点が含まれている可能性があるからである。本実施例の位置合わせ加工は、先に図１０で説明したように、対応点ごとに求まる移動ベクトルを補間することで、各路面テクスチャの位置合わせ用の移動量を設定する。従って、位置合わせ加工には、必ずしも多くの対応点を要しない。種々の処理を行った実験結果からは、数十メートルに１点程度の間隔で得られれば、十分な精度で位置合わせ加工ができることが見いだされた。
対応点のフィルタリング処理の詳細は後述する。本実施例では、上述の観点から、対応点のうち、誤認識の可能性が高いと思われるもの、および対応点の位置精度が低いと考えられるものを削除するものとした。フィルタリング処理は、完全に自動で行う態様の他、オペレータの介入を許す半自動の形で行う方法を採ってもよい。
このように、対応点を減らすことは、抽出された対応点を表示した場合に、オペレータが比較的容易に、誤認識の有無を判断できる利点もある。仮に、多数の対応点が表示されていると、オペレータが、これらの中から、対応点の誤認識を見いだすことは非常に困難となるが、対応点の数が少ない場合には、対応点の位置をそれぞれの連結画像内で比較的容易に認識することができ、背景の画像との関係も考慮しながら、対応関係の正誤を比較的容易に判断することができるようになるからである。
【０１３０】
こうして対応点が決まると、ＣＰＵは連結画像の移動処理を行って（ステップＳ２７０）、自動位置合わせ処理を終了する。連結画像の移動処理は、先に図１０で説明したのと同様である。つまり、設定された対応点ごとに移動ベクトルを設定し、この対応点の移動ベクトルを補間することで、パス上の各点の移動ベクトルを設定する（図１０のステップＳ５２）。そして、この移動ベクトルに従って、各路面テクスチャを移動する（ステップＳ５３）。こうすることで、自動位置合わせ処理によっても、図１２、１３に示したように良好な結果を得ることができる。
以下、上述の自動位置合わせ処理で行う各処理のうち、画像前処理（ステップＳ２１０）、処理領域設定（ステップＳ２２０）、および対応点フィルタリング処理（ステップＳ２６０）について、それぞれ詳細な内容を説明する。
【０１３１】
Ｄ１．画像前処理：
図２０は画像前処理のフローチャートである。自動位置合わせ処理(図１９）のステップＳ２１０に相当する処理であり、対応点を自動的に認識する際に、誤認識の可能性を抑制するための処理である。
処理を開始すると、ＣＰＵは、まずギザギザ除去処理を行う（ステップＳ２１１）。図中に処理概要を模式的に示した。本実施例では、路面テクスチャＴＸ２０をパスにそって配置して連結画像を生成する。路面テクスチャＴＸ２０は、ビデオカメラで撮影した画像を正射変換して得られる画像であり、この変換の過程で、もともとは矩形の画像が台形状に変形される。この結果、路面テクスチャＴＸ２０を配置した連結画像には両端に、ギザギザののこぎり刃状の領域Ａ２０が生じる。ギザギザ除去処理では、領域Ａ２０を削除する処理を行う。
【０１３２】
ギザギザ除去処理には、２つの意義がある。
領域Ａ２０内の、のこぎり刃状の頂点は、それぞれエッジが折れ曲がっている屈折点となるから、特徴点として抽出され易い点である。従って、ギザギザ除去を行わずに、特徴点の抽出を行うと、非常に高い密度で特徴点が多数抽出されることになる。このように高密度で多数の特徴点が抽出されると、特徴点同士の対応関係に誤認識を生じやすい。また、誤認識が生じたときに、オペレータが目視で誤認識を発見しづらくなる。ギザギザ除去処理を行うことにより、こうした弊害を回避することが可能となる。
また、領域Ａ２０は、路面テクスチャの両端の部分である。正射変換して路面テクスチャを生成する際には、画像の左右中央付近に比して、両端では変換時の歪みが大きくなる。路面テクスチャの両端付近の各画素は、これらの歪みの影響で、中央付近よりも、位置精度が低くなる。それぞれの連結画像の位置精度を十分に確保した状態で位置合わせを行うためには、位置精度の高い対応点を用いることが好ましい。ギザギザ除去処理では、領域Ａ２０を削除することにより、予め位置精度が低い特徴点を排除しておくことができるから、位置合わせ時の位置精度の低下を回避することができる。
【０１３３】
図２１はギザギザ除去処理の処理例を示す説明図である。図２１（ａ）には、のこぎり刃状の領域が残存した状態を示した。図中の×印は、抽出された特徴点を表している。のこぎり刃状のエッジの屈折点が多数、特徴点として抽出されていることが分かる。しかし、全ての点が抽出されている訳ではなく、エッジの屈折点の中でも特徴点として抽出されていないものもあれば、屈折点からややずれたところの点が抽出されているものもある。このように特徴点が、不正確かつ高密度で多数抽出されると、対応点を特定する上で誤認識を生じやすい。
図２１（ｂ）は、ギザギザ除去処理後の連結画像の様子を示した。特徴点の抽出は行っていない。連結画像の両端のギザギザ領域を除去することにより、両端がほぼ直線状となっているため、特徴点の抽出を行ったとしても、両端の領域から、図２１（ａ）ほどの多くの特徴点が高密度で抽出されることを回避することが可能となる。
【０１３４】
図２０に戻り、画像前処理の内容を引き続き説明する。
ギザギザ除去処理が完了すると、ＣＰＵは、次に、横断歩道やゼブラを除去する処理を行う。ゼブラとは、説明の便宜上付した名称であり、道路標示のうち横断歩道を除く縞模様をいう。例えば、中央分離帯や、交差点付近に設けられた右左折用の車線への移行領域などに付されている縞模様が挙げられる。
この除去処理を行うため、ＣＰＵは、まずＶ（明度）画像を用いてエッジを抽出する（ステップＳ２１２）。エッジの抽出は、ＲＧＢ色系などで行うこともできるが、Ｈ(色相）、Ｓ（彩度）、Ｖ（明度）の色空間で行った方が、道路標示に使われる白色および黄色の線を精度良く抽出できることが分かったからである。エッジ抽出は、周知の画像処理技術であるため、詳細な説明を省略する。エッジ抽出に当たっては、Ｓｏｂｅｌフィルタその他のフィルタによって、エッジを強調する処理を施してもよい。
【０１３５】
次に、ＣＰＵはエッジ太らせ処理を行う（ステップＳ２１３）。
図２２はエッジ太らせ処理の処理例を示す説明図である。図２２（ａ）は、道路面の標示例を示している。道路には、複数の車線境界線で区画された複数の車線が中央付近に縦方向に横断歩道がある。中央分離帯部分はゼブラとなっている。
図２２（ａ）の上方に、横断歩道の一部を拡大して示した。横断歩道のような縞模様では、拡大図中の×印に示すように、縞模様の角が特徴点として抽出され易い。拡大図中では、１個だけが抽出されている例を示したが、縞模様のそれぞれの角が抽出されるため、多数の特徴点が高密度で抽出されることになる。ゼブラも同様である。このように高密度で抽出された特徴点は、連結画像の両端のギザギザ領域と同じく対応点の誤認識につながる。横断歩道やゼブラの除去処理には、特徴点が高密度で多数抽出される領域を予め排除しておくことにより、対応点の誤認識を低減させるという目的がある。
【０１３６】
図２２（ｂ）には、横断歩道に対してエッジを抽出した状態を示した。エッジ抽出によって、横断歩道の縞模様の輪郭が抽出されることになる。この例では、ほぼ連続的な形状で縞模様が抽出されている状態を示しているが、連結画像の画質や、エッジ抽出の際の設定によっては、それぞれの線分が分断されたような状態で抽出されることもある。エッジ抽出された画像は、２値画像となっている。
図２２（ｃ）は、抽出されたエッジに太らせ処理（「膨脹処理」ともいう）を施した例である。太らせ処理とは、処理対象となる画素に対して、その周囲８画素のいずれかに黒画素がある場合には、処理対象となる画素も黒に置換する処理である。こうすることによって、図示するように、黒画素によって構成される境界線の幅を太くすることができる。
【０１３７】
図２２（ｄ）は、太らせ処理を更に施した例である。このように、太らせ処理を繰り返し施すと、横断歩道の縞模様同士が結合されるようになり、いずれ横断歩道全体が一つの面として認識されるようになる。ここでは、横断歩道を例示したが、ゼブラも同様である。
太らせ処理においては、横断歩道やゼブラが面領域として抽出されるよう、連結画像の解像度に応じて、エッジの太らせ量を予め設定しておけばよい。横断歩道およびゼブラの縞模様の間隔および線の幅は、同等であるため、双方を面領域として抽出するのに適した太らせ量は、比較的容易に設定可能である。
【０１３８】
図２０に戻り、画像前処理について説明する。
ＣＰＵは、エッジの太らせ処理を行った後（ステップＳ２１３）、面積が閾値Ｓｔｈ以下となる領域を、解除する（ステップＳ２１４）。解除とは、抽出した領域から外すことを意味する。その後、ＣＰＵは解除されずに残った領域を連結画像から除去する（ステップＳ２１５）。例えば、横断歩道に対応する面領域の面積が、閾値Ｓｔｈを超える場合には、この面領域は抽出された状態のまま解除されずに残っているから、ステップＳ２１５の処理で除去されることになる。
【０１３９】
上述の閾値Ｓｔｈは、横断歩道およびゼブラから構成される面領域の面積よりも小さく、車線境界線その他の道路標示から構成される面領域の領域よりも小さい範囲で設定する。
道路標示のサイズは一定ではなく道路幅等によっても変動する。閾値Ｓｔｈは、道路標示のサイズの変化も考慮して設定することが好ましい。閾値Ｓｔｈは固定値である必要はなく、道路幅などに応じて、変化させてもよい。
また、閾値Ｓｔｈを半自動で設定するようにしてもよい。例えば、太らせ処理を終えた連結画像内で、オペレータが指定した領域の面積を基準として、その面積に所定の係数を乗じて閾値Ｓｔｈを設定するようにしてもよい。こうすることによって、道路標示の状態に応じて柔軟に閾値Ｓｔｈを設定可能となる利点がある。
【０１４０】
閾値Ｓｔｈの設定値によっては、車線境界線など、横断歩道およびゼブラ以外の道路標示が連結画像から除去される可能性もある。しかし、画像前処理は、対応点の誤認識を避けるために、誤認識を生じやすい特徴点を含む部分を予め除去しておくための処理であるから、横断歩道およびゼブラ以外の道路標示が、多少、連結画像から除去されることがあったとしても構わない。位置合わせに支障がない程度、つまり数十メートルに１点程度の特徴点を抽出できるだけの道路標示が連結画像内に残っていれば足りるからである。
【０１４１】
図２３は面領域の除去例を示す説明図である。図２３（ａ）は、連結画像に対して、エッジの抽出（図２２のステップＳ２１２）および太らせ処理（図２２のステップＳ２１３）を施した状態を示している。領域Ａ２３は、横断歩道に対応する面領域である。領域Ｍ２３は、車線の進行方向規制を示す矢印に対応する面領域である。
図２３（ｂ）は、図２２のステップＳ２１４の処理を施した状態、つまり閾値Ｓｔｈ以下の領域を解除した状態を示している。この例では、横断歩道に対応する領域Ａ２３は解除されずに残っている。矢印に対応する領域Ｍ２３は面積が小さいため、解除されている。領域Ｍ２３以外の矢印や車線境界線の一部も、同様に解除されている。停止線や車線境界線の中には、抽出されたままのものも存在するが、先に説明した通り、この状態で処理を継続しても構わない。
図２３（ｃ）は、図２２のステップＳ２１５の処理を施した状態、つまり抽出されている画像を除去した状態を示している。この処理によって、横断歩道の領域Ａ２３が除去されることが分かる。同様に、車線境界線や停止線の一部に対応する部分も除去されている。しかし、車線境界線の一部や矢印などの道路標示は除去されずに残っているため、これらのエッジに基づいて特徴点の抽出が可能な状態となっている。
【０１４２】
このように画像前処理を施すことによって、対応点の誤認識を招きやすい部分、即ち特徴点が高密度で多数抽出されやすい部分を予め連結画像から除去することができる。また、ギザギザ領域の除去処理（図２０のステップＳ２１１）には、連結画像両端の位置精度が低い部分を除去しておくことによって、位置精度が低い特徴点が抽出されるのを回避できるという利点もある。
【０１４３】
Ｄ２．処理領域設定：
図２４は処理領域設定の様子を模式的に示す説明図である。
本実施例では、先に説明した通り、メッシュに分けて特徴点の自動抽出を行う。図２４の太線で示した外枠ＭＥ２４が、メッシュを表している。メッシュ内に、処理対象となる連結画像Ｒ２４を模式的に示した。
特徴点の自動抽出は、メッシュ内に設定された処理領域ＰＡ２４（図中のハッチングを付した領域）を単位として行う。この例では、図示する通り、メッシュＭＥ２４を、７×７のマスに分割し、３×３の配列で処理領域ＰＡ２４を設定した。
本実施例では、処理領域ＰＡ２４の位置を順次、移動させながら処理を行う。図２４（ａ）〜図２４（ｆ）には処理領域ＰＡ２４の移動例を示した。図２４（ａ）〜図２４（ｃ）に示すように、メッシュＭＥ２４内の最下段から３段のマスを用いつつ、１マスずつ右側に処理領域ＰＡ２４を移動させる。図２４（ｃ）の後も、メッシュＭＥ２４の右端に処理領域ＰＡ２４が到達するまで、同様に移動させる。
【０１４４】
次に、図２４（ｄ）〜図２４（ｆ）に示すように、メッシュＭＥ２４内の下から２〜４段目のマスを用いつつ、１マスずつ右側に処理領域ＰＡ２４を移動させる。図２４（ｆ）の後も、メッシュＭＥ２４の右端に処理領域ＰＡ２４が到達するまで、同様に移動させる。
このように処理領域ＰＡ２４を徐々に移動させると、連結画像Ｒ２４と処理領域ＰＡ２４との位置関係を相対的に変化させることができる。図２４（ａ）では、処理領域ＰＡ２４内に連結画像Ｒ２４は、わずかしか存在していない。この状態では、位置合わせを精度良く行うのに十分な対応点を抽出することはできない。一方、図２４（ｃ）では、処理領域ＰＡ２４内に、連結画像Ｒ２４が十分に含まれている。従って、位置合わせを精度良く行うに足りるだけの対応点を抽出することが可能である。
【０１４５】
処理領域の設定は、位置合わせ用の対応点を設定するために行う処理である。つまり、図２４（ａ）〜図２４（ｆ）に示す処理領域ＰＡ２４は、特徴点の抽出、対応点の設定に用いられるだけであり、処理領域ＰＡ２４を単位として連結画像Ｒ２４の移動処理が行われる訳ではない。従って、図２４（ａ）に示すように、処理領域ＰＡ２４内に連結画像Ｒ２４が十分に存在せず、特徴点を十分に抽出できない位置関係となる場合が生じたとしても、他の位置関係（例えば、図２４（ｃ））で、十分に特徴点の抽出、対応点の設定ができれば、位置合わせ処理は支障なく行うことができる。
連結画像Ｒ２４は、道路の形状およびメッシュＭＥ２４との相対的な位置関係に応じて、処理領域ＰＡ２４との位置関係が変化する。従って、処理領域ＰＡ２４を予め固定したサイズ、位置で用いると、処理対象となる道路に応じて、対応点の抽出に適した位置関係となったり、不適切な位置関係となったりする。これに対し、処理領域ＰＡ２４を移動させる場合には、いずれかの位置関係では特徴点の抽出を適切に行うことが可能となる。従って、道路とメッシュＭＥ２４との位置関係に依らず、安定的に特徴点を抽出することができる利点がある。
【０１４６】
図２４では、処理領域が順次、移動する様子を示したが、図２５に示す処理領域の設定例では、この処理領域を方眼状に配置した状態を例示した。図２５（ｂ）は、図２５（ａ）に対して処理領域を相対的に右側に移動した状態を表している。
図２５（ａ）では、処理領域Ｔ２５１、Ｔ２５２には、連結画像がごくわずかしか含まれておらず、対応点を精度良く設定することができない状態となっている。これに対し、処理領域が図２５（ｂ）よりも右側にずれた図２５（ｂ）の状態では、図２５（ａ）で処理領域Ｔ２５１、Ｔ２５２に分属していた画像が、一つの処理領域Ｔ２５３に含まれる。従って、処理領域Ｔ２５３からは対応点を良好に設定することが可能となる。
このように、処理領域を連結画像に対して相対的に移動させることによって、道路とメッシュとの位置関係に依らず、安定的に特徴点の抽出、対応点の設定を行うことが可能となる。
【０１４７】
Ｄ３．対応点フィルタリング処理：
図２６（ａ）には、基準パスＢＰ２６および標準パスＮＰ２６にそれぞれ沿った連結画像を示した。図中の□印は、それぞれのパスの連結画像に対して設定された対応点を表している。矢印は、それぞれの対応点に基づいて定まる移動ベクトルである。つまり、対応点について、標準パスＮＰ２６１の連結画像の位置を基準パスＢＰ２６に合わせるための移動量を表している。
移動ベクトルは、標準パスＮＰ２６１の対応点を始点とし、基準パスＢＰ２６の対応点を終点とするベクトルである。図の例では、このようにして移動ベクトルを設定した結果、矢印Ａ２６のみが左向きとなり、他の移動ベクトルは右向きとなっていることが分かる。図中には他の対応点も存在するが、図の煩雑化を回避するため、４つの対応点についてのみ移動ベクトルを示した。
【０１４８】
図２６（ｂ）は、図２６（ａ）の状態で位置合わせを行った結果を示す説明図である。移動ベクトルに従って、標準パスＮＰ２６１の各点および路面テクスチャを移動する。標準パスＮＰ２６１上で、対応点と対応点の間の点については、移動ベクトルを補間して、各点での移動ベクトルを設定する。矢印Ａ２６の移動ベクトルのみが他の移動ベクトルと方向が異なっているため、補間した各点の移動ベクトルも不自然に変化する。この結果、図２６（ｂ）の領域Ｂ２６に示すように、位置合わせ後のパスが不自然に屈曲してしまう。また、横断歩道の縞模様がずれていることから分かる通り、連結画像同士もきちんと位置合わせされてはいない。
このような現象は、矢印Ａ２６で示した移動ベクトルを用いて位置合わせを行ったことが原因である。従って、かかる現象を回避するためには、予め矢印Ａ２６に対応する対応点を排除しておくことが好ましい。このように、適切な位置合わせを実現するために、用いるべき対応点を取捨選択する処理を、対応点フィルタリング処理と呼ぶ。
【０１４９】
図２７は自動位置合わせ処理（図１９）のステップＳ２６０に相当する処理である。
処理を開始するとＣＰＵは、対応点探索結果を入力する（ステップＳ２６１）。対応点は、各連結画像から抽出された特徴点同士を比較し、対応づけた点をいう。
ＣＰＵは次に、路面テクスチャの両端領域の対応点を除去する（ステップＳ２６２）。図中にこの処理の内容を模式的に示した。
路面テクスチャＴＸ２７が配置された連結画像から、Ｐ２７１〜Ｐ２７４の対応点が設定されたとする。この処理では、パスを含む幅Ｗ２７の領域Ａ２７を規定し、この領域から外れる対応点を両端領域の対応点として除去するものとした。領域Ａ２７を規定する幅Ｗ２７は任意に設定可能である。幅Ｗ２７を大きくとれば、両端領域の対応点を十分に排除することができないし、幅Ｗ２７を小さくとれば、ほとんどの対応点が除去されてしまい、位置合わせに使用する対応点を十分に残すことができなくなる。幅Ｗ２７は、これらの両面を考慮して、任意の値を設定すればよい。
また、幅Ｗ２７は固定値とする必要はなく、例えば、道路幅に応じて変化させてもよい。また、道路幅の○％というように、道路幅を基準とする値としてもよい。
【０１５０】
次に、ＣＰＵは統計的に外れる対応点を除去する（ステップＳ２６３）。本実施例では各移動ベクトルの向きおよび大きさが統計的に外れているものを除去するものとした。
図中に処理例を示した。パスＮＰ２７に沿って、対応点ごとに移動ベクトルＱ２７１〜Ｑ２７５が得られているとする。下側に、各移動ベクトルの大きさおよび向きをグラフにして示した。パスＮＰ２７の上向きを正、下向きを負として向きを表すとともに、大きさをグラフの高さで表した。
図示する通り、移動ベクトルＱ２７２は負の向きとなり、他の移動ベクトルＱ２７１、Ｑ２７３〜Ｑ２７５は正の向きとなる。また、移動ベクトルＱ２７１，Ｑ２７３，Ｑ２７４はほぼ同じ大きさであり、移動ベクトルＱ２７５は他の移動ベクトルよりも大きい。ＣＰＵは、これらの結果に基づき、向きが異なる移動ベクトルＱ２７２および大きさが異なる移動ベクトルＱ２７５を除去する。
向きについては、図中の例のように正負で評価する他、パスＮＰ２７の進行方向を基準とする角度で評価してもよい。
【０１５１】
統計的な除去を行う際、除去するか否かの判断基準は任意に設定可能である。例えば、移動ベクトルの向きおよび大きさの各平均値との偏差が所定値以上のものを除去するようにしてもよいし、このときの所定値は任意の値としてもよいし、標準偏差を用いて設定してもよい。
統計的な除去を終えると、ＣＰＵはオペレータの操作に従って、標示（ペイント）近傍の対応点を選択する処理を行う（ステップＳ２６４）。ステップＳ２６２、Ｓ２６３の処理で対応点のフィルタリングが十分に行われている場合には、この処理は省略しても差し支えない。
【０１５２】
図中には選択例を示した。対応点Ｒ２７１，Ｒ２７２は標示とは無関係の点である。対応点Ｒ２７３、Ｒ２７４は、それぞれ標示の角である。本実施例では、これらの対応点Ｒ２７１〜Ｒ２７４は自動位置合わせ処理（図１９）のステップＳ２５０で設定されている。
オペレータは、設定された対応点ＰＲ２７１〜Ｒ２７４が表示された画面内で、マウス等のポインティングデバイスによって使用する対応点を選択する。例えば、対応点Ｒ２７１、Ｒ２７２は、標示と無関係の点であるため、オペレータは連結画像間で、適切に対応関係が設定されているか否かを判断しづらい。そこで、オペレータは、このような点については位置合わせに使用する対応点の候補から排除する。一方、対応点Ｒ２７３、Ｒ２７４は、道路標示の角であるため、連結画像間で適切に対応関係が設定されていることを比較的容易に確認することができる。そこで、オペレータは、対応点Ｒ２７３、Ｒ２７４について、対応関係の適否を判断し、適切に対応関係が設定されていると判断した場合には、位置合わせで使用する候補として選択する。
【０１５３】
このようにオペレータが目視確認して対応点を指定可能とすることにより、対応点の誤認識を抑制でき、位置精度が高いと考えられる適切な対応点を位置合わせに利用することが可能となる。
本実施例では、ＣＰＵによって自動的に設定された対応点の中から、位置合わせに使用するものを選択する例を示した。この画面内で、オペレータがポインティングデバイスを操作することで、新たな対応点を指定可能としてもよい。
【０１５４】
以上で説明した実施例の道路面撮影システム１００および路面標示地図生成装置２００によれば、道路を走行しながら取得したフレーム画像を正射変換して得られた路面テクスチャを配置することにより、走行軌跡に沿って位置精度のよい連結画像を得ることができる。更に、複数のパスに沿って得られた連結画像同士を、位置合わせして合成することにより、道路全体の路面画像を得ることができる。この際、画像を撮影した際の各パスの位置精度が最も高いものを基準パスとして、他のパスをこの基準パスに合わせる方法を採ることにより、全体の位置精度を確保しつつ路面画像を生成することができる。
本実施例では、各パスの連結画像は、路面テクスチャを配置するまでに留め、これらを一枚の画像として合成していない。従って、路面テクスチャ単位で配置を平行移動することによって、複数パスの連結画像を容易に合成可能である。
【０１５５】
本実施例では、各パスの連結画像の生成、および複数パスの連結画像の合成のいずれの処理も、路面テクスチャに対するアフィン変換を施す必要がなく、単純な平行移動で行う。従って、複雑な画像処理に伴う画質の劣化を回避することができ、路面標示が鮮明な状態で表示された路面画像を得ることが可能である。また、平行移動で行うため、路面テクスチャ内の代表点を基準とする相対的な座標系は、連結画像の生成および合成の前後で維持される。この結果、代表点の絶対位置座標が得られれば、路面テクスチャ内の各点の絶対位置座標を容易に取得することが可能となり、路面標示の絶対位置座標を取得することも可能となる。
【０１５６】
本実施例では、連結画像を構成する複数の路面テクスチャが重なっている領域では、生成された路面画像に対して、透明化ポリゴンを設定可能である。こうすることにより、重なり合っている路面テクスチャに含まれる路面標示の中で、最も鮮明なものを有効活用することが可能となる。従って、路面テクスチャを合成して得られる路面画像の画質を向上させることが可能である。
【０１５７】
更に、本実施例では、対応点を自動的に設定し、位置合わせを行うことが可能であるため、オペレータの負荷を軽減することができる。また、特徴点の抽出に先立って画像前処理を行うことにより、位置精度の悪い特徴点や、対応関係に誤認識が生じやすい特徴点を予め排除することができるため、対応点の設定精度を向上することができる。また、対応点の設定後に、フィルタリングを行うことによって、不適切に設定された対応点を排除することができ、位置合わせの精度向上を図ることもできる。
【０１５８】
Ｅ．他の実施例：
Ｅ１．フレームデータ読み込み処理：
上記実施例では、画像データは、パスごとに処理対象となる道路面を撮影した部分のみが記録されているものとして、道路画像の生成方法を説明した。しかし、実際に道路面の撮影を行う場合には、次に示すように処理対象となる道路のみを撮影できるとは限らない。図２８に示すように、リンクＬ２８１に沿う道路Ｒ２８１の道路画像を生成する場合を考える。この場合、処理対象となる道路Ｒ２８１に沿って、直線状に車線を変えながら必要な回数だけ走行するのが無駄のない理想的な走行経路となる。
【０１５９】
しかし、例えば、道路Ｒ２８１に駐停車する場所がない場合には、他の道路又は駐車場などで撮影開始の準備を行った上で撮影を開始しなくてはならない。また、道路Ｒ２８１上に工事などで通行できない箇所があれば、迂回しなくてはならない。この結果、実際の走行経路は、図中に破線および実線で示すように道路Ｒ２８１以外の道路も含んだ経路となる。
この例では、道路Ｒ２８１以外の場所で撮影準備を行い、矢印Ｐ２８１に沿って道路Ｒ２８１に進入している。その後、矢印Ｐ２８２の部分で道路Ｒ２８１の撮影を行う。しかし、工事などの事情によって矢印Ｐ２８３のように迂回する必要が生じている。そして、矢印２８４に沿って、道路Ｒ２８１を横断した後、更に、矢印Ｐ２８５に沿って再度迂回をし、矢印Ｐ２８６に沿って、道路Ｒ２８１の残り部分の撮影を行っている。
このように実際の処理対象となる道路Ｒ２８１を撮影した画像（矢印Ｐ２８２、Ｐ２８４、およびＰ２８６の部分）と、その他の道路を撮影した画像（矢印Ｐ２８１、Ｐ２８３、Ｐ２８５の部分）とが混在した状態で撮影データが取得されるのが通常である。
そこで、本実施例では、上記実施例の前処理として、このように処理対象となる道路と、そうでない処理対象外となる道路とが混在して撮影された画像データから、処理対象となる道路を撮影した部分を切り出す方法について説明する。
【０１６０】
データの切出は、例えば、撮影時に矢印Ｐ２８２、Ｐ２８４、Ｐ２８６に入った時点で、オペレータが有用なデータの開始を示すマーカを、画像データや位置座標データに記録可能とし、矢印Ｐ２８２、Ｐ２８４、Ｐ２８６の終端では終了を示すマーカを記録可能としておいてもよい。こうすることにより、路面標示地図生成装置は、これらのマーカに基づいて有用なデータを切り出すことができる。ただし、撮影時にオペレータがマーカの記録を誤ると、この方法は利用できない。また、図２８の走行経路で取得した画像データを、当初の計画と異なり、矢印Ｐ２８１の部分の道路画像の生成にも利用しようとすると、マーカが何の役にも立たないという点で柔軟性に欠けるという短所もある。本実施例では、このように撮影時にオペレータの操作を要することなく、取得された画像データ等を事後的に処理することで、道路画像の生成に有用なデータを切り出す方法を示す。
【０１６１】
本実施例の方法では、道路Ｒ２８１に対応する切出用ポリゴンＡ２８１を設定する。そして、取得された画像データに対応する位置座標データの位置座標が、この切出用ポリゴンＡ２８１内にある部分のみを切り出す。
図の例では、矢印Ｐ２８２、Ｐ２８４、Ｐ２８６の部分が切り出されることになる。画像データおよび位置座標データは、時系列的に連続して記録されているから、矢印Ｐ２８２、Ｐ２８４、Ｐ２８６の部分は、それぞれ連続したデータとなっている。本実施例では、これらの連続した一連のデータを、それぞれパスＰ２８２、Ｐ２８４、Ｐ２８６として記録する。こうして記録することにより、各パスのデータは、上記実施例で示した道路画像の生成処理に供することが可能となる。
【０１６２】
切出用ポリゴンＡ２８１は、オペレータが指定してもよいが、本実施例では、リンクＬ２８１に基づいて自動生成するものとした。次に、切出用ポリゴンＡ２８１を自動生成する場合を例にとって、画像データおよび位置座標データの切出処理（以下、「フレームデータ切出処理」ともいう）の内容を説明する。
（１）フレームデータ切出処理：
この処理は、上記実施例で説明した連続画像生成処理（図７）の前処理である。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理であり、図２に示したデータ入力部２０４の機能とすることができる。
【０１６３】
図２９に示すように、フレームデータ切出処理を開始すると、ＣＰＵは、道路ネットワーク地図データベースから、オペレータが指定した対象リンク列を読み込む（ステップＳ２９１）。道路ネットワーク地図データベースとは、経路探索用に道路をノードおよびリンクの結合で表したものである。各道路はリンクと呼ばれる線分で表現され、リンクとリンクとの接続地点はノードと呼ばれる交点で表現される。各リンクおよびノードは、緯度経度などの座標で表される位置データおよび種別などの属性データを含んでいる。
ＣＰＵは、指定された対象リンク列に基づき、基本ポリゴンおよび補助ポリゴンを生成する（ステップＳ２９２）。図２９におけるＬ２９１等の線分がリンク列を表しており、Ｎ２９ｓ等の点がノードを表している。
【０１６４】
基本ポリゴンとは、リンクを対称軸とする矩形のポリゴンである。
リンク列の途中に位置するリンクＬ２９１等では、それぞれのリンクを、リンクに直交する方向両側に所定幅Ｗだけ平行移動することで矩形のポリゴンＰ２９１を生成する。幅Ｗは、対象となる道路をカバーできる範囲で任意に設定可能である。例えば、対象となる道路における半幅分の１．１倍程度の値とすることができる。幅Ｗは、リンクの属性として付与されている道路幅データから自動で抽出することもできる。
リンク列のスタートのリンクＬ２９ｓおよび終端のリンクＬ２９ｅでは、リンクに直交する方向にリンクを平行移動させる他、リンク列の端点方向にも延伸して基本ポリゴンを形成する。例えば、スタートのリンクＬ２９ｓでは、リンク列の端点ノードＮ２９ｓ側に延伸して基本ポリゴンＰ２９ｓを生成する。終端のリンクＬ２９ｅでは、リンク列の終点ノードＮ２９ｅ側に延伸して基本ポリゴンＰ２９ｅを生成する。延伸させる量は、やはり対象となる道路を基本ポリゴンがカバーできる範囲で任意に設定可能である。例えば、交差点部分をカバーできるようにするため、対象となる道路における半幅分の１．１倍程度の値とすることができる。
【０１６５】
補助ポリゴンは、図２９中にハッチングで示したように、隣接する２つの基本ポリゴンの接続部分に生じる凹部を埋めるためのポリゴンである。図２９の例では、ノードＮ２９１で接続されるリンクＬ２９ｓ、Ｌ２９１のなす角における鈍角側にできる、基本ポリゴンＰ２９ｓ、Ｐ２９１の間に生じる凹部を埋めるために補助ポリゴンＱ２９１が生成されている。また、終端のリンクＬ２９ｅ側では、同様に鈍角側に補助ポリゴンＱ２９２が生成されている。
【０１６６】
（２）補助ポリゴンの生成方法：
図３０に示すように、ｘ、ｙの２次元平面上に配置したときに第１のリンクＬ１、第２のリンクＬ２がｘ軸となす角度をθ１、θ２とし、両者のなす角度をθ（０≦θ＜１８０°）とする。補助ポリゴンは、θ１、θ２および２つのリンクの曲がり（θ）の大きさに応じてケースＡ〜Ｄの４通りに分類して求める。
ケースＡ：θ１＞θ２、曲り大（０°≦θ＜１５０°）
このケースは、リンクＬ１から見てリンクＬ２が右側に折れるとともに、その曲りが比較的大きく、基本ポリゴンの間には大きな隙間が生じるケースに当たる。このケースでは、大きな隙間を埋めるよう、図示するように、リンクＬ１、Ｌ２の接続部分に点ｑ０、ｑ１，ｑ２の３点を発生させる。
【０１６７】
点ｑ０は、リンクＬ１、Ｌ２の鈍角側のなす角度の２等分線上で、接続ノードＮ０から距離Ｗだけ離れた点である。
点ｑ１は、リンクＬ１の基本ポリゴンにおいて点ｑ０に最も近い頂点と、点ｑ０との間に設けられる点である。基本ポリゴンの頂点および点ｑ０と、ノードＮ０とをそれぞれ結ぶ線のなす角の２等分線上で、接続ノードＮ０から距離Ｗだけ離れた点とした。
点ｑ２は、点ｑ１と同様、リンクＬ２の基本ポリゴンにおいて点ｑ０に最も近い頂点と、点ｑ０との間に設けられる点である。
【０１６８】
補助ポリゴンは、図２９中のポリゴンＱ２９２に示すように、点ｑ０〜ｑ２の３つの点、リンクＬ１、Ｌ２の基本ポリゴンの頂点、および接続ノードＮ０の６点で構成される。ノードＮ０の座標を（ｘ０、ｙ０）とすると、点ｑ０〜ｑ２のいずれの座標も（ｘ０＋Ｗcosα，ｙ０＋Ｗsinα）の形で表すことができる。但し、αの値は、それぞれ次の通りである。
点ｑ０の場合…α＝（θ１＋θ２＋π）／２；
点ｑ１の場合…α＝（３θ１＋θ２＋２π）／４；
点ｑ２の場合…α＝（θ１＋３θ２＋２π）／４；
なお、図中では混乱を避けるため、点ｑ１の場合をα１、点ｑ２の場合をα２として示した。
【０１６９】
ケースＢ：θ１＞θ２、曲り小（１５０°≦θ＜１８０°）
このケースは、リンクＬ１から見てリンクＬ２が右側に折れるとともに、その曲りが比較的小さく、基本ポリゴンの間には小さな隙間が生じるケースに当たる。このケースでは、図示するように、リンクＬ１、Ｌ２の接続部分に点ｑ０のみを発生させる。点ｑ０の座標は、ケースＡの点ｑ０と同じである。
【０１７０】
ケースＣ：θ１＜θ２、曲り大（０°≦θ＜１５０°）
このケースは、リンクＬ１から見てリンクＬ２が左側に折れるとともに、その曲りが比較的大きく、基本ポリゴンの間には大きな隙間が生じるケースに当たる。このケースでは、大きな隙間を埋めるよう、図示するように、リンクＬ１、Ｌ２の接続部分に点ｑ０、ｑ１，ｑ２の３点を発生させる。点ｑ０〜ｑ２は、ケースＡと同様に定義される。ただし、これらの点は鈍角側に生成するため、ケースＡではリンクＬ１からみて左側に生成したのに対し、ケースＣではリンクＬ１からみて右側に生成する点で相違する。ノードＮ０の座標を（ｘ０、ｙ０）とすると、点ｑ０〜ｑ２のいずれの座標も（ｘ０＋Ｗcosα，ｙ０＋Ｗsinα）の形で表せる。但し、αの値は、それぞれ次の通りである。
点ｑ０の場合…α＝（θ１＋θ２−π）／２；
点ｑ１の場合…α＝（３θ１＋θ２−２π）／４；
点ｑ２の場合…α＝（θ１＋３θ２−２π）／４；
【０１７１】
ケースＤ：θ１＜θ２、曲り小（１５０°≦θ＜１８０°）
このケースは、リンクＬ１から見てリンクＬ２が左側に折れるとともに、その曲りが比較的小さく、基本ポリゴンの間には小さな隙間が生じるケースに当たる。このケースでは、図示するように、リンクＬ１、Ｌ２の接続部分に点ｑ０のみを発生させる。点ｑ０の座標は、ケースＣの点ｑ０と同じである。
【０１７２】
（３）切出用ポリゴンの合成：
図２９に戻り、フレームデータ切出処理について説明する。
基本ポリゴンおよび補助ポリゴンの生成が完了すると、ＣＰＵは、これらのポリゴンを合成して、切出用ポリゴンＣＰ２９を生成する（ステップＳ２９３）。
ポリゴンの一部拡大図（図３１）に示すように、合成処理は、基本ポリゴンおよび補助ポリゴンの構成点が、右回りに格納されていることが前提となっている。左回りに格納されている場合には、以下で説明する手順を逆方向に進めればよい。
合成処理は、スタート側のリンク列について形成された基本ポリゴンＰ３１ａの最初の構成点を見いだすことから開始する。図３１の例では、左上の点Ａ３１ａが最初の構成点に当たるものとする。ＣＰＵは、この点から基本ポリゴンの構成点を順次、切出用ポリゴンＣＰ２９の構成点として格納して行く。構成点は右回りに格納されているから、点Ａ３１ａの次は、矢印Ａｒ１のように進み点Ａ３１ｂを格納する。
【０１７３】
ここでＣＰＵは、構成点を一つ拾う度に、他のポリゴンに移行すべきか否かを判断する。拾った構成点に至るまでに他のポリゴンに移行可能な箇所があれば、移行すべきと判断する。図３１の例では、構成点Ａ３１ｂは、補助ポリゴンＱ３１ｂの構成点を兼用しているため、次の補助ポリゴンＱ３１ｂに移行すべきと判断することになる。従って、ＣＰＵは、補助ポリゴンＱ３１ｂの構成点Ｂ３１ａ、Ｃ３１ａを順次、切出用ポリゴンＣＰ２９の構成点として拾っていく（矢印Ａｒ２）。
構成点Ｃ３１ａは、次の基本ポリゴンＰ３１ｃの構成点と兼用されているため、ＣＰＵは、基本ポリゴンＰ３１ｃに移行し、その構成点Ｃ３１ｂを拾う（矢印Ａｒ３）。ここで、構成点Ｃ３１ａとＣ３１ｂとを結ぶ境界線は、次の基本ポリゴンＰ３１ｅの境界線と交差している。このように他のポリゴンの境界線と交差する場合、ＣＰＵは交差する点に新たに構成点ＣＰ３１ａを生成し、先に格納していた構成点Ｃ３１ｂに上書きする。そして、次のポリゴンＰ３１ｅに移行し、矢印Ａｒ４のように構成点を拾っていく。
【０１７４】
ＣＰＵは、図３１の右側の省略した部分についても同様に上述の処理を続けていった後、矢印Ａｒ５のように構成点Ｅ３１ｄを拾う。この点で、次の補助ポリゴンＱ３１ｄに移行して、構成点Ｄ３１ａ、Ｃ３１ｃを拾う（矢印Ａｒ６）。また、次の基本ポリゴンＰ３１ｃに移行して、構成点Ｃ３１ｄを拾う（矢印Ａｒ７）。構成点Ｃ３１ｃ、Ｃ３１ｄを結ぶ境界線は、基本ポリゴンＰ３１ａの境界線と交差しているから、ＣＰＵは、交差する点に新たな構成点ＣＰ３１ｂを生成し、格納済みの構成点Ｃ３１ｄに上書きする。
そして、基本ポリゴンＰ３１ａに移行し、構成点Ａ３１ｄを拾い（矢印Ａｒ８），構成点Ａ３１ａに戻る（矢印Ａ３１ｄ）。
このように、ＣＰＵは、順次、ポリゴンを移行しながら、構成点を右回りに拾っていくことによって、切出用ポリゴンを生成することができる。
【０１７５】
（４）フレームデータの切出：
図２９に戻り、フレームデータ切出処理について説明する。
ＣＰＵは切出用ポリゴンＣＰ２９の生成が完了すると、切出用ポリゴンＣＰ２９内のフレームデータを切り出す（ステップＳ２９４）。矢印で示す走行経路がある場合、ＣＰＵは、位置座標が切出用ポリゴンＣＰ２９内にある部分（図中の実線部分）を切り出す。この場合、図示する２カ所の実線部分は、それぞれパスとして、関連づけて切り出される。
【０１７６】
（５）効果：
以上で示したフレームデータ切出処理によれば、道路画像の生成対象となる道路と、その他の道路とが混在して撮影されている連続画像から、生成対象の道路面に関するものだけを自動的に抽出することができるため、オペレータの負荷を軽減することができる。また、切出用ポリゴンも自動生成できるため、オペレータの負荷を軽減できるとともに、フレームデータの切出処理の精度を安定化させることができる。
【０１７７】
（６）変形例１：
切出用ポリゴンは、必ずしも図２９、図３０で示したように、基本ポリゴンと補助ポリゴンとから構成する必要はなく、全てを基本ポリゴンで構成してもよい。
基本ポリゴンのみで切出用ポリゴンを構成する例を図３２に示した。この例では、終端のリンクＬ３２ｄだけでなく、中間のリンク列Ｌ３２ａ、Ｌ３２ｂ、Ｌ３２ｃについても各リンク列の両端のノードを包含するように、各リンクを直交する方向に平行移動するとともに、リンクに沿う方向に延長して基本ポリゴンＰ３２ａ、Ｐ３２ｂ、Ｐ３２ｃを生成する。終端のリンクＬ３２ｄについても、同様にして基本ポリゴンＰ３２ｄを生成する。
このようにリンクに沿う方向に十分に長い基本ポリゴンを生成すれば、図３１に示した例と異なり、比較的曲りが小さいリンクの接続点（例えば、リンクＬ３２ａとＬ３２ｂとの間や、リンクＬ３２ｂとＬ３２ｃの間）では、鈍角側においても、基本ポリゴン同士を隙間なく重ねることができるため、補助ポリゴンの生成を省略することができる。
【０１７８】
ただし、リンクＬ３２ｃとＬ３２ｄのように、曲りが大きい箇所では、基本ポリゴンＰ３２ｃとＰ３２ｄの鈍角側に図示する通り、隙間ができてしまう。仮に、図中の矢印で示す走行軌跡で撮影が行われたとすると、このように隙間がある切出用ポリゴンでは、隙間部分に当たる矢印Ｐａ３２２は、処理対象となる道路面と無関係のデータとして削除され、矢印Ｐａ３２１、Ｐａ３２３の２本のパスとしてフレームデータが切り出されるおそれがある。
従って、基本ポリゴンのみで切出用ポリゴンを生成する場合には、このような隙間が生じない範囲で、リンクに沿う方向に十分に延長した状態で基本ポリゴンを生成したり、曲りが大きい部分にのみ補助ポリゴンを生成するなどの対策を施しておくことが好ましい。
【０１７９】
（７）変形例２：
フレームデータ切出処理においては、図２９で示したように、切出用ポリゴン内にあるフレームデータを無条件に切り出すものとしてもよいが、所定の条件に従って取捨選択するようにしてもよい。
図３３に、図２９の処理で切り出されたフレームデータのうち、道路画像の合成処理に有用なものを選択する例を示した。こうすることにより、処理対象となるフレームデータ量を抑制することができるため、連結画像の生成、道路画像の合成処理の処理負荷を軽減することができる。
【０１８０】
フレームデータ選択処理では、ＣＰＵは、まず、処理対象のリンクに対して切り出されたフレームデータ群、およびパスを読み込む（ステップＳ３３１）。パスとは、一連のフレームデータとして関連づけられているまとまりとしても規定することができる。また、パスの読み込みとは、各パスの位置座標データの読み込みを意味する。
ＣＰＵは、次に、パス長の長い順にソートする（ステップＳ３３２）。そして、最長のパスを、対象リンクに投影し、カバー範囲を算出する（ステップＳ３３３）。図３３の右側に、この処理の概要を示した。対象リンクＬ２８１に対して、図２９のフレームデータ切出処理によって、パスＰ２８２、Ｐ２８６、Ｐ２８４が切り出されたとする。この中で最長のパスは、パスＰ２８６である。従って、ＣＰＵはステップＳ３３３では、対象リンクＬ２８１上に、このパスＰ２８６を投影し、図中にハッチングで示したカバー範囲Ｒ２８６を得る。
【０１８１】
こうしてカバー領域が得られると、ＣＰＵは、既にカバーされている範囲との重複率が７０％を超えるか否か判断する（ステップＳ３３４）。７０％という閾値は、例示に過ぎず、フレームデータを間引く必要性に応じて、任意に設定可能である。
パスＰ２８６のカバー範囲Ｒ２８６を求めた時点では、他のカバー範囲は得られていないから、重複率は０％である。重複率が７０％以下の場合には（ステップＳ３３４）、そのパスを、処理対象パスとして選択する（ステップＳ３３６）。
ＣＰＵは、こうして得られたカバー範囲が対象リンクを１００％カバーするまで（ステップＳ３３７）、ステップＳ３３３〜Ｓ３３６の処理を繰り返し実行する。
【０１８２】
上述のカバー範囲Ｒ２８６が得られた時点では、対象リンクＬ２８１は完全にカバーされてはいないから、ＣＰＵは、ステップＳ３３３に戻り、残されたパスの中から最長のパス、つまりパスＰ２８２に基づいてカバー範囲Ｒ２８２を算出する（ステップＳ３３３）。
カバー範囲Ｒ２８２は、部分的にカバー範囲Ｒ２８６と重なっているが、重複率は７０％には至らない（ステップＳ３３４）。従って、パスＰ２８２も処理対象パスとして選択されることになる（ステップＳ３３６）。
更に、次の処理では、ＣＰＵはパスＰ２８４に基づいてカバー範囲Ｒ２８４を算出する（ステップＳ３３３）。しかし、カバー範囲Ｒ２８４は、カバー範囲Ｒ２８６に完全に包含されているため、重複率は７０％を超えている（ステップＳ３３４）。従って、ＣＰＵは、パスＰ２８４は無用なデータと判断して、削除する（ステップＳ３３５）。
そして、選択対象となるパスが無くなるため、フレームデータ選択処理を終了する。
【０１８３】
フレームデータ選択処理を適用すれば、パスＰ２８４のように、無用なパスのフレームデータを削除することができ、連結画像の生成処理等の処理効率を高めることができる。
図３３では、カバー率に基づいて選択する例を示したが、選択方法は、これに限られるものではない。例えば、各パスと対象リンクＬ２８１とのなす角度を基準に選択してもよい。対象リンクＬ２８１となす角度が大きいパスは、対象リンクＬ２８１を横断するパスに過ぎず、連結画像等の生成にあまり有用でないと判断されるからである。また、なす角度と図３３のカバー率を併用して選択を行ってもよい。
【０１８４】
Ｅ２．特徴点抽出処理：
上記実施例では、連結画像から種々のエッジを抽出し、エッジが折れ曲がる点（屈折点）、端点、交点などを特徴点として用いる例を示した（図１９のステップＳ２３０）。本実施例では、道路面を撮影した画像を対象としているため、各パスの連結画像に含まれる路面に描かれたペイントの種別および位置を認識し、複数のパス間で、認識された同一種別のペイントの特徴点を求める方法をとってもよい。
以下では、この方法による特徴点抽出について説明する。この処理は、図１９のステップＳ２２０、Ｓ２３０に代わる処理となる。
【０１８５】
（１）ペイント認識処理：
本実施例の方法では、まず連結画像に含まれるペイントを認識する必要がある。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。
図３４に示すように、ペイント認識処理を開始すると、ＣＰＵは処理データ記憶部２１０から、処理対象となっている道路の画像、即ち路面テクスチャ、パスのデータを読み込む（ステップＳ３４１）。次に、ＣＰＵは縦配置処理を行って（ステップＳ３４２）、縦配置画像を生成し、処理データ記憶部２１０に格納する。
【０１８６】
図３５（ａ）に示すように、一点鎖線の矢印ＰＡ３５は画像を撮影した際のパスを表している。通常の処理では、パスＰＡ３５に沿って路面テクスチャＴｘ３５を配置する。パスＰＡ３５の位置座標は、緯度経度などの絶対座標系ＸＹで得られている。従って、絶対座標系でパスＰＡ３５および路面テクスチャＴｘ３５を配置すると、図３５（ａ）に示すように連結画像は斜めに表示されることがある。この例では、直線状の道路を例示しているが、道路がカーブしている場合には、連結画像もカーブした状態となる。
【０１８７】
図３５（ｂ）は、道路が直線状のため、図３５（ａ）の向きを矢印Ａ３５方向に回転した状態の画像となっている。縦配置の画像は、次の手順で生成することができる。まず、２次元座標ｘｙの縦（ｙ）方向に距離軸を定義する。距離軸とは、パスＰＡ３５に沿って画像を撮影する際の開始点からの移動距離を表す軸である。パスＰＡ３５が直線状のときは、パスＰＡ３５の進行方向を上向きに表示した状態となる。パスが曲線状のときは、パスを直線状に伸ばした状態となる。
【０１８８】
それぞれの路面テクスチャＴｘ３５については、撮影時の位置座標データおよび撮影開始からの移動距離が得られているから（図１の位置計測部１１０参照）、これらのデータに基づき、距離軸上に路面テクスチャＴｘ３５を配置する。路面テクスチャＴｘ３５は、画像内の代表点を距離軸上に置き、左右対称軸が距離軸に平行になるよう配置する。こうすることによって、パスが曲線状か否かにかかわらず、進行方向が縦方向に直線状に伸ばされた状態の連結画像を表示することができる。この連結画像によれば、図示する通り、横断歩道および停止線は距離軸に直交する方向（図中の左右方向）に描かれ、車線境界線は距離軸に沿う方向（図中の上下方向）に描かれる。縦配置画像には、このように道路の標示が一定の位置関係で描画されるため、これらの認識がしやすくなるという利点がある。ここでは、距離軸を縦に配置する例を示したが、横又は斜めなど任意の方向に配置可能である。
【０１８９】
図３４に戻り、ペイント認識処理について説明する。
縦配置処理が完了すると、ＣＰＵは横断関連ペイント抽出処理を行う（ステップＳ３４３）。これは、横断歩道、自転車横断帯、停止線など交差点近辺の標示を抽出する処理である。本実施例では、処理データ記憶部２１０に格納された縦配置画像を用い、そこに描かれた標示を画像処理で抽出するとともに、標示に含まれる線分の位置関係や長さなどに基づく条件判断によって標示の種別を判断するようにした。
【０１９０】
横断関連ペイント処理が終わると、ＣＰＵは各種ペイント抽出処理を行う（ステップＳ３４４）。この処理で抽出対象となる標示を図中に示した。
「境界線」とは、実線および破線などで描かれた車線境界線である。
「矢印」とは、交差点内の進行方向の規制を示すために、交差点付近で各車線に示されている矢印である。
「ゼブラ」とは、横断歩道とは異なり、中央分離帯や右左折用の車線が増える箇所などに標示されている縞模様である。
「Ｕターン」とは、Ｕターン禁止道路に描かれているＵ字形状の矢印である。
「転回禁止」とは、Ｕターンの矢印とともに描かれている×印である。
「規制」とは、通行規制の時刻標示等である。例えば、バスレーンなどの標示と併せて描かれる「１７−１９」の標示（１７時〜１９時であることを意味）のような通行態様の規制等である。
【０１９１】
「数字」とは、速度規制などの数字である。
「横断歩道予告」とは、横断歩道手前に描かれている菱形の記号である。
「減速帯」とは、車速の減速を促すために、路面上にパスに直交する方向の線分をパスの進行方向に沿って平行に複数本配置することで描かれている縞模様である。
「路面塗装」は、急カーブその他の運転者の注意を喚起すべき箇所に対し、通行の安全のために施されている赤色等の舗装領域である。
「バスレーン文字」とは、バスレーンとして使用される車線に付される「バス専用」「バス優先」という文字である。本実施例では、バスレーンを例示しているが、バスレーンに限らず、路面に標示される文字一般を対象としてもよい。
「終わり記号」とは、バスレーンなどの終了地点を示す「０」形状の記号である。
本実施例では、これらの標示を対象としているが、これらは例示に過ぎず、更に多くの標示を対象としてもよいし、この中の一部を抽出処理の対象外としても構わない。
【０１９２】
各種ペイント抽出処理（ステップＳ３４４）では、予め用意されたモデルを用いて、パターンマッチングを行う。本実施例では、人工モデル画像、ＯＣＲモデル画像の２種類を用いるものとした。これらのモデルは、予め処理データ記憶部２１０に記憶されている。人工モデル画像とは、コンピュータグラフィックスによって生成されたモデルである。Ｕターン、転回禁止など、比較的単純な標示のマッチング用のモデルとして適している。
ＯＣＲモデル画像とは、撮影された画像から、オペレータが手作業で切り出した画像に基づいて生成されたモデルである。例えば、数字、バスレーンなどの複雑な形状をした標示のマッチング用のモデルとして適している。これらのモデルをコンピュータグラフィックスによって生成することも不可能ではないが、文字の形状を現実の道路標示に併せてモデルを生成するためには、結局、撮影した画像をトレース等する必要が生じるため、結果としてＯＣＲモデルを利用しているのと大差ない。
ＣＰＵは、以上の処理を連結画像単位で、実行し、ペイント認識結果を処理データ記憶部２１０に格納し、相対座標変換処理を行って（ステップＳ３４５）、ペイント認識処理を終了する。
【０１９３】
（２）相対座標変換処理：
図３６は相対座標変換処理の内容を示す説明図である。本実施例では、以上で説明した各種標示の認識結果は、全て距離軸に沿って路面テクスチャを配置した直線状の画像を用いて得られている。従って、認識結果は、この直線状の画像を表示する座標系における相対的な位置が取得されているに過ぎない。相対座標変換処理は、この相対的な位置を、撮影時の位置座標に対応する絶対座標系の位置に変換する処理である。
図の左側には、直線状の連結画像で標示を認識した状態を示している。ここでは、矩形の存在領域Ｍ３６１、Ｍ３６２を示した。これらの存在領域Ｍ３６１、Ｍ３６２の位置は、代表点としての重心Ｇ３６１、Ｇ３６２の位置座標で表される。この座標は、直線状の連結画像を表示するための座標系ｘｎ、ｙｎで与えられる。この座標系ｘｎ、ｙｎは、例えば、距離軸ＮＰ３６をｙｎ軸として定義することが好ましい。
【０１９４】
連結画像では、路面テクスチャＴｘ３６の代表点が、撮影時の位置に応じて、距離軸上に配置されている。各路面テクスチャＴｘ３６内の各点の代表点からの相対的な座標は既知である。従って、各存在領域の重心Ｇ３６１、Ｇ３６２の路面テクスチャＴｘ３６内での相対的な座標が求まるため、重心Ｇ３６１、Ｇ３６２から距離軸におろした垂線の足Ｒ３６１、Ｒ３６２の座標も求めることができる。
図の右側には、絶対座標系ＸＹに変換した状態を示した。道路は直線とは限らないから、絶対座標系では、撮影時に取得された位置座標に従い、パスＲＰ３６は曲線状に描かれることもある。
【０１９５】
各存在領域Ｍ３６１、Ｍ３６２の位置および向きは次の方法で求める。
まず、この曲線状のパスＲＰ３６の基準点からの距離に応じて、存在領域の垂線の足Ｒ３６１、Ｒ３６２のパスＲＰ３６上での位置を求め、点Ｒ３６１、Ｒ３６２から、それぞれ法線ベクトルＶ３６１、Ｖ３６２を描き、その終点を重心Ｇ３６１、Ｇ３６２とする。法線ベクトルＶ３６１、Ｖ３６２の大きさは、直線状の連結画像における点Ｒ３６１、Ｇ３６１間の距離、および点Ｒ３６２、Ｇ３６２間の距離にそれぞれ等しい。存在領域Ｍ３６１、Ｍ３６２の方向は、長手方向が法線ベクトルＶ３６１、Ｖ３６２と直交するように配置する。つまり、存在領域Ｍ３６１、Ｍ３６２と、重心Ｇ３６１、Ｇ３６２、および垂線の足Ｒ３６１、Ｒ３６２の相対的な位置関係が、直線状の連結画像（図の左側）と絶対座標系（図の右側）とで同一となるように、存在領域Ｍ３６１、Ｍ３６２を配置する。
この変換処理により、抽出された各標示の位置を絶対座標系の位置座標で表すことが可能となる。
【０１９６】
上述した絶対座標系への位置座標の変換処理は、次の方法で行ってもよい。
まず、各存在領域の構成点、つまり存在領域の頂点の位置を、それぞれの頂点が属する路面テクスチャの代表点を基準とする相対座標で求める。そして、それぞれの路面テクスチャを絶対座標系ＸＹでの配置に変換する際に、同様の変換をそれぞれの構成点に施す。こうすることにより、比較的容易に絶対座標系での構成点の位置座標を得ることができる。ただし、この方法では、構成点ごとに座標変換するため、変換時に存在領域の形状が崩れる場合がある。従って、変換後の構成点の配置を、存在領域の形状に適合させる修正処理を施してもよい。
【０１９７】
（３）対応点探索処理：
各パスのペイントを認識したら、次は、この認識結果に基づいて、パス間の対応点を探索する。
図３７は対応点探索処理のフローチャート（１）である。自動位置合わせ処理（図１９）のステップＳ２５０、Ｓ２６０に代わる処理である。
この処理では、ＣＰＵは、まず各パスのペイント認識結果を読み込む（ステップＳ３７０）。そして、対応点の候補となるペイントを抽出する（ステップＳ３７１）。
【０１９８】
図中に候補ペイント抽出の概要を示した。左側には、パスＡについてペイントＰ３７ａが認識されている状態を示している。本実施例では、ペイントＰ３７ａは、２次元座標を図中に破線で示すメッシュごとに関連づけてデータが格納されている。メッシュのサイズはペイントを管理するのに都合のよいように任意に設定可能である。図の例では、ペイントＰ３７ａは図中の中央のメッシュに対応づけて管理されていることになる。
図の右側には、パスＡと位置合わせをする対象となるパスＢについてのペイントＰ３７ｂの認識結果を示している。パスＢの認識結果も、パスＡと同じ位置座標で定義されたメッシュ単位で管理されている。
【０１９９】
本実施例では、パスＡのペイントＰ３７ａの対応点となる候補のペイントとして、このメッシュに基づいて定まる一定の領域内で、同一種別のペイントを探索するものとした。パスＡで認識されたペイントＰ３７ａは、パスＢ側のハッチングを付したメッシュＭ３７ａ内に存在している。そこで、候補ペイント抽出処理（ステップＳ３７１）では、メッシュＭ３７ａを中心として上下左右に、それぞれ１メッシュ分だけ拡大した領域Ｍ３７ｂ内で候補ペイントを抽出する。
ただし、領域Ｍ３７ｂ内に存在するペイントでも、ペイントＰ３７ａと同一種別でないものは、除外する。例えば、ペイントＰ３７ａが車線境界線のとき、領域Ｍ３７ｂ内に存在するからといって、横断歩道のペイントを候補ペイントとして抽出することはない。種別の異なるペイントを抽出しても、対応点とはなり得ないからである。この判断は、ペイント認識時の種別の認識結果に基づいて行う。
【０２００】
拡大した領域Ｍ３７ｂ内で候補ペイントを抽出する理由は次の通りである。
仮に、パスＡとパスＢの位置座標が正確に一致していれば、ペイントＰ３７ａに対応するペイントは、メッシュＭ３７ａ内に見つかるはずである。しかし、実際には、パスＡとパスＢには誤差があるため、対応するペイントがメッシュＭ３７ａで見つかるとは限らない。そこで、誤差を考慮して、探索する範囲を広げて領域Ｍ３７ｂ内で探索するものとした。
探索する領域Ｍ３７ｂは、任意に設定可能である。図の例よりも拡大しても構わない。もっとも、探索する範囲を拡大すれば、ペイントＰ３７ａと無関係のペイントが候補として抽出される可能性も高くなり、ペイントの増加に伴い処理時間が増大する。一方、領域Ｍ３７ｂを狭めれば、本来、候補とされるべきペイントが漏れる可能性もある。このように、探索する領域は、メッシュのサイズ、パスＡ、パスＢ間で想定される誤差範囲などを考慮して設定することが好ましい。
【０２０１】
こうして、それぞれのペイントについて対応点となるべき候補ペイントが抽出されると、ＣＰＵは候補ペイントの同一性を判定する（ステップＳ３７２）。同一性とは、位置誤差がなければパスＡ、パスＢ間で本来、重なるべきペイントとなることを意味する。
本実施例では、候補ペイントの形状および相対位置に基づいて同一性を判断した。図中には、破線の車線境界線に基づいて対応点を得る場合の例を示した。
ペイント形状として示した折れ線Ｐ３７ａは、破線の車線境界線の境界線を模式的に表している。車線境界線は本来、直線だが、ペイント自体の色ムラや撮影条件や種々のノイズなどによって、画像処理時には必ずしも直線状に認識されるとは限らず、このように折れ線状に認識される。ＣＰＵは、最小二乗法などによって、この折れ線の近似直線Ｌ３７ａを求める。こうして得られた近似直線Ｌ３７ａの長さをＬとし、近似直線Ｌ３７ａと折れ線Ｐ３７ａの最大誤差をＥとする。
一方、相対位置の評価値としては、候補ペイントの近似直線Ｌ３７ａ、Ｌ２７ｂの中点を結ぶベクトルＲｐの、ｘ成分（Ｒｐｘ）、ｙ成分（Ｒｐｙ）を用いる。また、近似直線Ｌ３７ａ、Ｌ３７ｂのなす角度θも評価値として用いる。
【０２０２】
上述の評価値は種々の方法で評価することができる。本実施例では、候補ペイント同士を同一と見なすための条件として、次に示す条件を用いた。
条件１：２つの候補ペイントの近似直線の長さＬの差分が所定値以下（例えば３０ｃｍ程度）であること。
条件２：２つの候補ペイント双方について、最大誤差Ｅが所定値以下（例えば１０ｃｍ程度）となっていること。
条件３：ベクトルＲｐのｘ成分Ｒｐｘ、ｙ成分Ｒｐｙが、それぞれ所定値以下（例えばｘ方向に１５０ｃｍ程度、ｙ方向に３００ｃｍ程度）であること。ｘ成分Ｒｐｘの方が、ｙ成分Ｒｐｙよりも小さい閾値を用いることが好ましい。
条件４：近似直線Ｌ３７ａ、Ｌ３７ｂのなす角θが所定値（例えば２．５°）以下であること。
ＣＰＵは、これらの条件を全て満たす場合には、候補ペイントに同一性があるものと判断する。
【０２０３】
こうして候補ペイントの同一性が確認されると、ＣＰＵは、近似線の両端をそれぞれ対応点として抽出する（ステップＳ３７３）。一つの車線境界線から、両端２カ所の対応点が得られることになる。
図３８は対応点探索処理のフローチャート（２）である。
上述の処理によって各パスについて、複数のペイントに基づき、多数の対応点が抽出される。次に、ＣＰＵは、この対応点を評価し、位置合わせ処理に有用な対応点に絞り込む処理を行う。
まず、ＣＰＵはパスに沿って近接位置にある対応点を抽出する（ステップＳ３７４）。図中にこの処理概要を示した。
【０２０４】
この例では、パスＡについて認識されたペイント上の点ＰＡと、パスＢについて認識されたペイント上の点PＢとが対応点として抽出されているものとする。パスＡ上には、連結画像を構成するフレームデータの撮影位置Ａ３７１、Ａ３７２、Ａ３７３，Ａ３７４が間欠的に配置されている。パスＢ上にも、フレームデータの撮影位置Ｂ３７１〜Ｂ３７４が間欠的に配置されている。
ＣＰＵは、対応点ＰＡをパスＡ、Ｂ上に垂直に投影し、その直前直後の撮影位置Ａ３７１、Ａ３７２、Ｂ３７１、Ｂ３７２を抽出する。また、対応点ＰＢを、パスＡ、Ｂに垂直に投影し、その直前直後の撮影位置Ａ３７２、Ａ３７３、Ｂ３７２、Ｂ３７３を抽出する。そして、これらの撮影位置を包含する撮影位置包含ポリゴンとしての矩形枠ＲＥを求める。処理過程で、対応点ＰＡ，ＰＢに挟まれる撮影位置Ａ３７２、Ｂ３７２は抽出対象から除外することで処理の簡素化を図ってもよい。
【０２０５】
こうして得られた矩形枠ＲＥは、パスＡ、Ｂの位置合わせにおいて、対応点ＰＡ、ＰＢが影響を与える範囲を表していると考えられる。ＣＰＵは、各対応点について、同様の方法によって影響を与える範囲（矩形枠ＲＥに相当する領域）を求める。そして、この矩形枠ＲＥ同士が重なる対応点については、いずれか一つのみを選択する。選択方法は、次の処理と併せて説明する。
ＣＰＵは、次に、近接位置の対応点ごとに各パスにグループ分けを行う（ステップＳ３７５）。これは、パスＡ、Ｂのそれぞれにとって、位置合わせのときに都合のよい対応点を選択する処理である。つまり、パスＡにとっては、パスＡに近い位置にある対応点を使用した方が好ましい。一方、パスＢにとっては、パスＢに近い位置にある対応点を使用した方が好ましい。かかる観点から、ステップＳ３７５では、複数の対応点のうち、パスＡにとって好ましい対応点を選択してグループＡとし、パスＢにとって好ましい対応点を選択してグループＢとする。
【０２０６】
図中に処理概要を示した。一組の対応点ＰＡ１、ＰＢ１については、次の手順で処理を行う。まず、パスＡの連結画像に基づいて得られている点ＰＡ１からパスＡまでの距離ＬＥＮ１を求める。また、パスＢの連結画像に基づいて得られている点ＰＢ１からパスＢまでの距離ＬＥＮ２を求める。そして、パスＡまでの距離ＬＥＮ１が所定の閾値（この実施例では道路の幅に基づき３．５ｍとした）よりも小さい場合には対応点ＰＡ１はグループＡに属する点として選択される。また、パスＢまでの距離ＬＥＮ２が所定の閾値（同じく３．５ｍ）よりも小さい場合には対応点ＰＢ１はグループＢに属する点として選択される。一組の対応点ＰＡ１、ＰＢ１は、グループＡ、Ｂの双方に属することもあれば、いずれか一方のみに属する場合もある。
対応点からパスまでの距離が、上述の閾値３．５ｍを超える対応点は、処理対象から除外され、いずれのグループにも属さない点となる。パスから所定以上の距離を隔てた対応点は、位置合わせ精度が低いと考えられるからである。このようにグループに属するために許容される距離に上限を設けておくことにより、位置合わせ処理の精度を確保することが可能となる。
【０２０７】
次に、３組の対応点（ＰＡ２、ＰＢ２）、（ＰＡ３、ＰＢ３）、（ＰＡ４、ＰＢ４）の処理について説明する。この３組の対応点は、ステップＳ３７４で求めた矩形枠ＲＥが相互に部分的に重なり合う対応点であるものとする。従って、ステップＳ３７５の処理では、この中のいずれか一つが選択される。
ここでは、これら３組の対応点の中から、パスＡ、Ｂにそれぞれ最も近い点を選択するものとした。パスＡについては、対応点ＰＡ２、ＰＡ３、ＰＡ４の中では、対応点ＰＡ３からパスＡまでの距離ＬＥＮ３が最も短いため、対応点ＰＡ３がグループＡに属する点として選択される。パスＢについては、対応点ＰＢ２、ＰＢ３、ＰＢ４の中では、対応点ＰＢ４からパスＢまでの距離ＬＥＮ４が最も短いため、対応点ＰＢ４がグループＢに属する点として選択される。矩形枠ＲＥが重なる対応点から一つを選択する場合には、この例のように、各グループで異なる対応点が選択される場合もある。
【０２０８】
対応点のグループ分けが完了すると、ＣＰＵは、対応点のグループ選択を行う。対応点の多い方のグループを選択するものとした。例えば、パスＡ側のグループに含まれる対応点がＮＡ個、パスＢ側のグループに含まれる対応点がＮＢ個であるとすると、ＮＡ＞ＮＢであればグループＡが選択され、ＮＢ＜ＮＡであればグループＢが選択される。ＮＡ＝ＮＢのときは、いずれのグループを選択してもよい。
選択されなかったグループの対応点は、処理対象から除外される。従って、グループＡが選択された場合には、対応点（ＰＡ１、ＰＢ１）、（ＰＡ３、ＰＢ３）等が位置合わせ処理に使用されることになり、グループＢが選択された場合には、対応点（ＰＡ４、ＰＢ４）等が位置合わせ処理に使用されることになる。このようにグループを選択することにより、位置合わせ処理に使用される対応点を、パスＡ又はパスＢのいずれかにとって好ましい点のみに統一することができる。このように統一した場合の効果については後述する。
【０２０９】
ここでは、対応点の数のみでグループを選択する場合を示したが、その他の評価値を用いてもよい。例えば、対応点からパスまでの距離ＬＥＮ１等の平均値が小さい側のグループを選択するようにしてもよい。また、別の例として、パスに沿う方向の分布を考慮してもよい。例えば、それぞれのパスについて、隣接する対応点間のパスに双方向の間隔を求め、この間隔の標準偏差が小さいグループを選択してもよい。標準偏差が小さい方が偏り無く対応点が配置されていると考えられるからである。これらの種々の評価値は、単独で用いてもよいし、併用してもよい。
【０２１０】
対応点のグループが選択されると、ＣＰＵは、そのグループについて、パス方向の対応点の間隔に基づいて対応点を間引く処理を行う（ステップＳ３７７）。
図示するように、パスに沿って対応点の間隔を求める。図の例では、対応点ＰＡ１、ＰＡ３の間隔はＤ１であり、対応点ＰＡ３、ＰＡ５の間隔はＤ２であるとする。ステップＳ３７７では、この間隔が所定の閾値（例えば、４０ｍ）未満となる対応点については、いずれか一方を削除する。いずれの対応点を削除してもよいが、ここでは後から撮影された側の対応点を削除するものとした。図の例で、左から右に走行しながら撮影が行われた場合、対応点ＰＡ１、ＰＡ３、ＰＡ５の順に取得されることになるから、例えば、距離Ｄ２が閾値未満であれば、後から取得された対応点ＰＡ５を削除するものとした。
なお、対応点の間隔は、対応点を削除した結果を反映して求める。例えば、距離Ｄ１が閾値未満であり対応点ＰＡ３が削除された場合には、対応点ＰＡ５を削除するか否かについては、削除済みの対応点ＰＡ３との間隔Ｄ２ではなく、対応点ＰＡ１との間隔に基づいて評価する。
【０２１１】
図３９はグループ選択の効果を示す説明図である。図３９（ａ）にはパスＰ３９Ａ、Ｐ３９Ｂについて位置合わせ処理を行う前の状態を示し、図３９（ｂ）には位置合わせ後の状態を示した。
この例では、パスＰ３９Ａの対応点Ａ３９１、Ａ３８２、Ａ３９３をパスＢの対応点Ｂ３９１、Ｂ３９２、Ｂ３９３に合わせるように、パスＰ３９Ａのテクスチャ画像Ｔｘ３９を平行移動することで位置合わせを行う。図示する通り、対応点Ａ３９１、Ａ３９３はパスＰ３９Ａに比較的近接しているが、対応点Ａ３９２からパスＰ３９Ａまでの距離Ｌ３９は、図３８のステップＳ３７５で説明した閾値（３．５ｍ）を超えているとする。図３８のＳ３７５で示したグループ分けによれば、対応点Ａ３９２はパスＰ３９Ａ側のグループから除外されるべき点である。
図３９（ｂ）は、対応点Ａ３９２も含め、図３９（ａ）中の全ての対応点を用いて位置合わせした結果を表している。この結果、対応点Ａ３９２の近傍の領域Ｃ３９内でパスＰ３８Ｃが湾曲していることが分かる。これは、パスＰ３９Ａから遠い位置にある対応点Ａ３９２を用いたため、領域Ｃ３９の部分の位置合わせの精度が、他の対応点Ｐ３９１、Ｐ３９３近傍の領域に比較して低いからである。対応点Ａ３９２をグループＡから除外することにより、このような湾曲は回避することができる。
【０２１２】
図３７，図３８で示した対応点探索処理によれば、各パスから所定の閾値を超える対応点は、位置合わせで用いる対象から除外するため（図３８のステップＳ３７５参照）、位置合わせの精度の低下を回避できる。
また、各パスからの距離に応じて、それぞれの対応点を各パスのグループに分類した後（図３８のステップＳ３７５）、グループ単位で対応点を選択する（ステップＳ３７６）。こうすることによって、いずれか一方のパスにとって都合のよい対応点を統一的に利用することになるため、パスに沿う方向に位置合わせの精度を均一化させることができる。
【０２１３】
Ｅ３．対応点探索処理：
対応点探索処理の更なる実施例について説明する。上記施例では、各パスの連結画像から特徴点を抽出し、近い位置にある特徴点を対応点とする例を示した（図１９のステップＳ２３０およびステップＳ２５０）。また、本実施例では、各パスの連結画像に基づいて路面のペイントを認識し、認識されたペイント間の同一性を評価して（図３７のステップＳ３７２）、対応点を探索する例を示した。
これらの処理は、連結画像の位置座標の誤差範囲がある程度の許容範囲内におさまっていることが前提とされている。位置座標の誤差が大きい場合には、事前に誤差を評価し、パスの位置を修正する処理を施しておくことが好ましい。以下では、対応点探索処理の前処理として、パスの位置修正を行う方法について説明する。
【０２１４】
（１）位置修正処理の概要：
図４０はパスの位置修正の概要を示す説明図である。
図４０（ａ）は、パスの位置修正を行わない場合の影響を示す説明図である。パスＰ４０Ａ、Ｐ４０Ｂの位置合わせを行う前の連結画像を表している。パスＰ４０Ａの特徴点としては、車線境界線の端点Ａ４０が存在し、パスＰ４０Ｂに対応する特徴点として、車線境界線の端点Ｂ４０が存在する。本来ならば、この端点Ａ４０、Ｂ４０が対応点となり、位置合わせ処理が行われるものとする。
しかし、図４０（ａ）には、これらの特徴点の他に、車線境界線の端点Ｃ４０が存在する。この端点Ｃ４０は、端点Ａ４０、Ｂ４０が含まれる車線境界線とは異なる車線境界線の端点である。端点Ｃ４０を含む連結画像のパスの位置精度が低いため、端点Ａ４０、Ｂ４０の近傍に配置されてしまったものである。
上記実施例等では、近い位置にある特徴点同士を対応点として特定するため、このように位置精度が比較的低い端点Ｃ４０が存在すると、ＣＰＵは、端点Ａ４０とＣ４０とを対応点と認識してしまうおそれがある。誤って特定された端点Ａ４０と端点Ｃ４０とを一致させるように位置合わせが行われると、異常な道路画像が生成されることになる。
【０２１５】
図４０（ｂ）は、位置修正の方法を示している。ここでは、地上に固定された地物を基準として撮影位置を算出した結果に基づいて位置修正を行う。この基準となる地物としては、信号機ＳＩＧを用いている。
まず、パスＰ４０Ａ上のフレームデータから信号機ＳＩＧが写っているものを選択し、信号機ＳＩＧを基準として撮影位置ＤＳＣａの相対座標ｘａ、ｙａを求める。撮影した画像に信号機ＳＩＧが写る位置および大きさは、撮影位置ＤＳＣａ、カメラの画角又は焦点距離、カメラの設置位置および撮影方向などに依存する。逆に、カメラの画角、撮影方向などの撮影パラメータが既知であれば、撮影した画像内での信号機ＳＩＧの位置に基づいて、信号機ＳＩＧに対する相対座標ｘａ、ｙａを算出することができる。画像内の位置から相対座標を算出する方法は、周知であるため、説明を省略する。
同様にして、パスＰ４０Ｃｔ上の撮影位置ＤＳＣｃについても、信号機ＳＩＧを基準とする相対座標ｘｃ、ｙｃを求めることができる。
こうして各パスについて信号機ＳＩＧを基準とする相対座標が得られると、パスＰ４０Ａ、Ｐ４０Ｃｔ間の間隔ＸＯＦＦ２を求めることができる。
【０２１６】
パスＰ４０Ｃは、撮影時に取得された位置座標データに基づいてパスＰ４０Ｃｔを配置した状態を表している。パスＰ４０Ｃは、本来はパスＰ４０Ｃｔの近傍に来るはずであるが、この例では、位置座標データに大きな誤差があり、大きくずれた位置に配置された状態を示した。このようにずれて配置された結果、車線境界線も、本来は実線のＣ４０ｔの位置に配置されるべきものが、破線のＣ４０で示すようにパスＰ４０Ａの車線境界線の近くに配置されてしまっている。
位置座標データに基づいて得られるパスＰ４０Ａ、Ｐ４０Ｃの間隔はＸＯＦＦ１である。位置座標データの誤差が小さければ、間隔ＸＯＦＦ１と、画像解析から得られた間隔ＸＯＦＦ２との誤差Ｅｒｒは十分小さな値となるはずである。従って、この誤差Ｅｒｒに基づいて、パスＰ４０Ｃｔの位置座標の精度を評価することができる。
【０２１７】
誤差Ｅｒｒが所定の閾値（例えば、道路の半幅以上の値という意味で１ｍ）以上ある場合には、パスＰ４０Ｃは位置精度が低いと判断し、画像解析から得られた間隔ＸＯＦＦ２を用いて、位置修正を行う。つまり、パスＰ４０Ａを基準として間隔ＸＯＦＦ２となる位置に、パスＰ４０Ｃを移動させ、パスＰ４０Ｃｔの状態にする。この結果、車線境界線もＣ４０ｔの位置に移動する。従って、パスＰ４０Ａの位置合わせに利用する対応点として、特徴点Ａ４０の近くにある特徴点Ｂ４０が選択されることとなり、特徴点Ｃ４０が誤って選択されることを回避できる。
上述の処理では、パスＰ４０Ａを基準としてパスＰ４０Ｃ側を移動させる形で位置修正を行う例を示した。パスＰ４０Ａを基準としたのは、この例では、パスＰ４０Ａを基準パスとして位置合わせをするものとしたからである。もっとも、画像解析から得られた間隔ＸＯＦＦ２となるように、パスＰ４０ｃを基準としてパスＰ４０Ａを移動させて位置修正してもよい。ここで行っている位置修正は、複数のパス間の相対的な位置関係の修正であるから、パスＰ４０ｃを基準とする場合でも、上述の処理と同じ結果が得られる。
【０２１８】
（２）パスの位置修正処理：
図４１はパスの位置修正処理のフローチャートである。図４０で示した処理を実現するためのものであり、自動位置合わせ処理（図１９）において、対応点探索処理（ステップＳ２５０）の前処理として行うことができる。
この処理では、ＣＰＵは、まず各パスのフレームデータを読み込む（ステップＳ４１１）。そして、このフレームデータのうち、信号機が写ったフレームデータを抽出する（ステップＳ４１２）。この抽出には、信号機を表すパターンマッチングモデルを用いた。
図４２は信号機が写ったフレームデータの抽出例を示す説明図である。図４２（ａ）は信号機を、左側の車線から写した状態を表しており、図４２（ｂ）は同じ信号機を、右側の車線から写した状態を表している。信号機の周囲を囲んでいる枠がパターンＭ４１２である。
【０２１９】
図４２（ａ）（ｂ）に示すように、撮影するときの車線によって、信号機と撮影位置の相対的な位置関係が変化するため、画像内での信号機のサイズおよび形状が変化する。また、同じ車線でも、信号機までの距離に応じて、サイズおよび形状が変化する。信号機のパターンマッチングで利用されるパターンマッチングモデルは、信号機までの距離や撮影時の走行車線の違いに応じて信号機を囲む枠の形状を多数記憶したデータベースである。
パターンマッチングでは、まず、画像データ内に信号機の青色に相当する画素があるか否かによって、信号機の有無を判定する。信号機は発光体であるから、撮影時の周囲の明るさの影響をあまり受けず、安定した色で撮影されるため、色に着目することで容易に信号の有無を判断することができる。黄色や赤色に基づいて判断することも可能ではあるが、走行しながら撮影した一連の画像データには、信号機が青色に点灯している状態が含まれているから、青色に着目して判断することが好ましい。
次に、信号機があると判断されたフレームデータに対して、パターンマッチングモデルのパターンを順次、あてはめる。こうして、画像内の信号機の形状に最も適合するパターンがものに基づいて信号機の画像内での位置を特定することができる。
【０２２０】
図４１に戻り位置修正処理の内容を説明する。
パターンマッチングでは、同じ信号機を写したフレームデータが複数抽出される。ＣＰＵは、この中から、信号機が最大面積で写ったフレームを抽出する（ステップＳ４１３）。この処理の概要を図中に示した。車両が信号機ＳＩＧに近づいていくと、信号機の面積は図中にグラフで示すように、ある地点までは徐々に大きくなり、最大値となった後、小さくなるという変化を示す。信号機までの距離が遠い場合には、フレームデータＦ４１１に示すように信号機は小さく写っているため、面積は小さい。信号機までの距離が近づくにつれて、信号機の面積は徐々に大きくなり、信号機に十分に近づいた状態では、フレームデータＦ４１２に示すように最大面積となる。更に、信号機に近づくと、フレームデータＦ４１３に示すように、信号機が画像内におさまりきらなくなるため、信号機の面積は徐々に小さくなっていく。
ＣＰＵは、各フレームデータ内の信号機の面積を求めることによって、最大面積のフレームデータＦ４１２を抽出することができる。
【０２２１】
位置合わせの基準となる基準パスと、位置合わせ時に平行移動すべき標準パスの各パスについて信号機が最大面積で写っているフレームが抽出されると、ＣＰＵは、同一の信号機を撮影したフレームに基づいて、基準パスから標準パスまでのオフセットＸＯＦＦ２（図４０（ｂ）参照）を算出する（ステップＳ４１５）。先に図４０（ｂ）で説明したように、カメラの画角又は焦点距離、撮影方向（カメラが設置されている角度）などの撮影パラメータに基づいて、各パスについて、画面内の信号機の２次元的な位置座標から撮影位置までの相対的な位置関係を求める。そして、この相対的な位置関係に基づいて２つのパス間のオフセットを求める。
【０２２２】
次に、ＣＰＵは撮影時に計測された位置座標データに基づいて基準パスから標準パスまでのオフセットＸＯＦＦ１を求める（ステップＳ４１６）。
そして、オフセット誤差Ｅｒｒ（＝｜ＸＯＦＦ２−ＸＯＦＦ１｜）を算出し、オフセット誤差Ｅｒｒが閾値１ｍ以上となる場合には、標準パスの位置を、画像解析から得られたオフセットＸＯＦＦ２に基づいて修正する（ステップＳ４１７）。つまり、基準パスから標準パスまでのオフセットがＸＯＦＦ２となるよう、標準パスの位置座標を平行移動によって修正する。
修正するか否かの判断に用いられる閾値は１ｍに限らず任意に設定可能である。また、かかる判断を省略し、全てのパスについて画像解析から得られたオフセット値に基づく位置修正を行ってもよい。
【０２２３】
上述の位置修正処理を施せば、対応点の探索を行う前に、位置座標データの精度が低いパスの位置を修正することができる。従って、隣の車線に位置するペイントに基づいて対応点を設定するなどの誤認識を抑制でき、位置合わせ処理の精度を向上させることができる。
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。
例えば、連結画像は、路面テクスチャを合成した一枚の画像として生成してもよい。この場合、複数パスの合成を行う際には、連結画像を路面テクスチャに相当する複数の領域に分割した上で、領域ごとに平行移動すればよい。
本実施例では、車両に搭載したビデオカメラで撮影した画像を利用する例を示したが、車両に限らず自転車その他の種々の移動体を利用可能であり、歩行しながら撮影する方法を採ってもよい。
【符号の説明】
【０２２４】
１００…道路面撮影システム
１１０…位置計測部
１１０…計測データ
１１２…コントローラ
１１４…ＧＰＳ
１１４Ａ…アンテナ
１１６…ＩＭＵ
１１８…ＤＭＩ
１２０…ビデオカメラ
１３０…記録装置
１４０…ハードディスク
１４２…画像データ
１４４…同期データ
１４６…計測データ
１５０…基準局データ
２００…路面標示地図生成装置
２０１…主制御部
２０２…コマンド入力部
２０３…表示制御部
２０４…データ入力部
２０５…軌跡データ算出部
２０６…画像変換部
２０７…１パス画像合成部
２１０ａ…軌跡データ
２１０ｂ…路面軌跡データ
２１０ｃ…路面テクスチャ
２１０ｄ…連結画像
２１０ｅ…道路画像
２１０ｆ…道路画像用登録データ
２１０ｇ…軌跡用登録データ
２１０ｃ…データ（路面テクスチャ
２１０…処理データ記憶部
２２０…位置合わせ処理部
２２１…透明化ポリゴン設定部
２２２…自動位置合わせ処理部
【特許請求の範囲】
【請求項１】
道路面に施された標示が含まれる路面標示地図をコンピュータによって生成する路面標示地図生成方法であって、
（ａ） 前記路面標示地図の生成対象となる道路面と、生成対象外であるその他の道路面とが混在して撮影されている連続画像の画像データ、および該画像データの位置座標データを入力する工程と、
（ｂ） 前記生成対象となる道路面に対応する領域を包含する切出用ポリゴンを入力又は生成して、記憶部に記憶する工程と、
（ｃ） 前記位置座標データが前記切出用ポリゴンの領域内に存在する画像データを抽出して、連続するフレーム画像として前記記憶部に記憶する工程と、
（ｄ） 前記連続するフレーム画像から、前記道路面を真上から見た状態の正射画像を生成する工程と、
（ｅ） 前記正射画像から、前記位置座標データに基づいて道路面を表す連結画像を生成する工程と
をコンピュータが実行する路面標示地図生成方法。
【請求項２】
請求項１記載の路面標示地図生成方法であって、
更に、
（ｆ）前記連続するフレーム画像に対応する位置座標データの点列を接続したラインをパスとして定義する工程と、
（ｇ） 複数の前記パスのうち、２本以上のパス上に配置された正射画像に共通して撮影されている領域内で対応する対応点を、各連結画像の所定の特徴点を抽出する画像処理に基づいて特定する工程と、
（ｈ） 前記対応点の位置が一致するように前記連結画像を平行移動して、前記道路面の合成画像を生成する工程と
を実行する路面標示地図生成方法。
【請求項３】
請求項１又は２記載の路面標示地図生成方法であって、
前記切出用ポリゴンは、前記生成対象となる道路面に対応する、道路ネットワークデータを構成するリンク列に基づいて生成されることを特徴とする路面標示地図生成方法。
【請求項４】
請求項３記載の路面標示地図生成方法であって、
前記切出用ポリゴンは、前記リンク列を構成する各リンクを対称軸とする矩形状の矩形ポリゴンを生成し、前記リンクの接続点において、それぞれのリンクに対応した前記矩形ポリゴン同士を重ねたときに、前記接続点に接続される２つのリンクがなす角における鈍角側にできる凹部を埋めて凸形状化する補助ポリゴンを生成し、前記矩形ポリゴンと前記補助ポリゴンとを合成することにより生成されることを特徴とする路面標示地図生成方法。
【請求項５】
請求項２記載の路面標示地図生成方法であって、
前記工程（ｇ）に先だって、
（ｉ） 前記パスに対応する連結画像の解析に基づいて前記撮影位置を求めることにより、前記位置座標データの位置精度の評価を行い、所定の位置精度以下となる前記連結画像の位置座標データを前記解析によって得られた撮影位置に基づいて修正する工程
を実行する路面標示地図生成方法。
【請求項６】
請求項５記載の路面標示地図生成方法であって、
前記工程（ｉ）は、
（ｉ１） 前記各パスに共通して含まれる前記道路との位置関係が固定された所定の地物を撮影したフレーム画像を抽出する工程と、
（ｉ２） 前記各パスについて該抽出されたフレーム画像内での前記地物の２次元座標値と、前記撮影時の画角および撮影方向を含む撮影パラメータとに基づいて、前記地物と撮影位置との相対的な位置関係を求め、該位置関係に基づいてパス間の距離を算出する工程と、
（ｉ３） 前記道路面を撮影する際に得られた位置座標データに基づいて、各パス間の距離を算出する工程と、
（ｉ４） 前記工程（ｉ２）および工程（ｉ３）で得られたパス間の距離に基づいて、前記位置精度の評価を行う工程と、
（ｉ５） 工程（ｉ４）において所定の位置精度に満たないと評価されたパスについて、前記工程（ｉ２）で得られた位置関係を用いてパスの位置座標を修正する工程と
を実行する路面標示地図制方法。
【請求項７】
請求項１〜６いずれか記載の路面標示地図生成方法であって、
前記工程（ｇ）では、前記パスの連結画像に含まれる前記道路面に施された標示の種別および位置を認識するとともに、複数のパス間で、前記認識された同一種別の標示の特徴点に基づいて前記対応点を特定する路面標示地図生成方法。
【請求項８】
請求項７記載の路面標示地図生成方法であって、
前記複数のパスから予め設定されている距離を越える点を除いて前記対応点を特定する路面標示地図生成方法。
【請求項９】
請求項７又は８記載の路面標示地図生成方法であって、
前記工程（ｇ）は、更に、
（ｇ１） 前記特定された対応点のうち、前記パスごとに、該パスから予め設定されている距離内にある対応点の集合を求める工程と、
（ｇ２） 前記各パスの集合に含まれる対応点の数が最多の集合を選択する工程と
を実行し、
前記工程（ｈ）では、前記工程（ｇ２）で選択された集合に含まれる対応点を用いて前記合成画像を生成する路面標示地図生成方法。
【請求項１０】
請求項７〜９いずれか記載の路面標示地図生成方法であって、
前記工程（ｇ）は、更に、
（ｇ３） 前記各パスに対して、前記抽出された各対応点の直前直後に位置する撮影位置を求め、これらの撮影位置を包含する撮影位置包含ポリゴンを求める工程と、
（ｇ４） 前記撮影位置包含ポリゴン同士が重なる箇所では、いずれか一組の対応点を残し、他の対応点を削除する工程と
を実行する路面標示地図生成方法。
【請求項１１】
道路面に施された標示が含まれる路面標示地図を生成する路面標示地図生成装置であって、
前記路面標示地図の生成対象となる道路面と、生成対象外であるその他の道路面とが混在して撮影されている連続画像の画像データ、および該画像データの位置座標データを入力する入力部と、
前記生成対象となる道路面に対応する領域を包含する切出用ポリゴンを入力又は生成して、記憶部に記憶する切出用ポリゴン記憶制御部と、
前記位置座標データが前記切出用ポリゴンの領域内に存在する画像データを抽出して連続するフレーム画像として前記記憶部に記憶するフレーム画像記憶制御部と、
前記連続するフレーム画像から、前記道路面を真上から見た状態の正射画像を生成する画像変換部と、
前記正射画像から、前記位置座標データに基づいて道路面を表す連結画像を生成する連結画像生成部と
を備える路面標示地図生成装置。
【請求項１】
道路面に施された標示が含まれる路面標示地図をコンピュータによって生成する路面標示地図生成方法であって、
（ａ） 前記路面標示地図の生成対象となる道路面と、生成対象外であるその他の道路面とが混在して撮影されている連続画像の画像データ、および該画像データの位置座標データを入力する工程と、
（ｂ） 前記生成対象となる道路面に対応する領域を包含する切出用ポリゴンを入力又は生成して、記憶部に記憶する工程と、
（ｃ） 前記位置座標データが前記切出用ポリゴンの領域内に存在する画像データを抽出して、連続するフレーム画像として前記記憶部に記憶する工程と、
（ｄ） 前記連続するフレーム画像から、前記道路面を真上から見た状態の正射画像を生成する工程と、
（ｅ） 前記正射画像から、前記位置座標データに基づいて道路面を表す連結画像を生成する工程と
をコンピュータが実行する路面標示地図生成方法。
【請求項２】
請求項１記載の路面標示地図生成方法であって、
更に、
（ｆ）前記連続するフレーム画像に対応する位置座標データの点列を接続したラインをパスとして定義する工程と、
（ｇ） 複数の前記パスのうち、２本以上のパス上に配置された正射画像に共通して撮影されている領域内で対応する対応点を、各連結画像の所定の特徴点を抽出する画像処理に基づいて特定する工程と、
（ｈ） 前記対応点の位置が一致するように前記連結画像を平行移動して、前記道路面の合成画像を生成する工程と
を実行する路面標示地図生成方法。
【請求項３】
請求項１又は２記載の路面標示地図生成方法であって、
前記切出用ポリゴンは、前記生成対象となる道路面に対応する、道路ネットワークデータを構成するリンク列に基づいて生成されることを特徴とする路面標示地図生成方法。
【請求項４】
請求項３記載の路面標示地図生成方法であって、
前記切出用ポリゴンは、前記リンク列を構成する各リンクを対称軸とする矩形状の矩形ポリゴンを生成し、前記リンクの接続点において、それぞれのリンクに対応した前記矩形ポリゴン同士を重ねたときに、前記接続点に接続される２つのリンクがなす角における鈍角側にできる凹部を埋めて凸形状化する補助ポリゴンを生成し、前記矩形ポリゴンと前記補助ポリゴンとを合成することにより生成されることを特徴とする路面標示地図生成方法。
【請求項５】
請求項２記載の路面標示地図生成方法であって、
前記工程（ｇ）に先だって、
（ｉ） 前記パスに対応する連結画像の解析に基づいて前記撮影位置を求めることにより、前記位置座標データの位置精度の評価を行い、所定の位置精度以下となる前記連結画像の位置座標データを前記解析によって得られた撮影位置に基づいて修正する工程
を実行する路面標示地図生成方法。
【請求項６】
請求項５記載の路面標示地図生成方法であって、
前記工程（ｉ）は、
（ｉ１） 前記各パスに共通して含まれる前記道路との位置関係が固定された所定の地物を撮影したフレーム画像を抽出する工程と、
（ｉ２） 前記各パスについて該抽出されたフレーム画像内での前記地物の２次元座標値と、前記撮影時の画角および撮影方向を含む撮影パラメータとに基づいて、前記地物と撮影位置との相対的な位置関係を求め、該位置関係に基づいてパス間の距離を算出する工程と、
（ｉ３） 前記道路面を撮影する際に得られた位置座標データに基づいて、各パス間の距離を算出する工程と、
（ｉ４） 前記工程（ｉ２）および工程（ｉ３）で得られたパス間の距離に基づいて、前記位置精度の評価を行う工程と、
（ｉ５） 工程（ｉ４）において所定の位置精度に満たないと評価されたパスについて、前記工程（ｉ２）で得られた位置関係を用いてパスの位置座標を修正する工程と
を実行する路面標示地図制方法。
【請求項７】
請求項１〜６いずれか記載の路面標示地図生成方法であって、
前記工程（ｇ）では、前記パスの連結画像に含まれる前記道路面に施された標示の種別および位置を認識するとともに、複数のパス間で、前記認識された同一種別の標示の特徴点に基づいて前記対応点を特定する路面標示地図生成方法。
【請求項８】
請求項７記載の路面標示地図生成方法であって、
前記複数のパスから予め設定されている距離を越える点を除いて前記対応点を特定する路面標示地図生成方法。
【請求項９】
請求項７又は８記載の路面標示地図生成方法であって、
前記工程（ｇ）は、更に、
（ｇ１） 前記特定された対応点のうち、前記パスごとに、該パスから予め設定されている距離内にある対応点の集合を求める工程と、
（ｇ２） 前記各パスの集合に含まれる対応点の数が最多の集合を選択する工程と
を実行し、
前記工程（ｈ）では、前記工程（ｇ２）で選択された集合に含まれる対応点を用いて前記合成画像を生成する路面標示地図生成方法。
【請求項１０】
請求項７〜９いずれか記載の路面標示地図生成方法であって、
前記工程（ｇ）は、更に、
（ｇ３） 前記各パスに対して、前記抽出された各対応点の直前直後に位置する撮影位置を求め、これらの撮影位置を包含する撮影位置包含ポリゴンを求める工程と、
（ｇ４） 前記撮影位置包含ポリゴン同士が重なる箇所では、いずれか一組の対応点を残し、他の対応点を削除する工程と
を実行する路面標示地図生成方法。
【請求項１１】
道路面に施された標示が含まれる路面標示地図を生成する路面標示地図生成装置であって、
前記路面標示地図の生成対象となる道路面と、生成対象外であるその他の道路面とが混在して撮影されている連続画像の画像データ、および該画像データの位置座標データを入力する入力部と、
前記生成対象となる道路面に対応する領域を包含する切出用ポリゴンを入力又は生成して、記憶部に記憶する切出用ポリゴン記憶制御部と、
前記位置座標データが前記切出用ポリゴンの領域内に存在する画像データを抽出して連続するフレーム画像として前記記憶部に記憶するフレーム画像記憶制御部と、
前記連続するフレーム画像から、前記道路面を真上から見た状態の正射画像を生成する画像変換部と、
前記正射画像から、前記位置座標データに基づいて道路面を表す連結画像を生成する連結画像生成部と
を備える路面標示地図生成装置。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１４】
【図１５】
【図１６】
【図１９】
【図２０】
【図２２】
【図２４】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図４１】
【図４】
【図１１】
【図１２】
【図１３】
【図１７】
【図１８】
【図２１】
【図２３】
【図２５】
【図２６】
【図３９】
【図４０】
【図４２】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１４】
【図１５】
【図１６】
【図１９】
【図２０】
【図２２】
【図２４】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図４１】
【図４】
【図１１】
【図１２】
【図１３】
【図１７】
【図１８】
【図２１】
【図２３】
【図２５】
【図２６】
【図３９】
【図４０】
【図４２】
【公開番号】特開２０１０−１７５７５６（Ｐ２０１０−１７５７５６Ａ）
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願番号】特願２００９−１７４３２（Ｐ２００９−１７４３２）
【出願日】平成２１年１月２９日（２００９．１．２９）
【出願人】（５９７１５１５６３）株式会社ゼンリン (155)
【Ｆターム（参考）】
【公開日】平成２２年８月１２日（２０１０．８．１２）
【国際特許分類】
【出願日】平成２１年１月２９日（２００９．１．２９）
【出願人】（５９７１５１５６３）株式会社ゼンリン (155)
【Ｆターム（参考）】
[ Back to top ]