路面標示地図生成方法
【課題】 道路を走行しながら路面を撮影した画像から、路面標示を含む画像を生成し、路面標示を認識する。
【解決手段】 道路を走行しながら路面をビデオカメラで撮影するとともに、各撮影地点の位置座標をＧＰＳ等で取得する。コンピュータは、この動画の各フレーム画像を変換して真上から見た状態の正射画像を生成する。また、撮影時のパスにそって正射画像を配置することで連結画像を生成し、連結画像から横断歩道などの道路標示を認識する。その後、認識された複数の標示を合成、整形する等の修正を施す。
この際、複数の標示の位置関係に基づいてこれらの修正を施すことにより、標示単体ではなし得ない修正を施すことができ、全体として標示の認識精度を向上させることができる。
【解決手段】 道路を走行しながら路面をビデオカメラで撮影するとともに、各撮影地点の位置座標をＧＰＳ等で取得する。コンピュータは、この動画の各フレーム画像を変換して真上から見た状態の正射画像を生成する。また、撮影時のパスにそって正射画像を配置することで連結画像を生成し、連結画像から横断歩道などの道路標示を認識する。その後、認識された複数の標示を合成、整形する等の修正を施す。
この際、複数の標示の位置関係に基づいてこれらの修正を施すことにより、標示単体ではなし得ない修正を施すことができ、全体として標示の認識精度を向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路面に施された標示を含む路面標示地図を生成する技術に関する。
【背景技術】
【０００２】
カーナビゲーションなどで使用される電子地図データには、多様な機能を実現するため、種々の詳細なデータが要求されている。その一つとして、横断歩道や中央線、車線境界線などの路面に描かれる標示が挙げられる。これらの標示を予め画像として取得しておくことにより、ユーザに対して実際の路面に近い画像を提供することができ、直感的に理解しやすい案内を実現することが可能となる。
【０００３】
標示を含む路面の画像を効率的に生成するための技術として特許文献１、特許文献２などが挙げられる。
特許文献１は、車輌の前後または側方に対してデジタルカメラ等により取得された画像から、路面の標示を含む静止画像を生成する技術を開示している。この技術では、目的の道路を車両で走行しながら、その車両に搭載されたデジタルカメラ等で路面の標示等を撮影する。そして、動画を構成する各フレーム画像を真上から見た状態の正射画像に変換し、撮影位置に応じて配列する。正射画像とは、道路の垂直上方の無限遠点に視点を置いた場合の道路画像を言う。複数のフレーム画像を配列することによって、１回の走行の軌跡（以下、パスと呼ぶこともある）に沿った道路面の合成画像を得ることができる。
【０００４】
特許文献２は、２つのパスで得られた画像を合成して幅広の道路画像を合成する技術を開示している。この技術では、まず一つのパスで得られた画像に対して、道路の車線境界線など、本来、直線的に描かれているものが直線として表示されるようにアフィン変換をかける。そして、２つのパスで共通して撮影されている車線境界線などの座標が一致するように、一方のパスの画像をアフィン変換する。また、同様の方法によって、パスごとに画像をアフィン変換しながら合成することによって３以上のパスを合成する技術も開示している。
【０００５】
特許文献３は、道路面の画像から、標示を抽出する技術を開示している。この技術では、航空写真などの画像から、画像処理によって道路ペイントに当たる部分を抽出し、抽出された部分の特徴量に基づいて道路ペイントの種別を判断する。特徴量としては、抽出した部分の長手方向を代表する軸と、道路ネットワークのリンクとの角度などが用いられている。
【０００６】
【特許文献１】特開２００７−２４９１０３号公報
【特許文献２】特許第３８２０４２８号公報
【特許文献３】特開２００７−１２２６６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
地図データには、経路探索用に道路をノード、リンクで表した道路ネットワーク、および地図を表示するために道路をポリゴンで表したデータなどがある。道路ネットワークでは、道路を１本または２本のリンクで代表させているため、リンクに付された座標は、道路のいずれの部分を表しているか厳密には分からない。描画データでは、道路を表すポリゴンの外周の位置座標は分かるものの、道路内部の地点についての位置座標は分からない。
例えば、道路内部の各地点の位置座標が詳細に得られている地図データが存在すれば、車両の現在位置に応じて、車両が道路のどの車線を走行しているかを判断して、車線変更の案内を行うことや、車両に横断歩道が接近していることを警告するなどの高機能な案内を実現することが可能となる。
しかし、従来の地図データは、これらの高精度、高機能な案内を実現するためには不十分な精度しか有していなかった。仮に車両の現在位置を精度良く把握したとしても、その位置情報を活かすだけの詳細な地図データが用意されていたとは言えなかったのである。
【０００８】
路面の標示は道路上の位置座標を豊富にするための目的物として適している。例えば、横断歩道や車線境界線の位置座標が得られていれば、上述した高機能な案内の実現に資することができる。
しかし、従来技術は、いずれも道路面の合成画像を得ることを主目的としており、路面の標示の位置座標を得ることを目的としてはいなかった。
例えば、特許文献２の技術は、道路が直線か曲線かに関わらず車両の進行方向をＸ軸とし、その移動距離をＸ座標として画像を表しているに過ぎず、このＸ軸に直交する方向にのみ画像をアフィン変換するに過ぎない。複数のパスで得られた画像について、このように定められたＸ座標が十分に一致しているという保証はないから、特許文献２の技術では路面の標示の位置座標を精度良く得ることはできない。
また、アフィン変換は、原画像の長方形領域を平行四辺形に歪ませる作用を持つ変換とも言えるから、特許文献２の技術では、アフィン変換によって画像の合成を行うことにより画質の劣化を招き、路面の標示の位置座標を一層低下させるという課題もある。
一方、特許文献１記載の技術は、１回のパスで得られる画像に対する処理を開示しているのみであり、道路全体を十分にカバーすることができない。
【０００９】
従来技術では、道路面の画像から標示を抽出する際にも、標示の位置精度を十分に確保できないという課題があった。特許文献３は、道路ネットワークで与えられるリンクとの位置関係で標示の種別や位置を認定しているものの、先に説明した通り、リンクに付された座標は、道路のいずれの部分を表しているか厳密には分からないデータである。従って、リンクを基準として標示の位置を認識しても、十分な精度を確保することはできない。
【００１０】
また、従来技術では、路面標示が誤認識された場合に、その形状等を修正する方法については検討されてはいなかった。
標示を自動で抽出する場合には、認識された標示同士が重なり合っていたり、単一の標示が分断された個別の標示として認識されていたり、本来、標示が存在するはずの場所であるにも関わらず認識漏れが生じていたり、という種々のタイプの誤認識が発生する。また、複数のパスで得られる画像にまたがって存在する路面標示は、各パスで正確に認識されたとしても、結果として、単一の標示が分断されて認識されたのと同じ状態となり、本来の単一の標示から見れば、不適切な状態で認識されていることになる。
これらの誤認識または不適切な状態での認識が存在すると、当然、路面標示の認識精度が低下し、それを用いた地図の信用性を損ねてしまう。
【００１１】
本発明は、これらの課題を解決し、複数の路面標示が誤認識または不適切な状態で認識された場合に、それを修正し、全体として標示を高い位置精度で抽出し、これらの標示を含む地図の生成を可能とすることを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、コンピュータによって道路面に施された標示を含む路面標示地図を生成する生成方法として構成することができる。
本発明では、まず、コンピュータは、道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら標示を含む路面を撮影した連続画像の画像データと、この画像データの撮影位置を表す位置座標データとを入力する。所定のパスは、一つでも良いし、複数でもよい。
上述の画像データは、例えば、車両などの移動体に搭載した撮影装置によって撮影することができる。撮影装置としては、例えば、ディジタル・ビデオ・カメラなどを用いることができる。また、撮影装置には、撮影時の位置座標データを取得する位置計測装置を搭載しておくことが好ましい。位置計測装置は、例えば、ＧＰＳ（Global Positioning System）や、ジャイロなどの慣性航法装置などを単独または組み合わせて用いることができる。また、処理の便宜上、撮影した画像と位置座標データを入力し、両者を同期させて記録する記録装置を用意しておくことが好ましい。
【００１３】
コンピュータは、入力された画像データを構成する各フレーム画像を変換して、路面を真上から見た状態の正射画像を得る。正射画像は、各フレーム画像の一部を利用して生成してもよい。
そして、こうして得られた正射画像を位置座標データに基づいて、パス上に配置することにより、各パスの路面を表す連結画像を生成する。この際、正射画像の一部が重なっても良い。正射画像は、例えば、その中心線がパスの進行方向に沿う状態で配置することが好ましい。
複数のパスで撮影されている場合には、各パスについて正射画像を配置する。こうすることで連結画像がパスの本数分だけ得られる。複数パスの連結画像は、部分的に重なった状態で配置されることになる。
【００１４】
各連結画像には、種々の路面標示が含まれている。コンピュータは、この路面標示の種別および位置を認識する。
路面標示の認識には、例えば、パターンマッチングを用いてもよい。連結画像から、白および黄色など標示に用いられる所定色の部分を抽出し、標示の種別ごとに予め用意された標示パターンと抽出された部分とのマッチングによって標示の認識を行うのである。
標示を認識する第２の方法として、標示に該当する部分の幾何学的な条件に基づいて標示を特定する方法をとってもよい。連結画像から標示に用いられる所定色の部分を抽出し、パスに沿う方向との位置関係および大きさに基づいて、標示の種別を認識するのである。標示を認識するための条件を以下に例示する。
横断歩道…パスに平行な方向に、均等な平行線が複数認識される領域；
自転車横断帯…パスに直交する線分のうち、一定の間隔で描かれている２本線を表しているもの（横断歩道の付近という条件を加味してもよい）；
停止線…パスに直交する線分のうち、１本線を表しているもの；
車線境界線…パスに平行な線分のうち、所定長さ以上のもの；
減速帯…パスに直交する所定長さ線分が、パス方向に平行に配置されているもの；
ゼブラ…所定間隔で平行線が描かれている領域のうち、横断歩道および減速帯に該当しないもの；
【００１５】
本発明では、連結画像から認識された複数の標示の位置関係に基づき、標示が適正な位置関係となるよう、認識された標示の少なくとも一部を修正する。
ここで言う修正には、例えば、他のパスの連結画像が上に重なって非表示となるはずの標示を表示される状態に変更するなどの非表示／表示の切り替え、複数の標示の合成、標示の整形などの処理が含まれる。
本発明は、このように認識された標示単体で修正を施すのとは異なり、複数の位置関係に基づいて標示の修正を施す。従って、複数の路面標示が誤認識または不適切な状態で認識された場合に、標示単体ではなし得ない修正を施すことができ、全体として標示の認識精度を向上させることができる。
【００１６】
処理対象となる複数の表示は、単一の連結画像内に存在するものであってもよいし、複数の連結画像から認識されたものであってもよい。
複数のパスで生成された連結画像間には、撮影時の位置誤差が含まれていることがあり、連結画像間の標示の位置に不整合が生じることがある。かかる不整合を抑制するため、パスの位置誤差を修正する処理を施しても良い。この方法としては、例えば、各パスの位置精度、またはオペレータの指示などに基づいて、複数のパスのいずれかを基準パスとし、この基準パスに他のパスを合わせる方法を採ることができる。
位置合わせを行うためには、２本以上のパスの連結画像に共通して撮影されている領域内で、対応する対応点を特定する。例えば、２本のパスに横断歩道が共通に撮影されている場合には、それぞれの連結画像において横断歩道の縞模様のいずれかの角を対応する対応点とすることができる。対応点は、各連結画像からの標示の認識結果に基づいて自動的に設定してもよいし、オペレータの指示によるものとしてもよい。
こうして特定された対応点同士のずれは、位置座標の誤差を表すことになる。従って、対応する対応点の位置が一致するように設定された移動ベクトルに基づいて、基準パス以外のパスの連結画像に対して補正をかけることで、複数のパスの位置の不整合を解消することが出来る。
【００１７】
本発明において、連結画像の一部が重なり合う位置関係にある複数のパスについて生成されている場合には、連結画像の一部を透過状態とするための透明化ポリゴンを設定する処理を施しても良い。透明化ポリゴンが設定された場所では透過状態となるため、連結画像が重なり合っている箇所でも下側の連結画像内の路面標示を表示させることができる。透明化ポリゴンは、路面標示の位置を認識して自動的に設定されるようにしてもよいし、オペレータの指示を受け付けて設定するようにしてもよい。
このように透明化ポリゴンが設定されている場合には、認識された標示の一部が、透明化ポリゴンによって透過状態とされることがある。このような場合には、透明化ポリゴンによって透過状態とされる部分を除いた状態の標示に基づいて、標示間の位置関係を判定してもよい。こうすることによって、表示時の標示に基づいて修正処理を施すことができる。
【００１８】
本発明における修正は、種々の態様を採ることができる。
例えば、認識された複数の標示が同一の種別である場合には、位置関係に応じて、標示を合成して単一の標示としてもよい。連結画像が重なり合っている部分などでは、一つの標示が重複して認識されることがある。これらの標示は、同一種別であるとともに、相互に重なり合う位置関係、近接している位置関係、一定方向に配列されている位置関係など、相互に関連した位置関係にある。本態様によれば、同一種別の標示を、相互の位置関係に応じて、同一の標示であると認識し、合成することができる。こうすることで、一つの標示が重複して認識されるという一種の誤認識を解消することができる。
【００１９】
別の態様として、幅方向の位置が異なる複数のパスに対して連結画像が生成されており、連結画像の一部が重なり合っている場合に、複数のパスの連結画像からそれぞれ認識された標示を合成してもよい。合成の例として、道路の幅方向に並ぶ同一種別の標示を合成して、道路の幅方向に延伸する単一の標示とする処理が挙げられる。
横断歩道、自転車横断帯、停止線など、路面標示には、道路の幅方向に伸びるものがある。幅広の道路の場合、一つのパスで生成される連結画像では、道路幅全体を包含することができず、横断歩道等の路面標示も全体を包含することができないことがある。この結果、横断歩道等の路面標示は、複数の連結画像で分断して認識されることになる。
本態様によれば、同一種別の標示が、幅方向に並んでいる位置関係にあることで、同一の標示が分断して認識されているものと判断して、合成することができる。従って、一つの標示が、複数の標示かのように分断されて認識されている不適切な状態を解消することが出来る。
【００２０】
本発明においては、標示の形状を予め規定された幾何学形状で近似してもよい。こうすることによって、この幾何学形状を用いて標示の修正を行うことができる。この幾何学形状を、以下、存在領域と呼ぶものとする。存在領域として用いる幾何学形状、標示の種別等に応じて任意に設定可能である。例えば、横断歩道や矢印などは、四角形、矩形などを用いることができる。また、存在領域はポリゴンである必要はなく、例えば、車線境界線を折れ線で近似するようにしてもよい。
各標示の重心位置や、重なり合いの有無などを判断する際、それぞれの標示の形状を画像処理で認識して処理を行うことも可能ではあるが、幾何学形状を用いることによって、標示の形状を単純化して扱うことができるため、位置関係を容易に判断することができる利点がある。
【００２１】
修正の別の態様として、標示には、道路の幅方向に延伸する標示、および車線境界線の双方が含まれている場合には、幅方向に延伸する標示の輪郭線上に車線境界線の端点が来るように、車線境界線の形状を修正してもよい。道路の幅方向に延伸する標示としては、横断歩道、自転車横断帯、停止線などが挙げられる。車線境界線は道路に沿って描かれる標示であるから、幅方向に延伸する横断歩道等とは交差する位置関係にある。従って、幅方向に延伸する横断歩道等の標示の輪郭線上に車線境界線の端点が来るように修正することによって、車線境界線と横断歩道等とを接続することができ、両者の位置関係の適正化を図ることができる。
【００２２】
修正の別の態様として、複数のパスに対して生成された連結画像の一部が重なり合っている場合、重なり合う領域において、下側の連結画像においてのみ認識されている標示を、上側に配置される連結画像で隠されない状態としてもよい。例えば、下側の連結画像内の標示を切り取って、上側の連結画像内に移動させてもよい。また、標示に対応する位置に、先に説明した透明化ポリゴンを設定してもよい。
連結画像同士が重なっている場合、重なり合っている部分では、下側の連結画像内に存在する標示に対応する標示が、上側の連結画像から認識されているのが本来である。下側の連結画像においてしか標示が認識されておらず、上側の連結画像に対応する標示が認識されていない場合は、誤認識の一つに当たる。本態様によれば、下側の連結画像においてのみ認識されている標示を抽出し、表示可能な状態とすることができる。従って、こうした誤認識を解消し、下側の連結画像での認識結果を有効活用することが可能となる。
【００２３】
本発明は、必ずしも上述した特徴を全て備えている必要はなく、適宜、その一部を省略してもよいし、いくつかの特徴を適宜、組み合わせて備えるようにしてもよい。
本発明は、上述の生成方法に限らず、この生成方法によって道路面に施された標示を含む路面標示地図を生成する生成装置として構成してもよい。
また、上述の生成方法をコンピュータに実現させるためのコンピュータプログラムとして構成してもよいし、かかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。記録媒体としては、例えば、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等、コンピュータが読取り可能な種々の媒体を利用できる。
【発明を実施するための最良の形態】
【００２４】
本発明の実施例について以下の順序で説明する。
Ａ．システム構成：
Ａ１．道路面撮影システム：
Ａ２．路面標示地図生成装置：
Ｂ．処理概要：
Ｂ１．中間データ構成：
Ｂ２．処理例：
Ｂ３．位置合わせ加工概要：
Ｃ．路面標示地図生成方法：
Ｃ１．連結画像生成処理：
Ｃ２．位置合わせ加工：
Ｃ３．基準パス設定処理：
Ｃ４．連結画像移動処理：
Ｃ５．透明化ポリゴン設定処理：
Ｃ６．ペイント認識処理：
Ｄ．効果：
【００２５】
Ａ．システム構成：
本実施例では、車両に搭載したビデオカメラで撮影した道路面の画像を用いて、路面の標示を含む地図（以下、「路面標示地図」と呼ぶ）を生成する方法を示す。
本実施例のシステムは、道路面撮影システムと路面標示地図生成装置から構成される。道路面撮影システムは、道路を走行しながら道路面の画像をビデオカメラで撮影するシステムである。本実施例では、対象となる道路を、異なる走行軌跡で複数回走行し、それぞれ画像を撮影する。
路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成する装置である。まず、上述の各走行軌跡上に、撮影された画像を正射画像に変換した上で配置することで、道路面の一部の車線についての連結画像を生成する。そして、複数の走行軌跡の画像を、位置座標が整合するように配置することで道路全体の画像を生成する。また、こうして生成された連結画像から道路面の標示を抽出する。
以下、道路面撮影システムと路面標示地図生成装置のシステム構成について説明する。
【００２６】
Ａ１．道路面撮影システム：
図１は実施例としての道路面撮影システムの構成を示す説明図である。
道路面撮影システム１００は、車両に搭載されたシステムである。図の下方のブロック図に基づき、システム構成を説明する。
ビデオカメラ１２０は、走行中の道路面の画像を撮影する。
位置計測部１１０は、撮影中の位置座標を計測する装置である。位置計測部１１０は、ＧＰＳ（Global Positioning System）１１４、ＩＭＵ（Inertial
Measurement Unit）１１６、ＤＭＩ（Distance Measuring Instrument）１１８およびコントローラ１１２から構成されている。ＧＰＳ１１４は、全地球測位システムである。ＩＭＵ１１６は、内部に３軸のジャイロおよび加速度センサを備えた慣性計測装置である。ＤＭＩ１１８は、車輪の回転を検出して移動距離を計測する装置である。
【００２７】
コントローラ１１２は、ＧＰＳ１１４、ＩＭＵ１１６、ＤＭＩ１１８からの信号を受け、撮影時の位置座標を逐次出力する。位置座標は任意の座標系を採ることができるが、本実施例では、緯度経度および標高を用いた。
また、これらの信号の取得後、位置座標の計測精度の評価値である自己推定位置精度σを併せて出力する。一般にＧＰＳ１１４は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。
自己推定位置精度σは、任意に定義可能である。例えば、ＧＰＳ１１４の人工衛星の配置によって定まる精度低下率（ＤＯＰ（Dilution of Precision））を用いて自己推定位置精度σを算出するようにしてもよい。
自己推定位置精度σは、取得されたデータを後述する路面標示地図生成装置で処理する際に、解析するようにしてもよい。
【００２８】
記録装置１３０は、ビデオカメラ１２０および位置計測部１１０の出力信号を同期して記録する。本実施例では、記録装置１３０は、汎用のパーソナルコンピュータに、記録用のハードディスク１４０を増設した装置によって構成した。ハードディスク１４０内には、図示する通り、画像データ１４２、同期データ１４４、計測データ１４６が記録される。画像データ１４２は、ビデオカメラで撮影された画像の動画ファイルである。計測データ１４６は、位置計測部１１０で得られた位置座標である。同期データ１４４は、画像データ１４２と計測データ１４６との取得時刻を対応づけるデータである。同期データ１４４および計測データ１４６を参照することにより、画像データ１４２のフレームごとに撮影地点の位置座標を得ることができる。
【００２９】
撮影時の記録用のデータ構造は、上述した構造に限られない。例えば、計測データ１４６は、画像データ１４２の各フレームの位置座標を順次、格納するデータとしてもよい。こうすることにより、同期データ１４４を省略することが可能となる。かかるデータを取得するためには、例えば、記録装置１３０がビデオカメラ１２０のフレームごとに同期信号を位置計測部１１０に出力し、その時の位置座標を取得する方法を採ることができる。
【００３０】
図の上方に、車両に搭載した状態を模式的に示した。
ビデオカメラ１２０は、前方画像を撮影できるよう、車両の前方に設置する。画角を広げるために広角レンズを装着してもよい。
ＧＰＳ１１４のアンテナ１１４Ａは、車両のルーフ上部に設置する。本実施例では、ＧＰＳ用の人工衛星からの電波を確実に受信し、十分な位置精度を確保することができるよう、アンテナ１１４Ａを車両の前後に主副の２台設置した。いずれか一台のみを用いるものとしてもよい。
ＩＭＵ１１６、ＤＭＩ１１８、コントローラ１１２は、それぞれ車両の後部に設置した。ＤＭＩ１１８は、後輪の回転を検出可能に装着されている。
記録装置１３０およびハードディスク１４０は車室内の任意の場所に設置可能であるため、図示を省略した。
【００３１】
Ａ２．路面標示地図生成装置：
図２は実施例としての路面標示地図生成装置の構成を示す説明図である。道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成するための装置である。本実施例では、完全に自動で路面標示地図を生成するのではなく、適宜、オペレータからのコマンドによる指示を受けながら対話型または半自動で処理を進める方法を採用した。
【００３２】
図中には、路面標示地図生成装置２００の機能ブロックを示した。本実施例では、路面標示地図生成装置２００は、図示する各機能を実現するためのコンピュータプログラムを、汎用のパーソナルコンピュータにインストールすることによってソフトウェア的に構築した。これらの機能ブロックの一部は、ＯＳ（Operating System）によって提供してもよい。また、これらの機能ブロックは、それぞれハードウェア的に構成することも可能である。また、ここでは説明の便宜上、スタンドアロンで稼働する装置として説明するが、各機能ブロックをネットワークで接続された複数のコンピュータに分散して用意してもよい。
【００３３】
主制御部２０１は、各機能ブロックを統合制御する。データ入力部２０４は、道路面撮影システム１００で取得した各種データを記録したハードディスク１４０から、画像データ１４２、同期データ１４４、計測データ１４６を入力する。本実施例では、ハードディスク１４０を道路面撮影システム１００から路面標示地図生成装置２００に接続し直すことによって、これらのデータを受け渡す方法を採ったが、ネットワーク経由でデータを送信する方法や、ＤＶＤなどの記録媒体を用いてデータを受け渡す方法を採ってもよい。
【００３４】
コマンド入力部２０２は、コンピュータに備えられたキーボードやマウスなどの操作を介して、オペレータからのコマンドを入力する。
表示制御部２０３は、コンピュータのディスプレイに、路面標示地図生成装置２００での処理結果を表示したり、オペレータが種々のコマンドを指示するための画面を表示したりする。コマンド入力部２０２、表示制御部２０３の機能は、コンピュータのＯＳ（Operating System）によって提供してもよい。
【００３５】
軌跡データ算出部２０５は、計測データ１４６に基づき、画像データ１４２を撮影した時の走行軌跡（以下、「パス」と呼ぶこともある）を表すデータを生成する。本実施例では、軌跡データ算出部２０５は、道路面撮影システム１００によって得られる位置座標を記録した計測データ１４６に対して、位置座標が既知の基準局から提供されている検出情報に基づく補正を施すことによって軌跡データを生成する。基準局の情報を用いて位置座標を補正する技術は周知であるため、説明を省略する。この処理によって位置座標の精度を向上させることが可能となる。
もっとも、基準局からのデータを用いることは必須ではない。計測データ１４６で得られた位置座標をそのまま用いるものとしてもよい。かかる場合には、軌跡データ算出部２０５は省略することも可能である。
【００３６】
画像変換部２０６は、正射投影、即ち画像データ１４２の各フレーム画像を真上から見た状態に変換して正射画像を生成する。
１パス合成部２０７は、画像変換部２０６によって得られた各フレーム画像の正射画像を、その正射画像内の代表点が、撮影時の位置座標に基づいて定まる位置座標に来るように配置することによって、撮影時の走行軌跡（パス）に沿った道路面の画像を合成する。こうして合成された画像を、連結画像と呼ぶものとする。合成された連結画像は、処理データ記憶部２１０に保存される。
本実施例では、それぞれの道路に対して、異なる走行軌跡で、複数回走行して、撮影を行う。１パス画像合成部２０７は、それぞれのパスごとに合成画像を生成する。この結果、連結画像は、パスの本数に応じて、複数生成される。
【００３７】
位置合わせ処理部２２０は、１パス画像合成部２０７で生成された複数の連結画像を、位置合わせ処理、即ち連結画像間の位置座標の誤差を修正して路面の画像が整合するように配置する処理を行うことで、道路全体の正射画像（以下、「道路画像」と呼ぶこともある）を生成する。位置合わせ処理は、オペレータからの指示に応じて行う。処理内容は後述する。
位置合わせで得られた道路画像は、処理データ記憶部２１０に保存される。
【００３８】
透明化ポリゴン設定部２２１は、得られた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定する。上述の位置合わせを行う際には、隣接するパスに対応する正射画像の一部が重なり合うことがある。そして重なった部分では、下側に配置された正射画像の方に、路面標示が鮮明に写されている場合もある。透明化ポリゴンは、このような場合に、下側の画像が表示されるように上側の正射画像の一部を透明化する処理を施す領域を指定するためのポリゴンである。透明化ポリゴンを設定することにより、路面標示を正確に把握可能な地図を提供することが可能となる。
【００３９】
ペイント認識部２２３は、道路面の標示（以下、「ペイント」と呼ぶこともある）を認識する。本実施例では、１パス画像合成部２０７で生成された連結画像に基づいて標示の認識を行うものとした。ペイント認識結果は、処理データ記憶部２１０に保存される。
【００４０】
ペイント解析部２２５は、ペイント認識結果に対し、ペイント相互の相関関係に基づいて、誤認識の有無を検出する。誤認識が検出されたペイントに対しては、削除など、誤認識の態様に応じた対処を施す。これらの対処結果は、ペイント認識結果に反映される。
相関関係とは、例えば、路面標示が所定の組み合わせで描かれているか否か、異種の標示が重なり合っていないかなどの関係を言う。例えば、横断歩道と自転車横断帯とは隣接して描かれているのが通常であるため、自転車横断帯が単独で描かれている場合には、自転車横断帯が誤認識されていると判断することができる。
標示の相関関係は、標示の種別に応じて定められた幾何学形状からなる存在領域に基づいて行われる。本実施例では、この存在領域をオブジェクトファイルと呼ぶものとする。オブジェクトファイルは、相関関係の判定に先立って、ペイント解析部で設定され、処理データ記憶部２１０に記憶される。
【００４１】
ペイント修正部２２７は、処理データ記憶部２１０に記憶されたペイント認識結果に対して、相互の位置関係に基づき、適正な位置関係が実現されるよう認識結果を修正する。修正には、例えば、複数の標示同士を合成したり、非表示状態の標示を表示状態に切り換える処理が含まれる。具体的な修正方法については後述する。 位置関係の判断には、処理データ記憶部２１０内のオブジェクトファイルを利用する。
【００４２】
路面標示地図生成装置は、以上で生成された道路画像に基づいて路面標示地図を出力することができる。例えば、道路画像を印刷可能なファイルとして出力してもよい。また、路面標示地図を電子地図として生成するように、道路画像を電子データとして出力してもよい。また、これらの出力に先立って、道路画像に基づいて路面標示の位置座標や形状データを取得する処理を行うようにしてもよい。
【００４３】
Ｂ．処理概要：
Ｂ１．中間データ構成：
図３は路面標示地図の生成過程における中間データを示す説明図である。これらのデータは、順次、処理データ記憶部２１０(図２参照）に記憶される。
本実施例では、道路を走行しながらビデオカメラ１２０および位置計測部１１０で取得したデータが記録装置１３０としてのパーソナルコンピュータによってハードディスク１４０内に格納されている。格納されるデータとしては、画像データ１４２、計測データ１４６、および両者の同期をとるための同期データ１４４がある。
【００４４】
計測データ１４６は、撮影時の位置座標データの記録である。本実施例では、基準局データ１５０を参照して、計測データ１４６を補正することにより、軌跡データ２１０ａを算出する。これは、先に図２で説明した軌跡データ算出部２０５が行う処理である。基準局データ１５０は、位置座標が既知の基準点におけるＧＰＳでの検出結果を表すデータであり、例えば、国土地理院が提供している基準点データなどを用いることができる。ここで得られた軌跡データ２１０ａは、以下、それぞれの処理において、道路面の画像を撮影した際の軌跡（以下、「パス」と呼ぶこともある）を緯度経度、高度からなる絶対座標で表すデータとして利用される。
【００４５】
一方、画像データ１４２、同期データ１４４、軌跡データ２１０ａからは、路面テクスチャ２１０ｃが生成される。また、同期データ１４４と軌跡データ２１０ａから、路面軌跡データが生成される。
本実施例では、各道路を複数回走行して、道路面の画像を撮影する。従って、路面テクスチャ２１０ｃおよび路線軌跡データ２１０ｂは、各道路に対して複数パス分、生成されることになる。
【００４６】
路面テクスチャ２１０ｃおよび路線軌跡データ２１０ｂを用いて、連結画像２１０ｄが生成される。連結画像２１０ｄは、図２中の１パス画像合成部２０７によって生成される画像である。つまり、連結画像２１０ｄとは、路線軌跡データ２１０ｂで表される位置座標に基づき、各路面テクスチャ２１０ｃを配置することによって生成される各パスの路面画像である。連結画像２１０ｄも、各道路に対して複数パス分、生成されることになる。
連結画像２１０ｄは、路面テクスチャ２１０ｃを結合した一つの画像ファイルとして生成することもできる。本実施例では、後に続く処理の便宜上、合成画像として生成するのではなく、路面テクスチャ２１０ｃを配置して連結画像２１０ｄを生成するための情報（以下、「登録データ」と呼ぶこともある）を、路面テクスチャ２１０ｃの各画像と対応づけて格納するものとした。かかる情報には、路面テクスチャ２１０ｃを配置する位置座標、配置する際の姿勢（角度）、および隣接する路面テクスチャ２１０ｃを特定する情報、隣接する路面テクスチャ２１０ｃとの上下関係などを含めることができる。
【００４７】
こうして得られた連結画像２１０ｄを用いて、位置合わせおよび透明化ポリゴン設定などの処理を行う。これらの処理は、図２の位置合わせ処理部２２０、透明化ポリゴン設定部２２１が行う処理である。この処理によって、複数パス分の連結画像２１０ｄを合成して、道路ごとに道路画像２１０ｅを得ることができる。
道路画像２１０ｅについても、合成画像として生成してもよいし、路面テクスチャ２１０ｃを配置して道路画像２１０ｅを生成するための情報を、路面テクスチャ２１０ｃの各画像と対応づけて格納するようにしてもよい。本実施例では、後者の方法を採用した。それぞれの路面テクスチャ２１０ｃを配置する位置座標、配置する際の姿勢（角度）などの情報は、道路画像用登録データ２１０ｆとして保存されている。また、位置合わせの過程で、路線軌跡データ２１０ｂに対して、位置誤差を修正する処理が施されるため、この原データに対する修正過程を表す情報を、軌跡用登録データ２１０ｇとして保存する。
この他、連結画像２１０ｄのデータ（路面テクスチャ２１０ｃ、路線軌跡データ２１０ｂを含む）も併せて保存する。原データである画像データ１４２、軌跡データ２１０ａも保存しておくことが好ましい。仮に、合成画像化された形で連結画像２１０ｄを保存している場合には、道路画像２１０ｅは、連結画像２１０ｄを合成することになるため、合成の繰り返しで原データに比較して画質が劣化するおそれがある。これに対し、本実施例のように、路面テクスチャ２１０ｃも含めて、原データに近いデータを残しておくことにより、これらのデータを利用して道路画像２１０ｅを生成することが可能となる。従って、合成の繰り返しなど、画像データに重畳的に画像処理が施されることを抑制でき、道路画像２１０ｅの画質を向上させることが可能となる。
【００４８】
Ｂ２．処理例：
次に、本実施例における処理の概要理解を容易にするため、処理例を示す。
図４は実施例における道路画像の生成例を示す説明図である。図４（ａ）には、１本のパスに沿って得られた連結画像の生成例を示し、図４（ｂ）には、複数パスの連結画像を配置して得られた道路画像の例を示している。
図４（ａ）中の直線Ｌ４１〜Ｌ４４は、それぞれ道路面撮影システム１００で走行しながら道路画像を撮影した際の走行軌跡（パス）を表している。図４（ａ）のＰＩＣ４１は、パスＬ４３を走行して得られた画像データに基づいて生成された連結画像である。本実施例では、広角レンズを用いて撮影しているため、１回のパスでも複数車線を覆うだけの連結画像を得ることができている。連結画像の両端が、のこぎり刃状にギザギザになっているのは、画像データの各フレームを正射投影した際に生じる形状歪みの影響である。この連結画像ＰＩＣ４１は、ギザギザの山数に応じたフレーム数の正射画像（路面テクスチャ）を配置して生成されているのである。
このような連結画像は、図中のパスＬ４１〜Ｌ４４のそれぞれに対して得られる。
【００４９】
図４（ｂ）は、パスＬ４１〜Ｌ４４に対する連結画像を合成して得られた道路画像ＰＩＣ４２を示している。図４（ａ）よりも幅広く、反対車線まで含めて道路画像が生成されていることが分かる。複数パスの連結画像を合成する際、各パスの位置座標に誤差があると、連結画像間にずれが生じる。これらのずれが存在すると、図４（ｂ）中の横断歩道、車線境界線などの標示も途中でずれた状態で表示されてしまう。本実施例では、各パスの連結画像間の位置座標の誤差を修正しつつ合成を行う。この処理を位置合わせと呼ぶ。このように位置合わせを行って連結画像を合成することにより、図４（ｂ）に示すように、横断歩道、車線境界線などの標示が整合した道路画像を得ることができる。
【００５０】
Ｂ３．位置合わせ加工概要：
図５は位置合わせ加工の概要を示す説明図である。本実施例では、複数の連結画像に共通して撮影されている標示に基づいてオペレータが指定した対応点の位置を合わせるように、連結画像を平行移動することによって位置合わせを行う。
図５（ａ）には対応点が１つだけ指定された場合の処理方法を示した。図中には、２本の連結画像ＰＩＣ５１、ＰＩＣ５２が描かれている。これらには、それぞれ菱形の標示、つまり横断歩道の予告標示が含まれている。ただし、図５（ａ）左側の状態では、連結画像ＰＩＣ５１、ＰＩＣ５２には相対的に位置誤差があるため、標示の位置がずれている。
オペレータは、この表示画面を見ながら、マウス等のポインティングデバイスを用いて対応点を指定する。図の例では、横断歩道の予告表示の頂点に当たるＰ５１、Ｐ５２を指定した状態を示した。これらの対応点Ｐ５１、Ｐ５２は、連結画像ＰＩＣ５１、ＰＩＣ５２に位置誤差がなければ、本来、同じ位置に重なるはずの点である。そこで、本実施例では、対応点Ｐ５１、Ｐ５２が一致するよう、図中に矢印で示すように連結画像ＰＩＣ５１、ＰＩＣ５２を平行移動させる。
この際、連結画像ＰＩＣ５１、ＰＩＣ５２の一方を基準とし、他方を平行移動する方法を採った。図の例では、連結画像ＰＩＣ５１を基準とし、連結画像ＰＩＣ５２を移動させた例を示している。このように移動することにより、予告標示のずれが解消した状態の道路画像ＰＩＣ５３を得ることができる。
【００５１】
図５（ｂ）には対応点が複数指定された場合の処理方法を示した。図中には、２本の連結画像ＰＩＣ５４、ＰＩＣ５５が描かれている。これらには、それぞれ横断歩道の予告標示が含まれている。但し、図５（ｂ）の左側の状態では、連結画像ＰＩＣ５４、ＰＩＣ５５には相対的に位置誤差があるため、標示の位置がずれている。
この状態で、オペレータが、２組の対応点を指定したとする。対応点Ｐ５４、Ｐ５３の組と、対応点Ｐ５６、Ｐ５５の組である。連結画像ＰＩＣ５４では、連結画像ＰＩＣ５５に含まれる予告標示Ｍ５２は全体が描かれており、連結画像ＰＩＣ５４に含まれる予告標示Ｍ５１は一部が消えている。このような状態であっても、対応点Ｐ５５、Ｐ５６が対応することは明らかであるため、対応点として指定することは可能である。
このように複数組の対応点が指定されると、連結画像ＰＩＣ５４を基準として、それぞれの対応点が一致するように、連結画像ＰＩＣ５５を移動させる。ただし、対応点Ｐ５３をＰ５４に一致させるための第１の移動量と、対応点Ｐ５５をＰ５６に一致させるための第２の移動量とが同じであるとは限らない。そこで、対応点Ｐ５３とＰ５５との間の領域では、第１の移動量、第２の移動量を直線補間して、各点の移動量を設定する。こうすることにより、予告標示のずれが解消した状態の道路画像ＰＩＣ５６を得ることができる。
【００５２】
図５（ｂ）中には、透明化ポリゴンの設定例も併せて示した。
この例では、連結画像ＰＩＣ５４中の予告標示Ｍ５１は半分が欠けている。この状態で位置合わせを行うと、この例では、連結画像ＰＩＣ５４をＰＩＣ５５の上側に重ねるように表示しているから、連結画像ＰＩＣ５５の予告標示Ｍ５２は、連結画像ＰＩＣ５４によって覆い隠されてしまう。この結果、連結画像ＰＩＣ５５では完全な状態で描かれている標示Ｍ５２を道路画像ＰＩＣ５６で活かすことができない。
そこで、このような場合に、オペレータの指示によって予告標示Ｍ５２を取り囲むように透明化ポリゴンＴＰ５０を設定する。透明化ポリゴンＴＰ５０が設定された箇所では、上側の連結画像が透明化され、切り取られたように表示される。この結果、透明化ポリゴンＴＰ５０の部分では、連結画像ＰＩＣ５４の下側に配置された連結画像ＰＩＣ５５に描かれている予告標示Ｍ５２が表示される。
本実施例では、このように透明化ポリゴンを設定可能とすることによって、それぞれの連結画像で描かれている標示を、道路画像においても有効活用することができる。
【００５３】
図６は交差点が存在する場合の位置合わせの手順を示す説明図である。図の煩雑化を避けるため、ここでは連結画像のパスの位置関係のみを示した。図中には、２つの交差点周辺の道路が描かれている。縦の道路では、それぞれパスＢＰ６１、ＢＰ６２に沿って連結画像が得られているとする。横の道路については、破線で示したパスＢＰ６３ｂ、ＢＰ６４ｂ、ＮＰ６１ｂに沿って連結画像が得られているとする。
【００５４】
本実施例では、複数のパス間の位置合わせを行う際には、いずれか一つのパスを基準パスに設定し、他のパスを平行移動して基準パスに合わせる。基準パス以外のパスを、以下、標準パスと呼ぶものとする。基準パスおよび標準パスは、任意の方法で設定可能であるが、本実施例では、後述する通り、位置精度が高いものを基準パスとして設定している。
図６の例では、縦の道路については、それぞれ単一のパスしか存在しないため、パスＢＰ６１、ＢＰ６２が基準パスとなる。
横の道路については、区間Ｄ６１ではパスＢＰ６３ｂとＮＰ６１ｂのうち位置精度が高い側を基準パスとし、区間Ｄ６２についてはＢＰ６４ｂとＮＰ６１ｂのうち位置精度が高い側を基準パスとする。ここでは、それぞれパスＢＰ６３ｂ、ＢＰ６４ｂが基準パスとして設定されているものとする。更に、パスＢＰ６３ｂ、ＢＰ６４ｂ間の位置精度を比較して、優劣を決める。パスＢＰ６３ｂ、ＢＰ６４ｂはそれぞれ区間Ｄ６１、Ｄ６２の基準パスではあるが、一本の道路に配置された連続するパスなので、これらのパス間でも位置合わせを行う必要があるからである。図６の例では、パスＢＰ６３ｂの方が、パスＢＰ６４ｂよりも位置精度が高いものとする。
この結果、横のパスについては、基準パスＢＰ６３ｂ＞基準パスＢＰ６４ｂ＞標準パスＮＰ６１ｂの順に位置合わせの優先度が定まる。
【００５５】
次に、上述の優先度に従って、それぞれのパスの位置合わせを行う。縦のパスＢＰ６１、ＢＰ６２は既に位置合わせが完了しているものとする。
まず、基準パスＢＰ６３ｂの位置合わせを行う。オペレータの指示によって、基準パスＢＰ６３ｂ上の対応点Ｐ６３ｂが指定され、その本来の位置として、点Ｐ６３ａが指定されたとする。この結果、基準パスＢＰ６３ｂは、対応点Ｐ６３ｂが、点Ｐ６３ａに一致するように移動され、実線で示した基準パスＢＰ６３ａが得られる。
図示を省略したが、基準パスＢＰ６３ｂに対応した連結画像も基準パスＢＰ６３ａに合わせて移動する。本実施例では、基準パスＢＰ６３ｂに沿って路面テクスチャを配置することによって連結画像を表示しており、これらの路面テクスチャを合成してはいない。従って、基準パスＢＰ６３ａへの移動が行われた場合には、基準パスＢＰ６３ａに沿うように、各路面テクスチャの位置を平行移動することによって、基準パスＢＰ６３ａの連結画像を得ることができる。
【００５６】
次に、基準パスＢＰ６４ｂの位置合わせを行う。オペレータの指示によって、基準パスＢＰ６４ｂ上の対応点Ｐ６５ｂ、Ｐ６４ｂが指定され、その本来の位置として、点Ｐ６５ａ、Ｐ６４ａが指定されたとする。この対応点は、基準パスＢＰ６３ａの連結画像に基づいて指定されている。つまり、基準パスＢＰ６３ｂを基準パスＢＰ６３ａに位置合わせする処理の結果に応じて、基準パスＢＰ６４ｂの位置合わせは影響を受けることになる。
対応点が指定されると、基準パスＢＰ６４ｂは、対応点Ｐ６５ｂ、Ｐ６４ｂが、点Ｐ６５ａ、Ｐ６４ａに一致するように移動され、実線で示した基準パスＢＰ６４ａが得られる。これに合わせて、基準パスＢＰ６４ｂの連結画像を構成していた路面テクスチャも、それぞれ基準パスＢＰ６４ａ上に平行移動される。
【００５７】
最後に、標準パスＮＰ６１ｂの位置合わせを行う。オペレータの指示によって、標準パスＮＰ６１ｂ上の対応点Ｐ６８ｂ、Ｐ６７ｂ、Ｐ６６ｂが指定され、その本来の位置として、点Ｐ６８ａ、Ｐ６７ａ、Ｐ６６ａが指定されたとする。この対応点は、基準パスＢＰ６３ａ、ＢＰ６４ａの連結画像に基づいて指定されている。つまり、基準パスＢＰ６３ｂを基準パスＢＰ６３ａに位置合わせする処理、および基準パスＢＰ６４ｂを基準パスＢＰ６４ａに位置合わせする処理の結果に応じて、標準パスＮＰ６１ｂの位置合わせは影響を受けることになる。
対応点が指定されると、標準パスＮＰ６１ｂは、対応点Ｐ６８ｂ、Ｐ６７ｂが、点Ｐ６８ａ、Ｐ６７ａに一致するように移動されるとともに、対応点Ｐ６７ｂ、Ｐ６６ｂが、点Ｐ６７ａ、Ｐ６６ａに一致するように移動される。これらの３点は一直線上にはないから、結果として、標準パスＮＰ６１ｂは、折れ線状の標準パスＮ６１ａに移動される。これに合わせて、標準パスＮＰ６１ｂの連結画像を構成していた路面テクスチャも、それぞれ標準パスＮＰ６１ａ上に平行移動される。
【００５８】
本実施例では、図６に示すように複数のパスが存在する場合には、以上で説明した手順によって、位置精度が高いパスから優先的に位置合わせが行われる。こうすることによって、全体の位置精度を十分に確保しつつ位置合わせを行うことができる。
例えば、図６の処理において、位置精度が低い順、つまり標準パスＮＰ６１ｂ、基準パスＢＰ６４ｂ、基準パスＢＰ６３ｂの順に位置合わせをしたとする。この場合には、基準パスＢＰ６４ｂの位置合わせは、標準パスＮＰ６１ｂの位置合わせの影響を受け、位置精度が低下する。基準パスＢＰ６３ｂの位置合わせは、標準パスＮＰ６１ｂ、基準パスＢＰ６４ｂの位置合わせの影響を受け、位置精度が低下する。従って、位置精度が低い順に位置合わせを行うと、パス間の相互作用によって全体の位置精度が低下してしまう。
本実施例では、これとは逆に、位置精度が高い順に位置合わせを行う。従って、最も位置精度が高いパスの位置精度を劣化させることなく、全体の位置合わせを行うことが可能となるのである。
【００５９】
Ｃ．路面標示地図生成方法：
以下、図１〜６で説明した路面標示地図の生成方法について、オペレータが必要に応じて指示を行う場合を例にとって、詳細に説明する。
まず、連結画像生成処理、つまり図２中の路面テクスチャ２１０ｃ、路面軌跡データ２１０ｂに基づいて各パスの連結画像２１０ｄを得る処理について説明する。
次に、位置合わせ加工、つまり複数パスに対する連結画像２１０ｄの位置合わせを行う処理、および位置合わせ加工の中で行われる基準パス設定処理、連結画像移動処理について説明する。
また、透明化ポリゴンの設定処理について説明する。
【００６０】
上述の一連の処理においては、路面標示地図生成装置が連結画像内の標示の位置を表示するようにすれば、オペレータが対応点や透明化ポリゴンの位置を容易に指定可能となる。また、自動的に対応点を特定したり、透明化ポリゴンを設定したりすることも可能となる。こうした処理を可能にするための処理として、ペイント認識処理について説明する。
ペイント認識処理が終わると、路面標示地図生成装置は、ペイント間の相関関係に基づいて誤認識の検出・対処を行うペイント解析処理を行う。この際には、相関関係を判定するため、路面標示地図生成装置は、各ペイントを包含する幾何学形状で規定された存在領域を生成し、これをオブジェクトファイルとして記憶する。
次に、路面標示地図生成装置は、オブジェクトファイルに基づいて、複数の路面標示の位置関係を適正にするための処理、ペイント修正処理を行う。
【００６１】
Ｃ１．連結画像生成処理：
図７は連結画像生成処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した画像変換部２０６、１パス合成部２０７の処理に相当する。
処理を開始すると、ＣＰＵは、まずフレームデータを読み込む（ステップＳ１０）。フレームデータとは、道路面撮影システム１００（図１）のビデオカメラ１２０で撮影された画像データ１４２を構成する各フレームの画像である。
【００６２】
図中にフレームデータの例を示した。ビデオカメラ１２０は、道路面撮影システム１００の前方に向けて設置されているため、フレームデータには、車両の前方の道路、前方車両などが写っている。本実施例では、道路面の画像を生成したいため、このフレームデータの一部の領域を切り出して使用する。図中の領域Ａ７１は、道路面のみが含まれるように設定された切り出し領域を現している。本実施例では、車両の前方５〜７ｍの領域の画像を取得するように領域Ａ７１を設定した。領域Ａ７１の各フレーム内での相対的な位置は一定である。
領域Ａ７１は、上述の例に限らず、任意に設定可能である。ビデオカメラ１２０が一定のフレームレートで画像を撮影するため、フレームデータは、道路面を間欠的に撮影した画像群となる。従って、領域Ａ７１は、間欠的に撮影された画像群を並べた時に、道路が連続画像として再現できるように範囲を決定することが好ましい。例えば、領域Ａ７１の縦幅を狭くすれば、車両の速度が速い場合には、あるフレームデータから切り出された領域と、次のフレームデータから切り出された領域との間に隙間が生じやすくなる。一方、領域Ａ７１の縦幅を広くすれば、前方車両や空、建物など、道路画像とは異なる雑多な映像が含まれやすくなる。領域Ａ７１は、これらの影響を考慮した上で、設定すればよい。
【００６３】
次に、ＣＰＵは、取得されたフレームデータを正射画像（路面テクスチャ）に画像変換する（ステップＳ１２）。図中に処理の概要を示した。上側にはフレームデータの例である。ここでは路面の状態のみが撮影され、道路の左右の車線規制線Ｌ７１、Ｌ７２および標示Ｍ７が写されている例を示した。前方を撮影した画像であるため、パース（遠近法）の影響で、本来平行な車線規制線Ｌ７１、Ｌ７２が、ハの字状に写されている。
先に説明した通り、このフレームデータの一部の領域Ａ７１を切り出して使用する。
下段には、領域Ａ７１の画像を正射投影変換した状態を例示した。道路を真上から見た画像に変換するため、左右の車線規制線Ｌ７１、Ｌ７２は図示する通り、平行な線分に変換される。標示Ｍ７も同様に真上から見た状態の形状に変換される。
【００６４】
正射投影変換の方法を説明する。
まず、道路面撮影システム１００を搭載した車両は水平面上を走行しており、被写体である道路も同一水平面上にあるものとする。
この時、道路画像、即ちフレームデータの画面上の２次元座標をｍ＝［ｕ，ｖ］Ｔとする。また、地面に固定された世界座標系の３次元座標をＭ＝［Ｘ，Ｙ，Ｚ］Ｔとする。これらの各座標に１の要素を直積で加えたベクトルを、次式（１）の通り定義する。
【００６５】
【数１】
【００６６】
３次元座標Ｍと、その投影画像の２次元座標ｍとの関係を以下の関係式（２）（３）によりモデル化する。
【００６７】
【数２】
【００６８】
ここで、ｓはスケール・ファクター；
［Ｒｔ］は、外部パラメータ行列；
Ｒは回転行列；
ｔは平行移動行列；
Ａは内部パラメータ行列である。
【００６９】
内部パラメータ行列Ａは、ビデオカメラ１２０の焦点距離等を考慮した内部的なパラメータであり、実画像座標系（ｘｙ座標系）からフレーム座標系（ｕｖ座標系）への写像パラメータを表す。
α、βはそれぞれｕ軸、ｖ軸方向のスケール因子、γは２つの画像軸のスキューにより表されるパラメータ；
［ｕ0，ｖ0］Ｔは、画像の主点の座標（主点座標）である。
画像のピクセルサイズを（ｋｕ、ｋｖ）、ｕ軸とｖ軸とのなす角をθ、焦点距離をｆとすると、α、β、γは次式（４）で表される。
【００７０】
【数３】
【００７１】
外部パラメータ行列［Ｒｔ］は、ビデオカメラ１２０の設置位置、設置姿勢などによる外部的なパラメータであり、世界座標系（ＸＹＺ座標系）から実画像座標系（ｘｙ座標系）への写像パラメータを表す。世界座標系は、ビデオカメラ１２０の真下の路面を原点とし、車両の進行方向に対し垂直な水平軸をＸ軸、鉛直軸をＹ軸、進行方向の水平軸をＺ軸とする。
平行移動ベクトルｔは、世界座標系において原点に対する実画像の画像主点の移動ベクトルである。
ビデオカメラ１２０の高さ（実画像の画像主点の高さ）をｈとすると、平行移動ベクトルｔは次式（５）で表される。
【００７２】
【数４】
【００７３】
また、世界座標系において、実画像のヘディング方向の回転角（ヨー角）をφ、ピッチ角をω、ロール角をκとすると、回転行列Ｒは次式（６）で表される。
【数５】
【００７４】
内部パラメータ行列Ａは、事前の測定によって得られる。
ヨー角φ、ピッチ角ω、ロール角κおよび画像主点の高さｈは、次の手順で得られる。まず、初期状態、即ち車両が水平な地面に設置されている状態において、ヨー角φ0、ピッチ角ω0、ロール角κ0、および高さｈ0の基準値を計測しておく。次に、走行中には逐次、車両の姿勢角の変化および車高の変化をジャイロ、加速度センサ等で記録しておき、上述の基準値にこの変化を反映することで、各地点でのヨー角φ、ピッチ角ω、ロール角κおよび高さを得ることができる。
【００７５】
正射投影変換は、これらのパラメータに基づき、式（２）を用いることにより、行われ、フレーム座標系（ｕｖ座標系）の道路画像を、世界座標系（ＸＹＺ座標系）の投射道路画像に変換することができる。その手順は次の通りである。
まず、被写体である道路面を水平面（Ｙ＝０）の画像であると仮定する。この時、式（２）より、次式（７）の関係が成立する。
【００７６】
【数６】
【００７７】
この結果、ピクセル（ｕ，ｖ）に対する世界座標（Ｘ，Ｚ）及びスケールパラメータｓは次式（８）により求めることができる。
【００７８】
【数７】
【００７９】
次に、路面標示地図生成装置２００のＣＰＵは、被写体である道路面の傾斜を考慮した補正を行う。
まず、フレームデータを取得した各地点の位置座標データ（Ｘ０，Ｙ０，Ｚ０）と、被写体である道路面付近の複数点の位置座標（Ｘｉ，Ｙｉ，Ｚｉ）とから、被写体である道路面の勾配を計算する。本実施例では、勾配は一様であるものと仮定した。
具体的には、撮影地点の世界座標点（Ｘ，Ｙ，Ｚ）付近の位置座標データから、高さの変化Δｈを求める。つまり、Δｈ＝Ｙ−Ｙ０である。この時、一様な勾配を仮定すると、道路面上の世界座標系（Ｘ’，Ｙ’，Ｚ’）の点の奥行きＺ’は次式（９）で求めることができる。
【００８０】
【数８】
【００８１】
補正した道路面上の奥行きＺ’が決まると、式（２）より、フレーム座標点（ｕ，ｖ）と世界座標点（Ｘ’，Ｙ’，Ｚ’）との関係は次式（１０）の通りとなる。
【００８２】
【数９】
【００８３】
これより、世界座標点のＸ’，Ｙ’を次式（１１）によって計算することができる。
【数１０】
【００８４】
以上の通り、フレームデータ上の点（ｕ，ｖ）を、それぞれ（Ｘ’，Ｚ’）に写像すれば、正射画像（路面テクスチャ）を得ることができる。図７中に示すように、フレームデータを矩形の領域Ａ７１で切り出した上で正射投影すると、上方が広がる台形状の正射画像（路面テクスチャ）Ａ７２が得られる。
本実施例では、後に続く処理の便宜のため、正射画像（路面テクスチャ）を低解像度／高解像度の２通りで生成するものとした。高解像度の正射画像（路面テクスチャ）（以下、「高解像度画像」と呼ぶ）は、もとのフレームデータの切り出し領域Ａ７１をそのまま利用して生成された画像、即ち原画像と同じ解像度で生成された画像である。低解像度の正射画像（路面テクスチャ）（以下、「低解像度画像」と呼ぶ）は、解像度を原データよりも下げた画像である。低解像度画像の解像度は、路面標示地図生成装置２００が軽い負荷で画像を表示することができる程度の値とすることが好ましく、原画像の解像度の半分など、任意に設定可能である。
【００８５】
次に、路面標示地図生成装置２００のＣＰＵは、得られた正射画像（路面テクスチャ）を配置して１パス画像の合成を行う（ステップＳ１４）。図中に１パス画像合成の例を示した。この例では、正射画像（路面テクスチャ）Ａ７２［０］〜Ａ７２［５］が合成されている。
各正射画像（路面テクスチャ）Ａ７２は、フレーム座標系（ｕｖ座標系）の原点に対応する点を、各フレームデータの撮影時の位置座標に基づいて配置すればよい。フレームデータは車両の位置よりも前方を写したものであるため、正射画像（路面テクスチャ）は、車両位置から一定距離だけ前方に移動させた地点に配置する必要がある。本実施例では、フレームデータ毎に車輌位置とフレーム座標系の位置関係を計算して配置する。また、正射画像（路面テクスチャ）は、時系列的に古い画像から新しい画像に順次、配置するものとした。
このように正射画像（路面テクスチャ）を配置することによって、道路面の車線境界線Ｌ７１、Ｌ７２および標示Ｍ７が再現される。
本実施例では、連結画像生成処理の段階では、正射画像（路面テクスチャ）を１枚の画像に結合することなく、配置して表示する状態に留めている。従って、１パス画像合成処理（ステップＳ１４）で生成されるのは、合成画像ではなく、各正射画像（路面テクスチャ）の配置を決定する情報となる。もっとも、この処理において、正射画像（路面テクスチャ）を１枚の画像に結合する方法を採ることもできる。
【００８６】
Ｃ２．位置合わせ加工：
図８は位置合わせ加工のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した位置合わせ処理部２２０の処理に相当する。
処理を開始すると、ＣＰＵは、まず処理の対象となる道路（以下、「対象道路」と言う）についてのオペレータからの指定を入力する（ステップＳ２０）。そして、対象道路に対応する連結画像を入力する（ステップＳ２２）。本実施例では、それぞれの道路について、走行位置を変えながら複数回走行して、路面画像を撮影している。従って、各走行に対応するパスに基づいて、それぞれ連結画像が生成されている。ステップＳ２２では、これらの複数の連結画像を読み込む。
【００８７】
次に、ＣＰＵは基準パスを設定する（ステップＳ３０）。基準パスとは、複数のパスの位置合わせをする際に、基準となるパスである。本実施例では、対象道路に対応するパスのうち、位置精度の評価値、即ち自己推定位置精度が最も高いものを選択する。基準パスの設定方法については、後述する。
【００８８】
基準パスが設定されると、ＣＰＵはオペレータの操作に従い、各パスについて対応点を設定する処理を行う（ステップＳ４０）。
本実施例では、図中に示すように、基準パスおよび標準パスの連結画像をディスプレイに表示し、オペレータが、マウスなどのポインティングデバイスを操作して、この画面内で対応点を設定するという方法を採った。図の例では、標準パスの画像内で菱形をした横断歩道予告標示の頂点を対応点として指定し、次に、これに対応する頂点を基準パスの画像内で指定する例を示した。対応点は、１点に限らず、複数の点を指定可能である。
後述するペイント認識処理が行われており、各連結画像内の標示が抽出されている場合には、ＣＰＵは、抽出した標示をディスプレイに表示し、オペレータがこの中から対応点として用いるべき標示を選択するようにしてもよい。また、連結画像間で抽出した標示の位置関係に基づいて、対応する標示を特定し、対応点や透明化ポリゴンを自動的に設定可能としてもよい。
【００８９】
本実施例では、この連結画像の表示には、低解像度画像を用いる。こうすることにより、対応点を指定する際に、表示の移動、拡大・縮小を円滑に行うことができ、作業効率を高めることができる利点がある。
【００９０】
対応点が指定されると、ＣＰＵは、対応点同士が一致するように、標準パスの連結画像を基準パスの連結画像に合わせるよう移動する処理を行って、位置合わせ加工を終了する（ステップＳ５０）。
先に説明した通り、本実施例では、連結画像は一枚の合成画像として生成されている訳ではなく、正射画像（路面テクスチャ）を配置して表示している。従って、ステップＳ５０の処理では、それぞれの正射画像（路面テクスチャ）を移動することで、連結画像の移動処理が行われる。移動処理と併せて、それぞれの正射画像を低解像度画像から高解像度画像に置換する処理が行われる。高解像度画像を用いて、正射画像を再配置する処理を行うものとしてもよい。
連結画像移動処理の内容は、後で詳述する。
【００９１】
Ｃ３．基準パス設定処理：
図９は基準パス設定処理のフローチャートである。位置合わせ加工（図８）のステップＳ３０に相当する処理であり、複数のパスの位置合わせをする際に、自己推定位置精度が最も高いものを基準パスとして設定するための処理である。
【００９２】
ＣＰＵは、処理を開始すると、対象道路の各パスについて、フレーム画像が取得されている各地点での位置精度を入力する（ステップＳ３１）。撮影時には、図中に示すように、パスにそって点Ｐ９１，Ｐ９２、Ｐ９３等でフレーム画像を撮影するとともに、各点ごとに東西方向の位置精度ＡＣ１、南北方向の位置精度ＡＣ２が記録されている。
【００９３】
一般にＧＰＳ１１４は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。位置精度は、これらの影響を定量的に評価したものである。位置精度は、任意に定義可能であり、例えば、精度低下率（ＤＯＰ（Dilution of Precision））等を用いても良い。
【００９４】
ＣＰＵは、各点の位置精度に基づいて、パスごとに自己推定位置精度σを算出する（ステップＳ３２）。
【００９５】
自己位置推定精度は、ＧＰＳと、ＩＭＵ、ＤＭＩ等とのずれに基づいて定まる値としてもよい。この場合は、例えば、ずれ量の標準偏差を用いても良い。また、東西方向の標準偏差の自乗と、南北方向の標準偏差の自乗の和を求め、この平方根を自己位置推定精度として用いても良い。このように、ＧＰＳと、ＩＭＵ、ＤＭＩ等のずれ量に応じた値とする場合には、自己位置推定精度は、ずれが大きい程、大きい値となる。つまり、自己推定位置精度は値が小さい方が、精度が高いことを示す評価値となる。
各パスの自己推定位置精度σが得られると、ＣＰＵはこの値が最小となるパスを基準パスとして設定する（ステップＳ３３）。対象道路に対して単一のパスしか存在しない場合には、無条件にそのパスが基準パスとして設定されることになる。この基準パスの自己推定位置精度をσＢとする。
【００９６】
ステップＳ３３で設定された基準パスの自己推定位置精度σＢが、所定の閾値σＴＨよりも低い場合には（ステップＳ３４）、基準パス設定処理を終了する。
これに対し、自己推定位置精度σＢが、所定の閾値σＴＨ以上の場合には、エラー表示を行って（ステップＳ３５）、処理を終了する。この場合には、基準パスの位置精度が十分確保されていないことを意味するため、位置合わせ処理を行っても、位置精度が十分に保証されないからである。
所定の閾値σＴＨは、上述の通り、路面標示地図として確保すべき位置精度に基づいて任意に設定可能である。
【００９７】
エラー表示（ステップＳ３５）を行うか否かの判断対象となるのは、基準パスの自己推定位置精度σＢのみとした。他の標準パスについては、自己推定位置精度が低い場合でも、基準パスを基準として位置合わせを行うことにより、位置精度を高めることが可能だからである。
もっとも、位置合わせ処理における修正は、いずれのパスに対してもできるだけ小さい方が、より好ましいと言える。従って、ステップＳ３４において、全てのパスの自己推定位置精度を閾値σＴＨと比較し、いずれか一本でも、この閾値を下回る精度のパスが存在する場合にはエラー表示を行うようにしてもよい。
ただし、標準パスにも基準パスと同等の位置精度を要求すると、エラー表示が頻繁になされるおそれがある。かかる弊害を回避するため、標準パスでは基準パスよりも高い閾値σＴＨを用いるようにしてもよい。つまり、標準パスについては位置精度の要求を基準パスよりも緩めるのである。こうすることによって、標準パスについても最低限の位置精度を保証しつつ、エラー表示が頻繁になされるのを回避することができる。
【００９８】
Ｃ４．連結画像移動処理：
（１）フローチャート：
図１０は連結画像移動処理のフローチャートである。位置合わせ処理（図８）のステップＳ５０の処理に相当する。
処理を開始すると、ＣＰＵは移動対象となる標準パスのデータおよび対応点のデータを入力する（ステップＳ５１）。標準パスのデータとは、フレーム画像が撮影された時の位置座標を順次、記録した点列からなる軌跡データである。対応点のデータは、図８のステップＳ２０において、基準パスおよび標準パスが表示された画面内でオペレータが指定した対応点の座標値である。
【００９９】
ＣＰＵは、次に、標準パス上で正射画像（路面テクスチャ）が配置されている点ごとに、移動ベクトルを算出する（ステップＳ５２）。
図中に移動ベクトルの算出例を示した。この例では、標準パスＮＰ１０について、対応点Ｐ１０１、Ｐ１０３が指定されているものとする。標準パス上には、図中に台形で示すように正射画像（路面テクスチャ）が配置されている。
【０１００】
対応点Ｐ１０１、Ｐ１０３に対応する点としては、基準パス上では、対応点Ｐ１０２、Ｐ１０４が指定されているものとする。ＣＰＵは、これらの指定結果に基づき、対応点について移動ベクトルを求める。図の例では、標準パスの対応点Ｐ１０１からＰ１０２に向かう移動ベクトルＶ１０と、対応点Ｐ１０３からＰ１０４に向かう移動ベクトルＶ１１が得られる。
【０１０１】
対応点は、標示の頂点など、オペレータが基準パスと標準パスとで対応をとりやすい点を指定するため、必ずしも標準パスＮＰ１０上で指定されるとは限らない。対応点が標準パスＮＰ１０からずれた場所で指定されている場合には、図中に破線で示すように標準パスＮＰ１０からずれた場所に移動ベクトルＶ１０ａが得られる。従って、この移動ベクトルＶ１０ａの始点が標準パスＮＰ１０上に来るように、標準パスＮＰ１０に垂直方向に移動させて移動ベクトルＶ１０を求めればよい。
【０１０２】
対応点での移動ベクトルＶ１０、Ｖ１１が得られると、ＣＰＵは、これらを補間することによって、対応点Ｐ１０１、Ｐ１０３の間に位置する各点での移動ベクトルを求める。例えば、図中に示すように、フレーム画像の撮影地点ＰＰ１０で移動ベクトルを求める場合には、この地点を始点とするように移動ベクトルＶ１０、Ｖ１１を平行移動し、両ベクトルの終点を結ぶ線分を、対応点Ｐ１０１〜ＰＰ１０の距離、Ｐ１０３〜ＰＰ１０の距離の比で内分する点を求める。こうすることによって、点ＰＰ１０を始点とし、この内分点を終点とする移動ベクトルＶＰ１０を求めることができる。
【０１０３】
２つの移動ベクトルＶ１０、Ｖ１１に挟まれた区間に存在しない点については、最も近い位置にある移動ベクトルをそのまま用いる。図中の例では、点Ｐ１０１よりも右側の区間では、移動ベクトルＶ１０をそのまま用い、点Ｐ１０３の左側の区間では、移動ベクトルＶ１１をそのまま用いることになる。
また、対応点が一つしか指定されておらず、移動ベクトルが一つしか与えられない場合は、この移動ベクトルを用いる。
【０１０４】
ＣＰＵは以上の処理で得られた移動ベクトルに従って、正射画像（路面テクスチャ）を平行移動して（ステップＳ５３）、連結画像移動処理を終了する。図の例では、標準パスＮＰ１０の点ＰＰ１０に配置されていた路面テクスチャＴＸ１１が、移動ベクトルＶＰ１０に従って路面テクスチャＴＸ１２の位置に平行移動される例を示している。
この処理と併せて、標準パスＮＰ１０上の点ＰＰ１０の位置も移動ベクトルＶＰ１０によって修正される。従って、ステップＳ５３の処理では、路面テクスチャの移動と共に、標準パスＮＰ１０の軌跡も修正されることになる。
【０１０５】
（２）位置合わせ加工の処理例（１）：
図１１は位置合わせ加工の処理例（１）を示す説明図である。図１１（ａ）〜図１１（ｃ）のそれぞれには、標準パスＮＰ１１および基準パスＢＰ１１に対する連結画像を重ねて表示した状態を示している。図１１（ａ）は標準パスＮＰ１１の連結画像を、基準パスＢＰ１１の連結画像よりも上に配置した状態である。先に説明した通り、連結画像は多数の路面テクスチャを配置することで構成されているが、図中には、説明の便宜上、一つの路面テクスチャＴＸ１１に輪郭を付して示した。
オペレータは、この画面中で、標準パスＮＰ１１における対応点Ｐ１１１を指定する。対応点Ｐ１１１は、任意に設定可能である。本実施例では、分離帯標示Ｍ１１の白線の斜め縞模様の端点の一つを対応点Ｐ１１１として選択している。
【０１０６】
図１１（ｂ）は、基準パスＢＰ１１の連結画像を上側にして配置した状態を示している。この状態では、標準パスＮＰ１１と基準パスＢＰ１１の位置がずれている。従って、基準パスＢＰ１１の連結画像を上側に表示すると、対応点Ｐ１１１の位置は、分離帯標示Ｍ１２の白線の斜め縞模様からずれてしまう。
【０１０７】
図１１（ｃ）は、基準パスＢＰ１１の連結画像を上側にした状態で、対応点Ｐ１１２を指定した状態を示している。つまり、基準パスＢＰ１１を上側にした画像内で、分離帯標示Ｍ１１の白線の斜め縞模様の端点を対応点Ｐ１１２として選択すればよい。
対応点Ｐ１１２が指定されると、標準パスＮＰ１１の対応点Ｐ１１１から基準パスＢＰ１１の対応点Ｐ１１２に向かうように移動ベクトルＶ１１が求められる。この移動ベクトルＶ１１に従って、路面テクスチャＴＸ１１を移動すれば、対応点Ｐ１１１は対応点Ｐ１１２に一致し、分離帯標示Ｍ１１、Ｍ１２の位置も一致させることができる。
【０１０８】
路面テクスチャＴＸ１１だけでなく、位置合わせ加工では、標準パスＮＰ１１を構成する他の路面テクスチャも同様に、移動ベクトルＶ１１に従って移動させる。ここでは対応点を一つだけ指定した処理例を示したが、対応点は複数指定してもよい。例えば、図の例では、横断歩道の縞模様、停止線、車線境界線の端点などを対応点として利用することが考えられる。
【０１０９】
（３）位置合わせ加工の処理例（２）：
図１２は位置合わせ加工の処理例（２）を示す説明図である。標準パスＮＰ１２、基準パスＢＰ１２の連結画像を重ねた状態を示した。説明の便宜上、双方の路面標示を視認可能な状態で示している。位置合わせ前は、標準パスＮＰ１２、基準パスＢＰ１２の位置がずれているため、車線境界線などの標示の位置はずれている。
オペレータは、ここでは破線での車線境界線の端点の一つを対応点として選択している。標準パスＮＰ１２については車線境界線Ｌ１２２の端点を対応点Ｐ１２２として選択し、基準パスＢＰ１２については車線境界線Ｌ１２１の端点を対応点Ｐ１２１として選択する。この結果、標準パスＮＰ１２の対応点Ｐ１２２から基準パスＢＰ１２の対応点Ｐ１２１に向かう移動ベクトルＶ１２が定まる。
【０１１０】
図１３は位置合わせ加工の処理（２）の加工結果を示す説明図である。
上述の通り、標準パスＮＰ１２の連結画像を、移動ベクトルＶ１２に従って移動することによって、車線境界線の位置を合わせることができる。位置合わせの結果が車線境界線Ｌ１３である。
また、この位置合わせ加工によって、標準パスも基準パスの位置に合わせられる。本実施例は、本来、異なる位置を走行した複数のパスを位置合わせすることによって、道路面の画像を生成する。この際、図１２、図１３の比較から分かる通り、対応点に基づいて設定される移動ベクトルに従って、標準パスを平行移動することにより、複数のパス間で、路面標示の位置関係およびパスの位置関係を、非常によく一致させることができる。
【０１１１】
（４）絶対座標の取得：
図１４は路面標示の絶対位置座標の取得方法を示す説明図である。図の例では、標準パスＮＰ１４上の路面テクスチャＴＸ１４２、基準パスＢＰ１４上の路面テクスチャＴＸ１４１を例示した。路面テクスチャＴＸ１４１、ＴＸ１４２内には、それぞれ標示Ｍ１４１、Ｍ１４２が含まれている。
路面テクスチャＴＸ１４１、ＴＸ１４２は、それぞれの代表点が、基準パスＢＰ１４上の点Ｐ１４１、および標準パスＮＰ１４上の点Ｐ１４３に一致するように配置される。
【０１１２】
路面テクスチャＴＸ１４１内で、標示Ｍ１４１の頂点Ｐ１４２の位置は、代表点を原点とする相対的な座標（ｘ１４２，ｙ１４２）で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャＴＸ１４１が配置されている位置座標（Ｘ１４１，Ｙ１４１）が分かれば、これに、上述の相対的な座標を加えることによって、標示Ｍ１４１の頂点Ｐ１４２の絶対位置座標を取得することができる。
【０１１３】
路面テクスチャＴＸ１４２内も同様に、標示Ｍ１４２の頂点Ｐ１４５の位置は、代表点を原点とする相対的な座標（ｘ１４５，Ｙ１４５）で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャＴＸ１４２が配置されている位置座標（Ｘ１４３，Ｙ１４３）が分かれば、これに、上述の相対的な座標を加えることによって、標示Ｍ１４２の頂点Ｐ１４５の絶対位置座標を取得することができる。
【０１１４】
路面テクスチャＴＸ１４２については、位置合わせ加工によって、移動ベクトルＶ１４に従って、代表点の位置Ｐ１４３が点Ｐ１４４に移動したとする。この時、位置合わせ後の点Ｐ１４４の絶対位置座標は、移動前の点Ｐ１４３の位置座標（Ｘ１４３，Ｙ１４３）に、移動ベクトルＶ１４の成分（ＶＸ１４，ＶＹ１４）を加えることで得ることができる。更に、こうして得られた点Ｐ１４４の絶対位置座標に対して、点Ｐ１４５の相対的な座標（ｘ１４５，Ｙ１４５）を加えれば、位置合わせ加工後の標示Ｍ１４２の頂点Ｐ１４５の絶対位置座標を取得することができる。
【０１１５】
ここでは、路面テクスチャ内の標示Ｍ１４１，Ｍ１４２の頂点について絶対位置座標を取得する方法を示したが、路面テクスチャ内の任意の点は、それぞれ路面テクスチャの代表点を基準とする相対的な座標で特定可能であるから、同様の方法によって任意の点の絶対位置座標を取得することが可能である。
【０１１６】
Ｃ５．透明化ポリゴン設定処理：
（１）処理概要：
図１５は透明化ポリゴン設定処理の概要を示す説明図である。透明化ポリゴン設定処理は、重ねられた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定することによって、隣接するパスに対応する正射画像同士が重なり合っている部分で、上側の正射画像の一部を透明化して、下側の正射画像を透視可能とする処理である。
図の中央に、正射画像Ｐ１５２の上に正射画像Ｐ１５１が重ねられている様子を斜視図的に示した。下側の正射画像Ｐ１５２には、横断歩道Ａ１５４が分断された状態で含まれており、停止線Ａ１５３が完全な状態で含まれている。上側の正射画像Ｐ１５１には、横断歩道Ａ１５２が完全な形で含まれており、停止線Ａ１５１が分断された状態で含まれている。それぞれ分断された部分を、破線で囲んで示した。
この状態で正射画像Ｐ１５１、Ｐ１５２を重ねると、左側に示したように表示される。つまり、両者が重なった部分では、上側の正射画像Ｐ１５１の画像のみが表示されるため、横断歩道Ａ１５２は完全な状態で表示されるが、停止線Ａ１５１は分断された状態で示されてしまうのである。
仮に、正射画像Ｐ１５１、Ｐ１５２の上下関係を変えたとすれば、今度は、停止線Ａ１５３は完全な状態で表示することができるが、横断歩道Ａ１５４が分断された状態で表示されることになる。このように、正射画像Ｐ１５１、Ｐ１５２の上下関係だけでは、横断歩道、停止線の双方を完全な状態で表示させることはできない。
【０１１７】
そこで、本実施例では、透明化ポリゴンＰＯＬ１５を設定する。この例では、上側の正射画像Ｐ１５１において、分断されている停止線Ａ１５１を覆うように設定した例を示した。透明化ポリゴンＰＯＬ１５内では、上側の正射画像Ｐ１５１は透過した状態で表示される。従って、図の右側に示すように、正射画像Ｐ１５１、Ｐ１５２を重ねた状態では、透明化ポリゴンＰＯＬ１５の内部では、下側の正射画像Ｐ１５２が表示され、その他の部分では、上側の正射画像Ｐ１５１が表示される。この結果、下側の正射画像Ｐ１５１に含まれる停止線Ａ１５３と、上側の正射画像Ｐ１５２に含まれる横断歩道Ａ１５２が表示され、停止線および横断歩道の双方を完全な形で表示することができる。
【０１１８】
（２）フローチャート：
図１６は透明化ポリゴン設定処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した透明化ポリゴン設定部２２１の処理に相当する。
処理を開始すると、ＣＰＵは、オペレータからの対象道路の指定を入力し（ステップＳ１００）、対象道路に対応する連結画像を入力する（ステップＳ１０２）。対象道路に対して複数のパスが対応している場合には、これらのパスに対応する複数の連結画像が入力される。
【０１１９】
ＣＰＵは、これらの連結画像を表示し、オペレータの操作に基づいて優先パスの指定を入力する（ステップＳ１０４）。優先パスとは、複数のパスのうち路面画像が最も良好なパスを言い、複数のパスの連結画像を重ねる際に最も上に位置するパスを言う。優先パスは、位置合わせ加工で用いられた基準パスとは異なる。基準パスは位置精度が最も良いものを意味したが、位置精度が良いからといって、路面画像が良好とは限らないからである。複数のパス間の連結画像の重ね合わせの上下関係がどのような状態であっても、位置合わせは支障なく行うことが可能であるから、位置合わせ用の基準パスと優先パスとは相互に独立して設定可能である。
本実施例では、優先パスは、オペレータが各パスの連結画像を比較しながら、任意に設定することができる。仮に、路面画像が最も粗いパスを優先パスに指定しても構わない。このような場合には、後述する透明化ポリゴンの設定数が増えるだけのことである。
【０１２０】
優先パスが設定されると、ＣＰＵは、オペレータの操作に従い透明化ポリゴンを設定する（ステップＳ１０６）。
図中に透明化ポリゴンの設定例を示した。この例では、優先パスに沿った路面テクスチャＴＸ１６１と、その他のパスに沿った路面テクスチャＴＸ１６２を示した。
撮影時には矩形の画像が、正射画像変換により、台形になるため、路面テクスチャＴＸ１６１、ＴＸ１６２を配置すると、図示するようにのこぎり刃状になる。のこぎり刃状の部分からは、路面画像の見栄えを落とすと共に、分断された路面画像しか得られないため、完全な路面画像を得るという目的からは不要な部分となる。そこで、図の例では、路面テクスチャＴＸ１６１、ＴＸ１６２が重なり合った部分では、のこぎり刃状になった路面テクスチャＴＸ１６１の左端の部分に透明化ポリゴンＰＯＬ１６１を設定し、のこぎり刃状の部分が表示されないようにしている。
【０１２１】
一方、路面テクスチャＴＸ１６１、ＴＸ１６２が重なりあっていない部分、図の例では、両端の領域Ａ１６１、Ａ１６２の部分には、透明化ポリゴンは設定しない。この部分では、それぞれ路面テクスチャＴＸ１６１、ＴＸ１６２によって得られる画像が、唯一の画像情報となるからである。両端の領域に透明化ポリゴンを設定すると、この部分に含まれる路面画像の情報は活用し得なくなる。本実施例では、このように他の路面テクスチャと重なり合っていない部分には、透明化ポリゴンを設定しないようにすることで、路面テクスチャに含まれる路面画像の情報を有効活用できるようにした。
かかる設定は、単に路面テクスチャが重なっていない部分を避けて、オペレータが透明化ポリゴンを設定するという運用によって実現してもよいが、透明化ポリゴンの設定処理（ステップＳ１０６）において、透明化ポリゴンの設定位置を制限するようにしてもよい。つまり、路面テクスチャが重なり合っている部分についてのみ、オペレータによる透明化ポリゴンの設定操作を受け付けるようにしても良い。
【０１２２】
路面テクスチャＴＸ１６１によって隠されている標示がある場合には、オペレータはその標示が視認できるように透明化ポリゴンを設定する。図の例では、矢印の標示を覆うように、透明化ポリゴンＰＯＬ１６２が設定されている例を示した。矢印の標示は、テクスチャＴＸ１６１の下側に配置されているテクスチャに含まれている画像である。
【０１２３】
このように標示を覆う透明化ポリゴンＰＯＬ１６２を設定するためには、一旦、路面テクスチャＴＸ１６１を他の路面テクスチャよりも下側に位置するように上下関係を変更したり、路面テクスチャＴＸ１６１を非表示としたりすればよい。これらの操作によって、路面テクスチャＴＸ１６１に隠された標示を視認可能な状態にした上で、その標示を覆うように透明化ポリゴンＰＯＬ１６２を設定し、路面テクスチャＴＸ１６１の表示を元に戻せばよい。
【０１２４】
以上の処理によって、透明化ポリゴンの設定が終わると、ＣＰＵは、設定結果を出力して、透明化ポリゴン設定処理を終了する。
【０１２５】
（３）処理例：
図１７は透明化ポリゴンを設定する前の道路画像例を示す説明図である。この例では、パスＰ１７１、Ｐ１７２の２本に沿って得られた連結画像の位置合わせを行って生成された道路画像を示した。パスＰ１７２の連結画像と、パスＰ１７１の連結画像とで、のこぎり刃状の両端の形状が逆向きになっているのは、これらのパスＰ１７１，Ｐ１７２を道路面撮影システム１００の車両が走行する方向が逆だからである。
【０１２６】
パスＰ１７２の連結画像が、パスＰ１７１の連結画像と重なっている部分では、パスＰ１７２の連結画像の端部Ｂ１７ののこぎり刃状の境界が現れており、道路画像の画質を劣化させている。ただし、図１７では、図示の都合上、のこぎり刃状の輪郭を付して端部Ｂ１７の形状を強調してある。
また、パスＰ１７２の路面画像が端の方で不鮮明なため、例えば、領域Ａ１７１では横断歩道の縞模様が歪んでいる。領域Ａ１７２では、停止線が分断された状態となっている。領域Ａ１７３では、路線バス等優先通行帯（いわゆるバスレーン）であることを示す「バス専用」の文字が読めない程に崩れている。領域Ａ１７４では、破線状の車線境界線が途中で分断された状態となっている。
【０１２７】
これらの影響を回避するため、図１７では、領域Ａ１７１〜Ａ１７４および端部Ｂ１７を包含する透明化テクスチャＰＯＬ１７を図中の一点鎖線のように設定した。
このように透明化ポリゴンＰＯＬ１７を設定すると、パスＰ１７２側の路面テクスチャは、透明化ポリゴンＰＯＬ１７の内部では透視状態となり、下側に配置されたパスＰ１７１側の路面テクスチャが視認されるようになる。
【０１２８】
図１８は透明化ポリゴンの設定後の道路画像例を示す説明図である。上述の透明化ポリゴンの作用により、領域Ａ１８１では、下側の画像が表示されるため、図１７で示した横断歩道の分断状態が解消される。領域Ａ１８２でも同様に、停止線が完全な状態で表示される。また、領域Ｂ１８に例示するように、路面テクスチャの端部ののこぎり刃状の輪郭は視認されなくなり、道路画像全体の画質が向上する。
領域Ａ１８３では、バス専用の文字が、はっきりと判読可能な状態となる。領域Ａ１８４では、車線境界線が完全な状態で表示される。
このように、本実施例では、透明化ポリゴンを設定することにより、道路画像の画質を向上させることができるとともに、道路面の標示の画質も向上させることができる。
【０１２９】
Ｃ６．ペイント認識処理：
（１）全体処理：
図１９はペイント認識処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示したペイント認識部２２３の処理に相当する。
処理を開始すると、ＣＰＵは処理データ記憶部２１０から、処理対象となっている道路の画像、即ち路面テクスチャ、パスのデータを読み込む（ステップＳ３００）。
次に、ＣＰＵは縦配置処理を行って（ステップＳ３０２）、縦配置画像を生成し、処理データ記憶部２１０に格納する。
【０１３０】
図２０は縦配置処理の内容を示す説明図である。図２０（ａ）に通常の処理における連結画像を示した。図中の一点鎖線の矢印ＰＡ２０は画像を撮影した際のパスを表している。通常の処理では、パスＰＡ２０に沿って路面テクスチャＴｘ２０を配置する。パスＰＡ２０の位置座標は、緯度経度などの絶対座標系ＸＹで得られている。従って、絶対座標系でパスＰＡ２０および路面テクスチャＴｘ２０を配置すると、図２０（ａ）に示すように連結画像は斜めに表示されることがある。この例では、直線状の道路を例示しているが、道路がカーブしている場合には、連結画像もカーブした状態となる。
【０１３１】
図２０（ｂ）は縦配置した画像例を示した。道路が直線状のため、図２０（ａ）の向きを矢印Ａ２０方向に回転した状態の画像となっている。
縦配置の画像は、次の手順で生成することができる。まず、２次元座標ｘｙの縦（ｙ）方向に距離軸を設定する。距離軸とは、パスＰＡ２０に沿って画像を撮影する際の開始点からの移動距離を表す軸である。パスＰＡ２０が直線状の時は、パスＰＡ２０の進行方向を上向きに表示した状態となる。パスが曲線状のときには、パスを直線状に伸ばした状態となる。
それぞれの路面テクスチャＴｘ２０については、撮影時の位置座標データおよび撮影開始からの移動距離が得られているから（図１の位置計測部１１０参照）、これらのデータに基づき、距離軸上に路面テクスチャＴｘ２０を配置する。路面テクスチャＴｘ２０は、画像内の代表点を距離軸上に置き、左右対称軸が距離軸に平行になるよう配置する。こうすることによって、パスが曲線状か否かに関わらず、進行方向が縦方向に直線状に伸ばされた状態の連結画像を表示することができる。この連結画像によれば、図示する通り、横断歩道および停止線は距離軸に直交する方向（図中の左右方向）に描かれ、車線境界線は距離軸に沿う方向（図中の上下方向）に描かれる。縦配置画像には、このように道路の標示が一定の位置関係で描画されるため、これらの認識がしやすくなるという利点がある。
ここでは、距離軸を縦に配置する例を示したが、横または斜めなど任意の方向に配置可能である。
【０１３２】
図１９に戻り、ペイント認識処理について説明する。
縦配置処理が完了すると、ＣＰＵは横断関連ペイント抽出処理を行う（ステップＳ３１０）。これは、横断歩道、自転車横断帯、停止線など交差点近辺の標示を抽出する処理である。本実施例では、処理データ記憶部２１０に格納された縦配置画像を用い、そこに描かれた標示を画像処理で抽出するとともに、標示に含まれる線分の位置関係や長さなどに基づく条件判断によって標示の種別を判断するようにした。
【０１３３】
横断関連ペイント処理が終わると、ＣＰＵは各種ペイント抽出処理を行う（ステップＳ３５０）。この処理で抽出対象となる標示を図中に示した。
「境界線」とは、実線および破線などで描かれた車線境界線である。
「矢印」とは、交差点内の進行方向の規制を示すために、交差点付近で各車線に示されている矢印である。
「ゼブラ」とは、横断歩道とは異なり、中央分離帯や右左折用の車線が増える箇所などに標示されている縞模様である。
「Ｕターン」とは、Ｕターン禁止道路に描かれているＵ字形状の矢印である。
「転回禁止」とは、Ｕターンの矢印とともに描かれている×印である。
「規制」とは、通行規制の時刻標示等である。例えば、バスレーンなどの標示と併せて描かれる「１７−１９」の標示（１７時〜１９時であることを意味）のような通行態様の規制等である。
「数字」とは、速度規制などの数字である。
「横断歩道予告」とは、横断歩道手前に描かれている菱形の記号である。
「減速帯」とは、車速の減速を促すために、路面上にパスに直交する方向の線分をパスの進行方向に沿って平行に複数本配置することで描かれている縞模様である。
「路面塗装」は、急カーブその他の運転者の注意を喚起すべき箇所に対し、通行の安全のために施されている赤色等の舗装領域である。
「バスレーン文字」とは、バスレーンとして使用される車線に付される「バス専用」「バス優先」という文字である。本実施例では、バスレーンを例示しているが、バスレーンに限らず、路面に標示される文字一般を対象としてもよい。
「終わり記号」とは、バスレーンなどの終了地点を示す「０」形状の記号である。
本実施例では、これらの標示を対象としているが、これらは例示に過ぎず、更に多くの標示を対象としてもよいし、この中の一部を抽出処理の対象外としても構わない。
【０１３４】
各種ペイント抽出処理（ステップＳ３５０）では、予め用意されたモデルを用いて、パターンマッチングを行う。本実施例では、人工モデル画像、ＯＣＲモデル画像の２種類を用いるものとした。これらのモデルは、予め処理データ記憶部２１０に記憶されている。
人工モデル画像とは、コンピュータグラフィックスによって生成されたモデルである。矢印、Ｕターン、転回禁止など、比較的単純な標示のマッチング用のモデルとして適している。
ＯＣＲモデル画像とは、撮影された画像から、オペレータが手作業で切り出した画像に基づいて生成されたモデルである。例えば、数字、バスレーンなどの複雑な形状をした標示のマッチング用のモデルとして適している。これらのモデルをコンピュータグラフィックスによって生成することも不可能ではないが、文字の形状を現実の道路標示に併せてモデルを生成するためには、結局、撮影した画像をトレース等する必要が生じるため、結果としてＯＣＲモデルを利用しているのと大差ない。
【０１３５】
ＣＰＵは、以上の処理を連結画像単位で、実行し、ペイント認識結果を処理データ記憶部２１０に格納して、ペイント認識処理を終了する。
以下では、相対座標変換処理（ステップＳ３７０）について詳細に説明する。
【０１３６】
（２）相対座標変換処理：
図２１は相対座標変換処理の内容を示す説明図である。本実施例では、以上で説明した各種標示の認識結果は、全て距離軸に沿って路面テクスチャを配置した直線状の画像を用いて得られている。従って、認識結果は、この直線状の画像を表示する座標系における相対的な位置が取得されているに過ぎない。相対座標変換処理は、この相対的な位置を、撮影時の位置座標に対応する絶対座標系の位置に変換する処理である。
【０１３７】
図の左側には、直線状の連結画像で標示を認識した状態を示している。ここでは、矩形の存在領域Ｍ３９１、Ｍ３９２を示した。これらの存在領域Ｍ３９１、Ｍ３９２の位置は、代表点としての重心Ｇ３９１、Ｇ３９２の位置座標で表される。この座標は、直線状の連結画像を表示するための座標系ｘｎ、ｙｎで与えられる。この座標系ｘｎ、ｙｎは、例えば、距離軸ＮＰ３９をｙｎ軸として定義することが好ましい。
【０１３８】
連結画像では、路面テクスチャＴｘ３９の代表点が、撮影時の位置に応じて、距離軸上に配置されている。各路面テクスチャＴｘ３９内の各点の代表点からの相対的な座標は既知である。従って、各存在領域の重心Ｇ３９１、Ｇ３９２の路面テクスチャＴｘ３９内での相対的な座標が求まるため、重心Ｇ３９１、Ｇ３９２から距離軸におろした垂線の足Ｒ３９１、Ｒ３９２の座標も求めることができる。
【０１３９】
図の右側には、絶対座標系ＸＹに変換した状態を示した。道路は直線とは限らないから、絶対座標系では、撮影時に取得された位置座標に従い、パスＲＰ３９は曲線状に描かれることもある。
各存在領域Ｍ３９１、Ｍ３９２の位置および向きは次の方法で求める。
まず、この曲線状のパスＲＰ３９の基準点からの距離に応じて、存在領域の垂線の足Ｒ３９１、Ｒ３９２のパスＲＰ３９上での位置を求め、点Ｒ３９１、Ｒ３９２から、それぞれ法線ベクトルＶ３９１、Ｖ３９２を描き、その終点を重心Ｇ３９１、Ｇ３９２とする。法線ベクトルＶ３９１、Ｖ３９２の大きさは、直線状の連結画像における点Ｒ３９１、Ｇ３９１間の距離、および点Ｒ３９２、Ｇ３９２間の距離にそれぞれ等しい。存在領域Ｍ３９１、Ｍ３９２の方向は、長手方向が法線ベクトルＶ３９１、Ｖ３９２と直交するように配置する。つまり、存在領域Ｍ３９１、Ｍ３９２と、重心Ｇ３９１、Ｇ３９２、および垂線の足Ｒ３９１、Ｒ３９２の相対的な位置関係が、直線状の連結画像（図の左側）と絶対座標系（図の右側）とで同一となるように、存在領域Ｍ３９１、Ｍ３９２を配置するのである。
この変換処理により、抽出された各標示の位置を絶対座標系の位置座標で表すことが可能となる。
【０１４０】
上述した絶対座標系への位置座標の変換処理は、次の方法で行っても良い。
まず、各存在領域の構成点、つまり存在領域の頂点の位置を、それぞれの頂点が属する路面テクスチャの代表点を基準とする相対座標で求める。そして、それぞれの路面テクスチャを絶対座標系ＸＹでの配置に変換する際に、同様の変換をそれぞれの構成点に施すのである。こうすることにより、比較的容易に絶対座標系での構成点の位置座標を得ることができる。
ただし、この方法では、構成点ごとに座標変換するため、変換時に存在領域の形状が崩れる場合がある。従って、変換後の構成点の配置を、存在領域の形状に適合させる修正処理を施しても良い。
【０１４１】
Ｃ７．ペイント解析処理：
次にＣＰＵは、ペイント解析処理を行う。ペイント解析処理とは、ペイント認識処理の結果に対して、誤認識の有無を判定し、誤認識が検出された時には、ペイントの削除などの対処を行う処理である。本実施例では、各ペイントを単独で解析するのに加えて、ペイント相互の相関関係の適否を判定することで、誤認識を検出する。相関関係の適否は、ペイントの種別および位置関係に基づいて判断される。本実施例では、ペイント相互の位置関係は、ペイントの存在領域に基づいて判断するものとした。
【０１４２】
存在領域とは、ペイントを包含する矩形などの予め決められた幾何学形状を言う。存在領域として用いるべき幾何学形状は、ペイントの種類ごとに任意に設定可能である。本実施例では、主として矩形を用いるものとした。
例えば、矢印の場合には、矢印の中心軸に平行な辺を有する矩形を用いることができる。そのサイズは、矢印の先端（終点）および開始点を含む形状とすることができる。
このように存在領域が設定されると、存在領域の位置、形状および「矢印」という標示の種別が与えられると、予め用意された矢印モデルを、存在領域内に内接するように拡大・縮小することによって、矢印の標示を再現することが可能となる。
他のペイントについても同様である。ペイントごとに存在領域として用いるべき幾何学形状を予め設定しておくとともに、モデルを用意しておけば、それぞれのペイントを比較的容易に再現することが可能である。こうすることにより、ペイントのデータ容量を抑制することができる利点がある。また、存在領域は幾何学形状であるため、これを用いることにより、ペイント同士の間隔や、重なりの有無などの位置関係を比較的容易に判断することが可能である。
本実施例では、こうして設定された存在領域データをオブジェクトファイルと称する。
【０１４３】
Ｃ８．ペイント修正処理：
（１）全体処理：
図２２はペイント修正処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示したペイント修正部２２７の処理に相当する。
処理を開始すると、ＣＰＵは処理データ記憶部２１０から、処理対象となっている道路のオブジェクトファイルおよびパスのデータ、透明化ポリゴンを読み込む（ステップＳ６００）。
【０１４４】
次に、ＣＰＵは各パスのオブジェクトファイルから、表示に使用される部分を抽出する（ステップＳ６３０）。
図の右側にこの処理の概要を例示した。図の例は、連結画像ＵＰ２２の上に、連結画像ＯＰ２２が部分的に重なっている状態を示している。連結画像ＵＰ２２内には、標示を表すオブジェクトＰｕ２２１、Ｐｕ２２２が含まれており、連結画像ＵＰ２２内には、オブジェクトＰｏ２２１、Ｐｏ２２２が含まれている。
また、オブジェクトＰｏ２２２を包含するように、透明化ポリゴンＴＰ２２２が設定されている。透明化ポリゴンＴＰ２２２が透過状態となるため、連結画像ＵＰ２２の領域ＴＰ２２１が表示される。オブジェクトＰｏ２２２は非表示となる。
【０１４５】
この状態で、ステップＳ６３０の処理では、ＣＰＵは、下側のオブジェクトＰｕ２２１，Ｐｕ２２２に対しては、図中のハッチングの部分のみを表示に使用される部分として抽出する。オブジェクトＰｕ２２２は全体が表示されるため、そのままの形状で抽出される。オブジェクトＰｕ２２１は、連結画像ＯＰ２２で隠される部分を除くハッチングの部分が抽出される。
一方、上側の連結画像ＯＰ２２については、オブジェクトＰｏ２２１は全体が表示に使用されるため、そのまま抽出される。オブジェクトＰｏ２２２は、透明化ポリゴンＴＰ２２２によって透過状態とされるため、抽出されない。仮に、透明化ポリゴンＴＰ２２２が、領域ＴＰ２２１に対応する部分に設定されている場合には、オブジェクトＰｏ２２２については、図中のハッチングを付した部分が表示に使用されるようになるため、この部分が抽出されることになる。
【０１４６】
次に、ＣＰＵはオブジェクト結合処理を行う（ステップＳ６５０）。本実施例では、車線境界線、横断歩道、自転車横断帯、および停止線をこの処理の対象とした。
オブジェクト結合処理とは、複数の同種のオブジェクトの位置関係に基づいて、単一のオブジェクトか否かを判定するとともに、単一のオブジェクトと判断される場合には、複数のオブジェクトを結合して一つのオブジェクトを生成する処理である。
それぞれのオブジェクトに対する結合処理の内容は後述する。
【０１４７】
オブジェクト結合処理が終わると、ＣＰＵはオブジェクト補正処理を行う（ステップＳ６８０）。オブジェクト補正処理は、それぞれのオブジェクトを整形したり、非表示のオブジェクトを表示状態に変更したりする処理である。この処理内容についても後述する。
【０１４８】
（２）車線境界線結合処理：
図２３は車線境界線結合処理のフローチャートである。ペイント修正処理（図２２）のステップＳ６５０に相当する処理である。
この処理では、ＣＰＵはまず車線境界線のオブジェクトを入力し（ステップＳ６５１）、処理対象となる境界線を任意に選択する（以下、選択されたものを「対象境界線」と称する）。そして、対象境界線の端点から距離Ｒ内に端点が存在する車線境界線を抽出する（ステップＳ６５２）。
【０１４９】
図中に抽出例を示した。表示領域Ａ２３１から対象境界線として車線境界線ＰＬ２３が選択されているとする。表示領域Ａ２３１は、連結画像と同一としてもよいし、連結画像を規定のサイズで分断して定義してもよい。
ステップＳ６５２の処理では、対象境界線の端点Ｐ２３０から、距離Ｒ（図中の円）内に端点が存在するものとして、表示領域Ａ２３１内の車線境界線Ｌ２３１、隣接する表示領域Ａ２３２内の車線境界線Ｌ２３２、Ｌ２３３が抽出される。このように、距離Ｒ内の車線境界線は、対象境界線が存在する連結画像内から抽出するものに限定されず、他の連結画像から抽出されたものであってもよい。
抽出の基準となる距離Ｒは、対象境界線と連続した車線境界線とみなすことができる範囲内で任意に設定可能である。距離Ｒを小さい値に設定すれば、連続していない車線境界線を抽出する可能性を低減することができるが、連続した車線境界線に抽出漏れが生じるおそれがある。距離Ｒの値は、こうした両面を考慮して設定することができる。
【０１５０】
こうして近接する車線境界線を抽出すると、ＣＰＵは、異なる表示領域内から端点間の距離が最短となる車線境界線を選択し、結合する（ステップＳ６５３）。図中に結合の例を示した。図の例では、車線境界線Ｌ２３１は、対象境界線ＰＬ２３と同じ表示領域内にあるから選択の対象外となる。異なる表示領域にある車線境界線Ｌ２３２、Ｌ２３３のうち、端点Ｐ２３０からの距離が短いのは、車線境界線Ｌ２３２である。従って、対象境界線ＰＬ２３と車線境界線Ｌ２３２が連続した車線境界線であると判断し、端点Ｐ２３０と、車線境界線Ｌ２３２の端点ＬＰ２３２を結合する。こうすることで、一つの連続した車線境界線が定義される。
【０１５１】
こうして結合が完了すると、ＣＰＵはスムージングを施す（ステップＳ６５４）。図中にスムージングの例を示した。スムージングによって、端点Ｐ２３０、Ｐ２３２で結合された２つの車線境界線の各構成点を通過する曲線ＳＬ２３が得られる。スムージングは、ベジェ曲線、スプライン曲線などを用いることができる。こうすることによって、結合部分のいびつさを抑制することができる。
ＣＰＵは以上の処理を、対象境界線を変えながら、全ての車線境界線について実行する。
【０１５２】
（３）横断歩道・自転車横断帯合成処理：
図２４は横断歩道・自転車横断帯合成処理のフローチャートである。ペイント修正処理（図２２）のステップＳ６５０に相当する処理である。
処理を開始すると、ＣＰＵは横断歩道、自転車横断帯オブジェクトを入力する（ステップＳ６６１）。
そして、各オブジェクトについて近似四辺形を生成する（ステップＳ６６２）。横断歩道、自転車横断帯のオブジェクトとして、矩形または四角形の存在領域が設定されている時は、この処理は省略することができる。
【０１５３】
図中に近似四辺形の生成方法を示した。横断歩道等のオブジェクトが、点Ｐ２４１〜Ｐ２４５からなる五角形で設定されている場合を例示した。近似四辺形を生成する際には、この点Ｐ２４１〜Ｐ２４５から、最大距離を有する２点の対角線Ｐ２４１−Ｐ２４４を求める。そして、残余の各構成点Ｐ２４２、Ｐ２４３、Ｐ２４５から、この対角線への距離ｄ２４２，ｄ２４３、ｄ２４１を求め、その中の大きい側から２つを選択する。ただし、これらの２つの点は、対角線Ｐ２４１−Ｐ２４４を挟んで両側に位置するよう選択する。図の例では、距離ｄ２４１、ｄ２４３が大きい値となるため、これらに対応する構成点Ｐ２４５、Ｐ２４３を選択する。
こうして選択された構成点Ｐ２４５、Ｐ２４３および上述の対角線の両端の点Ｐ２４１、Ｐ２４４によって四辺形を得ることができる。
【０１５４】
次に、ＣＰＵは、横断歩道、自転車横断帯をグループ化する（ステップＳ６６３）。つまり、複数の横断歩道、自転車横断帯のうち道路の幅方向に配列しているものは、単一の横断歩道、自転車横断帯を表しているものとみなし、これらをグループ化するのである。
まず処理対象となる四辺形ＣＲ２４２のうち、パスＰＳ２４２にほぼ平行な２つの辺の中点Ｐｂ２４１、Ｐｂ２４２を求める。そして、中点Ｐｂ２４１、Ｐｂ２４２を延長し、他のパスＰＳ２４１，ＰＳ２４３との交点Ｐｂ２４３、Ｐｂ２４４を求める。こうして得られた点のうち、最も離れて存在する２点を選択する。図中の例では、点Ｐｂ２４３、Ｐｂ２４４となる。
そして、この２点Ｐｂ２４３、Ｐｂ２４４を結ぶ線分を規定の倍率で延長して線分Ｌ２４１を得る。
また、この線分Ｌ２４１を、図中の矢印に示すように、パスＰＳ２４２の前後方向にそれぞれ所定量だけオフセットすることによって、線分Ｌ２４２、Ｌ２４３を得る。この線分Ｌ２４２、Ｌ２４３を２つの辺とする四辺形（図中の太線で示した四辺形）を定義し、この四辺形と重なるオブジェクトＣＲ２４１〜ＣＲ２４６を一つのグループと認識する。
以下、太線の四辺形をグループ化領域と呼ぶこともある。
【０１５５】
上述の処理において、２点Ｐｂ２４３、Ｐｂ２４４を結ぶ線分を延長して線分Ｌ２４１を得る際の倍率、および線分Ｌ２４１をパスＰＳ２４２から線分Ｌ２４２、Ｌ２４３を得る際のオフセット量は、それぞれ任意に設定可能である。
例えば、倍率は、パスＰＳ２４１、ＰＳ２４３の連結画像内のオブジェクトＣＲ２４１、ＣＲ２４３を捕捉できる程度の値を設定すればよい。またオフセット量は、横断歩道および自転車横断帯の標準的な幅（パスの進行方向に沿った長さ）を考慮して設定すればよい。
【０１５６】
次に、ＣＰＵは、次の手順で、グループ化されたオブジェクトＣＲ２４１〜ＣＲ２４６の合成、整形処理を行う（ステップＳ６６４）。
まずグループ内にあるオブジェクトを種別に応じて、横断歩道のオブジェクトＣＲ２４１〜ＣＲ２４３と、自転車横断帯のオブジェクトＣＲ２４４〜ＣＲ２４６に分ける。
横断歩道のオブジェクトＣＲ２４１〜ＣＲ２４３については、これらのオブジェクトを構成する各辺のうち、最も離れた２辺Ｓ２４１，Ｓ２４２を抽出する。そして、２辺Ｓ２４１、Ｓ２４２を対向する２辺とする四辺形Ｒ２４１を生成し、これを合成形状とする。
自転車横断帯についても同様に、オブジェクトＣＲ２４４〜ＣＲ２４６を構成する各辺のうち、最も離れた２辺Ｓ２４３、Ｓ２４４を抽出する。そして、２辺Ｓ２４３、Ｓ２４４を対向する２辺とする四辺形Ｒ２４２を生成し、これを合成形状とする。
こうして得られた合成形状Ｒ２４１、Ｒ２４２について、次に示す整形処理を施す。
【０１５７】
図２５は横断歩道・自転車横断帯の整形方法を示す説明図である。横断歩道と自転車横断帯とは隣接して平行に描かれているのが通常であるため、横断歩道および自転車横断帯の合成形状を、このような状態に整形するための処理である。
【０１５８】
図２５（ａ）は、横断歩道の合成形状ＣＲ２５１に対して、自転車横断帯の合成形状ＣＲ２５２の長さ（道路の横断方向、図中の例では左右方向）の割合が所定値（本実施例では２／３とした）以上となる場合の処理例を示した。所定値は任意に設定可能である。
横断歩道の合成形状ＣＲ２５１は、整形前はハッチングの状態であったとする。自転車横断帯の長さが十分にある場合には、自転車横断を基準として横断歩道の合成形状ＣＲ２５１を整形する。従って、自転車横断帯の辺Ｓ２５３の延長線と、横断報道の合成形状ＣＲ２５１の左右の辺Ｓ２５１、Ｓ２５２の延長線との交点Ｐ２５１、Ｐ２５２を求め、これらの点を含む台形を横断歩道の合成形状とする。
【０１５９】
図２５（ｂ）は、自転車横断帯の長さが十分でない場合、つまり自転車横断帯の長さが横断歩道の長さの２／３よりも小さい場合の例を示した。この場合は、横断歩道の形状を基準として自転車横断帯の合成形状を整形する。自転車横断帯の幅は、Ｄ２５であるとする。
従って、図２５（ｂ）に示すように、自転車横断帯の合成形状ＣＲ２５４の両側の辺Ｓ２５４、Ｓ２５５を延長し、横断歩道の合成形状ＣＲ２５３との交点Ｐ２５３、Ｐ２５４を求める。
次に、図２５（ｃ）に示すように、点Ｐ２５３、Ｐ２５４から幅Ｄ２５だけ移動した点に辺Ｓ２５６を設定し、これらで囲まれる部分を自転車横断帯の合成形状ＣＲ２５５とする。
【０１６０】
図２５（ｄ）には、上述の整形の結果、横断歩道と自転車横断帯の長さが異なる場合の例を示した。図の例では、横断歩道の合成形状ＣＲ２５３の長さよりも、自転車横断帯の合成形状ＣＲ２５５の長さが短い例を示している。この場合には、自転車横断帯の合成形状ＣＲ２５５の両端の辺Ｓ２５７、Ｓ２５８を横断歩道の合成形状ＣＲ２５３に一致するまで移動させる。また、これに合わせて辺Ｓ２５６を延長する。
こうすることによって、自転車横断帯の合成形状ＣＲ２５５と、横断歩道の合成形状ＣＲ２５３の長さを一致させることができる。
図の例では、自転車横断帯の合成形状ＣＲ２５５を左右方向に延長する処理例を示したが、横断歩道の長さが自転車横断帯よりも短い場合には、同様の処理によって、横断歩道を延長してもよい。
【０１６１】
（４）停止線合成処理：
図２６は停止線合成処理のフローチャートである。ペイント修正処理（図２２）のステップＳ６５０に相当する処理である。
処理を開始すると、ＣＰＵは停止線オブジェクトを入力する（ステップＳ６７１）。そして、停止線をグループ化および合成を行う（ステップＳ６７２、Ｓ６７３）。グループ化および合成は、横断歩道、自転車横断帯と同じ方法（図２４のステップＳ６６３、Ｓ６６４）で行うことができる。
【０１６２】
次に、ＣＰＵは停止線の整形を行う（ステップＳ６７４）。停止線は、車線境界線の間に描かれているのが通常であるため、車線境界線をはみ出す部分を削除するのである。
図中に処理例を示した。左側に示すように、停止線について台形状の合成形状ＳＬ２６１が得られているとする。車線境界線Ｌ２６１、Ｌ２６２内にはハッチングの部分が描かれており、その両端は車線境界線Ｌ２６１、Ｌ２６２からはみ出している。
ＣＰＵは、停止線の合成形状ＳＬ２６１と、車線境界線Ｌ２６１、Ｌ２６２との交点Ｐ２６１〜Ｐ２６４を求め、停止線の両端を削除する。こうすることによって、図の右側に示すように、車線境界線Ｌ２６１、Ｌ２６２内に収まるように整形した停止線の合成形状ＳＬ２６２を得ることができる。
【０１６３】
（５）オブジェクト補正処理：
図２７はオブジェクト補正処理のフローチャートである。ペイント修正処理（図２２）のステップＳ６８０に相当する処理である。
処理を開始すると、ＣＰＵは各オブジェクトを入力し（ステップＳ６８１）、車線境界線を整形する（ステップＳ６８２）。
本実施例の整形処理では、横断歩道、自転車横断帯および停止線を基準として車線境界線を整形するようにした。車線境界線に比較して横断歩道等の方が、誤認識が少ないからである。
【０１６４】
図中に整形の処理例を示した。この例では、停止線ＳＬ２７１、ＳＬ２７２および横断歩道ＣＲ２７１、自転車横断帯ＣＲ２７２が含まれている。
停止線ＳＬ２７２の両側には車線境界線Ｌ２７１が存在する。車線境界線Ｌ２７１と自転車横断帯ＣＲ２７２との間には隙間がある。そこで、整形処理では、車線境界線Ｌ２７１を線分Ｌ２７２に示すように延長し、自転車横断帯ＣＲ２７２に接続させる。横断歩道ＣＲ２７１との間に隙間がある車線境界線Ｌ２７３も同様に、線分Ｌ２７４に示すように延長し、横断歩道ＣＲ２７１に接続させる。
【０１６５】
停止線ＳＬ２７１の端に位置する車線境界線Ｌ２７５は、逆に、横断歩道ＣＲ２７１内に入り込んでいる。従って、整形処理では、破線の線分Ｌ２７５ｃに示すように、横断歩道ＣＲ２７１の境界線よりも内部に入り込んだ部分を削除する。同様に、車線境界線Ｌ２７７についても、自転車横断帯ＣＲ２７２に入り込んだ部分Ｌ２７７ｃを削除する。
また、車線境界線Ｌ２７６は、横断歩道ＣＲ２７１、自転車横断帯ＣＲ２７２を貫通している。従って、整形処理では、貫通している部分Ｌ２７６ｃを削除する。この結果、車線境界線Ｌ２７６は、横断歩道ＣＲ２７１、自転車横断帯ＣＲ２７２の左右の部分に分断されることになる。
【０１６６】
次に、ＣＰＵはペイント補正処理を行う（ステップＳ６８３）。ペイント補正処理とは、連結画像が重なり合っている部分で、下側の連結画像においてのみ認識されており非表示となっているペイントを表示可能な状態に変更する処理である。
図中に処理例を示した。下側に配置されている連結画像およびペイントを破線で示し、上側に重ねられる連結画像およびペイントを実線で示した。
下側の矢印Ｍ２７２には、対応する位置に上側の矢印Ｍ２７１が存在する。従って、ここでは、矢印Ｍ２７１、Ｍ２７２を比較した上で矢印Ｍ２７１が採用されていると判断されるため、矢印Ｍ２７２はそのまま非表示の状態とされる。なお、比較の結果、矢印Ｍ２７２側を表示に使用すると判断された場合には、矢印Ｍ２７１を包含するように透明化ポリゴンを設定すればよい。
これに対し、矢印Ｍ２７３には、重なり合う上側の矢印が存在しない。従って、矢印Ｍ２７３は、従前の処理において誤認識と判断され、非表示の状態に設定されていると判断される。そこで、本実施例では、オブジェクト補正処理として、このように下側にのみ位置する矢印Ｍ２７３を、表示可能な状態に変更する。例えば、矢印Ｍ２７３を切り抜いて上側の連結画像内に結合させるようにしてもよいし、上側の連結画像内の矢印Ｍ２７３に対応する位置に透明化ポリゴンを設定してもよい。
【０１６７】
Ｄ．効果：
以上で説明した実施例の道路面撮影システム１００および路面標示地図生成装置２００によれば、道路を走行しながら取得したフレーム画像を正射変換して得られた路面テクスチャを配置することにより、走行軌跡（パス）に沿って位置精度のよい連結画像を得ることができる。更に、複数のパスに沿って得られた連結画像同士を、位置合わせして合成することにより、道路全体の路面画像を得ることができる。この際、画像を撮影した際の各パスの位置精度が最も高いものを基準パスとして、他のパスをこの基準パスに合わせる方法を採ることにより、全体の位置精度を確保しつつ路面画像を生成することができる。
本実施例では、各パスの連結画像は、路面テクスチャを配置するまでに留め、これらを一枚の画像として合成していない。従って、路面テクスチャ単位で配置を平行移動することによって、複数パスの連結画像を容易に合成可能である。
【０１６８】
本実施例では、各パスの連結画像の生成、および複数パスの連結画像の合成のいずれの処理も、路面テクスチャに対するアフィン変換を施す必要がなく、単純な平行移動で行う。従って、複雑な画像処理に伴う画質の劣化を回避することができ、路面標示が鮮明な状態で表示された路面画像を得ることが可能である。また、平行移動で行うため、路面テクスチャ内の代表点を基準とする相対的な座標系は、連結画像の生成および合成の前後で維持される。この結果、代表点の絶対位置座標が得られれば、路面テクスチャ内の各点の絶対位置座標を容易に取得することが可能となり、路面標示の絶対位置座標を取得することも可能となる。
【０１６９】
また、本実施例では、連結画像から認識された複数の標示について、その位置関係に基づき、単一の標示と判断できるものを合成することができる。また、横断歩道等に車線境界線を接続させたり、逆に、横断歩道等の内部に入り込んだ車線境界線を削除したりすることによって、両者の位置関係を適正化することができる。更に、連結画像同士の重なり合いによって、隠されてしまっている標示を、それに重なる標示の有無に応じて、表示状態とさせることができる。
複数の標示間の位置関係に基づいて、これらの修正を施すことにより、本実施例では、標示の誤認識等の一部を除去することができ、標示の認識精度を向上させることができる。
【０１７０】
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。
例えば、連結画像は、路面テクスチャを合成した一枚の画像として生成してもよい。この場合、複数パスの合成を行う際には、連結画像を路面テクスチャに相当する複数の領域に分割した上で、領域ごとに平行移動すればよい。
本実施例では、車両に搭載したビデオカメラで撮影した画像を利用する例を示したが、車両に限らず自転車その他の種々の移動体を利用可能であり、歩行しながら撮影する方法を採っても良い。
【図面の簡単な説明】
【０１７１】
【図１】実施例としての道路面撮影システムの構成を示す説明図である。
【図２】実施例としての路面標示地図生成装置の構成を示す説明図である。
【図３】路面標示地図の生成過程における中間データを示す説明図である。
【図４】実施例における道路画像の生成例を示す説明図である。
【図５】位置合わせ加工の概要を示す説明図である。
【図６】交差点が存在する場合の位置合わせの手順を示す説明図である。
【図７】連結画像生成処理のフローチャートである。
【図８】位置合わせ加工のフローチャートである。
【図９】基準パス設定処理のフローチャートである。
【図１０】連結画像移動処理のフローチャートである。
【図１１】位置合わせ加工の処理例（１）を示す説明図である。
【図１２】位置合わせ加工の処理例（２）を示す説明図である。
【図１３】位置合わせ加工の処理（２）の加工結果を示す説明図である。
【図１４】路面標示の絶対位置座標の取得方法を示す説明図である。
【図１５】透明化ポリゴン設定処理の概要を示す説明図である。
【図１６】透明化ポリゴン設定処理のフローチャートである。
【図１７】透明化ポリゴンを設定する前の道路画像例を示す説明図である。
【図１８】透明化ポリゴンの設定後の道路画像例を示す説明図である。
【図１９】ペイント認識処理のフローチャートである。
【図２０】縦配置処理の内容を示す説明図である。
【図２１】相対座標変換処理の内容を示す説明図である。
【図２２】ペイント修正処理のフローチャートである。
【図２３】車線境界線結合処理のフローチャートである。
【図２４】横断歩道・自転車横断帯合成処理のフローチャートである。
【図２５】横断歩道・自転車横断帯の整形方法を示す説明図である。
【図２６】停止線合成処理のフローチャートである。
【図２７】オブジェクト補正処理のフローチャートである。
【符号の説明】
【０１７２】
１００…道路面撮影システム
１１０…位置計測部
１１０…計測データ
１１２…コントローラ
１１４…ＧＰＳ
１１４Ａ…アンテナ
１１６…ＩＭＵ
１１８…ＤＭＩ
１２０…ビデオカメラ
１３０…記録装置
１４０…ハードディスク
１４２…画像データ
１４４…同期データ
１４６…計測データ
１５０…基準局データ
２００…路面標示地図生成装置
２０１…主制御部
２０２…コマンド入力部
２０３…表示制御部
２０４…データ入力部
２０５…軌跡データ算出部
２０６…画像変換部
２０７…１パス画像合成部
２１０ａ…軌跡データ
２１０ｂ…路面軌跡データ
２１０ｃ…路面テクスチャ
２１０ｄ…連結画像
２１０ｅ…道路画像
２１０ｆ…道路画像用登録データ
２１０ｇ…軌跡用登録データ
２１０…処理データ記憶部
２２０…位置合わせ処理部
２２１…透明化ポリゴン設定部
【技術分野】
【０００１】
本発明は、道路面に施された標示を含む路面標示地図を生成する技術に関する。
【背景技術】
【０００２】
カーナビゲーションなどで使用される電子地図データには、多様な機能を実現するため、種々の詳細なデータが要求されている。その一つとして、横断歩道や中央線、車線境界線などの路面に描かれる標示が挙げられる。これらの標示を予め画像として取得しておくことにより、ユーザに対して実際の路面に近い画像を提供することができ、直感的に理解しやすい案内を実現することが可能となる。
【０００３】
標示を含む路面の画像を効率的に生成するための技術として特許文献１、特許文献２などが挙げられる。
特許文献１は、車輌の前後または側方に対してデジタルカメラ等により取得された画像から、路面の標示を含む静止画像を生成する技術を開示している。この技術では、目的の道路を車両で走行しながら、その車両に搭載されたデジタルカメラ等で路面の標示等を撮影する。そして、動画を構成する各フレーム画像を真上から見た状態の正射画像に変換し、撮影位置に応じて配列する。正射画像とは、道路の垂直上方の無限遠点に視点を置いた場合の道路画像を言う。複数のフレーム画像を配列することによって、１回の走行の軌跡（以下、パスと呼ぶこともある）に沿った道路面の合成画像を得ることができる。
【０００４】
特許文献２は、２つのパスで得られた画像を合成して幅広の道路画像を合成する技術を開示している。この技術では、まず一つのパスで得られた画像に対して、道路の車線境界線など、本来、直線的に描かれているものが直線として表示されるようにアフィン変換をかける。そして、２つのパスで共通して撮影されている車線境界線などの座標が一致するように、一方のパスの画像をアフィン変換する。また、同様の方法によって、パスごとに画像をアフィン変換しながら合成することによって３以上のパスを合成する技術も開示している。
【０００５】
特許文献３は、道路面の画像から、標示を抽出する技術を開示している。この技術では、航空写真などの画像から、画像処理によって道路ペイントに当たる部分を抽出し、抽出された部分の特徴量に基づいて道路ペイントの種別を判断する。特徴量としては、抽出した部分の長手方向を代表する軸と、道路ネットワークのリンクとの角度などが用いられている。
【０００６】
【特許文献１】特開２００７−２４９１０３号公報
【特許文献２】特許第３８２０４２８号公報
【特許文献３】特開２００７−１２２６６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
地図データには、経路探索用に道路をノード、リンクで表した道路ネットワーク、および地図を表示するために道路をポリゴンで表したデータなどがある。道路ネットワークでは、道路を１本または２本のリンクで代表させているため、リンクに付された座標は、道路のいずれの部分を表しているか厳密には分からない。描画データでは、道路を表すポリゴンの外周の位置座標は分かるものの、道路内部の地点についての位置座標は分からない。
例えば、道路内部の各地点の位置座標が詳細に得られている地図データが存在すれば、車両の現在位置に応じて、車両が道路のどの車線を走行しているかを判断して、車線変更の案内を行うことや、車両に横断歩道が接近していることを警告するなどの高機能な案内を実現することが可能となる。
しかし、従来の地図データは、これらの高精度、高機能な案内を実現するためには不十分な精度しか有していなかった。仮に車両の現在位置を精度良く把握したとしても、その位置情報を活かすだけの詳細な地図データが用意されていたとは言えなかったのである。
【０００８】
路面の標示は道路上の位置座標を豊富にするための目的物として適している。例えば、横断歩道や車線境界線の位置座標が得られていれば、上述した高機能な案内の実現に資することができる。
しかし、従来技術は、いずれも道路面の合成画像を得ることを主目的としており、路面の標示の位置座標を得ることを目的としてはいなかった。
例えば、特許文献２の技術は、道路が直線か曲線かに関わらず車両の進行方向をＸ軸とし、その移動距離をＸ座標として画像を表しているに過ぎず、このＸ軸に直交する方向にのみ画像をアフィン変換するに過ぎない。複数のパスで得られた画像について、このように定められたＸ座標が十分に一致しているという保証はないから、特許文献２の技術では路面の標示の位置座標を精度良く得ることはできない。
また、アフィン変換は、原画像の長方形領域を平行四辺形に歪ませる作用を持つ変換とも言えるから、特許文献２の技術では、アフィン変換によって画像の合成を行うことにより画質の劣化を招き、路面の標示の位置座標を一層低下させるという課題もある。
一方、特許文献１記載の技術は、１回のパスで得られる画像に対する処理を開示しているのみであり、道路全体を十分にカバーすることができない。
【０００９】
従来技術では、道路面の画像から標示を抽出する際にも、標示の位置精度を十分に確保できないという課題があった。特許文献３は、道路ネットワークで与えられるリンクとの位置関係で標示の種別や位置を認定しているものの、先に説明した通り、リンクに付された座標は、道路のいずれの部分を表しているか厳密には分からないデータである。従って、リンクを基準として標示の位置を認識しても、十分な精度を確保することはできない。
【００１０】
また、従来技術では、路面標示が誤認識された場合に、その形状等を修正する方法については検討されてはいなかった。
標示を自動で抽出する場合には、認識された標示同士が重なり合っていたり、単一の標示が分断された個別の標示として認識されていたり、本来、標示が存在するはずの場所であるにも関わらず認識漏れが生じていたり、という種々のタイプの誤認識が発生する。また、複数のパスで得られる画像にまたがって存在する路面標示は、各パスで正確に認識されたとしても、結果として、単一の標示が分断されて認識されたのと同じ状態となり、本来の単一の標示から見れば、不適切な状態で認識されていることになる。
これらの誤認識または不適切な状態での認識が存在すると、当然、路面標示の認識精度が低下し、それを用いた地図の信用性を損ねてしまう。
【００１１】
本発明は、これらの課題を解決し、複数の路面標示が誤認識または不適切な状態で認識された場合に、それを修正し、全体として標示を高い位置精度で抽出し、これらの標示を含む地図の生成を可能とすることを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、コンピュータによって道路面に施された標示を含む路面標示地図を生成する生成方法として構成することができる。
本発明では、まず、コンピュータは、道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら標示を含む路面を撮影した連続画像の画像データと、この画像データの撮影位置を表す位置座標データとを入力する。所定のパスは、一つでも良いし、複数でもよい。
上述の画像データは、例えば、車両などの移動体に搭載した撮影装置によって撮影することができる。撮影装置としては、例えば、ディジタル・ビデオ・カメラなどを用いることができる。また、撮影装置には、撮影時の位置座標データを取得する位置計測装置を搭載しておくことが好ましい。位置計測装置は、例えば、ＧＰＳ（Global Positioning System）や、ジャイロなどの慣性航法装置などを単独または組み合わせて用いることができる。また、処理の便宜上、撮影した画像と位置座標データを入力し、両者を同期させて記録する記録装置を用意しておくことが好ましい。
【００１３】
コンピュータは、入力された画像データを構成する各フレーム画像を変換して、路面を真上から見た状態の正射画像を得る。正射画像は、各フレーム画像の一部を利用して生成してもよい。
そして、こうして得られた正射画像を位置座標データに基づいて、パス上に配置することにより、各パスの路面を表す連結画像を生成する。この際、正射画像の一部が重なっても良い。正射画像は、例えば、その中心線がパスの進行方向に沿う状態で配置することが好ましい。
複数のパスで撮影されている場合には、各パスについて正射画像を配置する。こうすることで連結画像がパスの本数分だけ得られる。複数パスの連結画像は、部分的に重なった状態で配置されることになる。
【００１４】
各連結画像には、種々の路面標示が含まれている。コンピュータは、この路面標示の種別および位置を認識する。
路面標示の認識には、例えば、パターンマッチングを用いてもよい。連結画像から、白および黄色など標示に用いられる所定色の部分を抽出し、標示の種別ごとに予め用意された標示パターンと抽出された部分とのマッチングによって標示の認識を行うのである。
標示を認識する第２の方法として、標示に該当する部分の幾何学的な条件に基づいて標示を特定する方法をとってもよい。連結画像から標示に用いられる所定色の部分を抽出し、パスに沿う方向との位置関係および大きさに基づいて、標示の種別を認識するのである。標示を認識するための条件を以下に例示する。
横断歩道…パスに平行な方向に、均等な平行線が複数認識される領域；
自転車横断帯…パスに直交する線分のうち、一定の間隔で描かれている２本線を表しているもの（横断歩道の付近という条件を加味してもよい）；
停止線…パスに直交する線分のうち、１本線を表しているもの；
車線境界線…パスに平行な線分のうち、所定長さ以上のもの；
減速帯…パスに直交する所定長さ線分が、パス方向に平行に配置されているもの；
ゼブラ…所定間隔で平行線が描かれている領域のうち、横断歩道および減速帯に該当しないもの；
【００１５】
本発明では、連結画像から認識された複数の標示の位置関係に基づき、標示が適正な位置関係となるよう、認識された標示の少なくとも一部を修正する。
ここで言う修正には、例えば、他のパスの連結画像が上に重なって非表示となるはずの標示を表示される状態に変更するなどの非表示／表示の切り替え、複数の標示の合成、標示の整形などの処理が含まれる。
本発明は、このように認識された標示単体で修正を施すのとは異なり、複数の位置関係に基づいて標示の修正を施す。従って、複数の路面標示が誤認識または不適切な状態で認識された場合に、標示単体ではなし得ない修正を施すことができ、全体として標示の認識精度を向上させることができる。
【００１６】
処理対象となる複数の表示は、単一の連結画像内に存在するものであってもよいし、複数の連結画像から認識されたものであってもよい。
複数のパスで生成された連結画像間には、撮影時の位置誤差が含まれていることがあり、連結画像間の標示の位置に不整合が生じることがある。かかる不整合を抑制するため、パスの位置誤差を修正する処理を施しても良い。この方法としては、例えば、各パスの位置精度、またはオペレータの指示などに基づいて、複数のパスのいずれかを基準パスとし、この基準パスに他のパスを合わせる方法を採ることができる。
位置合わせを行うためには、２本以上のパスの連結画像に共通して撮影されている領域内で、対応する対応点を特定する。例えば、２本のパスに横断歩道が共通に撮影されている場合には、それぞれの連結画像において横断歩道の縞模様のいずれかの角を対応する対応点とすることができる。対応点は、各連結画像からの標示の認識結果に基づいて自動的に設定してもよいし、オペレータの指示によるものとしてもよい。
こうして特定された対応点同士のずれは、位置座標の誤差を表すことになる。従って、対応する対応点の位置が一致するように設定された移動ベクトルに基づいて、基準パス以外のパスの連結画像に対して補正をかけることで、複数のパスの位置の不整合を解消することが出来る。
【００１７】
本発明において、連結画像の一部が重なり合う位置関係にある複数のパスについて生成されている場合には、連結画像の一部を透過状態とするための透明化ポリゴンを設定する処理を施しても良い。透明化ポリゴンが設定された場所では透過状態となるため、連結画像が重なり合っている箇所でも下側の連結画像内の路面標示を表示させることができる。透明化ポリゴンは、路面標示の位置を認識して自動的に設定されるようにしてもよいし、オペレータの指示を受け付けて設定するようにしてもよい。
このように透明化ポリゴンが設定されている場合には、認識された標示の一部が、透明化ポリゴンによって透過状態とされることがある。このような場合には、透明化ポリゴンによって透過状態とされる部分を除いた状態の標示に基づいて、標示間の位置関係を判定してもよい。こうすることによって、表示時の標示に基づいて修正処理を施すことができる。
【００１８】
本発明における修正は、種々の態様を採ることができる。
例えば、認識された複数の標示が同一の種別である場合には、位置関係に応じて、標示を合成して単一の標示としてもよい。連結画像が重なり合っている部分などでは、一つの標示が重複して認識されることがある。これらの標示は、同一種別であるとともに、相互に重なり合う位置関係、近接している位置関係、一定方向に配列されている位置関係など、相互に関連した位置関係にある。本態様によれば、同一種別の標示を、相互の位置関係に応じて、同一の標示であると認識し、合成することができる。こうすることで、一つの標示が重複して認識されるという一種の誤認識を解消することができる。
【００１９】
別の態様として、幅方向の位置が異なる複数のパスに対して連結画像が生成されており、連結画像の一部が重なり合っている場合に、複数のパスの連結画像からそれぞれ認識された標示を合成してもよい。合成の例として、道路の幅方向に並ぶ同一種別の標示を合成して、道路の幅方向に延伸する単一の標示とする処理が挙げられる。
横断歩道、自転車横断帯、停止線など、路面標示には、道路の幅方向に伸びるものがある。幅広の道路の場合、一つのパスで生成される連結画像では、道路幅全体を包含することができず、横断歩道等の路面標示も全体を包含することができないことがある。この結果、横断歩道等の路面標示は、複数の連結画像で分断して認識されることになる。
本態様によれば、同一種別の標示が、幅方向に並んでいる位置関係にあることで、同一の標示が分断して認識されているものと判断して、合成することができる。従って、一つの標示が、複数の標示かのように分断されて認識されている不適切な状態を解消することが出来る。
【００２０】
本発明においては、標示の形状を予め規定された幾何学形状で近似してもよい。こうすることによって、この幾何学形状を用いて標示の修正を行うことができる。この幾何学形状を、以下、存在領域と呼ぶものとする。存在領域として用いる幾何学形状、標示の種別等に応じて任意に設定可能である。例えば、横断歩道や矢印などは、四角形、矩形などを用いることができる。また、存在領域はポリゴンである必要はなく、例えば、車線境界線を折れ線で近似するようにしてもよい。
各標示の重心位置や、重なり合いの有無などを判断する際、それぞれの標示の形状を画像処理で認識して処理を行うことも可能ではあるが、幾何学形状を用いることによって、標示の形状を単純化して扱うことができるため、位置関係を容易に判断することができる利点がある。
【００２１】
修正の別の態様として、標示には、道路の幅方向に延伸する標示、および車線境界線の双方が含まれている場合には、幅方向に延伸する標示の輪郭線上に車線境界線の端点が来るように、車線境界線の形状を修正してもよい。道路の幅方向に延伸する標示としては、横断歩道、自転車横断帯、停止線などが挙げられる。車線境界線は道路に沿って描かれる標示であるから、幅方向に延伸する横断歩道等とは交差する位置関係にある。従って、幅方向に延伸する横断歩道等の標示の輪郭線上に車線境界線の端点が来るように修正することによって、車線境界線と横断歩道等とを接続することができ、両者の位置関係の適正化を図ることができる。
【００２２】
修正の別の態様として、複数のパスに対して生成された連結画像の一部が重なり合っている場合、重なり合う領域において、下側の連結画像においてのみ認識されている標示を、上側に配置される連結画像で隠されない状態としてもよい。例えば、下側の連結画像内の標示を切り取って、上側の連結画像内に移動させてもよい。また、標示に対応する位置に、先に説明した透明化ポリゴンを設定してもよい。
連結画像同士が重なっている場合、重なり合っている部分では、下側の連結画像内に存在する標示に対応する標示が、上側の連結画像から認識されているのが本来である。下側の連結画像においてしか標示が認識されておらず、上側の連結画像に対応する標示が認識されていない場合は、誤認識の一つに当たる。本態様によれば、下側の連結画像においてのみ認識されている標示を抽出し、表示可能な状態とすることができる。従って、こうした誤認識を解消し、下側の連結画像での認識結果を有効活用することが可能となる。
【００２３】
本発明は、必ずしも上述した特徴を全て備えている必要はなく、適宜、その一部を省略してもよいし、いくつかの特徴を適宜、組み合わせて備えるようにしてもよい。
本発明は、上述の生成方法に限らず、この生成方法によって道路面に施された標示を含む路面標示地図を生成する生成装置として構成してもよい。
また、上述の生成方法をコンピュータに実現させるためのコンピュータプログラムとして構成してもよいし、かかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。記録媒体としては、例えば、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等、コンピュータが読取り可能な種々の媒体を利用できる。
【発明を実施するための最良の形態】
【００２４】
本発明の実施例について以下の順序で説明する。
Ａ．システム構成：
Ａ１．道路面撮影システム：
Ａ２．路面標示地図生成装置：
Ｂ．処理概要：
Ｂ１．中間データ構成：
Ｂ２．処理例：
Ｂ３．位置合わせ加工概要：
Ｃ．路面標示地図生成方法：
Ｃ１．連結画像生成処理：
Ｃ２．位置合わせ加工：
Ｃ３．基準パス設定処理：
Ｃ４．連結画像移動処理：
Ｃ５．透明化ポリゴン設定処理：
Ｃ６．ペイント認識処理：
Ｄ．効果：
【００２５】
Ａ．システム構成：
本実施例では、車両に搭載したビデオカメラで撮影した道路面の画像を用いて、路面の標示を含む地図（以下、「路面標示地図」と呼ぶ）を生成する方法を示す。
本実施例のシステムは、道路面撮影システムと路面標示地図生成装置から構成される。道路面撮影システムは、道路を走行しながら道路面の画像をビデオカメラで撮影するシステムである。本実施例では、対象となる道路を、異なる走行軌跡で複数回走行し、それぞれ画像を撮影する。
路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成する装置である。まず、上述の各走行軌跡上に、撮影された画像を正射画像に変換した上で配置することで、道路面の一部の車線についての連結画像を生成する。そして、複数の走行軌跡の画像を、位置座標が整合するように配置することで道路全体の画像を生成する。また、こうして生成された連結画像から道路面の標示を抽出する。
以下、道路面撮影システムと路面標示地図生成装置のシステム構成について説明する。
【００２６】
Ａ１．道路面撮影システム：
図１は実施例としての道路面撮影システムの構成を示す説明図である。
道路面撮影システム１００は、車両に搭載されたシステムである。図の下方のブロック図に基づき、システム構成を説明する。
ビデオカメラ１２０は、走行中の道路面の画像を撮影する。
位置計測部１１０は、撮影中の位置座標を計測する装置である。位置計測部１１０は、ＧＰＳ（Global Positioning System）１１４、ＩＭＵ（Inertial
Measurement Unit）１１６、ＤＭＩ（Distance Measuring Instrument）１１８およびコントローラ１１２から構成されている。ＧＰＳ１１４は、全地球測位システムである。ＩＭＵ１１６は、内部に３軸のジャイロおよび加速度センサを備えた慣性計測装置である。ＤＭＩ１１８は、車輪の回転を検出して移動距離を計測する装置である。
【００２７】
コントローラ１１２は、ＧＰＳ１１４、ＩＭＵ１１６、ＤＭＩ１１８からの信号を受け、撮影時の位置座標を逐次出力する。位置座標は任意の座標系を採ることができるが、本実施例では、緯度経度および標高を用いた。
また、これらの信号の取得後、位置座標の計測精度の評価値である自己推定位置精度σを併せて出力する。一般にＧＰＳ１１４は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。
自己推定位置精度σは、任意に定義可能である。例えば、ＧＰＳ１１４の人工衛星の配置によって定まる精度低下率（ＤＯＰ（Dilution of Precision））を用いて自己推定位置精度σを算出するようにしてもよい。
自己推定位置精度σは、取得されたデータを後述する路面標示地図生成装置で処理する際に、解析するようにしてもよい。
【００２８】
記録装置１３０は、ビデオカメラ１２０および位置計測部１１０の出力信号を同期して記録する。本実施例では、記録装置１３０は、汎用のパーソナルコンピュータに、記録用のハードディスク１４０を増設した装置によって構成した。ハードディスク１４０内には、図示する通り、画像データ１４２、同期データ１４４、計測データ１４６が記録される。画像データ１４２は、ビデオカメラで撮影された画像の動画ファイルである。計測データ１４６は、位置計測部１１０で得られた位置座標である。同期データ１４４は、画像データ１４２と計測データ１４６との取得時刻を対応づけるデータである。同期データ１４４および計測データ１４６を参照することにより、画像データ１４２のフレームごとに撮影地点の位置座標を得ることができる。
【００２９】
撮影時の記録用のデータ構造は、上述した構造に限られない。例えば、計測データ１４６は、画像データ１４２の各フレームの位置座標を順次、格納するデータとしてもよい。こうすることにより、同期データ１４４を省略することが可能となる。かかるデータを取得するためには、例えば、記録装置１３０がビデオカメラ１２０のフレームごとに同期信号を位置計測部１１０に出力し、その時の位置座標を取得する方法を採ることができる。
【００３０】
図の上方に、車両に搭載した状態を模式的に示した。
ビデオカメラ１２０は、前方画像を撮影できるよう、車両の前方に設置する。画角を広げるために広角レンズを装着してもよい。
ＧＰＳ１１４のアンテナ１１４Ａは、車両のルーフ上部に設置する。本実施例では、ＧＰＳ用の人工衛星からの電波を確実に受信し、十分な位置精度を確保することができるよう、アンテナ１１４Ａを車両の前後に主副の２台設置した。いずれか一台のみを用いるものとしてもよい。
ＩＭＵ１１６、ＤＭＩ１１８、コントローラ１１２は、それぞれ車両の後部に設置した。ＤＭＩ１１８は、後輪の回転を検出可能に装着されている。
記録装置１３０およびハードディスク１４０は車室内の任意の場所に設置可能であるため、図示を省略した。
【００３１】
Ａ２．路面標示地図生成装置：
図２は実施例としての路面標示地図生成装置の構成を示す説明図である。道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成するための装置である。本実施例では、完全に自動で路面標示地図を生成するのではなく、適宜、オペレータからのコマンドによる指示を受けながら対話型または半自動で処理を進める方法を採用した。
【００３２】
図中には、路面標示地図生成装置２００の機能ブロックを示した。本実施例では、路面標示地図生成装置２００は、図示する各機能を実現するためのコンピュータプログラムを、汎用のパーソナルコンピュータにインストールすることによってソフトウェア的に構築した。これらの機能ブロックの一部は、ＯＳ（Operating System）によって提供してもよい。また、これらの機能ブロックは、それぞれハードウェア的に構成することも可能である。また、ここでは説明の便宜上、スタンドアロンで稼働する装置として説明するが、各機能ブロックをネットワークで接続された複数のコンピュータに分散して用意してもよい。
【００３３】
主制御部２０１は、各機能ブロックを統合制御する。データ入力部２０４は、道路面撮影システム１００で取得した各種データを記録したハードディスク１４０から、画像データ１４２、同期データ１４４、計測データ１４６を入力する。本実施例では、ハードディスク１４０を道路面撮影システム１００から路面標示地図生成装置２００に接続し直すことによって、これらのデータを受け渡す方法を採ったが、ネットワーク経由でデータを送信する方法や、ＤＶＤなどの記録媒体を用いてデータを受け渡す方法を採ってもよい。
【００３４】
コマンド入力部２０２は、コンピュータに備えられたキーボードやマウスなどの操作を介して、オペレータからのコマンドを入力する。
表示制御部２０３は、コンピュータのディスプレイに、路面標示地図生成装置２００での処理結果を表示したり、オペレータが種々のコマンドを指示するための画面を表示したりする。コマンド入力部２０２、表示制御部２０３の機能は、コンピュータのＯＳ（Operating System）によって提供してもよい。
【００３５】
軌跡データ算出部２０５は、計測データ１４６に基づき、画像データ１４２を撮影した時の走行軌跡（以下、「パス」と呼ぶこともある）を表すデータを生成する。本実施例では、軌跡データ算出部２０５は、道路面撮影システム１００によって得られる位置座標を記録した計測データ１４６に対して、位置座標が既知の基準局から提供されている検出情報に基づく補正を施すことによって軌跡データを生成する。基準局の情報を用いて位置座標を補正する技術は周知であるため、説明を省略する。この処理によって位置座標の精度を向上させることが可能となる。
もっとも、基準局からのデータを用いることは必須ではない。計測データ１４６で得られた位置座標をそのまま用いるものとしてもよい。かかる場合には、軌跡データ算出部２０５は省略することも可能である。
【００３６】
画像変換部２０６は、正射投影、即ち画像データ１４２の各フレーム画像を真上から見た状態に変換して正射画像を生成する。
１パス合成部２０７は、画像変換部２０６によって得られた各フレーム画像の正射画像を、その正射画像内の代表点が、撮影時の位置座標に基づいて定まる位置座標に来るように配置することによって、撮影時の走行軌跡（パス）に沿った道路面の画像を合成する。こうして合成された画像を、連結画像と呼ぶものとする。合成された連結画像は、処理データ記憶部２１０に保存される。
本実施例では、それぞれの道路に対して、異なる走行軌跡で、複数回走行して、撮影を行う。１パス画像合成部２０７は、それぞれのパスごとに合成画像を生成する。この結果、連結画像は、パスの本数に応じて、複数生成される。
【００３７】
位置合わせ処理部２２０は、１パス画像合成部２０７で生成された複数の連結画像を、位置合わせ処理、即ち連結画像間の位置座標の誤差を修正して路面の画像が整合するように配置する処理を行うことで、道路全体の正射画像（以下、「道路画像」と呼ぶこともある）を生成する。位置合わせ処理は、オペレータからの指示に応じて行う。処理内容は後述する。
位置合わせで得られた道路画像は、処理データ記憶部２１０に保存される。
【００３８】
透明化ポリゴン設定部２２１は、得られた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定する。上述の位置合わせを行う際には、隣接するパスに対応する正射画像の一部が重なり合うことがある。そして重なった部分では、下側に配置された正射画像の方に、路面標示が鮮明に写されている場合もある。透明化ポリゴンは、このような場合に、下側の画像が表示されるように上側の正射画像の一部を透明化する処理を施す領域を指定するためのポリゴンである。透明化ポリゴンを設定することにより、路面標示を正確に把握可能な地図を提供することが可能となる。
【００３９】
ペイント認識部２２３は、道路面の標示（以下、「ペイント」と呼ぶこともある）を認識する。本実施例では、１パス画像合成部２０７で生成された連結画像に基づいて標示の認識を行うものとした。ペイント認識結果は、処理データ記憶部２１０に保存される。
【００４０】
ペイント解析部２２５は、ペイント認識結果に対し、ペイント相互の相関関係に基づいて、誤認識の有無を検出する。誤認識が検出されたペイントに対しては、削除など、誤認識の態様に応じた対処を施す。これらの対処結果は、ペイント認識結果に反映される。
相関関係とは、例えば、路面標示が所定の組み合わせで描かれているか否か、異種の標示が重なり合っていないかなどの関係を言う。例えば、横断歩道と自転車横断帯とは隣接して描かれているのが通常であるため、自転車横断帯が単独で描かれている場合には、自転車横断帯が誤認識されていると判断することができる。
標示の相関関係は、標示の種別に応じて定められた幾何学形状からなる存在領域に基づいて行われる。本実施例では、この存在領域をオブジェクトファイルと呼ぶものとする。オブジェクトファイルは、相関関係の判定に先立って、ペイント解析部で設定され、処理データ記憶部２１０に記憶される。
【００４１】
ペイント修正部２２７は、処理データ記憶部２１０に記憶されたペイント認識結果に対して、相互の位置関係に基づき、適正な位置関係が実現されるよう認識結果を修正する。修正には、例えば、複数の標示同士を合成したり、非表示状態の標示を表示状態に切り換える処理が含まれる。具体的な修正方法については後述する。 位置関係の判断には、処理データ記憶部２１０内のオブジェクトファイルを利用する。
【００４２】
路面標示地図生成装置は、以上で生成された道路画像に基づいて路面標示地図を出力することができる。例えば、道路画像を印刷可能なファイルとして出力してもよい。また、路面標示地図を電子地図として生成するように、道路画像を電子データとして出力してもよい。また、これらの出力に先立って、道路画像に基づいて路面標示の位置座標や形状データを取得する処理を行うようにしてもよい。
【００４３】
Ｂ．処理概要：
Ｂ１．中間データ構成：
図３は路面標示地図の生成過程における中間データを示す説明図である。これらのデータは、順次、処理データ記憶部２１０(図２参照）に記憶される。
本実施例では、道路を走行しながらビデオカメラ１２０および位置計測部１１０で取得したデータが記録装置１３０としてのパーソナルコンピュータによってハードディスク１４０内に格納されている。格納されるデータとしては、画像データ１４２、計測データ１４６、および両者の同期をとるための同期データ１４４がある。
【００４４】
計測データ１４６は、撮影時の位置座標データの記録である。本実施例では、基準局データ１５０を参照して、計測データ１４６を補正することにより、軌跡データ２１０ａを算出する。これは、先に図２で説明した軌跡データ算出部２０５が行う処理である。基準局データ１５０は、位置座標が既知の基準点におけるＧＰＳでの検出結果を表すデータであり、例えば、国土地理院が提供している基準点データなどを用いることができる。ここで得られた軌跡データ２１０ａは、以下、それぞれの処理において、道路面の画像を撮影した際の軌跡（以下、「パス」と呼ぶこともある）を緯度経度、高度からなる絶対座標で表すデータとして利用される。
【００４５】
一方、画像データ１４２、同期データ１４４、軌跡データ２１０ａからは、路面テクスチャ２１０ｃが生成される。また、同期データ１４４と軌跡データ２１０ａから、路面軌跡データが生成される。
本実施例では、各道路を複数回走行して、道路面の画像を撮影する。従って、路面テクスチャ２１０ｃおよび路線軌跡データ２１０ｂは、各道路に対して複数パス分、生成されることになる。
【００４６】
路面テクスチャ２１０ｃおよび路線軌跡データ２１０ｂを用いて、連結画像２１０ｄが生成される。連結画像２１０ｄは、図２中の１パス画像合成部２０７によって生成される画像である。つまり、連結画像２１０ｄとは、路線軌跡データ２１０ｂで表される位置座標に基づき、各路面テクスチャ２１０ｃを配置することによって生成される各パスの路面画像である。連結画像２１０ｄも、各道路に対して複数パス分、生成されることになる。
連結画像２１０ｄは、路面テクスチャ２１０ｃを結合した一つの画像ファイルとして生成することもできる。本実施例では、後に続く処理の便宜上、合成画像として生成するのではなく、路面テクスチャ２１０ｃを配置して連結画像２１０ｄを生成するための情報（以下、「登録データ」と呼ぶこともある）を、路面テクスチャ２１０ｃの各画像と対応づけて格納するものとした。かかる情報には、路面テクスチャ２１０ｃを配置する位置座標、配置する際の姿勢（角度）、および隣接する路面テクスチャ２１０ｃを特定する情報、隣接する路面テクスチャ２１０ｃとの上下関係などを含めることができる。
【００４７】
こうして得られた連結画像２１０ｄを用いて、位置合わせおよび透明化ポリゴン設定などの処理を行う。これらの処理は、図２の位置合わせ処理部２２０、透明化ポリゴン設定部２２１が行う処理である。この処理によって、複数パス分の連結画像２１０ｄを合成して、道路ごとに道路画像２１０ｅを得ることができる。
道路画像２１０ｅについても、合成画像として生成してもよいし、路面テクスチャ２１０ｃを配置して道路画像２１０ｅを生成するための情報を、路面テクスチャ２１０ｃの各画像と対応づけて格納するようにしてもよい。本実施例では、後者の方法を採用した。それぞれの路面テクスチャ２１０ｃを配置する位置座標、配置する際の姿勢（角度）などの情報は、道路画像用登録データ２１０ｆとして保存されている。また、位置合わせの過程で、路線軌跡データ２１０ｂに対して、位置誤差を修正する処理が施されるため、この原データに対する修正過程を表す情報を、軌跡用登録データ２１０ｇとして保存する。
この他、連結画像２１０ｄのデータ（路面テクスチャ２１０ｃ、路線軌跡データ２１０ｂを含む）も併せて保存する。原データである画像データ１４２、軌跡データ２１０ａも保存しておくことが好ましい。仮に、合成画像化された形で連結画像２１０ｄを保存している場合には、道路画像２１０ｅは、連結画像２１０ｄを合成することになるため、合成の繰り返しで原データに比較して画質が劣化するおそれがある。これに対し、本実施例のように、路面テクスチャ２１０ｃも含めて、原データに近いデータを残しておくことにより、これらのデータを利用して道路画像２１０ｅを生成することが可能となる。従って、合成の繰り返しなど、画像データに重畳的に画像処理が施されることを抑制でき、道路画像２１０ｅの画質を向上させることが可能となる。
【００４８】
Ｂ２．処理例：
次に、本実施例における処理の概要理解を容易にするため、処理例を示す。
図４は実施例における道路画像の生成例を示す説明図である。図４（ａ）には、１本のパスに沿って得られた連結画像の生成例を示し、図４（ｂ）には、複数パスの連結画像を配置して得られた道路画像の例を示している。
図４（ａ）中の直線Ｌ４１〜Ｌ４４は、それぞれ道路面撮影システム１００で走行しながら道路画像を撮影した際の走行軌跡（パス）を表している。図４（ａ）のＰＩＣ４１は、パスＬ４３を走行して得られた画像データに基づいて生成された連結画像である。本実施例では、広角レンズを用いて撮影しているため、１回のパスでも複数車線を覆うだけの連結画像を得ることができている。連結画像の両端が、のこぎり刃状にギザギザになっているのは、画像データの各フレームを正射投影した際に生じる形状歪みの影響である。この連結画像ＰＩＣ４１は、ギザギザの山数に応じたフレーム数の正射画像（路面テクスチャ）を配置して生成されているのである。
このような連結画像は、図中のパスＬ４１〜Ｌ４４のそれぞれに対して得られる。
【００４９】
図４（ｂ）は、パスＬ４１〜Ｌ４４に対する連結画像を合成して得られた道路画像ＰＩＣ４２を示している。図４（ａ）よりも幅広く、反対車線まで含めて道路画像が生成されていることが分かる。複数パスの連結画像を合成する際、各パスの位置座標に誤差があると、連結画像間にずれが生じる。これらのずれが存在すると、図４（ｂ）中の横断歩道、車線境界線などの標示も途中でずれた状態で表示されてしまう。本実施例では、各パスの連結画像間の位置座標の誤差を修正しつつ合成を行う。この処理を位置合わせと呼ぶ。このように位置合わせを行って連結画像を合成することにより、図４（ｂ）に示すように、横断歩道、車線境界線などの標示が整合した道路画像を得ることができる。
【００５０】
Ｂ３．位置合わせ加工概要：
図５は位置合わせ加工の概要を示す説明図である。本実施例では、複数の連結画像に共通して撮影されている標示に基づいてオペレータが指定した対応点の位置を合わせるように、連結画像を平行移動することによって位置合わせを行う。
図５（ａ）には対応点が１つだけ指定された場合の処理方法を示した。図中には、２本の連結画像ＰＩＣ５１、ＰＩＣ５２が描かれている。これらには、それぞれ菱形の標示、つまり横断歩道の予告標示が含まれている。ただし、図５（ａ）左側の状態では、連結画像ＰＩＣ５１、ＰＩＣ５２には相対的に位置誤差があるため、標示の位置がずれている。
オペレータは、この表示画面を見ながら、マウス等のポインティングデバイスを用いて対応点を指定する。図の例では、横断歩道の予告表示の頂点に当たるＰ５１、Ｐ５２を指定した状態を示した。これらの対応点Ｐ５１、Ｐ５２は、連結画像ＰＩＣ５１、ＰＩＣ５２に位置誤差がなければ、本来、同じ位置に重なるはずの点である。そこで、本実施例では、対応点Ｐ５１、Ｐ５２が一致するよう、図中に矢印で示すように連結画像ＰＩＣ５１、ＰＩＣ５２を平行移動させる。
この際、連結画像ＰＩＣ５１、ＰＩＣ５２の一方を基準とし、他方を平行移動する方法を採った。図の例では、連結画像ＰＩＣ５１を基準とし、連結画像ＰＩＣ５２を移動させた例を示している。このように移動することにより、予告標示のずれが解消した状態の道路画像ＰＩＣ５３を得ることができる。
【００５１】
図５（ｂ）には対応点が複数指定された場合の処理方法を示した。図中には、２本の連結画像ＰＩＣ５４、ＰＩＣ５５が描かれている。これらには、それぞれ横断歩道の予告標示が含まれている。但し、図５（ｂ）の左側の状態では、連結画像ＰＩＣ５４、ＰＩＣ５５には相対的に位置誤差があるため、標示の位置がずれている。
この状態で、オペレータが、２組の対応点を指定したとする。対応点Ｐ５４、Ｐ５３の組と、対応点Ｐ５６、Ｐ５５の組である。連結画像ＰＩＣ５４では、連結画像ＰＩＣ５５に含まれる予告標示Ｍ５２は全体が描かれており、連結画像ＰＩＣ５４に含まれる予告標示Ｍ５１は一部が消えている。このような状態であっても、対応点Ｐ５５、Ｐ５６が対応することは明らかであるため、対応点として指定することは可能である。
このように複数組の対応点が指定されると、連結画像ＰＩＣ５４を基準として、それぞれの対応点が一致するように、連結画像ＰＩＣ５５を移動させる。ただし、対応点Ｐ５３をＰ５４に一致させるための第１の移動量と、対応点Ｐ５５をＰ５６に一致させるための第２の移動量とが同じであるとは限らない。そこで、対応点Ｐ５３とＰ５５との間の領域では、第１の移動量、第２の移動量を直線補間して、各点の移動量を設定する。こうすることにより、予告標示のずれが解消した状態の道路画像ＰＩＣ５６を得ることができる。
【００５２】
図５（ｂ）中には、透明化ポリゴンの設定例も併せて示した。
この例では、連結画像ＰＩＣ５４中の予告標示Ｍ５１は半分が欠けている。この状態で位置合わせを行うと、この例では、連結画像ＰＩＣ５４をＰＩＣ５５の上側に重ねるように表示しているから、連結画像ＰＩＣ５５の予告標示Ｍ５２は、連結画像ＰＩＣ５４によって覆い隠されてしまう。この結果、連結画像ＰＩＣ５５では完全な状態で描かれている標示Ｍ５２を道路画像ＰＩＣ５６で活かすことができない。
そこで、このような場合に、オペレータの指示によって予告標示Ｍ５２を取り囲むように透明化ポリゴンＴＰ５０を設定する。透明化ポリゴンＴＰ５０が設定された箇所では、上側の連結画像が透明化され、切り取られたように表示される。この結果、透明化ポリゴンＴＰ５０の部分では、連結画像ＰＩＣ５４の下側に配置された連結画像ＰＩＣ５５に描かれている予告標示Ｍ５２が表示される。
本実施例では、このように透明化ポリゴンを設定可能とすることによって、それぞれの連結画像で描かれている標示を、道路画像においても有効活用することができる。
【００５３】
図６は交差点が存在する場合の位置合わせの手順を示す説明図である。図の煩雑化を避けるため、ここでは連結画像のパスの位置関係のみを示した。図中には、２つの交差点周辺の道路が描かれている。縦の道路では、それぞれパスＢＰ６１、ＢＰ６２に沿って連結画像が得られているとする。横の道路については、破線で示したパスＢＰ６３ｂ、ＢＰ６４ｂ、ＮＰ６１ｂに沿って連結画像が得られているとする。
【００５４】
本実施例では、複数のパス間の位置合わせを行う際には、いずれか一つのパスを基準パスに設定し、他のパスを平行移動して基準パスに合わせる。基準パス以外のパスを、以下、標準パスと呼ぶものとする。基準パスおよび標準パスは、任意の方法で設定可能であるが、本実施例では、後述する通り、位置精度が高いものを基準パスとして設定している。
図６の例では、縦の道路については、それぞれ単一のパスしか存在しないため、パスＢＰ６１、ＢＰ６２が基準パスとなる。
横の道路については、区間Ｄ６１ではパスＢＰ６３ｂとＮＰ６１ｂのうち位置精度が高い側を基準パスとし、区間Ｄ６２についてはＢＰ６４ｂとＮＰ６１ｂのうち位置精度が高い側を基準パスとする。ここでは、それぞれパスＢＰ６３ｂ、ＢＰ６４ｂが基準パスとして設定されているものとする。更に、パスＢＰ６３ｂ、ＢＰ６４ｂ間の位置精度を比較して、優劣を決める。パスＢＰ６３ｂ、ＢＰ６４ｂはそれぞれ区間Ｄ６１、Ｄ６２の基準パスではあるが、一本の道路に配置された連続するパスなので、これらのパス間でも位置合わせを行う必要があるからである。図６の例では、パスＢＰ６３ｂの方が、パスＢＰ６４ｂよりも位置精度が高いものとする。
この結果、横のパスについては、基準パスＢＰ６３ｂ＞基準パスＢＰ６４ｂ＞標準パスＮＰ６１ｂの順に位置合わせの優先度が定まる。
【００５５】
次に、上述の優先度に従って、それぞれのパスの位置合わせを行う。縦のパスＢＰ６１、ＢＰ６２は既に位置合わせが完了しているものとする。
まず、基準パスＢＰ６３ｂの位置合わせを行う。オペレータの指示によって、基準パスＢＰ６３ｂ上の対応点Ｐ６３ｂが指定され、その本来の位置として、点Ｐ６３ａが指定されたとする。この結果、基準パスＢＰ６３ｂは、対応点Ｐ６３ｂが、点Ｐ６３ａに一致するように移動され、実線で示した基準パスＢＰ６３ａが得られる。
図示を省略したが、基準パスＢＰ６３ｂに対応した連結画像も基準パスＢＰ６３ａに合わせて移動する。本実施例では、基準パスＢＰ６３ｂに沿って路面テクスチャを配置することによって連結画像を表示しており、これらの路面テクスチャを合成してはいない。従って、基準パスＢＰ６３ａへの移動が行われた場合には、基準パスＢＰ６３ａに沿うように、各路面テクスチャの位置を平行移動することによって、基準パスＢＰ６３ａの連結画像を得ることができる。
【００５６】
次に、基準パスＢＰ６４ｂの位置合わせを行う。オペレータの指示によって、基準パスＢＰ６４ｂ上の対応点Ｐ６５ｂ、Ｐ６４ｂが指定され、その本来の位置として、点Ｐ６５ａ、Ｐ６４ａが指定されたとする。この対応点は、基準パスＢＰ６３ａの連結画像に基づいて指定されている。つまり、基準パスＢＰ６３ｂを基準パスＢＰ６３ａに位置合わせする処理の結果に応じて、基準パスＢＰ６４ｂの位置合わせは影響を受けることになる。
対応点が指定されると、基準パスＢＰ６４ｂは、対応点Ｐ６５ｂ、Ｐ６４ｂが、点Ｐ６５ａ、Ｐ６４ａに一致するように移動され、実線で示した基準パスＢＰ６４ａが得られる。これに合わせて、基準パスＢＰ６４ｂの連結画像を構成していた路面テクスチャも、それぞれ基準パスＢＰ６４ａ上に平行移動される。
【００５７】
最後に、標準パスＮＰ６１ｂの位置合わせを行う。オペレータの指示によって、標準パスＮＰ６１ｂ上の対応点Ｐ６８ｂ、Ｐ６７ｂ、Ｐ６６ｂが指定され、その本来の位置として、点Ｐ６８ａ、Ｐ６７ａ、Ｐ６６ａが指定されたとする。この対応点は、基準パスＢＰ６３ａ、ＢＰ６４ａの連結画像に基づいて指定されている。つまり、基準パスＢＰ６３ｂを基準パスＢＰ６３ａに位置合わせする処理、および基準パスＢＰ６４ｂを基準パスＢＰ６４ａに位置合わせする処理の結果に応じて、標準パスＮＰ６１ｂの位置合わせは影響を受けることになる。
対応点が指定されると、標準パスＮＰ６１ｂは、対応点Ｐ６８ｂ、Ｐ６７ｂが、点Ｐ６８ａ、Ｐ６７ａに一致するように移動されるとともに、対応点Ｐ６７ｂ、Ｐ６６ｂが、点Ｐ６７ａ、Ｐ６６ａに一致するように移動される。これらの３点は一直線上にはないから、結果として、標準パスＮＰ６１ｂは、折れ線状の標準パスＮ６１ａに移動される。これに合わせて、標準パスＮＰ６１ｂの連結画像を構成していた路面テクスチャも、それぞれ標準パスＮＰ６１ａ上に平行移動される。
【００５８】
本実施例では、図６に示すように複数のパスが存在する場合には、以上で説明した手順によって、位置精度が高いパスから優先的に位置合わせが行われる。こうすることによって、全体の位置精度を十分に確保しつつ位置合わせを行うことができる。
例えば、図６の処理において、位置精度が低い順、つまり標準パスＮＰ６１ｂ、基準パスＢＰ６４ｂ、基準パスＢＰ６３ｂの順に位置合わせをしたとする。この場合には、基準パスＢＰ６４ｂの位置合わせは、標準パスＮＰ６１ｂの位置合わせの影響を受け、位置精度が低下する。基準パスＢＰ６３ｂの位置合わせは、標準パスＮＰ６１ｂ、基準パスＢＰ６４ｂの位置合わせの影響を受け、位置精度が低下する。従って、位置精度が低い順に位置合わせを行うと、パス間の相互作用によって全体の位置精度が低下してしまう。
本実施例では、これとは逆に、位置精度が高い順に位置合わせを行う。従って、最も位置精度が高いパスの位置精度を劣化させることなく、全体の位置合わせを行うことが可能となるのである。
【００５９】
Ｃ．路面標示地図生成方法：
以下、図１〜６で説明した路面標示地図の生成方法について、オペレータが必要に応じて指示を行う場合を例にとって、詳細に説明する。
まず、連結画像生成処理、つまり図２中の路面テクスチャ２１０ｃ、路面軌跡データ２１０ｂに基づいて各パスの連結画像２１０ｄを得る処理について説明する。
次に、位置合わせ加工、つまり複数パスに対する連結画像２１０ｄの位置合わせを行う処理、および位置合わせ加工の中で行われる基準パス設定処理、連結画像移動処理について説明する。
また、透明化ポリゴンの設定処理について説明する。
【００６０】
上述の一連の処理においては、路面標示地図生成装置が連結画像内の標示の位置を表示するようにすれば、オペレータが対応点や透明化ポリゴンの位置を容易に指定可能となる。また、自動的に対応点を特定したり、透明化ポリゴンを設定したりすることも可能となる。こうした処理を可能にするための処理として、ペイント認識処理について説明する。
ペイント認識処理が終わると、路面標示地図生成装置は、ペイント間の相関関係に基づいて誤認識の検出・対処を行うペイント解析処理を行う。この際には、相関関係を判定するため、路面標示地図生成装置は、各ペイントを包含する幾何学形状で規定された存在領域を生成し、これをオブジェクトファイルとして記憶する。
次に、路面標示地図生成装置は、オブジェクトファイルに基づいて、複数の路面標示の位置関係を適正にするための処理、ペイント修正処理を行う。
【００６１】
Ｃ１．連結画像生成処理：
図７は連結画像生成処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した画像変換部２０６、１パス合成部２０７の処理に相当する。
処理を開始すると、ＣＰＵは、まずフレームデータを読み込む（ステップＳ１０）。フレームデータとは、道路面撮影システム１００（図１）のビデオカメラ１２０で撮影された画像データ１４２を構成する各フレームの画像である。
【００６２】
図中にフレームデータの例を示した。ビデオカメラ１２０は、道路面撮影システム１００の前方に向けて設置されているため、フレームデータには、車両の前方の道路、前方車両などが写っている。本実施例では、道路面の画像を生成したいため、このフレームデータの一部の領域を切り出して使用する。図中の領域Ａ７１は、道路面のみが含まれるように設定された切り出し領域を現している。本実施例では、車両の前方５〜７ｍの領域の画像を取得するように領域Ａ７１を設定した。領域Ａ７１の各フレーム内での相対的な位置は一定である。
領域Ａ７１は、上述の例に限らず、任意に設定可能である。ビデオカメラ１２０が一定のフレームレートで画像を撮影するため、フレームデータは、道路面を間欠的に撮影した画像群となる。従って、領域Ａ７１は、間欠的に撮影された画像群を並べた時に、道路が連続画像として再現できるように範囲を決定することが好ましい。例えば、領域Ａ７１の縦幅を狭くすれば、車両の速度が速い場合には、あるフレームデータから切り出された領域と、次のフレームデータから切り出された領域との間に隙間が生じやすくなる。一方、領域Ａ７１の縦幅を広くすれば、前方車両や空、建物など、道路画像とは異なる雑多な映像が含まれやすくなる。領域Ａ７１は、これらの影響を考慮した上で、設定すればよい。
【００６３】
次に、ＣＰＵは、取得されたフレームデータを正射画像（路面テクスチャ）に画像変換する（ステップＳ１２）。図中に処理の概要を示した。上側にはフレームデータの例である。ここでは路面の状態のみが撮影され、道路の左右の車線規制線Ｌ７１、Ｌ７２および標示Ｍ７が写されている例を示した。前方を撮影した画像であるため、パース（遠近法）の影響で、本来平行な車線規制線Ｌ７１、Ｌ７２が、ハの字状に写されている。
先に説明した通り、このフレームデータの一部の領域Ａ７１を切り出して使用する。
下段には、領域Ａ７１の画像を正射投影変換した状態を例示した。道路を真上から見た画像に変換するため、左右の車線規制線Ｌ７１、Ｌ７２は図示する通り、平行な線分に変換される。標示Ｍ７も同様に真上から見た状態の形状に変換される。
【００６４】
正射投影変換の方法を説明する。
まず、道路面撮影システム１００を搭載した車両は水平面上を走行しており、被写体である道路も同一水平面上にあるものとする。
この時、道路画像、即ちフレームデータの画面上の２次元座標をｍ＝［ｕ，ｖ］Ｔとする。また、地面に固定された世界座標系の３次元座標をＭ＝［Ｘ，Ｙ，Ｚ］Ｔとする。これらの各座標に１の要素を直積で加えたベクトルを、次式（１）の通り定義する。
【００６５】
【数１】
【００６６】
３次元座標Ｍと、その投影画像の２次元座標ｍとの関係を以下の関係式（２）（３）によりモデル化する。
【００６７】
【数２】
【００６８】
ここで、ｓはスケール・ファクター；
［Ｒｔ］は、外部パラメータ行列；
Ｒは回転行列；
ｔは平行移動行列；
Ａは内部パラメータ行列である。
【００６９】
内部パラメータ行列Ａは、ビデオカメラ１２０の焦点距離等を考慮した内部的なパラメータであり、実画像座標系（ｘｙ座標系）からフレーム座標系（ｕｖ座標系）への写像パラメータを表す。
α、βはそれぞれｕ軸、ｖ軸方向のスケール因子、γは２つの画像軸のスキューにより表されるパラメータ；
［ｕ0，ｖ0］Ｔは、画像の主点の座標（主点座標）である。
画像のピクセルサイズを（ｋｕ、ｋｖ）、ｕ軸とｖ軸とのなす角をθ、焦点距離をｆとすると、α、β、γは次式（４）で表される。
【００７０】
【数３】
【００７１】
外部パラメータ行列［Ｒｔ］は、ビデオカメラ１２０の設置位置、設置姿勢などによる外部的なパラメータであり、世界座標系（ＸＹＺ座標系）から実画像座標系（ｘｙ座標系）への写像パラメータを表す。世界座標系は、ビデオカメラ１２０の真下の路面を原点とし、車両の進行方向に対し垂直な水平軸をＸ軸、鉛直軸をＹ軸、進行方向の水平軸をＺ軸とする。
平行移動ベクトルｔは、世界座標系において原点に対する実画像の画像主点の移動ベクトルである。
ビデオカメラ１２０の高さ（実画像の画像主点の高さ）をｈとすると、平行移動ベクトルｔは次式（５）で表される。
【００７２】
【数４】
【００７３】
また、世界座標系において、実画像のヘディング方向の回転角（ヨー角）をφ、ピッチ角をω、ロール角をκとすると、回転行列Ｒは次式（６）で表される。
【数５】
【００７４】
内部パラメータ行列Ａは、事前の測定によって得られる。
ヨー角φ、ピッチ角ω、ロール角κおよび画像主点の高さｈは、次の手順で得られる。まず、初期状態、即ち車両が水平な地面に設置されている状態において、ヨー角φ0、ピッチ角ω0、ロール角κ0、および高さｈ0の基準値を計測しておく。次に、走行中には逐次、車両の姿勢角の変化および車高の変化をジャイロ、加速度センサ等で記録しておき、上述の基準値にこの変化を反映することで、各地点でのヨー角φ、ピッチ角ω、ロール角κおよび高さを得ることができる。
【００７５】
正射投影変換は、これらのパラメータに基づき、式（２）を用いることにより、行われ、フレーム座標系（ｕｖ座標系）の道路画像を、世界座標系（ＸＹＺ座標系）の投射道路画像に変換することができる。その手順は次の通りである。
まず、被写体である道路面を水平面（Ｙ＝０）の画像であると仮定する。この時、式（２）より、次式（７）の関係が成立する。
【００７６】
【数６】
【００７７】
この結果、ピクセル（ｕ，ｖ）に対する世界座標（Ｘ，Ｚ）及びスケールパラメータｓは次式（８）により求めることができる。
【００７８】
【数７】
【００７９】
次に、路面標示地図生成装置２００のＣＰＵは、被写体である道路面の傾斜を考慮した補正を行う。
まず、フレームデータを取得した各地点の位置座標データ（Ｘ０，Ｙ０，Ｚ０）と、被写体である道路面付近の複数点の位置座標（Ｘｉ，Ｙｉ，Ｚｉ）とから、被写体である道路面の勾配を計算する。本実施例では、勾配は一様であるものと仮定した。
具体的には、撮影地点の世界座標点（Ｘ，Ｙ，Ｚ）付近の位置座標データから、高さの変化Δｈを求める。つまり、Δｈ＝Ｙ−Ｙ０である。この時、一様な勾配を仮定すると、道路面上の世界座標系（Ｘ’，Ｙ’，Ｚ’）の点の奥行きＺ’は次式（９）で求めることができる。
【００８０】
【数８】
【００８１】
補正した道路面上の奥行きＺ’が決まると、式（２）より、フレーム座標点（ｕ，ｖ）と世界座標点（Ｘ’，Ｙ’，Ｚ’）との関係は次式（１０）の通りとなる。
【００８２】
【数９】
【００８３】
これより、世界座標点のＸ’，Ｙ’を次式（１１）によって計算することができる。
【数１０】
【００８４】
以上の通り、フレームデータ上の点（ｕ，ｖ）を、それぞれ（Ｘ’，Ｚ’）に写像すれば、正射画像（路面テクスチャ）を得ることができる。図７中に示すように、フレームデータを矩形の領域Ａ７１で切り出した上で正射投影すると、上方が広がる台形状の正射画像（路面テクスチャ）Ａ７２が得られる。
本実施例では、後に続く処理の便宜のため、正射画像（路面テクスチャ）を低解像度／高解像度の２通りで生成するものとした。高解像度の正射画像（路面テクスチャ）（以下、「高解像度画像」と呼ぶ）は、もとのフレームデータの切り出し領域Ａ７１をそのまま利用して生成された画像、即ち原画像と同じ解像度で生成された画像である。低解像度の正射画像（路面テクスチャ）（以下、「低解像度画像」と呼ぶ）は、解像度を原データよりも下げた画像である。低解像度画像の解像度は、路面標示地図生成装置２００が軽い負荷で画像を表示することができる程度の値とすることが好ましく、原画像の解像度の半分など、任意に設定可能である。
【００８５】
次に、路面標示地図生成装置２００のＣＰＵは、得られた正射画像（路面テクスチャ）を配置して１パス画像の合成を行う（ステップＳ１４）。図中に１パス画像合成の例を示した。この例では、正射画像（路面テクスチャ）Ａ７２［０］〜Ａ７２［５］が合成されている。
各正射画像（路面テクスチャ）Ａ７２は、フレーム座標系（ｕｖ座標系）の原点に対応する点を、各フレームデータの撮影時の位置座標に基づいて配置すればよい。フレームデータは車両の位置よりも前方を写したものであるため、正射画像（路面テクスチャ）は、車両位置から一定距離だけ前方に移動させた地点に配置する必要がある。本実施例では、フレームデータ毎に車輌位置とフレーム座標系の位置関係を計算して配置する。また、正射画像（路面テクスチャ）は、時系列的に古い画像から新しい画像に順次、配置するものとした。
このように正射画像（路面テクスチャ）を配置することによって、道路面の車線境界線Ｌ７１、Ｌ７２および標示Ｍ７が再現される。
本実施例では、連結画像生成処理の段階では、正射画像（路面テクスチャ）を１枚の画像に結合することなく、配置して表示する状態に留めている。従って、１パス画像合成処理（ステップＳ１４）で生成されるのは、合成画像ではなく、各正射画像（路面テクスチャ）の配置を決定する情報となる。もっとも、この処理において、正射画像（路面テクスチャ）を１枚の画像に結合する方法を採ることもできる。
【００８６】
Ｃ２．位置合わせ加工：
図８は位置合わせ加工のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した位置合わせ処理部２２０の処理に相当する。
処理を開始すると、ＣＰＵは、まず処理の対象となる道路（以下、「対象道路」と言う）についてのオペレータからの指定を入力する（ステップＳ２０）。そして、対象道路に対応する連結画像を入力する（ステップＳ２２）。本実施例では、それぞれの道路について、走行位置を変えながら複数回走行して、路面画像を撮影している。従って、各走行に対応するパスに基づいて、それぞれ連結画像が生成されている。ステップＳ２２では、これらの複数の連結画像を読み込む。
【００８７】
次に、ＣＰＵは基準パスを設定する（ステップＳ３０）。基準パスとは、複数のパスの位置合わせをする際に、基準となるパスである。本実施例では、対象道路に対応するパスのうち、位置精度の評価値、即ち自己推定位置精度が最も高いものを選択する。基準パスの設定方法については、後述する。
【００８８】
基準パスが設定されると、ＣＰＵはオペレータの操作に従い、各パスについて対応点を設定する処理を行う（ステップＳ４０）。
本実施例では、図中に示すように、基準パスおよび標準パスの連結画像をディスプレイに表示し、オペレータが、マウスなどのポインティングデバイスを操作して、この画面内で対応点を設定するという方法を採った。図の例では、標準パスの画像内で菱形をした横断歩道予告標示の頂点を対応点として指定し、次に、これに対応する頂点を基準パスの画像内で指定する例を示した。対応点は、１点に限らず、複数の点を指定可能である。
後述するペイント認識処理が行われており、各連結画像内の標示が抽出されている場合には、ＣＰＵは、抽出した標示をディスプレイに表示し、オペレータがこの中から対応点として用いるべき標示を選択するようにしてもよい。また、連結画像間で抽出した標示の位置関係に基づいて、対応する標示を特定し、対応点や透明化ポリゴンを自動的に設定可能としてもよい。
【００８９】
本実施例では、この連結画像の表示には、低解像度画像を用いる。こうすることにより、対応点を指定する際に、表示の移動、拡大・縮小を円滑に行うことができ、作業効率を高めることができる利点がある。
【００９０】
対応点が指定されると、ＣＰＵは、対応点同士が一致するように、標準パスの連結画像を基準パスの連結画像に合わせるよう移動する処理を行って、位置合わせ加工を終了する（ステップＳ５０）。
先に説明した通り、本実施例では、連結画像は一枚の合成画像として生成されている訳ではなく、正射画像（路面テクスチャ）を配置して表示している。従って、ステップＳ５０の処理では、それぞれの正射画像（路面テクスチャ）を移動することで、連結画像の移動処理が行われる。移動処理と併せて、それぞれの正射画像を低解像度画像から高解像度画像に置換する処理が行われる。高解像度画像を用いて、正射画像を再配置する処理を行うものとしてもよい。
連結画像移動処理の内容は、後で詳述する。
【００９１】
Ｃ３．基準パス設定処理：
図９は基準パス設定処理のフローチャートである。位置合わせ加工（図８）のステップＳ３０に相当する処理であり、複数のパスの位置合わせをする際に、自己推定位置精度が最も高いものを基準パスとして設定するための処理である。
【００９２】
ＣＰＵは、処理を開始すると、対象道路の各パスについて、フレーム画像が取得されている各地点での位置精度を入力する（ステップＳ３１）。撮影時には、図中に示すように、パスにそって点Ｐ９１，Ｐ９２、Ｐ９３等でフレーム画像を撮影するとともに、各点ごとに東西方向の位置精度ＡＣ１、南北方向の位置精度ＡＣ２が記録されている。
【００９３】
一般にＧＰＳ１１４は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。位置精度は、これらの影響を定量的に評価したものである。位置精度は、任意に定義可能であり、例えば、精度低下率（ＤＯＰ（Dilution of Precision））等を用いても良い。
【００９４】
ＣＰＵは、各点の位置精度に基づいて、パスごとに自己推定位置精度σを算出する（ステップＳ３２）。
【００９５】
自己位置推定精度は、ＧＰＳと、ＩＭＵ、ＤＭＩ等とのずれに基づいて定まる値としてもよい。この場合は、例えば、ずれ量の標準偏差を用いても良い。また、東西方向の標準偏差の自乗と、南北方向の標準偏差の自乗の和を求め、この平方根を自己位置推定精度として用いても良い。このように、ＧＰＳと、ＩＭＵ、ＤＭＩ等のずれ量に応じた値とする場合には、自己位置推定精度は、ずれが大きい程、大きい値となる。つまり、自己推定位置精度は値が小さい方が、精度が高いことを示す評価値となる。
各パスの自己推定位置精度σが得られると、ＣＰＵはこの値が最小となるパスを基準パスとして設定する（ステップＳ３３）。対象道路に対して単一のパスしか存在しない場合には、無条件にそのパスが基準パスとして設定されることになる。この基準パスの自己推定位置精度をσＢとする。
【００９６】
ステップＳ３３で設定された基準パスの自己推定位置精度σＢが、所定の閾値σＴＨよりも低い場合には（ステップＳ３４）、基準パス設定処理を終了する。
これに対し、自己推定位置精度σＢが、所定の閾値σＴＨ以上の場合には、エラー表示を行って（ステップＳ３５）、処理を終了する。この場合には、基準パスの位置精度が十分確保されていないことを意味するため、位置合わせ処理を行っても、位置精度が十分に保証されないからである。
所定の閾値σＴＨは、上述の通り、路面標示地図として確保すべき位置精度に基づいて任意に設定可能である。
【００９７】
エラー表示（ステップＳ３５）を行うか否かの判断対象となるのは、基準パスの自己推定位置精度σＢのみとした。他の標準パスについては、自己推定位置精度が低い場合でも、基準パスを基準として位置合わせを行うことにより、位置精度を高めることが可能だからである。
もっとも、位置合わせ処理における修正は、いずれのパスに対してもできるだけ小さい方が、より好ましいと言える。従って、ステップＳ３４において、全てのパスの自己推定位置精度を閾値σＴＨと比較し、いずれか一本でも、この閾値を下回る精度のパスが存在する場合にはエラー表示を行うようにしてもよい。
ただし、標準パスにも基準パスと同等の位置精度を要求すると、エラー表示が頻繁になされるおそれがある。かかる弊害を回避するため、標準パスでは基準パスよりも高い閾値σＴＨを用いるようにしてもよい。つまり、標準パスについては位置精度の要求を基準パスよりも緩めるのである。こうすることによって、標準パスについても最低限の位置精度を保証しつつ、エラー表示が頻繁になされるのを回避することができる。
【００９８】
Ｃ４．連結画像移動処理：
（１）フローチャート：
図１０は連結画像移動処理のフローチャートである。位置合わせ処理（図８）のステップＳ５０の処理に相当する。
処理を開始すると、ＣＰＵは移動対象となる標準パスのデータおよび対応点のデータを入力する（ステップＳ５１）。標準パスのデータとは、フレーム画像が撮影された時の位置座標を順次、記録した点列からなる軌跡データである。対応点のデータは、図８のステップＳ２０において、基準パスおよび標準パスが表示された画面内でオペレータが指定した対応点の座標値である。
【００９９】
ＣＰＵは、次に、標準パス上で正射画像（路面テクスチャ）が配置されている点ごとに、移動ベクトルを算出する（ステップＳ５２）。
図中に移動ベクトルの算出例を示した。この例では、標準パスＮＰ１０について、対応点Ｐ１０１、Ｐ１０３が指定されているものとする。標準パス上には、図中に台形で示すように正射画像（路面テクスチャ）が配置されている。
【０１００】
対応点Ｐ１０１、Ｐ１０３に対応する点としては、基準パス上では、対応点Ｐ１０２、Ｐ１０４が指定されているものとする。ＣＰＵは、これらの指定結果に基づき、対応点について移動ベクトルを求める。図の例では、標準パスの対応点Ｐ１０１からＰ１０２に向かう移動ベクトルＶ１０と、対応点Ｐ１０３からＰ１０４に向かう移動ベクトルＶ１１が得られる。
【０１０１】
対応点は、標示の頂点など、オペレータが基準パスと標準パスとで対応をとりやすい点を指定するため、必ずしも標準パスＮＰ１０上で指定されるとは限らない。対応点が標準パスＮＰ１０からずれた場所で指定されている場合には、図中に破線で示すように標準パスＮＰ１０からずれた場所に移動ベクトルＶ１０ａが得られる。従って、この移動ベクトルＶ１０ａの始点が標準パスＮＰ１０上に来るように、標準パスＮＰ１０に垂直方向に移動させて移動ベクトルＶ１０を求めればよい。
【０１０２】
対応点での移動ベクトルＶ１０、Ｖ１１が得られると、ＣＰＵは、これらを補間することによって、対応点Ｐ１０１、Ｐ１０３の間に位置する各点での移動ベクトルを求める。例えば、図中に示すように、フレーム画像の撮影地点ＰＰ１０で移動ベクトルを求める場合には、この地点を始点とするように移動ベクトルＶ１０、Ｖ１１を平行移動し、両ベクトルの終点を結ぶ線分を、対応点Ｐ１０１〜ＰＰ１０の距離、Ｐ１０３〜ＰＰ１０の距離の比で内分する点を求める。こうすることによって、点ＰＰ１０を始点とし、この内分点を終点とする移動ベクトルＶＰ１０を求めることができる。
【０１０３】
２つの移動ベクトルＶ１０、Ｖ１１に挟まれた区間に存在しない点については、最も近い位置にある移動ベクトルをそのまま用いる。図中の例では、点Ｐ１０１よりも右側の区間では、移動ベクトルＶ１０をそのまま用い、点Ｐ１０３の左側の区間では、移動ベクトルＶ１１をそのまま用いることになる。
また、対応点が一つしか指定されておらず、移動ベクトルが一つしか与えられない場合は、この移動ベクトルを用いる。
【０１０４】
ＣＰＵは以上の処理で得られた移動ベクトルに従って、正射画像（路面テクスチャ）を平行移動して（ステップＳ５３）、連結画像移動処理を終了する。図の例では、標準パスＮＰ１０の点ＰＰ１０に配置されていた路面テクスチャＴＸ１１が、移動ベクトルＶＰ１０に従って路面テクスチャＴＸ１２の位置に平行移動される例を示している。
この処理と併せて、標準パスＮＰ１０上の点ＰＰ１０の位置も移動ベクトルＶＰ１０によって修正される。従って、ステップＳ５３の処理では、路面テクスチャの移動と共に、標準パスＮＰ１０の軌跡も修正されることになる。
【０１０５】
（２）位置合わせ加工の処理例（１）：
図１１は位置合わせ加工の処理例（１）を示す説明図である。図１１（ａ）〜図１１（ｃ）のそれぞれには、標準パスＮＰ１１および基準パスＢＰ１１に対する連結画像を重ねて表示した状態を示している。図１１（ａ）は標準パスＮＰ１１の連結画像を、基準パスＢＰ１１の連結画像よりも上に配置した状態である。先に説明した通り、連結画像は多数の路面テクスチャを配置することで構成されているが、図中には、説明の便宜上、一つの路面テクスチャＴＸ１１に輪郭を付して示した。
オペレータは、この画面中で、標準パスＮＰ１１における対応点Ｐ１１１を指定する。対応点Ｐ１１１は、任意に設定可能である。本実施例では、分離帯標示Ｍ１１の白線の斜め縞模様の端点の一つを対応点Ｐ１１１として選択している。
【０１０６】
図１１（ｂ）は、基準パスＢＰ１１の連結画像を上側にして配置した状態を示している。この状態では、標準パスＮＰ１１と基準パスＢＰ１１の位置がずれている。従って、基準パスＢＰ１１の連結画像を上側に表示すると、対応点Ｐ１１１の位置は、分離帯標示Ｍ１２の白線の斜め縞模様からずれてしまう。
【０１０７】
図１１（ｃ）は、基準パスＢＰ１１の連結画像を上側にした状態で、対応点Ｐ１１２を指定した状態を示している。つまり、基準パスＢＰ１１を上側にした画像内で、分離帯標示Ｍ１１の白線の斜め縞模様の端点を対応点Ｐ１１２として選択すればよい。
対応点Ｐ１１２が指定されると、標準パスＮＰ１１の対応点Ｐ１１１から基準パスＢＰ１１の対応点Ｐ１１２に向かうように移動ベクトルＶ１１が求められる。この移動ベクトルＶ１１に従って、路面テクスチャＴＸ１１を移動すれば、対応点Ｐ１１１は対応点Ｐ１１２に一致し、分離帯標示Ｍ１１、Ｍ１２の位置も一致させることができる。
【０１０８】
路面テクスチャＴＸ１１だけでなく、位置合わせ加工では、標準パスＮＰ１１を構成する他の路面テクスチャも同様に、移動ベクトルＶ１１に従って移動させる。ここでは対応点を一つだけ指定した処理例を示したが、対応点は複数指定してもよい。例えば、図の例では、横断歩道の縞模様、停止線、車線境界線の端点などを対応点として利用することが考えられる。
【０１０９】
（３）位置合わせ加工の処理例（２）：
図１２は位置合わせ加工の処理例（２）を示す説明図である。標準パスＮＰ１２、基準パスＢＰ１２の連結画像を重ねた状態を示した。説明の便宜上、双方の路面標示を視認可能な状態で示している。位置合わせ前は、標準パスＮＰ１２、基準パスＢＰ１２の位置がずれているため、車線境界線などの標示の位置はずれている。
オペレータは、ここでは破線での車線境界線の端点の一つを対応点として選択している。標準パスＮＰ１２については車線境界線Ｌ１２２の端点を対応点Ｐ１２２として選択し、基準パスＢＰ１２については車線境界線Ｌ１２１の端点を対応点Ｐ１２１として選択する。この結果、標準パスＮＰ１２の対応点Ｐ１２２から基準パスＢＰ１２の対応点Ｐ１２１に向かう移動ベクトルＶ１２が定まる。
【０１１０】
図１３は位置合わせ加工の処理（２）の加工結果を示す説明図である。
上述の通り、標準パスＮＰ１２の連結画像を、移動ベクトルＶ１２に従って移動することによって、車線境界線の位置を合わせることができる。位置合わせの結果が車線境界線Ｌ１３である。
また、この位置合わせ加工によって、標準パスも基準パスの位置に合わせられる。本実施例は、本来、異なる位置を走行した複数のパスを位置合わせすることによって、道路面の画像を生成する。この際、図１２、図１３の比較から分かる通り、対応点に基づいて設定される移動ベクトルに従って、標準パスを平行移動することにより、複数のパス間で、路面標示の位置関係およびパスの位置関係を、非常によく一致させることができる。
【０１１１】
（４）絶対座標の取得：
図１４は路面標示の絶対位置座標の取得方法を示す説明図である。図の例では、標準パスＮＰ１４上の路面テクスチャＴＸ１４２、基準パスＢＰ１４上の路面テクスチャＴＸ１４１を例示した。路面テクスチャＴＸ１４１、ＴＸ１４２内には、それぞれ標示Ｍ１４１、Ｍ１４２が含まれている。
路面テクスチャＴＸ１４１、ＴＸ１４２は、それぞれの代表点が、基準パスＢＰ１４上の点Ｐ１４１、および標準パスＮＰ１４上の点Ｐ１４３に一致するように配置される。
【０１１２】
路面テクスチャＴＸ１４１内で、標示Ｍ１４１の頂点Ｐ１４２の位置は、代表点を原点とする相対的な座標（ｘ１４２，ｙ１４２）で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャＴＸ１４１が配置されている位置座標（Ｘ１４１，Ｙ１４１）が分かれば、これに、上述の相対的な座標を加えることによって、標示Ｍ１４１の頂点Ｐ１４２の絶対位置座標を取得することができる。
【０１１３】
路面テクスチャＴＸ１４２内も同様に、標示Ｍ１４２の頂点Ｐ１４５の位置は、代表点を原点とする相対的な座標（ｘ１４５，Ｙ１４５）で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャＴＸ１４２が配置されている位置座標（Ｘ１４３，Ｙ１４３）が分かれば、これに、上述の相対的な座標を加えることによって、標示Ｍ１４２の頂点Ｐ１４５の絶対位置座標を取得することができる。
【０１１４】
路面テクスチャＴＸ１４２については、位置合わせ加工によって、移動ベクトルＶ１４に従って、代表点の位置Ｐ１４３が点Ｐ１４４に移動したとする。この時、位置合わせ後の点Ｐ１４４の絶対位置座標は、移動前の点Ｐ１４３の位置座標（Ｘ１４３，Ｙ１４３）に、移動ベクトルＶ１４の成分（ＶＸ１４，ＶＹ１４）を加えることで得ることができる。更に、こうして得られた点Ｐ１４４の絶対位置座標に対して、点Ｐ１４５の相対的な座標（ｘ１４５，Ｙ１４５）を加えれば、位置合わせ加工後の標示Ｍ１４２の頂点Ｐ１４５の絶対位置座標を取得することができる。
【０１１５】
ここでは、路面テクスチャ内の標示Ｍ１４１，Ｍ１４２の頂点について絶対位置座標を取得する方法を示したが、路面テクスチャ内の任意の点は、それぞれ路面テクスチャの代表点を基準とする相対的な座標で特定可能であるから、同様の方法によって任意の点の絶対位置座標を取得することが可能である。
【０１１６】
Ｃ５．透明化ポリゴン設定処理：
（１）処理概要：
図１５は透明化ポリゴン設定処理の概要を示す説明図である。透明化ポリゴン設定処理は、重ねられた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定することによって、隣接するパスに対応する正射画像同士が重なり合っている部分で、上側の正射画像の一部を透明化して、下側の正射画像を透視可能とする処理である。
図の中央に、正射画像Ｐ１５２の上に正射画像Ｐ１５１が重ねられている様子を斜視図的に示した。下側の正射画像Ｐ１５２には、横断歩道Ａ１５４が分断された状態で含まれており、停止線Ａ１５３が完全な状態で含まれている。上側の正射画像Ｐ１５１には、横断歩道Ａ１５２が完全な形で含まれており、停止線Ａ１５１が分断された状態で含まれている。それぞれ分断された部分を、破線で囲んで示した。
この状態で正射画像Ｐ１５１、Ｐ１５２を重ねると、左側に示したように表示される。つまり、両者が重なった部分では、上側の正射画像Ｐ１５１の画像のみが表示されるため、横断歩道Ａ１５２は完全な状態で表示されるが、停止線Ａ１５１は分断された状態で示されてしまうのである。
仮に、正射画像Ｐ１５１、Ｐ１５２の上下関係を変えたとすれば、今度は、停止線Ａ１５３は完全な状態で表示することができるが、横断歩道Ａ１５４が分断された状態で表示されることになる。このように、正射画像Ｐ１５１、Ｐ１５２の上下関係だけでは、横断歩道、停止線の双方を完全な状態で表示させることはできない。
【０１１７】
そこで、本実施例では、透明化ポリゴンＰＯＬ１５を設定する。この例では、上側の正射画像Ｐ１５１において、分断されている停止線Ａ１５１を覆うように設定した例を示した。透明化ポリゴンＰＯＬ１５内では、上側の正射画像Ｐ１５１は透過した状態で表示される。従って、図の右側に示すように、正射画像Ｐ１５１、Ｐ１５２を重ねた状態では、透明化ポリゴンＰＯＬ１５の内部では、下側の正射画像Ｐ１５２が表示され、その他の部分では、上側の正射画像Ｐ１５１が表示される。この結果、下側の正射画像Ｐ１５１に含まれる停止線Ａ１５３と、上側の正射画像Ｐ１５２に含まれる横断歩道Ａ１５２が表示され、停止線および横断歩道の双方を完全な形で表示することができる。
【０１１８】
（２）フローチャート：
図１６は透明化ポリゴン設定処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示した透明化ポリゴン設定部２２１の処理に相当する。
処理を開始すると、ＣＰＵは、オペレータからの対象道路の指定を入力し（ステップＳ１００）、対象道路に対応する連結画像を入力する（ステップＳ１０２）。対象道路に対して複数のパスが対応している場合には、これらのパスに対応する複数の連結画像が入力される。
【０１１９】
ＣＰＵは、これらの連結画像を表示し、オペレータの操作に基づいて優先パスの指定を入力する（ステップＳ１０４）。優先パスとは、複数のパスのうち路面画像が最も良好なパスを言い、複数のパスの連結画像を重ねる際に最も上に位置するパスを言う。優先パスは、位置合わせ加工で用いられた基準パスとは異なる。基準パスは位置精度が最も良いものを意味したが、位置精度が良いからといって、路面画像が良好とは限らないからである。複数のパス間の連結画像の重ね合わせの上下関係がどのような状態であっても、位置合わせは支障なく行うことが可能であるから、位置合わせ用の基準パスと優先パスとは相互に独立して設定可能である。
本実施例では、優先パスは、オペレータが各パスの連結画像を比較しながら、任意に設定することができる。仮に、路面画像が最も粗いパスを優先パスに指定しても構わない。このような場合には、後述する透明化ポリゴンの設定数が増えるだけのことである。
【０１２０】
優先パスが設定されると、ＣＰＵは、オペレータの操作に従い透明化ポリゴンを設定する（ステップＳ１０６）。
図中に透明化ポリゴンの設定例を示した。この例では、優先パスに沿った路面テクスチャＴＸ１６１と、その他のパスに沿った路面テクスチャＴＸ１６２を示した。
撮影時には矩形の画像が、正射画像変換により、台形になるため、路面テクスチャＴＸ１６１、ＴＸ１６２を配置すると、図示するようにのこぎり刃状になる。のこぎり刃状の部分からは、路面画像の見栄えを落とすと共に、分断された路面画像しか得られないため、完全な路面画像を得るという目的からは不要な部分となる。そこで、図の例では、路面テクスチャＴＸ１６１、ＴＸ１６２が重なり合った部分では、のこぎり刃状になった路面テクスチャＴＸ１６１の左端の部分に透明化ポリゴンＰＯＬ１６１を設定し、のこぎり刃状の部分が表示されないようにしている。
【０１２１】
一方、路面テクスチャＴＸ１６１、ＴＸ１６２が重なりあっていない部分、図の例では、両端の領域Ａ１６１、Ａ１６２の部分には、透明化ポリゴンは設定しない。この部分では、それぞれ路面テクスチャＴＸ１６１、ＴＸ１６２によって得られる画像が、唯一の画像情報となるからである。両端の領域に透明化ポリゴンを設定すると、この部分に含まれる路面画像の情報は活用し得なくなる。本実施例では、このように他の路面テクスチャと重なり合っていない部分には、透明化ポリゴンを設定しないようにすることで、路面テクスチャに含まれる路面画像の情報を有効活用できるようにした。
かかる設定は、単に路面テクスチャが重なっていない部分を避けて、オペレータが透明化ポリゴンを設定するという運用によって実現してもよいが、透明化ポリゴンの設定処理（ステップＳ１０６）において、透明化ポリゴンの設定位置を制限するようにしてもよい。つまり、路面テクスチャが重なり合っている部分についてのみ、オペレータによる透明化ポリゴンの設定操作を受け付けるようにしても良い。
【０１２２】
路面テクスチャＴＸ１６１によって隠されている標示がある場合には、オペレータはその標示が視認できるように透明化ポリゴンを設定する。図の例では、矢印の標示を覆うように、透明化ポリゴンＰＯＬ１６２が設定されている例を示した。矢印の標示は、テクスチャＴＸ１６１の下側に配置されているテクスチャに含まれている画像である。
【０１２３】
このように標示を覆う透明化ポリゴンＰＯＬ１６２を設定するためには、一旦、路面テクスチャＴＸ１６１を他の路面テクスチャよりも下側に位置するように上下関係を変更したり、路面テクスチャＴＸ１６１を非表示としたりすればよい。これらの操作によって、路面テクスチャＴＸ１６１に隠された標示を視認可能な状態にした上で、その標示を覆うように透明化ポリゴンＰＯＬ１６２を設定し、路面テクスチャＴＸ１６１の表示を元に戻せばよい。
【０１２４】
以上の処理によって、透明化ポリゴンの設定が終わると、ＣＰＵは、設定結果を出力して、透明化ポリゴン設定処理を終了する。
【０１２５】
（３）処理例：
図１７は透明化ポリゴンを設定する前の道路画像例を示す説明図である。この例では、パスＰ１７１、Ｐ１７２の２本に沿って得られた連結画像の位置合わせを行って生成された道路画像を示した。パスＰ１７２の連結画像と、パスＰ１７１の連結画像とで、のこぎり刃状の両端の形状が逆向きになっているのは、これらのパスＰ１７１，Ｐ１７２を道路面撮影システム１００の車両が走行する方向が逆だからである。
【０１２６】
パスＰ１７２の連結画像が、パスＰ１７１の連結画像と重なっている部分では、パスＰ１７２の連結画像の端部Ｂ１７ののこぎり刃状の境界が現れており、道路画像の画質を劣化させている。ただし、図１７では、図示の都合上、のこぎり刃状の輪郭を付して端部Ｂ１７の形状を強調してある。
また、パスＰ１７２の路面画像が端の方で不鮮明なため、例えば、領域Ａ１７１では横断歩道の縞模様が歪んでいる。領域Ａ１７２では、停止線が分断された状態となっている。領域Ａ１７３では、路線バス等優先通行帯（いわゆるバスレーン）であることを示す「バス専用」の文字が読めない程に崩れている。領域Ａ１７４では、破線状の車線境界線が途中で分断された状態となっている。
【０１２７】
これらの影響を回避するため、図１７では、領域Ａ１７１〜Ａ１７４および端部Ｂ１７を包含する透明化テクスチャＰＯＬ１７を図中の一点鎖線のように設定した。
このように透明化ポリゴンＰＯＬ１７を設定すると、パスＰ１７２側の路面テクスチャは、透明化ポリゴンＰＯＬ１７の内部では透視状態となり、下側に配置されたパスＰ１７１側の路面テクスチャが視認されるようになる。
【０１２８】
図１８は透明化ポリゴンの設定後の道路画像例を示す説明図である。上述の透明化ポリゴンの作用により、領域Ａ１８１では、下側の画像が表示されるため、図１７で示した横断歩道の分断状態が解消される。領域Ａ１８２でも同様に、停止線が完全な状態で表示される。また、領域Ｂ１８に例示するように、路面テクスチャの端部ののこぎり刃状の輪郭は視認されなくなり、道路画像全体の画質が向上する。
領域Ａ１８３では、バス専用の文字が、はっきりと判読可能な状態となる。領域Ａ１８４では、車線境界線が完全な状態で表示される。
このように、本実施例では、透明化ポリゴンを設定することにより、道路画像の画質を向上させることができるとともに、道路面の標示の画質も向上させることができる。
【０１２９】
Ｃ６．ペイント認識処理：
（１）全体処理：
図１９はペイント認識処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示したペイント認識部２２３の処理に相当する。
処理を開始すると、ＣＰＵは処理データ記憶部２１０から、処理対象となっている道路の画像、即ち路面テクスチャ、パスのデータを読み込む（ステップＳ３００）。
次に、ＣＰＵは縦配置処理を行って（ステップＳ３０２）、縦配置画像を生成し、処理データ記憶部２１０に格納する。
【０１３０】
図２０は縦配置処理の内容を示す説明図である。図２０（ａ）に通常の処理における連結画像を示した。図中の一点鎖線の矢印ＰＡ２０は画像を撮影した際のパスを表している。通常の処理では、パスＰＡ２０に沿って路面テクスチャＴｘ２０を配置する。パスＰＡ２０の位置座標は、緯度経度などの絶対座標系ＸＹで得られている。従って、絶対座標系でパスＰＡ２０および路面テクスチャＴｘ２０を配置すると、図２０（ａ）に示すように連結画像は斜めに表示されることがある。この例では、直線状の道路を例示しているが、道路がカーブしている場合には、連結画像もカーブした状態となる。
【０１３１】
図２０（ｂ）は縦配置した画像例を示した。道路が直線状のため、図２０（ａ）の向きを矢印Ａ２０方向に回転した状態の画像となっている。
縦配置の画像は、次の手順で生成することができる。まず、２次元座標ｘｙの縦（ｙ）方向に距離軸を設定する。距離軸とは、パスＰＡ２０に沿って画像を撮影する際の開始点からの移動距離を表す軸である。パスＰＡ２０が直線状の時は、パスＰＡ２０の進行方向を上向きに表示した状態となる。パスが曲線状のときには、パスを直線状に伸ばした状態となる。
それぞれの路面テクスチャＴｘ２０については、撮影時の位置座標データおよび撮影開始からの移動距離が得られているから（図１の位置計測部１１０参照）、これらのデータに基づき、距離軸上に路面テクスチャＴｘ２０を配置する。路面テクスチャＴｘ２０は、画像内の代表点を距離軸上に置き、左右対称軸が距離軸に平行になるよう配置する。こうすることによって、パスが曲線状か否かに関わらず、進行方向が縦方向に直線状に伸ばされた状態の連結画像を表示することができる。この連結画像によれば、図示する通り、横断歩道および停止線は距離軸に直交する方向（図中の左右方向）に描かれ、車線境界線は距離軸に沿う方向（図中の上下方向）に描かれる。縦配置画像には、このように道路の標示が一定の位置関係で描画されるため、これらの認識がしやすくなるという利点がある。
ここでは、距離軸を縦に配置する例を示したが、横または斜めなど任意の方向に配置可能である。
【０１３２】
図１９に戻り、ペイント認識処理について説明する。
縦配置処理が完了すると、ＣＰＵは横断関連ペイント抽出処理を行う（ステップＳ３１０）。これは、横断歩道、自転車横断帯、停止線など交差点近辺の標示を抽出する処理である。本実施例では、処理データ記憶部２１０に格納された縦配置画像を用い、そこに描かれた標示を画像処理で抽出するとともに、標示に含まれる線分の位置関係や長さなどに基づく条件判断によって標示の種別を判断するようにした。
【０１３３】
横断関連ペイント処理が終わると、ＣＰＵは各種ペイント抽出処理を行う（ステップＳ３５０）。この処理で抽出対象となる標示を図中に示した。
「境界線」とは、実線および破線などで描かれた車線境界線である。
「矢印」とは、交差点内の進行方向の規制を示すために、交差点付近で各車線に示されている矢印である。
「ゼブラ」とは、横断歩道とは異なり、中央分離帯や右左折用の車線が増える箇所などに標示されている縞模様である。
「Ｕターン」とは、Ｕターン禁止道路に描かれているＵ字形状の矢印である。
「転回禁止」とは、Ｕターンの矢印とともに描かれている×印である。
「規制」とは、通行規制の時刻標示等である。例えば、バスレーンなどの標示と併せて描かれる「１７−１９」の標示（１７時〜１９時であることを意味）のような通行態様の規制等である。
「数字」とは、速度規制などの数字である。
「横断歩道予告」とは、横断歩道手前に描かれている菱形の記号である。
「減速帯」とは、車速の減速を促すために、路面上にパスに直交する方向の線分をパスの進行方向に沿って平行に複数本配置することで描かれている縞模様である。
「路面塗装」は、急カーブその他の運転者の注意を喚起すべき箇所に対し、通行の安全のために施されている赤色等の舗装領域である。
「バスレーン文字」とは、バスレーンとして使用される車線に付される「バス専用」「バス優先」という文字である。本実施例では、バスレーンを例示しているが、バスレーンに限らず、路面に標示される文字一般を対象としてもよい。
「終わり記号」とは、バスレーンなどの終了地点を示す「０」形状の記号である。
本実施例では、これらの標示を対象としているが、これらは例示に過ぎず、更に多くの標示を対象としてもよいし、この中の一部を抽出処理の対象外としても構わない。
【０１３４】
各種ペイント抽出処理（ステップＳ３５０）では、予め用意されたモデルを用いて、パターンマッチングを行う。本実施例では、人工モデル画像、ＯＣＲモデル画像の２種類を用いるものとした。これらのモデルは、予め処理データ記憶部２１０に記憶されている。
人工モデル画像とは、コンピュータグラフィックスによって生成されたモデルである。矢印、Ｕターン、転回禁止など、比較的単純な標示のマッチング用のモデルとして適している。
ＯＣＲモデル画像とは、撮影された画像から、オペレータが手作業で切り出した画像に基づいて生成されたモデルである。例えば、数字、バスレーンなどの複雑な形状をした標示のマッチング用のモデルとして適している。これらのモデルをコンピュータグラフィックスによって生成することも不可能ではないが、文字の形状を現実の道路標示に併せてモデルを生成するためには、結局、撮影した画像をトレース等する必要が生じるため、結果としてＯＣＲモデルを利用しているのと大差ない。
【０１３５】
ＣＰＵは、以上の処理を連結画像単位で、実行し、ペイント認識結果を処理データ記憶部２１０に格納して、ペイント認識処理を終了する。
以下では、相対座標変換処理（ステップＳ３７０）について詳細に説明する。
【０１３６】
（２）相対座標変換処理：
図２１は相対座標変換処理の内容を示す説明図である。本実施例では、以上で説明した各種標示の認識結果は、全て距離軸に沿って路面テクスチャを配置した直線状の画像を用いて得られている。従って、認識結果は、この直線状の画像を表示する座標系における相対的な位置が取得されているに過ぎない。相対座標変換処理は、この相対的な位置を、撮影時の位置座標に対応する絶対座標系の位置に変換する処理である。
【０１３７】
図の左側には、直線状の連結画像で標示を認識した状態を示している。ここでは、矩形の存在領域Ｍ３９１、Ｍ３９２を示した。これらの存在領域Ｍ３９１、Ｍ３９２の位置は、代表点としての重心Ｇ３９１、Ｇ３９２の位置座標で表される。この座標は、直線状の連結画像を表示するための座標系ｘｎ、ｙｎで与えられる。この座標系ｘｎ、ｙｎは、例えば、距離軸ＮＰ３９をｙｎ軸として定義することが好ましい。
【０１３８】
連結画像では、路面テクスチャＴｘ３９の代表点が、撮影時の位置に応じて、距離軸上に配置されている。各路面テクスチャＴｘ３９内の各点の代表点からの相対的な座標は既知である。従って、各存在領域の重心Ｇ３９１、Ｇ３９２の路面テクスチャＴｘ３９内での相対的な座標が求まるため、重心Ｇ３９１、Ｇ３９２から距離軸におろした垂線の足Ｒ３９１、Ｒ３９２の座標も求めることができる。
【０１３９】
図の右側には、絶対座標系ＸＹに変換した状態を示した。道路は直線とは限らないから、絶対座標系では、撮影時に取得された位置座標に従い、パスＲＰ３９は曲線状に描かれることもある。
各存在領域Ｍ３９１、Ｍ３９２の位置および向きは次の方法で求める。
まず、この曲線状のパスＲＰ３９の基準点からの距離に応じて、存在領域の垂線の足Ｒ３９１、Ｒ３９２のパスＲＰ３９上での位置を求め、点Ｒ３９１、Ｒ３９２から、それぞれ法線ベクトルＶ３９１、Ｖ３９２を描き、その終点を重心Ｇ３９１、Ｇ３９２とする。法線ベクトルＶ３９１、Ｖ３９２の大きさは、直線状の連結画像における点Ｒ３９１、Ｇ３９１間の距離、および点Ｒ３９２、Ｇ３９２間の距離にそれぞれ等しい。存在領域Ｍ３９１、Ｍ３９２の方向は、長手方向が法線ベクトルＶ３９１、Ｖ３９２と直交するように配置する。つまり、存在領域Ｍ３９１、Ｍ３９２と、重心Ｇ３９１、Ｇ３９２、および垂線の足Ｒ３９１、Ｒ３９２の相対的な位置関係が、直線状の連結画像（図の左側）と絶対座標系（図の右側）とで同一となるように、存在領域Ｍ３９１、Ｍ３９２を配置するのである。
この変換処理により、抽出された各標示の位置を絶対座標系の位置座標で表すことが可能となる。
【０１４０】
上述した絶対座標系への位置座標の変換処理は、次の方法で行っても良い。
まず、各存在領域の構成点、つまり存在領域の頂点の位置を、それぞれの頂点が属する路面テクスチャの代表点を基準とする相対座標で求める。そして、それぞれの路面テクスチャを絶対座標系ＸＹでの配置に変換する際に、同様の変換をそれぞれの構成点に施すのである。こうすることにより、比較的容易に絶対座標系での構成点の位置座標を得ることができる。
ただし、この方法では、構成点ごとに座標変換するため、変換時に存在領域の形状が崩れる場合がある。従って、変換後の構成点の配置を、存在領域の形状に適合させる修正処理を施しても良い。
【０１４１】
Ｃ７．ペイント解析処理：
次にＣＰＵは、ペイント解析処理を行う。ペイント解析処理とは、ペイント認識処理の結果に対して、誤認識の有無を判定し、誤認識が検出された時には、ペイントの削除などの対処を行う処理である。本実施例では、各ペイントを単独で解析するのに加えて、ペイント相互の相関関係の適否を判定することで、誤認識を検出する。相関関係の適否は、ペイントの種別および位置関係に基づいて判断される。本実施例では、ペイント相互の位置関係は、ペイントの存在領域に基づいて判断するものとした。
【０１４２】
存在領域とは、ペイントを包含する矩形などの予め決められた幾何学形状を言う。存在領域として用いるべき幾何学形状は、ペイントの種類ごとに任意に設定可能である。本実施例では、主として矩形を用いるものとした。
例えば、矢印の場合には、矢印の中心軸に平行な辺を有する矩形を用いることができる。そのサイズは、矢印の先端（終点）および開始点を含む形状とすることができる。
このように存在領域が設定されると、存在領域の位置、形状および「矢印」という標示の種別が与えられると、予め用意された矢印モデルを、存在領域内に内接するように拡大・縮小することによって、矢印の標示を再現することが可能となる。
他のペイントについても同様である。ペイントごとに存在領域として用いるべき幾何学形状を予め設定しておくとともに、モデルを用意しておけば、それぞれのペイントを比較的容易に再現することが可能である。こうすることにより、ペイントのデータ容量を抑制することができる利点がある。また、存在領域は幾何学形状であるため、これを用いることにより、ペイント同士の間隔や、重なりの有無などの位置関係を比較的容易に判断することが可能である。
本実施例では、こうして設定された存在領域データをオブジェクトファイルと称する。
【０１４３】
Ｃ８．ペイント修正処理：
（１）全体処理：
図２２はペイント修正処理のフローチャートである。ハードウェア的には路面標示地図生成装置２００のＣＰＵが実行する処理である。これは、図２に示したペイント修正部２２７の処理に相当する。
処理を開始すると、ＣＰＵは処理データ記憶部２１０から、処理対象となっている道路のオブジェクトファイルおよびパスのデータ、透明化ポリゴンを読み込む（ステップＳ６００）。
【０１４４】
次に、ＣＰＵは各パスのオブジェクトファイルから、表示に使用される部分を抽出する（ステップＳ６３０）。
図の右側にこの処理の概要を例示した。図の例は、連結画像ＵＰ２２の上に、連結画像ＯＰ２２が部分的に重なっている状態を示している。連結画像ＵＰ２２内には、標示を表すオブジェクトＰｕ２２１、Ｐｕ２２２が含まれており、連結画像ＵＰ２２内には、オブジェクトＰｏ２２１、Ｐｏ２２２が含まれている。
また、オブジェクトＰｏ２２２を包含するように、透明化ポリゴンＴＰ２２２が設定されている。透明化ポリゴンＴＰ２２２が透過状態となるため、連結画像ＵＰ２２の領域ＴＰ２２１が表示される。オブジェクトＰｏ２２２は非表示となる。
【０１４５】
この状態で、ステップＳ６３０の処理では、ＣＰＵは、下側のオブジェクトＰｕ２２１，Ｐｕ２２２に対しては、図中のハッチングの部分のみを表示に使用される部分として抽出する。オブジェクトＰｕ２２２は全体が表示されるため、そのままの形状で抽出される。オブジェクトＰｕ２２１は、連結画像ＯＰ２２で隠される部分を除くハッチングの部分が抽出される。
一方、上側の連結画像ＯＰ２２については、オブジェクトＰｏ２２１は全体が表示に使用されるため、そのまま抽出される。オブジェクトＰｏ２２２は、透明化ポリゴンＴＰ２２２によって透過状態とされるため、抽出されない。仮に、透明化ポリゴンＴＰ２２２が、領域ＴＰ２２１に対応する部分に設定されている場合には、オブジェクトＰｏ２２２については、図中のハッチングを付した部分が表示に使用されるようになるため、この部分が抽出されることになる。
【０１４６】
次に、ＣＰＵはオブジェクト結合処理を行う（ステップＳ６５０）。本実施例では、車線境界線、横断歩道、自転車横断帯、および停止線をこの処理の対象とした。
オブジェクト結合処理とは、複数の同種のオブジェクトの位置関係に基づいて、単一のオブジェクトか否かを判定するとともに、単一のオブジェクトと判断される場合には、複数のオブジェクトを結合して一つのオブジェクトを生成する処理である。
それぞれのオブジェクトに対する結合処理の内容は後述する。
【０１４７】
オブジェクト結合処理が終わると、ＣＰＵはオブジェクト補正処理を行う（ステップＳ６８０）。オブジェクト補正処理は、それぞれのオブジェクトを整形したり、非表示のオブジェクトを表示状態に変更したりする処理である。この処理内容についても後述する。
【０１４８】
（２）車線境界線結合処理：
図２３は車線境界線結合処理のフローチャートである。ペイント修正処理（図２２）のステップＳ６５０に相当する処理である。
この処理では、ＣＰＵはまず車線境界線のオブジェクトを入力し（ステップＳ６５１）、処理対象となる境界線を任意に選択する（以下、選択されたものを「対象境界線」と称する）。そして、対象境界線の端点から距離Ｒ内に端点が存在する車線境界線を抽出する（ステップＳ６５２）。
【０１４９】
図中に抽出例を示した。表示領域Ａ２３１から対象境界線として車線境界線ＰＬ２３が選択されているとする。表示領域Ａ２３１は、連結画像と同一としてもよいし、連結画像を規定のサイズで分断して定義してもよい。
ステップＳ６５２の処理では、対象境界線の端点Ｐ２３０から、距離Ｒ（図中の円）内に端点が存在するものとして、表示領域Ａ２３１内の車線境界線Ｌ２３１、隣接する表示領域Ａ２３２内の車線境界線Ｌ２３２、Ｌ２３３が抽出される。このように、距離Ｒ内の車線境界線は、対象境界線が存在する連結画像内から抽出するものに限定されず、他の連結画像から抽出されたものであってもよい。
抽出の基準となる距離Ｒは、対象境界線と連続した車線境界線とみなすことができる範囲内で任意に設定可能である。距離Ｒを小さい値に設定すれば、連続していない車線境界線を抽出する可能性を低減することができるが、連続した車線境界線に抽出漏れが生じるおそれがある。距離Ｒの値は、こうした両面を考慮して設定することができる。
【０１５０】
こうして近接する車線境界線を抽出すると、ＣＰＵは、異なる表示領域内から端点間の距離が最短となる車線境界線を選択し、結合する（ステップＳ６５３）。図中に結合の例を示した。図の例では、車線境界線Ｌ２３１は、対象境界線ＰＬ２３と同じ表示領域内にあるから選択の対象外となる。異なる表示領域にある車線境界線Ｌ２３２、Ｌ２３３のうち、端点Ｐ２３０からの距離が短いのは、車線境界線Ｌ２３２である。従って、対象境界線ＰＬ２３と車線境界線Ｌ２３２が連続した車線境界線であると判断し、端点Ｐ２３０と、車線境界線Ｌ２３２の端点ＬＰ２３２を結合する。こうすることで、一つの連続した車線境界線が定義される。
【０１５１】
こうして結合が完了すると、ＣＰＵはスムージングを施す（ステップＳ６５４）。図中にスムージングの例を示した。スムージングによって、端点Ｐ２３０、Ｐ２３２で結合された２つの車線境界線の各構成点を通過する曲線ＳＬ２３が得られる。スムージングは、ベジェ曲線、スプライン曲線などを用いることができる。こうすることによって、結合部分のいびつさを抑制することができる。
ＣＰＵは以上の処理を、対象境界線を変えながら、全ての車線境界線について実行する。
【０１５２】
（３）横断歩道・自転車横断帯合成処理：
図２４は横断歩道・自転車横断帯合成処理のフローチャートである。ペイント修正処理（図２２）のステップＳ６５０に相当する処理である。
処理を開始すると、ＣＰＵは横断歩道、自転車横断帯オブジェクトを入力する（ステップＳ６６１）。
そして、各オブジェクトについて近似四辺形を生成する（ステップＳ６６２）。横断歩道、自転車横断帯のオブジェクトとして、矩形または四角形の存在領域が設定されている時は、この処理は省略することができる。
【０１５３】
図中に近似四辺形の生成方法を示した。横断歩道等のオブジェクトが、点Ｐ２４１〜Ｐ２４５からなる五角形で設定されている場合を例示した。近似四辺形を生成する際には、この点Ｐ２４１〜Ｐ２４５から、最大距離を有する２点の対角線Ｐ２４１−Ｐ２４４を求める。そして、残余の各構成点Ｐ２４２、Ｐ２４３、Ｐ２４５から、この対角線への距離ｄ２４２，ｄ２４３、ｄ２４１を求め、その中の大きい側から２つを選択する。ただし、これらの２つの点は、対角線Ｐ２４１−Ｐ２４４を挟んで両側に位置するよう選択する。図の例では、距離ｄ２４１、ｄ２４３が大きい値となるため、これらに対応する構成点Ｐ２４５、Ｐ２４３を選択する。
こうして選択された構成点Ｐ２４５、Ｐ２４３および上述の対角線の両端の点Ｐ２４１、Ｐ２４４によって四辺形を得ることができる。
【０１５４】
次に、ＣＰＵは、横断歩道、自転車横断帯をグループ化する（ステップＳ６６３）。つまり、複数の横断歩道、自転車横断帯のうち道路の幅方向に配列しているものは、単一の横断歩道、自転車横断帯を表しているものとみなし、これらをグループ化するのである。
まず処理対象となる四辺形ＣＲ２４２のうち、パスＰＳ２４２にほぼ平行な２つの辺の中点Ｐｂ２４１、Ｐｂ２４２を求める。そして、中点Ｐｂ２４１、Ｐｂ２４２を延長し、他のパスＰＳ２４１，ＰＳ２４３との交点Ｐｂ２４３、Ｐｂ２４４を求める。こうして得られた点のうち、最も離れて存在する２点を選択する。図中の例では、点Ｐｂ２４３、Ｐｂ２４４となる。
そして、この２点Ｐｂ２４３、Ｐｂ２４４を結ぶ線分を規定の倍率で延長して線分Ｌ２４１を得る。
また、この線分Ｌ２４１を、図中の矢印に示すように、パスＰＳ２４２の前後方向にそれぞれ所定量だけオフセットすることによって、線分Ｌ２４２、Ｌ２４３を得る。この線分Ｌ２４２、Ｌ２４３を２つの辺とする四辺形（図中の太線で示した四辺形）を定義し、この四辺形と重なるオブジェクトＣＲ２４１〜ＣＲ２４６を一つのグループと認識する。
以下、太線の四辺形をグループ化領域と呼ぶこともある。
【０１５５】
上述の処理において、２点Ｐｂ２４３、Ｐｂ２４４を結ぶ線分を延長して線分Ｌ２４１を得る際の倍率、および線分Ｌ２４１をパスＰＳ２４２から線分Ｌ２４２、Ｌ２４３を得る際のオフセット量は、それぞれ任意に設定可能である。
例えば、倍率は、パスＰＳ２４１、ＰＳ２４３の連結画像内のオブジェクトＣＲ２４１、ＣＲ２４３を捕捉できる程度の値を設定すればよい。またオフセット量は、横断歩道および自転車横断帯の標準的な幅（パスの進行方向に沿った長さ）を考慮して設定すればよい。
【０１５６】
次に、ＣＰＵは、次の手順で、グループ化されたオブジェクトＣＲ２４１〜ＣＲ２４６の合成、整形処理を行う（ステップＳ６６４）。
まずグループ内にあるオブジェクトを種別に応じて、横断歩道のオブジェクトＣＲ２４１〜ＣＲ２４３と、自転車横断帯のオブジェクトＣＲ２４４〜ＣＲ２４６に分ける。
横断歩道のオブジェクトＣＲ２４１〜ＣＲ２４３については、これらのオブジェクトを構成する各辺のうち、最も離れた２辺Ｓ２４１，Ｓ２４２を抽出する。そして、２辺Ｓ２４１、Ｓ２４２を対向する２辺とする四辺形Ｒ２４１を生成し、これを合成形状とする。
自転車横断帯についても同様に、オブジェクトＣＲ２４４〜ＣＲ２４６を構成する各辺のうち、最も離れた２辺Ｓ２４３、Ｓ２４４を抽出する。そして、２辺Ｓ２４３、Ｓ２４４を対向する２辺とする四辺形Ｒ２４２を生成し、これを合成形状とする。
こうして得られた合成形状Ｒ２４１、Ｒ２４２について、次に示す整形処理を施す。
【０１５７】
図２５は横断歩道・自転車横断帯の整形方法を示す説明図である。横断歩道と自転車横断帯とは隣接して平行に描かれているのが通常であるため、横断歩道および自転車横断帯の合成形状を、このような状態に整形するための処理である。
【０１５８】
図２５（ａ）は、横断歩道の合成形状ＣＲ２５１に対して、自転車横断帯の合成形状ＣＲ２５２の長さ（道路の横断方向、図中の例では左右方向）の割合が所定値（本実施例では２／３とした）以上となる場合の処理例を示した。所定値は任意に設定可能である。
横断歩道の合成形状ＣＲ２５１は、整形前はハッチングの状態であったとする。自転車横断帯の長さが十分にある場合には、自転車横断を基準として横断歩道の合成形状ＣＲ２５１を整形する。従って、自転車横断帯の辺Ｓ２５３の延長線と、横断報道の合成形状ＣＲ２５１の左右の辺Ｓ２５１、Ｓ２５２の延長線との交点Ｐ２５１、Ｐ２５２を求め、これらの点を含む台形を横断歩道の合成形状とする。
【０１５９】
図２５（ｂ）は、自転車横断帯の長さが十分でない場合、つまり自転車横断帯の長さが横断歩道の長さの２／３よりも小さい場合の例を示した。この場合は、横断歩道の形状を基準として自転車横断帯の合成形状を整形する。自転車横断帯の幅は、Ｄ２５であるとする。
従って、図２５（ｂ）に示すように、自転車横断帯の合成形状ＣＲ２５４の両側の辺Ｓ２５４、Ｓ２５５を延長し、横断歩道の合成形状ＣＲ２５３との交点Ｐ２５３、Ｐ２５４を求める。
次に、図２５（ｃ）に示すように、点Ｐ２５３、Ｐ２５４から幅Ｄ２５だけ移動した点に辺Ｓ２５６を設定し、これらで囲まれる部分を自転車横断帯の合成形状ＣＲ２５５とする。
【０１６０】
図２５（ｄ）には、上述の整形の結果、横断歩道と自転車横断帯の長さが異なる場合の例を示した。図の例では、横断歩道の合成形状ＣＲ２５３の長さよりも、自転車横断帯の合成形状ＣＲ２５５の長さが短い例を示している。この場合には、自転車横断帯の合成形状ＣＲ２５５の両端の辺Ｓ２５７、Ｓ２５８を横断歩道の合成形状ＣＲ２５３に一致するまで移動させる。また、これに合わせて辺Ｓ２５６を延長する。
こうすることによって、自転車横断帯の合成形状ＣＲ２５５と、横断歩道の合成形状ＣＲ２５３の長さを一致させることができる。
図の例では、自転車横断帯の合成形状ＣＲ２５５を左右方向に延長する処理例を示したが、横断歩道の長さが自転車横断帯よりも短い場合には、同様の処理によって、横断歩道を延長してもよい。
【０１６１】
（４）停止線合成処理：
図２６は停止線合成処理のフローチャートである。ペイント修正処理（図２２）のステップＳ６５０に相当する処理である。
処理を開始すると、ＣＰＵは停止線オブジェクトを入力する（ステップＳ６７１）。そして、停止線をグループ化および合成を行う（ステップＳ６７２、Ｓ６７３）。グループ化および合成は、横断歩道、自転車横断帯と同じ方法（図２４のステップＳ６６３、Ｓ６６４）で行うことができる。
【０１６２】
次に、ＣＰＵは停止線の整形を行う（ステップＳ６７４）。停止線は、車線境界線の間に描かれているのが通常であるため、車線境界線をはみ出す部分を削除するのである。
図中に処理例を示した。左側に示すように、停止線について台形状の合成形状ＳＬ２６１が得られているとする。車線境界線Ｌ２６１、Ｌ２６２内にはハッチングの部分が描かれており、その両端は車線境界線Ｌ２６１、Ｌ２６２からはみ出している。
ＣＰＵは、停止線の合成形状ＳＬ２６１と、車線境界線Ｌ２６１、Ｌ２６２との交点Ｐ２６１〜Ｐ２６４を求め、停止線の両端を削除する。こうすることによって、図の右側に示すように、車線境界線Ｌ２６１、Ｌ２６２内に収まるように整形した停止線の合成形状ＳＬ２６２を得ることができる。
【０１６３】
（５）オブジェクト補正処理：
図２７はオブジェクト補正処理のフローチャートである。ペイント修正処理（図２２）のステップＳ６８０に相当する処理である。
処理を開始すると、ＣＰＵは各オブジェクトを入力し（ステップＳ６８１）、車線境界線を整形する（ステップＳ６８２）。
本実施例の整形処理では、横断歩道、自転車横断帯および停止線を基準として車線境界線を整形するようにした。車線境界線に比較して横断歩道等の方が、誤認識が少ないからである。
【０１６４】
図中に整形の処理例を示した。この例では、停止線ＳＬ２７１、ＳＬ２７２および横断歩道ＣＲ２７１、自転車横断帯ＣＲ２７２が含まれている。
停止線ＳＬ２７２の両側には車線境界線Ｌ２７１が存在する。車線境界線Ｌ２７１と自転車横断帯ＣＲ２７２との間には隙間がある。そこで、整形処理では、車線境界線Ｌ２７１を線分Ｌ２７２に示すように延長し、自転車横断帯ＣＲ２７２に接続させる。横断歩道ＣＲ２７１との間に隙間がある車線境界線Ｌ２７３も同様に、線分Ｌ２７４に示すように延長し、横断歩道ＣＲ２７１に接続させる。
【０１６５】
停止線ＳＬ２７１の端に位置する車線境界線Ｌ２７５は、逆に、横断歩道ＣＲ２７１内に入り込んでいる。従って、整形処理では、破線の線分Ｌ２７５ｃに示すように、横断歩道ＣＲ２７１の境界線よりも内部に入り込んだ部分を削除する。同様に、車線境界線Ｌ２７７についても、自転車横断帯ＣＲ２７２に入り込んだ部分Ｌ２７７ｃを削除する。
また、車線境界線Ｌ２７６は、横断歩道ＣＲ２７１、自転車横断帯ＣＲ２７２を貫通している。従って、整形処理では、貫通している部分Ｌ２７６ｃを削除する。この結果、車線境界線Ｌ２７６は、横断歩道ＣＲ２７１、自転車横断帯ＣＲ２７２の左右の部分に分断されることになる。
【０１６６】
次に、ＣＰＵはペイント補正処理を行う（ステップＳ６８３）。ペイント補正処理とは、連結画像が重なり合っている部分で、下側の連結画像においてのみ認識されており非表示となっているペイントを表示可能な状態に変更する処理である。
図中に処理例を示した。下側に配置されている連結画像およびペイントを破線で示し、上側に重ねられる連結画像およびペイントを実線で示した。
下側の矢印Ｍ２７２には、対応する位置に上側の矢印Ｍ２７１が存在する。従って、ここでは、矢印Ｍ２７１、Ｍ２７２を比較した上で矢印Ｍ２７１が採用されていると判断されるため、矢印Ｍ２７２はそのまま非表示の状態とされる。なお、比較の結果、矢印Ｍ２７２側を表示に使用すると判断された場合には、矢印Ｍ２７１を包含するように透明化ポリゴンを設定すればよい。
これに対し、矢印Ｍ２７３には、重なり合う上側の矢印が存在しない。従って、矢印Ｍ２７３は、従前の処理において誤認識と判断され、非表示の状態に設定されていると判断される。そこで、本実施例では、オブジェクト補正処理として、このように下側にのみ位置する矢印Ｍ２７３を、表示可能な状態に変更する。例えば、矢印Ｍ２７３を切り抜いて上側の連結画像内に結合させるようにしてもよいし、上側の連結画像内の矢印Ｍ２７３に対応する位置に透明化ポリゴンを設定してもよい。
【０１６７】
Ｄ．効果：
以上で説明した実施例の道路面撮影システム１００および路面標示地図生成装置２００によれば、道路を走行しながら取得したフレーム画像を正射変換して得られた路面テクスチャを配置することにより、走行軌跡（パス）に沿って位置精度のよい連結画像を得ることができる。更に、複数のパスに沿って得られた連結画像同士を、位置合わせして合成することにより、道路全体の路面画像を得ることができる。この際、画像を撮影した際の各パスの位置精度が最も高いものを基準パスとして、他のパスをこの基準パスに合わせる方法を採ることにより、全体の位置精度を確保しつつ路面画像を生成することができる。
本実施例では、各パスの連結画像は、路面テクスチャを配置するまでに留め、これらを一枚の画像として合成していない。従って、路面テクスチャ単位で配置を平行移動することによって、複数パスの連結画像を容易に合成可能である。
【０１６８】
本実施例では、各パスの連結画像の生成、および複数パスの連結画像の合成のいずれの処理も、路面テクスチャに対するアフィン変換を施す必要がなく、単純な平行移動で行う。従って、複雑な画像処理に伴う画質の劣化を回避することができ、路面標示が鮮明な状態で表示された路面画像を得ることが可能である。また、平行移動で行うため、路面テクスチャ内の代表点を基準とする相対的な座標系は、連結画像の生成および合成の前後で維持される。この結果、代表点の絶対位置座標が得られれば、路面テクスチャ内の各点の絶対位置座標を容易に取得することが可能となり、路面標示の絶対位置座標を取得することも可能となる。
【０１６９】
また、本実施例では、連結画像から認識された複数の標示について、その位置関係に基づき、単一の標示と判断できるものを合成することができる。また、横断歩道等に車線境界線を接続させたり、逆に、横断歩道等の内部に入り込んだ車線境界線を削除したりすることによって、両者の位置関係を適正化することができる。更に、連結画像同士の重なり合いによって、隠されてしまっている標示を、それに重なる標示の有無に応じて、表示状態とさせることができる。
複数の標示間の位置関係に基づいて、これらの修正を施すことにより、本実施例では、標示の誤認識等の一部を除去することができ、標示の認識精度を向上させることができる。
【０１７０】
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。
例えば、連結画像は、路面テクスチャを合成した一枚の画像として生成してもよい。この場合、複数パスの合成を行う際には、連結画像を路面テクスチャに相当する複数の領域に分割した上で、領域ごとに平行移動すればよい。
本実施例では、車両に搭載したビデオカメラで撮影した画像を利用する例を示したが、車両に限らず自転車その他の種々の移動体を利用可能であり、歩行しながら撮影する方法を採っても良い。
【図面の簡単な説明】
【０１７１】
【図１】実施例としての道路面撮影システムの構成を示す説明図である。
【図２】実施例としての路面標示地図生成装置の構成を示す説明図である。
【図３】路面標示地図の生成過程における中間データを示す説明図である。
【図４】実施例における道路画像の生成例を示す説明図である。
【図５】位置合わせ加工の概要を示す説明図である。
【図６】交差点が存在する場合の位置合わせの手順を示す説明図である。
【図７】連結画像生成処理のフローチャートである。
【図８】位置合わせ加工のフローチャートである。
【図９】基準パス設定処理のフローチャートである。
【図１０】連結画像移動処理のフローチャートである。
【図１１】位置合わせ加工の処理例（１）を示す説明図である。
【図１２】位置合わせ加工の処理例（２）を示す説明図である。
【図１３】位置合わせ加工の処理（２）の加工結果を示す説明図である。
【図１４】路面標示の絶対位置座標の取得方法を示す説明図である。
【図１５】透明化ポリゴン設定処理の概要を示す説明図である。
【図１６】透明化ポリゴン設定処理のフローチャートである。
【図１７】透明化ポリゴンを設定する前の道路画像例を示す説明図である。
【図１８】透明化ポリゴンの設定後の道路画像例を示す説明図である。
【図１９】ペイント認識処理のフローチャートである。
【図２０】縦配置処理の内容を示す説明図である。
【図２１】相対座標変換処理の内容を示す説明図である。
【図２２】ペイント修正処理のフローチャートである。
【図２３】車線境界線結合処理のフローチャートである。
【図２４】横断歩道・自転車横断帯合成処理のフローチャートである。
【図２５】横断歩道・自転車横断帯の整形方法を示す説明図である。
【図２６】停止線合成処理のフローチャートである。
【図２７】オブジェクト補正処理のフローチャートである。
【符号の説明】
【０１７２】
１００…道路面撮影システム
１１０…位置計測部
１１０…計測データ
１１２…コントローラ
１１４…ＧＰＳ
１１４Ａ…アンテナ
１１６…ＩＭＵ
１１８…ＤＭＩ
１２０…ビデオカメラ
１３０…記録装置
１４０…ハードディスク
１４２…画像データ
１４４…同期データ
１４６…計測データ
１５０…基準局データ
２００…路面標示地図生成装置
２０１…主制御部
２０２…コマンド入力部
２０３…表示制御部
２０４…データ入力部
２０５…軌跡データ算出部
２０６…画像変換部
２０７…１パス画像合成部
２１０ａ…軌跡データ
２１０ｂ…路面軌跡データ
２１０ｃ…路面テクスチャ
２１０ｄ…連結画像
２１０ｅ…道路画像
２１０ｆ…道路画像用登録データ
２１０ｇ…軌跡用登録データ
２１０…処理データ記憶部
２２０…位置合わせ処理部
２２１…透明化ポリゴン設定部
【特許請求の範囲】
【請求項１】
コンピュータによって道路面に施された標示を含む路面標示地図を生成する生成方法であって、
（ａ） 前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続画像の画像データと、該画像データの撮影位置を表す位置座標データとを入力する工程と、
（ｂ） 前記入力された画像データを構成する各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る工程と、
（ｃ） 前記正射画像を配置して前記各パスの路面を表す連結画像を生成する工程と、
（ｅ） 前記連結画像に基づいて、前記路面に描かれた標示の種別および位置を認識する工程と、
（ｆ） 前記連結画像から認識された複数の標示の位置関係に基づき、該標示が適正な位置関係となるよう、該標示の少なくとも一部を修正する工程とを備える生成方法。
【請求項２】
請求項１記載の生成方法であって、更に、
前記工程（ａ）〜（ｃ）は、前記連結画像の一部が重なり合う位置関係にある複数のパスに対して処理されており、
（ｇ） 前記工程（ｆ）に先だって、前記連結画像の一部を透過状態とするための透明化ポリゴンを設定する工程を供え、
前記工程（ｆ）における前記位置関係は、前記透明化ポリゴンによって透過状態とされる部分を除いた状態の前記標示に基づいて判定される生成方法。
【請求項３】
請求項１または２記載の生成方法であって、
前記工程（ｆ）は、認識された前記複数の標示が同一の種別である場合には、位置関係に応じて、前記標示を合成して単一の標示とする工程である生成方法。
【請求項４】
請求項１〜３いずれか記載の生成方法であって、
前記工程（ａ）〜（ｃ）は、前記連結画像の一部が重なり合う範囲で道路の幅方向の位置が異なる複数のパスに対して処理されており、
前記工程（ｆ）は、前記複数のパスの連結画像からそれぞれ認識され、前記道路の幅方向に並ぶ同一種別の標示を合成して、前記道路の幅方向に延伸する単一の標示とする工程である生成方法。
【請求項５】
請求項１〜４いずれか記載の生成方法であって、
前記工程（ｆ）は、前記標示の形状を予め規定された幾何学形状で近似し、該幾何学形状を用いて前記標示の修正を行う生成方法。
【請求項６】
請求項１〜５いずれか記載の生成方法であって、
前記標示には、前記道路の幅方向に延伸する標示、および車線境界線が含まれ、
前記工程（ｆ）は、前記幅方向に延伸する標示の輪郭線上に前記車線境界線の端点が来るように、前記車線境界線の形状を修正する生成方法。
【請求項７】
請求項１〜６いずれか記載の生成方法であって、
前記工程（ａ）〜（ｃ）は、前記連結画像の一部が重なり合う位置関係にある複数のパスに対して処理されており、
前記工程（ｆ）は、前記重なり合う領域において、下側の連結画像においてのみ認識されている標示を、上側に配置される連結画像で隠されない状態とする生成方法。
【請求項８】
道路面に施された標示を含む路面標示地図を生成する生成装置であって、
前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続画像の画像データと、該画像データの撮影位置を表す位置座標データとを入力する入力部と、
前記入力された画像データを構成する各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る画像変換部と、
前記正射画像を配置して前記各パスの路面を表す直線状の連結画像を生成する連結画像生成部と、
前記連結画像に基づいて、前記路面に描かれた標示の種別および位置を認識する標示認識部と、
前記連結画像から認識された複数の標示の位置関係に基づき、該標示が適正な位置関係となるよう、該標示の少なくとも一部を修正する標示修正部とを備える生成装置。
【請求項９】
道路面に施された標示を含む路面標示地図を生成するためのコンピュータプログラムであって、
前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続画像の画像データと、該画像データの撮影位置を表す位置座標データとを入力する入力サブプログラムと、
前記入力された画像データを構成する各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る画像変換サブプログラムと、
前記正射画像を配置して前記各パスの路面を表す直線状の連結画像を生成する連結画像生成サブプログラムと、
前記連結画像に基づいて、前記路面に描かれた標示の種別および位置を認識する標示認識サブプログラムと、
前記連結画像から認識された前記標示の位置関係に基づき、該標示が適正な位置関係となるよう、該標示の少なくとも一部を修正する標示修正サブプログラムとを備えるコンピュータプログラム。
【請求項１】
コンピュータによって道路面に施された標示を含む路面標示地図を生成する生成方法であって、
（ａ） 前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続画像の画像データと、該画像データの撮影位置を表す位置座標データとを入力する工程と、
（ｂ） 前記入力された画像データを構成する各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る工程と、
（ｃ） 前記正射画像を配置して前記各パスの路面を表す連結画像を生成する工程と、
（ｅ） 前記連結画像に基づいて、前記路面に描かれた標示の種別および位置を認識する工程と、
（ｆ） 前記連結画像から認識された複数の標示の位置関係に基づき、該標示が適正な位置関係となるよう、該標示の少なくとも一部を修正する工程とを備える生成方法。
【請求項２】
請求項１記載の生成方法であって、更に、
前記工程（ａ）〜（ｃ）は、前記連結画像の一部が重なり合う位置関係にある複数のパスに対して処理されており、
（ｇ） 前記工程（ｆ）に先だって、前記連結画像の一部を透過状態とするための透明化ポリゴンを設定する工程を供え、
前記工程（ｆ）における前記位置関係は、前記透明化ポリゴンによって透過状態とされる部分を除いた状態の前記標示に基づいて判定される生成方法。
【請求項３】
請求項１または２記載の生成方法であって、
前記工程（ｆ）は、認識された前記複数の標示が同一の種別である場合には、位置関係に応じて、前記標示を合成して単一の標示とする工程である生成方法。
【請求項４】
請求項１〜３いずれか記載の生成方法であって、
前記工程（ａ）〜（ｃ）は、前記連結画像の一部が重なり合う範囲で道路の幅方向の位置が異なる複数のパスに対して処理されており、
前記工程（ｆ）は、前記複数のパスの連結画像からそれぞれ認識され、前記道路の幅方向に並ぶ同一種別の標示を合成して、前記道路の幅方向に延伸する単一の標示とする工程である生成方法。
【請求項５】
請求項１〜４いずれか記載の生成方法であって、
前記工程（ｆ）は、前記標示の形状を予め規定された幾何学形状で近似し、該幾何学形状を用いて前記標示の修正を行う生成方法。
【請求項６】
請求項１〜５いずれか記載の生成方法であって、
前記標示には、前記道路の幅方向に延伸する標示、および車線境界線が含まれ、
前記工程（ｆ）は、前記幅方向に延伸する標示の輪郭線上に前記車線境界線の端点が来るように、前記車線境界線の形状を修正する生成方法。
【請求項７】
請求項１〜６いずれか記載の生成方法であって、
前記工程（ａ）〜（ｃ）は、前記連結画像の一部が重なり合う位置関係にある複数のパスに対して処理されており、
前記工程（ｆ）は、前記重なり合う領域において、下側の連結画像においてのみ認識されている標示を、上側に配置される連結画像で隠されない状態とする生成方法。
【請求項８】
道路面に施された標示を含む路面標示地図を生成する生成装置であって、
前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続画像の画像データと、該画像データの撮影位置を表す位置座標データとを入力する入力部と、
前記入力された画像データを構成する各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る画像変換部と、
前記正射画像を配置して前記各パスの路面を表す直線状の連結画像を生成する連結画像生成部と、
前記連結画像に基づいて、前記路面に描かれた標示の種別および位置を認識する標示認識部と、
前記連結画像から認識された複数の標示の位置関係に基づき、該標示が適正な位置関係となるよう、該標示の少なくとも一部を修正する標示修正部とを備える生成装置。
【請求項９】
道路面に施された標示を含む路面標示地図を生成するためのコンピュータプログラムであって、
前記道路面を撮影する際の移動軌跡である所定のパスに沿って移動しながら前記標示を含む路面を撮影した連続画像の画像データと、該画像データの撮影位置を表す位置座標データとを入力する入力サブプログラムと、
前記入力された画像データを構成する各フレーム画像を変換して、前記路面を真上から見た状態の正射画像を得る画像変換サブプログラムと、
前記正射画像を配置して前記各パスの路面を表す直線状の連結画像を生成する連結画像生成サブプログラムと、
前記連結画像に基づいて、前記路面に描かれた標示の種別および位置を認識する標示認識サブプログラムと、
前記連結画像から認識された前記標示の位置関係に基づき、該標示が適正な位置関係となるよう、該標示の少なくとも一部を修正する標示修正サブプログラムとを備えるコンピュータプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１４】
【図１５】
【図１６】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図４】
【図１１】
【図１２】
【図１３】
【図１７】
【図１８】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１４】
【図１５】
【図１６】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図４】
【図１１】
【図１２】
【図１３】
【図１７】
【図１８】
【公開番号】特開２００９−２２３２２１（Ｐ２００９−２２３２２１Ａ）
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願番号】特願２００８−７０２１８（Ｐ２００８−７０２１８）
【出願日】平成２０年３月１８日（２００８．３．１８）
【出願人】（５９７１５１５６３）株式会社ゼンリン (155)
【Ｆターム（参考）】
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願日】平成２０年３月１８日（２００８．３．１８）
【出願人】（５９７１５１５６３）株式会社ゼンリン (155)
【Ｆターム（参考）】
[ Back to top ]