説明

路面標示自動計測システム、装置及び方法

【課題】撮影した画像から自動的に高精度な緯度、経度、標高の絶対座標を算出する路面標示自動計測システム、装置及び方法を提供する。
【解決手段】車輌に搭載され、路面画像を撮影するステレオカメラと、車輌に搭載され、車輌の位置情報を収集する位置情報収集手段と、ステレオカメラと位置情報収集手段に接続され、ステレオカメラによる撮影と位置情報収集手段による位置情報収集の同期をとる同期装置と、同期装置に接続され、ステレオカメラにより撮影された路面画像を記録する画像記録装置と、同期装置に接続され、位置情報収集手段により収集された位置情報を記録する車輌位置記録装置と、画像記録装置の路面画像と車輌位置記録装置の位置情報を読み込んで、路面標示の絶対座標を計測する路面標示自動計測装置と、路面標示自動計測装置に接続され、結果を記録する計測結果記録装置とを具備する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自己の位置と姿勢を計測可能な車輌に設置したカメラで撮影したステレオ画像から、道路標示や路面上のマンホールなどの道路施設を自動的に認識し、その絶対座標を算出する路面標示自動計測システム、装置及び方法に関する。
【背景技術】
【0002】
近年、写真測量の分野において、電荷結合素子(CCD)カメラにより撮影されるデジタル画像から、被写体の形状に関する詳細な情報を取得する技術が利用されてきて、地理情報システム(GIS)の基となる地図データや環境データを得るためには欠かせない技術となっている。道路地図に関しては、自動車に搭載されたナビゲーションシステムで広く利用されている。
【0003】
また、車輌制御を目的として、走行中の車線に対する車輌の相対位置を把握するために、車輌に搭載したカメラで撮影されるデジタル画像から路面上の白線を認識する方法が開発されている(例えば、特許文献1参照)。さらに、グローバルポジショニングシステム(GPS)を車輌に搭載し、道路施設の位置を計測する方法もある(例えば、特許文献2参照)。
【特許文献1】特開2005−157733号公報
【特許文献2】特開2003−139533号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
現在の道路写真測量においては、撮影した画像から路面標示の絶対座標を取得するためには、工数がかかり広範囲の情報を短時間で効率よく測量できないという問題点があった。
【0005】
そこで、撮影した画像から自動的に高精度な緯度、経度、標高の絶対座標を算出する路面標示自動計測システム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の路面標示自動計測システムは、車輌に搭載され、路面画像を撮影するステレオカメラと、車輌に搭載され、車輌の位置情報を収集する位置情報収集手段と、ステレオカメラと位置情報収集手段に接続され、ステレオカメラによる撮影と位置情報収集手段による位置情報収集の同期をとる同期装置と、同期装置に接続され、ステレオカメラにより撮影された路面画像を記録する画像記録装置と、同期装置に接続され、位置情報収集手段により収集された位置情報を記録する車輌位置記録装置と、画像記録装置の路面画像と車輌位置記録装置の位置情報を読み込んで、路面標示の絶対座標を計測する路面標示自動計測装置と、路面標示自動計測装置に接続され、結果を記録する計測結果記録装置とを具備することを要旨とする。
【0007】
さらに、本発明の路面標示自動計測装置は、車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み部と、ステレオ画像の左右いずれかの原画像を正射影変換し、正射影変換画像を作成する正射影画像作成部と、正射影変換画像から、路面標示を認識する路面標示認識部と、ステレオ画像と位置情報を用いて、路面標示の相対座標を算出する相対座標算出部と、位置情報を用いて、相対座標から路面標示の絶対座標を算出する絶対座標算出部と、路面標示の絶対座標を記録装置に保存するデータ保存部とを具備することを要旨とする。
【0008】
また、本発明の路面標示自動計測方法は、車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み工程と、ステレオ画像の左右いずれかの原画像を正射影変換し、正射影変換画像を作成する正射影画像作成工程と、正射影変換画像から、路面標示を認識する路面標示認識工程と、ステレオ画像と位置情報を用いて、路面標示の相対座標を算出する相対座標算出工程と、位置情報を用いて、相対座標から路面標示の絶対座標を算出する絶対座標算出工程と、路面標示の絶対座標を記録装置に保存するデータ保存工程とを含むことを要旨とする。
【発明の効果】
【0009】
本発明によれば、測量する道路を本路面標示自動計測システムを搭載した車輌で走行して画像及び位置情報を記録し、撮影した画像から路面標示の高精度な絶対座標を自動的に算出することができる。
【発明を実施するための最良の形態】
【0010】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。
【0011】
本発明の実施の形態による路面標示自動計測システムは、図1に示すように、車輌に搭載され、路面画像を撮影するステレオカメラ11と車輌の位置情報を収集する位置情報収集手段10と、ステレオカメラ11と位置情報収集手段10に接続され、ステレオカメラ11による撮影と位置情報収集手段10による位置情報収集の同期をとる同期装置12と、同期装置12に接続され、ステレオカメラ11により撮影された路面画像を記録する画像記録装置14と、同期装置に接続され、位置情報収集手段により収集された位置情報を記録する車輌位置記録装置13と、画像記録装置14の路面画像と車輌位置記録装置13の位置情報を読み込んで、路面標示の絶対座標を計測する路面標示自動計測装置15と、路面標示自動計測装置15に接続され、結果を記録する計測結果記録装置16を備える。
【0012】
ここで、車輌の位置情報を収集する位置情報収集手段10は、車輌の姿勢情報を得るためのジャイロ姿勢出力装置101と、車輌の絶対位置座標を得るためのGPS受信機102と、車輌の走行速度を得るための車輌速度出力装置103と、車輌の路面からの高さを得るための車高出力装置104を備える。
【0013】
なお、位置情報収集手段10に用いている装置は、目的の路面標示の絶対座標を求めるための車輌絶対座標、カメラ相対座標等の情報を収集するための最良の例であって、これらに限定するものではない。また、ジャイロ姿勢出力装置101に実装されるジャイロは、コリオリの力を利用する機械式と流体式、またサニャック効果を利用する光学式のいずれの方式のものであってもよい。
【0014】
次に、路面標示自動計測システムを構成する路面標示自動計測装置15は、図2に示すように、画像記録装置14の路面画像と車輌位置記録装置13の位置情報を読み込むデータ読み込み部151と、読み込んだ路面画像から正射影変換画像を作成する正射影画像作成部152と、作成された正射影変換画像を分析して、路面上の白線や黄線の標示を認識する路面標示認識部153と、正射影変換画像と位置情報から該当路面標示の相対座標を求める相対座標算出部154と、さらに相対座標とGPSで得た情報から絶対座標を求める絶対座標算出部155と、最終的に得られた結果を計測結果記録装置16に保存するデータ保存部156を備える。
【0015】
なお、図2に示されてはいないが、路面標示自動計測装置15には、各部がデータの処理を行うための中央処理回路(CPU)と一時記憶メモリーが実装されていることは言うまでもなく、各部固有の一時記憶メモリーを実装してもよいし、共有一時記憶メモリーを実装してもよい。さらに、表示装置や入出力装置を接続することも可能である。
【0016】
また、この路面標示自動計測装置15と計測結果記録装置16は、ともに車輌に搭載されてもよいし、車輌以外の場所に設置されていてもよい。画像記録装置14の路面画像と車輌位置記録装置13の位置情報を読み込む際には、物理的に通信ケーブル等で路面標示自動計測装置15を接続してもよいし、ハードディスクやフレキシブルディスク等の外部記憶媒体を介して路面標示自動計測装置15に読み込ませても構わない。
【0017】
つづいて、前述した路面標示自動計測システム及び装置による路面標示自動計測方法について、工程をおって説明する。
【0018】
(イ) 画像撮影及び位置情報収集
路面標示自動計測システムを搭載した車輌によって、測定対象の道路を走行し、図3に示すように、同期装置12からの一定間隔(t1、t2、t3、…)の収集命令により、車輌に搭載されたステレオカメラ11は、路面の左右画像を撮影する。同時に位置情報収集手段10も、同期装置12からの一定間隔(t1、t2、t3、…)の収集命令により、図4に示すように、GPS受信機102によって車輌位置の絶対座標(緯度、経度、標高)を収集し、ジャイロ姿勢出力装置101によって車輌の姿勢情報(車輌ロール、車輌ピッチ、車輌ヨー)を収集する。そして、画像と位置情報はそれぞれ収集時刻とともに画像記録装置14と車輌位置記録装置13に記録される。
【0019】
このように、従来の無限遠(消失点)を求めて車輌姿勢を推定する方法とは異なり、必要な車輌位置姿勢情報が測定対象の道路を走行するだけで自動的に記録されるので、工数は走行時間のみであり、広範囲のエリアの測量が容易に行える点が、本発明の効果の1つである。
【0020】
(ロ) 路面標示自動計測
次に、(イ)で収集した情報を用いて、路面標示自動計測装置15による具体的な路面標示自動計測処理を行う。
【0021】
(1) データ読み込み工程:
データ読み込み部151が、画像記録装置14と車輌位置記録装置13に記録されたデータを路面標示自動計測装置15に読み込む工程である。
【0022】
まず、図5に示すように、画像記録装置14から画像データを読み込む(S10)。さらに車輌位置記録装置13から位置情報データを読み込む(S11)。そして、それらのデータの収集時刻が一致するか比較する(S12)。一致すれば次の処理に移るが、不一致の場合、画像記録装置14と車輌位置記録装置13から次のデータを読み込み、対となるデータが存在する画像データと位置情報データを得る。
【0023】
データを読み込んだあと、データ処理部200の道路標示自動計測処理に移るが、この路面標示自動計測処理(S13)は、図6と図7に示すフローチャートのように、さらに細分化された工程から成り立っている。
【0024】
(2) 正射影画像作成工程:
正射影画像作成部152が、撮影された路面画像の、カメラ位置とカメラ姿勢情報から道路面を推定し、事前に計測したカメラの取り付け位置とレンズの歪みに関する係数を用いて変換した路面の正射影変換画像を、ステレオ画像(第1及び第2の原画像)のうちの第1の原画像について作成する工程である。以下では、便宜的に第1の原画像を左原画像として説明していく。
【0025】
まず、図8に示すように事前に計測しておいた、車輌の絶対位置姿勢の計測基準点(GPS受信機102の測位中心点)を原点とし、ジャイロ姿勢出力装置101の姿勢検出軸を座標軸とした座標空間での、左右のステレオカメラレンズ中心の原点と座標軸からの相対位置(X,Y,Z)と傾き(ψ,ω,κ)を設定する(S100)。
【0026】
さらに、計測しておいたレンズの歪み関する係数(レンズディストーション)を設定する(S101)。
【0027】
次に、GPS受信機102の測位中心点を原点とし、ジャイロの姿勢検出軸を座標軸とした空間での、道路面の相対座標(X,Y,Z)を設定する(S102)。
【0028】
以上の設定条件から、以下に示す変換式1)〜3)を用いて、CCD上の実際の位置であるデバイス座標(x,y)を計算し、この値からピクセル座標を求め射影変換を行う(S103)。なお、図9に基準の相対座標系とカメラ座標系の関連を示す。
【0029】
カメラ座標系(x,y,z)の算出
【数1】

【0030】
回転行列Rの算出
【数2】

【0031】
デバイス座標(x,y)の算出
【数3】

【0032】
正射影変換により、図10に示す左原画像から、図11に示す左正射影変換画像が作成される。
【0033】
(3) 路面標示認識工程:
路面標示認識部153が、正射影画像作成部152で作成された路面の正射影変換画像から、白線や黄線等の路面標示を認識し抽出する工程である。以下において、路面標示は白線がほとんどであるため、限定していない場合は、路面標示を白線と表現する。
【0034】
まず、得られた路面の正射影変換画像について、図11に示すように、車輌の進行方向と直角に交わる左右方向のラインを、例えば10画素間隔で設定し、そのライン上の輝度値の変化量から白線候補を選択する(S104)。
【0035】
次に、各ラインについて輝度値の平滑化を行う(S105)。平滑化では、対象とする画素から前後3ピクセル分の輝度値の平均値を計算している。具体的に平滑化した場合の元の輝度値と平滑化輝度値のグラフは図12のようになる。
【0036】
この平滑化は、後述の処理で、白線端のエッジを検出する際に、微細な輝度値変化によるエッジの検出を抑制するためである。この平滑化により、より正確に白線を識別することができる。
【0037】
つづいて、輝度値変化点(エッジ)を以下に説明する手順で求める(S106):
(3.1) S105の処理によって平滑化された輝度値から、対象とする画素とその次の画素の輝度値の差の2乗を求め、これを輝度値変化強度とする。図13に図12の平滑化輝度値から得られた輝度値変化強度の状況を示す。
【0038】
(3.2) (3.1)で求めた輝度値変化強度の値について、対象とする画素の前後3ピクセルの平均値を求め、その平均値が、同じく前後3ピクセル間で最大値である場合を、最終的なエッジとする。
【0039】
(3.3) さらに、路面は、アスファルト面はアスファルト面で、白線は白線同士で、それぞれ同じ輝度値であると仮定して、求めたエッジ間も輝度値を一定にする処理を行う。この処理を行った結果を図14に示す。
【0040】
(3.4) 次に、求めたエッジのピクセル座標と、各エッジ間の平均輝度値を区間情報として取得する。区間情報に詳細には以下のものが含まれる。
処理を行ったラインの進行方向のピクセル座標
区間の開始位置ピクセル座標(開始点のエッジ)
区間の終了位置ピクセル座標(終了点のエッジ)
区間の平均輝度値
区間長(実際の長さの推定値)
ここで、区間長は、射影変換画像作成の際に1ピクセル当りの左右方向と進行方向の解像度を決定しているので、次のように算出できる。ただし、射影変換画像は推定された道路面上の画像であるので、この値は実際の長さの真値ではない。
区間長=(終了位置ピクセル座標)−(開始位置ピクセル座標)×左右方向スケール
【0041】
さらに、S106の処理で取得した情報から白線候補点を推定する(S107):
(3.5) S106の(3.4)で取得した区間情報の区間長と平均輝度値から、白線の形状特徴をもとにした閾値(例えば、白線は概ね幅が20cmで、輝度値がライン上の平均値より明るい)を用いて、白線候補点を抽出する。図15に抽出された白線候補点を示しているが、白線以外の路面標示や、アスファルト面の照り返し等のノイズが含まれている。また、個々の区間情報は独立しており、連結した白線としては認識されていない。
【0042】
(3.6) そこで、(3.5)で抽出した白線候補点について、各候補点間の距離から同一の白線であると推定される点を連結(グループ化)する。グループ化は、同一の白線上の白線候補点であっても、ひび割れや欠落により分割されて抽出されることが多いため、図16に示すように、例えば左右方向では、基準白線候補点から10cm以内にある白線候補点は同一白線であると判定する。また進行方向では、基準白線候補点から3ライン(例えば、1ライン10ピクセル間隔で、3×10ピクセル=30ピクセル=30×0.15[m/ピクセル]=45cm)以内にある白線候補点は同一白線と判定する。ここで、進行方向の判定範囲が広いのは、基本的に計測車輌の進行方向と同じ向きに白線が設置されていることがほとんどあるため、左右方向よりも進行方向に対して強力にグループ化させるためである。
(3.7) 図17に示すように、(3.6)の距離によるグループ化の際に、基準白線候補点からの判定対象の白線候補点の方向角を求める。求めた方向角から、同一グループ内で対象の白線候補点よりも計測車輌寄りに存在する3点の白線候補点の方向角の平均値との差を求め、これを方向角変位量θとする。そしてこの方向角変位量θにより、白線候補点のグループ毎に方向角変位量θの標準偏差を求める。これにより、直線と同一の変化量でカーブする白線は標準偏差が極小となり、途中で曲率の変化する白線についても閾値を調整することで抽出可能である。
【0043】
この(3.6)、(3.7)の処理によって、図15に示した白線候補点から最終的に抽出された白線は、図18に示したものとなる。実際に抽出した白線の位置と画像を重ね合わせた例が図19(a)及び(b)であり、複数車線やカーブの白線が正確に抽出されている。
【0044】
このあと、路面標示と認識された基準白線候補点の色情報を画像情報から取得して、光の三原色(RGB)と減法混色の三原色(CMY)の各表色系のフィルターを用いて黄線と白線の判断を行う。具体的には、RGB構成比が±3%にあるものは白線であり、それ以外でCMY構成比のY(Yellow=R+G)がC(Cyan=G+B)とM(Magenta=R+B)の平均よりも10%以上高い場合は黄線であると判断する。
【0045】
この工程により、白線について実線だけでなく、破線や曲線などの線種や路面標示を走行位置に関係なく認識できる。
【0046】
(4) 相対座標算出工程:
相対座標算出部154が、路面標示認識部153によって白線と認識された部分について、画像から白線の相対座標を求める工程である。
【0047】
まず、抽出された白線候補点のエッジから白線の中央線を推定し、その中央線の左正射影変換画像上のピクセル座標を原画像→正射影画像変換の逆(逆射影変換)を行って、左原画像上の白線中心ピクセル座標を求める(S108)。
【0048】
次に、S100のステップにおいてカメラ相対位置が設定されているので、その値を使って左正射影変換画像上のピクセル座標から、推定白線相対座標を求める(S109)。
【0049】
さらに、推定白線相対座標から、右原画像上の推定白線ピクセル座標を求める(S110)。
【0050】
つづいて、原画像→偏位修正画像の射影変換式を用いて、撮影されたステレオ画像の縦方向のズレを除去し、図20(a)と(b)に示す画像(左右偏位修正画像)を作成する(S111)。
【0051】
また、左原画像上の白線中心ピクセル座標を、偏位修正画像作成のための射影変換式に代入して、左偏位修正画像上の白線中心ピクセル座標を求める(S112)。
【0052】
同様に、右原画像上の推定白線ピクセル座標を、偏位修正画像作成のための射影変換式に代入して、右偏位修正画像上の白線概略ピクセル座標を求める(S113)。
【0053】
次に、左偏位修正画像上の白線中心ピクセル座標と区間情報から、幅を調整した図20(c)に示す基本テンプレートTLを作成する(S114)。
【0054】
また、右偏位修正画像上の白線概略ピクセル座標と区間情報から、図20(d)に示す検索用テンプレートTRを作成する(S115)。
【0055】
例えば、左の基本テンプレートTLは横128ピクセル×縦4ピクセルの大きさとし、右の検索用テンプレートTRは横256ピクセル×縦4ピクセルの大きさとする。この大きさは次のテンプレートマッチングを効率よく行うために任意に変更できる。
【0056】
そして、図20(e)に示すように、得られた検索用テンプレートTR上を、基本テンプレートTLを横方向に移動させて、重なっている範囲の輝度値の相関係数を比較する。最も相関係数が高い位置をマッチングポイントとし、右偏位修正画像上の中心白線ピクセル座標の横座標(X座標)を求める(S116)。
【0057】
ここで、相関係数は以下のように求める:
(i)基本テンプレートTLと検索用テンプレートTRの重なっている部分について、輝度値の平均と標準偏差を算出
(ii)各画素の平均偏差(各画素の輝度値−平均値)を算出
(iii)重なっている画素のお互いの平均偏差を掛け合わせた偏差積を算出
(iv)偏差積を画素数で除算し偏差積平均を算出
(v)相関係数=偏差積平均/(右標準偏差×左標準偏差)を算出。
【0058】
なお、各テンプレートは縦視差を除去した偏位修正画像から得られたものなので、縦方向の座標(Y座標)は同じであるため、縦方向への検索が不要であり、効率的かつ正確に検索できるようになっている。
【0059】
つづいて、求められた右偏位修正画像上の中心白線ピクセル座標から、原画像→偏位修正画像の変換の逆を行って、右原画像上の中心白線ピクセル座標を得る。
【0060】
取得した左右原画像上の白線中心ピクセル座標について、S100とS101のステップで設定した、GPS受信機102からのステレオカメラ11の相対位置、焦点距離及びレンズ歪みを用いて、白線相対座標を求める(S117)。なお、ここで相対座標の高さ座標値が、推定される道路面から著しくかけ離れている場合は、ミスマッチングとして白線相対座標からは除外する。
【0061】
この工程により、高速で精度の高い3次元相対座標を算出でき、誤認識された地物を得られた3次元相対座標をもとに路面上ではない地物として排除できる。
【0062】
(5) 絶対座標算出工程:
絶対座標算出部155が、相対座標算出部154によって算出した路面標示の3次元相対座標から、その絶対座標を算出する工程である。
【0063】
まず、ジャイロ姿勢出力装置101により計測された車輌の絶対姿勢と、GPS受信機102によって受信された車輌の絶対座標を設定する(S118)。
【0064】
そして、前工程で得られた白線相対座標を、S118のステップで設定した車輌絶対位置姿勢の情報に従って回転させて、絶対座標空間での白線絶対座標を求める(S119)。
【0065】
ここで、前工程で得られた白線相対座標から、白線絶対座標を算出する計算式について、以下に具体例を示して説明する。なお、緯度経度から平面直角座標への変換、及び平面直角座標から緯度経度への逆変換に用いる変換には、国土地理院にて規定された一般的式、また公共測量作業規定に記載された変換式を用いている。
【0066】
前工程で白線と認識された位置の相対座標を(X,Y,Z)とする。また、例えば図3に示した、設定撮影間隔t1の時点で、位置情報収集手段10のGPS受信機102によって取得され、車輌位置記録装置13に記録された車輌位置の絶対座標を(Xgps,Ygps,Zgps)とする。さらに、同時刻に位置情報収集手段10ののジャイロ姿勢出力装置101によって取得され、車輌位置記録装置13に記録された車輌の姿勢情報を(車輌ロール、車輌ピッチ、車輌ヨー)とする。
【0067】
姿勢情報(車輌ロール、車輌ピッチ、車輌ヨー)は、単位が“度”であるので、これを単位が“ラジアン”の傾き(ψ,ω,κ)に、変換式4)により変換する。
【0068】
〔数4〕
ψ=(車輌ロール)× π/180
ω=(車輌ピッチ)× π/180 ・・4)
κ=(車輌ヨー)× π/180
そして、車輌姿勢の回転行列Rは、前述した変換式2)と同じ下記の変換式5)で算出する。
【数5】

【0069】
ここで、白線相対座標(X,Y,Z)の絶対座標を(Xgrd,Ygrd,Zgrd)とすると、絶対座標(Xgrd,Ygrd,Zgrd)は、車輌姿勢の回転行列Rと車輌位置の絶対座標(Xgps,Ygps,Zgps)から、次の変換式6)によって算出される。
【数6】

【0070】
ここで、変換式5)により変換式7)となり、その展開式をそれぞれ示す。
【数7】

【0071】
例えば、実際に得られた値が以下の数値だとする。
【0072】
白線相対座標(X,Y,Z)=(1,5,2)m
車輌位置の絶対座標(Xgps,Ygps,Zgps)=(5000,6000,100)m
車輌の姿勢情報(車輌ロール、車輌ピッチ、車輌ヨー)=(1.5,−2.0,60)度
よって、傾き(ψ,ω,κ)は、
〔数8〕
ψ=(車輌ロール)× π/180=0.02618 ラジアン
ω=(車輌ピッチ)× π/180=-0.03491 ラジアン
κ=(車輌ヨー)× π/180=1.047198 ラジアン
これを変換式5)に代入して、車輌姿勢の回転行列Rの各項は、
【数9】

【0073】
求めた車輌姿勢の回転行列Rと、白線相対座標(X,Y,Z)及び車輌位置の絶対座標(Xgps,Ygps,Zgps)の数値を変換式7)に代入すると、
【数10】

【0074】
したがって、得られた白線の絶対座標は、(Xgrd,Ygrd,Zgrd)=(4996.224,6003.437,101.9808)となる。
【0075】
このように、この工程により、白線の相対位置と、車輌の絶対座標及び姿勢情報によって、白線の絶対座標を得ることができる。得られた3次元絶対座標を測量成果として用いることができ、地図作成に応用できる。
【0076】
(6) データ保存工程:
図5に示すように、データ保存部156が、前工程で求めた白線絶対座標を計測結果記録装置16に保存する工程である。
【0077】
まず、求められた計測結果を一時記憶メモリーに保存する(S14)。
【0078】
つづいて、次に処理すべき画像及び車輌位置姿勢データがあるか判定して、ある場合は、データ読み出し工程に戻り、新たなデータを読み出し、処理を繰り返す(S15)。
【0079】
一方、最後のデータまで処理が完了した場合は、一時記憶メモリーに保存していた全結果を計測結果記録装置16に保存する(S16)。図21は、走行中に撮影した連続画像から自動抽出し、計測結果記録装置16に保存された白線の絶対座標をプロットしたものである。
【0080】
以上の説明のように、本発明により、対象とする道路を計測車輌で走行し、路面画像と位置情報を連続的に記録し、そのデータから道路上の標示の絶対座標を自動的に算出できる。
【0081】
なお、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【産業上の利用可能性】
【0082】
本発明は、GISに利用される道路のデジタル地図情報のためのデジタル測量分野において、効率かつ正確な情報作成に利用できる。
【図面の簡単な説明】
【0083】
【図1】路面標示自動計測システムのハードウェア構成図である。
【図2】路面標示自動計測装置のハードウェア構成図である。
【図3】路面画像撮影の説明図である。
【図4】車輌位置姿勢情報の構成の説明図である。
【図5】路面標示自動計測装置の概要フローチャートである。
【図6】路面標示自動計測装置のデータ処理部のフローチャートである。
【図7】図6に続く路面標示自動計測装置のデータ処理部のフローチャートである。
【図8】正射影変換のための位置情報の関連を示す説明図である。
【図9】基準の相対座標系とカメラ座標系の関連を示す説明図である。
【図10】左原画像である。
【図11】正射影変換画像にラインを配置した説明図である。
【図12】輝度値と平滑化輝度値を示すグラフである。
【図13】輝度値変化強度の状況を示すグラフである。
【図14】エッジ間の輝度値を一定にした区間を示すグラフである。
【図15】白線候補点のピクセル座標上の分布図である。
【図16】白線候補点のグループ化の条件を説明する説明図である。
【図17】白線候補点の方向角変位量を説明する説明図である。
【図18】白線抽出結果を示すピクセル座標図である。。
【図19】(a)複数車線の認識結果、及び(b)カーブする白線の認識結果を示す図である。
【図20】(a)左偏位修正画像、(b)右偏位修正画像、(c)基本テンプレート、(d)検索用テンプレート、及び(e)検索方法を説明する説明図である。
【図21】抽出した白線の絶対座標のプロット図である。
【符号の説明】
【0084】
10 位置情報取得手段
11 ステレオカメラ
12 同期装置
13 車輌位置記録装置
14 画像記録装置
15 路面標示自動測定装置
16 計測結果記録装置
101 ジャイロ姿勢出力装置
102 GPS受信機
103 車輌速度出力装置
104 車高出力装置
151 データ読み込み部
152 正射影画像作成部
153 路面標示認識部
154 相対座標算出部
155 絶対座標算出部
156 データ保存部
200 データ処理部

【特許請求の範囲】
【請求項1】
車輌に搭載され、路面画像を撮影するステレオカメラと、
前記車輌に搭載され、前記車輌の位置情報を収集する位置情報収集手段と、
前記ステレオカメラと前記位置情報収集手段に接続され、前記ステレオカメラによる撮影と前記位置情報収集手段による位置情報収集の同期をとる同期装置と、
前記同期装置に接続され、前記ステレオカメラにより撮影された前記路面画像を記録する画像記録装置と、
前記同期装置に接続され、前記位置情報収集手段により収集された前記位置情報を記録する車輌位置記録装置と、
前記画像記録装置の前記路面画像と前記車輌位置記録装置の前記位置情報を読み込んで、路面標示の絶対座標を計測する路面標示自動計測装置と、
前記路面標示自動計測装置に接続され、結果を記録する計測結果記録装置
とを具備することを特徴とする路面標示自動計測システム。
【請求項2】
前記位置情報収集手段がジャイロ姿勢出力装置を含むことを特徴とする請求項1記載の路面標示自動計測システム。
【請求項3】
前記位置情報収集手段がGPS受信機を含むことを特徴とする請求項1または2記載の路面標示自動計測システム。
【請求項4】
前記位置情報収集手段が車輌速度出力装置を含むことを特徴とする請求項1ないし3のいずれか1項記載の路面標示自動計測システム。
【請求項5】
前記位置情報収集手段が車高出力装置を含むことを特徴とする請求項1ないし4のいずれか1項記載の路面標示自動計測システム。
【請求項6】
車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み部と、
前記ステレオ画像の左右いずれかの原画像を正射影変換し、正射影変換画像を作成する正射影画像作成部と、
前記正射影変換画像から、路面標示を認識する路面標示認識部と、
前記ステレオ画像と前記位置情報を用いて、前記路面標示の相対座標を算出する相対座標算出部と、
前記位置情報を用いて、前記相対座標から前記路面標示の絶対座標を算出する絶対座標算出部と、
前記路面標示の前記絶対座標を記録装置に保存するデータ保存部
とを具備することを特徴とする路面標示自動計測装置。
【請求項7】
車輌に搭載されたステレオカメラにより撮影された路面のステレオ画像と該車輌と該ステレオカメラの位置情報を読み込むデータ読み込み工程と、
前記ステレオ画像の左右いずれかの第1の原画像を正射影変換し、正射影変換画像を作成する正射影画像作成工程と、
前記正射影変換画像から、路面標示を認識する路面標示認識工程と、
前記ステレオ画像と前記位置情報を用いて、前記路面標示の相対座標を算出する相対座標算出工程と、
前記位置情報を用いて、前記相対座標から前記路面標示の絶対座標を算出する絶対座標算出工程と、
前記路面標示の前記絶対座標を記録装置に保存するデータ保存工程
とを含むことを特徴とする路面標示自動計測方法。
【請求項8】
前記路面標示認識工程は、
前記車輌の進行方向と直角に交わる左右方向のライン上の輝度値の変化量から白線候補を選択するステップと、
前記輝度値の平滑化を行うステップと、
前記平滑化された輝度値から、輝度値変化点を求めるステップと、
前記輝度値変化点間の平均輝度値を含む区間情報を求めるステップと、
前記区間情報から白線候補点を推定するステップと、
前記白線候補点を連結して前記路面標示を認識するステップ
とを含むことを特徴とする請求項7記載の路面標示自動計測方法。
【請求項9】
前記路面標示認識工程は、表色系フィルターを用いて、前記路面標示の線種を認識するステップをさらに含むことを特徴とする請求項8記載の路面標示自動計測方法。
【請求項10】
前記相対座標算出工程は、
前記路面標示認識工程により認識された前記路面標示の、前記正射影変換画像上のピクセル座標を逆射影変換して、前記第1の原画像上の白線中心ピクセル座標を求めるステップと、
前記位置情報を用いて、前記第1の原画像上の白線中心ピクセル座標から推定白線相対座標を求めるステップと、
前記推定白線相対座標から、前記第1の原画像と反対側の第2の原画像上の推定白線ピクセル座標を求めるステップと、
前記第1の原画像と前記第2の原画像から縦方向のズレを除去し、それぞれ第1及び第2の偏位修正画像を作成するステップと、
前記第1の原画像上の白線中心ピクセル座標から、前記第1の偏位修正画像上の白線中心ピクセル座標を求めるステップと、
前記第2の原画像上の推定白線ピクセル座標から、前記第2の偏位修正画像上の白線概略ピクセル座標を求めるステップと、
前記第1の偏位修正画像上の白線中心ピクセル座標により、前記第1の偏位修正画像中から基本テンプレートを作成するステップと、
前記第2の偏位修正画像上の白線概略ピクセル座標により、前記第2の偏位修正画像中から検索用テンプレートを作成するステップと、
前記基本テンプレートと前記検索用テンプレートから、相関のある位置を検索して、前記第2の偏位修正画像上の白線中心ピクセル座標を求めるステップと、
前記第2の偏位修正画像上の白線中心ピクセル座標を逆射影変換して、前記第2の原画像上の白線中心ピクセル座標を求めるステップと、
前記第1及び第2の原画像上の白線中心ピクセル座標から、高さを含む白線相対座標を求めるステップ
とを含むことを特徴とする請求項7ないし9のいずれか1項記載の路面標示自動計測方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate


【公開番号】特開2007−114142(P2007−114142A)
【公開日】平成19年5月10日(2007.5.10)
【国際特許分類】
【出願番号】特願2005−308271(P2005−308271)
【出願日】平成17年10月24日(2005.10.24)
【出願人】(591074161)アジア航測株式会社 (48)
【出願人】(501271479)株式会社トヨタマップマスター (56)