説明

道路画像作成システム及び道路画像作成方法,及び道路画像合成装置

【課題】走行車両の傾斜変化や方向・速度の変化、及び道路勾配の変化があっても正確な道路画像を合成することが可能な道路画像合成技術を提供する。
【解決手段】
走行車両から前方道路を撮像した道路画像を画像記憶手段6に記憶する。各道路画像の撮影に同期して計測した車両の位置座標データを位置履歴記憶手段10に記憶する。画像変換手段12は、各道路画像に正射投影変換をして道路面上の正射画像(正射道路画像)を生成する。画像合成手段13は、各正射道路画像に対して前記車両位置計測手段により計測された位置座標データに基づき、正射道路画像の世界座標及び向きを決定し、各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置し連結道路画像を合成する。この際、車両の位置姿勢及び高さによる正射投影時の補正を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、地図作成時の参照等のために用いる道路画像の作成技術に関し、特に道路標示等の詳細な地物を含む道路画像の作成技術に関する。
【背景技術】
【0002】
近年、カーナビゲーション装置等で使用する電子地図や住宅地図などにおいては、道路の中央線,外側線などの道路標示や中央分離帯,歩道などの道路上の地物のような道路に関する詳細な情報の記載が求められている。このような詳細道路情報の記載された地図を作成するには、道路標示や道路上の地物を真上から撮影した道路画像が必要とされる。
【0003】
従来から、一般に、地図作成に使用する道路画像を取得するためには、空中写真が使用されている。この場合、撮影された空中写真は中心投影画像であるため、これを真上から見たようにオルソ(正射投影)処理して正射投影空中写真を作成し、この正射投影空中写真を参照して地図の作製が行われる。一般に地面は平面ではないため、上記オルソ処理においては地面の凹凸を考慮して正射投影を行う必要がある。そこで、レーザー・プロファイラを用いて航空機から地面までの距離を計測して地面の凹凸を測定し、その凹凸面上に画像を投影する方法が考案されている(特許文献1参照)。
【0004】
しかしながら、空中写真から得られる正射投影空中写真を用いて道路画像を作成する方法では、道路上に車両が存在する場合、その車両の下に隠された道路画像を得ることはできない。また、橋梁により隠された道路やトンネル内の道路の画像は空中写真からは得られない。また、高い地物(建築物等)が存在する場合、中心投影画像では一部の道路は地物の陰に隠されて撮影することができない。従って、正射投影した場合に隠された部分の道路画像を得ることはできない。
【0005】
そこで、道路を走行する車両にラインカメラを搭載し、当該ラインカメラによって路面を真上から撮影して道路幅方向に細長い直線状の路面画像を連続的に撮影し、これらの直線状の画像を車両の進行方向に沿って合成することにより道路画像を取得する技術が考案されている(特許文献2〜4参照)。図9に、特許文献2〜4記載の道路画像撮影装置の構成を示す。車両101の前方に、路面を真上から撮影するラインカメラ102が備えられている。また、車両101の前面下部には、ライト103,104が設けられている。道路画像を撮影する場合、車両101で路上を走行しながら、ライト103,104により撮影する路面を照光し、ラインカメラ102により1車線幅分の路面の線画像を連続的に撮影する。このように、スキャナと同様の原理によって路面の詳細画像を撮影し合成する。
【0006】
一方、道路標示等の認識技術の分野においては、車両に搭載したカメラにより得られる二次元画像を合成することによって道路画像を取得する技術が考案されている(特許文献5参照)。特許文献5に記載の道路表示等認識装置では、車両に搭載したCCDカメラにより、車両前方の風景画像を毎秒40フレーム程度の間隔で撮影する。取り込んだ各フレーム画像に対して、先行車両の画像を除外して道路部分の画像領域を切り出す。この場合、先行車両と自車との間隔が狭い場合には、図10のように切り出される画像領域も全体画像下部の狭い帯状の領域となる。連続する各フレームにおいて、道路部分の画像領域を切り出して合成することにより、図11のように道路画像全体が合成される。そして、合成された全体の道路画像から道路標示を抽出し、データベースに格納された道路標示画像と比較することによって、道路標示の認識を行う。
【特許文献1】特開2002−74323号公報
【特許文献2】特開2002−54911号公報
【特許文献3】特開2004−258924号公報
【特許文献4】特開2005−55318号公報
【特許文献5】特開2003−123197号公報
【非特許文献1】Zhengyou Zhang, "A Flexible New Technique for Camera Calibration", Microsoft Research Technical Report MSR-TR-98-71, December 2, 1998, http://research.microsoft.com/~zhang/Papers/TR98-71.pdf
【発明の開示】
【発明が解決しようとする課題】
【0007】
空中写真を用いて道路画像を得る場合、上に述べたように、各種遮蔽物の影響が大きいため、カーナビゲーション装置等で使用する電子地図や住宅地図などを作成する基礎とする画像情報としては十分ではない。また、細かい道路表示等の必要な情報を得るためには大縮尺の撮影が必要となるためコストもかかるという問題がある。
【0008】
一方、走行車両から撮影された画像を用いて道路画像を合成する方法によれば、橋梁、トンネル、道路脇又は道路上の地物や車両等の影響を受けることなく、道路表示等の詳細な画像情報を得ることができる。
【0009】
しかしながら、上記特許文献2〜4の道路画像撮影装置は、路面上の傷などを検査する目的に使用されるものであり、1回の路上走行で撮影される道路画像は1車線分のみである。従って、すべての車線の道路標示等に関する画像情報を得るためには、すべての車線を1回ずつ走行する必要があり、手間とコストが膨大になる。従って、地図作成のための道路画像の取得を目的として使用するには適していない。
【0010】
一方、上記特許文献5の道路表示等認識装置において使用される道路画像の合成方法を適用すれば、比較的広範に道路全体の画像を走行しながら撮影し合成することで、道路全体の合成画像を簡易に得ることが可能である。
【0011】
しかしながら、特許文献5の道路画像の合成方法は、道路表示等の認識を目的とするものであり、合成画像は地理的座標を保持していない。従って、道路標示認識に使用するための車両の前方数メートル範囲程度の局所的な道路の合成画像をつくることはできるが、地図作成や地図作成の参照用の広域道路画像を作成することはできない。
【0012】
また、上記特許文献5の道路画像の合成方法では、図11に示したように、切り出した部分画像を単純につなぎ合わせることにより合成画像を作成している。しかし、元となる道路画像は斜め上方から撮影されたものであるため、正射投影されたものとは異なり奥行き方向に向かうにつれて画像の縮尺が小さくなる。従って、部分画像を単純につなぎ合わせた場合には接続部分において被写体画像が連続的に接続せずギザギザの画像となる(図11(e)参照)。また、真上から見た画像ではなく斜めから見た画像が得られるため、得られた合成画像自体も歪んだ画像となる。従って、地図作成のための道路標示等の参照用に使用するには見づらく、そのままでは使用できない。
【0013】
そこで、本発明の目的は、走行車両から撮影した画像を用いて、地図作成等に使用することが可能な正確な道路画像を合成するための道路画像合成技術を提供することにある。
【課題を解決するための手段】
【0014】
本発明に係る道路画像作成システムの第1の構成は、車両から道路を当該車両の前方又は後方若しくは側方を撮像し二次元フレーム画像(以下「道路画像」という。)として出力する撮像手段と、
前記車両の位置座標を計測し位置座標データとして出力する車両位置計測手段と、
前記撮像手段が撮像する道路画像に正射投影変換をして水平投影面上の正射画像(以下「正射道路画像」という。)を生成する画像変換手段と、
各正射道路画像に対して前記車両位置計測手段により計測された位置座標データに基づき、前記正射道路画像の世界座標及び向きを決定し、前記各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成手段と、を備えたことを特徴とする。
【0015】
この構成によれば、道路画像は、画像変換手段によって正射投影され、真上から見た正射道路画像に変換される。そして、得られた各正射道路画像は、位置座標データに従って、世界座標系における位置(経緯座標)及び画像の向きが決定され、世界座標系の投影平面上に配置される。これにより、各正射道路画像を連続的に貼り合わせて連結道路画像を合成することができる。
【0016】
このように、車両位置計測手段により計測される位置座標データを用いて各正射道路画像を合成することで、道路画像の撮影中に車両の方向や速度が変化した場合においても正確な連結道路画像を合成することが可能となる。
【0017】
また、撮影される各道路画像は、画像変換手段によって正射道路画像に変換されるため、これらの各正射道路画像を合成したときに、画像同士のつなぎ目で被写体画像のずれが少ない。従って、被写体画像がなめらかにつながった合成画像が得られる。さらに、正射変換によって被写体画像は真上無限遠方から見た画像に変換されるため、被写体画像の歪みがなく、地図作成等に使用することが可能な正確な道路画像を合成することができる。
【0018】
また、車両の前方又は後方若しくは側方の道路を撮像した二次元フレーム画像を使用することで、複数の車線の画像を同時に撮影することができる。従って、道路画像の撮影に要する手間とコストが削減される。
【0019】
ここで、「撮像手段」としては、デジタル・カメラやビデオ・カメラ等を使用することができる。「車両位置計測手段」としては、全地球的測位システム(Global Positioning System:GPS)などの電波航行ユニットとジャイロや加速度計などの慣性航行ユニットとを組み合わせたハイブリッド測位装置などを使用することができる。
【0020】
「車両の位置座標」としては、二次元座標(経緯座標)又は三次元座標(経緯座標に高さを加えたもの)を使用することができる。
【0021】
「正射投影変換」の方法としては、通常のオルソ変換の方法を使用することができる。例えば、代表的な例としては、後述するZhangのキャリブレーション法などを使用することができる(非特許文献1参照)。
【0022】
画像合成手段が「正射道路画像の向き」を決定する方法としては、対象の正射道路画像の位置座標とその1つ手前の正射道路画像の位置座標とから車両の走行方向を求め、その走行方向を正射道路画像の向きとする方法や、ジャイロ等により車両のピッチ(pitch)方向,ロール(roll)方向,及び/又はヘディング(heading)方向の回転角を測定し、測定されたこれらの回転角から正射道路画像の向きを決定する方法などを採ることができる。
【0023】
また、本発明において、前記撮像手段が前記道路画像を撮像するタイミングと、前記車両位置計測手段が前記位置座標を計測するタイミングとを同期させる同期信号を出力する同期手段を設け、前記撮像手段及び前記車両位置計測手段は、同期して道路画像の撮像及び前記車両の位置座標の計測を行うようにすることができる。
【0024】
これにより、各道路画像に対して一対一に位置座標データが得られるため、道路画像に撮像された道路の位置座標の特定が容易となる。
【0025】
「同期手段」としては、所定の時間間隔又は走行距離間隔で同期信号としてのトリガー・パルスを出力するタイマなどを使用することができる。
【0026】
また、本発明において、前記撮像手段が各道路画像を撮像する時刻と、前記車両位置計測手段が前記位置座標を計測する時刻とを計測する計時手段と、
前記車両位置計測手段が計測する各位置座標データを時間的に補間することによって、各道路画像が撮像されたときの前記車両の位置座標データを算出する位置座標算出手段と、
を備え、
前記画像合成手段は、各正射道路画像に対して前記位置座標算出手段により算出された位置座標データに基づき、前記正射道路画像の世界座標及び向きを決定し、前記各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成することとしてもよい。
【0027】
このような構成によっても、各道路画像に対して一対一に位置座標データが得られるため、道路画像に撮像された道路の位置座標の特定が容易となる。
【0028】
本発明に係る道路画像作成システムの第2の構成は、前記第1の構成において、前記車両の姿勢角度を計測し姿勢角度データとして出力する姿勢角度計測手段を備え、
前記画像変換手段は、前記姿勢角度データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。
【0029】
この構成により、車両の姿勢角度の変化により正射道路画像に生じる変形を防止し、精度の高い正射道路画像を得ることができる。
【0030】
すなわち、実際に車両を走行させながら道路画像を撮影した場合、車両の揺れやサスペンションの沈み込みによって撮像手段の路面に対する姿勢角度が変化する。そのため、撮影された道路画像を一律に正射投影すると、正射投影された道路画像に歪みが生じる。
【0031】
例えば、図12に示したように、走行時の車両201の振動により撮像手段202の姿勢角度が変化した場合、車両に固定された撮像手段202の視野fは、姿勢角度の変化がない場合の視野fからピッチ方向に回転してずれる。これにより、撮影される道路画像には、図12(a)のように、歪みやずれが生じる。姿勢角度の変化を考慮せずにこれを正射影変換すると、図12(b)のように画像が車両進行方向にずれるとともに車両進行方向に拡縮される。従って、画像位置及び各軸方向の縮尺についてずれが生じ、正確な画像合成を行うことができなくなる。
【0032】
そこで、画像変換手段において、姿勢角度計測手段により計測された車両の姿勢角度による補正を加えて、撮像手段が撮像する各道路画像を正射投影変換することで、図12(c)のように正確な正射投影道路画像の生成を行うことが可能となる。
【0033】
ここで、「車両の姿勢角度」とは、車両のオイラー角、例えば、ヘディング(heading)方向,ピッチ(pitch)方向,及びロール(roll)方向の回転角をいう。「姿勢角度計測手段」としては、ジャイロ・センサや加速度計センサ,レーザー車高計等を使用することができる。また、「姿勢角度データによる補正」の方法としては、例えば、後述するZhangのキャリブレーション法などを使用することができる(非特許文献1参照)。
【0034】
本発明に係る道路画像作成システムの第3の構成は、前記第1又は2の構成において、前記車両の車高を計測し車高データを出力する車高計測手段を備え、
前記画像変換手段は、前記車高データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。
【0035】
この構成により、車両の車高変化により正射道路画像に生じる変形を防止し、精度の高い正射道路画像を得ることができる。
【0036】
すなわち、実際に車両を走行させながら道路画像を撮影した場合、車両の揺れやサスペンションの沈み込みによって撮像手段の路面からの高さが変化する。そのため、撮影された道路画像を一律に正射投影すると、正射投影された道路画像に歪みが生じる。
【0037】
例えば、図13のように、車両201の上下振動により車両201が定常位置よりも沈み込んだ場合、車両201に固定された撮像手段202の視野fは、車両201の沈み込みがない場合の視野fから上下方向に平行にずれる。従って、撮像手段202により撮影される道路面は、通常の高さから撮影した道路画像よりも手前の道路面となる(図13(a)参照)。そのため、車両201の高さは一定としてこれを正射影変換すると、図13(b)のように画像が車両進行方向にずれるとともに車両進行方向に若干拡縮される。従って、正確な画像合成を行うことができなくなる。
【0038】
そこで、画像変換手段において、車高計測手段により計測された車両の車高による補正を加えて、撮像手段が撮像する各道路画像を正射投影変換することで、図13(c)のように正確な正射投影道路画像の生成を行うことが可能となる。なお、車両201が定常位置よりも浮き上がった場合も同様に正確な正射影道路画像の生成を行うことが可能となる。
【0039】
ここで、「車高計測手段」としては、レーザー車高計などを使用することができる。「車高データによる補正」の方法としては、例えば、後述するZhangのキャリブレーション法などを使用することができる(非特許文献1参照)。
【0040】
本発明に係る道路画像作成システムの第4の構成は、前記第1乃至3の何れか一の構成において、前記車両位置計測手段は、前記車両の経緯座標及び標高からなる三次元の位置座標を計測し位置座標データとして出力するものであり、
前記撮像手段が出力する道路画像を記憶する画像記憶手段と、
前記車両位置計測手段が出力する位置座標データを記憶する位置履歴記憶手段と、
を備え、
前記画像変換手段は、画像記憶手段に記憶された各道路画像について、当該道路画像の被写体である道路面又はその周囲の複数の点の位置座標データを前記位置履歴記憶手段から読み出すとともに、それら位置座標データから車両及び被写体である道路面の傾斜を求め、当該傾斜による補正を加えた正射投影変換を前記撮像手段が撮像する道路画像に施すことにより、前記正射道路画像を生成することを特徴とする。
【0041】
この構成によれば、画像変換手段は、道路画像の撮像位置とその被写体である道路の位置との標高差から被写体である道路の傾斜を求める。そして、傾斜による補正を加えて、道路画像を正射投影変換する。これにより、車両前方の道路の傾斜が変化している場合に、その傾斜変化により正射道路画像に生じる変形を防止し、精度の高い正射道路画像を得ることができる。
【0042】
すなわち、一般の道路は勾配や勾配変化があるため、得られる合成画像は誤差が大きくなる。特に、撮影を行う車両自体が路面の起伏,凸凹によって傾斜した場合には、合成画像に大きな誤差が生じるという問題がある。
【0043】
例えば、図14に示したように、車両201前方の路面が隆起している場合、撮像手段202によって撮像される道路画像は図14(a)のように進行方向に縮小されたものとなる。これを単純な正射投影(道路面が水平面であると仮定した正射投影)によって水平面上の画像に変換すると、図14(b)のように実際の道路(図14(c))よりも進行方向に引き延ばされた画像となる。従って、正確な正射投影面上の道路画像を得ることができない。
【0044】
そこで、画像変換手段において、車両の位置座標データから算出される被写体道路面の傾斜による補正を加えて、撮像手段が撮像する各道路画像を正射投影変換することで、図14(c)のように正確な正射投影道路画像の生成を行うことが可能となる。なお、路面が隆起している場合に限らず起伏がある場合に同様に正確な正射投影道路画像の生成を行うことが可能となる。
【0045】
ここで、「被写体である道路面又はその周囲の複数の点の位置座標データから車両及び被写体である道路面の傾斜を求める」方法としては、例えば、図15(a)のように、被写体道路面Sを撮像したときの車両の位置Pと、被写体道路面S内における車両の位置Pとの位置座標から直線近似により被写体道路面Sにおける勾配線Lを近似的に求める方法、図15(b)のように、被写体道路面S内における車両の位置P,P,P,Pとの位置座標から直線近似により被写体道路面Sにおける勾配線Lを近似的に求める方法などを用いることができる。
【0046】
本発明に係る道路画像合成装置の第1の構成は、走行する車両から当該車両の前方又は後方若しくは側方の道路を所定の時間間隔で撮像して得られる二次元フレーム画像からなる複数の道路画像、及び前記各道路画像の撮影タイミングに同期して計測された前記車両の位置座標を示す位置座標データから、前記道路画像を世界座標系の平面上に正射投影し張り合わせた連結道路画像を合成する道路画像合成装置であって、
前記各道路画像を記憶する画像記憶手段と、
前記各位置座標データを記憶する位置履歴記憶手段と、
前記各道路画像に正射投影変換をして道路面上の正射画像(以下「正射道路画像」という。)を生成する画像変換手段と、
各正射道路画像に対して前記車両位置計測手段により計測された位置座標データに基づき、正射道路画像の世界座標及び向きを決定し、各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成手段と、を備えたことを特徴とする。
【0047】
本発明に係る道路画像合成装置の第2の構成は、前記第1の構成において、前記位置履歴記憶手段には、各道路画像の撮影タイミングに同期して計測された、前記車両の姿勢角度を示す姿勢角度データが記憶されており、
前記画像変換手段は、前記姿勢角度データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。
【0048】
本発明に係る道路画像合成装置の第3の構成は、前記第1又は2の構成において、前記位置履歴記憶手段には、各道路画像の撮影タイミングに同期して計測された、前記車両の車高を示す車高データが記憶されており、
前記画像変換手段は、前記車高データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。
【0049】
本発明に係る道路画像合成装置の第4の構成は、前記第1乃至3の何れか一の構成において、前記位置履歴記憶手段には、前記車両の経緯座標及び標高からなる三次元の位置座標が前記位置座標データとして記憶されており、
前記画像変換手段は、前記画像記憶手段に記憶された各道路画像について、当該道路画像の被写体である道路面又はその周囲の複数の点の位置座標データを前記位置履歴記憶手段から読み出すとともに、それら位置座標データから車両と被写体である道路面との傾斜を求め、当該傾斜による補正を加えた正射投影変換を前記撮像手段が撮像する道路画像に施すことにより、前記正射道路画像を生成することを特徴とする。
【0050】
本発明に係る道路画像合成プログラムは、コンピュータに読み込ませて実行させることにより、コンピュータを上記第1乃至4の何れかの構成の道路画像合成装置として機能させることを特徴とする。
【0051】
本発明に係る道路画像作成方法の第1の構成は、撮像手段によって、車両から当該車両の前方又は後方若しくは側方の道路を所定の時間間隔で撮像し二次元フレーム画像(以下「道路画像」という。)を生成する撮像ステップと、
前記撮像手段が撮像するタイミングと同期して、前記車両の位置座標を計測し位置座標データを生成する車両位置計測手段と、
前記撮像手段により撮像された道路画像に正射投影変換をして道路面上の正射画像(以下「正射道路画像」という。)を生成する画像変換ステップと、
各正射道路画像に対して前記車両位置計測ステップにおいて計測された位置座標データに基づき、前記正射道路画像の世界座標及び向きを決定し、前記各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成ステップと、を有することを特徴とする。
【0052】
本発明に係る道路画像作成方法の第2の構成は、前記第1の構成において、前記撮像手段が撮像するタイミングと同期して、前記車両の姿勢角度を計測し姿勢角度データを生成する姿勢角度計測ステップを有し、
前記画像変換ステップにおいては、前記姿勢角度データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。
【0053】
本発明に係る道路画像作成方法の第3の構成は、前記第1又は2の構成において、前記撮像手段が撮像するタイミングと同期して、前記車両の車高を計測し車高データを生成する車高計測ステップを有し、
前記画像変換ステップにおいては、前記車高データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする。
【0054】
本発明に係る道路画像作成方法の第4の構成は、前記第1乃至3の何れか一の構成において、前記撮像ステップにおいては、車両から道路を撮像して得られた道路画像を画像記憶手段に一旦記憶し、
前記車両位置計測ステップにおいては、前記車両の経緯座標及び標高からなる三次元の位置座標を計測して得られた位置座標データを位置履歴記憶手段に一旦記憶し、
前記画像変換ステップにおいては、前記画像記憶手段に記憶された各道路画像について、当該道路画像の被写体である道路面又はその周囲の複数の点の位置座標データを前記位置履歴記憶手段から読み出すとともに、それら位置座標データから車両と被写体である道路面との傾斜を求め、当該傾斜による補正を加えた正射投影変換を前記撮像手段が撮像する道路画像に施すことにより、前記正射道路画像を生成することを特徴とする。
【発明の効果】
【0055】
以上のように、本発明によれば、道路画像と同期して計測される位置座標データを用いて各正射道路画像を合成することで、道路画像の撮影中に車両の方向や速度が変化した場合においても正確な連結道路画像を合成することが可能となる。
【0056】
また、車両の姿勢角度の変化,車高変化,又は車両前方の道路の傾斜の変化により正射道路画像に生じる変形を防止し、精度の高い正射道路画像を得ることができる。
【発明を実施するための最良の形態】
【0057】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【実施例1】
【0058】
図1は、本発明の実施例1に係る道路画像作成システムの構成を表す図である。道路画像作成システム1は、車両2に搭載された道路画像収集装置3、及び道路画像合成装置4の2つの部分から構成されている。道路画像合成装置4は、具体的にはコンピュータによって構成され、道路画像合成プログラムをコンピュータに読み込んで実行することにより、機能的に実現される。道路画像合成装置4は、車両2に搭載してもよいし、これとは切り離して別の場所に設置してもよい。
【0059】
道路画像収集装置3は、撮像手段5,画像記憶手段6,車両位置計測手段7,姿勢角度計測手段8,車高計測手段9,位置履歴記憶手段10,及び同期手段11を備えている。
【0060】
撮像手段5は、CCDカメラにより構成されており、車両2の前方の道路を撮像する。画像記憶手段6は、撮像手段5により撮像された道路画像を記憶する。車両位置計測手段7は、全地球的測位システム(Global Positioning System:GPS),ジャイロ・センサ,加速度センサ等を備えたハイブリッド測位装置によって構成されており、車両2の経緯座標及び標高(位置座標)を計測する。
【0061】
姿勢角度計測手段8は、車両2の姿勢角度を測定する装置である。姿勢角度は、ヘディング(heading)方向,ピッチ(pitch)方向,及びロール(roll)方向の回転角により表現される。姿勢角度計測手段8は、ジャイロ・センサや加速度計センサ,レーザー車高計等を使用することができる。車高計測手段9は、車両2の車高を計測する。車高計測手段9には、レーザー車高計が使用されている。位置履歴記憶手段10は、車両位置計測手段7が出力する位置座標データ及び姿勢角度計測手段8が出力する姿勢角度データを記憶する。
【0062】
同期手段11は、撮像手段5の撮像タイミング、並びに車両位置計測手段7,姿勢角度計測手段8,及び車高計測手段9の計測タイミングを決める同期信号を所定の時間間隔(例えば1/30sec間隔)で出力する。撮像手段5,車両位置計測手段7,姿勢角度計測手段8,及び車高計測手段9は、この同期信号に同期して撮像又は計測を行う。
【0063】
一方、道路画像合成装置4は、画像変換手段12,画像合成手段13,合成画像記憶手段14,及び出力装置15を備えている。
【0064】
画像変換手段12は、画像記憶手段6に記憶された道路画像を読み出し、カメラ・キャリブレーション及び正射投影変換を行い、正射道路画像を作成する。正射道路画像は、視点を被写体である道路の垂直上方の無限遠点においた場合の道路画像である。カメラ・キャリブレーション及び正射投影変換においては、当該道路画像の撮像時における車両2の姿勢角度データ及び標高データから得られる被写体道路の傾斜角度が参照され、これらのパラメータによる補正が行われる。
【0065】
画像合成手段13は、各道路画像を正射投影した正射道路画像を、それらの位置座標に基づいて世界座標系の水平投射面上に配置することによって連結道路画像を合成する。合成された連結道路画像は、合成画像記憶手段14に記憶される。出力装置15はディスプレイ等により構成され、連結道路画像を表示出力する。
【0066】
以上のように構成された本実施例に係る道路画像作成システム1について、以下それによる道路画像作成方法について説明する。
【0067】
まず、車両2により道路を走行しながら撮像手段5により道路画像を撮像する。撮像された道路画像は画像記憶手段6に記憶される。
【0068】
図2は車両2から撮像された道路画像の例である。図2のように、道路画像としては、車両2の斜め前方の道路の画像が取り込まれる。尚、撮影する方向はこれに限られるものではなく、車両2の後方や側方の道路であってもよい。図2の道路画像のうち、連結道路画像の作成に使用される画像領域は、矩形枠で囲まれた領域Sの部分である。この例では、撮像手段5の前方5〜7mの領域の画像を使用している。
【0069】
撮像手段5は、同期手段11が出力する同期信号に同期して道路画像の撮像を行う。一方、それと同時に、車両位置計測手段7,姿勢角度計測手段8,及び車高計測手段9は、同期信号に同期して車両2の位置座標,姿勢角度,及び車高を計測し出力する。計測された各データは、位置履歴記憶手段10に記憶される。
【0070】
以上のようにして、道路画像とその撮像位置等の情報を収集した後、道路画像合成装置4による連結道路画像の合成が行われる。
【0071】
最初に、画像変換手段12が各道路画像を正射投影して正射道路画像を作成し、次に、画像合成手段13がそれらの正射道路画像を世界座標系の水平投射面上に配置することによって連結道路画像を合成する。
【0072】
画像変換手段12による道路画像の正射投影は以下のZhangのキャリブレーションに基づいて行われる。まず、車両2は水平上を走行しており、被写体である道路も同一水平面上にあると仮定する。
【0073】
道路画像の画面上の2次元座標をm=[u v]とする。世界座標系の3次元座標をM=[X Y Z]とする。また、各座標に1の要素を直積で加えたベクトルを、以下のように定義する。
【0074】
【数1】

【0075】
3次元座標Mとその投影画像の2次元座標mとの関係を以下の関係式によりモデル化する。
【0076】
【数2】

【0077】
ここで、sはスケール・ファクター,[R t]は外部パラメータ行列(extrinsic parameter matrix),Rは回転行列,tは平行移動行列,Aは内部パラメータ行列(intrinsic parameter matrix)である。
【0078】
内部パラメータ行列Aは、撮像手段5の内部的なパラメータであり、実画像座標系(xy座標系)からフレーム座標系(uv座標系)への写像パラメータを表す。α,βはそれぞれu軸,v軸方向のスケール因子、γは2つの画像軸のスキューにより表されるパラメータ、[u,vは、画像の主点(principal point)の座標(主点座標)である。ピクセルサイズを(k,k),u軸とv軸とのなす角をθ,焦点距離をfとすると、α,β,γは次式で表される。
【0079】
【数3】

【0080】
外部パラメータ行列[R t]は、撮像手段5の外部的なパラメータであり、世界座標系(XYZ座標系)から実画像座標系(xy座標系)への写像パラメータを表す。世界座標系は、撮像手段5の直下の路面を原点とし、車両2の進行方向に対し垂直な水平軸をX軸,鉛直軸をY軸,車両2の進行方向の水平軸をZ軸とする。平行移動ベクトルtは、世界座標系において原点に対する実画像の画像主点の移動ベクトルである。撮像手段5の高さ(実画像の画像主点の高さ)をhとすると、平行移動ベクトルtは次式で表される。
【0081】
【数4】

【0082】
また、世界座標系において、実画像のヘディング方向の回転角(ヨー角)をφ,ピッチ角をω,ロール角をκとすると、回転行列Rは次式で表される。
【0083】
【数5】

【0084】
内部パラメータ行列Aは、事前の測定により既知である。また、ヨー角φ,ピッチ角ω,ロール角κは、初期状態(車両2が水平地面にある状態)におけるヨー角φ,ピッチ角ω,ロール角κが既知であれば、姿勢角度計測手段8により計測された姿勢角度データにより計算することができる。また、画像主点の高さhは、事前の測定により得られる水平面上の静止状態の画像主点の高さhと車高計測手段9により測定される車高から容易に計算することができる。
【0085】
そこで、画像変換手段12は、これらのパラメータを用いて、式(2)を用いてフレーム座標系(uv座標系)の道路画像pを世界座標系(XYZ座標系)の投射道路画像Pに変換する。具体的な変換方法は次のようにして行うことができる。
【0086】
まず、被写体である道路面を水平面(Y=0)であると仮定する。式(2)より、
【0087】
【数6】

であるので、ピクセル(u,v)に対する世界座標(X,Z)及びスケールパラメータsは次式により求めることができる。
【0088】
【数7】

【0089】
次に、画像変換手段12は、被写体である道路面の傾斜を考慮した補正を次のようにして行う。まず、車両位置計測手段7により計測された位置座標データを参照し、道路画像pの撮影時の撮像手段5の直下の路面上の点の位置座標(X,Y,Z)と、被写体である道路面付近の複数点の位置座標(X,Y,Z)とから、被写体である道路面の勾配を計算する。本実施例では、モデルを簡単化するため、図3に示したように、勾配は一様であるとする。具体的には、式(8)により求めた水平面上の世界座標点(X,Y,Z)付近の位置座標データから、Zを求め、Δh=Z−Zにより標高差Δhを求め、これを勾配を表す指標とする。
【0090】
図3より、一様な道路勾配で補正した道路面上の世界座標点(X’,Y’,Z’)の奥行きZ’は次式により求めることができる。
【0091】
【数8】

【0092】
補正した道路面上の奥行きZ’が決まると、式(2)より、フレーム座標点(u,v)と世界座標点(X’,Y’,Z’)との関係は次式のようになる。
【0093】
【数9】

【0094】
これより、世界座標点のX’,Y’を次式によって計算することができる。
【0095】
【数10】

【0096】
このようにして、車両2前方の路面の傾斜角度が変化している場合であっても、上記補正によって正射道路画像に生じる歪みを最小限に抑えることができる。また、車両2の沈み込みや姿勢角度の変化による画像の歪みも最小限に抑えることができる。
【0097】
例えば、撮像手段5により撮像された道路画像が図4(a)のような画像であるとする。連結道路画像の合成に使用する画像領域を領域Sとする。画像変換手段12は、領域Sの画像を上述のような正射投影変換を用いて世界座標系の水平投影面に射影することによって図4(b)のような正射道路画像を生成する。道路画像は車両2の進行方向に沿って所定間隔で断続的に撮影されているため、それぞれの道路画像に同様の正射投影変換を行うことによって図5のように複数の正射道路画像が生成される。それぞれの正射道路画像に対して、車両位置計測手段7により計測された位置座標データ及び姿勢角度計測手段8により計測された姿勢角度データが対応している。
【0098】
画像合成手段13は、各正射道路画像を対応する位置座標データ及び姿勢角度データに従って合成する。正射道路画像の水平投影面上の配置位置は位置座標データを参照することによって特定することができ、また正射道路画像の配置向きは、姿勢角度データを参照することによって特定することができる。
【0099】
その結果、図6に示したような連結道路画像が合成される。生成された連結道路画像は合成画像記憶手段14に格納されるとともに、出力装置15に表示される。
【0100】
図7に、実際に本実施例に係る道路画像作成システム1によって合成した連結道路画像の例を示す。このように、走行する車両2から撮影する道路画像を合成することによって、あたかも航空機で撮影した空中写真のような道路の画像が得られる。
【0101】
また、撮像手段5から被写体までの撮像距離も短いため、精細な画像を低コストで得ることができる。
【0102】
さらに、走行する車両2から撮影するため、高層の地物や橋梁,トンネル等の遮蔽物の影響を排除することもできる。
【0103】
例えば、インターチェンジのループ部分の道路画像は、図8のように合成される。図8(a)は合成道路画像を垂直上方の無限遠方からみた図である。図8(b)は、図8(a)の合成道路画像を斜め上方から見た図である。それぞれの台形は、撮像手段5により撮像された道路画像を正射投影変換して得られた正射道路画像を表している。
【0104】
空中写真を正射投影して得られる画像では、ループの交差部分の下側の道路の画像は得ることができない。しかし、本実施例の道路画像作成システム1では、図8(b)に示したような三次元画像として合成道路画像を作成数ことができるため、ループの交差部分の下側の道路の画像も再現することができる。
【図面の簡単な説明】
【0105】
【図1】本発明の実施例1に係る道路画像作成システムの構成を表す図である。
【図2】車両2から撮像された道路画像の例である。
【図3】勾配補正モデルを示す説明図である。
【図4】正射投影変換の例を説明する図である。
【図5】正射投影により得られる正射道路画像の例を示す図である。
【図6】連結道路画像の例を示す図である。
【図7】実際に本実施例に係る道路画像作成システムによって合成した連結道路画像の例を示す図である。
【図8】インターチェンジのループ部分の道路画像を合成した例を示す図である。
【図9】特許文献2〜4に記載の道路画像撮影装置の構成図である。
【図10】特許文献5に記載の道路表示等認識装置による道路画像の合成方法を説明する図である。
【図11】特許文献5に記載の道路表示等認識装置による道路画像の合成方法を説明する図である。
【図12】車両前方の路面が隆起している場合に生じる正射投影画像の歪みを説明する図である。
【図13】車両の沈み込みにより生じる正射投影画像の歪みを説明する図である。
【図14】車両の姿勢角度の変化により生じる正射投影画像の歪みを説明する図である。
【図15】被写体である道路面又はその周囲の複数の点の位置座標データから車両及び被写体である道路面の傾斜を求める方法の説明図である。
【符号の説明】
【0106】
1 道路画像作成システム
2 車両
3 道路画像収集装置
4 道路画像合成装置
5 撮像手段
6 画像記憶手段
7 車両位置計測手段
8 姿勢角度計測手段
9 車高計測手段
10 位置履歴記憶手段
11 同期手段
12 画像変換手段
13 画像合成手段
14 合成画像記憶手段
15 出力装置




【特許請求の範囲】
【請求項1】
車両の前方又は後方若しくは側方の道路を撮像し二次元フレーム画像(以下「道路画像」という。)として出力する撮像手段と、
前記車両の位置座標を計測し位置座標データとして出力する車両位置計測手段と、
前記撮像手段が撮像する道路画像を正射投影変換して水平投影面上の正射画像(以下「正射道路画像」という。)を生成する画像変換手段と、
各正射道路画像に対して前記車両位置計測手段により計測された位置座標データに基づき、前記正射道路画像の世界座標及び向きを決定し、前記各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成手段と、
を備えたことを特徴とする道路画像作成システム。
【請求項2】
前記車両の姿勢角度を計測し姿勢角度データとして出力する姿勢角度計測手段を備え、
前記画像変換手段は、前記姿勢角度データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項1記載の道路画像作成システム。
【請求項3】
前記車両の車高を計測し車高データを出力する車高計測手段を備え、
前記画像変換手段は、前記車高データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項1又は2記載の道路画像作成システム。
【請求項4】
前記車両位置計測手段は、前記車両の経緯座標及び標高からなる三次元の位置座標を計測し位置座標データとして出力するものであり、
前記撮像手段が出力する道路画像を記憶する画像記憶手段と、
前記車両位置計測手段が出力する位置座標データを記憶する位置履歴記憶手段と、
を備え、
前記画像変換手段は、画像記憶手段に記憶された各道路画像について、当該道路画像の被写体である道路面又はその周囲の複数の点の位置座標データを前記位置履歴記憶手段から読み出すとともに、それら位置座標データから車両及び被写体である道路面の傾斜を求め、当該傾斜による補正を加えた正射投影変換を前記撮像手段が撮像する道路画像に施すことにより、前記正射道路画像を生成することを特徴とする請求項1乃至3の何れか一記載の道路画像作成システム。
【請求項5】
走行する車両から当該車両の前方又は後方若しくは側方の道路を所定の間隔で撮像して得られる二次元フレーム画像からなる複数の道路画像、及び前記車両の位置座標を示す位置座標データから、前記道路画像を世界座標系の平面上に正射投影し張り合わせた連結道路画像を合成する道路画像合成装置であって、
前記各道路画像を記憶する画像記憶手段と、
前記各位置座標データを記憶する位置履歴記憶手段と、
前記各道路画像に正射投影変換をして道路面上の正射画像(以下「正射道路画像」という。)を生成する画像変換手段と、
各正射道路画像に対して前記車両位置計測手段により計測された位置座標データに基づき、正射道路画像の世界座標及び向きを決定し、各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成手段と、
を備えたことを特徴とする道路画像合成装置。
【請求項6】
前記位置履歴記憶手段には、前記車両の姿勢角度を示す姿勢角度データが記憶されており、
前記画像変換手段は、前記姿勢角度データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項5記載の道路画像合成装置。
【請求項7】
前記位置履歴記憶手段には、前記車両の車高を示す車高データが記憶されており、
前記画像変換手段は、前記車高データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項5又は6記載の道路画像合成装置。
【請求項8】
前記位置履歴記憶手段には、前記車両の経緯座標及び標高からなる三次元の位置座標が前記位置座標データとして記憶されており、
前記画像変換手段は、前記画像記憶手段に記憶された各道路画像について、当該道路画像の被写体である道路面又はその周囲の複数の点の位置座標データを前記位置履歴記憶手段から読み出すとともに、それら位置座標データから車両と被写体である道路面との傾斜を求め、当該傾斜による補正を加えた正射投影変換を前記撮像手段が撮像する道路画像に施すことにより、前記正射道路画像を生成することを特徴とする請求項5乃至7の何れか一記載の道路画像合成装置。
【請求項9】
コンピュータに読み込ませて実行させることにより、コンピュータを請求項5乃至8の何れか一に記載の道路画像合成装置として機能させることを特徴とする道路画像合成プログラム。
【請求項10】
撮像手段によって、車両から当該車両の前方又は後方若しくは側方の道路を所定の間隔で撮像し二次元フレーム画像(以下「道路画像」という。)を生成する撮像ステップと、
前記車両の位置座標を計測し位置座標データを生成する車両位置計測手段と、
前記撮像手段により撮像された道路画像に正射投影変換をして道路面上の正射画像(以下「正射道路画像」という。)を生成する画像変換ステップと、
各正射道路画像に対して前記車両位置計測ステップにおいて計測された位置座標データに基づき、前記正射道路画像の世界座標及び向きを決定し、前記各正射道路画像をそれぞれ決定された世界座標系の水平投射面上に配置することにより連結道路画像を合成する画像合成ステップと、
を有する道路画像作成方法。
【請求項11】
前記車両の姿勢角度を計測し姿勢角度データを生成する姿勢角度計測ステップを有し、
前記画像変換ステップにおいては、前記姿勢角度データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項10記載の道路画像作成方法。
【請求項12】
前記車両の車高を計測し車高データを生成する車高計測ステップを有し、
前記画像変換ステップにおいては、前記車高データによる補正を加えて、前記撮像手段が撮像する道路画像を正射投影変換し、前記正射道路画像を生成することを特徴とする請求項10又は11記載の道路画像作成方法。
【請求項13】
前記撮像ステップにおいては、車両から道路を撮像して得られた道路画像を画像記憶手段に一旦記憶し、
前記車両位置計測ステップにおいては、前記車両の経緯座標及び標高からなる三次元の位置座標を計測して得られた位置座標データを位置履歴記憶手段に一旦記憶し、
前記画像変換ステップにおいては、前記画像記憶手段に記憶された各道路画像について、当該道路画像の被写体である道路面又はその周囲の複数の点の位置座標データを前記位置履歴記憶手段から読み出すとともに、それら位置座標データから車両と被写体である道路面との傾斜を求め、当該傾斜による補正を加えた正射投影変換を前記撮像手段が撮像する道路画像に施すことにより、前記正射道路画像を生成することを特徴とする請求項10乃至12の何れか一記載の道路画像作成方法。





【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2007−249103(P2007−249103A)
【公開日】平成19年9月27日(2007.9.27)
【国際特許分類】
【出願番号】特願2006−75992(P2006−75992)
【出願日】平成18年3月20日(2006.3.20)
【出願人】(597151563)株式会社ゼンリン (155)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【出願人】(501271479)株式会社トヨタマップマスター (56)
【Fターム(参考)】