平面図生成装置及び平面図生成方法
【課題】車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、高精度の平面図を生成することができる平面図生成装置及び平面図生成方法を提供すること。
【解決手段】位置／向き推定部１１１が、車載カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第１の垂直平面画像と、路側カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第２の垂直平面画像とに基づいて、車載装置１００が搭載されている車両の位置及び向きを推定し、パラメータ調整部１１２が、推定された位置及び向きに基づいて、平面変換で用いられるパラメータを調整し、水平平面画像生成部１１３が、車載カメラ画像の内の道路領域画像を、パラメータ調整部１１２で調整されたパラメータを用いて平面変換することにより、水平平面画像を生成する。
【解決手段】位置／向き推定部１１１が、車載カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第１の垂直平面画像と、路側カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第２の垂直平面画像とに基づいて、車載装置１００が搭載されている車両の位置及び向きを推定し、パラメータ調整部１１２が、推定された位置及び向きに基づいて、平面変換で用いられるパラメータを調整し、水平平面画像生成部１１３が、車載カメラ画像の内の道路領域画像を、パラメータ調整部１１２で調整されたパラメータを用いて平面変換することにより、水平平面画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、平面図生成装置及び平面図生成方法に関する。
【背景技術】
【０００２】
車両運転者にとって、交差点において相手（歩行者又は他の車両等）の位置を把握するための運転者補助技術は有用である。このような相手の位置の把握を補助する手段のひとつとして、「平面図」がある。
【０００３】
平面図とは、対象地点を上空から見た地図のような画像のことである。いわゆる鳥瞰図(俯瞰図)も上空から見た地図のような画像であるが、鳥瞰図が上空のある１点を視点とする画像（透視投影画像）であるのに対して、本明細書で言う平面図とは、上空の複数視点から鉛直方向に見下ろした画像（つまり、平行投影画像）である。このような平面図を交差点に関してリアルタイムに生成し運転者に提示することにより、運転者は、交差点における自車両と、他の車両又は歩行者との位置関係を正確に把握することができる。
【０００４】
交差点中央の高度上空から高精細なカメラで鉛直下向きに撮影することができれば、撮影した画像の中央部分が、リアルな平面図となる。しかしながら、通常はそのような撮影を行うことは困難である。従って、実際には、信号機程度の高さに設置した複数のカメラを用いて道路を撮影し、画像の変換処理及び合成処理を行うことにより平面図を生成することが必要となる。
【０００５】
複数のカメラにより得られた画像（つまり、カメラ画像）を変換処理及び合成処理することにより得られた画像は、擬似的な平面図（以下では、単に、平面図と呼ぶ）である。このため、カメラ画像において移動体の物陰となる部分は、平面図においても死角のままとなる。例えば、路側に設置されたカメラ（つまり、路側カメラ）により得られた画像を用いることにより広範囲に渡る平面図を作成することができる。しかしながら、路側カメラから死角になる領域が、各車両の周辺に生じてしまう。そこで、車両に搭載されたカメラ（つまり、車載カメラ）により得られた画像を用いて、平面図を生成することが考えられる。こうすることで、車両周辺にも死角が生じていない平面図を生成することができる。
【０００６】
実際上、複数のカメラ画像から平面図を生成する場合、複数のカメラについての校正（つまり、キャリブレーション）を行うことにより、変換処理及び合成処理に用いられるパラメータを予め設定しておく必要がある。路側カメラの画像だけ又は車載カメラの画像だけを用いて平面図を生成する場合には、通常、カメラ設置時にキャリブレーションが行われているので、その際に得られたパラメータを用いて単純な射影変換処理を行うだけで平面図を生成することができる。しかしながら、路側カメラの画像と車載カメラの画像との両方を用いて平面図を生成する場合には、事情が異なる。すなわち、路側カメラと車載カメラとの間では予めキャリブレーションを行っておくことができない。従って、何らかの方法を用いて、路側カメラの画像と車載カメラの画像との対応付けを行う必要がある。
【０００７】
例えば、特許文献１に開示される平面図の生成方法では、路側カメラの画像と車載カメラの画像との両方に映し出された道路上の特徴画像（特許文献１では、特に、駐車区画線の画像）が重なるように、路側カメラの画像及び車載カメラの画像に対して回転及び拡大縮小等の処理を行うことにより、平面画像が生成される。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１７３１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記した従来の平面図生成方法では、そもそも道路上にパターン（駐車区画線又は車線区分線など）が無い場合には、平面図を生成することができない。
【００１０】
また、道路上にパターンが存在する場合であっても、車両の姿勢にロール・ピッチ方向の変動が発生した場合には、路側カメラの画像と車載カメラの画像との対応付けが困難である。すなわち、車両の姿勢のヨー方向の変動が生じると、車載カメラの平面図は、路側カメラの平面図に対して同一平面上で回転移動する。そのため、上記した従来の平面図生成方法のように、道路上のパターンを用いてマッチング処理を行うことで、路側カメラの画像と車載カメラの画像とを対応付けることができる。しかしながら、車両のロール方向及びピッチ方向の変動の場合、車載カメラの平面図が路側カメラの平面図に対して交差する方向に変動するので、路側カメラの画像と車載カメラの画像とを合成した後の平面図が変形してしまう。このため、車両の姿勢にロール・ピッチ方向の変動が発生した場合には、路側カメラの画像と車載カメラの画像との対応付けが困難となる。
【００１１】
また、センサを用いて車両の姿勢のロール・ピッチ方向の変動を検出し、検出値に基づいて、車載カメラの画像からロール・ピッチ方向の姿勢変動の影響を取り除いた後に、路側カメラの画像と合成することもできる。しかしながら、実際の交通環境では、ロール・ピッチ方向の車両姿勢の変化は急であり、回転の加速度が大きい。このため、センサとカメラとの間に同期ズレが生じ、この結果、路側カメラの画像と車載カメラの画像とから生成される平面図の精度が低下してしまう問題がある。
【００１２】
本発明は、かかる点に鑑みてなされたものであり、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、高精度の平面図を生成することができる平面図生成装置及び平面図生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の一態様の平面図生成装置は、車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成装置であって、前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定する推定手段と、前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整する調整手段と、前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する生成手段と、を具備する。
【００１４】
本発明の一態様の平面図生成方法は、車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成方法であって、前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定し、前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整し、前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する。
【発明の効果】
【００１５】
本発明によれば、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて車両の姿勢を推定し、推定した車両の姿勢に基づいて調整した平面変換パラメータに基づいて車載カメラ画像内の道路画像を平面変換して得られる水平平面画像を用いて平面図を作成することにより、高精度の平面図を生成することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態１に係る平面図生成システムの構成を示すブロック図
【図２】車載カメラ画像の一例を示す図
【図３】車載カメラの設置状況の異なる複数の車載カメラ画像の一例を示す図
【図４】固定的に設定される道路領域及び背景領域の一例を示す図
【図５】垂直平面画像への変換の説明に供する図
【図６】平面図生成部の構成を示すブロック図
【図７】水平平面画像への変換の説明に供する図
【図８】路側カメラ及び車載カメラの配置例を示す図
【図９】車載装置の動作説明に供するフロー図
【図１０】路側装置の動作説明に供するフロー図
【図１１】車載カメラ、路側カメラ及び垂直平面画像の位置関係、並びに、路側カメラ画像による垂直平面画像及び車載カメラ画像による垂直平面画像の一例を示す図
【図１２】自車両の位置及び向きの推定処理の説明に供する図
【図１３】自車両の位置及び向きの推定処理の説明に供する図
【図１４】ロール方向及びピッチ方向の変動と、車載カメラ画像から生成される平面図における変形との関係を示す図
【図１５】カメラに対する撮像位置及びカメラの向き変動に伴う、撮像画像の変形の説明に供する図
【図１６】平面図生成処理の説明に供する図
【図１７】平面図生成処理の説明に供する図
【図１８】本発明の実施の形態２に係る平面図生成システムの構成を示すブロック図
【図１９】本発明の実施の形態３に係る平面図生成システムの構成を示すブロック図
【図２０】平面図生成部の構成を示すブロック図
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。
【００１８】
［実施の形態１］
［平面図生成システム１０の概要］
図１は、本発明の実施の形態１に係る平面図生成システム１０の構成を示すブロック図である。図１において、平面図生成システム１０は、車載装置１００と、路側装置２００とを有する。車載装置１００は、車両に搭載される一方、路側装置２００は、例えば交差点等の路側に設置される。車載装置１００は、車載カメラで撮影された画像（つまり、車載カメラ画像）と、路側装置２００のカメラで撮影された画像（つまり、路側カメラ画像）とに基づいて合成平面図を生成し、その合成平面図を表示手段に表示させる。
【００１９】
［車載装置１００の構成］
図１において、車載装置１００は、画像取得部１０１と、画像分離部１０２と、垂直平面画像生成部１０３と、通信部１０４と、平面図生成部１０５と、情報出力部１０６とを有する。
【００２０】
〈画像取得部１０１〉
画像取得部１０１は、１つ又は複数の車載カメラで撮影された車載カメラ画像を取得する。この車載カメラ画像は、画像分離部１０２へ出力される。車載カメラは、例えば、車両の前後左右に搭載される。これにより、車両周囲の画像が得られる。また、車載カメラは、その撮影画像に道路領域及び道路領域以外の背景領域の両方が含まれるように、設置される。車載カメラは、道路領域と背景領域との割合が所定値となるように、設置される。
【００２１】
図２は、車載カメラ画像の一例を示す。図２に示すように、車載カメラ画像１１は、道路領域１２と、道路領域１２の上方に現れる背景領域１３とに分離される。
【００２２】
図３は、車載カメラの設置状況の異なる複数の車載カメラ画像の一例を示す。図３の上段には、光軸を水平方向よりも下側に向けて車載カメラを設置した場合の車載カメラ画像が示され、中段には、光軸を水平方向に合わせて車載カメラを設置した場合の車載カメラ画像が示され、下段には、光軸を水平方向よりも上側に向けて車載カメラを設置した場合の車載カメラ画像が示されている。このように、車載カメラの光軸の向く方向（特に、仰角方向）によって車載カメラ画像に含まれる道路領域と背景領域との割合が変わるので、所定の割合となるように車載カメラの設置位置及び方向を調整する必要がある。
【００２３】
また、車載カメラの光学的設定は、次のように設定される。車載カメラのフォーカスは、道路面に対してだけではなく、背景領域となり得る部分に対しても、できるだけ合致するように設定されることが望ましい。そのため、車載カメラのフォーカスは、例えば、被写界深度が深くなるように設定されていることが望ましい。また、後段の処理において、背景領域における特徴物の撮像状態をもとに、自車両の動きを推定する処理を行うので、車載カメラは、十分なコントラストが確保されるように設定されることが望ましい。
【００２４】
〈画像分離部１０２〉
画像分離部１０２は、画像取得部１０１から受け取る車載カメラ画像を、道路領域の画像と、道路領域を除く背景領域の画像とに分離する。背景領域の画像は垂直平面画像生成部１０３へ出力される一方、道路領域の画像は平面図生成部１０５へ出力される。
【００２５】
第１の領域分離方法としては、例えば、車載カメラ画像内で道路領域及び背景領域が所定の領域に固定的に現れると見なして、道路領域と背景領域とを分離しても良い。この方法は、車載カメラのロール方向及びピッチ方向の変動量がカメラ画像の横方向及び縦方向のサイズに対して比較的小さいと想定される場合に有用である。
【００２６】
図４は、固定的に設定される道路領域及び背景領域の一例を示す図である。図４に示すように、車載カメラのピッチ方向又はロール方向の変動量の最大値が予め分かっている場合には、道路領域と背景領域との境界が変動しうる範囲を除く領域が、常に、道路領域又は背景領域となる。
【００２７】
第２の領域分離方法としては、エッジ検出及び線分検出を応用することで道路領域と背景領域との境界線を検出し、この境界線に基づいて道路領域と背景領域とを分離しても良い。
【００２８】
具体的には、まず、微分フィルタを用いてカメラ画像からエッジを検出する。道路領域と背景領域との境界線は斜め方向のエッジとなり、画像の左半分は左方向のエッジ、画像の右半分は右方向のエッジとなることが想定される。このため、斜め方向のエッジを容易に検出できるフィルタを用いれば良い。例えば、車載カメラ画像の左半分及び右半分に対して、式（１）で表されるフィルタ及び式（２）で表されるフィルタをそれぞれ適用すれば良い。
【数１】
【数２】
【００２９】
そして、検出されたエッジの画素をもとに、境界を表す線分を検出する。すなわち、エッジを構成している複数の点座標に基づいて、画像の左半分および右半分において、境界を表す線分をそれぞれ検出する。具体的には、線分の検出には、いわゆる最小二乗法又はハフ変換を用いることができる。ここで、境界を表す線分の傾きを、所定の範囲に制限しても良い。これにより、検出演算量を削減できるので、検出までに掛かる時間を削減することができる。
【００３０】
第３の領域分離方法としては、例えば、道路領域と背景領域との輝度の違いを利用しても良い。道路領域は、背景領域と比較して、画素の輝度が低くなる可能性が高い。このため、カメラ画像に含まれる輝度の分布を解析することにより、道路領域と背景領域とを分離することができる。具体的には、カメラ画像の輝度ヒストグラムに基づいて、道路領域の候補となる画像領域と背景領域の候補となる画像領域とに分離する。すなわち、低輝度に偏っている部分を道路領域候補とし、より高輝度の部分を背景領域候補とする。そして、それぞれの領域候補に対して領域の抜けを埋める処理を施すことで、最終的な道路領域及び背景領域を得ることができる。画像領域の抜けを埋める処理としては、例えば、２値画像のノイズ除去に用いられるような、いわゆるオープニング処理又はクロージング処理を用いることができる。
【００３１】
第４の領域分離方法としては、縦方向のエッジを検出し、縦方向のエッジの存在割合が比較的多い領域を背景領域と見なすことにより、道路領域と背景領域とを分離しても良い。背景領域には、建造物が存在する場合が多い。建造物の画像では横方向のエッジが少なく、縦方向のエッジが多い。このため、縦方向のエッジの存在割合を基準とする単純な方法によっても、背景領域をある程度の精度で特定することができる。
【００３２】
第５の領域分離方法としては、画像から特定物体を認識し、この認識結果に基づいて道路領域と背景領域とを分離しても良い。例えば、背景領域を構成する物体として、道路標識を挙げることができる。従って、道路標識を認識することにより、背景領域も認識することができる。すなわち、道路標識の画像領域の周囲は背景領域と見なすことができるので、道路標識の画像を検出することにより背景領域を特定することができる。道路標識を検出する具体例な処理は、例えば、次のように行われる。すなわち、ハフ変換等を用いて、道路標識に特徴的な図形（円形又は三角形など）の検出を行い、検出した図形の内部に対して、特定の文字又は模様に関するパターンマッチング等の処理を行えば良い。
【００３３】
〈垂直平面画像生成部１０３〉
垂直平面画像生成部１０３は、背景領域の画像を、変換パラメータ（垂直平面変換パラメータ）に基づいて「垂直平面画像」へ変換する。すなわち、図５に示すように、背景領域の画像が、車両進行方向に対して垂直な方向から背景を見たような垂直平面画像に変換される。
【００３４】
カメラ画像を平面画像へ変換するための計算方法を示す。平面画像への変換処理は、同次座標を用いた射影変換処理として捉えることができる。平面変換前の座標をmT=(x, y)T、その同次座標をmT=(x,y,1)T、平面変換後の座標をm’T=(x’,y’)T、その同次座標をm’T=(x’,y’,1)T、平面変換のための射影行列をA=(a11, a12, a13; a21, a22, a23; a31, a32, 1)とすると、平面変換のための射影変換は、式（３）のように表される。
【数３】
【００３５】
平面変換パラメータは、後述する歪補正処理にて行われるパターン処理と同様に、既知のパターンを用いて求めることができる。例えば、地上平面上に形状が既知のパターンを用意し、そのパターンを車載カメラで撮像する。また、車載カメラ画像において、既知パターンの画像の位置を検出する。この既知パターンは複数の位置に設置され、その都度、画像の位置も検出される。そして、既知パターン画像の検出位置のそれぞれに対して、平面変換後に移動すべき座標位置を指定することにより、平面変換前と平面変換後の対応点ペアを複数用意する。上記式（３）で示したように射影変換のパラメータはa11〜a32の８個有るので、１組の対応点ペア（x1,y1）（x’1,y’1）から２つの方程式を立てることができる。従って、少なくとも４組の対応点ペア（x1,y1）（x’1,y’1），〜，（x4,y4）（x’4,y’4）を用意すれば、式（４）に示す連立方程式の解として、平面変換のための射影行列A=(a11, a12, a13; a21, a22, a23; a31, a32, 1)を得ることができる。
【数４】
【００３６】
５組以上の対応点ペアを用意できる場合には、例えば最小二乗法のような手法を用いて解を求めるようにすれば良い。
【００３７】
なお、垂直平面画像生成部１０３は、上記した平面画像変換を行う前に、歪み補正処理を行っても良い。
【００３８】
歪補正処理では、レンズを通して撮像されることにより発生する放射歪曲等を画像変換処理により補正する。光軸中心を(cx,cy)、画素ピッチを(ax,ay)、レンズ歪み係数をk1及びk2とし、歪補正処理前の画像座標を(x,y)、歪補正処理後の画像座標を(x’,y’)としたとき、歪補正処理前の画像座標(x,y)と歪補正処理後の画像座標(x’,y’)とは、式（５）で表される関係を満たす。
【数５】
【００３９】
光軸中心、画素ピッチ、及びレンズ歪み係数等のパラメータは、キャリブレーション処理により、車両や交差点へのカメラ設置時点において算出されている。このキャリブレーション処理には、公知の方法が用いられても良い。例えば、次のようにキャリブレーション処理が行われる。先ず、マス目サイズが既知のチェッカーボードを用意し、キャリブレーション対象であるカメラを用いてそのチェッカーボードを複数回撮影する。そして、その撮影された画像においてチェッカーボードパターンの交点の位置を検出し、複数の画像における交点の位置について繰返し計算を行う。これにより、必要なパラメータが求められる。
【００４０】
このようなキャリブレーション処理を行った結果、パラメータ（光軸中心、画素ピッチ、レンズ歪み係数等）が分かれば、歪補正処理前の画像座標(x,y)と歪補正処理後の画像座標(x’,y’)との対応関係が分かる。従って、この対応関係に従って元画像を変換すれば、歪補正処理を施した画像を得ることができる。
【００４１】
式（５）に示すような対応関係を用いるため、歪補正処理後の画像座標(x’,y’)は整数にならない場合がある。そのような場合には、ニアレストネイバー補間により近傍の画素値で代用するか、又は、バイリニア補間のような画素補間処理により周囲の画素値から特定の計算を施して変換後の画素値を生成しても良い。
【００４２】
また、実際に歪補正処理を行う際には、パラメータ（光軸中心、画素ピッチ、レンズ歪み係数等）をそのまま保存しておいて、その都度パラメータを読み出して座標を計算しても良いし、歪補正処理前の画像座標と歪補正処理後の画像座標との対応テーブルを予め生成しておいて、必要時にその対応テーブルを読み出すような仕様にしても良い。
【００４３】
〈通信部１０４〉
通信部１０４は、路側装置２００から送信された平面画像（垂直平面画像及び水平平面画像を含む）を受信し、平面図生成部１０５へ出力する。
【００４４】
〈平面図生成部１０５〉
平面図生成部１０５は、垂直平面画像生成部１０３から受け取る垂直平面画像（つまり、車載カメラ画像による垂直平面画像）及び路側装置２００から送信された垂直平面画像（つまり、路側カメラ画像による垂直平面画像）に基づいて平面変換パラメータを調整し、調整後の平面変換パラメータを用いて車載カメラ画像の道路画像を平面変換することにより、車載カメラによる水平平面画像を生成する。そして、平面図生成部１０５は、車載カメラによる水平平面画像と、路側カメラによる水平平面画像とを合成することにより、合成平面図を生成する。
【００４５】
具体的には、平面図生成部１０５は、図６に示すように、位置／向き推定部１１１と、パラメータ調整部１１２と、水平平面画像生成部１１３と、合成部１１４とを有する。
【００４６】
位置／向き推定部１１１は、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて、車載カメラの搭載されている車両の位置及び姿勢を推定する。
【００４７】
パラメータ調整部１１２は、平面変換パラメータのデフォルト値を保持している。そして、パラメータ調整部１１２は、位置／向き推定部１１１によって推定された車両の位置及び姿勢に基づいて、平面変換パラメータを調整する。調整後の平面変換パラメータは、水平平面画像生成部１１３へ出力される。
【００４８】
水平平面画像生成部１１３は、画像分離部１０２から受け取る道路領域の画像を、調整後の平面変換パラメータを用いて平面変換することにより、水平平面画像を生成する。すなわち、図７に示すように、道路領域の画像が、道路面を鉛直上方から見たような水平平面画像に変換される。
【００４９】
合成部１１４は、水平平面画像生成部１１３から受け取る車載カメラ画像による水平平面画像と、路側カメラ画像による水平平面画像とを合成することにより、合成平面図を形成する。
【００５０】
〈情報出力部１０６〉
情報出力部１０６は、平面図生成部１０５で生成された合成平面図を表示手段に表示させる。
【００５１】
［路側装置２００の構成］
図１において、路側装置２００は、画像取得部２０１と、画像分離部２０２と、画像変換部２０３と、通信部２０４とを有する。
【００５２】
〈画像取得部２０１〉
画像取得部２０１は、路側カメラで撮影された路側カメラ画像を取得する。この路側カメラ画像は、画像分離部２０２へ出力される。図８は、路側カメラ及び車載カメラの配置例を示す図である。図８に示すように、路側カメラは、例えば、交差点の四隅にそれぞれ配置される。これにより、交差点の内部及び周囲を撮影できる。また、車載カメラは、上記したように車両の前後左右に配置される。
【００５３】
また、路側カメラも、車載カメラと同様に、道路領域と背景領域との割合が所定値となるように、設置される。
【００５４】
また、路側カメラの光学的設定も、車載カメラと同様に、設定される。
【００５５】
〈画像分離部２０２〉
画像分離部２０２は、画像取得部２０１から受け取る路側カメラ画像を、道路領域の画像と、背景領域の画像とに分離する。分離方法については、画像分離部１０２で説明した方法と同様である。
【００５６】
〈画像変換部２０３〉
画像変換部２０３は、背景領域の画像及び道路領域の画像を、変換パラメータに基づいて「垂直平面画像」及び「水平平面画像」へそれぞれ変換する。この変換方法は、垂直平面画像生成部１０３で説明した平面変換と同様である。路側カメラについては、車載カメラと異なり、姿勢の変化を考慮する必要性が少ない。従って、「垂直平面画像」への変換及び「水平平面画像」への変換のいずれにも、路側カメラの設置時に算出され、記憶部（図示せず）に保持されているパラメータをそのまま用いることができる。なお、この変換処理の前に、垂直平面画像生成部１０３と同様の歪補正処理が行われても良い。
【００５７】
〈通信部２０４〉
通信部２０４は、画像変換部２０３から受け取る垂直平面画像及び水平平面画像を車載装置１００へ送信する。また、通信部２０４は、車載装置１００において車載カメラ画像と路側カメラ画像との対応付けに必要なパラメータも、車載装置１００へ送信する。
【００５８】
［平面図生成システム１０の動作］
以上の構成を有する平面図生成システム１０の動作について説明する。図９は、車載装置１００の動作説明に供するフロー図である。図１０は、路側装置２００の動作説明に供するフロー図である。
【００５９】
ステップＳ１０１で車載装置１００の画像取得部１０１は、車載カメラ画像データを取得する。
【００６０】
ステップＳ１０２で画像分離部１０２は、画像取得部１０１から受け取る車載カメラ画像を、道路領域の画像と背景領域の画像とに分離する。
【００６１】
ステップＳ１０３で垂直平面画像生成部１０３は、背景領域の画像を、変換パラメータ（垂直平面変換パラメータ）に基づいて垂直平面画像へ変換する。
【００６２】
上記した車載装置１００のステップＳ１０１〜１０３の処理と並列して、路側装置２００では、図１０に示すステップＳ２０１〜２０４の処理が実行される。
【００６３】
ステップＳ２０１で路側装置２００の画像取得部２０１は、路側カメラで撮影された路側カメラ画像を取得する。
【００６４】
ステップＳ２０２で画像分離部２０２は、画像取得部２０１から受け取る路側カメラ画像を、道路領域の画像と、背景領域の画像とに分離する。
【００６５】
ステップＳ２０３で画像変換部２０３は、背景領域の画像及び道路領域の画像を、変換パラメータに基づいて垂直平面画像及び水平平面画像へそれぞれ変換する。図１１には、車載カメラ、路側カメラ及び垂直平面画像の位置関係、並びに、路側カメラ画像による垂直平面画像及び車載カメラ画像による垂直平面画像の一例が示されている。図１１Ａは、車載カメラ、路側カメラ及び垂直平面画像の位置関係を示す図であり、図１１Ｂは、路側カメラ画像による垂直平面画像の一例を示す図であり、図１１Ｃは、車載カメラ画像による垂直平面画像の一例を示す図である。
【００６６】
例えば、画像変換部２０３は、複数の垂直平面画像を部分的に合成して特定の垂直平面画像を生成する。具体的には、図１１では交差点の特定の進行方向に対して前後左右の４枚の垂直平面画像１〜４が生成されている。画像変換部２０３は、この垂直平面画像１を生成する際に、路側カメラＡ及び路側カメラＣという複数の路側カメラ画像を用いて１つの垂直平面画像を生成する。
【００６７】
ステップＳ２０４で通信部２０４は、規定のデータ（垂直平面画像及び水平平面画像を含む）を車載装置１００へ送信する。
【００６８】
図９に戻り、ステップＳ１０４で通信部１０４は、路側装置２００から送信された規定のデータを受信する。
【００６９】
ステップＳ１０５で平面図生成部１０５は、垂直平面画像生成部１０３から受け取る垂直平面画像（つまり、車載カメラによる垂直平面画像）及び路側装置２００から送信された垂直平面画像（つまり、路側カメラによる垂直平面画像）に基づいて自車両の位置及び向きを推定する。
【００７０】
具体的には、まず、交差点における自車両の位置及びヨー方向の向きを特定する。路側カメラ画像の背景画像から生成された交差点の前後左右の垂直平面画像と、車載カメラ画像の背景画像から生成された垂直平面画像との間のマッチング処理を行う。図１２Ａ，Ｂに示すように路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像がマッチングする位置を前後左右の垂直平面画像のそれぞれについて特定することにより、交差点内における自車両の２次元位置とヨー方向の向きとを特定することができる（図１２Ｃ参照）。
【００７１】
次に、自車両のピッチ方向及びロール方向の向きを特定する。路側カメラ画像の背景画像から生成された交差点の前後左右の垂直平面画像と、車載カメラ画像の背景画像から生成された垂直平面画像との間のマッチング処理を行う。図１３Ａ，Ｂに示すように、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像がマッチングする位置を前後左右の垂直平面画像のそれぞれについて特定することにより、交差点に対するピッチ方向及びロール方向の向きを特定することができる。
【００７２】
画像における横方向及び縦方向の変位量を、自車両の状態（位置／向き）に対応付ける方法としては、位置／向き推定部１１１に予め対応付けのテーブルを用意しておけば良い。例えば、縦方向の変位については、各車載カメラに関して、縦方向の変位量（例えば、単位は、ピクセル）と、ピッチ方向及びロール方向の回転角度とが対応付けられたテーブルを用意すれば良い。横方向の変位については、各車載カメラに関して、横方向の変位量（例えば、単位は、ピクセル）と、ヨー方向の回転角度と、交差点における位置とが対応付けられたテーブルを用意すれば良い。
【００７３】
ここで、各車載カメラにおける変位量と位置／向きとの関係について述べる。自車両の前方及び後方の車載カメラにおける縦方向の変位量が、自車両のピッチ方向の回転角度に対応する。また、自車両の左側方及び右側方の車載カメラにおける縦方向の変位量が、自車両のロール方向の回転角度に対応する。また、自車両の前方、後方、左側方、右側方のうちの任意の２つの車載カメラにおける横方向の変位量をもとに、交差点における自車の位置を求めることができ、さらにもう１つの車載カメラにおける横方向の変位量をもとに、自車のヨー方向の回転角度を求めることができる。
【００７４】
横方向のマッチングを行って２次元位置及びヨー方向の向きを特定する際には、垂直平面画像の縦方向のエッジ検出を行い、縦方向のエッジ同士を比較する方法を用いると良い。画像から縦方向のエッジを検出するためには、横方向の１次元微分フィルタ又は横方向のＳＯＢＥＬフィルタ等の公知のフィルタを用いると良い。縦方向のエッジの出現するパターンを比較するようなパターンマッチング処理を行うことで、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像が、横方向にどれくらい変位しているかを特定する。
【００７５】
同様に、縦方向のマッチングを行ってピッチ方向の向きを特定する際には、垂直平面画像の横方向のエッジ検出を行い、横方向のエッジ同士を比較する方法を用いると良い。画像から横方向のエッジを検出するためには、縦方向の１次元微分フィルタ又は縦方向のＳＯＢＥＬフィルタ等の公知のフィルタを用いると良い。縦方向の場合と同様に、横方向のエッジの出現するパターンを比較するパターンマッチング処理を行うことで、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像が縦方向にどれくらい変位しているかを特定する。
【００７６】
パターンマッチング方法としては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）といった公知の評価関数を用いてマッチング位置を特定すれば良い。また、サブピクセル精度でマッチング位置を特定する場合には、等角直線フィッティング又はパラボラフィッティングといった公知の探索手法を用いるようにして良い。勿論、マッチング位置の特定方法についてはこれに限定されるものではなく、他の方法を用いても良い。
【００７７】
なお、以上では、パターンマッチングを行う前にエッジ検出を行う方法について述べたが、本発明はこれに限定されるものではなく、エッジ検出をしないでパターンマッチングを行っても良い。例えば、元の画像のままでマッチング処理を行っても良く、また元の画像に対してコントラスト強調を行った上でマッチング処理を行うようにしても良い。元の画像に含まれるノイズが少ない場合、元の画像が持つ情報を出来るだけ残すようにして処理する方が、マッチングの精度が向上する可能性がある。
【００７８】
また、パターンマッチングを行う前に、元画像またはエッジ画像に対して２値化処理を行っても良く、またいわゆるオープニング処理及びクロージング処理を行っても良い。元の画像に含まれるノイズが多い場合であっても、２値化処理及びオープニング処理・クロージング処理を行うことによりノイズが除去されて、単純なパターン同士の比較を行うことができる可能性がある。
【００７９】
路側カメラ画像の垂直平面画像と車載カメラ画像の垂直平面画像とのマッチングを行う際に、各カメラ画像の中央領域を重視するようなマッチングを行っても良い。各カメラ画像における端領域は、歪補正や平行化処理による変形の影響が大きいため、有効なマッチング処理結果が得られない可能性がある。そのため画像変形によるマッチング精度への影響を軽減するためには、画像の中央領域のみに限定してマッチング処理を行うことが有効である。また、この場合、重み付けを利用するようにしても良く、画像の端領域におけるマッチング結果よりも、画像の中央領域におけるマッチング結果をより重視するような重み付けをして、計算結果を算出するようにしても良い。
【００８０】
また、位置／向き推定部１１１におけるエッジ検出結果をもとに、マッチング結果を制御するようにしても良い。カメラ画像に対して微分フィルタを使用し、微分結果に基づいて各画素値の決定を行うと、画素値の大きさがエッジの強さを表すようなエッジ画像を得ることができる。このとき、エッジの弱い部分については誤差の影響がより大きくなる可能性があるため、エッジの弱い部分よりもエッジの強い部分をより重視するような重み付けをして、計算結果を算出するようにしても良い。
【００８１】
ステップＳ１０６で平面図生成部１０５は、推定された自車両の位置及び向きに基づいて、平面変換パラメータを調整する。
【００８２】
ここで、平面変換パラメータのデフォルト値は、車両が姿勢変動のない水平な状態で、算出されている。そのため、水平面上に車両が停車している場合には、このデフォルト値をそのまま用いて平面変換処理が可能である。しかしながら、実環境で車両が走行している状態においては、車両の姿勢状態は常に変動している。このため、図１４に示すように、ロール方向及びピッチ方向の変動によって、車載カメラ画像から生成される平面図に変形が生じてしまう。従って、例えば平面に対して車両が傾いている状態の場合には、デフォルト値を用いても正しく平面変換が行われない。このような車両の姿勢変動に対応した平面変換を行うためには、車両の姿勢を加味して、平面変換パラメータを設定し直す必要がある。
【００８３】
また、ここで、カメラに対する撮像位置及びカメラの向き変動に伴う、撮像画像の変形について述べる。図１５に示すように、カメラの撮像面において光軸中心から離れた周辺部分に対象物が撮像された場合、対象物は変形した状態で撮像される。このときカメラの向きを変動させると、カメラの向きの変動に応じて対象物の変形状態が変化する。対象物の変形した状態を元の状態に戻すためには、カメラ画像の撮像領域毎に射影変換等の処理を施す必要がある。逆に、カメラの撮像面において光軸中心に近い中央部分に対象物が撮像された場合、光軸中心に近くなるほど撮像された対象物の変形は小さくなる。従って、光軸中心から近い位置でカメラの向きを変動させても、対象物は殆ど変形せず、対象物が単に平行移動を行ったように撮像位置が変動する。
【００８４】
このような性質から、車載カメラを車両に対して略垂直に且つ道路面に対して略水平に設置した場合、背景領域を変換して生成した垂直平面画像に対するカメラ向き変動の影響は小さく、道路領域を変換して生成した水平平面画像に対するカメラ向き変動の影響は大きくなる。
【００８５】
従って、背景領域の画像を平面変換することにより得られる垂直平面画像に基づいてカメラのロール方向及びピッチ方向の変動量を精度良く推定することができる。具体的には、ロール方向またはピッチ方向の変動前と変動後に撮影した２枚１組のカメラ画像に対して、光軸近傍における同一対象物の撮像位置の差分を計測することにより、ロール方向及びピッチ方向の変動量を推定することができる。
【００８６】
平面変換パラメータの再設定は、例えば、次のように行われる。まず、車載装置１００において、車両のロール状態及びピッチ状態の複数のパターンに対応する平面変換パラメータが予めテーブルに記憶される。そして、実際の道路走行時においては、現在の車両状態（つまり、ロール状態及びピッチ状態）が逐次推定され、その推定された車両状態情報に対応する平面変換パラメータが読み出され、読み出された平面変換パラメータを用いた平面変換が行われる。現在の車両状態にマッチする平面変換パラメータが記憶されている場合には、単純なテーブル参照処理が行われるだけで、平面図生成部１０５は、必要なパラメータを読み出すことができる。これに対して、現在の車両状態にマッチする平面変換パラメータがテーブルに無い場合には、線形補間を行うことにより、平面図生成部１０５は、マッチする平面変換パラメータを求めても良い。
【００８７】
なお、１つの画像に対する垂直平面画像及び水平平面画像は、対応付けて管理される。路側装置２００及び車載装置１００で撮影される画像は、その撮影されたカメラ、撮影された日時等の管理情報と共に、一意に定まるように管理される。例えば、撮影日時が２０１０年３月３０日１４時４５分１２秒９５であり、撮影されたカメラがナンバー０４であり、水平平面画像の場合を０、垂直平面画像の場合を１とすると、例えば２０１００３３０＿１４４５１２９５＿０４＿０といった通し番号を用いることで、画像を一意に管理することができる。勿論、垂直平面画像及び水平平面画像を一意に管理する方法はこれに限定されるものではなく、他の方法を用いても良い。
【００８８】
ステップＳ１０７で平面図生成部１０５は、ステップＳ１０６で垂直平面画像に基づいて調整された平面変換パラメータを用いて道路画像を平面変換することにより、水平平面画像を生成する。このように調整された平面変換パラメータに基づいて道路画像を平面変換することにより、精度の良い水平平面画像を生成することができる。なお、ここでは、調整後の平面変換パラメータを用いて道路画像を変換する方法を示しているが、次の方法によっても、精度の上がった水平平面画像を生成することができる。すなわち、推定された車両状態に近い車両状態に対応する２つの平面変換パラメータをテーブルから読み出し、それらパラメータを用いて画像を平面変換することにより、２つのパラメータに対応する平面変換後の画像を作成し、これらの画像の画素値を平均することにより、必要とする平面画像を得るようにすれば良い。
【００８９】
ステップＳ１０８で平面図生成部１０５は、ステップＳ１０７で得られた車載カメラ画像による水平平面画像と、路側カメラ画像による水平平面画像とを合成することにより、合成平面図を形成する。
【００９０】
すなわち、平面図生成部１０５は、路側カメラ画像の水平平面画像と、車載カメラ画像の水平平面画像とを合成することで、自車両を中心とした交差点平面図を生成する。交差点平面図を生成するまでの流れは、次のようになる。すなわち、まず、路側カメラ画像の水平平面画像同士の合成を行って路側カメラ画像の合成画像を生成し（図１６Ａ参照）、次に、車載カメラ画像の水平平面画像同士の合成を行って車載カメラ画像の合成画像を生成する（図１６Ｂ参照）。そして、路側カメラ画像の合成画像と車載カメラ画像の合成画像とを最後に合成することにより、最終的に必要な交差点平面図（上記した合成平面図）を生成する（図１７参照）。
【００９１】
より詳細には、まず、路側カメラ画像の水平平面画像同士の合成では、平面図生成部１０５は、路側装置２００から送信された、対応付けパラメータを使用する。対応付けパラメータを利用することにより、路側カメラ画像の水平平面画像同士の相対的な位置関係を特定できるので、平面図生成部１０５は、その相対的な位置関係に合わせて各画像の回転移動を行い、回転移動後の画像群を結合して１つの水平平面画像を生成する。対応付けパラメータには、例えば、各水平平面画像の重心位置の実座標及び画像の上方向の指す方角が記載されている。このようなパラメータが用いられる場合には、平面図生成部１０５は、各画像が同じ方角となるように適宜回転移動を行い、各画像の重心位置がひとつの座標系で相対的に合致するように適宜平行移動を行う。
【００９２】
次に、車載カメラ画像の水平平面画像同士の合成では、車載装置１００に車載カメラを設置した際に予め計算済みの対応付けパラメータが車載装置１００に保存されているため、平面図生成部１０５は、その対応付けパラメータを読み出して、水平平面画像同士の合成を行う。
【００９３】
その後、平面図生成部１０５は、路側カメラ画像による水平平面画像と、車載カメラ画像による水平平面画像とを結合して交差点平面図を生成する。すなわち、推定された車両のヨー方向の回転変動量と交差点における位置情報とに基づいて車載カメラ画像による水平平面画像を回転させることにより路側カメラ画像による水平平面画像と合わせて、交差点平面図を生成する。
【００９４】
なお、水平平面画像同士を合成する際に、互いの画像の領域が重複する場合には、公知の方法を用いて双方の画像情報を混合するようにしても良い。例えば、重複する領域における互いの画素の濃淡値を平均して、新しい輝度値とするようにしても良い。
【００９５】
ステップＳ１０９で情報出力部１０６は、平面図生成部１０５で生成された合成平面図を表示手段に表示させる。表示のさせ方としては、車両に備え付けられたモニタに平面図を表示しても良いし、ヘッドアップディスプレイのような方法でフロントガラスに平面図を投影しても良い。表示の際には、平面図の位置と向きも考慮して表示されるのが望ましい。例えば、平面図の向きは、自車両の進行方向、または自車両の走行道路の方向に向けて回転された後に表示されると良い。また、平面図における自車両の位置が表示位置の中央または中央よりやや下の位置に来るように、平面図を平行移動した状態で表示するのが良い。このようにすることで、運転者が交差点における自車両の位置を直感的に把握しやすくなる。
【００９６】
以上のように本実施の形態によれば、車載装置１００において、位置／向き推定部１１１が、車載カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第１の垂直平面画像と、路側カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第２の垂直平面画像とに基づいて、車載装置１００が搭載されている車両の位置及び向きを推定し、パラメータ調整部１１２が、推定された位置及び向きに基づいて、平面変換で用いられるパラメータを調整し、水平平面画像生成部１１３が、車載カメラ画像の内の道路領域画像を、パラメータ調整部１１２で調整されたパラメータを用いて平面変換することにより、水平平面画像を生成する。
【００９７】
こうすることで、ロール方向及びピッチ方向の変動量が正確に反映される垂直平面画像を用いて推定された車両の位置及び向きに基づいてパラメータを調整することができるので、より適切なパラメータを求めることができる。そして、このパラメータを用いて平面変換することにより、より精度の高い水平平面画像を生成することができる。そして、この水平平面画像を用いて平面図を生成することにより、高精度の平面図を生成することができる。
【００９８】
［実施の形態２］
図１８は、本発明の実施の形態２に係る平面図生成システム２０の構成を示すブロック図である。
【００９９】
図１８において、平面図生成システム２０は、車載装置３００と、路側装置４００とを有する。
【０１００】
車載装置３００は、センサ部３０１を有する。
【０１０１】
センサ部３０１は、物体と車載装置３００との離間距離を測定することにより、物体（車両の周辺に存在する移動体又は建造物等）の３次元構造を計測する。センサ部３０１は、例えば、ステレオカメラ又はミリ波レーダ等の距離測定が可能な手段から構成されている。
【０１０２】
車載装置３００の垂直平面画像生成部１０３は、センサ部３０１によって計測された物体の３次元構造データを用いて、平面変換パラメータを設定する。これにより、より適切な平面変換パラメータを設定することができる。この平面変換パラメータは、パラメータ調整部１１２において調整されるデフォルト値として用いられる。従って、パラメータ調整部１１２によって調整された後の平面変換パラメータも、より適切なものとなる。この結果、車載装置３００は、より高精度の平面図を生成することができる。
【０１０３】
路側装置４００は、センサ部４０１を有する。
【０１０４】
センサ部４０１は、物体と路側装置４００との離間距離を測定することにより、物体の３次元構造を計測する。センサ部４０１は、例えば、ステレオカメラ又はミリ波レーダ等の距離測定が可能な手段から構成されている。
【０１０５】
路側装置４００の画像変換部２０３は、センサ部４０１によって計測された物体の３次元構造データを用いて、平面変換パラメータを設定する。これにより、より適切な平面変換パラメータを設定することができる。
【０１０６】
以上のように本実施の形態によれば、垂直平面画像生成部１０３が、センサ部３０１によって計測された物体の３次元構造データを用いて平面変換パラメータを設定する。また、画像変換部２０３が、センサ部４０１によって計測された物体の３次元構造データを用いて、平面変換パラメータを設定する。
【０１０７】
こうすることで、より適切な平面変換パラメータを設定することができる。
【０１０８】
また、車載装置３００の垂直平面画像生成部１０３で設定された平面変換パラメータは、パラメータ調整部１１２において調整されるデフォルト値として用いられる。
【０１０９】
こうすることで、パラメータ調整部１１２によって調整された後の平面変換パラメータも、より適切なものとなる。この結果、車載装置３００は、より高精度の平面図を生成することができる。
【０１１０】
なお、常時、計測された物体の３次元構造データを用いて平面変換パラメータを設定し直すのではなく、次のような場合にのみ再設定するようにしても良い。すなわち、平面変換により生成される平面の法線とカメラの光軸との成す角が大きくなる場合に平面変換に伴う画像変形の影響がより大きくなるので、そのような場合にのみ再設定するようにしても良い。
【０１１１】
また、センサ部３０１の代わりに、自車周囲の障害物を検知するためのシステムで使用されるセンサが用いられても良いし、センサ部４０１の代わりに、交差点内の障害物を検知するためのシステムで使用されるセンサが用いられても良いし、また、併用されても良い。
【０１１２】
［実施の形態３］
図１９は、本発明の実施の形態３に係る平面図生成システム３０の構成を示すブロック図である。図１９において、平面図生成システム３０は、複数の車載装置５００と、路側装置６００とを有する。
【０１１３】
車載装置５００は、通信部５０１を有する。
【０１１４】
通信部５０１は、画像分離部１０２で得られた背景領域の画像及び道路領域の画像、並びに垂直平面画像生成部１０３で得られた垂直平面画像を路側装置６００へ送信する。
【０１１５】
路側装置６００は、通信部６０１と、平面図生成部６０２と、情報出力部６０３とを有する。
【０１１６】
通信部６０１は、路側装置６００の周辺に位置する複数の車載装置５００のそれぞれから、背景領域の画像及び道路領域の画像、並びに垂直平面画像を受信する。
【０１１７】
平面図生成部６０２は、複数の車載装置５００から送信された画像の内で有効な車載カメラ画像を選択する。平面図生成部６０２は、図２０に示すように、選択部６１１を有し、この選択部６１１によって、有効な車載カメラ画像が選択される。すなわち、選択部６１１は、複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択する。有効な画像を選別するための具体的な方法としては、各画像のフォーカス又はコントラストが適切であるかどうかを画像処理で確認するようにすれば良い。または、カメラの目の前を物体が塞ぐようないわゆるオクルージョンが発生していないかを画像処理で判別するようにすれば良い。
【０１１８】
そして、平面図生成部６０２は、選択した車載カメラ画像による垂直平面画像、及び路側カメラ画像による垂直平面画像に基づいて、平面変換パラメータを調整し、調整後の平面変換パラメータを用いて車載カメラ画像の道路画像を平面変換することにより、車載カメラによる水平平面画像を生成する。そして、平面図生成部６０２は、車載カメラによる水平平面画像と、路側カメラによる水平平面画像とを合成することにより、合成平面図を生成する。
【０１１９】
情報出力部６０３は、平面図生成部６０２で生成された合成平面図を表示手段に表示させる。情報出力部６０３は、システム利用者が交通管制等の目的において目視確認し易い状態で、合成平面図を表示させる。情報出力部６０３が、平面図を任意に拡大・縮小・平行移動・回転できるようにしても良い。
【０１２０】
以上のように本実施の形態によれば、選択部６１１が、複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択し、平面図生成部６０２が、選択された車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて、平面変換パラメータを調整する。
【０１２１】
こうすることで、或る車載装置５００の車載カメラ画像の品質が悪くても、他の車載装置５００の車載カメラ画像を用いて平面変換パラメータを調整することができるので、結果として、精度の良い平面図を生成することができる。
【０１２２】
なお、システム利用者がどのような状態で平面図を参照しているかを示す参照情報を情報出力部６０３から選択部６１１に通知し、選択部６１１がその参照情報をもとに画像選択処理を行うようにして良い。例えば、選択部６１１が、システム利用者が平面図を拡大・平行移動させて見ている位置の近傍に存在する車両のカメラ画像を優先的に選択するようにしても良い。
【０１２３】
また、平面図生成部６０２によって生成された平面図を、通信部６０１を介して各車載装置５００へ送信しても良い。これにより、車載装置５００の具備する情報出力部（図示せず）がその平面図を表示することより、より精度の高い平面図を表示することができる。
【０１２４】
［他の実施の形態］
（１）実施の形態１及び２では、平面図生成部１０５が車載装置１００（３００）に設けられているが、本発明はこれに限定されるものではない。例えば、平面図生成部１０５は、路側装置２００（４００）に設けられていても良い。この場合には、路側装置２００（４００）で生成された平面図は、車載装置１００（３００）へ送信され、情報出力部１０６によって表示される。又は、平面図生成部１０５は、車載装置及び路側装置とは別体の平面図生成装置に設けられても良い。この場合には、平面図生成装置は、備えている通信部を介して必要な情報を車載装置及び路側装置から受信し、生成した平面図を車載装置１００（３００）へ送信する。
【０１２５】
また、実施の形態３では、平面図生成部６０２が路側装置６００に設けられているが、本発明はこれに限定されるものではない。平面図生成部６０２は、車載装置及び路側装置とは別体の平面図生成装置に設けられても良い。この場合には、平面図生成装置に設けられる通信部を介して必要な情報を車載装置及び路側装置から受信する。
【０１２６】
（２）上記各実施の形態において生成された平面図を利用することにより、次のようなメリットがある。
【０１２７】
すなわち、平面図の利用者が交差点における自分の位置をより容易に把握できる。また、例えば、車両の運転者にとって気付きづらく距離感も掴み難いような、車両の側後方から接近する移動体についても、リアルタイムに生成される平面図を用いて確認することができる。この結果、車両の右左折時又は車線変更時における移動体確認をより確実に行うことができる。
【０１２８】
また、交通管制の分野において管制者が交差点の状況をより確実に把握できる。
【０１２９】
（３）上記各実施の形態において求めたロール変動量又はピッチ変動量などのパラメータは、自車の走行状態を推定して車両制御にフィードバックするような用途にも応用することができる。
【０１３０】
（４）上記各実施の形態における路側カメラの設置場所は、屋外の交差点だけでなく、例えば、屋内駐車場のような屋内であっても良い。こうすることで、生成される平面図を、移動体の位置を把握するためだけでなく、駐車をより簡単に行うための支援にも利用することができる。また、車載カメラの設置場所は、車両のみならず、移動ロボット等であっても良い。
【０１３１】
（５）上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
【０１３２】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１３３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０１３４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【０１３５】
本発明の平面図生成装置及び平面図生成方法は、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて車両の姿勢を推定し、推定した車両の姿勢に基づいて調整した平面変換パラメータに基づいて車載カメラ画像内の道路画像を平面変換して得られる水平平面画像を用いて平面図を作成することにより、高精度の平面図を生成することができるものとして有用である。
【符号の説明】
【０１３６】
１０，２０，３０ 平面図生成システム
１００，３００，５００ 車載装置
１０１，２０１ 画像取得部
１０２，２０２ 画像分離部
１０３ 垂直平面画像生成部
１０４，２０４，５０１，６０１ 通信部
１０５，６０２ 平面図生成部
１０６，６０３ 情報出力部
１１１ 位置／向き推定部
１１２ パラメータ調整部
１１３ 水平平面画像生成部
１１４ 合成部
２００，４００，６００ 路側装置
２０３ 画像変換部
３０１，４０１ センサ部
６１１ 選択部
【技術分野】
【０００１】
本発明は、平面図生成装置及び平面図生成方法に関する。
【背景技術】
【０００２】
車両運転者にとって、交差点において相手（歩行者又は他の車両等）の位置を把握するための運転者補助技術は有用である。このような相手の位置の把握を補助する手段のひとつとして、「平面図」がある。
【０００３】
平面図とは、対象地点を上空から見た地図のような画像のことである。いわゆる鳥瞰図(俯瞰図)も上空から見た地図のような画像であるが、鳥瞰図が上空のある１点を視点とする画像（透視投影画像）であるのに対して、本明細書で言う平面図とは、上空の複数視点から鉛直方向に見下ろした画像（つまり、平行投影画像）である。このような平面図を交差点に関してリアルタイムに生成し運転者に提示することにより、運転者は、交差点における自車両と、他の車両又は歩行者との位置関係を正確に把握することができる。
【０００４】
交差点中央の高度上空から高精細なカメラで鉛直下向きに撮影することができれば、撮影した画像の中央部分が、リアルな平面図となる。しかしながら、通常はそのような撮影を行うことは困難である。従って、実際には、信号機程度の高さに設置した複数のカメラを用いて道路を撮影し、画像の変換処理及び合成処理を行うことにより平面図を生成することが必要となる。
【０００５】
複数のカメラにより得られた画像（つまり、カメラ画像）を変換処理及び合成処理することにより得られた画像は、擬似的な平面図（以下では、単に、平面図と呼ぶ）である。このため、カメラ画像において移動体の物陰となる部分は、平面図においても死角のままとなる。例えば、路側に設置されたカメラ（つまり、路側カメラ）により得られた画像を用いることにより広範囲に渡る平面図を作成することができる。しかしながら、路側カメラから死角になる領域が、各車両の周辺に生じてしまう。そこで、車両に搭載されたカメラ（つまり、車載カメラ）により得られた画像を用いて、平面図を生成することが考えられる。こうすることで、車両周辺にも死角が生じていない平面図を生成することができる。
【０００６】
実際上、複数のカメラ画像から平面図を生成する場合、複数のカメラについての校正（つまり、キャリブレーション）を行うことにより、変換処理及び合成処理に用いられるパラメータを予め設定しておく必要がある。路側カメラの画像だけ又は車載カメラの画像だけを用いて平面図を生成する場合には、通常、カメラ設置時にキャリブレーションが行われているので、その際に得られたパラメータを用いて単純な射影変換処理を行うだけで平面図を生成することができる。しかしながら、路側カメラの画像と車載カメラの画像との両方を用いて平面図を生成する場合には、事情が異なる。すなわち、路側カメラと車載カメラとの間では予めキャリブレーションを行っておくことができない。従って、何らかの方法を用いて、路側カメラの画像と車載カメラの画像との対応付けを行う必要がある。
【０００７】
例えば、特許文献１に開示される平面図の生成方法では、路側カメラの画像と車載カメラの画像との両方に映し出された道路上の特徴画像（特許文献１では、特に、駐車区画線の画像）が重なるように、路側カメラの画像及び車載カメラの画像に対して回転及び拡大縮小等の処理を行うことにより、平面画像が生成される。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１７３１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記した従来の平面図生成方法では、そもそも道路上にパターン（駐車区画線又は車線区分線など）が無い場合には、平面図を生成することができない。
【００１０】
また、道路上にパターンが存在する場合であっても、車両の姿勢にロール・ピッチ方向の変動が発生した場合には、路側カメラの画像と車載カメラの画像との対応付けが困難である。すなわち、車両の姿勢のヨー方向の変動が生じると、車載カメラの平面図は、路側カメラの平面図に対して同一平面上で回転移動する。そのため、上記した従来の平面図生成方法のように、道路上のパターンを用いてマッチング処理を行うことで、路側カメラの画像と車載カメラの画像とを対応付けることができる。しかしながら、車両のロール方向及びピッチ方向の変動の場合、車載カメラの平面図が路側カメラの平面図に対して交差する方向に変動するので、路側カメラの画像と車載カメラの画像とを合成した後の平面図が変形してしまう。このため、車両の姿勢にロール・ピッチ方向の変動が発生した場合には、路側カメラの画像と車載カメラの画像との対応付けが困難となる。
【００１１】
また、センサを用いて車両の姿勢のロール・ピッチ方向の変動を検出し、検出値に基づいて、車載カメラの画像からロール・ピッチ方向の姿勢変動の影響を取り除いた後に、路側カメラの画像と合成することもできる。しかしながら、実際の交通環境では、ロール・ピッチ方向の車両姿勢の変化は急であり、回転の加速度が大きい。このため、センサとカメラとの間に同期ズレが生じ、この結果、路側カメラの画像と車載カメラの画像とから生成される平面図の精度が低下してしまう問題がある。
【００１２】
本発明は、かかる点に鑑みてなされたものであり、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、高精度の平面図を生成することができる平面図生成装置及び平面図生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の一態様の平面図生成装置は、車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成装置であって、前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定する推定手段と、前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整する調整手段と、前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する生成手段と、を具備する。
【００１４】
本発明の一態様の平面図生成方法は、車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成方法であって、前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定し、前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整し、前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する。
【発明の効果】
【００１５】
本発明によれば、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて車両の姿勢を推定し、推定した車両の姿勢に基づいて調整した平面変換パラメータに基づいて車載カメラ画像内の道路画像を平面変換して得られる水平平面画像を用いて平面図を作成することにより、高精度の平面図を生成することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態１に係る平面図生成システムの構成を示すブロック図
【図２】車載カメラ画像の一例を示す図
【図３】車載カメラの設置状況の異なる複数の車載カメラ画像の一例を示す図
【図４】固定的に設定される道路領域及び背景領域の一例を示す図
【図５】垂直平面画像への変換の説明に供する図
【図６】平面図生成部の構成を示すブロック図
【図７】水平平面画像への変換の説明に供する図
【図８】路側カメラ及び車載カメラの配置例を示す図
【図９】車載装置の動作説明に供するフロー図
【図１０】路側装置の動作説明に供するフロー図
【図１１】車載カメラ、路側カメラ及び垂直平面画像の位置関係、並びに、路側カメラ画像による垂直平面画像及び車載カメラ画像による垂直平面画像の一例を示す図
【図１２】自車両の位置及び向きの推定処理の説明に供する図
【図１３】自車両の位置及び向きの推定処理の説明に供する図
【図１４】ロール方向及びピッチ方向の変動と、車載カメラ画像から生成される平面図における変形との関係を示す図
【図１５】カメラに対する撮像位置及びカメラの向き変動に伴う、撮像画像の変形の説明に供する図
【図１６】平面図生成処理の説明に供する図
【図１７】平面図生成処理の説明に供する図
【図１８】本発明の実施の形態２に係る平面図生成システムの構成を示すブロック図
【図１９】本発明の実施の形態３に係る平面図生成システムの構成を示すブロック図
【図２０】平面図生成部の構成を示すブロック図
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。
【００１８】
［実施の形態１］
［平面図生成システム１０の概要］
図１は、本発明の実施の形態１に係る平面図生成システム１０の構成を示すブロック図である。図１において、平面図生成システム１０は、車載装置１００と、路側装置２００とを有する。車載装置１００は、車両に搭載される一方、路側装置２００は、例えば交差点等の路側に設置される。車載装置１００は、車載カメラで撮影された画像（つまり、車載カメラ画像）と、路側装置２００のカメラで撮影された画像（つまり、路側カメラ画像）とに基づいて合成平面図を生成し、その合成平面図を表示手段に表示させる。
【００１９】
［車載装置１００の構成］
図１において、車載装置１００は、画像取得部１０１と、画像分離部１０２と、垂直平面画像生成部１０３と、通信部１０４と、平面図生成部１０５と、情報出力部１０６とを有する。
【００２０】
〈画像取得部１０１〉
画像取得部１０１は、１つ又は複数の車載カメラで撮影された車載カメラ画像を取得する。この車載カメラ画像は、画像分離部１０２へ出力される。車載カメラは、例えば、車両の前後左右に搭載される。これにより、車両周囲の画像が得られる。また、車載カメラは、その撮影画像に道路領域及び道路領域以外の背景領域の両方が含まれるように、設置される。車載カメラは、道路領域と背景領域との割合が所定値となるように、設置される。
【００２１】
図２は、車載カメラ画像の一例を示す。図２に示すように、車載カメラ画像１１は、道路領域１２と、道路領域１２の上方に現れる背景領域１３とに分離される。
【００２２】
図３は、車載カメラの設置状況の異なる複数の車載カメラ画像の一例を示す。図３の上段には、光軸を水平方向よりも下側に向けて車載カメラを設置した場合の車載カメラ画像が示され、中段には、光軸を水平方向に合わせて車載カメラを設置した場合の車載カメラ画像が示され、下段には、光軸を水平方向よりも上側に向けて車載カメラを設置した場合の車載カメラ画像が示されている。このように、車載カメラの光軸の向く方向（特に、仰角方向）によって車載カメラ画像に含まれる道路領域と背景領域との割合が変わるので、所定の割合となるように車載カメラの設置位置及び方向を調整する必要がある。
【００２３】
また、車載カメラの光学的設定は、次のように設定される。車載カメラのフォーカスは、道路面に対してだけではなく、背景領域となり得る部分に対しても、できるだけ合致するように設定されることが望ましい。そのため、車載カメラのフォーカスは、例えば、被写界深度が深くなるように設定されていることが望ましい。また、後段の処理において、背景領域における特徴物の撮像状態をもとに、自車両の動きを推定する処理を行うので、車載カメラは、十分なコントラストが確保されるように設定されることが望ましい。
【００２４】
〈画像分離部１０２〉
画像分離部１０２は、画像取得部１０１から受け取る車載カメラ画像を、道路領域の画像と、道路領域を除く背景領域の画像とに分離する。背景領域の画像は垂直平面画像生成部１０３へ出力される一方、道路領域の画像は平面図生成部１０５へ出力される。
【００２５】
第１の領域分離方法としては、例えば、車載カメラ画像内で道路領域及び背景領域が所定の領域に固定的に現れると見なして、道路領域と背景領域とを分離しても良い。この方法は、車載カメラのロール方向及びピッチ方向の変動量がカメラ画像の横方向及び縦方向のサイズに対して比較的小さいと想定される場合に有用である。
【００２６】
図４は、固定的に設定される道路領域及び背景領域の一例を示す図である。図４に示すように、車載カメラのピッチ方向又はロール方向の変動量の最大値が予め分かっている場合には、道路領域と背景領域との境界が変動しうる範囲を除く領域が、常に、道路領域又は背景領域となる。
【００２７】
第２の領域分離方法としては、エッジ検出及び線分検出を応用することで道路領域と背景領域との境界線を検出し、この境界線に基づいて道路領域と背景領域とを分離しても良い。
【００２８】
具体的には、まず、微分フィルタを用いてカメラ画像からエッジを検出する。道路領域と背景領域との境界線は斜め方向のエッジとなり、画像の左半分は左方向のエッジ、画像の右半分は右方向のエッジとなることが想定される。このため、斜め方向のエッジを容易に検出できるフィルタを用いれば良い。例えば、車載カメラ画像の左半分及び右半分に対して、式（１）で表されるフィルタ及び式（２）で表されるフィルタをそれぞれ適用すれば良い。
【数１】
【数２】
【００２９】
そして、検出されたエッジの画素をもとに、境界を表す線分を検出する。すなわち、エッジを構成している複数の点座標に基づいて、画像の左半分および右半分において、境界を表す線分をそれぞれ検出する。具体的には、線分の検出には、いわゆる最小二乗法又はハフ変換を用いることができる。ここで、境界を表す線分の傾きを、所定の範囲に制限しても良い。これにより、検出演算量を削減できるので、検出までに掛かる時間を削減することができる。
【００３０】
第３の領域分離方法としては、例えば、道路領域と背景領域との輝度の違いを利用しても良い。道路領域は、背景領域と比較して、画素の輝度が低くなる可能性が高い。このため、カメラ画像に含まれる輝度の分布を解析することにより、道路領域と背景領域とを分離することができる。具体的には、カメラ画像の輝度ヒストグラムに基づいて、道路領域の候補となる画像領域と背景領域の候補となる画像領域とに分離する。すなわち、低輝度に偏っている部分を道路領域候補とし、より高輝度の部分を背景領域候補とする。そして、それぞれの領域候補に対して領域の抜けを埋める処理を施すことで、最終的な道路領域及び背景領域を得ることができる。画像領域の抜けを埋める処理としては、例えば、２値画像のノイズ除去に用いられるような、いわゆるオープニング処理又はクロージング処理を用いることができる。
【００３１】
第４の領域分離方法としては、縦方向のエッジを検出し、縦方向のエッジの存在割合が比較的多い領域を背景領域と見なすことにより、道路領域と背景領域とを分離しても良い。背景領域には、建造物が存在する場合が多い。建造物の画像では横方向のエッジが少なく、縦方向のエッジが多い。このため、縦方向のエッジの存在割合を基準とする単純な方法によっても、背景領域をある程度の精度で特定することができる。
【００３２】
第５の領域分離方法としては、画像から特定物体を認識し、この認識結果に基づいて道路領域と背景領域とを分離しても良い。例えば、背景領域を構成する物体として、道路標識を挙げることができる。従って、道路標識を認識することにより、背景領域も認識することができる。すなわち、道路標識の画像領域の周囲は背景領域と見なすことができるので、道路標識の画像を検出することにより背景領域を特定することができる。道路標識を検出する具体例な処理は、例えば、次のように行われる。すなわち、ハフ変換等を用いて、道路標識に特徴的な図形（円形又は三角形など）の検出を行い、検出した図形の内部に対して、特定の文字又は模様に関するパターンマッチング等の処理を行えば良い。
【００３３】
〈垂直平面画像生成部１０３〉
垂直平面画像生成部１０３は、背景領域の画像を、変換パラメータ（垂直平面変換パラメータ）に基づいて「垂直平面画像」へ変換する。すなわち、図５に示すように、背景領域の画像が、車両進行方向に対して垂直な方向から背景を見たような垂直平面画像に変換される。
【００３４】
カメラ画像を平面画像へ変換するための計算方法を示す。平面画像への変換処理は、同次座標を用いた射影変換処理として捉えることができる。平面変換前の座標をmT=(x, y)T、その同次座標をmT=(x,y,1)T、平面変換後の座標をm’T=(x’,y’)T、その同次座標をm’T=(x’,y’,1)T、平面変換のための射影行列をA=(a11, a12, a13; a21, a22, a23; a31, a32, 1)とすると、平面変換のための射影変換は、式（３）のように表される。
【数３】
【００３５】
平面変換パラメータは、後述する歪補正処理にて行われるパターン処理と同様に、既知のパターンを用いて求めることができる。例えば、地上平面上に形状が既知のパターンを用意し、そのパターンを車載カメラで撮像する。また、車載カメラ画像において、既知パターンの画像の位置を検出する。この既知パターンは複数の位置に設置され、その都度、画像の位置も検出される。そして、既知パターン画像の検出位置のそれぞれに対して、平面変換後に移動すべき座標位置を指定することにより、平面変換前と平面変換後の対応点ペアを複数用意する。上記式（３）で示したように射影変換のパラメータはa11〜a32の８個有るので、１組の対応点ペア（x1,y1）（x’1,y’1）から２つの方程式を立てることができる。従って、少なくとも４組の対応点ペア（x1,y1）（x’1,y’1），〜，（x4,y4）（x’4,y’4）を用意すれば、式（４）に示す連立方程式の解として、平面変換のための射影行列A=(a11, a12, a13; a21, a22, a23; a31, a32, 1)を得ることができる。
【数４】
【００３６】
５組以上の対応点ペアを用意できる場合には、例えば最小二乗法のような手法を用いて解を求めるようにすれば良い。
【００３７】
なお、垂直平面画像生成部１０３は、上記した平面画像変換を行う前に、歪み補正処理を行っても良い。
【００３８】
歪補正処理では、レンズを通して撮像されることにより発生する放射歪曲等を画像変換処理により補正する。光軸中心を(cx,cy)、画素ピッチを(ax,ay)、レンズ歪み係数をk1及びk2とし、歪補正処理前の画像座標を(x,y)、歪補正処理後の画像座標を(x’,y’)としたとき、歪補正処理前の画像座標(x,y)と歪補正処理後の画像座標(x’,y’)とは、式（５）で表される関係を満たす。
【数５】
【００３９】
光軸中心、画素ピッチ、及びレンズ歪み係数等のパラメータは、キャリブレーション処理により、車両や交差点へのカメラ設置時点において算出されている。このキャリブレーション処理には、公知の方法が用いられても良い。例えば、次のようにキャリブレーション処理が行われる。先ず、マス目サイズが既知のチェッカーボードを用意し、キャリブレーション対象であるカメラを用いてそのチェッカーボードを複数回撮影する。そして、その撮影された画像においてチェッカーボードパターンの交点の位置を検出し、複数の画像における交点の位置について繰返し計算を行う。これにより、必要なパラメータが求められる。
【００４０】
このようなキャリブレーション処理を行った結果、パラメータ（光軸中心、画素ピッチ、レンズ歪み係数等）が分かれば、歪補正処理前の画像座標(x,y)と歪補正処理後の画像座標(x’,y’)との対応関係が分かる。従って、この対応関係に従って元画像を変換すれば、歪補正処理を施した画像を得ることができる。
【００４１】
式（５）に示すような対応関係を用いるため、歪補正処理後の画像座標(x’,y’)は整数にならない場合がある。そのような場合には、ニアレストネイバー補間により近傍の画素値で代用するか、又は、バイリニア補間のような画素補間処理により周囲の画素値から特定の計算を施して変換後の画素値を生成しても良い。
【００４２】
また、実際に歪補正処理を行う際には、パラメータ（光軸中心、画素ピッチ、レンズ歪み係数等）をそのまま保存しておいて、その都度パラメータを読み出して座標を計算しても良いし、歪補正処理前の画像座標と歪補正処理後の画像座標との対応テーブルを予め生成しておいて、必要時にその対応テーブルを読み出すような仕様にしても良い。
【００４３】
〈通信部１０４〉
通信部１０４は、路側装置２００から送信された平面画像（垂直平面画像及び水平平面画像を含む）を受信し、平面図生成部１０５へ出力する。
【００４４】
〈平面図生成部１０５〉
平面図生成部１０５は、垂直平面画像生成部１０３から受け取る垂直平面画像（つまり、車載カメラ画像による垂直平面画像）及び路側装置２００から送信された垂直平面画像（つまり、路側カメラ画像による垂直平面画像）に基づいて平面変換パラメータを調整し、調整後の平面変換パラメータを用いて車載カメラ画像の道路画像を平面変換することにより、車載カメラによる水平平面画像を生成する。そして、平面図生成部１０５は、車載カメラによる水平平面画像と、路側カメラによる水平平面画像とを合成することにより、合成平面図を生成する。
【００４５】
具体的には、平面図生成部１０５は、図６に示すように、位置／向き推定部１１１と、パラメータ調整部１１２と、水平平面画像生成部１１３と、合成部１１４とを有する。
【００４６】
位置／向き推定部１１１は、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて、車載カメラの搭載されている車両の位置及び姿勢を推定する。
【００４７】
パラメータ調整部１１２は、平面変換パラメータのデフォルト値を保持している。そして、パラメータ調整部１１２は、位置／向き推定部１１１によって推定された車両の位置及び姿勢に基づいて、平面変換パラメータを調整する。調整後の平面変換パラメータは、水平平面画像生成部１１３へ出力される。
【００４８】
水平平面画像生成部１１３は、画像分離部１０２から受け取る道路領域の画像を、調整後の平面変換パラメータを用いて平面変換することにより、水平平面画像を生成する。すなわち、図７に示すように、道路領域の画像が、道路面を鉛直上方から見たような水平平面画像に変換される。
【００４９】
合成部１１４は、水平平面画像生成部１１３から受け取る車載カメラ画像による水平平面画像と、路側カメラ画像による水平平面画像とを合成することにより、合成平面図を形成する。
【００５０】
〈情報出力部１０６〉
情報出力部１０６は、平面図生成部１０５で生成された合成平面図を表示手段に表示させる。
【００５１】
［路側装置２００の構成］
図１において、路側装置２００は、画像取得部２０１と、画像分離部２０２と、画像変換部２０３と、通信部２０４とを有する。
【００５２】
〈画像取得部２０１〉
画像取得部２０１は、路側カメラで撮影された路側カメラ画像を取得する。この路側カメラ画像は、画像分離部２０２へ出力される。図８は、路側カメラ及び車載カメラの配置例を示す図である。図８に示すように、路側カメラは、例えば、交差点の四隅にそれぞれ配置される。これにより、交差点の内部及び周囲を撮影できる。また、車載カメラは、上記したように車両の前後左右に配置される。
【００５３】
また、路側カメラも、車載カメラと同様に、道路領域と背景領域との割合が所定値となるように、設置される。
【００５４】
また、路側カメラの光学的設定も、車載カメラと同様に、設定される。
【００５５】
〈画像分離部２０２〉
画像分離部２０２は、画像取得部２０１から受け取る路側カメラ画像を、道路領域の画像と、背景領域の画像とに分離する。分離方法については、画像分離部１０２で説明した方法と同様である。
【００５６】
〈画像変換部２０３〉
画像変換部２０３は、背景領域の画像及び道路領域の画像を、変換パラメータに基づいて「垂直平面画像」及び「水平平面画像」へそれぞれ変換する。この変換方法は、垂直平面画像生成部１０３で説明した平面変換と同様である。路側カメラについては、車載カメラと異なり、姿勢の変化を考慮する必要性が少ない。従って、「垂直平面画像」への変換及び「水平平面画像」への変換のいずれにも、路側カメラの設置時に算出され、記憶部（図示せず）に保持されているパラメータをそのまま用いることができる。なお、この変換処理の前に、垂直平面画像生成部１０３と同様の歪補正処理が行われても良い。
【００５７】
〈通信部２０４〉
通信部２０４は、画像変換部２０３から受け取る垂直平面画像及び水平平面画像を車載装置１００へ送信する。また、通信部２０４は、車載装置１００において車載カメラ画像と路側カメラ画像との対応付けに必要なパラメータも、車載装置１００へ送信する。
【００５８】
［平面図生成システム１０の動作］
以上の構成を有する平面図生成システム１０の動作について説明する。図９は、車載装置１００の動作説明に供するフロー図である。図１０は、路側装置２００の動作説明に供するフロー図である。
【００５９】
ステップＳ１０１で車載装置１００の画像取得部１０１は、車載カメラ画像データを取得する。
【００６０】
ステップＳ１０２で画像分離部１０２は、画像取得部１０１から受け取る車載カメラ画像を、道路領域の画像と背景領域の画像とに分離する。
【００６１】
ステップＳ１０３で垂直平面画像生成部１０３は、背景領域の画像を、変換パラメータ（垂直平面変換パラメータ）に基づいて垂直平面画像へ変換する。
【００６２】
上記した車載装置１００のステップＳ１０１〜１０３の処理と並列して、路側装置２００では、図１０に示すステップＳ２０１〜２０４の処理が実行される。
【００６３】
ステップＳ２０１で路側装置２００の画像取得部２０１は、路側カメラで撮影された路側カメラ画像を取得する。
【００６４】
ステップＳ２０２で画像分離部２０２は、画像取得部２０１から受け取る路側カメラ画像を、道路領域の画像と、背景領域の画像とに分離する。
【００６５】
ステップＳ２０３で画像変換部２０３は、背景領域の画像及び道路領域の画像を、変換パラメータに基づいて垂直平面画像及び水平平面画像へそれぞれ変換する。図１１には、車載カメラ、路側カメラ及び垂直平面画像の位置関係、並びに、路側カメラ画像による垂直平面画像及び車載カメラ画像による垂直平面画像の一例が示されている。図１１Ａは、車載カメラ、路側カメラ及び垂直平面画像の位置関係を示す図であり、図１１Ｂは、路側カメラ画像による垂直平面画像の一例を示す図であり、図１１Ｃは、車載カメラ画像による垂直平面画像の一例を示す図である。
【００６６】
例えば、画像変換部２０３は、複数の垂直平面画像を部分的に合成して特定の垂直平面画像を生成する。具体的には、図１１では交差点の特定の進行方向に対して前後左右の４枚の垂直平面画像１〜４が生成されている。画像変換部２０３は、この垂直平面画像１を生成する際に、路側カメラＡ及び路側カメラＣという複数の路側カメラ画像を用いて１つの垂直平面画像を生成する。
【００６７】
ステップＳ２０４で通信部２０４は、規定のデータ（垂直平面画像及び水平平面画像を含む）を車載装置１００へ送信する。
【００６８】
図９に戻り、ステップＳ１０４で通信部１０４は、路側装置２００から送信された規定のデータを受信する。
【００６９】
ステップＳ１０５で平面図生成部１０５は、垂直平面画像生成部１０３から受け取る垂直平面画像（つまり、車載カメラによる垂直平面画像）及び路側装置２００から送信された垂直平面画像（つまり、路側カメラによる垂直平面画像）に基づいて自車両の位置及び向きを推定する。
【００７０】
具体的には、まず、交差点における自車両の位置及びヨー方向の向きを特定する。路側カメラ画像の背景画像から生成された交差点の前後左右の垂直平面画像と、車載カメラ画像の背景画像から生成された垂直平面画像との間のマッチング処理を行う。図１２Ａ，Ｂに示すように路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像がマッチングする位置を前後左右の垂直平面画像のそれぞれについて特定することにより、交差点内における自車両の２次元位置とヨー方向の向きとを特定することができる（図１２Ｃ参照）。
【００７１】
次に、自車両のピッチ方向及びロール方向の向きを特定する。路側カメラ画像の背景画像から生成された交差点の前後左右の垂直平面画像と、車載カメラ画像の背景画像から生成された垂直平面画像との間のマッチング処理を行う。図１３Ａ，Ｂに示すように、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像がマッチングする位置を前後左右の垂直平面画像のそれぞれについて特定することにより、交差点に対するピッチ方向及びロール方向の向きを特定することができる。
【００７２】
画像における横方向及び縦方向の変位量を、自車両の状態（位置／向き）に対応付ける方法としては、位置／向き推定部１１１に予め対応付けのテーブルを用意しておけば良い。例えば、縦方向の変位については、各車載カメラに関して、縦方向の変位量（例えば、単位は、ピクセル）と、ピッチ方向及びロール方向の回転角度とが対応付けられたテーブルを用意すれば良い。横方向の変位については、各車載カメラに関して、横方向の変位量（例えば、単位は、ピクセル）と、ヨー方向の回転角度と、交差点における位置とが対応付けられたテーブルを用意すれば良い。
【００７３】
ここで、各車載カメラにおける変位量と位置／向きとの関係について述べる。自車両の前方及び後方の車載カメラにおける縦方向の変位量が、自車両のピッチ方向の回転角度に対応する。また、自車両の左側方及び右側方の車載カメラにおける縦方向の変位量が、自車両のロール方向の回転角度に対応する。また、自車両の前方、後方、左側方、右側方のうちの任意の２つの車載カメラにおける横方向の変位量をもとに、交差点における自車の位置を求めることができ、さらにもう１つの車載カメラにおける横方向の変位量をもとに、自車のヨー方向の回転角度を求めることができる。
【００７４】
横方向のマッチングを行って２次元位置及びヨー方向の向きを特定する際には、垂直平面画像の縦方向のエッジ検出を行い、縦方向のエッジ同士を比較する方法を用いると良い。画像から縦方向のエッジを検出するためには、横方向の１次元微分フィルタ又は横方向のＳＯＢＥＬフィルタ等の公知のフィルタを用いると良い。縦方向のエッジの出現するパターンを比較するようなパターンマッチング処理を行うことで、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像が、横方向にどれくらい変位しているかを特定する。
【００７５】
同様に、縦方向のマッチングを行ってピッチ方向の向きを特定する際には、垂直平面画像の横方向のエッジ検出を行い、横方向のエッジ同士を比較する方法を用いると良い。画像から横方向のエッジを検出するためには、縦方向の１次元微分フィルタ又は縦方向のＳＯＢＥＬフィルタ等の公知のフィルタを用いると良い。縦方向の場合と同様に、横方向のエッジの出現するパターンを比較するパターンマッチング処理を行うことで、路側カメラ画像の垂直平面画像に対して車載カメラ画像の垂直平面画像が縦方向にどれくらい変位しているかを特定する。
【００７６】
パターンマッチング方法としては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）といった公知の評価関数を用いてマッチング位置を特定すれば良い。また、サブピクセル精度でマッチング位置を特定する場合には、等角直線フィッティング又はパラボラフィッティングといった公知の探索手法を用いるようにして良い。勿論、マッチング位置の特定方法についてはこれに限定されるものではなく、他の方法を用いても良い。
【００７７】
なお、以上では、パターンマッチングを行う前にエッジ検出を行う方法について述べたが、本発明はこれに限定されるものではなく、エッジ検出をしないでパターンマッチングを行っても良い。例えば、元の画像のままでマッチング処理を行っても良く、また元の画像に対してコントラスト強調を行った上でマッチング処理を行うようにしても良い。元の画像に含まれるノイズが少ない場合、元の画像が持つ情報を出来るだけ残すようにして処理する方が、マッチングの精度が向上する可能性がある。
【００７８】
また、パターンマッチングを行う前に、元画像またはエッジ画像に対して２値化処理を行っても良く、またいわゆるオープニング処理及びクロージング処理を行っても良い。元の画像に含まれるノイズが多い場合であっても、２値化処理及びオープニング処理・クロージング処理を行うことによりノイズが除去されて、単純なパターン同士の比較を行うことができる可能性がある。
【００７９】
路側カメラ画像の垂直平面画像と車載カメラ画像の垂直平面画像とのマッチングを行う際に、各カメラ画像の中央領域を重視するようなマッチングを行っても良い。各カメラ画像における端領域は、歪補正や平行化処理による変形の影響が大きいため、有効なマッチング処理結果が得られない可能性がある。そのため画像変形によるマッチング精度への影響を軽減するためには、画像の中央領域のみに限定してマッチング処理を行うことが有効である。また、この場合、重み付けを利用するようにしても良く、画像の端領域におけるマッチング結果よりも、画像の中央領域におけるマッチング結果をより重視するような重み付けをして、計算結果を算出するようにしても良い。
【００８０】
また、位置／向き推定部１１１におけるエッジ検出結果をもとに、マッチング結果を制御するようにしても良い。カメラ画像に対して微分フィルタを使用し、微分結果に基づいて各画素値の決定を行うと、画素値の大きさがエッジの強さを表すようなエッジ画像を得ることができる。このとき、エッジの弱い部分については誤差の影響がより大きくなる可能性があるため、エッジの弱い部分よりもエッジの強い部分をより重視するような重み付けをして、計算結果を算出するようにしても良い。
【００８１】
ステップＳ１０６で平面図生成部１０５は、推定された自車両の位置及び向きに基づいて、平面変換パラメータを調整する。
【００８２】
ここで、平面変換パラメータのデフォルト値は、車両が姿勢変動のない水平な状態で、算出されている。そのため、水平面上に車両が停車している場合には、このデフォルト値をそのまま用いて平面変換処理が可能である。しかしながら、実環境で車両が走行している状態においては、車両の姿勢状態は常に変動している。このため、図１４に示すように、ロール方向及びピッチ方向の変動によって、車載カメラ画像から生成される平面図に変形が生じてしまう。従って、例えば平面に対して車両が傾いている状態の場合には、デフォルト値を用いても正しく平面変換が行われない。このような車両の姿勢変動に対応した平面変換を行うためには、車両の姿勢を加味して、平面変換パラメータを設定し直す必要がある。
【００８３】
また、ここで、カメラに対する撮像位置及びカメラの向き変動に伴う、撮像画像の変形について述べる。図１５に示すように、カメラの撮像面において光軸中心から離れた周辺部分に対象物が撮像された場合、対象物は変形した状態で撮像される。このときカメラの向きを変動させると、カメラの向きの変動に応じて対象物の変形状態が変化する。対象物の変形した状態を元の状態に戻すためには、カメラ画像の撮像領域毎に射影変換等の処理を施す必要がある。逆に、カメラの撮像面において光軸中心に近い中央部分に対象物が撮像された場合、光軸中心に近くなるほど撮像された対象物の変形は小さくなる。従って、光軸中心から近い位置でカメラの向きを変動させても、対象物は殆ど変形せず、対象物が単に平行移動を行ったように撮像位置が変動する。
【００８４】
このような性質から、車載カメラを車両に対して略垂直に且つ道路面に対して略水平に設置した場合、背景領域を変換して生成した垂直平面画像に対するカメラ向き変動の影響は小さく、道路領域を変換して生成した水平平面画像に対するカメラ向き変動の影響は大きくなる。
【００８５】
従って、背景領域の画像を平面変換することにより得られる垂直平面画像に基づいてカメラのロール方向及びピッチ方向の変動量を精度良く推定することができる。具体的には、ロール方向またはピッチ方向の変動前と変動後に撮影した２枚１組のカメラ画像に対して、光軸近傍における同一対象物の撮像位置の差分を計測することにより、ロール方向及びピッチ方向の変動量を推定することができる。
【００８６】
平面変換パラメータの再設定は、例えば、次のように行われる。まず、車載装置１００において、車両のロール状態及びピッチ状態の複数のパターンに対応する平面変換パラメータが予めテーブルに記憶される。そして、実際の道路走行時においては、現在の車両状態（つまり、ロール状態及びピッチ状態）が逐次推定され、その推定された車両状態情報に対応する平面変換パラメータが読み出され、読み出された平面変換パラメータを用いた平面変換が行われる。現在の車両状態にマッチする平面変換パラメータが記憶されている場合には、単純なテーブル参照処理が行われるだけで、平面図生成部１０５は、必要なパラメータを読み出すことができる。これに対して、現在の車両状態にマッチする平面変換パラメータがテーブルに無い場合には、線形補間を行うことにより、平面図生成部１０５は、マッチする平面変換パラメータを求めても良い。
【００８７】
なお、１つの画像に対する垂直平面画像及び水平平面画像は、対応付けて管理される。路側装置２００及び車載装置１００で撮影される画像は、その撮影されたカメラ、撮影された日時等の管理情報と共に、一意に定まるように管理される。例えば、撮影日時が２０１０年３月３０日１４時４５分１２秒９５であり、撮影されたカメラがナンバー０４であり、水平平面画像の場合を０、垂直平面画像の場合を１とすると、例えば２０１００３３０＿１４４５１２９５＿０４＿０といった通し番号を用いることで、画像を一意に管理することができる。勿論、垂直平面画像及び水平平面画像を一意に管理する方法はこれに限定されるものではなく、他の方法を用いても良い。
【００８８】
ステップＳ１０７で平面図生成部１０５は、ステップＳ１０６で垂直平面画像に基づいて調整された平面変換パラメータを用いて道路画像を平面変換することにより、水平平面画像を生成する。このように調整された平面変換パラメータに基づいて道路画像を平面変換することにより、精度の良い水平平面画像を生成することができる。なお、ここでは、調整後の平面変換パラメータを用いて道路画像を変換する方法を示しているが、次の方法によっても、精度の上がった水平平面画像を生成することができる。すなわち、推定された車両状態に近い車両状態に対応する２つの平面変換パラメータをテーブルから読み出し、それらパラメータを用いて画像を平面変換することにより、２つのパラメータに対応する平面変換後の画像を作成し、これらの画像の画素値を平均することにより、必要とする平面画像を得るようにすれば良い。
【００８９】
ステップＳ１０８で平面図生成部１０５は、ステップＳ１０７で得られた車載カメラ画像による水平平面画像と、路側カメラ画像による水平平面画像とを合成することにより、合成平面図を形成する。
【００９０】
すなわち、平面図生成部１０５は、路側カメラ画像の水平平面画像と、車載カメラ画像の水平平面画像とを合成することで、自車両を中心とした交差点平面図を生成する。交差点平面図を生成するまでの流れは、次のようになる。すなわち、まず、路側カメラ画像の水平平面画像同士の合成を行って路側カメラ画像の合成画像を生成し（図１６Ａ参照）、次に、車載カメラ画像の水平平面画像同士の合成を行って車載カメラ画像の合成画像を生成する（図１６Ｂ参照）。そして、路側カメラ画像の合成画像と車載カメラ画像の合成画像とを最後に合成することにより、最終的に必要な交差点平面図（上記した合成平面図）を生成する（図１７参照）。
【００９１】
より詳細には、まず、路側カメラ画像の水平平面画像同士の合成では、平面図生成部１０５は、路側装置２００から送信された、対応付けパラメータを使用する。対応付けパラメータを利用することにより、路側カメラ画像の水平平面画像同士の相対的な位置関係を特定できるので、平面図生成部１０５は、その相対的な位置関係に合わせて各画像の回転移動を行い、回転移動後の画像群を結合して１つの水平平面画像を生成する。対応付けパラメータには、例えば、各水平平面画像の重心位置の実座標及び画像の上方向の指す方角が記載されている。このようなパラメータが用いられる場合には、平面図生成部１０５は、各画像が同じ方角となるように適宜回転移動を行い、各画像の重心位置がひとつの座標系で相対的に合致するように適宜平行移動を行う。
【００９２】
次に、車載カメラ画像の水平平面画像同士の合成では、車載装置１００に車載カメラを設置した際に予め計算済みの対応付けパラメータが車載装置１００に保存されているため、平面図生成部１０５は、その対応付けパラメータを読み出して、水平平面画像同士の合成を行う。
【００９３】
その後、平面図生成部１０５は、路側カメラ画像による水平平面画像と、車載カメラ画像による水平平面画像とを結合して交差点平面図を生成する。すなわち、推定された車両のヨー方向の回転変動量と交差点における位置情報とに基づいて車載カメラ画像による水平平面画像を回転させることにより路側カメラ画像による水平平面画像と合わせて、交差点平面図を生成する。
【００９４】
なお、水平平面画像同士を合成する際に、互いの画像の領域が重複する場合には、公知の方法を用いて双方の画像情報を混合するようにしても良い。例えば、重複する領域における互いの画素の濃淡値を平均して、新しい輝度値とするようにしても良い。
【００９５】
ステップＳ１０９で情報出力部１０６は、平面図生成部１０５で生成された合成平面図を表示手段に表示させる。表示のさせ方としては、車両に備え付けられたモニタに平面図を表示しても良いし、ヘッドアップディスプレイのような方法でフロントガラスに平面図を投影しても良い。表示の際には、平面図の位置と向きも考慮して表示されるのが望ましい。例えば、平面図の向きは、自車両の進行方向、または自車両の走行道路の方向に向けて回転された後に表示されると良い。また、平面図における自車両の位置が表示位置の中央または中央よりやや下の位置に来るように、平面図を平行移動した状態で表示するのが良い。このようにすることで、運転者が交差点における自車両の位置を直感的に把握しやすくなる。
【００９６】
以上のように本実施の形態によれば、車載装置１００において、位置／向き推定部１１１が、車載カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第１の垂直平面画像と、路側カメラ画像の内の道路領域画像を除く背景領域画像を平面変換することにより生成された第２の垂直平面画像とに基づいて、車載装置１００が搭載されている車両の位置及び向きを推定し、パラメータ調整部１１２が、推定された位置及び向きに基づいて、平面変換で用いられるパラメータを調整し、水平平面画像生成部１１３が、車載カメラ画像の内の道路領域画像を、パラメータ調整部１１２で調整されたパラメータを用いて平面変換することにより、水平平面画像を生成する。
【００９７】
こうすることで、ロール方向及びピッチ方向の変動量が正確に反映される垂直平面画像を用いて推定された車両の位置及び向きに基づいてパラメータを調整することができるので、より適切なパラメータを求めることができる。そして、このパラメータを用いて平面変換することにより、より精度の高い水平平面画像を生成することができる。そして、この水平平面画像を用いて平面図を生成することにより、高精度の平面図を生成することができる。
【００９８】
［実施の形態２］
図１８は、本発明の実施の形態２に係る平面図生成システム２０の構成を示すブロック図である。
【００９９】
図１８において、平面図生成システム２０は、車載装置３００と、路側装置４００とを有する。
【０１００】
車載装置３００は、センサ部３０１を有する。
【０１０１】
センサ部３０１は、物体と車載装置３００との離間距離を測定することにより、物体（車両の周辺に存在する移動体又は建造物等）の３次元構造を計測する。センサ部３０１は、例えば、ステレオカメラ又はミリ波レーダ等の距離測定が可能な手段から構成されている。
【０１０２】
車載装置３００の垂直平面画像生成部１０３は、センサ部３０１によって計測された物体の３次元構造データを用いて、平面変換パラメータを設定する。これにより、より適切な平面変換パラメータを設定することができる。この平面変換パラメータは、パラメータ調整部１１２において調整されるデフォルト値として用いられる。従って、パラメータ調整部１１２によって調整された後の平面変換パラメータも、より適切なものとなる。この結果、車載装置３００は、より高精度の平面図を生成することができる。
【０１０３】
路側装置４００は、センサ部４０１を有する。
【０１０４】
センサ部４０１は、物体と路側装置４００との離間距離を測定することにより、物体の３次元構造を計測する。センサ部４０１は、例えば、ステレオカメラ又はミリ波レーダ等の距離測定が可能な手段から構成されている。
【０１０５】
路側装置４００の画像変換部２０３は、センサ部４０１によって計測された物体の３次元構造データを用いて、平面変換パラメータを設定する。これにより、より適切な平面変換パラメータを設定することができる。
【０１０６】
以上のように本実施の形態によれば、垂直平面画像生成部１０３が、センサ部３０１によって計測された物体の３次元構造データを用いて平面変換パラメータを設定する。また、画像変換部２０３が、センサ部４０１によって計測された物体の３次元構造データを用いて、平面変換パラメータを設定する。
【０１０７】
こうすることで、より適切な平面変換パラメータを設定することができる。
【０１０８】
また、車載装置３００の垂直平面画像生成部１０３で設定された平面変換パラメータは、パラメータ調整部１１２において調整されるデフォルト値として用いられる。
【０１０９】
こうすることで、パラメータ調整部１１２によって調整された後の平面変換パラメータも、より適切なものとなる。この結果、車載装置３００は、より高精度の平面図を生成することができる。
【０１１０】
なお、常時、計測された物体の３次元構造データを用いて平面変換パラメータを設定し直すのではなく、次のような場合にのみ再設定するようにしても良い。すなわち、平面変換により生成される平面の法線とカメラの光軸との成す角が大きくなる場合に平面変換に伴う画像変形の影響がより大きくなるので、そのような場合にのみ再設定するようにしても良い。
【０１１１】
また、センサ部３０１の代わりに、自車周囲の障害物を検知するためのシステムで使用されるセンサが用いられても良いし、センサ部４０１の代わりに、交差点内の障害物を検知するためのシステムで使用されるセンサが用いられても良いし、また、併用されても良い。
【０１１２】
［実施の形態３］
図１９は、本発明の実施の形態３に係る平面図生成システム３０の構成を示すブロック図である。図１９において、平面図生成システム３０は、複数の車載装置５００と、路側装置６００とを有する。
【０１１３】
車載装置５００は、通信部５０１を有する。
【０１１４】
通信部５０１は、画像分離部１０２で得られた背景領域の画像及び道路領域の画像、並びに垂直平面画像生成部１０３で得られた垂直平面画像を路側装置６００へ送信する。
【０１１５】
路側装置６００は、通信部６０１と、平面図生成部６０２と、情報出力部６０３とを有する。
【０１１６】
通信部６０１は、路側装置６００の周辺に位置する複数の車載装置５００のそれぞれから、背景領域の画像及び道路領域の画像、並びに垂直平面画像を受信する。
【０１１７】
平面図生成部６０２は、複数の車載装置５００から送信された画像の内で有効な車載カメラ画像を選択する。平面図生成部６０２は、図２０に示すように、選択部６１１を有し、この選択部６１１によって、有効な車載カメラ画像が選択される。すなわち、選択部６１１は、複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択する。有効な画像を選別するための具体的な方法としては、各画像のフォーカス又はコントラストが適切であるかどうかを画像処理で確認するようにすれば良い。または、カメラの目の前を物体が塞ぐようないわゆるオクルージョンが発生していないかを画像処理で判別するようにすれば良い。
【０１１８】
そして、平面図生成部６０２は、選択した車載カメラ画像による垂直平面画像、及び路側カメラ画像による垂直平面画像に基づいて、平面変換パラメータを調整し、調整後の平面変換パラメータを用いて車載カメラ画像の道路画像を平面変換することにより、車載カメラによる水平平面画像を生成する。そして、平面図生成部６０２は、車載カメラによる水平平面画像と、路側カメラによる水平平面画像とを合成することにより、合成平面図を生成する。
【０１１９】
情報出力部６０３は、平面図生成部６０２で生成された合成平面図を表示手段に表示させる。情報出力部６０３は、システム利用者が交通管制等の目的において目視確認し易い状態で、合成平面図を表示させる。情報出力部６０３が、平面図を任意に拡大・縮小・平行移動・回転できるようにしても良い。
【０１２０】
以上のように本実施の形態によれば、選択部６１１が、複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択し、平面図生成部６０２が、選択された車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて、平面変換パラメータを調整する。
【０１２１】
こうすることで、或る車載装置５００の車載カメラ画像の品質が悪くても、他の車載装置５００の車載カメラ画像を用いて平面変換パラメータを調整することができるので、結果として、精度の良い平面図を生成することができる。
【０１２２】
なお、システム利用者がどのような状態で平面図を参照しているかを示す参照情報を情報出力部６０３から選択部６１１に通知し、選択部６１１がその参照情報をもとに画像選択処理を行うようにして良い。例えば、選択部６１１が、システム利用者が平面図を拡大・平行移動させて見ている位置の近傍に存在する車両のカメラ画像を優先的に選択するようにしても良い。
【０１２３】
また、平面図生成部６０２によって生成された平面図を、通信部６０１を介して各車載装置５００へ送信しても良い。これにより、車載装置５００の具備する情報出力部（図示せず）がその平面図を表示することより、より精度の高い平面図を表示することができる。
【０１２４】
［他の実施の形態］
（１）実施の形態１及び２では、平面図生成部１０５が車載装置１００（３００）に設けられているが、本発明はこれに限定されるものではない。例えば、平面図生成部１０５は、路側装置２００（４００）に設けられていても良い。この場合には、路側装置２００（４００）で生成された平面図は、車載装置１００（３００）へ送信され、情報出力部１０６によって表示される。又は、平面図生成部１０５は、車載装置及び路側装置とは別体の平面図生成装置に設けられても良い。この場合には、平面図生成装置は、備えている通信部を介して必要な情報を車載装置及び路側装置から受信し、生成した平面図を車載装置１００（３００）へ送信する。
【０１２５】
また、実施の形態３では、平面図生成部６０２が路側装置６００に設けられているが、本発明はこれに限定されるものではない。平面図生成部６０２は、車載装置及び路側装置とは別体の平面図生成装置に設けられても良い。この場合には、平面図生成装置に設けられる通信部を介して必要な情報を車載装置及び路側装置から受信する。
【０１２６】
（２）上記各実施の形態において生成された平面図を利用することにより、次のようなメリットがある。
【０１２７】
すなわち、平面図の利用者が交差点における自分の位置をより容易に把握できる。また、例えば、車両の運転者にとって気付きづらく距離感も掴み難いような、車両の側後方から接近する移動体についても、リアルタイムに生成される平面図を用いて確認することができる。この結果、車両の右左折時又は車線変更時における移動体確認をより確実に行うことができる。
【０１２８】
また、交通管制の分野において管制者が交差点の状況をより確実に把握できる。
【０１２９】
（３）上記各実施の形態において求めたロール変動量又はピッチ変動量などのパラメータは、自車の走行状態を推定して車両制御にフィードバックするような用途にも応用することができる。
【０１３０】
（４）上記各実施の形態における路側カメラの設置場所は、屋外の交差点だけでなく、例えば、屋内駐車場のような屋内であっても良い。こうすることで、生成される平面図を、移動体の位置を把握するためだけでなく、駐車をより簡単に行うための支援にも利用することができる。また、車載カメラの設置場所は、車両のみならず、移動ロボット等であっても良い。
【０１３１】
（５）上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
【０１３２】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１３３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０１３４】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【０１３５】
本発明の平面図生成装置及び平面図生成方法は、車載カメラ画像及び路側カメラ画像に基づいて平面図を生成する場合に、車載カメラ画像による垂直平面画像及び路側カメラ画像による垂直平面画像に基づいて車両の姿勢を推定し、推定した車両の姿勢に基づいて調整した平面変換パラメータに基づいて車載カメラ画像内の道路画像を平面変換して得られる水平平面画像を用いて平面図を作成することにより、高精度の平面図を生成することができるものとして有用である。
【符号の説明】
【０１３６】
１０，２０，３０ 平面図生成システム
１００，３００，５００ 車載装置
１０１，２０１ 画像取得部
１０２，２０２ 画像分離部
１０３ 垂直平面画像生成部
１０４，２０４，５０１，６０１ 通信部
１０５，６０２ 平面図生成部
１０６，６０３ 情報出力部
１１１ 位置／向き推定部
１１２ パラメータ調整部
１１３ 水平平面画像生成部
１１４ 合成部
２００，４００，６００ 路側装置
２０３ 画像変換部
３０１，４０１ センサ部
６１１ 選択部
【特許請求の範囲】
【請求項１】
車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成装置であって、
前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定する推定手段と、
前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整する調整手段と、
前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する生成手段と、
を具備する平面図生成装置。
【請求項２】
複数の前記車両から送信された複数の車載カメラ画像を受信する受信手段と、
前記複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択する選択手段と、
をさらに具備し、
前記第１の垂直平面画像は、前記選択された画像から生成された垂直平面画像である、
請求項１に記載の平面図生成装置。
【請求項３】
車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成方法であって、
前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定し、
前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整し、
前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する、
平面図生成方法。
【請求項１】
車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成装置であって、
前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定する推定手段と、
前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整する調整手段と、
前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する生成手段と、
を具備する平面図生成装置。
【請求項２】
複数の前記車両から送信された複数の車載カメラ画像を受信する受信手段と、
前記複数の車載カメラ画像の内から品質が所定レベル以上の画像を選択する選択手段と、
をさらに具備し、
前記第１の垂直平面画像は、前記選択された画像から生成された垂直平面画像である、
請求項１に記載の平面図生成装置。
【請求項３】
車載カメラによって撮像された車載カメラ画像の内の道路領域画像を、同次座標を用いた射影変換である平面変換を施すことにより生成された第１の水平平面画像と、路側カメラによって撮像された路側カメラ画像の内の道路領域画像を前記平面変換することにより生成された第２の水平平面画像とを合成することにより、上空からの平行投影画像を模した平面図を生成する平面図生成方法であって、
前記車載カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第１の垂直平面画像と、前記路側カメラ画像の内の道路領域画像を除く背景領域画像を前記平面変換することにより生成された第２の垂直平面画像とに基づいて、前記車載カメラが搭載されている車両の位置及び向きを推定し、
前記推定された位置及び向きに基づいて、前記平面変換で用いられるパラメータを調整し、
前記車載カメラ画像の内の前記道路領域画像を、前記調整されたパラメータを用いて前記平面変換することにより、前記第１の水平平面画像を生成する、
平面図生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−２５４１２８（Ｐ２０１１−２５４１２８Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２４５４７（Ｐ２０１０−１２４５４７）
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]