地図データ生成装置および走行支援装置
【課題】移動物体を含まない3次元地図データを生成できるようにする。
【解決手段】プローブ車両2の走行に伴って収集された、画像データ、測距データおよび測位データを含むプローブデータを地図データ生成装置10の記憶媒体に蓄積記憶させ、この記憶媒体から、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを抽出し、当該同一の場所を撮影した撮影画像の特定画素(X、Y)の画素データの分散値に基づいて、移動物体を含まない撮影画像を特定し、移動物体を含まない撮影画像を含むプローブデータに基づいて移動物体を含まない3次元の地物図データを生成する(S202)。
【解決手段】プローブ車両2の走行に伴って収集された、画像データ、測距データおよび測位データを含むプローブデータを地図データ生成装置10の記憶媒体に蓄積記憶させ、この記憶媒体から、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを抽出し、当該同一の場所を撮影した撮影画像の特定画素(X、Y)の画素データの分散値に基づいて、移動物体を含まない撮影画像を特定し、移動物体を含まない撮影画像を含むプローブデータに基づいて移動物体を含まない3次元の地物図データを生成する(S202)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、地図データ生成装置および走行支援装置に関するものである。
【背景技術】
【0002】
従来、ステレオカメラやレーザーレーダ等の計測装置を車両に搭載し、車両の走行に伴って計測装置を用いて収集した画像情報および距離情報に基づいて3次元地図データを生成する地図データ生成装置が知られている。
【0003】
また、2次元地図データから建造物の外郭形状を取得し、2次元地図データ内に含まれる建造物が撮像された写真を利用して高さを求めるようにして、無線通信システムの基地局周辺の3次元地図データを生成する地図データ生成システムもある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】再公表特許2008−062819
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記した各装置のように、カメラを用いて撮影した画像を利用して3次元地図データを生成する構成では、カメラの撮影画像に、例えば、歩行者や路肩に駐車した駐車車両等、移動することが可能な移動物体が含まれていると、これらの移動物体を含む地図データが生成されてしまう。
【0006】
このような移動物体を含むような地図データは、地物図としての精度が低くなり好ましくないといった問題がある。
【0007】
本発明は上記問題に鑑みたもので、移動物体を含まない3次元地図データを生成できるようにすることを第1の目的とする。
【0008】
また、本発明は、移動物体を含まない3次元地図データを用いて移動物体を回避するように搭載車両の走行支援を行うことを第2の目的とする。
【課題を解決するための手段】
【0009】
上記第1の目的を達成するため、請求項1に記載の発明は、データ収集装置を搭載した複数の車両からデータ収集装置により収集された情報を取得し、当該取得した情報を用いて地図データを生成する地図データ生成装置であって、データ収集装置は、搭載車両の周辺を撮影した撮影画像を表す画像データと、当該撮影画像の被写体の各部との距離を特定するための測距データと、搭載車両の位置および向きを特定するための測位データとを関連付けしたプローブデータを収集するようになっており、データ収集装置により収集されたプローブデータを受信すると、当該受信したプローブデータを記憶媒体に蓄積記憶させる記憶処理手段と、記憶媒体に蓄積記憶させたプローブデータから、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを抽出し、当該同一の場所を撮影した撮影画像の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を含まない撮影画像を特定し、当該移動物体を含まない撮影画像を含むプローブデータを地図データ生成用データとして登録する地図データ生成用データ登録手段と、地図データ生成用データに登録されたプローブデータに基づいて撮影画像に含まれる被写体の各領域の絶対位置を算出して移動物体を含まない3次元の地物図データを生成する地物図データ生成手段と、を備えたことを特徴としている。
【0010】
このような構成によれば、記憶媒体に蓄積記憶させたプローブデータから、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを抽出し、当該同一の場所を撮影した撮影画像の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を含まない撮影画像を特定し、当該移動物体を含まない撮影画像を含むプローブデータを地図データ生成用データとして登録し、地図データ生成用データに登録されたプローブデータに基づいて撮影画像に含まれる被写体の各領域の絶対位置を算出して移動物体を含まない3次元の地物図データが生成される。すなわち、移動物体を含まない3次元地図データを生成することができる。
【0011】
また、請求項2に記載の発明は、地図データ生成用データ登録手段は、記憶媒体に蓄積記憶させたプローブデータに含まれる撮影画像の視点移動を行って同一地点より同一の場所を撮影した複数の撮影画像を含むプローブデータを抽出することを特徴としている。
【0012】
このような構成によれば、記憶媒体に蓄積記憶させたプローブデータに含まれる撮影画像の視点移動を行って同一地点より同一の場所を撮影した複数の撮影画像を含むプローブデータが抽出されるので、撮影した位置に多少ずれがあっても、同一地点より同一の場所を撮影した撮影画像を含むプローブデータとして抽出することができる。
【0013】
また、請求項3に記載の発明のように、画素データは、色データと輝度データの少なくとも一方とすることができる。
【0014】
また、上記第2の目的を達成するため、請求項4に記載の発明は、車両周辺を撮影する撮影手段と、請求項1に記載された地図データ生成装置により生成された3次元の地物図データを記憶した記憶媒体から撮影手段により撮影された撮影画像と同じ場所の地物図データを取得する地物図データ取得手段と、撮影手段により撮影された撮影画像と地物図データ取得手段により取得された地物図データに基づく地物図の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を検出する移動物体検出手段と、移動物体検出手段により検出された移動物体を回避するように搭載車両の走行支援を行う走行支援手段と、を備えたことを特徴としている。
【0015】
このような構成によれば、請求項1に記載された地図データ生成装置により生成された3次元の地物図データを記憶した記憶媒体から撮影手段により撮影された撮影画像と同じ場所の地物図データを取得し、撮影手段により撮影された撮影画像と、地物図データに基づく地物図の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を検出し、検出した移動物体を回避するように搭載車両の走行支援が行われる。すなわち、移動物体を含まない3次元地図データを用いて移動物体を回避するように搭載車両の走行支援を行うことができる。
【0016】
また、請求項5に記載の発明は、搭載車両の現在位置を特定する現在位置特定手段と、現在位置特定手段により特定された搭載車両の現在位置に基づいて搭載車両の周辺の3次元の地物図データを取得し、当該3次元の地物図データにより特定される搭載車両周辺の地物図と撮影手段により撮影された撮影画像との誤差量が閾値未満となるように撮影手段により撮影された撮影画像の視点を移動させる視点移動手段と、視点移動手段により移動された視点の位置を現在位置とするように搭載車両の現在位置を補正する現在位置補正手段と、を備えたことを特徴としている。
【0017】
このように、3次元の地物図データにより特定される搭載車両周辺の地物図と撮影手段により撮影された撮影画像との誤差量が閾値未満となるように撮影手段により撮影された撮影画像の視点を移動させ、この視点の位置を現在位置とするように現在位置特定手段により特定された搭載車両の現在位置を補正することにより、搭載車両の現在位置を精度良く特定することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態に係る地図データ生成装置が複数のプローブ車とデータ通信する様子を示す図である。
【図2】本発明の一実施形態に係る地図データ生成装置と車載装置の全体構成を示す図である。
【図3】距離画像センサより出力される測距データについて説明するための図である。
【図4】車載装置の制御部によるプローブデータ収集処理のフローチャートである。
【図5】地図データ生成装置の制御部による地図データ生成処理のフローチャートである。
【図6】地図データ生成用DB作成処理のフローチャートである。
【図7】地物図データについて説明するための図である。
【図8】撮影画像の画素データの分散値の判定について説明するための図である。
【図9】車載装置の制御部による地図データ更新処理のフローチャートである。
【図10】車載装置の制御部による走行支援処理のフローチャート
【図11】車載装置の制御部による移動体検出処理のフローチャートである。
【図12】移動物体を回避するような搭載車両の走行予定位置の算出について説明するための図である。
【発明を実施するための形態】
【0019】
本発明の一実施形態に係る地図データ生成装置の全体構成を図1に示す。本地図データ生成装置10は、情報センタ1に配置されたコンピュータにより構成され、不特定多数のプローブ車2とデータ通信を行うようになっている。各プローブ車2には、地図データ生成装置10が地図データを生成するために必要なプローブ情報を収集する情報収集装置としての機能を備えた車載装置20が搭載されている。
【0020】
地図データ生成装置10は、各プローブ車2に搭載された車載装置20より送信されるプローブ情報に基づいて3次元の地物図データを生成する。また、車載装置20は、地図データ生成装置1により生成された3次元の地物図データを用いて、歩行者や路肩に駐車した駐車車両等、移動する物体体を回避しながら車両の走行支援を行う走行支援装置としての機能も備えている。
【0021】
図2に、地図データ生成装置10と車載装置20のブロック構成を示す。地図データ生成装置10は、地図データベース11、通信部12および制御部13を備えている。
【0022】
通信部12は、公衆通信網を介して各プローブ車2とデータ通信するためのものである。
【0023】
制御部13は、CPU、メモリ、ハードディスクドライバ、I/O等を備えたコンピュータとして構成されており、CPUはメモリに記憶されたプログラムに従って各種処理を実施する。制御部13の処理には、車載装置20より送信されるプローブ情報に基づいて3次元の地物図データを生成し、生成した3次元の地物図データを地図データベース11に記憶させる処理がある。
【0024】
一方、車載装置20は、距離画像センサ21、位置検出装置22、地図データ記憶部23、通信部24および制御部25を備えている。なお、制御部25には、車両駆動制御部30が接続されている。
【0025】
距離画像センサ21は、ステレオカメラを用いて被写体を撮影するとともに、撮影画像の画素毎に距離画像センサ21と撮影画像の被写体の各部との距離を特定するための測距データと、撮影画像を表す画像データを出力する。なお、距離画像センサ21は、ステレオカメラの視野角が車両の進行方向と一致するように、かつ、路面からの高さが同一となるように各プローブ車2に取り付けられている。
【0026】
図3に示すように、測距データは、撮影画像におけるX−Y座標位置をXY、この座標位置における色情報をRGB、距離画像センサ21の位置を基準としたときの被写体の相対座標をxyzとすると、(XY、RGB、xyz)として出力される。このような測距データ(XY、RGB、xyz)が撮影画像の全画素について出力される。すなわち、1つの撮影画像に対して、このような測距データ(XY、RGB、xyz)が画素数分だけ出力されるようになっている。
【0027】
位置検出装置22は、地磁気センサ、ジャイロスコープ、距離センサ、GPS受信機等(いずれも図示せず)により構成されており、これらから入力される現在位置を特定するための情報を制御部25へ出力する。
【0028】
地図データ記憶部23は、地図データを記憶するための記憶装置である。この地図データ記憶部23には、地図データ生成装置10により生成された3次元の地物図データが記憶されている。
【0029】
通信部24は、公衆無線通信網を介して情報センタ1の地図データ生成装置10と通信するために設けられている。
【0030】
制御部25は、CPU、メモリ、I/O等を備えたコンピュータとして構成されており、CPUはメモリに記憶されたプログラムに従って各種処理を行う。
【0031】
制御部25の処理には、位置検出装置22より入力される現在位置を特定するための情報に基づいて車両の現在位置を特定するとともに、距離画像センサ21より入力される情報に基づくプローブデータを収集するプローブデータ処理、路肩に駐車した駐車車両等、移動する物体体を回避しながら車両の走行支援を行う走行支援処理等がある。
【0032】
車両駆動制御部30は、車両のブレーキ制御を行うブレーキECU、車両の舵角を制御するステアリングECU、車両のエンジン制御を行うエンジンECU(いずれも図示せず)等により構成されている。
【0033】
本実施形態におけるブレーキECUは、走行制御部25からの指示に応じて車両のブレーキ制御を実施することが可能となっており、ステアリングECUは、走行制御部25からの指示に応じて車両の舵角を制御することが可能となっている。また、エンジンECUは、走行制御部25からの指示に応じて燃料噴射量や燃料噴射タイミングの調整を行い、搭載車両の加減速の制御を行うことが可能となっている。
【0034】
車載装置20は、搭載車両2の走行に伴ってプローブデータを収集する処理を行うようになっている。図4に、車載装置20の制御部25によるプローブデータ収集処理のフローチャートを示す。制御部25は、車両のイグニッションスイッチがオン状態になると、図に示す処理を開始する。
【0035】
まず、位置検出装置22より入力される現在位置を特定するための情報を取得して車両の現在位置(絶対座標)および車両進行方向を特定する(S100)。なお、車両進行方向は、前回特定された車両の現在位置(絶対座標)と、今回特定された車両の現在位置(絶対座標)の位置関係から求めることができる。
【0036】
次に、距離画像センサ21より測距データを取得する(S102)。具体的には、測距データ(XY、RGB、xyz)および画像データを取得する。
【0037】
次に、撮影画像の被写体の各部の絶対位置データを算出する(S104)。具体的には、S100にて特定した車両の現在位置(絶対座標)および車両進行方向と、S102にて取得した測距データ(XY、RGB、xyz)とに基づいて、撮影画像の被写体の各部の絶対座標を算出する。ここで、車両の現在位置の絶対座標を(X0、Y0、Z0)、被写体の各部の相対座標を(x、y、z)とすると、被写体の各部の絶対座標は(X0+x、Y0+y、Z0+z)として算出することができる。
【0038】
次に、搭載車両の周辺を撮影した撮影画像と、撮影画像に含まれる領域毎に撮影画像内の被写体との距離を特定するための測距データと、搭載車両の位置および向きを特定するための測位データとを関連付けしたプローブデータを情報センタ2へ送信し(S106)、S100へ戻り、上記した処理を繰り返し実施する。このようにして、プローブ車2に搭載された車載装置20から情報センタ1へ周期的にプローブデータが送信される。
【0039】
地図データ生成装置10には、このようにして不特定多数のプローブ車2に搭載された車載装置20より大量のプローブデータが送信される。なお、撮影画像の撮影位置はプローブ車2が位置する道路上の地点に絞られるため、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを効率良く収集することができる。
【0040】
地図データ生成装置10は、受信したプローブデータを記憶媒体に蓄積記憶させるとともに、記憶媒体に蓄積記憶させたプローブデータに基づいて地物図データを生成する地図データ生成処理を行う。
【0041】
図5に、地図データ生成装置10の制御部13による地図データ生成処理のフローチャートを示す。制御部13は、作業者の操作に応じて図5に示す処理を開始する。
【0042】
まず、プローブデータを受信したか否かを判定する(S200)。ここで、プローブデータが受信されない場合、S200の判定を繰り返し、プローブデータが受信されると、次に、S300の地図データ生成用DB作成処理を実施する。
【0043】
図6に、この地図データ生成用DB作成処理のフローチャートを示す。この地図データ生成用DB作成処理では、まず、受信データの取り込みを行う(S302)。具体的には、受信したプローブデータを記憶媒体としてのハードディスクドライバに蓄積記憶させる。
【0044】
次に、撮影画像の被写体の位置を特定する(S304)。撮影画像の被写体の位置(座標)は、受信したプローブデータに含まれる測距データおよび測位データに基づいて特定することができる。
【0045】
次に、同一地点より同一の場所を撮影した撮影画像を読み出す(S306)。具体的には、受信したプローブデータに含まれる測位データに基づいて撮影画像の撮影位置を特定し、この撮影画像の撮影位置より、S304にて特定した撮影画像の被写体の位置と同じ場所を撮影した複数の撮影映像を記憶媒体から読み出す。
【0046】
次に、受信したプローブデータに含まれる撮影画像とS306にて読み出した撮影画像の画像全体での相互相関係数を算出する(S308)。ここで、画像全体での相互相関係数を算出するのは、2つの画像が同じ場所を同じ視点から撮影したものであるか否かを判定するためである。なお、本実施形態では、受信したプローブデータに含まれる撮影画像をテンプレートとして、S306にて読み出した各撮影画像に対する相互相関係数を算出する。なお、相互相関係数が大きいほど2つの画像の類似度が高いことを意味する。また、相互相関係数の算出については周知技術であるため、ここではその詳細な説明を省略する。
【0047】
次に、画像全体での相互相関係数が予め定められた閾値以上となっているか否かを判定する(S310)。
【0048】
ここで、画像全体での相互相関係数が閾値以上となっていない場合、データの視点移動を行う(S312)。ここでは、画像全体での相互相関係数が閾値以上となるように、受信したプローブデータに含まれる撮影画像の視点変換を行い、S308へ戻る。
【0049】
例えば、視点をX軸方向に移動させ、画像全体での相互相関係数が大きくなった場合には、更に視点をX軸方向に移動させる。また、視点をX軸方向に移動させたときに、画像全体での相互相関係数が小さくなった場合には、視点を反対方向に移動させる。このように、視点をX軸、Y軸、Z軸方向に移動させる。
【0050】
なお、S306にて読み出した各撮影画像について順次、S308、S310、S312の処理が行われ、画像全体での相互相関係数が閾値以上となった画像が抽出されるようになっている。また、図示してないが、S312にて視点変換を行ったにもかかわらず、画像全体での相互相関係数が閾値未満となった画像は抽出されないようになっている。
【0051】
次に、各画素データの分散値の算出を行う(S312)。具体的には、S310にて相互相関係数が予め定められた閾値以上となった各撮影画像に対し、特定画素の画素データの分散値を算出する。ここでは、撮影画像の全ての画素に対して画素データの分散値を算出する。本実施形態では、画素データとして色の3原色(赤(R)、緑(G)、青(B))毎に分散値を算出する。また、本実施形態では、撮影画像の全ての画素に対して画素データの分散値を算出する。ただし、必ずしも撮影画像の全ての画素に対して画素データの分散値を算出する必要はなく、例えば、一定間隔毎に指定された特定画素毎に画素データの分散値を算出するようにして処理負荷を軽減するようにしてもよい。
【0052】
図8に、受信したプローブデータに含まれる撮影画像と同じ場所を同じ視点から撮影した各撮影画像の座標(X、Y)における色情報の度数分布の例を示す。図中(a)は赤(R)の度数分布、図中(b)は、緑(G)の度数分布、図中(c)は、青(B)の度数分布を表している。
【0053】
ここでは、不特定多数のプローブ車2より大量の撮影画像が送信され、受信したプローブデータに含まれる撮影画像と同じ場所を同じ視点から撮影した撮影画像が大量に抽出されているものとする。また、抽出された大量の撮影画像には、移動することが可能な移動物体が含まれるものも、移動物体が含まれないものも存在する。
【0054】
路肩に駐車した駐車車両や歩行者等の移動することが可能な移動物体は比較的短時間で移動していなくなるため一部の撮影画像にしか含まれないのに対し、建造物やガードレール等の地物は移動しないため全ての撮影画像に必ず含まれる。つまり、同一地点から同一の場所を撮影した多数の撮影画像の特定の画素における画素データの分散値は、撮影画像に移動物体が含まれていない場合は小さくなるが、撮影画像に移動物体が含まれている場合は大きくなる。
【0055】
ここでは、特定の画素における画素データの分散値が予め定められた閾値以上か否かに基づいて撮影画像に移動物体が含まれているか否かを判定する(S314)。本実施形態では、色の3原色(赤(R)、緑(G)、青(B))の全ての分散値が閾値以上か否かに基づいて撮影画像に移動する物体が含まれているか否かを判定する。
【0056】
ここで、特定の画素における色の3原色(赤(R)、緑(G)、青(B))の全ての分散値が閾値未満となった場合、S314の判定はYESとなり、分散値が閾値未満となった撮影画像を含むプローブデータを地図データ生成用DB(図示せず)に登録する(S316)。
【0057】
また、特定の画素における色の3原色(赤(R)、緑(G)、青(B))のうち少なくとも1つの分散値が閾値以上となった場合には、S314の判定はNOとなり、分散値が閾値以上となった撮影画像を地図データ生成用DBに登録することなく、S318へ進む。
【0058】
S318では、全ての画素に対する処理が完了したか否かを判定する。ここで、全ての画素に対する処理が完了ししていない場合、S318の判定はNOとなり、S312へ戻り、他の画素に対してS312〜S316の処理を実施する。
【0059】
そして、全ての画素に対する処理が完了すると、S318の判定はYESとなり、図5のS202へ進む。
【0060】
S202では、地物図データを生成する。具体的には、地図データ生成用DBに登録したプローブデータに基づいて撮影画像に含まれる被写体の各部の絶対位置を算出して3次元の地物図データを生成し、地図データベース11に登録する。
【0061】
次に、新規受信データがあるか否かを判定する(S204)。ここで、新たにプローブデータが受信されると、S204の判定はYESとなり、S200へ戻る。また、新たにプローブデータが受信されない場合、S204の判定はNOとなり、本処理を終了する。このようにして、図7に示すような、移動することが可能な移動物体を含まない3次元の地物図を表す地物図データが生成される。
【0062】
プローブ車2に搭載された車載装置20の制御部25は、地図データ生成装置10により新たな地物図データを取得して地図データ記憶部12に記憶されている地図データの更新を行う地図データ更新処理を行うようになっている。
【0063】
図9に、この地図データ更新処理のフローチャートを示す。車載装置20のユーザにより地図データの更新を指示する操作が行われると、制御部25は、図9に示す処理を実施する。
【0064】
まず、地図データ生成装置10に更新地図データの送信要求を行い(S400)、更新地図データを受信したか否かを判定する(S402)。
【0065】
ここで、更新地図データを受信すると、更新地図データに従って
地図データの更新処理を実施し(S404)。地図データの更新処理が完了すると、本処理を終了する。
【0066】
また、プローブ車2に搭載された車載装置20の走行制御部25は、地図データ生成装置10により生成された移動物体を含まない3次元の地物図データと、距離画像センサ21より入力される車両周辺の撮影画像とに基づいて移動物体を検出し、この移動物体を回避するように走行支援を行う走行支援処理を行う。
【0067】
図10に、この走行支援処理のフローチャートを示す。車載装置20のユーザにより走行支援の開始を指示する操作が行われると、走行制御部25は、図4に示したプローブデータ収集処理と並行して図10に示す処理を実施する。
【0068】
まず、走行計画を作成する(S500)。具体的には、ユーザ操作に従って出発地から目的地に至る最適な案内経路を探索し、探索した案内経路を表示部に表示させる。なお、本実施形態では、案内経路において搭載車両が走行する車線まで特定する。
【0069】
次に、S600の移動体検出処理を行う。図11に、この移動体検出処理のフローチャートを示す。この移動体検出処理では、まず、現在位置周辺の地物図データを取得する(S602)。具体的には、搭載車両が位置する場所を視点とする撮影画像を地図データ記憶部23より取得する。
【0070】
次に、距離画像センサ21より前方画像データを取得する(S604)。ここでは、距離画像センサ21により撮影された現在位置での撮影画像と測距データを取得する。
【0071】
次に、S602にて取得した搭載車両が位置する場所を視点とする撮影画像と、S604にて取得した距離画像センサ21により撮影された現在位置での撮影画像について、画像全体での相互相関係数を算出する(S606)。この画像全体での相互相関係数の算出は、S308と同様に行うことができる。
【0072】
次に、画像全体での相互相関係数が予め定められた閾値以上であるか否かを判定する(S608)。
【0073】
ここで、画像全体での相互相関係数が閾値以上とならない場合、データの視点移動を行う(S610)。ここでは、画像全体での相互相関係数が閾値以上となるように、S602にて取得した搭載車両が位置する場所を視点とする撮影画像の視点移動を行い、S606へ戻る。
【0074】
なお、このように視点移動を行って、画像全体での相互相関係数が閾値以上となった場合、この視点を搭載車両の現在位置とすることができる。位置検出装置22より入力される情報に基づいて現在位置を算出し、マップマッチング処理を行って搭載車両の現在位置を補正するような構成では位置検出精度が低いため、本実施形態では、視点移動を行って、画像全体での相互相関係数が閾値以上となった場合、この視点の位置を現在位置とするように、搭載車両の現在位置を補正するようにしている。
【0075】
上記したように、画像全体での相互相関係数が閾値以上になると、次に、S602にて取得した搭載車両が位置する場所を視点とする撮影画像と、S604にて取得した距離画像センサ21により撮影された現在位置での撮影画像について、各画素データ分散値の算出を行う(S614)。この各画素データ分散値の算出は、S312と同様に行うことができる。すなわち、色の3原色(赤(R)、緑(G)、青(B))の全ての分散値が閾値以上か否かに基づいて撮影画像に移動する物体が含まれているか否かを判定する(S616)。
【0076】
ここで、特定の画素における色の3原色(赤(R)、緑(G)、青(B))のうち少なくとも1つの分散値が閾値以上となった場合、S616の判定はYESとなり、距離画像センサ21により撮影された現在位置での撮影画像内に移動することが可能な移動物体が検出されていないと判定し(S618)、図10のS502へ進む。
【0077】
また、特定の画素における色の3原色(赤(R)、緑(G)、青(B))の全ての分散値が閾値以上となった場合には、S6106の判定はNOとなり、距離画像センサ21により撮影された現在位置での撮影画像に移動することが可能な移動物体が検出されたと判定することなく、図10のS502へ進む。
【0078】
図10のS502では、移動物体を回避して計画上の予定位置を算出する。ここでは、まず、3次元地物図に存在せずに、距離画像センサ21より入力される撮影画像に含まれる被写体を移動物体として認識し、この移動物体との相対距離を距離画像センサ21より入力される測距データ基づいて算出し、移動物体を回避するように搭載車両の走行予定位置を算出する。例えば、図12に示すように、走行先の車線の路肩に駐車車両Aが停車しており、この駐車車両Aが移動物体として認識されている場合には、図中の矢印Bに示すように、この駐車車両Aを回避するように搭載車両の走行予定位置を算出する。
【0079】
次に、S502にて算出した搭載車両の走行予定位置と実際の搭載車両の位置の差異(誤差量)を算出する(S504)。
【0080】
次に、搭載車両の走行予定位置と実際の搭載車両の位置の差異が小さくなるように、車両駆動制御部30に指示する(S506)。具体的には、ブレーキECU、ステアリングECUおよびエンジンECUに対して搭載車両の走行予定位置と実際の搭載車両の位置の差異が小さくなるように指示する信号を出力する。
【0081】
次に、誤差量が予め定められた判定値以上か否かを判定する(S508)。ここで、誤差量が判定値よりも大きい場合、S508の判定はNOとなり、S502へ戻る。したがって、車両駆動制御部30への指示が継続される。
【0082】
そして、誤差量が判定値以下になると、次に、搭載車両が目的地周辺の一定領域に進入したか否かに基づいて搭載車両が目的地に到着したか否かを判定する(S510)。
【0083】
ここで、搭載車両が目的地周辺の一定領域に進入していない場合、S510の判定はNOとなり、S600へ戻る。また、搭載車両が目的地周辺の一定領域に進入すると、S510の判定はYESとなり、本処理を終了する。
【0084】
上記した構成によれば、記憶媒体に蓄積記憶させたプローブデータから、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを抽出し、当該同一の場所を撮影した撮影画像の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を含まない撮影画像を特定し、当該移動物体を含まない撮影画像を含むプローブデータを地図データ生成用データとして登録し、地図データ生成用データに登録されたプローブデータに基づいて撮影画像に含まれる被写体の各領域の絶対位置を算出して移動物体を含まない3次元の地物図データが生成される。すなわち、移動物体を含まない3次元地図データを生成することができる。
【0085】
また、記憶媒体に蓄積記憶させたプローブデータに含まれる撮影画像の視点移動を行って同一地点より同一の場所を撮影した複数の撮影画像を含むプローブデータが抽出されるので、撮影した位置に多少ずれがあっても、同一地点より同一の場所を撮影した撮影画像を含むプローブデータとして抽出することができる。
【0086】
また、地図データ生成装置により生成された3次元の地物図データを記憶した記憶媒体から撮影手段により撮影された撮影画像と同じ場所の地物図データを取得し、撮影手段により撮影された撮影画像と、地物図データに基づく地物図の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を検出し、検出した移動物体を回避するように搭載車両の走行支援が行われる。すなわち、移動物体を含まない3次元地図データを用いて移動物体を回避するように搭載車両の走行支援を行うことができる。
【0087】
また、3次元の地物図データにより特定される搭載車両周辺の地物図と撮影手段により撮影された撮影画像との誤差量が閾値未満となるように撮影手段により撮影された撮影画像の視点を移動させ、この視点の位置を現在位置とするように現在位置特定手段により特定された搭載車両の現在位置を補正することにより、搭載車両の現在位置を精度良く特定することができる。
【0088】
なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。
【0089】
例えば、上記実施形態では、データ収集装置を搭載した不特定多数の車両と通信を行い、データ収集装置により収集された情報を用いて地図データを生成する構成を示したが、必ずしも通信を介してデータ収集装置により収集された情報を取得しなくてもよく、例えば、メモリカード等の記憶媒体を介してデータ収集装置により収集された情報を取得するように構成してもよい。
【0090】
また、上記実施形態では、地図データ生成装置10が、プローブデータを受信したときに、受信したプローブデータに含まれる撮影画像と同一の場所で撮影した複数の撮影画像を含むプローブデータを記憶媒体から抽出し、当該同一の場所を撮影した複数の撮影画像の領域毎の画素データの分散値に基づいて、移動することが可能な移動物体が含まれない撮影画像を特定し、当該移動物体が含まれない撮影画像を含むプローブデータを地図データ生成用データとして登録する構成を示したが、上記したようなプローブデータを受信したタイミング以外のタイミングで上記処理を実施してもよい。
【0091】
また、上記実施形態では、画素データとして色情報毎の分散値を算出したが、画素データとして輝度情報の分散値を算出するようにしてもよく、色情報と輝度情報の両方の分散値を算出するようにしてもよい。
【0092】
また、上記実施形態では、S308にて、受信したプローブデータに含まれる撮影画像をテンプレートとして、S306にて読み出した各撮影画像に対する相互相関係数を算出したが、相互相関係数の算出は、このような手法に限定されるものではない。
【0093】
また、上記実施形態では、地図データ生成装置10により、移動することが可能な移動物体を含まない3次元の地物図データを生成する例について説明したが、移動物体を含まない3次元の地物図データから2次元の地物図データを生成するようにしてもよい。
【0094】
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、S200、S302が記憶処理手段に相当し、S304〜S318が地図データ生成用データ登録手段に相当し、S202が地物図データ生成手段に相当し、距離画像センサ21が撮影手段に相当し、S602が地物図データ取得手段に相当し、S614〜S618が移動物体検出手段に相当し、S502〜S510が走行支援手段に相当し、位置検出装置22より入力される現在位置を特定するための情報に基づいて搭載車両の現在位置を特定する処理が現在位置特定手段に相当し、S606〜S610が視点移動手段に相当し、S610の視点移動により、画像全体での相互相関係数が閾値以上となった場合、この視点の位置を現在位置とするように、搭載車両の現在位置を補正する処理が現在位置補正手段に相当する。
【符号の説明】
【0095】
1 情報センタ
2 プローブ車
10 地図データ生成装置
11 地図データベース
12 通信部
13 制御部
20 車載装置
21 距離画像センサ
22 位置検出装置
23 地図データ記憶部
24 通信部
25 制御部
30 車両駆動制御部
【技術分野】
【0001】
本発明は、地図データ生成装置および走行支援装置に関するものである。
【背景技術】
【0002】
従来、ステレオカメラやレーザーレーダ等の計測装置を車両に搭載し、車両の走行に伴って計測装置を用いて収集した画像情報および距離情報に基づいて3次元地図データを生成する地図データ生成装置が知られている。
【0003】
また、2次元地図データから建造物の外郭形状を取得し、2次元地図データ内に含まれる建造物が撮像された写真を利用して高さを求めるようにして、無線通信システムの基地局周辺の3次元地図データを生成する地図データ生成システムもある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】再公表特許2008−062819
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記した各装置のように、カメラを用いて撮影した画像を利用して3次元地図データを生成する構成では、カメラの撮影画像に、例えば、歩行者や路肩に駐車した駐車車両等、移動することが可能な移動物体が含まれていると、これらの移動物体を含む地図データが生成されてしまう。
【0006】
このような移動物体を含むような地図データは、地物図としての精度が低くなり好ましくないといった問題がある。
【0007】
本発明は上記問題に鑑みたもので、移動物体を含まない3次元地図データを生成できるようにすることを第1の目的とする。
【0008】
また、本発明は、移動物体を含まない3次元地図データを用いて移動物体を回避するように搭載車両の走行支援を行うことを第2の目的とする。
【課題を解決するための手段】
【0009】
上記第1の目的を達成するため、請求項1に記載の発明は、データ収集装置を搭載した複数の車両からデータ収集装置により収集された情報を取得し、当該取得した情報を用いて地図データを生成する地図データ生成装置であって、データ収集装置は、搭載車両の周辺を撮影した撮影画像を表す画像データと、当該撮影画像の被写体の各部との距離を特定するための測距データと、搭載車両の位置および向きを特定するための測位データとを関連付けしたプローブデータを収集するようになっており、データ収集装置により収集されたプローブデータを受信すると、当該受信したプローブデータを記憶媒体に蓄積記憶させる記憶処理手段と、記憶媒体に蓄積記憶させたプローブデータから、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを抽出し、当該同一の場所を撮影した撮影画像の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を含まない撮影画像を特定し、当該移動物体を含まない撮影画像を含むプローブデータを地図データ生成用データとして登録する地図データ生成用データ登録手段と、地図データ生成用データに登録されたプローブデータに基づいて撮影画像に含まれる被写体の各領域の絶対位置を算出して移動物体を含まない3次元の地物図データを生成する地物図データ生成手段と、を備えたことを特徴としている。
【0010】
このような構成によれば、記憶媒体に蓄積記憶させたプローブデータから、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを抽出し、当該同一の場所を撮影した撮影画像の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を含まない撮影画像を特定し、当該移動物体を含まない撮影画像を含むプローブデータを地図データ生成用データとして登録し、地図データ生成用データに登録されたプローブデータに基づいて撮影画像に含まれる被写体の各領域の絶対位置を算出して移動物体を含まない3次元の地物図データが生成される。すなわち、移動物体を含まない3次元地図データを生成することができる。
【0011】
また、請求項2に記載の発明は、地図データ生成用データ登録手段は、記憶媒体に蓄積記憶させたプローブデータに含まれる撮影画像の視点移動を行って同一地点より同一の場所を撮影した複数の撮影画像を含むプローブデータを抽出することを特徴としている。
【0012】
このような構成によれば、記憶媒体に蓄積記憶させたプローブデータに含まれる撮影画像の視点移動を行って同一地点より同一の場所を撮影した複数の撮影画像を含むプローブデータが抽出されるので、撮影した位置に多少ずれがあっても、同一地点より同一の場所を撮影した撮影画像を含むプローブデータとして抽出することができる。
【0013】
また、請求項3に記載の発明のように、画素データは、色データと輝度データの少なくとも一方とすることができる。
【0014】
また、上記第2の目的を達成するため、請求項4に記載の発明は、車両周辺を撮影する撮影手段と、請求項1に記載された地図データ生成装置により生成された3次元の地物図データを記憶した記憶媒体から撮影手段により撮影された撮影画像と同じ場所の地物図データを取得する地物図データ取得手段と、撮影手段により撮影された撮影画像と地物図データ取得手段により取得された地物図データに基づく地物図の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を検出する移動物体検出手段と、移動物体検出手段により検出された移動物体を回避するように搭載車両の走行支援を行う走行支援手段と、を備えたことを特徴としている。
【0015】
このような構成によれば、請求項1に記載された地図データ生成装置により生成された3次元の地物図データを記憶した記憶媒体から撮影手段により撮影された撮影画像と同じ場所の地物図データを取得し、撮影手段により撮影された撮影画像と、地物図データに基づく地物図の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を検出し、検出した移動物体を回避するように搭載車両の走行支援が行われる。すなわち、移動物体を含まない3次元地図データを用いて移動物体を回避するように搭載車両の走行支援を行うことができる。
【0016】
また、請求項5に記載の発明は、搭載車両の現在位置を特定する現在位置特定手段と、現在位置特定手段により特定された搭載車両の現在位置に基づいて搭載車両の周辺の3次元の地物図データを取得し、当該3次元の地物図データにより特定される搭載車両周辺の地物図と撮影手段により撮影された撮影画像との誤差量が閾値未満となるように撮影手段により撮影された撮影画像の視点を移動させる視点移動手段と、視点移動手段により移動された視点の位置を現在位置とするように搭載車両の現在位置を補正する現在位置補正手段と、を備えたことを特徴としている。
【0017】
このように、3次元の地物図データにより特定される搭載車両周辺の地物図と撮影手段により撮影された撮影画像との誤差量が閾値未満となるように撮影手段により撮影された撮影画像の視点を移動させ、この視点の位置を現在位置とするように現在位置特定手段により特定された搭載車両の現在位置を補正することにより、搭載車両の現在位置を精度良く特定することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態に係る地図データ生成装置が複数のプローブ車とデータ通信する様子を示す図である。
【図2】本発明の一実施形態に係る地図データ生成装置と車載装置の全体構成を示す図である。
【図3】距離画像センサより出力される測距データについて説明するための図である。
【図4】車載装置の制御部によるプローブデータ収集処理のフローチャートである。
【図5】地図データ生成装置の制御部による地図データ生成処理のフローチャートである。
【図6】地図データ生成用DB作成処理のフローチャートである。
【図7】地物図データについて説明するための図である。
【図8】撮影画像の画素データの分散値の判定について説明するための図である。
【図9】車載装置の制御部による地図データ更新処理のフローチャートである。
【図10】車載装置の制御部による走行支援処理のフローチャート
【図11】車載装置の制御部による移動体検出処理のフローチャートである。
【図12】移動物体を回避するような搭載車両の走行予定位置の算出について説明するための図である。
【発明を実施するための形態】
【0019】
本発明の一実施形態に係る地図データ生成装置の全体構成を図1に示す。本地図データ生成装置10は、情報センタ1に配置されたコンピュータにより構成され、不特定多数のプローブ車2とデータ通信を行うようになっている。各プローブ車2には、地図データ生成装置10が地図データを生成するために必要なプローブ情報を収集する情報収集装置としての機能を備えた車載装置20が搭載されている。
【0020】
地図データ生成装置10は、各プローブ車2に搭載された車載装置20より送信されるプローブ情報に基づいて3次元の地物図データを生成する。また、車載装置20は、地図データ生成装置1により生成された3次元の地物図データを用いて、歩行者や路肩に駐車した駐車車両等、移動する物体体を回避しながら車両の走行支援を行う走行支援装置としての機能も備えている。
【0021】
図2に、地図データ生成装置10と車載装置20のブロック構成を示す。地図データ生成装置10は、地図データベース11、通信部12および制御部13を備えている。
【0022】
通信部12は、公衆通信網を介して各プローブ車2とデータ通信するためのものである。
【0023】
制御部13は、CPU、メモリ、ハードディスクドライバ、I/O等を備えたコンピュータとして構成されており、CPUはメモリに記憶されたプログラムに従って各種処理を実施する。制御部13の処理には、車載装置20より送信されるプローブ情報に基づいて3次元の地物図データを生成し、生成した3次元の地物図データを地図データベース11に記憶させる処理がある。
【0024】
一方、車載装置20は、距離画像センサ21、位置検出装置22、地図データ記憶部23、通信部24および制御部25を備えている。なお、制御部25には、車両駆動制御部30が接続されている。
【0025】
距離画像センサ21は、ステレオカメラを用いて被写体を撮影するとともに、撮影画像の画素毎に距離画像センサ21と撮影画像の被写体の各部との距離を特定するための測距データと、撮影画像を表す画像データを出力する。なお、距離画像センサ21は、ステレオカメラの視野角が車両の進行方向と一致するように、かつ、路面からの高さが同一となるように各プローブ車2に取り付けられている。
【0026】
図3に示すように、測距データは、撮影画像におけるX−Y座標位置をXY、この座標位置における色情報をRGB、距離画像センサ21の位置を基準としたときの被写体の相対座標をxyzとすると、(XY、RGB、xyz)として出力される。このような測距データ(XY、RGB、xyz)が撮影画像の全画素について出力される。すなわち、1つの撮影画像に対して、このような測距データ(XY、RGB、xyz)が画素数分だけ出力されるようになっている。
【0027】
位置検出装置22は、地磁気センサ、ジャイロスコープ、距離センサ、GPS受信機等(いずれも図示せず)により構成されており、これらから入力される現在位置を特定するための情報を制御部25へ出力する。
【0028】
地図データ記憶部23は、地図データを記憶するための記憶装置である。この地図データ記憶部23には、地図データ生成装置10により生成された3次元の地物図データが記憶されている。
【0029】
通信部24は、公衆無線通信網を介して情報センタ1の地図データ生成装置10と通信するために設けられている。
【0030】
制御部25は、CPU、メモリ、I/O等を備えたコンピュータとして構成されており、CPUはメモリに記憶されたプログラムに従って各種処理を行う。
【0031】
制御部25の処理には、位置検出装置22より入力される現在位置を特定するための情報に基づいて車両の現在位置を特定するとともに、距離画像センサ21より入力される情報に基づくプローブデータを収集するプローブデータ処理、路肩に駐車した駐車車両等、移動する物体体を回避しながら車両の走行支援を行う走行支援処理等がある。
【0032】
車両駆動制御部30は、車両のブレーキ制御を行うブレーキECU、車両の舵角を制御するステアリングECU、車両のエンジン制御を行うエンジンECU(いずれも図示せず)等により構成されている。
【0033】
本実施形態におけるブレーキECUは、走行制御部25からの指示に応じて車両のブレーキ制御を実施することが可能となっており、ステアリングECUは、走行制御部25からの指示に応じて車両の舵角を制御することが可能となっている。また、エンジンECUは、走行制御部25からの指示に応じて燃料噴射量や燃料噴射タイミングの調整を行い、搭載車両の加減速の制御を行うことが可能となっている。
【0034】
車載装置20は、搭載車両2の走行に伴ってプローブデータを収集する処理を行うようになっている。図4に、車載装置20の制御部25によるプローブデータ収集処理のフローチャートを示す。制御部25は、車両のイグニッションスイッチがオン状態になると、図に示す処理を開始する。
【0035】
まず、位置検出装置22より入力される現在位置を特定するための情報を取得して車両の現在位置(絶対座標)および車両進行方向を特定する(S100)。なお、車両進行方向は、前回特定された車両の現在位置(絶対座標)と、今回特定された車両の現在位置(絶対座標)の位置関係から求めることができる。
【0036】
次に、距離画像センサ21より測距データを取得する(S102)。具体的には、測距データ(XY、RGB、xyz)および画像データを取得する。
【0037】
次に、撮影画像の被写体の各部の絶対位置データを算出する(S104)。具体的には、S100にて特定した車両の現在位置(絶対座標)および車両進行方向と、S102にて取得した測距データ(XY、RGB、xyz)とに基づいて、撮影画像の被写体の各部の絶対座標を算出する。ここで、車両の現在位置の絶対座標を(X0、Y0、Z0)、被写体の各部の相対座標を(x、y、z)とすると、被写体の各部の絶対座標は(X0+x、Y0+y、Z0+z)として算出することができる。
【0038】
次に、搭載車両の周辺を撮影した撮影画像と、撮影画像に含まれる領域毎に撮影画像内の被写体との距離を特定するための測距データと、搭載車両の位置および向きを特定するための測位データとを関連付けしたプローブデータを情報センタ2へ送信し(S106)、S100へ戻り、上記した処理を繰り返し実施する。このようにして、プローブ車2に搭載された車載装置20から情報センタ1へ周期的にプローブデータが送信される。
【0039】
地図データ生成装置10には、このようにして不特定多数のプローブ車2に搭載された車載装置20より大量のプローブデータが送信される。なお、撮影画像の撮影位置はプローブ車2が位置する道路上の地点に絞られるため、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを効率良く収集することができる。
【0040】
地図データ生成装置10は、受信したプローブデータを記憶媒体に蓄積記憶させるとともに、記憶媒体に蓄積記憶させたプローブデータに基づいて地物図データを生成する地図データ生成処理を行う。
【0041】
図5に、地図データ生成装置10の制御部13による地図データ生成処理のフローチャートを示す。制御部13は、作業者の操作に応じて図5に示す処理を開始する。
【0042】
まず、プローブデータを受信したか否かを判定する(S200)。ここで、プローブデータが受信されない場合、S200の判定を繰り返し、プローブデータが受信されると、次に、S300の地図データ生成用DB作成処理を実施する。
【0043】
図6に、この地図データ生成用DB作成処理のフローチャートを示す。この地図データ生成用DB作成処理では、まず、受信データの取り込みを行う(S302)。具体的には、受信したプローブデータを記憶媒体としてのハードディスクドライバに蓄積記憶させる。
【0044】
次に、撮影画像の被写体の位置を特定する(S304)。撮影画像の被写体の位置(座標)は、受信したプローブデータに含まれる測距データおよび測位データに基づいて特定することができる。
【0045】
次に、同一地点より同一の場所を撮影した撮影画像を読み出す(S306)。具体的には、受信したプローブデータに含まれる測位データに基づいて撮影画像の撮影位置を特定し、この撮影画像の撮影位置より、S304にて特定した撮影画像の被写体の位置と同じ場所を撮影した複数の撮影映像を記憶媒体から読み出す。
【0046】
次に、受信したプローブデータに含まれる撮影画像とS306にて読み出した撮影画像の画像全体での相互相関係数を算出する(S308)。ここで、画像全体での相互相関係数を算出するのは、2つの画像が同じ場所を同じ視点から撮影したものであるか否かを判定するためである。なお、本実施形態では、受信したプローブデータに含まれる撮影画像をテンプレートとして、S306にて読み出した各撮影画像に対する相互相関係数を算出する。なお、相互相関係数が大きいほど2つの画像の類似度が高いことを意味する。また、相互相関係数の算出については周知技術であるため、ここではその詳細な説明を省略する。
【0047】
次に、画像全体での相互相関係数が予め定められた閾値以上となっているか否かを判定する(S310)。
【0048】
ここで、画像全体での相互相関係数が閾値以上となっていない場合、データの視点移動を行う(S312)。ここでは、画像全体での相互相関係数が閾値以上となるように、受信したプローブデータに含まれる撮影画像の視点変換を行い、S308へ戻る。
【0049】
例えば、視点をX軸方向に移動させ、画像全体での相互相関係数が大きくなった場合には、更に視点をX軸方向に移動させる。また、視点をX軸方向に移動させたときに、画像全体での相互相関係数が小さくなった場合には、視点を反対方向に移動させる。このように、視点をX軸、Y軸、Z軸方向に移動させる。
【0050】
なお、S306にて読み出した各撮影画像について順次、S308、S310、S312の処理が行われ、画像全体での相互相関係数が閾値以上となった画像が抽出されるようになっている。また、図示してないが、S312にて視点変換を行ったにもかかわらず、画像全体での相互相関係数が閾値未満となった画像は抽出されないようになっている。
【0051】
次に、各画素データの分散値の算出を行う(S312)。具体的には、S310にて相互相関係数が予め定められた閾値以上となった各撮影画像に対し、特定画素の画素データの分散値を算出する。ここでは、撮影画像の全ての画素に対して画素データの分散値を算出する。本実施形態では、画素データとして色の3原色(赤(R)、緑(G)、青(B))毎に分散値を算出する。また、本実施形態では、撮影画像の全ての画素に対して画素データの分散値を算出する。ただし、必ずしも撮影画像の全ての画素に対して画素データの分散値を算出する必要はなく、例えば、一定間隔毎に指定された特定画素毎に画素データの分散値を算出するようにして処理負荷を軽減するようにしてもよい。
【0052】
図8に、受信したプローブデータに含まれる撮影画像と同じ場所を同じ視点から撮影した各撮影画像の座標(X、Y)における色情報の度数分布の例を示す。図中(a)は赤(R)の度数分布、図中(b)は、緑(G)の度数分布、図中(c)は、青(B)の度数分布を表している。
【0053】
ここでは、不特定多数のプローブ車2より大量の撮影画像が送信され、受信したプローブデータに含まれる撮影画像と同じ場所を同じ視点から撮影した撮影画像が大量に抽出されているものとする。また、抽出された大量の撮影画像には、移動することが可能な移動物体が含まれるものも、移動物体が含まれないものも存在する。
【0054】
路肩に駐車した駐車車両や歩行者等の移動することが可能な移動物体は比較的短時間で移動していなくなるため一部の撮影画像にしか含まれないのに対し、建造物やガードレール等の地物は移動しないため全ての撮影画像に必ず含まれる。つまり、同一地点から同一の場所を撮影した多数の撮影画像の特定の画素における画素データの分散値は、撮影画像に移動物体が含まれていない場合は小さくなるが、撮影画像に移動物体が含まれている場合は大きくなる。
【0055】
ここでは、特定の画素における画素データの分散値が予め定められた閾値以上か否かに基づいて撮影画像に移動物体が含まれているか否かを判定する(S314)。本実施形態では、色の3原色(赤(R)、緑(G)、青(B))の全ての分散値が閾値以上か否かに基づいて撮影画像に移動する物体が含まれているか否かを判定する。
【0056】
ここで、特定の画素における色の3原色(赤(R)、緑(G)、青(B))の全ての分散値が閾値未満となった場合、S314の判定はYESとなり、分散値が閾値未満となった撮影画像を含むプローブデータを地図データ生成用DB(図示せず)に登録する(S316)。
【0057】
また、特定の画素における色の3原色(赤(R)、緑(G)、青(B))のうち少なくとも1つの分散値が閾値以上となった場合には、S314の判定はNOとなり、分散値が閾値以上となった撮影画像を地図データ生成用DBに登録することなく、S318へ進む。
【0058】
S318では、全ての画素に対する処理が完了したか否かを判定する。ここで、全ての画素に対する処理が完了ししていない場合、S318の判定はNOとなり、S312へ戻り、他の画素に対してS312〜S316の処理を実施する。
【0059】
そして、全ての画素に対する処理が完了すると、S318の判定はYESとなり、図5のS202へ進む。
【0060】
S202では、地物図データを生成する。具体的には、地図データ生成用DBに登録したプローブデータに基づいて撮影画像に含まれる被写体の各部の絶対位置を算出して3次元の地物図データを生成し、地図データベース11に登録する。
【0061】
次に、新規受信データがあるか否かを判定する(S204)。ここで、新たにプローブデータが受信されると、S204の判定はYESとなり、S200へ戻る。また、新たにプローブデータが受信されない場合、S204の判定はNOとなり、本処理を終了する。このようにして、図7に示すような、移動することが可能な移動物体を含まない3次元の地物図を表す地物図データが生成される。
【0062】
プローブ車2に搭載された車載装置20の制御部25は、地図データ生成装置10により新たな地物図データを取得して地図データ記憶部12に記憶されている地図データの更新を行う地図データ更新処理を行うようになっている。
【0063】
図9に、この地図データ更新処理のフローチャートを示す。車載装置20のユーザにより地図データの更新を指示する操作が行われると、制御部25は、図9に示す処理を実施する。
【0064】
まず、地図データ生成装置10に更新地図データの送信要求を行い(S400)、更新地図データを受信したか否かを判定する(S402)。
【0065】
ここで、更新地図データを受信すると、更新地図データに従って
地図データの更新処理を実施し(S404)。地図データの更新処理が完了すると、本処理を終了する。
【0066】
また、プローブ車2に搭載された車載装置20の走行制御部25は、地図データ生成装置10により生成された移動物体を含まない3次元の地物図データと、距離画像センサ21より入力される車両周辺の撮影画像とに基づいて移動物体を検出し、この移動物体を回避するように走行支援を行う走行支援処理を行う。
【0067】
図10に、この走行支援処理のフローチャートを示す。車載装置20のユーザにより走行支援の開始を指示する操作が行われると、走行制御部25は、図4に示したプローブデータ収集処理と並行して図10に示す処理を実施する。
【0068】
まず、走行計画を作成する(S500)。具体的には、ユーザ操作に従って出発地から目的地に至る最適な案内経路を探索し、探索した案内経路を表示部に表示させる。なお、本実施形態では、案内経路において搭載車両が走行する車線まで特定する。
【0069】
次に、S600の移動体検出処理を行う。図11に、この移動体検出処理のフローチャートを示す。この移動体検出処理では、まず、現在位置周辺の地物図データを取得する(S602)。具体的には、搭載車両が位置する場所を視点とする撮影画像を地図データ記憶部23より取得する。
【0070】
次に、距離画像センサ21より前方画像データを取得する(S604)。ここでは、距離画像センサ21により撮影された現在位置での撮影画像と測距データを取得する。
【0071】
次に、S602にて取得した搭載車両が位置する場所を視点とする撮影画像と、S604にて取得した距離画像センサ21により撮影された現在位置での撮影画像について、画像全体での相互相関係数を算出する(S606)。この画像全体での相互相関係数の算出は、S308と同様に行うことができる。
【0072】
次に、画像全体での相互相関係数が予め定められた閾値以上であるか否かを判定する(S608)。
【0073】
ここで、画像全体での相互相関係数が閾値以上とならない場合、データの視点移動を行う(S610)。ここでは、画像全体での相互相関係数が閾値以上となるように、S602にて取得した搭載車両が位置する場所を視点とする撮影画像の視点移動を行い、S606へ戻る。
【0074】
なお、このように視点移動を行って、画像全体での相互相関係数が閾値以上となった場合、この視点を搭載車両の現在位置とすることができる。位置検出装置22より入力される情報に基づいて現在位置を算出し、マップマッチング処理を行って搭載車両の現在位置を補正するような構成では位置検出精度が低いため、本実施形態では、視点移動を行って、画像全体での相互相関係数が閾値以上となった場合、この視点の位置を現在位置とするように、搭載車両の現在位置を補正するようにしている。
【0075】
上記したように、画像全体での相互相関係数が閾値以上になると、次に、S602にて取得した搭載車両が位置する場所を視点とする撮影画像と、S604にて取得した距離画像センサ21により撮影された現在位置での撮影画像について、各画素データ分散値の算出を行う(S614)。この各画素データ分散値の算出は、S312と同様に行うことができる。すなわち、色の3原色(赤(R)、緑(G)、青(B))の全ての分散値が閾値以上か否かに基づいて撮影画像に移動する物体が含まれているか否かを判定する(S616)。
【0076】
ここで、特定の画素における色の3原色(赤(R)、緑(G)、青(B))のうち少なくとも1つの分散値が閾値以上となった場合、S616の判定はYESとなり、距離画像センサ21により撮影された現在位置での撮影画像内に移動することが可能な移動物体が検出されていないと判定し(S618)、図10のS502へ進む。
【0077】
また、特定の画素における色の3原色(赤(R)、緑(G)、青(B))の全ての分散値が閾値以上となった場合には、S6106の判定はNOとなり、距離画像センサ21により撮影された現在位置での撮影画像に移動することが可能な移動物体が検出されたと判定することなく、図10のS502へ進む。
【0078】
図10のS502では、移動物体を回避して計画上の予定位置を算出する。ここでは、まず、3次元地物図に存在せずに、距離画像センサ21より入力される撮影画像に含まれる被写体を移動物体として認識し、この移動物体との相対距離を距離画像センサ21より入力される測距データ基づいて算出し、移動物体を回避するように搭載車両の走行予定位置を算出する。例えば、図12に示すように、走行先の車線の路肩に駐車車両Aが停車しており、この駐車車両Aが移動物体として認識されている場合には、図中の矢印Bに示すように、この駐車車両Aを回避するように搭載車両の走行予定位置を算出する。
【0079】
次に、S502にて算出した搭載車両の走行予定位置と実際の搭載車両の位置の差異(誤差量)を算出する(S504)。
【0080】
次に、搭載車両の走行予定位置と実際の搭載車両の位置の差異が小さくなるように、車両駆動制御部30に指示する(S506)。具体的には、ブレーキECU、ステアリングECUおよびエンジンECUに対して搭載車両の走行予定位置と実際の搭載車両の位置の差異が小さくなるように指示する信号を出力する。
【0081】
次に、誤差量が予め定められた判定値以上か否かを判定する(S508)。ここで、誤差量が判定値よりも大きい場合、S508の判定はNOとなり、S502へ戻る。したがって、車両駆動制御部30への指示が継続される。
【0082】
そして、誤差量が判定値以下になると、次に、搭載車両が目的地周辺の一定領域に進入したか否かに基づいて搭載車両が目的地に到着したか否かを判定する(S510)。
【0083】
ここで、搭載車両が目的地周辺の一定領域に進入していない場合、S510の判定はNOとなり、S600へ戻る。また、搭載車両が目的地周辺の一定領域に進入すると、S510の判定はYESとなり、本処理を終了する。
【0084】
上記した構成によれば、記憶媒体に蓄積記憶させたプローブデータから、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを抽出し、当該同一の場所を撮影した撮影画像の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を含まない撮影画像を特定し、当該移動物体を含まない撮影画像を含むプローブデータを地図データ生成用データとして登録し、地図データ生成用データに登録されたプローブデータに基づいて撮影画像に含まれる被写体の各領域の絶対位置を算出して移動物体を含まない3次元の地物図データが生成される。すなわち、移動物体を含まない3次元地図データを生成することができる。
【0085】
また、記憶媒体に蓄積記憶させたプローブデータに含まれる撮影画像の視点移動を行って同一地点より同一の場所を撮影した複数の撮影画像を含むプローブデータが抽出されるので、撮影した位置に多少ずれがあっても、同一地点より同一の場所を撮影した撮影画像を含むプローブデータとして抽出することができる。
【0086】
また、地図データ生成装置により生成された3次元の地物図データを記憶した記憶媒体から撮影手段により撮影された撮影画像と同じ場所の地物図データを取得し、撮影手段により撮影された撮影画像と、地物図データに基づく地物図の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を検出し、検出した移動物体を回避するように搭載車両の走行支援が行われる。すなわち、移動物体を含まない3次元地図データを用いて移動物体を回避するように搭載車両の走行支援を行うことができる。
【0087】
また、3次元の地物図データにより特定される搭載車両周辺の地物図と撮影手段により撮影された撮影画像との誤差量が閾値未満となるように撮影手段により撮影された撮影画像の視点を移動させ、この視点の位置を現在位置とするように現在位置特定手段により特定された搭載車両の現在位置を補正することにより、搭載車両の現在位置を精度良く特定することができる。
【0088】
なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。
【0089】
例えば、上記実施形態では、データ収集装置を搭載した不特定多数の車両と通信を行い、データ収集装置により収集された情報を用いて地図データを生成する構成を示したが、必ずしも通信を介してデータ収集装置により収集された情報を取得しなくてもよく、例えば、メモリカード等の記憶媒体を介してデータ収集装置により収集された情報を取得するように構成してもよい。
【0090】
また、上記実施形態では、地図データ生成装置10が、プローブデータを受信したときに、受信したプローブデータに含まれる撮影画像と同一の場所で撮影した複数の撮影画像を含むプローブデータを記憶媒体から抽出し、当該同一の場所を撮影した複数の撮影画像の領域毎の画素データの分散値に基づいて、移動することが可能な移動物体が含まれない撮影画像を特定し、当該移動物体が含まれない撮影画像を含むプローブデータを地図データ生成用データとして登録する構成を示したが、上記したようなプローブデータを受信したタイミング以外のタイミングで上記処理を実施してもよい。
【0091】
また、上記実施形態では、画素データとして色情報毎の分散値を算出したが、画素データとして輝度情報の分散値を算出するようにしてもよく、色情報と輝度情報の両方の分散値を算出するようにしてもよい。
【0092】
また、上記実施形態では、S308にて、受信したプローブデータに含まれる撮影画像をテンプレートとして、S306にて読み出した各撮影画像に対する相互相関係数を算出したが、相互相関係数の算出は、このような手法に限定されるものではない。
【0093】
また、上記実施形態では、地図データ生成装置10により、移動することが可能な移動物体を含まない3次元の地物図データを生成する例について説明したが、移動物体を含まない3次元の地物図データから2次元の地物図データを生成するようにしてもよい。
【0094】
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、S200、S302が記憶処理手段に相当し、S304〜S318が地図データ生成用データ登録手段に相当し、S202が地物図データ生成手段に相当し、距離画像センサ21が撮影手段に相当し、S602が地物図データ取得手段に相当し、S614〜S618が移動物体検出手段に相当し、S502〜S510が走行支援手段に相当し、位置検出装置22より入力される現在位置を特定するための情報に基づいて搭載車両の現在位置を特定する処理が現在位置特定手段に相当し、S606〜S610が視点移動手段に相当し、S610の視点移動により、画像全体での相互相関係数が閾値以上となった場合、この視点の位置を現在位置とするように、搭載車両の現在位置を補正する処理が現在位置補正手段に相当する。
【符号の説明】
【0095】
1 情報センタ
2 プローブ車
10 地図データ生成装置
11 地図データベース
12 通信部
13 制御部
20 車載装置
21 距離画像センサ
22 位置検出装置
23 地図データ記憶部
24 通信部
25 制御部
30 車両駆動制御部
【特許請求の範囲】
【請求項1】
データ収集装置を搭載した複数の車両から前記データ収集装置により収集された情報を取得し、当該取得した情報を用いて地図データを生成する地図データ生成装置であって、
前記データ収集装置は、搭載車両の周辺を撮影した撮影画像を表す画像データと、当該撮影画像の被写体の各部との距離を特定するための測距データと、前記搭載車両の位置および向きを特定するための測位データとを関連付けしたプローブデータを収集するようになっており、
前記データ収集装置により収集された前記プローブデータを受信すると、当該受信したプローブデータを記憶媒体に蓄積記憶させる記憶処理手段と、
前記記憶媒体に蓄積記憶させた前記プローブデータから、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを抽出し、当該同一地点より同一の場所を撮影した撮影画像の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を含まない撮影画像を特定し、当該移動物体を含まない撮影画像を含むプローブデータを地図データ生成用データとして登録する地図データ生成用データ登録手段と、
前記地図データ生成用データに登録された前記プローブデータに基づいて前記撮影画像に含まれる被写体の各領域の絶対位置を算出して前記移動物体を含まない3次元の地物図データを生成する地物図データ生成手段と、を備えたことを特徴とする地図データ生成装置。
【請求項2】
前記地図データ生成用データ登録手段は、前記記憶媒体に蓄積記憶させた前記プローブデータに含まれる撮影画像の視点移動を行って前記同一地点より同一の場所を撮影した複数の撮影画像を含むプローブデータを抽出することを特徴とする請求項1に記載の地図データ生成装置。
【請求項3】
前記画素データは、色データと輝度データの少なくとも一方であることを特徴とする請求項1または2に記載の地図データ生成装置。
【請求項4】
車両周辺を撮影する撮影手段と、
請求項1に記載された地図データ生成装置により生成された3次元の地物図データを記憶した記憶媒体から前記撮影手段により撮影された撮影画像と同じ場所の地物図データを取得する地物図データ取得手段と、
前記撮影手段により撮影された撮影画像と前記地物図データ取得手段により取得された前記地物図データに基づく地物図の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を検出する移動物体検出手段と、
前記移動物体検出手段により検出された前記移動物体を回避するように搭載車両の走行支援を行う走行支援手段と、を備えたことを特徴とする走行支援装置。
【請求項5】
前記搭載車両の現在位置を特定する現在位置特定手段と、
前記現在位置特定手段により特定された前記搭載車両の現在位置に基づいて搭載車両の周辺の前記3次元の地物図データを取得し、当該3次元の地物図データにより特定される搭載車両周辺の地物図と前記撮影手段により撮影された撮影画像との誤差量が閾値未満となるように前記撮影手段により撮影された撮影画像の視点を移動させる視点移動手段と、
前記視点移動手段により移動された視点の位置を現在位置とするように前記搭載車両の現在位置を補正する現在位置補正手段と、を備えたことを特徴とする請求項4に記載の走行支援装置。
【請求項1】
データ収集装置を搭載した複数の車両から前記データ収集装置により収集された情報を取得し、当該取得した情報を用いて地図データを生成する地図データ生成装置であって、
前記データ収集装置は、搭載車両の周辺を撮影した撮影画像を表す画像データと、当該撮影画像の被写体の各部との距離を特定するための測距データと、前記搭載車両の位置および向きを特定するための測位データとを関連付けしたプローブデータを収集するようになっており、
前記データ収集装置により収集された前記プローブデータを受信すると、当該受信したプローブデータを記憶媒体に蓄積記憶させる記憶処理手段と、
前記記憶媒体に蓄積記憶させた前記プローブデータから、同一地点より同一の場所を撮影した撮影画像を含む複数のプローブデータを抽出し、当該同一地点より同一の場所を撮影した撮影画像の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を含まない撮影画像を特定し、当該移動物体を含まない撮影画像を含むプローブデータを地図データ生成用データとして登録する地図データ生成用データ登録手段と、
前記地図データ生成用データに登録された前記プローブデータに基づいて前記撮影画像に含まれる被写体の各領域の絶対位置を算出して前記移動物体を含まない3次元の地物図データを生成する地物図データ生成手段と、を備えたことを特徴とする地図データ生成装置。
【請求項2】
前記地図データ生成用データ登録手段は、前記記憶媒体に蓄積記憶させた前記プローブデータに含まれる撮影画像の視点移動を行って前記同一地点より同一の場所を撮影した複数の撮影画像を含むプローブデータを抽出することを特徴とする請求項1に記載の地図データ生成装置。
【請求項3】
前記画素データは、色データと輝度データの少なくとも一方であることを特徴とする請求項1または2に記載の地図データ生成装置。
【請求項4】
車両周辺を撮影する撮影手段と、
請求項1に記載された地図データ生成装置により生成された3次元の地物図データを記憶した記憶媒体から前記撮影手段により撮影された撮影画像と同じ場所の地物図データを取得する地物図データ取得手段と、
前記撮影手段により撮影された撮影画像と前記地物図データ取得手段により取得された前記地物図データに基づく地物図の特定画素の画素データの分散値に基づいて、移動することが可能な移動物体を検出する移動物体検出手段と、
前記移動物体検出手段により検出された前記移動物体を回避するように搭載車両の走行支援を行う走行支援手段と、を備えたことを特徴とする走行支援装置。
【請求項5】
前記搭載車両の現在位置を特定する現在位置特定手段と、
前記現在位置特定手段により特定された前記搭載車両の現在位置に基づいて搭載車両の周辺の前記3次元の地物図データを取得し、当該3次元の地物図データにより特定される搭載車両周辺の地物図と前記撮影手段により撮影された撮影画像との誤差量が閾値未満となるように前記撮影手段により撮影された撮影画像の視点を移動させる視点移動手段と、
前記視点移動手段により移動された視点の位置を現在位置とするように前記搭載車両の現在位置を補正する現在位置補正手段と、を備えたことを特徴とする請求項4に記載の走行支援装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−155660(P2012−155660A)
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2011−16472(P2011−16472)
【出願日】平成23年1月28日(2011.1.28)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願日】平成23年1月28日(2011.1.28)
【出願人】(000004260)株式会社デンソー (27,639)
【Fターム(参考)】
[ Back to top ]