説明

運転支援装置、マップ生成装置、及びプログラム

【解決課題】前方の歩行者の認識ミスを防止し、対歩行者事故を防止することができるようにする。
【解決手段】カメラ12から景観画像データを取得し(100)、景観画像データに対して画像処理を行い、対象物の数を算出し(102)、景観画像データに対して画像処理を行い、景観画像中の色の数を算出する(104)。そして、算出された対象物の数を対象物数指標に点数化すると共に、算出された色の数を対象色指標に点数化し、これらの点数から複雑度を判定し、複雑度に基づいて、認識度を判定し(106)、判定された認識度が、しきい値より大きいか否かを判定し(108)、認識度がしきい値以下である場合には、ドライバが歩行者の認識ミスを起こす可能性が高いと判断し、ドライバに警報を提示する(110)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転支援装置、マップ生成装置、及びプログラムに係り、特に、自車両の前方の画像に基づいて運転支援を行う運転支援装置、画像に基づいて運転支援マップを生成するマップ生成装置、及びプログラムに関する。
【背景技術】
【0002】
従来より、交通事故や危険な状況が起こる可能性のある交通状況を、参照画像認識情報として蓄えておき、走行中の画像認識情報と比較することにより、走行中の危険を警告する車載危険予測装置が知られている(例えば、特許文献1)。この車載危険予測装置では、参照画像認識情報として、例えば、カーブの先に車が駐車している状況等を示している情報を蓄え、走行中の画像認識情報と比較している。
【0003】
また、運転者の視覚能力レベルに対して、視覚情報量が超えているかを判断し、超えている場合に運転支援を行う運転支援装置が知られている(例えば、特許文献2)。この運転支援装置では、視覚情報量の判定において、視覚情報量として、他車両や、歩行者、信号、車線等の運転を行う上で認識すべき交通環境を示す情報の量を判定している。
【特許文献1】特開2001−331900号
【特許文献2】特開2005−122390号
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の特許文献1には、前方の景観の複雑さを原因とする歩行者事故の危険性を判定することが記載されていないため、特許文献1に記載の技術では、前方の景観の複雑さが原因で歩行者を認識できない場合に起こる歩行者事故を防ぐことができない、という問題がある。
【0005】
また、特許文献2に記載の技術では、歩行者がドライバの視界に入れば、歩行者を認識していると判断しているため、例えば、歩行者が複雑な景観の中に存在し、ドライバが歩行者を認識しにくい状況であっても、運転支援を行うことができない、という問題がある。
【0006】
本発明は、上記の問題点を解決するためになされたもので、前方の歩行者の認識ミスを防止し、対歩行者事故を防止することができる運転支援装置、マップ生成装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために第1の発明に係る運転支援装置は、自車両の前方を撮像する撮像手段と、前記撮像手段によって撮像された前方の画像に基づいて、前記画像が示す前方からドライバが歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を判定する認識度判定手段と、前記認識度判定手段によって判定された認識度に基づいて、運転支援を行う運転支援手段とを含んで構成されている。
【0008】
第1の発明に係る運転支援装置によれば、撮影手段によって、自車両の前方を撮像し、認識度判定手段によって、撮像手段によって撮像された前方の画像に基づいて、画像が示す前方からドライバが歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を判定する。そして、運転支援手段によって、認識度判定手段によって判定された認識度に基づいて、運転支援を行う。例えば、認識度が低い場合には、歩行者及び二輪車の少なくとも一方の認識を援助するように、運転支援を行う。
【0009】
従って、前方の画像に基づいて、認識度を判定し、認識度に基づいて運転支援を行うことにより、前方から歩行者又は二輪車を認識しづらい場合には、運転支援を行うことができるため、前方の歩行者又は二輪車の認識ミスを防止し、対歩行者事故又は対二輪車事故を防止することができる。
【0010】
第1の発明に係る認識度判定手段を、撮像手段によって撮像された前方の画像に基づいて、画像の色数及び画像に表された物体の数の少なくとも一方を計数する計数手段と、計数手段によって計数された色数及び物体の数の少なくとも一方に基づいて、認識度を算出する認識度算出手段とで構成することができる。これにより、前方の画像の色数または物体の数に基づいて、景観の複雑さに応じた認識度を算出することができる。
【0011】
また、上記の計数手段は、画像の所定の計数領域の色数及び画像の所定の計数領域に表された物体の数の少なくとも一方を計数することができる。これにより、歩行者又は二輪車が存在する領域に関する色数及び物体の数に基づいて、認識度を算出することができる。
【0012】
第1の発明に係る認識度判定手段を、撮像手段によって撮像された前方の画像に基づいて、画像の空間周波数を算出する空間周波数算出手段と、空間周波数算出手段によって算出された前記空間周波数と、予め定められた歩行者及び二輪車の少なくとも一方を示す画像の空間周波数とを比較することにより、認識度を算出する認識度算出手段とで構成することができる。これにより、前方の画像の空間周波数と、歩行者又は二輪車を示す画像の空間周波数とが同じ場合には、前方から歩行者又は二輪車を認識しづらいことを示す認識度を算出することができる。
【0013】
また、上記の空間周波数算出手段は、画像の所定の算出領域の空間周波数を算出することができる。これにより、歩行者又は二輪車が存在する領域の空間周波数と、歩行者又は二輪車を示す画像の空間周波数とを比較して、認識度を算出することができる。
【0014】
上記の運転支援装置は、自車両の走行位置を検出する検出手段と、予め定められた道路地図上の走行位置及び時間帯毎に、走行位置及び時間帯に存在する歩行者の数及び歩行者の存在確率の何れか一方を記憶した歩行者データベースと、歩行者データベースから、検出手段によって検出された現在の走行位置及び現在の時間帯に存在する歩行者の数及び歩行者の存在確率の何れか一方を検索する検索手段とを更に含み、運転支援手段は、認識度判定手段によって判定された認識度と、検索手段によって検索された歩行者の数及び歩行者の存在確率の何れか一方とに基づいて、運転支援を行うことができる。これにより、認識度と、現在の走行位置及び現在の時間帯に存在する歩行者の数または歩行者の存在確率とに基づいて、運転支援を行うため、より適切に運転支援を行うことができる。
【0015】
上記の運転支援装置は、撮像手段によって撮像された前方の画像に基づいて、画像が示す前方に歩行者及び二輪車の少なくとも一方が存在するか否かを判定する存在判定手段を更に含み、運転支援手段は、存在判定手段によって歩行者及び二輪車の少なくとも一方が存在すると判定された場合、認識度判定手段によって判定された認識度に基づいて、運転支援を行い、存在判定手段によって歩行者及び二輪車の少なくとも一方が存在しないと判定された場合、運転支援を行わないようにすることができる。これにより、前方に歩行者又は二輪車が存在する場合にのみ、運転支援を行うことにより、余計な運転支援による煩わしさを回避することができる。
【0016】
第2の発明に係る運転支援装置は、自車両の走行位置を検出する検出手段と、予め定められた道路地図上の走行位置毎に、前記走行位置を走行する車両のドライバが前方から前記歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を記憶した認識度データベースと、予め定められた道路地図上の走行位置及び時間帯毎に、前記走行位置及び前記時間帯に存在する歩行者の数及び前記歩行者の存在確率の何れか一方を記憶した歩行者データベースと、前記認識度データベースから、前記検出手段によって検出された現在の走行位置に対する認識度を検索する認識度検索手段と、前記歩行者データベースから、前記検出手段によって検出された現在の走行位置及び現在の時間帯に存在する前記歩行者の数及び前記歩行者の存在確率の何れか一方を検索する歩行者検索手段と、前記認識度検索手段によって検索された前記認識度と前記歩行者検索手段によって検索された前記歩行者の数及び前記歩行者の存在確率の何れか一方とに基づいて、運転支援を行う運転支援手段とを含んで構成されている。
【0017】
第2の発明に係る運転支援装置によれば、検出手段によって、自車両の走行位置を検出し、認識度検索手段によって、認識度データベースから、検出手段によって検出された現在の走行位置に対する認識度を検索する。また、歩行者検索手段によって、歩行者データベースから、検出手段によって検出された現在の走行位置及び現在の時間帯に存在する歩行者の数及び歩行者の存在確率の何れか一方を検索する。
【0018】
そして、運転支援手段によって、認識度検索手段によって検索された認識度と歩行者検索手段によって検索された歩行者の数及び歩行者の存在確率の何れか一方とに基づいて、運転支援を行う。
【0019】
従って、現在の走行位置に対する認識度と、現在の走行位置及び現在の時間帯に存在する歩行者の数または歩行者の存在確率とに基づいて、運転支援を行うことにより、前方から歩行者又は二輪車を認識しづらい場合には、運転支援を行うことができるため、前方の歩行者又は二輪車の認識ミスを防止し、対歩行者事故又は対二輪車事故を防止することができる。
【0020】
第3の発明に係るマップ生成装置は、道路情報が地図情報として表された道路地図データ及び前記道路地図データが示す道路上の複数の走行位置の各々からの景観を示す景観データに基づいて、前記道路地図データが示す道路上を走行する車両のドライバから見える前方を示す画像を前記複数の走行位置の各々について生成する生成手段と、前記生成手段によって生成された画像に基づいて、前記画像が示す前方から前記ドライバが歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を前記複数の走行位置の各々について判定する認識度判定手段と、前記認識度判定手段によって判定された認識度に基づいて、前記道路地図データが示す道路上の前記複数の走行位置の各々における前記認識度を示す認識度マップ、及び前記道路地図データが示す道路上の前記複数の走行位置の各々において行うべき運転支援の内容を示す運転支援マップの少なくとも一方を生成するマップ生成手段とを含んで構成されている。
【0021】
第3の発明に係るマップ生成装置によれば、生成手段によって、道路情報が地図情報として表された道路地図データ及び道路地図データが示す道路上の複数の走行位置の各々からの景観を示す景観データに基づいて、道路地図データが示す道路上を走行する車両のドライバから見える前方を示す画像を複数の走行位置の各々について生成し、認識度判定手段によって、生成手段によって生成された画像に基づいて、画像が示す前方からドライバが歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を複数の走行位置の各々について判定する。
【0022】
そして、マップ生成手段によって、認識度判定手段によって判定された認識度に基づいて、道路地図データが示す道路上の複数の走行位置の各々における認識度を示す認識度マップ、及び道路地図データが示す道路上の複数の走行位置の各々において行うべき運転支援の内容を示す運転支援マップの少なくとも一方を生成する。
【0023】
従って、道路地図データの道路上の複数の走行位置について、車両のドライバから見える前方を示す画像を生成し、生成された画像に基づいて、認識度を判定し、認識度に基づいて認識度マップ又は運転支援マップを生成することにより、前方から歩行者又は二輪車を認識しづらい走行位置を示すことができ、または、前方から歩行者又は二輪車を認識しづらい走行位置において運転支援を行うことができるため、認識度マップ又は運転支援マップによって、前方の歩行者又は二輪車の認識ミスを防止し、対歩行者事故又は対二輪車事故を防止することができる。
【0024】
第3の発明に係る認識度判定手段を、生成手段によって生成された画像に基づいて、画像の色数及び画像に表された物体の数の少なくとも一方を複数の走行位置の各々について計数する計数手段と、計数手段によって計数された色数及び物体の数の少なくとも一方に基づいて、認識度を複数の走行位置の各々について算出する認識度算出手段とで構成することができる。これにより、前方の画像の色数または物体の数に基づいて、景観の複雑さに応じた認識度を算出することができる。
【0025】
また、第3の発明に係る認識度判定手段を、生成手段によって生成された画像に基づいて、画像の空間周波数を算出する空間周波数算出手段と、空間周波数算出手段によって算出された前記空間周波数と、予め定められた歩行者及び二輪車の少なくとも一方を示す画像の空間周波数とを比較することにより、認識度を複数の走行位置の各々について算出する認識度算出手段とで構成することができる。これにより、生成された前方の画像の空間周波数と、歩行者又は二輪車を示す画像の空間周波数とが同じ場合には、前方から歩行者又は二輪車を認識しづらいことを示す認識度を算出することができる。
【0026】
第3の発明に係るマップ生成装置は、歩行者に関するOD交通量、又は道路地図データが示す道路上の複数の走行位置の各々の歩行者の発生交通量及び集中交通量と道路地図データが示す道路上の各分岐点での分岐確率とに基づいて、道路地図データが示す道路上の走行位置及び時間帯毎に、走行位置及び時間帯に存在する歩行者の数及び歩行者の存在確率の何れか一方を示す歩行者データを生成する歩行者データ生成手段を更に含み、認識度判定手段は、生成手段によって生成された画像及び歩行者データ生成手段によって生成された歩行者データに基づいて、認識度を判定することができる。これにより、生成された前方の画像と各走行位置及び各時間帯に存在する歩行者の数または歩行者の存在確率とに基づいて、認識度を判定するため、精度の高い認識度を判定することができる。
【0027】
また、第3の発明に係るマップ生成装置は、車両に関するOD交通量、又は道路地図データが示す道路上の複数の走行位置の各々の車両の発生交通量及び集中交通量と道路地図データが示す道路上の各分岐点での分岐確率とに基づいて、道路地図データが示す道路上の走行位置及び時間帯毎に、時間帯に走行位置を走行する車両の平均走行速度を示す車両速度データを生成する車両速度データ生成手段を更に含み、認識度判定手段は、生成手段によって生成された画像及び車両速度データ生成手段によって生成された車両速度データに基づいて、認識度を判定することができる。これにより、生成された前方の画像と各時間帯の各走行位置を走行する車両の平均速度とに基づいて、認識度を判定するため、精度の高い認識度を判定することができる。
【0028】
第4の発明に係るプログラムは、コンピュータを、自車両の前方を撮像する撮像手段によって撮像された前方の画像に基づいて、前記画像が示す前方からドライバが歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を判定する認識度判定手段、及び前記認識度判定手段によって判定された認識度に基づいて、運転支援を行う運転支援手段として機能させるためのプログラムである。
【0029】
第5の発明に係るプログラムは、コンピュータを、自車両の走行位置を検出する検出手段、予め定められた道路地図上の走行位置毎に、前記走行位置を走行する車両のドライバが前方から前記歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を記憶した認識度データベースから、前記検出手段によって検出された現在の走行位置に対する認識度を検索する認識度検索手段、予め定められた道路地図上の走行位置及び時間帯毎に、前記走行位置及び前記時間帯に存在する歩行者の数及び前記歩行者の存在確率の何れか一方を記憶した歩行者データベースから、前記検出手段によって検出された現在の走行位置及び現在の時間帯に存在する前記歩行者の数及び前記歩行者の存在確率の何れか一方を検索する歩行者検索手段、及び前記認識度検索手段によって検索された前記認識度と前記歩行者検索手段によって検索された前記歩行者の数及び前記歩行者の存在確率の何れか一方とに基づいて、運転支援を行う運転支援手段として機能させるためのプログラムである。
【0030】
第6の発明に係るプログラムは、コンピュータを、道路情報が地図情報として表された道路地図データ及び前記道路地図データが示す道路上の複数の走行位置の各々からの景観を示す景観データに基づいて、前記道路地図データが示す道路上を走行する車両のドライバから見える前方を示す画像を前記複数の走行位置の各々について生成する生成手段、前記生成手段によって生成された画像に基づいて、前記画像が示す前方から前記ドライバが歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を前記複数の走行位置の各々について判定する認識度判定手段、及び前記認識度判定手段によって判定された認識度に基づいて、前記道路地図データが示す道路上の前記複数の走行位置の各々における前記認識度を示す認識度マップ、及び前記道路地図データが示す道路上の前記複数の走行位置の各々において行うべき運転支援の内容を示す運転支援マップの少なくとも一方を生成するマップ生成手段として機能させるためのプログラムである。
【発明の効果】
【0031】
以上説明したように、本発明の運転支援装置及びプログラムによれば、前方の画像に基づいて判定された認識度に基づいて運転支援を行うことにより、または、現在の走行位置に対する認識度と、現在の走行位置及び現在の時間帯に存在する歩行者の数または歩行者の存在確率とに基づいて運転支援を行うことにより、前方から歩行者又は二輪車を認識しづらい場合には、運転支援を行うことができるため、前方の歩行者又は二輪車の認識ミスを防止し、対歩行者事故又は対二輪車事故を防止することができる、という効果が得られる。
【0032】
また、本発明に係るマップ生成装置及びプログラムによれば、道路地図データの道路上の複数の走行位置について、車両のドライバから見える前方を示す画像を生成し、生成された画像に基づいて判定された認識度に基づいて認識度マップ又は運転支援マップを生成することにより、前方から歩行者又は二輪車を認識しづらい走行位置を示すことができ、または、前方から歩行者又は二輪車を認識しづらい走行位置において運転支援を行うことができるため、認識度マップ又は運転支援マップによって、前方の歩行者又は二輪車の認識ミスを防止し、対歩行者事故又は対二輪車事故を防止することができる、という効果が得られる。
【発明を実施するための最良の形態】
【0033】
以下、図面を参照して、本発明の好適な実施の形態について説明する。なお、本実施の形態では、車両に搭載された運転支援装置に本発明を適用した場合について説明する。
【0034】
図1に示すように、第1の実施の形態に係る運転支援装置10は、自車両の前方に搭載された車載CCDカメラで構成され、自車両の前方の景観画像を撮像するカメラ12と、カメラ12を制御するカメラ制御部14と、カメラ12で撮像された景観画像を示す景観画像データを記憶するためのフレームメモリ16と、撮像された景観画像データに対して、エッジ検出やパターンマッチングなどの所定の画像処理を行う画像演算部18と、画像演算部18による画像処理の結果から、景観画像データが示す前方の景観からドライバが歩行者を認識しようとするときの認識のしやすさの度合いを示す認識度を判定する認識度判定部20と、対歩行者事故を防止するように警報を提示する警報装置22と、認識度判定部20によって判定された認識度に基づいて、警報装置22を制御する警報装置制御部24とを備えている。
【0035】
画像演算部18は、景観画像データが示す景観画像が表す対象物の数を演算する対象物数演算部26と、景観画像データが示す景観画像が表す色の数を演算する対象色数演算部28とを備えている。
【0036】
対象物数演算部26では、図2(A)に示す景観画像や図2(B)に示す景観画像から、景観画像中の対象物を抽出し、対象物の数を演算する。また、対象色数演算部28では、図3に示すように、予め定められた複数の色の各々が景観画像中にあるか否かを判定して、景観画像中の色の数を演算する。また、画像演算部18では、図4に示すように、対象物数演算部26で演算された対象物の数を点数化して対象物数指標(例えば、0点〜10点)を求め、また、図5に示すように、対象色数演算部28で演算された色の数を点数化して、対象色指標(例えば、0点〜10点)を求める。そして、図6に示すように、対象物数指標と対象色指標との平均を取った点数を、景観画像の複雑度として判定する。例えば、景観画像の景観が、ビルの1階がオープンショップである場合や、ゴミや荷物等がおいてある場合などの複雑な場面では、対象物数指標と対象色指標との平均を取った点数が高くなって、歩行者の認識度が低くなり、危険性が高いことを示す。一方、田園地帯やビルの壁だけの場合には、対象物数指標と対象色指標との平均を取った点数が低くなって、歩行者の認識度が高くなり、危険性が低いことを示す。
【0037】
運転支援装置10は、上記の各部を実現するために、後述する運転支援処理ルーチンを実行するためのプログラムが記憶されている。
【0038】
次に、第1の実施の形態に係る運転支援装置10で実行される運転支援処理ルーチンについて図7を用いて説明する。
【0039】
まず、ステップ100において、カメラ12から自車両の前方の景観画像を撮像した景観画像データを取得し、ステップ102で、画像演算部18の対象物数演算部26によって、ステップ100で取得した景観画像データに対して画像処理を行い、対象物を抽出して、抽出された対象物の数を算出する。そして、ステップ104において、画像演算部18の対象色数演算部28によって、ステップ100で取得した景観画像データに対して画像処理を行い、景観画像中の色を抽出して、抽出された色の数を算出する。
【0040】
次のステップ106では、ステップ102で算出された対象物の数を対象物数指標に点数化すると共に、ステップ104で算出された色の数を対象色指標に点数化し、これらの点数から複雑度を判定し、複雑度に基づいて、認識度を判定する。複雑度が高い場合には、低い認識度を算出し、複雑度が低い場合には、高い認識度を算出する。
【0041】
そして、ステップ108において、上記ステップ106で判定された認識度が、しきい値より大きいか否かを判定し、認識度がしきい値より大きい場合には、ドライバが歩行者の認識ミスを起こす可能性が低いと判断し、運転支援処理ルーチンを終了するが、認識度がしきい値以下である場合には、ドライバが歩行者の認識ミスを起こす可能性が高いと判断し、ステップ110で、ドライバに警報を提示して、前方から歩行者を認識しづらいことを知らせて、ドライバに歩行者を確実に認識させて、運転支援処理ルーチンを終了する。なお、上記のしきい値については、実験的又は統計的に、歩行者の認識ミスを起こすような状況における認識度を求めておき、この認識度をしきい値として設定しておけばよい。また、提示される警報の内容は、認識度に応じた内容としてもよい。
【0042】
対歩行者事故で、ドライバの視線が歩行者に向いていた(歩行者が視界に入っていた)にもかかわらず、「歩行者をゴミ袋だと思った」等、歩行者の背後の景観と見間違えることによる事故が多く発生しているが、上記のように運転支援処理ルーチンを実行することにより、景観画像から見間違えが起きそうな場所をドライバに提示することにより、ドライバの注意を喚起することができる。
【0043】
以上説明したように、第1の実施の形態に係る運転支援装置によれば、ドライバの前方の景観画像に基づいて、前方の景観画像中の色数及び対象物の数を算出して、色数及び対象物の数に基づいて、景観の複雑さに応じた認識度を判定し、認識度に基づいて、警報を提示することにより、前方の景観から歩行者を認識しづらい場合には、ドライバに警報を提示することができ、前方の景観中の歩行者の認識ミスを防止し、対歩行者事故を防止することができる。
【0044】
また、カメラから撮像された景観画像データに基づいて判定された認識度に基づいて、警報を提示するため、対歩行者事故の危険性がある箇所をリアルタイムにドライバに提示することができ、対歩行者事故を防止することができる。
【0045】
なお、上記の実施の形態では、歩行者の認識度を判定する場合を例に説明したが、更に、自転車やオートバイなどの二輪車の認識度も判定し、警報を提示することにより、対二輪車事故、対車両事故、対動物事故を防止するようにしてもよい。
【0046】
また、運転支援として、警報の提示を行う場合を例に説明したが、判定された認識度が低い場合に、運転制御を行ってもよい。例えば、走行速度が大きい場合には、速度制御を行ってもよい。
【0047】
また、認識度に基づいて警報制御を行う場合を例に説明したが、認識のしづらさを示す指標として複雑度をそのまま用いて、複雑度に基づいて警報制御を行うようにしてもよい。この場合には、複雑度としきい値とを判定し、複雑度がしきい値より大きい場合に、警告を提示すればよい。
【0048】
また、景観画像中の対象物の数及び色数を算出する場合を例に説明したが、景観画像中の所定の歩行者存在領域の対象物数及び色数を算出するようにしてもよい。
【0049】
また、認識度としきい値との比較結果に応じて警報制御を行う場合を例に説明したが、これに限定されるものではなく、他の指標としきい値との比較結果に応じて警報制御を行ってもよい。この場合には、判定された認識度に応じて、しきい値を変更して、認識度に応じた警報制御が行われるようにすればよい。
【0050】
次に、第2の実施の形態に係る運転支援装置について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して、説明を省略する。
【0051】
第2の実施の形態では、景観画像の空間周波数を用いて認識度を判定している点が第1の実施の形態と異なっている。
【0052】
図8に示すように、第2の実施の形態に係る運転支援装置210の画像演算部218は、景観像データが示す景観画像の空間周波数を演算する周波数演算部226と、景観画像の空間周波数と、予め用意された歩行者を示す画像の空間周波数とを比較する周波数比較部228とを備えている。
【0053】
周波数演算部226では、図9に示すような景観画像の歩行者が存在する所定の歩行者領域(図9では歩道の領域)について、空間周波数を演算し、図10(A)に示すような空間周波数分布を求める。また、周波数比較部228では、周波数演算部226で得られた空間周波数分布と、図10(B)に示すような歩行者画像を示す空間周波数分布とを比較して、比較結果を出力する。
【0054】
また、認識度判定部220は、画像演算部218で得られた比較結果に基づいて、認識度を判定する。例えば、周波数比較部228の比較結果に基づいて、歩行者画像の空間周波数分布で頻度が高くなっている周波数の頻度が、景観画像の空間周波数分布において同様に高いと判断された場合には、景観の中に歩行者が埋もれて、前方の景観から歩行者を認識しづらいため、低い認識度が判定され、一方、歩行者画像の空間周波数分布で頻度が高くなっている周波数の頻度が、景観画像の空間周波数分布において低いと判断された場合には、景観の中に歩行者が埋もれることなく、前方の景観から歩行者を認識しやすいため、高い認識度が判定される。
【0055】
次に、第2の実施の形態に係る運転支援装置210で実行される運転支援処理ルーチンについて図11を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して、詳細な説明を省略する。
【0056】
まず、ステップ100において、カメラ12から景観画像データを取得し、ステップ252で、画像演算部218の周波数演算部226によって、ステップ100で取得した景観画像データに対して画像処理を行い、景観画像の歩行者領域の空間周波数分布を演算する。そして、ステップ254において、画像演算部218の周波数比較部228によって、上記ステップ252で得られた空間周波数分布と歩行者画像の空間周波数分布とを比較し、次のステップ256において、比較結果に基づいて、景観画像の空間周波数分布における歩行者画像の高頻度周波数の頻度に応じた認識度を判定する。
【0057】
そして、ステップ108において、上記ステップ256で判定された認識度が、しきい値より大きいか否かを判定し、認識度がしきい値より大きい場合には、運転支援処理ルーチンを終了するが、認識度がしきい値以下である場合には、ステップ110で、ドライバに警報を提示して、前方から歩行者を認識しづらいことを知らせて、運転支援処理ルーチンを終了する。
【0058】
以上説明したように、第2の実施の形態に係る運転支援装置によれば、前方の景観画像の空間周波数分布と、歩行者を示す画像の空間周波数分布とを比較して、歩行者を示す画像の空間周波数分布で頻度が高い周波数が、前方の景観画像の空間周波数分布においても同様に高い場合には、前方の景観に歩行者が埋もれていると判断し、歩行者を認識しづらいことを示す認識度を判定することができる。
【0059】
なお、歩行者領域を所定の領域として、空間周波数分布を演算する場合を例に説明したが、これに限定されるものではなく、例えば、図12に示すように、歩行者領域を更に複数の小領域に分割し、小領域毎に空間周波数分布を演算し、これらの空間周波数分布の各々と、歩行者画像の空間周波数分布とを比較してもよい。
【0060】
また、認識対象として、歩行者だけでなく、自転車やオートバイなどの二輪車を含めてもよく、この場合には、自転車画像の空間周波数分布やオートバイ画像の空間周波数分布を用意して、前方の景観画像の空間周波数分布と比較すればよい。
【0061】
次に、第3の実施の形態に係る運転支援装置について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して、説明を省略する。
【0062】
第3の実施の形態では、認識度と歩行者存在確率とに基づいて警報を提示している点が第1の実施の形態と異なっている。
【0063】
図13に示すように、第3の実施の形態に係る運転支援装置310は、カメラ12と、カメラ制御部14と、フレームメモリ16と、画像演算部18と、認識度判定部20と、後述する歩行者データを格納した歩行者データベース320と、GPS322と、GPS322により現在の走行位置を測位する位置測位部324と、現在の時刻を計時する時計部326と、位置測位部324によって測位された走行位置及び時計部326から取得する現在時刻に対応する走行データを歩行者データベース320から検索する歩行者データ検索部328と、歩行者データ検索部328によって検索された歩行者データに基づいて、現在の走行位置における歩行者存在確率を演算する歩行者存在確率演算部329と、認識度判定部20によって判定された認識度及び歩行者存在確率演算部329によって演算された歩行者存在確率に基づいて、対歩行者事故が発生する危険性の度合いを示す危険度を判定する危険度判定部330と、警報装置22と、危険度判定部330によって判定された危険度に基づいて、警報装置22を制御する警報装置制御部324とを備えている。
【0064】
歩行者データベース320に格納される歩行者データは、統計データや地図情報に基づいて、時間帯別、曜日別、及び年齢層別に求められた各走行位置の歩行者交通量を示している。歩行者データベース320は、図14に示す歩行者シミュレーション装置370によって生成される。
【0065】
歩行者シミュレーション装置370では、年齢別人口分布データベース372に格納された年齢別人口分布データ、公共交通機関利用状況データベース374に格納された公共交通機関利用状況データ、従業員数生徒数データベース376に格納された従業員数データ又は生徒数データ、道路地図データベース378に格納された道路地図データ、及び土地利用図データベース379に格納された土地利用図データを、データ読み出し部380によって読み出して、歩行者OD交通量推定部382において、読み出されたデータに基づいて、予め定められた時間帯別、曜日別、及び年齢別に、歩行者に関するOD(Origin−Destination)交通量を推定する。
【0066】
さらに、歩行者シミュレーション部384によって、図15に示すように、歩行者OD交通量に基づいて、歩行者シミュレーションを行い、道路地図データが示す道路上の予め定められた場所毎に、図16に示すように、時間帯別、曜日別、及び年齢層別の歩行者交通量を求める。このとき、特に、歩行場所によって危険度が異なるため、歩道(歩車分離かどうか)、歩道橋、単路、横断歩道などの歩行場所も推定することが好ましい。
【0067】
さらに、実測歩行者数データベース392の実測歩行者数データを、データ読み出し部394によって読み出し、歩行者数比較演算部390によって、求められた歩行者交通量と実測歩行者数データとを比較し、求められた歩行者交通量と実測歩行者数データとが合わない場合には、歩行者OD修正部396によって、求められた歩行者交通量が実測歩行者数データに合うように、歩行者OD交通量を修正し、再び、歩行者シミュレーション部384で歩行者シミュレーションを行い、歩行者OD交通量の精密化を行う。
【0068】
以上のようにして、歩行者シミュレーション装置370によって、地図上の各場所について、時間帯別、曜日別、及び年齢層別の歩行者交通量を求め、歩行者データベース320に格納する。
【0069】
また、歩行者存在確率演算部329では、歩行者データが示す歩行者交通量が多ければ、高い歩行者存在確率が演算され、歩行者データが示す歩行者交通量が少なければ、低い歩行者存在確率が演算される。
【0070】
危険度判定部330では、認識度判定部20によって判定された認識度及び歩行者存在確率演算部329によって演算された歩行者存在確率に基づいて、危険度を判定する。例えば、認識度が高く、歩行者存在確率が低い場合には、対歩行者事故が発生する危険性が低いため、低い危険度が判定され、一方、認識度が低く、歩行者存在確率が高い場合には、対歩行者事故が発生する危険性が高いため、高い危険度が判定される。
【0071】
次に、第3の実施の形態に係る運転支援装置310で実行される運転支援処理ルーチンについて図17を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して、詳細な説明を省略する。
【0072】
まず、ステップ100において、カメラ12から景観画像データを取得し、ステップ102で、景観画像データが示す景観画像中の対象物の数を算出し、ステップ104において、景観画像データが示す景観画像中の色の数を算出し、ステップ106では、認識度を算出する。
【0073】
そして、次のステップ350では、GPS322を用いて現在の走行位置を測位し、ステップ352において、時計部326から現在の時刻を取得し、ステップ354において、歩行者データベース320から、現在の走行位置及び現在時刻に対応する歩行者データを検索する。
【0074】
そして、ステップ355において、ステップ354で検索された歩行者データが示す歩行者交通量に基づいて、現在の走行位置における歩行者存在確率を算出し、次のステップ356において、上記ステップ106で判定された認識度及び上記ステップ355で算出された歩行者存在確率に基づいて、危険度を判定する。そして、ステップ358で、上記ステップ356で判定された危険度が、しきい値より大きいか否かを判定し、危険度がしきい値以下である場合には、運転支援処理ルーチンを終了するが、危険度がしきい値より大きい場合には、ステップ110で、ドライバに警報を提示して、前方から歩行者を認識しづらく、対歩行者事故の危険性があることを知らせて、運転支援処理ルーチンを終了する。
【0075】
なお、上記のしきい値については、実験的又は統計的に、対歩行者事故を起こす危険性が高く、警告提示が必要となる状況における危険度を求めておき、この危険度をしきい値として設定しておけばよい。
【0076】
以上説明したように、第3の実施の形態に係る運転支援装置によれば、判定された認識度と、現在の走行位置及び現在の時間帯に存在する歩行者の存在確率とに基づいて、警報制御を行うため、より適切に運転支援を行うことができる。
【0077】
なお、歩行者データベースの歩行者データが歩行者交通量を示している場合を例に説明したが、歩行者存在確率を示す歩行者データを歩行者データベースに格納しておいてもよい。この場合には、歩行者シミュレーション装置によって歩行者存在確率を算出して、歩行者データベースに格納しておけばよい。
【0078】
また、歩行者交通量から歩行者存在確率を算出し、歩行者存在確率を用いて危険度を判定する場合を例に説明したが、歩行者交通量をそのまま用いて危険度を判定してもよい。
【0079】
また、歩行者シミュレーション装置では、歩行者シミュレーションを行う場合を例に説明した、これに限定されるものではなく、歩行者OD交通量に基づいて、配分を行い、歩行者交通量を求めるようにしてもよい。
【0080】
また、歩行者シミュレーション装置では、歩行者OD交通量を入力データとしたが、歩行者OD交通量ではなく、各地点の歩行者の発生交通量及び集中交通量と各分岐点での分岐確率とを入力データとしてもよい。
【0081】
次に、第4の実施の形態に係る運転支援装置について説明する。なお、第1の実施の形態及び第3の実施の形態と同様の構成となる部分については、同一符号を付して、説明を省略する。
【0082】
第4の実施の形態では、景観画像データが示す景観画像の中に歩行者が存在する場合にのみ、認識度と歩行者存在確率とに基づいて警報を提示している点が第3の実施の形態と異なっている。
【0083】
図18に示すように、第4の実施の形態に係る運転支援装置410は、カメラ12と、カメラ制御部14と、フレームメモリ16と、画像演算部18と、認識度判定部20と、歩行者データベース320と、GPS322と、位置測位部324と、時計部326と、歩行者データ検索部328と、歩行者存在確率演算部329と、危険度判定部330と、景観画像データに対して、歩行者認識処理を行い、景観画像の中に歩行者が存在する確度を示す歩行者存在確度を判定する歩行者存在確度判定部420と、警報装置22と、危険度判定部330によって判定された危険度及び歩行者存在確度判定部420によって判定された歩行者存在確度に基づいて、警報装置22を制御する警報装置制御部424とを備えている。
【0084】
歩行者存在確度判定部420は、景観画像データに対して、エッジ検出やパターンマッチングなどの画像処理を含む歩行者認識処理を行い、歩行者認識処理の結果に基づいて、歩行者存在確度を判定する。歩行者画像に類似する画像が、景観画像に含まれる場合には、高い歩行者存在確度が判定され、歩行者画像に類似する画像が、景観画像に含まれない場合には、低い歩行者存在確度が判定される。
【0085】
次に、第4の実施の形態に係る運転支援装置410で実行される運転支援処理ルーチンについて図19を用いて説明する。なお、第3の実施の形態と同様の処理については、同一符号を付して、詳細な説明を省略する。
【0086】
まず、ステップ100において、カメラ12から景観画像データを取得し、ステップ102で、景観画像データが示す景観画像中の対象物の数を算出し、ステップ104において、景観画像データが示す景観画像中の色の数を算出し、ステップ106では、認識度を判定する。
【0087】
そして、次のステップ350では、現在の走行位置を測位し、ステップ352において、現在の時刻を取得し、ステップ354において、歩行者データベース320から、現在の走行位置及び現在時刻に対応する歩行者データを検索する。次のステップ355では、検索された歩行者データが示す歩行者交通量に基づいて、歩行者存在確率を算出し、ステップ356において、認識度及び歩行者存在確率に基づいて、危険度を判定する。
【0088】
そして、ステップ358で、上記ステップ356で判定された危険度が、しきい値より大きいか否かを判定し、危険度がしきい値以下である場合には、運転支援処理ルーチンを終了するが、危険度がしきい値より大きい場合には、ステップ450へ移行する。
【0089】
ステップ450では、上記ステップ100で取得した景観画像データに対して、歩行者認識処理を行い、次のステップ452において、上記ステップ450における歩行者認識処理の結果に基づいて、歩行者存在確度を判定する。そして、ステップ454では、判定された歩行者存在確度がしきい値以下である場合には、前方に歩行者が存在しないと判断し、警報を提示せずに運転支援処理ルーチンを終了するが、歩行者存在確度がしきい値より大きい場合には、前方に歩行者が存在すると判断して、ステップ110で、ドライバに警報を提示して、前方に歩行者が存在する可能性が高く、かつ、前方から歩行者を認識しづらいため、対歩行者事故の危険性があることを知らせて、運転支援処理ルーチンを終了する。
【0090】
以上説明したように、第4の実施の形態に係る運転支援装置によれば、景観画像データから歩行者存在確度を算出し、歩行者存在確度に基づいて、前方に歩行者が存在すると判断された場合にのみ、警報を提示することにより、余計な運転支援による煩わしさを回避することができる。
【0091】
なお、運転支援として、警報の提示を行う場合を例に説明したが、判定された認識度が低い場合に、運転制御を行ってもよい。この場合には、歩行者認識処理において、歩行者が存在する箇所を抽出し、歩行者から遠ざけるように車両制御を行うようにすればよい。
【0092】
次に、第5の実施の形態に係る運転支援装置について説明する。なお、第1の実施の形態及び第3の実施の形態と同様の構成となる部分については、同一符号を付して、説明を省略する。また、景観シミュレーション装置、歩行者シミュレーション装置、及び自動車シミュレーション装置からなるシステムに本発明を適用した場合について説明する。
【0093】
第5の実施の形態では、カメラを設けていない点と、データベースに格納されている認識度及び歩行者データに基づいて算出される歩行者存在確率に基づいて、警報を提示している点とが第3の実施の形態と異なっている。
【0094】
図20に示すように、第5の実施の形態に係る運転支援装置510は、歩行者データベース320と、GPS322と、位置測位部324と、時計部326と、歩行者データ検索部328と、歩行者存在確率演算部329と、後述する認識度を地図上に格納した認識度マップを格納した認識度データベース520と、位置測位部324によって測位された走行位置に対応する認識度を認識度データベース520から検索する認識度検索部522と、認識度検索部522によって検索された認識度及び歩行者存在確率演算部329によって演算された歩行者存在確率に基づいて、危険度を判定する危険度判定部530と、警報装置22と、危険度判定部530によって判定された危険度に基づいて、警報装置22を制御する警報装置制御部324とを備えている。
【0095】
歩行者データベース320は、第4の実施の形態と同様に、歩行者シミュレーション装置によって生成される。また、認識度データベース520に格納されている認識度マップは、図21に示す景観シミュレーション装置540によって生成される。
【0096】
景観シミュレーション装置540は、信号データを格納する信号データベース542と、道路情報が地図情報として表された道路地図データを格納する道路地図データベース544と、道路地図データの道路上の各走行位置からの景観を示す景観データを格納する景観データベース546と、信号データベース542、道路地図データベース544、及び景観データベース546から各データを読み出すデータ読み出し部548と、信号や道路構造を示す交通環境データ及びドライバから視点の前方の景観を示す3次元の前景画像データを作成する交通環境作成部550と、歩行者データベース320と、後述する自動車データを格納する自動車データベース552と、歩行者データベース320及び自動車データベース552から各データを読み出すデータ読み出し部554と、交通環境データ、前景画像データ、歩行者データ、及び自動車データに基づいて、交通流シミュレーションを行う交通流シミュレーション部556とを備えている。
【0097】
交通流シミュレーション部556は、交通流シミュレーションの結果として、歩行者および車両が配置された前方の景観を示す景観画像データを出力する。
【0098】
また、景観シミュレーション装置540は、道路地図データの道路上の各走行位置について、歩行者数(および歩行者の年齢等の属性)や車両速度を更に考慮して、交通流シミュレーション部556によって出力された景観画像データに基づいて、歩行者の認識度を判定する歩行者認識度判定部558と、歩行者認識度判定部558によって判定された認識度を地図上に格納した認識度マップを生成するマップ生成部560とを備えている。
【0099】
景観シミュレーション装置540は、上記各部の機能を実現するためのプログラムが記憶されている。
【0100】
自動車データベース552に格納される自動車データは、統計データや地図情報に基づいて、時間帯、曜日別、及び車種別に求められた各走行位置の交通量を示している。ここで、自動車データベース552は、図22に示す自動車シミュレーション装置570によって生成される。
【0101】
自動車シミュレーション装置570では、道路交通センサスデータベース572に格納された道路交通センサス(あるいはパーソンとリップ調査データ)等のアンケート結果データ、メッシュ別人口データベース574に格納されたメッシュ別人口データ、道路地図データベース576に格納された道路地図データ、及び土地利用図データベース578に格納された土地利用図データを、データ読み出し部580によって読み出して、自動車OD交通量推定部582において、読み出されたデータに基づいて、予め定められた時間帯別、曜日別、及び車種別に、自動車に関するOD交通量を推定する。
【0102】
さらに、交通流シミュレーション部584によって、図23に示すように、交通流シミュレーションを行い、道路地図データが示す道路上の予め定められた場所毎に、時間帯別、曜日別、及び年齢層別の自動車交通量を求める。
【0103】
さらに、実測交通量データベース592の実測交通量データを、データ読み出し部594によって読み出し、交通量比較演算部590によって、求められた自動車交通量と実測交通量データとを比較し、求められた自動車交通量と実測交通量データとが合わない場合には、自動車OD修正部596によって、求められた自動車交通量が実測交通量データに合うように、自動車OD交通量を修正し、再び、交通流シミュレーション部584で交通流シミュレーションを行い、自動車OD交通量の精密化を行う。
【0104】
以上のようにして、自動車シミュレーション装置570によって、地図上の各場所について、時間帯別、曜日別、及び車種別の自動車交通量を求め、自動車データベース552に格納する。
【0105】
なお、自動車シミュレーション装置において、自動車OD交通量を入力データとしたが、自動車OD交通量ではなく、各地点の自動車の発生交通量及び集中交通量と各分岐点での分岐確率とを入力データとしてもよい。
【0106】
また、自動車シミュレーション装置では、自動車交通のみを対象としたが、自動車のみではなく、歩行者、二輪車、自転車等のほかの移動物を同時にシミュレーションしてもよい。
【0107】
次に、景観シミュレーション装置540の動作について説明する。まず、交通環境作成部550によって、信号データ、道路地図データ、及び景観データに基づき、交通環境データ及び前景画像データを作成する。そして、交通流シミュレーション部556によって、作成された交通環境データ、前景画像データ、歩行者データ、及び自動車データを入力データとして、経路選択ロジック、車両挙動モデル、及び歩行者挙動モデルに従い、自動車及び歩行者を移動させることにより、交通流シミュレーションを行って、時々刻々と変化する交通状況を再現し、交通環境に対して歩行者および車両の配置データを得ると共に、道路地図データの道路上の各走行位置について、図24に示すような、自動車のドライバ視点に立った場合の景観画像中に歩行者及び車両を配置した景観画像データを生成する。また、交通流シミュレーションでは、道路地図データの道路上の各走行位置について、自動車の交通量に基づいて、自動車の平均走行速度を算出する。
【0108】
そして、歩行者認識度判定部558によって、生成された景観画像データに基づいて、道路地図データの道路上の各走行位置について、歩行者の認識度を判定する。なお、認識度については、第1の実施の形態または第2の実施の形態で説明した方法と同様に判定すればよい。
【0109】
そして、マップ生成部560によって、判定した認識度をマップ上に格納し、認識度マップを生成する。
【0110】
なお、上記の交通流シミュレーションと認識度判定とは、交通流シミュレーションのタイムステップ毎(例えば1秒毎)に繰り返して行ってもよいし、まとまった所定時間分の交通流シミュレーションを行って、その結果に基づき、まとめて認識度判定を行ってもよい。
【0111】
また、歩行者の認識度判定においては、歩行者数(および歩行者の年齢等の属性)や車両速度を考慮することにより、詳細で正確な認識度を判定することが可能となる。例えば、各場所、各景観、及び各時刻に対する車両の平均走行速度及び歩行者数に基づき、各車両から見た景観に対する歩行者の見え方を点数化する。具体的には、景観画像の対象物数及び対象色数に基づいて景観複雑度S(例えば、0点〜10点)を点数化し、また、図25(A)に示すように、歩行者数に基づいて、歩行者数指標P(例えば、0点〜10点)を点数化する。歩行者数指標Pについては、単に人数が増えれば危険と判断するのではなく、年齢層によって危険度が異なるため、図25(B)に示すように、歩行者数に基づいて点数化された歩行者数指標Pに対して、年齢層に応じた重みをつけて、歩行者数指標Pを算出する。
【0112】
また、図26に示すように、平均走行速度に基づいて、平均走行速度指標V(例えば、0点〜5点)を点数化する。平均走行速度指標Vについては、速度だけでなく、実事故が発生している地点を危険性が高い場所と考え、実事故の件数の重みをつけて平均走行速度指標Vを算出する。
【0113】
そして、景観複雑度S、歩行者指標P、及び平均走行速度指標Vの点数の積(S×P×V)を求め、図27に示すように、点数の積が高いほど、歩行者を認識しづらく、危険性が高いと判断して、低い認識度を判定し、一方、点数の積が低いほど、歩行者を認識しやすく、危険性が低いと判断して、高い認識度を判定する。なお、危険性が高いと判断した場合には、危険時刻と危険歩行者の特徴とを出力することが好ましい。
【0114】
次に、第5の実施の形態に係る運転支援装置510で実行される運転支援処理ルーチンについて図28を用いて説明する。なお、第3の実施の形態と同様の処理については、同一符号を付して、詳細な説明を省略する。
【0115】
まず、ステップ350では、GPS322を用いて現在の走行位置を測位し、ステップ600において、認識度データベース520の認識度マップから現在の走行位置に対応する認識度を検索する。
【0116】
そして、ステップ352において、時計部326から現在の時刻を取得し、ステップ354において、歩行者データベース320から、現在の走行位置及び現在時刻に対応する歩行者データを検索し、ステップ355において、ステップ354で検索された歩行者データが示す歩行者交通量に基づいて、歩行者存在確率を算出し、次のステップ356において、上記ステップ600で判定された認識度及び上記ステップ355で算出された歩行者存在確率に基づいて、危険度を判定する。そして、ステップ358で、判定された危険度が、しきい値より大きいか否かを判定し、危険度がしきい値以下である場合には、運転支援処理ルーチンを終了するが、危険度がしきい値より大きい場合には、ステップ110で、ドライバに警報を提示して、運転支援処理ルーチンを終了する。
【0117】
以上説明したように、第5の実施の形態に係る運転支援装置によれば、認識度マップからの現在の走行位置に対する認識度と、現在の走行位置及び現在の時間帯に対応する歩行者存在確率とに基づいて、警報制御を行うことにより、前方から歩行者を認識しづらく、歩行者が存在して危険な場合には、警報を提示することができるため、前方の景観中の歩行者の認識ミスを防止し、対歩行者事故を防止することができる。
【0118】
また、第5の実施の形態に係る景観シミュレーション装置によれば、道路地図データの道路上の各走行位置について、車両のドライバから見える前方を示す景観画像データを生成し、生成された景観画像データに基づいて、認識度を判定し、認識度に基づいて認識度マップを生成することにより、前方の景観中の歩行者を認識しづらい走行位置をラベリングすることができる。
【0119】
また、認識度マップについて、前方の景観画像データと各走行位置及び各時間帯に対する歩行者存在確率とに基づいて、認識度を判定するため、精度の高い認識度を認識度マップに格納することができる。また、更に、各時間帯の各走行位置を走行する車両の平均走行速度を考慮して、認識度を判定するため、より精度の高い認識度を認識度マップに格納することができる。
【0120】
また、認識度マップにより、景観画像から見間違えが起きそうな場所をラベリングし、ドライバに提示することができる。
【0121】
なお、運転支援装置では、認識度マップにおいて、低い認識度が格納されている走行位置において、警報を提示する場合を例に説明したが、認識度が低く危険箇所に近づいているときに、警報を提示するようにしてもよい。
【0122】
次に、第6の実施の形態について説明する。なお、第5の実施の形態と同様の構成となる部分については、同一符号を付して、説明を省略する。
【0123】
第6の実施の形態では、景観シミュレーション装置において、歩行者データベース及び自動車データベースを入力としないで、認識度マップを生成している点が第5の実施の形態と異なっている。
【0124】
図29に示すように、第6の実施の形態に係る景観シミュレーション装置640は、信号データベース542と、道路地図データベース544と、景観データベース546と、データ読み出し部548と、交通環境作成部550と、交通環境データ及び前景画像データに基づいて、自動車のドライバ視点に立った場合の、歩行者の認識度を判定する歩行者認識度判定部658と、歩行者認識度判定部658によって判定された認識度を、地図上に格納した認識度マップを生成するマップ生成部560とを備えている。
【0125】
次に、景観シミュレーション装置640の動作について説明する。まず、交通環境作成部550によって、信号データ、道路地図データ、景観データに基づき、交通環境データおよび前景画像データを作成する。そして、歩行者認識度判定部558によって、作成された交通環境データおよび前景画像データに基づいて、道路地図上の各走行位置について、自動車のドライバ視点に立った場合の歩行者の認識度を判定する。
【0126】
そして、マップ生成部560によって、判定した認識度をマップ上に格納し、認識度マップを生成する。
【0127】
なお、生成された認識度マップを用いて運転支援を行う場合には、第5の実施の形態と同様の運転支援装置を用いればよいため、運転支援装置の構成及び動作については説明を省略する。
【0128】
このように、交通流シミュレーションを行わずに、簡単な構成で、認識度マップを生成することができる。
【0129】
次に、第7の実施の形態について説明する。第7の実施の形態では、景観シミュレーション装置において、認識度を格納した認識度マップを生成するのではなく、地図上の各走行位置において必要とされる運転支援の内容を格納した運転支援必要度マップを生成する。
【0130】
景観シミュレーション装置では、交通流シミュレーションによって認識度を判定し、判定された認識度に基づいて、提示されることが必要とされる警告情報(例えば、「歩行者が認識しにくい地点です。ご注意下さい。」)を生成し、図30に示すように、提示される警告情報を地図上に格納して運転支援必要度マップを生成する。
【0131】
また、図31に示すように、交通流シミュレーションにおける歩行者の配置情報に基づいて、歩行者の位置を追加した警告情報(例えば、「左側前方に歩行者がいる可能性があります。ご注意下さい。」)を生成して、運転支援必要度マップに格納してもよい。また、図32に示すように、交通流シミュレーションにおいて配置される歩行者数に応じた警告情報(例えば、「左側前方の歩行者にご注意下さい。」)を生成し、運転支援必要度マップに格納してもよい。
【0132】
そして、上記の運転支援必要度マップを用いた運転支援装置では、現在の走行位置に対応する警告情報を、運転支援必要度マップを格納した運転支援必要度データベースから検索して、検索された警告情報に基づいて、警報装置によって警報を提示する。
【0133】
このように、運転支援必要度マップにより、景観画像から見間違えが起きそうな場所に、提示すべき警報情報をラベリングし、ドライバに警報を提示することにより、前方の歩行者の認識ミスを防止し、対歩行者事故を防止することができる。
【図面の簡単な説明】
【0134】
【図1】本発明の第1の実施の形態に係る運転支援装置を示すブロック図である。
【図2】(A)田園地帯における景観画像のイメージ図、及び(B)景観が複雑な場合の景観画像のイメージ図である。
【図3】対象色数の算出を説明するための図である。
【図4】対象物数と点数化した対象物数指標との対応関係を示す表である。
【図5】対象色数と点数化した対象色指標との対応関係を示す表である。
【図6】対象色指標と対象物数指標とに基づく複雑度の算出を説明するための図である。
【図7】本発明の第1の実施の形態に係る運転支援装置で実行される運転支援処理ルーチンの内容を示すフローチャートである。
【図8】本発明の第2の実施の形態に係る運転支援装置を示すブロック図である。
【図9】景観画像の歩道領域を説明するための図である。
【図10】(A)景観画像の空間周波数分布を示すグラフ、及び(B)歩行者画像の空間周波数分布を示すグラフである。
【図11】本発明の第2の実施の形態に係る運転支援装置で実行される運転支援処理ルーチンの内容を示すフローチャートである。
【図12】景観画像を複数の小領域に分割した場合を示すイメージ図である。
【図13】本発明の第3の実施の形態に係る運転支援装置を示すブロック図である。
【図14】歩行者シミュレーション装置を示すブロック図である。
【図15】歩行者シミュレーションの様子を説明するための図である。
【図16】時間帯別及び年齢層別の歩行者交通量を示すグラフである。
【図17】本発明の第3の実施の形態に係る運転支援装置で実行される運転支援処理ルーチンの内容を示すフローチャートである。
【図18】本発明の第4の実施の形態に係る運転支援装置を示すブロック図である。
【図19】本発明の第4の実施の形態に係る運転支援装置で実行される運転支援処理ルーチンの内容を示すフローチャートである。
【図20】本発明の第5の実施の形態に係る運転支援装置を示すブロック図である。
【図21】景観シミュレーション装置を示すブロック図である。
【図22】自動車シミュレーション装置を示すブロック図である。
【図23】交通流シミュレーションの様子を説明するための図である。
【図24】交通流シミュレーションによって生成された景観画像データを示すイメージ図である。
【図25】(A)歩行者数と点数化された歩行者数指標Pとの対応関係を示す表、及び(B)年齢層毎の重みを示す表である。
【図26】(A)速度と点数化された速度指標Vとの対応関係を示す表、及び(B)実際の事故件数による重みを示す表である。
【図27】全ての点数の積と認識度との対応関係を示す表である。
【図28】本発明の第5の実施の形態に係る運転支援装置で実行される運転支援処理ルーチンの内容を示すフローチャートである。
【図29】第6の実施の形態に係る景観シミュレーション装置を示すブロック図である。
【図30】運転支援必要度マップの内容を示すイメージ図である。
【図31】運転支援必要度マップの内容を示すイメージ図である。
【図32】運転支援必要度マップの内容を示すイメージ図である。
【符号の説明】
【0135】
10、210、310、410、510 運転支援装置
12 カメラ
18、218 画像演算部
20、220 認識度判定部
22 警報装置
24、324、424 警報装置制御部
26 対象物数演算部
28 対象色数演算部
226 周波数演算部
228 周波数比較部
320 歩行者データベース
324 位置測位部
326 時計部
328 歩行者データ検索部
329 歩行者存在確率演算部
330 危険度判定部
370 歩行者シミュレーション装置
378、544、576 道路地図データベース
382 歩行者OD交通量推定部
384 歩行者シミュレーション部
420 歩行者存在確度判定部
520 認識度データベース
522 認識度検索部
530 危険度判定部
540、640 景観シミュレーション装置
546 景観データベース
550 交通環境作成部
552 自動車データベース
556、584 交通流シミュレーション部
558、658 歩行者認識度判定部
560 マップ生成部
570 自動車シミュレーション装置
582 自動車OD交通量推定部

【特許請求の範囲】
【請求項1】
自車両の前方を撮像する撮像手段と、
前記撮像手段によって撮像された前方の画像に基づいて、前記画像が示す前方からドライバが歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を判定する認識度判定手段と、
前記認識度判定手段によって判定された認識度に基づいて、運転支援を行う運転支援手段と、
を含む運転支援装置。
【請求項2】
前記認識度判定手段を、前記撮像手段によって撮像された前方の画像に基づいて、前記画像の色数及び前記画像に表された物体の数の少なくとも一方を計数する計数手段と、前記計数手段によって計数された前記色数及び物体の数の少なくとも一方に基づいて、前記認識度を算出する認識度算出手段とで構成した請求項1記載の運転支援装置。
【請求項3】
前記計数手段は、前記画像の所定の計数領域の色数及び前記画像の前記所定の計数領域に表された物体の数の少なくとも一方を計数する請求項2記載の運転支援装置。
【請求項4】
前記認識度判定手段を、前記撮像手段によって撮像された前方の画像に基づいて、前記画像の空間周波数を算出する空間周波数算出手段と、前記空間周波数算出手段によって算出された前記空間周波数と、予め定められた歩行者及び二輪車の少なくとも一方を示す画像の空間周波数とを比較することにより、前記認識度を算出する認識度算出手段とで構成した請求項1記載の運転支援装置。
【請求項5】
前記空間周波数算出手段は、前記画像の所定の算出領域の空間周波数を算出する請求項4記載の運転支援装置。
【請求項6】
自車両の走行位置を検出する検出手段と、
予め定められた道路地図上の走行位置及び時間帯毎に、前記走行位置及び前記時間帯に存在する歩行者の数及び該歩行者の存在確率の何れか一方を記憶した歩行者データベースと、
前記歩行者データベースから、前記検出手段によって検出された現在の走行位置及び現在の時間帯に存在する歩行者の数及び該歩行者の存在確率の何れか一方を検索する検索手段とを更に含み、
前記運転支援手段は、前記認識度判定手段によって判定された認識度と、前記検索手段によって検索された前記歩行者の数及び前記歩行者の存在確率の何れか一方とに基づいて、運転支援を行う請求項1〜請求項5の何れか1項記載の運転支援装置。
【請求項7】
前記撮像手段によって撮像された前方の画像に基づいて、前記画像が示す前方に歩行者及び二輪車の少なくとも一方が存在するか否かを判定する存在判定手段を更に含み、
前記運転支援手段は、前記存在判定手段によって前記歩行者及び二輪車の少なくとも一方が存在すると判定された場合、前記認識度判定手段によって判定された認識度に基づいて、運転支援を行い、前記存在判定手段によって前記歩行者及び二輪車の少なくとも一方が存在しないと判定された場合、運転支援を行わない請求項1〜請求項6の何れか1項記載の運転支援装置。
【請求項8】
自車両の走行位置を検出する検出手段と、
予め定められた道路地図上の走行位置毎に、前記走行位置を走行する車両のドライバが前方から前記歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を記憶した認識度データベースと、
予め定められた道路地図上の走行位置及び時間帯毎に、前記走行位置及び前記時間帯に存在する歩行者の数及び前記歩行者の存在確率の何れか一方を記憶した歩行者データベースと、
前記認識度データベースから、前記検出手段によって検出された現在の走行位置に対する認識度を検索する認識度検索手段と、
前記歩行者データベースから、前記検出手段によって検出された現在の走行位置及び現在の時間帯に存在する前記歩行者の数及び前記歩行者の存在確率の何れか一方を検索する歩行者検索手段と、
前記認識度検索手段によって検索された前記認識度と前記歩行者検索手段によって検索された前記歩行者の数及び前記歩行者の存在確率の何れか一方とに基づいて、運転支援を行う運転支援手段と、
を含む運転支援装置。
【請求項9】
道路情報が地図情報として表された道路地図データ及び前記道路地図データが示す道路上の複数の走行位置の各々からの景観を示す景観データに基づいて、前記道路地図データが示す道路上を走行する車両のドライバから見える前方を示す画像を前記複数の走行位置の各々について生成する生成手段と、
前記生成手段によって生成された画像に基づいて、前記画像が示す前方から前記ドライバが歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を前記複数の走行位置の各々について判定する認識度判定手段と、
前記認識度判定手段によって判定された認識度に基づいて、前記道路地図データが示す道路上の前記複数の走行位置の各々における前記認識度を示す認識度マップ、及び前記道路地図データが示す道路上の前記複数の走行位置の各々において行うべき運転支援の内容を示す運転支援マップの少なくとも一方を生成するマップ生成手段と、
を含むマップ生成装置。
【請求項10】
前記認識度判定手段を、前記生成手段によって生成された画像に基づいて、前記画像の色数及び前記画像に表された物体の数の少なくとも一方を前記複数の走行位置の各々について計数する計数手段と、前記計数手段によって計数された前記色数及び物体の数の少なくとも一方に基づいて、前記認識度を前記複数の走行位置の各々について算出する認識度算出手段とで構成した請求項9記載のマップ生成装置。
【請求項11】
前記認識度判定手段を、前記生成手段によって生成された画像に基づいて、前記画像の空間周波数を算出する空間周波数算出手段と、前記空間周波数算出手段によって算出された前記空間周波数と、予め定められた歩行者及び二輪車の少なくとも一方を示す画像の空間周波数とを比較することにより、前記認識度を前記複数の走行位置の各々について算出する認識度算出手段とで構成した請求項9記載のマップ生成装置。
【請求項12】
歩行者に関するOD交通量、又は前記複数の走行位置の各々の歩行者の発生交通量及び集中交通量と前記道路地図データが示す道路上の各分岐点での分岐確率とに基づいて、前記道路地図データが示す道路上の走行位置及び時間帯毎に、前記走行位置及び前記時間帯に存在する歩行者の数及び前記歩行者の存在確率の何れか一方を示す歩行者データを生成する歩行者データ生成手段を更に含み、
前記認識度判定手段は、前記生成手段によって生成された画像及び前記歩行者データ生成手段によって生成された歩行者データに基づいて、前記認識度を判定する請求項9〜請求項11の何れか1項記載のマップ生成装置。
【請求項13】
車両に関するOD交通量、又は前記複数の走行位置の各々の車両の発生交通量及び集中交通量と前記道路地図データが示す道路上の各分岐点での分岐確率とに基づいて、前記道路地図データが示す道路上の走行位置及び時間帯毎に、前記時間帯に前記走行位置を走行する車両の平均走行速度を示す車両速度データを生成する車両速度データ生成手段を更に含み、
前記認識度判定手段は、前記生成手段によって生成された画像及び前記車両速度データ生成手段によって生成された車両速度データに基づいて、前記認識度を判定する請求項9〜請求項12の何れか1項記載のマップ生成装置。
【請求項14】
コンピュータを、
自車両の前方を撮像する撮像手段によって撮像された前方の画像に基づいて、前記画像が示す前方からドライバが歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を判定する認識度判定手段、及び
前記認識度判定手段によって判定された認識度に基づいて、運転支援を行う運転支援手段
として機能させるためのプログラム。
【請求項15】
コンピュータを、
自車両の走行位置を検出する検出手段、
予め定められた道路地図上の走行位置毎に、前記走行位置を走行する車両のドライバが前方から前記歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を記憶した認識度データベースから、前記検出手段によって検出された現在の走行位置に対する認識度を検索する認識度検索手段、
予め定められた道路地図上の走行位置及び時間帯毎に、前記走行位置及び前記時間帯に存在する歩行者の数及び前記歩行者の存在確率の何れか一方を記憶した歩行者データベースから、前記検出手段によって検出された現在の走行位置及び現在の時間帯に存在する前記歩行者の数及び前記歩行者の存在確率の何れか一方を検索する歩行者検索手段、及び
前記認識度検索手段によって検索された前記認識度と前記歩行者検索手段によって検索された前記歩行者の数及び前記歩行者の存在確率の何れか一方とに基づいて、運転支援を行う運転支援手段
として機能させるためのプログラム。
【請求項16】
コンピュータを、
道路情報が地図情報として表された道路地図データ及び前記道路地図データが示す道路上の複数の走行位置の各々からの景観を示す景観データに基づいて、前記道路地図データが示す道路上を走行する車両のドライバから見える前方を示す画像を前記複数の走行位置の各々について生成する生成手段、
前記生成手段によって生成された画像に基づいて、前記画像が示す前方から前記ドライバが歩行者及び二輪車の少なくとも一方を認識しようとするときの認識のしやすさの度合いを示す認識度を前記複数の走行位置の各々について判定する認識度判定手段、及び
前記認識度判定手段によって判定された認識度に基づいて、前記道路地図データが示す道路上の前記複数の走行位置の各々における前記認識度を示す認識度マップ、及び前記道路地図データが示す道路上の前記複数の走行位置の各々において行うべき運転支援の内容を示す運転支援マップの少なくとも一方を生成するマップ生成手段
として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate


【公開番号】特開2008−146549(P2008−146549A)
【公開日】平成20年6月26日(2008.6.26)
【国際特許分類】
【出願番号】特願2006−335645(P2006−335645)
【出願日】平成18年12月13日(2006.12.13)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】