運転記録装置および地図作成システム
【課題】ヒヤリハット事例が発生した場合の対象や事象を解析するための情報を取得することが可能な運転記録装置およびヒヤリハット地図を作成する地図作成システムを提供する。
【解決手段】時系列の画像データから２次元オプティカルフローを算出する３次元計測部１と、２次元オプティカルフローに基づいて、自車両との接触の可能性のある画像内の領域を障害物判定候補領域として検出する障害物検出部２と、障害物判定候補領域に対して、距離情報に基づいて、自車両と障害物判定候補領域に写し出されている物体とが衝突するか否かを判定し、衝突までの時間が、回避可能時間に比較して余裕がない場合にはトリガ信号を発する衝突可能性判定部３と、トリガ信号のタイミングで、画像データを記録する記録部４と、画像データが記録された時点での位置情報を記録部４に与える位置情報取得部５とを備えている。
【解決手段】時系列の画像データから２次元オプティカルフローを算出する３次元計測部１と、２次元オプティカルフローに基づいて、自車両との接触の可能性のある画像内の領域を障害物判定候補領域として検出する障害物検出部２と、障害物判定候補領域に対して、距離情報に基づいて、自車両と障害物判定候補領域に写し出されている物体とが衝突するか否かを判定し、衝突までの時間が、回避可能時間に比較して余裕がない場合にはトリガ信号を発する衝突可能性判定部３と、トリガ信号のタイミングで、画像データを記録する記録部４と、画像データが記録された時点での位置情報を記録部４に与える位置情報取得部５とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラを用いて得られた３次元情報に基づいて算出された速度情報、車間距離情報等を用いて進路上の障害物を検出し、当該障害物との衝突の可能性を判定して、ヒヤリハット情報として記録する運転記録装置、および運転記録装置に蓄積されたヒヤリハット情報に基づいて状況を解析し、ヒヤリハット地図を作成する地図作成システムに関する。
【背景技術】
【０００２】
交通事故の削減は陸運業界において重要な課題である。運転者教育に際しては、事故に至る寸前の事例、いわゆるヒヤリハット事例に基づいて作成されたヒヤリハット地図が重要との認識が広がっている。これは、ヒヤリハット地点では、どのような対象に対して、どのような配慮をした運転を行うのが良いかを事前に把握しておくことが、事故防止に有効と考えられているからである。
【０００３】
例えば 特許文献１では、運転者による車両の操作情報に基づき、運転者が運転中にヒヤリハット事例に遭遇して緊急的に行われた操作が発生したと推定した場合は、当該情報および車両の走行情報および位置情報を情報センターに送信し、情報センターにおいてそれらの情報に基づいてヒヤリハット地図を作成する構成が開示されている。
【０００４】
また、特許文献２においては、車両に搭載されたドライブレコーダーにヒヤリハット事例が発生した地点の情報を保存しておき、ＧＰＳ（Global Positioning System）からの位置信号に基づいて車両がヒヤリハット地点に接近していると判断された場合には、運転者に警告を与える構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３２３２８１号公報
【特許文献２】特開２００８−６５５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した何れの先行技術においても、車両の走行情報および位置情報はヒヤリハット地図に含まれてはいるが、ヒヤリハット事例の対象や事象は含まれていない。これは、位置情報はＧＰＳにより自動的に地図上に記録することができるが、ヒヤリハット事例が発生した対象や事象については、記録された画像や、運転者からの聞き取りに基づいて、人手により解析して地図上に記録しなければならず、自動化が難しかったからである。ヒヤリハット事例の対象や事象が含まれていないヒヤリハット地図では、運転者は何に注意すべきかが判らず、効果が半減する。
【０００７】
本発明は上記のような問題点を解消するためになされたもので、ヒヤリハット事例が発生した場合の対象や事象を解析するための情報を取得することが可能な運転記録装置およびヒヤリハット地図を作成する地図作成システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る運転記録装置の第１の態様は、車両に搭載されたステレオカメラで撮影された画像データから３次元画像情報を取得する３次元計測部と、前記３次元計測部で算出された３次元画像情報に基づいて、自車両との接触の可能性のある画像内の領域を障害物判定候補領域として検出する障害物検出部と、前記障害物検出部で検出された前記障害物判定候補領域に対して、距離情報に基づいて、自車両と障害物判定候補領域内の物体とが衝突する可能性があるか否かを判定する衝突可能性判定部と、前記衝突可能性判定部で、前記自車両が前記物体と衝突する可能性があると判定された場合に、その時点の前後の前記画像データを少なくとも記録する記録部とを備えている。
【０００９】
本発明に係る運転記録装置の第２の態様は、前記記録部には、前記衝突可能性判定部で、前記自車両が前記物体と衝突する可能性があると判定された時点での前記自車両の位置情報が記録される。
【００１０】
本発明に係る運転記録装置の第３の態様は、前記記録部には、前記物体の大きさの情報、動きの情報および速度情報がさらに記録される。
【００１１】
本発明に係る運転記録装置の第４の態様は、前記障害物検出部は、第１画像内の所定の領域に対し、予め設定された所定値と現在の２次元オプティカルフローとの差を求め、この求めた差が所定の第１閾値以上である場合に、前記第１画像内の前記所定の領域を障害物判定候補領域として抽出する。
【００１２】
本発明に係る運転記録装置の第５の態様は、前記障害物検出部における前記予め設定された所定値は、過去の２次元オプティカルフローである。
【００１３】
本発明に係る運転記録装置の第６の態様は、前記障害物検出部における前記予め設定された所定値は、前記画像データに写し出された道路面の２次元オプティカルフローである。
【００１４】
本発明に係る運転記録装置の第７の態様は、前記衝突可能性判定部は、前記障害物検出部で抽出された前記障害物判定候補領域に対し、前記２次元オプティカルフローおよび前記３次元画像情報に含まれる距離情報に基づいて、３次元オプティカルフローを求め、前記障害物判定候補領域に対し、前記３次元オプティカルフローに基づいて、前記自車両と前記物体との衝突の可能性を判定する。
【００１５】
本発明に係る運転記録装置の第８の態様は、前記衝突可能性判定部は、前記自車両を含む立体を仮想した場合に、前記３次元オプティカルフローを含む線分と前記立体の境界面とが交差するか否かを判定することによって、前記自車両と前記物体とが衝突するか否かを判定する。
【００１６】
本発明に係る地図作成システムの第１の態様は、運転記録装置の第３の態様の前記記録部に記録された情報を取り込み、ヒヤリハット事例を解析してヒヤリハット地図を作成する地図作成システムであって、前記記録部に記録された前記情報に基づいてヒヤリハット事例を解析し、ヒヤリハット対象およびヒヤリハット事象を分類する判定部と、前記判定部で分類した前記ヒヤリハット対象および前記ヒヤリハット事象を、前記自車両の前記位置情報に基づいて地図上に書き込むことで前記ヒヤリハット地図を作成する地図作成部とを備えている。
【００１７】
本発明に係る地図作成システムの第２の態様は、前記判定部は、前記障害物判定候補領域内の前記物体の前記大きさの情報に基づいて、前記ヒヤリハット対象が、自動車、自動二輪車、自転車および人の何れであるかの分類を行うとともに、前記障害物判定候補領域内の前記物体の前記動きの情報および前記速度の情報に基づいて、前記自車両および前記物体の予測進路を取得し、前記自車両および前記物体のそれぞれの前記予測進路の交差角度と前記ヒヤリハット対象の分類結果とに基づいて、前記ヒヤリハット事象を分類する。
【００１８】
本発明に係る地図作成システムの第３の態様は、前記判定部は、前記自車両および前記物体のそれぞれの前記予測進路の前記交差角度が６０゜以上９０゜未満である場合に、前記ヒヤリハット対象が前記自動車であれば、出会い頭によるヒヤリハット事象と分類し、前記ヒヤリハット対象が前記自動二輪車、前記自転車および前記人の何れかである場合は飛び出しによるヒヤリハット事象と分類し、前記交差角度が２０゜以上６００゜未満である場合に、前記ヒヤリハット対象が前記自動車、前記自動二輪車および前記自転車の何れかである場合は割り込みによるヒヤリハット事象と分類し、前記交差角度が２０゜未満である場合に、前記ヒヤリハット対象が前記自動車、前記自動二輪車および前記自転車の何れかである場合は追突によるヒヤリハット事象と分類する。
【発明の効果】
【００１９】
本発明に係る運転記録装置の第１の態様によれば、記録部には、衝突可能性判定部で、自車両が物体と衝突する可能性があると判定された場合に、その時点の前後の画像データが記録されているので、記録部の情報に基づいてヒヤリハット事例を解析することができる。
【００２０】
本発明に係る運転記録装置の第２の態様によれば、記録部には、衝突可能性判定部で、自車両が物体と衝突する可能性があると判定された時点での自車両の位置情報が記録されているので、ヒヤリハット事例の発生位置を特定することができる。
【００２１】
本発明に係る運転記録装置の第３の態様によれば、記録部には、物体の大きさの情報、動きの情報および速度情報も記録されているので、これらの情報を用いてヒヤリハット事例を自動的に解析することができる。
【００２２】
本発明に係る運転記録装置の第４の態様によれば、２次元オプティカルフローは、画像中の注目点がどの方向にどれだけ移動しているかを表す速度ベクトルであるので、第１画像内の所定の領域における２次元オプティカルフローを用いることによって、障害物判定候補領域を抽出することができる。
【００２３】
本発明に係る運転記録装置の第５の態様によれば、第１画像内の所定の領域に対し、過去の２次元オプティカルフローと現在の２次元オプティカルフローとを比較することによって、障害物判定候補領域を抽出することができる。
【００２４】
本発明に係る運転記録装置の第６の態様によれば、道路面は、自車両と衝突の可能性のない物体であるので、障害物判定候補領域を漏れなく抽出することができる。
【００２５】
本発明に係る運転記録装置の第７の態様によれば、衝突判定が３次元オプティカルフローによって行われるので、より正確に衝突判定を行うことができる。
【００２６】
本発明に係る運転記録装置の第８の態様によれば、３次元オプティカルフローを含む線分と立体の境界面とが交差するか否かという比較的簡易な情報処理で、衝突判定を行うことができる。
【００２７】
本発明に係る地図作成システムの第１の態様によれば、ヒヤリハット対象およびヒヤリハット事象が書き込まれたヒヤリハット地図を得ることができる。
【００２８】
本発明に係る地図作成システムの第２の態様によれば、ヒヤリハット対象およびヒヤリハット事象の解析を自動的に行うことができる。
【００２９】
本発明に係る地図作成システムの第３の態様によれば、比較的簡単な処理でヒヤリハット対象およびヒヤリハット事象の解析を行うことができる。
【図面の簡単な説明】
【００３０】
【図１】一般的なヒヤリハット地図の一例を示す図である。
【図２】本発明に係る運転記録装置および地図作成システムの構成を示すブロック図である。
【図３】本発明に係る運転記録装置の動作を説明するフローチャートである。
【図４】時系列ステレオ画像における対応点探索について説明するための図である。
【図５】位相限定相関法により得られた結果を示す図である。
【図６】所定の基準面における２次元オプティカルフローを説明するための図である。
【図７】所定の基準面上に存在する物体における２次元オプティカルフローを説明するための図である。
【図８】領域分割を行って候補領域の抽出を実行する場合における領域分割の仕方を説明するための図である。
【図９】撮影カメラの位置と撮影条件との関係を説明するための図である。
【図１０】視差の２乗とオプティカルフローの垂直成分との関係を示す図である。
【図１１】視差の２乗とオプティカルフローの垂直成分との関係から得られる直線を示す図である。
【図１２】３次元オプティカルフローの算出処理を説明するための図である。
【図１３】第１の衝突可能性判定処理を説明するための図である。
【図１４】第２の衝突可能性判定処理を説明するための図である。
【図１５】画素ブロックに距離情報を振り当てた立体物マップを示す図である。
【図１６】ヒヤリハット対象、事象判定部での解析例を示す図である。
【図１７】ヒヤリハット対象、事象判定部での解析例を示す図である。
【図１８】ヒヤリハット対象、事象判定部での解析例を示す図である。
【図１９】ヒヤリハット対象、事象判定部での解析例を示す図である。
【図２０】本発明に係る地図作成システムにより得られたヒヤリハット地図の一例を示す図である。
【図２１】本発明に係る運転記録装置の変形例の構成を示すブロック図である。
【図２２】本発明に係る運転記録装置の変形例の構成を示すブロック図である。
【発明を実施するための形態】
【００３１】
＜一般的なヒヤリハット地図の一例＞
図１に、一般的なヒヤリハット地図の一例を示す。一般的なヒヤリハット地図は、車両の運行領域において過去にどこでヒヤリハット事例が生じたかを示しており、図１においては、出発地点ＳＰと目的地点ＯＰとの間における、車両のこれからの予想運行ルート（複数）を破線で重畳した図となっている。運転者に、このような地図を事前にチェックさせ、記憶させておくことで運転に際して注意を払うべき地点を認識させることができ、有効な安全運転教育ができる。
【００３２】
ところが、図１の地図においては、ヒヤリハット事例の発生点は把握できても、どのような対象に対して、どのような配慮をした運転を行うのが良いかが判らない。
【００３３】
一般的なドライブレコーダーにおいては、加速度情報などを用いてヒヤリハット事例の発生を判定し、ヒヤリハット事例が発生した場合には、ＧＰＳからの位置情報とともにヒヤリハット事例の画像を記録することが可能であるので、それらの情報を用いることで、図１のようなヒヤリハット地図を自動的に作成することができる。しかし、従来のドライブレコーダーからの情報では、発生したヒヤリハット事例の対象や事象を自動的に特定することは困難であり、人手による解析では手間がかかり過ぎ、地図への記録がなされていないというのが実状である。
【００３４】
＜実施の形態＞
図２は、本発明に係る運転記録装置１００および地図作成システム１０の構成を示すブロック図である。
【００３５】
＜運転記録装置の構成＞
図２に示すように、運転記録装置１００は、車両に搭載されたステレオカメラＳＣで撮影されたステレオ画像から基準画像の画素ブロックごとに参照画像上の対応点探索を行い、視差を算出して得られる画素ブロックごとの３次元座標から、距離情報を含む３次元画像情報を取得するとともに、時系列の画像データから２次元オプティカルフローを算出する３次元計測部１と、３次元計測部１で得られた２次元オプティカルフローに基づいて、自車両との接触の可能性のある画像内の領域を障害物判定候補領域として検出する障害物検出部２と、障害物検出部２で検出された障害物判定候補領域に対して、距離情報に基づいて、自車両と障害物判定候補領域に写し出されている物体とが衝突するか否かを判定し、衝突までの時間が、回避可能時間に比較して余裕がない場合にはトリガ信号を発する衝突可能性判定部３と、衝突可能性判定部３がトリガ信号を発するタイミングで、３次元計測部１を介して与えられる、その時の画像データを記録する記録部４と、自車両の位置情報を取得し、記録部４での画像データが記録された時点での位置情報を記録部４に与える位置情報取得部５とを備えている。次に、各構成について説明する。
【００３６】
＜ステレオカメラ＞
ステレオカメラＳＣは、車両等の自車両に搭載され、ステレオ時系列画像を取得するものである。ステレオカメラＳＣは、例えばＣＣＤ（Charge-Coupled Devices）等の撮像素子を有するカメラであり、適当な距離だけ離間させて左右に設置された２つのカメラを備えて構成される。ステレオカメラＳＣにおける左右それぞれのカメラは、被写体を同じタイミングで撮像し、左右一対の画像を得る。なお、左右のカメラの収差は良好に補正されており、かつ、これらは相互に平行に設置されていることが好ましい。このように、ステレオカメラにおいて、各カメラが平行に設置されることで、平行化された画像が得られ、これら画像から容易に３次元画像情報を得ることができる。なお、３次元画像情報とは、ステレオ時系列画像から得ることができる、カメラの位置を基準とした３次元座標、２次元および３次元動きベクトル等をいう。このステレオカメラＳＣは、一定周期で随時撮像を繰り返している。また、ステレオカメラＳＣが被写体を撮像し、生成するステレオ画像は、立体情報を含んでいる。
【００３７】
なお、例えば、ステレオカメラの代わりに単眼カメラを用いる場合は、３次元情報の取のために、３次元計測ができる機器、例えば、レーザやミリ波による計測器を備える構成とし、この計測器により、立体情報を取得すれば良い。
【００３８】
＜３次元計測部＞
３次元計測部１は、ステレオカメラで得られた画像の３次元画像情報を算出する。具体的には、３次元計測部１は、画像上における点の撮像位置を基準とする３次元座標および動きベクトル等を求める。時系列ステレオ画像をもとに、３次元画像情報（前記３次元座標および動きベクトル等）を得る方法は公知の方法を用いれば良い。
【００３９】
具体的には、ステレオ画像における３次元画像情報は、ある画像上の点に対応する点を、その画像に対応する画像上から探索する（対応点探索）ことで得られる。例えば、一対のステレオ画像どうしにおいて、対応点探索を行うことで、その時刻における３次元座標が得られる。
【００４０】
また、例えば、同一のカメラで撮像した、撮像時間の異なる被写体の画像どうしにおいて、対応点探索を行うことで、その点の動きベクトルが求められる。なお、ステレオカメラＳＣがステレオカメラでなく、単眼カメラである場合には、レーザやミリ波による３次元計測器等を備える。そして、３次元計測部１は、これらの測定器による計測値および、単眼カメラにより被写体が撮像されて生成された時系列画像を関連づけて、３次元画像情報を得る。例えば、この単眼カメラの光軸と同一方向に出射された、レーザまたはミリ波による３次元計測により求められた立体情報を、単眼カメラにより撮像された被写体の画像と関連づければ良い。
【００４１】
対応点探索法として、基準画像上の任意の注目点に対応する参照画像上の点（対応点）を探索して求める相関法がある。なお、参照画像は、基準画像に対応する画像である。 具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が基準画像であり、他方は参照画像である。また、時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が基準画像であり、時間的に後の画像が参照画像である。この基準画像上の注目点に対してテンプレートが設定され、このテンプレートと対応する参照画像上のウィンドウが探索され、この探索されたウィンドウから対応点が求められる。
【００４２】
以下に、３次元計測部１により行われる、具体的な対応点探索について説明する。ステレオカメラＳＣにより生成されたステレオ画像の一方は基準画像とされ、その基準画像に注目点が設定され、基準画像上に注目点を含むテンプレートが設定される。ここで、テンプレートとは基準画像において一定の領域で区切られた範囲であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。そして、このテンプレートと、当該基準画像と対応する参照画像（前記ステレオ画像における他方の画像）において複数設定されたウィンドウとの相関値（類似度）が算出され、相関値に基づいて、これらテンプレートとウィンドウとが対応しているか否かが判断される。
【００４３】
なお、ウィンドウとは参照画像において複数生成された、テンプレートと同一の大きさの範囲の領域であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。上述のように、テンプレートとウィンドウとの画像パターンから相関値が求められる。例えば、テンプレートと何れかのウィンドウとの相関値が求められ、仮に、これらの相関値が低いことから、これらが対応しないと判断されれば、例えば１画素何れかの方向にずれた位置に生成されたウィンドウとテンプレートとの相関値が求められる。このようにして、順次ウィンドウが変更されながら相関値が求められ、相関値がピークの値をとるウィンドウが探索される。そして、テンプレートの画像パターンと相関値がピークである画像パターンを有するウィンドウが、テンプレートに対応するウィンドウであると求められる。
【００４４】
次に、相関値の具体的な算出方法について説明する。具体的には、関数を用いて相関値を求める。その方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）法、ＳＳＤ(Sum of Squared Difference)法（２乗残差法）、ＮＣＣ（Normalize cross Correlation）法（正規化相互相関法）等が知られている。
【００４５】
ＳＡＤ法は、テンプレートおよびウィンドウの輝度値の絶対値による総和を求める関数を用いる方法であって、この関数を用いてテンプレートおよびウィンドウごとの相関値が求められる。また、上記ＳＡＤ法等に比べてロバスト性を有する相関値演算の方法もある。具体的には、この方法は、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法である。そして、この方法を用いることで、ステレオ画像における左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関値演算が実現可能である。
【００４６】
なお、画像パターンの周波数分解信号を計算する手法は、例えば高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換などが知られている。ここでは、このようなロバスト性を有する相関値演算のうち位相限定相関法（以下、ＰＯＣ法という）について簡単に説明する。
【００４７】
ＰＯＣ法においても、基準画像上にテンプレートが設定され、参照画像上に同じ大きさを持つウィンドウが設定される。そして、テンプレートと各ウィンドウとの相関値（ＰＯＣ値）が計算され、その相関値からテンプレートに対応するウィンドウが求められる。まず、基準画像のテンプレートおよび参照画像のウィンドウは、それぞれ２次元離散フーリエ変換され、規格化された後、合成され、２次元逆離散フーリエ変換される。このようにして、相関値であるＰＯＣ値が求められる。また、ＰＯＣ値はウィンドウ内における画素ごとに離散的に求まるため、画素ごとの相関値を求めることができる。この点が、ウィンドウごとの相関値を求める、上述のＳＡＤ法等とは異なる。このように、ＰＯＣ法においては、ウィンドウ内における画素ごとに相関値を求めることができるので、ウィンドウの設定範囲を絞り込むことが容易であり、対応点を求める処理が高速でできるという効果を奏する。また、上記ＰＯＣ法等のロバスト性を有する相関値演算方法においては、ウィンドウ内における画素ごとに相関値を求めることができるため、ＳＡＤ法等のようにウィンドウを１画素ずつずらして相関値を求めなくても、対応するウィンドウを探索することができる。
【００４８】
ＰＯＣ法においては、テンプレートとの相関値を求める際に、ウィンドウを複数画素分ずらしながら、相関値の算出を行っても良い。具体的に、どれだけずらすことができるかは、対応点の探索可能範囲に依存するが、一般的には、ウィンドウサイズの半分くらいであるといわれている。つまり、例えば、ずらされたウィンドウと、ずらされる前のウィンドウとが、ウィンドウサイズの半分程度において重なるように設定されれば良い。例えば、基準画像と参照画像との視差の最大を１２８画素とし、ウィンドウサイズを３１×３１とし、ＰＯＣ法により探索できる範囲をウィンドウの重心位置に対して±８画素と仮定すると、この視差を探索するためには、ウィンドウは１６画素ずつずらされれば良いので、８個のウィンドウが設定されれば良い。
【００４９】
３次元計測部１では、時系列画像における所定の第１時刻ｔに取得された第１画像、および、前記時系列画像における所定の第１時刻ｔと異なる第２時刻ｔ＋△ｔに取得された第２画像に対して、上述した対応点探索により対応点を求め、対応点どうしの差によって２次元オプティカルフローを算出する。
【００５０】
＜障害物検出部＞
障害物検出部２では、３次元計測部１で求めた２次元オプティカルフローに基づいて、自車両と衝突する可能性のある第１画像内の点または領域を障害物判定候補領域（候補領域）として抽出するものである。より具体的には、例えば、第１画像内の所定の領域に対し、予め設定された所定値と現在の２次元オプティカルフローとの差を求め、この求めた差が予め設定された所定の第１閾値以上である場合に、第１画像内の所定の領域を候補領域として抽出する。そして、この予め設定された所定値は、例えば、過去の２次元オプティカルフローを用いても良いし、時系列画像の何れか１つの画像に写し出された道路面の２次元オプティカルフローであっても良い。そして、この道路面の２次元オプティカルフローは、ステレオカメラＳＣの設置条件に基づいて求められたものであっても良い。
【００５１】
また、障害物検出部２では、抽出された候補領域に対し、自車両と候補領域に写し出されている物体までの距離を取得する。本実施形態では、撮影にステレオカメラＳＣを用いることから、距離情報は、このステレオカメラＳＣによって取得された１組のステレオ画像に基づいて、抽出された候補領域におけるステレオ画像間の対応点を対応点探索処理によって抽出することで、自車両と候補領域に写し出されている物体までの距離情報を取得する。
【００５２】
＜衝突可能性判定部＞
衝突可能性判定部３では、障害物検出部２で抽出された候補領域に対し、障害物検出部２で取得した距離情報に基づいて、自車両と候補領域に写し出されている物体とが衝突するか否かを判定する。
【００５３】
例えば、障害物検出部２で抽出された候補領域に対し、２次元オプティカルフローおよび距離情報に基づいて、３次元オプティカルフローを求め、抽出された候補領域に対して３次元オプティカルフローに基づいて、自車両と候補領域に写し出されている物体とが衝突するか否かを判定する。
【００５４】
この判定は、例えば、自車両を含む立体を仮想した場合に、３次元オプティカルフローを含む線分と立体の境界面とが交差するか否かを判定することによって、自車両と候補領域に写し出されている物体とが衝突するか否かを判定する。
【００５５】
そして、衝突すると判定した場合は、物体までの距離と、自車両の速度に基づいて算出した衝突までの時間が、回避可能時間に比較して余裕がない場合には、ヒヤリハット事例が発生したとしてトリガ信号を記録部４に向けて出力する。
【００５６】
＜記録部＞
記録部４では、衝突可能性判定部３からトリガ信号が与えられた場合、当該トリガ信号が与えられる前後に相当する時間Δｔｆ前から、時間Δｔａ後の画像データと、トリガ信号が与えられた時点での位置情報を位置情報取得部５から取得して記録する。なお、画像データは、ステレオカメラで得られた画像データが３次元計測部１を介して与えられるものであり、常時、記録部４に与えられ所定時間だけ記録され、所定時間経過後は上書きされるものである。従って、この所定時間を、Δｔｆに設定しておけば、トリガ信号が与えられた時点よりΔｔｆ前の画像データは記録部４に残っており、それをΔｔｆ前の画像データとして使用することができる。
【００５７】
ここで、位置情報取得部５はＧＰＳの情報を受ける受信部であり、トリガ信号が与えられるタイミングでＧＰＳから受信した位置情報を、ヒヤリハット事例が発生した地点の位置情報として記録部４に与える。
【００５８】
また、記録部４には、衝突可能性判定部３で得られた、衝突の可能性のある物体の大きさ、および物体の移動方向、移動速度などの情報も記録される。
【００５９】
＜運転記録装置の動作＞
次に、運転記録装置１００の動作について、図３に示すフローチャートを用いて説明する。
【００６０】
運転記録装置１００の動作が開始されると、ステレオカメラＳＣの２つのカメラがタイミングを合わせて（同期して）所定の時間間隔で撮影を行い、それぞれのカメラで撮影された時系列画像（時系列画像データ）が３次元計測部１に与えられる。
【００６１】
３次元計測部１では、ステレオカメラＳＣによって取得された時間的に異なる２つの時系列画像データＩ（ｔ）、Ｉ（ｔ＋△ｔ）において対応点探索処理を行って、対応点を探索し、対応点どうしの差を求めることによって、２次元オプティカルフローＯＦxy（ｔ＋△ｔ）を算出し、この算出した２次元オプティカルフローＯＦxy（ｔ＋△ｔ）を障害物検出部２および衝突可能性判定部３にそれぞれ出力する（ステップＳ１）。
【００６２】
ここで、時系列画像データＩ（ｔ）、Ｉ（ｔ＋△ｔ）は、ステレオカメラＳＣの２つのカメラのどちらで撮影された時系列画像の何れであっても良い。以下では、一方のカメラで撮影された時系列画像Ｉ1（ｔ）、Ｉ1（ｔ＋△ｔ）を用いるものとする。なお、添え字の「１」は一方のカメラで撮影されたことを表し、他方のカメラで撮影された場合は添え字として「２」を用いる。
【００６３】
続いて、障害物検出部２において、３次元計測部１によって算出された２次元オプティカルフローＯＦxy（ｔ＋△ｔ）に基づいて、衝突可能性判定部３によって衝突の可能性の有無を判定すべき点または領域を衝突可能性判定候補領域（候補領域）ＤＡob（ｔ＋△ｔ）として抽出し、この抽出した候補領域ＤＡob（ｔ＋△ｔ）を衝突可能性判定部３に出力する（ステップＳ２）。
【００６４】
また、障害物検出部２では、距離情報を取得するステップＳ３において、抽出した候補領域ＤＡob（ｔ＋△ｔ）に対し、ステレオカメラＳＣ（すなわち、自車両）から候補領域ＤＡob（ｔ＋△ｔ）に撮像されている物体までの距離を距離情報Ｄ（ｔ）として時刻ｔについて取得し（ステップＳ３１）、また、時刻ｔ＋△ｔについて距離情報Ｄ（ｔ＋△ｔ）取得し（ステップＳ３２）、これらの距離情報Ｄ（ｔ）およびＤ（ｔ＋△ｔ）を衝突可能性判定部３に出力する。
【００６５】
次に、衝突可能性判定部３は、障害物検出部２によって抽出された候補領域ＤＡob（ｔ＋△ｔ）に対し、３次元計測部１で算出された２次元オプティカルフローＯＦxy（ｔ＋△ｔ）および障害物検出部２によって取得された距離情報Ｄ（ｔ）、Ｄ（ｔ＋△ｔ）に基づいて、３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）を算出する（ステップＳ４）。
【００６６】
その後、衝突可能性判定部３では、候補領域ＤＡob（ｔ＋△ｔ）に対し、この算出した３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）に基づいて衝突の可能性があるか否かを判定する。
【００６７】
そして、判定の結果、衝突の可能性があると判定された場合には、衝突可能性判定部３は、その旨とともに、衝突の可能性がある物体までの距離、その大きさおよび衝突までの時間等を記録部４に出力する。なお、これらの情報を車載の表示装置に表示し、併せてブザー等によって運転者に警告を与える構成としても良い。
【００６８】
次に、図３に示した各ステップをより具体的に説明する。
【００６９】
＜ステップＳ１：２次元オプティカルフローの算出処理＞
先に説明したように、３次元計測部１では、２つの時系列画像データにおいて対応点探索処理を行い、対応点どうしの差によって２次元オプティカルフローＯＦxy（ｔ＋△ｔ）を算出するが、以下においては、この対応点探索処理に位相限定相関法（ＰＯＣ）を用いる場合について説明する。
【００７０】
図４は、位相限定相関法を用いた対応点探索処理を説明するための図である。位相限定相関法を用いた対応点探索処理では、まず基準画像上のウィンドウ内の画像と、参照画像上のウィンドウ内の画像とが抽出される。これらの画像については、次の数式のように表されるものとする。
【００７１】
【数１】
【００７２】
ここで、上記の数式におけるｆ(ｎ1,ｎ2)およびｇ(ｎ1,ｎ2)は、基準画像上のウィンドウ内の画像および参照画像上のウィンドウ内の画像を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【００７３】
次に、基準画像および参照画像のウィンドウ内の各画像に対し、次の数式に示す演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂを行う。
【００７４】
【数２】
【００７５】
なお、上記の数式のただし書におけるＷの添え字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添え字ｓには、１、２が代入される。
【００７６】
このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像に対しては、次の数式に示す演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。
【００７７】
【数３】
【００７８】
規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数式に示す演算式を用いた合成処理Ｔ３が行われる。
【００７９】
【数４】
【００８０】
合成処理Ｔ３とともに、次の数式に示す演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【００８１】
【数５】
【００８２】
以上の位相限定相関法を用いた処理により、例えば図５に示すような結果が得られる。この図５においては、ウィンドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＪｃに対応する参照画像上のウィンドウ内の位置が、基準画像上のウィンドウの中心点(指定点)に対応した参照画像上の対応点に相当することとなる。
【００８３】
このような対応点探索によって求められた対応点に基づいて得られた２次元オプティカルフローは、輝度値が比較的急激に変化する部分でも誤差が少なく、ノイズにも強いという特徴がある。
【００８４】
＜ステップＳ２：衝突可能性判定候補領域の抽出処理）
図６は、所定の基準面における２次元オプティカルフローを説明する図である。図６の（ａ）部には、２次元オプティカルフローを示し、図６の（ｂ）部には、基準面上の点Ａおよび点Ｂについて、進行方向ｚにおける時刻ｔの位置を示し、図６の（ｃ）部には、基準面上の点Ａおよび点Ｂについて、進行方向ｚにおける時刻ｔ＋△ｔの位置を示す。
【００８５】
図７は、所定の基準面上に存在する物体における２次元オプティカルフローを説明する図である。図７の（ａ）部には、２次元オプティカルフローを示し、図７の（ｂ）部には、物体上の点Ａ’および点Ｂ’について、進行方向ｚにおける時刻ｔの位置を示し、図７（ｃ）部には、物体上の点Ａ’および点Ｂ’について、進行方向ｚにおける時刻ｔ＋△ｔの位置を示す。
【００８６】
図８は、領域分割を行って候補領域の抽出を実行する場合における領域分割の仕方を説明する図である。図８の（ａ）部には、等面積で分割する場合における各領域を示し、図８の（ｂ）部には、不等面積で分割する場合における各領域を示す。
【００８７】
一般に、自車両が移動方向を変えずに移動した場合（例えば、直進移動した場合）、静止物体の２次元オプティカルフローは、所定の消失点に向かうが、高さが異なる２点では、その向かう消失点が互いにずれる（異なる）。このため、例えば、図６の（ａ）部に示す点Ａ、Ｂ、Ｃ、Ｄは、共通な所定の平面（例えば、道路面）上にある点であるため、それら各Ａ、Ｂ、Ｃ、Ｄの点２次元オプティカルフローは、図６の（ａ）部に示すように、互いに共通な１つの消失点ＮＰ１に向かい、この消失点ＮＰ１から放射状に延びる。一方、所定の平面（この例では道路面）上に存在する物体上における所定の平面からある高さにある点、例えば、図７の（ａ）部に示す点Ａ’および点Ｃ’は、高さが異なって、高さ方向Ｙの成分があり、これら点Ａ’および点Ｃ’の各２次元オプティカルフローは、図７の（ａ）部に示すように、所定の平面上の点の２次元オプティカルフローにおける消失点ＮＰ１と異なる消失点（図示せず）に向かい、消失点ＮＰ１とは異なる。
【００８８】
従って、障害物検出部２は、予め設定された所定の基準面における２次元オプティカルフローと基準面上に存在する物体における２次元オプティカルフローとが互いに異なることから、３次元計測部１で算出された２次元オプティカルフローＯＦxy（ｔ＋△ｔ）に基づいて、候補領域ＤＡob（ｔ＋△ｔ）を抽出することができる。
【００８９】
より具体的には、所定の基準面として道路面が用いられ、微小時間△ｔの間において自車両の速度がほぼ変化しないと仮定した場合、図６の（ｂ）部および図６の（ｃ）部に示すように、基準面（道路面）上の点の２次元オプティカルフローは、同じ移動量を持つとして算出されるが（ＯＦxy（ｔ＋△ｔ）−ＯＦxy（ｔ）＝０）、基準面（道路面）上にない物体上の点の２次元オプティカルフローは、図７の（ｂ）部および図７の（ｃ）部に示すように、同じ移動量を持つものとしては算出されない（ＯＦxy（ｔ＋△ｔ）−ＯＦxy（ｔ）≠０）。
【００９０】
このため、障害物検出部２は、予め設定された所定の画素に対し、時刻ｔ−△ｔの画像データと時刻ｔの画像データから２次元オプティカルフローＯＦxy（ｔ）を求めると共に、時刻ｔの画像データと時刻ｔ＋△ｔの画像データから２次元オプティカルフローＯＦxy（ｔ＋△ｔ）を求め、これら２次元オプティカルフローの差（ＯＦxy（ｔ＋△ｔ）−ＯＦxy（ｔ））を求め、この結果の絶対値が予め設定された所定の閾値Ｔｈ１以下であるか否かを判定することによって、候補領域ＤＡob（ｔ＋△ｔ）を抽出することができる。結果の絶対値が所定の閾値Ｔｈ１以下である場合には、その画素は、候補領域ＤＡob（ｔ＋△ｔ）内の画素ではないと判定され、前記結果の絶対値が所定の閾値Ｔｈ１を超える場合には、その画素は、候補領域ＤＡob（ｔ＋△ｔ）内の画素であると判定される。
【００９１】
すなわち、障害物検出部２は、第１画像内の所定の領域に対し、過去の２次元オプティカルフローと現在の２次元オプティカルフローとの差を求め、この求めた差の絶対値が所定の閾値Ｔｈ１以上であるか否かを判定することによって、候補領域ＤＡob（ｔ＋△ｔ）を抽出することができる。
【００９２】
ここで、所定の閾値Ｔｈ１は、画像上の領域ごとに変更しても良い。画像の上部領域は、自車両から比較的遠い位置にある物体の画像であり、画像の下部領域は、自車両から比較的近い位置にある物体の画像である。このため、所定の閾値Ｔｈ１は、画像の下部領域から上部領域に行くに従って小さくなっても良い。このように所定の閾値Ｔｈ１を変更することによって、計測誤差に強く、ロバスト性が向上する。
【００９３】
また、障害物検出部２によって候補領域ＤＡob（ｔ＋△ｔ）内の画素であるか否かが判定される所定の画素は、画像データの全画素（計測点）であっても良く、また、図８に示すように、画像データを複数の画素を持った領域に分割し、各領域内の各画素（局所領域の計測点）であっても良い。すなわち、所定の画素は、所定の間隔で間引かれた画素であっても良い。図８には、各領域が矩形である場合が示されている。
【００９４】
そして、この領域は、図８の（ａ）部に示すように、互いに等面積であっても良いが、図８の（ｂ）部に示すように、互いに異なる面積であっても良い。この場合において、各分割領域（局所領域）の面積は、画像の下部領域から上部領域に行くに従って狭くなっても良い。このように分割領域（局所領域）の面積を変更することによって、計測誤差に強く、ロバスト性が向上する。
【００９５】
なお、この判定手法によれば、判定対象の画素が、自車両の進行方向と同じ方向に進行しており等速運動している物体上の画素である場合や、遠距離に存在しており消失点付近に存在している画素である場合は、ＯＦxy（ｔ＋△ｔ）＝０、ＯＦxy（ｔ）＝０となることから、衝突可能性判定候補領域ＤＡob（ｔ＋△ｔ）として抽出されないが、この画素は、衝突の可能性のない物体を捉えた画素であるため、衝突可能性判定候補領域ＤＡob（ｔ＋△ｔ）として抽出されなくても問題とならない。
【００９６】
また、道路面の２次元オプティカルフローは、実際に道路面を予め計測しておきデータとして保持しておいても良いが、例えば、次のように撮影カメラ２の設置条件から求めることもできる。
【００９７】
図９は、撮影カメラの位置と撮影条件との関係を説明するための図である。図９に示すように、焦点距離ｆで画角θであるカメラが、路面から高さｈの位置に、前進方向Ｚに対しピッチ方向の傾きφで自車両に取り付けられ、パン方向およびロール方向の傾きが実質的に０であるとする。このような場合では、画像上の座標ｙと道路面までの距離Ｄとの関係は、下記の数式のように表される。
【００９８】
【数６】
【００９９】
従って、２次元オプティカルフローの垂直成分△ｙは、下記の数式のように表され、そして、２次元オプティカルフローの水平成分△ｘは、下記の数式のように表される。
【０１００】
【数７】
【０１０１】
【数８】
【０１０２】
ここで、ｖは、自車両の速度であり、△ｔは、２つの画像間の撮影時間間隔（フレーム周期）であり、ｙは、カメラからＺ方向に離れた路面上の点Ａを表す画像上の点の垂直成分であり、ｘは、カメラからＺ方向に離れた路面上の点Ａを表す画像上の点の水平成分であり、αは、画素ピッチをｐとし画素数をＮとすると、α＝ｆ／ｐ＝Ｎ／（２θ）である。
【０１０３】
なお、速度ｖは、以下の工程(a-1)〜(a-5)が順次に実行されることで算出することができる。
【０１０４】
(a-1)フレーム周期分の時間差を有して撮影されるステレオ画像から各注目点に係る視差ｄの２乗とオプティカルフローの垂直成分Δｙとが求められる。
【０１０５】
(a-2)視差ｄの２乗とオプティカルフローの垂直成分Δｙとを座標軸とする２次元座標空間に各注目点に係る数値がプロットされる。図１０は、各注目点に係る視差ｄの２乗とオプティカルフローの垂直成分Δｙとの関係を示す図である。図１０では、横軸が視差ｄの２乗を示し、縦軸がオプティカルフローの垂直成分Δｙを示す２次元座標空間に各注目点に係る数値がプロットされた状態が示されている。
【０１０６】
(a-3)最小二乗法、ハフ変換等の直線算出手法が用いられて、図１０で示されるようにプロットされた各点によって描かれる直線Ｌ１が検出される。
【０１０７】
(a-4)直線Ｌ１の傾きおよび切片が検出される。
【０１０８】
(a-5)上記工程(a-4)において検出された直線Ｌ１の傾きから自車両の走行速度（前進速度）ｖが算出されるとともに、上記工程(a-4)において検出された直線Ｌ１の切片から自車両のピッチ方向における角速度ωが算出される。ここで、直線Ｌ１は、図１１で示されるように、Δｙおよびｄ2を変数とし、（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ2）を傾きとし、−α・ω・Δｔを切片とする直線である。なお、カメラパラメータα、基線長Ｂ、およびフレーム周期Δｔは、ステレオカメラＳＣの設計によって決まる定数である。従って、直線Ｌ１の傾きと切片とが検出されれば、定数α，Ｂ，Δｔが用いられて、ｈ・ｖの値と角速度ωの値とが算出される。そして、道路面を基準としたステレオカメラＳＣの高さｈとして、予め設定された初期値が採用されれば、自車両の走行速度ｖが求められる。
【０１０９】
なお、上記のようにステレオ画像から速度を検出する方法以外に、車載の速度センサからの情報を用いても良い。
【０１１０】
＜ステップＳ３：距離情報の算出処理＞
障害物検出部２では、抽出された候補領域ＤＡob（ｔ＋△ｔ）に対し、自車両から候補領域ＤＡob（ｔ＋△ｔ）に撮像されている物体までの距離情報をステレオカメラによるステレオ画像によって取得する。
【０１１１】
すなわち、ステレオ画像から候補領域ＤＡob（ｔ＋△ｔ）およびこれに対応する時刻ｔの領域の対応点がそれぞれ対応点探索処理によって探索され、これら探索された対応点の視差から距離情報Ｄ（ｔ＋△ｔ）および距離情報Ｄ（ｔ）が求められる。ステレオカメラＳＣの２つのカメラの中央位置から物体までの距離と視差とは、三角測量の原理に基づいて一義的に対応付けられる。なお、対応点探索を行うに当たって、収差補正および平均化処理が実行されても良い。この平均化処理は、各カメラの光軸方向および光軸周りの回転角および視点の高さを揃えた画像に変換する処理である。
【０１１２】
＜ステップＳ４：３次元オプティカルフローの算出処理）
衝突可能性判定部３は、障害物検出部２で抽出された衝突可能性判定候補領域ＤＡob（ｔ＋△ｔ）に対し、２次元オプティカルフローＯＦxy（ｔ＋△ｔ）および距離情報Ｄ（ｔ）、Ｄ（ｔ＋△ｔ）に基づいて、３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）を算出する。
【０１１３】
２次元オプティカルフローは、画像中の注目点（所定の点）が２次元画像上でどの方向にどれだけ移動しているかを表す速度ベクトルであるが、３次元オプティカルフローは、画像に奥行き方向（自車両の進行方向）の成分を加えた実空間上での速度ベクトルである。
【０１１４】
図１２は、３次元オプティカルフローの算出処理を説明する図である。障害物検出部２によって抽出された候補領域ＤＡob（ｔ＋△ｔ）内における所定の画素（計測点）に対し、以下の処理が実行され、３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）が算出される。
【０１１５】
図１２に示すように、まず、時刻ｔにおける基準画像Ｉ１の点ＰBASE,t（ｘ1（ｔ）、ｙ1（ｔ））に対応する、時刻ｔ＋△ｔにおける基準画像Ｉ１の点ＰBASE,t+△t（ｘ1（ｔ＋△ｔ）、ｙ1（ｔ＋△ｔ））が求められ、時刻ｔにおける基準画像Ｉ１の点ＰBASE,t（ｘ1（ｔ）、ｙ1（ｔ））に対応する、時刻ｔにおける参照画像Ｉ２の点ＰREF,t（ｘ2（ｔ）、ｙ2（ｔ））が求められる。次に、時刻ｔ＋△ｔにおける基準画像Ｉ１の点ＰBASE,t+△t（ｘ1（ｔ＋△ｔ）、ｙ1（ｔ＋△ｔ））に対応する、時刻ｔ＋△ｔにおける参照画像Ｉ２の点ＰREF,t+△t（ｘ2（ｔ＋△ｔ）、ｙ2（ｔ＋△ｔ））が求められる。
【０１１６】
ここで、各対応点の探索において、ピクセルレベル（画素レベル）で対応点が存在しない場合がある。このような場合では、ピクセルレベルで対応点を含む画素が４点探索され、これら４点の画素の画素値と対応点の画素値との比率に応じてこれら４点の画素から対応点までの距離を決定する補間処理を行うことによって、対応点の位置がサブピクセルレベルで探索される。
【０１１７】
次に、時刻ｔにおける基準画像Ｉ１の点ＰBASE,t（ｘ1（ｔ）、ｙ1（ｔ））と、これに対応する、時刻ｔにおける参照画像Ｉ２の点ＰREF,t（ｘ2（ｔ）、ｙ2（ｔ））とから、３次元再構成によって、計測点に対する時刻ｔの実空間における位置（Ｘ（ｔ）、Ｙ（ｔ）、Ｚ（ｔ））が求められ、時刻ｔ＋△ｔにおける基準画像Ｉ１の点ＰBASE,t+△t（ｘ1（ｔ＋△ｔ）、ｙ1（ｔ＋△ｔ））と、これに対応する、時刻ｔ＋△ｔにおける参照画像Ｉ２の点ＰREF,t+△t（ｘ2（ｔ＋△ｔ）、ｙ2（ｔ＋△ｔ））とから、３次元再構成によって、計測点に対する時刻ｔ＋△ｔの実空間におけるステレオカメラを基準とした３次元位置（Ｘ（ｔ＋△ｔ）、Ｙ（ｔ＋△ｔ）、Ｚ（ｔ＋△ｔ））が求められる。
【０１１８】
この３次元再構成は、例えば、いわゆるピンホールカメラモデルが用いられ、３次元空間上と２次元画像上の対応する点を行列で結びつけるキャリブレーションにより各カメラにおける射影行列Ｐ1、Ｐ2を求め、注目点の左右画像上の座標から最小二乗法を用いて算出することができる。
【０１１９】
そして、これらの差（Ｘ（ｔ）−Ｘ（ｔ＋△ｔ）、Ｙ（ｔ）−Ｙ（ｔ＋△ｔ）、Ｚ（ｔ）−Ｚ（ｔ＋△ｔ））として、３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）が算出される。
【０１２０】
＜ステップＳ５：衝突可能性の判定処理＞
衝突可能性判定部３は、障害物検出部２で抽出された候補領域ＤＡob（ｔ＋△ｔ）に対し、算出した３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）に基づいて衝突の可能性があるか否かを判定する。
【０１２１】
図１３は、第１の衝突可能性判定処理を説明する図である。図１３において、自車両ＭＶを含む立体、ここでは、移動体を囲む立方体ＣＣが仮想され、まず、この立方体ＣＣを構成する各平面（立体の境界面）に対し、３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）を含む線分が交差する交点ＰCROSS（Ｘ，Ｙ，Ｚ）がそれぞれ求められ、各平面の各交点に対し、所定の範囲に含まれる平面があるか否かが判定される。この判定の結果、所定の範囲に含まれる平面が１つでも存在する場合には、障害物検出部２で抽出された候補領域ＤＡob（ｔ＋△ｔ）は、衝突の可能性がある物体を撮影している領域であると判定される。
【０１２２】
ここで、所定の範囲は、ステレオカメラの位置、すなわち、自車両の位置を座標原点（０，０，０）として、Ｘ方向判定が−（（Ｗ＋αAREA1）／２）≦ＰCROSS（Ｘ）≦（（Ｗ＋αAREA）／２）であり、Ｙ方向判定が−ｈ＋β1≦ＰCROSS（Ｙ）≦（Ｈ−ｈ）＋αAREA2であり、そして、Ｚ方向判定がＦ＋αAREA3≦ＰCROSS（Ｚ）≦Ｂ＋αAREA3である。ここで、Ｗは、自車両の幅であり、αAREA1は、衝突をより確実に回避すべく自車両の幅Ｗに多少余裕を持たせた領域（危険判定領域）であり、Ｈは、自車両の高さであり、β1は、道路面からの車輪の高さであり、αAREA2は、衝突をより確実に回避すべく自車両の高さＨに多少余裕を持たせた領域（危険判定領域）であり、ｈは、ステレオカメラの設置高さであり、Ｆは、カメラ設置位置を基準としてフロント側（前方側）における自車両の長さであり、Ｂは、カメラ設置位置を基準としてリア側（後方側）における自車両の長さであり、そして、αAREA3は、衝突をより確実に回避すべく自車両の長さＦ、Ｂに多少余裕を持たせた領域（危険判定領域）である。
【０１２３】
図１４は、第２の衝突可能性判定処理を説明するための図である。図１４の（ａ）部には、時刻ｔにおける衝突の可能性のある領域を示し、図１４の（ｂ）部には、時刻ｔ＋△ｔにおける衝突の可能性のある領域を示す。衝突の可能性の或る領域は、自車両の速度および物体の速度が変化しない場合では、図１４に示すように、自車両の進行方向と自車両から物体へ向かう方向、すなわち、物体の３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）とのなす角θは、一定であり、変化しない。このため、衝突可能性判定部３は、障害物検出部２によって抽出された候補領域ＤＡob（ｔ＋△ｔ）に対し、自車両の進行方向と物体の３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）とから角θを求め、この角θを各フレーム間で比較することで、衝突の可能性を判定しても良い。
【０１２４】
また、衝突可能性判定部３では、衝突の可能性がある物体の大きさも算出して、記録部に記録する。すなわち、障害物検出部２で抽出した候補領域について対応点探索処理によって探索された対応点の視差から距離情報が得られているので、当該距離情報に基づいて候補領域内の物体の大きさを算出することができる。
【０１２５】
図１５は画像を例えば４×４画素で１画素ブロックとしてブロック化し、各画素ブロックに距離情報を振り当てた立体物マップである。
【０１２６】
図１５においては、距離情報を０または１で表しており、１が与えられた領域が立体物の輪郭を示している。自車両が衝突する可能性を判定するには、立体物の高さ（Ｙ方向の長さ）よりも幅（Ｘ方向の長さ）が重要となるので、候補領域内の物体の大きさとして、幅を算出する。
【０１２７】
例えば、図１５において、高さ方向（Ｙ方向）の位置が近い画素ブロックに着目し、（Ｘ１，Ｙ１，Ｚ１）の座標の画素ブロックと（Ｘ４，Ｙ４，Ｚ４）の座標の画素ブロックとの組と、（Ｘ２，Ｙ２，Ｚ２）の座標の画素ブロックと（Ｘ３，Ｙ３，Ｚ３）の座標の画素ブロックとの組との比較を行い、最大値を与える方を立体物の幅Ｗ（Ｗ＝ｍａｘ（Ｘ３−Ｘ２，Ｘ４−Ｘ１））として算出する。
【０１２８】
また、最大のＸ座標から最小のＸ座標を差し引くことで立体物の幅Ｗ（Ｗ＝ｍａｘ（Ｘ１，Ｘ２）−ｍｉｎ（Ｘ３，Ｘ４））を算出しても良い。
【０１２９】
なお、上記は２次元座標を使用したが、３次元座標を使用して算出しても良い。
【０１３０】
このようにして算出された立体物の幅のデータを集め、類似する幅を有する立体物どうしでグループ化し、各グループがどのような幅の分布を有するかを分析することで、検出した立体物が何であるかを判定することができる。
【０１３１】
例えば、検出した立体物の幅が、ある立体物グループの幅の分布に含まれていれば、そのグループに含まれる立体物であると判定することができ、例えば、立体物が人間であるか、あるいは自動車であるかの判定を行うことができる。
【０１３２】
また、衝突可能性判定部３では、得られた３次元オプティカルフローに基づいて、衝突の可能性がある物体の実空間上での速度ベクトルから、当該物体の移動方向も算出し、動き情報として記録部４に記録する。なお、物体が静止している場合には、静止していることを動き情報として記録部４に記録する。
【０１３３】
＜地図作成システムの構成＞
次に、図２に示す地図作成システム１０の構成について説明する。図２に示すように地図作成システム１０は、データ読み出し部１１、ヒヤリハット対象、事象判定部１２、ヒヤリハット地図作成部１３およびデータベース１４を備えている。
【０１３４】
地図作成システム１０は、例えば、タクシーやトラックの営業所等に配置された運行管理を行うコンピュータシステム内に構築される。また、各社の運行管理を行うコンピュータシステムや車載の運転記録装置１００から無線通信によりデータを受け取り、各社のデータを一括処理する解析センターのような施設がある場合には、そこのサーバーコンピュータ内に構築しても良い。
【０１３５】
データ読み出し部１１は、運転記録装置１００の記録部４が着脱自在のメモリーカードなどの記録メディアである場合は、当該記録メディアを差し込むスロットを有し、当該記録メディアからのデータを読み出してヒヤリハット対象、事象判定部１２に与える。
【０１３６】
ヒヤリハット対象、事象判定部１２では、データ読み出し部１１で読み出した、運転記録装置１００の記録部４のデータに基づいて、どのような対象に対して、どのようなヒヤリハット事象が起きたかの解析を行う。
【０１３７】
ヒヤリハット地図作成部１３では、ヒヤリハット対象、事象判定部１２での解析結果に基づいて、ヒヤリハット事例の対象および事象を、データ読み出し部１１で運転記録装置１００から読み出した位置情報に基づいて地図上に記号等を用いて書き込む。
【０１３８】
データベース１４は、各ドライバーが日々に経験したヒヤリハット事例について、ヒヤリハット対象、事象判定部１２で解析した結果を記録し、管理するシステムであり、コンピュータ内の記憶装置が利用される。
【０１３９】
＜解析動作＞
次に、ヒヤリハット対象、事象判定部１２での解析例について図１６〜図１９を用いて説明する。
【０１４０】
図１６〜図１９には、自車両ＭＶと対象物ＯＢとが示され、自車両ＭＶおよび対象物ＯＢの速度を実線の矢印で示し、矢印の延長線として破線で予測進路を示している。そして、自車両ＭＶおよび対象物ＯＢの予測進路上で、速度を考慮した所定時間内に衝突する可能性がある地点を衝突推定地点ＡＰとして示している。なお、時間が所定時間を越える場合には、回避動作を取る余地があるものとして、ヒヤリハット事例にはならない。
【０１４１】
図１６は、対象物ＯＢが自車両ＭＶの予測進路にほぼ直交する方向から進入してきた事例を示しており、互いの予測進路のなす角度θは６０゜以上９０゜未満である。これは、対象物ＯＢが自動車である場合は「出会い頭によるヒヤリハット事象」と解析し、対象物ＯＢが自転車、自動二輪車、人である場合は「飛び出しによるヒヤリハット事象」と解析する。
【０１４２】
図１７は、対象物ＯＢが自車両ＭＶの予測進路に対して２０゜以上６０゜未満の角度で進入してきた事例を示しており、これは、対象物ＯＢが自動車、自転車、自動二輪車等の車両である場合は「割り込みによるヒヤリハット事象」と解析する。
【０１４３】
図１８は、対象物ＯＢが自車両ＭＶの予測進路に対して平行に近い２０゜未満の角度で進入してきた事例を示しており、これは、対象物ＯＢが自動車、自転車、自動二輪車等の車両である場合は「追突によるヒヤリハット事象」と解析する。なお、対象物ＯＢが停止状態で動きベクトルを持たない場合も、これに属するものと解析する。
【０１４４】
また、運転記録装置１００の記録部４には、ヒヤリハット事例発生時の前後の所定時間に渡る自車両の動きベクトルも記録されている。この時系列の動きベクトルの変化をチェックすれば、自車両が直進中か、左折中か、あるいは右折中の事象であるかも判別できる。例えば、図１９は、対象物ＯＢと自車両ＭＶの進行方向が真反対であり、互いの予測進路のなす角度θが１８０゜に近い角度をなす事例を示しており、これは、対象物ＯＢが自動車、自転車、自動二輪車である場合は、自車両ＭＶが「右折中の場合の対向車とのヒヤリハット事象」と解析する。
【０１４５】
ヒヤリハット対象、事象判定部１２での解析結果は、ヒヤリハット地図作成部１３に与えられて、ヒヤリハット事例が発生した地点の位置情報に基づいて地図上に書き込まれる。
【０１４６】
図２０に、ヒヤリハット事例の対象および事象を記録したヒヤリハット地図の一例を示す。
【０１４７】
図２０においては、車両の運行領域において過去にどのようなヒヤリハット事例が生じたかを、発生地点のマークを変えることで示している。すなわち、歩行者の飛び出しによるヒヤリハット事象については×印で発生地点を示し、車両との追突によるヒヤリハット事象については▲（塗りつぶし三角）印で発生地点を示し、車両の割り込みによるヒヤリハット事象については■（塗りつぶし四角）印で発生地点を示すことで、ヒヤリハットの注意ポイントを一目瞭然に示している。
【０１４８】
なお、図２０においては、出発地点ＳＰと目的地点ＯＰとの間における、車両のこれからの予想運行ルート（複数）を破線で重畳しており、運転者は、この地図から複数の予想運行ルートのうち、ヒヤリハット事例の少ないルートを選ぶことができ、また、この地図を事前にチェックすることで、注意を払うべき地点を認識することができる。
【０１４９】
データベース１４では、このような地図を蓄積し、また、日々更新することで、運転者の安全運転教育をより有効なものとすることができる。
【０１５０】
＜変形例１＞
以上説明した実施の形態に係る運転記録装置１００は、障害物の検出や将来の接触の可能性を判定し、障害物との相対速度や、障害物の大きさの情報とともに記録することを主眼とする構成であり、発生したヒヤリハット事例の対象や事象の解析は地図作成システム１０で行うものとして説明した。
【０１５１】
しかし、発生したヒヤリハット事例の対象や事象の解析も運転記録装置で行う構成とし、地図作成システムでは運転記録装置での解析結果を受けてヒヤリハット地図を作成するだけの構成としても良い。図２１にはその一例として、運転記録装置１００Ａを示す。
【０１５２】
なお、図２１において、図２に示した運転記録装置１００と同一の構成については同一の符号を付し、重複する説明は省略する。
【０１５３】
図２１に示す運転記録装置１００Ａにおいては、記録部４に記録された、障害物との接触の可能性や、障害物との相対速度や、障害物の大きさの情報がヒヤリハット対象、事象判定部６に与えられる構成となっており、ヒヤリハット対象、事象判定部６での解析結果および、記録部４に記録された位置情報が地図作成システム１０Ａに与えられる構成となっている。なお、ヒヤリハット対象、事象判定部６の機能は、図２に示したヒヤリハット対象、事象判定部６の機能と同じである。
【０１５４】
図２１に示すように地図作成システム１０Ａは、データ読み出し部２１、ヒヤリハット地図作成部２２およびデータベース２３を備えている。
【０１５５】
データ読み出し部２１は、ヒヤリハット対象、事象判定部６の出力を受ける入力インタフェースを有し、データ読み出し部２１を介して得られたヒヤリハット対象、事象判定部６での解析結果および位置情報に基づいて、ヒヤリハット地図作成部２２でヒヤリハット地図の作成を行う。なお、ヒヤリハット地図作成部２２の機能は、図２に示したヒヤリハット地図作成部１３の機能と同じである。
【０１５６】
＜変形例２＞
以上説明した実施の形態に係る運転記録装置１００は、障害物の検出や将来の接触の可能性を判定し、障害物との相対速度や、障害物の大きさの情報とともに記録することを主眼とする構成として説明したが、障害物の検出や将来の接触の可能性の判定は、地図作成システムで行う構成としても良い。図２２にはその一例として、運転記録装置１００Ｂを示す。
【０１５７】
なお、図２２において、図２に示した運転記録装置１００と同一の構成については同一の符号を付し、重複する説明は省略する。
【０１５８】
図２２に示す運転記録装置１００Ｂにおいては、３次元計測部１、記録部４および位置情報取得部５を備え、３次元計測部１で得られた２次元オプティカルフローや、３次元画像情報は、位置情報とともに記録部４に記録されるだけの構成となっている。
【０１５９】
一方、地図作成システム１０Ｂにおいては、データ読み出し部３１、障害物検出部３２、衝突可能性判定部３３、ヒヤリハット対象、事象判定部３４、ヒヤリハット地図作成部３５およびデータベース３６を備えている。
【０１６０】
データ読み出し部３１では、運転記録装置１００Ｂの記録部４に記録された、２次元オプティカルフローや、３次元画像情報を読み出し、障害物検出部３２において自車両との接触の可能性のある画像内の領域を障害物判定候補領域として検出し、衝突可能性判定部３３では、障害物検出部３２で検出された障害物判定候補領域に対して、自車両との相対速度を算出し、相対速度および立体物の大きさに基づいて、接触の可能性を判定し、接触までの時間が、回避可能時間に比較して余裕がない場合にはトリガ信号を発し、トリガ信号を発するタイミングで、３次元計測部１を介して与えられ記録部４に記録された画像データと、位置情報取得部５で取得され記録部４に記録された位置情報とに基づいて、ヒヤリハット対象、事象判定部３４で、ヒヤリハット事例の対象および事象の解析を行う構成となっている。なお、ヒヤリハット対象、事象判定部３４の機能は、図２に示したヒヤリハット対象、事象判定部６の機能と同じである。
【０１６１】
そして、ヒヤリハット対象、事象判定部３４での解析結果および位置情報に基づいて、ヒヤリハット地図作成部３５でヒヤリハット地図の作成を行う。なお、ヒヤリハット地図作成部３５の機能およびデータベース３６の機能は、図２に示したヒヤリハット地図作成部１３およびデータベース１４の機能と同じである。
【０１６２】
このように、障害物検出や接触の可能性の判定を地図作成システム１０Ｂで行うので、車載装置である運転記録装置１００Ｂに要求される機能を低減でき、車載装置のコストを低減することができる。
【０１６３】
＜応用例＞
本発明に係る運転記録装置および地図作成システムでは、ヒヤリハット事例の対象および事象の解析を自動的に行い、位置情報と対応させることでヒヤリハット地図を作成するものとして説明したが、位置情報と組み合わせるのではなく、ヒヤリハット事例の解析結果を、運転者個人の運転傾向解析に使用することも可能である。
【０１６４】
すなわち、本願装置を使用することで、各運転者が、どのようなヒヤリハット事例に遭遇したかを統計的に解析することができ、例えば、割り込み事象に対して注意が不足しているという統計結果となった運転者には、運行管理者が注意を促すなどの、教育的配慮を行うことができ、有効な安全運転教育を行うことができる。
【符号の説明】
【０１６５】
１ ３次元計測部
２ 障害物検出部
３ 衝突可能性判定部
４ 記録部
５ 位置情報取得部
１１ データ読み出し部
１２ ヒヤリハット対象、事象判定部
１３ ヒヤリハット地図作成部
１４ データベース
ＳＣ ステレオカメラ
【技術分野】
【０００１】
本発明は、ステレオカメラを用いて得られた３次元情報に基づいて算出された速度情報、車間距離情報等を用いて進路上の障害物を検出し、当該障害物との衝突の可能性を判定して、ヒヤリハット情報として記録する運転記録装置、および運転記録装置に蓄積されたヒヤリハット情報に基づいて状況を解析し、ヒヤリハット地図を作成する地図作成システムに関する。
【背景技術】
【０００２】
交通事故の削減は陸運業界において重要な課題である。運転者教育に際しては、事故に至る寸前の事例、いわゆるヒヤリハット事例に基づいて作成されたヒヤリハット地図が重要との認識が広がっている。これは、ヒヤリハット地点では、どのような対象に対して、どのような配慮をした運転を行うのが良いかを事前に把握しておくことが、事故防止に有効と考えられているからである。
【０００３】
例えば 特許文献１では、運転者による車両の操作情報に基づき、運転者が運転中にヒヤリハット事例に遭遇して緊急的に行われた操作が発生したと推定した場合は、当該情報および車両の走行情報および位置情報を情報センターに送信し、情報センターにおいてそれらの情報に基づいてヒヤリハット地図を作成する構成が開示されている。
【０００４】
また、特許文献２においては、車両に搭載されたドライブレコーダーにヒヤリハット事例が発生した地点の情報を保存しておき、ＧＰＳ（Global Positioning System）からの位置信号に基づいて車両がヒヤリハット地点に接近していると判断された場合には、運転者に警告を与える構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３２３２８１号公報
【特許文献２】特開２００８−６５５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した何れの先行技術においても、車両の走行情報および位置情報はヒヤリハット地図に含まれてはいるが、ヒヤリハット事例の対象や事象は含まれていない。これは、位置情報はＧＰＳにより自動的に地図上に記録することができるが、ヒヤリハット事例が発生した対象や事象については、記録された画像や、運転者からの聞き取りに基づいて、人手により解析して地図上に記録しなければならず、自動化が難しかったからである。ヒヤリハット事例の対象や事象が含まれていないヒヤリハット地図では、運転者は何に注意すべきかが判らず、効果が半減する。
【０００７】
本発明は上記のような問題点を解消するためになされたもので、ヒヤリハット事例が発生した場合の対象や事象を解析するための情報を取得することが可能な運転記録装置およびヒヤリハット地図を作成する地図作成システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る運転記録装置の第１の態様は、車両に搭載されたステレオカメラで撮影された画像データから３次元画像情報を取得する３次元計測部と、前記３次元計測部で算出された３次元画像情報に基づいて、自車両との接触の可能性のある画像内の領域を障害物判定候補領域として検出する障害物検出部と、前記障害物検出部で検出された前記障害物判定候補領域に対して、距離情報に基づいて、自車両と障害物判定候補領域内の物体とが衝突する可能性があるか否かを判定する衝突可能性判定部と、前記衝突可能性判定部で、前記自車両が前記物体と衝突する可能性があると判定された場合に、その時点の前後の前記画像データを少なくとも記録する記録部とを備えている。
【０００９】
本発明に係る運転記録装置の第２の態様は、前記記録部には、前記衝突可能性判定部で、前記自車両が前記物体と衝突する可能性があると判定された時点での前記自車両の位置情報が記録される。
【００１０】
本発明に係る運転記録装置の第３の態様は、前記記録部には、前記物体の大きさの情報、動きの情報および速度情報がさらに記録される。
【００１１】
本発明に係る運転記録装置の第４の態様は、前記障害物検出部は、第１画像内の所定の領域に対し、予め設定された所定値と現在の２次元オプティカルフローとの差を求め、この求めた差が所定の第１閾値以上である場合に、前記第１画像内の前記所定の領域を障害物判定候補領域として抽出する。
【００１２】
本発明に係る運転記録装置の第５の態様は、前記障害物検出部における前記予め設定された所定値は、過去の２次元オプティカルフローである。
【００１３】
本発明に係る運転記録装置の第６の態様は、前記障害物検出部における前記予め設定された所定値は、前記画像データに写し出された道路面の２次元オプティカルフローである。
【００１４】
本発明に係る運転記録装置の第７の態様は、前記衝突可能性判定部は、前記障害物検出部で抽出された前記障害物判定候補領域に対し、前記２次元オプティカルフローおよび前記３次元画像情報に含まれる距離情報に基づいて、３次元オプティカルフローを求め、前記障害物判定候補領域に対し、前記３次元オプティカルフローに基づいて、前記自車両と前記物体との衝突の可能性を判定する。
【００１５】
本発明に係る運転記録装置の第８の態様は、前記衝突可能性判定部は、前記自車両を含む立体を仮想した場合に、前記３次元オプティカルフローを含む線分と前記立体の境界面とが交差するか否かを判定することによって、前記自車両と前記物体とが衝突するか否かを判定する。
【００１６】
本発明に係る地図作成システムの第１の態様は、運転記録装置の第３の態様の前記記録部に記録された情報を取り込み、ヒヤリハット事例を解析してヒヤリハット地図を作成する地図作成システムであって、前記記録部に記録された前記情報に基づいてヒヤリハット事例を解析し、ヒヤリハット対象およびヒヤリハット事象を分類する判定部と、前記判定部で分類した前記ヒヤリハット対象および前記ヒヤリハット事象を、前記自車両の前記位置情報に基づいて地図上に書き込むことで前記ヒヤリハット地図を作成する地図作成部とを備えている。
【００１７】
本発明に係る地図作成システムの第２の態様は、前記判定部は、前記障害物判定候補領域内の前記物体の前記大きさの情報に基づいて、前記ヒヤリハット対象が、自動車、自動二輪車、自転車および人の何れであるかの分類を行うとともに、前記障害物判定候補領域内の前記物体の前記動きの情報および前記速度の情報に基づいて、前記自車両および前記物体の予測進路を取得し、前記自車両および前記物体のそれぞれの前記予測進路の交差角度と前記ヒヤリハット対象の分類結果とに基づいて、前記ヒヤリハット事象を分類する。
【００１８】
本発明に係る地図作成システムの第３の態様は、前記判定部は、前記自車両および前記物体のそれぞれの前記予測進路の前記交差角度が６０゜以上９０゜未満である場合に、前記ヒヤリハット対象が前記自動車であれば、出会い頭によるヒヤリハット事象と分類し、前記ヒヤリハット対象が前記自動二輪車、前記自転車および前記人の何れかである場合は飛び出しによるヒヤリハット事象と分類し、前記交差角度が２０゜以上６００゜未満である場合に、前記ヒヤリハット対象が前記自動車、前記自動二輪車および前記自転車の何れかである場合は割り込みによるヒヤリハット事象と分類し、前記交差角度が２０゜未満である場合に、前記ヒヤリハット対象が前記自動車、前記自動二輪車および前記自転車の何れかである場合は追突によるヒヤリハット事象と分類する。
【発明の効果】
【００１９】
本発明に係る運転記録装置の第１の態様によれば、記録部には、衝突可能性判定部で、自車両が物体と衝突する可能性があると判定された場合に、その時点の前後の画像データが記録されているので、記録部の情報に基づいてヒヤリハット事例を解析することができる。
【００２０】
本発明に係る運転記録装置の第２の態様によれば、記録部には、衝突可能性判定部で、自車両が物体と衝突する可能性があると判定された時点での自車両の位置情報が記録されているので、ヒヤリハット事例の発生位置を特定することができる。
【００２１】
本発明に係る運転記録装置の第３の態様によれば、記録部には、物体の大きさの情報、動きの情報および速度情報も記録されているので、これらの情報を用いてヒヤリハット事例を自動的に解析することができる。
【００２２】
本発明に係る運転記録装置の第４の態様によれば、２次元オプティカルフローは、画像中の注目点がどの方向にどれだけ移動しているかを表す速度ベクトルであるので、第１画像内の所定の領域における２次元オプティカルフローを用いることによって、障害物判定候補領域を抽出することができる。
【００２３】
本発明に係る運転記録装置の第５の態様によれば、第１画像内の所定の領域に対し、過去の２次元オプティカルフローと現在の２次元オプティカルフローとを比較することによって、障害物判定候補領域を抽出することができる。
【００２４】
本発明に係る運転記録装置の第６の態様によれば、道路面は、自車両と衝突の可能性のない物体であるので、障害物判定候補領域を漏れなく抽出することができる。
【００２５】
本発明に係る運転記録装置の第７の態様によれば、衝突判定が３次元オプティカルフローによって行われるので、より正確に衝突判定を行うことができる。
【００２６】
本発明に係る運転記録装置の第８の態様によれば、３次元オプティカルフローを含む線分と立体の境界面とが交差するか否かという比較的簡易な情報処理で、衝突判定を行うことができる。
【００２７】
本発明に係る地図作成システムの第１の態様によれば、ヒヤリハット対象およびヒヤリハット事象が書き込まれたヒヤリハット地図を得ることができる。
【００２８】
本発明に係る地図作成システムの第２の態様によれば、ヒヤリハット対象およびヒヤリハット事象の解析を自動的に行うことができる。
【００２９】
本発明に係る地図作成システムの第３の態様によれば、比較的簡単な処理でヒヤリハット対象およびヒヤリハット事象の解析を行うことができる。
【図面の簡単な説明】
【００３０】
【図１】一般的なヒヤリハット地図の一例を示す図である。
【図２】本発明に係る運転記録装置および地図作成システムの構成を示すブロック図である。
【図３】本発明に係る運転記録装置の動作を説明するフローチャートである。
【図４】時系列ステレオ画像における対応点探索について説明するための図である。
【図５】位相限定相関法により得られた結果を示す図である。
【図６】所定の基準面における２次元オプティカルフローを説明するための図である。
【図７】所定の基準面上に存在する物体における２次元オプティカルフローを説明するための図である。
【図８】領域分割を行って候補領域の抽出を実行する場合における領域分割の仕方を説明するための図である。
【図９】撮影カメラの位置と撮影条件との関係を説明するための図である。
【図１０】視差の２乗とオプティカルフローの垂直成分との関係を示す図である。
【図１１】視差の２乗とオプティカルフローの垂直成分との関係から得られる直線を示す図である。
【図１２】３次元オプティカルフローの算出処理を説明するための図である。
【図１３】第１の衝突可能性判定処理を説明するための図である。
【図１４】第２の衝突可能性判定処理を説明するための図である。
【図１５】画素ブロックに距離情報を振り当てた立体物マップを示す図である。
【図１６】ヒヤリハット対象、事象判定部での解析例を示す図である。
【図１７】ヒヤリハット対象、事象判定部での解析例を示す図である。
【図１８】ヒヤリハット対象、事象判定部での解析例を示す図である。
【図１９】ヒヤリハット対象、事象判定部での解析例を示す図である。
【図２０】本発明に係る地図作成システムにより得られたヒヤリハット地図の一例を示す図である。
【図２１】本発明に係る運転記録装置の変形例の構成を示すブロック図である。
【図２２】本発明に係る運転記録装置の変形例の構成を示すブロック図である。
【発明を実施するための形態】
【００３１】
＜一般的なヒヤリハット地図の一例＞
図１に、一般的なヒヤリハット地図の一例を示す。一般的なヒヤリハット地図は、車両の運行領域において過去にどこでヒヤリハット事例が生じたかを示しており、図１においては、出発地点ＳＰと目的地点ＯＰとの間における、車両のこれからの予想運行ルート（複数）を破線で重畳した図となっている。運転者に、このような地図を事前にチェックさせ、記憶させておくことで運転に際して注意を払うべき地点を認識させることができ、有効な安全運転教育ができる。
【００３２】
ところが、図１の地図においては、ヒヤリハット事例の発生点は把握できても、どのような対象に対して、どのような配慮をした運転を行うのが良いかが判らない。
【００３３】
一般的なドライブレコーダーにおいては、加速度情報などを用いてヒヤリハット事例の発生を判定し、ヒヤリハット事例が発生した場合には、ＧＰＳからの位置情報とともにヒヤリハット事例の画像を記録することが可能であるので、それらの情報を用いることで、図１のようなヒヤリハット地図を自動的に作成することができる。しかし、従来のドライブレコーダーからの情報では、発生したヒヤリハット事例の対象や事象を自動的に特定することは困難であり、人手による解析では手間がかかり過ぎ、地図への記録がなされていないというのが実状である。
【００３４】
＜実施の形態＞
図２は、本発明に係る運転記録装置１００および地図作成システム１０の構成を示すブロック図である。
【００３５】
＜運転記録装置の構成＞
図２に示すように、運転記録装置１００は、車両に搭載されたステレオカメラＳＣで撮影されたステレオ画像から基準画像の画素ブロックごとに参照画像上の対応点探索を行い、視差を算出して得られる画素ブロックごとの３次元座標から、距離情報を含む３次元画像情報を取得するとともに、時系列の画像データから２次元オプティカルフローを算出する３次元計測部１と、３次元計測部１で得られた２次元オプティカルフローに基づいて、自車両との接触の可能性のある画像内の領域を障害物判定候補領域として検出する障害物検出部２と、障害物検出部２で検出された障害物判定候補領域に対して、距離情報に基づいて、自車両と障害物判定候補領域に写し出されている物体とが衝突するか否かを判定し、衝突までの時間が、回避可能時間に比較して余裕がない場合にはトリガ信号を発する衝突可能性判定部３と、衝突可能性判定部３がトリガ信号を発するタイミングで、３次元計測部１を介して与えられる、その時の画像データを記録する記録部４と、自車両の位置情報を取得し、記録部４での画像データが記録された時点での位置情報を記録部４に与える位置情報取得部５とを備えている。次に、各構成について説明する。
【００３６】
＜ステレオカメラ＞
ステレオカメラＳＣは、車両等の自車両に搭載され、ステレオ時系列画像を取得するものである。ステレオカメラＳＣは、例えばＣＣＤ（Charge-Coupled Devices）等の撮像素子を有するカメラであり、適当な距離だけ離間させて左右に設置された２つのカメラを備えて構成される。ステレオカメラＳＣにおける左右それぞれのカメラは、被写体を同じタイミングで撮像し、左右一対の画像を得る。なお、左右のカメラの収差は良好に補正されており、かつ、これらは相互に平行に設置されていることが好ましい。このように、ステレオカメラにおいて、各カメラが平行に設置されることで、平行化された画像が得られ、これら画像から容易に３次元画像情報を得ることができる。なお、３次元画像情報とは、ステレオ時系列画像から得ることができる、カメラの位置を基準とした３次元座標、２次元および３次元動きベクトル等をいう。このステレオカメラＳＣは、一定周期で随時撮像を繰り返している。また、ステレオカメラＳＣが被写体を撮像し、生成するステレオ画像は、立体情報を含んでいる。
【００３７】
なお、例えば、ステレオカメラの代わりに単眼カメラを用いる場合は、３次元情報の取のために、３次元計測ができる機器、例えば、レーザやミリ波による計測器を備える構成とし、この計測器により、立体情報を取得すれば良い。
【００３８】
＜３次元計測部＞
３次元計測部１は、ステレオカメラで得られた画像の３次元画像情報を算出する。具体的には、３次元計測部１は、画像上における点の撮像位置を基準とする３次元座標および動きベクトル等を求める。時系列ステレオ画像をもとに、３次元画像情報（前記３次元座標および動きベクトル等）を得る方法は公知の方法を用いれば良い。
【００３９】
具体的には、ステレオ画像における３次元画像情報は、ある画像上の点に対応する点を、その画像に対応する画像上から探索する（対応点探索）ことで得られる。例えば、一対のステレオ画像どうしにおいて、対応点探索を行うことで、その時刻における３次元座標が得られる。
【００４０】
また、例えば、同一のカメラで撮像した、撮像時間の異なる被写体の画像どうしにおいて、対応点探索を行うことで、その点の動きベクトルが求められる。なお、ステレオカメラＳＣがステレオカメラでなく、単眼カメラである場合には、レーザやミリ波による３次元計測器等を備える。そして、３次元計測部１は、これらの測定器による計測値および、単眼カメラにより被写体が撮像されて生成された時系列画像を関連づけて、３次元画像情報を得る。例えば、この単眼カメラの光軸と同一方向に出射された、レーザまたはミリ波による３次元計測により求められた立体情報を、単眼カメラにより撮像された被写体の画像と関連づければ良い。
【００４１】
対応点探索法として、基準画像上の任意の注目点に対応する参照画像上の点（対応点）を探索して求める相関法がある。なお、参照画像は、基準画像に対応する画像である。 具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が基準画像であり、他方は参照画像である。また、時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が基準画像であり、時間的に後の画像が参照画像である。この基準画像上の注目点に対してテンプレートが設定され、このテンプレートと対応する参照画像上のウィンドウが探索され、この探索されたウィンドウから対応点が求められる。
【００４２】
以下に、３次元計測部１により行われる、具体的な対応点探索について説明する。ステレオカメラＳＣにより生成されたステレオ画像の一方は基準画像とされ、その基準画像に注目点が設定され、基準画像上に注目点を含むテンプレートが設定される。ここで、テンプレートとは基準画像において一定の領域で区切られた範囲であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。そして、このテンプレートと、当該基準画像と対応する参照画像（前記ステレオ画像における他方の画像）において複数設定されたウィンドウとの相関値（類似度）が算出され、相関値に基づいて、これらテンプレートとウィンドウとが対応しているか否かが判断される。
【００４３】
なお、ウィンドウとは参照画像において複数生成された、テンプレートと同一の大きさの範囲の領域であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。上述のように、テンプレートとウィンドウとの画像パターンから相関値が求められる。例えば、テンプレートと何れかのウィンドウとの相関値が求められ、仮に、これらの相関値が低いことから、これらが対応しないと判断されれば、例えば１画素何れかの方向にずれた位置に生成されたウィンドウとテンプレートとの相関値が求められる。このようにして、順次ウィンドウが変更されながら相関値が求められ、相関値がピークの値をとるウィンドウが探索される。そして、テンプレートの画像パターンと相関値がピークである画像パターンを有するウィンドウが、テンプレートに対応するウィンドウであると求められる。
【００４４】
次に、相関値の具体的な算出方法について説明する。具体的には、関数を用いて相関値を求める。その方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）法、ＳＳＤ(Sum of Squared Difference)法（２乗残差法）、ＮＣＣ（Normalize cross Correlation）法（正規化相互相関法）等が知られている。
【００４５】
ＳＡＤ法は、テンプレートおよびウィンドウの輝度値の絶対値による総和を求める関数を用いる方法であって、この関数を用いてテンプレートおよびウィンドウごとの相関値が求められる。また、上記ＳＡＤ法等に比べてロバスト性を有する相関値演算の方法もある。具体的には、この方法は、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法である。そして、この方法を用いることで、ステレオ画像における左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関値演算が実現可能である。
【００４６】
なお、画像パターンの周波数分解信号を計算する手法は、例えば高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換などが知られている。ここでは、このようなロバスト性を有する相関値演算のうち位相限定相関法（以下、ＰＯＣ法という）について簡単に説明する。
【００４７】
ＰＯＣ法においても、基準画像上にテンプレートが設定され、参照画像上に同じ大きさを持つウィンドウが設定される。そして、テンプレートと各ウィンドウとの相関値（ＰＯＣ値）が計算され、その相関値からテンプレートに対応するウィンドウが求められる。まず、基準画像のテンプレートおよび参照画像のウィンドウは、それぞれ２次元離散フーリエ変換され、規格化された後、合成され、２次元逆離散フーリエ変換される。このようにして、相関値であるＰＯＣ値が求められる。また、ＰＯＣ値はウィンドウ内における画素ごとに離散的に求まるため、画素ごとの相関値を求めることができる。この点が、ウィンドウごとの相関値を求める、上述のＳＡＤ法等とは異なる。このように、ＰＯＣ法においては、ウィンドウ内における画素ごとに相関値を求めることができるので、ウィンドウの設定範囲を絞り込むことが容易であり、対応点を求める処理が高速でできるという効果を奏する。また、上記ＰＯＣ法等のロバスト性を有する相関値演算方法においては、ウィンドウ内における画素ごとに相関値を求めることができるため、ＳＡＤ法等のようにウィンドウを１画素ずつずらして相関値を求めなくても、対応するウィンドウを探索することができる。
【００４８】
ＰＯＣ法においては、テンプレートとの相関値を求める際に、ウィンドウを複数画素分ずらしながら、相関値の算出を行っても良い。具体的に、どれだけずらすことができるかは、対応点の探索可能範囲に依存するが、一般的には、ウィンドウサイズの半分くらいであるといわれている。つまり、例えば、ずらされたウィンドウと、ずらされる前のウィンドウとが、ウィンドウサイズの半分程度において重なるように設定されれば良い。例えば、基準画像と参照画像との視差の最大を１２８画素とし、ウィンドウサイズを３１×３１とし、ＰＯＣ法により探索できる範囲をウィンドウの重心位置に対して±８画素と仮定すると、この視差を探索するためには、ウィンドウは１６画素ずつずらされれば良いので、８個のウィンドウが設定されれば良い。
【００４９】
３次元計測部１では、時系列画像における所定の第１時刻ｔに取得された第１画像、および、前記時系列画像における所定の第１時刻ｔと異なる第２時刻ｔ＋△ｔに取得された第２画像に対して、上述した対応点探索により対応点を求め、対応点どうしの差によって２次元オプティカルフローを算出する。
【００５０】
＜障害物検出部＞
障害物検出部２では、３次元計測部１で求めた２次元オプティカルフローに基づいて、自車両と衝突する可能性のある第１画像内の点または領域を障害物判定候補領域（候補領域）として抽出するものである。より具体的には、例えば、第１画像内の所定の領域に対し、予め設定された所定値と現在の２次元オプティカルフローとの差を求め、この求めた差が予め設定された所定の第１閾値以上である場合に、第１画像内の所定の領域を候補領域として抽出する。そして、この予め設定された所定値は、例えば、過去の２次元オプティカルフローを用いても良いし、時系列画像の何れか１つの画像に写し出された道路面の２次元オプティカルフローであっても良い。そして、この道路面の２次元オプティカルフローは、ステレオカメラＳＣの設置条件に基づいて求められたものであっても良い。
【００５１】
また、障害物検出部２では、抽出された候補領域に対し、自車両と候補領域に写し出されている物体までの距離を取得する。本実施形態では、撮影にステレオカメラＳＣを用いることから、距離情報は、このステレオカメラＳＣによって取得された１組のステレオ画像に基づいて、抽出された候補領域におけるステレオ画像間の対応点を対応点探索処理によって抽出することで、自車両と候補領域に写し出されている物体までの距離情報を取得する。
【００５２】
＜衝突可能性判定部＞
衝突可能性判定部３では、障害物検出部２で抽出された候補領域に対し、障害物検出部２で取得した距離情報に基づいて、自車両と候補領域に写し出されている物体とが衝突するか否かを判定する。
【００５３】
例えば、障害物検出部２で抽出された候補領域に対し、２次元オプティカルフローおよび距離情報に基づいて、３次元オプティカルフローを求め、抽出された候補領域に対して３次元オプティカルフローに基づいて、自車両と候補領域に写し出されている物体とが衝突するか否かを判定する。
【００５４】
この判定は、例えば、自車両を含む立体を仮想した場合に、３次元オプティカルフローを含む線分と立体の境界面とが交差するか否かを判定することによって、自車両と候補領域に写し出されている物体とが衝突するか否かを判定する。
【００５５】
そして、衝突すると判定した場合は、物体までの距離と、自車両の速度に基づいて算出した衝突までの時間が、回避可能時間に比較して余裕がない場合には、ヒヤリハット事例が発生したとしてトリガ信号を記録部４に向けて出力する。
【００５６】
＜記録部＞
記録部４では、衝突可能性判定部３からトリガ信号が与えられた場合、当該トリガ信号が与えられる前後に相当する時間Δｔｆ前から、時間Δｔａ後の画像データと、トリガ信号が与えられた時点での位置情報を位置情報取得部５から取得して記録する。なお、画像データは、ステレオカメラで得られた画像データが３次元計測部１を介して与えられるものであり、常時、記録部４に与えられ所定時間だけ記録され、所定時間経過後は上書きされるものである。従って、この所定時間を、Δｔｆに設定しておけば、トリガ信号が与えられた時点よりΔｔｆ前の画像データは記録部４に残っており、それをΔｔｆ前の画像データとして使用することができる。
【００５７】
ここで、位置情報取得部５はＧＰＳの情報を受ける受信部であり、トリガ信号が与えられるタイミングでＧＰＳから受信した位置情報を、ヒヤリハット事例が発生した地点の位置情報として記録部４に与える。
【００５８】
また、記録部４には、衝突可能性判定部３で得られた、衝突の可能性のある物体の大きさ、および物体の移動方向、移動速度などの情報も記録される。
【００５９】
＜運転記録装置の動作＞
次に、運転記録装置１００の動作について、図３に示すフローチャートを用いて説明する。
【００６０】
運転記録装置１００の動作が開始されると、ステレオカメラＳＣの２つのカメラがタイミングを合わせて（同期して）所定の時間間隔で撮影を行い、それぞれのカメラで撮影された時系列画像（時系列画像データ）が３次元計測部１に与えられる。
【００６１】
３次元計測部１では、ステレオカメラＳＣによって取得された時間的に異なる２つの時系列画像データＩ（ｔ）、Ｉ（ｔ＋△ｔ）において対応点探索処理を行って、対応点を探索し、対応点どうしの差を求めることによって、２次元オプティカルフローＯＦxy（ｔ＋△ｔ）を算出し、この算出した２次元オプティカルフローＯＦxy（ｔ＋△ｔ）を障害物検出部２および衝突可能性判定部３にそれぞれ出力する（ステップＳ１）。
【００６２】
ここで、時系列画像データＩ（ｔ）、Ｉ（ｔ＋△ｔ）は、ステレオカメラＳＣの２つのカメラのどちらで撮影された時系列画像の何れであっても良い。以下では、一方のカメラで撮影された時系列画像Ｉ1（ｔ）、Ｉ1（ｔ＋△ｔ）を用いるものとする。なお、添え字の「１」は一方のカメラで撮影されたことを表し、他方のカメラで撮影された場合は添え字として「２」を用いる。
【００６３】
続いて、障害物検出部２において、３次元計測部１によって算出された２次元オプティカルフローＯＦxy（ｔ＋△ｔ）に基づいて、衝突可能性判定部３によって衝突の可能性の有無を判定すべき点または領域を衝突可能性判定候補領域（候補領域）ＤＡob（ｔ＋△ｔ）として抽出し、この抽出した候補領域ＤＡob（ｔ＋△ｔ）を衝突可能性判定部３に出力する（ステップＳ２）。
【００６４】
また、障害物検出部２では、距離情報を取得するステップＳ３において、抽出した候補領域ＤＡob（ｔ＋△ｔ）に対し、ステレオカメラＳＣ（すなわち、自車両）から候補領域ＤＡob（ｔ＋△ｔ）に撮像されている物体までの距離を距離情報Ｄ（ｔ）として時刻ｔについて取得し（ステップＳ３１）、また、時刻ｔ＋△ｔについて距離情報Ｄ（ｔ＋△ｔ）取得し（ステップＳ３２）、これらの距離情報Ｄ（ｔ）およびＤ（ｔ＋△ｔ）を衝突可能性判定部３に出力する。
【００６５】
次に、衝突可能性判定部３は、障害物検出部２によって抽出された候補領域ＤＡob（ｔ＋△ｔ）に対し、３次元計測部１で算出された２次元オプティカルフローＯＦxy（ｔ＋△ｔ）および障害物検出部２によって取得された距離情報Ｄ（ｔ）、Ｄ（ｔ＋△ｔ）に基づいて、３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）を算出する（ステップＳ４）。
【００６６】
その後、衝突可能性判定部３では、候補領域ＤＡob（ｔ＋△ｔ）に対し、この算出した３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）に基づいて衝突の可能性があるか否かを判定する。
【００６７】
そして、判定の結果、衝突の可能性があると判定された場合には、衝突可能性判定部３は、その旨とともに、衝突の可能性がある物体までの距離、その大きさおよび衝突までの時間等を記録部４に出力する。なお、これらの情報を車載の表示装置に表示し、併せてブザー等によって運転者に警告を与える構成としても良い。
【００６８】
次に、図３に示した各ステップをより具体的に説明する。
【００６９】
＜ステップＳ１：２次元オプティカルフローの算出処理＞
先に説明したように、３次元計測部１では、２つの時系列画像データにおいて対応点探索処理を行い、対応点どうしの差によって２次元オプティカルフローＯＦxy（ｔ＋△ｔ）を算出するが、以下においては、この対応点探索処理に位相限定相関法（ＰＯＣ）を用いる場合について説明する。
【００７０】
図４は、位相限定相関法を用いた対応点探索処理を説明するための図である。位相限定相関法を用いた対応点探索処理では、まず基準画像上のウィンドウ内の画像と、参照画像上のウィンドウ内の画像とが抽出される。これらの画像については、次の数式のように表されるものとする。
【００７１】
【数１】
【００７２】
ここで、上記の数式におけるｆ(ｎ1,ｎ2)およびｇ(ｎ1,ｎ2)は、基準画像上のウィンドウ内の画像および参照画像上のウィンドウ内の画像を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【００７３】
次に、基準画像および参照画像のウィンドウ内の各画像に対し、次の数式に示す演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂを行う。
【００７４】
【数２】
【００７５】
なお、上記の数式のただし書におけるＷの添え字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添え字ｓには、１、２が代入される。
【００７６】
このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像に対しては、次の数式に示す演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。
【００７７】
【数３】
【００７８】
規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数式に示す演算式を用いた合成処理Ｔ３が行われる。
【００７９】
【数４】
【００８０】
合成処理Ｔ３とともに、次の数式に示す演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【００８１】
【数５】
【００８２】
以上の位相限定相関法を用いた処理により、例えば図５に示すような結果が得られる。この図５においては、ウィンドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＪｃに対応する参照画像上のウィンドウ内の位置が、基準画像上のウィンドウの中心点(指定点)に対応した参照画像上の対応点に相当することとなる。
【００８３】
このような対応点探索によって求められた対応点に基づいて得られた２次元オプティカルフローは、輝度値が比較的急激に変化する部分でも誤差が少なく、ノイズにも強いという特徴がある。
【００８４】
＜ステップＳ２：衝突可能性判定候補領域の抽出処理）
図６は、所定の基準面における２次元オプティカルフローを説明する図である。図６の（ａ）部には、２次元オプティカルフローを示し、図６の（ｂ）部には、基準面上の点Ａおよび点Ｂについて、進行方向ｚにおける時刻ｔの位置を示し、図６の（ｃ）部には、基準面上の点Ａおよび点Ｂについて、進行方向ｚにおける時刻ｔ＋△ｔの位置を示す。
【００８５】
図７は、所定の基準面上に存在する物体における２次元オプティカルフローを説明する図である。図７の（ａ）部には、２次元オプティカルフローを示し、図７の（ｂ）部には、物体上の点Ａ’および点Ｂ’について、進行方向ｚにおける時刻ｔの位置を示し、図７（ｃ）部には、物体上の点Ａ’および点Ｂ’について、進行方向ｚにおける時刻ｔ＋△ｔの位置を示す。
【００８６】
図８は、領域分割を行って候補領域の抽出を実行する場合における領域分割の仕方を説明する図である。図８の（ａ）部には、等面積で分割する場合における各領域を示し、図８の（ｂ）部には、不等面積で分割する場合における各領域を示す。
【００８７】
一般に、自車両が移動方向を変えずに移動した場合（例えば、直進移動した場合）、静止物体の２次元オプティカルフローは、所定の消失点に向かうが、高さが異なる２点では、その向かう消失点が互いにずれる（異なる）。このため、例えば、図６の（ａ）部に示す点Ａ、Ｂ、Ｃ、Ｄは、共通な所定の平面（例えば、道路面）上にある点であるため、それら各Ａ、Ｂ、Ｃ、Ｄの点２次元オプティカルフローは、図６の（ａ）部に示すように、互いに共通な１つの消失点ＮＰ１に向かい、この消失点ＮＰ１から放射状に延びる。一方、所定の平面（この例では道路面）上に存在する物体上における所定の平面からある高さにある点、例えば、図７の（ａ）部に示す点Ａ’および点Ｃ’は、高さが異なって、高さ方向Ｙの成分があり、これら点Ａ’および点Ｃ’の各２次元オプティカルフローは、図７の（ａ）部に示すように、所定の平面上の点の２次元オプティカルフローにおける消失点ＮＰ１と異なる消失点（図示せず）に向かい、消失点ＮＰ１とは異なる。
【００８８】
従って、障害物検出部２は、予め設定された所定の基準面における２次元オプティカルフローと基準面上に存在する物体における２次元オプティカルフローとが互いに異なることから、３次元計測部１で算出された２次元オプティカルフローＯＦxy（ｔ＋△ｔ）に基づいて、候補領域ＤＡob（ｔ＋△ｔ）を抽出することができる。
【００８９】
より具体的には、所定の基準面として道路面が用いられ、微小時間△ｔの間において自車両の速度がほぼ変化しないと仮定した場合、図６の（ｂ）部および図６の（ｃ）部に示すように、基準面（道路面）上の点の２次元オプティカルフローは、同じ移動量を持つとして算出されるが（ＯＦxy（ｔ＋△ｔ）−ＯＦxy（ｔ）＝０）、基準面（道路面）上にない物体上の点の２次元オプティカルフローは、図７の（ｂ）部および図７の（ｃ）部に示すように、同じ移動量を持つものとしては算出されない（ＯＦxy（ｔ＋△ｔ）−ＯＦxy（ｔ）≠０）。
【００９０】
このため、障害物検出部２は、予め設定された所定の画素に対し、時刻ｔ−△ｔの画像データと時刻ｔの画像データから２次元オプティカルフローＯＦxy（ｔ）を求めると共に、時刻ｔの画像データと時刻ｔ＋△ｔの画像データから２次元オプティカルフローＯＦxy（ｔ＋△ｔ）を求め、これら２次元オプティカルフローの差（ＯＦxy（ｔ＋△ｔ）−ＯＦxy（ｔ））を求め、この結果の絶対値が予め設定された所定の閾値Ｔｈ１以下であるか否かを判定することによって、候補領域ＤＡob（ｔ＋△ｔ）を抽出することができる。結果の絶対値が所定の閾値Ｔｈ１以下である場合には、その画素は、候補領域ＤＡob（ｔ＋△ｔ）内の画素ではないと判定され、前記結果の絶対値が所定の閾値Ｔｈ１を超える場合には、その画素は、候補領域ＤＡob（ｔ＋△ｔ）内の画素であると判定される。
【００９１】
すなわち、障害物検出部２は、第１画像内の所定の領域に対し、過去の２次元オプティカルフローと現在の２次元オプティカルフローとの差を求め、この求めた差の絶対値が所定の閾値Ｔｈ１以上であるか否かを判定することによって、候補領域ＤＡob（ｔ＋△ｔ）を抽出することができる。
【００９２】
ここで、所定の閾値Ｔｈ１は、画像上の領域ごとに変更しても良い。画像の上部領域は、自車両から比較的遠い位置にある物体の画像であり、画像の下部領域は、自車両から比較的近い位置にある物体の画像である。このため、所定の閾値Ｔｈ１は、画像の下部領域から上部領域に行くに従って小さくなっても良い。このように所定の閾値Ｔｈ１を変更することによって、計測誤差に強く、ロバスト性が向上する。
【００９３】
また、障害物検出部２によって候補領域ＤＡob（ｔ＋△ｔ）内の画素であるか否かが判定される所定の画素は、画像データの全画素（計測点）であっても良く、また、図８に示すように、画像データを複数の画素を持った領域に分割し、各領域内の各画素（局所領域の計測点）であっても良い。すなわち、所定の画素は、所定の間隔で間引かれた画素であっても良い。図８には、各領域が矩形である場合が示されている。
【００９４】
そして、この領域は、図８の（ａ）部に示すように、互いに等面積であっても良いが、図８の（ｂ）部に示すように、互いに異なる面積であっても良い。この場合において、各分割領域（局所領域）の面積は、画像の下部領域から上部領域に行くに従って狭くなっても良い。このように分割領域（局所領域）の面積を変更することによって、計測誤差に強く、ロバスト性が向上する。
【００９５】
なお、この判定手法によれば、判定対象の画素が、自車両の進行方向と同じ方向に進行しており等速運動している物体上の画素である場合や、遠距離に存在しており消失点付近に存在している画素である場合は、ＯＦxy（ｔ＋△ｔ）＝０、ＯＦxy（ｔ）＝０となることから、衝突可能性判定候補領域ＤＡob（ｔ＋△ｔ）として抽出されないが、この画素は、衝突の可能性のない物体を捉えた画素であるため、衝突可能性判定候補領域ＤＡob（ｔ＋△ｔ）として抽出されなくても問題とならない。
【００９６】
また、道路面の２次元オプティカルフローは、実際に道路面を予め計測しておきデータとして保持しておいても良いが、例えば、次のように撮影カメラ２の設置条件から求めることもできる。
【００９７】
図９は、撮影カメラの位置と撮影条件との関係を説明するための図である。図９に示すように、焦点距離ｆで画角θであるカメラが、路面から高さｈの位置に、前進方向Ｚに対しピッチ方向の傾きφで自車両に取り付けられ、パン方向およびロール方向の傾きが実質的に０であるとする。このような場合では、画像上の座標ｙと道路面までの距離Ｄとの関係は、下記の数式のように表される。
【００９８】
【数６】
【００９９】
従って、２次元オプティカルフローの垂直成分△ｙは、下記の数式のように表され、そして、２次元オプティカルフローの水平成分△ｘは、下記の数式のように表される。
【０１００】
【数７】
【０１０１】
【数８】
【０１０２】
ここで、ｖは、自車両の速度であり、△ｔは、２つの画像間の撮影時間間隔（フレーム周期）であり、ｙは、カメラからＺ方向に離れた路面上の点Ａを表す画像上の点の垂直成分であり、ｘは、カメラからＺ方向に離れた路面上の点Ａを表す画像上の点の水平成分であり、αは、画素ピッチをｐとし画素数をＮとすると、α＝ｆ／ｐ＝Ｎ／（２θ）である。
【０１０３】
なお、速度ｖは、以下の工程(a-1)〜(a-5)が順次に実行されることで算出することができる。
【０１０４】
(a-1)フレーム周期分の時間差を有して撮影されるステレオ画像から各注目点に係る視差ｄの２乗とオプティカルフローの垂直成分Δｙとが求められる。
【０１０５】
(a-2)視差ｄの２乗とオプティカルフローの垂直成分Δｙとを座標軸とする２次元座標空間に各注目点に係る数値がプロットされる。図１０は、各注目点に係る視差ｄの２乗とオプティカルフローの垂直成分Δｙとの関係を示す図である。図１０では、横軸が視差ｄの２乗を示し、縦軸がオプティカルフローの垂直成分Δｙを示す２次元座標空間に各注目点に係る数値がプロットされた状態が示されている。
【０１０６】
(a-3)最小二乗法、ハフ変換等の直線算出手法が用いられて、図１０で示されるようにプロットされた各点によって描かれる直線Ｌ１が検出される。
【０１０７】
(a-4)直線Ｌ１の傾きおよび切片が検出される。
【０１０８】
(a-5)上記工程(a-4)において検出された直線Ｌ１の傾きから自車両の走行速度（前進速度）ｖが算出されるとともに、上記工程(a-4)において検出された直線Ｌ１の切片から自車両のピッチ方向における角速度ωが算出される。ここで、直線Ｌ１は、図１１で示されるように、Δｙおよびｄ2を変数とし、（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ2）を傾きとし、−α・ω・Δｔを切片とする直線である。なお、カメラパラメータα、基線長Ｂ、およびフレーム周期Δｔは、ステレオカメラＳＣの設計によって決まる定数である。従って、直線Ｌ１の傾きと切片とが検出されれば、定数α，Ｂ，Δｔが用いられて、ｈ・ｖの値と角速度ωの値とが算出される。そして、道路面を基準としたステレオカメラＳＣの高さｈとして、予め設定された初期値が採用されれば、自車両の走行速度ｖが求められる。
【０１０９】
なお、上記のようにステレオ画像から速度を検出する方法以外に、車載の速度センサからの情報を用いても良い。
【０１１０】
＜ステップＳ３：距離情報の算出処理＞
障害物検出部２では、抽出された候補領域ＤＡob（ｔ＋△ｔ）に対し、自車両から候補領域ＤＡob（ｔ＋△ｔ）に撮像されている物体までの距離情報をステレオカメラによるステレオ画像によって取得する。
【０１１１】
すなわち、ステレオ画像から候補領域ＤＡob（ｔ＋△ｔ）およびこれに対応する時刻ｔの領域の対応点がそれぞれ対応点探索処理によって探索され、これら探索された対応点の視差から距離情報Ｄ（ｔ＋△ｔ）および距離情報Ｄ（ｔ）が求められる。ステレオカメラＳＣの２つのカメラの中央位置から物体までの距離と視差とは、三角測量の原理に基づいて一義的に対応付けられる。なお、対応点探索を行うに当たって、収差補正および平均化処理が実行されても良い。この平均化処理は、各カメラの光軸方向および光軸周りの回転角および視点の高さを揃えた画像に変換する処理である。
【０１１２】
＜ステップＳ４：３次元オプティカルフローの算出処理）
衝突可能性判定部３は、障害物検出部２で抽出された衝突可能性判定候補領域ＤＡob（ｔ＋△ｔ）に対し、２次元オプティカルフローＯＦxy（ｔ＋△ｔ）および距離情報Ｄ（ｔ）、Ｄ（ｔ＋△ｔ）に基づいて、３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）を算出する。
【０１１３】
２次元オプティカルフローは、画像中の注目点（所定の点）が２次元画像上でどの方向にどれだけ移動しているかを表す速度ベクトルであるが、３次元オプティカルフローは、画像に奥行き方向（自車両の進行方向）の成分を加えた実空間上での速度ベクトルである。
【０１１４】
図１２は、３次元オプティカルフローの算出処理を説明する図である。障害物検出部２によって抽出された候補領域ＤＡob（ｔ＋△ｔ）内における所定の画素（計測点）に対し、以下の処理が実行され、３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）が算出される。
【０１１５】
図１２に示すように、まず、時刻ｔにおける基準画像Ｉ１の点ＰBASE,t（ｘ1（ｔ）、ｙ1（ｔ））に対応する、時刻ｔ＋△ｔにおける基準画像Ｉ１の点ＰBASE,t+△t（ｘ1（ｔ＋△ｔ）、ｙ1（ｔ＋△ｔ））が求められ、時刻ｔにおける基準画像Ｉ１の点ＰBASE,t（ｘ1（ｔ）、ｙ1（ｔ））に対応する、時刻ｔにおける参照画像Ｉ２の点ＰREF,t（ｘ2（ｔ）、ｙ2（ｔ））が求められる。次に、時刻ｔ＋△ｔにおける基準画像Ｉ１の点ＰBASE,t+△t（ｘ1（ｔ＋△ｔ）、ｙ1（ｔ＋△ｔ））に対応する、時刻ｔ＋△ｔにおける参照画像Ｉ２の点ＰREF,t+△t（ｘ2（ｔ＋△ｔ）、ｙ2（ｔ＋△ｔ））が求められる。
【０１１６】
ここで、各対応点の探索において、ピクセルレベル（画素レベル）で対応点が存在しない場合がある。このような場合では、ピクセルレベルで対応点を含む画素が４点探索され、これら４点の画素の画素値と対応点の画素値との比率に応じてこれら４点の画素から対応点までの距離を決定する補間処理を行うことによって、対応点の位置がサブピクセルレベルで探索される。
【０１１７】
次に、時刻ｔにおける基準画像Ｉ１の点ＰBASE,t（ｘ1（ｔ）、ｙ1（ｔ））と、これに対応する、時刻ｔにおける参照画像Ｉ２の点ＰREF,t（ｘ2（ｔ）、ｙ2（ｔ））とから、３次元再構成によって、計測点に対する時刻ｔの実空間における位置（Ｘ（ｔ）、Ｙ（ｔ）、Ｚ（ｔ））が求められ、時刻ｔ＋△ｔにおける基準画像Ｉ１の点ＰBASE,t+△t（ｘ1（ｔ＋△ｔ）、ｙ1（ｔ＋△ｔ））と、これに対応する、時刻ｔ＋△ｔにおける参照画像Ｉ２の点ＰREF,t+△t（ｘ2（ｔ＋△ｔ）、ｙ2（ｔ＋△ｔ））とから、３次元再構成によって、計測点に対する時刻ｔ＋△ｔの実空間におけるステレオカメラを基準とした３次元位置（Ｘ（ｔ＋△ｔ）、Ｙ（ｔ＋△ｔ）、Ｚ（ｔ＋△ｔ））が求められる。
【０１１８】
この３次元再構成は、例えば、いわゆるピンホールカメラモデルが用いられ、３次元空間上と２次元画像上の対応する点を行列で結びつけるキャリブレーションにより各カメラにおける射影行列Ｐ1、Ｐ2を求め、注目点の左右画像上の座標から最小二乗法を用いて算出することができる。
【０１１９】
そして、これらの差（Ｘ（ｔ）−Ｘ（ｔ＋△ｔ）、Ｙ（ｔ）−Ｙ（ｔ＋△ｔ）、Ｚ（ｔ）−Ｚ（ｔ＋△ｔ））として、３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）が算出される。
【０１２０】
＜ステップＳ５：衝突可能性の判定処理＞
衝突可能性判定部３は、障害物検出部２で抽出された候補領域ＤＡob（ｔ＋△ｔ）に対し、算出した３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）に基づいて衝突の可能性があるか否かを判定する。
【０１２１】
図１３は、第１の衝突可能性判定処理を説明する図である。図１３において、自車両ＭＶを含む立体、ここでは、移動体を囲む立方体ＣＣが仮想され、まず、この立方体ＣＣを構成する各平面（立体の境界面）に対し、３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）を含む線分が交差する交点ＰCROSS（Ｘ，Ｙ，Ｚ）がそれぞれ求められ、各平面の各交点に対し、所定の範囲に含まれる平面があるか否かが判定される。この判定の結果、所定の範囲に含まれる平面が１つでも存在する場合には、障害物検出部２で抽出された候補領域ＤＡob（ｔ＋△ｔ）は、衝突の可能性がある物体を撮影している領域であると判定される。
【０１２２】
ここで、所定の範囲は、ステレオカメラの位置、すなわち、自車両の位置を座標原点（０，０，０）として、Ｘ方向判定が−（（Ｗ＋αAREA1）／２）≦ＰCROSS（Ｘ）≦（（Ｗ＋αAREA）／２）であり、Ｙ方向判定が−ｈ＋β1≦ＰCROSS（Ｙ）≦（Ｈ−ｈ）＋αAREA2であり、そして、Ｚ方向判定がＦ＋αAREA3≦ＰCROSS（Ｚ）≦Ｂ＋αAREA3である。ここで、Ｗは、自車両の幅であり、αAREA1は、衝突をより確実に回避すべく自車両の幅Ｗに多少余裕を持たせた領域（危険判定領域）であり、Ｈは、自車両の高さであり、β1は、道路面からの車輪の高さであり、αAREA2は、衝突をより確実に回避すべく自車両の高さＨに多少余裕を持たせた領域（危険判定領域）であり、ｈは、ステレオカメラの設置高さであり、Ｆは、カメラ設置位置を基準としてフロント側（前方側）における自車両の長さであり、Ｂは、カメラ設置位置を基準としてリア側（後方側）における自車両の長さであり、そして、αAREA3は、衝突をより確実に回避すべく自車両の長さＦ、Ｂに多少余裕を持たせた領域（危険判定領域）である。
【０１２３】
図１４は、第２の衝突可能性判定処理を説明するための図である。図１４の（ａ）部には、時刻ｔにおける衝突の可能性のある領域を示し、図１４の（ｂ）部には、時刻ｔ＋△ｔにおける衝突の可能性のある領域を示す。衝突の可能性の或る領域は、自車両の速度および物体の速度が変化しない場合では、図１４に示すように、自車両の進行方向と自車両から物体へ向かう方向、すなわち、物体の３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）とのなす角θは、一定であり、変化しない。このため、衝突可能性判定部３は、障害物検出部２によって抽出された候補領域ＤＡob（ｔ＋△ｔ）に対し、自車両の進行方向と物体の３次元オプティカルフローＯＦxyz（ｔ＋△ｔ）とから角θを求め、この角θを各フレーム間で比較することで、衝突の可能性を判定しても良い。
【０１２４】
また、衝突可能性判定部３では、衝突の可能性がある物体の大きさも算出して、記録部に記録する。すなわち、障害物検出部２で抽出した候補領域について対応点探索処理によって探索された対応点の視差から距離情報が得られているので、当該距離情報に基づいて候補領域内の物体の大きさを算出することができる。
【０１２５】
図１５は画像を例えば４×４画素で１画素ブロックとしてブロック化し、各画素ブロックに距離情報を振り当てた立体物マップである。
【０１２６】
図１５においては、距離情報を０または１で表しており、１が与えられた領域が立体物の輪郭を示している。自車両が衝突する可能性を判定するには、立体物の高さ（Ｙ方向の長さ）よりも幅（Ｘ方向の長さ）が重要となるので、候補領域内の物体の大きさとして、幅を算出する。
【０１２７】
例えば、図１５において、高さ方向（Ｙ方向）の位置が近い画素ブロックに着目し、（Ｘ１，Ｙ１，Ｚ１）の座標の画素ブロックと（Ｘ４，Ｙ４，Ｚ４）の座標の画素ブロックとの組と、（Ｘ２，Ｙ２，Ｚ２）の座標の画素ブロックと（Ｘ３，Ｙ３，Ｚ３）の座標の画素ブロックとの組との比較を行い、最大値を与える方を立体物の幅Ｗ（Ｗ＝ｍａｘ（Ｘ３−Ｘ２，Ｘ４−Ｘ１））として算出する。
【０１２８】
また、最大のＸ座標から最小のＸ座標を差し引くことで立体物の幅Ｗ（Ｗ＝ｍａｘ（Ｘ１，Ｘ２）−ｍｉｎ（Ｘ３，Ｘ４））を算出しても良い。
【０１２９】
なお、上記は２次元座標を使用したが、３次元座標を使用して算出しても良い。
【０１３０】
このようにして算出された立体物の幅のデータを集め、類似する幅を有する立体物どうしでグループ化し、各グループがどのような幅の分布を有するかを分析することで、検出した立体物が何であるかを判定することができる。
【０１３１】
例えば、検出した立体物の幅が、ある立体物グループの幅の分布に含まれていれば、そのグループに含まれる立体物であると判定することができ、例えば、立体物が人間であるか、あるいは自動車であるかの判定を行うことができる。
【０１３２】
また、衝突可能性判定部３では、得られた３次元オプティカルフローに基づいて、衝突の可能性がある物体の実空間上での速度ベクトルから、当該物体の移動方向も算出し、動き情報として記録部４に記録する。なお、物体が静止している場合には、静止していることを動き情報として記録部４に記録する。
【０１３３】
＜地図作成システムの構成＞
次に、図２に示す地図作成システム１０の構成について説明する。図２に示すように地図作成システム１０は、データ読み出し部１１、ヒヤリハット対象、事象判定部１２、ヒヤリハット地図作成部１３およびデータベース１４を備えている。
【０１３４】
地図作成システム１０は、例えば、タクシーやトラックの営業所等に配置された運行管理を行うコンピュータシステム内に構築される。また、各社の運行管理を行うコンピュータシステムや車載の運転記録装置１００から無線通信によりデータを受け取り、各社のデータを一括処理する解析センターのような施設がある場合には、そこのサーバーコンピュータ内に構築しても良い。
【０１３５】
データ読み出し部１１は、運転記録装置１００の記録部４が着脱自在のメモリーカードなどの記録メディアである場合は、当該記録メディアを差し込むスロットを有し、当該記録メディアからのデータを読み出してヒヤリハット対象、事象判定部１２に与える。
【０１３６】
ヒヤリハット対象、事象判定部１２では、データ読み出し部１１で読み出した、運転記録装置１００の記録部４のデータに基づいて、どのような対象に対して、どのようなヒヤリハット事象が起きたかの解析を行う。
【０１３７】
ヒヤリハット地図作成部１３では、ヒヤリハット対象、事象判定部１２での解析結果に基づいて、ヒヤリハット事例の対象および事象を、データ読み出し部１１で運転記録装置１００から読み出した位置情報に基づいて地図上に記号等を用いて書き込む。
【０１３８】
データベース１４は、各ドライバーが日々に経験したヒヤリハット事例について、ヒヤリハット対象、事象判定部１２で解析した結果を記録し、管理するシステムであり、コンピュータ内の記憶装置が利用される。
【０１３９】
＜解析動作＞
次に、ヒヤリハット対象、事象判定部１２での解析例について図１６〜図１９を用いて説明する。
【０１４０】
図１６〜図１９には、自車両ＭＶと対象物ＯＢとが示され、自車両ＭＶおよび対象物ＯＢの速度を実線の矢印で示し、矢印の延長線として破線で予測進路を示している。そして、自車両ＭＶおよび対象物ＯＢの予測進路上で、速度を考慮した所定時間内に衝突する可能性がある地点を衝突推定地点ＡＰとして示している。なお、時間が所定時間を越える場合には、回避動作を取る余地があるものとして、ヒヤリハット事例にはならない。
【０１４１】
図１６は、対象物ＯＢが自車両ＭＶの予測進路にほぼ直交する方向から進入してきた事例を示しており、互いの予測進路のなす角度θは６０゜以上９０゜未満である。これは、対象物ＯＢが自動車である場合は「出会い頭によるヒヤリハット事象」と解析し、対象物ＯＢが自転車、自動二輪車、人である場合は「飛び出しによるヒヤリハット事象」と解析する。
【０１４２】
図１７は、対象物ＯＢが自車両ＭＶの予測進路に対して２０゜以上６０゜未満の角度で進入してきた事例を示しており、これは、対象物ＯＢが自動車、自転車、自動二輪車等の車両である場合は「割り込みによるヒヤリハット事象」と解析する。
【０１４３】
図１８は、対象物ＯＢが自車両ＭＶの予測進路に対して平行に近い２０゜未満の角度で進入してきた事例を示しており、これは、対象物ＯＢが自動車、自転車、自動二輪車等の車両である場合は「追突によるヒヤリハット事象」と解析する。なお、対象物ＯＢが停止状態で動きベクトルを持たない場合も、これに属するものと解析する。
【０１４４】
また、運転記録装置１００の記録部４には、ヒヤリハット事例発生時の前後の所定時間に渡る自車両の動きベクトルも記録されている。この時系列の動きベクトルの変化をチェックすれば、自車両が直進中か、左折中か、あるいは右折中の事象であるかも判別できる。例えば、図１９は、対象物ＯＢと自車両ＭＶの進行方向が真反対であり、互いの予測進路のなす角度θが１８０゜に近い角度をなす事例を示しており、これは、対象物ＯＢが自動車、自転車、自動二輪車である場合は、自車両ＭＶが「右折中の場合の対向車とのヒヤリハット事象」と解析する。
【０１４５】
ヒヤリハット対象、事象判定部１２での解析結果は、ヒヤリハット地図作成部１３に与えられて、ヒヤリハット事例が発生した地点の位置情報に基づいて地図上に書き込まれる。
【０１４６】
図２０に、ヒヤリハット事例の対象および事象を記録したヒヤリハット地図の一例を示す。
【０１４７】
図２０においては、車両の運行領域において過去にどのようなヒヤリハット事例が生じたかを、発生地点のマークを変えることで示している。すなわち、歩行者の飛び出しによるヒヤリハット事象については×印で発生地点を示し、車両との追突によるヒヤリハット事象については▲（塗りつぶし三角）印で発生地点を示し、車両の割り込みによるヒヤリハット事象については■（塗りつぶし四角）印で発生地点を示すことで、ヒヤリハットの注意ポイントを一目瞭然に示している。
【０１４８】
なお、図２０においては、出発地点ＳＰと目的地点ＯＰとの間における、車両のこれからの予想運行ルート（複数）を破線で重畳しており、運転者は、この地図から複数の予想運行ルートのうち、ヒヤリハット事例の少ないルートを選ぶことができ、また、この地図を事前にチェックすることで、注意を払うべき地点を認識することができる。
【０１４９】
データベース１４では、このような地図を蓄積し、また、日々更新することで、運転者の安全運転教育をより有効なものとすることができる。
【０１５０】
＜変形例１＞
以上説明した実施の形態に係る運転記録装置１００は、障害物の検出や将来の接触の可能性を判定し、障害物との相対速度や、障害物の大きさの情報とともに記録することを主眼とする構成であり、発生したヒヤリハット事例の対象や事象の解析は地図作成システム１０で行うものとして説明した。
【０１５１】
しかし、発生したヒヤリハット事例の対象や事象の解析も運転記録装置で行う構成とし、地図作成システムでは運転記録装置での解析結果を受けてヒヤリハット地図を作成するだけの構成としても良い。図２１にはその一例として、運転記録装置１００Ａを示す。
【０１５２】
なお、図２１において、図２に示した運転記録装置１００と同一の構成については同一の符号を付し、重複する説明は省略する。
【０１５３】
図２１に示す運転記録装置１００Ａにおいては、記録部４に記録された、障害物との接触の可能性や、障害物との相対速度や、障害物の大きさの情報がヒヤリハット対象、事象判定部６に与えられる構成となっており、ヒヤリハット対象、事象判定部６での解析結果および、記録部４に記録された位置情報が地図作成システム１０Ａに与えられる構成となっている。なお、ヒヤリハット対象、事象判定部６の機能は、図２に示したヒヤリハット対象、事象判定部６の機能と同じである。
【０１５４】
図２１に示すように地図作成システム１０Ａは、データ読み出し部２１、ヒヤリハット地図作成部２２およびデータベース２３を備えている。
【０１５５】
データ読み出し部２１は、ヒヤリハット対象、事象判定部６の出力を受ける入力インタフェースを有し、データ読み出し部２１を介して得られたヒヤリハット対象、事象判定部６での解析結果および位置情報に基づいて、ヒヤリハット地図作成部２２でヒヤリハット地図の作成を行う。なお、ヒヤリハット地図作成部２２の機能は、図２に示したヒヤリハット地図作成部１３の機能と同じである。
【０１５６】
＜変形例２＞
以上説明した実施の形態に係る運転記録装置１００は、障害物の検出や将来の接触の可能性を判定し、障害物との相対速度や、障害物の大きさの情報とともに記録することを主眼とする構成として説明したが、障害物の検出や将来の接触の可能性の判定は、地図作成システムで行う構成としても良い。図２２にはその一例として、運転記録装置１００Ｂを示す。
【０１５７】
なお、図２２において、図２に示した運転記録装置１００と同一の構成については同一の符号を付し、重複する説明は省略する。
【０１５８】
図２２に示す運転記録装置１００Ｂにおいては、３次元計測部１、記録部４および位置情報取得部５を備え、３次元計測部１で得られた２次元オプティカルフローや、３次元画像情報は、位置情報とともに記録部４に記録されるだけの構成となっている。
【０１５９】
一方、地図作成システム１０Ｂにおいては、データ読み出し部３１、障害物検出部３２、衝突可能性判定部３３、ヒヤリハット対象、事象判定部３４、ヒヤリハット地図作成部３５およびデータベース３６を備えている。
【０１６０】
データ読み出し部３１では、運転記録装置１００Ｂの記録部４に記録された、２次元オプティカルフローや、３次元画像情報を読み出し、障害物検出部３２において自車両との接触の可能性のある画像内の領域を障害物判定候補領域として検出し、衝突可能性判定部３３では、障害物検出部３２で検出された障害物判定候補領域に対して、自車両との相対速度を算出し、相対速度および立体物の大きさに基づいて、接触の可能性を判定し、接触までの時間が、回避可能時間に比較して余裕がない場合にはトリガ信号を発し、トリガ信号を発するタイミングで、３次元計測部１を介して与えられ記録部４に記録された画像データと、位置情報取得部５で取得され記録部４に記録された位置情報とに基づいて、ヒヤリハット対象、事象判定部３４で、ヒヤリハット事例の対象および事象の解析を行う構成となっている。なお、ヒヤリハット対象、事象判定部３４の機能は、図２に示したヒヤリハット対象、事象判定部６の機能と同じである。
【０１６１】
そして、ヒヤリハット対象、事象判定部３４での解析結果および位置情報に基づいて、ヒヤリハット地図作成部３５でヒヤリハット地図の作成を行う。なお、ヒヤリハット地図作成部３５の機能およびデータベース３６の機能は、図２に示したヒヤリハット地図作成部１３およびデータベース１４の機能と同じである。
【０１６２】
このように、障害物検出や接触の可能性の判定を地図作成システム１０Ｂで行うので、車載装置である運転記録装置１００Ｂに要求される機能を低減でき、車載装置のコストを低減することができる。
【０１６３】
＜応用例＞
本発明に係る運転記録装置および地図作成システムでは、ヒヤリハット事例の対象および事象の解析を自動的に行い、位置情報と対応させることでヒヤリハット地図を作成するものとして説明したが、位置情報と組み合わせるのではなく、ヒヤリハット事例の解析結果を、運転者個人の運転傾向解析に使用することも可能である。
【０１６４】
すなわち、本願装置を使用することで、各運転者が、どのようなヒヤリハット事例に遭遇したかを統計的に解析することができ、例えば、割り込み事象に対して注意が不足しているという統計結果となった運転者には、運行管理者が注意を促すなどの、教育的配慮を行うことができ、有効な安全運転教育を行うことができる。
【符号の説明】
【０１６５】
１ ３次元計測部
２ 障害物検出部
３ 衝突可能性判定部
４ 記録部
５ 位置情報取得部
１１ データ読み出し部
１２ ヒヤリハット対象、事象判定部
１３ ヒヤリハット地図作成部
１４ データベース
ＳＣ ステレオカメラ
【特許請求の範囲】
【請求項１】
車両に搭載されたステレオカメラで撮影された画像データから３次元画像情報を取得する３次元計測部と、
前記３次元計測部で算出された３次元画像情報に基づいて、自車両との接触の可能性のある画像内の領域を障害物判定候補領域として検出する障害物検出部と、
前記障害物検出部で検出された前記障害物判定候補領域に対して、距離情報に基づいて、自車両と障害物判定候補領域内の物体とが衝突する可能性があるか否かを判定する衝突可能性判定部と、
前記衝突可能性判定部で、前記自車両が前記物体と衝突する可能性があると判定された場合に、その時点の前後の前記画像データを少なくとも記録する記録部とを備える、運転記録装置。
【請求項２】
前記記録部には、
前記衝突可能性判定部で、前記自車両が前記物体と衝突する可能性があると判定された時点での前記自車両の位置情報が記録される、請求項１記載の運転記録装置。
【請求項３】
前記記録部には、前記物体の大きさの情報、動きの情報および速度情報がさらに記録される、請求項２記載の運転記録装置。
【請求項４】
前記障害物検出部は、第１画像内の所定の領域に対し、予め設定された所定値と現在の２次元オプティカルフローとの差を求め、この求めた差が所定の第１閾値以上である場合に、前記第１画像内の前記所定の領域を障害物判定候補領域として抽出する、請求項１記載の運転記録装置。
【請求項５】
前記障害物検出部における前記予め設定された所定値は、過去の２次元オプティカルフローである、請求項４記載の運転記録装置。
【請求項６】
前記障害物検出部における前記予め設定された所定値は、前記画像データに写し出された道路面の２次元オプティカルフローである、請求項４記載の運転記録装置。
【請求項７】
前記衝突可能性判定部は、
前記障害物検出部で抽出された前記障害物判定候補領域に対し、前記２次元オプティカルフローおよび前記３次元画像情報に含まれる距離情報に基づいて、３次元オプティカルフローを求め、前記障害物判定候補領域に対し、前記３次元オプティカルフローに基づいて、前記自車両と前記物体との衝突の可能性を判定する、請求項６記載の運転記録装置。
【請求項８】
前記衝突可能性判定部は、
前記自車両を含む立体を仮想した場合に、前記３次元オプティカルフローを含む線分と前記立体の境界面とが交差するか否かを判定することによって、前記自車両と前記物体とが衝突するか否かを判定する、請求項７記載の運転記録装置。
【請求項９】
請求項３記載の運転記録装置の前記記録部に記録された情報を取り込み、ヒヤリハット事例を解析してヒヤリハット地図を作成する地図作成システムであって、
前記記録部に記録された前記情報に基づいてヒヤリハット事例を解析し、ヒヤリハット対象およびヒヤリハット事象を分類する判定部と、
前記判定部で分類した前記ヒヤリハット対象および前記ヒヤリハット事象を、前記自車両の前記位置情報に基づいて地図上に書き込むことで前記ヒヤリハット地図を作成する地図作成部とを備える、地図作成システム。
【請求項１０】
前記判定部は、
前記障害物判定候補領域内の前記物体の前記大きさの情報に基づいて、前記ヒヤリハット対象が、自動車、自動二輪車、自転車および人の何れであるかの分類を行うとともに、
前記障害物判定候補領域内の前記物体の前記動きの情報および前記速度の情報に基づいて、前記自車両および前記物体の予測進路を取得し、前記自車両および前記物体のそれぞれの前記予測進路の交差角度と前記ヒヤリハット対象の分類結果とに基づいて、前記ヒヤリハット事象を分類する、請求項９記載の地図作成システム。
【請求項１１】
前記判定部は、
前記自車両および前記物体のそれぞれの前記予測進路の前記交差角度が６０゜以上９０゜未満である場合に、前記ヒヤリハット対象が前記自動車であれば、出会い頭によるヒヤリハット事象と分類し、前記ヒヤリハット対象が前記自動二輪車、前記自転車および前記人の何れかである場合は飛び出しによるヒヤリハット事象と分類し、
前記交差角度が２０゜以上６００゜未満である場合に、前記ヒヤリハット対象が前記自動車、前記自動二輪車および前記自転車の何れかである場合は割り込みによるヒヤリハット事象と分類し、
前記交差角度が２０゜未満である場合に、前記ヒヤリハット対象が前記自動車、前記自動二輪車および前記自転車の何れかである場合は追突によるヒヤリハット事象と分類する、請求項１０記載の地図作成システム。
【請求項１】
車両に搭載されたステレオカメラで撮影された画像データから３次元画像情報を取得する３次元計測部と、
前記３次元計測部で算出された３次元画像情報に基づいて、自車両との接触の可能性のある画像内の領域を障害物判定候補領域として検出する障害物検出部と、
前記障害物検出部で検出された前記障害物判定候補領域に対して、距離情報に基づいて、自車両と障害物判定候補領域内の物体とが衝突する可能性があるか否かを判定する衝突可能性判定部と、
前記衝突可能性判定部で、前記自車両が前記物体と衝突する可能性があると判定された場合に、その時点の前後の前記画像データを少なくとも記録する記録部とを備える、運転記録装置。
【請求項２】
前記記録部には、
前記衝突可能性判定部で、前記自車両が前記物体と衝突する可能性があると判定された時点での前記自車両の位置情報が記録される、請求項１記載の運転記録装置。
【請求項３】
前記記録部には、前記物体の大きさの情報、動きの情報および速度情報がさらに記録される、請求項２記載の運転記録装置。
【請求項４】
前記障害物検出部は、第１画像内の所定の領域に対し、予め設定された所定値と現在の２次元オプティカルフローとの差を求め、この求めた差が所定の第１閾値以上である場合に、前記第１画像内の前記所定の領域を障害物判定候補領域として抽出する、請求項１記載の運転記録装置。
【請求項５】
前記障害物検出部における前記予め設定された所定値は、過去の２次元オプティカルフローである、請求項４記載の運転記録装置。
【請求項６】
前記障害物検出部における前記予め設定された所定値は、前記画像データに写し出された道路面の２次元オプティカルフローである、請求項４記載の運転記録装置。
【請求項７】
前記衝突可能性判定部は、
前記障害物検出部で抽出された前記障害物判定候補領域に対し、前記２次元オプティカルフローおよび前記３次元画像情報に含まれる距離情報に基づいて、３次元オプティカルフローを求め、前記障害物判定候補領域に対し、前記３次元オプティカルフローに基づいて、前記自車両と前記物体との衝突の可能性を判定する、請求項６記載の運転記録装置。
【請求項８】
前記衝突可能性判定部は、
前記自車両を含む立体を仮想した場合に、前記３次元オプティカルフローを含む線分と前記立体の境界面とが交差するか否かを判定することによって、前記自車両と前記物体とが衝突するか否かを判定する、請求項７記載の運転記録装置。
【請求項９】
請求項３記載の運転記録装置の前記記録部に記録された情報を取り込み、ヒヤリハット事例を解析してヒヤリハット地図を作成する地図作成システムであって、
前記記録部に記録された前記情報に基づいてヒヤリハット事例を解析し、ヒヤリハット対象およびヒヤリハット事象を分類する判定部と、
前記判定部で分類した前記ヒヤリハット対象および前記ヒヤリハット事象を、前記自車両の前記位置情報に基づいて地図上に書き込むことで前記ヒヤリハット地図を作成する地図作成部とを備える、地図作成システム。
【請求項１０】
前記判定部は、
前記障害物判定候補領域内の前記物体の前記大きさの情報に基づいて、前記ヒヤリハット対象が、自動車、自動二輪車、自転車および人の何れであるかの分類を行うとともに、
前記障害物判定候補領域内の前記物体の前記動きの情報および前記速度の情報に基づいて、前記自車両および前記物体の予測進路を取得し、前記自車両および前記物体のそれぞれの前記予測進路の交差角度と前記ヒヤリハット対象の分類結果とに基づいて、前記ヒヤリハット事象を分類する、請求項９記載の地図作成システム。
【請求項１１】
前記判定部は、
前記自車両および前記物体のそれぞれの前記予測進路の前記交差角度が６０゜以上９０゜未満である場合に、前記ヒヤリハット対象が前記自動車であれば、出会い頭によるヒヤリハット事象と分類し、前記ヒヤリハット対象が前記自動二輪車、前記自転車および前記人の何れかである場合は飛び出しによるヒヤリハット事象と分類し、
前記交差角度が２０゜以上６００゜未満である場合に、前記ヒヤリハット対象が前記自動車、前記自動二輪車および前記自転車の何れかである場合は割り込みによるヒヤリハット事象と分類し、
前記交差角度が２０゜未満である場合に、前記ヒヤリハット対象が前記自動車、前記自動二輪車および前記自転車の何れかである場合は追突によるヒヤリハット事象と分類する、請求項１０記載の地図作成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１３４２０７（Ｐ２０１１−１３４２０７Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９４５６５（Ｐ２００９−２９４５６５）
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]