運転解析システムおよび運転記録装置
【課題】運転者に対する安全運転教育のための運転記録を提供する運転記録装置および当該運転記録に基づいて運転状態の解析を行う運転解析システムを提供する。
【解決手段】ステレオカメラ１で撮影された画像データを記録する画像記録部２と、画像データから３次元画像情報を算出する３次元画像情報算出部３と、３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部４と、３次元画像情報に基づいて自車両の速度を検出する速度算出部５と、動体との車間距離を検出する車間距離検出部６と、車間距離および速度算出部５で検出された自車両の速度等の運転情報を記録する記録部７を備えている。
【解決手段】ステレオカメラ１で撮影された画像データを記録する画像記録部２と、画像データから３次元画像情報を算出する３次元画像情報算出部３と、３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部４と、３次元画像情報に基づいて自車両の速度を検出する速度算出部５と、動体との車間距離を検出する車間距離検出部６と、車間距離および速度算出部５で検出された自車両の速度等の運転情報を記録する記録部７を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラを用いて得られた３次元情報に基づいて算出された速度情報、車間距離情報を蓄積する運転記録装置、および運転記録装置に蓄積された運転情報等に基づいて、運転状態の解析を行う運転解析システムに関する。
【背景技術】
【０００２】
交通事故の削減は陸運業界において重要な課題である。運転者には安全運転が要求されるが、経営者や運行管理者には、安全運転のための運転者の教育や管理が要求される。
【０００３】
前者の要求には、警告装置や自動危険回避装置の開発で対処することが考えられており、例えば 特許文献１では、運転者の制動操作を解析して、運転者の制動傾向を推定し、運転者に追突防止のための警告を発したり、適切なブレーキアシストを行うために使用することが開示されている。
【０００４】
また、特許文献２においては、車載カメラで撮影された動画像を管理センターに送り、管理センターにおいて先行車との車間距離等の運転に関する傾向を解析し、解析に基づいて自車と先行車との関係を２次元的に表したシミュレーション画像を車載のナビゲーションシステムに送信し、車載の表示装置で表示することで運転者に現状を知らせるシステムが開示されている。
【０００５】
一方、後者の要求においては、教育や管理には人手に頼るところが多く、コストの増大につながっている。このため、人手に頼る部分をできるだけ省いて省力化することが経営者層から求められている。
【０００６】
例えば、特許文献３には、車載カメラの画像情報を解析して車両と車線との位置関係を検知し、車両が車線を逸脱した際にはドライバーに警告を与えるとともに、車両管理者にも情報を与え、車両管理者がドライバーに休憩や運行計画の変更を指示できるシステムが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−８３２７号公報
【特許文献２】特開２００４−３０２９０２号公報
【特許文献３】特開２００９−９９０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
以上説明したように、運転者に対する安全運転のアシストのためのシステムだけでなく、経営者や運行管理者による安全運転のための運転者の教育や管理を行うシステムが要求されているが、管理はともかく、教育を目的としたシステムについては、有効な提案がなされていないのが現状である。
【０００９】
本発明は上記のような問題点を解消するためになされたもので、運転者に対する安全運転教育のための運転記録を提供する運転記録装置および当該運転記録に基づいて運転状態の解析を行う運転解析システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る運転解析システムの第１の態様は、車両に搭載されたステレオカメラと、前記ステレオカメラで撮影された画像データを記録する画像記録部と、前記画像記録部で記録された画像データから３次元画像情報を算出する３次元画像情報算出部と、前記３次元画像情報算出部で算出された３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部と、前記３次元画像情報算出部で算出された３次元画像情報に基づいて自車両速度を検出する速度算出部と、前記動体特定部で特定された先行車との車間距離を検出する車間距離検出部と、自車両の運転に影響を及ぼす環境情報の１つとして前記車間距離検出部で検出された車間距離および前記速度算出部で算出された自車両速度を運転情報として記録する記録部と、を備えた運転記録装置で取得される前記運転情報を取り込み、前記環境情報に基づいた運転者の運転パターンを算出して、運転傾向を解析する。
【００１１】
本発明に係る運転解析システムの第２の態様は、前記運転記録装置においては、自車両が加速して定常走行状態に至るまでの加速期間、または自車両が減速して定常走行状態に至るまでの減速期間についてのみ前記運転情報を前記記録部に記録する。
【００１２】
本発明に係る運転解析システムの第３の態様は、前記運転傾向の解析においては、自車両が加速して定常走行状態に至った後の到達定常速度ごとに車間距離を分類し、到達定常速度に対する車間距離との関係より運転傾向を解析する。
【００１３】
本発明に係る運転解析システムの第４の態様は、前記運転傾向の解析においては、前記定常速度に対する車間距離との関係を用いた前記運転傾向の解析において、他者の運転時のデータによる前記定常速度に対する車間距離との関係あるいは複数の運転者による運転時のデータの平均値との比較により前記運転傾向を解析する。
【００１４】
本発明に係る運転解析システムの第５の態様は、前記運転傾向の解析においては、定常速度での運転下において、先行車との車間距離が近づき始めてから減速を開始するまでの時間を定常速度ごとに分類し、定常速度に対する減速開始に要する時間との関係より運転傾向を解析する。
【００１５】
本発明に係る運転解析システムの第６の態様は、前記運転傾向の解析においては、車間距離が予め定めた所定値よりも大きい場合あるいは加速開始時に車間距離が記録されていない場合の加速開始から加速終了までの時間単位の平均速度を、自車両が加速して定常走行状態に至った後の到達定常速度ごとに分類し、到達定常速度に対する車間距離との関係より運転傾向を解析する。
【００１６】
本発明に係る運転解析システムの第７の態様は、前記運転傾向の解析においては、車間距離が予め定めた所定値よりも大きい場合あるいは減速開始時に車間距離が記録されていない場合の減速開始から減速終了までの時間単位の平均速度を、自車両の減速開始前の定常走行状態での定常速度ごとに分類し、定常速度に対する車間距離との関係より運転傾向を解析する。
【００１７】
本発明に係る運転記録装置の態様は、車両に搭載されたステレオカメラと、前記ステレオカメラで撮影された画像データを記録する画像記録部と、前記画像記録部で記録された画像データから３次元画像情報を算出する３次元画像情報算出部と、前記３次元画像情報算出部で算出された３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部と、前記３次元画像情報算出部で算出された３次元画像情報に基づいて自車両速度を検出する速度算出部と、前記動体特定部で特定された先行車との車間距離を検出する車間距離検出部と、自車両の運転に影響を及ぼす環境情報の１つとして前記車間距離検出部で検出された車間距離および前記速度算出部で算出された自車両速度を運転情報として記録するとともに、前記３次元画像情報の記録も可能な記録部と、を備えている。
【発明の効果】
【００１８】
本発明に係る運転解析システムの第１の態様によれば、運転記録装置で取得される運転情報を取り込み、環境情報に基づいた運転者の運転パターンを算出して、運転傾向を解析することで、運転者の運転傾向および改善ポイントが明確となり、運転者に対する安全運転教育を行うことができる。
【００１９】
本発明に係る運転解析システムの第２の態様によれば、加速期間または減速期間についてのみ運転情報を記録部に記録するので、記録データの削減を図ることができる。
【００２０】
本発明に係る運転解析システムの第３の態様によれば、到達定常速度ごとに車間距離を分類し、到達定常速度に対する車間距離との関係より運転傾向を解析するので、運転傾向がより顕著に判明する。
【００２１】
本発明に係る運転解析システムの第４の態様によれば、他者の運転時のデータによる定常速度に対する車間距離との関係あるいは複数の運転者による運転時のデータの平均値との比較により運転傾向を解析するので、運転傾向や改善ポイントがより判りやすくなる。
【００２２】
本発明に係る運転解析システムの第５の態様によれば、定常速度に対する減速開始に要する時間との関係より運転傾向を解析するので、ドライバーの注意力、判断力などの解析が可能となる。
【００２３】
本発明に係る運転解析システムの第６および第７の態様によれば、先行車がいない場合の運転傾向の解析が可能となる。
【００２４】
本発明に係る運転記録装置の態様によれば、ステレオカメラにより得られた画像データに基づいて、車間距離および自車両速度を取得し、運転情報として記録するとともに、３次元画像情報の記録も可能なので、３次元情報の記録が可能なドライブレコーダを得ることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明に係る運転記録装置の構成を示すブロック図である。
【図２】時系列ステレオ画像における対応点探索について説明するための図である。
【図３】視差の２乗とオプティカルフローの垂直成分との関係を示す図である。
【図４】視差の２乗とオプティカルフローの垂直成分との関係から得られる直線を示す図である。
【図５】通常走行時の速度変化および車間距離の変化を示す図である。
【図６】本発明に係る運転解析システムの構成を示すブロック図である。
【図７】車間距離のサンプリングの過程を説明する図である。
【図８】定常速度と車間距離との関係を示す図である。
【図９】減速開始に要する時間のサンプリングの過程を説明する図である。
【図１０】加速開始から定常速度に達するまでの加速状態下でのサンプリングの過程を説明する図である。
【図１１】加速時の速度と車間距離との関係を示す図である。
【発明を実施するための形態】
【００２６】
＜実施の形態＞
＜運転記録装置の構成＞
図１は、本発明に係る運転記録装置１００の構成を示すブロック図である。図１に示すように、運転記録装置１００は、車両に搭載されたステレオカメラ１で撮影された画像データを記録する画像記録部２と、画像記録部２に記録された画像データから３次元画像情報を算出する３次元画像情報算出部３と、３次元画像情報算出部３で算出された３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部４と、３次元画像情報算出部で算出された３次元画像情報に基づいて自車両の速度を検出する速度算出部５と、動体特定部４で特定された動体（ここでは先行車）との車間距離を検出する車間距離検出部６と、車間距離検出部６で検出された車間距離および速度算出部５で検出された自車両の速度等の運転情報を記録する記録部７を備えている。次に、各構成について説明する。
【００２７】
ステレオカメラ１は車両等の移動体に搭載され、ステレオ時系列画像を取得するものである。ステレオカメラ１は、例えばＣＣＤ（Charge-Coupled Devices）等の撮像素子を有するカメラであり、適当な距離だけ離間させて左右に設置された２つのカメラを備えて構成される。ステレオカメラ１における左右それぞれのカメラは、被写体を同じタイミングで撮像し、左右一対の画像を得る。なお、左右のカメラの収差は良好に補正されており、かつ、これらは相互に平行に設置されていることが好ましい。このように、ステレオカメラにおいて、各カメラが平行に設置されることで、平行化された画像が得られ、これら画像から容易に３次元画像情報を得ることができる。なお、３次元画像情報とは、ステレオ時系列画像から得ることができる、カメラの位置を基準とした３次元座標、２次元および３次元動きベクトル等をいう。このステレオカメラ１は、一定周期で随時撮像を繰り返している。また、ステレオカメラ１が被写体を撮像し、生成するステレオ画像は、立体情報を含んでいる。
【００２８】
なお、例えば、ステレオカメラの代わりに単眼カメラを用いる場合は、３次元情報の取のために、３次元計測ができる機器、例えば、レーザやミリ波による計測器を備える構成とし、この計測器により、立体情報を取得すれば良い。
【００２９】
画像記録部２は、ステレオカメラ１により一定周期ごとに撮像され、信号として運転記録装置１００に送信されてくる画像を記憶する。なお、画像記録部２は、所定量以上の画像を記憶しないものとし、新しく撮像により生成された画像を記憶しながら、記録している画像を古い画像から随時消去している。
【００３０】
３次元画像情報算出部３は、画像記録部２に記憶されている画像の３次元画像情報を算出する。具体的には、３次元画像情報算出部３は、画像上における点の撮像位置を基準とする３次元座標および動きベクトル等を求める。時系列ステレオ画像をもとに、３次元画像情報（前記３次元座標および動きベクトル等）を得る方法は公知の方法を用いればよい。
【００３１】
具体的には、ステレオ画像における３次元画像情報は、ある画像上の点に対応する点を、その画像に対応する画像上から探索する（対応点探索）ことで得られる。例えば、一対のステレオ画像同士において、対応点探索を行うことで、その時刻における３次元座標が得られる。
【００３２】
また、例えば、同一のカメラで撮像した、撮像時間の異なる被写体の画像同士において、対応点探索を行うことで、その点の動きベクトルが求められる。なお、ステレオカメラ１がステレオカメラでなく、単眼カメラである場合には、レーザやミリ波による３次元計測器等を備える。そして、３次元画像情報算出部３は、これらの測定器による計測値および、単眼カメラにより被写体が撮像されて生成された時系列画像を関連づけて、３次元画像情報を得る。例えば、この単眼カメラの光軸と同一方向に出射された、レーザまたはミリ波による３次元計測により求められた立体情報を、単眼カメラにより撮像された被写体の画像と関連づければよい。
【００３３】
対応点探索法として、基準画像上の任意の注目点に対応する参照画像上の点（対応点）を探索して求める、相関法がある。なお、参照画像は、基準画像に対応する画像である。
【００３４】
具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が基準画像であり、他方は参照画像である。また、時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が基準画像であり、時間的に後の画像が参照画像である。この基準画像上の注目点に対してテンプレートが設定され、このテンプレートと対応する参照画像上のウィンドウが探索され、この探索されたウィンドウから対応点が求められる。
【００３５】
以下に、３次元画像情報算出部３により行われる、具体的な対応点探索について説明する。ステレオカメラ１により生成されたステレオ画像の一方は基準画像とされ、その基準画像に注目点が設定され、基準画像上に注目点を含むテンプレートが設定される。ここで、テンプレートとは基準画像において一定の領域で区切られた範囲であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。そして、このテンプレートと、当該基準画像と対応する参照画像（前記ステレオ画像における他方の画像）において複数設定されたウィンドウとの相関値（類似度）が算出され、相関値に基づいて、これらテンプレートとウィンドウとが対応しているか否かが判断される。
【００３６】
なお、ウィンドウとは参照画像において複数生成された、テンプレートと同一の大きさの範囲の領域であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。上述のように、テンプレートとウィンドウとの画像パターンから相関値が求められる。例えば、テンプレートといずれかのウィンドウとの相関値が求められ、仮に、これらの相関値が低いことから、これらが対応しないと判断されれば、例えば１画素いずれかの方向にずれた位置に生成されたウィンドウとテンプレートとの相関値が求められる。このようにして、順次ウィンドウが変更されながら相関値が求められ、相関値がピークの値をとるウィンドウが探索される。そして、テンプレートの画像パターンと相関値がピークである画像パターンを有するウィンドウが、テンプレートに対応するウィンドウであると求められる。
【００３７】
次に、相関値の具体的な算出方法について説明する。具体的には、関数を用いて相関値を求める。その方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）法、ＳＳＤ(Sum of Squared Difference)法（２乗残差法）、ＮＣＣ（Normalize cross Correlation）法（正規化相互相関法）等が知られている。
【００３８】
ＳＡＤ法は、テンプレートおよびウィンドウの輝度値の絶対値による総和を求める関数を用いる方法であって、この関数を用いてテンプレートおよびウィンドウごとの相関値が求められる。また、上記ＳＡＤ法等に比べてロバスト性を有する相関値演算の方法もある。具体的には、この方法は、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法である。そして、この方法を用いることで、ステレオ画像における左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関値演算が実現可能である。
【００３９】
なお、画像パターンの周波数分解信号を計算する手法は、例えば高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換などが知られている。ここでは、このようなロバスト性を有する相関値演算のうち位相限定相関法（以下、ＰＯＣ法という）について簡単に説明する。
【００４０】
ＰＯＣ法においても、基準画像上にテンプレートが設定され、参照画像上に同じ大きさを持つウィンドウが設定される。そして、テンプレートと各ウィンドウとの相関値（ＰＯＣ値）が計算され、その相関値からテンプレートに対応するウィンドウが求められる。まず、基準画像のテンプレートおよび参照画像のウィンドウは、それぞれ２次元離散フーリエ変換され、規格化された後、合成され、２次元逆離散フーリエ変換される。このようにして、相関値であるＰＯＣ値が求められる。また、ＰＯＣ値はウィンドウ内における画素ごとに離散的に求まるため、画素ごとの相関値を求めることができる。この点が、ウィンドウごとの相関値を求める、上述のＳＡＤ法等とは異なる。このように、ＰＯＣ法においては、ウィンドウ内における画素ごとに相関値を求めることができるので、ウィンドウの設定範囲を絞り込むことが容易であり、対応点を求める処理が高速でできるという効果を奏する。また、上記ＰＯＣ法等のロバスト性を有する相関値演算方法においては、ウィンドウ内における画素ごとに相関値を求めることができるため、ＳＡＤ法等のようにウィンドウを１画素ずつずらして相関値を求めなくても、対応するウィンドウを探索することができる。
【００４１】
ＰＯＣ法においては、テンプレートとの相関値を求める際に、ウィンドウを複数画素分ずらしながら、相関値の算出を行ってもよい。具体的に、どれだけずらすことができるかは、対応点の探索可能範囲に依存するが、一般的には、ウィンドウサイズの半分くらいであるといわれている。つまり、例えば、ずらされたウィンドウと、ずらされる前のウィンドウとが、ウィンドウサイズの半分程度において重なるように設定されればよい。例えば、基準画像と参照画像との視差の最大を１２８画素とし、ウィンドウサイズを３１×３１とし、ＰＯＣ法により探索できる範囲をウィンドウの重心位置に対して±８画素と仮定すると、この視差を探索するためには、ウィンドウは１６画素ずつずらされればよいので、８個のウィンドウが設定されればよい。なお、ＰＯＣ法においても、多重解像度戦略による探索方法を用いることができる。多重解像度戦略とは、一旦、基準画像および参照画像を低解像度化することで、画素数を減少させた状態で相関値演算を行い、注目点に対して相関値がピークになる座標を求める。その後、解像度を元に戻し、前記低解像度で求まった座標周辺にウィンドウの設定範囲を絞り込んで対応点探索を行うというものである。基準画像および参照画像の解像度が低い状態では、画像パターンの情報が減少しているので、相関値は短時間で求められ得る。また、そうして求められた低解像度における相関値がピークである座標付近に、本来の解像度における相関値がピークとなる座標が存在するはずである。したがって、この方法を用いることで、テンプレートに対応するウィンドウが存在する範囲を短時間で確定されるため、対応するウィンドウも短時間で探索され得る。なお、この方法においては、何段階かに分けた複数の低解像度画像を作成することとし、徐々に探索範囲を絞り込むこととしてもよい。上述の例では、８個のウィンドウが設定されればよかったが、さらに多重解像度戦略による探索方法を用いることで、例えば解像度を１／１６に縮小すれば、設定されるウィンドウは１個でよくなる。これにより、さらに容易に対応点の探索ができる。
【００４２】
ここで、時系列ステレオ画像における対応点探索について、図を用いて簡単に説明する。図２は時系列ステレオ画像における対応点探索について説明するための図である。図２において、時刻Ｔ１に撮影されたステレオ画像である画像Ｌ１と画像Ｒ１とが示されている。なお、説明を簡略化するために、これらの画像を生成した一対の左右に配置されたカメラを有するステレオカメラにおいて、各カメラは平行配置されているとする。また、時刻Ｔ１よりも後の時刻である時刻Ｔ２に撮影された画像Ｌ２と画像Ｒ２とが示されている。なお、画像Ｌ１、Ｒ１、Ｌ２、Ｒ２において、各マス目が１画素を示している。
【００４３】
まず、時刻Ｔ１における画像Ｌ１における点１５ａが注目点（始点）として入力されているとする。この点１５ａに対応する点である、画像Ｒ１上の点１５ｂが対応点探索により求められる。また、点１５ａを注目点とした場合に、時刻Ｔ２での画像Ｌ２上において点１５ａに対応する点１６ａが対応点探索により求められている。そして、この点１６ａを注目点として、時刻Ｔ２における画像Ｒ２においてこれに対応する点１６ｂが対応点探索により求められている。なお、点１６ａの位置は画素の重心からずれている。このような場合は、画素を構成単位とするウィンドウを設定できないので、点１６ａを重心位置とし、画素を構成単位とせず、例えば３画素×３画素の大きさである探索用テンプレートを生成し、画像Ｒ２上でのウィンドウ（３画素×３画素）との類似度に基づいて対応点１６ｂを求めるという方法を採る。なお、この方法については、本願出願人による特許出願２００８−０２３３２３に開示されている。
【００４４】
なお、各点１５ａ、１５ｂ、１６ａ、１６ｂは実際には点であるが、見易さを考慮して、図２においては画素と同じ大きさで図示している。なお、例えばＴ１とＴ２との間の時刻のように、時系列画像が存在しない時刻における対応点は、時系列画像が存在する、その前後の時間であるＴ１とＴ２における対応点を用いて補間等により求めればよい。また、対応点探索は、後の時刻に撮像された被写体の画像に対して行うことに限定されるわけでなく、前の時刻に撮像された被写体の画像に対しても行うことができる。
【００４５】
次に、上記対応点探索により求めた対応点を用いて、３次元画像情報を算出する方法について説明する。点１５ａの座標を（ｐ１ｘ，ｐ１ｙ)とし、点１５ｂの座標を（ｑ１ｘ，ｑ１ｙ)とし、点１６ａの座標を（ｐ２ｘ，ｐ２ｙ)とし、点１６ｂの座標を（ｑ２ｘ，ｑ２ｙ)とする。なお、図面の上下方向が各画像のＹ方向であり、左右方向が各画像のＸ方向である。なお、上述したように、各カメラは平行配置されているので、点１５ａおよび点１５ｂのＹ座標は同じであり、点１６ａおよび点１６ｂのＹ座標も同じである。
【００４６】
まず、点１５ａおよび点１５ａにより求めた点１５ｂの座標より、画像Ｌ１およびＲ１における視差を示すベクトルであるΔｄ１が求められる。具体的には、Δｄ１は（ｑ１ｘ−ｐ１ｘ，０）である。また、点１５ａおよび点１５ａにより求めた点１６ａの座標より、画像Ｌ１およびＬ２における動きを示すベクトルであるΔｆ１が求められる。具体的には、Δｆ１は（ｐ２ｘ−ｐ１ｘ，ｐ２ｙ−ｐ１ｙ）である。また、点１６ａおよび点１６ａにより求めた点１６ｂの座標より、時刻Ｔ２の画像における視差を示すベクトルであるΔｄ２が求められる。具体的には、Δｄ２は（ｑ２ｘ−ｐ２ｘ，０）である。
【００４７】
なお、Δｄ１をもとに、時刻Ｔ１における画像より得た画像の奥行きの距離Ｄ１が求まる。ここで、距離Ｄ１は、図２における紙面垂直方向の座標であり、この座標をＺ座標とする。また、画像Ｌ１、Ｒ１、Ｌ２、Ｒ２を生成したステレオカメラにおける、各カメラの焦点距離をｆとし、各カメラ同士の基線長をＢとすると、Ｄ１は下記の数式（１）で表される。なお、数式（１）において、Δｄ１はベクトルの大きさである。
【００４８】
Ｄ１＝ｆＢ／Δｄ１・・・（１）
また、同様に、時刻Ｔ２における画像より得た画像の奥行き（Ｚ座標方向）の距離Ｄ２は、Δｄ２を用いて、数式（２）で表される。なお、下記の数式（２）において、Δｄ２はベクトルの大きさである。
【００４９】
Ｄ２＝ｆＢ／Δｄ２・・・（２）
これらより、時刻Ｔ１における点１５ａおよび１５ｂにおける３次元座標（Ｘ１，Ｙ１，Ｚ１）は、（ｐ１ｘ・Ｄ１／ｆ，ｐ１ｙ・Ｄ１／ｆ，Ｄ１）と表すことができ、時刻Ｔ２における点１６ａおよび１６ｂにおける３次元座標（Ｘ２，Ｙ２，Ｚ２）は、（ｐ２ｘ・Ｄ２／ｆ，ｐ２ｙ・Ｄ２／ｆ，Ｄ２）と表すことができる。
【００５０】
これら３次元座標（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）から３次元動きベクトルが求められる。具体的には、３次元動きベクトルは、（Ｘ２−Ｘ１，Ｙ２−Ｙ１，Ｚ２−Ｚ１）で表されるベクトルである。
【００５１】
動体特定部４は、画像中における動体対応画像部分を特定する。ここで、動体とは、自動車やバイク等の車両、自転車、歩行者等である実際に地面に対して移動している物体をいう。また、動体対応画像部分とは、画像中に表示された動体に対応する箇所をいう。なお、本発明の一実施形態において、ステレオカメラ１は車両等の移動体に搭載されて撮像を行うため、この移動体に対して相対的に移動していても、動体であるとは限らない。そこで、以下に、ステレオカメラ１により生成された時系列画像における動体対応画像部分の特定方法について説明する。なお、動体対応画像部分の特定においては、動体特定部４は、３次元画像情報算出部３により求められた３次元座標、２次元動きベクトルおよび３次元動きベクトル等の３次元画像情報を用いる。なお、画像上の動体対応画像部分を特定するとは、具体的には、画像として表されている物体のうち動体が表示されている箇所を特定し、その３次元画像情報を取得することをいう。
【００５２】
まず、動きの消失点を用いて動体対応画像部分を特定する方法がある。ここで、動きの消失点とは、画像上の各点における動きベクトルをその方向に沿って延長した直線が交わる点である。この消失点は、画像上の物体の移動方向に応じて定まる。すなわち、カメラが同一方向に移動している場合において、同一物体であれば同一方向に移動していることから、その物体に対しての消失点が存在する。また、画像上の物体が静止体である場合に、静止体である物体すべてに対して同一の消失点が存在することが報告されている（「主成分分析を用いた移動物体認識法の検討」，情報処理学会 研究報告 − コンピュータビジョンとイメージメディアＶｏｌ．１９９６，Ｎｏ．３１，１９９５−ＣＶＩＭ−０９９，文献番号：ＩＰＳＪ−ＣＶＩＭ９５０９９００８参照）。
【００５３】
なお、ステレオカメラ１により撮像される被写体の画像のほとんどは、信号機や、路面、横断歩道、壁等の静止体に対応する静止体対応画像部分で占められていると考えられる。ここで、静止体対応画像部分とは、画像中に表示された、静止体に対応する箇所をいう。そして、そのように仮定すると、最も多くの動きベクトルに対する消失点が静止体対応画像部分に対応する静止体の消失点であると推測される。したがって、画像において存在する消失点の内、最も多くの動きベクトルに対する消失点を除いた後に存在する各消失点が動体対応画像部分に対応する動体の消失点であると推定できる。
【００５４】
そこで、動体特定部４は、３次元画像情報算出部３により算出した、時系列画像において求められる動きベクトルをその方向に沿って延長して、それらが交わる点である消失点を画像上において求める。そして、それら消失点の内、最も多くの動きベクトルに対する消失点以外の各消失点を動体対応画像部分に対応する消失点であると推定する。
【００５５】
このようにして、推定された動体対応画像部分の消失点をもとに、画像上の動体対応画像部分を特定し、その３次元画像情報を取得する。このようにして、各時系列画像における動体対応画像部分を特定することができる。なお、動きベクトルは、３次元画像情報算出部３により算出されているので、消失点を求めるために新たに動きベクトルを算出する必要はなく、消失点を容易に算出することができる。
【００５６】
また、ステレオ時系列画像から求めた３次元動きベクトルに対して、このステレオ時系列画像を生成したステレオカメラ１の移動速度によりこれらを補正することで画像上の静止体対応画像部分と動体対応画像部分とを判別する方法もある（例えば、特開２００６−１３４０３５号参照）。この方法を用いる場合は、動体特定部４はステレオカメラ１が搭載された移動体の速度情報を受け、３次元画像情報算出部３により算出された３次元動きベクトルを用いて、画像上の動体対応画像部分を特定し、その３次元画像情報を取得することができる。
【００５７】
速度算出部５では、以下の工程(a-1)〜(a-5)が順次に実行されることで、自車両の走行速度を算出することができる。
【００５８】
(a-1)時刻ｔ0と時刻ｔ1とにおいて撮影されるステレオ画像から各注目点に係る視差ｄの２乗とオプティカルフローの垂直成分Δｙとが求められる。
【００５９】
(a-2)視差ｄの２乗とオプティカルフローの垂直成分Δｙとを座標軸とする２次元座標空間に各注目点に係る数値がプロットされる。図３は、各注目点に係る視差ｄの２乗とオプティカルフローの垂直成分Δｙとの関係を示す図である。図３では、横軸が視差ｄの２乗を示し、且つ縦軸がオプティカルフローの垂直成分Δｙを示す２次元座標空間に各注目点に係る数値がプロットされた状態が示されている。
【００６０】
(a-3)最小二乗法、ハフ変換等の直線算出手法が用いられて、図３で示されるようにプロットされた各点によって描かれる直線Ｌ１が検出される。
【００６１】
(a-4)直線Ｌ１の傾きおよび切片が検出される。
【００６２】
(a-5)上記工程(a-4)において検出された直線Ｌ１の傾きから車両１００の走行速度（前進速度）ｖが算出されるとともに、上記工程(a-4)において検出された直線Ｌ１の切片から車両１００のピッチ方向における角速度ωが算出される。ここで、直線Ｌ１は、図４で示されるように、Δｙおよびｄ2を変数とし、（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ2）を傾きとし、−α・ω・Δｔを切片とする直線である。なお、カメラパラメータα、基線長Ｂ、およびフレーム周期Δｔは、ステレオカメラ１の設計によって決まる定数である。従って、直線Ｌ１の傾きと切片とが検出されれば、定数α，Ｂ，Δｔが用いられて、ｈ・ｖの値と角速度ωの値とが算出される。そして、道路面を基準としたステレオカメラ１の高さｈとして、予め設定された初期値が採用されれば、自車両の走行速度ｖが求められる。
【００６３】
また、上記のようにステレオ画像から速度を検出する方法以外に、車載の速度計からの情報を用いても良い。
【００６４】
車間距離検出部６においては、３次元画像情報算出部３において動きベクトルを算出する際に距離Ｄ１（あるいはＤ２）が算出されているので、３次元画像情報算出部３から当該距離情報を受け、また、動体特定部４で特定した動体の情報を受けることで、動体との距離を算出する。
【００６５】
また、車間距離を求める方法として、特許第３５２２３１７号に開示される方法を使用することもできる。また、この他にも、ミリ波レーダやレーザレーダを用いて距離測定を行う測定器を車間距離検出部６として備える構成であっても良い。
【００６６】
記録部７は、例えばメモリカードのような着脱自在の記録媒体を使用することで、データの蓄積が終わった後は、記録済みのメモリカードを取り外し、新たなメモリカードを装着することで、簡単にデータの受け渡しができる。なお、記録部７を基板固定型のメモリチップやハードディスクで構成し、データだけを入出力インタフェースを介して読み出す構成としても良い。
【００６７】
＜記録動作＞
次に、運転記録装置１００における記録動作について説明する。
【００６８】
記録部７には、車間距離検出部６および速度算出部５でそれぞれ検出された車間距離および速度のデータを記録するが、自車両の運転中の全てのデータを記録する必要はない。
【００６９】
図５には通常走行時の速度変化および車間距離の変化のグラフを示す。図５において、横軸に時間を、縦軸に速度（ｋｍ／ｈ）および車間距離（ｍ）を示し、速度変化を細線で、車間距離の変化を太線で示す。
【００７０】
信号待ちで停止していた車を例に採ると、先行車が走行を開始すると、後続車は車間距離を少しずつ広げながら加速を行う。この後、先行車が制限速度などの関係で定常速度に到達すると、その速度域での車間距離を保ったまま定常走行状態となる。この状態の車間距離は制動距離などとも関係するが、概ねドライバーの持つ運転特性を表している。すなわち、車間距離は少なくとも停止距離と同等の距離を保つことが望ましく、停止距離は以下のように表される。
【００７１】
停止距離＝空走距離の２乗÷制動距離
ここで、空走距離は反応時間（秒）×車速（秒速）で表され、制動距離は時速（ｋｍ／時）の２乗÷（２５４×摩擦係数）で表される。
【００７２】
このため、車間距離を保つ必要があること、すなわち先行車が存在することで、ドライバーは、自身の走行パターンとは異なった走行パターンでの運転を余儀なくされるので、そこにドライバーの持つ運転特性が現れる。なお、先行車の存在は、運転パターンに変化をもたらす外的要因でもあるので、車間距離の情報は環境情報に含むこともできる。
【００７３】
また、先行車が信号などで減速を開始すると、後続車は先行車との車間距離を徐々に狭めながら減速を行い、先行車との車間距離をある程度に保った状態で停車することになる。
【００７４】
このような走行状態を想定した場合、定常走行状態にある車両の速度や車間距離のデータは、ドライバーの持つ運転特性をあまり反映しておらず、運転特性の解析には活用性が低いと言える。そこで、このような定常走行状態での速度および車間距離のデータは記録せず、加速、減速時のデータのみを記録することで記録データの削減を図ることができる。
【００７５】
より具体的には、加速時、減速時の領域と、その前後の定常走行状態にある所定時間Δｔ分のデータを記録する。図５においては、加速時の時間ｔ１の区間および減速時の時間ｔ２の区間のデータが記録すべきデータとなる。なお、図５では、停止していた状態からの加速なので、所定時間Δｔについては記載していない。
【００７６】
なお、記録部７に記録するデータは、単位時間間隔で記録するが、ステレオ画像に基づいて得られるデータであるなら、通常３０フレーム／秒の周期でのデータ取得が可能であるので、これをそのまま記録しても良いし、このデータから平均化処理、あるいは間引き処理を施して、１秒ごとのデータとして記録しても良い。
【００７７】
また、上記の説明においては、ステレオ画像に基づいて先行車を特定し、車間距離検出部６および速度算出部５で、それぞれ車間距離および速度を検出し、それを記録部７に記録するものとして説明したが、先行車を特定するのではなく、自車両の周囲の静止体との距離情報を記録することとし、当該距離情報を用いて後の処理で速度を算出する構成としても良い。
【００７８】
また、ステレオ画像に基づいて車間距離および速度を検出する場合には、記録部７には視差情報や２枚対の画像情報を記録することとし、当該情報から３次元画像情報を取得し、それを用いて後の処理で速度や車間距離を算出する構成としても良い。
【００７９】
また、記録部７には車間距離以外の運転時の環境情報を記録するようにしても良い。すなわち、自車両の進路の直線性や、路面状況などの道路に起因する情報、信号機との位置関係、標識などの交通ルールに基づく情報、昼間、夜間、雨天などの天候による視認性情報などの環境情報も運転パターンに寄与するものと考えられ、これらを記録部７に記録し、一日の運転が終了した時点で、これらのデータを読み出して解析を行う。この解析については、後に説明する。
【００８０】
ここで、自車両の進路の直線性の情報は、ステレオ画像から得られた３次元情報に基づいて取得することが可能であり、また、ＧＰＳ（Global Positioning System）情報から道路の持つ直線性を記録することも可能である。
【００８１】
また、路面状況は、３次元画像情報算出部３で算出された３次元画像情報に基づいて、路面の凹凸などの走行の障害となる障害物の位置や高さ、深さ、形状の計測や、路面の傾斜を計測することで、路面形状のデータとして取得することができる。
【００８２】
また、信号機や標識などとの位置関係については、画像認識により信号機や標識を判別する技術が開示されており、信号機や標識に対して自車両がどこに位置するかの情報を取得することが可能である。また、ＧＰＳ情報からも信号機や標識などとの位置関係の検出、記録は可能である。
【００８３】
また、昼間、夜間の情報については、時間を記録しておくことで情報となり、雨天などの天候による視認性については、画像を記録しておき、中央線などに使用される白線と路面とのコントラストから視認性の検出、記録を行うことができる。
【００８４】
＜運転解析システムの構成＞
次に、運転記録装置１００の記録部７に記録された運転情報等を用いて、運転状態の解析を行う運転解析システム２００の構成について説明する。
【００８５】
図６は、本発明に係る運転解析システム２００の構成を示すブロック図である。図６に示すように、運転解析システム２００は、データ読み取り部２１、データベースシステム２２および解析部２３を備えている。
【００８６】
運転解析システム２００は、タクシーやトラックの営業所等に配置された運行管理を行うコンピュータシステム内に構築される。また、各社の運行管理を行うコンピュータシステムや車載の運転記録装置１００から無線通信によりデータを受け取り、各社のデータを一括処理する解析センターのような施設がある場合には、そこのサーバーコンピュータ内に構築しても良い。
【００８７】
データ読み取り部２１は、運転記録装置１００の記録部７が着脱自在のメモリーカードなどの記録メディアである場合は、当該記録メディアを差し込むスロットを有し、当該記録メディアからのデータを読み出してデータベースシステム２２に与える。この場合、予め読み出すデータを決めておけば、そのドライバーの、その日一日の全ての走行パターンについての情報、例えば、加速、減速時の速度情報、車間距離情報を整理しながらデータベースシステム２２に与えることができる。
【００８８】
データベースシステム２２は、ドライバーごとに日々の運転情報等を記録し、管理するシステムであり、コンピュータ内の記憶装置が利用される。また、解析部２３からの要求に応じて、記録された各走行パターンのデータ（時々刻々の車速、車間距離のデータ等）を解析部２３に送るとともに、解析部２３での解析結果の記録も行う。
【００８９】
解析部２３は、データベースシステム２２から取得したドライバー単位の走行パターンのデータ（時々刻々の車速、車間距離のデータ等）について、統計的な処理を行うことで各ドライバーの運転傾向の解析を行う。
【００９０】
＜解析動作＞
以下、解析部２３での運転傾向の解析動作について、第１〜第６の解析動作を例に採って説明する。
【００９１】
＜第１の解析動作：定常速度下での車間距離＞
定常速度での運転下における車間距離を、時速１０ｋｍ／ｈ間隔での速度別にサンプリングし、それらの平均値およびバラツキを算出して運転傾向の解析に使用する。
【００９２】
図７は車間距離のサンプリングの過程を説明する図であり、図５と同様に通常走行時の速度変化および車間距離の変化のグラフを示しており、横軸に時間を、縦軸に速度（ｋｍ／ｈ）および車間距離（ｍ）を示し、速度変化を細線で、車間距離の変化を太線で示している。
【００９３】
図７に示すグラフの加速、減速のパターンから、定常運転状態の領域を判断し、定常運転状態の領域での速度を定常速度Ｓとし、また定常運転状態での車間距離をΔｄとする。
【００９４】
このようなグラフを、複数の加速、減速のパターンについて作成し、それぞれのパターンでの定常速度と、そのときの車間距離を取得し、得られた複数の定常速度のデータから、時速１０ｋｍ／ｈ間隔で速度別にサンプリングして、サンプルデータについて標準偏差、最大値、最小値等を求めてグラフを作成する。
【００９５】
図８は、定常速度と車間距離との関係を示すグラフであり、縦軸に定常速度Ｓ（ｋｍ／ｈ）を示し、横軸には、車間距離Δｄ（ｍ）を示している。
【００９６】
図８において、白抜きの丸印でプロットされて示されるデータが、あるドライバーの各定常速度での車間距離の平均値であり、また、平均値を起点として左右に伸びる矢印が、各定常速度での車間距離の最大値と最小値を示している。
【００９７】
図８より、定常速度が大きくなるにつれて車間距離も広く取っていること、および定常速度が大きくなると、車間距離の最大値と最小値の幅が広くなっていることが判る。このドライバーの特性に対して、優良ドライバーの特性を×印で図８上にプロットして示している。
【００９８】
このように、他者との比較を行うことで、解析対象となっているドライバーの運転傾向や改善ポイントがより判りやすくなる。
【００９９】
また、比較対象を優良ドライバーの特性に限定せず、会社ごとの全ドライバーの平均的な特性あるいは、解析センターを利用する全ての会社の全ドライバーの平均的な特性と比較することで、より、客観的な解析が可能となる。
【０１００】
また、車間距離ではなく、各定常速度での制動距離の変化を示すグラフによっても同様の解析を行うことができる。
【０１０１】
なお、上述した解析は、前方に先行車がいない場合、すなわち加速開始時に車間距離が記録されていない場合、あるいは、車間距離が予め定めた所定値（例えば到達定常速度での制動距離）以上よりも大きい場合は、処理対象から除外した方が望ましく、以下に説明する第２〜第４の解析動作についても同様である。
【０１０２】
ここで、処理対象からの除外方法であるが、データに対する重みを設定することでも実現することができる。例えば、車間距離が極めて広い場合や記録されていないデータには、第１〜第４の解析動作を行う場合には重み０を付与して処理し、第５、第６の解析動作を行う場合には重み１を付与して処理する。これにより、重み０を付与されたデータについては、解析に寄与しないデータとして一括して扱うことができる。
【０１０３】
また、加速、減速のデータにおいて、加速開始時の当初の車間距離に応じて重みを変更して付与することで、グループ化と同様の処理が可能となる。
【０１０４】
＜第２の解析動作：速度別の減速タイミング＞
定常速度での運転下において、先行車との車間距離が近づき始めてから減速を開始するまでの時間を、時速１０ｋｍ／ｈ間隔での速度別にサンプリングし、それらの平均値およびバラツキを算出して運転傾向の解析に使用する。
【０１０５】
図９は減速開始に要する時間のサンプリングの過程を説明する図であり、図５と同様に通常走行時の速度変化および車間距離の変化のグラフを示しており、横軸に時間を、縦軸に速度（ｋｍ／ｈ）および車間距離（ｍ）を示し、速度変化を細線で、車間距離の変化を太線で示している。
【０１０６】
図９に示すグラフの加速、減速のパターンから、定常運転状態の領域を判断し、定常運転状態の領域での速度を定常速度Ｓとし、また、加速時、減速時の領域の前後の定常走行状態にある所定時間Δｔにおいて、車間距離の近づき始めを起点として減速を開始するまでの時間を減速開始までの時間ΔＴとする。
【０１０７】
このようなグラフを、複数の加速、減速のパターンについて作成し、それぞれのパターンでの定常速度と、そのときの減速開始に要する時間を取得し、得られた複数の定常速度のデータから、時速１０ｋｍ／ｈ間隔で速度別にサンプリングして、定常速度と減速開始に要する時間との関係について標準偏差、最大値、最小値等を求めてグラフを作成する。
【０１０８】
この定常速度と減速開始までの時間との関係を示すグラフは、ドライバーの注意力、判断力などの解析の指標となり、ドライバーの運転特性を表すこととなる。
【０１０９】
＜第３の解析動作：加速状態での車間距離＞
加速状態での運転下において、例えば、時速１０ｋｍに達した時点での車間距離、時速２０ｋｍに達した時点での車間距離、時速３０ｋｍに達した時点での車間距離、時速４０ｋｍに達した時点での車間距離をサンプリングし、それらの平均値およびバラツキを算出して運転傾向の解析に使用する。
【０１１０】
図１０は加速開始から定常速度に達するまでの加速状態下でのサンプリングの過程を説明する図であり、横軸に時間を、縦軸に速度（ｋｍ／ｈ）および車間距離（ｍ）を示し、速度変化を細線で、車間距離の変化を太線で示す。
【０１１１】
図１０から、時速１０ｋｍでの車間距離Δｄ１０、時速２０ｋｍでの車間距離Δｄ２０、時速３０ｋｍでの車間距離Δｄ３０および時速４０ｋｍでの車間距離Δｄ４０を得ることができる。
【０１１２】
この加速時の各速度での車間距離について、記録された加速パターンから全てを抽出して統計処理し、平均、標準偏差、最大値、最小値等を求めてグラフを作成する。
【０１１３】
図１１は、加速時の速度と車間距離との関係を示すグラフであり、縦軸に加速時の速度Ｓ（ｋｍ／ｈ）を示し、横軸には、車間距離Δｄ（ｍ）を示している。
【０１１４】
図１１において、白抜きの丸印でプロットされて示されるデータが、あるドライバーの加速時の各速度での車間距離の平均値であり、また、平均値を起点として左右に伸びる矢印が、各定常速度での車間距離の最大値と最小値を示している。
【０１１５】
図１１より、速度が大きくなるにつれて車間距離も広く取っているが、併記する優良ドライバーの特性（×印プロット）に比べると、車間距離の平均は狭いことが判る。
【０１１６】
このように、他者との比較を行うことで、解析対象となっているドライバーの運転傾向や改善ポイントがより判りやすくなる。
【０１１７】
なお、比較対象を優良ドライバーの特性に限定せず、会社ごとの全ドライバーの平均的な特性あるいは、解析センターを利用する全ての会社の全ドライバーの平均的な特性と比較することで、より、客観的な解析が可能となる。
【０１１８】
また、車間距離ではなく、各速度での制動距離の変化を示すグラフによっても同様の解析を行うことができる。
【０１１９】
＜第４の解析動作：減速状態での車間距離＞
図１０および図１１を用いて説明した、加速状態での運転下における車間距離のデータと同様に、減速状態での運転下における車間距離のデータを取得することでもドライバーの運転傾向を解析することができる。なお、データのサンプリングおよび解析の手法は、加速状態の場合と同じであるので、図示および説明は省略する。
【０１２０】
＜第５の解析動作：加速パターン＞
車間距離が予め定めた所定値よりも大きい場合あるいは加速開始時に車間距離が記録されていない場合（前方に先行車がいない場合）の加速開始から加速終了までの時間単位の平均速度およびバラツキから加速パターンを算出し、運転傾向の解析に使用する。
【０１２１】
まず、車間距離が記録されていない、あるいは加速開始以前から到達定常速度での制動距離以上の車間距離が記録されている場合の加速時のデータを取り出す。
【０１２２】
これらの加速時のデータに対して、例えば、到達定常速度で１０ｋｍ／ｈ間隔で速度別に分類（１０ｋｍ／ｈ、２０ｋｍ／ｈ、３０ｋｍ／ｈ、４０ｋｍ／ｈ）を行う。
【０１２３】
そして、分類されたデータに対して、加速開始から加速終了までの時間単位の平均速度を求め、そのドライバー個人の標準加速パターンを求める。
【０１２４】
この、ドライバー個人が持つ加速パターンと、例えば優良ドライバーの加速パターンとを同じグラフ上に示すことで、解析対象のドライバーの運転傾向および改善ポイントがより判りやすくなる。
【０１２５】
＜第６の解析動作：減速パターン＞
車間距離が予め定めた所定値よりも大きい場合あるいは減速開始時に車間距離が記録されていない場合（前方に先行車がいない場合）の減速開始から減速終了までの時間単位の平均速度およびバラツキから減速パターンを算出し、運転傾向の解析に使用する。
【０１２６】
まず、車間距離が記録されていない、あるいは減速開始以前から到達定常速度での制動距離以上の車間距離が記録されている場合の減速時のデータを取り出す。
【０１２７】
これらの減速時のデータに対して、例えば、減速前の定常速度で１０ｋｍ／ｈ間隔で速度別に分類（１０ｋｍ／ｈ、２０ｋｍ／ｈ、３０ｋｍ／ｈ、４０ｋｍ／ｈ）を行う。
【０１２８】
そして、分類されたデータに対して、減速開始から減速終了までの時間単位の平均速度を求め、そのドライバー個人の標準加速パターンを求める。
【０１２９】
この、ドライバー個人が持つ減速パターンと、例えば優良ドライバーの減速パターンとを同じグラフ上に示すことで、解析対象のドライバーの運転傾向および改善ポイントがより判りやすくなる。
【０１３０】
以上説明した解析を行うことで、ドライバーの運転傾向および改善ポイントが明確となり、運転者に対する安全運転教育を行うことができる。
【０１３１】
＜変形例＞
以上説明した実施の形態においては、運転時の環境情報として先行車の情報、すなわち車間距離を用いてドライバーの運転傾向を解析する例を説明したが、運転記録装置１００の記録部７にステレオ画像を記録する構成とし、当該ステレオ画像から中央線などに使用される白線を検知することでカーブの状況を検知し、直線区間とカーブ区間とで分類を行い、運転傾向を解析することも可能である。
【０１３２】
また、同様にステレオ画像から信号機を検知し、信号機までの距離を車間距離と同様に扱うことで、信号機までの距離を環境情報として使用することが可能である。
【０１３３】
これらの環境情報を用いた解析により、ドライバー個人の運転傾向解析結果と、優良ドライバーの運転傾向との差を検出し、危険な方向および安全な方向それぞれでの総和を求めることで、総合的な運転傾向を算出することも可能である。
【０１３４】
この総合的な運転傾向は、ドライバーの人事的評価システムへの出力、リンクを行うことで、客観的な指標での給与、表彰などの処遇などへの反映が可能となる。
【符号の説明】
【０１３５】
１ ステレオカメラ
２ 画像記録部
３ ３次元画像情報算出部
４ 動体特定部
５ 速度算出部
６ 車間距離検出部
７ 記録部
【技術分野】
【０００１】
本発明は、ステレオカメラを用いて得られた３次元情報に基づいて算出された速度情報、車間距離情報を蓄積する運転記録装置、および運転記録装置に蓄積された運転情報等に基づいて、運転状態の解析を行う運転解析システムに関する。
【背景技術】
【０００２】
交通事故の削減は陸運業界において重要な課題である。運転者には安全運転が要求されるが、経営者や運行管理者には、安全運転のための運転者の教育や管理が要求される。
【０００３】
前者の要求には、警告装置や自動危険回避装置の開発で対処することが考えられており、例えば 特許文献１では、運転者の制動操作を解析して、運転者の制動傾向を推定し、運転者に追突防止のための警告を発したり、適切なブレーキアシストを行うために使用することが開示されている。
【０００４】
また、特許文献２においては、車載カメラで撮影された動画像を管理センターに送り、管理センターにおいて先行車との車間距離等の運転に関する傾向を解析し、解析に基づいて自車と先行車との関係を２次元的に表したシミュレーション画像を車載のナビゲーションシステムに送信し、車載の表示装置で表示することで運転者に現状を知らせるシステムが開示されている。
【０００５】
一方、後者の要求においては、教育や管理には人手に頼るところが多く、コストの増大につながっている。このため、人手に頼る部分をできるだけ省いて省力化することが経営者層から求められている。
【０００６】
例えば、特許文献３には、車載カメラの画像情報を解析して車両と車線との位置関係を検知し、車両が車線を逸脱した際にはドライバーに警告を与えるとともに、車両管理者にも情報を与え、車両管理者がドライバーに休憩や運行計画の変更を指示できるシステムが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−８３２７号公報
【特許文献２】特開２００４−３０２９０２号公報
【特許文献３】特開２００９−９９０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
以上説明したように、運転者に対する安全運転のアシストのためのシステムだけでなく、経営者や運行管理者による安全運転のための運転者の教育や管理を行うシステムが要求されているが、管理はともかく、教育を目的としたシステムについては、有効な提案がなされていないのが現状である。
【０００９】
本発明は上記のような問題点を解消するためになされたもので、運転者に対する安全運転教育のための運転記録を提供する運転記録装置および当該運転記録に基づいて運転状態の解析を行う運転解析システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る運転解析システムの第１の態様は、車両に搭載されたステレオカメラと、前記ステレオカメラで撮影された画像データを記録する画像記録部と、前記画像記録部で記録された画像データから３次元画像情報を算出する３次元画像情報算出部と、前記３次元画像情報算出部で算出された３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部と、前記３次元画像情報算出部で算出された３次元画像情報に基づいて自車両速度を検出する速度算出部と、前記動体特定部で特定された先行車との車間距離を検出する車間距離検出部と、自車両の運転に影響を及ぼす環境情報の１つとして前記車間距離検出部で検出された車間距離および前記速度算出部で算出された自車両速度を運転情報として記録する記録部と、を備えた運転記録装置で取得される前記運転情報を取り込み、前記環境情報に基づいた運転者の運転パターンを算出して、運転傾向を解析する。
【００１１】
本発明に係る運転解析システムの第２の態様は、前記運転記録装置においては、自車両が加速して定常走行状態に至るまでの加速期間、または自車両が減速して定常走行状態に至るまでの減速期間についてのみ前記運転情報を前記記録部に記録する。
【００１２】
本発明に係る運転解析システムの第３の態様は、前記運転傾向の解析においては、自車両が加速して定常走行状態に至った後の到達定常速度ごとに車間距離を分類し、到達定常速度に対する車間距離との関係より運転傾向を解析する。
【００１３】
本発明に係る運転解析システムの第４の態様は、前記運転傾向の解析においては、前記定常速度に対する車間距離との関係を用いた前記運転傾向の解析において、他者の運転時のデータによる前記定常速度に対する車間距離との関係あるいは複数の運転者による運転時のデータの平均値との比較により前記運転傾向を解析する。
【００１４】
本発明に係る運転解析システムの第５の態様は、前記運転傾向の解析においては、定常速度での運転下において、先行車との車間距離が近づき始めてから減速を開始するまでの時間を定常速度ごとに分類し、定常速度に対する減速開始に要する時間との関係より運転傾向を解析する。
【００１５】
本発明に係る運転解析システムの第６の態様は、前記運転傾向の解析においては、車間距離が予め定めた所定値よりも大きい場合あるいは加速開始時に車間距離が記録されていない場合の加速開始から加速終了までの時間単位の平均速度を、自車両が加速して定常走行状態に至った後の到達定常速度ごとに分類し、到達定常速度に対する車間距離との関係より運転傾向を解析する。
【００１６】
本発明に係る運転解析システムの第７の態様は、前記運転傾向の解析においては、車間距離が予め定めた所定値よりも大きい場合あるいは減速開始時に車間距離が記録されていない場合の減速開始から減速終了までの時間単位の平均速度を、自車両の減速開始前の定常走行状態での定常速度ごとに分類し、定常速度に対する車間距離との関係より運転傾向を解析する。
【００１７】
本発明に係る運転記録装置の態様は、車両に搭載されたステレオカメラと、前記ステレオカメラで撮影された画像データを記録する画像記録部と、前記画像記録部で記録された画像データから３次元画像情報を算出する３次元画像情報算出部と、前記３次元画像情報算出部で算出された３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部と、前記３次元画像情報算出部で算出された３次元画像情報に基づいて自車両速度を検出する速度算出部と、前記動体特定部で特定された先行車との車間距離を検出する車間距離検出部と、自車両の運転に影響を及ぼす環境情報の１つとして前記車間距離検出部で検出された車間距離および前記速度算出部で算出された自車両速度を運転情報として記録するとともに、前記３次元画像情報の記録も可能な記録部と、を備えている。
【発明の効果】
【００１８】
本発明に係る運転解析システムの第１の態様によれば、運転記録装置で取得される運転情報を取り込み、環境情報に基づいた運転者の運転パターンを算出して、運転傾向を解析することで、運転者の運転傾向および改善ポイントが明確となり、運転者に対する安全運転教育を行うことができる。
【００１９】
本発明に係る運転解析システムの第２の態様によれば、加速期間または減速期間についてのみ運転情報を記録部に記録するので、記録データの削減を図ることができる。
【００２０】
本発明に係る運転解析システムの第３の態様によれば、到達定常速度ごとに車間距離を分類し、到達定常速度に対する車間距離との関係より運転傾向を解析するので、運転傾向がより顕著に判明する。
【００２１】
本発明に係る運転解析システムの第４の態様によれば、他者の運転時のデータによる定常速度に対する車間距離との関係あるいは複数の運転者による運転時のデータの平均値との比較により運転傾向を解析するので、運転傾向や改善ポイントがより判りやすくなる。
【００２２】
本発明に係る運転解析システムの第５の態様によれば、定常速度に対する減速開始に要する時間との関係より運転傾向を解析するので、ドライバーの注意力、判断力などの解析が可能となる。
【００２３】
本発明に係る運転解析システムの第６および第７の態様によれば、先行車がいない場合の運転傾向の解析が可能となる。
【００２４】
本発明に係る運転記録装置の態様によれば、ステレオカメラにより得られた画像データに基づいて、車間距離および自車両速度を取得し、運転情報として記録するとともに、３次元画像情報の記録も可能なので、３次元情報の記録が可能なドライブレコーダを得ることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明に係る運転記録装置の構成を示すブロック図である。
【図２】時系列ステレオ画像における対応点探索について説明するための図である。
【図３】視差の２乗とオプティカルフローの垂直成分との関係を示す図である。
【図４】視差の２乗とオプティカルフローの垂直成分との関係から得られる直線を示す図である。
【図５】通常走行時の速度変化および車間距離の変化を示す図である。
【図６】本発明に係る運転解析システムの構成を示すブロック図である。
【図７】車間距離のサンプリングの過程を説明する図である。
【図８】定常速度と車間距離との関係を示す図である。
【図９】減速開始に要する時間のサンプリングの過程を説明する図である。
【図１０】加速開始から定常速度に達するまでの加速状態下でのサンプリングの過程を説明する図である。
【図１１】加速時の速度と車間距離との関係を示す図である。
【発明を実施するための形態】
【００２６】
＜実施の形態＞
＜運転記録装置の構成＞
図１は、本発明に係る運転記録装置１００の構成を示すブロック図である。図１に示すように、運転記録装置１００は、車両に搭載されたステレオカメラ１で撮影された画像データを記録する画像記録部２と、画像記録部２に記録された画像データから３次元画像情報を算出する３次元画像情報算出部３と、３次元画像情報算出部３で算出された３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部４と、３次元画像情報算出部で算出された３次元画像情報に基づいて自車両の速度を検出する速度算出部５と、動体特定部４で特定された動体（ここでは先行車）との車間距離を検出する車間距離検出部６と、車間距離検出部６で検出された車間距離および速度算出部５で検出された自車両の速度等の運転情報を記録する記録部７を備えている。次に、各構成について説明する。
【００２７】
ステレオカメラ１は車両等の移動体に搭載され、ステレオ時系列画像を取得するものである。ステレオカメラ１は、例えばＣＣＤ（Charge-Coupled Devices）等の撮像素子を有するカメラであり、適当な距離だけ離間させて左右に設置された２つのカメラを備えて構成される。ステレオカメラ１における左右それぞれのカメラは、被写体を同じタイミングで撮像し、左右一対の画像を得る。なお、左右のカメラの収差は良好に補正されており、かつ、これらは相互に平行に設置されていることが好ましい。このように、ステレオカメラにおいて、各カメラが平行に設置されることで、平行化された画像が得られ、これら画像から容易に３次元画像情報を得ることができる。なお、３次元画像情報とは、ステレオ時系列画像から得ることができる、カメラの位置を基準とした３次元座標、２次元および３次元動きベクトル等をいう。このステレオカメラ１は、一定周期で随時撮像を繰り返している。また、ステレオカメラ１が被写体を撮像し、生成するステレオ画像は、立体情報を含んでいる。
【００２８】
なお、例えば、ステレオカメラの代わりに単眼カメラを用いる場合は、３次元情報の取のために、３次元計測ができる機器、例えば、レーザやミリ波による計測器を備える構成とし、この計測器により、立体情報を取得すれば良い。
【００２９】
画像記録部２は、ステレオカメラ１により一定周期ごとに撮像され、信号として運転記録装置１００に送信されてくる画像を記憶する。なお、画像記録部２は、所定量以上の画像を記憶しないものとし、新しく撮像により生成された画像を記憶しながら、記録している画像を古い画像から随時消去している。
【００３０】
３次元画像情報算出部３は、画像記録部２に記憶されている画像の３次元画像情報を算出する。具体的には、３次元画像情報算出部３は、画像上における点の撮像位置を基準とする３次元座標および動きベクトル等を求める。時系列ステレオ画像をもとに、３次元画像情報（前記３次元座標および動きベクトル等）を得る方法は公知の方法を用いればよい。
【００３１】
具体的には、ステレオ画像における３次元画像情報は、ある画像上の点に対応する点を、その画像に対応する画像上から探索する（対応点探索）ことで得られる。例えば、一対のステレオ画像同士において、対応点探索を行うことで、その時刻における３次元座標が得られる。
【００３２】
また、例えば、同一のカメラで撮像した、撮像時間の異なる被写体の画像同士において、対応点探索を行うことで、その点の動きベクトルが求められる。なお、ステレオカメラ１がステレオカメラでなく、単眼カメラである場合には、レーザやミリ波による３次元計測器等を備える。そして、３次元画像情報算出部３は、これらの測定器による計測値および、単眼カメラにより被写体が撮像されて生成された時系列画像を関連づけて、３次元画像情報を得る。例えば、この単眼カメラの光軸と同一方向に出射された、レーザまたはミリ波による３次元計測により求められた立体情報を、単眼カメラにより撮像された被写体の画像と関連づければよい。
【００３３】
対応点探索法として、基準画像上の任意の注目点に対応する参照画像上の点（対応点）を探索して求める、相関法がある。なお、参照画像は、基準画像に対応する画像である。
【００３４】
具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が基準画像であり、他方は参照画像である。また、時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が基準画像であり、時間的に後の画像が参照画像である。この基準画像上の注目点に対してテンプレートが設定され、このテンプレートと対応する参照画像上のウィンドウが探索され、この探索されたウィンドウから対応点が求められる。
【００３５】
以下に、３次元画像情報算出部３により行われる、具体的な対応点探索について説明する。ステレオカメラ１により生成されたステレオ画像の一方は基準画像とされ、その基準画像に注目点が設定され、基準画像上に注目点を含むテンプレートが設定される。ここで、テンプレートとは基準画像において一定の領域で区切られた範囲であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。そして、このテンプレートと、当該基準画像と対応する参照画像（前記ステレオ画像における他方の画像）において複数設定されたウィンドウとの相関値（類似度）が算出され、相関値に基づいて、これらテンプレートとウィンドウとが対応しているか否かが判断される。
【００３６】
なお、ウィンドウとは参照画像において複数生成された、テンプレートと同一の大きさの範囲の領域であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。上述のように、テンプレートとウィンドウとの画像パターンから相関値が求められる。例えば、テンプレートといずれかのウィンドウとの相関値が求められ、仮に、これらの相関値が低いことから、これらが対応しないと判断されれば、例えば１画素いずれかの方向にずれた位置に生成されたウィンドウとテンプレートとの相関値が求められる。このようにして、順次ウィンドウが変更されながら相関値が求められ、相関値がピークの値をとるウィンドウが探索される。そして、テンプレートの画像パターンと相関値がピークである画像パターンを有するウィンドウが、テンプレートに対応するウィンドウであると求められる。
【００３７】
次に、相関値の具体的な算出方法について説明する。具体的には、関数を用いて相関値を求める。その方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）法、ＳＳＤ(Sum of Squared Difference)法（２乗残差法）、ＮＣＣ（Normalize cross Correlation）法（正規化相互相関法）等が知られている。
【００３８】
ＳＡＤ法は、テンプレートおよびウィンドウの輝度値の絶対値による総和を求める関数を用いる方法であって、この関数を用いてテンプレートおよびウィンドウごとの相関値が求められる。また、上記ＳＡＤ法等に比べてロバスト性を有する相関値演算の方法もある。具体的には、この方法は、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法である。そして、この方法を用いることで、ステレオ画像における左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関値演算が実現可能である。
【００３９】
なお、画像パターンの周波数分解信号を計算する手法は、例えば高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換などが知られている。ここでは、このようなロバスト性を有する相関値演算のうち位相限定相関法（以下、ＰＯＣ法という）について簡単に説明する。
【００４０】
ＰＯＣ法においても、基準画像上にテンプレートが設定され、参照画像上に同じ大きさを持つウィンドウが設定される。そして、テンプレートと各ウィンドウとの相関値（ＰＯＣ値）が計算され、その相関値からテンプレートに対応するウィンドウが求められる。まず、基準画像のテンプレートおよび参照画像のウィンドウは、それぞれ２次元離散フーリエ変換され、規格化された後、合成され、２次元逆離散フーリエ変換される。このようにして、相関値であるＰＯＣ値が求められる。また、ＰＯＣ値はウィンドウ内における画素ごとに離散的に求まるため、画素ごとの相関値を求めることができる。この点が、ウィンドウごとの相関値を求める、上述のＳＡＤ法等とは異なる。このように、ＰＯＣ法においては、ウィンドウ内における画素ごとに相関値を求めることができるので、ウィンドウの設定範囲を絞り込むことが容易であり、対応点を求める処理が高速でできるという効果を奏する。また、上記ＰＯＣ法等のロバスト性を有する相関値演算方法においては、ウィンドウ内における画素ごとに相関値を求めることができるため、ＳＡＤ法等のようにウィンドウを１画素ずつずらして相関値を求めなくても、対応するウィンドウを探索することができる。
【００４１】
ＰＯＣ法においては、テンプレートとの相関値を求める際に、ウィンドウを複数画素分ずらしながら、相関値の算出を行ってもよい。具体的に、どれだけずらすことができるかは、対応点の探索可能範囲に依存するが、一般的には、ウィンドウサイズの半分くらいであるといわれている。つまり、例えば、ずらされたウィンドウと、ずらされる前のウィンドウとが、ウィンドウサイズの半分程度において重なるように設定されればよい。例えば、基準画像と参照画像との視差の最大を１２８画素とし、ウィンドウサイズを３１×３１とし、ＰＯＣ法により探索できる範囲をウィンドウの重心位置に対して±８画素と仮定すると、この視差を探索するためには、ウィンドウは１６画素ずつずらされればよいので、８個のウィンドウが設定されればよい。なお、ＰＯＣ法においても、多重解像度戦略による探索方法を用いることができる。多重解像度戦略とは、一旦、基準画像および参照画像を低解像度化することで、画素数を減少させた状態で相関値演算を行い、注目点に対して相関値がピークになる座標を求める。その後、解像度を元に戻し、前記低解像度で求まった座標周辺にウィンドウの設定範囲を絞り込んで対応点探索を行うというものである。基準画像および参照画像の解像度が低い状態では、画像パターンの情報が減少しているので、相関値は短時間で求められ得る。また、そうして求められた低解像度における相関値がピークである座標付近に、本来の解像度における相関値がピークとなる座標が存在するはずである。したがって、この方法を用いることで、テンプレートに対応するウィンドウが存在する範囲を短時間で確定されるため、対応するウィンドウも短時間で探索され得る。なお、この方法においては、何段階かに分けた複数の低解像度画像を作成することとし、徐々に探索範囲を絞り込むこととしてもよい。上述の例では、８個のウィンドウが設定されればよかったが、さらに多重解像度戦略による探索方法を用いることで、例えば解像度を１／１６に縮小すれば、設定されるウィンドウは１個でよくなる。これにより、さらに容易に対応点の探索ができる。
【００４２】
ここで、時系列ステレオ画像における対応点探索について、図を用いて簡単に説明する。図２は時系列ステレオ画像における対応点探索について説明するための図である。図２において、時刻Ｔ１に撮影されたステレオ画像である画像Ｌ１と画像Ｒ１とが示されている。なお、説明を簡略化するために、これらの画像を生成した一対の左右に配置されたカメラを有するステレオカメラにおいて、各カメラは平行配置されているとする。また、時刻Ｔ１よりも後の時刻である時刻Ｔ２に撮影された画像Ｌ２と画像Ｒ２とが示されている。なお、画像Ｌ１、Ｒ１、Ｌ２、Ｒ２において、各マス目が１画素を示している。
【００４３】
まず、時刻Ｔ１における画像Ｌ１における点１５ａが注目点（始点）として入力されているとする。この点１５ａに対応する点である、画像Ｒ１上の点１５ｂが対応点探索により求められる。また、点１５ａを注目点とした場合に、時刻Ｔ２での画像Ｌ２上において点１５ａに対応する点１６ａが対応点探索により求められている。そして、この点１６ａを注目点として、時刻Ｔ２における画像Ｒ２においてこれに対応する点１６ｂが対応点探索により求められている。なお、点１６ａの位置は画素の重心からずれている。このような場合は、画素を構成単位とするウィンドウを設定できないので、点１６ａを重心位置とし、画素を構成単位とせず、例えば３画素×３画素の大きさである探索用テンプレートを生成し、画像Ｒ２上でのウィンドウ（３画素×３画素）との類似度に基づいて対応点１６ｂを求めるという方法を採る。なお、この方法については、本願出願人による特許出願２００８−０２３３２３に開示されている。
【００４４】
なお、各点１５ａ、１５ｂ、１６ａ、１６ｂは実際には点であるが、見易さを考慮して、図２においては画素と同じ大きさで図示している。なお、例えばＴ１とＴ２との間の時刻のように、時系列画像が存在しない時刻における対応点は、時系列画像が存在する、その前後の時間であるＴ１とＴ２における対応点を用いて補間等により求めればよい。また、対応点探索は、後の時刻に撮像された被写体の画像に対して行うことに限定されるわけでなく、前の時刻に撮像された被写体の画像に対しても行うことができる。
【００４５】
次に、上記対応点探索により求めた対応点を用いて、３次元画像情報を算出する方法について説明する。点１５ａの座標を（ｐ１ｘ，ｐ１ｙ)とし、点１５ｂの座標を（ｑ１ｘ，ｑ１ｙ)とし、点１６ａの座標を（ｐ２ｘ，ｐ２ｙ)とし、点１６ｂの座標を（ｑ２ｘ，ｑ２ｙ)とする。なお、図面の上下方向が各画像のＹ方向であり、左右方向が各画像のＸ方向である。なお、上述したように、各カメラは平行配置されているので、点１５ａおよび点１５ｂのＹ座標は同じであり、点１６ａおよび点１６ｂのＹ座標も同じである。
【００４６】
まず、点１５ａおよび点１５ａにより求めた点１５ｂの座標より、画像Ｌ１およびＲ１における視差を示すベクトルであるΔｄ１が求められる。具体的には、Δｄ１は（ｑ１ｘ−ｐ１ｘ，０）である。また、点１５ａおよび点１５ａにより求めた点１６ａの座標より、画像Ｌ１およびＬ２における動きを示すベクトルであるΔｆ１が求められる。具体的には、Δｆ１は（ｐ２ｘ−ｐ１ｘ，ｐ２ｙ−ｐ１ｙ）である。また、点１６ａおよび点１６ａにより求めた点１６ｂの座標より、時刻Ｔ２の画像における視差を示すベクトルであるΔｄ２が求められる。具体的には、Δｄ２は（ｑ２ｘ−ｐ２ｘ，０）である。
【００４７】
なお、Δｄ１をもとに、時刻Ｔ１における画像より得た画像の奥行きの距離Ｄ１が求まる。ここで、距離Ｄ１は、図２における紙面垂直方向の座標であり、この座標をＺ座標とする。また、画像Ｌ１、Ｒ１、Ｌ２、Ｒ２を生成したステレオカメラにおける、各カメラの焦点距離をｆとし、各カメラ同士の基線長をＢとすると、Ｄ１は下記の数式（１）で表される。なお、数式（１）において、Δｄ１はベクトルの大きさである。
【００４８】
Ｄ１＝ｆＢ／Δｄ１・・・（１）
また、同様に、時刻Ｔ２における画像より得た画像の奥行き（Ｚ座標方向）の距離Ｄ２は、Δｄ２を用いて、数式（２）で表される。なお、下記の数式（２）において、Δｄ２はベクトルの大きさである。
【００４９】
Ｄ２＝ｆＢ／Δｄ２・・・（２）
これらより、時刻Ｔ１における点１５ａおよび１５ｂにおける３次元座標（Ｘ１，Ｙ１，Ｚ１）は、（ｐ１ｘ・Ｄ１／ｆ，ｐ１ｙ・Ｄ１／ｆ，Ｄ１）と表すことができ、時刻Ｔ２における点１６ａおよび１６ｂにおける３次元座標（Ｘ２，Ｙ２，Ｚ２）は、（ｐ２ｘ・Ｄ２／ｆ，ｐ２ｙ・Ｄ２／ｆ，Ｄ２）と表すことができる。
【００５０】
これら３次元座標（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）から３次元動きベクトルが求められる。具体的には、３次元動きベクトルは、（Ｘ２−Ｘ１，Ｙ２−Ｙ１，Ｚ２−Ｚ１）で表されるベクトルである。
【００５１】
動体特定部４は、画像中における動体対応画像部分を特定する。ここで、動体とは、自動車やバイク等の車両、自転車、歩行者等である実際に地面に対して移動している物体をいう。また、動体対応画像部分とは、画像中に表示された動体に対応する箇所をいう。なお、本発明の一実施形態において、ステレオカメラ１は車両等の移動体に搭載されて撮像を行うため、この移動体に対して相対的に移動していても、動体であるとは限らない。そこで、以下に、ステレオカメラ１により生成された時系列画像における動体対応画像部分の特定方法について説明する。なお、動体対応画像部分の特定においては、動体特定部４は、３次元画像情報算出部３により求められた３次元座標、２次元動きベクトルおよび３次元動きベクトル等の３次元画像情報を用いる。なお、画像上の動体対応画像部分を特定するとは、具体的には、画像として表されている物体のうち動体が表示されている箇所を特定し、その３次元画像情報を取得することをいう。
【００５２】
まず、動きの消失点を用いて動体対応画像部分を特定する方法がある。ここで、動きの消失点とは、画像上の各点における動きベクトルをその方向に沿って延長した直線が交わる点である。この消失点は、画像上の物体の移動方向に応じて定まる。すなわち、カメラが同一方向に移動している場合において、同一物体であれば同一方向に移動していることから、その物体に対しての消失点が存在する。また、画像上の物体が静止体である場合に、静止体である物体すべてに対して同一の消失点が存在することが報告されている（「主成分分析を用いた移動物体認識法の検討」，情報処理学会 研究報告 − コンピュータビジョンとイメージメディアＶｏｌ．１９９６，Ｎｏ．３１，１９９５−ＣＶＩＭ−０９９，文献番号：ＩＰＳＪ−ＣＶＩＭ９５０９９００８参照）。
【００５３】
なお、ステレオカメラ１により撮像される被写体の画像のほとんどは、信号機や、路面、横断歩道、壁等の静止体に対応する静止体対応画像部分で占められていると考えられる。ここで、静止体対応画像部分とは、画像中に表示された、静止体に対応する箇所をいう。そして、そのように仮定すると、最も多くの動きベクトルに対する消失点が静止体対応画像部分に対応する静止体の消失点であると推測される。したがって、画像において存在する消失点の内、最も多くの動きベクトルに対する消失点を除いた後に存在する各消失点が動体対応画像部分に対応する動体の消失点であると推定できる。
【００５４】
そこで、動体特定部４は、３次元画像情報算出部３により算出した、時系列画像において求められる動きベクトルをその方向に沿って延長して、それらが交わる点である消失点を画像上において求める。そして、それら消失点の内、最も多くの動きベクトルに対する消失点以外の各消失点を動体対応画像部分に対応する消失点であると推定する。
【００５５】
このようにして、推定された動体対応画像部分の消失点をもとに、画像上の動体対応画像部分を特定し、その３次元画像情報を取得する。このようにして、各時系列画像における動体対応画像部分を特定することができる。なお、動きベクトルは、３次元画像情報算出部３により算出されているので、消失点を求めるために新たに動きベクトルを算出する必要はなく、消失点を容易に算出することができる。
【００５６】
また、ステレオ時系列画像から求めた３次元動きベクトルに対して、このステレオ時系列画像を生成したステレオカメラ１の移動速度によりこれらを補正することで画像上の静止体対応画像部分と動体対応画像部分とを判別する方法もある（例えば、特開２００６−１３４０３５号参照）。この方法を用いる場合は、動体特定部４はステレオカメラ１が搭載された移動体の速度情報を受け、３次元画像情報算出部３により算出された３次元動きベクトルを用いて、画像上の動体対応画像部分を特定し、その３次元画像情報を取得することができる。
【００５７】
速度算出部５では、以下の工程(a-1)〜(a-5)が順次に実行されることで、自車両の走行速度を算出することができる。
【００５８】
(a-1)時刻ｔ0と時刻ｔ1とにおいて撮影されるステレオ画像から各注目点に係る視差ｄの２乗とオプティカルフローの垂直成分Δｙとが求められる。
【００５９】
(a-2)視差ｄの２乗とオプティカルフローの垂直成分Δｙとを座標軸とする２次元座標空間に各注目点に係る数値がプロットされる。図３は、各注目点に係る視差ｄの２乗とオプティカルフローの垂直成分Δｙとの関係を示す図である。図３では、横軸が視差ｄの２乗を示し、且つ縦軸がオプティカルフローの垂直成分Δｙを示す２次元座標空間に各注目点に係る数値がプロットされた状態が示されている。
【００６０】
(a-3)最小二乗法、ハフ変換等の直線算出手法が用いられて、図３で示されるようにプロットされた各点によって描かれる直線Ｌ１が検出される。
【００６１】
(a-4)直線Ｌ１の傾きおよび切片が検出される。
【００６２】
(a-5)上記工程(a-4)において検出された直線Ｌ１の傾きから車両１００の走行速度（前進速度）ｖが算出されるとともに、上記工程(a-4)において検出された直線Ｌ１の切片から車両１００のピッチ方向における角速度ωが算出される。ここで、直線Ｌ１は、図４で示されるように、Δｙおよびｄ2を変数とし、（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ2）を傾きとし、−α・ω・Δｔを切片とする直線である。なお、カメラパラメータα、基線長Ｂ、およびフレーム周期Δｔは、ステレオカメラ１の設計によって決まる定数である。従って、直線Ｌ１の傾きと切片とが検出されれば、定数α，Ｂ，Δｔが用いられて、ｈ・ｖの値と角速度ωの値とが算出される。そして、道路面を基準としたステレオカメラ１の高さｈとして、予め設定された初期値が採用されれば、自車両の走行速度ｖが求められる。
【００６３】
また、上記のようにステレオ画像から速度を検出する方法以外に、車載の速度計からの情報を用いても良い。
【００６４】
車間距離検出部６においては、３次元画像情報算出部３において動きベクトルを算出する際に距離Ｄ１（あるいはＤ２）が算出されているので、３次元画像情報算出部３から当該距離情報を受け、また、動体特定部４で特定した動体の情報を受けることで、動体との距離を算出する。
【００６５】
また、車間距離を求める方法として、特許第３５２２３１７号に開示される方法を使用することもできる。また、この他にも、ミリ波レーダやレーザレーダを用いて距離測定を行う測定器を車間距離検出部６として備える構成であっても良い。
【００６６】
記録部７は、例えばメモリカードのような着脱自在の記録媒体を使用することで、データの蓄積が終わった後は、記録済みのメモリカードを取り外し、新たなメモリカードを装着することで、簡単にデータの受け渡しができる。なお、記録部７を基板固定型のメモリチップやハードディスクで構成し、データだけを入出力インタフェースを介して読み出す構成としても良い。
【００６７】
＜記録動作＞
次に、運転記録装置１００における記録動作について説明する。
【００６８】
記録部７には、車間距離検出部６および速度算出部５でそれぞれ検出された車間距離および速度のデータを記録するが、自車両の運転中の全てのデータを記録する必要はない。
【００６９】
図５には通常走行時の速度変化および車間距離の変化のグラフを示す。図５において、横軸に時間を、縦軸に速度（ｋｍ／ｈ）および車間距離（ｍ）を示し、速度変化を細線で、車間距離の変化を太線で示す。
【００７０】
信号待ちで停止していた車を例に採ると、先行車が走行を開始すると、後続車は車間距離を少しずつ広げながら加速を行う。この後、先行車が制限速度などの関係で定常速度に到達すると、その速度域での車間距離を保ったまま定常走行状態となる。この状態の車間距離は制動距離などとも関係するが、概ねドライバーの持つ運転特性を表している。すなわち、車間距離は少なくとも停止距離と同等の距離を保つことが望ましく、停止距離は以下のように表される。
【００７１】
停止距離＝空走距離の２乗÷制動距離
ここで、空走距離は反応時間（秒）×車速（秒速）で表され、制動距離は時速（ｋｍ／時）の２乗÷（２５４×摩擦係数）で表される。
【００７２】
このため、車間距離を保つ必要があること、すなわち先行車が存在することで、ドライバーは、自身の走行パターンとは異なった走行パターンでの運転を余儀なくされるので、そこにドライバーの持つ運転特性が現れる。なお、先行車の存在は、運転パターンに変化をもたらす外的要因でもあるので、車間距離の情報は環境情報に含むこともできる。
【００７３】
また、先行車が信号などで減速を開始すると、後続車は先行車との車間距離を徐々に狭めながら減速を行い、先行車との車間距離をある程度に保った状態で停車することになる。
【００７４】
このような走行状態を想定した場合、定常走行状態にある車両の速度や車間距離のデータは、ドライバーの持つ運転特性をあまり反映しておらず、運転特性の解析には活用性が低いと言える。そこで、このような定常走行状態での速度および車間距離のデータは記録せず、加速、減速時のデータのみを記録することで記録データの削減を図ることができる。
【００７５】
より具体的には、加速時、減速時の領域と、その前後の定常走行状態にある所定時間Δｔ分のデータを記録する。図５においては、加速時の時間ｔ１の区間および減速時の時間ｔ２の区間のデータが記録すべきデータとなる。なお、図５では、停止していた状態からの加速なので、所定時間Δｔについては記載していない。
【００７６】
なお、記録部７に記録するデータは、単位時間間隔で記録するが、ステレオ画像に基づいて得られるデータであるなら、通常３０フレーム／秒の周期でのデータ取得が可能であるので、これをそのまま記録しても良いし、このデータから平均化処理、あるいは間引き処理を施して、１秒ごとのデータとして記録しても良い。
【００７７】
また、上記の説明においては、ステレオ画像に基づいて先行車を特定し、車間距離検出部６および速度算出部５で、それぞれ車間距離および速度を検出し、それを記録部７に記録するものとして説明したが、先行車を特定するのではなく、自車両の周囲の静止体との距離情報を記録することとし、当該距離情報を用いて後の処理で速度を算出する構成としても良い。
【００７８】
また、ステレオ画像に基づいて車間距離および速度を検出する場合には、記録部７には視差情報や２枚対の画像情報を記録することとし、当該情報から３次元画像情報を取得し、それを用いて後の処理で速度や車間距離を算出する構成としても良い。
【００７９】
また、記録部７には車間距離以外の運転時の環境情報を記録するようにしても良い。すなわち、自車両の進路の直線性や、路面状況などの道路に起因する情報、信号機との位置関係、標識などの交通ルールに基づく情報、昼間、夜間、雨天などの天候による視認性情報などの環境情報も運転パターンに寄与するものと考えられ、これらを記録部７に記録し、一日の運転が終了した時点で、これらのデータを読み出して解析を行う。この解析については、後に説明する。
【００８０】
ここで、自車両の進路の直線性の情報は、ステレオ画像から得られた３次元情報に基づいて取得することが可能であり、また、ＧＰＳ（Global Positioning System）情報から道路の持つ直線性を記録することも可能である。
【００８１】
また、路面状況は、３次元画像情報算出部３で算出された３次元画像情報に基づいて、路面の凹凸などの走行の障害となる障害物の位置や高さ、深さ、形状の計測や、路面の傾斜を計測することで、路面形状のデータとして取得することができる。
【００８２】
また、信号機や標識などとの位置関係については、画像認識により信号機や標識を判別する技術が開示されており、信号機や標識に対して自車両がどこに位置するかの情報を取得することが可能である。また、ＧＰＳ情報からも信号機や標識などとの位置関係の検出、記録は可能である。
【００８３】
また、昼間、夜間の情報については、時間を記録しておくことで情報となり、雨天などの天候による視認性については、画像を記録しておき、中央線などに使用される白線と路面とのコントラストから視認性の検出、記録を行うことができる。
【００８４】
＜運転解析システムの構成＞
次に、運転記録装置１００の記録部７に記録された運転情報等を用いて、運転状態の解析を行う運転解析システム２００の構成について説明する。
【００８５】
図６は、本発明に係る運転解析システム２００の構成を示すブロック図である。図６に示すように、運転解析システム２００は、データ読み取り部２１、データベースシステム２２および解析部２３を備えている。
【００８６】
運転解析システム２００は、タクシーやトラックの営業所等に配置された運行管理を行うコンピュータシステム内に構築される。また、各社の運行管理を行うコンピュータシステムや車載の運転記録装置１００から無線通信によりデータを受け取り、各社のデータを一括処理する解析センターのような施設がある場合には、そこのサーバーコンピュータ内に構築しても良い。
【００８７】
データ読み取り部２１は、運転記録装置１００の記録部７が着脱自在のメモリーカードなどの記録メディアである場合は、当該記録メディアを差し込むスロットを有し、当該記録メディアからのデータを読み出してデータベースシステム２２に与える。この場合、予め読み出すデータを決めておけば、そのドライバーの、その日一日の全ての走行パターンについての情報、例えば、加速、減速時の速度情報、車間距離情報を整理しながらデータベースシステム２２に与えることができる。
【００８８】
データベースシステム２２は、ドライバーごとに日々の運転情報等を記録し、管理するシステムであり、コンピュータ内の記憶装置が利用される。また、解析部２３からの要求に応じて、記録された各走行パターンのデータ（時々刻々の車速、車間距離のデータ等）を解析部２３に送るとともに、解析部２３での解析結果の記録も行う。
【００８９】
解析部２３は、データベースシステム２２から取得したドライバー単位の走行パターンのデータ（時々刻々の車速、車間距離のデータ等）について、統計的な処理を行うことで各ドライバーの運転傾向の解析を行う。
【００９０】
＜解析動作＞
以下、解析部２３での運転傾向の解析動作について、第１〜第６の解析動作を例に採って説明する。
【００９１】
＜第１の解析動作：定常速度下での車間距離＞
定常速度での運転下における車間距離を、時速１０ｋｍ／ｈ間隔での速度別にサンプリングし、それらの平均値およびバラツキを算出して運転傾向の解析に使用する。
【００９２】
図７は車間距離のサンプリングの過程を説明する図であり、図５と同様に通常走行時の速度変化および車間距離の変化のグラフを示しており、横軸に時間を、縦軸に速度（ｋｍ／ｈ）および車間距離（ｍ）を示し、速度変化を細線で、車間距離の変化を太線で示している。
【００９３】
図７に示すグラフの加速、減速のパターンから、定常運転状態の領域を判断し、定常運転状態の領域での速度を定常速度Ｓとし、また定常運転状態での車間距離をΔｄとする。
【００９４】
このようなグラフを、複数の加速、減速のパターンについて作成し、それぞれのパターンでの定常速度と、そのときの車間距離を取得し、得られた複数の定常速度のデータから、時速１０ｋｍ／ｈ間隔で速度別にサンプリングして、サンプルデータについて標準偏差、最大値、最小値等を求めてグラフを作成する。
【００９５】
図８は、定常速度と車間距離との関係を示すグラフであり、縦軸に定常速度Ｓ（ｋｍ／ｈ）を示し、横軸には、車間距離Δｄ（ｍ）を示している。
【００９６】
図８において、白抜きの丸印でプロットされて示されるデータが、あるドライバーの各定常速度での車間距離の平均値であり、また、平均値を起点として左右に伸びる矢印が、各定常速度での車間距離の最大値と最小値を示している。
【００９７】
図８より、定常速度が大きくなるにつれて車間距離も広く取っていること、および定常速度が大きくなると、車間距離の最大値と最小値の幅が広くなっていることが判る。このドライバーの特性に対して、優良ドライバーの特性を×印で図８上にプロットして示している。
【００９８】
このように、他者との比較を行うことで、解析対象となっているドライバーの運転傾向や改善ポイントがより判りやすくなる。
【００９９】
また、比較対象を優良ドライバーの特性に限定せず、会社ごとの全ドライバーの平均的な特性あるいは、解析センターを利用する全ての会社の全ドライバーの平均的な特性と比較することで、より、客観的な解析が可能となる。
【０１００】
また、車間距離ではなく、各定常速度での制動距離の変化を示すグラフによっても同様の解析を行うことができる。
【０１０１】
なお、上述した解析は、前方に先行車がいない場合、すなわち加速開始時に車間距離が記録されていない場合、あるいは、車間距離が予め定めた所定値（例えば到達定常速度での制動距離）以上よりも大きい場合は、処理対象から除外した方が望ましく、以下に説明する第２〜第４の解析動作についても同様である。
【０１０２】
ここで、処理対象からの除外方法であるが、データに対する重みを設定することでも実現することができる。例えば、車間距離が極めて広い場合や記録されていないデータには、第１〜第４の解析動作を行う場合には重み０を付与して処理し、第５、第６の解析動作を行う場合には重み１を付与して処理する。これにより、重み０を付与されたデータについては、解析に寄与しないデータとして一括して扱うことができる。
【０１０３】
また、加速、減速のデータにおいて、加速開始時の当初の車間距離に応じて重みを変更して付与することで、グループ化と同様の処理が可能となる。
【０１０４】
＜第２の解析動作：速度別の減速タイミング＞
定常速度での運転下において、先行車との車間距離が近づき始めてから減速を開始するまでの時間を、時速１０ｋｍ／ｈ間隔での速度別にサンプリングし、それらの平均値およびバラツキを算出して運転傾向の解析に使用する。
【０１０５】
図９は減速開始に要する時間のサンプリングの過程を説明する図であり、図５と同様に通常走行時の速度変化および車間距離の変化のグラフを示しており、横軸に時間を、縦軸に速度（ｋｍ／ｈ）および車間距離（ｍ）を示し、速度変化を細線で、車間距離の変化を太線で示している。
【０１０６】
図９に示すグラフの加速、減速のパターンから、定常運転状態の領域を判断し、定常運転状態の領域での速度を定常速度Ｓとし、また、加速時、減速時の領域の前後の定常走行状態にある所定時間Δｔにおいて、車間距離の近づき始めを起点として減速を開始するまでの時間を減速開始までの時間ΔＴとする。
【０１０７】
このようなグラフを、複数の加速、減速のパターンについて作成し、それぞれのパターンでの定常速度と、そのときの減速開始に要する時間を取得し、得られた複数の定常速度のデータから、時速１０ｋｍ／ｈ間隔で速度別にサンプリングして、定常速度と減速開始に要する時間との関係について標準偏差、最大値、最小値等を求めてグラフを作成する。
【０１０８】
この定常速度と減速開始までの時間との関係を示すグラフは、ドライバーの注意力、判断力などの解析の指標となり、ドライバーの運転特性を表すこととなる。
【０１０９】
＜第３の解析動作：加速状態での車間距離＞
加速状態での運転下において、例えば、時速１０ｋｍに達した時点での車間距離、時速２０ｋｍに達した時点での車間距離、時速３０ｋｍに達した時点での車間距離、時速４０ｋｍに達した時点での車間距離をサンプリングし、それらの平均値およびバラツキを算出して運転傾向の解析に使用する。
【０１１０】
図１０は加速開始から定常速度に達するまでの加速状態下でのサンプリングの過程を説明する図であり、横軸に時間を、縦軸に速度（ｋｍ／ｈ）および車間距離（ｍ）を示し、速度変化を細線で、車間距離の変化を太線で示す。
【０１１１】
図１０から、時速１０ｋｍでの車間距離Δｄ１０、時速２０ｋｍでの車間距離Δｄ２０、時速３０ｋｍでの車間距離Δｄ３０および時速４０ｋｍでの車間距離Δｄ４０を得ることができる。
【０１１２】
この加速時の各速度での車間距離について、記録された加速パターンから全てを抽出して統計処理し、平均、標準偏差、最大値、最小値等を求めてグラフを作成する。
【０１１３】
図１１は、加速時の速度と車間距離との関係を示すグラフであり、縦軸に加速時の速度Ｓ（ｋｍ／ｈ）を示し、横軸には、車間距離Δｄ（ｍ）を示している。
【０１１４】
図１１において、白抜きの丸印でプロットされて示されるデータが、あるドライバーの加速時の各速度での車間距離の平均値であり、また、平均値を起点として左右に伸びる矢印が、各定常速度での車間距離の最大値と最小値を示している。
【０１１５】
図１１より、速度が大きくなるにつれて車間距離も広く取っているが、併記する優良ドライバーの特性（×印プロット）に比べると、車間距離の平均は狭いことが判る。
【０１１６】
このように、他者との比較を行うことで、解析対象となっているドライバーの運転傾向や改善ポイントがより判りやすくなる。
【０１１７】
なお、比較対象を優良ドライバーの特性に限定せず、会社ごとの全ドライバーの平均的な特性あるいは、解析センターを利用する全ての会社の全ドライバーの平均的な特性と比較することで、より、客観的な解析が可能となる。
【０１１８】
また、車間距離ではなく、各速度での制動距離の変化を示すグラフによっても同様の解析を行うことができる。
【０１１９】
＜第４の解析動作：減速状態での車間距離＞
図１０および図１１を用いて説明した、加速状態での運転下における車間距離のデータと同様に、減速状態での運転下における車間距離のデータを取得することでもドライバーの運転傾向を解析することができる。なお、データのサンプリングおよび解析の手法は、加速状態の場合と同じであるので、図示および説明は省略する。
【０１２０】
＜第５の解析動作：加速パターン＞
車間距離が予め定めた所定値よりも大きい場合あるいは加速開始時に車間距離が記録されていない場合（前方に先行車がいない場合）の加速開始から加速終了までの時間単位の平均速度およびバラツキから加速パターンを算出し、運転傾向の解析に使用する。
【０１２１】
まず、車間距離が記録されていない、あるいは加速開始以前から到達定常速度での制動距離以上の車間距離が記録されている場合の加速時のデータを取り出す。
【０１２２】
これらの加速時のデータに対して、例えば、到達定常速度で１０ｋｍ／ｈ間隔で速度別に分類（１０ｋｍ／ｈ、２０ｋｍ／ｈ、３０ｋｍ／ｈ、４０ｋｍ／ｈ）を行う。
【０１２３】
そして、分類されたデータに対して、加速開始から加速終了までの時間単位の平均速度を求め、そのドライバー個人の標準加速パターンを求める。
【０１２４】
この、ドライバー個人が持つ加速パターンと、例えば優良ドライバーの加速パターンとを同じグラフ上に示すことで、解析対象のドライバーの運転傾向および改善ポイントがより判りやすくなる。
【０１２５】
＜第６の解析動作：減速パターン＞
車間距離が予め定めた所定値よりも大きい場合あるいは減速開始時に車間距離が記録されていない場合（前方に先行車がいない場合）の減速開始から減速終了までの時間単位の平均速度およびバラツキから減速パターンを算出し、運転傾向の解析に使用する。
【０１２６】
まず、車間距離が記録されていない、あるいは減速開始以前から到達定常速度での制動距離以上の車間距離が記録されている場合の減速時のデータを取り出す。
【０１２７】
これらの減速時のデータに対して、例えば、減速前の定常速度で１０ｋｍ／ｈ間隔で速度別に分類（１０ｋｍ／ｈ、２０ｋｍ／ｈ、３０ｋｍ／ｈ、４０ｋｍ／ｈ）を行う。
【０１２８】
そして、分類されたデータに対して、減速開始から減速終了までの時間単位の平均速度を求め、そのドライバー個人の標準加速パターンを求める。
【０１２９】
この、ドライバー個人が持つ減速パターンと、例えば優良ドライバーの減速パターンとを同じグラフ上に示すことで、解析対象のドライバーの運転傾向および改善ポイントがより判りやすくなる。
【０１３０】
以上説明した解析を行うことで、ドライバーの運転傾向および改善ポイントが明確となり、運転者に対する安全運転教育を行うことができる。
【０１３１】
＜変形例＞
以上説明した実施の形態においては、運転時の環境情報として先行車の情報、すなわち車間距離を用いてドライバーの運転傾向を解析する例を説明したが、運転記録装置１００の記録部７にステレオ画像を記録する構成とし、当該ステレオ画像から中央線などに使用される白線を検知することでカーブの状況を検知し、直線区間とカーブ区間とで分類を行い、運転傾向を解析することも可能である。
【０１３２】
また、同様にステレオ画像から信号機を検知し、信号機までの距離を車間距離と同様に扱うことで、信号機までの距離を環境情報として使用することが可能である。
【０１３３】
これらの環境情報を用いた解析により、ドライバー個人の運転傾向解析結果と、優良ドライバーの運転傾向との差を検出し、危険な方向および安全な方向それぞれでの総和を求めることで、総合的な運転傾向を算出することも可能である。
【０１３４】
この総合的な運転傾向は、ドライバーの人事的評価システムへの出力、リンクを行うことで、客観的な指標での給与、表彰などの処遇などへの反映が可能となる。
【符号の説明】
【０１３５】
１ ステレオカメラ
２ 画像記録部
３ ３次元画像情報算出部
４ 動体特定部
５ 速度算出部
６ 車間距離検出部
７ 記録部
【特許請求の範囲】
【請求項１】
車両に搭載されたステレオカメラと、
前記ステレオカメラで撮影された画像データを記録する画像記録部と、
前記画像記録部で記録された画像データから３次元画像情報を算出する３次元画像情報算出部と、
前記３次元画像情報算出部で算出された３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部と、
前記３次元画像情報算出部で算出された３次元画像情報に基づいて自車両速度を検出する速度算出部と、
前記動体特定部で特定された先行車との車間距離を検出する車間距離検出部と、
自車両の運転に影響を及ぼす環境情報の１つとして前記車間距離検出部で検出された車間距離および前記速度算出部で算出された自車両速度を運転情報として記録する記録部と、を備えた運転記録装置で取得される前記運転情報を取り込み、前記環境情報に基づいた運転者の運転パターンを算出して、運転傾向を解析する、運転解析システム。
【請求項２】
前記運転記録装置においては、
自車両が加速して定常走行状態に至るまでの加速期間、
または自車両が減速して定常走行状態に至るまでの減速期間についてのみ前記運転情報を前記記録部に記録する、請求項１記載の運転解析システム。
【請求項３】
前記運転傾向の解析においては、
自車両が加速して定常走行状態に至った後の到達定常速度ごとに車間距離を分類し、到達定常速度に対する車間距離との関係より運転傾向を解析する、請求項１記載の運転解析システム。
【請求項４】
前記運転傾向の解析においては、
前記定常速度に対する車間距離との関係を用いた前記運転傾向の解析において、
他者の運転時のデータによる前記定常速度に対する車間距離との関係あるいは複数の運転者による運転時のデータの平均値との比較により前記運転傾向を解析する、請求項３記載の運転解析システム。
【請求項５】
前記運転傾向の解析においては、
定常速度での運転下において、先行車との車間距離が近づき始めてから減速を開始するまでの時間を定常速度ごとに分類し、定常速度に対する減速開始に要する時間との関係より運転傾向を解析する、請求項１記載の運転解析システム。
【請求項６】
前記運転傾向の解析においては、
車間距離が予め定めた所定値よりも大きい場合あるいは加速開始時に車間距離が記録されていない場合の加速開始から加速終了までの時間単位の平均速度を、自車両が加速して定常走行状態に至った後の到達定常速度ごとに分類し、到達定常速度に対する車間距離との関係より運転傾向を解析する、請求項１記載の運転解析システム。
【請求項７】
前記運転傾向の解析においては、
車間距離が予め定めた所定値よりも大きい場合あるいは減速開始時に車間距離が記録されていない場合の減速開始から減速終了までの時間単位の平均速度を、自車両の減速開始前の定常走行状態での定常速度ごとに分類し、定常速度に対する車間距離との関係より運転傾向を解析する、請求項１記載の運転解析システム。
【請求項８】
車両に搭載されたステレオカメラと、
前記ステレオカメラで撮影された画像データを記録する画像記録部と、
前記画像記録部で記録された画像データから３次元画像情報を算出する３次元画像情報算出部と、
前記３次元画像情報算出部で算出された３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部と、
前記３次元画像情報算出部で算出された３次元画像情報に基づいて自車両速度を検出する速度算出部と、
前記動体特定部で特定された先行車との車間距離を検出する車間距離検出部と、
自車両の運転に影響を及ぼす環境情報の１つとして前記車間距離検出部で検出された車間距離および前記速度算出部で算出された自車両速度を運転情報として記録するとともに、前記３次元画像情報の記録も可能な記録部と、を備えた運転記録装置。
【請求項１】
車両に搭載されたステレオカメラと、
前記ステレオカメラで撮影された画像データを記録する画像記録部と、
前記画像記録部で記録された画像データから３次元画像情報を算出する３次元画像情報算出部と、
前記３次元画像情報算出部で算出された３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部と、
前記３次元画像情報算出部で算出された３次元画像情報に基づいて自車両速度を検出する速度算出部と、
前記動体特定部で特定された先行車との車間距離を検出する車間距離検出部と、
自車両の運転に影響を及ぼす環境情報の１つとして前記車間距離検出部で検出された車間距離および前記速度算出部で算出された自車両速度を運転情報として記録する記録部と、を備えた運転記録装置で取得される前記運転情報を取り込み、前記環境情報に基づいた運転者の運転パターンを算出して、運転傾向を解析する、運転解析システム。
【請求項２】
前記運転記録装置においては、
自車両が加速して定常走行状態に至るまでの加速期間、
または自車両が減速して定常走行状態に至るまでの減速期間についてのみ前記運転情報を前記記録部に記録する、請求項１記載の運転解析システム。
【請求項３】
前記運転傾向の解析においては、
自車両が加速して定常走行状態に至った後の到達定常速度ごとに車間距離を分類し、到達定常速度に対する車間距離との関係より運転傾向を解析する、請求項１記載の運転解析システム。
【請求項４】
前記運転傾向の解析においては、
前記定常速度に対する車間距離との関係を用いた前記運転傾向の解析において、
他者の運転時のデータによる前記定常速度に対する車間距離との関係あるいは複数の運転者による運転時のデータの平均値との比較により前記運転傾向を解析する、請求項３記載の運転解析システム。
【請求項５】
前記運転傾向の解析においては、
定常速度での運転下において、先行車との車間距離が近づき始めてから減速を開始するまでの時間を定常速度ごとに分類し、定常速度に対する減速開始に要する時間との関係より運転傾向を解析する、請求項１記載の運転解析システム。
【請求項６】
前記運転傾向の解析においては、
車間距離が予め定めた所定値よりも大きい場合あるいは加速開始時に車間距離が記録されていない場合の加速開始から加速終了までの時間単位の平均速度を、自車両が加速して定常走行状態に至った後の到達定常速度ごとに分類し、到達定常速度に対する車間距離との関係より運転傾向を解析する、請求項１記載の運転解析システム。
【請求項７】
前記運転傾向の解析においては、
車間距離が予め定めた所定値よりも大きい場合あるいは減速開始時に車間距離が記録されていない場合の減速開始から減速終了までの時間単位の平均速度を、自車両の減速開始前の定常走行状態での定常速度ごとに分類し、定常速度に対する車間距離との関係より運転傾向を解析する、請求項１記載の運転解析システム。
【請求項８】
車両に搭載されたステレオカメラと、
前記ステレオカメラで撮影された画像データを記録する画像記録部と、
前記画像記録部で記録された画像データから３次元画像情報を算出する３次元画像情報算出部と、
前記３次元画像情報算出部で算出された３次元画像情報に基づいて、画像中の動体対応画像部分を特定する動体特定部と、
前記３次元画像情報算出部で算出された３次元画像情報に基づいて自車両速度を検出する速度算出部と、
前記動体特定部で特定された先行車との車間距離を検出する車間距離検出部と、
自車両の運転に影響を及ぼす環境情報の１つとして前記車間距離検出部で検出された車間距離および前記速度算出部で算出された自車両速度を運転情報として記録するとともに、前記３次元画像情報の記録も可能な記録部と、を備えた運転記録装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−９６０４８（Ｐ２０１１−９６０４８Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２５０１７１（Ｐ２００９−２５０１７１）
【出願日】平成２１年１０月３０日（２００９．１０．３０）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月３０日（２００９．１０．３０）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]