車両挙動記録システム
【課題】カメラにより撮影された画像を有効に利用して車両の挙動を正確に表示する。
【解決手段】ドライブレコーダは、カメラが撮影したビデオ映像を画像認識した結果に基づいて、ドライブレコーダの記録媒体へ車両データやビデオ映像データを記憶するか否かを判定する。映像記録装置１４は、交差点特定部１０２が地図ＤＢ１０９に記憶する地図情報とデータ取得部１０１が取得した車両情報とに基づいて、車両が走行した交差点を特定し、交差点解析部１０３と位置解析部１０４が交差点情報ＤＢ１１０に含まれるランドマークの画像データと位置と、カメラが撮影したビデオ映像との画像認識結果に基づいて、交差点特定部１０２により特定された交差点における車両の位置を特定する。そして、走行軌跡とマッチングし、地図と合成する。
【解決手段】ドライブレコーダは、カメラが撮影したビデオ映像を画像認識した結果に基づいて、ドライブレコーダの記録媒体へ車両データやビデオ映像データを記憶するか否かを判定する。映像記録装置１４は、交差点特定部１０２が地図ＤＢ１０９に記憶する地図情報とデータ取得部１０１が取得した車両情報とに基づいて、車両が走行した交差点を特定し、交差点解析部１０３と位置解析部１０４が交差点情報ＤＢ１１０に含まれるランドマークの画像データと位置と、カメラが撮影したビデオ映像との画像認識結果に基づいて、交差点特定部１０２により特定された交差点における車両の位置を特定する。そして、走行軌跡とマッチングし、地図と合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両挙動記録システムに関する。
【背景技術】
【０００２】
ドライブレコーダから取得した挙動データから車両の挙動をアニメーション表示する車両挙動再現装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１１５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１などの従来技術では、カメラにより撮影された画像を有効活用しているとは言えなかった。本発明は、カメラにより撮影された画像を有効に利用して車両の挙動を正確に表示することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る車両挙動記録システムは、車両に搭載されたドライブレコーダと、映像解析装置とからなる車両挙動記録システムであって、ドライブレコーダは、車両の周囲を所定の撮影範囲について撮影した映像を取得するカメラと、カメラにより取得された映像を記憶する映像記憶手段とを備え、映像解析装置は、ドライブレコーダから映像を取得する情報取得手段と、各交差点に存在するランドマークの位置情報を含む交差点情報を記憶する交差点情報記憶手段と、車両が走行した交差点を特定する交差点特定手段と、映像と交差点情報とに基づいて、交差点特定手段により特定された交差点における車両の位置を算出する位置算出手段と、交差点特定手段により特定された交差点の地図を表示し、該地図上に位置算出手段により算出された車両の位置を示す地図合成処理手段とを備え、映像は、車両から撮影範囲内に存在するランドマークまでの距離に関する情報を含み、位置算出手段は、映像に含まれるランドマークまでの距離に関する情報と、交差点情報に含まれる該ランドマークの位置情報とに基づいて、交差点特定手段により特定された交差点における車両の位置を算出することを特徴とする。
【発明の効果】
【０００６】
カメラにより撮影された画像を有効に利用して車両の挙動を正確に表示することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による運行映像記録システムの全体構成を示すブロック図である。
【図２】ドライブレコーダの一構成例を示すブロック図である。
【図３】本発明の一実施の形態による運行映像記録装置の機能ブロック図である。
【図４】走行軌跡をマッチングする方法の一例を示すため図である。
【図５】アニメーション合成について説明するための図である。
【図６】本発明の一実施の形態による運行映像記録装置の機能に関するフローチャートである。
【発明を実施するための形態】
【０００８】
図１は、本発明による運行映像解析システムの構成ブロック図である。図１の運行映像解析システム１は、複数のカメラ１２と接続されるドライブレコーダ１１と、ドライブレコーダ１１と接続される映像解析装置１４とを備える。ドライブレコーダ１１は、車両２に搭載されており、複数のカメラ１２からビデオ映像が入力され、ＧＰＳ衛星１３からＧＰＳ信号が入力される。そして、複数のカメラ１２は、車両２に搭載されているステレオカメラであって、車両２の外部前方を互いに異なる撮影位置からそれぞれ撮影している。これにより、複数のカメラ１２により撮影されたビデオ映像は車両から撮影範囲内に存在する各物体までの距離に応じた視差情報が含まれるようになる。映像解析装置１４は、車両２に搭載されないコンピュータであって、ドライブレコーダ１１から入力された情報を解析し、解析した結果を表示部１５に提供する。表示部１５は、表示モニタなどで実装される。
【０００９】
図２は、図１のドライブレコーダ１１の機能ブロック図の一例である。ドライブレコーダ１１は、カメラ１２からのビデオ映像を処理する画像処理部２０１と、ドライブレコーダ１１全体の制御を行う記録データ処理部２０２と、ＧＰＳ信号を受信するＧＰＳ受信部２０３と、車両２の加速度を検出する加速度センサ２０４と、車両２の角速度を検出するジャイロセンサ２０５と、車両データＤＢ（Ｄａｔａ Ｂａｓｅ）２０６およびビデオ映像データＤＢ２０７を記憶する記録媒体２０８と、ドライブレコーダ１１の外部と通信する通信部２０９とを備える。記録媒体２０８は、着脱可能な記憶装置で、メモリカードなどである。
【００１０】
画像処理部２０１は、複数のカメラ１２から入力されたビデオ映像へ画像認識技術を適用し、前方車両のナンバープレートや信号機、標識、停止線、横断歩道、歩行者、自転車などを認識する。画像処理部２０１の認識結果は、記録データ処理部２０２の制御のもと、ドライブレコーダ１１の保存トリガとして利用することができる。従来のドライブレコーダは、加速度センサ２０４にて一定以上の急加減速や衝撃を検出したことを保存トリガとしてそのときのビデオ映像データ等を記憶する。本実施の形態によるドライブレコーダ１１は、上記従来の保存トリガに加えて、画像処理部２０１が認識したナンバープレートの大きさに基づいて前方車両の異常接近を検知したときや、信号機の赤色または黄色灯火を認識したときなども保存トリガとすることができる。複数のカメラ１２から入力されたビデオ映像のビデオ映像データは、保存トリガがオンとなると、記録データ処理部２０２の制御によりビデオ映像ＤＢ２０７に記憶される。ＧＰＳ受信部２０３で受信したＧＰＳ信号と、加速度センサ２０４から出力される車両２の加速度に関する出力信号と、ジャイロセンサ２０５から出力される車両２の角速度に関する出力信号とは、保存トリガがオンとなると、記録データ処理部２０２の制御により車両データＤＢ２０６に記憶される。車両データＤＢ２０６とビデオ映像ＤＢ２０７とに記憶された各データは、記録媒体２０８や通信部２０９を介して映像解析装置１４へ入力される。
【００１１】
カメラによる撮影のフレームレートと、ＧＰＳ信号の受信間隔と、加速度センサやジャイロセンサの加速度や角速度の検出間隔とは、互いに異なることが多い。たとえば、ＧＰＳ信号は１秒間隔で受信し、ビデオ映像は３０フレーム毎秒で撮影し、加速度センサやジャイロセンサは１００ミリ秒間隔で検出する。記録データ処理部２０２は、内部に備えた計時部２１０により、それらの検出や受信の間隔を調整し、同期を図る。このようにすることにより、車両データとして記憶されたＧＰＳ信号が受信されたときに撮影されたビデオ映像データがビデオ映像ＤＢ２０７に記憶されている状況を確保することができる。
【００１２】
図３は、映像解析装置１４の機能ブロック図の一例である。図３の映像解析装置１４は、データ取得部１０１と、交差点特定部１０２と、交差点画像認識部１０３と、位置解析部１０４と、軌跡解析処理部１０５と、地図合成処理部１０６と、記憶部１０７とを備える。記憶部１０７は、ハードディスクやフラッシュメモリなどで実装され、ビデオ映像データや車両データを記憶する車両ビデオデータＤＢ１０８と、交差点の位置情報を含む地図データを記憶する地図ＤＢ１０９と、交差点にあるランドマーク（たとえば、信号機、標識、停止線、横断歩道、その他の路上の設置物）の情報を記憶する交差点情報ＤＢ１１０とを記憶する。交差点にあるランドマークの情報には、ランドマークの形状と、ランドマークの位置情報とを含む。
【００１３】
データ取得部１０１は、ドライブレコーダ１１が収集したビデオ映像データおよび車両データを取得し、車両ビデオデータＤＢ１０８に記憶する。交差点特定部１０２は、車両ビデオデータＤＢ１０８に記憶された車両データに含まれるＧＰＳ信号に基づいて、車両２の位置を算出し、地図ＤＢ１０９に記憶される地図データの中から収集したビデオ映像データおよび車両データに対応する交差点を特定する。あるいは、ユーザが交差点名や交差点の位置を直接指定することで収集したビデオ映像データおよび車両データに対応する交差点を特定してもよい。交差点画像認識部１０３は、交差点特定部１０２により特定された交差点にあるランドマークの情報を交差点情報ＤＢ１１０の中から検索し取得する。そして、車両ビデオデータＤＢ１０８からビデオ映像データを読み込み、ビデオ映像の中からそれぞれ当該交差点のランドマークを画像認識により抽出する。
【００１４】
位置解析部１０４は、交差点画像認識部１０３により複数の画像からそれぞれ抽出されたランドマークの各画像間の位置のずれ、すなわち視差と撮影方向とを算出し、これらの算出結果とカメラ１２の焦点距離とに基づいて、車両２から当該ランドマークまでの距離と、車両２から見たランドマークの方向とを算出する。なお、カメラ１２の焦点距離の情報は、ビデオ映像に付してドライブレコーダ１１から解析装置１４へ出力してもよいし、解析装置１４において予め記憶していてもよい。位置解析部１０４は、交差点情報ＤＢ１１０に記憶されているランドマークの位置情報と、算出されたランドマークからの距離とに基づいて、車両２の位置を算出する。このようにビデオ映像データを基にして車両２の位置を算出する方法では、車両２が横滑りやスピンした場合であっても正確に位置や車両の姿勢（車両の走行方向に対する車体向きなど）を算出することができる。たとえば、車両２が横滑りやスピンをした場合であっても、車両２に固定されたカメラ１２が撮影したランドマークの位置情報に基づいて、車両の走行方向に対する車体の向きを算出することができる。
【００１５】
また、位置解析部１０４は、車両ビデオデータＤＢ１０８に記憶された車両データに含まれる加速度センサ２０４とジャイロセンサ２０５の出力信号に基づいて、交差点特定部１０２により特定された交差点での車両２の走行軌跡を算出する。軌跡解析処理部１０５は、図４に示すように位置解析部１０４により算出された車両２の位置（複数の白く小さい菱形）４０１と、車両２の走行軌跡（曲線）４０２とのマッチングを行う。マッチングは、最少二乗法などにより、車両２の位置４０１のそれぞれと車両２の走行軌跡４０２とのずれの総和が最小となるようにする。車両２の位置４０１は、交差点４００のランドマークである標識４０３や、停止線４０４、信号機４０５、横断歩道４０６などの位置情報と、算出された車両２と各ランドマークとの間の距離とに基づいて算出されたものである。走行軌跡４０２は、加速度センサ２０４とジャイロセンサ２０５の出力信号に基づいて算出されたものである。
【００１６】
地図合成処理部１０６は、軌跡解析処理部１０５でマッチングした走行軌跡を交差点の地図画像に合成する。地図画像は、地図合成処理部１０６が対象の地図画像データを地図ＤＢ１０９から読み込む。図５は、地図合成処理部１０６により合成された地図と軌跡解析処理部１０５でマッチングした走行軌跡とを表示部１５に表示したものである。図５は、図４の交差点４００に対応する地図５００が表示部１５に表示され、地図５００の上に図４の走行軌跡４０２に沿って車両マーク５０１がアニメーション表示されている様子を示している。図５には、地図５００のほかにカメラ１２で撮影されたビデオ映像データを出力する領域５０２と、交差点画像認識部１０３でランドマークとして抽出した信号機（たとえば、信号機４０５）の点灯色情報およびＧＰＳ信号に基づいた車速情報を表示する領域５０３が示されている。
【００１７】
図６は、映像解析装置１４が実行する処理に関するフローチャートの一例である。図６に示す処理は、ドライブレコーダ１１からビデオ映像データと車両データの入力があったときに実行を開始する。ステップＳ６０１では、データ取得部１０１がドライブレコーダ１１から入力されたビデオ映像データと車両データとを取得し、車両ビデオデータＤＢ１０８へ記憶する。図６のステップＳ６０２は、車両ビデオデータＤＢ１０８に記憶した車両データのうち、ＧＰＳ信号を交差点特定部１０２が読み込む。ステップＳ６０３では、交差点特定部１０２がＧＰＳ信号に基づいて、車両２の位置にあった交差点を特定する。ステップＳ６０４では、車両ビデオデータＤＢ１０８に記憶したビデオ映像データを交差点画像認識部１０３が読み込む。ステップＳ６０５では、交差点画像認識部１０３がステップＳ６０４で読みこんだビデオ映像データからランドマークを抽出する。
【００１８】
ステップＳ６０６では、位置解析部１０４がステップＳ６０５で抽出されたランドマークとの距離に基づいて、車両２の位置を算出する。ステップＳ６０７では、車両ビデオデータＤＢ１０８に記憶した車両データのうち、加速度センサ２０４の出力信号とジャイロセンサ２０５の出力信号とを位置解析部１０４が読み込む。ステップＳ６０８では、ステップＳ６０７で読み込んだ情報に基づいて、位置解析部１０４が車両２の走行軌跡を算出する。ステップＳ６０９では、ステップＳ６０８で算出された車両２の走行軌跡をステップＳ６０６で算出された車両２の位置に軌跡解析処理部１０５がマッチングする。ステップＳ６１０では、地図合成処理部１０６が、地図ＤＢに基づいた地図をステップＳ６０９で車両２の位置と重ねあわせ処理を行った後の走行軌跡に重ね合わせ、図５のような画面を表示する。
【００１９】
以上説明した各実施の形態によれば、次の作用効果を奏する。
本発明の車両挙動記録システムは、車両２に搭載されるドライブレコーダ１１と、映像解析装置１４とを備え、ドライブレコーダ１１は、車両２の周囲を所定の撮影範囲について撮影した映像を取得するカメラ１２と、カメラ１２により取得された映像を記憶するビデオ映像ＤＢ２０７を備え、映像解析装置１４は、ドライブレコーダ１１からビデオ映像を取得するデータ取得部１０１と、交差点にあるランドマークの位置情報などを記憶する交差点情報ＤＢ１１０と、車両が走行した交差点を特定する交差点特定部１０２と、ビデオ映像と交差点情報ＤＢ１１０に記憶している情報とに基づいて車両２の位置を算出する位置解析部１０４と、交差点の地図を表示し車両２の位置や走行軌跡を重ねて表示する地図合成処理部１０６とを備えている。映像には、車両２からランドマークまでの距離に関する情報が含まれており、ランドマークまでの距離に関する情報と交差点に含まれるランドマークの位置情報とに基づいて、交差点における車両２の位置を算出することができる。これにより、カメラにより撮影された画像を有効に利用して車両の挙動を正確に表示することができる。
【００２０】
以上の各実施の形態は、以下のように変形して実施できる。
〔１〕ドライブレコーダ１１の構成は、図２のものだけに限定されない。たとえば、ビデオ映像ＤＢ２０７に記憶したビデオ映像を表示するための表示部を備えてもよい。また、車両２の車速を検出し、車速信号を出力する車速センサを備えていてもよい。
【００２１】
〔２〕車両２に搭載されるカメラを複数のカメラとしたが、これに限定しない。たとえば、オートフォーカス機能を持つカメラ１台としてもよい。すなわち、車両２に搭載されたカメラにより、車両から撮影範囲内に存在する各物体までの距離を検出し、その距離情報をビデオ映像と共に出力してもよい。
【００２２】
〔３〕上記の実施の形態では、交差点にあるランドマークの情報が交差点情報ＤＢ１１０に予め記憶されているものとした。交差点やランドマークなどの増加に対応するため、交差点情報ＤＢ１１０には、ユーザが手動でデータを入力できるようにしてもよい。このとき、車両ビデオＤＢ１０７に記憶されたビデオ映像を表示部１５などに表示し、その表示画面の一部を選択し、ランドマークとして記憶させてもよい。
【００２３】
〔４〕映像解析装置１４は、事故に関係した複数の車両２のドライブレコーダ１１の車両データやビデオ映像データを連携させてアニメーション化処理したり、交差点に設置されたカメラの記録データと連携してアニメーション化処理することができてもよい。このようにすれば、より詳細な事故等の検証を行うことができる。
【００２４】
〔５〕映像解析装置１４は、位置解析部１０４により算出された車両２の位置と走行軌跡のいずれか一方のみを表示してもよい。なお、走行軌跡を表示しない場合は、加速度センサ２０４の出力信号およびジャイロセンサ２０５の出力信号を車両情報として取得しなくてもよい。
【符号の説明】
【００２５】
１１ ドライブレコーダ
１２ カメラ
１４ 映像解析装置
１５ 表示部
１０１ データ取得部
１０２ 交差点特定部
１０３ 交差点画像認識部
１０４ 位置解析部
１０５ 軌跡解析処理部
１０６ 地図合成処理部
１０７ 記憶部
１０８ 車両ビデオデータＤＢ
１０９ 地図ＤＢ
１１０ 交差点情報ＤＢ
２０１ 画像処理部
２０２ 記録データ処理部
２０３ ＧＰＳ受信部
２０４ 加速度センサ
２０５ ジャイロセンサ
２０６ 車両データＤＢ
２０７ ビデオ映像ＤＢ
２０８ 記録媒体
２０９ 通信部
【技術分野】
【０００１】
本発明は、車両挙動記録システムに関する。
【背景技術】
【０００２】
ドライブレコーダから取得した挙動データから車両の挙動をアニメーション表示する車両挙動再現装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１１５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１などの従来技術では、カメラにより撮影された画像を有効活用しているとは言えなかった。本発明は、カメラにより撮影された画像を有効に利用して車両の挙動を正確に表示することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る車両挙動記録システムは、車両に搭載されたドライブレコーダと、映像解析装置とからなる車両挙動記録システムであって、ドライブレコーダは、車両の周囲を所定の撮影範囲について撮影した映像を取得するカメラと、カメラにより取得された映像を記憶する映像記憶手段とを備え、映像解析装置は、ドライブレコーダから映像を取得する情報取得手段と、各交差点に存在するランドマークの位置情報を含む交差点情報を記憶する交差点情報記憶手段と、車両が走行した交差点を特定する交差点特定手段と、映像と交差点情報とに基づいて、交差点特定手段により特定された交差点における車両の位置を算出する位置算出手段と、交差点特定手段により特定された交差点の地図を表示し、該地図上に位置算出手段により算出された車両の位置を示す地図合成処理手段とを備え、映像は、車両から撮影範囲内に存在するランドマークまでの距離に関する情報を含み、位置算出手段は、映像に含まれるランドマークまでの距離に関する情報と、交差点情報に含まれる該ランドマークの位置情報とに基づいて、交差点特定手段により特定された交差点における車両の位置を算出することを特徴とする。
【発明の効果】
【０００６】
カメラにより撮影された画像を有効に利用して車両の挙動を正確に表示することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による運行映像記録システムの全体構成を示すブロック図である。
【図２】ドライブレコーダの一構成例を示すブロック図である。
【図３】本発明の一実施の形態による運行映像記録装置の機能ブロック図である。
【図４】走行軌跡をマッチングする方法の一例を示すため図である。
【図５】アニメーション合成について説明するための図である。
【図６】本発明の一実施の形態による運行映像記録装置の機能に関するフローチャートである。
【発明を実施するための形態】
【０００８】
図１は、本発明による運行映像解析システムの構成ブロック図である。図１の運行映像解析システム１は、複数のカメラ１２と接続されるドライブレコーダ１１と、ドライブレコーダ１１と接続される映像解析装置１４とを備える。ドライブレコーダ１１は、車両２に搭載されており、複数のカメラ１２からビデオ映像が入力され、ＧＰＳ衛星１３からＧＰＳ信号が入力される。そして、複数のカメラ１２は、車両２に搭載されているステレオカメラであって、車両２の外部前方を互いに異なる撮影位置からそれぞれ撮影している。これにより、複数のカメラ１２により撮影されたビデオ映像は車両から撮影範囲内に存在する各物体までの距離に応じた視差情報が含まれるようになる。映像解析装置１４は、車両２に搭載されないコンピュータであって、ドライブレコーダ１１から入力された情報を解析し、解析した結果を表示部１５に提供する。表示部１５は、表示モニタなどで実装される。
【０００９】
図２は、図１のドライブレコーダ１１の機能ブロック図の一例である。ドライブレコーダ１１は、カメラ１２からのビデオ映像を処理する画像処理部２０１と、ドライブレコーダ１１全体の制御を行う記録データ処理部２０２と、ＧＰＳ信号を受信するＧＰＳ受信部２０３と、車両２の加速度を検出する加速度センサ２０４と、車両２の角速度を検出するジャイロセンサ２０５と、車両データＤＢ（Ｄａｔａ Ｂａｓｅ）２０６およびビデオ映像データＤＢ２０７を記憶する記録媒体２０８と、ドライブレコーダ１１の外部と通信する通信部２０９とを備える。記録媒体２０８は、着脱可能な記憶装置で、メモリカードなどである。
【００１０】
画像処理部２０１は、複数のカメラ１２から入力されたビデオ映像へ画像認識技術を適用し、前方車両のナンバープレートや信号機、標識、停止線、横断歩道、歩行者、自転車などを認識する。画像処理部２０１の認識結果は、記録データ処理部２０２の制御のもと、ドライブレコーダ１１の保存トリガとして利用することができる。従来のドライブレコーダは、加速度センサ２０４にて一定以上の急加減速や衝撃を検出したことを保存トリガとしてそのときのビデオ映像データ等を記憶する。本実施の形態によるドライブレコーダ１１は、上記従来の保存トリガに加えて、画像処理部２０１が認識したナンバープレートの大きさに基づいて前方車両の異常接近を検知したときや、信号機の赤色または黄色灯火を認識したときなども保存トリガとすることができる。複数のカメラ１２から入力されたビデオ映像のビデオ映像データは、保存トリガがオンとなると、記録データ処理部２０２の制御によりビデオ映像ＤＢ２０７に記憶される。ＧＰＳ受信部２０３で受信したＧＰＳ信号と、加速度センサ２０４から出力される車両２の加速度に関する出力信号と、ジャイロセンサ２０５から出力される車両２の角速度に関する出力信号とは、保存トリガがオンとなると、記録データ処理部２０２の制御により車両データＤＢ２０６に記憶される。車両データＤＢ２０６とビデオ映像ＤＢ２０７とに記憶された各データは、記録媒体２０８や通信部２０９を介して映像解析装置１４へ入力される。
【００１１】
カメラによる撮影のフレームレートと、ＧＰＳ信号の受信間隔と、加速度センサやジャイロセンサの加速度や角速度の検出間隔とは、互いに異なることが多い。たとえば、ＧＰＳ信号は１秒間隔で受信し、ビデオ映像は３０フレーム毎秒で撮影し、加速度センサやジャイロセンサは１００ミリ秒間隔で検出する。記録データ処理部２０２は、内部に備えた計時部２１０により、それらの検出や受信の間隔を調整し、同期を図る。このようにすることにより、車両データとして記憶されたＧＰＳ信号が受信されたときに撮影されたビデオ映像データがビデオ映像ＤＢ２０７に記憶されている状況を確保することができる。
【００１２】
図３は、映像解析装置１４の機能ブロック図の一例である。図３の映像解析装置１４は、データ取得部１０１と、交差点特定部１０２と、交差点画像認識部１０３と、位置解析部１０４と、軌跡解析処理部１０５と、地図合成処理部１０６と、記憶部１０７とを備える。記憶部１０７は、ハードディスクやフラッシュメモリなどで実装され、ビデオ映像データや車両データを記憶する車両ビデオデータＤＢ１０８と、交差点の位置情報を含む地図データを記憶する地図ＤＢ１０９と、交差点にあるランドマーク（たとえば、信号機、標識、停止線、横断歩道、その他の路上の設置物）の情報を記憶する交差点情報ＤＢ１１０とを記憶する。交差点にあるランドマークの情報には、ランドマークの形状と、ランドマークの位置情報とを含む。
【００１３】
データ取得部１０１は、ドライブレコーダ１１が収集したビデオ映像データおよび車両データを取得し、車両ビデオデータＤＢ１０８に記憶する。交差点特定部１０２は、車両ビデオデータＤＢ１０８に記憶された車両データに含まれるＧＰＳ信号に基づいて、車両２の位置を算出し、地図ＤＢ１０９に記憶される地図データの中から収集したビデオ映像データおよび車両データに対応する交差点を特定する。あるいは、ユーザが交差点名や交差点の位置を直接指定することで収集したビデオ映像データおよび車両データに対応する交差点を特定してもよい。交差点画像認識部１０３は、交差点特定部１０２により特定された交差点にあるランドマークの情報を交差点情報ＤＢ１１０の中から検索し取得する。そして、車両ビデオデータＤＢ１０８からビデオ映像データを読み込み、ビデオ映像の中からそれぞれ当該交差点のランドマークを画像認識により抽出する。
【００１４】
位置解析部１０４は、交差点画像認識部１０３により複数の画像からそれぞれ抽出されたランドマークの各画像間の位置のずれ、すなわち視差と撮影方向とを算出し、これらの算出結果とカメラ１２の焦点距離とに基づいて、車両２から当該ランドマークまでの距離と、車両２から見たランドマークの方向とを算出する。なお、カメラ１２の焦点距離の情報は、ビデオ映像に付してドライブレコーダ１１から解析装置１４へ出力してもよいし、解析装置１４において予め記憶していてもよい。位置解析部１０４は、交差点情報ＤＢ１１０に記憶されているランドマークの位置情報と、算出されたランドマークからの距離とに基づいて、車両２の位置を算出する。このようにビデオ映像データを基にして車両２の位置を算出する方法では、車両２が横滑りやスピンした場合であっても正確に位置や車両の姿勢（車両の走行方向に対する車体向きなど）を算出することができる。たとえば、車両２が横滑りやスピンをした場合であっても、車両２に固定されたカメラ１２が撮影したランドマークの位置情報に基づいて、車両の走行方向に対する車体の向きを算出することができる。
【００１５】
また、位置解析部１０４は、車両ビデオデータＤＢ１０８に記憶された車両データに含まれる加速度センサ２０４とジャイロセンサ２０５の出力信号に基づいて、交差点特定部１０２により特定された交差点での車両２の走行軌跡を算出する。軌跡解析処理部１０５は、図４に示すように位置解析部１０４により算出された車両２の位置（複数の白く小さい菱形）４０１と、車両２の走行軌跡（曲線）４０２とのマッチングを行う。マッチングは、最少二乗法などにより、車両２の位置４０１のそれぞれと車両２の走行軌跡４０２とのずれの総和が最小となるようにする。車両２の位置４０１は、交差点４００のランドマークである標識４０３や、停止線４０４、信号機４０５、横断歩道４０６などの位置情報と、算出された車両２と各ランドマークとの間の距離とに基づいて算出されたものである。走行軌跡４０２は、加速度センサ２０４とジャイロセンサ２０５の出力信号に基づいて算出されたものである。
【００１６】
地図合成処理部１０６は、軌跡解析処理部１０５でマッチングした走行軌跡を交差点の地図画像に合成する。地図画像は、地図合成処理部１０６が対象の地図画像データを地図ＤＢ１０９から読み込む。図５は、地図合成処理部１０６により合成された地図と軌跡解析処理部１０５でマッチングした走行軌跡とを表示部１５に表示したものである。図５は、図４の交差点４００に対応する地図５００が表示部１５に表示され、地図５００の上に図４の走行軌跡４０２に沿って車両マーク５０１がアニメーション表示されている様子を示している。図５には、地図５００のほかにカメラ１２で撮影されたビデオ映像データを出力する領域５０２と、交差点画像認識部１０３でランドマークとして抽出した信号機（たとえば、信号機４０５）の点灯色情報およびＧＰＳ信号に基づいた車速情報を表示する領域５０３が示されている。
【００１７】
図６は、映像解析装置１４が実行する処理に関するフローチャートの一例である。図６に示す処理は、ドライブレコーダ１１からビデオ映像データと車両データの入力があったときに実行を開始する。ステップＳ６０１では、データ取得部１０１がドライブレコーダ１１から入力されたビデオ映像データと車両データとを取得し、車両ビデオデータＤＢ１０８へ記憶する。図６のステップＳ６０２は、車両ビデオデータＤＢ１０８に記憶した車両データのうち、ＧＰＳ信号を交差点特定部１０２が読み込む。ステップＳ６０３では、交差点特定部１０２がＧＰＳ信号に基づいて、車両２の位置にあった交差点を特定する。ステップＳ６０４では、車両ビデオデータＤＢ１０８に記憶したビデオ映像データを交差点画像認識部１０３が読み込む。ステップＳ６０５では、交差点画像認識部１０３がステップＳ６０４で読みこんだビデオ映像データからランドマークを抽出する。
【００１８】
ステップＳ６０６では、位置解析部１０４がステップＳ６０５で抽出されたランドマークとの距離に基づいて、車両２の位置を算出する。ステップＳ６０７では、車両ビデオデータＤＢ１０８に記憶した車両データのうち、加速度センサ２０４の出力信号とジャイロセンサ２０５の出力信号とを位置解析部１０４が読み込む。ステップＳ６０８では、ステップＳ６０７で読み込んだ情報に基づいて、位置解析部１０４が車両２の走行軌跡を算出する。ステップＳ６０９では、ステップＳ６０８で算出された車両２の走行軌跡をステップＳ６０６で算出された車両２の位置に軌跡解析処理部１０５がマッチングする。ステップＳ６１０では、地図合成処理部１０６が、地図ＤＢに基づいた地図をステップＳ６０９で車両２の位置と重ねあわせ処理を行った後の走行軌跡に重ね合わせ、図５のような画面を表示する。
【００１９】
以上説明した各実施の形態によれば、次の作用効果を奏する。
本発明の車両挙動記録システムは、車両２に搭載されるドライブレコーダ１１と、映像解析装置１４とを備え、ドライブレコーダ１１は、車両２の周囲を所定の撮影範囲について撮影した映像を取得するカメラ１２と、カメラ１２により取得された映像を記憶するビデオ映像ＤＢ２０７を備え、映像解析装置１４は、ドライブレコーダ１１からビデオ映像を取得するデータ取得部１０１と、交差点にあるランドマークの位置情報などを記憶する交差点情報ＤＢ１１０と、車両が走行した交差点を特定する交差点特定部１０２と、ビデオ映像と交差点情報ＤＢ１１０に記憶している情報とに基づいて車両２の位置を算出する位置解析部１０４と、交差点の地図を表示し車両２の位置や走行軌跡を重ねて表示する地図合成処理部１０６とを備えている。映像には、車両２からランドマークまでの距離に関する情報が含まれており、ランドマークまでの距離に関する情報と交差点に含まれるランドマークの位置情報とに基づいて、交差点における車両２の位置を算出することができる。これにより、カメラにより撮影された画像を有効に利用して車両の挙動を正確に表示することができる。
【００２０】
以上の各実施の形態は、以下のように変形して実施できる。
〔１〕ドライブレコーダ１１の構成は、図２のものだけに限定されない。たとえば、ビデオ映像ＤＢ２０７に記憶したビデオ映像を表示するための表示部を備えてもよい。また、車両２の車速を検出し、車速信号を出力する車速センサを備えていてもよい。
【００２１】
〔２〕車両２に搭載されるカメラを複数のカメラとしたが、これに限定しない。たとえば、オートフォーカス機能を持つカメラ１台としてもよい。すなわち、車両２に搭載されたカメラにより、車両から撮影範囲内に存在する各物体までの距離を検出し、その距離情報をビデオ映像と共に出力してもよい。
【００２２】
〔３〕上記の実施の形態では、交差点にあるランドマークの情報が交差点情報ＤＢ１１０に予め記憶されているものとした。交差点やランドマークなどの増加に対応するため、交差点情報ＤＢ１１０には、ユーザが手動でデータを入力できるようにしてもよい。このとき、車両ビデオＤＢ１０７に記憶されたビデオ映像を表示部１５などに表示し、その表示画面の一部を選択し、ランドマークとして記憶させてもよい。
【００２３】
〔４〕映像解析装置１４は、事故に関係した複数の車両２のドライブレコーダ１１の車両データやビデオ映像データを連携させてアニメーション化処理したり、交差点に設置されたカメラの記録データと連携してアニメーション化処理することができてもよい。このようにすれば、より詳細な事故等の検証を行うことができる。
【００２４】
〔５〕映像解析装置１４は、位置解析部１０４により算出された車両２の位置と走行軌跡のいずれか一方のみを表示してもよい。なお、走行軌跡を表示しない場合は、加速度センサ２０４の出力信号およびジャイロセンサ２０５の出力信号を車両情報として取得しなくてもよい。
【符号の説明】
【００２５】
１１ ドライブレコーダ
１２ カメラ
１４ 映像解析装置
１５ 表示部
１０１ データ取得部
１０２ 交差点特定部
１０３ 交差点画像認識部
１０４ 位置解析部
１０５ 軌跡解析処理部
１０６ 地図合成処理部
１０７ 記憶部
１０８ 車両ビデオデータＤＢ
１０９ 地図ＤＢ
１１０ 交差点情報ＤＢ
２０１ 画像処理部
２０２ 記録データ処理部
２０３ ＧＰＳ受信部
２０４ 加速度センサ
２０５ ジャイロセンサ
２０６ 車両データＤＢ
２０７ ビデオ映像ＤＢ
２０８ 記録媒体
２０９ 通信部
【特許請求の範囲】
【請求項１】
車両に搭載されたドライブレコーダと、映像解析装置とからなる車両挙動記録システムであって、
前記ドライブレコーダは、
前記車両の周囲を所定の撮影範囲について撮影した映像を取得するカメラと、
前記カメラにより取得された映像を記憶する映像記憶手段とを備え、
前記映像解析装置は、
前記ドライブレコーダから前記映像を取得する情報取得手段と、
各交差点に存在するランドマークの位置情報を含む交差点情報を記憶する交差点情報記憶手段と、
前記車両が走行した交差点を特定する交差点特定手段と、
前記映像と前記交差点情報とに基づいて、前記交差点特定手段により特定された交差点における前記車両の位置を算出する位置算出手段と、
前記交差点特定手段により特定された交差点の地図を表示し、該地図上に前記位置算出手段により算出された前記車両の位置を示す地図合成処理手段とを備え、
前記映像は、前記車両から前記撮影範囲内に存在するランドマークまでの距離に関する情報を含み、
前記位置算出手段は、前記映像に含まれる前記ランドマークまでの距離に関する情報と、前記交差点情報に含まれる該ランドマークの位置情報とに基づいて、前記交差点特定手段により特定された交差点における前記車両の位置を算出することを特徴とする車両挙動記録システム。
【請求項２】
請求項１に記載の車両挙動記録システムにおいて、
前記カメラは、前記車両の周囲を互いに異なる複数の撮影位置からそれぞれ撮影することにより、前記車両から前記撮影範囲内に存在するランドマークまでの距離に応じた視差情報を有する複数の映像を取得し、
前記位置算出手段は、前記視差情報に基づいて前記車両から該ランドマークまでの距離を算出し、算出した距離と前記交差点情報に含まれる該ランドマークの位置情報とに基づいて、前記交差点特定手段により特定された交差点における前記車両の位置を算出することを特徴とする車両挙動記録システム。
【請求項３】
請求項１に記載の車両挙動記録システムにおいて、
前記カメラは、前記車両から前記撮影範囲内に存在するランドマークまでの距離を検出する距離検出手段を有し、
前記位置算出手段は、前記距離検出手段により検出された距離と、前記交差点情報に含まれる該ランドマークの位置情報とに基づいて、前記交差点特定手段により特定された交差点における前記車両の位置を算出することを特徴とする車両挙動記録システム。
【請求項４】
請求項１乃至３のいずれか一項に記載の車両挙動記録システムにおいて、
前記ドライブレコーダは、前記車両の挙動に関する車両情報を記憶する車両情報記憶手段をさらに備え、
前記情報取得手段は、前記ドライブレコーダから前記映像と共に前記車両情報を取得することを特徴とする車両挙動記録システム。
【請求項５】
請求項４に記載の車両挙動記録システムにおいて、
前記車両情報記憶手段は、前記車両において受信されたＧＰＳ信号を含む前記車両情報を記憶し、
前記交差点特定手段は、前記車両情報に含まれる前記ＧＰＳ信号に基づいて、前記車両が走行した交差点を特定することを特徴とする車両挙動記録システム。
【請求項６】
請求項４または５に記載の車両挙動記録システムにおいて、
前記車両情報記憶手段は、前記車両の加速度情報および角速度情報を含む前記車両情報を記憶し、
前記映像解析装置は、前記車両情報に含まれる前記加速度情報および前記角速度情報に基づいて、前記交差点特定手段により特定された交差点における前記車両の走行軌跡を算出する走行軌跡算出手段をさらに備え、
前記地図合成処理手段は、前記走行軌跡算出手段により算出された前記車両の走行軌跡を前記地図上にさらに示すことを特徴とする車両挙動記録システム。
【請求項７】
請求項６に記載の車両挙動記録システムにおいて、
前記映像解析装置は、前記地図上に前記車両の走行軌跡をアニメーション表示するための表示領域と、前記アニメーション表示と同期させて前記映像を表示するための表示領域とを含む画面を表示する表示手段をさらに備えることを特徴とする車両挙動記録システム。
【請求項８】
請求項４乃至７のいずれか一項に記載の車両挙動記録システムにおいて、
前記車両情報は、前記カメラによる前記映像の取得間隔に同期して出力されることを特徴とする車両挙動記録システム。
【請求項９】
請求項１乃至８のいずれか一項に記載の車両挙動記録システムにおいて、
前記ドライブレコーダは、前記映像に基づいて前記映像記憶手段による前記映像の記憶を開始するか否かを判定する記憶判定手段をさらに備えることを特徴とする車両挙動記録システム。
【請求項１０】
請求項１乃至９のいずれか一項に記載の車両挙動記録システムにおいて、
前記映像解析装置は、前記映像に基づいて前記車両から前記撮影範囲内に存在するランドマークまでの方向を算出し、算出した方向と、前記位置算出手段により算出された前記車両の位置および前記交差点情報に含まれる該ランドマークの位置情報とに基づいて、前記交差点特定手段により特定された交差点における前記車両の向きを算出する方向算出手段をさらに備えることを特徴とする車両挙動記録システム。
【請求項１】
車両に搭載されたドライブレコーダと、映像解析装置とからなる車両挙動記録システムであって、
前記ドライブレコーダは、
前記車両の周囲を所定の撮影範囲について撮影した映像を取得するカメラと、
前記カメラにより取得された映像を記憶する映像記憶手段とを備え、
前記映像解析装置は、
前記ドライブレコーダから前記映像を取得する情報取得手段と、
各交差点に存在するランドマークの位置情報を含む交差点情報を記憶する交差点情報記憶手段と、
前記車両が走行した交差点を特定する交差点特定手段と、
前記映像と前記交差点情報とに基づいて、前記交差点特定手段により特定された交差点における前記車両の位置を算出する位置算出手段と、
前記交差点特定手段により特定された交差点の地図を表示し、該地図上に前記位置算出手段により算出された前記車両の位置を示す地図合成処理手段とを備え、
前記映像は、前記車両から前記撮影範囲内に存在するランドマークまでの距離に関する情報を含み、
前記位置算出手段は、前記映像に含まれる前記ランドマークまでの距離に関する情報と、前記交差点情報に含まれる該ランドマークの位置情報とに基づいて、前記交差点特定手段により特定された交差点における前記車両の位置を算出することを特徴とする車両挙動記録システム。
【請求項２】
請求項１に記載の車両挙動記録システムにおいて、
前記カメラは、前記車両の周囲を互いに異なる複数の撮影位置からそれぞれ撮影することにより、前記車両から前記撮影範囲内に存在するランドマークまでの距離に応じた視差情報を有する複数の映像を取得し、
前記位置算出手段は、前記視差情報に基づいて前記車両から該ランドマークまでの距離を算出し、算出した距離と前記交差点情報に含まれる該ランドマークの位置情報とに基づいて、前記交差点特定手段により特定された交差点における前記車両の位置を算出することを特徴とする車両挙動記録システム。
【請求項３】
請求項１に記載の車両挙動記録システムにおいて、
前記カメラは、前記車両から前記撮影範囲内に存在するランドマークまでの距離を検出する距離検出手段を有し、
前記位置算出手段は、前記距離検出手段により検出された距離と、前記交差点情報に含まれる該ランドマークの位置情報とに基づいて、前記交差点特定手段により特定された交差点における前記車両の位置を算出することを特徴とする車両挙動記録システム。
【請求項４】
請求項１乃至３のいずれか一項に記載の車両挙動記録システムにおいて、
前記ドライブレコーダは、前記車両の挙動に関する車両情報を記憶する車両情報記憶手段をさらに備え、
前記情報取得手段は、前記ドライブレコーダから前記映像と共に前記車両情報を取得することを特徴とする車両挙動記録システム。
【請求項５】
請求項４に記載の車両挙動記録システムにおいて、
前記車両情報記憶手段は、前記車両において受信されたＧＰＳ信号を含む前記車両情報を記憶し、
前記交差点特定手段は、前記車両情報に含まれる前記ＧＰＳ信号に基づいて、前記車両が走行した交差点を特定することを特徴とする車両挙動記録システム。
【請求項６】
請求項４または５に記載の車両挙動記録システムにおいて、
前記車両情報記憶手段は、前記車両の加速度情報および角速度情報を含む前記車両情報を記憶し、
前記映像解析装置は、前記車両情報に含まれる前記加速度情報および前記角速度情報に基づいて、前記交差点特定手段により特定された交差点における前記車両の走行軌跡を算出する走行軌跡算出手段をさらに備え、
前記地図合成処理手段は、前記走行軌跡算出手段により算出された前記車両の走行軌跡を前記地図上にさらに示すことを特徴とする車両挙動記録システム。
【請求項７】
請求項６に記載の車両挙動記録システムにおいて、
前記映像解析装置は、前記地図上に前記車両の走行軌跡をアニメーション表示するための表示領域と、前記アニメーション表示と同期させて前記映像を表示するための表示領域とを含む画面を表示する表示手段をさらに備えることを特徴とする車両挙動記録システム。
【請求項８】
請求項４乃至７のいずれか一項に記載の車両挙動記録システムにおいて、
前記車両情報は、前記カメラによる前記映像の取得間隔に同期して出力されることを特徴とする車両挙動記録システム。
【請求項９】
請求項１乃至８のいずれか一項に記載の車両挙動記録システムにおいて、
前記ドライブレコーダは、前記映像に基づいて前記映像記憶手段による前記映像の記憶を開始するか否かを判定する記憶判定手段をさらに備えることを特徴とする車両挙動記録システム。
【請求項１０】
請求項１乃至９のいずれか一項に記載の車両挙動記録システムにおいて、
前記映像解析装置は、前記映像に基づいて前記車両から前記撮影範囲内に存在するランドマークまでの方向を算出し、算出した方向と、前記位置算出手段により算出された前記車両の位置および前記交差点情報に含まれる該ランドマークの位置情報とに基づいて、前記交差点特定手段により特定された交差点における前記車両の向きを算出する方向算出手段をさらに備えることを特徴とする車両挙動記録システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１５５５１６（Ｐ２０１２−１５５５１６Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１３８４２（Ｐ２０１１−１３８４２）
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
[ Back to top ]