説明

画像抽出装置

【課題】常時記録された車両の運転動画像データから後退駐車シーン及び後退出庫シーンを自動抽出する。
【解決手段】車両を運転中の画像が時系列で順次記録された動画像データと、動画像データの時系列に対応付けて記録された車両を運転中の運転データとを記憶部12に記憶させておき、駐車シーンを抽出すると共に駐車シーンに対応する出庫シーンを抽出し、駐車シーンが前進駐車されたものか後退駐車されたものかを判定する駐車種別判定手段154と、駐車種別判定手段154において前進駐車と判定されると、対応する出庫シーンを後退出庫シーンとして抽出するシーン抽出手段156とを備える画像抽出装置10とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転時の動画像を記録した動画像情報から運転教育用の動画像を抽出する画像抽出装置に関する。
【背景技術】
【0002】
車両の運転時の動画像データや運転状態を示す運転データを記録するドライブレコーダが使用されている。近年のメモリの記憶容量の増大等に伴って、動画像データや運転データを常時記録するドライブレコーダも実用化されている。
【0003】
ドライブレコーダで常時記録した動画像データから「異常事態時の運転動画像」を抽出する従来技術として、特許文献1および特許文献2に記載の技術がある。特許文献1に記載の技術では、常時記録中に予め設定した異常事態の車両挙動が検出されるとその時点の運転動画像データに標識を付与する。また、特許文献2に記載の技術では、運転動画像データと共に常時記録された車載センサからのデータ(車速、加速度など)について、予め設定した危険条件をもとに検索する。
【0004】
また、特許文献3には、前進駐車又は後退駐車を判定する技術として、駐車支援装置の起動時点での車両のギア(後退ギア(以下、Rギアという)か否か)から前進又は後退を判断し、その結果に応じて駐車操作支援時に表示する車載モニタへのガイド表示画像を前方画像又は後方画像に切り替える技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−066194号公報
【特許文献2】特開2007−233259号公報
【特許文献3】特開2005−001570号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、運転スキルを向上させるための教育または運転スキルの評価において、車両の後退駐車又は後退出庫という後退操作時における動画像データや運転データが用いられる場合がある。
【0007】
常時記録された動画像データや運転データから後退操作時のデータのみを抽出する場合、常時記録された動画像データや運転データはデータ量が膨大であるために、ユーザが後退操作を行っている期間を確認して手動で抽出処理を行うにはユーザの作業負担が大きい。したがって、駐車時に前進駐車を行ったのか後退駐車を行ったのかを判定し、そこから後退駐車又は後退出庫を区別して後退操作期間の動画像データや運転データを自動抽出する技術が望まれている。
【0008】
しかしながら、交通事故などの異常事態時の運転動画像データを抽出する技術では、異常事態とは言えない駐車シーンの動画像を特定して抽出することはできない。
【0009】
また、車両から取得した情報に基づいて「前進駐車」と「後退駐車」を判定する技術では、ギア状態の履歴情報から判定するので、後退駐車であっても駐車直前に車両位置の微調整のために前進ギア(以下、Dギアという)に入れた場合やその逆の場合もあるので正確に「前進駐車」と「後退駐車」を判定できるものではない。
【0010】
本発明は、常時記録された動画像データや運転データから後退駐車時又は後退出庫時のデータを抽出する技術の提供を目的とする。
【課題を解決するための手段】
【0011】
本発明の1つの態様は、車両を運転中の画像が時系列で順次記録された動画像データと、前記動画像データの時系列に対応付けて記録された前記車両を運転中の運転データと、を取得するデータ取得手段と、駐車シーンを抽出すると共に、前記駐車シーンに対応する出庫シーンを抽出し、前記駐車シーンが前進駐車されたものか後退駐車されたものかを判定する駐車種別判定手段と、前記駐車種別判定手段において前進駐車と判定されると、前記対応する出庫シーンを後退出庫シーンとして出力する出力手段と、を備えることを特徴とする画像抽出装置である。
【0012】
ここで、前記出力手段は、前記駐車種別判定手段において後退駐車と判定されると、前記駐車シーンを後退駐車シーンとして出力することが好適である。
【0013】
また、前記運転データは、前記車両のギア位置が前進ギアであるか後退ギアであるかを表すギア情報を含み、前記駐車種別判定手段は、前記駐車シーンの終了画像から前の所定時間に記録された前記運転データのギア情報に占める後退ギアと前進ギアの使用比率において、前進ギアの使用比率が後退ギアの使用比率以上の場合に前進駐車と判定し、前進ギアの使用比率が後退ギアの使用比率より低い場合に後退駐車と判定することが好適である。
【0014】
また、前記運転データは、前記車両の車速と、前記車両の位置を示す情報を含み、前記駐車種別判定手段は、前記車両の駐車操作が終了したときの駐車終了画像に対応する前記車両の位置を基点とする所定の距離範囲に前記車両が進入したときから前記駐車終了画像より前に前記車両の車速が正になったときまでの動画像を前記駐車シーンとして抽出し、前記出庫操作が開始されたときの出庫開始画像より後に前記車両の車速が正になったときから前記距離範囲内を前記車両が離脱したときまでの動画像を前記出庫シーンとして抽出し、前記車両の駐車シーンの長さである駐車時間と、前記車両の出庫シーンの長さである出庫時間と、を比較し、前記駐車時間が前記出庫時間以上である場合に後退駐車と判定し、前記駐車時間が前記出庫時間より短い場合に前進駐車と判定することが好適である。
【0015】
また、前記出力されたシーンに対応する動画像データ又は運転データを用いて、前記出力されたシーン中の運転に対する評価値を求める評価手段を、さらに備え、前記出力手段は、前記出力されたシーンから、前記評価値を用いて運転教育用に適したシーンを選択して出力することが好適である。
【発明の効果】
【0016】
本発明によると、常時記録された車両の運転時の動画像データから後退駐車シーン又は後退出庫シーンを自動抽出する画像抽出装置を提供できる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施形態による装置を含む構成の例を示す図である。
【図2】画像抽出装置の内部構成の概略の例を示すブロック図である。
【図3】車両走行状態情報テーブルの例を示す図である。
【図4】画像抽出装置における処理の手順の例を示すフローチャートである。
【図5】駐車終了時点特定処理の手順の例を示すフローチャートである。
【図6】出庫開始時点特定処理の手順の例を示すフローチャートである。
【図7】エリアを用いた駐車種別判定処理の手順の例を示すフローチャートである。
【図8】エリアを用いた駐車種別判定のための判定テーブルの例を示す図である。
【図9】後退駐車時における車両位置情報とエリアの関係を示す図である。
【図10】前進駐車時における車両位置情報とエリアの関係を示す図である
【図11】駐車種別判定テーブルの例を示す図である。
【図12】シーン抽出テーブルの例を示す図である。
【図13】ギア状態を用いた駐車種別判定処理の手順の例を示すフローチャートである。
【図14】ギア状態を用いた駐車種別判定処理の手順の例を示すフローチャートである。
【図15】ギア状態を用いた駐車種別判定のための判定テーブルの例を示す図である。
【図16】画像抽出装置における処理の手順の例を示すフローチャートである。
【図17】ユーザに呈示する表示画面の例を示す図である。
【図18】画像抽出装置における処理の手順の例を示すフローチャートである。
【図19】シーン評価処理の手順の例を示すフローチャートである。
【図20】評価項目「後方確認」の評価の手順の例を示すフローチャートである。
【図21】評価項目「後方確認」の評価の手順の例を示すフローチャートである。
【図22】評価結果テーブルの例を示す図である。
【図23】シーンおよび評価結果を表示させる表示画面の例を示す図である。
【発明を実施するための形態】
【0018】
図1は、本発明の一実施形態の画像抽出装置の構成の例を示す図である。図1に示す画像抽出装置10が本発明の一実施形態のデータ処理装置として機能する。
【0019】
車両20には、車載センサ22、カメラ24、および常時記録型ドライブレコーダ26が搭載される。
【0020】
車載センサ22は、車両20の走行状態を表す運転データを検出するセンサである。車載センサ22は、例えば、車速を検出する車速センサ、車両20のギア状態を検出するギアセンサ、イグニッションのオン状態またはオフ状態を検出するイグニッションセンサ、およびハザードランプの点灯の有無を検出するハザードランプセンサ、車両20の位置(緯度及び経度)を検出するGPSセンサなどを含んでいてよい。以下の説明では、車載センサ22として、車速センサ、ギアセンサ、イグニッションセンサおよびGPSセンサが車両20に搭載されているものとする。ただし、位置情報を使用しない場合にはGPSセンサは搭載する必要がない。また、イグニッション状態を使用しない場合にはイグニッションセンサは搭載する必要がない。また、ギア状態を使用しない場合にはギアセンサは搭載する必要がないが、ギアセンサで検出したギア状態を用いてシーンの評価を行う場合には搭載される。カメラ24は、車両20の運転時の動画像を撮影する。
【0021】
カメラ24は、車両20の前方の外壁に設けられて車両20の前方を撮影してもよいし、車両20の後方の外壁に設けられて車両20の後方を撮影してもよい。あるいは、車両20の内部に設けられて車両20の内部を撮影するものであってもよい。また、複数のカメラ24を車両20に搭載し、複数の種類の動画像を撮影してもよい。
【0022】
常時記録型ドライブレコーダ26は、車両20の運転中に各車載センサ22が検出した運転データおよび車両20の運転中にカメラ24が撮影した動画像データを記録する。常時記録型ドライブレコーダ26は、さらに、運転データおよび動画像データが取得された時刻も記録する。本実施形態において、常時記録型ドライブレコーダ26に記録された情報(運転データおよび動画像データ)は、記憶媒体30または図示しない通信手段を介して画像抽出装置10により取得される。記憶媒体30は、可搬型の記憶媒体であり、例えば、HDD(Hard Disk Drive)、CD(Compact Disk)、DVD(Digital Versatile Disk)、フラッシュメモリなどの各種の規格のいずれであってもよい。通信手段は、例えばLAN(Local Area Network)やインターネットなどのネットワークであってよい。あるいは、常時記録型ドライブレコーダ26と画像抽出装置10との間の情報の授受を仲介する専用の通信手段を構成して用いてもよい。画像抽出装置10は、常時記録型ドライブレコーダ26に記録された運転データおよび動画像データを取得すると、その動画像データから後退駐車シーンや後退出庫シーンの動画像データを抽出する処理を行う。
【0023】
図2に、画像抽出装置10の内部構成の概略の例を示す。図2の例の画像抽出装置10は、データ取得部11、記憶部12、操作部13、表示部14、および画像抽出部15を備える。
【0024】
データ取得部11は、常時記録型ドライブレコーダ26に記録された運転データおよび動画像データを取得する。データ取得部11は、例えば、常時記録型ドライブレコーダ26に記録された運転データおよび動画像データを記憶媒体30から読み出して記憶部12に記憶させる。あるいは、データ取得部11は、常時記録型ドライブレコーダ26と画像処理装置10とを接続する通信手段を介して運転データおよび動画像データを取得してもよい。データ取得部11は、取得した運転データおよび動画像データを、それぞれの記録時刻に対応づけて時系列順で記憶部12に記憶させる。
【0025】
記憶部12は、データ取得部11が取得した運転データおよび動画像データを記憶する。記憶部12は、さらに、後述の画像抽出部15における処理の結果のデータを記憶する。記憶部12は、コンピュータの半導体メモリやハードディスクなどの記憶装置により実現される。
【0026】
図3に、データ取得部11で取得されて記憶部12に記憶される運転データおよび動画像データの記憶形式の例を示す。図3の例の表は、データ番号、動画番号、日付、時刻、緯度、経度、車速、イグニッション状態、およびギア状態の各項目を含む。図3の例の表の一行の情報は、当該行の日付および時刻により表される時点で記録された動画像データおよび運転データを表す情報である。データ番号は、対応する日付および時刻の時点で記録された運転データを識別するための番号である。データ番号は、時系列順に付与される。動画番号は、対応する日付および時刻の時点で記録された動画像データを識別するための番号である。緯度、経度、車速、イグニッション状態、およびギア状態は、車載センサ22により検出される運転データであり、車両20の走行状態を表す情報である。緯度及び経度は、GPSセンサにより検出された記録された車両20の絶対的位置を示す情報である。車速は、対応する日付および時刻の時点で車速センサにより検出されて記録された車両20の速度である。イグニッション状態は、対応する日付および時刻の時点でイグニッションセンサにより検出されて記録された車両20のイグニッションの状態を表す。本例では、イグニッションがON状態であるかOFF状態であるかを示す。ギア状態は、対応する日付および時刻の時点でギアセンサにより検出されて記録されたギアの状態を表す。本例では、ギア状態として、D(ドライブ;前進状態)、R(リア;後退状態)、およびP(パーキング;駐車状態)のいずれかの状態が記録される。
【0027】
なお、以下の説明では、図3の例のように、運転データおよび動画像データとこれらの記録時刻とを対応付けるデータベースを車両走行状態情報テーブルと呼ぶ。
【0028】
また、常時記録型ドライブレコーダ26における運転データおよび動画像データの記録の形式は、画像抽出装置10の記憶部12における記憶の形式と異なっていてよい。例えば、常時記録型ドライブレコーダ26における運転データおよび動画像データの記録の時間間隔が互いに異なっていてもよい。この例の場合、データ取得部11は、例えば、運転データおよび動画像データのうちの一方のデータの記録時刻と、この記録時刻に最も近い時刻に記録された他方のデータと、を対応づけることで、車両走行状態情報テーブルを生成すればよい。また、例えば、イグニッション状態およびギア状態について、常時記録型ドライブレコーダ26では、所定の時間間隔で記録するのではなく状態に変化があったときのみ記録することもあってよい。この例の場合、データ取得部11は、動画像データに対応づけられた各記録時刻と、その前後のイグニッション状態およびギア状態の変化を表す情報から特定される当該記録時刻におけるイグニッション状態およびギア状態と、を対応づけることで車両走行状態情報テーブルを生成すればよい。
【0029】
図2の説明に戻り、画像抽出部15は、記憶部12中の車両走行状態情報テーブルを用いた処理を行う。画像抽出部15は、駐車時点特定手段150、出庫時点特定手段152、駐車種別判定手段154、シーン抽出手段156、シーン評価手段158および表示制御手段160を備える。
【0030】
駐車時点特定手段150は、記憶部12中の車両走行状態情報テーブルにおける運転データまたは動画像データを参照し、駐車操作の開始時点(駐車開始時点)及び終了時点(駐車終了時点)を特定する。本実施形態では、駐車時点特定手段150は、車両走行状態情報テーブルにおいて駐車終了時点に該当するデータ番号を特定した上で、駐車終了時点に基づいて駐車開始時点に該当するデータ番号を特定する。駐車時点特定手段150は、さらに、特定したデータ番号に対応する動画番号を車両走行状態情報テーブルから取得することもある。
【0031】
出庫時点特定手段152は、駐車時点特定手段150が特定した駐車終了時点を基点として、次に車両20が出庫を始めた時点を求め、その時点を出庫操作の開始時点(出庫開始時点)として特定し、出庫開始時点を基点として出庫操作の終了時点(出庫終了時点)を特定する。本実施形態では、出庫時点特定手段152は、出庫開始時点に該当するデータ番号を特定した上で、出庫開始時点に基づいて出庫終了時点に該当するデータ番号を特定する。出庫時点特定手段152は、さらに、特定したデータ番号に対応する動画番号を車両走行状態情報テーブルから取得することもある。
【0032】
駐車種別判定手段154は、運転データまたは動画像データを参照し、車両を後退させながら駐車する後退駐車がなされたか、車両を前進させながら駐車する前進駐車がなされたかを判定する。
【0033】
シーン抽出手段156は、記憶部12に記憶された動画像データから、駐車種別判定手段154で判定された駐車種別に応じて後退駐車の際の動画像データを後退駐車シーンとして抽出する後退駐車シーン抽出手段、及び、後退出庫の際の動画像データを後退出庫シーンとして抽出する後退出庫シーン抽出手段として機能する。
【0034】
シーン評価手段156は、抽出された後退駐車シーン又は後退出庫シーン、および当該シーンに対応する期間に記録された運転データの少なくとも一方に基づいて、当該期間の車両操作に対する評価値を求める。評価値は、駐車操作における運転スキルの良否を表す値である。評価値としては、運転スキルの水準を表す値を用いればよい。例えば3段階評価や5段階評価などの評価値であってよい。
【0035】
表示制御手段160は、表示部14を制御し、画像抽出部15による処理の結果を表示させる。
【0036】
以上で説明した画像抽出部15は、例えば、コンピュータの中央演算装置(CPU)により実現される。上述の画像抽出部15の各手段の処理の手順を記述したプログラムを記憶部12または他の図示しない記憶装置に記憶させておき、このプログラムをCPUがメモリ(図示しない)に読み出して実行することで、CPUは画像抽出部15として機能する。なお、画像抽出部15の各手段による処理の手順の詳細は後述する。
【0037】
操作部13は、画像抽出装置10に対する各種の指示などの利用者の入力を受け付けて、受け付けた入力情報を画像抽出部15に渡す。操作部13は、キーボードやマウスなどの入力装置により実現される。
【0038】
表示部14は、画像抽出部15の表示制御手段160により制御され、画像抽出部15による処理の結果を表示する。表示部14は、例えば液晶ディスプレイなどの表示装置により実現される。
【0039】
以下、本実施形態における画像抽出装置10の動作を説明する。
【0040】
図4は、画像抽出装置10が行う処理の手順の例を示すフローチャートである。図4を参照し、まず、データ取得部11は、記憶媒体30または図示しない通信手段を介して、常時記録型ドライブレコーダ26に記録された運転データおよび動画像データを読み込む(ステップS1)。
【0041】
次に、データ取得部11は、読み込んだ運転データおよび動画像データを、それぞれの記録時刻に対応づけて記憶部12に記憶させる(ステップS2)。このとき、データ取得部11は、各記録時刻の運転データおよび動画像データの組に対し、データ番号を付与する。上述の図3の例の車両走行状態情報テーブルは、ステップS2でデータ取得部11により生成されて記憶部12に記憶される。
【0042】
画像抽出部15の駐車時点特定手段150は、ステップS2で記憶部12に記憶させられた車両走行状態情報テーブルを参照し、駐車終了時点を特定する(ステップS3)。図5に、ステップS5の駐車終了時点特定処理の詳細手順の例を示す。図4のステップS3の処理が開始されると、駐車時点特定手段150は、図5の例の手順の処理を開始する。
【0043】
図5を参照し、駐車時点特定手段150は、車両走行状態情報テーブルの全データ番号について処理済となるまで、ステップS301〜S306を含むループ処理を行う。
【0044】
まず、車両走行状態情報テーブルにおいて現在の処理対象のデータ番号に対応づけられたイグニッション状態がOFFであるか否かを判定する(ステップS301)。
【0045】
イグニッション状態がOFFであれば(ステップS301でYes)、現在の処理対象のデータ番号を一時的に記憶する(ステップS302)。そして、現在の処理対象のデータ番号の次のデータ番号を新たな処理対象として、そのデータ番号のイグニッション状態を判定し(ステップS303)、イグニッション状態がONであるデータ番号が現れるまで(ステップS303でNo判定されるまで)イグニッション状態の判定を繰り返す。
【0046】
ステップS303でNo判定されると、駐車時点特定手段150は、その時点でのデータ番号(イグニッション状態がONであるデータ番号)に対応する日付および時刻と、ステップS302で一時的に記憶したデータ番号に対応する日付および時刻と、の間の時間間隔を算出する。そして、この時間間隔が所定時間(駐車中と考えられる時間、例えば4分間とすればよい)以上であるかを判定する(ステップS304)。
【0047】
所定時間に満たない場合(ステップS304でNo)、ステップS302で一時的に記憶したデータ番号をリセットし、現在の処理対象のデータ番号の次のデータ番号を新たな処理対象としてステップS301以下の処理を行う。
【0048】
算出した時間間隔が所定時間以上である場合(ステップS304でYes)、ステップS304で一時的に記憶したデータ番号を駐車終了時点として特定する。駐車終了時点を特定すると、駐車時点特定手段150は、特定した駐車終了時点に対応する駐車操作の識別情報である駐車IDを生成し、生成した駐車IDと特定したデータ番号とを対応づけて駐車種別判定テーブルとして記憶部12に記憶させる(ステップS306)。このとき、特定したデータ番号に対応する動画番号や運転データを車両走行状態情報テーブルから取得し、駐車IDにさらに対応づけて記憶部12に記憶させてもよい。
【0049】
ステップS306の後、現在の処理対象のデータ番号の次のデータ番号を新たな処理対象として、ステップS301の処理を行う。ステップS306が終了した時点で、現在の処理対象のデータ番号の次のデータ番号が車両走行状態情報テーブル中に存在しない場合、図5の例の駐車終了時点特定処理は終了する。
【0050】
図5の例の手順によると、車両走行状態情報テーブルにおいて、イグニッション状態がON状態からOFF状態に切り替わった後、OFF状態である時間が所定時間以上である場合に、上記のイグニッション状態がON状態からOFF状態に切り替わった時点のデータ番号が駐車終了時点として特定される。
【0051】
しかし、これに限定されるものではなく、車速が0となった時点やギア状態がPギアとなった時点で同様の判定を行ってもよい。車速を用いる場合、例えば、図5のステップS301およびステップS303において、イグニッション状態がOFF状態であるか否かを判定する代わりに、車速が0km/hであるか否かを判定し、駐車終了時点を特定すればよい。ギア状態を用いる場合の例では、図5のステップS301およびステップS303において、ギア状態がP(パーキング)であるか否かを判定し、駐車終了時点を特定すればよい。さらに他の例では、運転データを用いずに、動画像データを用いて駐車終了時点を特定してもよい。動画像データを用いる場合、例えば、全データ番号の動画像データに対する画像解析処理により、車両が一定時間以上停止していると判定されたときに、その停止期間の開始時点を特定し、その時点を駐車終了時点として特定すればよい。
【0052】
再び図4を参照し、駐車終了時点特定処理(ステップS3)の後、出庫時点特定手段152は、車両走行状態情報テーブルを参照し、ステップS3で特定された駐車終了時点のそれぞれに対応する出庫開始時点を特定する(ステップS4)。図6に、出庫開始時点特定処理の詳細手順の例を示す。図4のステップS4の処理が開始されると、出庫時点特定手段152は、図6の例の手順の処理を開始する。
【0053】
図6を参照し、出庫時点特定手段152は、駐車時点特定手段150により特定された記憶部12に記憶された駐車終了時点のそれぞれに対し、ステップS401〜S404の処理を行う。
【0054】
出庫時点特定手段152は、まず、車両走行状態情報テーブルを参照して、現在の処理対象の駐車終了時点のデータ番号に対応付けられた運転データを着目データとする(ステップS401)。次に、車両走行状態情報テーブルを参照して、イグニッション状態がON状態であるか否かを判定し、ON状態であればそのデータ番号(イグニッション状態がONであるデータ番号)を出庫開始時点として特定し(ステップS404)、OFF状態であれば現在のデータ番号の1つ後のデータ番号に対応付けられた運転データを新たな着目データとし(ステップS402)、イグニッション状態の判定を繰り返す(ステップS403)。出庫開始時点を特定すると、出庫時点特定手段152は、特定した出庫開始時点に対応するデータ番号を処理対象の駐車終了時点に対する駐車IDに対応付けて記憶部12の駐車種別判定テーブルに追加登録する。このとき、出庫開始時点として特定したデータ番号に対応付けられている動画番号や運転データを車両走行状態情報テーブルから特定し、駐車IDと対応付けて記憶部12の駐車種別判定テーブルに記憶させてもよい。
【0055】
図6の例の手順によると、車両走行状態情報テーブルにおいて、イグニッション状態がOFF状態からON状態に切り替わった時点のデータ番号が出庫開始時点として特定される。
【0056】
しかし、これに限定されるものではなく、車速が0以外となった時点やギア状態がPギア以外のDギアやRギアとなった時点で同様の判定を行ってもよい。また、車両20の位置情報が変化した時点で同様の判定を行ってもよい。車速を用いる場合、例えば、図6のステップS403において、イグニッション状態がOFF状態であるか否かを判定する代わりに、車速が0km/hであるか否かを判定し、車速が0km/h以外となった時点のデータ番号を出庫開始時点とすればよい。ギア状態を用いる場合の例では、図6のステップS403において、ギア状態がP(パーキング)であるか否かを判定し、ギア状態がP以外となった時点のデータ番号を出庫開始時点とすればよい。さらに他の例では、運転データを用いずに、動画像データを用いて出庫開始時点を特定してもよい。動画像データを用いる場合、例えば、全データ番号の動画像データに対する画像解析処理により、車両が駐車された後、移動した最初の時点を特定し、その時点を出庫開始時点として特定すればよい。
【0057】
出庫開始時点特定処理(ステップS4)の後、駐車種別判定手段154は、車両走行状態情報テーブルを参照し、駐車シーン及び出庫シーンを抽出すると共に、駐車が「前進駐車」によるものか、「後退駐車」によるものかを判定する処理を行う(ステップS5)。駐車種別判定手段154は、駐車シーン抽出手段及び出庫シーン抽出手段を兼ねる。図7に、駐車種別判定処理の詳細手順の例を示す。図4のステップS5の処理が開始されると、駐車種別判定手段154は、図7の例の手順の処理を開始する。
【0058】
駐車種別判定手段154は、駐車種別判定テーブルを参照して、処理対象とする駐車終了時点のデータ番号を記憶部12から取得する(ステップS501)。次に、車両走行状態情報テーブルを参照して、処理対象とする駐車終了時点のデータ番号の1つ前のデータ番号に対応づけられた車速を取得し、取得した車速が0km/hであるか否かを判定する(ステップS503)。車速が0km/hでなければ(ステップS503のNo判定)、着目するデータ番号を車両走行状態情報テーブルの1つ前のデータ番号として(ステップS502)、駐車終了時点以前で最初に現れる、車速が0km/hでないデータ番号が特定されるまで(ステップS503でYes判定されるまで)、ステップS502及びS503を含むループ処理を繰り返す。この処理は、駐車操作が完了した後のアイドリング状態を駐車操作から除外するために行われる。車両走行状態情報テーブルを参照し、車速が0km/h以外となった時点を車両停止時点とし、その時点のデータ番号を処理対象の駐車終了時点に対する駐車IDに対応付けて記憶部12の駐車種別判定テーブルに追加登録する。また、車両停止時点のデータ番号に対応付けられている車両位置(緯度及び経度)及びそのデータの取得時刻を車両停止時刻(T_stop)として抽出して判定テーブルとして記憶部12に記憶する(ステップS504)。
【0059】
次に、現在処理対象となっている駐車終了時点の車両位置を基点として所定の範囲のエリアを設定する(ステップS505)。例えば、エリアは、駐車終了時点のデータ番号に対応付けられている位置情報(緯度及び経度)を中心とする半径Rの円として設定する。具体的には、半径Rは20m等とする。
【0060】
そして、車両停止時点から車両走行状態情報テーブルを過去に遡り、車両停止時点のデータ番号の1つ前のデータ番号に対応づけられた車両20の位置がエリア外か否かを判定する(ステップS507)。車両20の位置がエリア外でなければ(ステップS507のNo判定)、着目するデータ番号を車両走行状態情報テーブルの1つ前のデータ番号として(ステップS506)、車両停止時点以前で最初に現れる、車両20の位置がエリア外となるデータ番号が特定されるまで(ステップS507でYes判定されるまで)、ステップS506及びS507を含むループ処理を繰り返す。ステップS507でYes判定されると、その時点を駐車開始時点とし、その時点のデータ番号を処理対象の駐車開始時点に対する駐車IDに対応付けて記憶部12の駐車種別判定テーブルに追加登録する。また、着目しているデータ番号に対応付けられているデータ取得時刻を駐車開始時刻(T_in)として抽出して記憶部12の判定テーブルに追加登録する(ステップS508)。そして、車両停止時刻(T_stop)と駐車開始時刻(T_in)との差を駐車操作時間として算出して記憶部12の判定テーブルに追加登録する(ステップS509)。
【0061】
続いて、駐車種別判定手段154は、出庫操作時間の算出処理に移る。駐車種別判定手段154は、駐車種別判定テーブルを参照して、現在処理対象である駐車終了時点の直後の出庫開始時点のデータ番号を記憶部12から取得する(ステップS510)。次に、車両走行状態情報テーブルを順に参照して、処理対象とする出庫開始時点のデータ番号の1つ後のデータ番号に対応づけられた車速を取得し、取得した車速が0km/hであるか否かを判定する(ステップS512)。車速が0km/hでなければ(ステップS512のNo判定)、着目するデータ番号を車両走行状態情報テーブルの1つ後のデータ番号として(ステップS511)、出庫開始時点以後で最初に現れる、車速が0km/hでないデータ番号が特定されるまで(ステップS512でYes判定されるまで)、ステップS511及びS512を含むループ処理を繰り返す。この処理は、出庫操作が開始した後のアイドリング状態を出庫操作から除外するために行われる。車両走行状態情報テーブルを参照し、車速が0km/h以外となった時点を車両発進時点とし、その時点のデータ番号を処理対象の出庫開始時点に対する駐車IDに対応付けて記憶部12の駐車種別判定テーブルに追加登録する。また、その時点のデータ番号に対応付けられているデータ取得時刻を車両発進時刻(T_start)として抽出し、その値を記憶部12の判定テーブルに追加登録する(ステップS513)。
【0062】
そして、車両発進時点(T_start)以後の車両走行状態情報テーブルを参照し、車両停止時点の車両20の位置について設定されたエリア外か否かを判定する(ステップS514)。車両20の位置がエリア外でなければ(ステップS514のNo判定)、着目するデータ番号を車両走行状態情報テーブルの1つ後のデータ番号として(ステップS515)、車両発進時点(T_start)以後で最初に現れる、車両20の位置がエリア外となるデータ番号が特定されるまで(ステップS514でYes判定されるまで)、ステップS514及びS515を含むループ処理を繰り返す。ステップS514でYes判定されると、その時点を出庫終了時点とする。さらに、着目しているデータ番号に対応付けられているデータ取得時刻を出庫終了時刻(T_out)として抽出して記憶部12の判定テーブルに追加登録する(ステップS516)。そして、出庫終了時刻(T_out)と車両発進時刻(T_start)との差を出庫操作時間として算出して記憶部12の判定テーブルに追加登録する(ステップS517)。
【0063】
ここまでの処理によって、図8に示すように、処理対象の駐車処理時点毎に判定テーブルが記憶部12に登録されることになる。図8では、駐車IDが10〜12で表される駐車処理時点に対する、駐車開始時刻(T_in)、車両停止時刻(T_stop)、車両発進時刻(T_start)、出庫終了時刻(T_out)、車両停止時刻(T_stop)と駐車開始時刻(T_in)との差である駐車操作時間、及び出庫終了時刻(T_out)と車両発進時刻(T_start)との差である出庫操作時間が登録されている判定テーブルの例を示している。
【0064】
次に、車両停止時点(T_stop)と駐車開始時点(T_in)との差と、出庫終了時点(T_out)と車両発進時点(T_start)との差とを比較し(ステップS519)、前者が後者以上であれば「後退駐車」と判定して(ステップS520)、前者が後者未満であれば「前進駐車」と判定し(ステップS521)、それぞれ処理対象の駐車開始時点に対する駐車IDに対応付けて記憶部12の駐車種別判定テーブルに追加登録する。
【0065】
ステップS519〜S520の処理について図9及び図10を参照して説明する。図9は、後退駐車における車両20の位置情報とエリアとの関係を示し、図10は、前進駐車によける車両20の位置情報とエリアとの関係を示す。図9に示すように、車両20を後退させつつ駐車する後退駐車時には、車両停止時刻の車両20の位置を基点に設定されたエリアに車両20が進入してから車両20が停止するまでに車両20の方向の切り返し等があり時間が掛る。後退駐車後に車両20を出庫させる時には、車両20の方向の切り返しは不要であり、あまり時間が掛らない。したがって、車両停止時刻(T_stop)と駐車開始時刻(T_in)との差である駐車操作時間が出庫終了時刻(T_out)と車両発進時刻(T_start)との差である出庫操作時間以上であれば「後退駐車」と判定できる。一方、図10に示すように、車両20を前進させつつ駐車する前進駐車時には、車両停止時刻の車両20の位置を基点に設定されたエリアに車両20が進入してから車両20が停止するまでに車両20の方向の切り返し等が不要であり、あまり時間が掛らない。前進駐車後に車両20を出庫させる時には、車両20の方向の切り返し等が必要となり時間が掛る。したがって、車両停止時刻(T_stop)と駐車開始時刻(T_in)との差である駐車操作時間が出庫終了時刻(T_out)と車両発進時刻(T_start)との差である出庫操作時間未満であれば「前進駐車」と判定できる。
【0066】
ステップS501〜S521の処理を、ステップS3で特定された駐車終了時点毎に行う。そして、ステップS3で特定された総ての駐車終了時点について処理が終わると、図4のフローチャートにおけるステップS6の処理に移る。図4のステップS6の処理が開始されると駐車時点特定手段150及び出庫時点特定手段152は、それぞれ駐車開始時点と出庫終了時点を特定する処理を開始する。
【0067】
駐車時点特定手段150は、例えば、上記ステップS507でYes判定された時点を駐車開始時点と特定し、その時点のデータ番号を処理対象の駐車終了時点に対する駐車IDに対応付けて記憶部12の駐車種別判定テーブルに追加登録する。また、駐車種別判定テーブルに登録されている車両停止時点のデータ番号から取得時刻が所定時間前(例えば、10秒前)のデータ番号を駐車開始時点として特定し、その時点のデータ番号を処理対象の駐車終了時点に対する駐車IDに対応付けて記憶部12の駐車種別判定テーブルに追加登録してもよい。ここで、駐車終了時点のデータ番号を基点としてもよい。
【0068】
また、出庫時点特定手段152は、上記ステップS514でYes判定された時点を出庫終了時点と特定し、その時点のデータ番号を処理対象の駐車終了時点に対する駐車IDに対応付けて記憶部12の駐車種別判定テーブルに追加登録する。また、駐車種別判定テーブルに登録されている車両発進時点のデータ番号から取得時刻が所定時間後(例えば、10秒後)のデータ番号を出庫終了時点として特定し、その時点のデータ番号を処理対象の駐車終了時点に対する駐車IDに対応付けて記憶部12の駐車種別判定テーブルに追加登録してもよい。ここで、出庫開始時点のデータ番号を基点としてもよい。
【0069】
ここまでの処理によって、図11に示すように、処理対象の駐車処理時点毎に駐車種別判定テーブルが作成される。図11では、駐車IDが10〜12で表される駐車終了時点に対して駐車終了時点データ番号、駐車開始時点データ番号、車両停止時点データ番号、出庫開始時点データ番号、出庫終了時点データ番号及び駐車種別が登録された駐車種別判定テーブルの例を示している。
【0070】
次に、図4のフローチャートにおけるステップS7の処理が行われる。ステップS7では、シーン抽出手段156は、駐車種別に基づいて「後退駐車」又は「後退出庫」における動画像データを後退駐車シーン又は後退出庫シーンとして抽出する。
【0071】
シーン抽出手段156は、駐車種別判定テーブルを参照し、各駐車IDで特定される駐車が「前進駐車」であるか「後退駐車」であるかを調べる。「前進駐車」である場合、車両20はその後に後退出庫されたものとみなし、駐車種別の判定対象である駐車IDに対応付けられている出庫開始時点データ番号及び出庫終了時点データ番号を駐車種別判定テーブルから読み出し、駐車ID及び駐車種別に対応付けて記憶部12にシーン抽出テーブルとして登録する。また、車両走行状態情報テーブルを参照し、読み出した出庫開始時点データ番号から出庫終了時点データ番号までの各データ番号に対応付けられている動画像データを「後退出庫シーン」として抽出し、駐車IDに対応付けて記憶部12にシーン抽出テーブルとして登録する。なお、車両発進時点から出庫終了時点の動画像でもよい。一方、「後退駐車」である場合、駐車種別の判定対象である駐車IDに対応付けられている駐車開始時点データ番号及び駐車終了時点データ番号を駐車種別判定テーブルから読み出し、駐車ID及び駐車種別に対応付けて記憶部12にシーン抽出テーブルとして登録する。また、車両走行状態情報テーブルを参照し、読み出した駐車開始時点データ番号から駐車終了時点データ番号までの各データ番号に対応付けられている動画像データを「後退駐車シーン」として抽出し、駐車IDに対応付けて記憶部12にシーン抽出テーブルとして登録する。なお、駐車開始時点から車両停止時点までの動画像でもよい。
【0072】
この処理によって、図12に示すように、駐車ID、シーンの開始データ番号、シーンの終了データ番号、後退出庫シーン又は後退駐車シーンのいずれかの動画像データ及び駐車種別が登録されたシーン抽出テーブルが記憶部12に登録される。図12では、駐車IDが10〜12についてシーン抽出テーブルを登録した例を示している。
【0073】
また、ギア状態を用いてステップS5の駐車種別判定処理を行ってもよい。この場合、図4のステップS5の処理が開始されると、駐車種別判定手段154は、図13及び図14の例の手順の処理を開始する。
【0074】
駐車種別判定手段154は、ステップS531〜S534の処理で車両停止時点の特定を行う。これらの処理は上記ステップS501〜504の処理と同様であるので説明を省略する。次に、車両走行状態情報テーブルを参照し、特定された車両停止時点のギア状態(駐車操作が完了して車両の動きが止まった時点のギア状態)を抽出し、ギア状態がDギアかRギアかを判定する(ステップS535)。ギア状態がRギアであればステップS536へ処理を移行させ、DギアであればステップS548に処理を移行させる。
【0075】
次に、Rギアであった場合、そのRギア操作が駐車枠に車両20を入れるために行ったものか、前進駐車で駐車枠に入れた後に車両20の位置を微調整するために行ったものかを判定する。後退カウンタ及び前進カウンタを0に初期化した後(ステップS536)、車両走行状態情報テーブルを参照し、上記処理で特定された車両停止時点から過去に遡りながら(ステップS538)、ギア情報がRギアかつ車速が0km/h以外であるかを判定し(ステップS539)、ギア情報がRギアかつ車速が0km/h以外であれば(ステップS539でYes判定)、車両停止時点から所定の時間前(例えば、3分前)のデータになるまで判定を繰り返し(ステップS540)、繰り返しの中でギア情報がRギアかつ車速が0km/h以外となった回数を後退カウンタでカウントアップする(ステップS537)。
【0076】
所定の時間になる前にギア情報がRギア以外又は車速が0になった場合(ステップS539でNo判定)、車両走行状態情報テーブルをさらに過去に遡りながら(ステップS541)、ギア情報がDギアかつ車速が0km/h以外であるかを判定し(ステップS542)、ギア情報がDギアかつ車速が0km/h以外でなければ(ステップS542でNo判定)、車両停止時点から所定の時間前(例えば、3分前)のデータになるまで判定を繰り返す(ステップS543)。そして、所定の時間になる前にDギアかつ車速が0km/h以外となった場合(ステップS542でYes判定)、前進カウンタを+1だけカウントアップした後(ステップS544)、車両走行状態情報テーブルをさらに過去に遡りながら(ステップS545)、ギア情報がDギアかつ車速が0km/h以外であるかを判定し(ステップS546)、ギア情報がDギアかつ車速が0km/h以外であれば(ステップS546でYes判定)、車両停止時点から所定の時間前(例えば、3分前)のデータになるまで判定を繰り返し(ステップS547)、繰り返しの中でギア情報がDギアかつ車速が0km/h以外となった回数を前進カウンタでカウントアップする(ステップS545)。そして、所定の時間になる前にギア情報がDギア以外又は車速が0になった場合(ステップS546でNo判定)にステップS560の処理に移行する。
【0077】
上記ステップS536〜S547までの処理において、途中で車両停止時点から所定の時間前(例えば、3分前)のデータに到達した場合(ステップS540,S543,S547においてYes判定)、直ちにステップS560の処理に移行する。
【0078】
一方、ステップS535の判定がDギアであった場合、そのDギア操作が駐車枠に車両20を入れるために行ったものか、後退駐車で駐車枠に入れた後に車両20の位置を微調整するために行ったものかを判定する。後退カウンタ及び前進カウンタを0に初期化した後(ステップS548)、車両走行状態情報テーブルを参照し、上記処理で特定された車両停止時点から過去に遡りながら(ステップS550)、ギア情報がDギアかつ車速が0km/h以外であるかを判定し(ステップS551)、ギア情報がDギアかつ車速が0km/h以外であれば(ステップS551でYes判定)、車両停止時点から所定の時間前(例えば、3分前)のデータになるまで判定を繰り返し(ステップS552)、繰り返しの中でギア情報がDギアかつ車速が0km/h以外となった回数を前進カウンタでカウントアップする(ステップS549)。
【0079】
所定の時間になる前にギア情報がDギア以外又は車速が0になった場合(ステップS551でNo判定)、車両走行状態情報テーブルをさらに過去に遡りながら(ステップS553)、ギア情報がRギアかつ車速が0km/h以外であるかを判定し(ステップS554)、ギア情報がRギアかつ車速が0km/h以外でなければ(ステップS554でNo判定)、車両停止時点から所定の時間前(例えば、3分前)のデータになるまで判定を繰り返す(ステップS555)。そして、所定の時間になる前にRギアかつ車速が0km/h以外となった場合(ステップS554でYes判定)、後退カウンタを+1だけカウントアップした後(ステップS556)、車両走行状態情報テーブルをさらに過去に遡りながら(ステップS557)、ギア情報がRギアかつ車速が0km/h以外であるかを判定し(ステップS558)、ギア情報がRギアかつ車速が0km/h以外であれば(ステップS558でYes判定)、車両停止時点から所定の時間前(例えば、3分前)のデータになるまで判定を繰り返し(ステップS559)、繰り返しの中でギア情報がRギアかつ車速が0km/h以外となった回数を後退カウンタでカウントアップする(ステップS556)。そして、所定の時間になる前にギア情報がRギア以外又は車速が0になった場合(ステップS558でNo判定)にステップS560の処理に移行する。
【0080】
上記ステップS548〜S559までの処理において、途中で車両停止時点から所定の時間前(例えば、3分前)のデータに到達した場合(ステップS552,S555,S559においてYes判定)、直ちにステップS560の処理に移行する。
【0081】
このように、車両停止時点でRギアであった場合には、車両停止時点から過去に遡りRギア状態が継続されたデータ取得回数と、DギアからRギアに変更される前にDギア状態が継続されたデータ取得回数と、をそれぞれ後退カウンタ及び前進カウンタでカウントする。また、車両停止時点でDギアであった場合には、車両停止時点から過去に遡りDギア状態が継続されたデータ取得回数と、RギアからDギアに変更される前にRギア状態が継続されたデータ取得回数と、をそれぞれ前進カウンタ及び後退カウンタでカウントする。前進カウンタ及び後退カウンタの値は、図15に示すように、駐車IDと対応付けて記憶部12に判定テーブルとして記憶される。
【0082】
そして、後退カウンタと前進カウンタとのカウント値を比較し(ステップS560)、後退カウンタが前進カウンタ以上である場合には「後退駐車」と判定し(ステップS561)、後退カウンタが前進カウンタ未満である場合には「前進駐車」と判定する(ステップS562)。判定結果は、処理対象の駐車開始時点に対する駐車IDに対応付けて記憶部12の駐車種別判定テーブルに追加登録する。
【0083】
ステップS531〜S562の処理を、ステップS3で特定された駐車終了時点毎に行う。そして、ステップS3で特定された総ての駐車終了時点について処理が終わると、図4のフローチャートにおけるステップS6の処理に移る。以降の処理は、同様であるので説明を省略する。
【0084】
なお、駐車種別の判定処理は、運転データを用いずに、動画像データを用いて行ってもよい。動画像データを用いる場合、例えば、全データ番号の動画像データに対する画像解析処理により、車両20の駐車操作の間の画像を解析し、車両20が後退している時間と前進している時間とを抽出し、それらの関係から「後退駐車」か「前進駐車」かを判定すればよい。
【0085】
また、図16のフローチャートに示すように、図4のフローチャートにおけるステップS7の後に「後退駐車シーン」又は「後退出庫シーン」の表示処理を付加してもよい。
【0086】
表示制御手段160は、シーン抽出テーブルに登録されている「後退駐車シーン」及び「後退出庫シーン」の中から表示対象とするシーンの選択をユーザから受け付ける(ステップS8)。ユーザは、例えば、操作部13を用いて、シーン抽出テーブルに登録されている「後退駐車シーン」及び「後退出庫シーン」の中から表示対象とするシーンに対応付けられている駐車IDを選択して入力する。表示制御手段160は、ユーザからの選択を受け付けると、シーン抽出テーブルから選択された駐車IDに対応付けて登録されている「後退駐車シーン」又は「後退出庫シーン」を記憶部12から読み出し、読み出したシーンを表示部14に表示させる(ステップS9)。
【0087】
図17は、このようにして選択されたシーンを表示部14に表示させた例を示す。図17では、選択された「後退出庫シーン」及び「後退駐車シーン」をそれぞれ1つずつ表示させた例を示している。
【0088】
なお、上記ステップS8の選択処理を省略し、シーン抽出テーブルに登録されているシーンを「後退駐車シーン」又は「後退出庫シーン」として区別できるように表示部14に表示してもよい。また、シーン抽出テーブルに登録されているシーンを表示部14に一覧表示させ、操作部13によるユーザの選択操作に応じて、選択されたシーンを「後退駐車シーン」又は「後退出庫シーン」として区別できるように表示部14に表示してもよい。
【0089】
また、図18のフローチャートに示すように、図4のフローチャートにおけるステップS7の後に車両20の操作の評価処理及びシーンの表示処理を追加してもよい。
【0090】
車両20の操作の評価処理は、ステップS7で抽出された「後退出庫シーン」及び「後退駐車シーン」に対応する車両20の操作について行われる。
【0091】
ステップS7の後、シーン評価手段158は、各駐車IDに対応する駐車操作を評価する(ステップS8)。図19に、ステップS8の評価処理の詳細手順の例を示す。ステップS8が開始されると、シーン評価手段158は、図19の例の手順の処理を開始する。
【0092】
シーン評価手段158は、以下の処理を記憶部12に記憶されているシーン抽出テーブルの駐車IDで示される駐車終了時点毎に行う。シーン評価手段158は、シーン抽出テーブルを参照し、処理対象とする操作の駐車IDを選択する。そして、選択した駐車IDに対応付けられている駐車種別が前進駐車か後退駐車かを判定する(ステップS801)。前進駐車であれば(ステップS801でYes判定)、選択した駐車IDに対応付けられている出庫開始時点データ番号及び出庫終了時点データ番号を読み出し(ステップS802)、出庫操作の評価処理に移行する(ステップS803)。一方、後退駐車であれば(ステップS801でNo判定)、選択した駐車IDに対応付けられている駐車開始時点データ番号及び駐車終了時点データ番号を読み出し(ステップS812)、駐車操作の評価処理に移行する(ステップS813)。
【0093】
ステップS803に移行すると、シーン評価手段158は、図20のフローチャートに沿って出庫操作の評価処理を開始する。図20は、評価項目「後方確認」についての評価値を求める処理の手順の例を示すフローチャートである。
【0094】
シーン評価手段158は、シーン抽出テーブルを参照し、現在の処理対象の駐車IDに対応づけられた出庫開始時点データ番号を着目番号とする(ステップS8036)。次に、車両走行状態情報テーブルを参照し、着目番号に対応するギア状態がR以外であり(ステップS8037でYes)、かつ、着目番号の次のデータ番号に対応するギア状態がRである(ステップS8038でYes)場合、着目番号の前後で車速が0km/hである期間を算出し、算出した期間を着目番号に対応づけて記憶部12に記憶させる(ステップS8039)。この期間の算出は、例えば、車両走行状態情報テーブルにおいて、着目番号の前後で連続して車速が0km/hであるデータ番号を特定し、特定したデータ番号のうち最も早い記録時刻(日付および時刻)から最も遅い記録時刻までの期間を求めることで行われる。なお、ステップS8039が実行されるのは、着目番号と着目番号の次のデータ番号との間で、ギア状態がR以外からRに変化している場合である。よって、ステップS8039で算出される期間は、ギア状態がR以外からRに変化する前後において車両が停止していた(車速0km/h)期間であるといえる。
【0095】
一方、着目番号に対応するギア状態がRである場合(ステップS8037でNo)、または、着目番号の次のデータ番号のギア状態がRでない場合(ステップS8038でNo)、ステップS8039は省略される。
【0096】
ステップS8039の後、または、ステップS8037もしくはステップS8038でNo判定された後、着目番号が現在の処理対象の駐車IDに対応づけられた終了データ番号でなければ(ステップS8040でNo)、着目番号の次のデータ番号を新たな着目番号とし(ステップS8045)、ステップS8037以下の処理を繰り返す。
【0097】
着目番号が終了データ番号であれば(ステップS8040でYes)、シーン評価手段158は、ステップS8037〜S8040を含むループ処理の間にステップS8039で記憶部12に記憶された期間の各値と、所定値T_waitと、を比較する(ステップS8041)。所定値T_waitは、車両を後退させる操作の前に運転者が後方確認を行うために必要と考えられる時間(例えば3秒間)に基づいて予め設定されて記憶部12に記憶される。
【0098】
記憶部12に記憶された期間のすべてが所定値T_wait未満の場合、後方確認の評価値を「×」として現在の処理対象の駐車ID及び駐車種別に対応づけて記憶部12の評価結果テーブルに登録する(ステップS8042)。この場合、ギア状態がR以外からRに変化する前後で、常に、車両の停止時間が所定値T_wait未満であることから、車両を後退させる操作において運転者が後方確認を全く行わなかったと推測される。よって、この場合の評価値を最低値に設定する。
【0099】
記憶部12に記憶された期間のうち、所定値T_wait以上の期間と所定値T_wait未満の期間とが混在している場合、後方確認の評価値を「△」として当該駐車ID及び駐車種別に対応づけて評価結果テーブルに登録する(ステップS8043)。この場合、運転者は、車両を後退させる操作において、後方確認を行ったり行わなかったりしたと推測される。よって、この場合の評価値を中間値に設定する。
【0100】
記憶部12に記憶された期間の全てが所定値T_wait以上である場合、または、ステップS8039が実行されておらず記憶部12に期間が記憶されていない場合、後方確認の評価値を「○」として当該駐車ID及び駐車種別に対応づけて評価結果テーブルに登録する(ステップS8044)。期間の全てが所定値T_wait以上であれば、車両を後退させる操作において運転者が常に後方確認を行っていたと推測される。また、ステップS8039が実行されておらず記憶部12に期間が記憶されていない場合は、出庫操作においてギア状態がR以外からRに変化することがなかったということである(ステップS8037,S8038の判定処理参照)。この場合、出庫操作において車両を後退させる必要がなかった(前進駐車が行われた、その後、前進させる操作のみで出庫した)と推測される。以上より、ステップS8044では、後方確認の評価値は最高値に設定される。
【0101】
ステップS8044の後、処理は図19のメインルーチンに戻り、未処理の駐車IDがあれば、未処理の駐車IDに対してステップS801以下の処理を行い、未処理の駐車IDがなければ、後方確認についての評価処理を終了する。
【0102】
一方、シーン評価手段158は、ステップS813に移行すると、図21のフローチャートに沿って駐車操作の評価処理を開始する。図21は、評価項目「後方確認」についての評価値を求める処理の手順の例を示すフローチャートである。
【0103】
シーン評価手段158は、シーン抽出テーブルを参照し、現在の処理対象の駐車IDに対応づけられた駐車開始時点データ番号を着目番号とする(ステップS8136)。次に、車両走行状態情報テーブルを参照し、着目番号に対応するギア状態がR以外であり(ステップS8137でYes)、かつ、着目番号の次のデータ番号に対応するギア状態がRである(ステップS8138でYes)場合、着目番号の前後で車速が0km/hである期間を算出し、算出した期間を着目番号に対応づけて記憶部12に記憶させる(ステップS8139)。この期間の算出は、例えば、車両走行状態情報テーブルにおいて、着目番号の前後で連続して車速が0km/hであるデータ番号を特定し、特定したデータ番号のうち最も早い記録時刻(日付および時刻)から最も遅い記録時刻までの期間を求めることで行われる。なお、ステップS8139が実行されるのは、着目番号と着目番号の次のデータ番号との間で、ギア状態がR以外からRに変化している場合である。よって、ステップS8139で算出される期間は、ギア状態がR以外からRに変化する前後において車両が停止していた(車速0km/h)期間であるといえる。
【0104】
一方、着目番号に対応するギア状態がRである場合(ステップS8137でNo)、または、着目番号の次のデータ番号のギア状態がRでない場合(ステップS8138でNo)、ステップS8139は省略される。
【0105】
ステップS8139の後、または、ステップS8137もしくはステップS8138でNo判定された後、着目番号が現在の処理対象の駐車IDに対応づけられた終了データ番号でなければ(ステップS8140でNo)、着目番号の次のデータ番号を新たな着目番号とし(ステップS8145)、ステップS8137以下の処理を繰り返す。
【0106】
着目番号が終了データ番号であれば(ステップS8140でYes)、シーン評価手段158は、ステップS8137〜S8140を含むループ処理の間にステップS8139で記憶部12に記憶された期間の各値と、所定値T_waitと、を比較する(ステップS8141)。所定値T_waitは、車両を後退させる操作の前に運転者が後方確認を行うために必要と考えられる時間(例えば3秒間)に基づいて予め設定されて記憶部12に記憶される。
【0107】
記憶部12に記憶された期間のすべてが所定値T_wait未満の場合、後方確認の評価値を「×」として現在の処理対象の駐車ID及び駐車種別に対応づけて記憶部12の評価結果テーブルに登録する(ステップS8142)。この場合、ギア状態がR以外からRに変化する前後で、常に、車両の停止時間が所定値T_wait未満であることから、車両を後退させる操作において運転者が後方確認を全く行わなかったと推測される。よって、この場合の評価値を最低値に設定する。
【0108】
記憶部12に記憶された期間のうち、所定値T_wait以上の期間と所定値T_wait未満の期間とが混在している場合、後方確認の評価値を「△」として当該駐車ID及び駐車種別に対応づけて評価結果テーブルに登録する(ステップS8143)。この場合、運転者は、車両を後退させる操作において、後方確認を行ったり行わなかったりしたと推測される。よって、この場合の評価値を中間値に設定する。
【0109】
記憶部12に記憶された期間の全てが所定値T_wait以上である場合、または、ステップS8139が実行されておらず記憶部12に期間が記憶されていない場合、後方確認の評価値を「○」として当該駐車ID及び駐車種別に対応づけて評価結果テーブルに登録する(ステップS8144)。期間の全てが所定値T_wait以上であれば、車両を後退させる操作において運転者が常に後方確認を行っていたと推測される。以上より、ステップS8144では、後方確認の評価値は最高値に設定される。
【0110】
ステップS8144の後、処理は図19のメインルーチンに戻り、未処理の駐車IDがあれば、未処理の駐車IDに対してステップS801以下の処理を行い、未処理の駐車IDがなければ、後方確認についての評価処理を終了する。
【0111】
以上の処理によって、図22に示すように、評価結果テーブルが記憶部12に登録される。図22では、駐車IDが10〜12についての後方確認の評価結果及び駐車種別が対応付けて登録されている例を示している。
【0112】
なお、ステップS803又はS813の評価項目の例として、「後方確認」の他、「速度オーバー」、「切り返し回数」、「ハザードランプ点灯」などが挙げられる。「速度オーバー」では、出庫開始時点から出庫終了時点までの期間に記録された車速に基づいて、出庫操作時の車速が適切であるかが評価される。また、駐車開始時点から駐車終了時点までの期間に記録された車速に基づいて駐車操作時の車速が適切であるかが評価される。「切り返し回数」では、出庫開始時点から出庫終了時点までの期間に記録されたギア状態を確認し、前進状態から後退状態に切り替わった回数に基づいて出庫操作が評価される。また、駐車開始時点から駐車終了時点までの期間に記録されたギア状態を確認し、後退状態から前進状態に切り替わった回数に基づいて駐車操作が評価される。「ハザードランプ点灯」では、出庫開始時点から出庫終了時点までの期間にハザードランプが点灯されていたか否かに基づいて出庫操作が評価される。また、駐車開始時点から駐車終了時点までの期間にハザードランプが点灯されていたか否かに基づいて駐車操作が評価される。以上で例示した評価項目のうち、「速度オーバー」、「後方確認」、および「切り返し回数」については、車速およびギア状態が運転データに含まれていれば評価できる。「ハザードランプ点灯」の評価を行うためには、ハザードランプセンサの検出値を常時記録型ドライブレコーダ26において運転データとして記録しておく必要がある。また、評価項目は、上述の例に限定されるものではない。
【0113】
また、評価処理の変形例では、各シーンの動画像を用いて操作を評価してもよい。例えば、各シーンに対して車両の前進状態、後退状態、ハザードランプの点灯状態等を画像解析処理を行って認識し、この動作状態に基づいて上述の各例の評価項目について評価を行えばよい。
【0114】
ステップS803及びS813では、シーン評価手段158は、予め設定された各評価項目について評価を行えばよい。あるいは、評価を行う評価項目についてユーザの選択を受け付けてもよい。ユーザの選択を受け付ける場合、例えば、ステップS803及びS813において、画像抽出部15の表示制御手段160により、評価項目の選択の入力をユーザに促す情報を表示部14に表示させる。例えば、「速度オーバー」、「後方確認」、「切り返し回数」、「ハザードランプ点灯」の各評価項目を表示部14に表示させ、ユーザが画像抽出装置10の操作部13を用いて表示された評価項目のうちの1以上を選択する指示を入力することによって、操作部13からユーザによる入力情報を受け取った画像抽出部15のシーン評価手段158は、ユーザが選択した評価項目について評価を行う。
【0115】
シーン評価手段158は、予め設定された評価項目またはユーザが選択した評価項目について評価を行うと、各駐車ID及び駐車種別に対応づけて、評価項目ごとの評価の結果として求めた評価値を記憶部12に記憶させる。
【0116】
図18のステップS8のシーン評価処理は終了すると、処理は図18のステップS9に進む。図18のステップS9では、表示制御手段160により、ステップS8の評価処理の結果および該当する駐車シーンの表示部14への表示が行われる。ステップS9の処理は、例えば次の手順で行われる。
【0117】
表示制御手段160は、まず記憶部12中の評価結果テーブルを参照し、各評価項目について評価値が最高である駐車IDおよび評価値が最低である駐車IDを特定する。図22の例の評価結果テーブルの場合、評価項目「後方確認」の評価値が最高「○」である駐車ID「10」および評価値が最低「×」である駐車ID「12」が特定される。最高評価値および最低評価値の駐車IDを特定すると、表示制御手段160は、特定した駐車IDについてシーン抽出手段156が抽出した「後退駐車シーン」又は「後退出庫シーン」を記憶部12から読み出し、読み出したシーンを各駐車IDの評価値と共に、表示部14に表示させる。
【0118】
また、最高評価値であるか最低評価値であるかの判定は、駐車種別毎(出庫シーン又は駐車シーン)で行ってもよい。また、どちらかの駐車種別を選択し、その種別について表示させてもよい。
【0119】
図23に、ステップS9で表示部14に表示される表示画面の一例を示す。図23は、図22の例の評価結果テーブルを参照する場合の例である。図23の表示画面400は、評価項目「後方確認」の表示402、各駐車IDの評価値の表示404、評価値が最高の駐車ID「10」のシーンの表示406、および評価値が最低の駐車ID「12」のシーンの表示408を含む。表示画面400によると、ある評価項目について評価値が最高および最低の場合のシーンが比較可能にユーザに提示される。
【0120】
なお、ステップS9の表示の態様は、図23の例に限定されない。例えば、シーンを表示させずに、評価結果テーブルの内容だけを表示部14に表示させてもよい。あるいは、各駐車IDの評価値を表示させずに、評価値が最高および最低である駐車IDの各シーンだけを表示させてもよい。
【0121】
また、1つの評価項目について、最高評価値の駐車IDまたは最低評価値の駐車IDが複数存在する場合、これらの駐車IDおよび評価値を表示部14に表示させ、ユーザが操作部13を用いて選択した駐車IDに対応するシーンを記憶部12から読み出して表示部14に表示させてもよい。
【0122】
また、ステップS8で複数の評価項目について評価が行われた場合、これら複数の評価項目のそれぞれについて図23の表示画面400のような表示画面を生成して同時に表示部14に表示させてもよい。あるいは、評価が行われた複数の評価項目の中から、ユーザによる表示対象の評価項目の選択を受け付けてもよい。この場合、例えば、評価が行なわれた複数の評価項目のリストを表示部14に表示させて、表示対象の評価項目を選択するユーザの入力を受け付ければよい。表示制御手段160は、ユーザが選択した評価項目について図23の例のような表示画面400を生成して表示部14に表示させる。
【0123】
複数の評価項目について評価が行われた場合のさらに他の例では、評価値が最高である評価項目を所定個数以上有する駐車IDのシーンを「手本シーン」として表示させてもよい。このとき、利用者により操作部13で任意に選択された駐車IDのシーンと「手本シーン」とを比較可能に表示させてもよい。さらに、選択された駐車IDのシーンについて、各評価項目の評価値から総合的な評価値を求めて表示させてもよい。総合的な評価値は、例えば、各評価項目について3段階評価の評価値が求められる場合であれば、最高、中間、および最低の各評価値をとる評価項目の個数に基づいて求めればよい。また、選択されたシーンの動画像と共に、当該シーンに対するコメントを表示させてもよい。コメントは、予め設定されて記憶部12に記憶されたものであってもよいし、操作部13を用いてユーザが任意に入力したものであってもよい。
【0124】
表示の態様のさらに他の例では、各評価項目の最高評価値および最低評価値の両方について対応するシーンを表示させる代わりに、評価項目および評価値に関してユーザが操作部13を用いて入力した条件に該当する駐車IDのシーンを表示させてもよい。この条件の例として、“評価を行った評価項目の半分以上の評価値が最高(または最低)である”、“評価を行った全評価項目の評価値が最高(または最低)である”、“評価値が最低の評価項目が存在しない”などが挙げられる。特定の評価項目の評価値が特定の値である旨を表す条件であってもよい。表示制御手段160は、例えば、ユーザが入力した条件に該当する駐車IDを評価結果テーブルから検索し、検索結果の駐車IDに対応するシーンを表示部14に表示させる。検索結果の駐車IDが複数ある場合、これらの駐車IDを表示部14に表示させ、ユーザの選択を受け付けてから、選択された駐車IDのシーンを表示させてもよい。ステップS9の表示処理が終了すると、図18の処理は終了する。
【0125】
以上のように、本実施の形態におけるデータ処理装置によれば、常時記録された車両20の動画像データから「後退駐車シーン」と「後退出庫シーン」とを区別して自動抽出することができる。また、車両20から取得した運転データや動画像データに基づき、駐車操作が「前進駐車」であるか「後退駐車」であるかを判定することができる。
【0126】
さらに、抽出したシーンにおける運転データや動画像データに基づき、運転スキルを自動評価することができる。これにより、後退駐車や後退出庫に対する運転スキルの自動評価が可能となる。また、運転スキルの評価結果に基づいて、「後退駐車シーン」と「後退出庫シーン」を選択してユーザに呈示することができる。
【符号の説明】
【0127】
10 画像抽出装置、11 データ取得部、12 記憶部、13 操作部、14 表示部、15 画像抽出部、20 車両、22 車載センサ、24 カメラ、26 常時記録型ドライブレコーダ、30 記録媒体、150 駐車時点特定手段、152 出庫時点特定手段、154 駐車種別判定手段、156 シーン抽出手段、158 シーン評価手段、160 表示制御手段。

【特許請求の範囲】
【請求項1】
車両を運転中の画像が時系列で順次記録された動画像データと、前記動画像データの時系列に対応付けて記録された前記車両を運転中の運転データと、を取得するデータ取得手段と、
駐車シーンを抽出すると共に、前記駐車シーンに対応する出庫シーンを抽出し、前記駐車シーンが前進駐車されたものか後退駐車されたものかを判定する駐車種別判定手段と、
前記駐車種別判定手段において前進駐車と判定されると、前記対応する出庫シーンを後退出庫シーンとして出力する出力手段と、
を備えることを特徴とする画像抽出装置。
【請求項2】
請求項1に記載の画像抽出装置であって、
前記出力手段は、
前記駐車種別判定手段において後退駐車と判定されると、前記駐車シーンを後退駐車シーンとして出力することを特徴とする画像抽出装置。
【請求項3】
請求項1又は2に記載の画像抽出装置であって、
前記運転データは、前記車両のギア位置が前進ギアであるか後退ギアであるかを表すギア情報を含み、
前記駐車種別判定手段は、前記駐車シーンの終了画像から前の所定時間に記録された前記運転データのギア情報に占める後退ギアと前進ギアの使用比率において、前進ギアの使用比率が後退ギアの使用比率以上の場合に前進駐車と判定し、前進ギアの使用比率が後退ギアの使用比率より低い場合に後退駐車と判定することを特徴とする画像抽出装置。
【請求項4】
請求項1又は2に記載の画像抽出装置であって、
前記運転データは、前記車両の車速と、前記車両の位置を示す情報を含み、
前記駐車種別判定手段は、
前記車両の駐車操作が終了したときの駐車終了画像に対応する前記車両の位置を基点とする所定の距離範囲に前記車両が進入したときから前記駐車終了画像より前に前記車両の車速が正になったときまでの動画像を前記駐車シーンとして抽出し、
前記出庫操作が開始されたときの出庫開始画像より後に前記車両の車速が正になったときから前記距離範囲内を前記車両が離脱したときまでの動画像を前記出庫シーンとして抽出し、
前記車両の駐車シーンの長さである駐車時間と、前記車両の出庫シーンの長さである出庫時間と、を比較し、前記駐車時間が前記出庫時間以上である場合に後退駐車と判定し、前記駐車時間が前記出庫時間より短い場合に前進駐車と判定することを特徴とする画像抽出装置。
【請求項5】
請求項1〜4のいずれか1つに記載の画像抽出装置であって、
前記出力されたシーンに対応する動画像データ又は運転データを用いて、前記出力されたシーン中の運転に対する評価値を求める評価手段を、
さらに備え、
前記出力手段は、前記出力されたシーンから、前記評価値を用いて運転教育用に適したシーンを選択して出力することを特徴とする画像抽出装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図17】
image rotate

【図23】
image rotate


【公開番号】特開2011−186867(P2011−186867A)
【公開日】平成23年9月22日(2011.9.22)
【国際特許分類】
【出願番号】特願2010−52507(P2010−52507)
【出願日】平成22年3月10日(2010.3.10)
【出願人】(000108085)セコム株式会社 (596)
【Fターム(参考)】