類似運転時画像検索装置及びプログラム
【課題】類似する運転場面の運転時画像を精度良く検索する。
【解決手段】運転時画像と、運転時画像の各々に対応付けられた複数の異なる時系列の運転データとからなる複数の学習用データ内の特定のドライバの運転データを、学習により複数のクラスタに分類し、各クラスタに他のドライバのプロファイルと対応させたモードを付与してプロファイルを生成し、プロファイルに含まれるクラスタであって、学習用データ内の運転データの各々が属するクラスタに基づいて、運転データを第１のモード系列に変換し、モード系列と運転時画像とを対応させて記憶する。対象データ内の運転データをプロファイルに基づいて、第２のモード系列に変換し、第２のモード系列と、第１のモード系列の各々との類似度に基づいて、第１のモード系列に対応して記憶された運転時画像を検索する。
【解決手段】運転時画像と、運転時画像の各々に対応付けられた複数の異なる時系列の運転データとからなる複数の学習用データ内の特定のドライバの運転データを、学習により複数のクラスタに分類し、各クラスタに他のドライバのプロファイルと対応させたモードを付与してプロファイルを生成し、プロファイルに含まれるクラスタであって、学習用データ内の運転データの各々が属するクラスタに基づいて、運転データを第１のモード系列に変換し、モード系列と運転時画像とを対応させて記憶する。対象データ内の運転データをプロファイルに基づいて、第２のモード系列に変換し、第２のモード系列と、第１のモード系列の各々との類似度に基づいて、第１のモード系列に対応して記憶された運転時画像を検索する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似運転時画像検索装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ネットワーク上のサイトにおいて閲覧可能な状態とされる閲覧動画データから、特定の動画像に類似する動画像を検索することが行われている。
【０００３】
例えば、複数の登録動画データが情報として登録された動画データベースと、閲覧動画データと動画データベースに登録された登録動画データとを照合する動画データ照会システムが提案されている（特許文献１参照）。特許文献１の動画データ照会システムでは、画像間の相関演算に基づいて画像間の類似度を算出し、動画データベースに登録された複数の登録画像データから、閲覧動画データに類似した動画像を出力している。
【０００４】
また、車両の加速度の大きさが閾値以上となったときに、事故が発生したと判断して、交通事故場面の画像を記録する画像記録装置が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−８９４４０号公報
【特許文献２】特開２００６−２３１９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の特許文献１記載の技術では、例えば、車両が減速したときの運転時画像を検索しようとしても、減速の原因が、先行車の減速であったのか、歩行者の横断であったのか、または停止信号によるものであったのかにより運転時画像は大きく異なるため、各々が類似する運転時画像として判断されない場合がある。従って、特許文献１記載の技術を類似運転時画像の検索に適用しても、適切な類似運転時画像が検索できない場合がある、という問題がある。
【０００７】
また、特許文献２記載の技術では、加速度の大きさだけで事故場面であると判断しているが、信号発進後に歩行者を発見してブレーキをかけた場合のような加速中の減速であるか、または赤信号による減速の場合のような定常走行後の減速であるか等の運転の流れが考慮されていないため、適切に運転場面を判断することができない、という問題がある。さらに、同じ危険場面における減速運転であっても、ドライバによって制動減速度は異なるため、固定の閾値を用いて運転場面を判断するのは困難である、という問題がある。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、類似する運転場面の運転時画像を精度良く検索することができる類似運転時画像検索装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の類似運転時画像検索装置は、運転時の車両周辺を予め撮影して得られた複数の運転時画像と、該運転時画像の各々に対応付けられた複数の異なる時系列の運転データとを含む複数の学習用データの各々の運転データを、学習により複数のクラスタに分類し、該クラスタの各々に参照プロファイルの各参照クラスタと対応させた識別情報を付与したプロファイルを生成する生成手段と、前記生成手段により生成されたプロファイルに含まれるクラスタであって、前記複数の学習用データ内の運転データの各々が属するクラスタに基づいて、前記複数の学習用データ内の運転データの各々を第１の時系列の識別情報の各々に変換する第１の変換手段と、変換された前記第１の時系列の識別情報の各々と前記運転時画像の各々とを対応させて記憶した運転時画像記憶手段と、前記生成手段により生成されたプロファイルに含まれるクラスタであって、運転時の車両周辺を予め撮影して得られた運転時画像と、該運転時画像に対応付けられた複数の異なる時系列の運転データとを含む対象データ内の運転データが属するクラスタに基づいて、前記対象データ内の運転データを第２の時系列の識別情報に変換する第２の変換手段と、前記第２の時系列の識別情報と、前記第１の時系列の識別情報の各々との類似度に基づいて、前記第１の時系列の識別情報に対応して前記運転時画像記憶手段に記憶された運転時画像を検索する検索手段と、を含んで構成されている。
【００１０】
本発明の類似運転時画像検索装置によれば、まず、学習処理では、生成手段が、運転時の車両周辺を予め撮影して得られた複数の運転時画像と、運転時画像の各々に対応付けられた複数の異なる時系列の運転データとからなる複数の学習用データの各々の運転データを、学習により複数のクラスタに分類し、クラスタの各々に参照プロファイルの各参照クラスタと対応させた識別情報を付与したプロファイルを生成する。そして、第１の変換手段が、生成手段により生成されたプロファイルに含まれるクラスタであって、複数の学習用データ内の運転データの各々が属するクラスタに基づいて、複数の学習用データ内の運転データの各々を第１の時系列の識別情報の各々に変換し、変換された第１の時系列の識別情報の各々と運転時画像の各々とが、運転時画像記憶手段に対応して記憶される。
【００１１】
次に、検索処理では、生成手段により生成されたプロファイルに含まれるクラスタであって、運転時の車両周辺を予め撮影して得られた運転時画像と、運転時画像に対応付けられた複数の異なる時系列の運転データとを含む対象データ内の運転データが属するクラスタに基づいて、対象データ内の運転データを第２の時系列の識別情報に変換する。そして、検索手段が、第２の時系列の識別情報と、第１の時系列の識別情報の各々との類似度に基づいて、第１の時系列の識別情報に対応して運転時画像記憶手段に記憶された運転時画像を検索する。
【００１２】
このように、運転データをクラスタに分類して、参照プロファイルと対応付けられて生成されたプロファイルを用いて、運転データを時系列の識別情報に変換することで、運転データが抽象化されて、運転行動の意図が考慮された時系列の識別情報を得ることができる。このように変換された第２の時系列の識別情報と、記憶された運転時画像に対応付けられた第１の時系列の識別情報との類似度から類似運転時画像を検索するため、類似する運転場面の運転時画像を精度良く検索することができる。
【００１３】
また、前記生成手段は、ドライバ毎に予め用意された前記学習用データに基づいて、ドライバ毎に運転データをクラスタに分類し、前記参照プロファイルとして先に生成された他のドライバのプロファイルを用いて、ドライバ毎のプロファイルを生成することができる。また、前記第２の変換手段は、前記対象データに基づいてドライバを特定し、該ドライバに対応するプロファイルを用いて変換するようにすることができる。このように、個別のプロファイルを他のドライバのプロファイルと対応させて生成して用いるため、個人差を正規化することができる。
【００１４】
また、本発明の類似運転時画像検索装置は、通常時に取得された学習用データ、及び危険運転時に取得された学習用データに基づいて、対象データが取得されたのが通常時か危険運転時かを判別するための判別モデルを生成する判別モデル生成手段と、前記判別モデル生成手段で生成された判別モデルに基づいて、前記対象データが取得されたのが通常時か危険運転時かを判別する判別手段と、を含んで構成することができ、前記運転時画像記憶手段には、通常時の運転時画像と危険運転時の運転時画像とが記憶され、前記検索手段は、前記判別手段で通常時と判別された場合には、前記通常時の運転時画像から類似運転時画像を検索し、危険運転時と判別された場合には、前記危険運転時の運転時画像から類似運転時画像を検索するようにすることができる。
【００１５】
また、前記複数の異なる時系列の運転データを、車速、車間距離、アクセル踏み込み度、ブレーキ踏み込み度、前記車速のｎ次の微分値、前記車間距離のｎ次の微分値、前記アクセル踏み込み度のｎ次の微分値、及び前記ブレーキ踏み込み度のｎ次の微分値から選択した少なくとも２つとすることができる。
【００１６】
また、前記生成手段は、前記運転データを３つのクラスタに分類し、該クラスタの各々の前記識別情報を、加速、減速、及び定常走行としたプロファイルを生成することができる。運転データをクラスタに分類することにより、運転データを何らかの意味を持った抽象化されたグループに分類することができるが、加速、減速、及び定常走行といった運転意図を反映したクラスタに分類することで、ドライバの運転意図が反映された類似運転時画像を検索することができる。
【００１７】
また、前記検索手段は、前記第１の時系列の識別情報と前記第２の時系列の識別情報との類似度に加え、前記対象データ内の運転データと、前記複数の学習用データ内の運転データの各々との類似度に基づいて、前記運転時画像を検索するようにすることができる。これにより、検索精度が向上する。
【００１８】
また、本発明の類似運転時画像検索プログラムは、コンピュータを、運転時の車両周辺を予め撮影して得られた複数の運転時画像と、該運転時画像の各々に対応付けられた複数の異なる時系列の運転データとを含む複数の学習用データの各々の運転データを、学習により複数のクラスタに分類し、該クラスタの各々に参照プロファイルの各参照クラスタと対応させた識別情報を付与したプロファイルを生成する生成手段、前記生成手段により生成されたプロファイルに含まれるクラスタであって、前記複数の学習用データ内の運転データの各々が属するクラスタに基づいて、前記複数の学習用データ内の運転データの各々を第１の時系列の識別情報の各々に変換する第１の変換手段、変換された前記第１の時系列の識別情報の各々と前記運転時画像の各々とを対応させて運転時画像記憶手段に記憶するよう制御する記憶制御手段、前記生成手段により生成されたプロファイルに含まれるクラスタであって、運転時の車両周辺を予め撮影して得られた運転時画像と、該運転時画像に対応付けられた複数の異なる時系列の運転データとを含む対象データ内の運転データが属するクラスタに基づいて、前記対象データ内の運転データを第２の時系列の識別情報に変換する第２の変換手段、及び前記第２の時系列の識別情報と、前記第１の時系列の識別情報の各々との類似度に基づいて、前記第１の時系列の識別情報に対応して前記運転時画像記憶手段に記憶された運転時画像を検索する検索手段として機能させるためのプログラムである。
【００１９】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２０】
以上説明したように、本発明の類似運転時画像検索装置及びプログラムによれば、運転データをクラスタに分類して、参照プロファイルと対応付けられて生成されたプロファイルを用いて、運転データを時系列の識別情報に変換することで、運転データが抽象化されて、運転行動の意図が考慮された時系列の識別情報を得ることができる。このように変換された第２の時系列の識別情報と、記憶された運転時画像に対応付けられた第１の時系列の識別情報との類似度から類似運転時画像を検索するため、類似する運転場面の運転時画像を精度良く検索することができる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施の形態に係る類似運転時画像検索装置の構成を示す概略図である。
【図２】第１の実施の形態の学習処理ルーチンの内容を示すフローチャートである。
【図３】運転データのクラスタ化、及びクラスタの対応付けを説明するための図である。
【図４】プロファイルＤＢの一例を示す図である。
【図５】運転データからモード系列への変換を説明するための図である。
【図６】第１の実施の形態の検索処理ルーチンの内容を示すフローチャートである。
【図７】第２の実施の形態に係る類似運転時画像検索装置の構成を示す概略図である。
【図８】第２の実施の形態の学習処理ルーチンの内容を示すフローチャートである。
【図９】第２の実施の形態の検索処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の類似運転時画像検索装置の実施の形態を詳細に説明する。
【００２３】
図１に示すように、第１の実施の形態に係る類似運転時画像検索装置１０は、学習用データ及び対象データを入力するための入力装置２０、入力された学習用データを学習してプロファイルを生成し、また、入力された対象データに類似する運転場面の運転時画像を検索する処理を実行するコンピュータ３０、及び検索結果を表示するための表示装置４０を備えている。
【００２４】
入力装置２０は、マウスやキーボード等の入力デバイス、スキャナ等の読取装置で構成されている。また、可搬性記録媒体に記録されたデータを読み込むための読込装置や、ネットワークを介して接続された外部装置に記憶されたデータを入力するためのインターフェースであってもよい。
【００２５】
コンピュータ３０は、類似運転時画像検索装置１０全体の制御を司るＣＰＵ、後述する学習処理及び検索処理のプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、後述するプロファイルデータベース（ＤＢ）及び運転時画像ＤＢ等が記憶される記憶手段としてのＨＤＤ、並びにこれらを相互に接続するバスを含んで構成されている。
【００２６】
このコンピュータ３０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、入力装置２０から入力された学習用データを学習して、類似運転時画像の検索時に用いるプロファイルを生成する学習部５０、及び入力された対象データに類似する運転場面の運転時画像を検索する検索部７０を含んだ構成で表すことができる。
【００２７】
なお、ここでは、学習部５０及び検索部７０を１つのコンピュータ３０で構成した場合について説明するが、それぞれ別のコンピュータで構成するようにしてもよい。
【００２８】
学習部５０は、運転時の車両周辺を予め撮影して得られた運転時画像と、その運転時画像に対応付けられた運転データを含む学習用データが記憶される学習用データＤＢ５４、学習用データ内の運転データを学習してプロファイルを生成するプロファイル生成部５６、生成されたプロファイルが記憶されるプロファイルＤＢ５８、学習用データ内の運転データをプロファイルに基づいてモード系列に変換する第１の変換部６０、及びモード系列と運転時画像とが対応して記憶される運転時画像ＤＢ６２を含んだ構成で表すことができる。
【００２９】
学習用データは、時刻ｔ毎に１フレームずつ撮影された時刻０〜Ｔの間のＴフレーム分の運転時の動画像（運転時画像）と、同じく時刻ｔ毎に時刻０〜Ｔの間に検出された運転データとを対応付けたものである。ここでは、運転データとして、先行車両との相対速度及び車間距離を用いる。学習用データＤＢ５４には、複数の学習用データが記憶される。
【００３０】
検索部７０は、運転時画像と運転データとが対応した対象データ内の運転データを、学習部５０のプロファイルＤＢ５８に記憶されたプロファイルに基づいてモード系列に変化する第２の変換部７２、及び変換されたモード系列と学習部５０の運転時画像ＤＢ６２に記憶されたモード系列とに基づいて、対象データに類似する運転場面の運転時画像を検索する類似運転時画像検索部７４を含んだ構成で表すことができる。
【００３１】
対象データは、学習用データと同様の運転データと運転時画像とを対応付けたものである。
【００３２】
次に、図２を参照して、第１の実施の形態の学習処理について説明する。学習処理は、下記ステップ１００〜１０４で詳細に説明するモード学習の処理と、下記ステップ１０６〜１１４で詳細に説明するモード対応付けの処理を含む。モード学習の処理とは、運転データを学習してクラスタに分類する処理であり、モード対応付けの処理とは、他のドライバのプロファイルと対応させて、クラスタ毎に識別情報であるモードを対応させる処理である。
【００３３】
ステップ１００で、複数の学習用データを入力し、学習用データの各々をドライバ毎に学習用データＤＢ５４に記憶する。
【００３４】
次に、ステップ１０２で、学習用データＤＢ５４に記憶された学習用データ内の特定のドライバ（ここではドライバａとする）の運転データを抽出し、図３に示すように、相対速度及び車間距離の２次元空間にプロットする。
【００３５】
次に、ステップ１０４で、プロットされた複数の運転データを、予め定めた数（ここでは、３つ）のクラスタに分類すると共に、クラスタ毎のパラメータを演算する。具体的には、クラスタ化の処理として、ここでは公知のＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）を用い、ＥＭアルゴリズム（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を用いて、下記（１）式を最大化するパラメータ（平均ベクトルμ、分散ベクトルΣ、混合重み係数ｗ）を演算する。
【００３６】
【数１】
【００３７】
ただし、ｘｔは時刻ｔにおける運転データ、Ｔはドライバａの運転データの総数、Ｄは運転データの次元数（ここでは２）、及びＭはクラスタの数（ここでは３）である。
【００３８】
次に、ステップ１０６で、変数ｋｍｉｎに”∞”をセットする。次に、ステップ１０８で、プロファイルＤＢ５８に記憶されているドライバａ以外のドライバのプロファイルを用いて、上記ステップ１０４で分類されたクラスタの各々と、他のドライバのプロファイルのモードの各々との分布間の距離として、下記（２）式に示すｋを演算する。ここでは、分布間の距離として、ＫＬ（ｋｕｌｌｂｕｃｋ-ｌｅｉｂｌｅｒ）情報量を用いる。ＫＬ情報量は、分布間の相違度が大きい程、大きな値を示す情報量である。
【００３９】
【数２】
【００４０】
ただし、Ｎ（μ，σ）はガウス分布であり、ｉはドライバａの運転データの分布、及びｊは他のドライバのプロファイルの分布であることを表す。
【００４１】
次に、ステップ１１０で、演算されたｋが変数ｋｍｉｎより小さいか否かを判定する。ｋ＜ｋｍｉｎの場合には、ステップ１１２へ移行し、変数ｋｍｉｎを、上記ステップ１０８で演算されたｋの値に置き換えると共に、変数ｃに組み合わせ｛ｉ，ｊ｝を代入して、ステップ１１４へ移行する。一方、ｋ≧ｋｍｉｎの場合には、そのままステップ１１４へ移行する。
【００４２】
ステップ１１４では、他のドライバのプロファイルとの全ての組合せについて処理が終了したか否かを判定する。まだ未処理の組合せがある場合には、ステップ１０８へ戻って、次の組み合わせを選択して、上記ステップ１０８〜１１２の処理を繰り返す。一方、全ての組み合わせについて処理が終了した場合には、ステップ１１６へ移行する。
【００４３】
ステップ１１６では、変数ｃに代入されている組み合わせ｛ｉ，ｊ｝に基づいて、図３に示すように、他のドライバのプロファイルのモードを各々のクラスタに対応付けて、ドライバａのプロファイルとしてプロファイルＤＢ５８に格納する。図３の例では、ドライバａのクラスタ１、クラスタ２、及びクラスタ３は、それぞれモードＣ、モードＢ、及びモードＡが対応付けられる。プロファイルＤＢ５８には、図４に示すように、ドライバ毎に各モードのパラメータ（平均及び分散）を格納する。
【００４４】
次に、ステップ１１８で、図５に示すように、ドライバａのプロファイルに基づいて、時刻ｔで検出された運転データの各々が、上記ステップ１１６で格納したドライバａのプロファイルのどのモードに属しているかを判定し、時刻０〜Ｔの間の時系列の運転データを、時刻０〜Ｔの間の時系列のモードの情報（モード系列）に変換する。
【００４５】
次に、ステップ１２０で、モード系列と、そのモード系列の元になった運転データに対応する運転時画像とを対応付けて運転時画像ＤＢ６２に格納して、処理を終了する。
【００４６】
次に、図６を参照して、第１の実施の形態の検索処理について説明する。
【００４７】
ステップ２００で、対象データを入力し、次に、ステップ２０２で、入力された対象データ内の運転データを抽出する。
【００４８】
次に、ステップ２０４で、運転データからドライバを特定し、特定されたドライバのプロファイルをプロファイルＤＢ５８から選択して読み出す。ドライバの特定は、運転データにドライバを識別するための情報を付与し、この情報に基づいて特定するようにしてもよいし、上記学習処理で述べたのと同様の手法で運転データをクラスタに分類して、各クラスタのパラメータとプロファイルのパラメータとを比較して特定してもよい。
【００４９】
次に、ステップ２０６で、上記学習処理のステップ１１８と同様の処理により、時系列の運転データを、時刻０〜Ｔの間のモード系列ｍに変換する。
【００５０】
次に、ステップ２０８で、変数ｓｍａｘに”−∞”をセットする。次に、ステップ２１０で、運転時画像ＤＢ５８に運転時画像に対応して記憶されているモード系列ｄａｔａ（ｉ）（第１のモード系列）と、上記ステップ２０６で出力されたモード系列ｍ（第２のモード系列）の類似度ｓを演算する。ここで、ｉは１〜Ｘであり、Ｘは運転時画像ＤＢに記憶されている運転時画像の数（すなわちモード系列の数）である。ここでは、文字列の近接度の計算によく用いられるレーベンシュタイン距離（ＬＤ：Ｌｅｖｅｎｓｈｔｅｉｎ Ｄｉｓｔａｎｃｅ）を用いた類似度ｓを演算する。類似度ｓは、ＬＤが近いほど大きな値となるようにする。
【００５１】
次に、ステップ２１２で、演算されたｓが変数ｓｍａｘより大きいか否かを判定する。ｓ＞ｓｍａｘの場合には、ステップ２１４へ移行し、変数ｓｍａｘを、上記ステップ２１０で演算されたｓの値に置き換えると共に、変数ｉｍａｘにｉを代入して、ステップ２１６へ移行する。一方、ｓ≦ｓｍａｘの場合には、そのままステップ２１６へ移行する。
【００５２】
ステップ２１６では、運転時画像ＤＢ６２に記憶されているＸ個のモード系列の全てについて処理が終了したか否かを判定する。まだ未処理のモード系列がある場合には、ステップ２１０へ戻って、次のモード系列を選択して、上記ステップ２１０〜２１４の処理を繰り返す。一方、全てのモード系列について処理が終了した場合には、ステップ２１８へ移行する。
【００５３】
ステップ２１８では、モード系列ｄａｔａ（ｉｍａｘ）に対応して記憶されている運転時画像を、対象データの運転場面に類似する運転時画像として出力して、処理を終了する。
【００５４】
以上説明したように、第１の実施の形態の類似運転時画像検索装置１０によれば、運転データをクラスタに分類して、他のドライバのプロファイルと対応付けられて生成されたプロファイルを用いて、運転データをモード系列に変換することで、運転データが抽象化されて、運転行動の意図が考慮されたモード系列を得ることができる。このように変換された第２のモード系列と、記憶された運転時画像に対応付けられた第１のモード系列との類似度から類似運転時画像を検索するため、類似する運転場面の運転時画像を精度良く検索することができる。
【００５５】
なお、第１の実施の形態では、モード系列の類似度の演算に、レーベンシュタイン距離を用いる場合について説明したが、これに限定されない。例えば、時刻０〜Ｔのモード系列における各モードの出現頻度を表すヒストグラムを生成し、このヒストグラムの類似度を用いて類似運転時画像を検索してもよい。具体的には、ヒストグラムのビンｉのデータ数をｆｉとすると、ドライバＡの運転データを変換したモード系列のヒストグラム｛ｆＡ１／ΣｆＡｎ，ｆＡ２／ΣｆＡｎ，ｆＡ３／ΣｆＡｎ，・・・｝と、ドライバＢの運転データを変換したモード系列のヒストグラム｛ｆＢ１／ΣｆＢｎ，ｆＢ２／ΣｆＢｎ，ｆＢ３／ΣｆＢｎ，・・・｝との相関値を類似度として用いたり、ｆｉ／Σｆｎを確率値とみなして情報量を算出したりしてもよい。なお、ΣｆｎはＴ秒間のモードのデータ総数である。
【００５６】
また、第１の実施の形態では、最も類似する運転時画像を検索する場合について説明したが、類似度が所定値以上となるものを全て提示したり、類似度の高い順に所定順位（例えば、トップテン）までのものを提示したりしてもよい。
【００５７】
次に、第２の実施の形態について説明する。第２の実施の形態では、入力された対象データが、通常時に取得されたものか危険運転時に取得されたものかを判別した上で、類似運転時画像を検索する点が、第１の実施の形態とは異なる。なお、第１の実施の形態の類似運転時画像検索装置１０と同様の構成及び処理については、同一の符号を付して説明を省略する。
【００５８】
図７に示すように、第２の実施の形態の類似運転時画像検索装置２１０のコンピュータ３０は、学習部２５０及び検索部２７０を含んだ構成で表すことができる。
【００５９】
学習部２５０は、第１の実施の形態の学習部５０の構成に加えて、対象データが取得されたのが通常時か危険運転時かの判別をするための判別モデルを生成する判別モデル生成部２６４、及び生成された判別モデルが記憶される判別モデル記憶部２６６を含んだ構成で表すことができる。また、運転時画像ＤＢ２６２には、通常時の運転時画像と危険運転時の運転時画像とが分類されて記憶されている。
【００６０】
検索部２７０は、第１の実施の形態の検索部７０に加えて、判別モデル記憶部２６６に記憶された判別モデルに基づいて、対象データが取得されたのが通常時か危険運転時かを判別する判別部２７６を含んだ構成で表すことができる。また、類似運転時画像検索部２７４は、判別部２７６での判別結果に応じて、通常時の運転時画像または危険運転時の運転時画像から類似運転時画像を検索する。
【００６１】
次に、図８を参照して、第２の実施の形態の学習処理について説明する。
【００６２】
ステップ３００で、通常時に取得された運転時画像、及びその運転時画像に対応する運転データを含む通常時の学習用データと、危険運転時に取得された運転時画像、及びその運転時画像に対応する運転データを含む危険運転時の学習用データとを入力し、学習用データＤＢ５４に記憶する。
【００６３】
ステップ１０２〜１１８で、第１の実施の形態と同様に、学習用データ内の運転データを用いてプロファイルを生成し、運転データをモード系列に変換する。
【００６４】
次に、ステップ３０２で、モード系列と運転時画像とを対応させて、運転時画像ＤＢ２６２へ格納する。この際、通常時の学習用データ内の運転データを変換したモード系列と対応させる運転時画像は通常時の運転時画像として、危険運転時の学習用データ内の運転データを変換したモード系列と対応させる運転時画像は危険運転時の運転時画像として、それぞれ分類して格納する。
【００６５】
次に、ステップ３０４で、運転時画像に対応しているモード系列の各々について、時刻０〜Ｔのモード系列における各モードの出現頻度を表すヒストグラムを生成する。通常時の運転時画像に対応しているモード系列の各々について生成されたヒストグラムを通常時のヒストグラム、危険運転時の運転時画像に対応しているモード系列の各々について生成されたヒストグラムを危険運転時のヒストグラムという。これらのヒストグラムを判別モデルとして、判別モデル記憶部２６６に記憶する。
【００６６】
次に、図９を参照して、第２の実施の形態の検索処理について説明する。
【００６７】
ステップ２００〜２０６で、第１の実施の形態と同様に、対象データ内の運転データをモード系列ｍに変換する。
【００６８】
次に、ステップ４００で、時刻０〜Ｔのモード系列ｍにおける各モードの出現頻度を表すヒストグラムを生成する。
【００６９】
次に、ステップ４０２で、モード系列ｍのヒストグラムと判別モデルである通常時のヒストグラムとの類似度、及びモード系列ｍのヒストグラムと判別モデルである危険運転時のヒストグラムとの類似度をそれぞれ演算する。具体的には、第１の実施の形態のモード系列の類似度の演算の他の例で説明したのと同様に、モード系列ｍのヒストグラムと、通常時または危険運転時のヒストグラムの各々との相関値を類似度として用いたり、ｆｉ／Σｆｎを確率値とみなして情報量を算出したりすればよい。なお、ｆｉはヒストグラムのビンｉのデータ数、及びΣｆｎはＴ秒間のモードのデータ総数である。
【００７０】
次に、ステップ４０４で、モード系列ｍのヒストグラムが、通常時のヒストグラム及び危険運転時のヒストグラムのいずれにより類似しているかを判定する。この判定は、上記ステップ４０２で演算されたモード系列ｍのヒストグラムと通常時のヒストグラムの各々との類似度、モード系列ｍのヒストグラムと危険運転時のヒストグラムの各々との類似度のそれぞれについての平均値、最大値、最小値等を用いて判定するとよい。通常時のヒストグラムに類似していると判定された場合には、ステップ４０６へ移行し、危険運転時のヒストグラムに類似していると判定された場合には、ステップ４０８へ移行する。
【００７１】
ステップ４０６では、運転時画像ＤＢ２６２に通常時の運転時画像として記憶されている運転時画像を類似運転時画像として出力する。一方、ステップ４０８では、運転時画像ＤＢ２６２に危険運転時の運転時画像として記憶されている運転時画像を類似運転時画像として出力する。
【００７２】
以上説明したように、第２の実施の形態の類似運転時画像検索装置１０によれば、運転データをクラスタに分類して、他のドライバのプロファイルと対応付けられて生成されたプロファイルを用いて、運転データをモード系列に変換するため、運転データが抽象化されて、運転行動の意図が考慮されたモード系列を得ることができる。また、このモード系列のヒストグラムを用いて通常時か危険運転時かを判別するため、類似する運転場面の運転時画像を精度良く検索することができる。
【００７３】
なお、第２の実施の形態では、通常時と判別された場合には、通常時の運転時画像の全て、危険運転時と判別された場合には、危険運転時の運転時画像の全てを出力する場合について説明したが、第１の実施の形態と同様に、モード系列の類似度ｓ（ｓ＝ＬＤ）を演算して、通常時か危険運転時かの判別結果に応じて、複数の通常時の運転時画像、または複数の危険運転時の運転時画像の中から、類似度ｓが最大のもの等を選択して出力するようにしてもよい。
【００７４】
また、第１及び第２の実施の形態では、プロファイルの学習方法としてＧＭＭを用いる場合について説明したが、これに限定されない。例えば、下記のような手法を用いることができる。
【００７５】
ドライバＡのプロファイルを、「Ｃｎ＝｛μｎ，Σｎ｝，ｎ＝１：Ｎ」で表されるＮ個のクラスタからなるプロファイルとする。なお、μｎはクラスタＣｎの分布の重心または平均、Σｎは共分散行列である。そして、ドライバＢの運転データから求まる特徴量ベクトルを｛ｘ１’，ｘ２’・・・ｘＴ’｝とする。なお、ｘｔ’は時刻ｔにおける特徴量ベクトル、Ｔは運転データの総数である。
【００７６】
次に、ｘｔ’とクラスタＣｎとの距離「ｄ（ｔ，ｎ）＝ｄｉｓｔ（ｘｔ’，Ｃｎ）」を演算する。距離は、例えばユークリッド距離やマハラノビス距離等を用いることができる。そして、下記式に従って、ｘｔ’との距離ｄ（ｔ，ｎ）が最小となるクラスタ（Ｃ’）の分布の重心を更新する。
【００７７】
Ｃ’＝ａｒｇｍｉｎｄ（ｔ，ｎ）
μＣ’’＝（１−ε）μＣ’＋εｘｔ’
なお、εは重み係数ε＝１／Ｋであり、ＫはドライバＡの運転データの総数である。そして、下記式により評価値Ｅを演算し、Ｅが収束するまで上記処理を繰り返し、更新されたクラスタをドライバＢのプロファイルとする。
【００７８】
【数３】
【００７９】
また、第１及び第２の実施の形態では、運転データを３つのクラスタに分類する場合について説明した。これは、運転行動または運転意図として、例えば、「加速」、「減速」、及び「定常走行」を想定した場合に、運転データがこれらの運転行動または運転意図を反映してクラスタに分類されるようにしたものである。従って、異なる運転場面を想定した場合には、それに応じてクラスタの数を変更するようにする。例えば、危険回避走行時の場合、運転意図として「危険回避」、「回避準備」、「加速追従」、及び「回避直後」が想定されるのであれば、４つのクラスタに分類されるように設定すればよい。また、これらの運転場面や運転意図に応じて、適切な運転データを用いるとよい。
【００８０】
より具体的に、交通事故の多くを占める追突事故に関連した追従走行時の運転場面に特化した場合についてみると、運転意図として「巡航」、「加速」、「通常減速」、及び「急減速」の少なくとも４つを含むと考えられる。そこで、運転データを４つのモードを用いたモード系列に変換するために、運転データの分布を４つのクラスタに分類する。なお、クラスタに分類して、他のドライバのプロファイルなどの参照プロファイルと対応させることにより、それぞれのクラスタが、上記「巡航」、「加速」、「通常減速」、及び「急減速」という運転意図が反映されたモードに対応付けられる。
【００８１】
また、それぞれの運転意図は、自車加速度及びブレーキタイミングを決定する指標として知られるＴＴＣ（Ｔｉｍｅ−Ｔｏ−Ｃｏｌｌｉｓｉｏｎ：先行車間距離と相対距離で除した値）によって決定されると仮定すると、運転データとしては、自車加速度、先行車間距離、及び相対車速を用いればよい。
【００８２】
ここで、個々人によって、減速時の平均速度が異なることが知られている。すなわち、ドライバＡは、通常の平均減速度Ｄａ＞平均急減速度Ｈａであるが、ドライバＢは、通常の平均減速度Ｄｂ＜平均急減速度Ｈｂであるような場合がある。ここで、ＨａがＤｂに近いような場合、すなわち、ドライバＡはあまり強く急減速しないタイプであり、ドライバＢは通常時から比較的強めにブレーキを踏むタイプであるような場合、直接運転データの値を比較すると、ドライバＡが追突回避のために急減速をした運転データと、ドライバＢの通常のブレーキ時の運転データとが類似していると判断される可能性がある。
【００８３】
そこで、上記のような運転意図を反映したモードを用いて、運転データをモード系列に変換することにより、同じ運転データでも、ドライバＡの運転データはモード「急減速」、ドライバＢの運転データはモード「通常減速」に変換されるため、運転意図が異なるにもかかわらず類似する運転場面であると判断されることを防止することができる。
【００８４】
また、第１及び第２の実施の形態では、モード系列を用いて運転場面の類似する類似運転時画像を検索する場合について説明したが、モード系列による類似度演算に加えて、対象データ内の運転データも類似度の演算に用いるようにしてもよい。この場合、運転時画像ＤＢに記憶される運転時画像には、モード系列だけでなく、学習用データ内の運転データも対応付けて記憶しておくとよい。そして、類似度を演算する際には、モード系列の類似度と運転データの類似度との和や積を総合の類似度として用いることができる。運転データの類似度には、対応する運転データ同士の各ベクトル間の距離の総和を用いたり、時刻０〜Ｔの間の時系列の運転データを周波数分析した結果を用いたりすることができる。
【００８５】
また、第１及び第２の実施の形態では、運転データとして、相対車速及び車間距離を用いる場合について説明したが、運転場面に応じて、アクセル踏み込み度、ブレーキ踏み込み度等を用いてもよいし、また、これらのｎ次（ｎは自然数）の微分値を用いてもよい。
【符号の説明】
【００８６】
１０、２１０ 類似運転時画像検索装置
２０ 入力装置
３０ コンピュータ
４０ 表示装置
５０、２５０ 学習部
５６ プロファイル生成部
６０ 第１の変換部
７０、２７０ 検索部
７２ 第２の変換部
７４、２７４ 類似運転時画像検索部
２６４ 判別モデル生成部
２６６ 判別モデル記憶部
【技術分野】
【０００１】
本発明は、類似運転時画像検索装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ネットワーク上のサイトにおいて閲覧可能な状態とされる閲覧動画データから、特定の動画像に類似する動画像を検索することが行われている。
【０００３】
例えば、複数の登録動画データが情報として登録された動画データベースと、閲覧動画データと動画データベースに登録された登録動画データとを照合する動画データ照会システムが提案されている（特許文献１参照）。特許文献１の動画データ照会システムでは、画像間の相関演算に基づいて画像間の類似度を算出し、動画データベースに登録された複数の登録画像データから、閲覧動画データに類似した動画像を出力している。
【０００４】
また、車両の加速度の大きさが閾値以上となったときに、事故が発生したと判断して、交通事故場面の画像を記録する画像記録装置が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−８９４４０号公報
【特許文献２】特開２００６−２３１９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の特許文献１記載の技術では、例えば、車両が減速したときの運転時画像を検索しようとしても、減速の原因が、先行車の減速であったのか、歩行者の横断であったのか、または停止信号によるものであったのかにより運転時画像は大きく異なるため、各々が類似する運転時画像として判断されない場合がある。従って、特許文献１記載の技術を類似運転時画像の検索に適用しても、適切な類似運転時画像が検索できない場合がある、という問題がある。
【０００７】
また、特許文献２記載の技術では、加速度の大きさだけで事故場面であると判断しているが、信号発進後に歩行者を発見してブレーキをかけた場合のような加速中の減速であるか、または赤信号による減速の場合のような定常走行後の減速であるか等の運転の流れが考慮されていないため、適切に運転場面を判断することができない、という問題がある。さらに、同じ危険場面における減速運転であっても、ドライバによって制動減速度は異なるため、固定の閾値を用いて運転場面を判断するのは困難である、という問題がある。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、類似する運転場面の運転時画像を精度良く検索することができる類似運転時画像検索装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の類似運転時画像検索装置は、運転時の車両周辺を予め撮影して得られた複数の運転時画像と、該運転時画像の各々に対応付けられた複数の異なる時系列の運転データとを含む複数の学習用データの各々の運転データを、学習により複数のクラスタに分類し、該クラスタの各々に参照プロファイルの各参照クラスタと対応させた識別情報を付与したプロファイルを生成する生成手段と、前記生成手段により生成されたプロファイルに含まれるクラスタであって、前記複数の学習用データ内の運転データの各々が属するクラスタに基づいて、前記複数の学習用データ内の運転データの各々を第１の時系列の識別情報の各々に変換する第１の変換手段と、変換された前記第１の時系列の識別情報の各々と前記運転時画像の各々とを対応させて記憶した運転時画像記憶手段と、前記生成手段により生成されたプロファイルに含まれるクラスタであって、運転時の車両周辺を予め撮影して得られた運転時画像と、該運転時画像に対応付けられた複数の異なる時系列の運転データとを含む対象データ内の運転データが属するクラスタに基づいて、前記対象データ内の運転データを第２の時系列の識別情報に変換する第２の変換手段と、前記第２の時系列の識別情報と、前記第１の時系列の識別情報の各々との類似度に基づいて、前記第１の時系列の識別情報に対応して前記運転時画像記憶手段に記憶された運転時画像を検索する検索手段と、を含んで構成されている。
【００１０】
本発明の類似運転時画像検索装置によれば、まず、学習処理では、生成手段が、運転時の車両周辺を予め撮影して得られた複数の運転時画像と、運転時画像の各々に対応付けられた複数の異なる時系列の運転データとからなる複数の学習用データの各々の運転データを、学習により複数のクラスタに分類し、クラスタの各々に参照プロファイルの各参照クラスタと対応させた識別情報を付与したプロファイルを生成する。そして、第１の変換手段が、生成手段により生成されたプロファイルに含まれるクラスタであって、複数の学習用データ内の運転データの各々が属するクラスタに基づいて、複数の学習用データ内の運転データの各々を第１の時系列の識別情報の各々に変換し、変換された第１の時系列の識別情報の各々と運転時画像の各々とが、運転時画像記憶手段に対応して記憶される。
【００１１】
次に、検索処理では、生成手段により生成されたプロファイルに含まれるクラスタであって、運転時の車両周辺を予め撮影して得られた運転時画像と、運転時画像に対応付けられた複数の異なる時系列の運転データとを含む対象データ内の運転データが属するクラスタに基づいて、対象データ内の運転データを第２の時系列の識別情報に変換する。そして、検索手段が、第２の時系列の識別情報と、第１の時系列の識別情報の各々との類似度に基づいて、第１の時系列の識別情報に対応して運転時画像記憶手段に記憶された運転時画像を検索する。
【００１２】
このように、運転データをクラスタに分類して、参照プロファイルと対応付けられて生成されたプロファイルを用いて、運転データを時系列の識別情報に変換することで、運転データが抽象化されて、運転行動の意図が考慮された時系列の識別情報を得ることができる。このように変換された第２の時系列の識別情報と、記憶された運転時画像に対応付けられた第１の時系列の識別情報との類似度から類似運転時画像を検索するため、類似する運転場面の運転時画像を精度良く検索することができる。
【００１３】
また、前記生成手段は、ドライバ毎に予め用意された前記学習用データに基づいて、ドライバ毎に運転データをクラスタに分類し、前記参照プロファイルとして先に生成された他のドライバのプロファイルを用いて、ドライバ毎のプロファイルを生成することができる。また、前記第２の変換手段は、前記対象データに基づいてドライバを特定し、該ドライバに対応するプロファイルを用いて変換するようにすることができる。このように、個別のプロファイルを他のドライバのプロファイルと対応させて生成して用いるため、個人差を正規化することができる。
【００１４】
また、本発明の類似運転時画像検索装置は、通常時に取得された学習用データ、及び危険運転時に取得された学習用データに基づいて、対象データが取得されたのが通常時か危険運転時かを判別するための判別モデルを生成する判別モデル生成手段と、前記判別モデル生成手段で生成された判別モデルに基づいて、前記対象データが取得されたのが通常時か危険運転時かを判別する判別手段と、を含んで構成することができ、前記運転時画像記憶手段には、通常時の運転時画像と危険運転時の運転時画像とが記憶され、前記検索手段は、前記判別手段で通常時と判別された場合には、前記通常時の運転時画像から類似運転時画像を検索し、危険運転時と判別された場合には、前記危険運転時の運転時画像から類似運転時画像を検索するようにすることができる。
【００１５】
また、前記複数の異なる時系列の運転データを、車速、車間距離、アクセル踏み込み度、ブレーキ踏み込み度、前記車速のｎ次の微分値、前記車間距離のｎ次の微分値、前記アクセル踏み込み度のｎ次の微分値、及び前記ブレーキ踏み込み度のｎ次の微分値から選択した少なくとも２つとすることができる。
【００１６】
また、前記生成手段は、前記運転データを３つのクラスタに分類し、該クラスタの各々の前記識別情報を、加速、減速、及び定常走行としたプロファイルを生成することができる。運転データをクラスタに分類することにより、運転データを何らかの意味を持った抽象化されたグループに分類することができるが、加速、減速、及び定常走行といった運転意図を反映したクラスタに分類することで、ドライバの運転意図が反映された類似運転時画像を検索することができる。
【００１７】
また、前記検索手段は、前記第１の時系列の識別情報と前記第２の時系列の識別情報との類似度に加え、前記対象データ内の運転データと、前記複数の学習用データ内の運転データの各々との類似度に基づいて、前記運転時画像を検索するようにすることができる。これにより、検索精度が向上する。
【００１８】
また、本発明の類似運転時画像検索プログラムは、コンピュータを、運転時の車両周辺を予め撮影して得られた複数の運転時画像と、該運転時画像の各々に対応付けられた複数の異なる時系列の運転データとを含む複数の学習用データの各々の運転データを、学習により複数のクラスタに分類し、該クラスタの各々に参照プロファイルの各参照クラスタと対応させた識別情報を付与したプロファイルを生成する生成手段、前記生成手段により生成されたプロファイルに含まれるクラスタであって、前記複数の学習用データ内の運転データの各々が属するクラスタに基づいて、前記複数の学習用データ内の運転データの各々を第１の時系列の識別情報の各々に変換する第１の変換手段、変換された前記第１の時系列の識別情報の各々と前記運転時画像の各々とを対応させて運転時画像記憶手段に記憶するよう制御する記憶制御手段、前記生成手段により生成されたプロファイルに含まれるクラスタであって、運転時の車両周辺を予め撮影して得られた運転時画像と、該運転時画像に対応付けられた複数の異なる時系列の運転データとを含む対象データ内の運転データが属するクラスタに基づいて、前記対象データ内の運転データを第２の時系列の識別情報に変換する第２の変換手段、及び前記第２の時系列の識別情報と、前記第１の時系列の識別情報の各々との類似度に基づいて、前記第１の時系列の識別情報に対応して前記運転時画像記憶手段に記憶された運転時画像を検索する検索手段として機能させるためのプログラムである。
【００１９】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２０】
以上説明したように、本発明の類似運転時画像検索装置及びプログラムによれば、運転データをクラスタに分類して、参照プロファイルと対応付けられて生成されたプロファイルを用いて、運転データを時系列の識別情報に変換することで、運転データが抽象化されて、運転行動の意図が考慮された時系列の識別情報を得ることができる。このように変換された第２の時系列の識別情報と、記憶された運転時画像に対応付けられた第１の時系列の識別情報との類似度から類似運転時画像を検索するため、類似する運転場面の運転時画像を精度良く検索することができる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施の形態に係る類似運転時画像検索装置の構成を示す概略図である。
【図２】第１の実施の形態の学習処理ルーチンの内容を示すフローチャートである。
【図３】運転データのクラスタ化、及びクラスタの対応付けを説明するための図である。
【図４】プロファイルＤＢの一例を示す図である。
【図５】運転データからモード系列への変換を説明するための図である。
【図６】第１の実施の形態の検索処理ルーチンの内容を示すフローチャートである。
【図７】第２の実施の形態に係る類似運転時画像検索装置の構成を示す概略図である。
【図８】第２の実施の形態の学習処理ルーチンの内容を示すフローチャートである。
【図９】第２の実施の形態の検索処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の類似運転時画像検索装置の実施の形態を詳細に説明する。
【００２３】
図１に示すように、第１の実施の形態に係る類似運転時画像検索装置１０は、学習用データ及び対象データを入力するための入力装置２０、入力された学習用データを学習してプロファイルを生成し、また、入力された対象データに類似する運転場面の運転時画像を検索する処理を実行するコンピュータ３０、及び検索結果を表示するための表示装置４０を備えている。
【００２４】
入力装置２０は、マウスやキーボード等の入力デバイス、スキャナ等の読取装置で構成されている。また、可搬性記録媒体に記録されたデータを読み込むための読込装置や、ネットワークを介して接続された外部装置に記憶されたデータを入力するためのインターフェースであってもよい。
【００２５】
コンピュータ３０は、類似運転時画像検索装置１０全体の制御を司るＣＰＵ、後述する学習処理及び検索処理のプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、後述するプロファイルデータベース（ＤＢ）及び運転時画像ＤＢ等が記憶される記憶手段としてのＨＤＤ、並びにこれらを相互に接続するバスを含んで構成されている。
【００２６】
このコンピュータ３０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、入力装置２０から入力された学習用データを学習して、類似運転時画像の検索時に用いるプロファイルを生成する学習部５０、及び入力された対象データに類似する運転場面の運転時画像を検索する検索部７０を含んだ構成で表すことができる。
【００２７】
なお、ここでは、学習部５０及び検索部７０を１つのコンピュータ３０で構成した場合について説明するが、それぞれ別のコンピュータで構成するようにしてもよい。
【００２８】
学習部５０は、運転時の車両周辺を予め撮影して得られた運転時画像と、その運転時画像に対応付けられた運転データを含む学習用データが記憶される学習用データＤＢ５４、学習用データ内の運転データを学習してプロファイルを生成するプロファイル生成部５６、生成されたプロファイルが記憶されるプロファイルＤＢ５８、学習用データ内の運転データをプロファイルに基づいてモード系列に変換する第１の変換部６０、及びモード系列と運転時画像とが対応して記憶される運転時画像ＤＢ６２を含んだ構成で表すことができる。
【００２９】
学習用データは、時刻ｔ毎に１フレームずつ撮影された時刻０〜Ｔの間のＴフレーム分の運転時の動画像（運転時画像）と、同じく時刻ｔ毎に時刻０〜Ｔの間に検出された運転データとを対応付けたものである。ここでは、運転データとして、先行車両との相対速度及び車間距離を用いる。学習用データＤＢ５４には、複数の学習用データが記憶される。
【００３０】
検索部７０は、運転時画像と運転データとが対応した対象データ内の運転データを、学習部５０のプロファイルＤＢ５８に記憶されたプロファイルに基づいてモード系列に変化する第２の変換部７２、及び変換されたモード系列と学習部５０の運転時画像ＤＢ６２に記憶されたモード系列とに基づいて、対象データに類似する運転場面の運転時画像を検索する類似運転時画像検索部７４を含んだ構成で表すことができる。
【００３１】
対象データは、学習用データと同様の運転データと運転時画像とを対応付けたものである。
【００３２】
次に、図２を参照して、第１の実施の形態の学習処理について説明する。学習処理は、下記ステップ１００〜１０４で詳細に説明するモード学習の処理と、下記ステップ１０６〜１１４で詳細に説明するモード対応付けの処理を含む。モード学習の処理とは、運転データを学習してクラスタに分類する処理であり、モード対応付けの処理とは、他のドライバのプロファイルと対応させて、クラスタ毎に識別情報であるモードを対応させる処理である。
【００３３】
ステップ１００で、複数の学習用データを入力し、学習用データの各々をドライバ毎に学習用データＤＢ５４に記憶する。
【００３４】
次に、ステップ１０２で、学習用データＤＢ５４に記憶された学習用データ内の特定のドライバ（ここではドライバａとする）の運転データを抽出し、図３に示すように、相対速度及び車間距離の２次元空間にプロットする。
【００３５】
次に、ステップ１０４で、プロットされた複数の運転データを、予め定めた数（ここでは、３つ）のクラスタに分類すると共に、クラスタ毎のパラメータを演算する。具体的には、クラスタ化の処理として、ここでは公知のＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）を用い、ＥＭアルゴリズム（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を用いて、下記（１）式を最大化するパラメータ（平均ベクトルμ、分散ベクトルΣ、混合重み係数ｗ）を演算する。
【００３６】
【数１】
【００３７】
ただし、ｘｔは時刻ｔにおける運転データ、Ｔはドライバａの運転データの総数、Ｄは運転データの次元数（ここでは２）、及びＭはクラスタの数（ここでは３）である。
【００３８】
次に、ステップ１０６で、変数ｋｍｉｎに”∞”をセットする。次に、ステップ１０８で、プロファイルＤＢ５８に記憶されているドライバａ以外のドライバのプロファイルを用いて、上記ステップ１０４で分類されたクラスタの各々と、他のドライバのプロファイルのモードの各々との分布間の距離として、下記（２）式に示すｋを演算する。ここでは、分布間の距離として、ＫＬ（ｋｕｌｌｂｕｃｋ-ｌｅｉｂｌｅｒ）情報量を用いる。ＫＬ情報量は、分布間の相違度が大きい程、大きな値を示す情報量である。
【００３９】
【数２】
【００４０】
ただし、Ｎ（μ，σ）はガウス分布であり、ｉはドライバａの運転データの分布、及びｊは他のドライバのプロファイルの分布であることを表す。
【００４１】
次に、ステップ１１０で、演算されたｋが変数ｋｍｉｎより小さいか否かを判定する。ｋ＜ｋｍｉｎの場合には、ステップ１１２へ移行し、変数ｋｍｉｎを、上記ステップ１０８で演算されたｋの値に置き換えると共に、変数ｃに組み合わせ｛ｉ，ｊ｝を代入して、ステップ１１４へ移行する。一方、ｋ≧ｋｍｉｎの場合には、そのままステップ１１４へ移行する。
【００４２】
ステップ１１４では、他のドライバのプロファイルとの全ての組合せについて処理が終了したか否かを判定する。まだ未処理の組合せがある場合には、ステップ１０８へ戻って、次の組み合わせを選択して、上記ステップ１０８〜１１２の処理を繰り返す。一方、全ての組み合わせについて処理が終了した場合には、ステップ１１６へ移行する。
【００４３】
ステップ１１６では、変数ｃに代入されている組み合わせ｛ｉ，ｊ｝に基づいて、図３に示すように、他のドライバのプロファイルのモードを各々のクラスタに対応付けて、ドライバａのプロファイルとしてプロファイルＤＢ５８に格納する。図３の例では、ドライバａのクラスタ１、クラスタ２、及びクラスタ３は、それぞれモードＣ、モードＢ、及びモードＡが対応付けられる。プロファイルＤＢ５８には、図４に示すように、ドライバ毎に各モードのパラメータ（平均及び分散）を格納する。
【００４４】
次に、ステップ１１８で、図５に示すように、ドライバａのプロファイルに基づいて、時刻ｔで検出された運転データの各々が、上記ステップ１１６で格納したドライバａのプロファイルのどのモードに属しているかを判定し、時刻０〜Ｔの間の時系列の運転データを、時刻０〜Ｔの間の時系列のモードの情報（モード系列）に変換する。
【００４５】
次に、ステップ１２０で、モード系列と、そのモード系列の元になった運転データに対応する運転時画像とを対応付けて運転時画像ＤＢ６２に格納して、処理を終了する。
【００４６】
次に、図６を参照して、第１の実施の形態の検索処理について説明する。
【００４７】
ステップ２００で、対象データを入力し、次に、ステップ２０２で、入力された対象データ内の運転データを抽出する。
【００４８】
次に、ステップ２０４で、運転データからドライバを特定し、特定されたドライバのプロファイルをプロファイルＤＢ５８から選択して読み出す。ドライバの特定は、運転データにドライバを識別するための情報を付与し、この情報に基づいて特定するようにしてもよいし、上記学習処理で述べたのと同様の手法で運転データをクラスタに分類して、各クラスタのパラメータとプロファイルのパラメータとを比較して特定してもよい。
【００４９】
次に、ステップ２０６で、上記学習処理のステップ１１８と同様の処理により、時系列の運転データを、時刻０〜Ｔの間のモード系列ｍに変換する。
【００５０】
次に、ステップ２０８で、変数ｓｍａｘに”−∞”をセットする。次に、ステップ２１０で、運転時画像ＤＢ５８に運転時画像に対応して記憶されているモード系列ｄａｔａ（ｉ）（第１のモード系列）と、上記ステップ２０６で出力されたモード系列ｍ（第２のモード系列）の類似度ｓを演算する。ここで、ｉは１〜Ｘであり、Ｘは運転時画像ＤＢに記憶されている運転時画像の数（すなわちモード系列の数）である。ここでは、文字列の近接度の計算によく用いられるレーベンシュタイン距離（ＬＤ：Ｌｅｖｅｎｓｈｔｅｉｎ Ｄｉｓｔａｎｃｅ）を用いた類似度ｓを演算する。類似度ｓは、ＬＤが近いほど大きな値となるようにする。
【００５１】
次に、ステップ２１２で、演算されたｓが変数ｓｍａｘより大きいか否かを判定する。ｓ＞ｓｍａｘの場合には、ステップ２１４へ移行し、変数ｓｍａｘを、上記ステップ２１０で演算されたｓの値に置き換えると共に、変数ｉｍａｘにｉを代入して、ステップ２１６へ移行する。一方、ｓ≦ｓｍａｘの場合には、そのままステップ２１６へ移行する。
【００５２】
ステップ２１６では、運転時画像ＤＢ６２に記憶されているＸ個のモード系列の全てについて処理が終了したか否かを判定する。まだ未処理のモード系列がある場合には、ステップ２１０へ戻って、次のモード系列を選択して、上記ステップ２１０〜２１４の処理を繰り返す。一方、全てのモード系列について処理が終了した場合には、ステップ２１８へ移行する。
【００５３】
ステップ２１８では、モード系列ｄａｔａ（ｉｍａｘ）に対応して記憶されている運転時画像を、対象データの運転場面に類似する運転時画像として出力して、処理を終了する。
【００５４】
以上説明したように、第１の実施の形態の類似運転時画像検索装置１０によれば、運転データをクラスタに分類して、他のドライバのプロファイルと対応付けられて生成されたプロファイルを用いて、運転データをモード系列に変換することで、運転データが抽象化されて、運転行動の意図が考慮されたモード系列を得ることができる。このように変換された第２のモード系列と、記憶された運転時画像に対応付けられた第１のモード系列との類似度から類似運転時画像を検索するため、類似する運転場面の運転時画像を精度良く検索することができる。
【００５５】
なお、第１の実施の形態では、モード系列の類似度の演算に、レーベンシュタイン距離を用いる場合について説明したが、これに限定されない。例えば、時刻０〜Ｔのモード系列における各モードの出現頻度を表すヒストグラムを生成し、このヒストグラムの類似度を用いて類似運転時画像を検索してもよい。具体的には、ヒストグラムのビンｉのデータ数をｆｉとすると、ドライバＡの運転データを変換したモード系列のヒストグラム｛ｆＡ１／ΣｆＡｎ，ｆＡ２／ΣｆＡｎ，ｆＡ３／ΣｆＡｎ，・・・｝と、ドライバＢの運転データを変換したモード系列のヒストグラム｛ｆＢ１／ΣｆＢｎ，ｆＢ２／ΣｆＢｎ，ｆＢ３／ΣｆＢｎ，・・・｝との相関値を類似度として用いたり、ｆｉ／Σｆｎを確率値とみなして情報量を算出したりしてもよい。なお、ΣｆｎはＴ秒間のモードのデータ総数である。
【００５６】
また、第１の実施の形態では、最も類似する運転時画像を検索する場合について説明したが、類似度が所定値以上となるものを全て提示したり、類似度の高い順に所定順位（例えば、トップテン）までのものを提示したりしてもよい。
【００５７】
次に、第２の実施の形態について説明する。第２の実施の形態では、入力された対象データが、通常時に取得されたものか危険運転時に取得されたものかを判別した上で、類似運転時画像を検索する点が、第１の実施の形態とは異なる。なお、第１の実施の形態の類似運転時画像検索装置１０と同様の構成及び処理については、同一の符号を付して説明を省略する。
【００５８】
図７に示すように、第２の実施の形態の類似運転時画像検索装置２１０のコンピュータ３０は、学習部２５０及び検索部２７０を含んだ構成で表すことができる。
【００５９】
学習部２５０は、第１の実施の形態の学習部５０の構成に加えて、対象データが取得されたのが通常時か危険運転時かの判別をするための判別モデルを生成する判別モデル生成部２６４、及び生成された判別モデルが記憶される判別モデル記憶部２６６を含んだ構成で表すことができる。また、運転時画像ＤＢ２６２には、通常時の運転時画像と危険運転時の運転時画像とが分類されて記憶されている。
【００６０】
検索部２７０は、第１の実施の形態の検索部７０に加えて、判別モデル記憶部２６６に記憶された判別モデルに基づいて、対象データが取得されたのが通常時か危険運転時かを判別する判別部２７６を含んだ構成で表すことができる。また、類似運転時画像検索部２７４は、判別部２７６での判別結果に応じて、通常時の運転時画像または危険運転時の運転時画像から類似運転時画像を検索する。
【００６１】
次に、図８を参照して、第２の実施の形態の学習処理について説明する。
【００６２】
ステップ３００で、通常時に取得された運転時画像、及びその運転時画像に対応する運転データを含む通常時の学習用データと、危険運転時に取得された運転時画像、及びその運転時画像に対応する運転データを含む危険運転時の学習用データとを入力し、学習用データＤＢ５４に記憶する。
【００６３】
ステップ１０２〜１１８で、第１の実施の形態と同様に、学習用データ内の運転データを用いてプロファイルを生成し、運転データをモード系列に変換する。
【００６４】
次に、ステップ３０２で、モード系列と運転時画像とを対応させて、運転時画像ＤＢ２６２へ格納する。この際、通常時の学習用データ内の運転データを変換したモード系列と対応させる運転時画像は通常時の運転時画像として、危険運転時の学習用データ内の運転データを変換したモード系列と対応させる運転時画像は危険運転時の運転時画像として、それぞれ分類して格納する。
【００６５】
次に、ステップ３０４で、運転時画像に対応しているモード系列の各々について、時刻０〜Ｔのモード系列における各モードの出現頻度を表すヒストグラムを生成する。通常時の運転時画像に対応しているモード系列の各々について生成されたヒストグラムを通常時のヒストグラム、危険運転時の運転時画像に対応しているモード系列の各々について生成されたヒストグラムを危険運転時のヒストグラムという。これらのヒストグラムを判別モデルとして、判別モデル記憶部２６６に記憶する。
【００６６】
次に、図９を参照して、第２の実施の形態の検索処理について説明する。
【００６７】
ステップ２００〜２０６で、第１の実施の形態と同様に、対象データ内の運転データをモード系列ｍに変換する。
【００６８】
次に、ステップ４００で、時刻０〜Ｔのモード系列ｍにおける各モードの出現頻度を表すヒストグラムを生成する。
【００６９】
次に、ステップ４０２で、モード系列ｍのヒストグラムと判別モデルである通常時のヒストグラムとの類似度、及びモード系列ｍのヒストグラムと判別モデルである危険運転時のヒストグラムとの類似度をそれぞれ演算する。具体的には、第１の実施の形態のモード系列の類似度の演算の他の例で説明したのと同様に、モード系列ｍのヒストグラムと、通常時または危険運転時のヒストグラムの各々との相関値を類似度として用いたり、ｆｉ／Σｆｎを確率値とみなして情報量を算出したりすればよい。なお、ｆｉはヒストグラムのビンｉのデータ数、及びΣｆｎはＴ秒間のモードのデータ総数である。
【００７０】
次に、ステップ４０４で、モード系列ｍのヒストグラムが、通常時のヒストグラム及び危険運転時のヒストグラムのいずれにより類似しているかを判定する。この判定は、上記ステップ４０２で演算されたモード系列ｍのヒストグラムと通常時のヒストグラムの各々との類似度、モード系列ｍのヒストグラムと危険運転時のヒストグラムの各々との類似度のそれぞれについての平均値、最大値、最小値等を用いて判定するとよい。通常時のヒストグラムに類似していると判定された場合には、ステップ４０６へ移行し、危険運転時のヒストグラムに類似していると判定された場合には、ステップ４０８へ移行する。
【００７１】
ステップ４０６では、運転時画像ＤＢ２６２に通常時の運転時画像として記憶されている運転時画像を類似運転時画像として出力する。一方、ステップ４０８では、運転時画像ＤＢ２６２に危険運転時の運転時画像として記憶されている運転時画像を類似運転時画像として出力する。
【００７２】
以上説明したように、第２の実施の形態の類似運転時画像検索装置１０によれば、運転データをクラスタに分類して、他のドライバのプロファイルと対応付けられて生成されたプロファイルを用いて、運転データをモード系列に変換するため、運転データが抽象化されて、運転行動の意図が考慮されたモード系列を得ることができる。また、このモード系列のヒストグラムを用いて通常時か危険運転時かを判別するため、類似する運転場面の運転時画像を精度良く検索することができる。
【００７３】
なお、第２の実施の形態では、通常時と判別された場合には、通常時の運転時画像の全て、危険運転時と判別された場合には、危険運転時の運転時画像の全てを出力する場合について説明したが、第１の実施の形態と同様に、モード系列の類似度ｓ（ｓ＝ＬＤ）を演算して、通常時か危険運転時かの判別結果に応じて、複数の通常時の運転時画像、または複数の危険運転時の運転時画像の中から、類似度ｓが最大のもの等を選択して出力するようにしてもよい。
【００７４】
また、第１及び第２の実施の形態では、プロファイルの学習方法としてＧＭＭを用いる場合について説明したが、これに限定されない。例えば、下記のような手法を用いることができる。
【００７５】
ドライバＡのプロファイルを、「Ｃｎ＝｛μｎ，Σｎ｝，ｎ＝１：Ｎ」で表されるＮ個のクラスタからなるプロファイルとする。なお、μｎはクラスタＣｎの分布の重心または平均、Σｎは共分散行列である。そして、ドライバＢの運転データから求まる特徴量ベクトルを｛ｘ１’，ｘ２’・・・ｘＴ’｝とする。なお、ｘｔ’は時刻ｔにおける特徴量ベクトル、Ｔは運転データの総数である。
【００７６】
次に、ｘｔ’とクラスタＣｎとの距離「ｄ（ｔ，ｎ）＝ｄｉｓｔ（ｘｔ’，Ｃｎ）」を演算する。距離は、例えばユークリッド距離やマハラノビス距離等を用いることができる。そして、下記式に従って、ｘｔ’との距離ｄ（ｔ，ｎ）が最小となるクラスタ（Ｃ’）の分布の重心を更新する。
【００７７】
Ｃ’＝ａｒｇｍｉｎｄ（ｔ，ｎ）
μＣ’’＝（１−ε）μＣ’＋εｘｔ’
なお、εは重み係数ε＝１／Ｋであり、ＫはドライバＡの運転データの総数である。そして、下記式により評価値Ｅを演算し、Ｅが収束するまで上記処理を繰り返し、更新されたクラスタをドライバＢのプロファイルとする。
【００７８】
【数３】
【００７９】
また、第１及び第２の実施の形態では、運転データを３つのクラスタに分類する場合について説明した。これは、運転行動または運転意図として、例えば、「加速」、「減速」、及び「定常走行」を想定した場合に、運転データがこれらの運転行動または運転意図を反映してクラスタに分類されるようにしたものである。従って、異なる運転場面を想定した場合には、それに応じてクラスタの数を変更するようにする。例えば、危険回避走行時の場合、運転意図として「危険回避」、「回避準備」、「加速追従」、及び「回避直後」が想定されるのであれば、４つのクラスタに分類されるように設定すればよい。また、これらの運転場面や運転意図に応じて、適切な運転データを用いるとよい。
【００８０】
より具体的に、交通事故の多くを占める追突事故に関連した追従走行時の運転場面に特化した場合についてみると、運転意図として「巡航」、「加速」、「通常減速」、及び「急減速」の少なくとも４つを含むと考えられる。そこで、運転データを４つのモードを用いたモード系列に変換するために、運転データの分布を４つのクラスタに分類する。なお、クラスタに分類して、他のドライバのプロファイルなどの参照プロファイルと対応させることにより、それぞれのクラスタが、上記「巡航」、「加速」、「通常減速」、及び「急減速」という運転意図が反映されたモードに対応付けられる。
【００８１】
また、それぞれの運転意図は、自車加速度及びブレーキタイミングを決定する指標として知られるＴＴＣ（Ｔｉｍｅ−Ｔｏ−Ｃｏｌｌｉｓｉｏｎ：先行車間距離と相対距離で除した値）によって決定されると仮定すると、運転データとしては、自車加速度、先行車間距離、及び相対車速を用いればよい。
【００８２】
ここで、個々人によって、減速時の平均速度が異なることが知られている。すなわち、ドライバＡは、通常の平均減速度Ｄａ＞平均急減速度Ｈａであるが、ドライバＢは、通常の平均減速度Ｄｂ＜平均急減速度Ｈｂであるような場合がある。ここで、ＨａがＤｂに近いような場合、すなわち、ドライバＡはあまり強く急減速しないタイプであり、ドライバＢは通常時から比較的強めにブレーキを踏むタイプであるような場合、直接運転データの値を比較すると、ドライバＡが追突回避のために急減速をした運転データと、ドライバＢの通常のブレーキ時の運転データとが類似していると判断される可能性がある。
【００８３】
そこで、上記のような運転意図を反映したモードを用いて、運転データをモード系列に変換することにより、同じ運転データでも、ドライバＡの運転データはモード「急減速」、ドライバＢの運転データはモード「通常減速」に変換されるため、運転意図が異なるにもかかわらず類似する運転場面であると判断されることを防止することができる。
【００８４】
また、第１及び第２の実施の形態では、モード系列を用いて運転場面の類似する類似運転時画像を検索する場合について説明したが、モード系列による類似度演算に加えて、対象データ内の運転データも類似度の演算に用いるようにしてもよい。この場合、運転時画像ＤＢに記憶される運転時画像には、モード系列だけでなく、学習用データ内の運転データも対応付けて記憶しておくとよい。そして、類似度を演算する際には、モード系列の類似度と運転データの類似度との和や積を総合の類似度として用いることができる。運転データの類似度には、対応する運転データ同士の各ベクトル間の距離の総和を用いたり、時刻０〜Ｔの間の時系列の運転データを周波数分析した結果を用いたりすることができる。
【００８５】
また、第１及び第２の実施の形態では、運転データとして、相対車速及び車間距離を用いる場合について説明したが、運転場面に応じて、アクセル踏み込み度、ブレーキ踏み込み度等を用いてもよいし、また、これらのｎ次（ｎは自然数）の微分値を用いてもよい。
【符号の説明】
【００８６】
１０、２１０ 類似運転時画像検索装置
２０ 入力装置
３０ コンピュータ
４０ 表示装置
５０、２５０ 学習部
５６ プロファイル生成部
６０ 第１の変換部
７０、２７０ 検索部
７２ 第２の変換部
７４、２７４ 類似運転時画像検索部
２６４ 判別モデル生成部
２６６ 判別モデル記憶部
【特許請求の範囲】
【請求項１】
運転時の車両周辺を予め撮影して得られた複数の運転時画像と、該運転時画像の各々に対応付けられた複数の異なる時系列の運転データとを含む複数の学習用データの各々の運転データを、学習により複数のクラスタに分類し、該クラスタの各々に参照プロファイルの各参照クラスタと対応させた識別情報を付与したプロファイルを生成する生成手段と、
前記生成手段により生成されたプロファイルに含まれるクラスタであって、前記複数の学習用データ内の運転データの各々が属するクラスタに基づいて、前記複数の学習用データ内の運転データの各々を第１の時系列の識別情報の各々に変換する第１の変換手段と、
変換された前記第１の時系列の識別情報の各々と前記運転時画像の各々とを対応させて記憶した運転時画像記憶手段と、
前記生成手段により生成されたプロファイルに含まれるクラスタであって、運転時の車両周辺を予め撮影して得られた運転時画像と、該運転時画像に対応付けられた複数の異なる時系列の運転データとを含む対象データ内の運転データが属するクラスタに基づいて、前記対象データ内の運転データを第２の時系列の識別情報に変換する第２の変換手段と、
前記第２の時系列の識別情報と、前記第１の時系列の識別情報の各々との類似度に基づいて、前記第１の時系列の識別情報に対応して前記運転時画像記憶手段に記憶された運転時画像を検索する検索手段と、
を含む類似運転時画像検索装置。
【請求項２】
前記生成手段は、ドライバ毎に予め用意された前記学習用データに基づいて、ドライバ毎に運転データをクラスタに分類し、前記参照プロファイルとして先に生成された他のドライバのプロファイルを用いて、ドライバ毎のプロファイルを生成する請求項１記載の類似運転時画像検索装置。
【請求項３】
前記第２の変換手段は、前記対象データに基づいてドライバを特定し、該ドライバに対応するプロファイルを用いて変換する請求項２記載の類似運転時画像検索装置。
【請求項４】
通常時に取得された学習用データ、及び危険運転時に取得された学習用データに基づいて、対象データが取得されたのが通常時か危険運転時かを判別するための判別モデルを生成する判別モデル生成手段と、
前記判別モデル生成手段で生成された判別モデルに基づいて、前記対象データが取得されたのが通常時か危険運転時かを判別する判別手段と、を含み、
前記運転時画像記憶手段には、通常時の運転時画像と危険運転時の運転時画像とが記憶され、
前記検索手段は、前記判別手段で通常時と判別された場合には、前記通常時の運転時画像から類似運転時画像を検索し、危険運転時と判別された場合には、前記危険運転時の運転時画像から類似運転時画像を検索する
請求項１〜請求項３のいずれか１項記載の類似運転時画像検索装置。
【請求項５】
前記複数の異なる時系列の運転データを、車速、車間距離、アクセル踏み込み度、ブレーキ踏み込み度、前記車速のｎ次の微分値、前記車間距離のｎ次の微分値、前記アクセル踏み込み度のｎ次の微分値、及び前記ブレーキ踏み込み度のｎ次の微分値から選択した少なくとも２つとした請求項１〜請求項４のいずれか１項記載の類似運転時画像検索装置。
【請求項６】
前記生成手段は、前記運転データを３つのクラスタに分類し、該クラスタの各々の前記識別情報を、加速、減速、及び定常走行としたプロファイルを生成する請求項１〜請求項５のいずれか１項記載の類似運転時画像検索装置。
【請求項７】
前記検索手段は、前記第１の時系列の識別情報と前記第２の時系列の識別情報との類似度に加え、前記対象データ内の運転データと、前記複数の学習用データ内の運転データの各々との類似度に基づいて、前記運転時画像を検索する請求項１〜請求項６のいずれか１項記載の類似運転時画像検索装置。
【請求項８】
コンピュータを、
運転時の車両周辺を予め撮影して得られた複数の運転時画像と、該運転時画像の各々に対応付けられた複数の異なる時系列の運転データとを含む複数の学習用データの各々の運転データを、学習により複数のクラスタに分類し、該クラスタの各々に参照プロファイルの各参照クラスタと対応させた識別情報を付与したプロファイルを生成する生成手段、
前記生成手段により生成されたプロファイルに含まれるクラスタであって、前記複数の学習用データ内の運転データの各々が属するクラスタに基づいて、前記複数の学習用データ内の運転データの各々を第１の時系列の識別情報の各々に変換する第１の変換手段、
変換された前記第１の時系列の識別情報の各々と前記運転時画像の各々とを対応させて運転時画像記憶手段に記憶するよう制御する記憶制御手段、
前記生成手段により生成されたプロファイルに含まれるクラスタであって、運転時の車両周辺を予め撮影して得られた運転時画像と、該運転時画像に対応付けられた複数の異なる時系列の運転データとを含む対象データ内の運転データが属するクラスタに基づいて、前記対象データ内の運転データを第２の時系列の識別情報に変換する第２の変換手段、及び
前記第２の時系列の識別情報と、前記第１の時系列の識別情報の各々との類似度に基づいて、前記第１の時系列の識別情報に対応して前記運転時画像記憶手段に記憶された運転時画像を検索する検索手段
として機能させるための類似運転時画像検索プログラム。
【請求項９】
コンピュータを、請求項１〜請求項７のいずれか１項記載の類似運転時画像検索装置を構成する各手段として機能させるための類似運転時画像検索プログラム。
【請求項１】
運転時の車両周辺を予め撮影して得られた複数の運転時画像と、該運転時画像の各々に対応付けられた複数の異なる時系列の運転データとを含む複数の学習用データの各々の運転データを、学習により複数のクラスタに分類し、該クラスタの各々に参照プロファイルの各参照クラスタと対応させた識別情報を付与したプロファイルを生成する生成手段と、
前記生成手段により生成されたプロファイルに含まれるクラスタであって、前記複数の学習用データ内の運転データの各々が属するクラスタに基づいて、前記複数の学習用データ内の運転データの各々を第１の時系列の識別情報の各々に変換する第１の変換手段と、
変換された前記第１の時系列の識別情報の各々と前記運転時画像の各々とを対応させて記憶した運転時画像記憶手段と、
前記生成手段により生成されたプロファイルに含まれるクラスタであって、運転時の車両周辺を予め撮影して得られた運転時画像と、該運転時画像に対応付けられた複数の異なる時系列の運転データとを含む対象データ内の運転データが属するクラスタに基づいて、前記対象データ内の運転データを第２の時系列の識別情報に変換する第２の変換手段と、
前記第２の時系列の識別情報と、前記第１の時系列の識別情報の各々との類似度に基づいて、前記第１の時系列の識別情報に対応して前記運転時画像記憶手段に記憶された運転時画像を検索する検索手段と、
を含む類似運転時画像検索装置。
【請求項２】
前記生成手段は、ドライバ毎に予め用意された前記学習用データに基づいて、ドライバ毎に運転データをクラスタに分類し、前記参照プロファイルとして先に生成された他のドライバのプロファイルを用いて、ドライバ毎のプロファイルを生成する請求項１記載の類似運転時画像検索装置。
【請求項３】
前記第２の変換手段は、前記対象データに基づいてドライバを特定し、該ドライバに対応するプロファイルを用いて変換する請求項２記載の類似運転時画像検索装置。
【請求項４】
通常時に取得された学習用データ、及び危険運転時に取得された学習用データに基づいて、対象データが取得されたのが通常時か危険運転時かを判別するための判別モデルを生成する判別モデル生成手段と、
前記判別モデル生成手段で生成された判別モデルに基づいて、前記対象データが取得されたのが通常時か危険運転時かを判別する判別手段と、を含み、
前記運転時画像記憶手段には、通常時の運転時画像と危険運転時の運転時画像とが記憶され、
前記検索手段は、前記判別手段で通常時と判別された場合には、前記通常時の運転時画像から類似運転時画像を検索し、危険運転時と判別された場合には、前記危険運転時の運転時画像から類似運転時画像を検索する
請求項１〜請求項３のいずれか１項記載の類似運転時画像検索装置。
【請求項５】
前記複数の異なる時系列の運転データを、車速、車間距離、アクセル踏み込み度、ブレーキ踏み込み度、前記車速のｎ次の微分値、前記車間距離のｎ次の微分値、前記アクセル踏み込み度のｎ次の微分値、及び前記ブレーキ踏み込み度のｎ次の微分値から選択した少なくとも２つとした請求項１〜請求項４のいずれか１項記載の類似運転時画像検索装置。
【請求項６】
前記生成手段は、前記運転データを３つのクラスタに分類し、該クラスタの各々の前記識別情報を、加速、減速、及び定常走行としたプロファイルを生成する請求項１〜請求項５のいずれか１項記載の類似運転時画像検索装置。
【請求項７】
前記検索手段は、前記第１の時系列の識別情報と前記第２の時系列の識別情報との類似度に加え、前記対象データ内の運転データと、前記複数の学習用データ内の運転データの各々との類似度に基づいて、前記運転時画像を検索する請求項１〜請求項６のいずれか１項記載の類似運転時画像検索装置。
【請求項８】
コンピュータを、
運転時の車両周辺を予め撮影して得られた複数の運転時画像と、該運転時画像の各々に対応付けられた複数の異なる時系列の運転データとを含む複数の学習用データの各々の運転データを、学習により複数のクラスタに分類し、該クラスタの各々に参照プロファイルの各参照クラスタと対応させた識別情報を付与したプロファイルを生成する生成手段、
前記生成手段により生成されたプロファイルに含まれるクラスタであって、前記複数の学習用データ内の運転データの各々が属するクラスタに基づいて、前記複数の学習用データ内の運転データの各々を第１の時系列の識別情報の各々に変換する第１の変換手段、
変換された前記第１の時系列の識別情報の各々と前記運転時画像の各々とを対応させて運転時画像記憶手段に記憶するよう制御する記憶制御手段、
前記生成手段により生成されたプロファイルに含まれるクラスタであって、運転時の車両周辺を予め撮影して得られた運転時画像と、該運転時画像に対応付けられた複数の異なる時系列の運転データとを含む対象データ内の運転データが属するクラスタに基づいて、前記対象データ内の運転データを第２の時系列の識別情報に変換する第２の変換手段、及び
前記第２の時系列の識別情報と、前記第１の時系列の識別情報の各々との類似度に基づいて、前記第１の時系列の識別情報に対応して前記運転時画像記憶手段に記憶された運転時画像を検索する検索手段
として機能させるための類似運転時画像検索プログラム。
【請求項９】
コンピュータを、請求項１〜請求項７のいずれか１項記載の類似運転時画像検索装置を構成する各手段として機能させるための類似運転時画像検索プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１２３５５２（Ｐ２０１１−１２３５５２Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２７８５８２（Ｐ２００９−２７８５８２）
【出願日】平成２１年１２月８日（２００９．１２．８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、総務省、「運転センシングと理解に基づく次世代ドライブレコーダの研究開発」の委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月８日（２００９．１２．８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、総務省、「運転センシングと理解に基づく次世代ドライブレコーダの研究開発」の委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]