説明

走行場面認識モデル生成装置、運転支援装置、及びプログラム

【課題】予め認識したい物体が特定されていない場合においても、運転に必要な情報を残したまま、走行場面を圧縮する。
【解決手段】視線先画像抽出部34で、ドライバの視線方向に基づいて視線先画像を抽出し、特徴量A抽出部36で、視線先画像から特徴量リストAを生成し、特徴量B抽出部38で、外観環境画像全体から特徴量リストBを生成し、特徴量DB40に蓄積する。クラスタDB構築部42で、特徴量リストAをクラスタリングし、各クラスタの代表ベクトルをクラスタDB44に格納する。クラスタ別重みDB構築部46で、各クラスタにおける特徴量リストAの出現確率と特徴量リストBの出現確率との比に基づいて、クラスタ毎の重みを算出し、クラスタ別重みDB48に格納する。場面認識部52で、クラスタ毎の重みが閾値以上のクラスタに対する特徴量リストCのクラスタ別の出現頻度ヒストグラムを算出し、走行場面として認識する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、走行場面認識モデル生成装置、運転支援装置、及びプログラムに係り、特に、車両周辺を撮像した画像に基づいて、走行場面を認識するためのモデルを生成する走行場面認識モデル生成装置、認識された走行場面に基づいて運転支援を行う運転支援装置、及びこれらのプログラムに関する。
【背景技術】
【0002】
従来、画像から抽出される局所特徴量を用いて、物体を認識する手法が提案されている(例えば、非特許文献1参照)。非特許文献1の手法では、事前に大量に用意した各クラスタの学習画像からSIFT(Scale Invariant Feature Transform)特徴量を抽出し、ベクトル量子化を行い、クラスタ毎にベクトル量子化された特徴量(以下、visual wordという)のヒストグラムを用いて、各クラスタを識別するための識別機を作成し、未知入力画像がどのクラスタに属するかを識別することにより、物体を認識している。
【0003】
また、非特許文献1の手法では、事前に大量に用意した認識したい物体の学習データからHOG(Histograms of Oriented Gradients)特徴量を抽出し、統計的学習手法であるAdaBoostにより、対象物体とそれ以外の物体とを判別するための弱識別器を学習し、未知入力画像が対象物か否かを判定している。
【0004】
また、外界環境を撮像した画像のエッジ情報、動き情報、色情報等の特徴量を自己組織化マップにより次元圧縮した特徴量に基づき、自律的に外界環境の危険度を認識するオンラインリスク学習システムが提案されている(例えば、特許文献1参照)。
【0005】
また、利用者の注視回数を元に着目度を求め、画像をブロック化して圧縮することにより、利用者の意図を反映した処理、操作性の簡略化、重要な情報を失うことなく高画質、高圧縮を実現する注視点解析装置が提案されている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−238831号公報
【特許文献2】特開平4−282129号公報
【非特許文献】
【0007】
【非特許文献1】藤吉弘亘、「一般物体認識のための局所特徴量(SIFTとHOG)」、映像メディアシンポジウム
【発明の概要】
【発明が解決しようとする課題】
【0008】
上記の非特許文献1に記載の技術で用いられるSIFT特徴量は、物体の向きや大きさ、明るさの変化に対して頑健であると言われており、それにより構築したvisual wordを用いることで、未知入力画像が事前に用意した物体クラスタのどのクラスタに属するかを頑健に判定することができる。このSIFT特徴量を運転支援のための走行場面認識に適用する場合には、予め運転に必要な物体毎のクラスタや学習データを事前に用意する必要がある。これは、衝突警報システムや車線逸脱警報システム等の特定の運転支援システムを構築する場合には有用である。しかしながら、現在走行している状況が危険か否かを判定するシステム等や、脇見検出システム等の運転支援システムに適用する場合には、特定の物体ではなく、その場面で運転に必要となるもの全ての情報を抜け漏れなく抽出する必要があり、予め何をクラスタとしておけばよいかが自明ではない、という問題がある。
【0009】
また、非特許文献1に記載された技術に用いられるHOG特徴量は、特定の物体検出のための局所特徴量として非常に頑健であると言われており、予め認識したい物体がわかっている場合には、有用である。しかしながら、上記のSIFT特徴量の場合と同様に、特定の物体ではなく、その場面で運転に必要となるもの全ての情報を抜け漏れなく抽出する必要がある場合には、認識したい物体を予め与えることは困難である、という問題がある。
【0010】
また、特許文献1に記載の技術では、環境表現として画像のエッジ情報、動き情報、色情報等を特徴量として用いており、これらの特徴量は、事前にクラスタや学習データを用意しておく必要がなく、未知の物体や状況に対しても表現し得る可能性がある。しかしながら、これらの特徴量は、本質的には運転とは無関係であり、これらの特徴量により、走行場面を表現することは非常に困難である、という問題がある。
【0011】
また、特許文献2に記載の技術では、注視回数の総和による着目度を算出しているが、運転中においては、環境は時々刻々と変化するため、特定の物体を長時間注視するということは殆ど発生しないことから、注視回数によりその時の着目度を算出することは、走行場面においては適切でない、という問題がある。
【0012】
本発明は、上記の問題点を解決するためになされたもので、予め認識したい物体が特定されていない場合においても、運転に必要な情報を残したまま、走行場面を圧縮することができる走行場面認識モデル生成装置、運転支援装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0013】
上記目的を達成するために、第1の発明の走行場面認識モデル生成装置は、車両周辺の外界環境を撮像した外界環境画像、及びドライバの顔を含む領域を撮像した顔画像に基づいて、ドライバの視線方向を推定し、推定した視線方向に基づいて、前記外界環境画像からドライバの視線先を含む所定領域の視線先画像を抽出する視線先画像抽出手段と、前記視線先画像抽出手段により抽出された視線先画像から第1特徴量を抽出すると共に、前記外界環境画像全体から第2特徴量を抽出する生成用特徴量抽出手段と、前記生成用特徴量抽出手段により抽出された第1特徴量を複数のクラスタに分類し、該複数のクラスタで構成された前記車両の走行場面を認識するための第1モデルを生成する第1生成手段と、前記第1生成手段により生成された第1モデルに含まれるクラスタ各々における前記第1特徴量の出現頻度または出現確率と、前記クラスタ各々における前記第2特徴量の出現頻度または出現確率との比に基づいて、クラスタ毎の重みを算出し、該クラスタ毎の重みで構成され、かつ前記第1モデルと共に前記車両の走行場面を認識するための前記第2モデルを生成する第2生成手段と、を含んで構成されている。
【0014】
第1の発明の走行場面認識モデル生成装置によれば、視線先画像抽出手段が、車両周辺の外界環境を撮像した外界環境画像、及びドライバの顔を含む領域を撮像した顔画像に基づいて、ドライバの視線方向を推定し、推定した視線方向に基づいて、外界環境画像からドライバの視線先を含む所定領域の視線先画像を抽出する。そして、生成用特徴量抽出手段が、視線先画像抽出手段により抽出された視線先画像から第1特徴量を抽出すると共に、外界環境画像全体から第2特徴量を抽出する。次に、第1生成手段が、生成用特徴量抽出手段により抽出された第1特徴量を複数のクラスタに分類し、分類された複数のクラスタで構成された車両の走行場面を認識するための第1モデルを生成する。また、第2生成手段が、第1生成手段により生成された第1モデルに含まれるクラスタ各々における第1特徴量の出現頻度または出現確率と、クラスタ各々における第2特徴量の出現頻度または出現確率との比に基づいて、クラスタ毎の重みを算出し、該クラスタ毎の重みで構成され、かつ第1モデルと共に車両の走行場面を認識するための第2モデルを生成する。
【0015】
このように、ドライバの視線先画像から抽出された第1特徴量を分類したクラスタ、及び各クラスタにおける、視線先画像から抽出した第1特徴量の出現頻度または出現確率、及び外界環境画像全体から抽出した第2特徴量の出現頻度または出現確率に基づいて算出したクラスタ毎の重みを、車両の走行場面を認識するためのモデルとして生成するため、予め認識したい物体が特定されていない場合においても、運転に必要な情報を残したまま、走行場面を圧縮することができる。
【0016】
また、第1の発明の走行場面認識モデル生成装置は、さらに、前記外界環境画像における前記視線先画像と同一サイズの領域から第3特徴量を抽出し、該第3特徴量、前記第1モデル、及び前記第2モデルに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する生成用認識手段と、前記生成用認識手段により認識された走行場面と、前記外界環境画像が取得された際の車両の走行状態を示す信号とに基づいて、前記走行場面が特定の走行場面か否かを判定するための第3モデルを生成する第3生成手段と、を含んで構成することができる。
【0017】
また、第1の発明において、前記生成用認識手段は、前記クラスタ毎の重みが予め定めた閾値以上のクラスタに対する前記第3特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出することができる。
【0018】
また、第2の発明の運転支援装置は、前記外界環境画像における前記視線先画像と同一サイズの領域から、認識用特徴量を抽出する認識用特徴量抽出手段と、第1の発明の走行場面認識モデル生成装置により生成された第1モデル及び第2モデルと、前記認識用特徴量抽出手段により抽出された認識用特徴量とに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する判定用認識手段と、前記判定用認識手段により認識された走行場面に応じて、運転支援を行う支援手段と、を含んで構成することができる。
【0019】
また、第2の発明において、前記判定用認識手段は、前記クラスタ毎の重みが予め定めた閾値以上のクラスタに対する前記認識用特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出し、第1の発明の走行場面認識モデル生成装置により生成された第3モデル、前記判定用認識手段により認識された走行場面、及び前記外界環境画像が取得された際の車両の走行状態を示す信号に基づいて、前記走行場面が特定の走行場面か否かを判定する判定手段を含んで構成することができる。
【0020】
また、第3の発明の走行場面認識モデル生成装置は、車両周辺の外界環境を撮像した外界環境画像から所定領域の部分画像を抽出する部分画像抽出手段と、前記部分画像抽出手段により抽出された部分画像から第1特徴量を抽出する生成用特徴量抽出手段と、前記生成用特徴量抽出手段により抽出された第1特徴量を複数のクラスタに分類する分類手段と、前記分類手段により分類された複数のクラスタから、認識したい走行場面に応じた車両の走行状態を示す信号との関連性が高い複数のクラスタを選択し、選択された複数のクラスタで構成された前記車両の走行場面を認識するための第1モデルを生成する生成手段と、を含んで構成されている。
【0021】
第3の発明の走行場面認識モデル生成装置によれば、部分画像抽出手段が、車両周辺の外界環境を撮像した外界環境画像から所定領域の部分画像を抽出し、生成用特徴量抽出手段が、部分画像抽出手段により抽出された部分画像から第1特徴量を抽出する。そして、分類手段が、生成用特徴量抽出手段により抽出された第1特徴量を複数のクラスタに分類し、生成手段が、分類手段により分類された複数のクラスタから、認識したい走行場面に応じた車両の走行状態を示す信号との関連性が高い複数のクラスタを選択し、選択された複数のクラスタで構成された車両の走行場面を認識するための第1モデルを生成する。
【0022】
このように、外界環境画像における部分画像から抽出される第1特徴量を分類したクラスタのうち、走行状態を示す信号との関連性の高いクラスタを選択して、車両の走行場面を認識するためのモデルとして生成するため、予め認識したい物体が特定されていない場合においても、運転に必要な情報を残したまま、走行場面を圧縮することができる。
【0023】
また、第3の発明において、前記生成手段は、前記関連性を、劣モジュラ性を満たす関数を用いて算出することができる。また、前記劣モジュラ性を満たす関数を、相互情報量とすることができる。
【0024】
また、第3の発明において、前記生成手段は、既に選択されたクラスタの集合に、選択されていないクラスタを1つ加えた場合に、1つのクラスタが追加されたクラスタの集合と、前記走行状態を示す信号との関連性を算出し、該関連性が最も高くなるクラスタを追加して、新たな選択されたクラスタの集合とし、クラスタの集合に含まれる要素が予め定めた所定個となるまで、クラスタの追加及び前記関連性の算出を繰り返して、クラスタの選択を行うようにすることができる。
【0025】
また、第3の発明の走行場面認識モデル生成装置は、さらに、前記外界環境画像における前記部分画像と同一サイズの領域から第3特徴量を抽出し、該第3特徴量及び前記第1モデルに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する生成用認識手段と、前記生成用認識手段により認識された走行場面と、前記外界環境画像が取得された際の車両の走行状態を示す信号とに基づいて、前記走行場面が特定の走行場面か否かを判定するための第3モデルを生成する第3生成手段と、を含んで構成することができる。
【0026】
また、第3の発明において、前記生成用認識手段は、前記第1モデルに含まれるクラスタに対する前記第3特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出することができる。
【0027】
また、第4の発明の運転支援装置は、前記外界環境画像における前記部分画像と同一サイズの領域から、認識用の認識用特徴量を抽出する認識用特徴量抽出手段と、第3の発明の走行場面認識モデル生成装置により生成された第1モデルと、前記認識用特徴量抽出手段により抽出された認識用特徴量とに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する判定用認識手段と、前記判定用認識手段により認識された走行場面に応じて、運転支援を行う支援手段と、を含んで構成することができる。
【0028】
また、第4の発明において、前記判定用認識手段は、前記第1モデルに含まれるクラスタに対する前記認識用特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出し、第3の発明の走行場面認識モデル生成装置により生成された第3モデル、前記判定用認識手段により認識された走行場面、及び前記外界環境画像が取得された際の車両の走行状態を示す信号に基づいて、前記走行場面が特定の走行場面か否かを判定する判定手段を含んで構成することができる。
【0029】
また、第2の発明及び第4の発明において、前記判定手段は、前記車両の走行状態を示す信号として、該車両の前後加速度を取得し、前記特定の走行場面として、急減速の可能性がある走行場面か否かを判定し、前記支援手段は、前記判定手段により、急減速の可能性がある走行場面であると判定された場合に、警報を出力することができる。
【0030】
また、第5の発明の走行場面認識モデル生成プログラムは、コンピュータを、第1の発明または第3の発明の走行場面認識モデル生成装置を構成する各手段として機能させるためのプログラムである。
【0031】
また、第6の発明の運転支援プログラムは、コンピュータを、第2の発明または第4の発明の運転支援装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【0032】
以上説明したように、本発明の走行場面認識モデル生成装置、運転支援装置、及びプログラムによれば、ドライバの視線先画像から抽出された第1特徴量を分類したクラスタ、及び各クラスタにおける、視線先画像から抽出した第1特徴量の出現頻度または出現確率、及び外界環境画像全体から抽出した第2特徴量の出現頻度または出現確率に基づいて算出したクラスタ毎の重みを、車両の走行場面を認識するためのモデルとして生成するため、または、外界環境画像における部分画像から抽出される第1特徴量を分類したクラスタのうち、走行状態を示す信号との関連性の高いクラスタを選択して、車両の走行場面を認識するためのモデルとして生成するため、予め認識したい物体が特定されていない場合においても、運転に必要な情報を残したまま、走行場面を圧縮することができる、という効果が得られる。
【図面の簡単な説明】
【0033】
【図1】第1の実施の形態に係る運転支援装置の構成を示すブロック図である。
【図2】視線先画像を説明するためのイメージ図である。
【図3】クラスタ別の出現頻度ヒストグラムの一例を示す図である。
【図4】第1の実施の形態に係る運転支援装置における学習処理ルーチンの内容を示すフローチャートである。
【図5】第1の実施の形態における特徴量DB構築処理ルーチンの内容を示すフローチャートである。
【図6】第1の実施の形態におけるクラスタDB構築処理ルーチンの内容を示すフローチャートである。
【図7】第1の実施の形態におけるクラスタDB構築処理ルーチンの内容を示すフローチャートである。
【図8】第1の実施の形態におけるクラスタ別重みDB構築処理ルーチンの内容を示すフローチャートである。
【図9】第1の実施の形態における危険場面DB構築処理ルーチンの内容を示すフローチャートである。
【図10】第1の実施の形態に係る運転支援装置における判定処理ルーチンの内容を示すフローチャートである。
【図11】第2の実施の形態に係る運転支援装置の構成を示すブロック図である。
【図12】第2の実施の形態に係る運転支援装置における学習処理ルーチンの内容を示すフローチャートである。
【図13】第2の実施の形態における特徴量DB構築処理ルーチンの内容を示すフローチャートである。
【図14】第2の実施の形態におけるクラスタ選択処理ルーチンの内容を示すフローチャートである。
【図15】第3の実施の形態に係る運転支援装置の構成を示すブロック図である。
【図16】第3の実施の形態に係る運転支援装置における学習処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【0034】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、危険な走行場面において警報を出力する運転支援装置に本発明を適用した場合を例に説明する。
【0035】
図1に示すように、第1の実施の形態に係る運転支援装置10は、CCDカメラ等で構成された車両前方の外界環境を撮像する外界環境撮像装置12と、CCDカメラ等で構成されたドライバの顔を含む領域を撮像する顔撮像装置14と、自車両の加速度を検出する加速度センサ16と、走行場面が危険か否かを判定する処理を実行するコンピュータ18と、スピーカや表示装置等で構成され、コンピュータ18での判定結果に応じて、ドライバに対して警報を出力する警報装置20とを備えている。
【0036】
コンピュータ18は、CPUと、RAMと、後述する学習処理ルーチン及び判定処理ルーチンを含む運転支援処理を実行するためのプログラムを記憶したROMとを備えており、機能的には、学習部30及び判定部70を含んだ構成で表すことができる。
【0037】
学習部30は、さらに、視線方向推定部32と、視線先画像抽出部34と、特徴量A抽出部36と、特徴量B抽出部38と、クラスタデータベース(DB)構築部42と、クラスタ別重みDB構築部46と、特徴量C抽出部50と、場面認識部52と、危険場面DB構築部54とを含んだ構成で表すことができる。学習部30は、危険場面の判定処理において用いられるクラスタDB44、クラスタ別重みDB48、及び危険場面DB56を学習により構築する。なお、学習部30が、本発明の走行場面認識モデル生成装置の一例である。
【0038】
視線方向推定部32は、外界環境撮像装置12で撮像された外界環境画像、及び顔撮像装置14で撮像された顔画像に基づいて、ドライバの視線方向を推定する。視線方向の推定には、従来既知の技術を用いることができるため、詳細な説明を省略する。
【0039】
視線先画像抽出部34は、視線方向推定部32により推定された視線方向に基づいて、外界環境画像からドライバの視線先を含む所定範囲の領域を、視線先画像として抽出する。例えば、図2に示すように、取得された外界環境画像から、視線方向推定部32において推定されたドライバの視線先を中心とした領域を、視線先画像として抽出することができる。
【0040】
特徴量A抽出部36は、視線先画像抽出部34により抽出された視線先画像から、一般画像認識に一般的に用いられるSIFT特徴量(「D.Lowe, “Distinctive image feature from scale-invariant keypoints”, Proc. Of International Journal of Computer Vision(IJCV), 60(2), pp.91-110, 2004」参照)を抽出する。視線先画像から抽出される複数の特徴点をキーポイントとし、各キーポイントにおけるSIFT特徴量のリストを特徴量リストAとして、キーポイントの外界環境画像内における位置及び外界環境画像IDと組みにして、特徴量DB40に蓄積する。
【0041】
特徴量B抽出部38は、特徴量A抽出部36と同様の手法により、外界環境画像全体からSIFT特徴量を抽出し、各キーポイントにおけるSIFT特徴量のリストを特徴量リストBとして、キーポイントの外界環境画像内における位置及び外界環境画像IDと組みにして、特徴量DB40に蓄積する。
【0042】
クラスタDB構築部42は、特徴量DB40に蓄積された特徴量リストAをクラスタリングし、クラスタ毎の代表ベクトルをクラスタDB44に格納する。
【0043】
具体的には、まず、全特徴量リストAの集合に含まれる各SIFT特徴量x(i=1,・・・,n、nはSIFT特徴量の総数)に対して、ランダムにk個(初期値は1)のクラスタに割り当てる。そして、各クラスタKについて、代表ベクトルC(j=1,・・・,k)を、下記(1)式により算出する。
【0044】
【数1】

【0045】
ただし、|K|はクラスタKに含まれるSIFT特徴量の数である。
【0046】
次に、全てのSIFT特徴量xについて、各クラスタKとの距離dijを、下記(2)式により算出し、距離dijが最小となるクラスタKに各SIFT特徴量xを割り当てる。
【0047】
【数2】

【0048】
ただし、lはSIFT特徴量の次元であり、l=1,・・・,128である。
【0049】
全てのSIFT特徴量についてのクラスタへの割り当てに変化がなくなるまでクラスタリングを繰り返す。クラスタへの割り当てに変化がなくなった場合には、距離dijの最大値が所定の閾値Thdより大きいか否かを判定し、距離dijの最大値がThdより大きい場合には、クラスタ数を増加させながら(k←k+1)、クラスタリングを繰り返す。距離dijの最大値がThd以下となった場合には、そのときのクラスタの代表ベクトルCを、visual wordとして、クラスタDB44に格納する。
【0050】
次に、各特徴量リストA(i=1,・・・,N、Nは特徴量リストAの総数)に対して、全SIFT特徴量Sij(j=1,・・・,p)について、下記(3)式の距離dijlが最小である代表ベクトルがC(l=1,・・・,k、kは上記のvisual wordの数)である頻度により算出されるk次元のヒストグラムhを算出する。
【0051】
【数3】

【0052】
ただし、qはSIFT特徴量の次元であり、q=1,・・・,128である。
【0053】
そして、各特徴量リストAについて、ランダムにm個(初期値は1)のクラスタに割り当てる。そして、各クラスタvについて、代表ベクトルV(r=1,・・・,m)を、下記(4)式により算出する。
【0054】
【数4】

【0055】
ただし、|v|はクラスタvに含まれる特徴量リストAの数である。
【0056】
次に、全ての特徴量リストAについて、代表ベクトルVとの距離Dirを、下記(5)式により算出し、距離Dirが最小となるクラスタvに各特徴量リストAを割り当てる。
【0057】
【数5】

【0058】
ただし、sはヒストグラムの次元である。
【0059】
全ての特徴量リストについてのクラスタへの割り当てに変化がなくなるまでクラスタリングを繰り返す。クラスタへの割り当てに変化がなくなった場合には、距離Dirの最大値が所定の閾値Thr以下か否かを判定し、距離Girの最大値がThr以下ではない場合には、クラスタ数を増加させながら(m←m+1)、クラスタリングを繰り返す。距離Dirの最大値がThr以下となった場合には、そのときのクラスタの代表ベクトルVを、各クラスタの代表ベクトルとして、クラスタDB44に格納する。
【0060】
クラスタ別重みDB構築部46は、特徴量リストA及び特徴量リストBの各クラスタvの出現確率に基づいて、クラスタ別の重みを算出する。
【0061】
具体的には、特徴量DB40に蓄積された特徴量リストBに基づいて、全外界環境画像に対して、所定範囲の画像(以下、部分画像という)を、所定量(例えば、1画素)ずつ縦または横に移動しながら抽出した場合における、各部分画像に対応するキーポイントを抽出する。部分画像のサイズは、視線先画像と同一のサイズとする。特徴量リストBには、キーポイントの位置及び外界環境画像IDが対応付けられているため、これに基づいて、各部分画像のキーポイントを抽出することができる。そして、各部分画像に含まれるキーポイントが全て同一である部分画像は、1つだけ残して消去する。残った各部分画像について、特徴量リストBに基づいて、各部分画像に含まれるキーポイントにおけるSIFT特徴量のリストである特徴量リストB’を生成する。そして、上記(5)式により、各部分画像の特徴量リストB’との距離が最小となるクラスタを求め、そのクラスタの出現回数Tに1を加算し、各クラスタの出現回数Tを部分画像の総数で割った値を出現確率Pとして算出する。
【0062】
また、特徴量DB40に蓄積された視線先画像に基づく特徴量リストAについても、同様に、上記(5)式により、各視線先画像の特徴量リストAとの距離が最小となるクラスタを求め、そのクラスタの出現回数Tに1を加算し、各クラスタの出現回数Tを視線先画像の総数で割った値を出現確率Pとして算出する。そして、クラスタ別重みwを、w=P/Pとして算出して、クラスタ別重みDB48に格納する。
【0063】
特徴量C抽出部50は、特徴量B抽出部38と同様に、逐次走行中に撮像された外界環境画像について、SIFT特徴量を抽出し、各キーポイントにおけるSIFT特徴量のリストである特徴量リストCを生成する。
【0064】
場面認識部52は、外界環境画像に対して、部分画像を、所定量(例えば、1画素)ずつ縦または横に移動しながら抽出し、各部分画像からキーポイント及びSIFT特徴量を抽出する。ここで、部分画像のサイズは、視線先画像と同一のサイズとする。各部分画像に含まれるキーポイントが全て同一である部分画像は、1つだけ残して消去する。残った各部分画像について、各部分画像に含まれるキーポイントにおけるSIFT特徴量のリストである特徴量リストC’を構築する。そして、クラスタDB44に格納された各クラスタの代表ベクトルを用いて、上記(5)式により、各部分画像の特徴量リストC’との距離が最小となるクラスタを求める。また、クラスタ別重みDB48を参照して、クラスタ重みが閾値Thw以上のクラスタの出現頻度を求め、クラスタ別の出現頻度ヒストグラムを算出する。図3に、クラスタ別の出現頻度ヒストグラムの一例を示す。
【0065】
また、場面認識部52は、逐次走行場面において算出されたクラスタ別の出現頻度ヒストグラムについて、時刻tに算出されたヒストグラムをh(t)とし、これを時刻tにおける状態(走行場面)として認識する。
【0066】
危険場面DB構築部54は、加速度センサ16により検出された自車両の前後加速度を取得し、時刻tの加速度が閾値Tha以下である急減速を示している場合には、Tr(h)に1を加算する。ただし、Tr(h)は走行場面h(t)における急減速発生回数を表す。T(h)を、走行場面h(t)における全判定回数である急減速発生判定回数T(h)で割って、T(h)/T(h)を走行場面h(t)における危険度R(h)として、危険場面DB56に格納する。
【0067】
判定部70は、さらに、特徴量C抽出部72と、場面認識部74と、危険場面判定部76とを含んだ構成で表すことができる。判定部70は、構築されたクラスタDB44、クラスタ重みDB48、及び危険場面DB56に基づいて、実際の走行場面が危険か否かを判定する。
【0068】
特徴量C抽出部72は、学習部30の特徴量C抽出部50と同様に、逐次走行中に撮像された外界環境画像について、キーポイント及びSIFT特徴量を抽出する。
【0069】
場面認識部74は、学習部30の場面認識部52と同様に、特徴量C抽出部72で抽出されたSIFT特徴量により構築される特徴量リストCに基づいて、クラスタDB44及びクラスタ重みDB48を参照して、クラスタ別の出現頻度ヒストグラムを時刻tにおける走行場面として算出する。
【0070】
危険場面判定部76は、場面認識部74で算出された走行場面を表すクラスタ別の出現頻度ヒストグラムh(t)に対応する危険度R(h)を、危険度DB56から取得する。そして、危険度R(h)が予め定めた閾値ThRより大きい場合には、急減速する可能性が高い危険場面であると判定して、ドライバに対して警報を出力するように警報装置20を制御する。
【0071】
次に、第1の実施の形態に係る運転支援装置10の作用について説明する。第1の実施の形態の運転支援装置10では、学習部30において、各データベースを構築する学習処理が実行され、また、判定部70において、実際の走行時における危険場面の判定処理が実行される。
【0072】
まず、図4を参照して、学習処理ルーチンについて説明する。
【0073】
ステップ100で、後述する特徴量DB構築処理を実行し、ステップ200で、後述するクラスタDB構築処理を実行し、ステップ300で、後述するクラスタ別重みDB構築処理を実行し、ステップ400で、後述する危険場面DB構築処理を実行して、処理を終了する。
【0074】
次に、図5を参照して、特徴量DB構築処理ルーチンについて説明する。
【0075】
ステップ102で、外界環境撮像装置12で撮像された外界環境画像、及び顔撮像装置14で撮像された顔画像を取得し、次に、ステップ104で、ドライバの視線方向を推定する。次に、ステップ106で、上記ステップ104で推定された視線方向に基づいて、外界環境画像からドライバの視線先を含む所定範囲の領域を、視線先画像として抽出する。
【0076】
次に、ステップ108で、上記ステップ106で抽出された視線先画像から、SIFT特徴量を抽出し、各キーポイントにおけるSIFT特徴量のリストである特徴量リストAを生成する。また、上記ステップ102で取得された外界環境画像全体から、SIFT特徴量を抽出し、各キーポイントにおけるSIFT特徴量のリストである特徴量リストBを生成する。
【0077】
次に、ステップ110で、上記ステップ108で生成した特徴量リストA及び特徴量リストB各々について、キーポイントの外界環境画像内における位置及び外界環境画像IDと組みにして、特徴量DB40に格納して、リターンする。
【0078】
次に、図6及び図7を参照して、クラスタDB構築処理ルーチンについて説明する。
【0079】
ステップ202で、全特徴量リストAの集合に含まれる各SIFT特徴量x(i=1,・・・,n、nはSIFT特徴量の総数)をクラスタリングするためのクラスタ数を表す変数kに1をセットし、次に、ステップ204で、全特徴量リストAの集合に含まれる各SIFT特徴量xに対して、ランダムにk個のクラスタを割り当てる。
【0080】
次に、ステップ206で、各クラスタKについて、代表ベクトルC(j=1,・・・,k)を、(1)式により算出し、次に、ステップ208で、全てのSIFT特徴量xについて、各クラスタKとの距離dijを、(2)式により算出し、距離dijが最小となるクラスタKに各SIFT特徴量xを割り当てる。
【0081】
次に、ステップ209で、上記ステップ208において再割り当てされたSIFT特徴量xが存在するか否か、すなわち、全てのSIFT特徴量xについてのクラスタへの割り当てに変化がなくなったか否かを判定する。クラスタへの割り当てに変化があった場合には、ステップ206へ戻って、代表ベクトルの算出及びクラスタの再割り当てを繰り返し、クラスタへの割り当てに変化がなくなった場合には、ステップ212へ移行する。
【0082】
ステップ212では、上記ステップ208で得られた距離dijの最大値が所定の閾値Thdより大きいか否かを判定する。距離dijの最大値がThdより大きい場合には、ステップ214へ移行して、変数kを1インクリメントして、ステップ204へ戻る。距離dijの最大値がThd以下となった場合には、ステップ216へ移行して、そのときのクラスタの代表ベクトルCを、visual wordとして、クラスタDB44に格納する。
【0083】
次に、ステップ217で、各特徴量リストA(i=1,・・・,N、Nは特徴量リストAの総数)をクラスタリングするためのクラスタ数を表す変数mに1をセットする。
【0084】
次に、ステップ220で、各特徴量リストAに対して、全SIFT特徴量Sij(j=1,・・・,p)について、(3)式の距離dijlが最小である代表ベクトルがC(l=1,・・・,k、kは上記のvisual wordの数)である頻度により算出されるk次元のヒストグラムhを算出する。
【0085】
次に、ステップ222で、各特徴量リストAについて、ランダムにm個のクラスタを割り当てる。次に、ステップ224で、各クラスタvについて、代表ベクトルV(r=1,・・・,m)を、(4)式により算出し、次に、ステップ226で、全ての特徴量リストAについて、代表ベクトルVとの距離Dirを、(5)式により算出し、距離Dirが最小となるクラスタvに各特徴量リストAを割り当てる。
【0086】
次に、ステップ228で、上記ステップ226において再割り当てされた特徴量リストAが存在するか否か、すなわち、全ての特徴量リストAについてのクラスタへの割り当てに変化がなくなったか否かを判定する。クラスタへの割り当てに変化があった場合には、ステップ224へ戻って、代表ベクトルの算出及びクラスタの再割り当てを繰り返し、クラスタへの割り当てに変化がなくなった場合には、ステップ229へ移行する。
【0087】
ステップ229では、上記ステップ226で得られた距離Dirの最大値が所定の閾値ThDより大きいか否かを判定する。距離Dirの最大値がThDより大きい場合には、ステップ232へ移行して、変数mを1インクリメントして、ステップ220へ戻る。距離Dirの最大値がThD以下となった場合には、ステップ234へ移行して、そのときのクラスタの代表ベクトルVを、各クラスタの代表ベクトルとして、クラスタDB44に格納して、リターンする。
【0088】
次に、図8を参照して、クラスタ別重みDB構築処理ルーチンについて説明する。
【0089】
ステップ302で、特徴量DB40に蓄積された特徴量リストBに基づいて、全外界環境画像に対して、部分画像を、所定量(例えば、1画素)ずつ縦または横に移動しながら抽出した場合における、各部分画像に対応するキーポイントを抽出する。次に、ステップ304で、各部分画像に含まれるキーポイントが全て同一である部分画像は、1つだけ残して消去する。
【0090】
次に、ステップ306で、残った各部分画像について、特徴量リストBに基づいて、各部分画像に含まれるキーポイントにおけるSIFT特徴量のリストである特徴量リストB’を生成する。次に、ステップ308で、(5)式により、各部分画像の特徴量リストB’との距離が最小となるクラスタを求め、そのクラスタの出現回数Tに1を加算し、次に、ステップ309で、各クラスタの出現回数Tを部分画像の総数で割って、出現確率Pを算出する。
【0091】
次に、ステップ312で、特徴量DB40に蓄積された特徴量リストAを読み出す。次に、ステップ314で、(5)式により、特徴量リストAとの距離が最小となるクラスタを求め、そのクラスタの出現回数Tに1を加算し、次に、ステップ316で、各クラスタの出現回数Tを視線先画像の総数で割って、出現確率Pを算出する。
【0092】
次に、ステップ317で、上記ステップ316で算出した出現確率Pを、上記ステップ309で算出した出現確率Pで割って、クラスタ別重みwを算出し、次に、ステップ320で、算出したクラスタ重みwをクラスタ重みDB48に格納して、リターンする。
【0093】
次に、図9を参照して、危険場面DB構築処理ルーチンについて説明する。
【0094】
ステップ402で、外界環境撮像装置12で撮像された外界環境画像、及び加速度センサ16で検出された自車両の前後加速度を取得する。
【0095】
次に、ステップ404で、特徴量DB構築処理において、特徴量リストBを生成したのと同様の処理により、上記ステップ402で取得した外界環境画像について、SIFT特徴量を抽出し、各キーポイントにおけるSIFT特徴量のリストである特徴量リストCを生成する。
【0096】
次に、ステップ406で、上記ステップ404で生成した特徴量リストCに基づいて、全外界環境画像に対して、部分画像を、所定量(例えば、1画素)ずつ縦または横に移動しながら抽出し、各部分画像に対応するキーポイントを抽出する。次に、ステップ408で、各部分画像に含まれるキーポイントが全て同一である部分画像は、1つだけ残して消去する。
【0097】
次に、ステップ410で、残った各部分画像について、特徴量リストCに基づいて、各部分画像に含まれるキーポイントにおけるSIFT特徴量のリストである特徴量リストC’を生成する。次に、ステップ412で、(5)式により、各部分画像の特徴量リストC’との距離が最小となるクラスタを同定する。
【0098】
次に、ステップ414で、上記ステップ412で、各特徴量リストC’についてクラスタを同定することにより得られるクラスタ別の出現頻度であって、クラスタ別重みDB48を参照して、クラスタ重みが閾値Thw以上のクラスタの出現頻度を求め、クラスタ別の出現頻度ヒストグラムh(t)を算出し、これを時刻tにおける走行場面として認識する。
【0099】
次に、ステップ416で、上記ステップ402で取得した時刻tの加速度が、閾値Thaより小さいか否かを判定する。加速度<Thaの場合には、時刻tの加速度が急減速を示していると判定して、ステップ418へ移行して、急減速発生回数Tr(h)に1を加算する。加速度≧Thaの場合には、ステップ418をスキップしてステップ420へ移行する。
【0100】
ステップ420では、走行場面h(t)において、急減速が発生したか否かを判定した全判定回数である急減速発生判定回数T(h)に1を加算する。次に、ステップ422で、危険度R(h)=T(h)/T(h)を算出して、次に、ステップ424で、算出した走行場面h(t)における危険度R(h)を危険場面DB56に格納して、リターンする。
【0101】
次に、図10を参照して、判定処理ルーチンについて説明する。本ルーチンは、上記の学習処理により、クラスタDB44、クラスタ重み別DB46、及び危険場面DB56が構築された後に、実際の走行時において実行される。
【0102】
ステップ502で、外界環境撮像装置12で撮像された外界環境画像を取得し、次に、ステップ404〜414で、危険場面DB構築処理のステップ404〜414と同様の処理を実行して、クラスタ別出現頻度ヒストグラムh(t)を算出する。
【0103】
次に、ステップ504で、上記ステップ414で算出されたクラスタ別の出現頻度ヒストグラムh(t)に対応する危険度R(h)を、危険度DB56から取得する。次に、ステップ506で、上記ステップ504で取得した危険度R(h)が、予め定めた閾値ThRより大きいか否かを判定する。R(h)>ThRの場合には、現在の走行場面は、急減速する可能性が高い危険場面であると判定して、ステップ508へ移行して、ドライバに対して警報を出力するように警報装置20を制御する。一方、R(h)≦ThRの場合には、現在の走行場面は、危険場面ではないと判定して、ステップ508をスキップして、処理を終了する。
【0104】
以上説明したように、第1の実施の形態の運転支援装置によれば、ドライバが運転を適切に行うためには、認知、判断、操作を適切に行う必要があり、ドライバが正しく運転するためには、運転に必要な情報を高い確率で見ていると考えられることに着目し、ドライバの視線先画像から抽出される特徴量をクラスタリングしたクラスタにより走行場面を表現している。また、各クラスタにおける、視線先画像から抽出した特徴量が存在する確率、及び全体画像から抽出した特徴量が存在する確率に基づいて、クラスタ毎に重み付けを行うため、運転に必要な情報を残したまま、場面表現を圧縮することができる。
【0105】
また、特徴量のクラスタリングや重み付けは、自動で行われるため、従来技術のように認識すべき事物(自転車、歩行者など)を特定することなく、運転に必要な特徴量を抽出することができる。
【0106】
なお、第1の実施の形態では、クラスタ別の重みを、各クラスタについて、特徴量リストAの出現確率/特徴量リストBの出現確率として算出する場合について説明したが、各クラスタが特徴量リストAに存在する確率、Bに存在する確率、Aに存在しない確率、Bに存在しない確率を用いて、重みを算出してもよい。また、出現確率に代えて、出現頻度を用いてもよい。
【0107】
次に、第2の実施の形態について説明する。なお、第2の実施の形態の運転支援装置について、第1の実施の形態の運転支援装置10と同一の構成については、同一符号を付して詳細な説明は省略する。
【0108】
図11に示すように、第2の実施の形態に係る運転支援装置210は、外界環境撮像装置12と、加速度センサ16と、コンピュータ218と、警報装置20とを備えている。
【0109】
コンピュータ218は、機能的には、学習部230と、判定部270とを含んだ構成で表すことができ、学習部230は、さらに、部分画像抽出部60と、特徴量A抽出部236と、クラスタDB構築部42と、クラスタ選択部62と、特徴量C抽出部50と、場面認識部52と、危険場面DB構築部54とを含んだ構成で表すことができる。学習部230は、危険場面の判定処理において用いられるクラスタ集合DB64、及び危険場面DB56を学習により構築する。なお、学習部230が、本発明の走行場面認識モデル生成装置の一例である。また、判定部270は、さらに、特徴量C抽出部72と、場面認識部274と、危険場面判定部76とを含んだ構成で表すことができる。
【0110】
部分画像抽出部60は、外界環境撮像装置12により撮像された外界環境画像に対して、部分画像を、所定量(例えば、1画素)ずつ縦または横に移動しながら抽出する。
【0111】
特徴量A抽出部236は、第1の実施の形態の特徴量A抽出部36と同様の処理により、部分画像抽出部60により抽出された部分画像からSIFT特徴量を抽出して、各キーポイントにおけるSIFT特徴量のリストを特徴量リストAとして、キーポイントの外界環境画像内における位置、外界環境画像ID、外界環境画像内における部分画像の位置ID、及び加速度センサ16で検出されたその時刻の自車両の加速度と組みにして、特徴量DB40に蓄積する。
【0112】
クラスタDB構築部42は、第1の実施の形態のクラスタDB構築部42と同様の処理により、特徴量DB40に蓄積された特徴量リストAをクラスタリングし、クラスタ毎の代表ベクトルを、(4)式により算出し、クラスタDB44に格納する。以下、(4)式内のrのことを、クラスタIDと呼ぶ。
【0113】
クラスタ選択部62は、クラスタDB44に格納されたクラスタのうち、危険場面の判定に用いるクラスタm個を、急減速との相互情報量に基づいて選択する。
【0114】
具体的には、特徴量DB40に蓄積された特徴量リストAから、外界環境画像IDiを持つ特徴量リストAij(jは部分画像の位置ID)を抽出し、抽出された各特徴量リストAijについて、距離が最小となるクラスタの代表ベクトルVjk(kはクラスタID)を求める。
【0115】
次に、選択されたクラスタの集合Uを空集合とし、集合Uに含まれない代表ベクトルVjkを1つ加えた集合Ujkを生成する。各Ujkについて、急減速(前後加速度が所定の閾値以下の減速)Dとの相互情報量I(Ujk;D)を算出する。より具体的には、特徴量DB40に特徴量リストAに対応付けて蓄積された加速度の情報を用いて、その加速度が急減速Dである確率P(D)=#D/#Nを算出する。ただし、#Dは急減速が発生した外界環境画像の総数、#Nは外界環境画像の総数である。
【0116】
次に、特徴量DB40に蓄積された情報に基づいて、P(D|Ujk)=#Djk/#Njkを算出する。ただし、#Djkは集合Ujkに含まれるクラスタに属する特徴量リストAを抽出した外界環境画像を取得したときに急減速が発生した総数であり、#Njkは集合Ujkに含まれる特徴量リストAの総数である。
【0117】
そして、上記で求めたP(D)及びP(D|Ujk)を用いて、相互情報量I(Ujk;D)を、下記(6)式により算出する。
【0118】
I(Ujk;D)=P(D)logP(D)+(1-P(D))log(1-P(D|Ujk))
- P(D|Ujk)logP(D|Ujk)-(1-P(D|Ujk)) log(1-P(D|Ujk)) (6)
【0119】
次に、相互情報量I(Ujk;D)が最大となる集合Ujkを新たな集合Uとし、集合Uに含まれる要素数がm未満であれば、集合Ujkに代表ベクトルを1つ加えて、処理を繰り返す。要素数がm以上となった場合には、クラスタ集合Uをクラスタ集合DB64に格納する。
【0120】
学習部230の場面認識部252、及び判定部270の場面認識部274は、クラスタ別の出現頻度ヒストグラムを算出する際に、クラスタ別の重みが閾値以上のクラスタを用いるのではなく、クラスタ選択部62により選択され、クラスタ集合DB64に格納されたクラスタ集合Uを用いる点が、第1の実施の形態の場面認識部52及び74と異なる。
【0121】
次に、第2の実施の形態に係る運転支援装置210の作用について説明する。第2の実施の形態の運転支援装置210では、学習部230において、各データベースを構築する学習処理が実行され、また、判定部270において、実際の走行時における危険場面の判定処理が実行される。
【0122】
まず、図12を参照して、学習処理ルーチンについて説明する。なお、第1の実施の形態の学習処理と同一の処理については、同一符号を付して、詳細な説明を省略する。
【0123】
ステップ2100で、後述する特徴量DB構築処理を実行し、ステップ200で、クラスタDB構築処理を実行し、ステップ600で、後述するクラスタ選択処理を実行し、ステップ400で、危険場面DB構築処理を実行して、処理を終了する。
【0124】
次に、図13を参照して、第2の実施の形態における特徴量DB構築処理ルーチンについて説明する。
【0125】
ステップ2102で、外界環境撮像装置12で撮像された外界環境画像、及び加速度センサ16で検出された自車両の前後加速度を取得し、次に、次に、ステップ2106で、上記ステップ2102で取得された外界環境画像から部分画像を抽出する。次に、ステップ2108で、上記ステップ2106で抽出された各部分画像から、SIFT特徴量を抽出し、各キーポイントにおけるSIFT特徴量のリストである特徴量リストAを生成し、次に、ステップ2110で、上記ステップ2108で生成した特徴量リストAについて、キーポイントの外界環境画像内における位置、外界環境画像ID、外界環境画像内における部分画像の位置ID、及び上記ステップ2102で取得したその時刻の自車両の加速度と組みにして、特徴量DB40に格納して、リターンする。
【0126】
第2の実施の形態のクラスタDB構築処理は、クラスタリングする特徴量リストAが、第1の実施の形態のクラスタDB構築処理においては、視線先画像から抽出したSIFT特徴量に基づく特徴量リストAであったのに対し、第2の実施の形態では、部分画像から抽出したSIFT特徴量に基づく特徴量リストAとなる点が異なるだけであるので、詳細な説明を省略する。
【0127】
次に、図14を参照して、クラスタ選択処理ルーチンについて説明する。
【0128】
ステップ602で、特徴量DB40に蓄積された特徴量リストAを読み出し、次に、ステップ604で、外界環境画像IDiを持つ特徴量リストAij(jは部分画像の位置ID)を抽出し、抽出された各特徴量リストAijについて、距離が最小となるクラスタの代表ベクトルVjk(kはクラスタID)を求める。
【0129】
次に、ステップ606で、選択されたクラスタの集合UをU=0(空集合)とし、次に、ステップ608で、集合Uに含まれない代表ベクトルVjkを1つ加えた集合Ujkを生成する。
【0130】
次に、ステップ610で、特徴量DB40に特徴量リストAに対応付けて蓄積された加速度の情報を用いて、集合Ujkについて、急減速Dとの相互情報量I(Ujk;D)を、(6)式により算出する。
【0131】
次に、ステップ612で、相互情報量I(Ujk;D)が最大となる集合Ujkを新たな集合Uとする。次に、ステップ614で、集合Uに含まれる要素数がm未満か否かを判定する。集合Uの要素数<mであれば、ステップ608へ戻って、集合Ujkに代表ベクトルを1つ加えて、処理を繰り返す。集合Uの要素数≧mの場合には、ステップ616へ移行して、クラスタ集合Uをクラスタ集合DB64に格納して、リターンする。
【0132】
第2の実施の形態の危険場面DB構築処理は、第1の実施の形態の危険場面DB構築処理のステップ414で、クラスタ別の出現頻度ヒストグラムを算出する際に、クラスタ別の重みが閾値以上のクラスタを用いたのに対し、第2の実施の形態では、上記クラスタ選択処理のステップ616で、クラスタ集合DB64に格納されたクラスタ集合Uを用いる点が異なるだけであるので、詳細な説明を省略する。
【0133】
また、第2の実施の形態の判定処理についても、第1の実施の形態の判定処理では、クラスタDB44及びクラスタ別重みDB48を用いて走行場面を認識したのに対して、第2の実施の形態では、クラスタ集合DB64を用いる点が異なるだけであるので、詳細な説明を省略する。
【0134】
以上説明したように、第2の実施の形態の運転支援装置によれば、ドライバが運転を適切に行うためには、認知、判断、操作を適切に行っていることに着目し、部分画像から抽出される特徴量をクラスタリングしたクラスタのうち、走行状態を示す信号(本実施の形態では加速度)との関連性の高いクラスタの集合により走行場面を表現している。これにより、運転に必要な情報を残したまま、場面表現を圧縮することができる。
【0135】
また、選択されたクラスタの集合に1つずつクラスタを追加するという方法でクラスタを自動的に選択するため、設計者が予めクラスタを選択する必要がない。
【0136】
また、運転支援を行うための指標となる走行状態を示す信号との関連性に基づいて、走行場面を表現するためのクラスタを選択するため、より適切に走行場面を表現することができる。
【0137】
なお、第2の実施の形態では、選択されたクラスタ集合と走行状態を示す信号(加速度)との関連性を相互情報量で算出する場合について説明したが、これに限定されず、劣モジュラ性を満たす関数により関連性を算出すればよい。これにより、準最適なクラスタの集合を多項式時間で選択可能となる。
【0138】
次に、第3の実施の形態について説明する。第3の実施の形態は、第1の実施の形態と第2の実施の形態とを組み合わせた実施の形態である。なお、第3の実施の形態の運転支援装置について、第1の実施の形態の運転支援装置10及び第2の実施の形態の運転支援装置210と同一の構成については、同一符号を付して詳細な説明は省略する。
【0139】
図15に示すように、第3の実施の形態に係る運転支援装置310のコンピュータ318は、学習部330と、判定部370とを含んだ構成で表すことができる。学習部330は、第1の実施の形態の運転支援装置10の学習部30の構成に、クラスタ選択部362を加え、第1の実施の形態の場面認識部52に替えて、第2の実施の形態の場面認識部252を含んだ構成で表すことができる。判定部370は、第1の実施の形態の場面認識部74に替えて、第2の実施の形態の場面認識部274を含んだ構成で表すことができる。
【0140】
クラスタ選択部362は、クラスタDB44に格納されたクラスタのうち、危険場面の判定に用いるクラスタm個を、急減速との相互情報量及びクラス別重みに基づいて選択する。
【0141】
具体的には、特徴量DB40に蓄積された特徴量リストAから、外界環境画像IDiを持つ特徴量リストAij(jは部分画像の位置ID)を抽出し、抽出された各特徴量リストAijについて、距離が最小となるクラスタの代表ベクトルVjk(kはクラスタID)を求める。
【0142】
次に、選択されたクラスタの集合Uを空集合とし、集合Uに含まれない代表ベクトルVjkであって、クラスタ別重みwが閾値Thw以上のクラスタの代表ベクトルVjkを1つ加えた集合Ujkを生成する。各Ujkについて、急減速(前後加速度が所定の閾値以下の減速)Dとの相互情報量I(Ujk;D)を、(6)式により算出する。
【0143】
次に、相互情報量I(Ujk;D)が最大となる集合Ujkを新たな集合Uとし、集合Uに含まれる要素数がm未満であれば、集合Ujkに含まれない代表ベクトルであって、クラスタ別重みwが閾値Thw以上のクラスタの代表ベクトルVjkを1つ加えて、処理を繰り返す。要素数がm以上となった場合には、クラスタ集合Uをクラスタ集合DB64に格納する。
【0144】
次に、第3の実施の形態に係る運転支援装置310の作用について説明する。第3の実施の形態の運転支援装置310では、学習部330において、各データベースを構築する学習処理が実行され、また、判定部370において、実際の走行時における危険場面の判定処理が実行される。
【0145】
まず、図16を参照して、学習処理ルーチンについて説明する。なお、第1及び第2の実施の形態の学習処理と同一の処理については、同一符号を付して、詳細な説明を省略する。
【0146】
ステップ100で、特徴量DB構築処理を実行し、ステップ200で、クラスタDB構築処理を実行し、ステップ300で、クラスタ別重みDB構築処理を実行し、ステップ3600で、クラスタ選択処理を実行し、ステップ400で、危険場面DB構築処理を実行して、処理を終了する。
【0147】
第3の実施の形態のクラスタ選択処理は、第2の実施の形態のクラスタ選択処理のステップ608において、集合Ujkに加える代表ベクトルを、集合Uに含まれない代表ベクトルVjkであって、クラスタ別重みwが閾値Thw以上のクラスタの代表ベクトルVjkとする点が異なるだけであるので、詳細な説明を省略する。
【0148】
以上説明したように、第3の実施の形態の運転支援装置によれば、第1の実施の形態と第2の実施の形態とを組み合わせることにより、より適切に走行場面を認識できるクラスタ集合を構築することができる。
【0149】
なお、上記第1〜第3の実施の形態では、危険場面を判定するために、自車両の加速度を用いる場合について説明したが、ヨーレート、操舵角、アクセルペダル踏み込み量、ブレーキペダル踏み込み量、車間距離等の他の走行状態を示す信号を用いてもよい。
【0150】
また、上記第1〜第3の実施の形態では、運転支援として、急減速の可能性がある危険場面において警報を出力する場合について説明したが、ドライバの脇見運転検出等の他の運転支援に適用してもよい。また、警報を出力することに替えて、または加えて、危険を回避するように車両運動を制御するような運転支援を行ってもよい。
【0151】
また、上記第1〜第3の実施の形態では、学習部と判定部とを同一のコンピュータで構成する場合について説明したが、別々のコンピュータで構成するようにしてもよい。
【0152】
なお、本発明のプログラムは、記録媒体に格納して提供することができる。
【符号の説明】
【0153】
10、210、310 運転支援装置
12 外界環境撮像装置
14 顔撮像装置
16 加速度センサ
18、218、318 コンピュータ
20 警報装置
30、230、330 学習部
32 視線方向推定部
34 視線先画像抽出部
36、236 特徴量A抽出部
38 特徴量B抽出部
42 クラスタDB構築部
44 クラスタDB
46 クラスタ別重みDB構築部
48 クラスタ別重みDB
50 学習部の特徴量C抽出部
52、252 学習部の場面認識部
54 危険場面DB構築部
60 部分画像抽出部
62、362 クラスタ選択部
64 クラスタ集合DB
70、270、370 判定部
72 判定部の特徴量C抽出部
74、274 判定部の場面認識部
76 危険場面判定部

【特許請求の範囲】
【請求項1】
車両周辺の外界環境を撮像した外界環境画像、及びドライバの顔を含む領域を撮像した顔画像に基づいて、ドライバの視線方向を推定し、推定した視線方向に基づいて、前記外界環境画像からドライバの視線先を含む所定領域の視線先画像を抽出する視線先画像抽出手段と、
前記視線先画像抽出手段により抽出された視線先画像から第1特徴量を抽出すると共に、前記外界環境画像全体から第2特徴量を抽出する生成用特徴量抽出手段と、
前記生成用特徴量抽出手段により抽出された第1特徴量を複数のクラスタに分類し、該複数のクラスタで構成された前記車両の走行場面を認識するための第1モデルを生成する第1生成手段と、
前記第1生成手段により生成された第1モデルに含まれるクラスタ各々における前記第1特徴量の出現頻度または出現確率と、前記クラスタ各々における前記第2特徴量の出現頻度または出現確率との比に基づいて、クラスタ毎の重みを算出し、該クラスタ毎の重みで構成され、かつ前記第1モデルと共に前記車両の走行場面を認識するための前記第2モデルを生成する第2生成手段と、
を含む走行場面認識モデル生成装置。
【請求項2】
前記外界環境画像における前記視線先画像と同一サイズの領域から第3特徴量を抽出し、該第3特徴量、前記第1モデル、及び前記第2モデルに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する生成用認識手段と、
前記生成用認識手段により認識された走行場面と、前記外界環境画像が取得された際の車両の走行状態を示す信号とに基づいて、前記走行場面が特定の走行場面か否かを判定するための第3モデルを生成する第3生成手段と、
を含む請求項1記載の走行場面認識モデル生成装置。
【請求項3】
前記生成用認識手段は、前記クラスタ毎の重みが予め定めた閾値以上のクラスタに対する前記第3特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出する請求項2記載の走行場面認識モデル生成装置。
【請求項4】
前記外界環境画像における前記視線先画像と同一サイズの領域から、認識用特徴量を抽出する認識用特徴量抽出手段と、
請求項1〜請求項3のいずれか1項記載の走行場面認識モデル生成装置により生成された第1モデル及び第2モデルと、前記認識用特徴量抽出手段により抽出された認識用特徴量とに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する判定用認識手段と、
前記判定用認識手段により認識された走行場面に応じて、運転支援を行う支援手段と、
を含む運転支援装置。
【請求項5】
前記判定用認識手段は、前記クラスタ毎の重みが予め定めた閾値以上のクラスタに対する前記認識用特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出し、
請求項2または請求項3記載の走行場面認識モデル生成装置により生成された第3モデル、前記判定用認識手段により認識された走行場面、及び前記外界環境画像が取得された際の車両の走行状態を示す信号に基づいて、前記走行場面が特定の走行場面か否かを判定する判定手段
を含む請求項4記載の運転支援装置。
【請求項6】
車両周辺の外界環境を撮像した外界環境画像から所定領域の部分画像を抽出する部分画像抽出手段と、
前記部分画像抽出手段により抽出された部分画像から第1特徴量を抽出する生成用特徴量抽出手段と、
前記生成用特徴量抽出手段により抽出された第1特徴量を複数のクラスタに分類する分類手段と、
前記分類手段により分類された複数のクラスタから、認識したい走行場面に応じた車両の走行状態を示す信号との関連性が高い複数のクラスタを選択し、選択された複数のクラスタで構成された前記車両の走行場面を認識するための第1モデルを生成する生成手段と、
を含む走行場面認識モデル生成装置。
【請求項7】
前記生成手段は、前記関連性を、劣モジュラ性を満たす関数を用いて算出する請求項6記載の走行場面認識モデル生成装置。
【請求項8】
前記劣モジュラ性を満たす関数を、相互情報量とした請求項7記載の走行場面認識モデル生成装置。
【請求項9】
前記生成手段は、既に選択されたクラスタの集合に、選択されていないクラスタを1つ加えた場合に、1つのクラスタが追加されたクラスタの集合と、前記走行状態を示す信号との関連性を算出し、該関連性が最も高くなるクラスタを追加して、新たな選択されたクラスタの集合とし、クラスタの集合に含まれる要素が予め定めた所定個となるまで、クラスタの追加及び前記関連性の算出を繰り返して、クラスタの選択を行う請求項6〜請求項8のいずれか1項記載の走行場面認識モデル生成装置。
【請求項10】
前記外界環境画像における前記部分画像と同一サイズの領域から第3特徴量を抽出し、該第3特徴量及び前記第1モデルに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する生成用認識手段と、
前記生成用認識手段により認識された走行場面と、前記外界環境画像が取得された際の車両の走行状態を示す信号とに基づいて、前記走行場面が特定の走行場面か否かを判定するための第3モデルを生成する第3生成手段と、
を含む請求項6〜請求項9のいずれか1項記載の走行場面認識モデル生成装置。
【請求項11】
前記生成用認識手段は、前記第1モデルに含まれるクラスタに対する前記第3特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出する請求項10記載の走行場面認識モデル生成装置。
【請求項12】
前記外界環境画像における前記部分画像と同一サイズの領域から、認識用の認識用特徴量を抽出する認識用特徴量抽出手段と、
請求項6〜請求項11のいずれか1項記載の走行場面認識モデル生成装置により生成された第1モデルと、前記認識用特徴量抽出手段により抽出された認識用特徴量とに基づいて、前記外界環境画像が取得された際の車両の走行場面を認識する判定用認識手段と、
前記判定用認識手段により認識された走行場面に応じて、運転支援を行う支援手段と、
を含む運転支援装置。
【請求項13】
前記判定用認識手段は、前記第1モデルに含まれるクラスタに対する前記認識用特徴量のクラスタ別の出現頻度ヒストグラムを、前記走行場面として算出し、
請求項10または請求項11記載の走行場面認識モデル生成装置により生成された第3モデル、前記判定用認識手段により認識された走行場面、及び前記外界環境画像が取得された際の車両の走行状態を示す信号に基づいて、前記走行場面が特定の走行場面か否かを判定する判定手段
を含む請求項12記載の運転支援装置。
【請求項14】
前記判定手段は、前記車両の走行状態を示す信号として、該車両の前後加速度を取得し、前記特定の走行場面として、急減速の可能性がある走行場面か否かを判定し、
前記支援手段は、前記判定手段により、急減速の可能性がある走行場面であると判定された場合に、警報を出力する
請求項5または請求項13記載の運転支援装置。
【請求項15】
コンピュータを、請求項1〜請求項3、及び請求項6〜請求項11のいずれか1項記載の走行場面認識モデル生成装置を構成する各手段として機能させるための走行場面認識モデル生成プログラム。
【請求項16】
コンピュータを、請求項4、請求項5、及び請求項12〜請求項14のいずれか1項記載の運転支援装置を構成する各手段として機能させるための運転支援プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2013−16037(P2013−16037A)
【公開日】平成25年1月24日(2013.1.24)
【国際特許分類】
【出願番号】特願2011−148507(P2011−148507)
【出願日】平成23年7月4日(2011.7.4)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】