運転者状態推定装置
【課題】本発明は、運転者状態推定装置に関し、運転者の注意力低下状態の推定を簡易な構成でかつ精度よく実現することにある。
【解決手段】車両を運転する運転者の生体情報又は車両情報に基づいて該運転者の注意力低下状態を推定する運転者状態推定装置において、入力される生体情報又は車両情報を示す複数の特徴量をそれぞれ２値的に識別する弱識別手段と、弱識別手段による複数の特徴量の識別結果に基づいて運転者の運転に対する注意力低下状態を推定する状態推定手段と、弱識別手段による識別又は状態推定手段による推定に用いる、複数の特徴量それぞれと運転者の注意力低下状態との関係をＡｄａＢｏｏｓｔを用いて学習する学習手段と、を備える。
【解決手段】車両を運転する運転者の生体情報又は車両情報に基づいて該運転者の注意力低下状態を推定する運転者状態推定装置において、入力される生体情報又は車両情報を示す複数の特徴量をそれぞれ２値的に識別する弱識別手段と、弱識別手段による複数の特徴量の識別結果に基づいて運転者の運転に対する注意力低下状態を推定する状態推定手段と、弱識別手段による識別又は状態推定手段による推定に用いる、複数の特徴量それぞれと運転者の注意力低下状態との関係をＡｄａＢｏｏｓｔを用いて学習する学習手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者状態推定装置に係り、特に、車両を運転する運転者の、例えば交通事故に繋がり易い眠気や疲労などの運転に対する注意力が低下する状態を推定するうえで好適な運転者状態推定装置に関する。
【背景技術】
【０００２】
従来、車両を運転する運転者の運転行動を検出し、その運転行動から運転者の認知状態を推定する装置が知られている（例えば、特許文献１参照）。この装置は、運転者の運転行動として、車両に設けられたサイドミラーやルームミラーを目視する頻度、頭部の回転頻度やその角度、ナビゲーション装置を目視する頻度などを検出すると共に、それらの各運転行動をその平均値と比較して運転者の認知情報を推定する。そして、その推定した認知情報と車両の環境状態とに基づいて、運転者に提示する情報を決定する。
【特許文献１】特開２００５−４４１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記した装置において運転者の運転行動からは運転者の認知状態が高いものであると推定されるときでも、実際には運転者の注意力が低下していることがある。このような場合、上記の装置では運転者の状態を正確に推定することができない。このため、運転者の注意力低下に基づく運転者への運転支援を適切に行うことができないおそれがある。
【０００４】
尚、かかる不都合を解消する手法として、運転者の運転行動や車両の環境状態などのパラメータを検出する既存のデバイスとは別に、運転者に実際に生ずる注意力の低下を示すパラメータを検出するデバイスを追加して設け、そのデバイスにより検出された運転者の注意力低下の情報と既存デバイスにより検出された運転者の運動行動や車両の環境状態とを総合して、運転者の状態を推定することが考えられる。
【０００５】
しかし、運転者の状態を示すパラメータのデータ数が増大すると、一般的には、運転者の状態の推定自体やその推定に用いる学習値の演算に要する計算時間が増えるので、リアルタイムでの運転者の推定に適用できなくなる。また、この際、追加されたデバイスの出力と既存のデバイスの出力とをそれぞれ並列に入力させて、それら入力の相互の関係に基づいて運転者の状態を推定するものとすると、既存のデバイスの出力のみを用いて運転者の状態を推定できる推定器は不要となり、新たにすべてのデバイス出力を入力させる推定器を構築することが必要となるので、運転者の状態を推定するシステムが拡張性に乏しいものとなってしまう。
【０００６】
本発明は、上述の点に鑑みてなされたものであり、運転者の状態推定を簡易な構成でかつ精度よく実現することが可能な運転者状態推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的は、車両を運転する運転者の生体情報又は車両情報に基づいて該運転者の運転に対する注意力低下状態を推定する運転者状態推定装置であって、入力される前記生体情報又は車両情報を示す複数の特徴量を２値的に識別する複数の弱識別手段と、前記複数の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する状態推定手段と、前記弱識別手段による識別又は前記状態推定手段による推定に用いる、前記複数の特徴量それぞれと前記運転者の運転に対する注意力低下状態との関係について学習を行う学習手段と、を備える運転者状態推定装置により達成される。
【０００８】
この態様の発明においては、運転者の生体情報又は車両情報を示す複数の特徴量が複数の弱識別手段で２値的に識別されて、それらの識別結果に基づいて運転者の運転に対する注意力低下状態が推定される。また、その識別や推定に用いる複数の特徴量それぞれと運転者の注意力低下状態との関係について学習が行われる。運転者の生体情報又は車両情報を示す特徴量を、推定すべき運転者の注意力低下状態に関連して２値的に識別する構成によれば、その識別自体を簡易に行うことができる。また、複数の特徴量の識別結果を組み合わせれば、運転者の注意力低下状態の推定精度を向上させることができる。従って、本発明によれば、運転者の注意力低下状態の推定を簡易な構成でかつ精度よく実現することが可能となる。
【０００９】
ところで、上記した運転者状態推定装置において、前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記特徴量とに基づいて、前記複数の特徴量について前記関係を学習することとすればよい。
【００１０】
また、上記した運転者状態推定装置において、前記学習手段は、前記関係をＡｄａＢｏｏｓｔを用いて学習することとすればよい。
【００１１】
また、上記した運転者状態推定装置において、入力される前記生体情報又は車両情報を示す特徴量が新たに追加された場合、前記弱識別手段は、該新たな特徴量が追加される前から存在する前記複数の特徴量を２値的に識別する第１の弱識別手段と、前記第１の弱識別手段とは別に設けられ、該追加された新たな特徴量を２値的に識別する第２の弱識別手段と、を有し、前記状態推定手段は、前記第１の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する第１の状態推定手段と、前記第１の状態推定手段による推定結果と前記第２の弱識別手段による前記追加された新たな特徴量の識別結果とに基づいて前記運転者の運転に対する注意力低下状態を推定する第２の状態推定手段と、を有することとしてもよい。
【００１２】
この態様の発明においては、運転者状態推定装置に入力される運転者の生体情報又は車両情報を示す特徴量が新たに追加された場合、その追加前から存在する複数の特徴量の識別結果に基づいて運転者の注意力低下状態を推定する構成をそのまま保持したうえで、その構成による推定結果と追加された新たな特徴量の識別結果とに基づいて新たに運転者の注意力低下状態を推定することができる。このため、本発明によれば、新たに追加される特徴量を運転者の注意力低下状態を推定するうえで容易に適合させることができ、運転者の注意力低下状態を推定するシステムの拡張性を確保することができる。
【００１３】
この場合、前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記新たな特徴量を含む前記特徴量とに基づいて、該新たな特徴量を含む特徴量について前記関係を学習することとすればよい。
【００１４】
尚、上記した運転者状態推定装置において、前記生体情報又は車両情報は、前記運転者の顔情報、生理状態量、運転操作量、及び車両の環境状態量のうちの少なくとも一つであることとすればよい。
【００１５】
この場合、前記特徴量は、前記運転者の視線移動量、頭部移動量、瞳孔径、瞬き回数、心電図ＲＲＩ、操舵角変動量、及び車線逸脱量のうちの少なくとも二つであることとすればよい。
【発明の効果】
【００１６】
本発明によれば、運転者の注意力低下状態の推定を簡易な構成でかつ精度よく実現することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を用いて、本発明の具体的な実施の形態について説明する。
【００１８】
図１は、本発明の一実施例である運転者状態推定装置１０を備える車両運転支援システムの構成図を示す。本実施例の運転者状態推定装置１０は、車両に搭載されており、車両を運転する運転者が、例えば交通事故に繋がり易い眠気や疲労，漫然状態等の注意力低下状態になっているか否かを推定する装置であり、例えば、その推定結果を車両走行時における運転者の認知・判断・操作を支援するための装置へ出力する装置である。
【００１９】
運転者状態推定装置１０は、マイクロコンピュータ等により構成される電子制御ユニット（以下、ＥＣＵと称す）１２を備えている。運転者センサ１４、車内センサ１６、車外センサ１８、及び情報通信装置２０が電気的に接続されている。ＥＣＵ１２は、これらのセンサ等１４〜２０からの出力に基づいて、車両を運転する運転者の注意力低下状態を推定する処理を行う。
【００２０】
具体的には、運転者センサ１４は、運転者の生体情報や運転操作を示す特徴量（例えば、運転者自身の心電図によるＲ波間隔（ＲＲＩ）や体温，脈拍，呼吸数，瞼の開閉，その瞬き回数，瞳孔径，視線の移動量，頭部の移動量，運転姿勢情報などの顔情報や生理状態量、及び、運転者による運転操作に伴って変化する操舵角やアクセル開度，ブレーキ操作有無などの運転操作量）に応じた信号を出力するセンサであって、互いに異なる特徴量が得られるように少なくとも２つ設けられている。各運転者センサ１４の出力はそれぞれ、ＥＣＵ１２に供給される。ＥＣＵ１２は、運転者センサ１４の出力信号に基づいて、上記した運転者の生体や車両運転操作に関する各種情報を収集して、現状における運転者の生体や運転操作を示す特徴量を検出する。
【００２１】
車内センサ１６は、上記した運転者センサ１４によって検出され得る運転者の生体や運転操作以外の車内の状態（例えば、室温やにおい，音，同乗者の有無など）に応じた信号を出力するセンサであって、内気温センサやにおいセンサ，マイク，シートセンサなどである。車内センサ１６の出力は、ＥＣＵ１２に供給される。ＥＣＵ１２は、車内センサ１６の出力信号に基づいて、車内の状態に関する情報を収集して、その車内の状態を検出する。
【００２２】
車外センサ１８は、車外の状態（例えば、障害物や先行車両との相対距離や走行レーンの位置，車線逸脱量，外気温，降雨有無など）に応じた信号を出力するセンサであって、レーダセンサや車載カメラ，外気温センサ，降雨センサなどである。車外センサ１８の出力は、ＥＣＵ１２に供給される。ＥＣＵ１２は、車外センサ１８の出力信号に基づいて、車外の状態に関する情報を収集して、その車外の状態を検出する。
【００２３】
また、情報通信装置２０は、気象庁や道路情報センタなどの外部センタのインフラ装置から無線送信される、特に車載の車外センサ１８を用いて検出することができるものを除く車両の走行する道路の環境に関する情報（例えば、現状の天候や天気予報，渋滞情報，事故情報など）を受信する装置である。情報通信装置２０の受信した情報は、ＥＣＵ１２に供給される。ＥＣＵ１２は、情報通信装置２０から供給される道路環境情報に基づいて、上記した道路環境を取得する。
【００２４】
ＥＣＵ１２には、また、自車両を運転する運転者の個人情報を格納するデータベース２２が電気的に接続されている。データベース２２には、運転者の個人情報として、上記したセンサ等１４〜２０（特に運転者センサ１４）を用いて検出可能な運転者個人の生体や運転操作，運転傾向（例えば車線の左寄りで車両を走行させる傾向にあることなど）を示す各検出パラメータの種類ごとの、その検出パラメータと運転者の注意力低下状態との関係に関するものが格納される。この検出パラメータと運転者の注意力低下状態との関係は、各検出パラメータの種類ごとに運転者に運転に対する注意力の低下が生ずるか否かの境界値（尚、あまり精度のよくないものであってもよい。）を示すものであってもよく、また、各検出パラメータの種類ごとかつその検出パラメータの所定数値範囲ごとに運転者に運転に対する注意力の低下が生ずるか否かを示すものであってもよい。
【００２５】
データベース２２には、また、運転者の個人情報として、格納されている上記の検出パラメータと運転者の注意力低下状態との関係に対する信頼度αを示す情報が格納される。この信頼度αは、検出パラメータの種類ごと又は検出パラメータの所定数値範囲ごとに定められており、“０”〜“１”の値を示す。
【００２６】
ＥＣＵ１２は、データベース２２に格納される上記の関係及び信頼度αを車両運転者個々の特性に合わせて更新する学習処理を行うことが可能であると共に、データベース２２に格納される上記の関係及び信頼度αを読み出して運転者の注意力低下状態を推定する処理を行うことが可能である。
【００２７】
尚、データベース２２に格納される検出パラメータごとのその検出パラメータと運転者の注意力低下状態との関係の初期値は、予め実験的に定められた一般的なものであってもよく、また、車両走行前に予め運転者に対してヒアリングした結果として得られるもの（例えば、注意力低下が生じていると感じているか否かを運転者に聞いたときにその運転者の応答として得られる注意力低下有無の入力結果と、その入力時点で各センサ等１４〜２０から得られる検出パラメータとの関係）であってもよい。
【００２８】
また、ＥＣＵ１２によるその関係の情報更新は、例えば、車両走行中に各センサ等１４〜２０の出力に基づいて検出される車両運転者の生体情報や運転操作情報を用いて学習するものであってもよく、複数回の車両走行当たりの分布傾向を用いるものであってもよく、また、通信接続された外部装置から車両運転者個々の特性に合致した情報を通信により書き込むものであってもよい。また、その情報更新は、車両走行中に運転者に対してヒアリングした結果として得られる上記の関係へ行われるものであってもよい。
【００２９】
ＥＣＵ１２は、後に詳述する如く、センサ等１４〜２０からの出力に基づいて検出した情報を、データベース２２に格納されている上記の関係と照合することにより、運転者の運転に対する注意力低下状態（過労・眠気等による注意力の低下、及び、思考・会話，脇見等による注意力の散漫など）を推定する。
【００３０】
本実施例の車両運転支援装置は、エアコンやカーステレオなどの車内快適さに関する制御を行う車内制御システム２４、及び、レーンキープやプリクラッシュセーフティなどの車両の安全走行を実現する制御を行う走行制御システム２６を備えている。
【００３１】
車内制御システム２４には、上記した車内センサ１６が直接に電気的に接続されている。車内センサ１６の出力は、車内制御システム２４に供給される。車内制御システム２４は、車内センサ１６の出力信号に基づいて車内状態を検出して、その検出した車内状態に応じて車両運転者にとって快適な車内状態が実現されるような自動制御を行う。例えば、車内センサ１６を用いて検出した内気温が所望値よりも高ければその所望値が実現されるようにエアコン制御を行い、また、車内センサ１６を用いて検出したスピーカからの音量が所望値よりも高ければその所望値が実現されるように音量制御を行う。
【００３２】
走行制御システム２６には、上記した車外センサ１８が直接に電気的に接続されている。車外センサ１８の出力は、走行制御システム２６に供給される。走行制御システム２６は、車外センサ１８の出力信号に基づいて車両外の状態を検出して、その検出した車両外の状態に応じて車両の安全走行が実現されるような制御を行う。例えば、自車両を道路に描かれた走行レーンから逸脱するのを防止してその走行レーンに沿って走行させるレーンキープモードでは、車外センサ１８としてのカメラの撮像画像を処理して得た自車両に対する走行レーンの位置が所定のずれ量以上となればすなわち自車両と走行レーンとの位置関係が所望の位置関係になければ所定のタイミングでその所望の位置関係が実現されるようにステアリングアクチュエータを駆動する操舵制御を行う。また、自車両と障害物との衝突を予防するセーフティモードでは、車外センサ１８としてのレーダセンサを用いて検出した障害物との距離が所定距離を下回ると障害物の接近を乗員に知らせるべく警報を発する制御を行う。自車両が障害物と衝突する際の衝撃を吸収するプリクラッシュセーフティモードでは、車外センサ１８としてのレーダセンサを用いて検出した障害物との衝突までの時間（＝衝突時間）が所定時間を下回ると乗員への衝撃が緩和されるようにシートベルトの巻き取りやヘッドレストの高さ調整などを行う制御を行う。
【００３３】
車内制御システム２４及び走行制御システム２６には共に、上記したＥＣＵ１２が電気的に接続されている。ＥＣＵ１２の推定した運転者の状態に関する情報は、車内制御システム２４及び走行制御システム２６の双方にそれぞれ供給される。車内制御システム２４及び走行制御システム２６は、自己の制御に用いられる上記した所望値や所望の位置関係，所定距離，所定時間などを、ＥＣＵ１２から供給される運転者の注意力低下状態に合わせて変更する。
【００３４】
次に、図２乃至図３を参照して、本実施例の運転者状態推定装置１０においてＥＣＵ１２が運転者の状態を推定する手法について説明する。図２は、本実施例の運転者状態推定装置１０の備えるＥＣＵ１２の内部構成図を示す。図３は、ＡｄａＢｏｏｓｔにより推定を行ううえでの基本概念図を示す。
【００３５】
本実施例において、ＥＣＵ１２は、運転者の注意力が低下する状態を推定するのに用いるＡｄａＢｏｏｓｔ３０を有している。ＡｄａＢｏｏｓｔ３０は、多段階分割・追加学習型分析手法を適用したパターン識別のための学習アルゴリズムである。ＡｄａＢｏｏｓｔ３０による学習は、逐次的に学習データの重み（信頼度α）を変化させながら異なる識別器を作り、これら複数の識別器（弱識別器３２）の重み付き多数決によって最終的な識別関数（強識別器３４）を与える。ＡｄａＢｏｏｓｔ３０による学習結果は、データベース２２に格納される。
【００３６】
ＡｄａＢｏｏｓｔ３０は、複数の弱識別器３２を有している。これら複数の弱識別器３２には、センサ等１４〜２０の出力（特に、運転者センサ１４に基づく運転者の生体情報や運転操作情報；以下同じ）が接続されている。センサ等１４〜２０による運転者の視線移動量、頭部移動量、及び操舵角などの情報は、ＡｄａＢｏｏｓｔ３０の弱識別器３２に入力される。
【００３７】
ＡｄａＢｏｏｓｔ３０のＴ個の弱識別器３２はそれぞれ、入力されるセンサ等１４〜２０の出力を、データベース２２に格納されている上記の関係に照らし合わせることにより、その出力の示す検出パラメータについて運転者の運転に対する注意力低下が生じているか否かの識別を行う（例えば、注意力低下が生じていないときはそのことを示す“−１”を出力し、注意力低下が生じているときはその注意力低下を示す“＋１”を出力する）。
【００３８】
ＡｄａＢｏｏｓｔ３０において、Ｔ個の弱識別器３２の出力には、一つの強識別器３４の入力が接続されている。各弱識別器３２の出力は、強識別器３４に入力される。強識別器３４は、入力されるＴ個の弱識別器３２からの各出力を、データベース２２に格納されている信頼度αで重み付けをして結合することにより、運転者の運転に対する注意力低下が生じているか否かの識別を行う（例えば、注意力低下が生じていないときはそのことを示す“−１”を出力し、注意力低下が生じているときはその注意力低下を示す“＋１”を出力する）。そして、強識別器３４の出力は、ＡｄａＢｏｏｓｔ３０すなわちＥＣＵ１２の出力として扱われる。
【００３９】
また、ＡｄａＢｏｏｓｔ３０は、単純でかつ識別力の比較的弱い弱識別器３２を逐次的に学習し、識別器としての精度を増強するものである。すなわち、ｎ個の入力ｘｉ∈Ｘとその入力ｘｉに対する正解ｙｉ∈Ｙ＝｛±１｝との組（＝（ｘ１，ｙ１），・・・，（ｘｎ，ｙｎ））を学習データとして用い、Ｔ個の弱識別器ｈｔ（ｘ）（ｔ＝１，２，・・・，Ｔ）を、信頼度αｔで重み付けをして結合することにより強識別器Ｈ（ｘ）を構成する。
【００４０】
ＡｄａＢｏｏｓｔ３０は、ｔ回目の学習における重みをＤｔ（ｉ）とし、その重みの初期値をすべての入力ｘｉについて同じ値Ｄ１（ｉ）＝１／Ｎとしたうえで、正しく識別できなかったデータの重みを大きくし正しく識別できたデータの重みを小さくすることにより、次の弱識別器において重点的に学習を行う。すなわち、重みの分布Ｄｔの基で次式（１）の誤り率εｔをできるだけ小さくするように弱識別器ｈｔを選び出す。
【００４１】
【数１】
ＡｄａＢｏｏｓｔ３０は、まず、重み初期値Ｄ１（ｉ）＝１／Ｎによって初期化を行う。そして次に、各弱識別器について、重みの分布Ｄｔに基づき学習を行う。つまり、上記した式（１）の最小化を行い、ｈｔ：Ｘ→Ｙを得る。また、各弱識別器について、誤り率εｔを用いて次式（２）の如く信頼度αｔ∈Ｒを計算する。更に、各弱識別器について、次式（３）により重みの分布Ｄｔを更新する。
【００４２】
【数２】
【００４３】
【数３】
但し、Ｚｔは、次式（４）を成立させるための規格化因子であり、次式（５）である。
【００４４】
【数４】
【００４５】
【数５】
そして、ＡｄａＢｏｏｓｔ３０は、すべての弱識別器ｈｔ（ｘ）をその信頼度αｔで重み付けをして多数決をとり、次式（６）の如く強識別器Ｈ（ｘ）を得る。
【００４６】
【数６】
このように、本実施例の運転者状態推定装置１０においては、まず、各センサ等１４〜２０からの検出パラメータとしての出力それぞれをＡｄａＢｏｏｓｔ３０の有するＴ個の弱識別器３２に入力して、それらの弱識別器３２それぞれに簡易に運転者の注意力低下の有無を識別させると共に、各弱識別器３２の出力をそれぞれの弱識別器３２の信頼度αで重み付けして結合させて、最終的に運転者の注意力低下の有無を識別させる。
【００４７】
かかる構成においては、運転者の運転に対する注意力低下の有無を識別するうえで、多数の検出パラメータがあったとしても、２値判別を行う単純な弱識別器３２で個々の検出パラメータについての識別が行われるので、その計算時間が増大することは回避される。また、識別力の比較的弱い弱識別器３２では識別の精度が低下するおそれがあるが、上記の構成においては、各識別器３２の出力がそれぞれの信頼度αで重み付けされて結合されることで最終的な強識別器３４による識別が行われるので、その識別の精度が低下するのは防止されることとなる。
【００４８】
従って、本実施例の運転者状態推定装置１０によれば、車両を運転する運転者の運転に対する注意力が低下しているか否かを簡易な構成で高速にかつ高精度に推定することが可能となっている。
【００４９】
次に、運転者の注意力が低下する状態を推定するのに、例えば心電図ＲＲＩを測定できるハンドルや瞳孔径を測定できるドライバモニタカメラなどのデバイスが新規開発されて、その新規開発されたデバイスが運転者により購入されて自車両に取り付けられた場合を想定する。
【００５０】
この場合、ＥＣＵ１２は、上記したＡｄａＢｏｏｓｔ３０とは別個独立に、運転者の注意力が低下する状態を推定するのに用いるＡｄａＢｏｏｓｔ４０を構築する。このＡｄａＢｏｏｓｔ４０は、ＡｄａＢｏｏｓｔ３０と同様に、多段階分割・追加学習型分析手法を適用したパターン識別のための学習アルゴリズムであり、その学習も、逐次的に学習データの重み（信頼度α）を変化させながら異なる識別器を作り、これら複数の弱識別器４２の重み付き多数決によって最終的な強識別器４４を与える。ＡｄａＢｏｏｓｔ４０による学習結果は、データベース２２に格納される。
【００５１】
ＡｄａＢｏｏｓｔ４０は、複数の弱識別器４２を有している。これらの複数の弱識別器４２には、新たに取り付けられた新規デバイスの出力（特に、運転者の生体情報や運転操作情報）が接続されている。新規デバイスによる運転者の心電図ＲＲＩなどの情報は、ＡｄａＢｏｏｓｔ４０の弱識別器４２に入力される。
【００５２】
ＡｄａＢｏｏｓｔ４０は、弱識別器４２の出力が入力に接続される強識別器４４を有している。強識別器４４の入力には、また、上記したＡｄａＢｏｏｓｔ３０の出力が接続されている。すなわち、ＡｄａＢｏｏｓｔ４０は、ＡｄａＢｏｏｓｔ３０を弱識別器４２の一つとして扱う。
【００５３】
尚、新規デバイスが車両に取り付けられた際、運転者状態推定装置１０のデータベース２２には、その新規デバイスによる運転者の生体や運転操作等を示す検出パラメータと運転者の注意力低下状態との関係に関するものが格納されると共に、その関係及びＡｄａＢｏｏｓｔ３０に対する信頼度α（初期値はすべて同じ）を示す情報が格納される。
【００５４】
ＡｄａＢｏｏｓｔ４０の複数の弱識別器４２はそれぞれ、入力される新規デバイスの出力を、データベース２２に格納されている上記の関係に照らし合わせることにより、その出力の示す検出パラメータについて運転者の運転に対する注意力低下が生じているか否かの識別を行う。各弱識別器４２の出力及びＡｄａＢｏｏｓｔ３０の出力は、強識別器４４に入力される。強識別器４４は、入力される弱識別器４２からの出力及びＡｄａＢｏｏｓｔ３０からの出力を、データベース２２に格納されている信頼度αで重み付けをして結合することにより、運転者の運転に対する注意力低下が生じているか否かの識別を行う。
【００５５】
また、ＡｄａＢｏｏｓｔ４０は、単純でかつ識別力の比較的弱い弱識別器３２を逐次的に学習し、識別器としての精度を増強するものであり、上記したＡｄａＢｏｏｓｔ３０と同様の作用を行う。
【００５６】
このように、本実施例の運転者状態推定装置１０においては、運転者の注意力が低下する状態を推定するのにその生体情報や運転操作情報等の検出パラメータを測定するデバイスが新たに追加された場合、それまでに学習・構築されたＡｄａＢｏｏｓｔ３０を一つのモジュールとして利用して、新たに運転者の注意力低下状態を推定するシステムを構築することができる。具体的には、既存のＡｄａＢｏｏｓｔ３０を１段目にとし、その出力を２段目のＡｄａＢｏｏｓｔ４０の入力に接続して、それまでにあったＡｄａＢｏｏｓｔ３０をそのままに一つの弱識別器として利用することで、新たなデバイスによる検出パラメータをも含めて総合的・複合的に運転者の注意力低下状態を推定することができる。
【００５７】
このため、本実施例によれば、運転者の注意力定価状態を推定するのに新たな検出パラメータが追加される場合、その新規パラメータを運転者の注意力低下状態の推定に容易に適合させることができ、運転者の注意力低下状態を推定するシステムの拡張性を確保しつつその推定精度の向上を図ることが可能となっている。
【００５８】
尚、新たに構築される後段のＡｄａＢｏｏｓｔ４０による演算は、前段のＡｄａＢｏｏｓｔ３０の演算に影響を与えることはなく、また、新規デバイスからの検出パラメータに係る弱識別器４２によるもの及びその弱識別器４２の出力とＡｄａＢｏｏｓｔ３０の演算結果との結合によるもののみであるので、あまり複雑ではない。このため、運転者の注意力定価状態を推定するのに新たな検出パラメータが追加される場合にも、その追加に起因して運転者の注意力低下状態の推定に要する演算時間が極めて長くなることはなく、短時間でその推定を実現させることが可能である。
【００５９】
従って、本実施例の運転者状態推定装置１０によれば、車両を運転する運転者の運転に対する注意力が低下しているか否かの推定を簡易な構成で高速にかつ高精度に実現させつつ、その推定システムの拡張性を確保することが可能となっている。この点、運転者の注意力が低下した状態が車両走行中にリアルタイムに推定されるので、衝突予防や安全走行を促す車両運転支援装置による運転支援を速やかにかつ的確に行うことが可能となっている。
【００６０】
尚、上記の実施例においては、弱識別器３２が特許請求の範囲に記載した「弱識別手段」及び「第１の弱識別手段」に、弱識別器４２が特許請求の範囲に記載した「弱識別手段」及び「第２の弱識別手段」に、ＥＣＵ１２のＡｄａＢｏｏｓｔ３０が特許請求の範囲に記載した「状態推定手段」、「第１の状態推定手段」、及び「学習手段」に、ＡｄａＢｏｏｓｔ４０が特許請求の範囲に記載した「状態推定手段」、「第２の状態推定手段」、及び「学習手段」に、それぞれ相当している。
【００６１】
ところで、上記の実施例においては、ＥＣＵ１２に構築されるブースタとして、一段目にＡｄａＢｏｏｓｔ３０を、二段目にＡｄａＢｏｏｓｔ４０を、設けるものとしたが、二段に限らず、それ以上の段数を設けたものとしてもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施例である運転者状態推定装置を備える車両運転支援システムの構成図である。
【図２】本実施例の運転者状態推定装置の備えるＥＣＵの内部構成図である。
【図３】ＡｄａＢｏｏｓｔにより推定を行ううえでの基本概念図である。
【符号の説明】
【００６３】
１０ 運転者状態推定装置
１２ 電子制御ユニット（ＥＣＵ）
１４ 運転者センサ
１６ 車内センサ
１８ 車外センサ
２０ 通信装置
２２ データベース
３０，４０ ＡｄａＢｏｏｓｔ
３２，４２ 弱識別器
３４，４４ 強識別器
【技術分野】
【０００１】
本発明は、運転者状態推定装置に係り、特に、車両を運転する運転者の、例えば交通事故に繋がり易い眠気や疲労などの運転に対する注意力が低下する状態を推定するうえで好適な運転者状態推定装置に関する。
【背景技術】
【０００２】
従来、車両を運転する運転者の運転行動を検出し、その運転行動から運転者の認知状態を推定する装置が知られている（例えば、特許文献１参照）。この装置は、運転者の運転行動として、車両に設けられたサイドミラーやルームミラーを目視する頻度、頭部の回転頻度やその角度、ナビゲーション装置を目視する頻度などを検出すると共に、それらの各運転行動をその平均値と比較して運転者の認知情報を推定する。そして、その推定した認知情報と車両の環境状態とに基づいて、運転者に提示する情報を決定する。
【特許文献１】特開２００５−４４１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記した装置において運転者の運転行動からは運転者の認知状態が高いものであると推定されるときでも、実際には運転者の注意力が低下していることがある。このような場合、上記の装置では運転者の状態を正確に推定することができない。このため、運転者の注意力低下に基づく運転者への運転支援を適切に行うことができないおそれがある。
【０００４】
尚、かかる不都合を解消する手法として、運転者の運転行動や車両の環境状態などのパラメータを検出する既存のデバイスとは別に、運転者に実際に生ずる注意力の低下を示すパラメータを検出するデバイスを追加して設け、そのデバイスにより検出された運転者の注意力低下の情報と既存デバイスにより検出された運転者の運動行動や車両の環境状態とを総合して、運転者の状態を推定することが考えられる。
【０００５】
しかし、運転者の状態を示すパラメータのデータ数が増大すると、一般的には、運転者の状態の推定自体やその推定に用いる学習値の演算に要する計算時間が増えるので、リアルタイムでの運転者の推定に適用できなくなる。また、この際、追加されたデバイスの出力と既存のデバイスの出力とをそれぞれ並列に入力させて、それら入力の相互の関係に基づいて運転者の状態を推定するものとすると、既存のデバイスの出力のみを用いて運転者の状態を推定できる推定器は不要となり、新たにすべてのデバイス出力を入力させる推定器を構築することが必要となるので、運転者の状態を推定するシステムが拡張性に乏しいものとなってしまう。
【０００６】
本発明は、上述の点に鑑みてなされたものであり、運転者の状態推定を簡易な構成でかつ精度よく実現することが可能な運転者状態推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的は、車両を運転する運転者の生体情報又は車両情報に基づいて該運転者の運転に対する注意力低下状態を推定する運転者状態推定装置であって、入力される前記生体情報又は車両情報を示す複数の特徴量を２値的に識別する複数の弱識別手段と、前記複数の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する状態推定手段と、前記弱識別手段による識別又は前記状態推定手段による推定に用いる、前記複数の特徴量それぞれと前記運転者の運転に対する注意力低下状態との関係について学習を行う学習手段と、を備える運転者状態推定装置により達成される。
【０００８】
この態様の発明においては、運転者の生体情報又は車両情報を示す複数の特徴量が複数の弱識別手段で２値的に識別されて、それらの識別結果に基づいて運転者の運転に対する注意力低下状態が推定される。また、その識別や推定に用いる複数の特徴量それぞれと運転者の注意力低下状態との関係について学習が行われる。運転者の生体情報又は車両情報を示す特徴量を、推定すべき運転者の注意力低下状態に関連して２値的に識別する構成によれば、その識別自体を簡易に行うことができる。また、複数の特徴量の識別結果を組み合わせれば、運転者の注意力低下状態の推定精度を向上させることができる。従って、本発明によれば、運転者の注意力低下状態の推定を簡易な構成でかつ精度よく実現することが可能となる。
【０００９】
ところで、上記した運転者状態推定装置において、前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記特徴量とに基づいて、前記複数の特徴量について前記関係を学習することとすればよい。
【００１０】
また、上記した運転者状態推定装置において、前記学習手段は、前記関係をＡｄａＢｏｏｓｔを用いて学習することとすればよい。
【００１１】
また、上記した運転者状態推定装置において、入力される前記生体情報又は車両情報を示す特徴量が新たに追加された場合、前記弱識別手段は、該新たな特徴量が追加される前から存在する前記複数の特徴量を２値的に識別する第１の弱識別手段と、前記第１の弱識別手段とは別に設けられ、該追加された新たな特徴量を２値的に識別する第２の弱識別手段と、を有し、前記状態推定手段は、前記第１の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する第１の状態推定手段と、前記第１の状態推定手段による推定結果と前記第２の弱識別手段による前記追加された新たな特徴量の識別結果とに基づいて前記運転者の運転に対する注意力低下状態を推定する第２の状態推定手段と、を有することとしてもよい。
【００１２】
この態様の発明においては、運転者状態推定装置に入力される運転者の生体情報又は車両情報を示す特徴量が新たに追加された場合、その追加前から存在する複数の特徴量の識別結果に基づいて運転者の注意力低下状態を推定する構成をそのまま保持したうえで、その構成による推定結果と追加された新たな特徴量の識別結果とに基づいて新たに運転者の注意力低下状態を推定することができる。このため、本発明によれば、新たに追加される特徴量を運転者の注意力低下状態を推定するうえで容易に適合させることができ、運転者の注意力低下状態を推定するシステムの拡張性を確保することができる。
【００１３】
この場合、前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記新たな特徴量を含む前記特徴量とに基づいて、該新たな特徴量を含む特徴量について前記関係を学習することとすればよい。
【００１４】
尚、上記した運転者状態推定装置において、前記生体情報又は車両情報は、前記運転者の顔情報、生理状態量、運転操作量、及び車両の環境状態量のうちの少なくとも一つであることとすればよい。
【００１５】
この場合、前記特徴量は、前記運転者の視線移動量、頭部移動量、瞳孔径、瞬き回数、心電図ＲＲＩ、操舵角変動量、及び車線逸脱量のうちの少なくとも二つであることとすればよい。
【発明の効果】
【００１６】
本発明によれば、運転者の注意力低下状態の推定を簡易な構成でかつ精度よく実現することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を用いて、本発明の具体的な実施の形態について説明する。
【００１８】
図１は、本発明の一実施例である運転者状態推定装置１０を備える車両運転支援システムの構成図を示す。本実施例の運転者状態推定装置１０は、車両に搭載されており、車両を運転する運転者が、例えば交通事故に繋がり易い眠気や疲労，漫然状態等の注意力低下状態になっているか否かを推定する装置であり、例えば、その推定結果を車両走行時における運転者の認知・判断・操作を支援するための装置へ出力する装置である。
【００１９】
運転者状態推定装置１０は、マイクロコンピュータ等により構成される電子制御ユニット（以下、ＥＣＵと称す）１２を備えている。運転者センサ１４、車内センサ１６、車外センサ１８、及び情報通信装置２０が電気的に接続されている。ＥＣＵ１２は、これらのセンサ等１４〜２０からの出力に基づいて、車両を運転する運転者の注意力低下状態を推定する処理を行う。
【００２０】
具体的には、運転者センサ１４は、運転者の生体情報や運転操作を示す特徴量（例えば、運転者自身の心電図によるＲ波間隔（ＲＲＩ）や体温，脈拍，呼吸数，瞼の開閉，その瞬き回数，瞳孔径，視線の移動量，頭部の移動量，運転姿勢情報などの顔情報や生理状態量、及び、運転者による運転操作に伴って変化する操舵角やアクセル開度，ブレーキ操作有無などの運転操作量）に応じた信号を出力するセンサであって、互いに異なる特徴量が得られるように少なくとも２つ設けられている。各運転者センサ１４の出力はそれぞれ、ＥＣＵ１２に供給される。ＥＣＵ１２は、運転者センサ１４の出力信号に基づいて、上記した運転者の生体や車両運転操作に関する各種情報を収集して、現状における運転者の生体や運転操作を示す特徴量を検出する。
【００２１】
車内センサ１６は、上記した運転者センサ１４によって検出され得る運転者の生体や運転操作以外の車内の状態（例えば、室温やにおい，音，同乗者の有無など）に応じた信号を出力するセンサであって、内気温センサやにおいセンサ，マイク，シートセンサなどである。車内センサ１６の出力は、ＥＣＵ１２に供給される。ＥＣＵ１２は、車内センサ１６の出力信号に基づいて、車内の状態に関する情報を収集して、その車内の状態を検出する。
【００２２】
車外センサ１８は、車外の状態（例えば、障害物や先行車両との相対距離や走行レーンの位置，車線逸脱量，外気温，降雨有無など）に応じた信号を出力するセンサであって、レーダセンサや車載カメラ，外気温センサ，降雨センサなどである。車外センサ１８の出力は、ＥＣＵ１２に供給される。ＥＣＵ１２は、車外センサ１８の出力信号に基づいて、車外の状態に関する情報を収集して、その車外の状態を検出する。
【００２３】
また、情報通信装置２０は、気象庁や道路情報センタなどの外部センタのインフラ装置から無線送信される、特に車載の車外センサ１８を用いて検出することができるものを除く車両の走行する道路の環境に関する情報（例えば、現状の天候や天気予報，渋滞情報，事故情報など）を受信する装置である。情報通信装置２０の受信した情報は、ＥＣＵ１２に供給される。ＥＣＵ１２は、情報通信装置２０から供給される道路環境情報に基づいて、上記した道路環境を取得する。
【００２４】
ＥＣＵ１２には、また、自車両を運転する運転者の個人情報を格納するデータベース２２が電気的に接続されている。データベース２２には、運転者の個人情報として、上記したセンサ等１４〜２０（特に運転者センサ１４）を用いて検出可能な運転者個人の生体や運転操作，運転傾向（例えば車線の左寄りで車両を走行させる傾向にあることなど）を示す各検出パラメータの種類ごとの、その検出パラメータと運転者の注意力低下状態との関係に関するものが格納される。この検出パラメータと運転者の注意力低下状態との関係は、各検出パラメータの種類ごとに運転者に運転に対する注意力の低下が生ずるか否かの境界値（尚、あまり精度のよくないものであってもよい。）を示すものであってもよく、また、各検出パラメータの種類ごとかつその検出パラメータの所定数値範囲ごとに運転者に運転に対する注意力の低下が生ずるか否かを示すものであってもよい。
【００２５】
データベース２２には、また、運転者の個人情報として、格納されている上記の検出パラメータと運転者の注意力低下状態との関係に対する信頼度αを示す情報が格納される。この信頼度αは、検出パラメータの種類ごと又は検出パラメータの所定数値範囲ごとに定められており、“０”〜“１”の値を示す。
【００２６】
ＥＣＵ１２は、データベース２２に格納される上記の関係及び信頼度αを車両運転者個々の特性に合わせて更新する学習処理を行うことが可能であると共に、データベース２２に格納される上記の関係及び信頼度αを読み出して運転者の注意力低下状態を推定する処理を行うことが可能である。
【００２７】
尚、データベース２２に格納される検出パラメータごとのその検出パラメータと運転者の注意力低下状態との関係の初期値は、予め実験的に定められた一般的なものであってもよく、また、車両走行前に予め運転者に対してヒアリングした結果として得られるもの（例えば、注意力低下が生じていると感じているか否かを運転者に聞いたときにその運転者の応答として得られる注意力低下有無の入力結果と、その入力時点で各センサ等１４〜２０から得られる検出パラメータとの関係）であってもよい。
【００２８】
また、ＥＣＵ１２によるその関係の情報更新は、例えば、車両走行中に各センサ等１４〜２０の出力に基づいて検出される車両運転者の生体情報や運転操作情報を用いて学習するものであってもよく、複数回の車両走行当たりの分布傾向を用いるものであってもよく、また、通信接続された外部装置から車両運転者個々の特性に合致した情報を通信により書き込むものであってもよい。また、その情報更新は、車両走行中に運転者に対してヒアリングした結果として得られる上記の関係へ行われるものであってもよい。
【００２９】
ＥＣＵ１２は、後に詳述する如く、センサ等１４〜２０からの出力に基づいて検出した情報を、データベース２２に格納されている上記の関係と照合することにより、運転者の運転に対する注意力低下状態（過労・眠気等による注意力の低下、及び、思考・会話，脇見等による注意力の散漫など）を推定する。
【００３０】
本実施例の車両運転支援装置は、エアコンやカーステレオなどの車内快適さに関する制御を行う車内制御システム２４、及び、レーンキープやプリクラッシュセーフティなどの車両の安全走行を実現する制御を行う走行制御システム２６を備えている。
【００３１】
車内制御システム２４には、上記した車内センサ１６が直接に電気的に接続されている。車内センサ１６の出力は、車内制御システム２４に供給される。車内制御システム２４は、車内センサ１６の出力信号に基づいて車内状態を検出して、その検出した車内状態に応じて車両運転者にとって快適な車内状態が実現されるような自動制御を行う。例えば、車内センサ１６を用いて検出した内気温が所望値よりも高ければその所望値が実現されるようにエアコン制御を行い、また、車内センサ１６を用いて検出したスピーカからの音量が所望値よりも高ければその所望値が実現されるように音量制御を行う。
【００３２】
走行制御システム２６には、上記した車外センサ１８が直接に電気的に接続されている。車外センサ１８の出力は、走行制御システム２６に供給される。走行制御システム２６は、車外センサ１８の出力信号に基づいて車両外の状態を検出して、その検出した車両外の状態に応じて車両の安全走行が実現されるような制御を行う。例えば、自車両を道路に描かれた走行レーンから逸脱するのを防止してその走行レーンに沿って走行させるレーンキープモードでは、車外センサ１８としてのカメラの撮像画像を処理して得た自車両に対する走行レーンの位置が所定のずれ量以上となればすなわち自車両と走行レーンとの位置関係が所望の位置関係になければ所定のタイミングでその所望の位置関係が実現されるようにステアリングアクチュエータを駆動する操舵制御を行う。また、自車両と障害物との衝突を予防するセーフティモードでは、車外センサ１８としてのレーダセンサを用いて検出した障害物との距離が所定距離を下回ると障害物の接近を乗員に知らせるべく警報を発する制御を行う。自車両が障害物と衝突する際の衝撃を吸収するプリクラッシュセーフティモードでは、車外センサ１８としてのレーダセンサを用いて検出した障害物との衝突までの時間（＝衝突時間）が所定時間を下回ると乗員への衝撃が緩和されるようにシートベルトの巻き取りやヘッドレストの高さ調整などを行う制御を行う。
【００３３】
車内制御システム２４及び走行制御システム２６には共に、上記したＥＣＵ１２が電気的に接続されている。ＥＣＵ１２の推定した運転者の状態に関する情報は、車内制御システム２４及び走行制御システム２６の双方にそれぞれ供給される。車内制御システム２４及び走行制御システム２６は、自己の制御に用いられる上記した所望値や所望の位置関係，所定距離，所定時間などを、ＥＣＵ１２から供給される運転者の注意力低下状態に合わせて変更する。
【００３４】
次に、図２乃至図３を参照して、本実施例の運転者状態推定装置１０においてＥＣＵ１２が運転者の状態を推定する手法について説明する。図２は、本実施例の運転者状態推定装置１０の備えるＥＣＵ１２の内部構成図を示す。図３は、ＡｄａＢｏｏｓｔにより推定を行ううえでの基本概念図を示す。
【００３５】
本実施例において、ＥＣＵ１２は、運転者の注意力が低下する状態を推定するのに用いるＡｄａＢｏｏｓｔ３０を有している。ＡｄａＢｏｏｓｔ３０は、多段階分割・追加学習型分析手法を適用したパターン識別のための学習アルゴリズムである。ＡｄａＢｏｏｓｔ３０による学習は、逐次的に学習データの重み（信頼度α）を変化させながら異なる識別器を作り、これら複数の識別器（弱識別器３２）の重み付き多数決によって最終的な識別関数（強識別器３４）を与える。ＡｄａＢｏｏｓｔ３０による学習結果は、データベース２２に格納される。
【００３６】
ＡｄａＢｏｏｓｔ３０は、複数の弱識別器３２を有している。これら複数の弱識別器３２には、センサ等１４〜２０の出力（特に、運転者センサ１４に基づく運転者の生体情報や運転操作情報；以下同じ）が接続されている。センサ等１４〜２０による運転者の視線移動量、頭部移動量、及び操舵角などの情報は、ＡｄａＢｏｏｓｔ３０の弱識別器３２に入力される。
【００３７】
ＡｄａＢｏｏｓｔ３０のＴ個の弱識別器３２はそれぞれ、入力されるセンサ等１４〜２０の出力を、データベース２２に格納されている上記の関係に照らし合わせることにより、その出力の示す検出パラメータについて運転者の運転に対する注意力低下が生じているか否かの識別を行う（例えば、注意力低下が生じていないときはそのことを示す“−１”を出力し、注意力低下が生じているときはその注意力低下を示す“＋１”を出力する）。
【００３８】
ＡｄａＢｏｏｓｔ３０において、Ｔ個の弱識別器３２の出力には、一つの強識別器３４の入力が接続されている。各弱識別器３２の出力は、強識別器３４に入力される。強識別器３４は、入力されるＴ個の弱識別器３２からの各出力を、データベース２２に格納されている信頼度αで重み付けをして結合することにより、運転者の運転に対する注意力低下が生じているか否かの識別を行う（例えば、注意力低下が生じていないときはそのことを示す“−１”を出力し、注意力低下が生じているときはその注意力低下を示す“＋１”を出力する）。そして、強識別器３４の出力は、ＡｄａＢｏｏｓｔ３０すなわちＥＣＵ１２の出力として扱われる。
【００３９】
また、ＡｄａＢｏｏｓｔ３０は、単純でかつ識別力の比較的弱い弱識別器３２を逐次的に学習し、識別器としての精度を増強するものである。すなわち、ｎ個の入力ｘｉ∈Ｘとその入力ｘｉに対する正解ｙｉ∈Ｙ＝｛±１｝との組（＝（ｘ１，ｙ１），・・・，（ｘｎ，ｙｎ））を学習データとして用い、Ｔ個の弱識別器ｈｔ（ｘ）（ｔ＝１，２，・・・，Ｔ）を、信頼度αｔで重み付けをして結合することにより強識別器Ｈ（ｘ）を構成する。
【００４０】
ＡｄａＢｏｏｓｔ３０は、ｔ回目の学習における重みをＤｔ（ｉ）とし、その重みの初期値をすべての入力ｘｉについて同じ値Ｄ１（ｉ）＝１／Ｎとしたうえで、正しく識別できなかったデータの重みを大きくし正しく識別できたデータの重みを小さくすることにより、次の弱識別器において重点的に学習を行う。すなわち、重みの分布Ｄｔの基で次式（１）の誤り率εｔをできるだけ小さくするように弱識別器ｈｔを選び出す。
【００４１】
【数１】
ＡｄａＢｏｏｓｔ３０は、まず、重み初期値Ｄ１（ｉ）＝１／Ｎによって初期化を行う。そして次に、各弱識別器について、重みの分布Ｄｔに基づき学習を行う。つまり、上記した式（１）の最小化を行い、ｈｔ：Ｘ→Ｙを得る。また、各弱識別器について、誤り率εｔを用いて次式（２）の如く信頼度αｔ∈Ｒを計算する。更に、各弱識別器について、次式（３）により重みの分布Ｄｔを更新する。
【００４２】
【数２】
【００４３】
【数３】
但し、Ｚｔは、次式（４）を成立させるための規格化因子であり、次式（５）である。
【００４４】
【数４】
【００４５】
【数５】
そして、ＡｄａＢｏｏｓｔ３０は、すべての弱識別器ｈｔ（ｘ）をその信頼度αｔで重み付けをして多数決をとり、次式（６）の如く強識別器Ｈ（ｘ）を得る。
【００４６】
【数６】
このように、本実施例の運転者状態推定装置１０においては、まず、各センサ等１４〜２０からの検出パラメータとしての出力それぞれをＡｄａＢｏｏｓｔ３０の有するＴ個の弱識別器３２に入力して、それらの弱識別器３２それぞれに簡易に運転者の注意力低下の有無を識別させると共に、各弱識別器３２の出力をそれぞれの弱識別器３２の信頼度αで重み付けして結合させて、最終的に運転者の注意力低下の有無を識別させる。
【００４７】
かかる構成においては、運転者の運転に対する注意力低下の有無を識別するうえで、多数の検出パラメータがあったとしても、２値判別を行う単純な弱識別器３２で個々の検出パラメータについての識別が行われるので、その計算時間が増大することは回避される。また、識別力の比較的弱い弱識別器３２では識別の精度が低下するおそれがあるが、上記の構成においては、各識別器３２の出力がそれぞれの信頼度αで重み付けされて結合されることで最終的な強識別器３４による識別が行われるので、その識別の精度が低下するのは防止されることとなる。
【００４８】
従って、本実施例の運転者状態推定装置１０によれば、車両を運転する運転者の運転に対する注意力が低下しているか否かを簡易な構成で高速にかつ高精度に推定することが可能となっている。
【００４９】
次に、運転者の注意力が低下する状態を推定するのに、例えば心電図ＲＲＩを測定できるハンドルや瞳孔径を測定できるドライバモニタカメラなどのデバイスが新規開発されて、その新規開発されたデバイスが運転者により購入されて自車両に取り付けられた場合を想定する。
【００５０】
この場合、ＥＣＵ１２は、上記したＡｄａＢｏｏｓｔ３０とは別個独立に、運転者の注意力が低下する状態を推定するのに用いるＡｄａＢｏｏｓｔ４０を構築する。このＡｄａＢｏｏｓｔ４０は、ＡｄａＢｏｏｓｔ３０と同様に、多段階分割・追加学習型分析手法を適用したパターン識別のための学習アルゴリズムであり、その学習も、逐次的に学習データの重み（信頼度α）を変化させながら異なる識別器を作り、これら複数の弱識別器４２の重み付き多数決によって最終的な強識別器４４を与える。ＡｄａＢｏｏｓｔ４０による学習結果は、データベース２２に格納される。
【００５１】
ＡｄａＢｏｏｓｔ４０は、複数の弱識別器４２を有している。これらの複数の弱識別器４２には、新たに取り付けられた新規デバイスの出力（特に、運転者の生体情報や運転操作情報）が接続されている。新規デバイスによる運転者の心電図ＲＲＩなどの情報は、ＡｄａＢｏｏｓｔ４０の弱識別器４２に入力される。
【００５２】
ＡｄａＢｏｏｓｔ４０は、弱識別器４２の出力が入力に接続される強識別器４４を有している。強識別器４４の入力には、また、上記したＡｄａＢｏｏｓｔ３０の出力が接続されている。すなわち、ＡｄａＢｏｏｓｔ４０は、ＡｄａＢｏｏｓｔ３０を弱識別器４２の一つとして扱う。
【００５３】
尚、新規デバイスが車両に取り付けられた際、運転者状態推定装置１０のデータベース２２には、その新規デバイスによる運転者の生体や運転操作等を示す検出パラメータと運転者の注意力低下状態との関係に関するものが格納されると共に、その関係及びＡｄａＢｏｏｓｔ３０に対する信頼度α（初期値はすべて同じ）を示す情報が格納される。
【００５４】
ＡｄａＢｏｏｓｔ４０の複数の弱識別器４２はそれぞれ、入力される新規デバイスの出力を、データベース２２に格納されている上記の関係に照らし合わせることにより、その出力の示す検出パラメータについて運転者の運転に対する注意力低下が生じているか否かの識別を行う。各弱識別器４２の出力及びＡｄａＢｏｏｓｔ３０の出力は、強識別器４４に入力される。強識別器４４は、入力される弱識別器４２からの出力及びＡｄａＢｏｏｓｔ３０からの出力を、データベース２２に格納されている信頼度αで重み付けをして結合することにより、運転者の運転に対する注意力低下が生じているか否かの識別を行う。
【００５５】
また、ＡｄａＢｏｏｓｔ４０は、単純でかつ識別力の比較的弱い弱識別器３２を逐次的に学習し、識別器としての精度を増強するものであり、上記したＡｄａＢｏｏｓｔ３０と同様の作用を行う。
【００５６】
このように、本実施例の運転者状態推定装置１０においては、運転者の注意力が低下する状態を推定するのにその生体情報や運転操作情報等の検出パラメータを測定するデバイスが新たに追加された場合、それまでに学習・構築されたＡｄａＢｏｏｓｔ３０を一つのモジュールとして利用して、新たに運転者の注意力低下状態を推定するシステムを構築することができる。具体的には、既存のＡｄａＢｏｏｓｔ３０を１段目にとし、その出力を２段目のＡｄａＢｏｏｓｔ４０の入力に接続して、それまでにあったＡｄａＢｏｏｓｔ３０をそのままに一つの弱識別器として利用することで、新たなデバイスによる検出パラメータをも含めて総合的・複合的に運転者の注意力低下状態を推定することができる。
【００５７】
このため、本実施例によれば、運転者の注意力定価状態を推定するのに新たな検出パラメータが追加される場合、その新規パラメータを運転者の注意力低下状態の推定に容易に適合させることができ、運転者の注意力低下状態を推定するシステムの拡張性を確保しつつその推定精度の向上を図ることが可能となっている。
【００５８】
尚、新たに構築される後段のＡｄａＢｏｏｓｔ４０による演算は、前段のＡｄａＢｏｏｓｔ３０の演算に影響を与えることはなく、また、新規デバイスからの検出パラメータに係る弱識別器４２によるもの及びその弱識別器４２の出力とＡｄａＢｏｏｓｔ３０の演算結果との結合によるもののみであるので、あまり複雑ではない。このため、運転者の注意力定価状態を推定するのに新たな検出パラメータが追加される場合にも、その追加に起因して運転者の注意力低下状態の推定に要する演算時間が極めて長くなることはなく、短時間でその推定を実現させることが可能である。
【００５９】
従って、本実施例の運転者状態推定装置１０によれば、車両を運転する運転者の運転に対する注意力が低下しているか否かの推定を簡易な構成で高速にかつ高精度に実現させつつ、その推定システムの拡張性を確保することが可能となっている。この点、運転者の注意力が低下した状態が車両走行中にリアルタイムに推定されるので、衝突予防や安全走行を促す車両運転支援装置による運転支援を速やかにかつ的確に行うことが可能となっている。
【００６０】
尚、上記の実施例においては、弱識別器３２が特許請求の範囲に記載した「弱識別手段」及び「第１の弱識別手段」に、弱識別器４２が特許請求の範囲に記載した「弱識別手段」及び「第２の弱識別手段」に、ＥＣＵ１２のＡｄａＢｏｏｓｔ３０が特許請求の範囲に記載した「状態推定手段」、「第１の状態推定手段」、及び「学習手段」に、ＡｄａＢｏｏｓｔ４０が特許請求の範囲に記載した「状態推定手段」、「第２の状態推定手段」、及び「学習手段」に、それぞれ相当している。
【００６１】
ところで、上記の実施例においては、ＥＣＵ１２に構築されるブースタとして、一段目にＡｄａＢｏｏｓｔ３０を、二段目にＡｄａＢｏｏｓｔ４０を、設けるものとしたが、二段に限らず、それ以上の段数を設けたものとしてもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施例である運転者状態推定装置を備える車両運転支援システムの構成図である。
【図２】本実施例の運転者状態推定装置の備えるＥＣＵの内部構成図である。
【図３】ＡｄａＢｏｏｓｔにより推定を行ううえでの基本概念図である。
【符号の説明】
【００６３】
１０ 運転者状態推定装置
１２ 電子制御ユニット（ＥＣＵ）
１４ 運転者センサ
１６ 車内センサ
１８ 車外センサ
２０ 通信装置
２２ データベース
３０，４０ ＡｄａＢｏｏｓｔ
３２，４２ 弱識別器
３４，４４ 強識別器
【特許請求の範囲】
【請求項１】
車両を運転する運転者の生体情報又は車両情報に基づいて該運転者の運転に対する注意力低下状態を推定する運転者状態推定装置であって、
入力される前記生体情報又は車両情報を示す複数の特徴量を２値的に識別する複数の弱識別手段と、
前記複数の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する状態推定手段と、
前記弱識別手段による識別又は前記状態推定手段による推定に用いる、前記複数の特徴量それぞれと前記運転者の運転に対する注意力低下状態との関係について学習を行う学習手段と、
を備えることを特徴とする運転者状態推定装置。
【請求項２】
前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記特徴量とに基づいて、前記複数の特徴量について前記関係を学習することを特徴とする請求項１記載の運転者状態推定装置。
【請求項３】
前記学習手段は、前記関係をＡｄａＢｏｏｓｔを用いて学習することを特徴とする請求項１又は２記載の運転者状態推定装置。
【請求項４】
入力される前記生体情報又は車両情報を示す特徴量が新たに追加された場合、前記弱識別手段は、
該新たな特徴量が追加される前から存在する前記複数の特徴量を２値的に識別する第１の弱識別手段と、
前記第１の弱識別手段とは別に設けられ、該追加された新たな特徴量を２値的に識別する第２の弱識別手段と、
を有し、
前記状態推定手段は、
前記第１の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する第１の状態推定手段と、
前記第１の状態推定手段による推定結果と前記第２の弱識別手段による前記追加された新たな特徴量の識別結果とに基づいて前記運転者の運転に対する注意力低下状態を推定する第２の状態推定手段と、
を有することを特徴とする請求項１乃至３の何れか一項記載の運転者状態推定装置。
【請求項５】
前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記新たな特徴量を含む前記特徴量とに基づいて、該新たな特徴量を含む特徴量について前記関係を学習することを特徴とする請求項４記載の運転者状態推定装置。
【請求項６】
前記生体情報又は車両情報は、前記運転者の顔情報、生理状態量、運転操作量、及び車両の環境状態量のうちの少なくとも一つであることを特徴とする請求項１乃至５の何れか一項記載の運転者状態推定装置。
【請求項７】
前記特徴量は、前記運転者の視線移動量、頭部移動量、瞳孔径、瞬き回数、心電図ＲＲＩ、操舵角変動量、及び車線逸脱量のうちの少なくとも二つであることを特徴とする請求項６記載の運転者状態推定装置。
【請求項１】
車両を運転する運転者の生体情報又は車両情報に基づいて該運転者の運転に対する注意力低下状態を推定する運転者状態推定装置であって、
入力される前記生体情報又は車両情報を示す複数の特徴量を２値的に識別する複数の弱識別手段と、
前記複数の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する状態推定手段と、
前記弱識別手段による識別又は前記状態推定手段による推定に用いる、前記複数の特徴量それぞれと前記運転者の運転に対する注意力低下状態との関係について学習を行う学習手段と、
を備えることを特徴とする運転者状態推定装置。
【請求項２】
前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記特徴量とに基づいて、前記複数の特徴量について前記関係を学習することを特徴とする請求項１記載の運転者状態推定装置。
【請求項３】
前記学習手段は、前記関係をＡｄａＢｏｏｓｔを用いて学習することを特徴とする請求項１又は２記載の運転者状態推定装置。
【請求項４】
入力される前記生体情報又は車両情報を示す特徴量が新たに追加された場合、前記弱識別手段は、
該新たな特徴量が追加される前から存在する前記複数の特徴量を２値的に識別する第１の弱識別手段と、
前記第１の弱識別手段とは別に設けられ、該追加された新たな特徴量を２値的に識別する第２の弱識別手段と、
を有し、
前記状態推定手段は、
前記第１の弱識別手段による前記複数の特徴量の識別結果に基づいて前記運転者の運転に対する注意力低下状態を推定する第１の状態推定手段と、
前記第１の状態推定手段による推定結果と前記第２の弱識別手段による前記追加された新たな特徴量の識別結果とに基づいて前記運転者の運転に対する注意力低下状態を推定する第２の状態推定手段と、
を有することを特徴とする請求項１乃至３の何れか一項記載の運転者状態推定装置。
【請求項５】
前記学習手段は、前記運転者からの運転に対する注意力低下状態に関する入力情報と、該入力時点で得られる前記新たな特徴量を含む前記特徴量とに基づいて、該新たな特徴量を含む特徴量について前記関係を学習することを特徴とする請求項４記載の運転者状態推定装置。
【請求項６】
前記生体情報又は車両情報は、前記運転者の顔情報、生理状態量、運転操作量、及び車両の環境状態量のうちの少なくとも一つであることを特徴とする請求項１乃至５の何れか一項記載の運転者状態推定装置。
【請求項７】
前記特徴量は、前記運転者の視線移動量、頭部移動量、瞳孔径、瞬き回数、心電図ＲＲＩ、操舵角変動量、及び車線逸脱量のうちの少なくとも二つであることを特徴とする請求項６記載の運転者状態推定装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００９−３０１３６７（Ｐ２００９−３０１３６７Ａ）
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願番号】特願２００８−１５６０１７（Ｐ２００８−１５６０１７）
【出願日】平成２０年６月１３日（２００８．６．１３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（５０７０５４４５６）
【Ｆターム（参考）】
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願日】平成２０年６月１３日（２００８．６．１３）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【出願人】（５０７０５４４５６）
【Ｆターム（参考）】
[ Back to top ]