運転者状態推定装置及び運転支援装置
【課題】生体情報が正常に測定できない場合であっても、生体情報に基づいた運転者の状態の推定を行う。
【解決手段】ドライバの生体情報を計測し、正常に生体情報が計測できている場合には、計測した生体情報からドライバの状態（正常状態、覚醒度低下等）を推定する。一方、推定したドライバの状態に対応して、正常に生体情報を計測した際の運転状況（車両情報と環境情報）を蓄積することで、生体情報に基づくドライバ状態を運転状況から推定するドライバモデルを構築しておく。ドライバの生体情報の検出が正常である場合には、計測した生体情報に基づいて現在のドライバの状態を推定し、正常でない場合には、ドライバモデルを使用して現在の運転状況からドライバの状態を推定する。
【解決手段】ドライバの生体情報を計測し、正常に生体情報が計測できている場合には、計測した生体情報からドライバの状態（正常状態、覚醒度低下等）を推定する。一方、推定したドライバの状態に対応して、正常に生体情報を計測した際の運転状況（車両情報と環境情報）を蓄積することで、生体情報に基づくドライバ状態を運転状況から推定するドライバモデルを構築しておく。ドライバの生体情報の検出が正常である場合には、計測した生体情報に基づいて現在のドライバの状態を推定し、正常でない場合には、ドライバモデルを使用して現在の運転状況からドライバの状態を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の生体情報を検出して運転者の状態を推定する運転者状態推定装置、及び、推定した運転者の状態に基づいて運転支援を行う運転支援装置に関する。
【背景技術】
【０００２】
運転中のドライバの覚醒度、疲労や感情などの状態を、心拍や発汗などの生体情報を計測することで推定する技術が存在する。
例えば、特許文献１では、生体センサから得た運転者の生体情報等を用いて、運転者の緊張度合を推定し、運転者が着目物体に心理的圧迫を感じている場合に加速制御の抑制を考慮した車間距離制御を行う技術が提案されている。
また、特許文献２では、走行した道路についてドライバの生理状態から運転負荷量を判定し、その道路に対する運転負荷量を記憶しておき、運転負荷量を記憶した区間が探索した経路中にどれだけ含まれているかに基づいて運転難易度を判定し、その判定結果を利用して経路探索を行う技術が提案されている。
【特許文献１】特開２００４−１４９０３５
【特許文献２】特開平７−１２１８００号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、生体情報を常に測定できるとは限らず、一時的や断続的に測定が不可能になった場合、ドライバ状態の推定結果があいまいになったり、不可能になる。
【０００４】
そこで、本発明は、生体情報が正常に測定できない場合であっても、生体情報に基づいた運転者の状態の推定を行うことを目的とする。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載した発明では、運転者の生体情報を取得する生体情報取得手段と、取得した生体情報に基づいて運転者の状態を推定する第１運転者状態推定手段と、車両の運転操作を検出する運転操作検出手段と、前記運転操作検出手段で検出した運転操作と、該運転操作と対応して取得した前記生体情報に基づいて推定した運転者の状態とを蓄積し、運転操作に対する運転者の状態に関する運転者モデルを作成する運転者モデル作成手段と、前記生体情報取得手段が正常に機能しているか否かを判断する判断手段と、前記生体情報取得手段が正常に機能していないと判断された場合に、前記運転者モデル作成手段で作成した運転者モデルから、前記検出した運転操作に対応する運転者の状態を推定する第２運転者状態推定手段と、を具備したことを特徴とする運転者状態推定装置により前記目的を達成する。
（２）請求項２に記載した発明では、請求項１に記載の運転者状態推定装置において、車両周囲の走行環境を検出する走行環境検出手段を備え、前記運転者モデル作成手段は、前記検出した走行環境を含めて運転者モデルを作成し、前記第２運転者状態推定手段は、走行環境を含めて運転者の状態を推定する、ことを特徴とする。
（３）請求項３に記載した発明では、請求項１に記載の運転者状態推定装置と、前記運転者状態推定装置で推定した運転者の状態に応じて、運転支援を行う運転支援手段と、を具備したことを特徴とする運転支援装置により前記目的を達成する。
（４）請求項４に記載した発明では、請求項３に記載の運転支援装置において、前記運転支援手段は、運転者への注意喚起、警告、情報提供、車間距離制御、車速制御、又はブレーキ制御の少なくとも１つを行うことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、検出した運転操作と、取得した生体情報に基づいて推定した運転者の状態とを蓄積し、運転操作に対する運転者の状態に関する運転者モデルを作成し、生体情報取得手段が正常に機能していない場合に、運転者モデル作成手段で作成した運転者モデルから、運転者の状態を推定する構成にしたので、本発明は、生体情報が正常に測定できない場合であっても、生体情報に基づいた運転者の状態を推定することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の運転者状態推定装置、及び、運転者状態推定装置が適用された運転支援装置についての好適な実施の形態について、図１から図７を参照して詳細に説明する。
（１）実施形態の概要
本実施形態の車両では、ドライバ（運転者）の生体情報を計測し、正常に生体情報が計測できている場合には、計測した生体情報からドライバの状態（正常状態、覚醒度低下、緊張状態、疲労状態等）を推定する。
一方、推定したドライバの状態に対応して、正常に生体情報を計測した際の運転状況（車両情報と環境情報）を蓄積することで、生体情報に基づくドライバ状態を運転状況から推定するドライバモデルを構築しておく。
【０００８】
そして、ドライバの生体情報を正常に計測できる場合には、計測した生体情報に基づいて現在のドライバの状態を推定する（第１運転者状態推定手段）。
一方、生体情報の測定を正常にできない場合には、現在の運転状況と、過去の運転状況であるドライバモデルとを比較することで、現在の運転状況からドライバの状態を推定する（第２運転者状態推定手段）。生体情報に基づいて作成されたドライバモデルを使用することで、生体情報が正常に計測できない場合であっても、この運転状況から生体情報に基づくドライバ状態を推定することができる。
【０００９】
そして、推定した現在のドライバ状態（正常状態、緊張状態等）に対応して、必要な注意喚起、警告、情報提供、減速などを行うことで運転支援を行う。
なお、ドライバモデルの作成、ドライバ状態の推定、運転支援については、各ドライバ毎に行う。
【００１０】
（２）実施形態の詳細
図１は、本実施形態における運転者状態推定装置が適用された運転支援装置の構成を表したものである。
この図１に示すように、運転支援装置は、各種プログラムやデータに従って運転支援装置全体を制御するＥＣＵ（電子制御装置）１０を備えており、ＥＣＵ１０には現在位置検出装置１１、生体情報取得装置１２、環境情報取得装置１３、車両情報取得装置１４、画像入力装置１５、記憶装置１６、入力装置１８、音声出力装置１９、表示装置２０、車両制御装置２１、通信装置２２が接続されている。
【００１１】
現在位置検出装置１１は、運転支援装置が搭載される車両の現在位置（緯度、経度からなる絶対座標値）を検出するためのものであり、人工衛星を利用して車両の位置を測定するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍｓ）受信装置を備えている。
なお、現在位置検出装置１１は、ＧＰＳ受信装置による現在位置検出を補足する装置として、地磁気を検出して車両の方位を求める地磁気センサ、ジャイロセンサ、車速センサ等を備えるようにしてもよい。ジャイロセンサと車速センサについては、後述する車両情報取得装置１４の車速センサ１４４、ジャイロセンサ１４５と兼用するようにしても、別個備えるようにしてもよい。
【００１２】
生体情報取得装置１２は、運転者の生体情報を取得するセンサとして、心拍センサ１２１、発汗センサ１２２、顔面温度センサ１２３、その他の各種センサを備えている。
生体情報取得装置１２は、車両が走行を開始すると、所定時間間隔で心拍数、発汗量、顔面温度を検出してＥＣＵ１０に供給するようになっている。
【００１３】
心拍センサ１２１は、運転者の心拍数を検出するセンサで、運転者の脈拍数から心拍数を検出する。本実施形態における心拍センサ１２１は、ステアリングに配置された電極により、運転中の運転者の手から心電信号を採取することで心電Ｒ−Ｒ間隔から心拍数を検出するようになっている。なお、心拍センサ１２１は、専用のセンサを手首等の運転者の身体に配置するようにしてもよい。
【００１４】
発汗センサ１２２は、ステアリングに配置され、発汗状態によって流れる電流値の変化から発汗状態を検出する。
【００１５】
顔面温度センサ１２３は、運転者の顔面の温度を検出するセンサである。
本実施形態の顔面温度センサ１２３は、非接触式の放射温度計（熱型、量子型）、例えば、赤外線サーモグラフィ（赤外線熱画像装置）で構成される。
【００１６】
環境情報取得装置１３は、車間距離・相対速度測定装置１３１と、画像処理装置１３２を備えている。
車間距離・相対速度測定装置１３１は、車両前方、後方に配置されたミリ波レーダやレーザレーダ等で構成され、前方車両との車間距離や相対速度、後方車両との車間距離や相対速度が検出されるとともに、対向車の有無が判断される。
画像処理装置１３２は、後述する画像入力装置１５で撮像された車外画像の画像処理を行い、周辺車両の有無を検出するようになっている。
【００１７】
車両情報取得装置１４は、ハンドルセンサ１４１、ブレーキ踏力センサ１４２、アクセル踏力センサ１４３、車速センサ１４４、ジャイロセンサ１４５、その他のセンサを備えており、カーブ走行時の走行状態や運転操作状況を検出する。
ハンドルセンサ１４１は、ハンドル操作トルクを検出する。
ブレーキ踏力センサ１４２は、ブレーキの踏力を検出する。
アクセル踏力センサ１４３は、アクセルの踏力等を検出する。
【００１８】
車速センサ１４４は、車速を検出する。
ジャイロセンサ１４５は、車両の加速度を検出する。
【００１９】
画像入力装置１５は、車両前方に配置されたステレオカメラを備えている。
画像入力装置１５で撮像した車外画像は、画像処理装置１３２に供給されて、周辺車両の有無の判定に使用される。
【００２０】
記憶装置１６は、ＲＯＭ、ＲＡＭの他、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、メモリチップやＩＣカード等の半導体記録媒体、ＣＤ−ＲＯＭやＭＯ、ＰＤ（相変化書換型光ディスク）等の光学的に情報が読み取られる記録媒体、その他各種方法でデータやコンピュータプログラムが記録される記録媒体が含まれる。
記録媒体には、記録内容に応じて異なる媒体を使用するようにしてもよい。
【００２１】
記憶装置１６は、生体情報処理プログラム１６１、車両情報処理プログラム１６２、環境情報処理プログラム１６３、運転支援プログラム１６４、ドライバモデル作成プログラム１６５、ドライバモデル記憶メモリ１６６、車両情報記憶メモリ１６７、環境情報記憶メモリ１６８、地図ＤＢ（データーベース）１６９、その他の各種プログラム、データを備えている。
【００２２】
生体情報処理プログラム１６１は、心拍センサ１２１、発汗センサ１２２、顔面温度センサ１２３による検出値を生体情報として取得し、生体情報に基づくドライバ状態を推定するプログラムである。
ドライバ状態推定の基準については、記憶装置１６に格納されている。
【００２３】
図２は、ドライバ状態の推定基準について例示したものである。
図２に示されるように、心拍数と顔面温度の変化量から、心拍数が所定数Ｎ１（例えば、Ｎ１＝５拍）低下し、かつ、顔面温度が所定温度Ｔ１（例えば、Ｔ１＝１度）以上上昇した場合に、覚醒度が低下している状態と判断する。
また、心拍数が所定数Ｎ２（例えば、Ｎ２＝５拍）以上上昇し、顔面温度がＴ２（例えば、Ｔ２＝１度）以上低下した場合に、ストレス状態（いらいらなどの状態）と判断する。
ここで、心拍数は、心電Ｒ−Ｒ間隔から算出される瞬間心拍数として測定され、顔面温度は、サーモグラフィによる温度差分（鼻部分温度−こめかみ温度）として測定される。
【００２４】
覚醒度、ストレス状態、緊張度増加状態、疲労状態等がドライバ状態としてされるが、本実施形態では、各状態毎にその状態のレベルが設定されるようになっている。
各状態毎のレベルについての判定基準についても記憶装置１６に格納されている。
【００２５】
なお、図２に示した、生体情報とドライバ状態との関係は一例であり、その他のセンサで検出される他の生体情報を加えてドライバ状態を推定したり、心拍数と顔面温度の一方からドライバ状態を推定するようにしてもよい。
【００２６】
その他のセンサにより取得する生体情報としては、例えば、筋電位、脳波、瞳孔、皮膚インピーダンスなどがあり、その判断の一例としては次の通りである。
筋電位については、強（５００μＶ以上）、適度（５０μＶ以上５００μＶ未満）、弱（５０μＶ未満）に区分され、強と弱の場合に異常と判定される。
脳波については、ベータ波の場合には正常、デルタ波、シータ波、アルファ波の場合に異常と判定される。
瞳孔については、明るい場所の場合（運転者周辺が閾値以上）、４ｍｍ未満の場合に狭、４〜７ｍｍ未満の場合に通常、７ｍｍ以上の場合に広と判定され、暗い場所の場合（閾値未満）、２ｍｍ未満の場合に狭、２〜５ｍｍ未満の場合に通常、５ｍｍ以上の場合に広と判定され、広、狭の場合に、及び、明るさに応じた瞳孔変化がない場合に異常と判定される。
【００２７】
車両情報処理プログラム１６２は、ハンドルセンサ１４１、ブレーキ踏力センサ１４２、アクセル踏力センサ１４３、車速センサ１４４、ジャイロセンサ１４５の検出値を車両情報として取得し、車両情報記憶メモリ１６７に蓄積する。
【００２８】
図３は、車両情報記憶メモリ１６７と環境情報記憶メモリ１６８に格納されるデータの内容について例示したものである。
この車両情報記憶メモリ１６７と環境情報記憶メモリ１６８に格納される各データとしては、図３に示すドライバ状態の集中度、疲労度等の各項目（生体情報処理プログラム１６１で推定）に対応したドライバモデルを作成するための基礎データが蓄積される。
【００２９】
図３に示されるように、車両情報記憶メモリ１６７には、ドライバ状態に対応して、車両情報である車両速度、車両加速度、ハンドル操作トルク、ハンドル操作状況（ハンドル操作トルクの時間微分値）、アクセル踏力、アクセル操作状況（アクセル踏力の時間微分値）、ブレーキ踏力、ブレーキ操作状況（ブレーキ踏力の時間微分値）が格納される。
ハンドル操作状況、アクセル操作状況、ブレーキ操作状況については、車両情報処理プログラム１６２により時間微分値が算出され、蓄積される。
【００３０】
また、車両情報処理プログラム１６２は、図３に例示した車両情報から、ドライバモデルの作成用のデータとして運転操作の判定を行い、その判定結果も車両情報として車両情報記憶メモリ１６７に保存するようになっている。
【００３１】
運転操作の判定は、例えば、次の通りである。
ハンドル操作の場合、ハンドル操作状況（ハンドル操作トルクの時間微分値）がその人の平均値＋３Σ以上であれば「急」と判定し、直進をゼロとした場合の単位時間あたりの左右のゼロクロス通過回数がその人の平均値＋３Σ以上であれば「不安定」と判定する。
【００３２】
アクセル操作の場合、アクセル踏力の値が平均値＋３Σ以上の場合、またはアクセル操作状況（アクセル踏力の時間微分値）が平均値＋３Σ以上の場合、または平均値＋３Σ以下でも両方がある閾値以上を満たす場合に「急」と判定する。
一方、アクセル踏力の単位時間あたりの分散値が閾値以上のときには「不安定」と判定する。
【００３３】
ブレーキ操作の場合、ブレーキ踏力の値がその人の平均値＋３Σ以上の場合、またはブレーキ操作状況（ブレーキ踏力の時間微分値）がその人の平均値＋３Σ以上の場合、または、その人の平均値＋３Σ以下でも両方がある閾値以上を満たす場合に、「急」と判定する。
【００３４】
環境情報処理プログラム１６３は、車間距離・相対速度測定装置１３１の測定値と、画像処理装置１３２で撮像した車両前後の画像に基づいて、図３の環境情報に示すように、前方車両車間距離、前方車両相対速度を、環境情報記憶メモリ１６９に蓄積するようになっている。
環境情報処理プログラム１６３は、車両情報処理プログラム１６２による運転操作の判定と同様に、予め設定された条件、閾値に基づいて、蓄積した環境情報から、前・後方車両との距離から「離脱」、「接近」等を、前・後方車両との相対速度から「不安定」「接近」等の判定を行い、環境情報記憶メモリ１６８に蓄積するようになっている。
【００３５】
図４は、車間距離に基づく判定の一例を表したものである。
この図４に示されるように、例えば、車間距離が平均値よりも所定の閾値±Ｎ（例えば、Ｎ＝５ｍ）の範囲内で走行している場合には「正常」と判定され、一方、閾値±Ｎを所定時間ｔ１以上越える場合には「不安定」と判定される。
【００３６】
運転支援プログラム１６４は、後述する運転支援処理（図７）において、推定したドライバ状態に応じた運転支援の内容を決定するプログラムである。
運転支援の内容としては、注意喚起、警告等の情報提示や、減速等の車両制御があり、推定したドライバ状態とそのレベルに応じて支援内容が予め決められ、記憶装置１６に格納されている。
【００３７】
ドライバモデル作成プログラム１６５は、車両情報及び環境情報からドライバ状態を推定するためのドライバモデルを作成するプログラムである。
ドライバモデル作成プログラム１６５は、過去に蓄積した運転情報、環境情報、ドライバ状態（生体情報処理プログラム１６１による推定結果）の集合から、統計処理により、特定のドライバ状態に対して所定数以上の組み合わせとなっている状態を抽出し、ドライバモデルとしてドライバモデル記憶メモリ１６６に格納するようになっている。
【００３８】
本実施形態のドライバモデルは、車両情報及び／又は環境情報から、該情報を取得した際のドライバ状態を推定するモデルである。ドライバモデルは、推定するドライバ状態が、車両情報等を取得した際に取得した運転者の生体情報に基づいて作成される。
このため、本実施形態のドライバモデルを使用して、取得した車両情報及び／又は環境情報から推定したドライバ状態は、運転者の生体情報に対応したものとなっている。
従って、本実施形態のドライバモデルで推定したドライバ状態は、生体情報に基づくドライバ状態として、生体情報を正常に取得できない場合に使用することができる。
【００３９】
なお、本実施形態におけるドライバモデルの作成、及びドライバモデル作成用の車両情報や環境情報の蓄積は、各ドライバ毎に行われる。
そのため、本実施形態では、運転者を特定するための運転者特定手段として機能する、各種センサ等を備えている。
例えば、運転席に配置された体重計、運転者本人が自己のＩＤを入力するための入力装置、画像処理により運転者を特定する為の画像認識手段と撮像装置、その他運転者を特定する為の各種センサや装置等を備えている。
【００４０】
図５は、作成されたドライバモデルの一例を表したものである。
この図５に例示されるように、ドライバモデルは、生体情報処理プログラム１６１で推定される各ドライバ状態毎に、どのような車両情報、環境情報かについて規定されている。すなわち、ドライバモデルは、各ドライバ状態毎に作成される。
例えば、ハンドル操作が不安定で、アクセル操作が不安定、ブレーキ操作が急、前方車両距離が離脱、前方車両相対速度が不安定である場合に、ドライバ状態が「覚醒度低下」と推定される。
なお、上記組み合わせの場合にだけ「覚醒度低下」と判定されるわけではなく、過去に蓄積した運転情報、環境情報、ドライバ状態（生体情報処理プログラム１６１による推定結果）の集合から、特定のドライバ状態である「覚醒度低下」に対して所定数以上の組み合わせとなっている状態が抽出され、ドライバモデルとして規定されている。従って、図５に示した各車両情報、環境情報以外の組み合わせによっても「覚醒度低下」と推定される場合もある。
【００４１】
地図ＤＢ１６９は、地図情報、道路情報、カーブ情報等の各種地図に関連した情報が格納されたデーターベースである。
道路情報は、現在位置検出装置１１で検出された車両の現在位置と道路情報とのマップマッチングにより現在走行中の道路及び該道路上の位置を検出するのに使用される。
なお、地図ＤＢ１６９は、ナビゲーション機能でも使用され、車両の現在地周辺や目的地周辺等の各種地図や道路を表示装置に表示するために地図情報が使用され、目的地までの経路探索に道路情報が使用される。また、各施設に対する情報が格納された施設情報（ＰＯＩ情報）等も格納されている。
【００４２】
図１に戻り、入力装置１８は、タッチパネル（スイッチとして機能）、キーボード、マウス、ライトペン、ジョイスティック、赤外線等によるリモコン、表示装置２０の表示画面に取り付けられたタッチパネル、リモコン、音声認識装置などの各種の装置が使用可能であり、各種情報を入力するための入力手段を構成する。
【００４３】
音声出力装置１９は、車内に配置された複数のスピーカ及び音声制御装置で構成される。音声出力装置１９からは、音声制御部で制御された音声、例えば、ドライバ状態に対応して注意を喚起する音声や、警告音声が、運転支援の一環として出力されるようになっている。
この音声出力装置１９は、オーディオ用のスピーカと兼用するようにしてもよい。
【００４４】
表示装置２０は、液晶表示装置、ＣＲＴ、ヘッドアップディスプレイ等の各種表示装置が使用され、注意を喚起する画像や、警告画像又は／及び警告文字（テキスト）が運転支援の一環として表示されるようになっている。
【００４５】
車両制御装置２１は、推定したドライバの状態に応じて、運転操作の支援として、減速する等の運転操作補助をする。
通信装置２２は、通信手段として機能し、外部の情報センタやインターネットと接続して各種データの送信及び受信を行う。
【００４６】
次に、以上のように構成された運転支援装置による、ドライバ状態の推定及び運転支援の処理動作について説明する。
本実施形態によるドライバ状態の推定は、各ドライバ毎に行われるため、例えばイグニッションがオンされた際等の所定タイミングにおいて、ＥＣＵ１０はドライバの特定を行うようになっている。
ドライバは、ドライバ自身が入力装置１８から自己のＩＤを入力したり、表示装置２０に表示されたドライバリスト（予めドライバが入力）から自己を選択したり、また、運転席に搭載した体重計からドライバを自動的に認識したり、運転者撮像画像から運転者を画像処理により認識したりすることにより特定する。なお、ドライバ自身による入力、選択が行われた場合を除き、装置が自動認識を行う場合には、１方法だけでなく複数の認識結果から総合して運転者を特定するようにしてもよく、さらに、自動認識の結果について運転者に確認をするようにしてもよい。
【００４７】
まず、特定した運転者毎にドライバモデルを作成する処理について説明する。
図６はドライバモデル作成処理について表したフローチャートである。
ＥＣＵ１０は、生体情報を検出し（ステップ１１）、正常に生体情報が検出できているか否かを判断する（ステップ１２）。
ＥＣＵ１０は、生体情報取得装置１２によって所定の生体情報を取得できない場合、生体情報は取得したがその生体情報のノイズが所定の閾値を越えている場合に正常に検出できていないと判断する。
なお、本実施形態では複数の生体情報を検出しており、そのうち１つでも検出できない場合には正常検出できないと判断するようになっているが、予め決められた所定個数（例えば、２つ）以上の検出ができない場合に正常検出できないと判断するようにしてもよい。また、正常検出と判断するためには、予め決められた特定の生体情報（例えば、心拍数、その他）が検出できることを必須とし、他の生体情報（例えば、顔面温度等）については、所定個数（例えば、１つ、２つ、半数）以上検出できた場合に正常と判断し、それ以外は正常検出できないと判断するようにしてもよい。
【００４８】
正常に検出ができない場合（ステップ１２；Ｎ）には、生体情報に基づくドライバモデルを作成できないのでＥＣＵ１０はメインルーチンにリターンする。
一方、生体情報を正常に検出できた場合（ステップ１２；Ｙ）、ＥＣＵ１０は、図２で例示したように、取得した生体情報からドライバ状態を判定し（ステップ１３）、図３に示すようにそのレベルと共に記憶する。
【００４９】
次いで、ＥＣＵ１０は、図３に示した、車両情報を検出し、ステップ１３で判定したドライバ状態に関連付けて、車両情報記憶メモリ１６７に蓄積する（ステップ１４）。
またＥＣＵ１０は、検出した車両情報の蓄積と共に、検出した各車両情報に対する判定（ハンドル操作「急」、「不安定」等）を行い、判定結果もドライバ状態に関連付けて車両情報記憶メモリ１６７に蓄積する。
【００５０】
また、ＥＣＵ１０は、図３に示した、環境情報を検出し、ステップ１３で判定したドライバ状態に関連付けて、環境情報記憶メモリ１６８に蓄積する（ステップ１５）。
またＥＣＵ１０は、検出した環境情報の蓄積と共に、検出した各環境情報に対する判定（前・後方車両との距離から「離脱」、「接近」等）を行い、判定結果もドライバ状態に関連付けて環境情報記憶メモリ１６８に蓄積する。
【００５１】
ＥＣＵ１０は、車両情報記憶メモリ１６７と環境情報記憶メモリ１６８に格納した車両情報と環境情報に対する判定結果と、判定結果に関連付けられたドライバ状態のレベルとから、該ドライバ状態に対するドライバモデル（図５の例を参照）を作成し、ドライバモデル記憶メモリ１６６に格納又は更新し、メインルーチンにリターンする。
【００５２】
次に、車両走行中におけるドライバ状態の推定及び推定結果に基づく運転支援を行う処理動作について説明する。
図７は、ドライバ状態に基づく運転支援処理の動作を表したフローチャートである。
ＥＣＵ１０は、生体情報を検出し（ステップ２１）、正常に生体情報が検出できているか否かを判断する（ステップ２２）。正常に生体情報が検出できているか否かの判断は、ドライバモデル作成処理の判断と同じである。
なお、この生体情報の検出（ステップ２１）と、正常に検出されているか否かの判断（ステップ２２）については、ドライバモデル作成処理における生体情報の検出（ステップ１１）と、正常に検出されているかの判断（ステップ１２）を兼用するようにしてもよい。
【００５３】
生体情報が正常に検出されている場合（ステップ２２；Ｙ）、ＥＣＵ１０は、検出した生体情報から生体情報処理プログラム１６１に従ってドライバ状態を推定する（ステップ２３）。
【００５４】
一方、生体情報が正常に検出されない場合（ステップ２２；Ｎ）、ＥＣＵ１０は、車両情報と環境情報を検出する（ステップ２４）。
この環境情報の検出も（ステップ１４、１５）を兼用するようにしてもよい。
【００５５】
そしてＥＣＵ１０は、現在のドライバに対してドライバモデル記憶メモリ１６６に格納されているドライバモデルから、ステップ１４、１５で取得した車両情報と環境情報の判定結果）に対応するドライバ状態とレベルを推定する（ステップ２５）。
【００５６】
ついで、ＥＣＵ１０は、推定したドライバ状態から運転支援が必要であるか否かを判断する（ステップ２６）。
すなわち、ドライバ状態が正常状態であれば運転支援は不要と判断し（ステップ２６；Ｎ）、ＥＣＵ１０はメインルーチンにリターンする。
【００５７】
一方、ドライバ状態が正常状態でない場合には運転支援が必要と判断し（ステップ２６；Ｙ）、運転支援処理を行う（ステップ２７）。
すなわち、ＥＣＵ１０は、ドライバ状態とそのレベルに応じて予め規定されている、注意喚起、警告等の情報提示や、減速等の運転支援を行う。
例えば、ＥＣＵ１０は、ドライバ状態が「覚醒状態低下」の場合でそのレベルが低い場合には、音声による注意喚起及び／又はハンドルの振動といった、覚醒状態を高めるための運転支援を行う。一方、「覚醒状態低下」のレベルが高い場合には、注意喚起、ハンドルの振動に加え、更に、減速処理が実行される。
また、ストレスが高いと判断された場合には、そのレベルに応じて、注意喚起の音声を出力したり、リラックスするための音楽を出力する。
ＥＣＵ１０は、運転支援（ステップ２７）の後、メインルーチンにリターンする。
【００５８】
以上、本発明の運転者状態推定装置及び運転支援装置における１実施形態について説明したが、本発明は説明した実施形態に限定されるものではなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
例えば、説明した実施形態では、過去に蓄積した運転情報、環境情報、ドライバ状態の集合から、統計処理により、特定のドライバ状態に対して所定数以上の組み合わせとなっている状態を抽出することでドライバモデルを作成する場合について説明したが、ガウス混合モデル（ＧＭＭ）を使用してドライバモデルを作成するようにしてもよい。
ドライバモデルにＧＭＭを用いることで、各ドライバ毎のドライバモデルを簡便に生成することができ、さらに、条件付き確率を最大化する計算により、運転操作行動を容易に推定し出力する。
【００５９】
すなわち、車両情報、環境情報、及びドライバ状態（生体情報処理プログラムによる推定結果）を学習データ（特徴量）としてＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムにより算出したガウス混合モデルをドライバモデルとして採用する。
このガウス混合モデルは、ＥＭアルゴリズムにより、同時確率密度分布を計算することで得られる同時確率密度関数のパラメータで構成され、必要に応じて各ドライバ毎、更にドライバのアクセル操作用、ブレーキ操作用、車間距離維持範囲用等の推定する特徴量毎に生成される。
【００６０】
そして、生体情報を正常に取得できない場合に、車両状態、環境情報を測定し、この測定データに対するドライバモデルにおける最大事後確率を算出することで、生体情報に基づくドライバ状態を推定する。
【００６１】
また、特開２００２−１４０７８６等で記載されているように、ファジールールやニューラルネットワークを使用してドライバモデルを作成するようにしてもよい。
【図面の簡単な説明】
【００６２】
【図１】運転者状態推定装置が適用された運転支援装置の構成図である。
【図２】ドライバ状態の推定基準について例示した説明図である。
【図３】車両情報記憶メモリと環境情報記憶メモリに格納されるデータ内容について例示した説明図である。
【図４】車間距離に基づく判定の一例を表した説明図である。
【図５】作成されたドライバモデルの一例を表した説明図である。
【図６】ドライバモデル作成処理について表したフローチャートである。
【図７】ドライバ状態に基づく運転支援処理の動作を表したフローチャートである。
【符号の説明】
【００６３】
１０ ＥＣＵ
１１ 現在位置検出装置
１２ 生体情報取得装置
１２１ 心拍センサ
１２２ 発汗センサ
１２３ 顔面温度センサ
１３ 環境情報取得装置
１３１ 車間距離・相対速度測定装置
１３２ 画像処理装置
１４ 車両情報取得装置
１４１ ハンドルセンサ
１４２ ブレーキ踏力センサ
１４３ アクセル踏力センサ
１４４ 車速センサ
１４５ ジャイロセンサ
１５ 画像入力装置
１６ 記憶装置
１６１ 生体情報処理プログラム
１６２ 車両情報処理プログラム
１６３ 環境情報処理プログラム
１６４ 運転支援プログラム
１６５ ドライバモデル作成プログラム
１６６ ドライバモデル記憶メモリ
１６７ 車両情報記憶メモリ
１６８ 環境情報記憶メモリ
１６９ 地図ＤＢ（データーベース）
１８ 入力装置
１９ 音声出力装置
２０ 表示装置
２１ 車両制御装置
２２ 通信装置
【技術分野】
【０００１】
本発明は、運転者の生体情報を検出して運転者の状態を推定する運転者状態推定装置、及び、推定した運転者の状態に基づいて運転支援を行う運転支援装置に関する。
【背景技術】
【０００２】
運転中のドライバの覚醒度、疲労や感情などの状態を、心拍や発汗などの生体情報を計測することで推定する技術が存在する。
例えば、特許文献１では、生体センサから得た運転者の生体情報等を用いて、運転者の緊張度合を推定し、運転者が着目物体に心理的圧迫を感じている場合に加速制御の抑制を考慮した車間距離制御を行う技術が提案されている。
また、特許文献２では、走行した道路についてドライバの生理状態から運転負荷量を判定し、その道路に対する運転負荷量を記憶しておき、運転負荷量を記憶した区間が探索した経路中にどれだけ含まれているかに基づいて運転難易度を判定し、その判定結果を利用して経路探索を行う技術が提案されている。
【特許文献１】特開２００４−１４９０３５
【特許文献２】特開平７−１２１８００号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、生体情報を常に測定できるとは限らず、一時的や断続的に測定が不可能になった場合、ドライバ状態の推定結果があいまいになったり、不可能になる。
【０００４】
そこで、本発明は、生体情報が正常に測定できない場合であっても、生体情報に基づいた運転者の状態の推定を行うことを目的とする。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載した発明では、運転者の生体情報を取得する生体情報取得手段と、取得した生体情報に基づいて運転者の状態を推定する第１運転者状態推定手段と、車両の運転操作を検出する運転操作検出手段と、前記運転操作検出手段で検出した運転操作と、該運転操作と対応して取得した前記生体情報に基づいて推定した運転者の状態とを蓄積し、運転操作に対する運転者の状態に関する運転者モデルを作成する運転者モデル作成手段と、前記生体情報取得手段が正常に機能しているか否かを判断する判断手段と、前記生体情報取得手段が正常に機能していないと判断された場合に、前記運転者モデル作成手段で作成した運転者モデルから、前記検出した運転操作に対応する運転者の状態を推定する第２運転者状態推定手段と、を具備したことを特徴とする運転者状態推定装置により前記目的を達成する。
（２）請求項２に記載した発明では、請求項１に記載の運転者状態推定装置において、車両周囲の走行環境を検出する走行環境検出手段を備え、前記運転者モデル作成手段は、前記検出した走行環境を含めて運転者モデルを作成し、前記第２運転者状態推定手段は、走行環境を含めて運転者の状態を推定する、ことを特徴とする。
（３）請求項３に記載した発明では、請求項１に記載の運転者状態推定装置と、前記運転者状態推定装置で推定した運転者の状態に応じて、運転支援を行う運転支援手段と、を具備したことを特徴とする運転支援装置により前記目的を達成する。
（４）請求項４に記載した発明では、請求項３に記載の運転支援装置において、前記運転支援手段は、運転者への注意喚起、警告、情報提供、車間距離制御、車速制御、又はブレーキ制御の少なくとも１つを行うことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、検出した運転操作と、取得した生体情報に基づいて推定した運転者の状態とを蓄積し、運転操作に対する運転者の状態に関する運転者モデルを作成し、生体情報取得手段が正常に機能していない場合に、運転者モデル作成手段で作成した運転者モデルから、運転者の状態を推定する構成にしたので、本発明は、生体情報が正常に測定できない場合であっても、生体情報に基づいた運転者の状態を推定することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の運転者状態推定装置、及び、運転者状態推定装置が適用された運転支援装置についての好適な実施の形態について、図１から図７を参照して詳細に説明する。
（１）実施形態の概要
本実施形態の車両では、ドライバ（運転者）の生体情報を計測し、正常に生体情報が計測できている場合には、計測した生体情報からドライバの状態（正常状態、覚醒度低下、緊張状態、疲労状態等）を推定する。
一方、推定したドライバの状態に対応して、正常に生体情報を計測した際の運転状況（車両情報と環境情報）を蓄積することで、生体情報に基づくドライバ状態を運転状況から推定するドライバモデルを構築しておく。
【０００８】
そして、ドライバの生体情報を正常に計測できる場合には、計測した生体情報に基づいて現在のドライバの状態を推定する（第１運転者状態推定手段）。
一方、生体情報の測定を正常にできない場合には、現在の運転状況と、過去の運転状況であるドライバモデルとを比較することで、現在の運転状況からドライバの状態を推定する（第２運転者状態推定手段）。生体情報に基づいて作成されたドライバモデルを使用することで、生体情報が正常に計測できない場合であっても、この運転状況から生体情報に基づくドライバ状態を推定することができる。
【０００９】
そして、推定した現在のドライバ状態（正常状態、緊張状態等）に対応して、必要な注意喚起、警告、情報提供、減速などを行うことで運転支援を行う。
なお、ドライバモデルの作成、ドライバ状態の推定、運転支援については、各ドライバ毎に行う。
【００１０】
（２）実施形態の詳細
図１は、本実施形態における運転者状態推定装置が適用された運転支援装置の構成を表したものである。
この図１に示すように、運転支援装置は、各種プログラムやデータに従って運転支援装置全体を制御するＥＣＵ（電子制御装置）１０を備えており、ＥＣＵ１０には現在位置検出装置１１、生体情報取得装置１２、環境情報取得装置１３、車両情報取得装置１４、画像入力装置１５、記憶装置１６、入力装置１８、音声出力装置１９、表示装置２０、車両制御装置２１、通信装置２２が接続されている。
【００１１】
現在位置検出装置１１は、運転支援装置が搭載される車両の現在位置（緯度、経度からなる絶対座標値）を検出するためのものであり、人工衛星を利用して車両の位置を測定するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍｓ）受信装置を備えている。
なお、現在位置検出装置１１は、ＧＰＳ受信装置による現在位置検出を補足する装置として、地磁気を検出して車両の方位を求める地磁気センサ、ジャイロセンサ、車速センサ等を備えるようにしてもよい。ジャイロセンサと車速センサについては、後述する車両情報取得装置１４の車速センサ１４４、ジャイロセンサ１４５と兼用するようにしても、別個備えるようにしてもよい。
【００１２】
生体情報取得装置１２は、運転者の生体情報を取得するセンサとして、心拍センサ１２１、発汗センサ１２２、顔面温度センサ１２３、その他の各種センサを備えている。
生体情報取得装置１２は、車両が走行を開始すると、所定時間間隔で心拍数、発汗量、顔面温度を検出してＥＣＵ１０に供給するようになっている。
【００１３】
心拍センサ１２１は、運転者の心拍数を検出するセンサで、運転者の脈拍数から心拍数を検出する。本実施形態における心拍センサ１２１は、ステアリングに配置された電極により、運転中の運転者の手から心電信号を採取することで心電Ｒ−Ｒ間隔から心拍数を検出するようになっている。なお、心拍センサ１２１は、専用のセンサを手首等の運転者の身体に配置するようにしてもよい。
【００１４】
発汗センサ１２２は、ステアリングに配置され、発汗状態によって流れる電流値の変化から発汗状態を検出する。
【００１５】
顔面温度センサ１２３は、運転者の顔面の温度を検出するセンサである。
本実施形態の顔面温度センサ１２３は、非接触式の放射温度計（熱型、量子型）、例えば、赤外線サーモグラフィ（赤外線熱画像装置）で構成される。
【００１６】
環境情報取得装置１３は、車間距離・相対速度測定装置１３１と、画像処理装置１３２を備えている。
車間距離・相対速度測定装置１３１は、車両前方、後方に配置されたミリ波レーダやレーザレーダ等で構成され、前方車両との車間距離や相対速度、後方車両との車間距離や相対速度が検出されるとともに、対向車の有無が判断される。
画像処理装置１３２は、後述する画像入力装置１５で撮像された車外画像の画像処理を行い、周辺車両の有無を検出するようになっている。
【００１７】
車両情報取得装置１４は、ハンドルセンサ１４１、ブレーキ踏力センサ１４２、アクセル踏力センサ１４３、車速センサ１４４、ジャイロセンサ１４５、その他のセンサを備えており、カーブ走行時の走行状態や運転操作状況を検出する。
ハンドルセンサ１４１は、ハンドル操作トルクを検出する。
ブレーキ踏力センサ１４２は、ブレーキの踏力を検出する。
アクセル踏力センサ１４３は、アクセルの踏力等を検出する。
【００１８】
車速センサ１４４は、車速を検出する。
ジャイロセンサ１４５は、車両の加速度を検出する。
【００１９】
画像入力装置１５は、車両前方に配置されたステレオカメラを備えている。
画像入力装置１５で撮像した車外画像は、画像処理装置１３２に供給されて、周辺車両の有無の判定に使用される。
【００２０】
記憶装置１６は、ＲＯＭ、ＲＡＭの他、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、メモリチップやＩＣカード等の半導体記録媒体、ＣＤ−ＲＯＭやＭＯ、ＰＤ（相変化書換型光ディスク）等の光学的に情報が読み取られる記録媒体、その他各種方法でデータやコンピュータプログラムが記録される記録媒体が含まれる。
記録媒体には、記録内容に応じて異なる媒体を使用するようにしてもよい。
【００２１】
記憶装置１６は、生体情報処理プログラム１６１、車両情報処理プログラム１６２、環境情報処理プログラム１６３、運転支援プログラム１６４、ドライバモデル作成プログラム１６５、ドライバモデル記憶メモリ１６６、車両情報記憶メモリ１６７、環境情報記憶メモリ１６８、地図ＤＢ（データーベース）１６９、その他の各種プログラム、データを備えている。
【００２２】
生体情報処理プログラム１６１は、心拍センサ１２１、発汗センサ１２２、顔面温度センサ１２３による検出値を生体情報として取得し、生体情報に基づくドライバ状態を推定するプログラムである。
ドライバ状態推定の基準については、記憶装置１６に格納されている。
【００２３】
図２は、ドライバ状態の推定基準について例示したものである。
図２に示されるように、心拍数と顔面温度の変化量から、心拍数が所定数Ｎ１（例えば、Ｎ１＝５拍）低下し、かつ、顔面温度が所定温度Ｔ１（例えば、Ｔ１＝１度）以上上昇した場合に、覚醒度が低下している状態と判断する。
また、心拍数が所定数Ｎ２（例えば、Ｎ２＝５拍）以上上昇し、顔面温度がＴ２（例えば、Ｔ２＝１度）以上低下した場合に、ストレス状態（いらいらなどの状態）と判断する。
ここで、心拍数は、心電Ｒ−Ｒ間隔から算出される瞬間心拍数として測定され、顔面温度は、サーモグラフィによる温度差分（鼻部分温度−こめかみ温度）として測定される。
【００２４】
覚醒度、ストレス状態、緊張度増加状態、疲労状態等がドライバ状態としてされるが、本実施形態では、各状態毎にその状態のレベルが設定されるようになっている。
各状態毎のレベルについての判定基準についても記憶装置１６に格納されている。
【００２５】
なお、図２に示した、生体情報とドライバ状態との関係は一例であり、その他のセンサで検出される他の生体情報を加えてドライバ状態を推定したり、心拍数と顔面温度の一方からドライバ状態を推定するようにしてもよい。
【００２６】
その他のセンサにより取得する生体情報としては、例えば、筋電位、脳波、瞳孔、皮膚インピーダンスなどがあり、その判断の一例としては次の通りである。
筋電位については、強（５００μＶ以上）、適度（５０μＶ以上５００μＶ未満）、弱（５０μＶ未満）に区分され、強と弱の場合に異常と判定される。
脳波については、ベータ波の場合には正常、デルタ波、シータ波、アルファ波の場合に異常と判定される。
瞳孔については、明るい場所の場合（運転者周辺が閾値以上）、４ｍｍ未満の場合に狭、４〜７ｍｍ未満の場合に通常、７ｍｍ以上の場合に広と判定され、暗い場所の場合（閾値未満）、２ｍｍ未満の場合に狭、２〜５ｍｍ未満の場合に通常、５ｍｍ以上の場合に広と判定され、広、狭の場合に、及び、明るさに応じた瞳孔変化がない場合に異常と判定される。
【００２７】
車両情報処理プログラム１６２は、ハンドルセンサ１４１、ブレーキ踏力センサ１４２、アクセル踏力センサ１４３、車速センサ１４４、ジャイロセンサ１４５の検出値を車両情報として取得し、車両情報記憶メモリ１６７に蓄積する。
【００２８】
図３は、車両情報記憶メモリ１６７と環境情報記憶メモリ１６８に格納されるデータの内容について例示したものである。
この車両情報記憶メモリ１６７と環境情報記憶メモリ１６８に格納される各データとしては、図３に示すドライバ状態の集中度、疲労度等の各項目（生体情報処理プログラム１６１で推定）に対応したドライバモデルを作成するための基礎データが蓄積される。
【００２９】
図３に示されるように、車両情報記憶メモリ１６７には、ドライバ状態に対応して、車両情報である車両速度、車両加速度、ハンドル操作トルク、ハンドル操作状況（ハンドル操作トルクの時間微分値）、アクセル踏力、アクセル操作状況（アクセル踏力の時間微分値）、ブレーキ踏力、ブレーキ操作状況（ブレーキ踏力の時間微分値）が格納される。
ハンドル操作状況、アクセル操作状況、ブレーキ操作状況については、車両情報処理プログラム１６２により時間微分値が算出され、蓄積される。
【００３０】
また、車両情報処理プログラム１６２は、図３に例示した車両情報から、ドライバモデルの作成用のデータとして運転操作の判定を行い、その判定結果も車両情報として車両情報記憶メモリ１６７に保存するようになっている。
【００３１】
運転操作の判定は、例えば、次の通りである。
ハンドル操作の場合、ハンドル操作状況（ハンドル操作トルクの時間微分値）がその人の平均値＋３Σ以上であれば「急」と判定し、直進をゼロとした場合の単位時間あたりの左右のゼロクロス通過回数がその人の平均値＋３Σ以上であれば「不安定」と判定する。
【００３２】
アクセル操作の場合、アクセル踏力の値が平均値＋３Σ以上の場合、またはアクセル操作状況（アクセル踏力の時間微分値）が平均値＋３Σ以上の場合、または平均値＋３Σ以下でも両方がある閾値以上を満たす場合に「急」と判定する。
一方、アクセル踏力の単位時間あたりの分散値が閾値以上のときには「不安定」と判定する。
【００３３】
ブレーキ操作の場合、ブレーキ踏力の値がその人の平均値＋３Σ以上の場合、またはブレーキ操作状況（ブレーキ踏力の時間微分値）がその人の平均値＋３Σ以上の場合、または、その人の平均値＋３Σ以下でも両方がある閾値以上を満たす場合に、「急」と判定する。
【００３４】
環境情報処理プログラム１６３は、車間距離・相対速度測定装置１３１の測定値と、画像処理装置１３２で撮像した車両前後の画像に基づいて、図３の環境情報に示すように、前方車両車間距離、前方車両相対速度を、環境情報記憶メモリ１６９に蓄積するようになっている。
環境情報処理プログラム１６３は、車両情報処理プログラム１６２による運転操作の判定と同様に、予め設定された条件、閾値に基づいて、蓄積した環境情報から、前・後方車両との距離から「離脱」、「接近」等を、前・後方車両との相対速度から「不安定」「接近」等の判定を行い、環境情報記憶メモリ１６８に蓄積するようになっている。
【００３５】
図４は、車間距離に基づく判定の一例を表したものである。
この図４に示されるように、例えば、車間距離が平均値よりも所定の閾値±Ｎ（例えば、Ｎ＝５ｍ）の範囲内で走行している場合には「正常」と判定され、一方、閾値±Ｎを所定時間ｔ１以上越える場合には「不安定」と判定される。
【００３６】
運転支援プログラム１６４は、後述する運転支援処理（図７）において、推定したドライバ状態に応じた運転支援の内容を決定するプログラムである。
運転支援の内容としては、注意喚起、警告等の情報提示や、減速等の車両制御があり、推定したドライバ状態とそのレベルに応じて支援内容が予め決められ、記憶装置１６に格納されている。
【００３７】
ドライバモデル作成プログラム１６５は、車両情報及び環境情報からドライバ状態を推定するためのドライバモデルを作成するプログラムである。
ドライバモデル作成プログラム１６５は、過去に蓄積した運転情報、環境情報、ドライバ状態（生体情報処理プログラム１６１による推定結果）の集合から、統計処理により、特定のドライバ状態に対して所定数以上の組み合わせとなっている状態を抽出し、ドライバモデルとしてドライバモデル記憶メモリ１６６に格納するようになっている。
【００３８】
本実施形態のドライバモデルは、車両情報及び／又は環境情報から、該情報を取得した際のドライバ状態を推定するモデルである。ドライバモデルは、推定するドライバ状態が、車両情報等を取得した際に取得した運転者の生体情報に基づいて作成される。
このため、本実施形態のドライバモデルを使用して、取得した車両情報及び／又は環境情報から推定したドライバ状態は、運転者の生体情報に対応したものとなっている。
従って、本実施形態のドライバモデルで推定したドライバ状態は、生体情報に基づくドライバ状態として、生体情報を正常に取得できない場合に使用することができる。
【００３９】
なお、本実施形態におけるドライバモデルの作成、及びドライバモデル作成用の車両情報や環境情報の蓄積は、各ドライバ毎に行われる。
そのため、本実施形態では、運転者を特定するための運転者特定手段として機能する、各種センサ等を備えている。
例えば、運転席に配置された体重計、運転者本人が自己のＩＤを入力するための入力装置、画像処理により運転者を特定する為の画像認識手段と撮像装置、その他運転者を特定する為の各種センサや装置等を備えている。
【００４０】
図５は、作成されたドライバモデルの一例を表したものである。
この図５に例示されるように、ドライバモデルは、生体情報処理プログラム１６１で推定される各ドライバ状態毎に、どのような車両情報、環境情報かについて規定されている。すなわち、ドライバモデルは、各ドライバ状態毎に作成される。
例えば、ハンドル操作が不安定で、アクセル操作が不安定、ブレーキ操作が急、前方車両距離が離脱、前方車両相対速度が不安定である場合に、ドライバ状態が「覚醒度低下」と推定される。
なお、上記組み合わせの場合にだけ「覚醒度低下」と判定されるわけではなく、過去に蓄積した運転情報、環境情報、ドライバ状態（生体情報処理プログラム１６１による推定結果）の集合から、特定のドライバ状態である「覚醒度低下」に対して所定数以上の組み合わせとなっている状態が抽出され、ドライバモデルとして規定されている。従って、図５に示した各車両情報、環境情報以外の組み合わせによっても「覚醒度低下」と推定される場合もある。
【００４１】
地図ＤＢ１６９は、地図情報、道路情報、カーブ情報等の各種地図に関連した情報が格納されたデーターベースである。
道路情報は、現在位置検出装置１１で検出された車両の現在位置と道路情報とのマップマッチングにより現在走行中の道路及び該道路上の位置を検出するのに使用される。
なお、地図ＤＢ１６９は、ナビゲーション機能でも使用され、車両の現在地周辺や目的地周辺等の各種地図や道路を表示装置に表示するために地図情報が使用され、目的地までの経路探索に道路情報が使用される。また、各施設に対する情報が格納された施設情報（ＰＯＩ情報）等も格納されている。
【００４２】
図１に戻り、入力装置１８は、タッチパネル（スイッチとして機能）、キーボード、マウス、ライトペン、ジョイスティック、赤外線等によるリモコン、表示装置２０の表示画面に取り付けられたタッチパネル、リモコン、音声認識装置などの各種の装置が使用可能であり、各種情報を入力するための入力手段を構成する。
【００４３】
音声出力装置１９は、車内に配置された複数のスピーカ及び音声制御装置で構成される。音声出力装置１９からは、音声制御部で制御された音声、例えば、ドライバ状態に対応して注意を喚起する音声や、警告音声が、運転支援の一環として出力されるようになっている。
この音声出力装置１９は、オーディオ用のスピーカと兼用するようにしてもよい。
【００４４】
表示装置２０は、液晶表示装置、ＣＲＴ、ヘッドアップディスプレイ等の各種表示装置が使用され、注意を喚起する画像や、警告画像又は／及び警告文字（テキスト）が運転支援の一環として表示されるようになっている。
【００４５】
車両制御装置２１は、推定したドライバの状態に応じて、運転操作の支援として、減速する等の運転操作補助をする。
通信装置２２は、通信手段として機能し、外部の情報センタやインターネットと接続して各種データの送信及び受信を行う。
【００４６】
次に、以上のように構成された運転支援装置による、ドライバ状態の推定及び運転支援の処理動作について説明する。
本実施形態によるドライバ状態の推定は、各ドライバ毎に行われるため、例えばイグニッションがオンされた際等の所定タイミングにおいて、ＥＣＵ１０はドライバの特定を行うようになっている。
ドライバは、ドライバ自身が入力装置１８から自己のＩＤを入力したり、表示装置２０に表示されたドライバリスト（予めドライバが入力）から自己を選択したり、また、運転席に搭載した体重計からドライバを自動的に認識したり、運転者撮像画像から運転者を画像処理により認識したりすることにより特定する。なお、ドライバ自身による入力、選択が行われた場合を除き、装置が自動認識を行う場合には、１方法だけでなく複数の認識結果から総合して運転者を特定するようにしてもよく、さらに、自動認識の結果について運転者に確認をするようにしてもよい。
【００４７】
まず、特定した運転者毎にドライバモデルを作成する処理について説明する。
図６はドライバモデル作成処理について表したフローチャートである。
ＥＣＵ１０は、生体情報を検出し（ステップ１１）、正常に生体情報が検出できているか否かを判断する（ステップ１２）。
ＥＣＵ１０は、生体情報取得装置１２によって所定の生体情報を取得できない場合、生体情報は取得したがその生体情報のノイズが所定の閾値を越えている場合に正常に検出できていないと判断する。
なお、本実施形態では複数の生体情報を検出しており、そのうち１つでも検出できない場合には正常検出できないと判断するようになっているが、予め決められた所定個数（例えば、２つ）以上の検出ができない場合に正常検出できないと判断するようにしてもよい。また、正常検出と判断するためには、予め決められた特定の生体情報（例えば、心拍数、その他）が検出できることを必須とし、他の生体情報（例えば、顔面温度等）については、所定個数（例えば、１つ、２つ、半数）以上検出できた場合に正常と判断し、それ以外は正常検出できないと判断するようにしてもよい。
【００４８】
正常に検出ができない場合（ステップ１２；Ｎ）には、生体情報に基づくドライバモデルを作成できないのでＥＣＵ１０はメインルーチンにリターンする。
一方、生体情報を正常に検出できた場合（ステップ１２；Ｙ）、ＥＣＵ１０は、図２で例示したように、取得した生体情報からドライバ状態を判定し（ステップ１３）、図３に示すようにそのレベルと共に記憶する。
【００４９】
次いで、ＥＣＵ１０は、図３に示した、車両情報を検出し、ステップ１３で判定したドライバ状態に関連付けて、車両情報記憶メモリ１６７に蓄積する（ステップ１４）。
またＥＣＵ１０は、検出した車両情報の蓄積と共に、検出した各車両情報に対する判定（ハンドル操作「急」、「不安定」等）を行い、判定結果もドライバ状態に関連付けて車両情報記憶メモリ１６７に蓄積する。
【００５０】
また、ＥＣＵ１０は、図３に示した、環境情報を検出し、ステップ１３で判定したドライバ状態に関連付けて、環境情報記憶メモリ１６８に蓄積する（ステップ１５）。
またＥＣＵ１０は、検出した環境情報の蓄積と共に、検出した各環境情報に対する判定（前・後方車両との距離から「離脱」、「接近」等）を行い、判定結果もドライバ状態に関連付けて環境情報記憶メモリ１６８に蓄積する。
【００５１】
ＥＣＵ１０は、車両情報記憶メモリ１６７と環境情報記憶メモリ１６８に格納した車両情報と環境情報に対する判定結果と、判定結果に関連付けられたドライバ状態のレベルとから、該ドライバ状態に対するドライバモデル（図５の例を参照）を作成し、ドライバモデル記憶メモリ１６６に格納又は更新し、メインルーチンにリターンする。
【００５２】
次に、車両走行中におけるドライバ状態の推定及び推定結果に基づく運転支援を行う処理動作について説明する。
図７は、ドライバ状態に基づく運転支援処理の動作を表したフローチャートである。
ＥＣＵ１０は、生体情報を検出し（ステップ２１）、正常に生体情報が検出できているか否かを判断する（ステップ２２）。正常に生体情報が検出できているか否かの判断は、ドライバモデル作成処理の判断と同じである。
なお、この生体情報の検出（ステップ２１）と、正常に検出されているか否かの判断（ステップ２２）については、ドライバモデル作成処理における生体情報の検出（ステップ１１）と、正常に検出されているかの判断（ステップ１２）を兼用するようにしてもよい。
【００５３】
生体情報が正常に検出されている場合（ステップ２２；Ｙ）、ＥＣＵ１０は、検出した生体情報から生体情報処理プログラム１６１に従ってドライバ状態を推定する（ステップ２３）。
【００５４】
一方、生体情報が正常に検出されない場合（ステップ２２；Ｎ）、ＥＣＵ１０は、車両情報と環境情報を検出する（ステップ２４）。
この環境情報の検出も（ステップ１４、１５）を兼用するようにしてもよい。
【００５５】
そしてＥＣＵ１０は、現在のドライバに対してドライバモデル記憶メモリ１６６に格納されているドライバモデルから、ステップ１４、１５で取得した車両情報と環境情報の判定結果）に対応するドライバ状態とレベルを推定する（ステップ２５）。
【００５６】
ついで、ＥＣＵ１０は、推定したドライバ状態から運転支援が必要であるか否かを判断する（ステップ２６）。
すなわち、ドライバ状態が正常状態であれば運転支援は不要と判断し（ステップ２６；Ｎ）、ＥＣＵ１０はメインルーチンにリターンする。
【００５７】
一方、ドライバ状態が正常状態でない場合には運転支援が必要と判断し（ステップ２６；Ｙ）、運転支援処理を行う（ステップ２７）。
すなわち、ＥＣＵ１０は、ドライバ状態とそのレベルに応じて予め規定されている、注意喚起、警告等の情報提示や、減速等の運転支援を行う。
例えば、ＥＣＵ１０は、ドライバ状態が「覚醒状態低下」の場合でそのレベルが低い場合には、音声による注意喚起及び／又はハンドルの振動といった、覚醒状態を高めるための運転支援を行う。一方、「覚醒状態低下」のレベルが高い場合には、注意喚起、ハンドルの振動に加え、更に、減速処理が実行される。
また、ストレスが高いと判断された場合には、そのレベルに応じて、注意喚起の音声を出力したり、リラックスするための音楽を出力する。
ＥＣＵ１０は、運転支援（ステップ２７）の後、メインルーチンにリターンする。
【００５８】
以上、本発明の運転者状態推定装置及び運転支援装置における１実施形態について説明したが、本発明は説明した実施形態に限定されるものではなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
例えば、説明した実施形態では、過去に蓄積した運転情報、環境情報、ドライバ状態の集合から、統計処理により、特定のドライバ状態に対して所定数以上の組み合わせとなっている状態を抽出することでドライバモデルを作成する場合について説明したが、ガウス混合モデル（ＧＭＭ）を使用してドライバモデルを作成するようにしてもよい。
ドライバモデルにＧＭＭを用いることで、各ドライバ毎のドライバモデルを簡便に生成することができ、さらに、条件付き確率を最大化する計算により、運転操作行動を容易に推定し出力する。
【００５９】
すなわち、車両情報、環境情報、及びドライバ状態（生体情報処理プログラムによる推定結果）を学習データ（特徴量）としてＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムにより算出したガウス混合モデルをドライバモデルとして採用する。
このガウス混合モデルは、ＥＭアルゴリズムにより、同時確率密度分布を計算することで得られる同時確率密度関数のパラメータで構成され、必要に応じて各ドライバ毎、更にドライバのアクセル操作用、ブレーキ操作用、車間距離維持範囲用等の推定する特徴量毎に生成される。
【００６０】
そして、生体情報を正常に取得できない場合に、車両状態、環境情報を測定し、この測定データに対するドライバモデルにおける最大事後確率を算出することで、生体情報に基づくドライバ状態を推定する。
【００６１】
また、特開２００２−１４０７８６等で記載されているように、ファジールールやニューラルネットワークを使用してドライバモデルを作成するようにしてもよい。
【図面の簡単な説明】
【００６２】
【図１】運転者状態推定装置が適用された運転支援装置の構成図である。
【図２】ドライバ状態の推定基準について例示した説明図である。
【図３】車両情報記憶メモリと環境情報記憶メモリに格納されるデータ内容について例示した説明図である。
【図４】車間距離に基づく判定の一例を表した説明図である。
【図５】作成されたドライバモデルの一例を表した説明図である。
【図６】ドライバモデル作成処理について表したフローチャートである。
【図７】ドライバ状態に基づく運転支援処理の動作を表したフローチャートである。
【符号の説明】
【００６３】
１０ ＥＣＵ
１１ 現在位置検出装置
１２ 生体情報取得装置
１２１ 心拍センサ
１２２ 発汗センサ
１２３ 顔面温度センサ
１３ 環境情報取得装置
１３１ 車間距離・相対速度測定装置
１３２ 画像処理装置
１４ 車両情報取得装置
１４１ ハンドルセンサ
１４２ ブレーキ踏力センサ
１４３ アクセル踏力センサ
１４４ 車速センサ
１４５ ジャイロセンサ
１５ 画像入力装置
１６ 記憶装置
１６１ 生体情報処理プログラム
１６２ 車両情報処理プログラム
１６３ 環境情報処理プログラム
１６４ 運転支援プログラム
１６５ ドライバモデル作成プログラム
１６６ ドライバモデル記憶メモリ
１６７ 車両情報記憶メモリ
１６８ 環境情報記憶メモリ
１６９ 地図ＤＢ（データーベース）
１８ 入力装置
１９ 音声出力装置
２０ 表示装置
２１ 車両制御装置
２２ 通信装置
【特許請求の範囲】
【請求項１】
運転者の生体情報を取得する生体情報取得手段と、
取得した生体情報に基づいて運転者の状態を推定する第１運転者状態推定手段と、
車両の運転操作を検出する運転操作検出手段と、
前記運転操作検出手段で検出した運転操作と、該運転操作と対応して取得した前記生体情報に基づいて推定した運転者の状態とを蓄積し、運転操作に対する運転者の状態に関する運転者モデルを作成する運転者モデル作成手段と、
前記生体情報取得手段が正常に機能しているか否かを判断する判断手段と、
前記生体情報取得手段が正常に機能していないと判断された場合に、前記運転者モデル作成手段で作成した運転者モデルから、前記検出した運転操作に対応する運転者の状態を推定する第２運転者状態推定手段と、
を具備したことを特徴とする運転者状態推定装置。
【請求項２】
車両周囲の走行環境を検出する走行環境検出手段を備え、
前記運転者モデル作成手段は、前記検出した走行環境を含めて運転者モデルを作成し、
前記第２運転者状態推定手段は、走行環境を含めて運転者の状態を推定する、
ことを特徴とする請求項１に記載の運転者状態推定装置。
【請求項３】
請求項１に記載の運転者状態推定装置と、
前記運転者状態推定装置で推定した運転者の状態に応じて、運転支援を行う運転支援手段と、
を具備したことを特徴とする運転支援装置。
【請求項４】
前記運転支援手段は、運転者への注意喚起、警告、情報提供、車間距離制御、車速制御、又はブレーキ制御の少なくとも１つを行うことを特徴とする請求項３に記載の運転支援装置。
【請求項１】
運転者の生体情報を取得する生体情報取得手段と、
取得した生体情報に基づいて運転者の状態を推定する第１運転者状態推定手段と、
車両の運転操作を検出する運転操作検出手段と、
前記運転操作検出手段で検出した運転操作と、該運転操作と対応して取得した前記生体情報に基づいて推定した運転者の状態とを蓄積し、運転操作に対する運転者の状態に関する運転者モデルを作成する運転者モデル作成手段と、
前記生体情報取得手段が正常に機能しているか否かを判断する判断手段と、
前記生体情報取得手段が正常に機能していないと判断された場合に、前記運転者モデル作成手段で作成した運転者モデルから、前記検出した運転操作に対応する運転者の状態を推定する第２運転者状態推定手段と、
を具備したことを特徴とする運転者状態推定装置。
【請求項２】
車両周囲の走行環境を検出する走行環境検出手段を備え、
前記運転者モデル作成手段は、前記検出した走行環境を含めて運転者モデルを作成し、
前記第２運転者状態推定手段は、走行環境を含めて運転者の状態を推定する、
ことを特徴とする請求項１に記載の運転者状態推定装置。
【請求項３】
請求項１に記載の運転者状態推定装置と、
前記運転者状態推定装置で推定した運転者の状態に応じて、運転支援を行う運転支援手段と、
を具備したことを特徴とする運転支援装置。
【請求項４】
前記運転支援手段は、運転者への注意喚起、警告、情報提供、車間距離制御、車速制御、又はブレーキ制御の少なくとも１つを行うことを特徴とする請求項３に記載の運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−５６０５９（Ｐ２００８−５６０５９Ａ）
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願番号】特願２００６−２３４４７９（Ｐ２００６−２３４４７９）
【出願日】平成１８年８月３０日（２００６．８．３０）
【出願人】（５９１２６１５０９）株式会社エクォス・リサーチ (1,360)
【Ｆターム（参考）】
【公開日】平成２０年３月１３日（２００８．３．１３）
【国際特許分類】
【出願日】平成１８年８月３０日（２００６．８．３０）
【出願人】（５９１２６１５０９）株式会社エクォス・リサーチ (1,360)
【Ｆターム（参考）】
[ Back to top ]