生体状態判定装置
【課題】ドライバのぼんやり状態の判定精度を向上させることができる生体状態判定装置を提供する。
【解決手段】生体状態判定装置1は、ドライバの顔を撮像する顔撮像カメラ2と、車両の外側(前方)を撮像する車外撮像カメラ3と、ECU5とを備えている。ECU5は、顔撮像カメラ2の撮像画像に基づいてドライバの開眼時間を取得し、その開眼時間のばらつきを計算し、ドライバのぼんやり状態を検知するメイン処理部7と、顔撮像カメラ2の撮像画像に基づいてドライバの眼への外乱入力を検出し、開眼時間ばらつきを計算するための単位時間幅を設定する第1開眼時間ばらつき計算用データ設定処理部8と、車外撮像カメラ3の撮像画像に基づいて車外環境を検出し、開眼時間ばらつきを計算するための単位時間幅を設定する第2開眼時間ばらつき計算用データ設定処理部9とを有している。
【解決手段】生体状態判定装置1は、ドライバの顔を撮像する顔撮像カメラ2と、車両の外側(前方)を撮像する車外撮像カメラ3と、ECU5とを備えている。ECU5は、顔撮像カメラ2の撮像画像に基づいてドライバの開眼時間を取得し、その開眼時間のばらつきを計算し、ドライバのぼんやり状態を検知するメイン処理部7と、顔撮像カメラ2の撮像画像に基づいてドライバの眼への外乱入力を検出し、開眼時間ばらつきを計算するための単位時間幅を設定する第1開眼時間ばらつき計算用データ設定処理部8と、車外撮像カメラ3の撮像画像に基づいて車外環境を検出し、開眼時間ばらつきを計算するための単位時間幅を設定する第2開眼時間ばらつき計算用データ設定処理部9とを有している。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ドライバの生体状態を判定する生体状態判定装置に関するものである。
【背景技術】
【0002】
従来の生体状態判定装置としては、例えば特許文献1に記載されているものが知られている。特許文献1に記載の生体状態判定装置は、覚醒度を反映する閉眼時間割合等の運転者情報と、注意集中度を反映する頭部振動伝達率等の運転者情報とを検出し、各運転者情報の運転者個人の平均値及び標準偏差を演算し、この平均値及び標準偏差と車両・運転環境情報とに基づいて、運転者の居眠り状態、居眠り葛藤状態、集中状態、漫然状態を判定するものである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−265377号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来技術においては、ぼんやり状態のような不明確な生体状態を判定するのは困難である。しかも、ドライバが直射日光やエアコン風等の外乱を眼に受けたり、他車両や建築物等の種類及び数といった車外環境が変化すると、ぼんやり状態の誤判定が生じやすくなる。
【0005】
本発明の目的は、ドライバのぼんやり状態の判定精度を向上させることができる生体状態判定装置を提供することである。
【課題を解決するための手段】
【0006】
本発明は、ドライバの開眼時間に基づいてドライバの生体状態を判定する生体状態判定装置において、ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきに基づいて、ドライバのぼんやり状態を検知するぼんやり状態検知手段と、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための条件を設定する計算条件設定手段とを備えることを特徴とするものである。
【0007】
このように本発明の生体状態判定装置においては、ドライバの開眼時間のばらつきを求め、その開眼時間のばらつきに基づいてドライバのぼんやり状態を検知する。このとき、ドライバの運転状況(例えばドライバの眼への外乱入力や車外環境の変化の有無等)に応じて、開眼時間のばらつきを求めるための条件を設定し、その条件に従って開眼時間のばらつきを求めるようにする。従って、ドライバの運転状況に応じた適切な開眼時間ばらつきが得られる。これにより、ドライバのぼんやり状態を高精度に判定することができる。
【0008】
好ましくは、計算条件設定手段は、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための時間幅を設定する手段であり、開眼時間ばらつき計算手段は、時間幅内においてドライバの開眼時間のばらつきを求める。
【0009】
一般にドライバの運転状況によってドライバの開眼時間のばらつきが変わってくる。従って、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための時間幅を設定することで、開眼時間のばらつきの大きさを補正し、ドライバのぼんやり状態の判定精度を確実に高めることができる。
【0010】
このとき、好ましくは、計算条件設定手段は、ドライバの眼に対する外乱入力を検出する外乱検出手段を有し、外乱検出手段によりドライバの眼に対する外乱入力が検出されたときに、時間幅を変更する。
【0011】
直射日光やエアコン風等の外乱がドライバの眼に入力されると、眼が幻惑もしくは乾くことで均一方向に変化することから、開眼時間のばらつきが減少する。従って、この場合には開眼時間のばらつきを求めるための時間幅を長くすることにより、適切な開眼時間ばらつきを得ることができる。
【0012】
また、好ましくは、計算条件設定手段は、車外環境の変化を検出する車外環境検出手段を有し、車外環境検出手段により車外環境の変化が検出されたときに、時間幅を変更する。
【0013】
例えば自車両が高速道路から市街地の一般道路へ移動した際には、他車両及び建築物の数や種類が増えることから、開眼時間のばらつきが増加する。従って、この場合には開眼時間のばらつきを求めるための時間幅を短くすることにより、適切な開眼時間ばらつきを得ることができる。
【0014】
さらに、好ましくは、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきとぼんやり状態検知手段により検知したドライバのぼんやり状態とに基づいて、ドライバに眠気が発生する可能性があるかどうかを判定する眠気判定手段と、眠気判定手段によりドライバに眠気が発生する可能性があると判定されたときに、ドライバの眠気発生時刻を予測する眠気発生時刻予測手段とを更に備える。
【0015】
この場合には、ドライバに眠気が発生する可能性がある旨やドライバの眠気発生予想時刻を音声や画面表示等で報知することで、ドライバに対して注意を促すことができる。
【0016】
このとき、好ましくは、ぼんやり状態検知手段により検知したドライバのぼんやり状態に基づいて、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いかどうかを判断し、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いと判断されたときに、眠気発生時刻予測手段により予測したドライバの眠気発生時刻をキャンセルする予測キャンセル手段を更に備える。
【0017】
ぼんやり状態にあるドライバに生じている眠気は、例えば飲食や車外環境の変化等により解消することがある。従って、ドライバに眠気が発生する可能性があると判定されていても、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いと判断されたときは、眠気発生時刻の予測をキャンセルする。これにより、ドライバが眠くならないにも係わらず眠気発生時刻が予測されてしまうといった不具合を防止することができる。
【0018】
また、好ましくは、ドライバの生体特徴量を検出する特徴量検出手段と、ドライバの生体特徴量に基づいて、眠気発生時刻予測手段により予測したドライバの眠気発生時刻を補正する眠気発生時刻補正手段とを更に備える。
【0019】
ドライバに眠気が発生する可能性がある時のドライバの眠気発生予想時刻は、運転中のドライバの状態変化により早まったり遅くなったりする。従って、ドライバの生体特徴量(例えば心拍特徴量)に基づいて、予測されたドライバの眠気発生時刻を補正することにより、ドライバの体調に応じた適切な眠気発生時刻を得ることができる。
【発明の効果】
【0020】
本発明によれば、ドライバのぼんやり状態の判定精度を向上させることができる。これにより、ドライバの生体状態をより詳細に判別することが可能となる。
【図面の簡単な説明】
【0021】
【図1】本発明に係わる生体状態判定装置の一実施形態の概略構成を示すブロック図である。
【図2】図1に示したメイン処理部により実行される処理手順を示すフローチャートである。
【図3】単位時間幅内における開眼時間のばらつきの一例を示す図である。
【図4】開眼時間格納バッファの一例を示す表である。
【図5】ぼんやり状態を検知する手法の一例を示すグラフである。
【図6】眠気発生の可能性を判定する手法の一例を示すグラフである。
【図7】眠気発生予想時刻を推定する手法の一例を示すグラフである。
【図8】図1に示した第1開眼時間ばらつき計算用データ設定処理部により実行される処理手順を示すフローチャートである。
【図9】太陽の直射日光がドライバの顔に当たっている状態を示す側面図である。
【図10】ドライバの顔への直射日光の照射イメージを示す図である。
【図11】外乱入力検出結果格納バッファの一例を示す表である。
【図12】図1に示した第2開眼時間ばらつき計算用データ設定処理部により実行される処理手順を示すフローチャートである。
【図13】車外環境を撮影する状態を示す側面図である。
【図14】車外環境の画像データを画像処理する様子を示す図である。
【図15】車外環境検出結果格納バッファの一例を示す表である。
【図16】図1に示した眠気発生予想時刻キャンセル処理部により実行される処理手順を示すフローチャートである。
【図17】ぼんやり状態検知結果格納バッファの一例を示す表である。
【図18】図1に示した眠気発生予想時刻補正処理部により実行される処理手順を示すフローチャートである。
【図19】図18に示した生体特徴量の導出処理手順の詳細を示すフローチャートである。
【図20】図1に示した生体信号計測器の出力波形及び2値化波形の一例を示す波形図である。
【図21】2値化波形の区間幅及び周期時系列の一例を示す波形図である。
【図22】心拍数の周期時系列に対してFFT処理して得られた波形の一例を示す波形図である。
【図23】FFT処理して得られた波形に対して2つの周波数帯帯域を設定した状態を示す波形図である。
【図24】心拍ゆらぎの周期時系列の一例を示す波形図である。
【図25】生体特徴量格納バッファの一例を示すグラフである。
【図26】眠気発生予想時刻を補正する様子を示すグラフである。
【発明を実施するための形態】
【0022】
以下、本発明に係わる生体状態判定装置の好適な実施形態について、図面を参照して詳細に説明する。
【0023】
図1は、本発明に係わる生体状態判定装置の一実施形態の概略構成を示すブロック図である。本実施形態の生体状態判定装置1は、車両に搭載され、車両のドライバの生体状態を判定する装置である。
【0024】
生体状態判定装置1は、顔撮像カメラ2と、車外撮像カメラ3と、生体信号計測器4と、ECU(Electronic Control Unit)5と、出力器6とを備えている。顔撮像カメラ2は、ドライバの顔を撮像し、顔画像を生成する。車外撮像カメラ3は、車両の外側(ここでは前方)を撮像し、車外画像を生成する。
【0025】
生体信号計測器4は、ドライバの生体信号を計測する機器である。生体信号としては、心拍、呼吸、脳波、皮膚電位、顔表情、体のしぐさ、車両機器の操作等が挙げられる。生体信号計測器4としては、心電計、呼吸計、脳波計、皮膚電位計、カメラ、圧力センサ等が用いられる。出力器6としては、音声出力を発生させる機器や、画面表示を行う機器が用いられる。
【0026】
ECU5は、CPU、ROMやRAM等のメモリ、入出力回路等により構成されている。ECU5は、メイン処理部7と、第1開眼時間ばらつき計算用データ設定処理部8と、第2開眼時間ばらつき計算用データ設定処理部9と、眠気発生予想時刻キャンセル処理部10と、眠気発生予想時刻補正処理部11とを有している。
【0027】
メイン処理部7は、顔撮像カメラ2の撮像画像を入力し、所定の処理を行い、ドライバの生体状態(通常状態、ぼんやり状態、眠気発生状態)を判定し、その判定結果を出力器6に送出する。
【0028】
第1開眼時間ばらつき計算用データ設定処理部8は、顔撮像カメラ2の撮像画像を入力し、所定の処理を行い、メイン処理部7により開眼時間ばらつき(後述)を計算するための単位時間幅を設定する。
【0029】
第2開眼時間ばらつき計算用データ設定処理部9は、車外撮像カメラ3の撮像画像を入力し、所定の処理を行い、メイン処理部7により開眼時間ばらつきを計算するための単位時間幅を設定する。
【0030】
眠気発生予想時刻キャンセル処理部10は、メイン処理部7によるぼんやり状態の検知結果を入力し、所定の処理を行い、必要に応じて、メイン処理部7により推定された眠気発生予想時刻(後述)をキャンセルする。
【0031】
眠気発生予想時刻補正処理部11は、生体信号計測器4の計測値を入力し、所定の処理を行い、必要に応じて、メイン処理部7により推定された眠気発生予想時刻を補正する。
【0032】
図2は、メイン処理部7により実行される処理手順を示すフローチャートである。同図において、まず顔撮像カメラ2の顔画像データを取得する(手順S51)。そして、図3に示すように、顔画像データから瞼の開閉を判断し、眼が開いている時間(開眼時間)を検出する(手順S52)。なお、図3において、tonはn回目の開眼時間であり、tsnはn回目の開眼の開始時刻であり、tenはn回目の開眼の終了時刻である。
【0033】
続いて、図4に示すように、開眼時間データ(開始時刻tsn、終了時刻ten、開眼時間ton)を開眼時間格納バッファに保持する(手順S53)。ここで、バッファのサイズ要件としては、ten−ts1>twを満足している。なお、tw(図3参照)は、開眼時間のばらつき(後述)を定量化する際の単位時間幅である。
【0034】
続いて、複数の開眼時間のばらつきを統計量として計算する(手順S54)。ここでは、統計量として標準偏差を求める。このとき、単位時間幅tw内の開眼時間データを取得し、開眼時間標準偏差(以下、開眼時間SDと略す)を以下のようにして算出する。
単位時間幅tw内に含まれる開眼時間={to1,to2,to3,…ton}
【数1】
【0035】
続いて、図5に示すように、開眼時間SDとぼんやり状態検知用の閾値TH1とを比較することで、ドライバのぼんやり状態を検知する(手順S55)。このとき、時刻tでの開眼時間SDの値SD(t)が閾値TH1以上(SD(t)≧TH1)であるときは、ぼんやり検知フラグがONとなり、SD(t)<TH1であるときは、ぼんやり検知フラグがOFFとなる。
【0036】
閾値TH1の設定法としては、以下の方法が挙げられる。即ち、下記式の通り、運転開始から任意時刻tnまでのSD(t)の統計量から閾値TH1を設定する。
TH1=MEAN_SD+N×STDEV_SD
MEAN_SD:運転開始から任意時刻tnまでのSD(t)の平均値
N:係数(例えば3)
STDEV_SD:運転開始から任意時刻tnまでのSD(t)の標準偏差
【0037】
このとき、係数Nの値を、ドライバの着用物によって変えても良い。例えばドライバがメガネを着用している場合には、裸眼の場合に比べて、ぼんやりしていなくても目が疲れやすい傾向にあるため、開眼時間SDが大きくなることがある。従って、このような場合には、係数Nを大きくする(例えばN=5)とすることで、誤検知しにくくする。
【0038】
また、ドライバの名前と閾値TH1の値とを対応づけてデータベースとして保管しておき、運転開始時にデータベースを参照して閾値TH1を設定しても良い。この場合、例えばドライバが初めて本装置を使った時のデータを閾値TH1として保持しておく必要がある。
【0039】
続いて、図6に示すように、ぼんやり検知フラグ及び開眼時間SDに基づき、直線あてはめ手法を用いて将来におけるドライバの眠気発生の可能性を判定する(手順S56)。
【0040】
具体的には、ぼんやり検知フラグがOFFからONになる時刻を、直線あてはめ区間の先頭時間tsに設定する。次いで、時刻tsから直線あてはめ区間幅LWだけ経過した時刻を直線あてはめ区間の末尾時間teに設定する。次いで、時刻ts〜teの区間の開眼時間SDデータに対し、直線近似式を取得する。近似方法の一例としては、最小自乗法がある。直線近似式SDは、以下の通りである。
SD=At+B
【0041】
そして、上記式の傾きAが0より小さいかどうか(A<0)を判断し、A<0を満たすときは、眠気発生の可能性があるものとする。ここで、時刻teは、開眼時間SDデータの取得が完了する時刻であるため、眠気発生の可能性の判定を行う時刻でもある。
【0042】
なお、直線あてはめ区間幅LWは、例えば3分に設定される。その理由としては、睡眠潜時(寝入るまでの時間)が短い人(睡眠障害の患者)でも最短3分程度であることによる。これにより、健常者を含むどのドライバについても、眠気発生の可能性を素早く判定することができる。
【0043】
続いて、図7に示すように、眠気発生可能性の判定結果と直線近似式SDとを用いて、将来のドライバの眠気発生予想時刻を推定する(手順S57)。具体的には、まず直線近似式SDを延長した線(眠気発生予想直線)と眠気発生状態検知用の閾値TH2との交点となる時刻tdを計算する。その時刻tdが眠気発生予想時刻と推定される。また、時刻teは眠気発生予想時刻の推定処理を行う時刻となるため、時刻tdと時刻teとの時間差(眠気発生予想時刻までの所要時間)を計算する。
【0044】
続いて、手順S55〜S57の処理結果として、ドライバがぼんやり状態であるか否か、ドライバに眠気発生の可能性があるか否か、ドライバに眠気が発生するまでの所要時間等を、出力器6に送出してドライバに伝える(手順S58)。
【0045】
図8は、第1開眼時間ばらつき計算用データ設定処理部8の処理手順を示すフローチャートである。同図において、まず顔撮像カメラ2の顔画像データを取得する(手順S61)。
【0046】
続いて、顔画像データに基づいてドライバの眼への外乱入力を検出する(手順S62)。外乱としては、直射日光やエアコン風等があるが、ドライバの瞬き動作を阻害するものであれば種類は問わない。以下では、図9に示すように、ドライバDの顔に直射日光が当たった場合を例にとって説明する。
【0047】
ドライバDの顔に直射日光が当たると、ドライバDの顔表面の明るさ(輝度)分布は、例えば図10に示すような状態となる。ここで、顔表面には、眼周辺の領域Aと眼から離れた領域Bとが定められている。なお、領域A,Bの位置は、眼への直射日光入力があることを他の顔部位との比較から検出可能な部位であれば良い。
【0048】
顔撮像カメラ2の顔画像データから、領域A,Bの輝度L1,L2が得られる。このとき、輝度値L1と輝度値L2との差が閾値TH以上(L1−L2>TH)である場合は、ドライバの眼に直射日光が当たっていると判断する。閾値THの値としては、輝度値L1,L2が日光量、車両の窓ガラスの光透過度、ドライバの皮膚色等の影響で変わることから、眼への直射日光入力が検出可能なレベルであれば良い。
【0049】
尚ここでは、顔撮像カメラ2によってドライバの顔への直射日光入力を検出するようにしたが、直射日光やエアコン風等の外乱入力を検出する手段としては、画像カメラの他に、風力計や温度計を使用しても良い。
【0050】
続いて、図11に示すように、外乱入力検出結果を時刻t毎に外乱入力検出結果格納バッファに保持する(手順S63)。このとき、外乱入力がないときは0を登録し、外乱入力があるときは1を登録する。
【0051】
続いて、上述したメイン処理部7の手順S54(図2参照)により開眼時間のばらつきを計算する際に用いる単位時間幅twを設定する(手順S64)。例えば直射日光入射時には、ドライバの眼が幻惑もしくは乾くことで開眼時間が均一方向に変化し、結果として開眼時間ばらつきの減少が起こる。そこで、外乱入力がない場合とある場合とで、開眼時間ばらつきを得る際の単位時間幅twを変化させる。
【0052】
具体的には、外乱入力がない場合には、単位時間幅twを予め設定された初期値とする。外乱入力がある場合には、単位時間幅twを初期値と外乱入力継続時間との合計値(初期値+外乱入力継続時間)とする。
【0053】
外乱入力継続時間は、現在時刻と外乱入力検出結果格納バッファの値とから以下の方法で得られる。即ち、まず現在時刻において、外乱入力検出結果格納バッファの外乱入力項目が1(外乱入力あり)か否かを判断する。外乱入力ありのときは、現在時刻を基準にして、外乱入力検出結果格納バッファの外乱入力項目が連続して1である区間の時間長(外乱入力継続時間)を得る。例えば図11において、現在時刻がtnであり、外乱入力項目が1である区間が時刻t3〜tnである場合は、外乱入力継続時間はtn−t3となる。
【0054】
続いて、手順S64で設定された単位時間幅twのデータをメイン処理部7に出力する(手順S65)。これにより、メイン処理部7の上記手順S54では、手順S64で設定された単位時間幅tw内において開眼時間ばらつき(開眼時間SD)を計算することとなる。
【0055】
このようにドライバの眼に対して直射日光等の外乱が入力されたときは、外乱入力継続時間分だけ単位時間幅twを長くするので、ドライバに対する外乱入力状況に応じた適切な開眼時間ばらつきが得られるようになる。これにより、ドライバに対する外乱入力の有無にかかわらず、ドライバのぼんやり状態を精度良く検知することができる。
【0056】
なお、上記処理では、外乱入力時に単位時間幅twを外乱入力継続時間分だけ長くするようにしたが、現在時刻に外乱入力がある場合には、開眼時間ばらつきの計算をキャンセルするようにしても良い。例えば図11において現在時刻がtnである場合には、時刻tnでの開眼時間ばらつきとしては、時刻t2で得られた開眼時間ばらつきの値が適用されるようになる。
【0057】
図12は、第2開眼時間ばらつき計算用データ設定処理部9の処理手順を示すフローチャートである。同図において、まず図13に示すように設置された車外撮像カメラ3により生成された車外画像データを取得する(手順S71)。
【0058】
続いて、車外画像データに基づいて、車外環境として車外に存在する対象物を検出する(手順S72)。具体的には、図14に示すように、まず車外画像データ(A参照)を輝度差や色等に基づき領域分割し(B参照)、領域の属性(対象物の種類)を同定する(C参照)。そして、車外撮像カメラ3により撮影した時刻における車外環境中の対象物の構成(種類や数)を出力する(D参照)。
【0059】
続いて、図15に示すように、対象物検出結果を時刻t毎に車外環境検出結果格納バッファに保持する(手順S73)。ここでは、対象物の総数を登録する。
【0060】
続いて、上述したメイン処理部7の手順S54(図2参照)により開眼時間のばらつきを計算する際に用いる単位時間幅twを設定する(手順S74)。例えば高速道路から市街地の一般道路へ移動した際には、対象物の数が増えることから、開眼時間のばらつきは増加する方向に変化する。そこで、対象物の数の変化がない場合とある場合とで、開眼時間ばらつきを得る際の単位時間幅twを変化させる。
【0061】
具体的には、対象物の数の変化がない場合には、単位時間幅twとしては、前の時刻の値を保持する。一方、対象物の数の変化がある場合には、単位時間幅twは下記式より得られる。
【数2】
但し、計算により得られた単位時間幅twが初期値よりも小さくなるときは、単位時間幅twを初期値とする。
【0062】
続いて、手順S74で設定された単位時間幅twのデータをメイン処理部7に出力する(手順S75)。これにより、メイン処理部7の上記手順S54では、手順S74で設定された単位時間幅tw内において開眼時間ばらつき(開眼時間SD)を計算することとなる。
【0063】
このように車外環境中に存在する対象物の数が変化したときは、それに応じて単位時間幅twを変化させるので、対象物数の変化状況に応じた適切な開眼時間ばらつきが得られるようになる。これにより、車外環境の変化の有無にかかわらず、ドライバのぼんやり状態を精度良く検知することができる。
【0064】
なお、上記処理では、車外環境の変動時には、単位時間幅twを対象物の総数に応じて変更するようにしたが、ドライバは運転環境の変化に適応することから、単位時間幅twを変更してから一定時間(例えば3〜5分程度)経過した後に、単位時間幅twを初期値に戻しても良い。
【0065】
図16は、眠気発生予想時刻キャンセル処理部10の処理手順を示すフローチャートである。同図において、まず図17に示すように、上述したメイン処理部7の手順S55(図2参照)により得られたぼんやり状態検知結果(ぼんやり検知フラグ)を時刻t毎にぼんやり状態検知結果格納バッファに保持する(手順S81)。
【0066】
続いて、所定時間幅におけるぼんやり状態の占める割合が所定値よりも小さいかどうかを判定することで、メイン処理部7の手順S57(図2参照)により得られた眠気発生予想時刻をクリアするかどうかを判断する(手順S82)。
【0067】
具体的には、まず手順S56(図2参照)により現在ドライバに眠気発生予測が出ているかどうかを判断し、眠気発生予測が出ているときは、現在時刻を起点とした過去数分間(例えば10分前後)の区間において、以下のデータを取得する。
変数a:ぼんやり検知フラグのデータ数
変数b:変数aの中で、ぼんやり検知フラグの値が1であるデータ数
【0068】
そして、b/aの値が眠気発生予想時刻クリア閾値THCよりも小さい(b/a<THC)ときは、ドライバの眠気発生はなくなったと判断し、上記手順S57により得られた眠気発生予想時刻をクリアする。一方、b/aの値が眠気発生予想時刻クリア閾値THC以上である(b/a≧THC)ときは、上記手順S57により得られた眠気発生予想時刻を保持する。なお、眠気発生予想時刻クリア閾値THCの値は、例えば0.1程度である。
【0069】
手順S82で眠気発生予想時刻をクリアすると判断されたときは、その旨をメイン処理部7に指示する(手順S83)。これにより、メイン処理部7の上記手順S57では、推定された眠気発生予想時刻をクリア(キャンセル)することとなる。
【0070】
このように所定時間幅におけるぼんやり状態の占める割合が所定値よりも小さいときは、上記手順S57により得られた眠気発生予想時刻をキャンセルするので、例えば飲食物の取得等といった行動やそれに伴う体調変化、或いは車外環境の変化等によってドライバの眠気が解消したにもかかわらず、ドライバが眠くなるものと誤予想してしまうことが防止される。
【0071】
図18は、眠気発生予想時刻補正処理部11の処理手順を示すフローチャートである。同図において、まず生体信号計測器4の計測データを取得する(手順S91)。続いて、計測データに基づいて、眠気発生予想時刻の補正の判断に用いる生体特徴量を導出する(手順S92)。
【0072】
この生体特徴量導出処理手順の詳細を図19に示す。ここでは、生体特徴量として、図20に示すような心電図計の生データ(心拍データ)に基づいて心拍特徴量を導出することとする。
【0073】
同図において、まず心電図計の生データに対してバンドパスフィルタ(BPF)処理を施し、所定の通過帯域(例えば0.1Hz〜30Hz程度)の成分を取り出す(手順S101)。
【0074】
続いて、図20に示すように、BPF処理が施された心拍データの波形を予め設定された閾値と比較することで2値化する(手順S102)。このとき、心拍データの波形のうち各R波部分が最大値となるタイミングで1となるように2値化を行う(図20中の拡大図参照)。
【0075】
続いて、図21(A)に示すように、2値化データにおいて「1」となる各タイミングの区間幅(時間間隔)tを求め、各区間幅tを縦軸としたグラフを生成する(手順S103)。このとき、区間幅tが運転者の心拍周期に相当する。
【0076】
続いて、図21(B)に示すように、上記心拍周期のグラフを補間して心拍周期の曲線(破線参照)を求め、心拍周期の時系列データを得る(手順S104)。このとき、心拍周期の時系列データの縦軸単位を例えば1分当たりの心拍数(拍動回数)に変換しても良い。
【0077】
続いて、心拍周期の時系列データについて、図22に示すように、基準時間T(任意のタイムスタンプ)前の解析単位区間幅Ttermに対して高速フーリエ変換(FFT)を施し、周波数成分に対するパワー(振幅)スペクトルを得る(手順S105)。
【0078】
続いて、図23に示すように、高速フーリエ変換によって解析単位区間幅Tterm毎に得られたパワースペクトルに対して、2つの周波数帯帯域(低周波成分及び高周波成分)を設定する(手順S106)。このとき、低周波成分の帯域は例えば0.1Hz付近であり、高周波成分の帯域は例えば0.3Hz付近である。そして、各周波数帯帯域毎に振幅スペクトルを積分する(手順S107)。
【0079】
そして、上記の高速フーリエ変換処理、周波数帯帯域の設定処理及び積分処理を繰り返し行うことにより、図24に示すように、各周波数帯帯域毎の振幅スペクトルパワーの時系列データが得られる(手順S108)。この振幅スペクトルパワーの時系列データが心拍ゆらぎの時系列データである。なお、図24は心拍ゆらぎ低周波成分値を示している。
【0080】
図18に戻り、上記の手順S92を実行した後、図25に示すように、得られた生体特徴量(ここでは心拍ゆらぎ低周波成分値)を時刻t毎に生体特徴量格納バッファに保持する(手順S93)。
【0081】
続いて、図26に示すように、生体特徴量(心拍ゆらぎ低周波成分値)の大きさを心拍ゆらぎ低周波成分値閾値THHと比較することで、上述したメイン処理部7の手順S57により得られた眠気発生予想時刻を補正するかどうかを判断する(手順S94)。具体的には、心拍ゆらぎ低周波成分値が心拍ゆらぎ低周波成分値閾値THHより大きくなったときに、眠気発生予想時刻を補正すると判断される。図26では、時刻Xにおける心拍ゆらぎ低周波成分値が眠気発生予想時刻補正のきっかけとなっている。
【0082】
このとき、心拍ゆらぎ低周波成分値閾値THHは、運転開始から数分間(例えば3〜5分間)の心拍ゆらぎ低周波成分に基づき、下記式により設定される。
THH=MeanHRV+(N×SdHRV)
MeanHRV:心拍ゆらぎ低周波成分値の平均値
SdHRV:心拍ゆらぎ低周波成分値の標準偏差値
N:任意定数(3前後に設定)
【0083】
また、ドライバが車両に乗り込んだ直後、数分間の安静時間(例えば3〜5分間)を設け、その時間の心拍ゆらぎ低周波成分に基づき、上記式により心拍ゆらぎ低周波成分値閾値THHを設定しても良い。
【0084】
手順S94で眠気発生予想時刻を補正すると判断されたときは、その旨をメイン処理部7に指示する(手順S95)。これにより、メイン処理部7の手順S57では、先に推定した眠気発生予想時刻を補正することとなる。従って、例えば図26に示すように、補正前に比べて、眠気発生予想時刻補正のきっかけとなる時刻Xから眠気発生予想直線の傾きが急になり(P参照)、結果的に眠気発生予想時刻が早まるようになる。
【0085】
このように運転中のドライバの生体特徴量(心拍ゆらぎ低周波成分値)に応じて眠気発生予想時刻が変更されるため、ドライバの体調に応じた眠気発生予想時刻を得ることができる。
【0086】
以上において、ECU5のメイン処理部7の手順S54は、ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段を構成する。同手順S55は、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきに基づいて、ドライバのぼんやり状態を検知するぼんやり状態検知手段を構成する。顔撮像カメラ2、車外撮像カメラ3、ECU5の第1開眼時間ばらつき計算用データ設定処理部8及び第2開眼時間ばらつき計算用データ設定処理部9は、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための条件を設定する計算条件設定手段を構成する。
【0087】
このとき、顔撮像カメラ2と第1開眼時間ばらつき計算用データ設定処理部8の手順S61,S62は、ドライバの眼に対する外乱入力を検出する外乱検出手段を構成する。車外撮像カメラ3と第2開眼時間ばらつき計算用データ設定処理部9の手順S71,S72は、車外環境の変化を検出する車外環境検出手段を構成する。
【0088】
また、ECU5のメイン処理部7の手順S56は、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきとぼんやり状態検知手段により検知したドライバのぼんやり状態とに基づいて、ドライバに眠気が発生する可能性があるかどうかを判定する眠気判定手段を構成する。同手順S57は、眠気判定手段によりドライバに眠気が発生する可能性があると判定されたときに、ドライバの眠気発生時刻を予測する眠気発生時刻予測手段を構成する。
【0089】
ECU5の眠気発生予想時刻キャンセル処理部10は、ぼんやり状態検知手段により検知したドライバのぼんやり状態に基づいて、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いかどうかを判断し、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いと判断されたときに、眠気発生時刻予測手段により予測したドライバの眠気発生時刻をキャンセルする予測キャンセル手段を構成する。
【0090】
生体信号計測器4とECU5の眠気発生予想時刻補正処理部11の手順S91,S92は、ドライバの生体特徴量を検出する特徴量検出手段を構成する。眠気発生予想時刻補正処理部11の手順S93〜S95は、ドライバの生体特徴量に基づいて、眠気発生時刻予測手段により予測したドライバの眠気発生時刻を補正する眠気発生時刻補正手段を構成する。
【0091】
以上のように本実施形態によれば、ドライバの眼に対する外乱入力の有無や車外環境の変化の有無に応じて単位時間幅twを変更し、その単位時間幅tw内において開眼時間ばらつきを求めるので、ドライバのぼんやり状態の判定精度を向上させることができる。これにより、ドライバの生体状態を高精度に判別することが可能となる。
【0092】
また、ドライバの眠気発生予想時刻が推定された後、所定時間幅におけるぼんやり状態の占める割合が所定値よりも小さくなったときは、推定した眠気発生予想時刻をキャンセルするので、ドライバが眠くならないにもかかわらず眠くなるものと誤予想されることを防止できる。
【0093】
さらに、ドライバの生体特徴量に基づいてドライバの眠気発生予想時刻を補正するかどうかを判断するので、ドライバの体調に応じた適切な眠気発生予想時刻を取得することができる。
【符号の説明】
【0094】
1…生体状態判定装置、2…顔撮像カメラ(計算条件設定手段、外乱入力検出手段)、3…車外撮像カメラ(計算条件設定手段、車外環境検出手段)、4…生体信号計測器(特徴量検出手段)、5…ECU、7…メイン処理部(開眼時間ばらつき計算手段、ぼんやり状態検知手段、眠気判定手段、眠気発生時刻予測手段)、8…第1開眼時間ばらつき計算用データ設定処理部(計算条件設定手段、外乱入力検出手段)、9…第2開眼時間ばらつき計算用データ設定処理部(計算条件設定手段、車外環境検出手段)、10…眠気発生予想時刻キャンセル処理部(予測キャンセル手段)、11…眠気発生予想時刻補正処理部(特徴量検出手段、眠気発生時刻補正手段)。
【技術分野】
【0001】
本発明は、ドライバの生体状態を判定する生体状態判定装置に関するものである。
【背景技術】
【0002】
従来の生体状態判定装置としては、例えば特許文献1に記載されているものが知られている。特許文献1に記載の生体状態判定装置は、覚醒度を反映する閉眼時間割合等の運転者情報と、注意集中度を反映する頭部振動伝達率等の運転者情報とを検出し、各運転者情報の運転者個人の平均値及び標準偏差を演算し、この平均値及び標準偏差と車両・運転環境情報とに基づいて、運転者の居眠り状態、居眠り葛藤状態、集中状態、漫然状態を判定するものである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−265377号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来技術においては、ぼんやり状態のような不明確な生体状態を判定するのは困難である。しかも、ドライバが直射日光やエアコン風等の外乱を眼に受けたり、他車両や建築物等の種類及び数といった車外環境が変化すると、ぼんやり状態の誤判定が生じやすくなる。
【0005】
本発明の目的は、ドライバのぼんやり状態の判定精度を向上させることができる生体状態判定装置を提供することである。
【課題を解決するための手段】
【0006】
本発明は、ドライバの開眼時間に基づいてドライバの生体状態を判定する生体状態判定装置において、ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきに基づいて、ドライバのぼんやり状態を検知するぼんやり状態検知手段と、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための条件を設定する計算条件設定手段とを備えることを特徴とするものである。
【0007】
このように本発明の生体状態判定装置においては、ドライバの開眼時間のばらつきを求め、その開眼時間のばらつきに基づいてドライバのぼんやり状態を検知する。このとき、ドライバの運転状況(例えばドライバの眼への外乱入力や車外環境の変化の有無等)に応じて、開眼時間のばらつきを求めるための条件を設定し、その条件に従って開眼時間のばらつきを求めるようにする。従って、ドライバの運転状況に応じた適切な開眼時間ばらつきが得られる。これにより、ドライバのぼんやり状態を高精度に判定することができる。
【0008】
好ましくは、計算条件設定手段は、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための時間幅を設定する手段であり、開眼時間ばらつき計算手段は、時間幅内においてドライバの開眼時間のばらつきを求める。
【0009】
一般にドライバの運転状況によってドライバの開眼時間のばらつきが変わってくる。従って、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための時間幅を設定することで、開眼時間のばらつきの大きさを補正し、ドライバのぼんやり状態の判定精度を確実に高めることができる。
【0010】
このとき、好ましくは、計算条件設定手段は、ドライバの眼に対する外乱入力を検出する外乱検出手段を有し、外乱検出手段によりドライバの眼に対する外乱入力が検出されたときに、時間幅を変更する。
【0011】
直射日光やエアコン風等の外乱がドライバの眼に入力されると、眼が幻惑もしくは乾くことで均一方向に変化することから、開眼時間のばらつきが減少する。従って、この場合には開眼時間のばらつきを求めるための時間幅を長くすることにより、適切な開眼時間ばらつきを得ることができる。
【0012】
また、好ましくは、計算条件設定手段は、車外環境の変化を検出する車外環境検出手段を有し、車外環境検出手段により車外環境の変化が検出されたときに、時間幅を変更する。
【0013】
例えば自車両が高速道路から市街地の一般道路へ移動した際には、他車両及び建築物の数や種類が増えることから、開眼時間のばらつきが増加する。従って、この場合には開眼時間のばらつきを求めるための時間幅を短くすることにより、適切な開眼時間ばらつきを得ることができる。
【0014】
さらに、好ましくは、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきとぼんやり状態検知手段により検知したドライバのぼんやり状態とに基づいて、ドライバに眠気が発生する可能性があるかどうかを判定する眠気判定手段と、眠気判定手段によりドライバに眠気が発生する可能性があると判定されたときに、ドライバの眠気発生時刻を予測する眠気発生時刻予測手段とを更に備える。
【0015】
この場合には、ドライバに眠気が発生する可能性がある旨やドライバの眠気発生予想時刻を音声や画面表示等で報知することで、ドライバに対して注意を促すことができる。
【0016】
このとき、好ましくは、ぼんやり状態検知手段により検知したドライバのぼんやり状態に基づいて、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いかどうかを判断し、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いと判断されたときに、眠気発生時刻予測手段により予測したドライバの眠気発生時刻をキャンセルする予測キャンセル手段を更に備える。
【0017】
ぼんやり状態にあるドライバに生じている眠気は、例えば飲食や車外環境の変化等により解消することがある。従って、ドライバに眠気が発生する可能性があると判定されていても、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いと判断されたときは、眠気発生時刻の予測をキャンセルする。これにより、ドライバが眠くならないにも係わらず眠気発生時刻が予測されてしまうといった不具合を防止することができる。
【0018】
また、好ましくは、ドライバの生体特徴量を検出する特徴量検出手段と、ドライバの生体特徴量に基づいて、眠気発生時刻予測手段により予測したドライバの眠気発生時刻を補正する眠気発生時刻補正手段とを更に備える。
【0019】
ドライバに眠気が発生する可能性がある時のドライバの眠気発生予想時刻は、運転中のドライバの状態変化により早まったり遅くなったりする。従って、ドライバの生体特徴量(例えば心拍特徴量)に基づいて、予測されたドライバの眠気発生時刻を補正することにより、ドライバの体調に応じた適切な眠気発生時刻を得ることができる。
【発明の効果】
【0020】
本発明によれば、ドライバのぼんやり状態の判定精度を向上させることができる。これにより、ドライバの生体状態をより詳細に判別することが可能となる。
【図面の簡単な説明】
【0021】
【図1】本発明に係わる生体状態判定装置の一実施形態の概略構成を示すブロック図である。
【図2】図1に示したメイン処理部により実行される処理手順を示すフローチャートである。
【図3】単位時間幅内における開眼時間のばらつきの一例を示す図である。
【図4】開眼時間格納バッファの一例を示す表である。
【図5】ぼんやり状態を検知する手法の一例を示すグラフである。
【図6】眠気発生の可能性を判定する手法の一例を示すグラフである。
【図7】眠気発生予想時刻を推定する手法の一例を示すグラフである。
【図8】図1に示した第1開眼時間ばらつき計算用データ設定処理部により実行される処理手順を示すフローチャートである。
【図9】太陽の直射日光がドライバの顔に当たっている状態を示す側面図である。
【図10】ドライバの顔への直射日光の照射イメージを示す図である。
【図11】外乱入力検出結果格納バッファの一例を示す表である。
【図12】図1に示した第2開眼時間ばらつき計算用データ設定処理部により実行される処理手順を示すフローチャートである。
【図13】車外環境を撮影する状態を示す側面図である。
【図14】車外環境の画像データを画像処理する様子を示す図である。
【図15】車外環境検出結果格納バッファの一例を示す表である。
【図16】図1に示した眠気発生予想時刻キャンセル処理部により実行される処理手順を示すフローチャートである。
【図17】ぼんやり状態検知結果格納バッファの一例を示す表である。
【図18】図1に示した眠気発生予想時刻補正処理部により実行される処理手順を示すフローチャートである。
【図19】図18に示した生体特徴量の導出処理手順の詳細を示すフローチャートである。
【図20】図1に示した生体信号計測器の出力波形及び2値化波形の一例を示す波形図である。
【図21】2値化波形の区間幅及び周期時系列の一例を示す波形図である。
【図22】心拍数の周期時系列に対してFFT処理して得られた波形の一例を示す波形図である。
【図23】FFT処理して得られた波形に対して2つの周波数帯帯域を設定した状態を示す波形図である。
【図24】心拍ゆらぎの周期時系列の一例を示す波形図である。
【図25】生体特徴量格納バッファの一例を示すグラフである。
【図26】眠気発生予想時刻を補正する様子を示すグラフである。
【発明を実施するための形態】
【0022】
以下、本発明に係わる生体状態判定装置の好適な実施形態について、図面を参照して詳細に説明する。
【0023】
図1は、本発明に係わる生体状態判定装置の一実施形態の概略構成を示すブロック図である。本実施形態の生体状態判定装置1は、車両に搭載され、車両のドライバの生体状態を判定する装置である。
【0024】
生体状態判定装置1は、顔撮像カメラ2と、車外撮像カメラ3と、生体信号計測器4と、ECU(Electronic Control Unit)5と、出力器6とを備えている。顔撮像カメラ2は、ドライバの顔を撮像し、顔画像を生成する。車外撮像カメラ3は、車両の外側(ここでは前方)を撮像し、車外画像を生成する。
【0025】
生体信号計測器4は、ドライバの生体信号を計測する機器である。生体信号としては、心拍、呼吸、脳波、皮膚電位、顔表情、体のしぐさ、車両機器の操作等が挙げられる。生体信号計測器4としては、心電計、呼吸計、脳波計、皮膚電位計、カメラ、圧力センサ等が用いられる。出力器6としては、音声出力を発生させる機器や、画面表示を行う機器が用いられる。
【0026】
ECU5は、CPU、ROMやRAM等のメモリ、入出力回路等により構成されている。ECU5は、メイン処理部7と、第1開眼時間ばらつき計算用データ設定処理部8と、第2開眼時間ばらつき計算用データ設定処理部9と、眠気発生予想時刻キャンセル処理部10と、眠気発生予想時刻補正処理部11とを有している。
【0027】
メイン処理部7は、顔撮像カメラ2の撮像画像を入力し、所定の処理を行い、ドライバの生体状態(通常状態、ぼんやり状態、眠気発生状態)を判定し、その判定結果を出力器6に送出する。
【0028】
第1開眼時間ばらつき計算用データ設定処理部8は、顔撮像カメラ2の撮像画像を入力し、所定の処理を行い、メイン処理部7により開眼時間ばらつき(後述)を計算するための単位時間幅を設定する。
【0029】
第2開眼時間ばらつき計算用データ設定処理部9は、車外撮像カメラ3の撮像画像を入力し、所定の処理を行い、メイン処理部7により開眼時間ばらつきを計算するための単位時間幅を設定する。
【0030】
眠気発生予想時刻キャンセル処理部10は、メイン処理部7によるぼんやり状態の検知結果を入力し、所定の処理を行い、必要に応じて、メイン処理部7により推定された眠気発生予想時刻(後述)をキャンセルする。
【0031】
眠気発生予想時刻補正処理部11は、生体信号計測器4の計測値を入力し、所定の処理を行い、必要に応じて、メイン処理部7により推定された眠気発生予想時刻を補正する。
【0032】
図2は、メイン処理部7により実行される処理手順を示すフローチャートである。同図において、まず顔撮像カメラ2の顔画像データを取得する(手順S51)。そして、図3に示すように、顔画像データから瞼の開閉を判断し、眼が開いている時間(開眼時間)を検出する(手順S52)。なお、図3において、tonはn回目の開眼時間であり、tsnはn回目の開眼の開始時刻であり、tenはn回目の開眼の終了時刻である。
【0033】
続いて、図4に示すように、開眼時間データ(開始時刻tsn、終了時刻ten、開眼時間ton)を開眼時間格納バッファに保持する(手順S53)。ここで、バッファのサイズ要件としては、ten−ts1>twを満足している。なお、tw(図3参照)は、開眼時間のばらつき(後述)を定量化する際の単位時間幅である。
【0034】
続いて、複数の開眼時間のばらつきを統計量として計算する(手順S54)。ここでは、統計量として標準偏差を求める。このとき、単位時間幅tw内の開眼時間データを取得し、開眼時間標準偏差(以下、開眼時間SDと略す)を以下のようにして算出する。
単位時間幅tw内に含まれる開眼時間={to1,to2,to3,…ton}
【数1】
【0035】
続いて、図5に示すように、開眼時間SDとぼんやり状態検知用の閾値TH1とを比較することで、ドライバのぼんやり状態を検知する(手順S55)。このとき、時刻tでの開眼時間SDの値SD(t)が閾値TH1以上(SD(t)≧TH1)であるときは、ぼんやり検知フラグがONとなり、SD(t)<TH1であるときは、ぼんやり検知フラグがOFFとなる。
【0036】
閾値TH1の設定法としては、以下の方法が挙げられる。即ち、下記式の通り、運転開始から任意時刻tnまでのSD(t)の統計量から閾値TH1を設定する。
TH1=MEAN_SD+N×STDEV_SD
MEAN_SD:運転開始から任意時刻tnまでのSD(t)の平均値
N:係数(例えば3)
STDEV_SD:運転開始から任意時刻tnまでのSD(t)の標準偏差
【0037】
このとき、係数Nの値を、ドライバの着用物によって変えても良い。例えばドライバがメガネを着用している場合には、裸眼の場合に比べて、ぼんやりしていなくても目が疲れやすい傾向にあるため、開眼時間SDが大きくなることがある。従って、このような場合には、係数Nを大きくする(例えばN=5)とすることで、誤検知しにくくする。
【0038】
また、ドライバの名前と閾値TH1の値とを対応づけてデータベースとして保管しておき、運転開始時にデータベースを参照して閾値TH1を設定しても良い。この場合、例えばドライバが初めて本装置を使った時のデータを閾値TH1として保持しておく必要がある。
【0039】
続いて、図6に示すように、ぼんやり検知フラグ及び開眼時間SDに基づき、直線あてはめ手法を用いて将来におけるドライバの眠気発生の可能性を判定する(手順S56)。
【0040】
具体的には、ぼんやり検知フラグがOFFからONになる時刻を、直線あてはめ区間の先頭時間tsに設定する。次いで、時刻tsから直線あてはめ区間幅LWだけ経過した時刻を直線あてはめ区間の末尾時間teに設定する。次いで、時刻ts〜teの区間の開眼時間SDデータに対し、直線近似式を取得する。近似方法の一例としては、最小自乗法がある。直線近似式SDは、以下の通りである。
SD=At+B
【0041】
そして、上記式の傾きAが0より小さいかどうか(A<0)を判断し、A<0を満たすときは、眠気発生の可能性があるものとする。ここで、時刻teは、開眼時間SDデータの取得が完了する時刻であるため、眠気発生の可能性の判定を行う時刻でもある。
【0042】
なお、直線あてはめ区間幅LWは、例えば3分に設定される。その理由としては、睡眠潜時(寝入るまでの時間)が短い人(睡眠障害の患者)でも最短3分程度であることによる。これにより、健常者を含むどのドライバについても、眠気発生の可能性を素早く判定することができる。
【0043】
続いて、図7に示すように、眠気発生可能性の判定結果と直線近似式SDとを用いて、将来のドライバの眠気発生予想時刻を推定する(手順S57)。具体的には、まず直線近似式SDを延長した線(眠気発生予想直線)と眠気発生状態検知用の閾値TH2との交点となる時刻tdを計算する。その時刻tdが眠気発生予想時刻と推定される。また、時刻teは眠気発生予想時刻の推定処理を行う時刻となるため、時刻tdと時刻teとの時間差(眠気発生予想時刻までの所要時間)を計算する。
【0044】
続いて、手順S55〜S57の処理結果として、ドライバがぼんやり状態であるか否か、ドライバに眠気発生の可能性があるか否か、ドライバに眠気が発生するまでの所要時間等を、出力器6に送出してドライバに伝える(手順S58)。
【0045】
図8は、第1開眼時間ばらつき計算用データ設定処理部8の処理手順を示すフローチャートである。同図において、まず顔撮像カメラ2の顔画像データを取得する(手順S61)。
【0046】
続いて、顔画像データに基づいてドライバの眼への外乱入力を検出する(手順S62)。外乱としては、直射日光やエアコン風等があるが、ドライバの瞬き動作を阻害するものであれば種類は問わない。以下では、図9に示すように、ドライバDの顔に直射日光が当たった場合を例にとって説明する。
【0047】
ドライバDの顔に直射日光が当たると、ドライバDの顔表面の明るさ(輝度)分布は、例えば図10に示すような状態となる。ここで、顔表面には、眼周辺の領域Aと眼から離れた領域Bとが定められている。なお、領域A,Bの位置は、眼への直射日光入力があることを他の顔部位との比較から検出可能な部位であれば良い。
【0048】
顔撮像カメラ2の顔画像データから、領域A,Bの輝度L1,L2が得られる。このとき、輝度値L1と輝度値L2との差が閾値TH以上(L1−L2>TH)である場合は、ドライバの眼に直射日光が当たっていると判断する。閾値THの値としては、輝度値L1,L2が日光量、車両の窓ガラスの光透過度、ドライバの皮膚色等の影響で変わることから、眼への直射日光入力が検出可能なレベルであれば良い。
【0049】
尚ここでは、顔撮像カメラ2によってドライバの顔への直射日光入力を検出するようにしたが、直射日光やエアコン風等の外乱入力を検出する手段としては、画像カメラの他に、風力計や温度計を使用しても良い。
【0050】
続いて、図11に示すように、外乱入力検出結果を時刻t毎に外乱入力検出結果格納バッファに保持する(手順S63)。このとき、外乱入力がないときは0を登録し、外乱入力があるときは1を登録する。
【0051】
続いて、上述したメイン処理部7の手順S54(図2参照)により開眼時間のばらつきを計算する際に用いる単位時間幅twを設定する(手順S64)。例えば直射日光入射時には、ドライバの眼が幻惑もしくは乾くことで開眼時間が均一方向に変化し、結果として開眼時間ばらつきの減少が起こる。そこで、外乱入力がない場合とある場合とで、開眼時間ばらつきを得る際の単位時間幅twを変化させる。
【0052】
具体的には、外乱入力がない場合には、単位時間幅twを予め設定された初期値とする。外乱入力がある場合には、単位時間幅twを初期値と外乱入力継続時間との合計値(初期値+外乱入力継続時間)とする。
【0053】
外乱入力継続時間は、現在時刻と外乱入力検出結果格納バッファの値とから以下の方法で得られる。即ち、まず現在時刻において、外乱入力検出結果格納バッファの外乱入力項目が1(外乱入力あり)か否かを判断する。外乱入力ありのときは、現在時刻を基準にして、外乱入力検出結果格納バッファの外乱入力項目が連続して1である区間の時間長(外乱入力継続時間)を得る。例えば図11において、現在時刻がtnであり、外乱入力項目が1である区間が時刻t3〜tnである場合は、外乱入力継続時間はtn−t3となる。
【0054】
続いて、手順S64で設定された単位時間幅twのデータをメイン処理部7に出力する(手順S65)。これにより、メイン処理部7の上記手順S54では、手順S64で設定された単位時間幅tw内において開眼時間ばらつき(開眼時間SD)を計算することとなる。
【0055】
このようにドライバの眼に対して直射日光等の外乱が入力されたときは、外乱入力継続時間分だけ単位時間幅twを長くするので、ドライバに対する外乱入力状況に応じた適切な開眼時間ばらつきが得られるようになる。これにより、ドライバに対する外乱入力の有無にかかわらず、ドライバのぼんやり状態を精度良く検知することができる。
【0056】
なお、上記処理では、外乱入力時に単位時間幅twを外乱入力継続時間分だけ長くするようにしたが、現在時刻に外乱入力がある場合には、開眼時間ばらつきの計算をキャンセルするようにしても良い。例えば図11において現在時刻がtnである場合には、時刻tnでの開眼時間ばらつきとしては、時刻t2で得られた開眼時間ばらつきの値が適用されるようになる。
【0057】
図12は、第2開眼時間ばらつき計算用データ設定処理部9の処理手順を示すフローチャートである。同図において、まず図13に示すように設置された車外撮像カメラ3により生成された車外画像データを取得する(手順S71)。
【0058】
続いて、車外画像データに基づいて、車外環境として車外に存在する対象物を検出する(手順S72)。具体的には、図14に示すように、まず車外画像データ(A参照)を輝度差や色等に基づき領域分割し(B参照)、領域の属性(対象物の種類)を同定する(C参照)。そして、車外撮像カメラ3により撮影した時刻における車外環境中の対象物の構成(種類や数)を出力する(D参照)。
【0059】
続いて、図15に示すように、対象物検出結果を時刻t毎に車外環境検出結果格納バッファに保持する(手順S73)。ここでは、対象物の総数を登録する。
【0060】
続いて、上述したメイン処理部7の手順S54(図2参照)により開眼時間のばらつきを計算する際に用いる単位時間幅twを設定する(手順S74)。例えば高速道路から市街地の一般道路へ移動した際には、対象物の数が増えることから、開眼時間のばらつきは増加する方向に変化する。そこで、対象物の数の変化がない場合とある場合とで、開眼時間ばらつきを得る際の単位時間幅twを変化させる。
【0061】
具体的には、対象物の数の変化がない場合には、単位時間幅twとしては、前の時刻の値を保持する。一方、対象物の数の変化がある場合には、単位時間幅twは下記式より得られる。
【数2】
但し、計算により得られた単位時間幅twが初期値よりも小さくなるときは、単位時間幅twを初期値とする。
【0062】
続いて、手順S74で設定された単位時間幅twのデータをメイン処理部7に出力する(手順S75)。これにより、メイン処理部7の上記手順S54では、手順S74で設定された単位時間幅tw内において開眼時間ばらつき(開眼時間SD)を計算することとなる。
【0063】
このように車外環境中に存在する対象物の数が変化したときは、それに応じて単位時間幅twを変化させるので、対象物数の変化状況に応じた適切な開眼時間ばらつきが得られるようになる。これにより、車外環境の変化の有無にかかわらず、ドライバのぼんやり状態を精度良く検知することができる。
【0064】
なお、上記処理では、車外環境の変動時には、単位時間幅twを対象物の総数に応じて変更するようにしたが、ドライバは運転環境の変化に適応することから、単位時間幅twを変更してから一定時間(例えば3〜5分程度)経過した後に、単位時間幅twを初期値に戻しても良い。
【0065】
図16は、眠気発生予想時刻キャンセル処理部10の処理手順を示すフローチャートである。同図において、まず図17に示すように、上述したメイン処理部7の手順S55(図2参照)により得られたぼんやり状態検知結果(ぼんやり検知フラグ)を時刻t毎にぼんやり状態検知結果格納バッファに保持する(手順S81)。
【0066】
続いて、所定時間幅におけるぼんやり状態の占める割合が所定値よりも小さいかどうかを判定することで、メイン処理部7の手順S57(図2参照)により得られた眠気発生予想時刻をクリアするかどうかを判断する(手順S82)。
【0067】
具体的には、まず手順S56(図2参照)により現在ドライバに眠気発生予測が出ているかどうかを判断し、眠気発生予測が出ているときは、現在時刻を起点とした過去数分間(例えば10分前後)の区間において、以下のデータを取得する。
変数a:ぼんやり検知フラグのデータ数
変数b:変数aの中で、ぼんやり検知フラグの値が1であるデータ数
【0068】
そして、b/aの値が眠気発生予想時刻クリア閾値THCよりも小さい(b/a<THC)ときは、ドライバの眠気発生はなくなったと判断し、上記手順S57により得られた眠気発生予想時刻をクリアする。一方、b/aの値が眠気発生予想時刻クリア閾値THC以上である(b/a≧THC)ときは、上記手順S57により得られた眠気発生予想時刻を保持する。なお、眠気発生予想時刻クリア閾値THCの値は、例えば0.1程度である。
【0069】
手順S82で眠気発生予想時刻をクリアすると判断されたときは、その旨をメイン処理部7に指示する(手順S83)。これにより、メイン処理部7の上記手順S57では、推定された眠気発生予想時刻をクリア(キャンセル)することとなる。
【0070】
このように所定時間幅におけるぼんやり状態の占める割合が所定値よりも小さいときは、上記手順S57により得られた眠気発生予想時刻をキャンセルするので、例えば飲食物の取得等といった行動やそれに伴う体調変化、或いは車外環境の変化等によってドライバの眠気が解消したにもかかわらず、ドライバが眠くなるものと誤予想してしまうことが防止される。
【0071】
図18は、眠気発生予想時刻補正処理部11の処理手順を示すフローチャートである。同図において、まず生体信号計測器4の計測データを取得する(手順S91)。続いて、計測データに基づいて、眠気発生予想時刻の補正の判断に用いる生体特徴量を導出する(手順S92)。
【0072】
この生体特徴量導出処理手順の詳細を図19に示す。ここでは、生体特徴量として、図20に示すような心電図計の生データ(心拍データ)に基づいて心拍特徴量を導出することとする。
【0073】
同図において、まず心電図計の生データに対してバンドパスフィルタ(BPF)処理を施し、所定の通過帯域(例えば0.1Hz〜30Hz程度)の成分を取り出す(手順S101)。
【0074】
続いて、図20に示すように、BPF処理が施された心拍データの波形を予め設定された閾値と比較することで2値化する(手順S102)。このとき、心拍データの波形のうち各R波部分が最大値となるタイミングで1となるように2値化を行う(図20中の拡大図参照)。
【0075】
続いて、図21(A)に示すように、2値化データにおいて「1」となる各タイミングの区間幅(時間間隔)tを求め、各区間幅tを縦軸としたグラフを生成する(手順S103)。このとき、区間幅tが運転者の心拍周期に相当する。
【0076】
続いて、図21(B)に示すように、上記心拍周期のグラフを補間して心拍周期の曲線(破線参照)を求め、心拍周期の時系列データを得る(手順S104)。このとき、心拍周期の時系列データの縦軸単位を例えば1分当たりの心拍数(拍動回数)に変換しても良い。
【0077】
続いて、心拍周期の時系列データについて、図22に示すように、基準時間T(任意のタイムスタンプ)前の解析単位区間幅Ttermに対して高速フーリエ変換(FFT)を施し、周波数成分に対するパワー(振幅)スペクトルを得る(手順S105)。
【0078】
続いて、図23に示すように、高速フーリエ変換によって解析単位区間幅Tterm毎に得られたパワースペクトルに対して、2つの周波数帯帯域(低周波成分及び高周波成分)を設定する(手順S106)。このとき、低周波成分の帯域は例えば0.1Hz付近であり、高周波成分の帯域は例えば0.3Hz付近である。そして、各周波数帯帯域毎に振幅スペクトルを積分する(手順S107)。
【0079】
そして、上記の高速フーリエ変換処理、周波数帯帯域の設定処理及び積分処理を繰り返し行うことにより、図24に示すように、各周波数帯帯域毎の振幅スペクトルパワーの時系列データが得られる(手順S108)。この振幅スペクトルパワーの時系列データが心拍ゆらぎの時系列データである。なお、図24は心拍ゆらぎ低周波成分値を示している。
【0080】
図18に戻り、上記の手順S92を実行した後、図25に示すように、得られた生体特徴量(ここでは心拍ゆらぎ低周波成分値)を時刻t毎に生体特徴量格納バッファに保持する(手順S93)。
【0081】
続いて、図26に示すように、生体特徴量(心拍ゆらぎ低周波成分値)の大きさを心拍ゆらぎ低周波成分値閾値THHと比較することで、上述したメイン処理部7の手順S57により得られた眠気発生予想時刻を補正するかどうかを判断する(手順S94)。具体的には、心拍ゆらぎ低周波成分値が心拍ゆらぎ低周波成分値閾値THHより大きくなったときに、眠気発生予想時刻を補正すると判断される。図26では、時刻Xにおける心拍ゆらぎ低周波成分値が眠気発生予想時刻補正のきっかけとなっている。
【0082】
このとき、心拍ゆらぎ低周波成分値閾値THHは、運転開始から数分間(例えば3〜5分間)の心拍ゆらぎ低周波成分に基づき、下記式により設定される。
THH=MeanHRV+(N×SdHRV)
MeanHRV:心拍ゆらぎ低周波成分値の平均値
SdHRV:心拍ゆらぎ低周波成分値の標準偏差値
N:任意定数(3前後に設定)
【0083】
また、ドライバが車両に乗り込んだ直後、数分間の安静時間(例えば3〜5分間)を設け、その時間の心拍ゆらぎ低周波成分に基づき、上記式により心拍ゆらぎ低周波成分値閾値THHを設定しても良い。
【0084】
手順S94で眠気発生予想時刻を補正すると判断されたときは、その旨をメイン処理部7に指示する(手順S95)。これにより、メイン処理部7の手順S57では、先に推定した眠気発生予想時刻を補正することとなる。従って、例えば図26に示すように、補正前に比べて、眠気発生予想時刻補正のきっかけとなる時刻Xから眠気発生予想直線の傾きが急になり(P参照)、結果的に眠気発生予想時刻が早まるようになる。
【0085】
このように運転中のドライバの生体特徴量(心拍ゆらぎ低周波成分値)に応じて眠気発生予想時刻が変更されるため、ドライバの体調に応じた眠気発生予想時刻を得ることができる。
【0086】
以上において、ECU5のメイン処理部7の手順S54は、ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段を構成する。同手順S55は、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきに基づいて、ドライバのぼんやり状態を検知するぼんやり状態検知手段を構成する。顔撮像カメラ2、車外撮像カメラ3、ECU5の第1開眼時間ばらつき計算用データ設定処理部8及び第2開眼時間ばらつき計算用データ設定処理部9は、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための条件を設定する計算条件設定手段を構成する。
【0087】
このとき、顔撮像カメラ2と第1開眼時間ばらつき計算用データ設定処理部8の手順S61,S62は、ドライバの眼に対する外乱入力を検出する外乱検出手段を構成する。車外撮像カメラ3と第2開眼時間ばらつき計算用データ設定処理部9の手順S71,S72は、車外環境の変化を検出する車外環境検出手段を構成する。
【0088】
また、ECU5のメイン処理部7の手順S56は、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきとぼんやり状態検知手段により検知したドライバのぼんやり状態とに基づいて、ドライバに眠気が発生する可能性があるかどうかを判定する眠気判定手段を構成する。同手順S57は、眠気判定手段によりドライバに眠気が発生する可能性があると判定されたときに、ドライバの眠気発生時刻を予測する眠気発生時刻予測手段を構成する。
【0089】
ECU5の眠気発生予想時刻キャンセル処理部10は、ぼんやり状態検知手段により検知したドライバのぼんやり状態に基づいて、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いかどうかを判断し、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いと判断されたときに、眠気発生時刻予測手段により予測したドライバの眠気発生時刻をキャンセルする予測キャンセル手段を構成する。
【0090】
生体信号計測器4とECU5の眠気発生予想時刻補正処理部11の手順S91,S92は、ドライバの生体特徴量を検出する特徴量検出手段を構成する。眠気発生予想時刻補正処理部11の手順S93〜S95は、ドライバの生体特徴量に基づいて、眠気発生時刻予測手段により予測したドライバの眠気発生時刻を補正する眠気発生時刻補正手段を構成する。
【0091】
以上のように本実施形態によれば、ドライバの眼に対する外乱入力の有無や車外環境の変化の有無に応じて単位時間幅twを変更し、その単位時間幅tw内において開眼時間ばらつきを求めるので、ドライバのぼんやり状態の判定精度を向上させることができる。これにより、ドライバの生体状態を高精度に判別することが可能となる。
【0092】
また、ドライバの眠気発生予想時刻が推定された後、所定時間幅におけるぼんやり状態の占める割合が所定値よりも小さくなったときは、推定した眠気発生予想時刻をキャンセルするので、ドライバが眠くならないにもかかわらず眠くなるものと誤予想されることを防止できる。
【0093】
さらに、ドライバの生体特徴量に基づいてドライバの眠気発生予想時刻を補正するかどうかを判断するので、ドライバの体調に応じた適切な眠気発生予想時刻を取得することができる。
【符号の説明】
【0094】
1…生体状態判定装置、2…顔撮像カメラ(計算条件設定手段、外乱入力検出手段)、3…車外撮像カメラ(計算条件設定手段、車外環境検出手段)、4…生体信号計測器(特徴量検出手段)、5…ECU、7…メイン処理部(開眼時間ばらつき計算手段、ぼんやり状態検知手段、眠気判定手段、眠気発生時刻予測手段)、8…第1開眼時間ばらつき計算用データ設定処理部(計算条件設定手段、外乱入力検出手段)、9…第2開眼時間ばらつき計算用データ設定処理部(計算条件設定手段、車外環境検出手段)、10…眠気発生予想時刻キャンセル処理部(予測キャンセル手段)、11…眠気発生予想時刻補正処理部(特徴量検出手段、眠気発生時刻補正手段)。
【特許請求の範囲】
【請求項1】
ドライバの開眼時間に基づいて前記ドライバの生体状態を判定する生体状態判定装置において、
前記ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、
前記開眼時間ばらつき計算手段により求めた前記ドライバの開眼時間のばらつきに基づいて、前記ドライバのぼんやり状態を検知するぼんやり状態検知手段と、
前記ドライバの運転状況に応じて、前記ドライバの開眼時間のばらつきを求めるための条件を設定する計算条件設定手段とを備えることを特徴とする生体状態判定装置。
【請求項2】
前記計算条件設定手段は、前記ドライバの運転状況に応じて、前記ドライバの開眼時間のばらつきを求めるための時間幅を設定する手段であり、
前記開眼時間ばらつき計算手段は、前記時間幅内において前記ドライバの開眼時間のばらつきを求めることを特徴とする請求項1記載の生体状態判定装置。
【請求項3】
前記計算条件設定手段は、前記ドライバの眼に対する外乱入力を検出する外乱検出手段を有し、前記外乱検出手段により前記ドライバの眼に対する外乱入力が検出されたときに、前記時間幅を変更することを特徴とする請求項2記載の生体状態判定装置。
【請求項4】
前記計算条件設定手段は、車外環境の変化を検出する車外環境検出手段を有し、前記車外環境検出手段により前記車外環境の変化が検出されたときに、前記時間幅を変更することを特徴とする請求項2記載の生体状態判定装置。
【請求項5】
前記開眼時間ばらつき計算手段により求めた前記ドライバの開眼時間のばらつきと前記ぼんやり状態検知手段により検知した前記ドライバのぼんやり状態とに基づいて、前記ドライバに眠気が発生する可能性があるかどうかを判定する眠気判定手段と、
前記眠気判定手段により前記ドライバに眠気が発生する可能性があると判定されたときに、前記ドライバの眠気発生時刻を予測する眠気発生時刻予測手段とを更に備えることを特徴とする請求項1〜4のいずれか一項記載の生体状態判定装置。
【請求項6】
前記ぼんやり状態検知手段により検知した前記ドライバのぼんやり状態に基づいて、所定時間内における前記ドライバのぼんやり状態の占める割合が所定値よりも低いかどうかを判断し、前記所定時間内における前記ドライバのぼんやり状態の占める割合が前記所定値よりも低いと判断されたときに、前記眠気発生時刻予測手段により予測した前記ドライバの眠気発生時刻をキャンセルする予測キャンセル手段を更に備えることを特徴とする請求項5記載の生体状態判定装置。
【請求項7】
前記ドライバの生体特徴量を検出する特徴量検出手段と、
前記ドライバの生体特徴量に基づいて、前記眠気発生時刻予測手段により予測した前記ドライバの眠気発生時刻を補正する眠気発生時刻補正手段とを更に備えることを特徴とする請求項5記載の生体状態判定装置。
【請求項1】
ドライバの開眼時間に基づいて前記ドライバの生体状態を判定する生体状態判定装置において、
前記ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、
前記開眼時間ばらつき計算手段により求めた前記ドライバの開眼時間のばらつきに基づいて、前記ドライバのぼんやり状態を検知するぼんやり状態検知手段と、
前記ドライバの運転状況に応じて、前記ドライバの開眼時間のばらつきを求めるための条件を設定する計算条件設定手段とを備えることを特徴とする生体状態判定装置。
【請求項2】
前記計算条件設定手段は、前記ドライバの運転状況に応じて、前記ドライバの開眼時間のばらつきを求めるための時間幅を設定する手段であり、
前記開眼時間ばらつき計算手段は、前記時間幅内において前記ドライバの開眼時間のばらつきを求めることを特徴とする請求項1記載の生体状態判定装置。
【請求項3】
前記計算条件設定手段は、前記ドライバの眼に対する外乱入力を検出する外乱検出手段を有し、前記外乱検出手段により前記ドライバの眼に対する外乱入力が検出されたときに、前記時間幅を変更することを特徴とする請求項2記載の生体状態判定装置。
【請求項4】
前記計算条件設定手段は、車外環境の変化を検出する車外環境検出手段を有し、前記車外環境検出手段により前記車外環境の変化が検出されたときに、前記時間幅を変更することを特徴とする請求項2記載の生体状態判定装置。
【請求項5】
前記開眼時間ばらつき計算手段により求めた前記ドライバの開眼時間のばらつきと前記ぼんやり状態検知手段により検知した前記ドライバのぼんやり状態とに基づいて、前記ドライバに眠気が発生する可能性があるかどうかを判定する眠気判定手段と、
前記眠気判定手段により前記ドライバに眠気が発生する可能性があると判定されたときに、前記ドライバの眠気発生時刻を予測する眠気発生時刻予測手段とを更に備えることを特徴とする請求項1〜4のいずれか一項記載の生体状態判定装置。
【請求項6】
前記ぼんやり状態検知手段により検知した前記ドライバのぼんやり状態に基づいて、所定時間内における前記ドライバのぼんやり状態の占める割合が所定値よりも低いかどうかを判断し、前記所定時間内における前記ドライバのぼんやり状態の占める割合が前記所定値よりも低いと判断されたときに、前記眠気発生時刻予測手段により予測した前記ドライバの眠気発生時刻をキャンセルする予測キャンセル手段を更に備えることを特徴とする請求項5記載の生体状態判定装置。
【請求項7】
前記ドライバの生体特徴量を検出する特徴量検出手段と、
前記ドライバの生体特徴量に基づいて、前記眠気発生時刻予測手段により予測した前記ドライバの眠気発生時刻を補正する眠気発生時刻補正手段とを更に備えることを特徴とする請求項5記載の生体状態判定装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2011−167398(P2011−167398A)
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願番号】特願2010−34933(P2010−34933)
【出願日】平成22年2月19日(2010.2.19)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願日】平成22年2月19日(2010.2.19)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】
[ Back to top ]