開閉眼状態判定装置及びプログラム
【課題】簡易な構成で、ドライバの開閉眼状態を精度よく判定することができるようにする。
【解決手段】各種センサによって、ヨー角速度又は横加速度の少なくとも一方、車速、及び操舵角を検出する。撮像装置１１によって、ドライバの目画像を撮像する。開閉眼判定部２４によって、目画像に基づいて、ドライバの開閉眼状態を判定する。操舵角推定部３０によって、各種センサ値に基づいて、ドライバの開閉眼状態の判定結果に対する操舵角を推定する。誤差算出部３２によって、推定された操舵角と、センサによって検出された操舵角との誤差を算出し、開閉眼補正部３４によって、算出された誤差に基づいて、判定されたドライバの開閉眼状態を補正する。
【解決手段】各種センサによって、ヨー角速度又は横加速度の少なくとも一方、車速、及び操舵角を検出する。撮像装置１１によって、ドライバの目画像を撮像する。開閉眼判定部２４によって、目画像に基づいて、ドライバの開閉眼状態を判定する。操舵角推定部３０によって、各種センサ値に基づいて、ドライバの開閉眼状態の判定結果に対する操舵角を推定する。誤差算出部３２によって、推定された操舵角と、センサによって検出された操舵角との誤差を算出し、開閉眼補正部３４によって、算出された誤差に基づいて、判定されたドライバの開閉眼状態を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、開閉眼状態判定装置及びプログラムに係り、特に、車両の走行状態やドライバの操作状態に基づいて、ドライバの開閉眼状態を判定する開閉眼状態判定装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、ドライバの顔画像から開閉眼状態を検出することにより居眠り運転を検出する居眠り運転防止装置が知られている（特許文献１）。また、ドライバの顔画像から検出された開閉眼状態を補正する手法が知られている（特許文献２）。この手法では、顔画像から検出した目の位置や開眼度合の時間変化に基づいて、顔画像から検出した開閉眼状態を補正している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−７７１８９号公報
【特許文献２】特開２０００−３０１９６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の特許文献１に記載の技術では、顔画像のみから開閉眼状態を検知しているため、誤検知がしばしば発生してしまう、という問題がある。
【０００５】
また、上記の特許文献２に記載の技術では、生物学的におかしな状態（目の位置が極端におかしい状態や瞬きを全くしない状態等）に対しては、検出した開閉眼状態を正しく補正することが出来るが、それ以外の状態については、検出した開閉眼状態の誤りを補正することができない、という問題がある。
【０００６】
本発明は、上記の問題点を解決するためになされたもので、ドライバの開閉眼状態を精度よく判定することができる開閉眼状態判定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために本発明に係る開閉眼状態判定装置は、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段と、前記ドライバの眼を含む領域を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段と、前記状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、前記開閉眼状態判定手段によって判定された前記ドライバの開閉眼状態に対する前記操作状態を推定する操作状態推定手段と、前記操作状態推定手段によって推定された前記操作状態と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記判定された前記ドライバの開閉眼状態を補正する開閉眼状態補正手段とを含んで構成されている。
【０００８】
本発明に係るプログラムは、コンピュータを、ドライバの眼を含む領域を撮像する撮像手段により撮像された画像に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、前記開閉眼状態判定手段によって判定された前記ドライバの開閉眼状態に対する前記操作状態を推定する操作状態推定手段、及び前記操作状態推定手段によって推定された前記操作状態と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記判定された前記ドライバの開閉眼状態を補正する開閉眼状態補正手段として機能させるためのプログラムである。
【０００９】
本発明によれば、状態検出手段によって、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出し、また、撮像手段によって、ドライバの眼を含む領域を撮像する。開閉眼状態判定手段によって、撮像手段により撮像された画像に基づいて、ドライバの開閉眼状態を判定する。
【００１０】
そして、操作状態推定手段によって、状態検出手段によって検出された走行状態、又は走行状態及び操作状態に基づいて、開閉眼状態判定手段によって判定されたドライバの開閉眼状態に対する操作状態を推定する。開閉眼状態補正手段によって、操作状態推定手段によって推定された操作状態と、状態検出手段によって検出された操作状態とを比較し、比較結果に基づいて、判定されたドライバの開閉眼状態を補正する。
【００１１】
このように、判定されたドライバの開閉眼状態に対する操作状態を推定し、検出された操作状態と比較した比較結果に基づいて、判定されたドライバの開閉眼状態を補正することにより、ドライバの開閉眼状態を精度よく判定することができる。
【００１２】
本発明に係る開閉眼状態判定装置は、判定されたドライバの開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定する居眠り判定手段を更に含むことができる。これによって、ドライバの居眠り状態を精度よく判定することができる。
【００１３】
本発明に係る開閉眼状態判定装置は、判定されたドライバの開閉眼状態の時系列データに基づいて、瞬目特徴量を算出する特徴量算出手段を更に含むことができる。これによって、瞬目特徴量を精度よく算出することができる。
【００１４】
本発明に係る状態検出手段は、自車両の走行状態として、ヨー角速度又は横加速度の少なくとも一方、及び車速を検出し、操作状態として、操舵角を検出し、操作状態推定手段は、開閉眼状態判定手段によって開眼状態であると判定された場合に、検出されたヨー角速度又は横加速度の少なくとも一方、及び車速に基づいて、前方注視点における目標コースからのずれを推定すると共に、前方注視モデルに従って、推定された前方注視点における目標コースからのずれに基づいて開眼状態に対する操舵角を推定し、開閉眼状態判定手段によって閉眼状態であると判定された場合に、前方注視点における目標コースからのずれを所定値として、閉眼状態に対する操舵角を推定することができる。
【００１５】
本発明に係る状態検出手段は、自車両の走行状態として、ヨー角速度又は横加速度の少なくとも一方、及び車速を検出し、操作状態として、操舵角を検出し、操作状態推定手段は、開閉眼状態判定手段によって開眼状態であると判定された場合に、検出されたヨー角速度又は横加速度の少なくとも一方、及び車速に基づいて、目標コースに対する自車両の横位置を推定すると共に、推定された目標コースに対する自車両の横位置に基づいて開眼状態に対する操舵角を推定し、開閉眼状態判定手段によって閉眼状態であると判定された場合に、目標コースに対する自車両の横位置を所定値として、閉眼状態に対する操舵角を推定することができる。
【発明の効果】
【００１６】
以上説明したように、本発明の開閉眼状態判定装置及びプログラムによれば、判定されたドライバの開閉眼状態に対する操作状態を推定し、検出された操作状態と比較した比較結果に基づいて、判定されたドライバの開閉眼状態を補正することにより、ドライバの開閉眼状態を精度よく判定することができる、という効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施の形態に係る居眠り判定装置の構成を示すブロック図である。
【図２】前方注視点における目標コースからのずれを説明するための図である。
【図３】前方注視点における目標コースからのずれの算出方法を説明するための図である。
【図４】操舵角推定部及び誤差算出部の処理の流れを説明するための図である。
【図５】本発明の第１の実施の形態に係る居眠り判定装置における居眠り判定処理ルーチンの内容を示すフローチャートである。
【図６】本発明の第１の実施の形態に係る居眠り判定装置における開閉眼判定処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された居眠り判定装置に本発明を適用した場合を例に説明する。
【００１９】
図１に示すように、第１の実施の形態に係る居眠り判定装置１０は、ドライバの斜め前方に設置され、そのドライバの目を含む領域を斜め下から撮像する撮像装置１１と、自車両の走行状態としてのヨー角速度を検出するヨー角速度センサ１２と、自車両の走行状態としての横加速度を検出する横加速度センサ１４と、自車両の走行状態としての車速を検出する車速センサ１６と、ドライバが自車両を操作したときの操作状態としてのハンドルの操舵角を検出する操舵角センサ１８と、撮像装置１１、ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８からの出力に基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させるコンピュータ２０とを備えている。
【００２０】
撮像装置１１は、目画像を連続して撮像して、撮像した目画像をコンピュータ２０に入力する。
【００２１】
ヨー角速度センサ１２は、検出したヨー角速度を示すヨー角速度信号を出力し、横加速度センサ１４は、検出した横加速度を示す横加速度信号を出力する。車速センサ１６は、検出した自車両の車速を示す車速信号を出力し、操舵角センサ１８は、検出したハンドルの操舵角を示す操舵角信号を出力する。ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８は、ある一定間隔で（例えば、１００ｍｓ毎）で、各信号をコンピュータ２０に入力する。
【００２２】
コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する居眠り判定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ２０は、撮像装置１１から目画像を取得する画像取得部２２と、目画像から瞼開度を検出して開閉眼状態を判定する開閉眼判定部２４と、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、車速センサ１６からの車速信号、及び操舵角センサ１８からの操舵角信号の各々を所定時間分取得してメモリ（図示省略）に記憶するセンサ値取得部２６と、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、及び車速センサ１６からの車速信号に基づいて、目標コースを推定する目標コース推定部２８と、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、車速センサ１６からの車速信号、操舵角センサ１８からの操舵角信号、及び推定された目標コースに基づいて、開閉眼判定部２４の判定結果に対応する操舵角を所定時間分推定してメモリに記憶する操舵角推定部３０と、センサ値取得部２６によって取得された操舵角信号が示す操舵角と、推定された操舵角とを比較して、誤差を算出する誤差算出部３２と、算出された誤差に基づいて、開閉眼判定部２４による判定結果を補正する開閉眼補正部３４と、判定された開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させる居眠り状態判定部３６とを備えている。なお、居眠り状態判定部３６は、居眠り判定手段及び特徴量算出手段の一例である。
【００２３】
開閉眼判定部２４は、目画像から、ドライバの目を表す目領域を抽出し、各目領域から、瞼が開いている度合いを示す瞼開度を検出する。開閉眼判定部２４は、検出された瞼開度が、閉眼閾値以下となる場合には、閉眼状態であると判定し、一方、検出された瞼開度が、閉眼閾値より大きい場合には、開眼状態であると判定する。
【００２４】
センサ値取得部２６は、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、車速センサ１６からの車速信号、及び操舵角センサ１８からの操舵角信号の各々を所定時間ΔＴ分取得して、メモリ（図示省略）に記憶する。
【００２５】
目標コース推定部２８は、ヨー角速度センサ１２からのヨー角速度信号及び横加速度センサ１４からの横加速度信号に、例えば０．５Ｈｚ以下をカットオフ周波数とするフィルタを掛けて得られた、ヨー角速度及び横加速度に基づいて、横滑り角を算出する。目標コース推定部２８は、時刻ｔまでに算出された横滑り角、時刻ｔまでに得られたヨー角速度、及び時刻ｔまでに車速センサ１６から得られた車速信号が示す車速に基づいて、以下の（１）式〜（３）式から、時刻ｔにおける目標コースの位置を推定する。
【００２６】
【数１】
【００２７】
ただし、Ｘ（ｔ）、Ｙ（ｔ）は、時刻ｔにおける前後位置及び横位置であり、θ（ｔ）は時刻ｔにおけるヨー角である。Ｖは車速であり、βは、横滑り角であり、ｒは、ヨー角速度である。また、Ｘ０は、前後位置の初期値であり、Ｙ０は、横位置の初期値であり、θ０はヨー角の初期値であり、これらの初期値として、予め定められた値を用いればよい。
【００２８】
目標コース推定部２８は、上記のように、各センサからの出力に基づいて、逐次、目標コースの位置を推定し、推定された目標コースの位置をメモリに記憶しておく。
【００２９】
また、コンピュータ２０では、ヨー角速度センサ１２からのヨー角速度信号及び横加速度センサ１４からの横加速度信号に基づいて、横滑り角を逐次算出し、時刻ｔまでに算出された横滑り角、時刻ｔまでに得られたヨー角速度、及び時刻ｔまでに車速センサ１６から得られた車速信号が示す車速に基づいて、上記（１）式〜（３）式に従って、時刻ｔにおける自車両の位置を逐次算出し、メモリに記憶する。
【００３０】
操舵角推定部３０は、開閉眼判定部２４によって開眼状態であると判定された場合、以下に説明するように、時刻ｔ０から時刻ｔ０＋ΔＴまでの開眼状態における操舵角を各々推定する。
【００３１】
まず、時刻ｔ０において、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、車速センサ１６からの車速信号、及び操舵角センサ１８からの操舵角信号を取得し、ヨー角速度及び横加速度に基づいて、時刻ｔ０における横滑り角を算出する。
【００３２】
時刻ｔ０における車両位置と時刻ｔ０におけるヨー角速度、横滑り角、及び車速とに基づいて、上記（１）式〜（３）式に従い時刻ｔ０＋Δｔの車両位置を算出する。なお、車速については、時刻ｔ０において車速センサ１６から得られた車速信号が示す車速を用いる。
【００３３】
また、各種センサから得られた、ヨー角速度、車速、及び操舵角と、算出された横滑り角とに基づいて、以下の（４）式に示す車両モデルに従って、時刻ｔ０におけるヨー角速度の微分値及び横滑り角の微分値を算出する。
【００３４】
【数２】
【００３５】
ただし、Ｉは、慣性モーメントであり、ｌｆ、ｌｒは、前後車軸間距離であり、ｋｆ、ｋｒは、前後コーナリングパワーであり、δは、操舵角である。なお、上記（４）式で表される車両モデルは、非特許文献（安倍正人著、「自動車の運動と制御」）に記載された二輪操舵モデルである。
【００３６】
算出された時刻ｔ０におけるヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角を算出し、上記（１）式〜（３）式に従って算出された時刻ｔ０＋Δｔの車両位置と、次の時刻ｔ０＋Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋２・Δｔにおける車両の位置を算出する。
【００３７】
そして、次の時刻ｔ０＋Δｔにおける、前方注視点での目標コースからのずれεを算出する。前方注視点での目標コースからのずれεは、図２に示すように、前方注視点（前方注視距離Ｌだけ前方に離れた位置）での目標コースと、前方注視点での車両位置との横位置のずれεを示している。
【００３８】
具体的には、図３に示すように、目標コース推定部２４により推定された時刻ｔ０＋Δｔにおける目標コースの横位置と、上記のように算出された時刻ｔ０＋Δｔにおける自車両の横位置との差ｙと、自車両の横位置の微分から得られる自車両の横位置速度ｖｙと、予め求められた前方注視時間Ｔ０とに基づいて、以下の（５）式に従って、前方注視点での目標コースからのずれεを算出する。
【００３９】
【数３】
【００４０】
次に、非特許文献（安倍正人著、「自動車の運動と制御」）に記載されている前方注視モデルを用いて、前方注視点での目標コースからのずれεと操舵角δの伝達関数Ｈ（ｓ）を用いて、時刻ｔ０＋Δｔにおける前方注視点での目標コースからのずれεから、時刻ｔ０＋Δｔ操舵角δを推定する。伝達関数Ｈ（ｓ）は、以下の（６）式で表される。
【００４１】
【数４】
【００４２】
ただし、ｈ、τＩ、τＬ、τＤは、伝達関数の定数である。
【００４３】
ここで、前方注視点での目標コースからのずれεを、開眼状態における前方注視点での目標コースからのずれとして、推定された操舵角を、開眼状態における操舵角の推定値とする。
【００４４】
また、推定された時刻ｔ０＋Δｔにおける操舵角と、上記で算出された時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出し、算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【００４５】
操舵角推定部３０は、開閉眼判定部２４によって開眼状態であると判定された場合、図４に示すように、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの開眼状態における操舵角を推定し、メモリに記憶する。
【００４６】
操舵角推定部３０は、開閉眼判定部２４によって閉眼状態であると判定された場合、以下に説明するように、時刻ｔ０〜ｔ０＋ΔＴについて、閉眼状態における操舵角を推定する。
【００４７】
まず、開眼状態における操舵角を推定する場合と同様に、次の時刻ｔ０＋Δｔにおける車両位置、ヨー角速度、及び横滑り角を算出し、次の時刻ｔ０＋２・Δｔにおける車両の位置を算出する。
【００４８】
そして、閉眼状態における目標コースからのずれとして、前方注視点での目標コースからのずれεを０とし、上記（６）式の伝達関数Ｈ（ｓ）を用いて、時刻ｔ０＋Δｔにおける閉眼状態に対する操舵角δを推定する。
【００４９】
また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出し、算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【００５０】
操舵角推定部３０は、開閉眼判定部２４によって閉眼状態であると判定された場合、上記図４に示すように、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの閉眼状態における操舵角を推定し、メモリに記憶する。
【００５１】
誤差算出部３２は、操舵角推定部３０により時刻ｔ０〜時刻ｔ０＋ΔＴについて推定された操舵角と、センサ値取得部２６によって取得された時刻ｔ０〜時刻ｔ０＋ΔＴの操舵角とを、時刻毎に比較して差分を各々算出し、差分の移動平均を算出する。なお、操舵角の差分として、２乗誤差を算出するようにしてもよい。
【００５２】
開閉眼補正部３４は、算出された差分の移動平均と予め定められた閾値とを比較して、差分の移動平均が閾値以上である場合には、開閉眼判定部２４で判定された開閉眼状態を補正する。一方、差分の移動平均が閾値未満である場合には、開閉眼判定部２４で判定された開閉眼状態は補正されない。
【００５３】
居眠り状態判定部３６は、開閉眼補正部３４によって補正された、又は補正されなかった開閉眼状態の判定結果の時系列データから、瞬目特徴量として、所定時間内の閉眼時間を算出し、算出された閉眼時間について閾値判断を行って、ドライバが居眠り状態であるか否かを判定する。また、居眠り状態判定部３６は、ドライバが居眠り状態であると判定すると、居眠り状態であることを示す警告メッセージを表示装置４０に表示させる。
【００５４】
次に、第１の実施の形態に係る居眠り判定装置１０の作用について説明する。居眠り判定装置１０を搭載した車両の走行中に、コンピュータ２０において、図５に示す居眠り判定処理ルーチンが実行される。
【００５５】
まず、ステップ１００で、開閉眼状態を判定する処理を行う。上記ステップ１００は、図６に示す開閉眼判定処理ルーチンによって実現される。以下、開閉眼判定処理ルーチンについて説明する。
【００５６】
ステップ１１８において、時刻を表わす変数ｔに、現在時刻ｔ０を初期値として設定する。そして、ステップ１２０において、撮像装置１１によって撮像された目画像を取得する。次のステップ１２２では、ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８の各々から出力された信号を取得して、メモリに記憶する。そして、ステップ１２４で、所定時間ΔＴ経過したと判定されるまで、上記ステップ１２２を繰り返し、所定時間ΔＴ経過すると、ステップ１２６へ進む。これによって、所定時間ΔＴ分のヨー角速度信号、横加速度信号、車速信号、及び操舵角信号が、メモリに記憶される。
【００５７】
ステップ１２６では、上記ステップ１２０で取得した目画像から瞼開度を検出し、ステップ１２８において、上記ステップ１２６で検出された瞼開度と閉眼閾値とを比較して、ドライバの開閉眼状態を判定する。
【００５８】
そして、ステップ１３０で、時刻ｔを次の時刻（ｔ＋Δｔ）に設定し、ステップ１３２において、コンピュータ２０で逐次算出されている自車両の位置から、時刻ｔ（＝ｔ０＋Δｔ）における自車両の位置を取得する。
【００５９】
次のステップ１３４では、上記ステップ１２８において開眼状態であると判定された否かを判定する。開眼状態であると判定されていた場合に、ステップ１３６において、上記ステップ１２２で取得された時刻ｔ０〜時刻ｔ０＋ΔＴのヨー角速度センサ１２、横加速度センサ１４、及び車速センサ１６の出力の各々にフィルタを掛けて得られた値に基づいて、上記ステップ時刻ｔ０〜時刻ｔ０＋ΔＴまでの自車両の目標コースの位置を推定する。
【００６０】
そして、ステップ１３８では、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。ｔ＝ｔ０＋Δｔである場合には、上記ステップ１２２で取得した時刻ｔのセンサ値と、上記ステップ１３２で取得した時刻ｔの車両位置とに基づいて、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。それ以外の場合には、後述するステップ１４２で推定された時刻ｔの開眼状態における操舵角と、前回のステップ１３８で算出した時刻ｔの車両位置とに基づいて、車両モデルに従って、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。
【００６１】
そして、ステップ１４０において、上記ステップ１３６で推定された時刻ｔにおける目標コースの位置と、上記ステップ１３２で取得した時刻ｔにおける自車両の位置、又は上記ステップ１３８で算出された自車両の位置とに基づいて、前方注視点における目標コースからのずれを算出する。
【００６２】
次のステップ１４２では、上記ステップ１４０で算出された前方注視点における目標コースからのずれに基づいて、時刻ｔの開眼状態における操舵角を推定して、メモリに記憶する。
【００６３】
そして、ステップ１４４において、時刻ｔが、ｔ０＋ΔＴに到達したか否かを判定し、ｔ０＋ΔＴに達していない場合には、ステップ１４６において、時刻ｔを、次の時刻ｔ＋Δｔに設定し、ステップ１３８へ戻る。一方、時刻ｔが、ｔ０＋ΔＴに到達した場合には、ステップ１５６へ進む。
【００６４】
一方、上記ステップ１３４において、判定結果が閉眼状態であったと判定された場合、ステップ１４８へ進み、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。ｔ＝ｔ０＋Δｔの場合には、上記ステップ１２２で取得した時刻ｔのセンサ値と、上記ステップ１３２で取得した時刻ｔの車両位置とに基づいて、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。それ以外の場合には、後述するステップ１５０で推定された時刻ｔの閉眼状態における操舵角と、前回のステップ１４８で算出した時刻ｔの車両位置とに基づいて、車両モデルに従って、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。
【００６５】
そして、ステップ１５０では、目標コースからのずれを０として、時刻ｔの閉眼状態における操舵角を推定して、メモリに記憶する。
【００６６】
そして、ステップ１５２において、時刻ｔが、ｔ０＋ΔＴに到達したか否かを判定し、ｔ０＋ΔＴに達していない場合には、ステップ１５４において、時刻ｔを、次の時刻ｔ＋Δｔに設定し、ステップ１４８へ戻る。一方、時刻ｔが、ｔ０＋ΔＴに到達した場合には、ステップ１５６へ進む。
【００６７】
ステップ１５６では、上記ステップ１２２で取得した時刻ｔ０＋Δｔ〜ｔ０＋ΔＴまでの操舵角信号が示す操舵角と、上記ステップ１４２又はステップ１５０で推定された時刻ｔ０＋Δｔ〜ｔ０＋ΔＴまでの開閉眼状態の判定結果に対する操舵角とを、時刻毎に比較して差分を算出し、差分の移動平均を算出する。
【００６８】
そして、ステップ１５８において、上記ステップ１５６で算出された差分の移動平均と、予め設定された閾値とを比較して、差分の移動平均が閾値未満である場合には、ドライバの開閉眼状態の判定結果を補正せずに、ステップ１６２へ移行する。一方、差分の移動平均が閾値以上である場合には、ステップ１６０において、ドライバの開閉眼状態の判定結果を補正する。例えば、上記ステップ１２８でドライバが開眼状態であると判定されていた場合には、閉眼状態であるとの判定結果に補正し、一方、上記ステップ１２８でドライバが閉眼状態であると判定されていた場合には、開眼状態であるとの判定結果に補正する。
【００６９】
そして、ステップ１６２では、上記ステップ１６０で補正された、又は補正されなかった開閉眼状態の判定結果をメモリに記憶して、開閉眼判定処理ルーチンを終了する。
【００７０】
そして、上記図５の居眠り判定処理ルーチンのステップ１０２では、処理開始から所定時間経過したか否かを判定し、経過していない場合には、再びステップ１００で、開閉眼状態を判定する処理を行う。一方、処理開始から所定時間経過した場合には、ステップ１０４へ進む。このとき、所定時間分の開閉眼状態の判定結果がメモリに記憶されている。
【００７１】
ステップ１０４では、所定時間分の開閉眼状態の判定結果に基づいて、所定時間内における閉眼時間を計測する。そして、ステップ１０６において、上記ステップ１０４で計測された閉眼時間が、閾値以上であるか否かを判定する。閉眼時間が閾値以上であると判定された場合には、ドライバが居眠り状態であると判定されるため、ステップ１０８で、ドライバが居眠り状態であることを示す警告メッセージを表示装置４０に表示させて、居眠り判定処理ルーチンを終了する。一方、上記ステップ１０６において、閉眼時間が閾値未満である場合には、ドライバが居眠り状態ではないと判定されるため、ステップ１１０において、ドライバの状態が正常状態であることを示すメッセージを表示装置４０に表示させて、居眠り判定理ルーチンを終了する。
【００７２】
以上説明したように、第１の実施の形態に係る居眠り判定装置によれば、判定されたドライバの開閉眼状態に対する操舵角を推定し、センサによって検出された操舵角と比較した比較結果に基づいて、判定されたドライバの開閉眼状態を補正することにより、ドライバの開閉眼状態を精度よく判定することができる。また、その判定結果を用いて、ドライバの居眠り状態を精度よく判定することができる。
【００７３】
また、ドライバの目画像から判定された開閉眼状態と検出された車両挙動状態とに基づき推定された操舵角と、センサにより検出された操舵角を比較することにより、目画像から判定された開閉眼状態の確からしさを表わす指標として、誤差を算出することができる。算出された誤差に基づき目画像から判定された開閉眼状態を補正するため、目画像のみから開閉眼状態を判定する場合に比べ、高精度にドライバの開閉眼状態を判定できるようになる。
【００７４】
次に、第２の実施の形態について説明する。第２の実施の形態に係る居眠り判定装置の構成は、第１の実施の形態と同様であるため、説明を省略する。
【００７５】
第２の実施の形態では、一般化予測制御理論を用いて、開眼状態における操舵角を推定している点が、第１の実施の形態と異なっている。
【００７６】
第２の実施の形態における、開眼状態に対する操舵角を推定する原理について説明する。本実施の形態では、非特許文献（堀内伸一郎、砂田圭、「車線追従のための操舵支援システムと多入力ドライバモデルを用いた評価」）に記載された、一般化予測制御理論を用いて、開眼状態における操舵角を推定する。
【００７７】
ドライバは、Ｍサンプル先までの横位置と操舵角の二乗和によって計算される、以下の（７）式で表される評価関数Ｊを最小にするように操舵すると仮定する。
【００７８】
【数５】
【００７９】
時刻ｔにおける目標コースを基準とした、車両モデルから算出された時刻ｔの自車両位置の横位置ｙに対して、上記（７）式で表される評価関数Ｊを最小にする操舵角δを求めて、時刻ｔの開眼状態における操舵角の推定値とする。
【００８０】
なお、上記（７）式の評価関数Ｊを最小とする操舵角を解く場合には、以下の（８）式に示す横位置ｙと操舵角δとの関係式と、以下の（９）式に示すセンサ値ｚと横位置ｙとの関係式とを用いて、リッカチ方程式を解くことにより、解を求める。
【００８１】
【数６】
【００８２】
ただし、Ａ、Ｂは、信号を１時刻遅らせる時間遅れ演算子ｑ−１によって記述される多項式である。また、Ｃは、センサ値ｚと横位置ｙとの関係を表わす定数である。
【００８３】
また、上記（８）式は、以下の（１０）〜（１２）式から得られる関係式である。
【００８４】
【数７】
【００８５】
上記（１０）式は、車両モデルに基づくヨー角速度ｒ、横位置速度ｖｙ、及び操舵角δの関係を表わす関係式であり、上記（１１）式は、前方偏差εに関する関係式である。また、上記（１２）式は、前方偏差速度εのドットに関する関係式であり、上記（１３）式は、ヨー角速度θに関する関係式である。
【００８６】
操舵角推定部３０は、開閉眼判定部２４によって開眼状態であると判定された場合、第１の実施の形態と同様に、次の時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角を算出し、次の時刻ｔ０＋２・Δｔにおける自車両の位置を算出する。
【００８７】
そして、時刻ｔ０＋Δｔにおける目標コースと、算出された自車両の位置とに基づいて、目標誤差として、目標コースに対する自車両の横位置を算出する。
【００８８】
次に、時刻ｔ０＋Δｔにおける自車両の横位置に基づいて、上記の評価関数Ｊを最小にする操舵角を算出し、時刻ｔ０＋Δｔの開眼状態における操舵角として推定する。
【００８９】
また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出する。算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【００９０】
操舵角推定部３０は、開閉眼判定部２４によって開眼状態であると判定された場合、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの開眼状態における操舵角を推定し、メモリに記憶する。
【００９１】
操舵角推定部３０は、開閉眼判定部２４によって閉眼状態であると判定された場合、第１の実施の形態と同様に、次の時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角を算出し、次の時刻ｔ０＋２・Δｔにおける自車両の位置を算出する。
【００９２】
そして、目標誤差が一定であると仮定して、時刻ｔ０における目標コースと、時刻ｔ０に算出された自車両の位置とに基づいて得られる目標コースに対する自車両の横位置（目標誤差）を、次の時刻ｔ０＋Δｔ以降における横位置とする。
【００９３】
次に、自車両の横位置に基づいて、上記の評価関数Ｊを最小にする操舵角を算出し、次の時刻ｔ０＋Δｔの閉眼状態における操舵角として推定する。
【００９４】
また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出する。算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【００９５】
操舵角推定部３０は、開閉眼判定部２４によって閉眼状態であると判定された場合、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの閉眼状態における操舵角を推定し、メモリに記憶する。
【００９６】
なお、第２の実施の形態に係る居眠り判定装置の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。
【００９７】
このように、センサによって検出された走行状態及び操作状態から、ドライバモデルとして一般化予測制御理論を用いて、開閉眼状態の判定結果に対する操舵角を推定することができる。
【００９８】
なお、上記の第１の実施の形態〜第２の実施の形態では、計測された閉眼時間が閾値以上である場合に、居眠り状態であると判定する場合を例に説明したが、これに限定されるものではなく、複数の計測結果から得られる平均閉眼時間が閾値以上である場合に、居眠り状態であると判定するようにしてもよい。
【００９９】
また、瞬目特徴量として閉眼時間を求める場合を例に説明したが、これに限定されるものではなく、例えば、ＰＥＲＣＬＯＳ（単位時間に対する閉眼時間の割合）などを算出し、算出されたＰＥＲＣＬＯＳを用いて、居眠り状態であるか否かを判定してもよい。
【０１００】
また、操舵角の誤差の移動平均が閾値以上である場合に、開閉眼状態の判定結果を補正する場合を例に説明したが、これに限定されるものではなく、操舵角の誤差の移動平均が閾値以上である場合に、一方の開閉眼状態の判定結果のみを補正するようにしてもよい。例えば、閉眼状態であるとの判定結果のみを、開眼状態であるとの判定結果に補正し、開眼状態であるとの判定結果については補正しないようにしてもよい。
【０１０１】
また、センサ値を用いて、目標コースの位置を推定する場合を例に説明したが、これに限定されるものではなく、自車両の前方を撮像するように設置された撮像装置からの前方画像に基づいて、目標コースの位置を推定するようにしてもよい。この場合には、前方画像から推定された目標コースの位置に基づいて、前方注視点における目標コースとの位置ずれや、目標コースに対する自車両の横位置を推定することができる。
【０１０２】
また、閉眼状態のドライバモデルとして、前方注視点における目標コースとのずれを０とした場合や、目標コースに対する自車両の横位置を一定とした場合を例に説明したが、これに限定されるものではない。例えば、前方注視点における目標コースとのずれが一定となる（更新されない）と仮定して、閉眼状態における操舵角を推定するようにしてもよい。また、操舵角が一定となると仮定して、閉眼状態における操舵角を推定するようにしてもよい。また、操舵トルクが一定となると仮定して、閉眼状態における操舵角を推定するようにしてもよい。
【０１０３】
また、検出する操作状態又は走行状態として、ヨー角速度、横加速度、車速、及び操舵角を採用した場合を例に説明したが、これに限定されるものではない。例えば、走行状態として、車速、ヨー角速度、横滑り角、横加速度、及びこれらの値に簡易に変換可能な走行状態量の少なくとも１種類以上を検出するようにしてもよい。また、操作状態として、操舵角、実舵角、操舵トルク、アクセルペダル操作量、及びブレーキペダル操作量の少なくとも１種類以上を検出するようにしてもよい。この場合には、検出された走行状態、又は検出された走行状態及び操作状態を用いて、開閉眼状態の判定結果に対する操作状態を推定するようにすればよい。
【０１０４】
なお、本発明のプログラムは、記憶媒体に格納して提供することができる。
【符号の説明】
【０１０５】
１０ 居眠り判定装置
１１ 撮像装置
１２ ヨー角速度センサ
１４ 横加速度センサ
１６ 車速センサ
１８ 操舵角センサ
２０ コンピュータ
２４ 開閉眼判定部
２４ 目標コース推定部
２６ センサ値取得部
２８ 目標コース推定部
３０ 操舵角推定部
３２ 誤差算出部
３４ 開閉眼補正部
３６ 居眠り状態判定部
【技術分野】
【０００１】
本発明は、開閉眼状態判定装置及びプログラムに係り、特に、車両の走行状態やドライバの操作状態に基づいて、ドライバの開閉眼状態を判定する開閉眼状態判定装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、ドライバの顔画像から開閉眼状態を検出することにより居眠り運転を検出する居眠り運転防止装置が知られている（特許文献１）。また、ドライバの顔画像から検出された開閉眼状態を補正する手法が知られている（特許文献２）。この手法では、顔画像から検出した目の位置や開眼度合の時間変化に基づいて、顔画像から検出した開閉眼状態を補正している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−７７１８９号公報
【特許文献２】特開２０００−３０１９６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の特許文献１に記載の技術では、顔画像のみから開閉眼状態を検知しているため、誤検知がしばしば発生してしまう、という問題がある。
【０００５】
また、上記の特許文献２に記載の技術では、生物学的におかしな状態（目の位置が極端におかしい状態や瞬きを全くしない状態等）に対しては、検出した開閉眼状態を正しく補正することが出来るが、それ以外の状態については、検出した開閉眼状態の誤りを補正することができない、という問題がある。
【０００６】
本発明は、上記の問題点を解決するためになされたもので、ドライバの開閉眼状態を精度よく判定することができる開閉眼状態判定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために本発明に係る開閉眼状態判定装置は、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段と、前記ドライバの眼を含む領域を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段と、前記状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、前記開閉眼状態判定手段によって判定された前記ドライバの開閉眼状態に対する前記操作状態を推定する操作状態推定手段と、前記操作状態推定手段によって推定された前記操作状態と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記判定された前記ドライバの開閉眼状態を補正する開閉眼状態補正手段とを含んで構成されている。
【０００８】
本発明に係るプログラムは、コンピュータを、ドライバの眼を含む領域を撮像する撮像手段により撮像された画像に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、前記開閉眼状態判定手段によって判定された前記ドライバの開閉眼状態に対する前記操作状態を推定する操作状態推定手段、及び前記操作状態推定手段によって推定された前記操作状態と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記判定された前記ドライバの開閉眼状態を補正する開閉眼状態補正手段として機能させるためのプログラムである。
【０００９】
本発明によれば、状態検出手段によって、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出し、また、撮像手段によって、ドライバの眼を含む領域を撮像する。開閉眼状態判定手段によって、撮像手段により撮像された画像に基づいて、ドライバの開閉眼状態を判定する。
【００１０】
そして、操作状態推定手段によって、状態検出手段によって検出された走行状態、又は走行状態及び操作状態に基づいて、開閉眼状態判定手段によって判定されたドライバの開閉眼状態に対する操作状態を推定する。開閉眼状態補正手段によって、操作状態推定手段によって推定された操作状態と、状態検出手段によって検出された操作状態とを比較し、比較結果に基づいて、判定されたドライバの開閉眼状態を補正する。
【００１１】
このように、判定されたドライバの開閉眼状態に対する操作状態を推定し、検出された操作状態と比較した比較結果に基づいて、判定されたドライバの開閉眼状態を補正することにより、ドライバの開閉眼状態を精度よく判定することができる。
【００１２】
本発明に係る開閉眼状態判定装置は、判定されたドライバの開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定する居眠り判定手段を更に含むことができる。これによって、ドライバの居眠り状態を精度よく判定することができる。
【００１３】
本発明に係る開閉眼状態判定装置は、判定されたドライバの開閉眼状態の時系列データに基づいて、瞬目特徴量を算出する特徴量算出手段を更に含むことができる。これによって、瞬目特徴量を精度よく算出することができる。
【００１４】
本発明に係る状態検出手段は、自車両の走行状態として、ヨー角速度又は横加速度の少なくとも一方、及び車速を検出し、操作状態として、操舵角を検出し、操作状態推定手段は、開閉眼状態判定手段によって開眼状態であると判定された場合に、検出されたヨー角速度又は横加速度の少なくとも一方、及び車速に基づいて、前方注視点における目標コースからのずれを推定すると共に、前方注視モデルに従って、推定された前方注視点における目標コースからのずれに基づいて開眼状態に対する操舵角を推定し、開閉眼状態判定手段によって閉眼状態であると判定された場合に、前方注視点における目標コースからのずれを所定値として、閉眼状態に対する操舵角を推定することができる。
【００１５】
本発明に係る状態検出手段は、自車両の走行状態として、ヨー角速度又は横加速度の少なくとも一方、及び車速を検出し、操作状態として、操舵角を検出し、操作状態推定手段は、開閉眼状態判定手段によって開眼状態であると判定された場合に、検出されたヨー角速度又は横加速度の少なくとも一方、及び車速に基づいて、目標コースに対する自車両の横位置を推定すると共に、推定された目標コースに対する自車両の横位置に基づいて開眼状態に対する操舵角を推定し、開閉眼状態判定手段によって閉眼状態であると判定された場合に、目標コースに対する自車両の横位置を所定値として、閉眼状態に対する操舵角を推定することができる。
【発明の効果】
【００１６】
以上説明したように、本発明の開閉眼状態判定装置及びプログラムによれば、判定されたドライバの開閉眼状態に対する操作状態を推定し、検出された操作状態と比較した比較結果に基づいて、判定されたドライバの開閉眼状態を補正することにより、ドライバの開閉眼状態を精度よく判定することができる、という効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施の形態に係る居眠り判定装置の構成を示すブロック図である。
【図２】前方注視点における目標コースからのずれを説明するための図である。
【図３】前方注視点における目標コースからのずれの算出方法を説明するための図である。
【図４】操舵角推定部及び誤差算出部の処理の流れを説明するための図である。
【図５】本発明の第１の実施の形態に係る居眠り判定装置における居眠り判定処理ルーチンの内容を示すフローチャートである。
【図６】本発明の第１の実施の形態に係る居眠り判定装置における開閉眼判定処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された居眠り判定装置に本発明を適用した場合を例に説明する。
【００１９】
図１に示すように、第１の実施の形態に係る居眠り判定装置１０は、ドライバの斜め前方に設置され、そのドライバの目を含む領域を斜め下から撮像する撮像装置１１と、自車両の走行状態としてのヨー角速度を検出するヨー角速度センサ１２と、自車両の走行状態としての横加速度を検出する横加速度センサ１４と、自車両の走行状態としての車速を検出する車速センサ１６と、ドライバが自車両を操作したときの操作状態としてのハンドルの操舵角を検出する操舵角センサ１８と、撮像装置１１、ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８からの出力に基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させるコンピュータ２０とを備えている。
【００２０】
撮像装置１１は、目画像を連続して撮像して、撮像した目画像をコンピュータ２０に入力する。
【００２１】
ヨー角速度センサ１２は、検出したヨー角速度を示すヨー角速度信号を出力し、横加速度センサ１４は、検出した横加速度を示す横加速度信号を出力する。車速センサ１６は、検出した自車両の車速を示す車速信号を出力し、操舵角センサ１８は、検出したハンドルの操舵角を示す操舵角信号を出力する。ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８は、ある一定間隔で（例えば、１００ｍｓ毎）で、各信号をコンピュータ２０に入力する。
【００２２】
コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する居眠り判定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ２０は、撮像装置１１から目画像を取得する画像取得部２２と、目画像から瞼開度を検出して開閉眼状態を判定する開閉眼判定部２４と、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、車速センサ１６からの車速信号、及び操舵角センサ１８からの操舵角信号の各々を所定時間分取得してメモリ（図示省略）に記憶するセンサ値取得部２６と、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、及び車速センサ１６からの車速信号に基づいて、目標コースを推定する目標コース推定部２８と、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、車速センサ１６からの車速信号、操舵角センサ１８からの操舵角信号、及び推定された目標コースに基づいて、開閉眼判定部２４の判定結果に対応する操舵角を所定時間分推定してメモリに記憶する操舵角推定部３０と、センサ値取得部２６によって取得された操舵角信号が示す操舵角と、推定された操舵角とを比較して、誤差を算出する誤差算出部３２と、算出された誤差に基づいて、開閉眼判定部２４による判定結果を補正する開閉眼補正部３４と、判定された開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させる居眠り状態判定部３６とを備えている。なお、居眠り状態判定部３６は、居眠り判定手段及び特徴量算出手段の一例である。
【００２３】
開閉眼判定部２４は、目画像から、ドライバの目を表す目領域を抽出し、各目領域から、瞼が開いている度合いを示す瞼開度を検出する。開閉眼判定部２４は、検出された瞼開度が、閉眼閾値以下となる場合には、閉眼状態であると判定し、一方、検出された瞼開度が、閉眼閾値より大きい場合には、開眼状態であると判定する。
【００２４】
センサ値取得部２６は、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、車速センサ１６からの車速信号、及び操舵角センサ１８からの操舵角信号の各々を所定時間ΔＴ分取得して、メモリ（図示省略）に記憶する。
【００２５】
目標コース推定部２８は、ヨー角速度センサ１２からのヨー角速度信号及び横加速度センサ１４からの横加速度信号に、例えば０．５Ｈｚ以下をカットオフ周波数とするフィルタを掛けて得られた、ヨー角速度及び横加速度に基づいて、横滑り角を算出する。目標コース推定部２８は、時刻ｔまでに算出された横滑り角、時刻ｔまでに得られたヨー角速度、及び時刻ｔまでに車速センサ１６から得られた車速信号が示す車速に基づいて、以下の（１）式〜（３）式から、時刻ｔにおける目標コースの位置を推定する。
【００２６】
【数１】
【００２７】
ただし、Ｘ（ｔ）、Ｙ（ｔ）は、時刻ｔにおける前後位置及び横位置であり、θ（ｔ）は時刻ｔにおけるヨー角である。Ｖは車速であり、βは、横滑り角であり、ｒは、ヨー角速度である。また、Ｘ０は、前後位置の初期値であり、Ｙ０は、横位置の初期値であり、θ０はヨー角の初期値であり、これらの初期値として、予め定められた値を用いればよい。
【００２８】
目標コース推定部２８は、上記のように、各センサからの出力に基づいて、逐次、目標コースの位置を推定し、推定された目標コースの位置をメモリに記憶しておく。
【００２９】
また、コンピュータ２０では、ヨー角速度センサ１２からのヨー角速度信号及び横加速度センサ１４からの横加速度信号に基づいて、横滑り角を逐次算出し、時刻ｔまでに算出された横滑り角、時刻ｔまでに得られたヨー角速度、及び時刻ｔまでに車速センサ１６から得られた車速信号が示す車速に基づいて、上記（１）式〜（３）式に従って、時刻ｔにおける自車両の位置を逐次算出し、メモリに記憶する。
【００３０】
操舵角推定部３０は、開閉眼判定部２４によって開眼状態であると判定された場合、以下に説明するように、時刻ｔ０から時刻ｔ０＋ΔＴまでの開眼状態における操舵角を各々推定する。
【００３１】
まず、時刻ｔ０において、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、車速センサ１６からの車速信号、及び操舵角センサ１８からの操舵角信号を取得し、ヨー角速度及び横加速度に基づいて、時刻ｔ０における横滑り角を算出する。
【００３２】
時刻ｔ０における車両位置と時刻ｔ０におけるヨー角速度、横滑り角、及び車速とに基づいて、上記（１）式〜（３）式に従い時刻ｔ０＋Δｔの車両位置を算出する。なお、車速については、時刻ｔ０において車速センサ１６から得られた車速信号が示す車速を用いる。
【００３３】
また、各種センサから得られた、ヨー角速度、車速、及び操舵角と、算出された横滑り角とに基づいて、以下の（４）式に示す車両モデルに従って、時刻ｔ０におけるヨー角速度の微分値及び横滑り角の微分値を算出する。
【００３４】
【数２】
【００３５】
ただし、Ｉは、慣性モーメントであり、ｌｆ、ｌｒは、前後車軸間距離であり、ｋｆ、ｋｒは、前後コーナリングパワーであり、δは、操舵角である。なお、上記（４）式で表される車両モデルは、非特許文献（安倍正人著、「自動車の運動と制御」）に記載された二輪操舵モデルである。
【００３６】
算出された時刻ｔ０におけるヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角を算出し、上記（１）式〜（３）式に従って算出された時刻ｔ０＋Δｔの車両位置と、次の時刻ｔ０＋Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋２・Δｔにおける車両の位置を算出する。
【００３７】
そして、次の時刻ｔ０＋Δｔにおける、前方注視点での目標コースからのずれεを算出する。前方注視点での目標コースからのずれεは、図２に示すように、前方注視点（前方注視距離Ｌだけ前方に離れた位置）での目標コースと、前方注視点での車両位置との横位置のずれεを示している。
【００３８】
具体的には、図３に示すように、目標コース推定部２４により推定された時刻ｔ０＋Δｔにおける目標コースの横位置と、上記のように算出された時刻ｔ０＋Δｔにおける自車両の横位置との差ｙと、自車両の横位置の微分から得られる自車両の横位置速度ｖｙと、予め求められた前方注視時間Ｔ０とに基づいて、以下の（５）式に従って、前方注視点での目標コースからのずれεを算出する。
【００３９】
【数３】
【００４０】
次に、非特許文献（安倍正人著、「自動車の運動と制御」）に記載されている前方注視モデルを用いて、前方注視点での目標コースからのずれεと操舵角δの伝達関数Ｈ（ｓ）を用いて、時刻ｔ０＋Δｔにおける前方注視点での目標コースからのずれεから、時刻ｔ０＋Δｔ操舵角δを推定する。伝達関数Ｈ（ｓ）は、以下の（６）式で表される。
【００４１】
【数４】
【００４２】
ただし、ｈ、τＩ、τＬ、τＤは、伝達関数の定数である。
【００４３】
ここで、前方注視点での目標コースからのずれεを、開眼状態における前方注視点での目標コースからのずれとして、推定された操舵角を、開眼状態における操舵角の推定値とする。
【００４４】
また、推定された時刻ｔ０＋Δｔにおける操舵角と、上記で算出された時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出し、算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【００４５】
操舵角推定部３０は、開閉眼判定部２４によって開眼状態であると判定された場合、図４に示すように、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの開眼状態における操舵角を推定し、メモリに記憶する。
【００４６】
操舵角推定部３０は、開閉眼判定部２４によって閉眼状態であると判定された場合、以下に説明するように、時刻ｔ０〜ｔ０＋ΔＴについて、閉眼状態における操舵角を推定する。
【００４７】
まず、開眼状態における操舵角を推定する場合と同様に、次の時刻ｔ０＋Δｔにおける車両位置、ヨー角速度、及び横滑り角を算出し、次の時刻ｔ０＋２・Δｔにおける車両の位置を算出する。
【００４８】
そして、閉眼状態における目標コースからのずれとして、前方注視点での目標コースからのずれεを０とし、上記（６）式の伝達関数Ｈ（ｓ）を用いて、時刻ｔ０＋Δｔにおける閉眼状態に対する操舵角δを推定する。
【００４９】
また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出し、算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【００５０】
操舵角推定部３０は、開閉眼判定部２４によって閉眼状態であると判定された場合、上記図４に示すように、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの閉眼状態における操舵角を推定し、メモリに記憶する。
【００５１】
誤差算出部３２は、操舵角推定部３０により時刻ｔ０〜時刻ｔ０＋ΔＴについて推定された操舵角と、センサ値取得部２６によって取得された時刻ｔ０〜時刻ｔ０＋ΔＴの操舵角とを、時刻毎に比較して差分を各々算出し、差分の移動平均を算出する。なお、操舵角の差分として、２乗誤差を算出するようにしてもよい。
【００５２】
開閉眼補正部３４は、算出された差分の移動平均と予め定められた閾値とを比較して、差分の移動平均が閾値以上である場合には、開閉眼判定部２４で判定された開閉眼状態を補正する。一方、差分の移動平均が閾値未満である場合には、開閉眼判定部２４で判定された開閉眼状態は補正されない。
【００５３】
居眠り状態判定部３６は、開閉眼補正部３４によって補正された、又は補正されなかった開閉眼状態の判定結果の時系列データから、瞬目特徴量として、所定時間内の閉眼時間を算出し、算出された閉眼時間について閾値判断を行って、ドライバが居眠り状態であるか否かを判定する。また、居眠り状態判定部３６は、ドライバが居眠り状態であると判定すると、居眠り状態であることを示す警告メッセージを表示装置４０に表示させる。
【００５４】
次に、第１の実施の形態に係る居眠り判定装置１０の作用について説明する。居眠り判定装置１０を搭載した車両の走行中に、コンピュータ２０において、図５に示す居眠り判定処理ルーチンが実行される。
【００５５】
まず、ステップ１００で、開閉眼状態を判定する処理を行う。上記ステップ１００は、図６に示す開閉眼判定処理ルーチンによって実現される。以下、開閉眼判定処理ルーチンについて説明する。
【００５６】
ステップ１１８において、時刻を表わす変数ｔに、現在時刻ｔ０を初期値として設定する。そして、ステップ１２０において、撮像装置１１によって撮像された目画像を取得する。次のステップ１２２では、ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８の各々から出力された信号を取得して、メモリに記憶する。そして、ステップ１２４で、所定時間ΔＴ経過したと判定されるまで、上記ステップ１２２を繰り返し、所定時間ΔＴ経過すると、ステップ１２６へ進む。これによって、所定時間ΔＴ分のヨー角速度信号、横加速度信号、車速信号、及び操舵角信号が、メモリに記憶される。
【００５７】
ステップ１２６では、上記ステップ１２０で取得した目画像から瞼開度を検出し、ステップ１２８において、上記ステップ１２６で検出された瞼開度と閉眼閾値とを比較して、ドライバの開閉眼状態を判定する。
【００５８】
そして、ステップ１３０で、時刻ｔを次の時刻（ｔ＋Δｔ）に設定し、ステップ１３２において、コンピュータ２０で逐次算出されている自車両の位置から、時刻ｔ（＝ｔ０＋Δｔ）における自車両の位置を取得する。
【００５９】
次のステップ１３４では、上記ステップ１２８において開眼状態であると判定された否かを判定する。開眼状態であると判定されていた場合に、ステップ１３６において、上記ステップ１２２で取得された時刻ｔ０〜時刻ｔ０＋ΔＴのヨー角速度センサ１２、横加速度センサ１４、及び車速センサ１６の出力の各々にフィルタを掛けて得られた値に基づいて、上記ステップ時刻ｔ０〜時刻ｔ０＋ΔＴまでの自車両の目標コースの位置を推定する。
【００６０】
そして、ステップ１３８では、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。ｔ＝ｔ０＋Δｔである場合には、上記ステップ１２２で取得した時刻ｔのセンサ値と、上記ステップ１３２で取得した時刻ｔの車両位置とに基づいて、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。それ以外の場合には、後述するステップ１４２で推定された時刻ｔの開眼状態における操舵角と、前回のステップ１３８で算出した時刻ｔの車両位置とに基づいて、車両モデルに従って、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。
【００６１】
そして、ステップ１４０において、上記ステップ１３６で推定された時刻ｔにおける目標コースの位置と、上記ステップ１３２で取得した時刻ｔにおける自車両の位置、又は上記ステップ１３８で算出された自車両の位置とに基づいて、前方注視点における目標コースからのずれを算出する。
【００６２】
次のステップ１４２では、上記ステップ１４０で算出された前方注視点における目標コースからのずれに基づいて、時刻ｔの開眼状態における操舵角を推定して、メモリに記憶する。
【００６３】
そして、ステップ１４４において、時刻ｔが、ｔ０＋ΔＴに到達したか否かを判定し、ｔ０＋ΔＴに達していない場合には、ステップ１４６において、時刻ｔを、次の時刻ｔ＋Δｔに設定し、ステップ１３８へ戻る。一方、時刻ｔが、ｔ０＋ΔＴに到達した場合には、ステップ１５６へ進む。
【００６４】
一方、上記ステップ１３４において、判定結果が閉眼状態であったと判定された場合、ステップ１４８へ進み、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。ｔ＝ｔ０＋Δｔの場合には、上記ステップ１２２で取得した時刻ｔのセンサ値と、上記ステップ１３２で取得した時刻ｔの車両位置とに基づいて、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。それ以外の場合には、後述するステップ１５０で推定された時刻ｔの閉眼状態における操舵角と、前回のステップ１４８で算出した時刻ｔの車両位置とに基づいて、車両モデルに従って、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。
【００６５】
そして、ステップ１５０では、目標コースからのずれを０として、時刻ｔの閉眼状態における操舵角を推定して、メモリに記憶する。
【００６６】
そして、ステップ１５２において、時刻ｔが、ｔ０＋ΔＴに到達したか否かを判定し、ｔ０＋ΔＴに達していない場合には、ステップ１５４において、時刻ｔを、次の時刻ｔ＋Δｔに設定し、ステップ１４８へ戻る。一方、時刻ｔが、ｔ０＋ΔＴに到達した場合には、ステップ１５６へ進む。
【００６７】
ステップ１５６では、上記ステップ１２２で取得した時刻ｔ０＋Δｔ〜ｔ０＋ΔＴまでの操舵角信号が示す操舵角と、上記ステップ１４２又はステップ１５０で推定された時刻ｔ０＋Δｔ〜ｔ０＋ΔＴまでの開閉眼状態の判定結果に対する操舵角とを、時刻毎に比較して差分を算出し、差分の移動平均を算出する。
【００６８】
そして、ステップ１５８において、上記ステップ１５６で算出された差分の移動平均と、予め設定された閾値とを比較して、差分の移動平均が閾値未満である場合には、ドライバの開閉眼状態の判定結果を補正せずに、ステップ１６２へ移行する。一方、差分の移動平均が閾値以上である場合には、ステップ１６０において、ドライバの開閉眼状態の判定結果を補正する。例えば、上記ステップ１２８でドライバが開眼状態であると判定されていた場合には、閉眼状態であるとの判定結果に補正し、一方、上記ステップ１２８でドライバが閉眼状態であると判定されていた場合には、開眼状態であるとの判定結果に補正する。
【００６９】
そして、ステップ１６２では、上記ステップ１６０で補正された、又は補正されなかった開閉眼状態の判定結果をメモリに記憶して、開閉眼判定処理ルーチンを終了する。
【００７０】
そして、上記図５の居眠り判定処理ルーチンのステップ１０２では、処理開始から所定時間経過したか否かを判定し、経過していない場合には、再びステップ１００で、開閉眼状態を判定する処理を行う。一方、処理開始から所定時間経過した場合には、ステップ１０４へ進む。このとき、所定時間分の開閉眼状態の判定結果がメモリに記憶されている。
【００７１】
ステップ１０４では、所定時間分の開閉眼状態の判定結果に基づいて、所定時間内における閉眼時間を計測する。そして、ステップ１０６において、上記ステップ１０４で計測された閉眼時間が、閾値以上であるか否かを判定する。閉眼時間が閾値以上であると判定された場合には、ドライバが居眠り状態であると判定されるため、ステップ１０８で、ドライバが居眠り状態であることを示す警告メッセージを表示装置４０に表示させて、居眠り判定処理ルーチンを終了する。一方、上記ステップ１０６において、閉眼時間が閾値未満である場合には、ドライバが居眠り状態ではないと判定されるため、ステップ１１０において、ドライバの状態が正常状態であることを示すメッセージを表示装置４０に表示させて、居眠り判定理ルーチンを終了する。
【００７２】
以上説明したように、第１の実施の形態に係る居眠り判定装置によれば、判定されたドライバの開閉眼状態に対する操舵角を推定し、センサによって検出された操舵角と比較した比較結果に基づいて、判定されたドライバの開閉眼状態を補正することにより、ドライバの開閉眼状態を精度よく判定することができる。また、その判定結果を用いて、ドライバの居眠り状態を精度よく判定することができる。
【００７３】
また、ドライバの目画像から判定された開閉眼状態と検出された車両挙動状態とに基づき推定された操舵角と、センサにより検出された操舵角を比較することにより、目画像から判定された開閉眼状態の確からしさを表わす指標として、誤差を算出することができる。算出された誤差に基づき目画像から判定された開閉眼状態を補正するため、目画像のみから開閉眼状態を判定する場合に比べ、高精度にドライバの開閉眼状態を判定できるようになる。
【００７４】
次に、第２の実施の形態について説明する。第２の実施の形態に係る居眠り判定装置の構成は、第１の実施の形態と同様であるため、説明を省略する。
【００７５】
第２の実施の形態では、一般化予測制御理論を用いて、開眼状態における操舵角を推定している点が、第１の実施の形態と異なっている。
【００７６】
第２の実施の形態における、開眼状態に対する操舵角を推定する原理について説明する。本実施の形態では、非特許文献（堀内伸一郎、砂田圭、「車線追従のための操舵支援システムと多入力ドライバモデルを用いた評価」）に記載された、一般化予測制御理論を用いて、開眼状態における操舵角を推定する。
【００７７】
ドライバは、Ｍサンプル先までの横位置と操舵角の二乗和によって計算される、以下の（７）式で表される評価関数Ｊを最小にするように操舵すると仮定する。
【００７８】
【数５】
【００７９】
時刻ｔにおける目標コースを基準とした、車両モデルから算出された時刻ｔの自車両位置の横位置ｙに対して、上記（７）式で表される評価関数Ｊを最小にする操舵角δを求めて、時刻ｔの開眼状態における操舵角の推定値とする。
【００８０】
なお、上記（７）式の評価関数Ｊを最小とする操舵角を解く場合には、以下の（８）式に示す横位置ｙと操舵角δとの関係式と、以下の（９）式に示すセンサ値ｚと横位置ｙとの関係式とを用いて、リッカチ方程式を解くことにより、解を求める。
【００８１】
【数６】
【００８２】
ただし、Ａ、Ｂは、信号を１時刻遅らせる時間遅れ演算子ｑ−１によって記述される多項式である。また、Ｃは、センサ値ｚと横位置ｙとの関係を表わす定数である。
【００８３】
また、上記（８）式は、以下の（１０）〜（１２）式から得られる関係式である。
【００８４】
【数７】
【００８５】
上記（１０）式は、車両モデルに基づくヨー角速度ｒ、横位置速度ｖｙ、及び操舵角δの関係を表わす関係式であり、上記（１１）式は、前方偏差εに関する関係式である。また、上記（１２）式は、前方偏差速度εのドットに関する関係式であり、上記（１３）式は、ヨー角速度θに関する関係式である。
【００８６】
操舵角推定部３０は、開閉眼判定部２４によって開眼状態であると判定された場合、第１の実施の形態と同様に、次の時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角を算出し、次の時刻ｔ０＋２・Δｔにおける自車両の位置を算出する。
【００８７】
そして、時刻ｔ０＋Δｔにおける目標コースと、算出された自車両の位置とに基づいて、目標誤差として、目標コースに対する自車両の横位置を算出する。
【００８８】
次に、時刻ｔ０＋Δｔにおける自車両の横位置に基づいて、上記の評価関数Ｊを最小にする操舵角を算出し、時刻ｔ０＋Δｔの開眼状態における操舵角として推定する。
【００８９】
また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出する。算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【００９０】
操舵角推定部３０は、開閉眼判定部２４によって開眼状態であると判定された場合、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの開眼状態における操舵角を推定し、メモリに記憶する。
【００９１】
操舵角推定部３０は、開閉眼判定部２４によって閉眼状態であると判定された場合、第１の実施の形態と同様に、次の時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角を算出し、次の時刻ｔ０＋２・Δｔにおける自車両の位置を算出する。
【００９２】
そして、目標誤差が一定であると仮定して、時刻ｔ０における目標コースと、時刻ｔ０に算出された自車両の位置とに基づいて得られる目標コースに対する自車両の横位置（目標誤差）を、次の時刻ｔ０＋Δｔ以降における横位置とする。
【００９３】
次に、自車両の横位置に基づいて、上記の評価関数Ｊを最小にする操舵角を算出し、次の時刻ｔ０＋Δｔの閉眼状態における操舵角として推定する。
【００９４】
また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出する。算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【００９５】
操舵角推定部３０は、開閉眼判定部２４によって閉眼状態であると判定された場合、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの閉眼状態における操舵角を推定し、メモリに記憶する。
【００９６】
なお、第２の実施の形態に係る居眠り判定装置の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。
【００９７】
このように、センサによって検出された走行状態及び操作状態から、ドライバモデルとして一般化予測制御理論を用いて、開閉眼状態の判定結果に対する操舵角を推定することができる。
【００９８】
なお、上記の第１の実施の形態〜第２の実施の形態では、計測された閉眼時間が閾値以上である場合に、居眠り状態であると判定する場合を例に説明したが、これに限定されるものではなく、複数の計測結果から得られる平均閉眼時間が閾値以上である場合に、居眠り状態であると判定するようにしてもよい。
【００９９】
また、瞬目特徴量として閉眼時間を求める場合を例に説明したが、これに限定されるものではなく、例えば、ＰＥＲＣＬＯＳ（単位時間に対する閉眼時間の割合）などを算出し、算出されたＰＥＲＣＬＯＳを用いて、居眠り状態であるか否かを判定してもよい。
【０１００】
また、操舵角の誤差の移動平均が閾値以上である場合に、開閉眼状態の判定結果を補正する場合を例に説明したが、これに限定されるものではなく、操舵角の誤差の移動平均が閾値以上である場合に、一方の開閉眼状態の判定結果のみを補正するようにしてもよい。例えば、閉眼状態であるとの判定結果のみを、開眼状態であるとの判定結果に補正し、開眼状態であるとの判定結果については補正しないようにしてもよい。
【０１０１】
また、センサ値を用いて、目標コースの位置を推定する場合を例に説明したが、これに限定されるものではなく、自車両の前方を撮像するように設置された撮像装置からの前方画像に基づいて、目標コースの位置を推定するようにしてもよい。この場合には、前方画像から推定された目標コースの位置に基づいて、前方注視点における目標コースとの位置ずれや、目標コースに対する自車両の横位置を推定することができる。
【０１０２】
また、閉眼状態のドライバモデルとして、前方注視点における目標コースとのずれを０とした場合や、目標コースに対する自車両の横位置を一定とした場合を例に説明したが、これに限定されるものではない。例えば、前方注視点における目標コースとのずれが一定となる（更新されない）と仮定して、閉眼状態における操舵角を推定するようにしてもよい。また、操舵角が一定となると仮定して、閉眼状態における操舵角を推定するようにしてもよい。また、操舵トルクが一定となると仮定して、閉眼状態における操舵角を推定するようにしてもよい。
【０１０３】
また、検出する操作状態又は走行状態として、ヨー角速度、横加速度、車速、及び操舵角を採用した場合を例に説明したが、これに限定されるものではない。例えば、走行状態として、車速、ヨー角速度、横滑り角、横加速度、及びこれらの値に簡易に変換可能な走行状態量の少なくとも１種類以上を検出するようにしてもよい。また、操作状態として、操舵角、実舵角、操舵トルク、アクセルペダル操作量、及びブレーキペダル操作量の少なくとも１種類以上を検出するようにしてもよい。この場合には、検出された走行状態、又は検出された走行状態及び操作状態を用いて、開閉眼状態の判定結果に対する操作状態を推定するようにすればよい。
【０１０４】
なお、本発明のプログラムは、記憶媒体に格納して提供することができる。
【符号の説明】
【０１０５】
１０ 居眠り判定装置
１１ 撮像装置
１２ ヨー角速度センサ
１４ 横加速度センサ
１６ 車速センサ
１８ 操舵角センサ
２０ コンピュータ
２４ 開閉眼判定部
２４ 目標コース推定部
２６ センサ値取得部
２８ 目標コース推定部
３０ 操舵角推定部
３２ 誤差算出部
３４ 開閉眼補正部
３６ 居眠り状態判定部
【特許請求の範囲】
【請求項１】
自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段と、
前記ドライバの眼を含む領域を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段と、
前記状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、前記開閉眼状態判定手段によって判定された前記ドライバの開閉眼状態に対する前記操作状態を推定する操作状態推定手段と、
前記操作状態推定手段によって推定された前記操作状態と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記判定された前記ドライバの開閉眼状態を補正する開閉眼状態補正手段と、
を含む開閉眼状態判定装置。
【請求項２】
前記判定された前記ドライバの開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定する居眠り判定手段を更に含む請求項１記載の開閉眼状態判定装置。
【請求項３】
前記判定された前記ドライバの開閉眼状態の時系列データに基づいて、瞬目特徴量を算出する特徴量算出手段を更に含む請求項１又は２記載の開閉眼状態判定装置。
【請求項４】
前記状態検出手段は、自車両の走行状態として、ヨー角速度又は横加速度の少なくとも一方、及び車速を検出し、前記操作状態として、操舵角を検出し、
前記操作状態推定手段は、前記開閉眼状態判定手段によって開眼状態であると判定された場合に、前記検出されたヨー角速度又は横加速度の少なくとも一方、及び車速に基づいて、前方注視点における目標コースからのずれを推定すると共に、前方注視モデルに従って、推定された前方注視点における目標コースからのずれに基づいて開眼状態に対する操舵角を推定し、前記開閉眼状態判定手段によって閉眼状態であると判定された場合に、前方注視点における目標コースからのずれを所定値として、閉眼状態に対する操舵角を推定する請求項１〜請求項３の何れか１項記載の開閉眼状態判定装置。
【請求項５】
前記状態検出手段は、自車両の走行状態として、ヨー角速度又は横加速度の少なくとも一方、及び車速を検出し、前記操作状態として、操舵角を検出し、
前記操作状態推定手段は、前記開閉眼状態判定手段によって開眼状態であると判定された場合に、前記検出されたヨー角速度又は横加速度の少なくとも一方、及び車速に基づいて、目標コースに対する自車両の横位置を推定すると共に、推定された目標コースに対する自車両の横位置に基づいて開眼状態に対する操舵角を推定し、前記開閉眼状態判定手段によって閉眼状態であると判定された場合に、目標コースに対する自車両の横位置を所定値として、閉眼状態に対する操舵角を推定する請求項１〜請求項３の何れか１項記載の開閉眼状態判定装置。
【請求項６】
コンピュータを、
ドライバの眼を含む領域を撮像する撮像手段により撮像された画像に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段、
自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、前記開閉眼状態判定手段によって判定された前記ドライバの開閉眼状態に対する前記操作状態を推定する操作状態推定手段、及び
前記操作状態推定手段によって推定された前記操作状態と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記判定された前記ドライバの開閉眼状態を補正する開閉眼状態補正手段
として機能させるためのプログラム。
【請求項１】
自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段と、
前記ドライバの眼を含む領域を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段と、
前記状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、前記開閉眼状態判定手段によって判定された前記ドライバの開閉眼状態に対する前記操作状態を推定する操作状態推定手段と、
前記操作状態推定手段によって推定された前記操作状態と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記判定された前記ドライバの開閉眼状態を補正する開閉眼状態補正手段と、
を含む開閉眼状態判定装置。
【請求項２】
前記判定された前記ドライバの開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定する居眠り判定手段を更に含む請求項１記載の開閉眼状態判定装置。
【請求項３】
前記判定された前記ドライバの開閉眼状態の時系列データに基づいて、瞬目特徴量を算出する特徴量算出手段を更に含む請求項１又は２記載の開閉眼状態判定装置。
【請求項４】
前記状態検出手段は、自車両の走行状態として、ヨー角速度又は横加速度の少なくとも一方、及び車速を検出し、前記操作状態として、操舵角を検出し、
前記操作状態推定手段は、前記開閉眼状態判定手段によって開眼状態であると判定された場合に、前記検出されたヨー角速度又は横加速度の少なくとも一方、及び車速に基づいて、前方注視点における目標コースからのずれを推定すると共に、前方注視モデルに従って、推定された前方注視点における目標コースからのずれに基づいて開眼状態に対する操舵角を推定し、前記開閉眼状態判定手段によって閉眼状態であると判定された場合に、前方注視点における目標コースからのずれを所定値として、閉眼状態に対する操舵角を推定する請求項１〜請求項３の何れか１項記載の開閉眼状態判定装置。
【請求項５】
前記状態検出手段は、自車両の走行状態として、ヨー角速度又は横加速度の少なくとも一方、及び車速を検出し、前記操作状態として、操舵角を検出し、
前記操作状態推定手段は、前記開閉眼状態判定手段によって開眼状態であると判定された場合に、前記検出されたヨー角速度又は横加速度の少なくとも一方、及び車速に基づいて、目標コースに対する自車両の横位置を推定すると共に、推定された目標コースに対する自車両の横位置に基づいて開眼状態に対する操舵角を推定し、前記開閉眼状態判定手段によって閉眼状態であると判定された場合に、目標コースに対する自車両の横位置を所定値として、閉眼状態に対する操舵角を推定する請求項１〜請求項３の何れか１項記載の開閉眼状態判定装置。
【請求項６】
コンピュータを、
ドライバの眼を含む領域を撮像する撮像手段により撮像された画像に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段、
自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、前記開閉眼状態判定手段によって判定された前記ドライバの開閉眼状態に対する前記操作状態を推定する操作状態推定手段、及び
前記操作状態推定手段によって推定された前記操作状態と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記判定された前記ドライバの開閉眼状態を補正する開閉眼状態補正手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−２６７２０６（Ｐ２０１０−２６７２０６Ａ）
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願番号】特願２００９−１１９９６４（Ｐ２００９−１１９９６４）
【出願日】平成２１年５月１８日（２００９．５．１８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願日】平成２１年５月１８日（２００９．５．１８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]