説明

運転者状態推定装置

【課題】リアルタイムで運転者の状態を高精度に推定する運転者状態推定装置を提供することを課題とする。
【解決手段】運転者の状態を推定する運転者状態推定装置であって、走行レーンに対する車両の位置のオフセットを検出する位置オフセット検出手段と、走行レーンに対する車両のヨー角を検出するヨー角検出手段と、位置オフセット検出手段で検出した位置のオフセットを積分する位置オフセット積分手段と、ヨー角検出手段で検出したヨー角を積分するヨー角積分手段と、位置オフセット積分手段で求めた位置のオフセットの積分値とヨー角積分手段で求めたヨー角の積分値に基づいて運転者の状態を推定する推定手段とを備えることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転者状態推定装置に関する。
【背景技術】
【0002】
運転支援装置などに利用するために、運転者の覚醒度状態、疲労状態などの運転者の状態を推定する装置が各種提案されている。特許文献1に記載されている装置では、車両の車幅方向の動作量(横変位)を継続的に検出し、この車幅方向の動作量を周波数変換して各周波数成分パワー(周波数スペクトル)を求める。さらに、各周波数成分パワーの和より得られる第1の値を求めるとともに運転者の覚醒度が低下した状態で顕在化する車両の横変位のふらつき周波数を含む所定の周波数領域における周波数成分パワーの最大値を第2の値として求め、第1の値と第2の値との比から得られる評価値に基づいて運転者の覚醒度を判断する。
【特許文献1】特開2002−154345号公報
【特許文献2】特開平5−58192号公報
【特許文献3】特開平10−100734号公報
【特許文献4】特開平5−178115号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
周波数変換によって周波数スペクトルを求める場合、ノイズがのり易く、信号の変動に対して敏感に反応する。そのため、上記の評価値のような状態を推定するための指標が、車両の諸元や運転者の個人差などによる影響を受け(ロバスト性が低い)、推定精度が低下する。さらに、運転者の状態を高精度に推定するためには、長時間継続的に検出した車幅方向の動作量から周波数スペクトルを求める必要がある。そのため、過去に長時間検出された多数のデータを記憶し、その多数のデータに対して周波数変換して周波数スペクトルを求めるので、演算コストが非常に大きくなり、リアルタイムでの推定が困難となる。しかし、運転支援装置によって各種運転支援を行う場合、運転者の状態をリアルタイムで推定した上で、そのリアルタイムの運転者の状態に基づいて支援内容を決定することにより、運転者に違和感を与えない適切な支援を行うことができる。
【0004】
そこで、本発明は、リアルタイムで運転者の状態を高精度に推定する運転者状態推定装置を提供することを課題とする。
【課題を解決するための手段】
【0005】
本発明に係る運転者状態推定装置は、走行レーンに対する車両の位置のオフセットを検出する位置オフセット検出手段と、走行レーンに対する車両のヨー角を検出するヨー角検出手段と、位置オフセット検出手段で検出した位置のオフセットを積分する位置オフセット積分手段と、ヨー角検出手段で検出したヨー角を積分するヨー角積分手段と、位置オフセット積分手段で求めた位置のオフセットの積分値とヨー角積分手段で求めたヨー角の積分値に基づいて運転者の状態を推定する推定手段とを備えることを特徴とする。
【0006】
この運転者状態推定装置では、位置オフセット検出手段により走行レーンに対する車両の位置のオフセットを検出するとともに、ヨー角検出手段により走行レーンに対する車両のヨー角を検出する。さらに、運転者状態推定装置では、位置オフセット積分手段により走行レーンに対する位置オフセットを積分するとともに、ヨー角積分手段により走行レーンに対するヨー角を積分する。この位置オフセットの積分値やヨー角の積分値は、車両の走行レーンに対する収束性を判断する指標となる。これらの積分値が大きいほど、走行レーンに対する車両の収束性が悪く、運転者の運転(操舵操作)が不安定であると推定できる。そこで、運転者状態推定装置では、推定手段により位置オフセットの積分値とヨー角の積分値を指標として運転者の状態(例えば、疲れ、居眠り、覚醒度)を推定する。積分演算では、前回の積分値に対して加算演算を順次行ってゆけばよいので、周波数スペクトルを求める場合のように過去の多数のデータを保持し、その多数のデータに対して演算を行わなくてよい。したがって、運転者状態推定装置では、演算コストを低減でき、リアルタイムで運転者の状態を推定することができる。また、位置オフセットの積分値及びヨー角の積分値を運転者状態推定の指標とするので、ロバスト性が高く、車両の諸元や運転者の個人差などによる影響を受け難い。さらに、位置オフセットにヨー角も加味して車両の収束性を判断するので、走行レーンに対する位置の収束性に加えて、走行レーンに対するオーバーシュートにも対応することができる。したがって、運転者状態推定装置では、高精度に運転者の状態を推定することができる。
【0007】
本発明の上記運転者状態推定装置では、操舵速度を検出する操舵速度検出手段と、操舵速度検出手段で検出した操舵速度が閾値以上か否かを判定する判定手段とを備え、判定手段で操舵速度が閾値以上と判定した場合に運転者の状態を推定すると好適である。
【0008】
この運転者状態推定装置では、操舵速度検出手段により車両の操舵速度を検出する。運転者が疲れたときや覚醒度が低下してきたときなどには、運転者が急な操舵操作を行う傾向がある。そこで、運転者状態推定装置では、操舵速度が閾値以上と判定した場合(急操舵の場合)に運転者の状態を推定する。このように、運転者状態推定装置では、運転者の状態推定を常時行うのではなく、運転者の状態に変化がある可能性が高い場合にだけ推定を行うので、適切なタイミングで状態推定を行うことができる。その結果、誤推定を防止でき、演算コストも低減することができる。
【発明の効果】
【0009】
本発明は、位置オフセットの積分値とヨー角の積分値を指標として運転者の状態推定を行うことにより、リアルタイムで運転者の状態を高精度に推定することができる。
【発明を実施するための最良の形態】
【0010】
以下、図面を参照して、本発明に係る運転者状態推定装置の実施の形態を説明する。
【0011】
本実施の形態では、本発明に係る運転者状態推定装置を、車両に搭載される運転者疲れ推定装置に適用する。本実施の形態に係る運転者疲れ推定装置は、運転者が疲れているか否かを推定し、その推定結果を運転支援装置に提供する。本実施の形態には、2つの形態があり、第1の実施の形態がレーンオフセットとヨー角を用いて推定を行う形態であり、第2の実施の形態が更に操舵速度も用いて推定を行う形態である。
【0012】
図1〜図4を参照して、第1の実施の形態に係る運転者疲れ推定装置1について説明する。図1は、第1の実施の形態に係る運転者疲れ推定装置の構成図である。図2は、レーンオフセットの時間変化の一例である。図3は、レーンオフセットの積分値とヨー角の積分値からなる車両軌道の指標を示す図である。図4は、符号を考慮したレーンオフセットの積分値とヨー角の積分値からなる車両軌道の指標を示す図である。
【0013】
運転者疲れ推定装置1は、車両の走行レーンに対するレーンオフセットとヨー角の各積分値から車両軌道の指標を生成し、この車両軌道の指標に基づいて運転者が疲れているか否かを判定する。そのために、運転者疲れ推定装置1は、レーン認識センサ10及びECU[Electronic Control Unit]21を備えている。
【0014】
なお、第1の実施の形態では、レーン認識センサ10が特許請求の範囲に記載する位置オフセット検出手段及びヨー角検出手段に相当し、ECU21における各処理が特許請求の範囲に記載する位置オフセット積分手段、ヨー角積分手段及び推定手段に相当する。
【0015】
運転者が疲れてくると、不安定な運転(特に、操舵操作)となり、走行レーンに対して収束性が悪化する。この車両の収束性を判断するためには、走行レーンの中心線に対する車両の横位置(すなわち、レーンオフセット)の時間変化S(t)を評価する必要がある。
【0016】
図2には、レーンオフセットの初期値D0とした場合、3台の車両(3人の運転者)についての初期値D0からのレーンオフセットの時間変化S1(t),S2(t),S3(t)を示している。走行レーンの中心線に対する車両の横位置の収束性を評価するために、レーンオフセットの各時間変化S1(t),S2(t),S3(t)について、式(1)により時間=0(初期値D0の時)から任意の時間Tまでの時間積分をそれぞれ行う。この各積分値ZONE_LANEは、レーンオフセットの各時間変化S1(t),S2(t),S3(t)と時間軸との間の面積に相当し、この面積が小さいほど収束性が良い。
【数1】

【0017】
図2の例では、レーンオフセットの時間変化S2(t)による面積(すなわち、積分値)は、レーンオフセットの時間変化S1(t)による面積より小さい。したがって、レーンオフセットの時間変化S2(t)の車両の方が、レーンオフセットの時間変化S1(t)の車両より、収束性としては良く、その車両の運転者は疲れていないと推測できる。
【0018】
また、図2の例では、レーンオフセットの時間変化S2(t)による面積は、レーンオフセットの時間変化S3(t)による面積とほぼ同じである。しかし、レーンオフセットの時間変化S3(t)の車両では、走行レーンの中心線に対してオーバーシュートしており、この車両の運転者の運転が不安定になっていることが判る。したがって、レーンオフセットの時間変化S3(t)の車両の方が、レーンオフセットの時間変化S2(t)の車両より、収束性としては悪く、その車両の運転者は疲れていると推測できる。
【0019】
このような車両の横方向の動きの違いを判断するためには、走行レーンの中心線に対するヨー角の時間変化θ(t)も評価する必要がある。そこで、このヨー角の時間変化θ(t)についても、式(2)により時間=0から任意の時間Tまでの時間積分を行う。この積分値ZONE_YAWは、その値が小さいほど操舵が安定しており、収束性がよい。
【数2】

【0020】
図2の例では、時間変化S3(t)の車両はオーバーシュートしているので、その車両についてのヨー角の積分値ZONE_YAWは、時間変化S2(t)の車両についてのヨー角の積分値ZONE_YAWより大きくなる。したがって、時間変化S3(t)の車両の方が、時間変化S2(t)の車両より、車両の収束性としては悪く、その車両の運転者は疲れていると推測できる。
【0021】
運転者が疲れておらず、安定した操舵操作している場合、走行レーンの中心線に対して収束性が良い。したがって、レーンオフセットの積分値ZONE_LANEとヨー角の積分値ZONE_YAWの両方が小さくなる。しかし、運転者が疲れてきた場合、不安定な操舵操作となり、走行レーンの中心線に対して収束性が悪化する。したがって、レーンオフセットの積分値ZONE_LANEが大きくなり、オーバーシュートなどによってヨー角の積分値ZONE_YAWも大きくなる。
【0022】
つまり、運転中にリアルタイムで取得されるレーンオフセットの積分値ZONE_LANEとヨー角の積分値ZONE_YAWは、運転者の運転状況(疲れたか否か)と大きな相関を有していると考えられる。したがって、レーンオフセットの積分値ZONE_LANEとヨー角の積分値ZONE_YAWをリアルタイムで管理すれば、運転者の疲れを推定することができる。
【0023】
そこで、レーンオフセットの積分値ZONE_LANEとヨー角の積分値ZONE_YAWから車両軌道の指標を生成し、この車両軌道の指標から運転者の疲れを判断する。図3には、横軸をレーンオフセットの積分値ZONE_LANEとし、縦軸をヨー角の積分値ZONE_YAWとして、車両軌道の指標を二次元平面の各点として示している。上記したように、小さいレーンオフセットの積分値ZONE_LANEと小さいヨー角の積分値ZONE_YAWほど、収束性が良く、運転者が疲れていないと判定できる。
【0024】
そこで、図3に示すように、ZONE_LANEとZONE_YAWがそれぞれ所定値以下の判定領域CA(斜線領域)を設け、車両軌道の指標(二次元平面上の各点)が判定領域CA内に入るか否かによって運転者が疲れているか否かを判定できる。図3の例の場合、判定領域CA内に存在する車両軌道の指標ID2を示す車両の運転者は疲れていないと判定され、判定領域CA外に存在する車両軌道の指標ID1、ID3を示す各車両の運転者は疲れていると判定される。
【0025】
図4には、レーンオフセットS(t)とヨー角θ(t)の符号も考慮して、横軸をレーンオフセットの積分値ZONE_LANEとし、縦軸をヨー角の積分値ZONE_YAWとして、車両軌道の指標を二次元平面の各点として示している。図4の場合、0を中心して4つの象限(第1象限がS(t)>0、θ(t)>0であり、第2象限がS(t)<0、θ(t)>0であり、第3象限がS(t)<0、θ(t)<0であり、第4象限がS(t)>0、θ(t)<0である)があるので、0を中心にして判定領域CA(斜線領域)が設けられる。図4の例の場合、判定領域CA内に存在する車両軌道の指標ID6、ID7、ID8、ID9を示す各車両の運転者は疲れていないと判定され、判定領域CA外に存在する車両軌道の指標ID4、ID5を示す各車両の運転者は疲れていると判定される。
【0026】
なお、車両軌道の指標としては、レーンオフセットの積分値ZONE_LANEとヨー角の積分値ZONE_YAWとを1対1とした指標としてもよいし、あるいは、1対1以外の任意の割合の指標としてもよい。以下で、運転者疲れ推定装置1についての各部について具体的に説明する。
【0027】
レーン認識センサ10は、カメラと画像処理装置からなる。カメラは、CCD[Charge Coupled Device]などを用いたステレオカメラあるいは単眼カメラである。カメラは、車両の前方に取り付けられる。この際、カメラは、その光軸方向が車両の進行方向と一致するように取り付けられる。カメラでは、車両の前方の道路を撮像し、その撮像したカラー画像(例えば、RGB[RedGreen Blue]による画像)を取得する。カメラでは、一定時間毎に、その撮像画像のデータを画像処理装置に送信する。カメラは、左右方向に撮像範囲が広く、走行しているレーン(車線)を示す左右両側(一対)の白線を十分に撮像可能である。なお、カメラはカラーであるが、道路上の白線を認識できる画像を取得できればよいので、白黒のカメラでもよい。
【0028】
画像処理装置では、一定時間毎に、カメラから撮像画像のデータを取り入れ、撮像画像から車両が走行しているレーンを示す一対の白線を認識する。撮像画像では、路面とその上に描かれた白線との輝度差が大きいことから、白線をエッジ検出などによって比較的検出しやすく、車両前方のレーンを検出するのに都合がいい。
【0029】
そして、画像処理装置では、認識した一対の白線からレーン幅、一対の白線の中心を通る線(すなわち、レーンの中心線)を演算する。さらに、画像処理装置では、レーンの中心線の半径(カーブ半径R(t))を演算し、カーブ半径Rから曲率γ(t)(=1/R(t))を演算する。また、画像処理装置では、レーンの中心線と車両の前後方向の中心軸とのなす角度(すなわち、ヨー角θ(t))及びレーンの中心線に対する車両重心位置の横方向のずれ量(すなわち、レーンオフセットS(t))を演算する。そして、画像処理装置では、一定時間毎に、これら認識した一対の白線の情報や演算した各情報をレーン情報信号としてECU21に送信する。なお、この画像処理装置を、ECU21内に組み込んでもよい。
【0030】
なお、カーブ半径R(t)、曲率γ(t)、ヨー角θ(t)、レーンオフセットS(t)は、プラス値/マイナス値で表され、その符号が方向を示す。これらの各レーン情報は、他のシステム(例えば、レーンキープ装置、車線逸脱警報装置)でも用いることができるので、レーン認識センサ10をこれらのシステムと共有して使用できる。
【0031】
ECU21は、CPU[Central ProcessingUnit]、ROM[Read Only Memory]、RAM[Random Access Memory]などからなる電子制御ユニットであり、運転者疲れ推定装置1を統括制御する。ECU21では、一定時間毎に、レーン認識センサ10からレーン情報信号を受信し、このレーン情報信号に基づいて運転者が疲れているか否かを判定する。
【0032】
運転者疲れ推定処理(メイン処理)について説明する。ECU21では、誤判定を防止するために、「運転者疲れ判定」を行う判定時間CHECK_TIME内で「疲れあり」と判定された回数によって、運転者が疲れたか否かを最終判断する。つまり、車両軌道の指標に基づいて「疲れあり」か否かを判定するが、「疲れあり」と1回だけ判定した場合には運転者が疲れたと最終判断するのでなく、「疲れあり」と数回判定した場合に運転者が疲れたと最終判断する。なお、判定時間CHECK_TIMEは、積分演算時間Tを所定回数分含む時間であり、予め設定される設計値である。
【0033】
「運転者疲れ判定」を開始すると、ECU21では、チェックタイマを始動するとともに、疲れ判定カウンタを0及び運転者疲れフラグをOFFに初期化する。なお、疲れ判定カウンタは、「疲れあり」と判定された回数を数えるためのカウンタである。
【0034】
「運転者疲れ判定」を開始してからのチェック時間が判定時間CHECK_TIME内の場合、ECU21では、積分演算時間T内でのレーンオフセットS(t)を時間積分するとともに、積分演算時間T内でのヨー角θ(t)を時間積分する。レーンオフセットS(t)とヨー角θ(t)はレーン認識センサ10でサンプリング時間Δt毎に検出されるので、ECU21での積分演算では、積分演算時間T内でΔt経過する毎にレーンオフセットの積分値ZONE_LANE(t)とヨー角の積分値ZONE_YAW(t)を順次更新してゆく。具体的には、積分が開始してからの積分時間が積分演算時間T内の場合、ECU21では、Δt毎に、レーンオフセットの積分値(前回値)ZONE_LANE(k)と検出されたレーンオフセットS(k)を用いて、式(3)によりレーンオフセットの積分値(今回値)ZONE_LANE(k+1)を演算する。また、ECU21では、Δt毎に、ヨー角の積分値(前回値)ZONE_YAW(k)と検出されたヨー角θ(k)を用いて、式(4)によりヨー角の積分値(今回値)ZONE_LANE(k+1)を演算する。なお、積分演算時間Tは、予め設定される設計値である。Δtは、レーンオフセット、ヨー角のサンプリング時間である。
【数3】

【0035】
さらに、ECU21では、レーンオフセットの積分値ZONE_LANE(k+1)とヨー角の積分値ZONE_LANE(k+1)を用いて、式(5)により車両軌道の指標を演算する。なお、式(5)のρは、車両軌道の指標におけるレーンオフセットとヨー角とのスケーリングファクタであり、予め設定される設計値である。
【数4】

【0036】
積分を開始してからの積分時間が積分演算時間Tを経過すると、ECU21では、車両軌道の指標が指標閾値LIMIT_RANGEを超えたか否かを判定する。車両軌道の指標が指標閾値LIMIT_RANGEを超えた場合(つまり、車両の走行レーンに対する収束性が悪い場合)、運転者に「疲れあり」と判断し、ECU21では、疲れ判定カウンタをインクリメントする。なお、指標閾値LIMIT_RANGEは、車両の収束性が悪いか否か(すなわち、運転者に「疲れあり」か否か)を判定するためのトリガ値であり、予め設定される設計値である。
【0037】
さらに、ECU21では、疲れ判定カウンタのカウント値が回数閾値Nを超えるか否かを判定する。疲れ判定カウンタのカウント値が回数閾値Nを超えた場合(つまり、運転者が疲れたと最終判断できる場合)、ECU21では、運転者疲れフラグをOFFからONに切り替える。なお、回数閾値Nは、「疲れあり」と所定回判定され、運転者が疲れたと最終的に判定するためのトリガ値であり、予め設定される設計値である。運転者疲れフラグは、運転者が疲れているのか否かをON/OFFで示すフラグである。
【0038】
チェック時間が判定時間CHECK_TIMEを経過すると、ECU21では、運転者に対する今回の「運転者疲れ判定」を終了する。この「運転者疲れ判定」については、連続的に行ってもよいし、あるいは、所定時間毎(例えば、30分毎、1時間毎)に行ってよい。
【0039】
なお、「運転者疲れ判定」における誤判定を防止するために、曲率γの大きいカーブ路や運転者が意図的に車両の走行目標を修正(例えば、車線変更、右左折、障害物回避)している場合には判定を行わない。曲率γの大きいカーブ路の判断は、レーン認識センサ10で検出した曲率γが所定値以上か否かで判断する。運転者が意図的に車両の走行目標を修正しているか否かの判断は、運転者によるブレーキ操作、ウインカ操作、操舵入力などから判断する。
【0040】
図1〜図4を参照して、運転者疲れ推定装置1における動作について説明する。特に、ECU21における処理については図5のフローチャートに沿って説明する。図5は、図1のECUにおける運転者疲れ推定処理の流れを示すフローチャートである。
【0041】
レーン認識センサ10では、一定時間毎に、カメラで車両の前方を撮像し、その撮像画像のデータを画像処理装置に出力する。画像処理装置では、撮像画像から走行レーンを区画する一対の白線を認識する。さらに、画像処理装置では、一対の白線からレーン幅、走行レーンの中心線、走行レーンの中心線のカーブ半径R(t)と曲率γ(t)、ヨー角θ(t)及びレーンオフセットS(t)を演算する。そして、レーン認識センサ10では、一定時間(Δt)毎に、これら一対の白線の情報や演算した各情報をレーン情報信号としてECU21に送信する。
【0042】
「運転者疲れ判定」を開始する毎に、ECU21では、疲れ判定カウンタを0に初期化するとともに、運転者疲れフラグをOFFに初期化する(S10)。また、ECU21では、チェックタイマを始動する(S11)。
【0043】
ECU21では、チェックタイマによるチェック時間が判定時間CHECK_TIME未満か否かを判定する(S12)。
【0044】
S12にてチェック時間が判定時間CHECK_TIME未満と判定した場合(「運転者疲れ判定」中)、積分を開始する毎に、ECU21では、積分用タイマを始動するとともに、積分用カウンタkを1に初期化する(S13)。
【0045】
積分中、ECU21では、積分用タイマによる積分時間が積分演算時間T未満か否かを判定する(S14)。S14にて積分時間が積分演算時間T未満と判定した場合(今回の積分中)、ECU21では、Δt毎に、今回入力されたレーンオフセットS(k)と前回求めたレーンオフセットの積分値ZONE_LANE(k)を用いて今回のレーンオフセットの積分値ZONE_LANE(k+1)を演算するとともに、今回入力されたヨー角θ(k)と前回求めたヨー角の積分値ZONE_YAW(k)を用いて今回のヨー角の積分値ZONE_YAW(k+1)を演算する(S15)。さらに、ECU21では、今回のレーンオフセットの積分値ZONE_LANE(k+1)と今回のヨー角の積分値ZONE_YAW(k+1)から車両軌道の指標を演算する(S15)。そして、ECU21では、積分用カウンタkをインクリメントし(S16)、S14の判定に戻る。
【0046】
S14にて積分時間が積分演算時間T以上と判定した場合(今回の積分が終了すると)、ECU21では、今回の積分による車両軌道の指標が指標閾値LIMIT_RANGEを超えたか否かを判定する(S17)。S17にて車両軌道の指標が指標閾値LIMIT_RANGE以下と判定した場合(車両の収束性が良い場合)、ECU21では、S12の判定に戻る。
【0047】
S17にて車両軌道の指標が指標閾値LIMIT_RANGEを超えたと判定した場合(車両の収束性が悪い場合)、「疲れあり」と判定し、ECU21では、疲れ判定カウンタをインクリメントする(S18)。さらに、ECU21では、疲れ判定カウンタのカウンタ値が回数閾値Nを超えたか否かを判定する(S19)。S19にてカウンタ値が回数閾値N以下と判定した場合、運転者が疲れたとは未だ判定できないので、ECU21では、S12の判定に戻る。
【0048】
S19にてカウンタ値が回数閾値Nを超えたと判定した場合、運転者が疲れたと最終判断し、ECU21では、運転者疲れフラグにONを設定する(S20)。そして、ECU21では、運転者疲れフラグのONに基づいて、運転者が疲れているとの情報を運転支援装置に送信する。
【0049】
S12にてチェック時間が判定時間CHECK_TIME以上と判定した場合又は運転者疲れフラグにONを設定した場合、今回の「運転者疲れ判定」を終了する。
【0050】
この運転者疲れ推定装置1によれば、レーンオフセットの積分演算とヨー角の積分演算を用いて運転者の疲れを推定するための指標を求めることにより、演算コストを低減でき、リアルタイムで運転者の状態を推定することができる。つまり、積分演算では、前回の積分値に対して今回サンプリングされたレーンオフセットやヨー角を用いて加算演算を順次行ってゆけばよいので、多数のデータに対する演算を一度に行わなくてよい。そのため、多数の過去のデータを記憶しておく必要がなく、リアルタイムで積分値(ひいては、車両軌道の指標)を求めることができる。例えば、レーンオフセットとヨー角のサンプリングにおいて30秒間でサンプリング時間が0.1秒の場合、周波数スペクトルを求めるためには2×300個のデータを記憶しておく必要があるが、運転者疲れ推定装置1では2×2個(レーンオフセットの積分のプラス方向とマイナス方向、ヨー角の積分のプラス方向とマイナス方向)のデータを記憶しておけばよい。
【0051】
また、運転者疲れ推定装置1によれば、レーンオフセットの積分値とヨー角の積分値を用いて運転者の疲れを推定することにより、ロバスト性が高く、車両の諸元や運転者の個人差などによる影響を受け難い。積分値は、加算演算によって求められるので、個人差などが反映され難く、ノイズの影響も受け難い。さらに、運転者疲れ推定装置1によれば、レーンオフセットの積分値にヨー角の積分値も加味して車両の収束性を判断するので、走行レーンの中心線に対する位置の収束性に加えて、走行レーンの中心線に対するオーバーシュートにも対応することができる。したがって、運転者疲れ推定装置1では、高精度に運転者の疲れを推定することができる。
【0052】
さらに、運転者疲れ推定装置1では、車両軌道の指標に基づいて「疲れあり」と所定回判定された場合に運転者が疲れたと最終判定するので、より高精度に運転者の疲れを推定することができる。また、運転者疲れ推定装置1では、車両軌道を反映しているレーンオフセットの積分値やヨー角の積分値を用いているので、これらの値を他のシステム(例えば、レーンキープ装置、車線逸脱警報装置)でも制御のパラメータとして利用できる。
【0053】
図6及び図7を参照して、第2の実施の形態に係る運転者疲れ推定装置2について説明する。図6は、第2の実施の形態に係る運転者疲れ推定装置の構成図である。図7は、図6のECUで使用される各パラメータの時間変化の一例であり、(a)が操舵速度の絶対値であり、(b)車両軌道の指標値であり、(c)が疲れ判定カウンタであり、(d)が運転者疲れフラグである。運転者疲れ推定装置2では、第1の実施の形態に係る運転者疲れ推定装置1と同様の構成については同一の符号を付し、その説明を省略する。
【0054】
運転者疲れ推定装置2は、運転者疲れ推定装置1と比較すると、操舵速度によって急な操舵操作を検出したときにだけ「運転者疲れ判定」を行い、車両軌道の指標と操舵速度に基づいて運転者が疲れているか否かを判定する点が異なる。運転者疲れ推定装置2は、レーン認識センサ10、操舵角センサ11及びECU22を備えている。
【0055】
なお、第2の実施の形態では、レーン認識センサ10が特許請求の範囲に記載する位置オフセット検出手段及びヨー角検出手段に相当し、操舵角センサ11及びECU22における処理が特許請求の範囲に記載する操舵速度検出手段に相当し、ECU22における各処理が特許請求の範囲に記載する位置オフセット積分手段、ヨー角積分手段、判定手段及び推定手段に相当する。
【0056】
運転者が疲れてくると、不安定な操舵操作として急な操舵を行う場合が多々ある。そこで、ECUでの演算負荷の低減や誤判定の防止を目的として、急な操舵(大きな操舵速度)を検出した場合だけ「運転者疲れ判定」を行う。
【0057】
第1の実施の形態で説明した車両軌道の指標では、積分値を用いているので、比較的遅い不安定な操舵操作を検出することができる。一方、操舵速度では、速い不安定な操舵操作を検出することができる。そこで、急な操舵操作を所定回数検出した場合にも「疲れあり」と判断する。これによって、車両軌道の指標(指標閾値を超えたか否か)と操舵速度(急な操舵を所定回できたか否か)を組み合わせて「疲れあり」か否かを判定することにより、あらゆるケースでの不安定な操舵操作を検出することができる。以下で、運転者疲れ推定装置2についての各部について具体的に説明する。
【0058】
操舵角センサ11は、ステアリングホイールから入力された操舵角を検出するセンサである、操舵角センサ11では、検出した操舵角を操舵角信号としてECU22に送信する。操舵角は、プラス値/マイナス値で表され、その符号が方向を示す。この操舵角は、他のシステム(例えば、パワーステアリング装置)でも用いることができるので、操舵角センサ11をこれらのシステムと共有して使用できる。なお、その操舵角センサ11の検出値については、操舵角センサ11の性能に応じて、操舵角信号に対してECU22において高周波成分の除去処理を行う場合がある。
【0059】
ECU22は、CPU、ROM、RAMなどからなる電子制御ユニットであり、運転者疲れ推定装置2を統括制御する。ECU22では、一定時間毎に、レーン認識センサ10からレーン情報信号及び操舵角センサ11から操舵角信号を受信し、このレーン情報信号及び操舵角信号に基づいて運転者が疲れているか否かを判定する。以下で、ECU22における各処理を具体的に説明する。
【0060】
まず、運転者疲れ推定処理(メイン処理)について説明する。ECU22では、入力される操舵角の時間変化から操舵速度を演算する。そして、ECU22では、「運転者疲れ判定」を開始するトリガとなる急な操舵を検出するために、操舵速度の絶対値が操舵速度閾値LIMIT_VHANDLEを超えたか否かを判定する。なお、操舵速度閾値LIMIT_VHANDLEは、急な操舵か否かを検出するためのトリガ値であり、予め設定される設計値である。
【0061】
操舵速度の絶対値が操舵速度閾値LIMIT_VHANDLEを超えた場合、「運転者疲れ判定」を開始し、ECU22では、チェックタイマを始動するとともに、疲れ判定カウンタを0及び運転者疲れフラグをOFFに初期化する。ECU22でも、第1の実施の形態に係るECU21と同様に、誤判定を防止するために、「運転者疲れ判定」を行う判定時間CHECK_TIME内で「疲れあり」と判定された回数によって、運転者が疲れたか否かを最終判断する。
【0062】
「運転者疲れ判定」を開始してからのチェック時間が判定時間CHECK_TIME内の場合、ECU22では、「疲れ判定処理」に移行する。疲れ判定処理では、車両軌道の指標及び操舵速度に基づいて「疲れあり」か否かを判定し、「疲れあり」と判定した場合には運転者疲れフラグをONに設定する。この運転者疲れフラグは、運転者疲れ推定処理(メイン処理)で使用する運転者疲れフラグと共有して使用される。一方、チェック時間が判定時間CHECK_TIMEを経過すると、ECU22では、再度、「運転者疲れ判定」を開始するトリガとなる急な操舵を検出するために、操舵速度の絶対値が操舵速度閾値LIMIT_VHANDLEを超えたか否かを判定する。
【0063】
「疲れ判定処理」が終了する毎に、ECU22では、疲れ判定処理で設定された運転者疲れフラグがONか否か(すなわち、疲れ判定処理で「疲れあり」と判定されたか否か)を判定する。運転者疲れフラグがOFFの場合、ECU22では、チェック時間が判定時間CHECK_TIME内の場合には、再度、「疲れ判定処理」に移行する。
【0064】
運転者疲れフラグがONの場合、ECU22では、疲れ判定カウンタをインクリメントする。また、ECU22では、運転者疲れフラグをOFFに初期化しておく。さらに、ECU22では、疲れ判定カウンタのカウント値が回数閾値Nを超えるか否かを判定する。疲れ判定カウンタのカウント値が回数閾値Nを超えた場合(つまり、運転者が疲れたと最終判断できる場合)、ECU22では、運転者疲れフラグをOFFからONに切り替える。
【0065】
疲れ判定処理(サブ処理)について説明する。ECU22では、操舵速度オーバーカウンタを0に初期化するとともに、運転者疲れフラグをOFFに初期化する。なお、操舵速度オーバーカウンタは、急な操舵を検出した回数を数えるためのカウンタである。運転者疲れフラグは、上記したように共有して使用されるフラグであり、ここでは、車両軌道の軌跡及び操舵速度に基づいて「疲れあり」と判定された場合にOFFからONに切り替えられる。
【0066】
疲れ判定処理中、ECU22では、入力される操舵角の時間変化から操舵速度を演算する。そして、ECU22では、疲れ判定処理中の急な操舵を検出するために、操舵速度の絶対値が操舵速度閾値LIMIT_VHANDLEを超えたか否かを判定する。操舵速度の絶対値が操舵速度閾値LIMIT_VHANDLEを超える毎に、ECU22では、操舵速度オーバーカウンタをインクリメントする。
【0067】
疲れ判定処理中、ECU22では、第1の実施の形態に係るECU21と同様に、積分演算時間T内で、レーンオフセットS(t)を時間積分するとともにヨー角θ(t)を時間積分し、車両軌道の指標を演算する。
【0068】
そして、ECU22では、操舵速度オーバーカウンタが回数閾値Mを超えたか又は車両軌道の指標が指標閾値LIMIT_RANGEを超えたか否かを判定する。なお、回数閾値Mは、急な操舵が所定回数検出されたことによって運転者に「疲れあり」か否かを判定するためのトリガ値であり、予め設定される設計値である。
【0069】
操舵速度オーバーカウンタが回数閾値Mを超えた場合(つまり、急な不安定な操舵操作が複数回検出された場合)又は車両軌道の指標が指標閾値LIMIT_RANGEを超えた場合(つまり、車両の走行レーンに対する収束性が悪く、ゆっくりとした不安定な操舵操作が検出された場合)、運転者に「疲れあり」と判断し、ECU22では、運転者疲れフラグをOFFからONに切り替える。
【0070】
積分開始からの積分時間が積分演算時間Tを経過した場合又は運転者疲れフラグがONに切り替えられた場合、ECU22では、疲れ判定処理を終了する。
【0071】
図7には、操舵速度の絶対値、車両軌道の指標、疲れ判定カウンタ、運転者疲れフラグの時間変化の一例を示している。ここでは、疲れ判定カウンタのカウンタ値が2以上となった場合に、運転者が疲れていると最終判断し、運転者疲れフラグをOFFからONに切り替えるものとする(すなわち、回数閾値N=1)。また、操舵速度オーバーカウンタのカウンタ値が4以上となった場合に、「疲れあり」と判定する(すなわち、回数閾値M=3)。
【0072】
図4(a)に示すように、操舵速度の絶対値SS1が最初に操舵速度閾値LIMIT_VHANDLEを超えたので、この時点から「運転者疲れ判定」が開始され、チェックタイマが始動する。「運転者疲れ判定」を開始後、図4(a)に示すように操舵速度の絶対値SS1、操舵速度の絶対値SS2、操舵速度の絶対値SS3、操舵速度の絶対値SS4でそれぞれ操舵速度閾値LIMIT_VHANDLEを超えたので、操舵速度の絶対値SS4が操舵速度閾値LIMIT_VHANDLEを超えた時点で操舵速度オーバーカウンタのカウンタ値が4となり、「疲れあり」と判定され、図4(c)に示すように疲れ判定カウンタがインクリメント(カウント値が1)される。また、図4(b)に示すように車両軌道の指標ID1が指標閾値LIMIT_RANGEを超えたので、「疲れあり」と判定され、図4(c)に示すように疲れ判定カウンタがインクリメント(カウント値が2)される。この疲れ判定カウンタのカウント値が2になった時点で、図4(d)に示すように運転者疲れフラグがOFFからONに切り替えられる。
【0073】
図6及び図7を参照して、運転者疲れ推定装置2における動作について説明する。特に、ECU22における処理については図8及び図9のフローチャートに沿って説明する。図8は、図6のECUにおける運転者疲れ推定処理の流れを示すフローチャートである。図9は、図6のECUにおける疲れ判定処理の流れを示すフローチャートである。
【0074】
レーン認識センサ10では、第1の実施の形態で説明したように、一定時間(Δt)毎に、レーン情報を検出し、レーン情報信号をECU22に送信する。また、操舵角センサ11では、一定時間毎に、操舵角を検出し、その検出した操舵角を操舵角信号としてECU22に送信する。
【0075】
ECU22では、送信された操舵角から操舵速度を演算する(S30)。そして、ECU22では、操舵速度の絶対値が操舵速度閾値LIMIT_VHANDLEを超えたか否かを判定する(S31)。S31にて操舵速度の絶対値が操舵速度閾値LIMIT_VHANDLE以下と判定した場合、ECU22では、S30の処理に戻って、次回の操舵角により、再度、操舵速度を演算する。
【0076】
S31にて操舵速度の絶対値が操舵速度閾値LIMIT_VHANDLEを超えたと判定した場合(最初の急な操舵があった場合)、ECU22では、疲れ判定カウンタを0に初期化するとともに、運転者疲れフラグをOFFに初期化する(S32)。また、ECU22では、チェックタイマを始動する(S33)。
【0077】
ECU22では、チェックタイマによるチェック時間が判定時間CHECK_TIME未満か否かを判定する(S34)。S34にてチェック時間が判定時間CHECK_TIME以上と判定した場合(「運転者疲れ判定」が終了した場合)、ECU22では、S30に戻って、次の急な操舵を検出する。
【0078】
S34にてチェック時間が判定時間CHECK_TIME未満と判定した場合(「運転者疲れ判定」中)、ECU22では、疲れ判定処理に移行する(S35)。
【0079】
疲れ判定処理に移行する毎に、ECU22では、操舵速度オーバーカウンタを0に初期化するとともに、運転者疲れ判定フラグをOFFに初期化する(S50)。
【0080】
ECU22では、送信された操舵角から操舵速度を演算する(S51)。そして、ECU22では、操舵速度の絶対値が操舵速度閾値LIMIT_VHANDLEを超えたか否かを判定する(S52)。
【0081】
S52にて操舵速度の絶対値が操舵速度閾値LIMIT_VHANDLEを超えたと判定した場合(急な操舵があった場合)、ECU22では、操舵速度オーバーカウンタをインクリメントする(S53)。そして、ECU22では、操舵速度オーバーカウンタが1か否かを判定する(S54)。S54にて操舵速度オーバーカウンタが1と判定した場合、ECU22では、積分用タイマを始動するとともに、積分用カウンタkを1に初期化する(S55)。
【0082】
S55の処理が終了した場合又はS52にて操舵速度の絶対値が操舵速度閾値LIMIT_VHANDLE以下と判定した場合又はS54にて操舵速度オーバーカウンタが1でないと判定した場合、ECU22では、積分用タイマによる積分時間が積分演算時間T未満か否かを判定する(S56)。S56にて積分時間が積分演算時間T未満と判定した場合(積分中)、ECU22では、第1の実施の形態で説明したように、Δt毎に、今回のレーンオフセットの積分値ZONE_LANE(k+1)及び今回のヨー角の積分値ZONE_YAW(k+1)を演算し、車両軌道の指標を演算する(S57)。そして、ECU22では、積分用カウンタkをインクリメントする(S58)。さらに、ECU22では、操舵速度オーバーカウンタが回数閾値Mを超えたか否か又は車両軌道の指標が指標閾値LIMIT_RANGEを超えたか否かを判定する(S59)。S59にて操舵速度オーバーカウンタが回数閾値以下かつ車両軌道の指標が指標閾値LIMIT_RANGE以下と判定した場合、ECU22では、S51の処理に戻る。
【0083】
S59にて操舵速度オーバーカウンタが回数閾値Mを超えた又は車両軌道の指標が指標閾値LIMIT_RANGEを超えたと判定した場合、ECU22では、「疲れあり」と判定し、ECU22では、運転者疲れフラグにONを設定する(S60)。
【0084】
S60にて運転者疲れフラグにONを設定した場合あるいはS56にて積分用タイマによる積分時間が積分演算時間T以上と判定した場合、ECU22では、今回の疲れ判定処理を終了する。
【0085】
疲れ判定処理を終了すると、ECU22では、疲れ判定処理で設定された運転者疲れフラグがONか否かを判定する(S36)。S36にて運転者疲れフラグがOFFと判定した場合(疲れ判定処理で「疲れあり」と判定されなかった場合)、ECU22では、S34の判定に戻る。
【0086】
S36にて運転者疲れフラグがONと判定した場合(疲れ判定処理で「疲れあり」と判定された場合)、ECU22では、疲れ判定カウンタをインクリメントする(S37)。また、ECU22では、疲れ判定処理でONに設定された運転者疲れフラグをOFFに再設定する(S38)。そして、ECU22では、疲れ判定カウンタのカウンタ値が回数閾値Nを超えたか否かを判定する(S39)。S39にてカウンタ値が回数閾値N以下と判定した場合、運転者が疲れたとは未だ判定できないので、ECU22では、S34の判定に戻る。
【0087】
S39にてカウンタ値が回数閾値Nを超えたと判定した場合、運転者が疲れたと最終判断し、ECU22では、運転者疲れフラグにONを設定する(S40)。そして、ECU22では、運転者疲れフラグのONに基づいて、運転者が疲れているとの情報を運転支援装置に送信する。
【0088】
この運転者疲れ推定装置2は、上記した運転者疲れ推定装置1での効果を有する上に、以下の効果も有している。運転者疲れ推定装置2によれば、操舵速度に基づいて急な操舵を検出した場合にだけ運転者疲れ判定を行うので、適切なタイミングで運転者疲れ判定を行うことができる。その結果、誤判定を防止でき、演算コストも低減することができる。
【0089】
また、運転者疲れ推定装置2によれば、車両軌道の指標に加えて操舵速度を組み合わせて「疲れあり」か否かを判定するので、ゆっくりとした不安定な操舵操作と急な不安定な操舵操作から運転者の疲れを判断でき、より高精度に運転者の疲れを推定することができる。
【0090】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
【0091】
例えば、本実施の形態では運転者の疲れを推定する装置に適用したが、運転者の居眠り(覚醒度)などの他の状態を推定する装置にも適用できる。
【0092】
また、本実施の形態では疲れているか否かを判定する構成としたが、疲労度を複数段階で判定してもよい。
【0093】
また、本実施の形態ではカメラと画像処理装置からなるレーン認識センサでレーンオフセットやヨー角を検出する構成としたが、レーンオフセットやヨー角を検出する手段としては他の手段を用いてもよい。
【0094】
また、本実施の形態では式(5)を用いて車両軌道の指標を求め、この指標値と指標閾値とを比較することにより疲れているか否かを判定したが、図3、図4に示すように、レーンオフセットの積分値とヨー角の積分値を二次元平面上に点として配置し、その点が判定領域内か否かで判定してもよい。
【0095】
また、本実施の形態では車両軌道の指標についての指標閾値LIMIT_RANGE、操舵速度についての操舵速度閾値LIMIT_VHANDLE、操舵速度オーバーの回数についての回数閾値Mを固定値としたが、「疲れあり」と判定する毎にいずれかの閾値あるいは全ての閾値を徐々に小さくし、「疲れあり」と判定され易くしてもよい。運転者が疲れれば疲れるほど、その疲れに対して敏感に検出するようにする。
【0096】
また、本実施の形態では「疲れあり」と複数回判定された場合に運転者が疲れたと最終判断する構成としたが、閾値を厳しく設定したりすることにより、「疲れあり」と1回判定された場合に運転者が疲れたと最終判断するようにしてもよい。
【図面の簡単な説明】
【0097】
【図1】第1の実施の形態に係る運転者疲れ推定装置の構成図である。
【図2】レーンオフセットの時間変化の一例である。
【図3】レーンオフセットの積分値とヨー角の積分値からなる車両軌道の指標を示す図である。
【図4】符号を考慮したレーンオフセットの積分値とヨー角の積分値からなる車両軌道の指標を示す図である。
【図5】図1のECUにおける運転者疲れ推定処理の流れを示すフローチャートである。
【図6】第2の実施の形態に係る運転者疲れ推定装置の構成図である。
【図7】図6のECUで使用される各パラメータの時間変化の一例であり、(a)が操舵速度の絶対値であり、(b)車両軌道の指標値であり、(c)が疲れ判定カウンタであり、(d)が運転者疲れフラグである。
【図8】図6のECUにおける運転者疲れ推定処理の流れを示すフローチャートである。
【図9】図6のECUにおける疲れ判定処理の流れを示すフローチャートである。
【符号の説明】
【0098】
1,2…運転者疲れ推定装置、10…レーン認識センサ、11…操舵角センサ、21,22…ECU

【特許請求の範囲】
【請求項1】
走行レーンに対する車両の位置のオフセットを検出する位置オフセット検出手段と、
走行レーンに対する車両のヨー角を検出するヨー角検出手段と、
前記位置オフセット検出手段で検出した位置のオフセットを積分する位置オフセット積分手段と、
前記ヨー角検出手段で検出したヨー角を積分するヨー角積分手段と、
前記位置オフセット積分手段で求めた位置のオフセットの積分値と前記ヨー角積分手段で求めたヨー角の積分値に基づいて運転者の状態を推定する推定手段と
を備えることを特徴とする運転者状態推定装置。
【請求項2】
操舵速度を検出する操舵速度検出手段と、
前記操舵速度検出手段で検出した操舵速度が閾値以上か否かを判定する判定手段と
を備え、
前記判定手段で操舵速度が閾値以上と判定した場合に運転者の状態を推定することを特徴とする請求項1に記載する運転者状態推定装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2009−265752(P2009−265752A)
【公開日】平成21年11月12日(2009.11.12)
【国際特許分類】
【出願番号】特願2008−111512(P2008−111512)
【出願日】平成20年4月22日(2008.4.22)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】