説明

居眠り判定装置及びプログラム並びに警報出力装置及びプログラム

【課題】短時間で正確に居眠りを判定する。
【解決手段】居眠り判定装置は、被験者の眼球位置を検出する眼球運動検出部21と、検出された被験者の眼球位置に基づいて、緩徐眼球運動を検出する緩徐眼球運動算出部26と、緩徐眼球運動が検出された場合に、前記被験者は居眠り状態であると判定する居眠り判定部34と、を備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、居眠り判定装置及びプログラム並びに警報出力装置及びプログラムに関する。
【背景技術】
【0002】
従来、被験者の眼球運動に基づいて、入眠時のゆっくりとした眼球運動(SEM:Slow Eye Movement)を検出することで、居眠りを検出する手法が知られている(特許文献1及び2を参照)。
【0003】
特許文献1には、眼球運動のデータを2種類のフィルタ(0.03〜1HzのフィルタAと、1〜200HzのフィルタB)を用いて分離し、各フィルタの出力をA、Bとした場合に、A+Bがある振幅(設定値1)以上で、さらにA/Bがある設定した値(設定値2)以上であれば、SEMと判断する睡眠状態検出装置が開示されている。
【0004】
特許文献2には、水平方向のEOG(眼球運動の眼電位)波形と予め用意されたSEMの基準波形(テンプレート)との相関をみて、相関関数の演算結果が所定の閾値を超えている場合にSEMが発生していると判定する居眠り判定装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第3735603号公報
【特許文献2】特開2006−136556号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献1の技術は、睡眠を容易に監視することができるが、サッケード(見たい対象に素早く眼球を動かし視点を移動する眼球運動)とSEMとを区別することができない。このため、特許文献1の技術は、居眠りのみを正確に検出できないという問題がある。特許文献2の技術は、テンプレートを変化させながらデータとの相関関係を求めるので、計算量が多くなり、その結果SEMの判定時間が遅くなる問題がある。
【0007】
本発明は、上述した課題を解決するために提案されたものであり、短時間で正確に居眠りを判定する居眠り判定装置及びプログラム並びに警報出力装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る居眠り判定装置は、被験者の眼球位置を検出する眼球位置出手段と、前記眼球位置検出手段により検出された被験者の眼球位置に基づいて、緩徐眼球運動を検出する緩徐眼球運動検出手段と、前記緩徐眼球運動検出手段により緩徐眼球運動が検出された場合に、前記被験者は居眠り状態であると判定する居眠り判定手段と、を備えている。
【0009】
本発明に係る警報出力装置は、請求項1から請求項6のいずれか1項に記載の居眠り判定装置と、前記居眠り判定装置により居眠りと判定された場合に、警報を出力する警報出力手段と、を備えている。
【発明の効果】
【0010】
本発明に係る居眠り判定装置及びプログラムは、短時間で正確に居眠りを判定することができる。
【0011】
本発明に係る警報出力装置及びプログラムは、短時間で正確に警報を出力することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1の実施形態に係る居眠り判定装置の構成を示すブロック図である。
【図2】カメラが車載型カメラとして運転席に設けられた状態を示す図である。
【図3】緩徐眼球運動検出部のアルゴリズムを説明するための機能的な構成を示すブロック図である。
【図4】水平方向の眼球運動速度(傾き)及び振幅を説明する図である。
【図5】SEM検出ルーチンを示すフローチャートである。
【図6】反応時間予測部に記憶されているルックアップテーブルを示す図である。
【図7】眼球運動信号としてサイン関数を用いた場合の緩徐眼球運動検出部のシミュレーション結果を示す図である。
【図8】ルックアップテーブルを作成するための反応課題実験の結果を示す図である。
【図9】ドライビングシミュレータ上で居眠り運転による事故が発生したときの(A)眼球運動信号の波形と(B)車両の横方向の位置を示す図である。
【図10】本発明の第2の実施形態に係る居眠り判定装置の構成を示すブロック図である。
【図11】本発明の第2の実施形態に係る緩徐眼球運動検出部20のアルゴリズムを説明するための機能的な構成を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【0014】
[第1の実施形態]
図1は、本発明の第1の実施形態に係る居眠り判定装置の構成を示すブロック図である。居眠り判定装置は、被験者を撮像するカメラ10と、カメラ10からの顔画像に基づいて緩徐眼球運動(SEM)を検出する緩徐眼球運動検出部20と、警報を出力する警報出力部40と、被験者の反応時間(飛び出し等のイベントが発生して被験者が行動を開始するまでの時間)を予測する反応時間予測部50と、予測された反応時間に基づいて車両挙動を制御するアシストシステム60と、を備えている。
【0015】
上記居眠り判定装置は例えば車両に搭載可能であり、この場合、カメラ10は車載型カメラとして被験者(ドライバ)を撮像する。
【0016】
図2は、カメラ10が車載型カメラとして運転席に設けられた状態を示す図である。同図に示すように、カメラ10は、車両を運転する被験者の顔を撮像して顔画像を生成し、生成した顔画像を緩徐眼球運動検出部20へ供給する。
【0017】
図3は、緩徐眼球運動検出部20のアルゴリズムを説明するための機能的な構成を示すブロック図である。緩徐眼球運動検出部20は、顔画像に基づいて眼球運動として被験者の眼球の位置を示す眼球位置信号を検出する眼球運動検出部21と、眼球位置信号の高周波成分を除去するローパスフィルタ22と、眼球位置信号を微分して眼球運動速度信号を出力する微分器23と、眼球運動速度信号が示す速度のゼロクロス点を検出するゼロクロス点検出器24と、最新のゼロクロス点を更新する最新ゼロクロス点更新部25と、眼球が緩徐眼球運動をしているか否かを算出する緩徐眼球運動算出部26と、サッケード(急速眼球運動)を検出するサッケード検出器27と、を備えている。
【0018】
緩徐眼球運動検出部20は、さらに、被験者の顔の回転を示す顔回転加速度信号を検出する顔回転検出部28と、顔回転加速度信号を積分する積分器29と、前庭性眼球運動をしているか否かを算出する前庭性眼球運動算出部30と、積分器31と、積分器32と、縦方向の顔角度を検出する縦方向顔角度算出部33と、論理積演算器である居眠り判定部34と、を備えている。
【0019】
眼球運動検出部21は、カメラ10で生成された顔画像に基づいて、被験者の眼球位置を検出し、検出した眼球位置を追跡することで、眼球の水平方向の位置を示す水平眼球位置データHを検出する。
【0020】
ローパスフィルタ22は、例えばカットオフ周波数が30Hzであり、眼球運動検出部21で検出された水平眼球位置データHを微分して水平眼球運動速度データH’を出力することで、高域のノイズ成分を除去する。
【0021】
微分器23は、ローパスフィルタ22でノイズ成分の除去された眼球位置信号を微分して、眼球運動の速度を示す眼球運動速度信号を出力する。ゼロクロス点検出器24は、微分器23で演算された眼球運動速度信号の示す速度がゼロになるゼロクロス点を検出する。
【0022】
最新ゼロクロス点更新部25は、ゼロクロス点検出器24で新たなゼロクロス点が検出される毎に、最新のゼロクロス点を更新して記憶する。
【0023】
緩徐眼球運動算出部26は、ローパスフィルタ22から出力された水平眼球位置データHを用いて、最新ゼロクロス点更新部25で記憶されている最新のゼロクロス点の時刻を基準にして、現時点における水平方向の眼球運動速度(傾き)及び振幅を算出する。なお、以下の説明では、眼球の水平方向の振幅は、角度(被験者の顔の水平方向周りを円周とみなした場合のゼロクロス点の眼球位置に対する現時点の眼球位置の角度)に換算して表す。
【0024】
図4は、水平方向の眼球運動速度(傾き)及び振幅を説明する図である。ここでは、緩徐眼球運動算出部26は、最新のゼロクロス点を基準にして、現時点の水平方向の位置を振幅として検出し、現時点までの時間長に対する現時点の水平方向の位置の傾きを眼球運動速度として検出する。
【0025】
そして、緩徐眼球運動算出部26は、水平方向の眼球運動速度及び振幅がそれぞれ予め設定された範囲にある場合、被験者にSEMが発生したことを示すtrue信号(論理“1”)を出力する。なお、緩徐眼球運動算出部26は、水平方向の眼球運動速度及び振幅の少なくとも1つがそれぞれ予め設定された範囲にない場合、false信号(論理“0”)を出力する。
【0026】
サッケード検出器27は、微分器23から出力された眼球運動速度信号の示す眼球運動速度と所定の閾値とを比較して、眼球運動の速度が閾値以下である場合は、その眼球運動はサッケードでないのでtrue信号を出力し、眼球運動の速度が閾値を超えている場合は、その眼球運動はサッケードであるので、眼球運動速度が所定の閾値を超えてから所定時間まではfalse信号を出力する。サッケードとは急速眼球運動であり、サッケード運動後に、動いている物体を追跡する追跡眼球運動が行われるため、SEMの判定の際に追跡眼球運動を除去するためである。
【0027】
顔回転検出部28は、カメラ10で生成された顔画像に基づいて、被験者の顔の水平方向及び鉛直方向の回転加速度を示す顔回転加速度信号をそれぞれ検出する。積分器29は、顔回転検出部28で検出された水平方向の顔回転加速度信号を積分して、水平方向の顔回転速度信号を検出する。
【0028】
前庭性眼球運動算出部30は、積分器29で演算された水平方向の顔回転速度が予め設定された閾値u以上である場合は、その時点から所定時間内の眼球運動信号の変化を無視するために所定期間内はfalse信号を出力し、閾値未満である場合はtrue信号を出力する。
【0029】
水平方向の顔回転速度が予め設定された閾値u以上である場合は、前庭動眼反射(VOR:回転が与えられたときに眼球が頭部と逆方向に動く前庭器官を受容体とする反射)が生じる可能性があり、この前庭動眼反射を除去するためである。
【0030】
一方、顔回転検出部28から出力された鉛直方向の顔回転加速度信号は、2つの積分器31、32を介して、鉛直方向の顔回転角度を示す顔回転角度信号となる。縦方向顔角度算出部33は、積分器32から供給される顔回転角度信号が予め設定された閾値th以下の場合、true信号を出力し、閾値thを超えている場合はfalse信号を出力する。顔回転角度信号が予め設定された閾値th以下の場合、被験者の危険状態(居眠り又は脇見)の可能性があり、警報を出力する必要があるからである。
【0031】
居眠り判定部34は、緩徐眼球運動算出部26、最新ゼロクロス点更新部25、前庭性眼球運動算出部30、及び縦方向顔角度算出部33から出力された各信号の論理積を演算し、その演算結果を示す信号を図1に示す警報出力部40及び反応時間予測部50へ出力する。
【0032】
なお、居眠り判定部34の出力信号は、true信号(ハイレベル信号)の場合は被験者にSEMが発生していることを示し、false信号(ローレベル信号)の場合は被験者にSEMが発生していないことを示す。
【0033】
以上のように構成された居眠り判定装置では、次の緩徐眼球運動(SEM)検出ルーチンが行われる。
【0034】
図5は、SEM検出ルーチンを示すフローチャートである。図1に示すカメラ10により被験者の顔が撮像されると、図4に示すステップS1の処理に進む。
【0035】
ステップS1では、眼球運動検出部21は、カメラ10で生成された顔画像に基づいて、被験者の眼球の水平方向の位置を示す水平眼球位置データHを検出して取得する。この水平眼球位置データHは、例えば100ms毎に2秒間取得される。なお、サンプリング周波数は特に限定されるものではない。そして、ローパスフィルタ22は、眼球運動検出部21で検出された水平眼球位置データHの微分値である水平眼球運動速度データH’を算出して出力する。そして、ステップS2へ進む。
【0036】
ステップS2では、微分器23は、ローパスフィルタ22から出力された水平眼球位置データHの微分値である水平眼球運動速度データH’を算出する。そして、ステップS3へ進む。
【0037】
ステップS3では、ゼロクロス点検出器24は、微分器23から出力された水平眼球運動速度データH’からゼロクロス点(I)の有無を検出する。そして、ステップS4に進む。
【0038】
ステップS4では、最新ゼロクロス点更新部25は、ゼロクロス点検出器24の検出結果を用いて、ゼロクロス点(Id)があるか否かを判定し、肯定判定の場合はステップS5に進み、否定判定の場合はステップS6に進む。
【0039】
ステップS5では、最新ゼロクロス点更新部25は、最新のゼロクロス点(Id)を更新して記憶し、ステップS6に進む。
【0040】
ステップS6では、緩徐眼球運動算出部26は、ローパスフィルタ22から出力された水平眼球位置データHを用いて、最新ゼロクロス点更新部25で記憶されている最新のゼロクロス点の時刻を基準にして、現時点における水平方向の眼球運動速度(傾き)及び振幅を算出する。そして、ステップS7に進む。
【0041】
ステップS7では、緩徐眼球運動算出部26は、ステップS6で検出された眼球運動速度が50°/秒以下であり、かつ振幅が2°を超えているか、を判定し、肯定判定の場合はステップS8へ進み、否定判定の場合はステップS1へ戻る。
【0042】
ステップS8では、緩徐眼球運動算出部26は、被験者はSEMであることを示すフラグ(true信号)を出力する。そして、ステップS9へ進む。
【0043】
ステップS9では、居眠り判定部34は、緩徐眼球運動算出部26、サッケード検出器27、前庭性眼球運動算出部30、縦方向顔角度算出部33のそれぞれから出力された信号の論理積を演算する。そして、居眠り判定部34は、その演算結果が論理“1”の場合は被験者が居眠り状態であることを示すトリガ信号を出力し、その演算結果が論理“0”の場合はトリガ信号を出力しない。そして、リターンして、再びステップS1に戻る。そして、SEM検出ルーチンが実行されて、トリガ信号が出力されると、以下のような運転アシストが行われる。
【0044】
警報出力部40は、例えばスピーカであり、緩徐眼球運動検出部20からトリガ信号であるtrue信号が出力された場合に警報音を出力する。なお、警報出力部40は、true信号が出力された場合に警報画像を表示するモニタであってもよい。
【0045】
反応時間予測部50は、緩徐眼球運動検出部20からSEMが検出されたことを示すtrue信号が供給された場合に、予め記憶されたルックアップテーブルを参照して、図3に示す緩徐眼球運動算出部26で算出された水平方向の振幅と、そのときの眼球位置信号の周波数と、に基づいて、被験者の反応時間を予測する。
【0046】
図6は、反応時間予測部50に記憶されているルックアップテーブルを示す図である。SEMではない(定常状態)場合、反応時間は0.6秒に設定されている。図6によると、振幅が20度で周波数が0.6Hzの場合は、反応時間は定常状態よりも0.2秒遅れる。つまり、この場合の反応時間は0.6秒から0.8秒以内と予測される。また、図5によると、振幅が40度で周波数が0.2Hzの場合は、反応時間は1秒から3秒以内と予測される。
【0047】
このように、振幅が大きくなる(眠りが深くなる)に従って反応時間が長くなっている。また、振幅と周波数に相関関係があることが分かり、周波数が高くなると振幅が短くなっている。よって、反応時間(遅れ)は、眼球運動信号の振幅、周波数の少なくとも1つをみれば推定可能である。
【0048】
アシストシステム60は、反応時間予測部50で予測された反応時間に基づいて、車両の走行制御のアシスト、例えば制動装置や車輪駆動装置の制御を行う。
【0049】
図7は、眼球運動信号としてサイン(Sine)関数を用いた場合の緩徐眼球運動検出部20のシミュレーション結果を示す図である。図7において、横軸は眼球運動信号の周波数を示し、縦軸は眼球運動信号の振幅を示している。シミュレーションでは、眼球運動信号は、周波数を0.1〜5Hzまで0.01Hzずつ変化させ、2〜50°に対応する眼電位の振幅を10〜250μVまで変化させた。
【0050】
その結果、同図に示すように、眼球運動信号の周波数が0.2〜0.6Hzで、振幅が20〜200μVの領域において、SEMが検出された。なお、ホワイト・ガウス・ノイズ(White Gaussian Noise)をS/N比1〜150まで変化させた場合でも同じ結果が得られた。
【0051】
図8は、ルックアップテーブルを作成するための反応課題実験の結果を示す図である。単純反応課題実験を被験者10人で実施した。検出されたSEMが刺激から0.5秒前にある場合は、ない場合よりも反応時間が250ms遅くなり、有意差があることが分かった。このような実験を行うことで、ルックアップテーブルを作成することができる。
【0052】
図9は、ドライビングシミュレータ上で居眠り運転による事故が発生したときの(A)眼球運動信号の波形と(B)車両の横方向の位置を示す図である。同図に示す実験結果では、事故発生の約2.5秒前にSEMが検出された。
【0053】
以上のように、本発明の実施形態に係る居眠り判定装置は、眼球運動の水平方向の速度がゼロになったゼロクロス点を基準に、測定時における眼球運動の水平方向の速度及び眼球の水平方向の振幅を算出し、水平方向の速度が50°/秒以下であり、かつ、水平振幅が2°より大きい場合は、被験者は居眠りしていると判定する。
【0054】
このように、上記居眠り判定装置は、任意のサンプリング時刻において、眼球運動の水平方向の速度及び眼球の水平方向の振幅を算出できるので、非常に短時間で被験者の居眠り判定を行うことができる。
【0055】
また、上記居眠り判定装置は、顔の回転速度が早い場合にはSEMを検出しないので、前庭動眼反射の影響を排除して、高精度に居眠り判定を行うことができる。また、居眠り判定装置は、眼球運動信号のみを用いて居眠り判定を行うので、被験者の顔の向きや瞬きの影響を受けることなく、居眠り判定を行うことができる。
【0056】
なお、被験者の眼球位置信号は、被験者の顔画像に基づいて検出されたものであるが、近赤外線法や他の計測手段を用いて計測されたものでもよい。また、被験者の顔角度も、被験者の顔画像に基づいて検出されたものであるが、例えばジャイロセンサ(角加速度センサ)を用いて計測されたものでもよい。
【0057】
[第2の実施形態]
つぎに、本発明の第2の実施形態について説明する。なお、第1の実施形態と同一の部位には同一の符号を付し、重複する説明は省略する。
【0058】
図10は、本発明の第2の実施形態に係る居眠り判定装置の構成を示すブロック図である。居眠り判定装置は、第1の実施形態と同様に車両に搭載されており、図1に示す構成に加えて、車両の前方を撮像して前方画像を生成する前方カメラ11を更に備えている。
【0059】
図11は、本発明の第2の実施形態に係る緩徐眼球運動検出部20のアルゴリズムを説明するための機能的な構成を示すブロック図である。緩徐眼球運動検出部20は、図3に示す構成に加えて、視線移動方向計算器41と、視線・画像移動方向マッチング器42と、を更に備えている。
【0060】
視線移動方向計算器41は、眼球運動検出部21で検出された眼球位置に基づいて、視線の移動方向を計算し、その計算結果を視線・画像移動方向マッチング器42に供給する。
【0061】
視線・画像移動方向マッチング器42は、図10に示す前方カメラ11で生成された前方画像に基づいて、車両前方に存在する移動物体を検出し、移動物体のいずれか1つの移動方向と視線移動方向計算器41で計算された視線の移動方向とがマッチングするかを判定する。視線・画像移動方向マッチング器42は、マッチングしている間はfalse信号を居眠り判定部34へ供給し、マッチングしない場合はtrueを居眠り判定部34へ供給する。これにより、SEM判定の際に、被験者の眼球が車両前方にある移動物体を追跡している場合を除外することができる。
【0062】
以上のように、第2の実施形態に係る居眠り判定装置は、被験者の眼球が車両前方に存在する移動物体を追跡している場合は、居眠り判定をしないので、眼球の移動物体追跡時に誤って居眠り判定するのを防止することができる。
【0063】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。例えば、第1の実施形態ではSEMは眼球運動信号が0.2〜0.6Hzと定義したが、この周波数に限定されるものではなく、SEMと推認できる周波数であればよい。また、緩徐眼球運動検出部20及び反応時間予測部50は、ハードウェアであってもよいし、所定の制御プログラムがインストールされたコンピュータであってもよい。
【符号の説明】
【0064】
10 カメラ
20 緩徐眼球運動検出部
21 眼球運動検出部
23 緩徐眼球運動算出部
24 ゼロクロス点検出器
25 最新ゼロクロス点更新部
26 緩徐眼球運動算出部
27 サッケード検出器
28 顔回転検出部
30 前庭性眼球運動算出部
33 縦方向顔角度算出部
34 居眠り判定部
40 警報出力部
50 反応時間予測部
60 アシストシステム

【特許請求の範囲】
【請求項1】
被験者の眼球位置を検出する眼球位置出手段と、
前記眼球位置検出手段により検出された被験者の眼球位置に基づいて、緩徐眼球運動を検出する緩徐眼球運動検出手段と、
前記緩徐眼球運動検出手段により緩徐眼球運動が検出された場合に、前記被験者は居眠り状態であると判定する居眠り判定手段と、
を備えた居眠り判定装置。
【請求項2】
前記居眠り判定手段は、眼球運動速度が所定の設定値を超えたときから所定時間内は、前記被験者は居眠り状態でないと判定する
請求項1に記載の居眠り判定装置。
【請求項3】
被験者の顔角速度を検出する顔角速度検出手段を更に備え、
前記居眠り判定手段は、前記顔角速度検出手段により検出された顔角速度が所定値を超えたときから所定時間内は、前記被験者は居眠り状態ではないと判定する
請求項1または請求項2に記載の居眠り判定装置。
【請求項4】
前記居眠り判定手段は、前記眼球位置検出手段により検出された眼球位置に基づく視線方向が移動物体の方向に一致する場合は、前記被験者は居眠り状態ではないと判定する
請求項1から請求項3のいずれか1項に記載の居眠り判定装置。
【請求項5】
前記眼球位置信号の周波数及び振幅の少なくとも1つに基づいて、前記被験者の反応時間を推定する反応時間推定手段を更に備えた
請求項1から請求項4のいずれか1項に記載の居眠り判定装置。
【請求項6】
前記緩徐眼球運動検出手段は、
前記眼球位置検出手段により検出された被験者の眼球位置に基づいて、前記被験者の眼球位置の水平方向の速度を検出する眼球運動速度検出手段と、
前記眼球運動速度検出手段により検出された速度がゼロになるゼロクロス点を検出するゼロクロス点検出手段と、
前記ゼロクロス点検出手段により検出された最新のゼロクロス点を基準にして、前記眼球位置検出手段により検出された被験者の眼球位置に基づいて、前記被験者の眼球位置の水平方向の振幅を検出する振幅検出手段と、
前記ゼロクロス点検出手段により検出された最新のゼロクロス点を基準にして、前記眼球運動速度検出手段により検出された速度及び前記振幅検出手段により検出された振幅が、それぞれ緩徐眼球運動を示す所定範囲内にある場合に、緩徐眼球運動を検出する検出手段と、
を備えた請求項1から請求項5のいずれか1項に記載の居眠り判定装置。
【請求項7】
コンピュータを、請求項1から請求項6のいずれか1項に記載の居眠り判定装置の各手段として機能させるための居眠り判定プログラム。
【請求項8】
請求項1から請求項6のいずれか1項に記載の居眠り判定装置と、
前記居眠り判定装置により居眠りと判定された場合に、警報を出力する警報出力手段と、
を備えた警報出力装置。
【請求項9】
コンピュータを、請求項8に記載の警報出力装置の各手段として機能させるための警報出力プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2011−15913(P2011−15913A)
【公開日】平成23年1月27日(2011.1.27)
【国際特許分類】
【出願番号】特願2009−164207(P2009−164207)
【出願日】平成21年7月10日(2009.7.10)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】