眠気判定装置および眠気判定方法
【課題】表情変動が生じている場合であっても眠気レベルを精度良く判定することができる眠気判定装置を提供すること。
【解決手段】眠気判定装置１００は、人の表情変動の大きさおよび速度を取得する表情変動取得部１１０と、表情変動の大きさが所定の閾値未満であるか否かを判定する表情変動判定部１２０と、表情変動の大きさが所定の閾値未満であることを条件として、表情変動の速度に基づく人の眠気レベルの判定を行う眠気判定部１３０とを有する。
【解決手段】眠気判定装置１００は、人の表情変動の大きさおよび速度を取得する表情変動取得部１１０と、表情変動の大きさが所定の閾値未満であるか否かを判定する表情変動判定部１２０と、表情変動の大きさが所定の閾値未満であることを条件として、表情変動の速度に基づく人の眠気レベルの判定を行う眠気判定部１３０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の眠気レベルの判定を行う眠気判定装置および眠気判定方法に関する。
【背景技術】
【０００２】
従来、居眠り運転防止用の警報などを目的として、人の眠気レベルの判定を自動で行う技術が提案されている（例えば特許文献１参照）。
【０００３】
特許文献１に記載の技術（以下「従来技術」という）は、まず、車両の室内に設置した撮像機器により撮影された運転者の顔の映像から、運転者の顔特徴点間の距離（左右口角間の距離、眉と目の距離など）を、逐次検出する。そして、従来技術は、検出した特徴点間距離を、運転者が覚醒状態にあるときの特徴点間距離と比較することにより、運転者の眠気の兆候を検出する。より具体的には、従来技術は、覚醒状態のときの特徴点間距離と、判定対象時刻の特徴点間距離との大小関係から、運転者の眠気レベルを判定する。このような従来技術は、人の眠気レベルの判定を自動で行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−４５４１８号公報
【非特許文献】
【０００５】
【非特許文献１】北島洋樹、外３名、「自動車運転時の眠気の予測手法についての研究」、日本機械学会論文集（Ｃ編）、日本機械学会、１９９７年、６３巻６１３号、ｐ．９３−１００
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、人は、眠気のレベルが比較的高いときでもしばしば表情を変動させるものであり、表情が変動している間、特徴点間距離が覚醒状態の場合と同様の値になることもある。したがって、従来技術は、表情変動が生じている場合には、眠気レベルを精度良く判定することができないという課題を有する。
【０００７】
本発明の目的は、表情変動が生じている場合であっても、眠気レベルを精度良く判定することができる眠気判定装置および眠気判定方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の眠気判定装置は、人の表情変動の大きさおよび速度を取得する表情変動取得部と、前記表情変動の大きさが所定の閾値未満であるか否かを判定する表情変動判定部と、前記表情変動の大きさが前記所定の閾値未満であることを条件として、前記表情変動の速度に基づく前記人の眠気レベルの判定を行う眠気判定部とを有する。
【０００９】
本発明の眠気判定方法は、人の表情変動の大きさおよび速度を取得するステップと、前記表情変動の大きさが所定の閾値未満であるか否かを判定するステップと、前記表情変動の大きさが前記所定の閾値未満であることを条件として、前記表情変動の速度に基づく前記人の眠気レベルの判定を行うステップとを有する。
【発明の効果】
【００１０】
本発明によれば、表情変動が生じている場合であっても眠気レベルを精度良く判定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る眠気判定装置の構成の一例を示すブロック図
【図２】本発明の実施の形態２に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図
【図３】本発明の実施の形態２における第１の眠気判定テーブルの内容の一例を示す図
【図４】本発明の実施の形態２に係る安全運転支援装置の動作の一例を示すフローチャート
【図５】本発明の実施の形態２における表情変動の取得手法を説明するための図
【図６】本発明の実施の形態３に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図
【図７】本発明の実施の形態３に係る安全運転支援装置の動作の一例を示すフローチャート
【図８】本発明の実施の形態４に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図
【図９】本発明の実施の形態４における第２の眠気判定テーブルの内容の一例を示す
【図１０】本発明の実施の形態４に係る安全運転支援装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００１３】
（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。
【００１４】
図１は、本発明の実施の形態１に係る眠気判定装置の構成の一例を示すブロック図である。
【００１５】
図１において、眠気判定装置１００は、表情変動取得部１１０、表情変動判定部１２０、および眠気判定部１３０を有する。
【００１６】
表情変動取得部１１０は、人の表情変動の大きさおよび速度を取得する。
【００１７】
表情変動判定部１２０は、表情変動の大きさが所定の閾値未満であるか否かを判定する。
【００１８】
眠気判定部１３０は、表情変動の大きさが所定の閾値未満であることを条件として、表情変動の速度に基づく人の眠気レベルの判定を行う。
【００１９】
なお、眠気判定装置１００は、例えば、ＣＰＵ（central processing unit）およびＲＡＭ（random access memory）等の記憶媒体等を含むコンピュータの構成を取ることができる。この場合、眠気判定装置１００は、記憶する制御プログラムをＣＰＵが実行することによって動作する。
【００２０】
このような眠気判定装置１００は、表情変動の速度（以下、適宜「表情変動速度」という）に基づいて、人の眠気レベルを判定することができる。
【００２１】
口角を左右に引く、眉毛を上げる等、人の表情変動は、覚醒状態にあるとき（例えば、眠気レベルが最も低いとき。以下「覚醒時」という）だけでなく、眠気のレベルが比較的高いときにおいても見られる。一方で、眠気の兆候の１つとして、表情変動速度が遅くなるという傾向がある。そこで、表情変動速度が遅くなったことをもって、眠気レベルが高いと判定することが考えられる。
【００２２】
ところが、発明者は、眠気レベルが高い状態においても速い表情変動が発生し得ることを、実験・評価により見出した。したがって、単に表情変動速度に基づいて眠気レベルの判定を行うと、判定漏れが発生するおそれがある。
【００２３】
一方で、発明者は、眠気レベルが高い状態においては、速い表情変動は、大きい表情変動において顕著に発生し、小さい表情変動ではほとんど発生しないことを、実験・評価により見出した。
【００２４】
そこで、眠気判定装置１００は、大きい表情変動を判定対象から除外して、表情変動速度が遅いか否かに基づく人の眠気レベルの判定（以下「眠気判定」という）を行う。これにより、眠気判定装置１００は、誤判定を防ぎつつ、上述の高い精度での眠気レベルの判定を実現することができる。すなわち、眠気判定装置１００は、表情変動が生じている場合であっても眠気レベルを精度良く判定することができる。
【００２５】
また、表情変動速度の低下は眠気の初期段階においても発生するため、眠気判定装置１００は、眠気の初期段階においても、その眠気レベルを精度良く判定することができる。
【００２６】
（実施の形態２）
本発明の実施の形態２は、本発明を、車両運転者の眠気レベルに応じて運転者に警報を行う安全運転支援装置に適用した場合の、具体的態様の一例である。すなわち、本実施の形態において、本発明に係る眠気判定の対象は、車両の運転者である。
【００２７】
まず、本実施の形態に係る眠気判定装置およびこれを含む安全運転支援装置の構成について説明する。
【００２８】
図２は、本実施の形態に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図である。
【００２９】
図２において、安全運転支援装置２００は、表情変動検出部２１０、眠気判定装置１００、および出力部２２０を有する。
【００３０】
表情変動検出部２１０は、例えば、車両のコラムカバーに設置されたカメラ（図示せず）が撮影した運転者の画像の時系列データ（画像データ、映像）を入力する。そして、表情変動検出部２１０は、入力した画像データから、運転者の表情変動の大きさおよび速度を、所定の周期（例えば０.０３秒周期）で検出する。
【００３１】
そして、表情変動検出部２１０は、同じタイミングで取得された運転者の表情変動の大きさと運転者の表情変動速度との組を、表情変動情報として、表情変動取得部１１０へ逐次出力する。すなわち、表情変動検出部２１０は、所定の周期で取得される表情変動情報の時系列データを、眠気判定装置１００へ出力する。
【００３２】
運転者の表情変動とは、運転者の表情筋の伸縮によって引き起こされる変化であり、例えば、口角を引くなどの顔の動きである。
【００３３】
本実施の形態において、運転者の表情変動は、運転者の顔面上にある２点の間の距離の変動とする。この２点は、表情筋の動きに連動して伸縮する２点である左右の口角とする。そして、「表情変動の大きさ」は、運転者の左右の口角の間の距離（以下「口角距離」という）の変動の大きさとし、「表情変動速度」は、口角距離の変動の速度とする。
【００３４】
また、本実施の形態において、表情変動検出部２１０は、撮影した画像から、運転者の顔面の画像特徴点を抽出し、抽出結果から、運転者の左右の口角を抽出するものとする。
表情変動の取得手法については、後述する。
【００３５】
眠気判定装置１００は、表情変動検出部２１０から入力される表情変動情報に基づいて、人の眠気レベルの判定を行う。眠気判定装置１００は、表情変動取得部１１０、表情変動判定部１２０、および眠気判定部１３０を有する。
【００３６】
表情変動取得部１１０は、運転者の表情変動の大きさおよび速度を取得する。より具体的には、表情変動取得部１１０は、表情変動検出部２１０から表情変動情報を取得し、表情変動判定部１２０へ出力する。
【００３７】
表情変動判定部１２０は、表情変動の大きさが所定の閾値未満であるか否かを判定する。そして、表情変動判定部１２０は、表情変動の大きさが所定の閾値未満である表情変動情報についてのみ、その表情変動情報に含まれる表情変動速度を、眠気判定部１３０へ出力する。すなわち、表情変動判定部１２０は、表情変動取得部１１０から入力された表情変動情報に対して、その表情変動情報に含まれる表情変動の大きさに基づき、フィルタリングを行う。
【００３８】
眠気判定部１３０は、表情変動の大きさが所定の閾値未満であることを条件として、表情変動速度に基づく運転者の眠気判定を行う。より具体的には、眠気判定部１３０は、第１の眠気判定テーブルを参照し、表情変動判定部１２０から入力された表情変動速度に基づいて、眠気レベルの判定を行う。そして、眠気判定部１３０は、運転者の眠気レベルの判定結果を、後述の出力部２２０を用いて運転者に通知する。
【００３９】
第１の眠気判定テーブルは、予め定められた複数の眠気レベルのそれぞれについて、その眠気レベルにおける表情変動速度の範囲を記述したテーブルである。
【００４０】
図３は、第１の眠気判定テーブルの内容の一例を示す図である。
【００４１】
図３に示すように、第１の眠気判定テーブル３１０は、例えば、表情変動速度３１１と、眠気レベル３１２とを対応付けて記述している。表情変動速度３１１には、表情変動速度Ｓ（ｔ）の範囲が記述されている。眠気レベル３１２には、予め定められた眠気レベルが記述されている。
【００４２】
ここで、表情変動速度３１１に記述されたパラメータＴｈａ１〜Ｔｈａ４は、表情変動速度Ｓ（ｔ）の各範囲を規定する閾値であり、以下の式（１）に示す関係を満たす。すなわち、パラメータＴｈａ１は、最も低い閾値であり、より速い表情変動速度Ｓ（ｔ）に対応している。そして、パラメータＴｈａ４は、最も高い閾値であり、より遅い表情変動速度Ｓ（ｔ）に対応している。
Ｔｈａ１＜Ｔｈａ２＜Ｔｈａ３＜Ｔｈａ４ ・・・・・・（１）
【００４３】
また、眠気レベル３１２に記述された「レベル１」〜「レベル５」は、非特許文献１において規定されている５段階の眠気レベルである。「レベル１」は、全く眠くなさそうな状態に対応する。「レベル２」は、やや眠そうな状態に対応する。「レベル３」は、眠そうな状態に対応する。「レベル４」は、かなり眠そうな状態に対応する。「レベル５」は、非常に眠そうな状態に対応する。すなわち、「レベル１」は、覚醒状態に対応し、「レベル２」および「レベル３」は、初期傾眠時に対応する。
【００４４】
すなわち、第１の眠気判定テーブル３１０は、より遅い表情変動速度ほど、より高い眠気レベルを対応付けている。
【００４５】
出力部２２０は、眠気判定部１３０において判定された眠気レベルに応じた報知情報を出力し、判定結果を運転者に通知する。報知情報は、例えば、音、光、画像、香り、風、気温など、人が知覚可能な情報の形態を取る。
【００４６】
本実施の形態では、報知情報は、運転者の眠気による事故防止のために出力されるものである。
【００４７】
したがって、例えば、眠気レベル１では、出力部２２０は、何も出力しない。
【００４８】
また、例えば、眠気レベル２では、出力部２２０は、報知情報として、車室内に存在する環境音を強調した強調音、香り、冷風、および光の少なくとも１つを用いる。これにより、運転者に対して、さりげなく眠気防止を促すことができる。なお、この場合、出力部２２０は、スピーカ、ベンチレータ、あるいはＬＥＤ照明などによって実現される。
【００４９】
また、例えば、眠気レベル３では、出力部２２０は、報知情報として、警報音（ビープ音、音声、超音波）、シートの振動、ステアリングの振動、およびシートベルトによる締め付けの少なくとも１つを用いる。
【００５０】
また、例えば、眠気レベル４および眠気レベル５では、出力部２２０は、報知情報として、大音量の警報音、シートの大振動、およびステアリングの大振動の少なくとも１つを用いる。また、例えば、出力部２２０は、警報と共に、運転者に対して、積極的に休憩を促す情報を出力してもよい。また、例えば、出力部２２０は、眠気レベルが高く、かつ、先行車との車間距離が極めて接近している場合、車両の制御に介入し、車両を緊急停車させてもよい。
【００５１】
小さい表情変動における表情変動速度の低下は、眠気の初期段階においても発生する。このため、眠気判定装置１００は、眠気の初期段階においても、その眠気レベルを精度良く判定することができる。事故の未然防止には、特に、眠気レベル３までの初期の眠気レベルにおいて、運転者に対して適切に注意喚起を促し、安全運転を支援することが効果的であると言われている。したがって、出力部２２０は、眠気レベル２および眠気レベル３の付近で、上述の警報を行うことにより、運転の安全性を向上させることができる。
【００５２】
以上で、眠気判定装置１００および安全運転支援装置２００の構成についての説明を終える。
【００５３】
次に、眠気判定装置１００を含む安全運転支援装置２００の動作について説明する。
【００５４】
図４は、安全運転支援装置２００の動作の一例を示すフローチャートである。
【００５５】
まず、ステップＳ２０００において、表情変動検出部２１０は、運転者の表情変動の大きさＤ（ｔ）および表情変動速度Ｓ（ｔ）を検出する。そして、表情変動取得部１１０は、この表情変動の大きさＤ（ｔ）および表情変動速度Ｓ（ｔ）を取得し、表情変動判定部１２０へ出力する。
【００５６】
図５は、表情変動の取得手法を説明するための図である。ここでは、最新の時刻（現在時刻）をｔとし、ｎだけ遡った過去の時刻をｔ−ｎとする。例えば、時刻ｔ−ｎにおいて運転者は覚醒状態にあり、時刻ｔにおいて運転者は傾眠状態にある。
【００５７】
図５（Ａ）に示すように、表情変動検出部２１０は、時刻ｔ−１の直後には、時刻ｔ−１の画像３００から、運転者の右口角３０１の座標および左口角３０２の座標を、それぞれ、ＦＲ（ｔ−１）およびＦＬ（ｔ−１）として検出する。より具体的には、表情変動検出部２１０は、例えば、ＡＡＭ（Active Appearance Model）あるいはＡＳＭ（Active Shape Model）などの顔特徴点検出処理を用いて、座標ＦＲ（ｔ−１）および座標ＦＬ（ｔ−１）を、画像上の２次元座標系における顔の特徴点として検出する。
【００５８】
また、図５（Ｂ）に示すように、表情変動検出部２１０は、時刻ｔの直後には、時刻ｔの画像３００についても、同様に、運転者の右口角３０３の座標および左口角３０４の座標を、それぞれ、ＦＲ（ｔ）およびＦＬ（ｔ）として検出する。
【００５９】
表情変動検出部２１０は、例えば以下のようにして、時刻ｔにおける表情変動の大きさＤ（ｔ）および表情変動速度Ｓ（ｔ）を検出する。
【００６０】
表情変動検出部２１０は、例えば、以下の式（２）を用い、左右口角間の距離の変動の大きさＤｄ（ｔ）を算出する。
Ｄｄ（ｔ）
＝｜｜ＦＬ（ｔ）− ＦＲ（ｔ）｜− ｜ＦＬ（ｔ−ｎ）− ＦＲ（ｔ−ｎ）｜｜
・・・・・・（２）
【００６１】
表情変動検出部２１０は、例えば、以下の式（３）を用いて、時刻ｔにおける表情変動速度Ｓ（ｔ）を算出する。
Ｓ（ｔ）＝｜Ｄｄ（ｔ）｜／ｎ ・・・・・・（３）
【００６２】
また、表情変動検出部２１０は、検出誤差などが吸収されるように、複数の時刻において上述の式（３）により算出される速度の移動平均を、最終的な表情変動速度とするようにしてもよい。
【００６３】
そして、図４のステップＳ３０００において、表情変動判定部１２０は、表情変動取得部１１０から入力された表情変動の大きさＤ（ｔ）が、予め設定された閾値α未満であるか否かを判断する。表情変動判定部１２０は、表情変動の大きさＤ（ｔ）が閾値α未満ではない場合（Ｓ３０００：ＮＯ）、ステップＳ４０００へ進む。これは、表情変動の大きさが大きく、表情変動速度の低下からは眠気判定を精度良く検出することができない状況である。また、表情変動判定部１２０は、表情変動の大きさＤ（ｔ）が閾値α未満である場合（Ｓ３０００：ＹＥＳ）、ステップＳ５０００へ進む。これは、表情変動が小さく、表情変動速度の低下から眠気判定を精度良く検出することができる状況である。
【００６４】
ステップＳ５０００において、表情変動判定部１２０は、表情変動速度Ｓ（ｔ）を、眠気判定部１３０へ出力する。この結果、眠気判定部１３０は、表情変動判定部１２０から入力された表情変動速度Ｓ（ｔ）に基づいて、運転者の眠気レベルを判定する。より具体的には、眠気判定部１３０は、第１の眠気判定テーブル（図３参照）を参照して、表情変動速度Ｓ（ｔ）に対応する眠気レベルを判定する。そして、眠気判定部１３０は、判定結果を、出力部２２０へ出力する。
【００６５】
そして、ステップＳ６０００において、出力部２２０は、眠気判定部１３０から入力された判定結果に応じた処理を行い、ステップＳ４０００へ進む。判定結果に応じた処理とは、上述の通り、例えば、眠気レベル２〜眠気レベル５の場合に、音などによる警報を行う処理である。
【００６６】
そして、ステップＳ４０００において、表情変動検出部２１０は、運転者の操作などにより処理の終了を指示されたか否かを判断する。表情変動検出部２１０は、処理の終了を指示されていない場合（Ｓ４０００：ＮＯ）、ステップＳ２０００へ戻り、上述の所定の周期で、表情変動の検出を繰り返す。また、表情変動検出部２１０は、処理の終了を指示されていない場合（Ｓ４０００：ＹＥＳ）、一連の処理を終了する。
【００６７】
このような処理により、安全運転支援装置２００は、運転者の表情変動の大きさが小さく、かつ、その速度が遅くなったとき、眠気レベルが高いと判定し、運転者に対して警報を行うことができる。
【００６８】
以上で、眠気判定装置１００を含む安全運転支援装置２００の動作についての説明を終える。
【００６９】
以上のように、本実施の形態に係る眠気判定装置１００は、運転者の表情変動の大きさが所定の閾値未満であることを条件として、運転者の表情変動速度に基づく運転者の眠気レベルの判定を行う。これにより、眠気判定装置１００は、表情変動が生じている場合であっても眠気レベルを精度良く判定することができる。
【００７０】
また、本実施の形態に係る安全運転支援装置２００は、このような眠気判定装置１００による眠気レベルの判定結果に基づいて警報を行うので、誤報を防ぎつつ、居眠り運転をより確実に防止することができる。
【００７１】
（実施の形態３）
本発明の実施の形態３は、表情変動の大きさの閾値αを、運転者ごとあるいは環境ごとに設定する場合の具体的態様の一例である。
【００７２】
覚醒時の表情変動の大きさには、個人差がある。また、同一の人であっても、撮影環境（カメラとの距離）によって、覚醒時の表情変動の大きさ（画像上の大きさ）は異なってくる。そこで、本実施の形態に係る安全運転支援装置は、眠気判定を開始する前に、表情変動の大きさの履歴を取り、表情変動の出現傾向に基づいて、表情変動の大きさの閾値αの調整を行う。
【００７３】
図６は、本実施の形態に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。
【００７４】
図６において、本実施の形態に係る安全運転支援装置２００ａは、実施の形態２とは異なる表情変動判定部１２０ａを備えた眠気判定装置１００ａを有する。表情変動判定部１２０ａは、閾値決定部１２１ａを有する。
【００７５】
閾値決定部１２１ａは、表情変動の大きさの履歴を記憶し、その履歴に基づいて、表情変動の大きさの比較に用いる、上述の閾値αを決定する。
【００７６】
図７は、本実施の形態に係る安全運転支援装置２００ａの動作の一例を示すフローチャートであり、実施の形態２の図４に対応するものである。図４と同一部分には同一ステップ番号を付し、これについての説明を省略する。
【００７７】
安全運転支援装置２００ａは、図４のステップＳ２０００〜Ｓ６０００の処理に先立って、以下に説明するステップＳ１１００ａ〜１４００ａの処理を行う。
【００７８】
まず、ステップＳ１１００ａにおいて、表情変動検出部２１０は、運転者の表情変動の大きさＤ（ｔ）を検出する。そして、表情変動取得部１１０は、この表情変動の大きさＤ（ｔ）を取得し、表情変動判定部１２０ａへ出力する。
【００７９】
そして、ステップＳ１２００ａにおいて、閾値決定部１２１ａは、処理を開始してから、閾値αの決定に必要な所定の時間ＴＬが経過したか否かを判断する。かかる所定の時間ＴＬとは、閾値αの調整を精度良く行うのに必要な履歴が蓄積されるのに要する時間として、予め定められた時間である。閾値決定部１２１ａは、所定の時間ＴＬが経過していない場合（Ｓ１２００ａ：ＮＯ）、ステップＳ１３００ａへ進む。また、閾値決定部１２１ａは、所定の時間ＴＬが経過した場合（Ｓ１２００ａ：ＹＥＳ）、ステップＳ１４００ａへ進む。
【００８０】
ステップＳ１３００ａにおいて、閾値決定部１２１ａは、入力された表情変動の大きさＤ（ｔ）を記録（蓄積）し、ステップＳ１１００ａへ戻る。この結果、閾値決定部１２１ａは、表情変動の大きさＤ（ｔ）の集合ＤＵを得る。
【００８１】
ステップ１４００ａにおいて、閾値決定部１２１ａは、蓄積された表情変動の大きさＤ（ｔ）の集合ＤＵに基づいて、閾値αの決定処理を行う。より具体的には、閾値決定部１２１ａは、例えば、過去に取得された表情変動の大きさＤの中間値や平均値を、閾値αとして決定する。
【００８２】
これにより、運転者の表情変動が比較的大きい場合や、運転者とカメラとの距離が短い場合は、より大きい値を閾値αとして決定することができる。また、運転者の表情変動が比較的小さい場合や、運転者とカメラとの距離が長い場合は、より小さい値を閾値αとして決定することができる。
【００８３】
このような安全運転支援装置２００ａは、調整により適切な閾値αを設定して眠気判定を行うことができるので、眠気レベルを更に精度良く判定し、運転の安全性を更に向上させることができる。
【００８４】
（実施の形態４）
本発明の実施の形態４は、表情変動速度の変化量に基づいて眠気レベルを判定する場合の具体的態様の一例である。
【００８５】
傾眠時の表情変動速度は、覚醒時に比べて、その変化量が小さいという傾向を有する。すなわち、小さい変化量は、眠気の兆候の１つである。そこで、速度の変化量の小さい表情変動（以下「低変換量表情変動」という）を用いて眠気判定を行う。
【００８６】
図８は、本実施の形態に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。
【００８７】
本実施の形態に係る安全運転支援装置２００ｂは、実施の形態２とは異なる眠気判定部１３０ｂを備えた眠気判定装置１００ｂを有する。眠気判定部１３０ｂは、速度変化量算出部１３１ｂを有する。
【００８８】
速度変化量算出部１３１ｂは、表情変動判定部１２０から入力される表情変動速度（つまり、眠気判定の対象となる表情変動速度）に基づいて、表情変動速度の変化量を算出する。
【００８９】
また、眠気判定部１３０ｂは、表情変動の大きさが所定の閾値未満であることを条件として、表情変動速度の変化量に基づく運転者の眠気判定を行う。より具体的には、眠気判定部１３０ｂは、第２の眠気判定テーブルを参照し、速度変化量算出部１３１ｂが算出した表情変動速度の変化量に基づいて、眠気レベルの判定を行う。そして、眠気判定部１３０ｂは、運転者の眠気レベルの判定結果を、後述の出力部２２０を用いて運転者に通知する。
【００９０】
第２の眠気判定テーブルは、予め定められた複数の眠気レベルのそれぞれについて、その眠気レベルにおける表情変動速度の変化量の範囲を記述したテーブルである。
【００９１】
図９は、第２の眠気判定テーブルの内容の一例を示す図である。
【００９２】
図９に示すように、第２の眠気判定テーブル３２０ｂは、例えば、表情変動速度の変化量３２１ｂと、眠気レベル３２２ｂとを対応付けて記述している。表情変動速度の変化量３２１ｂには、表情変動速度の変化量ΔＳ（ｔ）の範囲が記述されている。眠気レベル３２２ｂには、予め定められた眠気レベルが記述されている。
【００９３】
ここで、表情変動速度の変化量３２１ｂに記述されたパラメータＴｈｃ１〜Ｔｈｃ４は、表情変動速度ΔＳ（ｔ）の各範囲を規定する閾値であり、以下の式（４）に示す関係を満たす。すなわち、パラメータＴｈｃ１は、最も低い閾値であり、より速い表情変動速度の変化量ΔＳ（ｔ）に対応している。そして、パラメータＴｈｃ４は、最も高い閾値であり、より小さい変化量ΔＳ（ｔ）に対応している。
Ｔｈｃ１＜Ｔｈｃ２＜Ｔｈｃ３＜Ｔｈｃ４ ・・・・・・（４）
【００９４】
また、眠気レベル３２２ｂに記述された「レベル１」〜「レベル５」は、実施の形態２と同様に、非特許文献１において規定されている５段階の眠気レベルである。
【００９５】
すなわち、眠気判定装置１００ｂは、過去の時刻ｔ−ｎにおける表情変動速度Ｓ（ｔ−ｎ）と時刻ｔにおける表情変動速度Ｓ（ｔ）とを比較する。そして、眠気判定装置１００ｂは、時刻ｔ−ｎから時刻ｔまでに、表情変動速度Ｓ（ｔ）が遅くなっているほど、眠気がより強いと判定する。
【００９６】
図１０は、安全運転支援装置２００ｂの動作の一例を示すフローチャートであり、実施の形態２の図４に対応するものである。図４と同一部分には同一ステップ番号を付し、これについての説明を省略する。
【００９７】
表情変動判定部１２０は、表情変動の大きさＤ（ｔ）が閾値α未満である場合（Ｓ３０００：ＹＥＳ）、表情変動速度Ｓ（ｔ）を眠気判定部１３０ｂへ出力して、ステップＳ５１００ｂへ進む。
【００９８】
ステップＳ５１００ｂにおいて、速度変化量算出部１３１ｂは、表情変動取得部１１０から入力された表情変動速度Ｓ（ｔ）を記録する。このステップが繰り返された結果、例えば、時刻０〜時刻ｔの表情変動速度Ｓ（０）〜Ｓ（ｔ）が記録される。
【００９９】
そして、ステップＳ５２００ｂにおいて、速度変化量算出部１３１ｂは、過去に記録した表情変動速度から、表情変動速度の差分の基準となる速度（以下「表情変動の基準速度」という）Ｓ（Ｂ）を決定する。
【０１００】
具体的には、速度変化量算出部１３１ｂは、例えば、時刻０〜時刻ｔ−ｎの表情変動速度Ｓ（０）〜Ｓ（ｔ−ｎ）の平均値を、表情変動の基準速度Ｓ（Ｂ）に決定してもよい。また、速度変化量算出部１３１ｂは、例えば、時刻０〜時刻ｔの表情変動速度Ｓ（０）〜Ｓ（ｔ）の最大値を、表情変動の基準速度Ｓ（Ｂ）に決定してもよい。なお、表情変動の基準速度Ｓ（Ｂ）の決定手法は、これらに限定されるものではなく、過去の表情変動速度を代表する値であればよい。
【０１０１】
そして、ステップＳ５３００ｂにおいて、速度変化量算出部１３１ｂは、決定した、表情変動の基準速度Ｓ（Ｂ）に対する、最新の表情変動速度Ｓ（ｔ）の差分を、表情変動速度の変化量ΔＳ（ｔ）として算出する。
【０１０２】
具体的には、速度変化量算出部１３１ｂは、例えば、以下の式（５）を用いて、表情変動速度の変化量ΔＳ（ｔ）を算出する。
ΔＳ（ｔ）＝｜Ｓ（ｔ）−Ｓ（Ｂ）｜・・・・・・（５）
【０１０３】
そして、ステップＳ５４００ｂにおいて、眠気判定部１３０は、速度変化量算出部１３１ｂが算出した表情変動速度の変化量ΔＳ（ｔ）に基づいて、運転者の眠気レベルを判定する。より具体的には、眠気判定部１３０ｂは、第２の眠気判定テーブル（図９参照）を参照して、表情変動速度の変化量ΔＳ（ｔ）に対応する眠気レベルを判定する。そして、眠気判定部１３０ｂは、判定結果を、出力部２２０へ出力して、ステップＳ６０００へ進む。
【０１０４】
このような安全運転支援装置２００ｂは、覚醒時の低変化量変動については判定対象から除外しつつ、低変化量変動を用いて眠気判定を行うことができるので、眠気レベルを精度良く判定し、運転の安全性を向上させることができる。
【０１０５】
なお、本実施の形態に係る安全運転支援装置２００ｂにおいても、実施の形態３のように、閾値αの調整を行うようにしてもよい。
【０１０６】
なお、以上説明した実施の形態２〜実施の形態４において、左右口角間の距離の変動の大きさＤｄ（ｔ＋ｎ）の算出手法は、上述の例に限定されない。
【０１０７】
例えば、表情変動検出部は、時刻ｔ＋ｎにおける右口角の表情変動の大きさＤＲ（ｔ＋ｎ）および左口角の表情変動の大きさＤＬ（ｔ＋ｎ）を、以下の式（６）および式（７）を用いて算出する。
ＤＲ（ｔ＋ｎ）＝｜ＦＲ（ｔ＋ｎ）− ＦＲ（ｔ）｜ ・・・・・・（６）
ＤＬ（ｔ＋ｎ）＝｜ＦＬ（ｔ＋ｎ）− ＦＬ（ｔ）｜ ・・・・・・（７）
【０１０８】
そして、表情変動検出部は、左右口角の表情変動の大きさＤＲ（ｔ＋ｎ）、ＤＬ（ｔ＋ｎ）から、以下の式（８）を用いて、左右口角間の距離の変動の大きさＤｄ（ｔ＋ｎ）を、表情変動の大きさとして算出する。
Ｄｄ（ｔ＋ｎ）＝ＤＲ（ｔ＋ｎ）−ＤＬ（ｔ＋ｎ） ・・・・・・（８）
【０１０９】
また、以上説明した実施の形態２〜実施の形態４においては、画像上の２次元座標系における表情変動の大きさおよび速度を用いたが、実空間の３次元座標系における表情変動の大きさおよび速度を用いてもよい。
【０１１０】
また、判定対象となる眠気レベルは、上述の５段階に限定されない。判定対象となる眠気レベルは、例えば、「眠気無し」、「眠気弱」、「眠気強」の３段階であってもよい。
【０１１１】
この場合、実施の形態２および実施の形態３では、例えば、２つのパラメータＴｈｂ１、Ｔｈｂ２を閾値として用いて表情変動速度Ｓ（ｔ）を３つの範囲に区分し、眠気判定を行う。この場合、パラメータＴｈｂ１、Ｔｈｂ２は、例えば以下の式（９）に示す関係を満たす。
Ｔｈｂ１＜Ｔｈｂ２ ・・・・・・（９）
【０１１２】
また、実施の形態４では、例えば、２つのパラメータＴｈｄ１、Ｔｈｄ２を閾値として用いて表情変動速度の変化量ΔＳ（ｔ）を３つの範囲に区分し、眠気判定を行う。この場合、パラメータＴｈｄ１、Ｔｈｄ２は、例えば以下の式（１０）に示す関係を満たす。
Ｔｈｄ１＜Ｔｈｄ２ ・・・・・・（１０）
【０１１３】
また、表情変動検出部は、画像データに基づいて運転者の表情変動の大きさおよび速度を検出するとしたが、これに限定されない。表情変動検出部は、例えば、運転者の顔から筋電情報を取得し、筋電情報に基づいて運転者の表情変動を検出してもよい。また、表情変動検出部は、例えば、口周辺のテクスチャ形状の変化といった他の各種画像特徴を数値化した値を用いて、表情変動の大きさおよび速度を検出してもよい。
【産業上の利用可能性】
【０１１４】
本発明は、表情変動が生じている場合であっても眠気レベルを精度良く判定することができる眠気判定装置および眠気判定方法として有用である。
【符号の説明】
【０１１５】
１００、１００ａ、１００ｂ 眠気判定装置
１１０ 表情変動取得部
１２０、１２０ａ 表情変動判定部
１２１ａ 閾値決定部
１３０、１３０ｂ 眠気判定部
１３１ｂ 速度変化量算出部
２００、２００ａ、２００ｂ 安全運転支援装置
２１０ 表情変動検出部
２２０ 出力部
【技術分野】
【０００１】
本発明は、人の眠気レベルの判定を行う眠気判定装置および眠気判定方法に関する。
【背景技術】
【０００２】
従来、居眠り運転防止用の警報などを目的として、人の眠気レベルの判定を自動で行う技術が提案されている（例えば特許文献１参照）。
【０００３】
特許文献１に記載の技術（以下「従来技術」という）は、まず、車両の室内に設置した撮像機器により撮影された運転者の顔の映像から、運転者の顔特徴点間の距離（左右口角間の距離、眉と目の距離など）を、逐次検出する。そして、従来技術は、検出した特徴点間距離を、運転者が覚醒状態にあるときの特徴点間距離と比較することにより、運転者の眠気の兆候を検出する。より具体的には、従来技術は、覚醒状態のときの特徴点間距離と、判定対象時刻の特徴点間距離との大小関係から、運転者の眠気レベルを判定する。このような従来技術は、人の眠気レベルの判定を自動で行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−４５４１８号公報
【非特許文献】
【０００５】
【非特許文献１】北島洋樹、外３名、「自動車運転時の眠気の予測手法についての研究」、日本機械学会論文集（Ｃ編）、日本機械学会、１９９７年、６３巻６１３号、ｐ．９３−１００
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、人は、眠気のレベルが比較的高いときでもしばしば表情を変動させるものであり、表情が変動している間、特徴点間距離が覚醒状態の場合と同様の値になることもある。したがって、従来技術は、表情変動が生じている場合には、眠気レベルを精度良く判定することができないという課題を有する。
【０００７】
本発明の目的は、表情変動が生じている場合であっても、眠気レベルを精度良く判定することができる眠気判定装置および眠気判定方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の眠気判定装置は、人の表情変動の大きさおよび速度を取得する表情変動取得部と、前記表情変動の大きさが所定の閾値未満であるか否かを判定する表情変動判定部と、前記表情変動の大きさが前記所定の閾値未満であることを条件として、前記表情変動の速度に基づく前記人の眠気レベルの判定を行う眠気判定部とを有する。
【０００９】
本発明の眠気判定方法は、人の表情変動の大きさおよび速度を取得するステップと、前記表情変動の大きさが所定の閾値未満であるか否かを判定するステップと、前記表情変動の大きさが前記所定の閾値未満であることを条件として、前記表情変動の速度に基づく前記人の眠気レベルの判定を行うステップとを有する。
【発明の効果】
【００１０】
本発明によれば、表情変動が生じている場合であっても眠気レベルを精度良く判定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る眠気判定装置の構成の一例を示すブロック図
【図２】本発明の実施の形態２に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図
【図３】本発明の実施の形態２における第１の眠気判定テーブルの内容の一例を示す図
【図４】本発明の実施の形態２に係る安全運転支援装置の動作の一例を示すフローチャート
【図５】本発明の実施の形態２における表情変動の取得手法を説明するための図
【図６】本発明の実施の形態３に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図
【図７】本発明の実施の形態３に係る安全運転支援装置の動作の一例を示すフローチャート
【図８】本発明の実施の形態４に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図
【図９】本発明の実施の形態４における第２の眠気判定テーブルの内容の一例を示す
【図１０】本発明の実施の形態４に係る安全運転支援装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００１３】
（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。
【００１４】
図１は、本発明の実施の形態１に係る眠気判定装置の構成の一例を示すブロック図である。
【００１５】
図１において、眠気判定装置１００は、表情変動取得部１１０、表情変動判定部１２０、および眠気判定部１３０を有する。
【００１６】
表情変動取得部１１０は、人の表情変動の大きさおよび速度を取得する。
【００１７】
表情変動判定部１２０は、表情変動の大きさが所定の閾値未満であるか否かを判定する。
【００１８】
眠気判定部１３０は、表情変動の大きさが所定の閾値未満であることを条件として、表情変動の速度に基づく人の眠気レベルの判定を行う。
【００１９】
なお、眠気判定装置１００は、例えば、ＣＰＵ（central processing unit）およびＲＡＭ（random access memory）等の記憶媒体等を含むコンピュータの構成を取ることができる。この場合、眠気判定装置１００は、記憶する制御プログラムをＣＰＵが実行することによって動作する。
【００２０】
このような眠気判定装置１００は、表情変動の速度（以下、適宜「表情変動速度」という）に基づいて、人の眠気レベルを判定することができる。
【００２１】
口角を左右に引く、眉毛を上げる等、人の表情変動は、覚醒状態にあるとき（例えば、眠気レベルが最も低いとき。以下「覚醒時」という）だけでなく、眠気のレベルが比較的高いときにおいても見られる。一方で、眠気の兆候の１つとして、表情変動速度が遅くなるという傾向がある。そこで、表情変動速度が遅くなったことをもって、眠気レベルが高いと判定することが考えられる。
【００２２】
ところが、発明者は、眠気レベルが高い状態においても速い表情変動が発生し得ることを、実験・評価により見出した。したがって、単に表情変動速度に基づいて眠気レベルの判定を行うと、判定漏れが発生するおそれがある。
【００２３】
一方で、発明者は、眠気レベルが高い状態においては、速い表情変動は、大きい表情変動において顕著に発生し、小さい表情変動ではほとんど発生しないことを、実験・評価により見出した。
【００２４】
そこで、眠気判定装置１００は、大きい表情変動を判定対象から除外して、表情変動速度が遅いか否かに基づく人の眠気レベルの判定（以下「眠気判定」という）を行う。これにより、眠気判定装置１００は、誤判定を防ぎつつ、上述の高い精度での眠気レベルの判定を実現することができる。すなわち、眠気判定装置１００は、表情変動が生じている場合であっても眠気レベルを精度良く判定することができる。
【００２５】
また、表情変動速度の低下は眠気の初期段階においても発生するため、眠気判定装置１００は、眠気の初期段階においても、その眠気レベルを精度良く判定することができる。
【００２６】
（実施の形態２）
本発明の実施の形態２は、本発明を、車両運転者の眠気レベルに応じて運転者に警報を行う安全運転支援装置に適用した場合の、具体的態様の一例である。すなわち、本実施の形態において、本発明に係る眠気判定の対象は、車両の運転者である。
【００２７】
まず、本実施の形態に係る眠気判定装置およびこれを含む安全運転支援装置の構成について説明する。
【００２８】
図２は、本実施の形態に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図である。
【００２９】
図２において、安全運転支援装置２００は、表情変動検出部２１０、眠気判定装置１００、および出力部２２０を有する。
【００３０】
表情変動検出部２１０は、例えば、車両のコラムカバーに設置されたカメラ（図示せず）が撮影した運転者の画像の時系列データ（画像データ、映像）を入力する。そして、表情変動検出部２１０は、入力した画像データから、運転者の表情変動の大きさおよび速度を、所定の周期（例えば０.０３秒周期）で検出する。
【００３１】
そして、表情変動検出部２１０は、同じタイミングで取得された運転者の表情変動の大きさと運転者の表情変動速度との組を、表情変動情報として、表情変動取得部１１０へ逐次出力する。すなわち、表情変動検出部２１０は、所定の周期で取得される表情変動情報の時系列データを、眠気判定装置１００へ出力する。
【００３２】
運転者の表情変動とは、運転者の表情筋の伸縮によって引き起こされる変化であり、例えば、口角を引くなどの顔の動きである。
【００３３】
本実施の形態において、運転者の表情変動は、運転者の顔面上にある２点の間の距離の変動とする。この２点は、表情筋の動きに連動して伸縮する２点である左右の口角とする。そして、「表情変動の大きさ」は、運転者の左右の口角の間の距離（以下「口角距離」という）の変動の大きさとし、「表情変動速度」は、口角距離の変動の速度とする。
【００３４】
また、本実施の形態において、表情変動検出部２１０は、撮影した画像から、運転者の顔面の画像特徴点を抽出し、抽出結果から、運転者の左右の口角を抽出するものとする。
表情変動の取得手法については、後述する。
【００３５】
眠気判定装置１００は、表情変動検出部２１０から入力される表情変動情報に基づいて、人の眠気レベルの判定を行う。眠気判定装置１００は、表情変動取得部１１０、表情変動判定部１２０、および眠気判定部１３０を有する。
【００３６】
表情変動取得部１１０は、運転者の表情変動の大きさおよび速度を取得する。より具体的には、表情変動取得部１１０は、表情変動検出部２１０から表情変動情報を取得し、表情変動判定部１２０へ出力する。
【００３７】
表情変動判定部１２０は、表情変動の大きさが所定の閾値未満であるか否かを判定する。そして、表情変動判定部１２０は、表情変動の大きさが所定の閾値未満である表情変動情報についてのみ、その表情変動情報に含まれる表情変動速度を、眠気判定部１３０へ出力する。すなわち、表情変動判定部１２０は、表情変動取得部１１０から入力された表情変動情報に対して、その表情変動情報に含まれる表情変動の大きさに基づき、フィルタリングを行う。
【００３８】
眠気判定部１３０は、表情変動の大きさが所定の閾値未満であることを条件として、表情変動速度に基づく運転者の眠気判定を行う。より具体的には、眠気判定部１３０は、第１の眠気判定テーブルを参照し、表情変動判定部１２０から入力された表情変動速度に基づいて、眠気レベルの判定を行う。そして、眠気判定部１３０は、運転者の眠気レベルの判定結果を、後述の出力部２２０を用いて運転者に通知する。
【００３９】
第１の眠気判定テーブルは、予め定められた複数の眠気レベルのそれぞれについて、その眠気レベルにおける表情変動速度の範囲を記述したテーブルである。
【００４０】
図３は、第１の眠気判定テーブルの内容の一例を示す図である。
【００４１】
図３に示すように、第１の眠気判定テーブル３１０は、例えば、表情変動速度３１１と、眠気レベル３１２とを対応付けて記述している。表情変動速度３１１には、表情変動速度Ｓ（ｔ）の範囲が記述されている。眠気レベル３１２には、予め定められた眠気レベルが記述されている。
【００４２】
ここで、表情変動速度３１１に記述されたパラメータＴｈａ１〜Ｔｈａ４は、表情変動速度Ｓ（ｔ）の各範囲を規定する閾値であり、以下の式（１）に示す関係を満たす。すなわち、パラメータＴｈａ１は、最も低い閾値であり、より速い表情変動速度Ｓ（ｔ）に対応している。そして、パラメータＴｈａ４は、最も高い閾値であり、より遅い表情変動速度Ｓ（ｔ）に対応している。
Ｔｈａ１＜Ｔｈａ２＜Ｔｈａ３＜Ｔｈａ４ ・・・・・・（１）
【００４３】
また、眠気レベル３１２に記述された「レベル１」〜「レベル５」は、非特許文献１において規定されている５段階の眠気レベルである。「レベル１」は、全く眠くなさそうな状態に対応する。「レベル２」は、やや眠そうな状態に対応する。「レベル３」は、眠そうな状態に対応する。「レベル４」は、かなり眠そうな状態に対応する。「レベル５」は、非常に眠そうな状態に対応する。すなわち、「レベル１」は、覚醒状態に対応し、「レベル２」および「レベル３」は、初期傾眠時に対応する。
【００４４】
すなわち、第１の眠気判定テーブル３１０は、より遅い表情変動速度ほど、より高い眠気レベルを対応付けている。
【００４５】
出力部２２０は、眠気判定部１３０において判定された眠気レベルに応じた報知情報を出力し、判定結果を運転者に通知する。報知情報は、例えば、音、光、画像、香り、風、気温など、人が知覚可能な情報の形態を取る。
【００４６】
本実施の形態では、報知情報は、運転者の眠気による事故防止のために出力されるものである。
【００４７】
したがって、例えば、眠気レベル１では、出力部２２０は、何も出力しない。
【００４８】
また、例えば、眠気レベル２では、出力部２２０は、報知情報として、車室内に存在する環境音を強調した強調音、香り、冷風、および光の少なくとも１つを用いる。これにより、運転者に対して、さりげなく眠気防止を促すことができる。なお、この場合、出力部２２０は、スピーカ、ベンチレータ、あるいはＬＥＤ照明などによって実現される。
【００４９】
また、例えば、眠気レベル３では、出力部２２０は、報知情報として、警報音（ビープ音、音声、超音波）、シートの振動、ステアリングの振動、およびシートベルトによる締め付けの少なくとも１つを用いる。
【００５０】
また、例えば、眠気レベル４および眠気レベル５では、出力部２２０は、報知情報として、大音量の警報音、シートの大振動、およびステアリングの大振動の少なくとも１つを用いる。また、例えば、出力部２２０は、警報と共に、運転者に対して、積極的に休憩を促す情報を出力してもよい。また、例えば、出力部２２０は、眠気レベルが高く、かつ、先行車との車間距離が極めて接近している場合、車両の制御に介入し、車両を緊急停車させてもよい。
【００５１】
小さい表情変動における表情変動速度の低下は、眠気の初期段階においても発生する。このため、眠気判定装置１００は、眠気の初期段階においても、その眠気レベルを精度良く判定することができる。事故の未然防止には、特に、眠気レベル３までの初期の眠気レベルにおいて、運転者に対して適切に注意喚起を促し、安全運転を支援することが効果的であると言われている。したがって、出力部２２０は、眠気レベル２および眠気レベル３の付近で、上述の警報を行うことにより、運転の安全性を向上させることができる。
【００５２】
以上で、眠気判定装置１００および安全運転支援装置２００の構成についての説明を終える。
【００５３】
次に、眠気判定装置１００を含む安全運転支援装置２００の動作について説明する。
【００５４】
図４は、安全運転支援装置２００の動作の一例を示すフローチャートである。
【００５５】
まず、ステップＳ２０００において、表情変動検出部２１０は、運転者の表情変動の大きさＤ（ｔ）および表情変動速度Ｓ（ｔ）を検出する。そして、表情変動取得部１１０は、この表情変動の大きさＤ（ｔ）および表情変動速度Ｓ（ｔ）を取得し、表情変動判定部１２０へ出力する。
【００５６】
図５は、表情変動の取得手法を説明するための図である。ここでは、最新の時刻（現在時刻）をｔとし、ｎだけ遡った過去の時刻をｔ−ｎとする。例えば、時刻ｔ−ｎにおいて運転者は覚醒状態にあり、時刻ｔにおいて運転者は傾眠状態にある。
【００５７】
図５（Ａ）に示すように、表情変動検出部２１０は、時刻ｔ−１の直後には、時刻ｔ−１の画像３００から、運転者の右口角３０１の座標および左口角３０２の座標を、それぞれ、ＦＲ（ｔ−１）およびＦＬ（ｔ−１）として検出する。より具体的には、表情変動検出部２１０は、例えば、ＡＡＭ（Active Appearance Model）あるいはＡＳＭ（Active Shape Model）などの顔特徴点検出処理を用いて、座標ＦＲ（ｔ−１）および座標ＦＬ（ｔ−１）を、画像上の２次元座標系における顔の特徴点として検出する。
【００５８】
また、図５（Ｂ）に示すように、表情変動検出部２１０は、時刻ｔの直後には、時刻ｔの画像３００についても、同様に、運転者の右口角３０３の座標および左口角３０４の座標を、それぞれ、ＦＲ（ｔ）およびＦＬ（ｔ）として検出する。
【００５９】
表情変動検出部２１０は、例えば以下のようにして、時刻ｔにおける表情変動の大きさＤ（ｔ）および表情変動速度Ｓ（ｔ）を検出する。
【００６０】
表情変動検出部２１０は、例えば、以下の式（２）を用い、左右口角間の距離の変動の大きさＤｄ（ｔ）を算出する。
Ｄｄ（ｔ）
＝｜｜ＦＬ（ｔ）− ＦＲ（ｔ）｜− ｜ＦＬ（ｔ−ｎ）− ＦＲ（ｔ−ｎ）｜｜
・・・・・・（２）
【００６１】
表情変動検出部２１０は、例えば、以下の式（３）を用いて、時刻ｔにおける表情変動速度Ｓ（ｔ）を算出する。
Ｓ（ｔ）＝｜Ｄｄ（ｔ）｜／ｎ ・・・・・・（３）
【００６２】
また、表情変動検出部２１０は、検出誤差などが吸収されるように、複数の時刻において上述の式（３）により算出される速度の移動平均を、最終的な表情変動速度とするようにしてもよい。
【００６３】
そして、図４のステップＳ３０００において、表情変動判定部１２０は、表情変動取得部１１０から入力された表情変動の大きさＤ（ｔ）が、予め設定された閾値α未満であるか否かを判断する。表情変動判定部１２０は、表情変動の大きさＤ（ｔ）が閾値α未満ではない場合（Ｓ３０００：ＮＯ）、ステップＳ４０００へ進む。これは、表情変動の大きさが大きく、表情変動速度の低下からは眠気判定を精度良く検出することができない状況である。また、表情変動判定部１２０は、表情変動の大きさＤ（ｔ）が閾値α未満である場合（Ｓ３０００：ＹＥＳ）、ステップＳ５０００へ進む。これは、表情変動が小さく、表情変動速度の低下から眠気判定を精度良く検出することができる状況である。
【００６４】
ステップＳ５０００において、表情変動判定部１２０は、表情変動速度Ｓ（ｔ）を、眠気判定部１３０へ出力する。この結果、眠気判定部１３０は、表情変動判定部１２０から入力された表情変動速度Ｓ（ｔ）に基づいて、運転者の眠気レベルを判定する。より具体的には、眠気判定部１３０は、第１の眠気判定テーブル（図３参照）を参照して、表情変動速度Ｓ（ｔ）に対応する眠気レベルを判定する。そして、眠気判定部１３０は、判定結果を、出力部２２０へ出力する。
【００６５】
そして、ステップＳ６０００において、出力部２２０は、眠気判定部１３０から入力された判定結果に応じた処理を行い、ステップＳ４０００へ進む。判定結果に応じた処理とは、上述の通り、例えば、眠気レベル２〜眠気レベル５の場合に、音などによる警報を行う処理である。
【００６６】
そして、ステップＳ４０００において、表情変動検出部２１０は、運転者の操作などにより処理の終了を指示されたか否かを判断する。表情変動検出部２１０は、処理の終了を指示されていない場合（Ｓ４０００：ＮＯ）、ステップＳ２０００へ戻り、上述の所定の周期で、表情変動の検出を繰り返す。また、表情変動検出部２１０は、処理の終了を指示されていない場合（Ｓ４０００：ＹＥＳ）、一連の処理を終了する。
【００６７】
このような処理により、安全運転支援装置２００は、運転者の表情変動の大きさが小さく、かつ、その速度が遅くなったとき、眠気レベルが高いと判定し、運転者に対して警報を行うことができる。
【００６８】
以上で、眠気判定装置１００を含む安全運転支援装置２００の動作についての説明を終える。
【００６９】
以上のように、本実施の形態に係る眠気判定装置１００は、運転者の表情変動の大きさが所定の閾値未満であることを条件として、運転者の表情変動速度に基づく運転者の眠気レベルの判定を行う。これにより、眠気判定装置１００は、表情変動が生じている場合であっても眠気レベルを精度良く判定することができる。
【００７０】
また、本実施の形態に係る安全運転支援装置２００は、このような眠気判定装置１００による眠気レベルの判定結果に基づいて警報を行うので、誤報を防ぎつつ、居眠り運転をより確実に防止することができる。
【００７１】
（実施の形態３）
本発明の実施の形態３は、表情変動の大きさの閾値αを、運転者ごとあるいは環境ごとに設定する場合の具体的態様の一例である。
【００７２】
覚醒時の表情変動の大きさには、個人差がある。また、同一の人であっても、撮影環境（カメラとの距離）によって、覚醒時の表情変動の大きさ（画像上の大きさ）は異なってくる。そこで、本実施の形態に係る安全運転支援装置は、眠気判定を開始する前に、表情変動の大きさの履歴を取り、表情変動の出現傾向に基づいて、表情変動の大きさの閾値αの調整を行う。
【００７３】
図６は、本実施の形態に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。
【００７４】
図６において、本実施の形態に係る安全運転支援装置２００ａは、実施の形態２とは異なる表情変動判定部１２０ａを備えた眠気判定装置１００ａを有する。表情変動判定部１２０ａは、閾値決定部１２１ａを有する。
【００７５】
閾値決定部１２１ａは、表情変動の大きさの履歴を記憶し、その履歴に基づいて、表情変動の大きさの比較に用いる、上述の閾値αを決定する。
【００７６】
図７は、本実施の形態に係る安全運転支援装置２００ａの動作の一例を示すフローチャートであり、実施の形態２の図４に対応するものである。図４と同一部分には同一ステップ番号を付し、これについての説明を省略する。
【００７７】
安全運転支援装置２００ａは、図４のステップＳ２０００〜Ｓ６０００の処理に先立って、以下に説明するステップＳ１１００ａ〜１４００ａの処理を行う。
【００７８】
まず、ステップＳ１１００ａにおいて、表情変動検出部２１０は、運転者の表情変動の大きさＤ（ｔ）を検出する。そして、表情変動取得部１１０は、この表情変動の大きさＤ（ｔ）を取得し、表情変動判定部１２０ａへ出力する。
【００７９】
そして、ステップＳ１２００ａにおいて、閾値決定部１２１ａは、処理を開始してから、閾値αの決定に必要な所定の時間ＴＬが経過したか否かを判断する。かかる所定の時間ＴＬとは、閾値αの調整を精度良く行うのに必要な履歴が蓄積されるのに要する時間として、予め定められた時間である。閾値決定部１２１ａは、所定の時間ＴＬが経過していない場合（Ｓ１２００ａ：ＮＯ）、ステップＳ１３００ａへ進む。また、閾値決定部１２１ａは、所定の時間ＴＬが経過した場合（Ｓ１２００ａ：ＹＥＳ）、ステップＳ１４００ａへ進む。
【００８０】
ステップＳ１３００ａにおいて、閾値決定部１２１ａは、入力された表情変動の大きさＤ（ｔ）を記録（蓄積）し、ステップＳ１１００ａへ戻る。この結果、閾値決定部１２１ａは、表情変動の大きさＤ（ｔ）の集合ＤＵを得る。
【００８１】
ステップ１４００ａにおいて、閾値決定部１２１ａは、蓄積された表情変動の大きさＤ（ｔ）の集合ＤＵに基づいて、閾値αの決定処理を行う。より具体的には、閾値決定部１２１ａは、例えば、過去に取得された表情変動の大きさＤの中間値や平均値を、閾値αとして決定する。
【００８２】
これにより、運転者の表情変動が比較的大きい場合や、運転者とカメラとの距離が短い場合は、より大きい値を閾値αとして決定することができる。また、運転者の表情変動が比較的小さい場合や、運転者とカメラとの距離が長い場合は、より小さい値を閾値αとして決定することができる。
【００８３】
このような安全運転支援装置２００ａは、調整により適切な閾値αを設定して眠気判定を行うことができるので、眠気レベルを更に精度良く判定し、運転の安全性を更に向上させることができる。
【００８４】
（実施の形態４）
本発明の実施の形態４は、表情変動速度の変化量に基づいて眠気レベルを判定する場合の具体的態様の一例である。
【００８５】
傾眠時の表情変動速度は、覚醒時に比べて、その変化量が小さいという傾向を有する。すなわち、小さい変化量は、眠気の兆候の１つである。そこで、速度の変化量の小さい表情変動（以下「低変換量表情変動」という）を用いて眠気判定を行う。
【００８６】
図８は、本実施の形態に係る眠気判定装置および安全運転支援装置の構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。
【００８７】
本実施の形態に係る安全運転支援装置２００ｂは、実施の形態２とは異なる眠気判定部１３０ｂを備えた眠気判定装置１００ｂを有する。眠気判定部１３０ｂは、速度変化量算出部１３１ｂを有する。
【００８８】
速度変化量算出部１３１ｂは、表情変動判定部１２０から入力される表情変動速度（つまり、眠気判定の対象となる表情変動速度）に基づいて、表情変動速度の変化量を算出する。
【００８９】
また、眠気判定部１３０ｂは、表情変動の大きさが所定の閾値未満であることを条件として、表情変動速度の変化量に基づく運転者の眠気判定を行う。より具体的には、眠気判定部１３０ｂは、第２の眠気判定テーブルを参照し、速度変化量算出部１３１ｂが算出した表情変動速度の変化量に基づいて、眠気レベルの判定を行う。そして、眠気判定部１３０ｂは、運転者の眠気レベルの判定結果を、後述の出力部２２０を用いて運転者に通知する。
【００９０】
第２の眠気判定テーブルは、予め定められた複数の眠気レベルのそれぞれについて、その眠気レベルにおける表情変動速度の変化量の範囲を記述したテーブルである。
【００９１】
図９は、第２の眠気判定テーブルの内容の一例を示す図である。
【００９２】
図９に示すように、第２の眠気判定テーブル３２０ｂは、例えば、表情変動速度の変化量３２１ｂと、眠気レベル３２２ｂとを対応付けて記述している。表情変動速度の変化量３２１ｂには、表情変動速度の変化量ΔＳ（ｔ）の範囲が記述されている。眠気レベル３２２ｂには、予め定められた眠気レベルが記述されている。
【００９３】
ここで、表情変動速度の変化量３２１ｂに記述されたパラメータＴｈｃ１〜Ｔｈｃ４は、表情変動速度ΔＳ（ｔ）の各範囲を規定する閾値であり、以下の式（４）に示す関係を満たす。すなわち、パラメータＴｈｃ１は、最も低い閾値であり、より速い表情変動速度の変化量ΔＳ（ｔ）に対応している。そして、パラメータＴｈｃ４は、最も高い閾値であり、より小さい変化量ΔＳ（ｔ）に対応している。
Ｔｈｃ１＜Ｔｈｃ２＜Ｔｈｃ３＜Ｔｈｃ４ ・・・・・・（４）
【００９４】
また、眠気レベル３２２ｂに記述された「レベル１」〜「レベル５」は、実施の形態２と同様に、非特許文献１において規定されている５段階の眠気レベルである。
【００９５】
すなわち、眠気判定装置１００ｂは、過去の時刻ｔ−ｎにおける表情変動速度Ｓ（ｔ−ｎ）と時刻ｔにおける表情変動速度Ｓ（ｔ）とを比較する。そして、眠気判定装置１００ｂは、時刻ｔ−ｎから時刻ｔまでに、表情変動速度Ｓ（ｔ）が遅くなっているほど、眠気がより強いと判定する。
【００９６】
図１０は、安全運転支援装置２００ｂの動作の一例を示すフローチャートであり、実施の形態２の図４に対応するものである。図４と同一部分には同一ステップ番号を付し、これについての説明を省略する。
【００９７】
表情変動判定部１２０は、表情変動の大きさＤ（ｔ）が閾値α未満である場合（Ｓ３０００：ＹＥＳ）、表情変動速度Ｓ（ｔ）を眠気判定部１３０ｂへ出力して、ステップＳ５１００ｂへ進む。
【００９８】
ステップＳ５１００ｂにおいて、速度変化量算出部１３１ｂは、表情変動取得部１１０から入力された表情変動速度Ｓ（ｔ）を記録する。このステップが繰り返された結果、例えば、時刻０〜時刻ｔの表情変動速度Ｓ（０）〜Ｓ（ｔ）が記録される。
【００９９】
そして、ステップＳ５２００ｂにおいて、速度変化量算出部１３１ｂは、過去に記録した表情変動速度から、表情変動速度の差分の基準となる速度（以下「表情変動の基準速度」という）Ｓ（Ｂ）を決定する。
【０１００】
具体的には、速度変化量算出部１３１ｂは、例えば、時刻０〜時刻ｔ−ｎの表情変動速度Ｓ（０）〜Ｓ（ｔ−ｎ）の平均値を、表情変動の基準速度Ｓ（Ｂ）に決定してもよい。また、速度変化量算出部１３１ｂは、例えば、時刻０〜時刻ｔの表情変動速度Ｓ（０）〜Ｓ（ｔ）の最大値を、表情変動の基準速度Ｓ（Ｂ）に決定してもよい。なお、表情変動の基準速度Ｓ（Ｂ）の決定手法は、これらに限定されるものではなく、過去の表情変動速度を代表する値であればよい。
【０１０１】
そして、ステップＳ５３００ｂにおいて、速度変化量算出部１３１ｂは、決定した、表情変動の基準速度Ｓ（Ｂ）に対する、最新の表情変動速度Ｓ（ｔ）の差分を、表情変動速度の変化量ΔＳ（ｔ）として算出する。
【０１０２】
具体的には、速度変化量算出部１３１ｂは、例えば、以下の式（５）を用いて、表情変動速度の変化量ΔＳ（ｔ）を算出する。
ΔＳ（ｔ）＝｜Ｓ（ｔ）−Ｓ（Ｂ）｜・・・・・・（５）
【０１０３】
そして、ステップＳ５４００ｂにおいて、眠気判定部１３０は、速度変化量算出部１３１ｂが算出した表情変動速度の変化量ΔＳ（ｔ）に基づいて、運転者の眠気レベルを判定する。より具体的には、眠気判定部１３０ｂは、第２の眠気判定テーブル（図９参照）を参照して、表情変動速度の変化量ΔＳ（ｔ）に対応する眠気レベルを判定する。そして、眠気判定部１３０ｂは、判定結果を、出力部２２０へ出力して、ステップＳ６０００へ進む。
【０１０４】
このような安全運転支援装置２００ｂは、覚醒時の低変化量変動については判定対象から除外しつつ、低変化量変動を用いて眠気判定を行うことができるので、眠気レベルを精度良く判定し、運転の安全性を向上させることができる。
【０１０５】
なお、本実施の形態に係る安全運転支援装置２００ｂにおいても、実施の形態３のように、閾値αの調整を行うようにしてもよい。
【０１０６】
なお、以上説明した実施の形態２〜実施の形態４において、左右口角間の距離の変動の大きさＤｄ（ｔ＋ｎ）の算出手法は、上述の例に限定されない。
【０１０７】
例えば、表情変動検出部は、時刻ｔ＋ｎにおける右口角の表情変動の大きさＤＲ（ｔ＋ｎ）および左口角の表情変動の大きさＤＬ（ｔ＋ｎ）を、以下の式（６）および式（７）を用いて算出する。
ＤＲ（ｔ＋ｎ）＝｜ＦＲ（ｔ＋ｎ）− ＦＲ（ｔ）｜ ・・・・・・（６）
ＤＬ（ｔ＋ｎ）＝｜ＦＬ（ｔ＋ｎ）− ＦＬ（ｔ）｜ ・・・・・・（７）
【０１０８】
そして、表情変動検出部は、左右口角の表情変動の大きさＤＲ（ｔ＋ｎ）、ＤＬ（ｔ＋ｎ）から、以下の式（８）を用いて、左右口角間の距離の変動の大きさＤｄ（ｔ＋ｎ）を、表情変動の大きさとして算出する。
Ｄｄ（ｔ＋ｎ）＝ＤＲ（ｔ＋ｎ）−ＤＬ（ｔ＋ｎ） ・・・・・・（８）
【０１０９】
また、以上説明した実施の形態２〜実施の形態４においては、画像上の２次元座標系における表情変動の大きさおよび速度を用いたが、実空間の３次元座標系における表情変動の大きさおよび速度を用いてもよい。
【０１１０】
また、判定対象となる眠気レベルは、上述の５段階に限定されない。判定対象となる眠気レベルは、例えば、「眠気無し」、「眠気弱」、「眠気強」の３段階であってもよい。
【０１１１】
この場合、実施の形態２および実施の形態３では、例えば、２つのパラメータＴｈｂ１、Ｔｈｂ２を閾値として用いて表情変動速度Ｓ（ｔ）を３つの範囲に区分し、眠気判定を行う。この場合、パラメータＴｈｂ１、Ｔｈｂ２は、例えば以下の式（９）に示す関係を満たす。
Ｔｈｂ１＜Ｔｈｂ２ ・・・・・・（９）
【０１１２】
また、実施の形態４では、例えば、２つのパラメータＴｈｄ１、Ｔｈｄ２を閾値として用いて表情変動速度の変化量ΔＳ（ｔ）を３つの範囲に区分し、眠気判定を行う。この場合、パラメータＴｈｄ１、Ｔｈｄ２は、例えば以下の式（１０）に示す関係を満たす。
Ｔｈｄ１＜Ｔｈｄ２ ・・・・・・（１０）
【０１１３】
また、表情変動検出部は、画像データに基づいて運転者の表情変動の大きさおよび速度を検出するとしたが、これに限定されない。表情変動検出部は、例えば、運転者の顔から筋電情報を取得し、筋電情報に基づいて運転者の表情変動を検出してもよい。また、表情変動検出部は、例えば、口周辺のテクスチャ形状の変化といった他の各種画像特徴を数値化した値を用いて、表情変動の大きさおよび速度を検出してもよい。
【産業上の利用可能性】
【０１１４】
本発明は、表情変動が生じている場合であっても眠気レベルを精度良く判定することができる眠気判定装置および眠気判定方法として有用である。
【符号の説明】
【０１１５】
１００、１００ａ、１００ｂ 眠気判定装置
１１０ 表情変動取得部
１２０、１２０ａ 表情変動判定部
１２１ａ 閾値決定部
１３０、１３０ｂ 眠気判定部
１３１ｂ 速度変化量算出部
２００、２００ａ、２００ｂ 安全運転支援装置
２１０ 表情変動検出部
２２０ 出力部
【特許請求の範囲】
【請求項１】
人の表情変動の大きさおよび速度を取得する表情変動取得部と、
前記表情変動の大きさが所定の閾値未満であるか否かを判定する表情変動判定部と、
前記表情変動の大きさが前記所定の閾値未満であることを条件として、前記表情変動の速度に基づく前記人の眠気レベルの判定を行う眠気判定部と、を有する、
眠気判定装置。
【請求項２】
前記眠気判定部は、
前記表情変動の速度がより遅いとき、より高い眠気レベルを前記人の眠気レベルとして判定する、
請求項１記載の眠気判定装置。
【請求項３】
前記表情変動の大きさは、前記人の顔面上にある２点の間の距離の変動の大きさに対応する値であり、前記表情変動の速度は、前記距離の変動の速度に対応する値である、
請求項２記載の眠気判定装置。
【請求項４】
前記表情変動判定部は、
取得された前記距離の、前記人の眠気レベルが低いときの前記２点の間の距離である基準距離に対する差分に対応する値を、前記変動の大きさとする、
請求項３記載の眠気判定装置。
【請求項５】
前記眠気判定部は、
予め定められた複数の眠気レベルのそれぞれについて、その眠気レベルにおける前記表情変動の速度の範囲を記述した第１の眠気判定テーブルを参照して、前記人の眠気レベルを判定する、
請求項２記載の眠気判定装置。
【請求項６】
前記表情変動判定部は、
前記表情変動の大きさの履歴を記憶し、前記履歴に基づいて前記所定の閾値を決定する、
請求項２記載の眠気判定装置。
【請求項７】
前記眠気判定部は、
取得された前記表情変動の速度の変化量に基づいて前記人の眠気レベルを判定する、
請求項２記載の眠気判定装置。
【請求項８】
前記眠気判定部は、
予め定められた複数の眠気レベルのそれぞれについて、その眠気レベルにおける前記表情変動の速度の変化率の範囲を記述した第２の眠気判定テーブルを参照して、前記人の眠気レベルを判定する、
請求項７記載の眠気判定装置。
【請求項９】
前記２点は、前記距離が、前記人の表情筋の動きに連動して伸縮する２点である、
請求項３記載の眠気判定装置。
【請求項１０】
前記２点は、前記人の左右の口角である、
請求項９記載の眠気判定装置。
【請求項１１】
前記２点は、前記人を撮影した画像から抽出された前記人の顔面の画像特徴点である、
請求項９記載の眠気判定装置。
【請求項１２】
前記眠気判定部は、
前記人の眠気レベルの判定結果を、情報を出力する出力部を用いて前記人に通知する、
請求項２記載の眠気判定装置。
【請求項１３】
人の表情変動の大きさおよび速度を取得するステップと、
前記表情変動の大きさが所定の閾値未満であるか否かを判定するステップと、
前記表情変動の大きさが前記所定の閾値未満であることを条件として、前記表情変動の速度に基づく前記人の眠気レベルの判定を行うステップと、を有する、
眠気判定方法。
【請求項１】
人の表情変動の大きさおよび速度を取得する表情変動取得部と、
前記表情変動の大きさが所定の閾値未満であるか否かを判定する表情変動判定部と、
前記表情変動の大きさが前記所定の閾値未満であることを条件として、前記表情変動の速度に基づく前記人の眠気レベルの判定を行う眠気判定部と、を有する、
眠気判定装置。
【請求項２】
前記眠気判定部は、
前記表情変動の速度がより遅いとき、より高い眠気レベルを前記人の眠気レベルとして判定する、
請求項１記載の眠気判定装置。
【請求項３】
前記表情変動の大きさは、前記人の顔面上にある２点の間の距離の変動の大きさに対応する値であり、前記表情変動の速度は、前記距離の変動の速度に対応する値である、
請求項２記載の眠気判定装置。
【請求項４】
前記表情変動判定部は、
取得された前記距離の、前記人の眠気レベルが低いときの前記２点の間の距離である基準距離に対する差分に対応する値を、前記変動の大きさとする、
請求項３記載の眠気判定装置。
【請求項５】
前記眠気判定部は、
予め定められた複数の眠気レベルのそれぞれについて、その眠気レベルにおける前記表情変動の速度の範囲を記述した第１の眠気判定テーブルを参照して、前記人の眠気レベルを判定する、
請求項２記載の眠気判定装置。
【請求項６】
前記表情変動判定部は、
前記表情変動の大きさの履歴を記憶し、前記履歴に基づいて前記所定の閾値を決定する、
請求項２記載の眠気判定装置。
【請求項７】
前記眠気判定部は、
取得された前記表情変動の速度の変化量に基づいて前記人の眠気レベルを判定する、
請求項２記載の眠気判定装置。
【請求項８】
前記眠気判定部は、
予め定められた複数の眠気レベルのそれぞれについて、その眠気レベルにおける前記表情変動の速度の変化率の範囲を記述した第２の眠気判定テーブルを参照して、前記人の眠気レベルを判定する、
請求項７記載の眠気判定装置。
【請求項９】
前記２点は、前記距離が、前記人の表情筋の動きに連動して伸縮する２点である、
請求項３記載の眠気判定装置。
【請求項１０】
前記２点は、前記人の左右の口角である、
請求項９記載の眠気判定装置。
【請求項１１】
前記２点は、前記人を撮影した画像から抽出された前記人の顔面の画像特徴点である、
請求項９記載の眠気判定装置。
【請求項１２】
前記眠気判定部は、
前記人の眠気レベルの判定結果を、情報を出力する出力部を用いて前記人に通知する、
請求項２記載の眠気判定装置。
【請求項１３】
人の表情変動の大きさおよび速度を取得するステップと、
前記表情変動の大きさが所定の閾値未満であるか否かを判定するステップと、
前記表情変動の大きさが前記所定の閾値未満であることを条件として、前記表情変動の速度に基づく前記人の眠気レベルの判定を行うステップと、を有する、
眠気判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−８１５１６（Ｐ２０１３−８１５１６Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２１７６６（Ｐ２０１１−２２１７６６）
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月６日（２０１１．１０．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]