眠気度推定装置および眠気度推定方法
【課題】より高い精度で、眠気度を推定することができる眠気度推定装置および眠気度推定方法を提供する。
【解決手段】
本発明に係る眠気度推定装置１０においては、閉眼開眼判定部１５により、開眼度に基づく開眼状態および閉眼状態が検知され、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅおよび閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎが算出される。そして、誤検知区間推定部１６により、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作が瞬きであると判定される。さらに、この誤検知区間推定部１６により瞬きであると判定されたときの開閉動作の瞬き特徴量のみが、眠気度推定部１８による眠気度推定に利用される。このように開眼度に基づくＴｃｌｏｓｅとＴｏｐｅｎとにより瞬き判定がおこなうことで、眠気度推定の際の瞬きの誤検知が効果的に低減される。
【解決手段】
本発明に係る眠気度推定装置１０においては、閉眼開眼判定部１５により、開眼度に基づく開眼状態および閉眼状態が検知され、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅおよび閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎが算出される。そして、誤検知区間推定部１６により、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作が瞬きであると判定される。さらに、この誤検知区間推定部１６により瞬きであると判定されたときの開閉動作の瞬き特徴量のみが、眠気度推定部１８による眠気度推定に利用される。このように開眼度に基づくＴｃｌｏｓｅとＴｏｐｅｎとにより瞬き判定がおこなうことで、眠気度推定の際の瞬きの誤検知が効果的に低減される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測定対象者の眠気度を推定する眠気度推定装置および眠気度推定方法に関するものである。
【背景技術】
【０００２】
測定対象者として車両のドライバーの特定種類の瞬きを検出して、その検出結果からドライバーの覚醒状態を判定する装置が、下記特許文献１に開示されている。この従来装置においては、瞬きの種類を特定する際、瞬きの開始からピーク高になるまでの時間Ｘ２と、ピーク高から瞬きの終了までの時間Ｘ３とを比較している。そして、瞬きの一般例としてＸ２＜Ｘ３の関係が開示されている。また。瞬きの誤検知を回避するために、図８に示すように、過去一定時間の開眼度の波形を平滑化した値（すなわち、高周波のノイズ成分のみが除去された開眼度の値）を用いることが示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１２８２４号公報
【特許文献２】特開２００９−３６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の装置における平滑化処理では、図８に示すような低周波のノイズ成分が除去されておらず、このようなノイズ成分を含んだ開眼度の波形を利用した眠気度推定がおこなわれる。つまり、たとえば直射日光が急激に変化する場合に、そのときの眼の開閉動作を瞬きであると誤って検知することがあり、その瞬きの誤検知に基づいて眠気度推定がおこなわれることがあった。このように、従来の技術では、眠気度推定の十分な精度向上が図れていなかった。
【０００５】
そこで、本発明は、上述の課題を解決するためになされたものであり、より高い精度で、眠気度を推定することができる眠気度推定装置および眠気度推定方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る眠気度推定装置は、測定対象者の眠気度を推定する眠気度推定装置であって、測定対象者の顔の特徴点を検出する特徴点検出手段と、特徴点検出手段によって検出された顔の特徴点に基づき、測定対象者の開眼の程度を示す開眼度を算出する開眼度算出手段と、開眼度算出手段によって算出された開眼度に基づき、開眼度が所定の閾値を上回っている開眼状態と、開眼度が所定の閾値を下回っている閉眼状態とを検知するとともに、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅと閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎを算出する閉眼開眼判定手段と、閉眼開眼判定手段によって算出されたＴｃｌｏｓｅおよびＴｏｐｅｎに基づき、測定対象者の眼の開閉動作が、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作を瞬きと判定する瞬き判定手段と、瞬き判定手段によって瞬きであると判定されたときのみ、そのときの眼の開閉動作に係る瞬き特徴量を算出する瞬き特徴量算出手段と、瞬き特徴量算出手段によって算出された瞬き特徴量に基づいて、測定対象者の眠気度を推定する推定手段とを備える。
【０００７】
この眠気度推定装置においては、閉眼開眼判定手段により、開眼度に基づく開眼状態および閉眼状態が検知されて、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅおよび閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎが算出される。そして、瞬き判定手段により、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作が瞬きであると判定される。さらに、この瞬き判定手段により瞬きであると判定されたときの開閉動作の瞬き特徴量のみが、推定手段による眠気度推定に利用される。このように、開眼度に基づくＴｃｌｏｓｅとＴｏｐｅｎとにより瞬き判定がおこなわれるため、眠気度推定の際の瞬きの誤検知が有意に低減される。したがって、本発明に係る眠気度推定装置においては、瞬きを誤検知する可能性がある従来の技術よりも、より高い精度で、眠気度を推定することができる
【０００８】
本発明に係る眠気度推定方法は、測定対象者の眠気度を推定する眠気度推定方法であって、測定対象者の顔の特徴点を検出する特徴点検出ステップと、特徴点検出ステップにおいて検出された顔の特徴点に基づき、測定対象者の開眼の程度を示す開眼度を算出する開眼度算出ステップと、開眼度算出ステップにおいて算出された開眼度に基づき、開眼度が所定の閾値を上回っている開眼状態と、開眼度が所定の閾値を下回っている閉眼状態とを検知するとともに、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅと閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎを算出する閉眼開眼判定ステップと、閉眼開眼判定ステップにおいて算出されたＴｃｌｏｓｅおよびＴｏｐｅｎに基づき、測定対象者の眼の開閉動作が、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作を瞬きと判定する瞬き判定ステップと、瞬き判定ステップにおいて瞬きであると判定されたときのみ、そのときの眼の開閉動作に係る瞬き特徴量を算出する瞬き特徴量算出ステップと、瞬き特徴量算出ステップにおいて算出された瞬き特徴量に基づいて、測定対象者の眠気度を推定する推定ステップとを備える。
【０００９】
この眠気度推定方法においては、閉眼開眼判定ステップにおいて、開眼度に基づく開眼状態および閉眼状態が検知されて、開眼状態から閉眼状態までの時間Ｔｃｌｏｓｅおよび閉眼から開眼までの時間Ｔｏｐｅｎが算出される。そして、瞬き判定ステップにおいて、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作が瞬きであると判定される。さらに、この瞬き判定ステップにおいて瞬きであると判定されたときの開閉動作の瞬き特徴量のみが、推定ステップにおける眠気度推定に利用される。このように、開眼度に基づくＴｃｌｏｓｅとＴｏｐｅｎとにより瞬き判定がおこなわれるため、眠気度推定の際の瞬きの誤検知が有意に低減される。したがって、本発明に係る眠気度推定方法においては、瞬きを誤検知する可能性がある従来の技術よりも、より高い精度で、眠気度を推定することができる
【発明の効果】
【００１０】
本発明によれば、より高い精度で、眠気度を推定することができる眠気度推定装置および眠気度推定方法が提供される。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施形態に係る眠気度推定装置を示したシステムブロック図である。
【図２】図２は、図１の装置用いて眠気度の推定をおこなう方法の手順を示したフローチャートである。
【図３】図３は、図１の画像センサによって撮影された顔画像に施される画像処理を示した図である。
【図４】図４は、図１の閉眼開眼判定部における開眼度の閾値処理を示した開眼度−時間グラフである。
【図５】図５は、図１の誤検知区間推定部において判断される開眼度の区間を示した開眼度−時間グラフである。
【図６】図６は、図１の瞬き特徴量算出部において算出される特徴量（閉眼状態の占める割合）を示したグラフである。
【図７】図７は、図１の眠気度推定部において用いられる眠気度と瞬き特徴量との関係を示した確率密度−特徴量グラフである。
【図８】図８は、従来技術に係る開眼度のノイズ処理を示した開眼度−時間グラフである。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、添付図面を参照しつつ詳細に説明する。なお、同一又は同等の要素については同一の符号を付し、説明が重複する場合にはその説明を省略する。
【００１３】
図１は、本発明の実施形態に係る眠気度推定装置１０を示したシステムブロック図である。この眠気度推定装置１０は、物理的な構成要素として、画像センサ１１の他、演算処理装置（ＣＰＵなど）や記録装置（ＲＯＭ、ＲＡＭ、ハードディスクなど）を備えている。また、眠気度推定装置１０は、機能的な構成要素として、顔位置検出部１２、顔特徴点検出部（特徴点検出手段）１３、開眼度算出部（開眼度算出手段）１４、閉眼・開眼判定部（閉眼開眼判定手段）１５、誤検知区間推定部（瞬き判定手段）１６、瞬き特徴量算出部（瞬き特徴量算出手段）１７、眠気度推定部（推定手段）１８を備えている。
【００１４】
画像センサ１１は、眠気度の測定対象者であるドライバーの顔に向けられたセンサであり、ドライバーの顔の画像を撮影する。
【００１５】
顔位置検出部１２は、Ｂｏｏｓｔｉｎｇやニューラルネットワークなどにより、画像センサ１１によって撮影された顔画像の中から顔の位置を検出する部分である。
【００１６】
顔特徴点検出部１３は、ニューラルネットワークなどにより、測定対象者の顔の特徴点（目尻、目頭、鼻腔中心、口端など）を、画像センサ１１によって撮像された顔画像の中から検出する部分である。
【００１７】
開眼度算出部１４は、顔特徴点検出部１３によって検出された特徴点に基づき、特徴点の目尻・目頭を中心に、複数の曲線をエッジ画像上に投影して、その曲線状のエッジの強度から上下瞼位置を検出し、さらに、その上下瞼位置のＹ座標の差から測定対象者の開眼度（開眼の程度を示す値）を算出する部分である。
【００１８】
閉眼・開眼判定部１５は、開眼度算出部１４によって算出された開眼度の閾値処理をおこなって、開眼状態・閉眼状態を判定する部分である。具体的には、閉眼・開眼判定部１５は、開眼度算出部１４によって算出された開眼度に基づき、開眼度が所定の閾値を上回った状態の開眼のタイミングと、開眼度が所定の閾値を下回った状態の閉眼のタイミングとを検知する。また、閉眼・開眼判定部１５は、検知した開眼のタイミングおよび閉眼のタイミングを用いて、開眼から閉眼までの時間Ｔｃｌｏｓｅと閉眼から開眼までの時間Ｔｏｐｅｎを算出する。
【００１９】
誤検知区間推定部１６は、測定対象者の眼の開閉動作（瞬きの振る舞い）を解析して、誤検知区間を抽出する部分である。具体的には、閉眼・開眼判定部１５によって算出されたＴｃｌｏｓｅおよびＴｏｐｅｎに基づき、測定対象者の眼の開閉動作が、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作を瞬きと判定する。ただし、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たさないとき（すなわち、Ｔｃｌｏｓｅ＞Ｔｏｐｅｎの関係を満たすとき）は、その区間を誤検知区間と判定する。
【００２０】
瞬き特徴量算出部１７は、誤検知区間推定部１６によって瞬きと判定されたときのみに、瞬きであると判定された眼の開閉動作の開眼度（すなわち、誤検知区間の開眼度以外）のデータを用いて、眠気と相関関係のある瞬き特徴量（例えば、目を閉じている時間）を算出する部分である。
【００２１】
眠気度推定部１８は、瞬き特徴量算出部１７によって算出された瞬き特徴量に基づき、事前に学習した眠気の度合いと瞬き特徴量との関係を用いて、測定対象者の眠気度を推定する部分である。
【００２２】
次に、眠気度推定装置１０を用いて眠気度を推定する方法の具体的な手順を、図２のフローチャートを参照しつつ説明する。
【００２３】
まず、ステップＳ０１において、画像センサ１１によって図３（ａ）に示すような顔画像を撮影し、その撮影された顔画像を入力として、顔位置検出部１２が、ニューラルネットワークやＢｏｏｓｔｉｎｇなどの手法を用い、画像全体の範囲を走査して、測定対象者の顔の位置を特定する。なお、顔検出の手法は、ニューラルネットワークに限定されず、他の方法であってもよい。
【００２４】
次に、ステップＳ０２においては、顔特徴点検出部１３が、ステップＳ０１で検出された顔の存在範囲に対し、ニューラルネットワークなどを用いて、図３（ｂ）に示すような顔の特徴点（右目頭、右目尻、左目頭、左目尻、鼻腔中心、左右口端など）の位置を検出する。なお、顔の特徴点の検出手法は、ニューラルネットワークに限定されず、他の方法であってもよい。
【００２５】
続くステップＳ０３においては、開眼度算出部１４により、左右それぞれの眼の開眼度を算出する。以下では、左の眼の開眼度の算出方法のみを示すが、右の眼の開眼度の算出も同様の方法でおこなう。なお、開眼度の算出方法については、その他の公知の方法を用いることもできる。
【００２６】
（１）まずステップＳ０２で検出された目尻・目頭を含む一定領域に対し、ソーベルフィルタを適用してエッジを強調した画像（エッジ画像）を作成する。
（２）次にステップＳ０２で検出された目尻・目頭から作成した複数の曲線（例えばベジェ曲線）をエッジ画像上に投影し（図３（ｃ）参照）、その曲線上のエッジの強度（エッジ画像の画素値）を算出する。
（３）そして、（２）の複数の曲線の中から、エッジの強度が最も強いものを、上下瞼曲線として選択する。
（４）最後に、図４に示すように、上下瞼曲線の中点のＹ座標の差から、開眼度［ｐｉｘｅｌ］を算出する。
【００２７】
そして、ステップＳ０４においては、閉眼・開眼判定部１５が、ステップＳ０３で得られた開眼度の波形に対して、閉眼閾値より開眼度が下回っている閉眼状態（目を閉じている状態）と開眼閾値より開眼度が上回っている開眼状態（目を開けている状態）を、閾値処理により判定する。なお、閉眼状態と開眼状態以外の状態は、中間状態と判定する。各閾値は、事前に決めた値を用いてもよく、それ以外の値を用いてもよい。
【００２８】
また、ステップＳ０４においては、閉眼・開眼判定部１５が、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅ（目を閉じるのにかかる時間）および閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎ（眼を開けるのにかかる時間）を算出する。
【００２９】
続くステップＳ０５においては、誤検知区間推定部１６が、以下の方法により瞬きの誤検知をしている区間を推定する。
【００３０】
第１の方法として、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たす区間（図５（ａ）参照）が観察された場合には、その区間を正常な瞬目と判断し、一方、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たしていない区間（図５（ｂ）参照）が観察された場合には、測定対象者の瞬きの特性に当てはまらないと判断し、その区間を誤検知区間と推定する。このような判断をおこなう根拠は、発明者らが運転時のドライバーの瞬きの特性を解析した結果、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係が成立する頻度が多いとの知見を得たためである。
【００３１】
また、日本視覚学会編「視覚情報処理ハンドブック」、ｐ４５、１．８．２章、“瞬目の種類および瞬目時の上眼瞼の動き”（新井田孝裕著）においても、自発性瞬目、随意性瞬目に関わらず、ＴｃｌｏｓｅよりもＴｏｐｅｎのほうが遅い動きであることが記載されており、瞬目に関与している眼輪筋と上眼瞼挙筋の解剖学的な知見からも、このＴｃｌｏｓｅとＴｏｐｅｎとの関係は公知の事実となっている。
【００３２】
上記第１の方法とは異なる第２の方法として、直近のドライバーの眠気度が低い場合には、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすか否かを判定し、この関係を満たさないものについては、その区間を誤検知区間と推定する。このような判定をおこなう根拠は、発明者らが運転時のドライバーの瞬きの特性を解析した結果、眠気度が低い場合のほうが、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係が成立する頻度が多いとの知見を得たためである。
【００３３】
なお、上記第１の方法および第２の方法のいずれにおいても、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係式を、Ｔｃｌｏｓｅ≦（Ｔｏｐｅｎ−定数）のように、必要に応じて定数を用いて調整することができる。これは、たとえば検出される開眼度のばらつき（いわゆる、アバレ）が大きい場合、開眼度判定する閾値次第では、ＴｃｌｏｓｅとＴｏｐｅｎの関係が逆転してしまう可能性があるためである。
【００３４】
また、上記第１の方法および第２の方法のいずれも、閉眼状態である時間が長い場合（長時間閉眼など）は、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係が成立しない可能性があるため、誤検知区間の検出から対象外とすることが好ましい。これは、ドライバーが極度に眠い状態のときは、ゆっくり瞼を閉じて、そのまま閉眼しているが、ハッとして急に眼を開けたときに誤検知区間から除外されるのを防ぐためである。
【００３５】
ステップＳ０６においては、瞬き特徴量算出部１７が、図６に示すように、一定時間（例えば１０秒）の中の閉眼・開眼・中間状態を利用して、眠気と相関のある瞬き特徴量（例えば、「閉眼状態の占める割合」）を算出する。ただし、誤検知区間と判定された区間がある場合には、その区間のデータを特徴量算出には利用しない。なお、特徴量については、上記以外の特徴量を用いてもよい。
【００３６】
ステップＳ０７においては、眠気度推定部１８が、図７のグラフに示すように、事前に学習した眠気度と瞬き特徴量の関係（特徴量の統計分布）を用いて、ドライバーの眠気度の推定をおこなう。例えば、事前学習（オフライン処理）で求めた眠気度が高い場合と、眠気度が低い場合の特徴量の統計分布（確率密度）と抽出された特徴量より、確率密度を計算し、その大小関係によって現在のドライバーの眠気度を推定する。
【００３７】
以上で説明したように、眠気度推定装置１０においては、閉眼開眼判定部１５により、開眼度に基づく開眼状態および閉眼状態が検知され、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅおよび閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎが算出される。そして、誤検知区間推定部１６により、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作が瞬きであると判定される。さらに、この誤検知区間推定部１６により瞬きであると判定されたときの開閉動作の瞬き特徴量のみが、眠気度推定部１８による眠気度推定に利用される。
【００３８】
つまり、眠気度推定に用いられるＴｃｌｏｓｅおよびＴｏｐｅｎは、開眼度に基づく値であり、測定対象者の開眼状態および閉眼状態を基準に算出された値である。このように開眼度に基づくＴｃｌｏｓｅとＴｏｐｅｎとにより瞬き判定がおこなうことで、図８に示したような開眼度の低周波ノイズ成分が有意に除去されて、眠気度推定の際の瞬きの誤検知が効果的に低減される。
【００３９】
したがって、本発明に係る眠気度推定装置１０においては、瞬きを誤検知する可能性がある従来の技術よりも、より高い精度で、眠気度を推定することができる
【符号の説明】
【００４０】
１０…眠気度推定装置、１２…顔位置検出部、１３…顔特徴点検出部、１４…開眼度算出部、１５…閉眼・開眼判定部、１６…誤検知区間推定部、１７…瞬き特徴量算出部、１８…眠気度推定部。
【技術分野】
【０００１】
本発明は、測定対象者の眠気度を推定する眠気度推定装置および眠気度推定方法に関するものである。
【背景技術】
【０００２】
測定対象者として車両のドライバーの特定種類の瞬きを検出して、その検出結果からドライバーの覚醒状態を判定する装置が、下記特許文献１に開示されている。この従来装置においては、瞬きの種類を特定する際、瞬きの開始からピーク高になるまでの時間Ｘ２と、ピーク高から瞬きの終了までの時間Ｘ３とを比較している。そして、瞬きの一般例としてＸ２＜Ｘ３の関係が開示されている。また。瞬きの誤検知を回避するために、図８に示すように、過去一定時間の開眼度の波形を平滑化した値（すなわち、高周波のノイズ成分のみが除去された開眼度の値）を用いることが示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１２８２４号公報
【特許文献２】特開２００９−３６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の装置における平滑化処理では、図８に示すような低周波のノイズ成分が除去されておらず、このようなノイズ成分を含んだ開眼度の波形を利用した眠気度推定がおこなわれる。つまり、たとえば直射日光が急激に変化する場合に、そのときの眼の開閉動作を瞬きであると誤って検知することがあり、その瞬きの誤検知に基づいて眠気度推定がおこなわれることがあった。このように、従来の技術では、眠気度推定の十分な精度向上が図れていなかった。
【０００５】
そこで、本発明は、上述の課題を解決するためになされたものであり、より高い精度で、眠気度を推定することができる眠気度推定装置および眠気度推定方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る眠気度推定装置は、測定対象者の眠気度を推定する眠気度推定装置であって、測定対象者の顔の特徴点を検出する特徴点検出手段と、特徴点検出手段によって検出された顔の特徴点に基づき、測定対象者の開眼の程度を示す開眼度を算出する開眼度算出手段と、開眼度算出手段によって算出された開眼度に基づき、開眼度が所定の閾値を上回っている開眼状態と、開眼度が所定の閾値を下回っている閉眼状態とを検知するとともに、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅと閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎを算出する閉眼開眼判定手段と、閉眼開眼判定手段によって算出されたＴｃｌｏｓｅおよびＴｏｐｅｎに基づき、測定対象者の眼の開閉動作が、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作を瞬きと判定する瞬き判定手段と、瞬き判定手段によって瞬きであると判定されたときのみ、そのときの眼の開閉動作に係る瞬き特徴量を算出する瞬き特徴量算出手段と、瞬き特徴量算出手段によって算出された瞬き特徴量に基づいて、測定対象者の眠気度を推定する推定手段とを備える。
【０００７】
この眠気度推定装置においては、閉眼開眼判定手段により、開眼度に基づく開眼状態および閉眼状態が検知されて、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅおよび閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎが算出される。そして、瞬き判定手段により、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作が瞬きであると判定される。さらに、この瞬き判定手段により瞬きであると判定されたときの開閉動作の瞬き特徴量のみが、推定手段による眠気度推定に利用される。このように、開眼度に基づくＴｃｌｏｓｅとＴｏｐｅｎとにより瞬き判定がおこなわれるため、眠気度推定の際の瞬きの誤検知が有意に低減される。したがって、本発明に係る眠気度推定装置においては、瞬きを誤検知する可能性がある従来の技術よりも、より高い精度で、眠気度を推定することができる
【０００８】
本発明に係る眠気度推定方法は、測定対象者の眠気度を推定する眠気度推定方法であって、測定対象者の顔の特徴点を検出する特徴点検出ステップと、特徴点検出ステップにおいて検出された顔の特徴点に基づき、測定対象者の開眼の程度を示す開眼度を算出する開眼度算出ステップと、開眼度算出ステップにおいて算出された開眼度に基づき、開眼度が所定の閾値を上回っている開眼状態と、開眼度が所定の閾値を下回っている閉眼状態とを検知するとともに、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅと閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎを算出する閉眼開眼判定ステップと、閉眼開眼判定ステップにおいて算出されたＴｃｌｏｓｅおよびＴｏｐｅｎに基づき、測定対象者の眼の開閉動作が、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作を瞬きと判定する瞬き判定ステップと、瞬き判定ステップにおいて瞬きであると判定されたときのみ、そのときの眼の開閉動作に係る瞬き特徴量を算出する瞬き特徴量算出ステップと、瞬き特徴量算出ステップにおいて算出された瞬き特徴量に基づいて、測定対象者の眠気度を推定する推定ステップとを備える。
【０００９】
この眠気度推定方法においては、閉眼開眼判定ステップにおいて、開眼度に基づく開眼状態および閉眼状態が検知されて、開眼状態から閉眼状態までの時間Ｔｃｌｏｓｅおよび閉眼から開眼までの時間Ｔｏｐｅｎが算出される。そして、瞬き判定ステップにおいて、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作が瞬きであると判定される。さらに、この瞬き判定ステップにおいて瞬きであると判定されたときの開閉動作の瞬き特徴量のみが、推定ステップにおける眠気度推定に利用される。このように、開眼度に基づくＴｃｌｏｓｅとＴｏｐｅｎとにより瞬き判定がおこなわれるため、眠気度推定の際の瞬きの誤検知が有意に低減される。したがって、本発明に係る眠気度推定方法においては、瞬きを誤検知する可能性がある従来の技術よりも、より高い精度で、眠気度を推定することができる
【発明の効果】
【００１０】
本発明によれば、より高い精度で、眠気度を推定することができる眠気度推定装置および眠気度推定方法が提供される。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施形態に係る眠気度推定装置を示したシステムブロック図である。
【図２】図２は、図１の装置用いて眠気度の推定をおこなう方法の手順を示したフローチャートである。
【図３】図３は、図１の画像センサによって撮影された顔画像に施される画像処理を示した図である。
【図４】図４は、図１の閉眼開眼判定部における開眼度の閾値処理を示した開眼度−時間グラフである。
【図５】図５は、図１の誤検知区間推定部において判断される開眼度の区間を示した開眼度−時間グラフである。
【図６】図６は、図１の瞬き特徴量算出部において算出される特徴量（閉眼状態の占める割合）を示したグラフである。
【図７】図７は、図１の眠気度推定部において用いられる眠気度と瞬き特徴量との関係を示した確率密度−特徴量グラフである。
【図８】図８は、従来技術に係る開眼度のノイズ処理を示した開眼度−時間グラフである。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、添付図面を参照しつつ詳細に説明する。なお、同一又は同等の要素については同一の符号を付し、説明が重複する場合にはその説明を省略する。
【００１３】
図１は、本発明の実施形態に係る眠気度推定装置１０を示したシステムブロック図である。この眠気度推定装置１０は、物理的な構成要素として、画像センサ１１の他、演算処理装置（ＣＰＵなど）や記録装置（ＲＯＭ、ＲＡＭ、ハードディスクなど）を備えている。また、眠気度推定装置１０は、機能的な構成要素として、顔位置検出部１２、顔特徴点検出部（特徴点検出手段）１３、開眼度算出部（開眼度算出手段）１４、閉眼・開眼判定部（閉眼開眼判定手段）１５、誤検知区間推定部（瞬き判定手段）１６、瞬き特徴量算出部（瞬き特徴量算出手段）１７、眠気度推定部（推定手段）１８を備えている。
【００１４】
画像センサ１１は、眠気度の測定対象者であるドライバーの顔に向けられたセンサであり、ドライバーの顔の画像を撮影する。
【００１５】
顔位置検出部１２は、Ｂｏｏｓｔｉｎｇやニューラルネットワークなどにより、画像センサ１１によって撮影された顔画像の中から顔の位置を検出する部分である。
【００１６】
顔特徴点検出部１３は、ニューラルネットワークなどにより、測定対象者の顔の特徴点（目尻、目頭、鼻腔中心、口端など）を、画像センサ１１によって撮像された顔画像の中から検出する部分である。
【００１７】
開眼度算出部１４は、顔特徴点検出部１３によって検出された特徴点に基づき、特徴点の目尻・目頭を中心に、複数の曲線をエッジ画像上に投影して、その曲線状のエッジの強度から上下瞼位置を検出し、さらに、その上下瞼位置のＹ座標の差から測定対象者の開眼度（開眼の程度を示す値）を算出する部分である。
【００１８】
閉眼・開眼判定部１５は、開眼度算出部１４によって算出された開眼度の閾値処理をおこなって、開眼状態・閉眼状態を判定する部分である。具体的には、閉眼・開眼判定部１５は、開眼度算出部１４によって算出された開眼度に基づき、開眼度が所定の閾値を上回った状態の開眼のタイミングと、開眼度が所定の閾値を下回った状態の閉眼のタイミングとを検知する。また、閉眼・開眼判定部１５は、検知した開眼のタイミングおよび閉眼のタイミングを用いて、開眼から閉眼までの時間Ｔｃｌｏｓｅと閉眼から開眼までの時間Ｔｏｐｅｎを算出する。
【００１９】
誤検知区間推定部１６は、測定対象者の眼の開閉動作（瞬きの振る舞い）を解析して、誤検知区間を抽出する部分である。具体的には、閉眼・開眼判定部１５によって算出されたＴｃｌｏｓｅおよびＴｏｐｅｎに基づき、測定対象者の眼の開閉動作が、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作を瞬きと判定する。ただし、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たさないとき（すなわち、Ｔｃｌｏｓｅ＞Ｔｏｐｅｎの関係を満たすとき）は、その区間を誤検知区間と判定する。
【００２０】
瞬き特徴量算出部１７は、誤検知区間推定部１６によって瞬きと判定されたときのみに、瞬きであると判定された眼の開閉動作の開眼度（すなわち、誤検知区間の開眼度以外）のデータを用いて、眠気と相関関係のある瞬き特徴量（例えば、目を閉じている時間）を算出する部分である。
【００２１】
眠気度推定部１８は、瞬き特徴量算出部１７によって算出された瞬き特徴量に基づき、事前に学習した眠気の度合いと瞬き特徴量との関係を用いて、測定対象者の眠気度を推定する部分である。
【００２２】
次に、眠気度推定装置１０を用いて眠気度を推定する方法の具体的な手順を、図２のフローチャートを参照しつつ説明する。
【００２３】
まず、ステップＳ０１において、画像センサ１１によって図３（ａ）に示すような顔画像を撮影し、その撮影された顔画像を入力として、顔位置検出部１２が、ニューラルネットワークやＢｏｏｓｔｉｎｇなどの手法を用い、画像全体の範囲を走査して、測定対象者の顔の位置を特定する。なお、顔検出の手法は、ニューラルネットワークに限定されず、他の方法であってもよい。
【００２４】
次に、ステップＳ０２においては、顔特徴点検出部１３が、ステップＳ０１で検出された顔の存在範囲に対し、ニューラルネットワークなどを用いて、図３（ｂ）に示すような顔の特徴点（右目頭、右目尻、左目頭、左目尻、鼻腔中心、左右口端など）の位置を検出する。なお、顔の特徴点の検出手法は、ニューラルネットワークに限定されず、他の方法であってもよい。
【００２５】
続くステップＳ０３においては、開眼度算出部１４により、左右それぞれの眼の開眼度を算出する。以下では、左の眼の開眼度の算出方法のみを示すが、右の眼の開眼度の算出も同様の方法でおこなう。なお、開眼度の算出方法については、その他の公知の方法を用いることもできる。
【００２６】
（１）まずステップＳ０２で検出された目尻・目頭を含む一定領域に対し、ソーベルフィルタを適用してエッジを強調した画像（エッジ画像）を作成する。
（２）次にステップＳ０２で検出された目尻・目頭から作成した複数の曲線（例えばベジェ曲線）をエッジ画像上に投影し（図３（ｃ）参照）、その曲線上のエッジの強度（エッジ画像の画素値）を算出する。
（３）そして、（２）の複数の曲線の中から、エッジの強度が最も強いものを、上下瞼曲線として選択する。
（４）最後に、図４に示すように、上下瞼曲線の中点のＹ座標の差から、開眼度［ｐｉｘｅｌ］を算出する。
【００２７】
そして、ステップＳ０４においては、閉眼・開眼判定部１５が、ステップＳ０３で得られた開眼度の波形に対して、閉眼閾値より開眼度が下回っている閉眼状態（目を閉じている状態）と開眼閾値より開眼度が上回っている開眼状態（目を開けている状態）を、閾値処理により判定する。なお、閉眼状態と開眼状態以外の状態は、中間状態と判定する。各閾値は、事前に決めた値を用いてもよく、それ以外の値を用いてもよい。
【００２８】
また、ステップＳ０４においては、閉眼・開眼判定部１５が、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅ（目を閉じるのにかかる時間）および閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎ（眼を開けるのにかかる時間）を算出する。
【００２９】
続くステップＳ０５においては、誤検知区間推定部１６が、以下の方法により瞬きの誤検知をしている区間を推定する。
【００３０】
第１の方法として、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たす区間（図５（ａ）参照）が観察された場合には、その区間を正常な瞬目と判断し、一方、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たしていない区間（図５（ｂ）参照）が観察された場合には、測定対象者の瞬きの特性に当てはまらないと判断し、その区間を誤検知区間と推定する。このような判断をおこなう根拠は、発明者らが運転時のドライバーの瞬きの特性を解析した結果、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係が成立する頻度が多いとの知見を得たためである。
【００３１】
また、日本視覚学会編「視覚情報処理ハンドブック」、ｐ４５、１．８．２章、“瞬目の種類および瞬目時の上眼瞼の動き”（新井田孝裕著）においても、自発性瞬目、随意性瞬目に関わらず、ＴｃｌｏｓｅよりもＴｏｐｅｎのほうが遅い動きであることが記載されており、瞬目に関与している眼輪筋と上眼瞼挙筋の解剖学的な知見からも、このＴｃｌｏｓｅとＴｏｐｅｎとの関係は公知の事実となっている。
【００３２】
上記第１の方法とは異なる第２の方法として、直近のドライバーの眠気度が低い場合には、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすか否かを判定し、この関係を満たさないものについては、その区間を誤検知区間と推定する。このような判定をおこなう根拠は、発明者らが運転時のドライバーの瞬きの特性を解析した結果、眠気度が低い場合のほうが、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係が成立する頻度が多いとの知見を得たためである。
【００３３】
なお、上記第１の方法および第２の方法のいずれにおいても、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係式を、Ｔｃｌｏｓｅ≦（Ｔｏｐｅｎ−定数）のように、必要に応じて定数を用いて調整することができる。これは、たとえば検出される開眼度のばらつき（いわゆる、アバレ）が大きい場合、開眼度判定する閾値次第では、ＴｃｌｏｓｅとＴｏｐｅｎの関係が逆転してしまう可能性があるためである。
【００３４】
また、上記第１の方法および第２の方法のいずれも、閉眼状態である時間が長い場合（長時間閉眼など）は、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係が成立しない可能性があるため、誤検知区間の検出から対象外とすることが好ましい。これは、ドライバーが極度に眠い状態のときは、ゆっくり瞼を閉じて、そのまま閉眼しているが、ハッとして急に眼を開けたときに誤検知区間から除外されるのを防ぐためである。
【００３５】
ステップＳ０６においては、瞬き特徴量算出部１７が、図６に示すように、一定時間（例えば１０秒）の中の閉眼・開眼・中間状態を利用して、眠気と相関のある瞬き特徴量（例えば、「閉眼状態の占める割合」）を算出する。ただし、誤検知区間と判定された区間がある場合には、その区間のデータを特徴量算出には利用しない。なお、特徴量については、上記以外の特徴量を用いてもよい。
【００３６】
ステップＳ０７においては、眠気度推定部１８が、図７のグラフに示すように、事前に学習した眠気度と瞬き特徴量の関係（特徴量の統計分布）を用いて、ドライバーの眠気度の推定をおこなう。例えば、事前学習（オフライン処理）で求めた眠気度が高い場合と、眠気度が低い場合の特徴量の統計分布（確率密度）と抽出された特徴量より、確率密度を計算し、その大小関係によって現在のドライバーの眠気度を推定する。
【００３７】
以上で説明したように、眠気度推定装置１０においては、閉眼開眼判定部１５により、開眼度に基づく開眼状態および閉眼状態が検知され、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅおよび閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎが算出される。そして、誤検知区間推定部１６により、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作が瞬きであると判定される。さらに、この誤検知区間推定部１６により瞬きであると判定されたときの開閉動作の瞬き特徴量のみが、眠気度推定部１８による眠気度推定に利用される。
【００３８】
つまり、眠気度推定に用いられるＴｃｌｏｓｅおよびＴｏｐｅｎは、開眼度に基づく値であり、測定対象者の開眼状態および閉眼状態を基準に算出された値である。このように開眼度に基づくＴｃｌｏｓｅとＴｏｐｅｎとにより瞬き判定がおこなうことで、図８に示したような開眼度の低周波ノイズ成分が有意に除去されて、眠気度推定の際の瞬きの誤検知が効果的に低減される。
【００３９】
したがって、本発明に係る眠気度推定装置１０においては、瞬きを誤検知する可能性がある従来の技術よりも、より高い精度で、眠気度を推定することができる
【符号の説明】
【００４０】
１０…眠気度推定装置、１２…顔位置検出部、１３…顔特徴点検出部、１４…開眼度算出部、１５…閉眼・開眼判定部、１６…誤検知区間推定部、１７…瞬き特徴量算出部、１８…眠気度推定部。
【特許請求の範囲】
【請求項１】
測定対象者の眠気度を推定する眠気度推定装置であって、
前記測定対象者の顔の特徴点を検出する特徴点検出手段と、
前記特徴点検出手段によって検出された前記顔の特徴点に基づき、前記測定対象者の開眼の程度を示す開眼度を算出する開眼度算出手段と、
前記開眼度算出手段によって算出された前記開眼度に基づき、開眼度が所定の閾値を上回っている開眼状態と、開眼度が所定の閾値を下回っている閉眼状態とを検知するとともに、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅと閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎを算出する閉眼開眼判定手段と、
前記閉眼開眼判定手段によって算出されたＴｃｌｏｓｅおよびＴｏｐｅｎに基づき、前記測定対象者の眼の開閉動作が、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作を瞬きと判定する瞬き判定手段と、
前記瞬き判定手段によって瞬きであると判定されたときのみ、そのときの眼の開閉動作に係る瞬き特徴量を算出する瞬き特徴量算出手段と、
前記瞬き特徴量算出手段によって算出された前記瞬き特徴量に基づいて、前記測定対象者の眠気度を推定する推定手段と
を備える、眠気度推定装置。
【請求項２】
測定対象者の眠気度を推定する眠気度推定方法であって、
前記測定対象者の顔の特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップにおいて検出された前記顔の特徴点に基づき、前記測定対象者の開眼の程度を示す開眼度を算出する開眼度算出ステップと、
前記開眼度算出ステップにおいて算出された前記開眼度に基づき、開眼度が所定の閾値を上回っている開眼状態と、開眼度が所定の閾値を下回っている閉眼状態とを検知するとともに、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅと閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎを算出する閉眼開眼判定ステップと、
前記閉眼開眼判定ステップにおいて算出されたＴｃｌｏｓｅおよびＴｏｐｅｎに基づき、前記測定対象者の眼の開閉動作が、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作を瞬きと判定する瞬き判定ステップと、
前記瞬き判定ステップにおいて瞬きであると判定されたときのみ、そのときの眼の開閉動作に係る瞬き特徴量を算出する瞬き特徴量算出ステップと、
前記瞬き特徴量算出ステップにおいて算出された前記瞬き特徴量に基づいて、前記測定対象者の眠気度を推定する推定ステップと
を備える、眠気度推定方法。
【請求項１】
測定対象者の眠気度を推定する眠気度推定装置であって、
前記測定対象者の顔の特徴点を検出する特徴点検出手段と、
前記特徴点検出手段によって検出された前記顔の特徴点に基づき、前記測定対象者の開眼の程度を示す開眼度を算出する開眼度算出手段と、
前記開眼度算出手段によって算出された前記開眼度に基づき、開眼度が所定の閾値を上回っている開眼状態と、開眼度が所定の閾値を下回っている閉眼状態とを検知するとともに、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅと閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎを算出する閉眼開眼判定手段と、
前記閉眼開眼判定手段によって算出されたＴｃｌｏｓｅおよびＴｏｐｅｎに基づき、前記測定対象者の眼の開閉動作が、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作を瞬きと判定する瞬き判定手段と、
前記瞬き判定手段によって瞬きであると判定されたときのみ、そのときの眼の開閉動作に係る瞬き特徴量を算出する瞬き特徴量算出手段と、
前記瞬き特徴量算出手段によって算出された前記瞬き特徴量に基づいて、前記測定対象者の眠気度を推定する推定手段と
を備える、眠気度推定装置。
【請求項２】
測定対象者の眠気度を推定する眠気度推定方法であって、
前記測定対象者の顔の特徴点を検出する特徴点検出ステップと、
前記特徴点検出ステップにおいて検出された前記顔の特徴点に基づき、前記測定対象者の開眼の程度を示す開眼度を算出する開眼度算出ステップと、
前記開眼度算出ステップにおいて算出された前記開眼度に基づき、開眼度が所定の閾値を上回っている開眼状態と、開眼度が所定の閾値を下回っている閉眼状態とを検知するとともに、開眼状態から閉眼状態になるまでの時間Ｔｃｌｏｓｅと閉眼状態から開眼状態になるまでの時間Ｔｏｐｅｎを算出する閉眼開眼判定ステップと、
前記閉眼開眼判定ステップにおいて算出されたＴｃｌｏｓｅおよびＴｏｐｅｎに基づき、前記測定対象者の眼の開閉動作が、Ｔｃｌｏｓｅ≦Ｔｏｐｅｎの関係を満たすときに、そのときの眼の開閉動作を瞬きと判定する瞬き判定ステップと、
前記瞬き判定ステップにおいて瞬きであると判定されたときのみ、そのときの眼の開閉動作に係る瞬き特徴量を算出する瞬き特徴量算出ステップと、
前記瞬き特徴量算出ステップにおいて算出された前記瞬き特徴量に基づいて、前記測定対象者の眠気度を推定する推定ステップと
を備える、眠気度推定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２２９７４１（Ｐ２０１１−２２９７４１Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０３９４４（Ｐ２０１０−１０３９４４）
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【出願人】（０００００５４６３）日野自動車株式会社 (1,484)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２８日（２０１０．４．２８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【出願人】（０００００５４６３）日野自動車株式会社 (1,484)
【Ｆターム（参考）】
[ Back to top ]