覚醒度推定装置及びシステム並びに方法
【課題】弱い眠気を表す覚醒度の推定精度を高める
【解決手段】３種類以上の生理的な特徴量を時間軸上の密度の次元で時系列で取得する特徴量取得手段と、第１密度レベル判定処理手段と、２種類の特徴量の第１の組み合わせに関して、第１の組み合わせに係る第１混合値の時系列を出力する第１混合処理手段と、第１混合値の時系列に対して時間軸上での密度を算出する第１密度計算処理手段と、第１混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第２密度レベル判定処理手段と、他の２種類の特徴量の第２の組み合わせに関して、第２の組み合わせに係る第２混合値の時系列を出力する第２混合処理手段と、第２混合値の時系列に対して時間軸上での密度を算出する第２密度計算処理手段と、第２混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第３密度レベル判定処理手段とから前記被験者の覚醒度を推定する。
【解決手段】３種類以上の生理的な特徴量を時間軸上の密度の次元で時系列で取得する特徴量取得手段と、第１密度レベル判定処理手段と、２種類の特徴量の第１の組み合わせに関して、第１の組み合わせに係る第１混合値の時系列を出力する第１混合処理手段と、第１混合値の時系列に対して時間軸上での密度を算出する第１密度計算処理手段と、第１混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第２密度レベル判定処理手段と、他の２種類の特徴量の第２の組み合わせに関して、第２の組み合わせに係る第２混合値の時系列を出力する第２混合処理手段と、第２混合値の時系列に対して時間軸上での密度を算出する第２密度計算処理手段と、第２混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第３密度レベル判定処理手段とから前記被験者の覚醒度を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の覚醒度を高精度に推定する覚醒度推定装置及びシステム並びに方法に関する。
【背景技術】
【０００２】
従来から、被験者の瞳孔領域の形状変化から瞬きの時間及び頻度が所定値以上の時に被験者の覚醒度が低下している判断する覚醒状態検知装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開平６−２７０７１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の従来技術のように瞬きの時間及び頻度を用いるだけでは、弱い眠気、即ち強い眠気に襲われる前の段階を、検出することは非常に困難である。
【０００４】
そこで、本発明は、弱い眠気を表す覚醒度の推定精度を高めることができる覚醒度推定装置及びシステム並びに方法の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、第１の発明に係る覚醒度推定装置は、被験者の３種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得手段と、
前記特徴量の種類毎に、特徴量が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する第１密度レベル判定処理手段と、
前記３種類以上の特徴量のうちの２種類の特徴量の第１の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第１の組み合わせに係る第１混合値の時系列を出力する第１混合処理手段と、
前記第１混合値の時系列に対して時間軸上での密度を算出する第１密度計算処理手段と、
前記第１密度計算処理手段により算出される第１混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第２密度レベル判定処理手段と、
前記３種類以上の特徴量のうちの他の２種類の特徴量の第２の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第２の組み合わせに係る第２混合値の時系列を出力する第２混合処理手段と、
前記第２混合値の時系列に対して時間軸上での密度を算出する第２密度計算処理手段と、
前記第２密度計算処理手段により算出される第２混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第３密度レベル判定処理手段と、
前記第２密度レベル判定処理手段による判定処理結果と前記第３密度レベル判定処理手段による判定処理結果とに基づいて、前記被験者の覚醒度を推定する覚醒度推定手段とを備えることを特徴とする。
【０００６】
第２の発明は、第１の発明に係る覚醒度推定装置において、
前記生理的な特徴量は、心拍揺らぎに関する特徴量、目及び口の動きに関する特徴量、及び、目の瞬きに関する特徴量であり、
前記２つの組み合わせは、前記３種類の特徴量の計３通りの組み合わせのうちの何れか２つであることを特徴とする。これにより、弱い眠気の検出に適した２種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。
【０００７】
第３の発明に係る覚醒度推定装置は、被験者の２種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得手段と、
取得した２種類の生理的な特徴量に対して、特徴量の種類毎に、特徴量が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する密度レベル判定処理手段と、
前記２種類の特徴量に対する各判定処理結果の時系列を時間軸上で同期させて混合することで、混合値の時系列を出力する特徴量混合処理手段と、
前記混合値の時系列に対して時間軸上での密度を算出する密度計算処理手段と、
前記密度計算処理手段により算出される密度に基づいて、前記被験者の覚醒度を推定する覚醒度推定手段とを備えることを特徴とする。
【０００８】
第４の発明は、第３の発明に係る覚醒度推定装置において、
前記２種類の生理的な特徴量は、心拍揺らぎに関する特徴量及び目及び口の動きに関する特徴量、又は、心拍揺らぎに関する特徴量及び目の瞬きに関する特徴量であることを特徴とする。これにより、弱い眠気の検出に適した２種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。
【０００９】
第５の発明は、第３の発明に係る覚醒度推定装置において、
前記特徴量取得手段は、心拍揺らぎに関する特徴量、目及び口の動きに関する特徴量、及び、目の瞬きに関する特徴量を、前記特徴量として取得する手段であり、
前記特徴量混合処理手段、密度計算処理手段及び覚醒度推定手段は、前記特徴量取得手段による特徴量の取得状態に応じて、選択的に、心拍揺らぎに関する特徴量及び目及び口の動きに関する特徴量の２種類の特徴量、又は、心拍揺らぎに関する特徴量及び瞬目持続時間増加の２種類の特徴量に対して、前記各処理を実行することを特徴とする。これにより、上記の3種類の特徴量のうち、瞬目持続時間増加又は目及び口の動きに関する特徴量が取得できない状況下においても、２種類の特徴量を総合的に用いて、弱い眠気に襲われている状態を高精度に検出することができる。
【００１０】
第６の発明に係る覚醒度推定システムは、上記の第１又は２の発明に係る覚醒度推定装置と、第３〜５の何れかの発明に係る覚醒度推定装置とを含む複数の覚醒度推定装置を有し、
複数の覚醒度推定装置の何れか１つを選択的に用いて、前記被験者の覚醒度を推定することを特徴とする。これにより、特徴量取得手段による特徴量の取得状態に応じて、選択的に適切な種類の特徴量を用いて、弱い眠気に襲われている状態を高精度に検出することができる。
【００１１】
第７の発明に係る覚醒度推定方法は、被験者の３種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得ステップと、
前記特徴量毎に、時間軸上での特徴量の密度が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する第１密度レベル判定処理ステップと、
前記３種類以上の特徴量のうちの２種類の特徴量の第１の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第１の組み合わせに係る第１混合値の時系列を出力する第１混合処理ステップと、
前記第１混合値の時系列に対して時間軸上での密度を算出する第１密度計算処理ステップと、
前記第１密度計算処理ステップにより算出される第１混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第２密度レベル判定処理ステップと、
前記３種類以上の特徴量のうちのその他の２種類の特徴量の第２の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第２の組み合わせに係る第２混合値の時系列を出力する第２混合処理ステップと、
前記第２混合値の時系列に対して時間軸上での密度を算出する第２密度計算処理ステップと、
前記第２密度計算処理ステップにより算出される第２混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第３密度レベル判定処理ステップと、
前記第２密度レベル判定処理ステップによる判定処理結果と前記第３密度レベル判定処理ステップによる判定処理結果とに基づいて、前記被験者の覚醒度を推定する覚醒度推定ステップとを備えることを特徴とする。
【００１２】
第８の発明に係る覚醒度推定方法は、被験者の第１の生理的な特徴量及び第２の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得ステップと、
前記第１の特徴量と前記第２の特徴量とを時間軸上で同期させて混合することで、混合特徴量の時系列を出力する特徴量混合処理ステップと、
前記混合特徴量の時系列に対して時間軸上での密度を算出する密度計算処理ステップと、
前記密度計算処理ステップにより算出される密度に基づいて、前記被験者の覚醒度を推定する覚醒度推定ステップとを備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、弱い眠気を表す覚醒度の推定精度を高めることができる覚醒度推定装置及びシステム並びに方法が得られる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１５】
図１は、本発明による覚醒度推定システムにおける主要構成の一実施例を示すシステム構成図である。
【００１６】
本実施例の覚醒度推定システム１００は、情報取得部１１０と、覚醒度推定部１３０、計測要求出力部１４０と、警報出力部１６０とを備える。尚、以下で説明する各部の機能（情報処理）は、特に明示した場合を除き、ＣＰＵ、メモリ等からなるマイクロコンピュータにより実現することができる。メモリ（ＲＯＭや、ＲＡＭ、ハードディスク等任意）には、各部の機能を実現すべくＣＰＵが実行するプログラムやデータ（例えば、以下で説明する各種推定ロジック）が格納されている。
【００１７】
情報取得部１１０は、被験者の生理的な特徴量に関する情報を取得する。情報取得部１１０は、例えばカラーカメラ、モノクロカメラ、赤外線カメラ、脳波計、心電計、眼電計、筋電計、脈波計ないし心拍計（例えば指先、前腕から計測）、呼吸計（胸、背中等から計測）等、被験者の生理的な特徴量（生理指標）を計測できるものであれば、如何なるものも含みうる。本例では、検出対象の生理的な特徴量は、心拍揺らぎトリガ数、目及び口の動き数、及び、瞬目持続時間増加の発生頻度の３種類とする。これらの詳細については後述する。情報取得部１１０は、取得した各種の生理的な特徴量のデータを、覚醒度推定部１３０に供給する。
【００１８】
覚醒度推定部１３０は、第１〜第４覚醒度推定部１３１〜１３４と、推定ロジック選択部１３６と、データチェック部１３７と、ロジックデータベース１３８とを備える。
【００１９】
ロジックデータベース１３８には、覚醒度の推定に用いる各種推定ロジックが格納される。本例では、４種類の推定ロジックＬ１〜Ｌ４が格納される。
【００２０】
第１覚醒度推定部１３１は、推定ロジックＬ１を用いて、被験者の覚醒度を推定する。第２覚醒度推定部１３２は、推定ロジックＬ２を用いて、被験者の覚醒度を推定する。第３覚醒度推定部１３３は、推定ロジックＬ３を用いて、被験者の覚醒度を推定する。第４覚醒度推定部１３４は、推定ロジックＬ４を用いて、被験者の覚醒度を推定する。
【００２１】
ここで、眠気度合いに関する覚醒度は、例えば、「眠たくない」、「眠たそう」、「明らかに眠たい」、「非常に眠たそう」、「かなり眠い」といったように、多段階的に分類可能である。但し、本実施例は、比較的弱い眠気を検出するのに好適であるため、以下では、覚醒度は、被験者が「眠たくない」状態にあるときが高い覚醒度であると推定され、被験者が「眠たそう」な状態にあるとき（弱い眠気に襲われているとき）が低い覚醒度であるいったように、２段階で推定されることとする。尚、覚醒度推定部１３１〜１３４による推定処理（推定ロジックＬ１〜Ｌ４）の詳細については後述する。
【００２２】
推定ロジック選択部１３６は、情報取得部１１０から供給される生理的な特徴量の種類に応じて、覚醒度の推定に用いる推定ロジックを選択する。図２は、特徴量の種類と、選択される推定ロジックＬ１〜Ｌ４の対応表を示す。推定ロジック選択部１３６は、かかるマップに対応関係に従って、適切な推定ロジックを選択する。例えば、推定ロジック選択部１３６は、心拍揺らぎトリガ数、目及び口の動き数、及び、瞬目持続時間増加の発生頻度のすべてのデータが取得された場合には、推定ロジックＬ１を選択する。尚、この場合、推定ロジックＬ１〜Ｌ３による推定も可能であるが、推定ロジックＬ１の推定精度が最も良いことが本願発明者により確認されているため、推定ロジックＬ１が最優先的に選択される。その他は、同様に、例えば、心拍揺らぎトリガ数、及び、目及び口の動き数のみのデータしか取得されていない場合には、推定ロジックＬ２が選択され、心拍揺らぎトリガ数、及び、瞬目持続時間増加の発生頻度のみのデータしか取得されていない場合には、推定ロジックＬ３が選択される。尚、ここでは、４つの推定ロジックしか開示していないが、その他の推定ロジックＬ５〜ＬＮが用意されていてもよい。例えば、心拍揺らぎトリガ数のみのデータしか取得されていない状況に備えて推定ロジックＬ５が用意されてもよい。
【００２３】
このようにして、推定ロジック選択部１３６により推定ロジックが選択されると、選択された推定ロジックに応じた適切な覚醒度推定部(１３１〜１３４の何れか１つ)が、情報取得部１１０から供給される生理的な特徴量のデータに基づいて、覚醒度の推定処理を行う。例えば、心拍揺らぎトリガ数、目及び口の動き数、及び、瞬目持続時間増加の発生頻度のすべてのデータが供給された場合には、推定ロジックＬ１が選択され、これに応じて、第１覚醒度推定部１３１が、当該データに基づいて、推定ロジックＬ１に従って覚醒度の推定処理を行う。尚、覚醒度推定部１３１〜１３４による推定処理（推定ロジックＬ１〜Ｌ４）の詳細については後述する。覚醒度の推定結果は、警報出力部１６０に対して出力される。
【００２４】
警報出力部１６０は、覚醒度の推定結果に基づいて、必要に応じて適切な警報を、被験者に対して音声や映像により出力する。警報の出力態様は多種多様でありえ、被験者がドライバである場合、シートに埋設した振動体により振動を発生したり、シート（座席）に設けた空気穴から空気を吹き出したり、覚醒を促進させるための匂いを発生したり、ステアリングハンドルの温度を変化させたり、メーター内に警告サインを出力したりしてもよい。
【００２５】
データチェック部１３７は、情報取得部１１０から供給される生理的な特徴量の種類に不足があった場合に、計測要求出力部１４０に対してその旨（何が足りないかを含む）を通知する。このような事態としては、例えば、被験者がマスクやサングラスをつける等により、目及び口の動き数のデータが得られない場合や、情報取得部１１０の作動状態がＯＮになっていない場合や、例えば装着型の検出器具を被験者が装着していない場合等がありうる。尚、かかる判断は、データチェック部１３７以外によって実現されてもよい。例えば、情報取得部１１０自身がデータの不足をチェックしてもよい。例えば、情報取得部１１０は、カメラを介して得られる被験者の顔画像に対する画像認識処理（エッジ抽出やパターンマッチング等）により、被験者がマスクやサングラスをつけていることが認識された場合には、情報取得部１１０が、その旨を計測要求出力部１４０に通知することも可能である。いずれにしても、上述の３種の全てのデータが適切に取得されるように、何れか１つが不足した場合には、計測要求出力部１２０にその旨が通知されることが望ましい。
【００２６】
計測要求出力部１２０は、データの不足を知らせる通知に応答して、音声や映像により、被験者に対して適切な指示を出力する。例えば、目及び口の動き数のデータが得られない場合には、「目や口に何か装着している場合には外してください」なる趣旨のメッセージを出力する。また、カメラの画像認識により被験者がマスクをつけている認識された場合には、「マスクを外してください」なる趣旨のメッセージを出力してもよい。
【００２７】
次に、心拍揺らぎトリガ数、目及び口の動き数、及び、瞬目持続時間増加の発生頻度の３種類の生理的な特徴量の取得方法の一例について説明する。
【００２８】
［心拍揺らぎトリガ数］
図３は、心拍数の時系列の一例を示す。この時系列の生理信号は、心電図のＲ波の間隔（R−R interval:ＲＲＩ）の時系列（ＲＲＩ時系列）に基づいて、生成される。この時系列の生理信号は、所定時間（解析区間）毎にＦＦＴ(fast Fourier transform)処理される。次いで、各解析区間におけるＦＦＴ処理の結果（パワースペクトル）に対して、例えば２つの周波数帯域（例えば、血圧性変動を示す０．１Ｈｚ付近を中心とした周波数帯域、呼吸性変動を示す０．３Ｈｚ付近を中心とした周波数帯域）を用いて、周波数帯域毎に、積分を実施し、それぞれの周波数帯域に対して心拍揺らぎ時系列を得る。即ち、例えば現時点から過去所定時間内のＦＦＴ処理の結果（パワースペクトル）に対して、上記の各周波数帯域（周波数区間）を積分区間として積分し、その結果それぞれの周波数帯域に対して得られる各値を、現時点の心拍揺らぎの各値とする。この結果、時間の経過と共に、それぞれの周波数帯域に対して心拍揺らぎ時系列が得られる。図４は、このようにして得られる心拍揺らぎ時系列を示す。次いで、心拍揺らぎ時系列に対して微分を実施し、その結果得られるパワースペクトル（時系列）に対して閾値処理を実施する。図５は、一の周波数帯域の心拍揺らぎ時系列の微分結果に対する閾値処理の実施態様を示すグラフである。現時点に対する閾値は、現時点から過去所定時間内のパワースペクトルの微分値の平均値や標準偏差を演算して、当該演算した平均値や標準偏差を用いて、図５に示すように、時間に応じて変化させてもよい。この際、閾値越えがあった時刻のデータを閾値設定に用いないようにしてもよい。この閾値処理により、心拍揺らぎ時系列の中で特徴的な変化が生じた時点（心拍揺らぎトリガ）が抽出される。即ち、検出したい軽い眠気が生じた際に現れる特徴的な変化が生じた時点が抽出される。尚、このような特徴的な変化は、被験者毎に個人差があるので、上記の閾値の設定態様は被験者毎に可変してもよい。閾値処理は、周波数帯域毎の心拍揺らぎ時系列の微分結果に対して、それぞれ実施される。この際、各時刻において１つ以上の周波数帯で閾値越えがあった場合には、その時点で閾値越えがあったものとしてよい。或いは、閾値越えがあった周波数帯の個数を、縦軸にプロットしてもよい。図６は、閾値を越えた時点の出現態様を示すグラフである。図６に示す例では、同時刻に２つの周波数帯で閾値越えがあった場合であっても、同時刻に１つの周波数帯で閾値越えがあった場合であっても、同一の値が縦軸にプロットされている。次いで、閾値を越えた時点（心拍揺らぎトリガ）の発生頻度が、心拍揺らぎトリガ数として導出される。心拍揺らぎトリガ数は、各時刻において、所定時間前からの心拍揺らぎトリガの数をカウントすることにより導出されてよい。即ち、所定時間幅の区間を設定し、現時点から過去所定時間内の心拍揺らぎトリガの数（累計）を、現時点の心拍揺らぎトリガ数として求めていく。図７は、心拍揺らぎトリガ数の時系列を表すグラフである。尚、上記の説明からも明らかのように、このようにして得られる特徴量たる心拍揺らぎトリガ数は、時間軸上の密度の次元をもつ。
【００２９】
［目及び口の動き数］
目及び口の動き数は、検出したい軽い眠気が生じた際に現れる特徴的な目及び口の動きが生じた時点（トリガ）を抽出し、各時刻において、所定時間前からのトリガの数をカウントすることにより導出されてよい。即ち、所定時間幅の区間を設定し、現時点から過去所定時間内のトリガの数を、現時点の目及び口の動き数とする。この結果、時間の経過と共に、目及び口の動き数の時系列が得られる（図１０（Ｂ）参照）。ここで、軽い眠気が生じた際に現れる特徴的な目及び口の動きとしては、例えば、しかめ顔のときに現れる口の動き（両唇の境界線の変形、唇周辺皮膚の変形）、目を強く閉じるときに現れる目の動き（目の周辺の皺の発生）、目を見開いたときの目の動き（目の縦方向の長さの拡大）等であってよい。これらの動きは、被験者の顔を撮像するように配置されたカメラを用いて、画像認識処理により検出される。例えば、カメラの画像に対して、アファイン変換等のより顔向きや顔大きさを補正し、次いでエッジ処理後、顔部の各パーツ（口、目）のマッチング処理により、顔部の各パーツが特定される。次いで、各パーツの特徴量、即ち、口の横長さ、両唇の境界線の座標列、唇周辺皮膚の変形のような口の特徴量や、目の縦長さ、まぶたの境界線の座標列、目周辺皮膚の変形を、各画像フレームに対して導出して、各特徴量の時系列を得る。そして、特徴量毎に、現時点の特徴量を、軽い眠気が生じた際に現れる同特徴量（基準特徴量）、及び／又は、全く眠くないときに現れる同特徴量（基準特徴量）と対比し、その適合度に基づいて、現時点において、軽い眠気が生じた際に現れる特徴的な目及び口の動きが生じたか否かを判定する。また、特徴量が座標列の場合については、同様の基準特徴量（座標列）とのパターンマッチングにより適合度が評価されてよい。現時点の特徴量と対比される基準特徴量は、好ましくは、官能評価を行うことで予め導出しておき、被験者毎にデータベース化しておく。尚、上記の説明からも明らかのように、このようにして得られる特徴量たる目及び口の動き数は、時間軸上の密度の次元をもつ。
【００３０】
［瞬目持続時間増加の発生頻度］
図８は、瞬目持続時間の説明図である。瞬目持続時間は、図８に示すように、目を閉じる動作が開始される時（閉眼開始時）から、目が閉じた状態を経て、目が再び開く時（開眼復帰時）までの時間である。この瞬目持続時間は、上記の［目及び口の動き数］の段落で説明した方法と同様に、目の特徴量（目の縦長さ）を画像認識処理により導出し、目の特徴量の時系列での変化態様に基づいて算出されてよい。瞬目持続時間は、例えば開眼復帰時毎に測定される。瞬目持続時間増加の発生頻度は、瞬目持続時間の時系列に所定基準以上の増加傾向が現れた時点（トリガ）を抽出し、各時刻において、所定時間前からのトリガの数をカウントすることにより導出されてよい。即ち、所定時間幅の区間を設定し、現時点から過去所定時間内のトリガの数を、現時点の瞬目持続時間増加の発生頻度とする。この結果、時間の経過と共に、瞬目持続時間増加の発生頻度の時系列が得られる（図１０（Ｃ）参照）。尚、上記の説明からも明らかのように、このようにして得られる特徴量たる瞬目持続時間増加の発生頻度は、時間軸上の密度の次元をもつ。
【００３１】
次に、覚醒度推定部１３１〜１３４による推定処理（推定ロジックＬ１〜Ｌ４）の詳細について順に説明する。
【００３２】
［推定ロジックＬ１］
図９は、第１覚醒度推定部１３１により実現される推定処理（推定ロジックＬ１）の流れを示すフローチャートである。ここでは、情報取得部１１０から、上述の３種類の特徴量（心拍揺らぎトリガ数、目及び口の動き数、及び、瞬目持続時間増加の発生頻度）の元データが、随時供給されるものとする。
【００３３】
ステップ１００では、前処理が実行される。即ち、第１覚醒度推定部１３１は、情報取得部１１０から供給される上述の３種類の特徴量の元データに基づいて、時間軸上の密度の次元をもつ３種類の特徴量を導出する。尚、上述からも明らかなように、３種類の特徴量は、ある程度の時間に亘って検出されたデータに基づいて生成されるものであるので、続くステップ１１０以降の処理は、所定時間以上に亘る３種類の特徴量の時系列が得られた段階で開始される。この場合、以後、ステップ１００からステップ１８０までの処理は、３種類の特徴量の元データが供給される毎に、繰り返し実行される。ステップ１００からステップ１８０までの処理は、３種類の特徴量の時系列を同期させて実行される。以下では、今回の処理の周期数（何番目の処理周期か）をｍ（ｍ＝１，２，．．．）で表す。
【００３４】
ステップ１１０では、第１密度レベル判定処理が実行される。第１密度レベル判定処理は、各特徴量の種類毎に、実行される。第１密度レベル判定処理では、特徴量が所定の基準密度以上であるか否かが判定される。即ち、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１以上であるか否かが判定される。この判定結果は、２値化される。例えば、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１以上である場合には、“２”が出力され、所定の基準密度Ｔｈ１より小さい場合には、“０”が出力される。同様に、今回の周期ｍで得られる目及び口の動き数が、所定の基準密度Ｔｈ２以上であるか否かが判定され、その判定結果は、２値化される。同様に、今回の周期ｍで得られる瞬目持続時間増加の発生頻度が、所定の基準密度Ｔｈ３以上であるか否かが判定され、その判定結果は、２値化される。このようにして、周期毎に、密度レベルの判定結果を出力することで、各特徴量の種類毎に、判定結果の時系列が生成される。尚、所定の基準密度Ｔｈ１〜Ｔｈ３は、弱い眠気の出現を確実に検出できるように幾分低め（感度が高め）の値に設定されてよく、究極的には、１のような小さい値であってもよい。これは、後述の更なる判定処理（例えば、ステップ１４０，１７０，１８０）により、弱い眠気が現れる状態とそうでない状態（高覚醒状態）が確実に判別されるからである。
【００３５】
ステップ１２０〜ステップ１４０では、心拍揺らぎトリガ数及び瞬目持続時間増加の発生頻度からなる特徴量の第１の組み合わせに関して、各種処理が実行される。
【００３６】
ステップ１２０では、先ず、第１データ混合処理が実行される。第１データ混合処理では、上記のステップ１１０で得られる心拍揺らぎトリガ数に対する第１密度レベル判定処理結果と、瞬目持続時間増加の発生頻度に対する第１密度レベル判定処理結果とが、時系列で同期して混合される。具体的には、周期毎に、それぞれの第１密度レベル判定処理結果の論理和をとる（ＡＮＤをとる）。即ち、今回の周期ｍで、それぞれの第１密度レベル判定処理結果が“２”であれば、正論理（ここでは、
“２”）を出力し、何れか一方又は双方の第１密度レベル判定処理結果が“０”であれば、負論理（ここでは、
“０”）を出力する。このようにして、周期毎に、第１の組み合わせに関して、それぞれの第１密度レベル判定処理結果に対して論理和を取ることで、論理和の演算結果の時系列が生成される。以下、このようにして第１の組み合わせに関する論理和の結果得られる時系列を、第１混合値εの時系列と称する。
【００３７】
ステップ１３０では、第１混合値εの時系列に対して、第１密度計算処理が実行される。第１密度計算処理では、第１混合値εの時系列に対して時間軸上での密度が算出される。具体的には、所定時間（周期）幅の区間を設定し、今回周期ｍから過去所定周期数内の第１混合値εの累計（積分値）を、今回周期ｍにおける第１混合値εの密度ε’として算出する。即ち、今回周期ｍから過去所定周期前まで遡って、正論理が出力された周期の数をカウントする。所定周期数は、分の時間単位（例えば１分）に対応する周期数であってよい。このようにして、周期毎に、第１密度計算処理結果を出力することで、第１混合値の密度ε’の時系列が生成される。
【００３８】
ステップ１４０では、第１混合値の密度ε’の時系列に対して、第２密度レベル判定処理が実行される。第２密度レベル判定処理では、第１混合値の密度ε’が所定の基準密度Ｔｈ４よりも大きいか否かが判定される。即ち、今回の周期ｍで得られる第１混合値の密度ε’が、所定の基準密度Ｔｈ４よりも大きいか否かが判定される。所定の基準密度Ｔｈ４は、官能評価結果等に基づいて実験的に適合されたものが用いられてよい。この判定結果は、２値化される。例えば、第１混合値の密度ε’が所定の基準密度Ｔｈ４よりも大きい場合には、“２”が出力され、所定の基準密度Ｔｈ４以下の場合には、“０”が出力される。このようにして、周期毎に、第１混合値の密度ε’に対する第２密度レベル判定結果ε’’を出力することで、判定結果ε’’の時系列が生成される。
【００３９】
ステップ１５０〜ステップ１７０では、目及び口の動き数及び瞬目持続時間増加の発生頻度からなる特徴量の第２の組み合わせに関して、各種処理が実行される。
【００４０】
ステップ１５０では、先ず、第２データ混合処理が実行される。第２データ混合処理では、上記のステップ１１０で得られる目及び口の動き数に対する第１密度レベル判定処理結果と、瞬目持続時間増加の発生頻度に対する第１密度レベル判定処理結果とが、時系列で同期して混合される。具体的には、周期毎に、それぞれの第１密度レベル判定処理結果の論理和をとる。即ち、今回の周期ｍで、それぞれの第１密度レベル判定処理結果が“２”であれば、正論理（ここでは、“２”）を出力し、何れか一方又は双方の第１密度レベル判定処理結果が“０”であれば、負論理（ここでは、“０”）を出力する。このようにして、周期毎に、第２の組み合わせに関して、それぞれの第１密度レベル判定処理結果に対して論理和を取ることで、論理和の演算結果の時系列が生成される。以下、このようにして第２の組み合わせに関する論理和の結果得られる時系列を、第２混合値ηの時系列と称する。
【００４１】
ステップ１６０では、第２混合値ηの時系列に対して、第２密度計算処理が実行される。第２密度計算処理では、第２混合値ηの時系列に対して時間軸上での密度が算出される。具体的には、所定時間（周期）幅の区間を設定し、今回周期ｍから過去所定周期数内の第２混合値ηの累計を、今回周期ｍにおける第２混合値ηの密度η’として算出する。即ち、今回周期ｍから過去所定周期前まで遡って、正論理が出力された周期の数をカウントする。所定周期数は、分の時間単位（例えば１分）に対応する周期数であってよい。このようにして、周期毎に、第２密度計算処理結果を出力することで、第２混合値ηの密度η’の時系列が生成される。
【００４２】
ステップ１７０では、第２混合値ηの密度η’の時系列に対して、第３密度レベル判定処理が実行される。第３密度レベル判定処理では、第２混合値ηの密度η’が所定の基準密度Ｔｈ５よりも大きいか否かが判定される。即ち、今回の周期ｍで得られる第２混合値ηの密度η’が、所定の基準密度Ｔｈ５よりも大きいか否かが判定される。所定の基準密度Ｔｈ５は、同様に、官能評価結果等に基づいて実験的に適合されたものが用いられてよい。この判定結果は、２値化される。例えば、第２混合値ηの密度η’が所定の基準密度Ｔｈ５よりも大きい場合には、“２”が出力され、所定の基準密度Ｔｈ５以下の場合には、“０”が出力される。このようにして、周期毎に、第２混合値ηの密度η’に対する第３密度レベル判定結果η’’を出力することで、判定結果η’’の時系列が生成される。
【００４３】
ステップ１８０では、第３データ混合処理が実行される。第３データ混合処理では、上記のステップ１４０で得られる第１混合値の密度ε’に対する第２密度レベル判定結果ε’’と、上記のステップ１７０で得られる第２混合値ηの密度η’に対する第３密度レベル判定結果η’’とが、時系列で同期して混合される。具体的には、周期毎に、それぞれの密度レベル判定処理結果の論理和をとる。即ち、今回の周期ｍで、それぞれの密度レベル判定処理結果が“２”であれば、正論理（ここでは、“２”）を出力し、何れか一方又は双方の密度レベル判定処理結果が“０”であれば、負論理（ここでは、
“０”）を出力する。このようにして第３データ混合処理の結果、正論理が出力された場合には、第１覚醒度推定部１３１は、被験者の覚醒度が低下していると判断する。即ち、軽い眠気に襲われている虞があると判断する。一方、第３データ混合処理の結果、負論理が出力された場合には、第１覚醒度推定部１３１は、被験者の覚醒度は低下していないと判断する。即ち、高覚醒状態であると判断する。
【００４４】
次に、比較的長い時間に亘って得られる各種特徴量に対して、上述の各種処理を行った場合の各種時系列について説明する。
【００４５】
図１０は、上述のステップ１００の前処理により得られる結果の時系列を示す。図１０（Ａ）には、心拍揺らぎトリガ数の時系列の一例、図１０（Ｂ）には、目及び口の動き数の時系列の一例、図１０（Ｃ）には、瞬目持続時間増加の発生頻度の時系列の一例が示されている。
【００４６】
図１１は、上述のステップ１１０の第１密度レベル判定処理の態様及び第１密度レベル判定処理結果の時系列を示す。図１１（Ａ）には、上から順に、心拍揺らぎトリガ数の時系列（処理前）に対する基準密度Ｔｈ１の関係、及び、心拍揺らぎトリガ数の時系列に対する第１密度レベル判定処理結果の時系列（処理後）が示されている。図１１（Ｂ）には、上から順に、目及び口の動き数の時系列（処理前）に対する基準密度Ｔｈ２の関係、及び、目及び口の動き数の時系列に対する第１密度レベル判定処理結果の時系列（処理後）が示されている。図１１（Ｃ）には、上から順に、瞬目持続時間増加の発生頻度の時系列（処理前）に対する基準密度Ｔｈ３の関係、及び、瞬目持続時間増加の発生頻度の時系列に対する第１密度レベル判定処理結果の時系列（処理後）が示されている。
【００４７】
図１２は、上述のステップ１２０の第１データ混合処理の態様及び第１データ混合処理結果の時系列を示す。図１２には、上から順に、心拍揺らぎトリガ数の時系列に対する第１密度レベル判定処理結果の時系列（処理前）、目及び口の動き数の時系列に対する第１密度レベル判定処理結果の時系列（処理前）、及び、第１混合値εの時系列（処理後）が示されている。
【００４８】
図１３は、上述のステップ１５０の第２データ混合処理の態様及び第２データ混合処理結果の時系列を示す。図１３には、上から順に、目及び口の動き数の時系列の時系列に対する第１密度レベル判定処理結果の時系列（処理前）、瞬目持続時間増加の発生頻度の時系列に対する第１密度レベル判定処理結果の時系列（処理前）、及び、第２混合値ηの時系列（処理後）が示されている。
【００４９】
図１４は、上述のステップ１３０の第１密度計算処理の態様及び第１密度計算処理結果の時系列を示す。図１４には、上から順に、第１混合値εの時系列（処理前）、及び、第１混合値εの密度ε’の時系列（処理後）が示されている。
【００５０】
図１５は、上述のステップ１６０の第２密度計算処理の態様及び第２密度計算処理結果の時系列を示す。図１５には、上から順に、第２混合値ηの時系列（処理前）、及び、第２混合値ηの密度η’の時系列（処理後）が示されている。
【００５１】
図１６は、上述のステップ１４０の第２密度レベル判定処理の態様及び第２密度レベル判定処理結果の時系列を示す。図１６には、上から順に、第１混合値εの密度ε’の時系列（処理前）に対する基準密度Ｔｈ４の関係、及び、第１混合値εの密度ε’の時系列に対する第２密度レベル判定結果ε’’の時系列（処理後）が示されている。
【００５２】
図１７は、上述のステップ１７０の第３密度レベル判定処理の態様及び第３密度レベル判定処理結果の時系列を示す。図１７には、上から順に、第２混合値ηの密度η’の時系列（処理前）に対する基準密度Ｔｈ５の関係、及び、第２混合値ηの密度η’の時系列に対する第３密度レベル判定結果η’’の時系列（処理後）が示されている。
【００５３】
図１８は、上述のステップ１８０の第３データ混合処理の態様及び第３データ混合処理結果の時系列を示す。図１８（Ａ）は、処理前の時系列データを示し、上から順に、第２密度レベル判定結果ε’’の時系列、及び、第３密度レベル判定結果η’’の時系列である。図１８（Ｂ）は、第３データ混合処理の結果の時系列、即ち、第１覚醒度推定部１３１による覚醒度推定結果の時系列を示す。
【００５４】
図１８に示す例では、例えば時刻ｔ＝ｔ１にて、正論理が第３密度レベル判定結果η’’として出力されているが、このとき、第２密度レベル判定結果ε’’の出力は負論理（偽）であるので、覚醒度推定結果は、負論理（即ち高覚醒度）となる。一方、時刻ｔ＝ｔ２では、図１８（Ａ）に示すように、第３密度レベル判定結果η’’及び第２密度レベル判定結果ε’’の出力が共に正論理となり、時刻ｔ＝ｔ２にて、覚醒度推定結果が正論理に反転する。この結果、時刻ｔ＝ｔ２にて、警報出力部１６０を介して必要な警告が実行されうる。時刻ｔ＝ｔ２以降、時刻ｔ＝ｔ３では、第３密度レベル判定結果η’’及び第２密度レベル判定結果ε’’の出力が共に負論理となり、時刻ｔ＝ｔ３にて、覚醒度推定結果が負論理に反転する。そして、再び、時刻ｔ＝ｔ４にて、密度レベル判定結果η’’及び第２密度レベル判定結果ε’’の出力が共に正論理となり、覚醒度推定結果が正論理に反転する。
【００５５】
ところで、本実施例では、上述の如く、あくびのときの口の動きのような、低覚醒時に頻繁に現れる特徴量を用いるのではなく、上述の如く、弱い眠気に反応して出現しやすい特徴量を用いて、被験者の覚醒度を推定している。このような構成では、あくびのような特徴量を用いるでは検出が困難な、弱い眠気に襲われている状態を検出することができる。即ち、被験者が強い眠気に襲われる状態に陥る前に、覚醒度の低下の初期段階を検出することができる。しかしながら、その反面として、これらの弱い眠気に反応が出やすい特徴量は、個々では、高覚醒状態においても現れ得るので、これらの特徴量を単独で評価した場合には、高覚醒状態であるにも拘らず、弱い眠気に襲われている状態であると誤判定する虞がある。
【００５６】
これに対して、上述の推定ロジックＬ１によれば、３種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。また、上述の推定ロジックＬ１によれば、３種類の特徴量を個別的に評価すると共に（上記ステップ１１０参照）、３種類の特徴量を２組の特徴量の組み合わせに分け、それぞれの組み合わせに係る混合値の密度（ε’、η’）の密度レベルを、別々の閾値（Ｔｈ４、Ｔｈ５）を用いて評価し（上記ステップ１４０及びステップ１７０参照）、更に、各組み合わせに係る判定結果（ε’’、η’’）を統合して評価するので（ステップ１８０参照）、誤判定の起こり難い高精度の推定が可能となる。また、上述の推定ロジックＬ１によれば、３種類の特徴量に対する個別の評価結果を統合して評価するのではなく、上述の如く、３種類の特徴量を２組の特徴量の組み合わせに分けて、各組み合わせに対して個別に評価を行うので、それぞれの特徴量の組み合わせに適合した閾値（Ｔｈ４、Ｔｈ５）を設定することができる。この結果、３種類の特徴量に対する個別の評価結果を統合して評価する構成に比べて、高い精度で弱い眠気を検出することができる。
【００５７】
尚、本実施例において、３種類の特徴量のうち、心拍揺らぎトリガ数及び瞬目持続時間増加の発生頻度からなる第１の組み合わせ、目及び口の動き数及び瞬目持続時間増加の発生頻度からなる第２の組み合わせの、２つの組み合わせに対して、各種処理（ステップ１２０〜１８０の処理）を実行しているが、他の２つの組み合わせに対して、同様の処理を実行することも可能である。例えば、心拍揺らぎトリガ数及び瞬目持続時間増加の発生頻度からなる第１の組み合わせ、及び、心拍揺らぎトリガ数及び瞬目持続時間増加の発生頻度からなる第１の組み合わせに対して同様の処理を実行することも可能であるし、或いは、心拍揺らぎトリガ数及び目及び口の動き数からなる第１の組み合わせ、及び、目及び口の動き数及び瞬目持続時間増加の発生頻度からなる第２の組み合わせに対して同様の処理を実行することも可能である。
【００５８】
また、本実施例において、３種類の特徴量のうち２通りの組み合わせに対して２系統に分けて評価を行っているが、３種類の特徴量の３通りの組み合わせの全てに対して、３系統に分けて評価を行い、３系統の各評価結果を最終的に混合（統合）して、被験者の覚醒度を推定することも可能である。
【００５９】
［推定ロジックＬ２］
図１９は、第２覚醒度推定部１３２により実現される推定処理（推定ロジックＬ２）の流れを示すフローチャートである。ここでは、情報取得部１１０から、上述の３種類の特徴量のうちの心拍揺らぎトリガ数及び目及び口の動き数の２種類の特徴量の元データが、随時供給されるものとする。
【００６０】
ステップ２００では、前処理が実行される。即ち、第２覚醒度推定部１３２は、情報取得部１１０から供給される上述の２種類の特徴量の元データに基づいて、時間軸上の密度の次元をもつ３種類の特徴量を導出する。尚、上述からも明らかなように、２種類の特徴量は、ある程度の時間に亘って検出されたデータに基づいて生成されるものであるので、続くステップ２１０以降の処理は、所定時間以上に亘る２種類の特徴量の時系列が得られた段階で開始される。この場合、以後、ステップ２００からステップ２４０までの処理は、２種類の特徴量の元データが供給される毎に、繰り返し実行される。ステップ２００からステップ２４０までの処理は、２種類の特徴量の時系列を同期させて実行される。以下では、今回の処理の周期数（何番目の処理周期か）をｍ（ｍ＝１，２，．．．）で表す。
【００６１】
ステップ２１０では、第１密度レベル判定処理が実行される。第１密度レベル判定処理は、各特徴量の種類毎に、実行される。第１密度レベル判定処理では、特徴量が所定の基準密度以上であるか否かが判定される。即ち、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１’以上であるか否かが判定される。この判定結果は、２値化される。例えば、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１’以上である場合には、“２”が出力され、所定の基準密度Ｔｈ１’より小さい場合には、“０”が出力される。同様に、今回の周期ｍで得られる目及び口の動き数が、所定の基準密度Ｔｈ２’以上であるか否かが判定され、その判定結果は、２値化される。このようにして、周期毎に、密度レベルの判定結果を出力することで、各特徴量の種類毎に、判定結果の時系列が生成される。尚、所定の基準密度Ｔｈ１’及びＴｈ２’は、上述の推定ロジックＬ１で用いられるＴｈ１及びＴｈ２と同様であってよく、同様に、弱い眠気の出現を確実に検出できるように幾分低め（感度が高め）の値に設定されてよく、究極的には、１のような小さい値であってもよい。
【００６２】
ステップ２２０では、データ混合処理が実行される。データ混合処理では、上記のステップ２１０で得られる心拍揺らぎトリガ数に対する密度レベル判定処理結果と、目及び口の動き数に対する密度レベル判定処理結果とが、時系列で同期して混合される。具体的には、周期毎に、それぞれの密度レベル判定処理結果の論理和をとる（ＡＮＤをとる）。即ち、今回の周期ｍで、それぞれの密度レベル判定処理結果が“２”であれば、正論理（ここでは、“２”）を出力し、何れか一方又は双方の密度レベル判定処理結果が“０”であれば、負論理（ここでは、“０”）を出力する。このようにして、周期毎に、上記の２種類の特徴量に関して、それぞれの第１密度レベル判定処理結果に対して論理和を取ることで、論理和の演算結果の時系列が生成される。以下、このようにして論理和の結果得られる時系列を、混合値αの時系列と称する。
【００６３】
ステップ２３０では、混合値αの時系列に対して、密度計算処理が実行される。密度計算処理では、混合値αの時系列に対して時間軸上での密度が算出される。具体的には、所定時間（周期）幅の区間を設定し、今回周期ｍから過去所定周期数内の混合値αの累計を、今回周期ｍにおける混合値αの密度α’として算出する。即ち、今回周期ｍから過去所定周期前まで遡って、正論理が出力された周期の数をカウントする。所定周期数は、分の時間単位（例えば１分）に対応する周期数であってよい。このようにして、周期毎に、第１密度計算処理結果を出力することで、混合値αの密度α’の時系列が生成される。
【００６４】
ステップ２４０では、混合値αの密度α’の時系列に対して、第２密度レベル判定処理が実行される。第２密度レベル判定処理では、混合値αの密度α’が所定の基準密度Ｔｈ６よりも大きいか否かが判定される。即ち、今回の周期ｍで得られる混合値αの密度α’が、所定の基準密度Ｔｈ６よりも大きいか否かが判定される。所定の基準密度Ｔｈ６は、官能評価結果等に基づいて実験的に適合されたものが用いられてよい。混合値αの密度α’が所定の基準密度Ｔｈ６よりも大きい場合には、第２覚醒度推定部１３２は、被験者の覚醒度が低下していると判断する。即ち、軽い眠気に襲われている虞があると判断する。この場合、警報出力部１６０を介して必要な警告が実行されうる。一方、混合値αの密度α’が所定の基準密度Ｔｈ６以下の場合には、第２覚醒度推定部１３２は、被験者の覚醒度は低下していないと判断する。即ち、高覚醒状態であると判断する。
【００６５】
このように、上述の推定ロジックＬ２によれば、弱い眠気の検出に適した２種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。また、上述の推定ロジックＬ２によれば、２種類の特徴量を個別的に評価すると共に（上記ステップ２１０参照）、２種類の特徴量の個別的な評価結果を混合して得られる混合値に対して、その密度（α’）の密度レベルを更に評価するので（上記ステップ２４０参照）、誤判定の起こり難い高精度の推定が可能となる。
【００６６】
［推定ロジックＬ３］
図２０は、第３覚醒度推定部１３３により実現される推定処理（推定ロジックＬ３）の流れを示すフローチャートである。ここでは、情報取得部１１０から、上述の３種類の特徴量のうちの心拍揺らぎトリガ数及び瞬目持続時間増加の発生頻度の２種類の特徴量の元データが、随時供給されるものとする。
【００６７】
ステップ３００では、前処理が実行される。即ち、第３覚醒度推定部１３３は、情報取得部１１０から供給される上述の２種類の特徴量の元データに基づいて、時間軸上の密度の次元をもつ３種類の特徴量を導出する。尚、上述からも明らかなように、２種類の特徴量は、ある程度の時間に亘って検出されたデータに基づいて生成されるものであるので、続くステップ３１０以降の処理は、所定時間以上に亘る２種類の特徴量の時系列が得られた段階で開始される。この場合、以後、ステップ３００からステップ３５０までの処理は、２種類の特徴量の元データが供給される毎に、繰り返し実行される。ステップ３００からステップ３５０までの処理は、２種類の特徴量の時系列を同期させて実行される。以下では、今回の処理の周期数（何番目の処理周期か）をｍ（ｍ＝１，２，．．．）で表す。
【００６８】
ステップ３１０では、第１密度レベル判定処理が実行される。第１密度レベル判定処理は、各特徴量の種類毎に、実行される。第１密度レベル判定処理では、特徴量が所定の基準密度以上であるか否かが判定される。即ち、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１’’以上であるか否かが判定される。この判定結果は、２値化される。例えば、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１’’以上である場合には、“２”が出力され、所定の基準密度Ｔｈ１’’より小さい場合には、“０”が出力される。同様に、今回の周期ｍで得られる瞬目持続時間増加の発生頻度が、所定の基準密度Ｔｈ３’以上であるか否かが判定され、その判定結果は、２値化される。このようにして、周期毎に、密度レベルの判定結果を出力することで、各特徴量の種類毎に、判定結果の時系列が生成される。尚、所定の基準密度Ｔｈ１’’及びＴｈ３’は、上述の推定ロジックＬ１で用いられるＴｈ１及びＴｈ３と同様であってよく、同様に、弱い眠気の出現を確実に検出できるように幾分低め（感度が高め）の値に設定されてよく、究極的には、１のような小さい値であってもよい。
【００６９】
ステップ３２０では、データ混合処理が実行される。データ混合処理では、上記のステップ３１０で得られる心拍揺らぎトリガ数に対する密度レベル判定処理結果と、瞬目持続時間増加の発生頻度に対する密度レベル判定処理結果とが、時系列で同期して混合される。具体的には、周期毎に、それぞれの密度レベル判定処理結果の論理和をとる（ＡＮＤをとる）。即ち、今回の周期ｍで、それぞれの密度レベル判定処理結果が“２”であれば、正論理（ここでは、“２”）を出力し、何れか一方又は双方の密度レベル判定処理結果が“０”であれば、負論理（ここでは、“０”）を出力する。このようにして、周期毎に、上記の２種類の特徴量に関して、それぞれの第１密度レベル判定処理結果に対して論理和を取ることで、論理和の演算結果の時系列が生成される。以下、このようにして論理和の結果得られる時系列を、混合値βの時系列と称する。
【００７０】
ステップ３３０では、混合値βの時系列に対して、密度計算処理が実行される。密度計算処理では、混合値βの時系列に対して時間軸上での密度が算出される。具体的には、所定時間（周期）幅の区間を設定し、今回周期ｍから過去所定周期数内の混合値βの累計を、今回周期ｍにおける混合値βの密度β’として算出する。即ち、今回周期ｍから過去所定周期前まで遡って、正論理が出力された周期の数をカウントする。所定周期数は、分の時間単位（例えば１分）に対応する周期数であってよく、上述の推定ロジックＬ２における所定周期数より大きい値が採用されてよい。このようにして、周期毎に、第１密度計算処理結果を出力することで、混合値βの密度β’の時系列が生成される。
【００７１】
ステップ３４０では、混合値βの密度β’の時系列に対して、第２密度レベル判定処理が実行される。第２密度レベル判定処理では、混合値βの密度β’が所定の基準密度Ｔｈ７よりも大きいか否かが判定される。即ち、今回の周期ｍで得られる混合値βの密度β’が、所定の基準密度Ｔｈ７よりも大きいか否かが判定される。所定の基準密度Ｔｈ７は、官能評価結果等に基づいて実験的に適合されたものが用いられてよい。混合値βの密度β’が所定の基準密度Ｔｈ７よりも大きい場合には、第３覚醒度推定部１３３は、被験者の覚醒度が低下していると判断する。即ち、軽い眠気に襲われている虞があると判断する。この場合、警報出力部１６０を介して必要な警告が実行されうる。一方、混合値βの密度β’が所定の基準密度Ｔｈ７以下の場合には、第３覚醒度推定部１３３は、被験者の覚醒度は低下していないと判断する。即ち、高覚醒状態であると判断する。
【００７２】
このように、上述の推定ロジックＬ３によれば、上述の推定ロジックＬ２と同様、弱い眠気の検出に適した２種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。また、上述の推定ロジックＬ３によれば、２種類の特徴量を個別的に評価すると共に（上記ステップ３１０参照）、２種類の特徴量の個別的な評価結果を混合して得られる混合値に対して、その密度（β’）の密度レベルを更に評価するので（上記ステップ３４０参照）、誤判定の起こり難い高精度の推定が可能となる。
【００７３】
［推定ロジックＬ４］
図２１は、第４覚醒度推定部１３４により実現される推定処理（推定ロジックＬ４）の流れを示すフローチャートである。ここでは、情報取得部１１０から、上述の３種類の特徴量のうちの目及び口の動き数及び瞬目持続時間増加の発生頻度の２種類の特徴量の元データが、随時供給されるものとする。
【００７４】
ステップ４００では、前処理が実行される。即ち、第４覚醒度推定部１３４は、情報取得部１１０から供給される上述の２種類の特徴量の元データに基づいて、時間軸上の密度の次元をもつ３種類の特徴量を導出する。ステップ４００からステップ４２０までの処理は、２種類の特徴量の元データが供給される毎に、繰り返し実行される。ステップ４００からステップ４２０までの処理は、２種類の特徴量の時系列を同期させて実行される。以下では、今回の処理の周期数（何番目の処理周期か）をｍ（ｍ＝１，２，．．．）で表す。
【００７５】
ステップ４１０では、データ選別処理が実行される。データ選別処理では、先ず、瞬目持続時間増加の発生頻度が所定の基準密度以上であるか否かが判定される。即ち、今回の周期ｍで得られる瞬目持続時間増加の発生頻度が、所定の基準密度Ｔｈ３’’以上であるか否かが判定される。尚、所定の基準密度Ｔ３’’は、１のような小さい値であってよい。即ち、瞬目持続時間増加の発生頻度がある値を有すれば、瞬目持続時間増加の発生頻度が所定の基準密度よりも大きいと判定されてよい。瞬目持続時間増加の発生頻度が所定の基準密度以上の場合には、同周期に係る目及び口の動き数のデータを抽出し、瞬目持続時間増加の発生頻度が所定の基準密度より小さい場合には、同周期に係る目及び口の動き数のデータを破棄する（抽出しない）。このようにして、周期毎に、データ選別処理を行うことで、瞬目持続時間増加の発生頻度が所定の基準密度以上であるときの目及び口の動き数の時系列が抽出（選別）される。以下、このようにして選別された目及び口の動き数の時系列を「目及び口の動き数γの時系列」という。
【００７６】
ステップ４２０では、目及び口の動き数γの時系列に対して、密度レベル判定処理が実行される。密度レベル判定処理では、目及び口の動き数γが所定の基準密度Ｔｈ８よりも大きいか否かが判定される。即ち、今回の周期ｍで得られる目及び口の動き数γが、所定の基準密度Ｔｈ８よりも大きいか否かが判定される。所定の基準密度Ｔｈ８は、ゼロよりも大きく、官能評価結果等に基づいて実験的に適合されたものが用いられてよい。目及び口の動き数γが所定の基準密度Ｔｈ８よりも大きい場合には、第４覚醒度推定部１３４は、被験者の覚醒度が低下していると判断する。即ち、軽い眠気に襲われている虞があると判断する。この場合、警報出力部１６０を介して必要な警告が実行されうる。一方、目及び口の動き数γが所定の基準密度Ｔｈ８以下の場合には、第４覚醒度推定部１３４は、被験者の覚醒度は低下していないと判断する。即ち、高覚醒状態であると判断する。
【００７７】
このように、上述の推定ロジックＬ４によれば、弱い眠気の検出に適した２種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。また、上述の推定ロジックＬ４は、心拍揺らぎトリガ数を取得できない場合であっても、カメラによる画像計測のみにより実現可能である。即ち、上述の推定ロジックＬ４は、簡易な構成で、弱い眠気に襲われている状態を高精度に検出することができる。
【００７８】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００７９】
例えば、上述した実施例では、カメラ等による計測を介してリアルタイムに取得される特徴量を用いて、リアルタイムに覚醒度の推定を行っているが、取得された特徴量を事後的に用いて、オフラインで覚醒度の推定を行ってもよい。
【００８０】
また、上述した実施例では、覚醒度推定部１３１〜１３４により各種前処理が実行されているが、かかる前処理は、例えば情報取得部１１０にて実行されてもよい。
【産業上の利用可能性】
【００８１】
以上のとおり本発明は、車両におけるドライバの覚醒度を推定するアプリケーションを始めとして、被験者の覚醒度を推定することが有用なあらゆるアプリケーションにおいて利用することができる。
【図面の簡単な説明】
【００８２】
【図１】本発明による覚醒度推定システムにおける主要構成の一実施例を示すシステム構成図である。
【図２】特徴量の種類と、選択される推定ロジックＬ１〜Ｌ４の対応表を示す図である。
【図３】心拍数の時系列の一例を示すグラフである。
【図４】心拍揺らぎ時系列の一例を示すグラフである。
【図５】閾値処理を示すグラフである。
【図６】閾値を越えた時刻の抽出結果を示すグラフである。
【図７】心拍揺らぎトリガ数の時系列を表すグラフである。
【図８】瞬目持続時間の説明図である。
【図９】第１覚醒度推定部１３１により実現される推定処理（推定ロジックＬ１）の流れを示すフローチャートである。
【図１０】前処理により得られる結果の時系列を示すグラフである。
【図１１】第１密度レベル判定処理の態様及び第１密度レベル判定処理結果の時系列を示すグラフである。
【図１２】第１データ混合処理の態様及び第１データ混合処理結果の時系列を示すグラフである。
【図１３】第２データ混合処理の態様及び第２データ混合処理結果の時系列を示すグラフである。
【図１４】第１密度計算処理の態様及び第１密度計算処理結果の時系列を示すグラフである。
【図１５】第２密度計算処理の態様及び第２密度計算処理結果の時系列を示すグラフである。
【図１６】第２密度レベル判定処理の態様及び第２密度レベル判定処理結果の時系列を示すグラフである。
【図１７】第３密度レベル判定処理の態様及び第３密度レベル判定処理結果の時系列を示すグラフである。
【図１８】第３データ混合処理の態様及び第３データ混合処理結果の時系列を示すグラフである。
【図１９】第２覚醒度推定部１３２により実現される推定処理（推定ロジックＬ２）の流れを示すフローチャートである。
【図２０】第３覚醒度推定部１３３により実現される推定処理（推定ロジックＬ３）の流れを示すフローチャートである。
【図２１】第４覚醒度推定部１３４により実現される推定処理（推定ロジックＬ４）の流れを示すフローチャートである。
【符号の説明】
【００８３】
１００ 覚醒度推定システム
１１０ 情報取得部
１３０ 覚醒度推定部
１４０ 計測要求出力部
１６０ 警報出力部
１３１ 第１覚醒度推定部
１３２ 第２覚醒度推定部
１３３ 第３覚醒度推定部
１３４ 第４覚醒度推定部
１３６ 推定ロジック選択部
１３７ データチェック部
１３８ ロジックデータベース
【技術分野】
【０００１】
本発明は、被験者の覚醒度を高精度に推定する覚醒度推定装置及びシステム並びに方法に関する。
【背景技術】
【０００２】
従来から、被験者の瞳孔領域の形状変化から瞬きの時間及び頻度が所定値以上の時に被験者の覚醒度が低下している判断する覚醒状態検知装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開平６−２７０７１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の従来技術のように瞬きの時間及び頻度を用いるだけでは、弱い眠気、即ち強い眠気に襲われる前の段階を、検出することは非常に困難である。
【０００４】
そこで、本発明は、弱い眠気を表す覚醒度の推定精度を高めることができる覚醒度推定装置及びシステム並びに方法の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、第１の発明に係る覚醒度推定装置は、被験者の３種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得手段と、
前記特徴量の種類毎に、特徴量が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する第１密度レベル判定処理手段と、
前記３種類以上の特徴量のうちの２種類の特徴量の第１の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第１の組み合わせに係る第１混合値の時系列を出力する第１混合処理手段と、
前記第１混合値の時系列に対して時間軸上での密度を算出する第１密度計算処理手段と、
前記第１密度計算処理手段により算出される第１混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第２密度レベル判定処理手段と、
前記３種類以上の特徴量のうちの他の２種類の特徴量の第２の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第２の組み合わせに係る第２混合値の時系列を出力する第２混合処理手段と、
前記第２混合値の時系列に対して時間軸上での密度を算出する第２密度計算処理手段と、
前記第２密度計算処理手段により算出される第２混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第３密度レベル判定処理手段と、
前記第２密度レベル判定処理手段による判定処理結果と前記第３密度レベル判定処理手段による判定処理結果とに基づいて、前記被験者の覚醒度を推定する覚醒度推定手段とを備えることを特徴とする。
【０００６】
第２の発明は、第１の発明に係る覚醒度推定装置において、
前記生理的な特徴量は、心拍揺らぎに関する特徴量、目及び口の動きに関する特徴量、及び、目の瞬きに関する特徴量であり、
前記２つの組み合わせは、前記３種類の特徴量の計３通りの組み合わせのうちの何れか２つであることを特徴とする。これにより、弱い眠気の検出に適した２種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。
【０００７】
第３の発明に係る覚醒度推定装置は、被験者の２種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得手段と、
取得した２種類の生理的な特徴量に対して、特徴量の種類毎に、特徴量が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する密度レベル判定処理手段と、
前記２種類の特徴量に対する各判定処理結果の時系列を時間軸上で同期させて混合することで、混合値の時系列を出力する特徴量混合処理手段と、
前記混合値の時系列に対して時間軸上での密度を算出する密度計算処理手段と、
前記密度計算処理手段により算出される密度に基づいて、前記被験者の覚醒度を推定する覚醒度推定手段とを備えることを特徴とする。
【０００８】
第４の発明は、第３の発明に係る覚醒度推定装置において、
前記２種類の生理的な特徴量は、心拍揺らぎに関する特徴量及び目及び口の動きに関する特徴量、又は、心拍揺らぎに関する特徴量及び目の瞬きに関する特徴量であることを特徴とする。これにより、弱い眠気の検出に適した２種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。
【０００９】
第５の発明は、第３の発明に係る覚醒度推定装置において、
前記特徴量取得手段は、心拍揺らぎに関する特徴量、目及び口の動きに関する特徴量、及び、目の瞬きに関する特徴量を、前記特徴量として取得する手段であり、
前記特徴量混合処理手段、密度計算処理手段及び覚醒度推定手段は、前記特徴量取得手段による特徴量の取得状態に応じて、選択的に、心拍揺らぎに関する特徴量及び目及び口の動きに関する特徴量の２種類の特徴量、又は、心拍揺らぎに関する特徴量及び瞬目持続時間増加の２種類の特徴量に対して、前記各処理を実行することを特徴とする。これにより、上記の3種類の特徴量のうち、瞬目持続時間増加又は目及び口の動きに関する特徴量が取得できない状況下においても、２種類の特徴量を総合的に用いて、弱い眠気に襲われている状態を高精度に検出することができる。
【００１０】
第６の発明に係る覚醒度推定システムは、上記の第１又は２の発明に係る覚醒度推定装置と、第３〜５の何れかの発明に係る覚醒度推定装置とを含む複数の覚醒度推定装置を有し、
複数の覚醒度推定装置の何れか１つを選択的に用いて、前記被験者の覚醒度を推定することを特徴とする。これにより、特徴量取得手段による特徴量の取得状態に応じて、選択的に適切な種類の特徴量を用いて、弱い眠気に襲われている状態を高精度に検出することができる。
【００１１】
第７の発明に係る覚醒度推定方法は、被験者の３種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得ステップと、
前記特徴量毎に、時間軸上での特徴量の密度が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する第１密度レベル判定処理ステップと、
前記３種類以上の特徴量のうちの２種類の特徴量の第１の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第１の組み合わせに係る第１混合値の時系列を出力する第１混合処理ステップと、
前記第１混合値の時系列に対して時間軸上での密度を算出する第１密度計算処理ステップと、
前記第１密度計算処理ステップにより算出される第１混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第２密度レベル判定処理ステップと、
前記３種類以上の特徴量のうちのその他の２種類の特徴量の第２の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第２の組み合わせに係る第２混合値の時系列を出力する第２混合処理ステップと、
前記第２混合値の時系列に対して時間軸上での密度を算出する第２密度計算処理ステップと、
前記第２密度計算処理ステップにより算出される第２混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第３密度レベル判定処理ステップと、
前記第２密度レベル判定処理ステップによる判定処理結果と前記第３密度レベル判定処理ステップによる判定処理結果とに基づいて、前記被験者の覚醒度を推定する覚醒度推定ステップとを備えることを特徴とする。
【００１２】
第８の発明に係る覚醒度推定方法は、被験者の第１の生理的な特徴量及び第２の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得ステップと、
前記第１の特徴量と前記第２の特徴量とを時間軸上で同期させて混合することで、混合特徴量の時系列を出力する特徴量混合処理ステップと、
前記混合特徴量の時系列に対して時間軸上での密度を算出する密度計算処理ステップと、
前記密度計算処理ステップにより算出される密度に基づいて、前記被験者の覚醒度を推定する覚醒度推定ステップとを備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、弱い眠気を表す覚醒度の推定精度を高めることができる覚醒度推定装置及びシステム並びに方法が得られる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１５】
図１は、本発明による覚醒度推定システムにおける主要構成の一実施例を示すシステム構成図である。
【００１６】
本実施例の覚醒度推定システム１００は、情報取得部１１０と、覚醒度推定部１３０、計測要求出力部１４０と、警報出力部１６０とを備える。尚、以下で説明する各部の機能（情報処理）は、特に明示した場合を除き、ＣＰＵ、メモリ等からなるマイクロコンピュータにより実現することができる。メモリ（ＲＯＭや、ＲＡＭ、ハードディスク等任意）には、各部の機能を実現すべくＣＰＵが実行するプログラムやデータ（例えば、以下で説明する各種推定ロジック）が格納されている。
【００１７】
情報取得部１１０は、被験者の生理的な特徴量に関する情報を取得する。情報取得部１１０は、例えばカラーカメラ、モノクロカメラ、赤外線カメラ、脳波計、心電計、眼電計、筋電計、脈波計ないし心拍計（例えば指先、前腕から計測）、呼吸計（胸、背中等から計測）等、被験者の生理的な特徴量（生理指標）を計測できるものであれば、如何なるものも含みうる。本例では、検出対象の生理的な特徴量は、心拍揺らぎトリガ数、目及び口の動き数、及び、瞬目持続時間増加の発生頻度の３種類とする。これらの詳細については後述する。情報取得部１１０は、取得した各種の生理的な特徴量のデータを、覚醒度推定部１３０に供給する。
【００１８】
覚醒度推定部１３０は、第１〜第４覚醒度推定部１３１〜１３４と、推定ロジック選択部１３６と、データチェック部１３７と、ロジックデータベース１３８とを備える。
【００１９】
ロジックデータベース１３８には、覚醒度の推定に用いる各種推定ロジックが格納される。本例では、４種類の推定ロジックＬ１〜Ｌ４が格納される。
【００２０】
第１覚醒度推定部１３１は、推定ロジックＬ１を用いて、被験者の覚醒度を推定する。第２覚醒度推定部１３２は、推定ロジックＬ２を用いて、被験者の覚醒度を推定する。第３覚醒度推定部１３３は、推定ロジックＬ３を用いて、被験者の覚醒度を推定する。第４覚醒度推定部１３４は、推定ロジックＬ４を用いて、被験者の覚醒度を推定する。
【００２１】
ここで、眠気度合いに関する覚醒度は、例えば、「眠たくない」、「眠たそう」、「明らかに眠たい」、「非常に眠たそう」、「かなり眠い」といったように、多段階的に分類可能である。但し、本実施例は、比較的弱い眠気を検出するのに好適であるため、以下では、覚醒度は、被験者が「眠たくない」状態にあるときが高い覚醒度であると推定され、被験者が「眠たそう」な状態にあるとき（弱い眠気に襲われているとき）が低い覚醒度であるいったように、２段階で推定されることとする。尚、覚醒度推定部１３１〜１３４による推定処理（推定ロジックＬ１〜Ｌ４）の詳細については後述する。
【００２２】
推定ロジック選択部１３６は、情報取得部１１０から供給される生理的な特徴量の種類に応じて、覚醒度の推定に用いる推定ロジックを選択する。図２は、特徴量の種類と、選択される推定ロジックＬ１〜Ｌ４の対応表を示す。推定ロジック選択部１３６は、かかるマップに対応関係に従って、適切な推定ロジックを選択する。例えば、推定ロジック選択部１３６は、心拍揺らぎトリガ数、目及び口の動き数、及び、瞬目持続時間増加の発生頻度のすべてのデータが取得された場合には、推定ロジックＬ１を選択する。尚、この場合、推定ロジックＬ１〜Ｌ３による推定も可能であるが、推定ロジックＬ１の推定精度が最も良いことが本願発明者により確認されているため、推定ロジックＬ１が最優先的に選択される。その他は、同様に、例えば、心拍揺らぎトリガ数、及び、目及び口の動き数のみのデータしか取得されていない場合には、推定ロジックＬ２が選択され、心拍揺らぎトリガ数、及び、瞬目持続時間増加の発生頻度のみのデータしか取得されていない場合には、推定ロジックＬ３が選択される。尚、ここでは、４つの推定ロジックしか開示していないが、その他の推定ロジックＬ５〜ＬＮが用意されていてもよい。例えば、心拍揺らぎトリガ数のみのデータしか取得されていない状況に備えて推定ロジックＬ５が用意されてもよい。
【００２３】
このようにして、推定ロジック選択部１３６により推定ロジックが選択されると、選択された推定ロジックに応じた適切な覚醒度推定部(１３１〜１３４の何れか１つ)が、情報取得部１１０から供給される生理的な特徴量のデータに基づいて、覚醒度の推定処理を行う。例えば、心拍揺らぎトリガ数、目及び口の動き数、及び、瞬目持続時間増加の発生頻度のすべてのデータが供給された場合には、推定ロジックＬ１が選択され、これに応じて、第１覚醒度推定部１３１が、当該データに基づいて、推定ロジックＬ１に従って覚醒度の推定処理を行う。尚、覚醒度推定部１３１〜１３４による推定処理（推定ロジックＬ１〜Ｌ４）の詳細については後述する。覚醒度の推定結果は、警報出力部１６０に対して出力される。
【００２４】
警報出力部１６０は、覚醒度の推定結果に基づいて、必要に応じて適切な警報を、被験者に対して音声や映像により出力する。警報の出力態様は多種多様でありえ、被験者がドライバである場合、シートに埋設した振動体により振動を発生したり、シート（座席）に設けた空気穴から空気を吹き出したり、覚醒を促進させるための匂いを発生したり、ステアリングハンドルの温度を変化させたり、メーター内に警告サインを出力したりしてもよい。
【００２５】
データチェック部１３７は、情報取得部１１０から供給される生理的な特徴量の種類に不足があった場合に、計測要求出力部１４０に対してその旨（何が足りないかを含む）を通知する。このような事態としては、例えば、被験者がマスクやサングラスをつける等により、目及び口の動き数のデータが得られない場合や、情報取得部１１０の作動状態がＯＮになっていない場合や、例えば装着型の検出器具を被験者が装着していない場合等がありうる。尚、かかる判断は、データチェック部１３７以外によって実現されてもよい。例えば、情報取得部１１０自身がデータの不足をチェックしてもよい。例えば、情報取得部１１０は、カメラを介して得られる被験者の顔画像に対する画像認識処理（エッジ抽出やパターンマッチング等）により、被験者がマスクやサングラスをつけていることが認識された場合には、情報取得部１１０が、その旨を計測要求出力部１４０に通知することも可能である。いずれにしても、上述の３種の全てのデータが適切に取得されるように、何れか１つが不足した場合には、計測要求出力部１２０にその旨が通知されることが望ましい。
【００２６】
計測要求出力部１２０は、データの不足を知らせる通知に応答して、音声や映像により、被験者に対して適切な指示を出力する。例えば、目及び口の動き数のデータが得られない場合には、「目や口に何か装着している場合には外してください」なる趣旨のメッセージを出力する。また、カメラの画像認識により被験者がマスクをつけている認識された場合には、「マスクを外してください」なる趣旨のメッセージを出力してもよい。
【００２７】
次に、心拍揺らぎトリガ数、目及び口の動き数、及び、瞬目持続時間増加の発生頻度の３種類の生理的な特徴量の取得方法の一例について説明する。
【００２８】
［心拍揺らぎトリガ数］
図３は、心拍数の時系列の一例を示す。この時系列の生理信号は、心電図のＲ波の間隔（R−R interval:ＲＲＩ）の時系列（ＲＲＩ時系列）に基づいて、生成される。この時系列の生理信号は、所定時間（解析区間）毎にＦＦＴ(fast Fourier transform)処理される。次いで、各解析区間におけるＦＦＴ処理の結果（パワースペクトル）に対して、例えば２つの周波数帯域（例えば、血圧性変動を示す０．１Ｈｚ付近を中心とした周波数帯域、呼吸性変動を示す０．３Ｈｚ付近を中心とした周波数帯域）を用いて、周波数帯域毎に、積分を実施し、それぞれの周波数帯域に対して心拍揺らぎ時系列を得る。即ち、例えば現時点から過去所定時間内のＦＦＴ処理の結果（パワースペクトル）に対して、上記の各周波数帯域（周波数区間）を積分区間として積分し、その結果それぞれの周波数帯域に対して得られる各値を、現時点の心拍揺らぎの各値とする。この結果、時間の経過と共に、それぞれの周波数帯域に対して心拍揺らぎ時系列が得られる。図４は、このようにして得られる心拍揺らぎ時系列を示す。次いで、心拍揺らぎ時系列に対して微分を実施し、その結果得られるパワースペクトル（時系列）に対して閾値処理を実施する。図５は、一の周波数帯域の心拍揺らぎ時系列の微分結果に対する閾値処理の実施態様を示すグラフである。現時点に対する閾値は、現時点から過去所定時間内のパワースペクトルの微分値の平均値や標準偏差を演算して、当該演算した平均値や標準偏差を用いて、図５に示すように、時間に応じて変化させてもよい。この際、閾値越えがあった時刻のデータを閾値設定に用いないようにしてもよい。この閾値処理により、心拍揺らぎ時系列の中で特徴的な変化が生じた時点（心拍揺らぎトリガ）が抽出される。即ち、検出したい軽い眠気が生じた際に現れる特徴的な変化が生じた時点が抽出される。尚、このような特徴的な変化は、被験者毎に個人差があるので、上記の閾値の設定態様は被験者毎に可変してもよい。閾値処理は、周波数帯域毎の心拍揺らぎ時系列の微分結果に対して、それぞれ実施される。この際、各時刻において１つ以上の周波数帯で閾値越えがあった場合には、その時点で閾値越えがあったものとしてよい。或いは、閾値越えがあった周波数帯の個数を、縦軸にプロットしてもよい。図６は、閾値を越えた時点の出現態様を示すグラフである。図６に示す例では、同時刻に２つの周波数帯で閾値越えがあった場合であっても、同時刻に１つの周波数帯で閾値越えがあった場合であっても、同一の値が縦軸にプロットされている。次いで、閾値を越えた時点（心拍揺らぎトリガ）の発生頻度が、心拍揺らぎトリガ数として導出される。心拍揺らぎトリガ数は、各時刻において、所定時間前からの心拍揺らぎトリガの数をカウントすることにより導出されてよい。即ち、所定時間幅の区間を設定し、現時点から過去所定時間内の心拍揺らぎトリガの数（累計）を、現時点の心拍揺らぎトリガ数として求めていく。図７は、心拍揺らぎトリガ数の時系列を表すグラフである。尚、上記の説明からも明らかのように、このようにして得られる特徴量たる心拍揺らぎトリガ数は、時間軸上の密度の次元をもつ。
【００２９】
［目及び口の動き数］
目及び口の動き数は、検出したい軽い眠気が生じた際に現れる特徴的な目及び口の動きが生じた時点（トリガ）を抽出し、各時刻において、所定時間前からのトリガの数をカウントすることにより導出されてよい。即ち、所定時間幅の区間を設定し、現時点から過去所定時間内のトリガの数を、現時点の目及び口の動き数とする。この結果、時間の経過と共に、目及び口の動き数の時系列が得られる（図１０（Ｂ）参照）。ここで、軽い眠気が生じた際に現れる特徴的な目及び口の動きとしては、例えば、しかめ顔のときに現れる口の動き（両唇の境界線の変形、唇周辺皮膚の変形）、目を強く閉じるときに現れる目の動き（目の周辺の皺の発生）、目を見開いたときの目の動き（目の縦方向の長さの拡大）等であってよい。これらの動きは、被験者の顔を撮像するように配置されたカメラを用いて、画像認識処理により検出される。例えば、カメラの画像に対して、アファイン変換等のより顔向きや顔大きさを補正し、次いでエッジ処理後、顔部の各パーツ（口、目）のマッチング処理により、顔部の各パーツが特定される。次いで、各パーツの特徴量、即ち、口の横長さ、両唇の境界線の座標列、唇周辺皮膚の変形のような口の特徴量や、目の縦長さ、まぶたの境界線の座標列、目周辺皮膚の変形を、各画像フレームに対して導出して、各特徴量の時系列を得る。そして、特徴量毎に、現時点の特徴量を、軽い眠気が生じた際に現れる同特徴量（基準特徴量）、及び／又は、全く眠くないときに現れる同特徴量（基準特徴量）と対比し、その適合度に基づいて、現時点において、軽い眠気が生じた際に現れる特徴的な目及び口の動きが生じたか否かを判定する。また、特徴量が座標列の場合については、同様の基準特徴量（座標列）とのパターンマッチングにより適合度が評価されてよい。現時点の特徴量と対比される基準特徴量は、好ましくは、官能評価を行うことで予め導出しておき、被験者毎にデータベース化しておく。尚、上記の説明からも明らかのように、このようにして得られる特徴量たる目及び口の動き数は、時間軸上の密度の次元をもつ。
【００３０】
［瞬目持続時間増加の発生頻度］
図８は、瞬目持続時間の説明図である。瞬目持続時間は、図８に示すように、目を閉じる動作が開始される時（閉眼開始時）から、目が閉じた状態を経て、目が再び開く時（開眼復帰時）までの時間である。この瞬目持続時間は、上記の［目及び口の動き数］の段落で説明した方法と同様に、目の特徴量（目の縦長さ）を画像認識処理により導出し、目の特徴量の時系列での変化態様に基づいて算出されてよい。瞬目持続時間は、例えば開眼復帰時毎に測定される。瞬目持続時間増加の発生頻度は、瞬目持続時間の時系列に所定基準以上の増加傾向が現れた時点（トリガ）を抽出し、各時刻において、所定時間前からのトリガの数をカウントすることにより導出されてよい。即ち、所定時間幅の区間を設定し、現時点から過去所定時間内のトリガの数を、現時点の瞬目持続時間増加の発生頻度とする。この結果、時間の経過と共に、瞬目持続時間増加の発生頻度の時系列が得られる（図１０（Ｃ）参照）。尚、上記の説明からも明らかのように、このようにして得られる特徴量たる瞬目持続時間増加の発生頻度は、時間軸上の密度の次元をもつ。
【００３１】
次に、覚醒度推定部１３１〜１３４による推定処理（推定ロジックＬ１〜Ｌ４）の詳細について順に説明する。
【００３２】
［推定ロジックＬ１］
図９は、第１覚醒度推定部１３１により実現される推定処理（推定ロジックＬ１）の流れを示すフローチャートである。ここでは、情報取得部１１０から、上述の３種類の特徴量（心拍揺らぎトリガ数、目及び口の動き数、及び、瞬目持続時間増加の発生頻度）の元データが、随時供給されるものとする。
【００３３】
ステップ１００では、前処理が実行される。即ち、第１覚醒度推定部１３１は、情報取得部１１０から供給される上述の３種類の特徴量の元データに基づいて、時間軸上の密度の次元をもつ３種類の特徴量を導出する。尚、上述からも明らかなように、３種類の特徴量は、ある程度の時間に亘って検出されたデータに基づいて生成されるものであるので、続くステップ１１０以降の処理は、所定時間以上に亘る３種類の特徴量の時系列が得られた段階で開始される。この場合、以後、ステップ１００からステップ１８０までの処理は、３種類の特徴量の元データが供給される毎に、繰り返し実行される。ステップ１００からステップ１８０までの処理は、３種類の特徴量の時系列を同期させて実行される。以下では、今回の処理の周期数（何番目の処理周期か）をｍ（ｍ＝１，２，．．．）で表す。
【００３４】
ステップ１１０では、第１密度レベル判定処理が実行される。第１密度レベル判定処理は、各特徴量の種類毎に、実行される。第１密度レベル判定処理では、特徴量が所定の基準密度以上であるか否かが判定される。即ち、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１以上であるか否かが判定される。この判定結果は、２値化される。例えば、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１以上である場合には、“２”が出力され、所定の基準密度Ｔｈ１より小さい場合には、“０”が出力される。同様に、今回の周期ｍで得られる目及び口の動き数が、所定の基準密度Ｔｈ２以上であるか否かが判定され、その判定結果は、２値化される。同様に、今回の周期ｍで得られる瞬目持続時間増加の発生頻度が、所定の基準密度Ｔｈ３以上であるか否かが判定され、その判定結果は、２値化される。このようにして、周期毎に、密度レベルの判定結果を出力することで、各特徴量の種類毎に、判定結果の時系列が生成される。尚、所定の基準密度Ｔｈ１〜Ｔｈ３は、弱い眠気の出現を確実に検出できるように幾分低め（感度が高め）の値に設定されてよく、究極的には、１のような小さい値であってもよい。これは、後述の更なる判定処理（例えば、ステップ１４０，１７０，１８０）により、弱い眠気が現れる状態とそうでない状態（高覚醒状態）が確実に判別されるからである。
【００３５】
ステップ１２０〜ステップ１４０では、心拍揺らぎトリガ数及び瞬目持続時間増加の発生頻度からなる特徴量の第１の組み合わせに関して、各種処理が実行される。
【００３６】
ステップ１２０では、先ず、第１データ混合処理が実行される。第１データ混合処理では、上記のステップ１１０で得られる心拍揺らぎトリガ数に対する第１密度レベル判定処理結果と、瞬目持続時間増加の発生頻度に対する第１密度レベル判定処理結果とが、時系列で同期して混合される。具体的には、周期毎に、それぞれの第１密度レベル判定処理結果の論理和をとる（ＡＮＤをとる）。即ち、今回の周期ｍで、それぞれの第１密度レベル判定処理結果が“２”であれば、正論理（ここでは、
“２”）を出力し、何れか一方又は双方の第１密度レベル判定処理結果が“０”であれば、負論理（ここでは、
“０”）を出力する。このようにして、周期毎に、第１の組み合わせに関して、それぞれの第１密度レベル判定処理結果に対して論理和を取ることで、論理和の演算結果の時系列が生成される。以下、このようにして第１の組み合わせに関する論理和の結果得られる時系列を、第１混合値εの時系列と称する。
【００３７】
ステップ１３０では、第１混合値εの時系列に対して、第１密度計算処理が実行される。第１密度計算処理では、第１混合値εの時系列に対して時間軸上での密度が算出される。具体的には、所定時間（周期）幅の区間を設定し、今回周期ｍから過去所定周期数内の第１混合値εの累計（積分値）を、今回周期ｍにおける第１混合値εの密度ε’として算出する。即ち、今回周期ｍから過去所定周期前まで遡って、正論理が出力された周期の数をカウントする。所定周期数は、分の時間単位（例えば１分）に対応する周期数であってよい。このようにして、周期毎に、第１密度計算処理結果を出力することで、第１混合値の密度ε’の時系列が生成される。
【００３８】
ステップ１４０では、第１混合値の密度ε’の時系列に対して、第２密度レベル判定処理が実行される。第２密度レベル判定処理では、第１混合値の密度ε’が所定の基準密度Ｔｈ４よりも大きいか否かが判定される。即ち、今回の周期ｍで得られる第１混合値の密度ε’が、所定の基準密度Ｔｈ４よりも大きいか否かが判定される。所定の基準密度Ｔｈ４は、官能評価結果等に基づいて実験的に適合されたものが用いられてよい。この判定結果は、２値化される。例えば、第１混合値の密度ε’が所定の基準密度Ｔｈ４よりも大きい場合には、“２”が出力され、所定の基準密度Ｔｈ４以下の場合には、“０”が出力される。このようにして、周期毎に、第１混合値の密度ε’に対する第２密度レベル判定結果ε’’を出力することで、判定結果ε’’の時系列が生成される。
【００３９】
ステップ１５０〜ステップ１７０では、目及び口の動き数及び瞬目持続時間増加の発生頻度からなる特徴量の第２の組み合わせに関して、各種処理が実行される。
【００４０】
ステップ１５０では、先ず、第２データ混合処理が実行される。第２データ混合処理では、上記のステップ１１０で得られる目及び口の動き数に対する第１密度レベル判定処理結果と、瞬目持続時間増加の発生頻度に対する第１密度レベル判定処理結果とが、時系列で同期して混合される。具体的には、周期毎に、それぞれの第１密度レベル判定処理結果の論理和をとる。即ち、今回の周期ｍで、それぞれの第１密度レベル判定処理結果が“２”であれば、正論理（ここでは、“２”）を出力し、何れか一方又は双方の第１密度レベル判定処理結果が“０”であれば、負論理（ここでは、“０”）を出力する。このようにして、周期毎に、第２の組み合わせに関して、それぞれの第１密度レベル判定処理結果に対して論理和を取ることで、論理和の演算結果の時系列が生成される。以下、このようにして第２の組み合わせに関する論理和の結果得られる時系列を、第２混合値ηの時系列と称する。
【００４１】
ステップ１６０では、第２混合値ηの時系列に対して、第２密度計算処理が実行される。第２密度計算処理では、第２混合値ηの時系列に対して時間軸上での密度が算出される。具体的には、所定時間（周期）幅の区間を設定し、今回周期ｍから過去所定周期数内の第２混合値ηの累計を、今回周期ｍにおける第２混合値ηの密度η’として算出する。即ち、今回周期ｍから過去所定周期前まで遡って、正論理が出力された周期の数をカウントする。所定周期数は、分の時間単位（例えば１分）に対応する周期数であってよい。このようにして、周期毎に、第２密度計算処理結果を出力することで、第２混合値ηの密度η’の時系列が生成される。
【００４２】
ステップ１７０では、第２混合値ηの密度η’の時系列に対して、第３密度レベル判定処理が実行される。第３密度レベル判定処理では、第２混合値ηの密度η’が所定の基準密度Ｔｈ５よりも大きいか否かが判定される。即ち、今回の周期ｍで得られる第２混合値ηの密度η’が、所定の基準密度Ｔｈ５よりも大きいか否かが判定される。所定の基準密度Ｔｈ５は、同様に、官能評価結果等に基づいて実験的に適合されたものが用いられてよい。この判定結果は、２値化される。例えば、第２混合値ηの密度η’が所定の基準密度Ｔｈ５よりも大きい場合には、“２”が出力され、所定の基準密度Ｔｈ５以下の場合には、“０”が出力される。このようにして、周期毎に、第２混合値ηの密度η’に対する第３密度レベル判定結果η’’を出力することで、判定結果η’’の時系列が生成される。
【００４３】
ステップ１８０では、第３データ混合処理が実行される。第３データ混合処理では、上記のステップ１４０で得られる第１混合値の密度ε’に対する第２密度レベル判定結果ε’’と、上記のステップ１７０で得られる第２混合値ηの密度η’に対する第３密度レベル判定結果η’’とが、時系列で同期して混合される。具体的には、周期毎に、それぞれの密度レベル判定処理結果の論理和をとる。即ち、今回の周期ｍで、それぞれの密度レベル判定処理結果が“２”であれば、正論理（ここでは、“２”）を出力し、何れか一方又は双方の密度レベル判定処理結果が“０”であれば、負論理（ここでは、
“０”）を出力する。このようにして第３データ混合処理の結果、正論理が出力された場合には、第１覚醒度推定部１３１は、被験者の覚醒度が低下していると判断する。即ち、軽い眠気に襲われている虞があると判断する。一方、第３データ混合処理の結果、負論理が出力された場合には、第１覚醒度推定部１３１は、被験者の覚醒度は低下していないと判断する。即ち、高覚醒状態であると判断する。
【００４４】
次に、比較的長い時間に亘って得られる各種特徴量に対して、上述の各種処理を行った場合の各種時系列について説明する。
【００４５】
図１０は、上述のステップ１００の前処理により得られる結果の時系列を示す。図１０（Ａ）には、心拍揺らぎトリガ数の時系列の一例、図１０（Ｂ）には、目及び口の動き数の時系列の一例、図１０（Ｃ）には、瞬目持続時間増加の発生頻度の時系列の一例が示されている。
【００４６】
図１１は、上述のステップ１１０の第１密度レベル判定処理の態様及び第１密度レベル判定処理結果の時系列を示す。図１１（Ａ）には、上から順に、心拍揺らぎトリガ数の時系列（処理前）に対する基準密度Ｔｈ１の関係、及び、心拍揺らぎトリガ数の時系列に対する第１密度レベル判定処理結果の時系列（処理後）が示されている。図１１（Ｂ）には、上から順に、目及び口の動き数の時系列（処理前）に対する基準密度Ｔｈ２の関係、及び、目及び口の動き数の時系列に対する第１密度レベル判定処理結果の時系列（処理後）が示されている。図１１（Ｃ）には、上から順に、瞬目持続時間増加の発生頻度の時系列（処理前）に対する基準密度Ｔｈ３の関係、及び、瞬目持続時間増加の発生頻度の時系列に対する第１密度レベル判定処理結果の時系列（処理後）が示されている。
【００４７】
図１２は、上述のステップ１２０の第１データ混合処理の態様及び第１データ混合処理結果の時系列を示す。図１２には、上から順に、心拍揺らぎトリガ数の時系列に対する第１密度レベル判定処理結果の時系列（処理前）、目及び口の動き数の時系列に対する第１密度レベル判定処理結果の時系列（処理前）、及び、第１混合値εの時系列（処理後）が示されている。
【００４８】
図１３は、上述のステップ１５０の第２データ混合処理の態様及び第２データ混合処理結果の時系列を示す。図１３には、上から順に、目及び口の動き数の時系列の時系列に対する第１密度レベル判定処理結果の時系列（処理前）、瞬目持続時間増加の発生頻度の時系列に対する第１密度レベル判定処理結果の時系列（処理前）、及び、第２混合値ηの時系列（処理後）が示されている。
【００４９】
図１４は、上述のステップ１３０の第１密度計算処理の態様及び第１密度計算処理結果の時系列を示す。図１４には、上から順に、第１混合値εの時系列（処理前）、及び、第１混合値εの密度ε’の時系列（処理後）が示されている。
【００５０】
図１５は、上述のステップ１６０の第２密度計算処理の態様及び第２密度計算処理結果の時系列を示す。図１５には、上から順に、第２混合値ηの時系列（処理前）、及び、第２混合値ηの密度η’の時系列（処理後）が示されている。
【００５１】
図１６は、上述のステップ１４０の第２密度レベル判定処理の態様及び第２密度レベル判定処理結果の時系列を示す。図１６には、上から順に、第１混合値εの密度ε’の時系列（処理前）に対する基準密度Ｔｈ４の関係、及び、第１混合値εの密度ε’の時系列に対する第２密度レベル判定結果ε’’の時系列（処理後）が示されている。
【００５２】
図１７は、上述のステップ１７０の第３密度レベル判定処理の態様及び第３密度レベル判定処理結果の時系列を示す。図１７には、上から順に、第２混合値ηの密度η’の時系列（処理前）に対する基準密度Ｔｈ５の関係、及び、第２混合値ηの密度η’の時系列に対する第３密度レベル判定結果η’’の時系列（処理後）が示されている。
【００５３】
図１８は、上述のステップ１８０の第３データ混合処理の態様及び第３データ混合処理結果の時系列を示す。図１８（Ａ）は、処理前の時系列データを示し、上から順に、第２密度レベル判定結果ε’’の時系列、及び、第３密度レベル判定結果η’’の時系列である。図１８（Ｂ）は、第３データ混合処理の結果の時系列、即ち、第１覚醒度推定部１３１による覚醒度推定結果の時系列を示す。
【００５４】
図１８に示す例では、例えば時刻ｔ＝ｔ１にて、正論理が第３密度レベル判定結果η’’として出力されているが、このとき、第２密度レベル判定結果ε’’の出力は負論理（偽）であるので、覚醒度推定結果は、負論理（即ち高覚醒度）となる。一方、時刻ｔ＝ｔ２では、図１８（Ａ）に示すように、第３密度レベル判定結果η’’及び第２密度レベル判定結果ε’’の出力が共に正論理となり、時刻ｔ＝ｔ２にて、覚醒度推定結果が正論理に反転する。この結果、時刻ｔ＝ｔ２にて、警報出力部１６０を介して必要な警告が実行されうる。時刻ｔ＝ｔ２以降、時刻ｔ＝ｔ３では、第３密度レベル判定結果η’’及び第２密度レベル判定結果ε’’の出力が共に負論理となり、時刻ｔ＝ｔ３にて、覚醒度推定結果が負論理に反転する。そして、再び、時刻ｔ＝ｔ４にて、密度レベル判定結果η’’及び第２密度レベル判定結果ε’’の出力が共に正論理となり、覚醒度推定結果が正論理に反転する。
【００５５】
ところで、本実施例では、上述の如く、あくびのときの口の動きのような、低覚醒時に頻繁に現れる特徴量を用いるのではなく、上述の如く、弱い眠気に反応して出現しやすい特徴量を用いて、被験者の覚醒度を推定している。このような構成では、あくびのような特徴量を用いるでは検出が困難な、弱い眠気に襲われている状態を検出することができる。即ち、被験者が強い眠気に襲われる状態に陥る前に、覚醒度の低下の初期段階を検出することができる。しかしながら、その反面として、これらの弱い眠気に反応が出やすい特徴量は、個々では、高覚醒状態においても現れ得るので、これらの特徴量を単独で評価した場合には、高覚醒状態であるにも拘らず、弱い眠気に襲われている状態であると誤判定する虞がある。
【００５６】
これに対して、上述の推定ロジックＬ１によれば、３種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。また、上述の推定ロジックＬ１によれば、３種類の特徴量を個別的に評価すると共に（上記ステップ１１０参照）、３種類の特徴量を２組の特徴量の組み合わせに分け、それぞれの組み合わせに係る混合値の密度（ε’、η’）の密度レベルを、別々の閾値（Ｔｈ４、Ｔｈ５）を用いて評価し（上記ステップ１４０及びステップ１７０参照）、更に、各組み合わせに係る判定結果（ε’’、η’’）を統合して評価するので（ステップ１８０参照）、誤判定の起こり難い高精度の推定が可能となる。また、上述の推定ロジックＬ１によれば、３種類の特徴量に対する個別の評価結果を統合して評価するのではなく、上述の如く、３種類の特徴量を２組の特徴量の組み合わせに分けて、各組み合わせに対して個別に評価を行うので、それぞれの特徴量の組み合わせに適合した閾値（Ｔｈ４、Ｔｈ５）を設定することができる。この結果、３種類の特徴量に対する個別の評価結果を統合して評価する構成に比べて、高い精度で弱い眠気を検出することができる。
【００５７】
尚、本実施例において、３種類の特徴量のうち、心拍揺らぎトリガ数及び瞬目持続時間増加の発生頻度からなる第１の組み合わせ、目及び口の動き数及び瞬目持続時間増加の発生頻度からなる第２の組み合わせの、２つの組み合わせに対して、各種処理（ステップ１２０〜１８０の処理）を実行しているが、他の２つの組み合わせに対して、同様の処理を実行することも可能である。例えば、心拍揺らぎトリガ数及び瞬目持続時間増加の発生頻度からなる第１の組み合わせ、及び、心拍揺らぎトリガ数及び瞬目持続時間増加の発生頻度からなる第１の組み合わせに対して同様の処理を実行することも可能であるし、或いは、心拍揺らぎトリガ数及び目及び口の動き数からなる第１の組み合わせ、及び、目及び口の動き数及び瞬目持続時間増加の発生頻度からなる第２の組み合わせに対して同様の処理を実行することも可能である。
【００５８】
また、本実施例において、３種類の特徴量のうち２通りの組み合わせに対して２系統に分けて評価を行っているが、３種類の特徴量の３通りの組み合わせの全てに対して、３系統に分けて評価を行い、３系統の各評価結果を最終的に混合（統合）して、被験者の覚醒度を推定することも可能である。
【００５９】
［推定ロジックＬ２］
図１９は、第２覚醒度推定部１３２により実現される推定処理（推定ロジックＬ２）の流れを示すフローチャートである。ここでは、情報取得部１１０から、上述の３種類の特徴量のうちの心拍揺らぎトリガ数及び目及び口の動き数の２種類の特徴量の元データが、随時供給されるものとする。
【００６０】
ステップ２００では、前処理が実行される。即ち、第２覚醒度推定部１３２は、情報取得部１１０から供給される上述の２種類の特徴量の元データに基づいて、時間軸上の密度の次元をもつ３種類の特徴量を導出する。尚、上述からも明らかなように、２種類の特徴量は、ある程度の時間に亘って検出されたデータに基づいて生成されるものであるので、続くステップ２１０以降の処理は、所定時間以上に亘る２種類の特徴量の時系列が得られた段階で開始される。この場合、以後、ステップ２００からステップ２４０までの処理は、２種類の特徴量の元データが供給される毎に、繰り返し実行される。ステップ２００からステップ２４０までの処理は、２種類の特徴量の時系列を同期させて実行される。以下では、今回の処理の周期数（何番目の処理周期か）をｍ（ｍ＝１，２，．．．）で表す。
【００６１】
ステップ２１０では、第１密度レベル判定処理が実行される。第１密度レベル判定処理は、各特徴量の種類毎に、実行される。第１密度レベル判定処理では、特徴量が所定の基準密度以上であるか否かが判定される。即ち、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１’以上であるか否かが判定される。この判定結果は、２値化される。例えば、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１’以上である場合には、“２”が出力され、所定の基準密度Ｔｈ１’より小さい場合には、“０”が出力される。同様に、今回の周期ｍで得られる目及び口の動き数が、所定の基準密度Ｔｈ２’以上であるか否かが判定され、その判定結果は、２値化される。このようにして、周期毎に、密度レベルの判定結果を出力することで、各特徴量の種類毎に、判定結果の時系列が生成される。尚、所定の基準密度Ｔｈ１’及びＴｈ２’は、上述の推定ロジックＬ１で用いられるＴｈ１及びＴｈ２と同様であってよく、同様に、弱い眠気の出現を確実に検出できるように幾分低め（感度が高め）の値に設定されてよく、究極的には、１のような小さい値であってもよい。
【００６２】
ステップ２２０では、データ混合処理が実行される。データ混合処理では、上記のステップ２１０で得られる心拍揺らぎトリガ数に対する密度レベル判定処理結果と、目及び口の動き数に対する密度レベル判定処理結果とが、時系列で同期して混合される。具体的には、周期毎に、それぞれの密度レベル判定処理結果の論理和をとる（ＡＮＤをとる）。即ち、今回の周期ｍで、それぞれの密度レベル判定処理結果が“２”であれば、正論理（ここでは、“２”）を出力し、何れか一方又は双方の密度レベル判定処理結果が“０”であれば、負論理（ここでは、“０”）を出力する。このようにして、周期毎に、上記の２種類の特徴量に関して、それぞれの第１密度レベル判定処理結果に対して論理和を取ることで、論理和の演算結果の時系列が生成される。以下、このようにして論理和の結果得られる時系列を、混合値αの時系列と称する。
【００６３】
ステップ２３０では、混合値αの時系列に対して、密度計算処理が実行される。密度計算処理では、混合値αの時系列に対して時間軸上での密度が算出される。具体的には、所定時間（周期）幅の区間を設定し、今回周期ｍから過去所定周期数内の混合値αの累計を、今回周期ｍにおける混合値αの密度α’として算出する。即ち、今回周期ｍから過去所定周期前まで遡って、正論理が出力された周期の数をカウントする。所定周期数は、分の時間単位（例えば１分）に対応する周期数であってよい。このようにして、周期毎に、第１密度計算処理結果を出力することで、混合値αの密度α’の時系列が生成される。
【００６４】
ステップ２４０では、混合値αの密度α’の時系列に対して、第２密度レベル判定処理が実行される。第２密度レベル判定処理では、混合値αの密度α’が所定の基準密度Ｔｈ６よりも大きいか否かが判定される。即ち、今回の周期ｍで得られる混合値αの密度α’が、所定の基準密度Ｔｈ６よりも大きいか否かが判定される。所定の基準密度Ｔｈ６は、官能評価結果等に基づいて実験的に適合されたものが用いられてよい。混合値αの密度α’が所定の基準密度Ｔｈ６よりも大きい場合には、第２覚醒度推定部１３２は、被験者の覚醒度が低下していると判断する。即ち、軽い眠気に襲われている虞があると判断する。この場合、警報出力部１６０を介して必要な警告が実行されうる。一方、混合値αの密度α’が所定の基準密度Ｔｈ６以下の場合には、第２覚醒度推定部１３２は、被験者の覚醒度は低下していないと判断する。即ち、高覚醒状態であると判断する。
【００６５】
このように、上述の推定ロジックＬ２によれば、弱い眠気の検出に適した２種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。また、上述の推定ロジックＬ２によれば、２種類の特徴量を個別的に評価すると共に（上記ステップ２１０参照）、２種類の特徴量の個別的な評価結果を混合して得られる混合値に対して、その密度（α’）の密度レベルを更に評価するので（上記ステップ２４０参照）、誤判定の起こり難い高精度の推定が可能となる。
【００６６】
［推定ロジックＬ３］
図２０は、第３覚醒度推定部１３３により実現される推定処理（推定ロジックＬ３）の流れを示すフローチャートである。ここでは、情報取得部１１０から、上述の３種類の特徴量のうちの心拍揺らぎトリガ数及び瞬目持続時間増加の発生頻度の２種類の特徴量の元データが、随時供給されるものとする。
【００６７】
ステップ３００では、前処理が実行される。即ち、第３覚醒度推定部１３３は、情報取得部１１０から供給される上述の２種類の特徴量の元データに基づいて、時間軸上の密度の次元をもつ３種類の特徴量を導出する。尚、上述からも明らかなように、２種類の特徴量は、ある程度の時間に亘って検出されたデータに基づいて生成されるものであるので、続くステップ３１０以降の処理は、所定時間以上に亘る２種類の特徴量の時系列が得られた段階で開始される。この場合、以後、ステップ３００からステップ３５０までの処理は、２種類の特徴量の元データが供給される毎に、繰り返し実行される。ステップ３００からステップ３５０までの処理は、２種類の特徴量の時系列を同期させて実行される。以下では、今回の処理の周期数（何番目の処理周期か）をｍ（ｍ＝１，２，．．．）で表す。
【００６８】
ステップ３１０では、第１密度レベル判定処理が実行される。第１密度レベル判定処理は、各特徴量の種類毎に、実行される。第１密度レベル判定処理では、特徴量が所定の基準密度以上であるか否かが判定される。即ち、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１’’以上であるか否かが判定される。この判定結果は、２値化される。例えば、今回の周期ｍで得られる心拍揺らぎトリガ数が、所定の基準密度Ｔｈ１’’以上である場合には、“２”が出力され、所定の基準密度Ｔｈ１’’より小さい場合には、“０”が出力される。同様に、今回の周期ｍで得られる瞬目持続時間増加の発生頻度が、所定の基準密度Ｔｈ３’以上であるか否かが判定され、その判定結果は、２値化される。このようにして、周期毎に、密度レベルの判定結果を出力することで、各特徴量の種類毎に、判定結果の時系列が生成される。尚、所定の基準密度Ｔｈ１’’及びＴｈ３’は、上述の推定ロジックＬ１で用いられるＴｈ１及びＴｈ３と同様であってよく、同様に、弱い眠気の出現を確実に検出できるように幾分低め（感度が高め）の値に設定されてよく、究極的には、１のような小さい値であってもよい。
【００６９】
ステップ３２０では、データ混合処理が実行される。データ混合処理では、上記のステップ３１０で得られる心拍揺らぎトリガ数に対する密度レベル判定処理結果と、瞬目持続時間増加の発生頻度に対する密度レベル判定処理結果とが、時系列で同期して混合される。具体的には、周期毎に、それぞれの密度レベル判定処理結果の論理和をとる（ＡＮＤをとる）。即ち、今回の周期ｍで、それぞれの密度レベル判定処理結果が“２”であれば、正論理（ここでは、“２”）を出力し、何れか一方又は双方の密度レベル判定処理結果が“０”であれば、負論理（ここでは、“０”）を出力する。このようにして、周期毎に、上記の２種類の特徴量に関して、それぞれの第１密度レベル判定処理結果に対して論理和を取ることで、論理和の演算結果の時系列が生成される。以下、このようにして論理和の結果得られる時系列を、混合値βの時系列と称する。
【００７０】
ステップ３３０では、混合値βの時系列に対して、密度計算処理が実行される。密度計算処理では、混合値βの時系列に対して時間軸上での密度が算出される。具体的には、所定時間（周期）幅の区間を設定し、今回周期ｍから過去所定周期数内の混合値βの累計を、今回周期ｍにおける混合値βの密度β’として算出する。即ち、今回周期ｍから過去所定周期前まで遡って、正論理が出力された周期の数をカウントする。所定周期数は、分の時間単位（例えば１分）に対応する周期数であってよく、上述の推定ロジックＬ２における所定周期数より大きい値が採用されてよい。このようにして、周期毎に、第１密度計算処理結果を出力することで、混合値βの密度β’の時系列が生成される。
【００７１】
ステップ３４０では、混合値βの密度β’の時系列に対して、第２密度レベル判定処理が実行される。第２密度レベル判定処理では、混合値βの密度β’が所定の基準密度Ｔｈ７よりも大きいか否かが判定される。即ち、今回の周期ｍで得られる混合値βの密度β’が、所定の基準密度Ｔｈ７よりも大きいか否かが判定される。所定の基準密度Ｔｈ７は、官能評価結果等に基づいて実験的に適合されたものが用いられてよい。混合値βの密度β’が所定の基準密度Ｔｈ７よりも大きい場合には、第３覚醒度推定部１３３は、被験者の覚醒度が低下していると判断する。即ち、軽い眠気に襲われている虞があると判断する。この場合、警報出力部１６０を介して必要な警告が実行されうる。一方、混合値βの密度β’が所定の基準密度Ｔｈ７以下の場合には、第３覚醒度推定部１３３は、被験者の覚醒度は低下していないと判断する。即ち、高覚醒状態であると判断する。
【００７２】
このように、上述の推定ロジックＬ３によれば、上述の推定ロジックＬ２と同様、弱い眠気の検出に適した２種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。また、上述の推定ロジックＬ３によれば、２種類の特徴量を個別的に評価すると共に（上記ステップ３１０参照）、２種類の特徴量の個別的な評価結果を混合して得られる混合値に対して、その密度（β’）の密度レベルを更に評価するので（上記ステップ３４０参照）、誤判定の起こり難い高精度の推定が可能となる。
【００７３】
［推定ロジックＬ４］
図２１は、第４覚醒度推定部１３４により実現される推定処理（推定ロジックＬ４）の流れを示すフローチャートである。ここでは、情報取得部１１０から、上述の３種類の特徴量のうちの目及び口の動き数及び瞬目持続時間増加の発生頻度の２種類の特徴量の元データが、随時供給されるものとする。
【００７４】
ステップ４００では、前処理が実行される。即ち、第４覚醒度推定部１３４は、情報取得部１１０から供給される上述の２種類の特徴量の元データに基づいて、時間軸上の密度の次元をもつ３種類の特徴量を導出する。ステップ４００からステップ４２０までの処理は、２種類の特徴量の元データが供給される毎に、繰り返し実行される。ステップ４００からステップ４２０までの処理は、２種類の特徴量の時系列を同期させて実行される。以下では、今回の処理の周期数（何番目の処理周期か）をｍ（ｍ＝１，２，．．．）で表す。
【００７５】
ステップ４１０では、データ選別処理が実行される。データ選別処理では、先ず、瞬目持続時間増加の発生頻度が所定の基準密度以上であるか否かが判定される。即ち、今回の周期ｍで得られる瞬目持続時間増加の発生頻度が、所定の基準密度Ｔｈ３’’以上であるか否かが判定される。尚、所定の基準密度Ｔ３’’は、１のような小さい値であってよい。即ち、瞬目持続時間増加の発生頻度がある値を有すれば、瞬目持続時間増加の発生頻度が所定の基準密度よりも大きいと判定されてよい。瞬目持続時間増加の発生頻度が所定の基準密度以上の場合には、同周期に係る目及び口の動き数のデータを抽出し、瞬目持続時間増加の発生頻度が所定の基準密度より小さい場合には、同周期に係る目及び口の動き数のデータを破棄する（抽出しない）。このようにして、周期毎に、データ選別処理を行うことで、瞬目持続時間増加の発生頻度が所定の基準密度以上であるときの目及び口の動き数の時系列が抽出（選別）される。以下、このようにして選別された目及び口の動き数の時系列を「目及び口の動き数γの時系列」という。
【００７６】
ステップ４２０では、目及び口の動き数γの時系列に対して、密度レベル判定処理が実行される。密度レベル判定処理では、目及び口の動き数γが所定の基準密度Ｔｈ８よりも大きいか否かが判定される。即ち、今回の周期ｍで得られる目及び口の動き数γが、所定の基準密度Ｔｈ８よりも大きいか否かが判定される。所定の基準密度Ｔｈ８は、ゼロよりも大きく、官能評価結果等に基づいて実験的に適合されたものが用いられてよい。目及び口の動き数γが所定の基準密度Ｔｈ８よりも大きい場合には、第４覚醒度推定部１３４は、被験者の覚醒度が低下していると判断する。即ち、軽い眠気に襲われている虞があると判断する。この場合、警報出力部１６０を介して必要な警告が実行されうる。一方、目及び口の動き数γが所定の基準密度Ｔｈ８以下の場合には、第４覚醒度推定部１３４は、被験者の覚醒度は低下していないと判断する。即ち、高覚醒状態であると判断する。
【００７７】
このように、上述の推定ロジックＬ４によれば、弱い眠気の検出に適した２種類の特徴量を総合的に用いて、被験者の覚醒度が推定されるので、弱い眠気に襲われている状態を高精度に検出することができる。また、上述の推定ロジックＬ４は、心拍揺らぎトリガ数を取得できない場合であっても、カメラによる画像計測のみにより実現可能である。即ち、上述の推定ロジックＬ４は、簡易な構成で、弱い眠気に襲われている状態を高精度に検出することができる。
【００７８】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００７９】
例えば、上述した実施例では、カメラ等による計測を介してリアルタイムに取得される特徴量を用いて、リアルタイムに覚醒度の推定を行っているが、取得された特徴量を事後的に用いて、オフラインで覚醒度の推定を行ってもよい。
【００８０】
また、上述した実施例では、覚醒度推定部１３１〜１３４により各種前処理が実行されているが、かかる前処理は、例えば情報取得部１１０にて実行されてもよい。
【産業上の利用可能性】
【００８１】
以上のとおり本発明は、車両におけるドライバの覚醒度を推定するアプリケーションを始めとして、被験者の覚醒度を推定することが有用なあらゆるアプリケーションにおいて利用することができる。
【図面の簡単な説明】
【００８２】
【図１】本発明による覚醒度推定システムにおける主要構成の一実施例を示すシステム構成図である。
【図２】特徴量の種類と、選択される推定ロジックＬ１〜Ｌ４の対応表を示す図である。
【図３】心拍数の時系列の一例を示すグラフである。
【図４】心拍揺らぎ時系列の一例を示すグラフである。
【図５】閾値処理を示すグラフである。
【図６】閾値を越えた時刻の抽出結果を示すグラフである。
【図７】心拍揺らぎトリガ数の時系列を表すグラフである。
【図８】瞬目持続時間の説明図である。
【図９】第１覚醒度推定部１３１により実現される推定処理（推定ロジックＬ１）の流れを示すフローチャートである。
【図１０】前処理により得られる結果の時系列を示すグラフである。
【図１１】第１密度レベル判定処理の態様及び第１密度レベル判定処理結果の時系列を示すグラフである。
【図１２】第１データ混合処理の態様及び第１データ混合処理結果の時系列を示すグラフである。
【図１３】第２データ混合処理の態様及び第２データ混合処理結果の時系列を示すグラフである。
【図１４】第１密度計算処理の態様及び第１密度計算処理結果の時系列を示すグラフである。
【図１５】第２密度計算処理の態様及び第２密度計算処理結果の時系列を示すグラフである。
【図１６】第２密度レベル判定処理の態様及び第２密度レベル判定処理結果の時系列を示すグラフである。
【図１７】第３密度レベル判定処理の態様及び第３密度レベル判定処理結果の時系列を示すグラフである。
【図１８】第３データ混合処理の態様及び第３データ混合処理結果の時系列を示すグラフである。
【図１９】第２覚醒度推定部１３２により実現される推定処理（推定ロジックＬ２）の流れを示すフローチャートである。
【図２０】第３覚醒度推定部１３３により実現される推定処理（推定ロジックＬ３）の流れを示すフローチャートである。
【図２１】第４覚醒度推定部１３４により実現される推定処理（推定ロジックＬ４）の流れを示すフローチャートである。
【符号の説明】
【００８３】
１００ 覚醒度推定システム
１１０ 情報取得部
１３０ 覚醒度推定部
１４０ 計測要求出力部
１６０ 警報出力部
１３１ 第１覚醒度推定部
１３２ 第２覚醒度推定部
１３３ 第３覚醒度推定部
１３４ 第４覚醒度推定部
１３６ 推定ロジック選択部
１３７ データチェック部
１３８ ロジックデータベース
【特許請求の範囲】
【請求項１】
被験者の３種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得手段と、
前記特徴量の種類毎に、特徴量が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する第１密度レベル判定処理手段と、
前記３種類以上の特徴量のうちの２種類の特徴量の第１の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第１の組み合わせに係る第１混合値の時系列を出力する第１混合処理手段と、
前記第１混合値の時系列に対して時間軸上での密度を算出する第１密度計算処理手段と、
前記第１密度計算処理手段により算出される第１混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第２密度レベル判定処理手段と、
前記３種類以上の特徴量のうちの他の２種類の特徴量の第２の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第２の組み合わせに係る第２混合値の時系列を出力する第２混合処理手段と、
前記第２混合値の時系列に対して時間軸上での密度を算出する第２密度計算処理手段と、
前記第２密度計算処理手段により算出される第２混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第３密度レベル判定処理手段と、
前記第２密度レベル判定処理手段による判定処理結果と前記第３密度レベル判定処理手段による判定処理結果とに基づいて、前記被験者の覚醒度を推定する覚醒度推定手段とを備えることを特徴とする、覚醒度推定装置。
【請求項２】
前記生理的な特徴量は、心拍揺らぎに関する特徴量、目及び口の動きに関する特徴量、及び、目の瞬きに関する特徴量であり、
前記２つの組み合わせは、前記３種類の特徴量の計３通りの組み合わせのうちの何れか２つである、請求項１に記載の覚醒度推定装置。
【請求項３】
被験者の２種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得手段と、
取得した２種類の生理的な特徴量に対して、特徴量の種類毎に、特徴量が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する密度レベル判定処理手段と、
前記２種類の特徴量に対する各判定処理結果の時系列を時間軸上で同期させて混合することで、混合値の時系列を出力する特徴量混合処理手段と、
前記混合値の時系列に対して時間軸上での密度を算出する密度計算処理手段と、
前記密度計算処理手段により算出される密度に基づいて、前記被験者の覚醒度を推定する覚醒度推定手段とを備えることを特徴とする、覚醒度推定装置。
【請求項４】
前記２種類の生理的な特徴量は、心拍揺らぎに関する特徴量及び目及び口の動きに関する特徴量、又は、心拍揺らぎに関する特徴量及び目の瞬きに関する特徴量である、請求項３に記載の覚醒度推定装置。
【請求項５】
前記特徴量取得手段は、心拍揺らぎに関する特徴量、目及び口の動きに関する特徴量、及び、目の瞬きに関する特徴量を、前記特徴量として取得する手段であり、
前記特徴量混合処理手段、密度計算処理手段及び覚醒度推定手段は、前記特徴量取得手段による特徴量の取得状態に応じて、選択的に、心拍揺らぎに関する特徴量及び目及び口の動きに関する特徴量の２種類の特徴量、又は、心拍揺らぎに関する特徴量及び瞬目持続時間増加の２種類の特徴量に対して、前記各処理を実行する、請求項３に記載の覚醒度推定装置。
【請求項６】
請求項１又は２に記載の第１覚醒度推定装置と、請求項３〜５の何れか１項に記載の第２覚醒度推定装置とを含む複数の覚醒度推定装置を有し、
複数の覚醒度推定装置の何れか１つを選択的に用いて、前記被験者の覚醒度を推定することを特徴とする、覚醒度推定システム。
【請求項７】
被験者の３種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得ステップと、
前記特徴量毎に、時間軸上での特徴量の密度が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する第１密度レベル判定処理ステップと、
前記３種類以上の特徴量のうちの２種類の特徴量の第１の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第１の組み合わせに係る第１混合値の時系列を出力する第１混合処理ステップと、
前記第１混合値の時系列に対して時間軸上での密度を算出する第１密度計算処理ステップと、
前記第１密度計算処理ステップにより算出される第１混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第２密度レベル判定処理ステップと、
前記３種類以上の特徴量のうちのその他の２種類の特徴量の第２の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第２の組み合わせに係る第２混合値の時系列を出力する第２混合処理ステップと、
前記第２混合値の時系列に対して時間軸上での密度を算出する第２密度計算処理ステップと、
前記第２密度計算処理ステップにより算出される第２混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第３密度レベル判定処理ステップと、
前記第２密度レベル判定処理ステップによる判定処理結果と前記第３密度レベル判定処理ステップによる判定処理結果とに基づいて、前記被験者の覚醒度を推定する覚醒度推定ステップとを備えることを特徴とする、覚醒度推定方法。
【請求項８】
被験者の第１の生理的な特徴量及び第２の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得ステップと、
前記第１の特徴量と前記第２の特徴量とを時間軸上で同期させて混合することで、混合特徴量の時系列を出力する特徴量混合処理ステップと、
前記混合特徴量の時系列に対して時間軸上での密度を算出する密度計算処理ステップと、
前記密度計算処理ステップにより算出される密度に基づいて、前記被験者の覚醒度を推定する覚醒度推定ステップとを備えることを特徴とする、覚醒度推定方法。
【請求項１】
被験者の３種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得手段と、
前記特徴量の種類毎に、特徴量が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する第１密度レベル判定処理手段と、
前記３種類以上の特徴量のうちの２種類の特徴量の第１の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第１の組み合わせに係る第１混合値の時系列を出力する第１混合処理手段と、
前記第１混合値の時系列に対して時間軸上での密度を算出する第１密度計算処理手段と、
前記第１密度計算処理手段により算出される第１混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第２密度レベル判定処理手段と、
前記３種類以上の特徴量のうちの他の２種類の特徴量の第２の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第２の組み合わせに係る第２混合値の時系列を出力する第２混合処理手段と、
前記第２混合値の時系列に対して時間軸上での密度を算出する第２密度計算処理手段と、
前記第２密度計算処理手段により算出される第２混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第３密度レベル判定処理手段と、
前記第２密度レベル判定処理手段による判定処理結果と前記第３密度レベル判定処理手段による判定処理結果とに基づいて、前記被験者の覚醒度を推定する覚醒度推定手段とを備えることを特徴とする、覚醒度推定装置。
【請求項２】
前記生理的な特徴量は、心拍揺らぎに関する特徴量、目及び口の動きに関する特徴量、及び、目の瞬きに関する特徴量であり、
前記２つの組み合わせは、前記３種類の特徴量の計３通りの組み合わせのうちの何れか２つである、請求項１に記載の覚醒度推定装置。
【請求項３】
被験者の２種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得手段と、
取得した２種類の生理的な特徴量に対して、特徴量の種類毎に、特徴量が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する密度レベル判定処理手段と、
前記２種類の特徴量に対する各判定処理結果の時系列を時間軸上で同期させて混合することで、混合値の時系列を出力する特徴量混合処理手段と、
前記混合値の時系列に対して時間軸上での密度を算出する密度計算処理手段と、
前記密度計算処理手段により算出される密度に基づいて、前記被験者の覚醒度を推定する覚醒度推定手段とを備えることを特徴とする、覚醒度推定装置。
【請求項４】
前記２種類の生理的な特徴量は、心拍揺らぎに関する特徴量及び目及び口の動きに関する特徴量、又は、心拍揺らぎに関する特徴量及び目の瞬きに関する特徴量である、請求項３に記載の覚醒度推定装置。
【請求項５】
前記特徴量取得手段は、心拍揺らぎに関する特徴量、目及び口の動きに関する特徴量、及び、目の瞬きに関する特徴量を、前記特徴量として取得する手段であり、
前記特徴量混合処理手段、密度計算処理手段及び覚醒度推定手段は、前記特徴量取得手段による特徴量の取得状態に応じて、選択的に、心拍揺らぎに関する特徴量及び目及び口の動きに関する特徴量の２種類の特徴量、又は、心拍揺らぎに関する特徴量及び瞬目持続時間増加の２種類の特徴量に対して、前記各処理を実行する、請求項３に記載の覚醒度推定装置。
【請求項６】
請求項１又は２に記載の第１覚醒度推定装置と、請求項３〜５の何れか１項に記載の第２覚醒度推定装置とを含む複数の覚醒度推定装置を有し、
複数の覚醒度推定装置の何れか１つを選択的に用いて、前記被験者の覚醒度を推定することを特徴とする、覚醒度推定システム。
【請求項７】
被験者の３種類以上の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得ステップと、
前記特徴量毎に、時間軸上での特徴量の密度が所定基準密度以上であるか否かを判定し、判定処理結果の時系列を出力する第１密度レベル判定処理ステップと、
前記３種類以上の特徴量のうちの２種類の特徴量の第１の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第１の組み合わせに係る第１混合値の時系列を出力する第１混合処理ステップと、
前記第１混合値の時系列に対して時間軸上での密度を算出する第１密度計算処理ステップと、
前記第１密度計算処理ステップにより算出される第１混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第２密度レベル判定処理ステップと、
前記３種類以上の特徴量のうちのその他の２種類の特徴量の第２の組み合わせに関して、それぞれの特徴量に対する前記第１密度レベル判定処理結果の時系列を時間軸上で同期させて混合することで、前記第２の組み合わせに係る第２混合値の時系列を出力する第２混合処理ステップと、
前記第２混合値の時系列に対して時間軸上での密度を算出する第２密度計算処理ステップと、
前記第２密度計算処理ステップにより算出される第２混合値の密度が所定基準密度以上であるか否かを判定し、判定処理結果を出力する第３密度レベル判定処理ステップと、
前記第２密度レベル判定処理ステップによる判定処理結果と前記第３密度レベル判定処理ステップによる判定処理結果とに基づいて、前記被験者の覚醒度を推定する覚醒度推定ステップとを備えることを特徴とする、覚醒度推定方法。
【請求項８】
被験者の第１の生理的な特徴量及び第２の生理的な特徴量を、時間軸上の密度の次元で、時系列で取得する特徴量取得ステップと、
前記第１の特徴量と前記第２の特徴量とを時間軸上で同期させて混合することで、混合特徴量の時系列を出力する特徴量混合処理ステップと、
前記混合特徴量の時系列に対して時間軸上での密度を算出する密度計算処理ステップと、
前記密度計算処理ステップにより算出される密度に基づいて、前記被験者の覚醒度を推定する覚醒度推定ステップとを備えることを特徴とする、覚醒度推定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００７−２２９２１８（Ｐ２００７−２２９２１８Ａ）
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願番号】特願２００６−５４５８２（Ｐ２００６−５４５８２）
【出願日】平成１８年３月１日（２００６．３．１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願日】平成１８年３月１日（２００６．３．１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]