まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
【課題】まばたきの眼電図（EOG）波形の種類を種別するのに好適で且つまばたきの種類を識別する情報を当該眼電図（EOG）波形に係るまばたきデータに効率よく付与することが可能なまばたきデータ種別装置、当該データ種別装置を利用した、パターンモデル生成装置、まばたき波形出現頻度情報生成装置、覚醒状態判定装置、覚醒状態判断装置及び警告装置を提供する。
【解決手段】まばたき波形データにおける、当該波形のピーク高（距離）、ピーク高までの立ち上がり時間及びピーク高からの立ち下がり時間の３つのパラメータを正規化し、正規化したこれらパラメータを所定のクラスタリング手法を用いて種別し、当該種別結果に基づきまばたき映像データの特徴量データ及び前記３つのパラメータにまばたき種類の識別情報を付与して学習データを生成する。
【解決手段】まばたき波形データにおける、当該波形のピーク高（距離）、ピーク高までの立ち上がり時間及びピーク高からの立ち下がり時間の３つのパラメータを正規化し、正規化したこれらパラメータを所定のクラスタリング手法を用いて種別し、当該種別結果に基づきまばたき映像データの特徴量データ及び前記３つのパラメータにまばたき種類の識別情報を付与して学習データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、まばたきの眼電図（EOG）波形に係るデータを種別するまばたきデータ種別装置、当該種別したまばたきの眼電図（EOG）波形に係るデータに基づきパターンモデルを生成するパターンモデル生成装置、当該生成したパターンモデルを用いて対象者の所定期間のまばたき種類の出現頻度の時間的変化の情報である出現頻度情報を生成するまばたき波形出現頻度情報生成装置、当該生成した波形種類の出現頻度情報に基づき対象者の覚醒状態を判定する覚醒状態判定装置、まばたき波形種類の出現頻度の時間変化に基づき対象者の覚醒状態を判断する覚醒状態判断装置、及び前記覚醒状態の判定結果に基づき対象者に警告を与える警告装置に関する。
【背景技術】
【０００２】
近年、ＩＴＳ（高度道路交通システム）の実用化に向けた研究開発は、情報処理技術の発展及び高度化に伴って急速に展開されてきており、新規市場としての産業界からの注目度も高まっている。ＩＴＳの中心的な役割を果たすものとして、運転支援・ナビゲーションシステムなどがあるが、道路・交通状況や車の挙動のみならず、ドライバの特性やその時々の状態に応じた支援や情報提示が望まれている。中でも、ドライバの覚醒水準の評価は、古くからの課題とされており、脳波、皮膚電気活動、心拍、まばたきなどの生理反応を利用した研究が数多く行われてきている。特に、まばたきの発生パターンや眼球運動を示す波形のパラメータは、被験者の覚醒水準によって変化することが知られており、まばたきの発生パターンやまばたき時の眼球運動を示す波形のパラメータを利用したドライバの居眠り検出などの研究が進められている。
【０００３】
また、まばたき時の眼球運動を示す波形のパラメータを利用して覚醒状態を判定する技術として、特許文献１に記載の動作内容判定装置がある。この動作内容判定装置は、眼部分の複数フレームの映像データに対する特徴量の入力に対して対象者のまばたきの眼電図（EOG）波形の種類に対する尤度を出力する眼状態判定用ＨＭＭを有しており、前記特徴量の入力に対して眼状態判定用ＨＭＭから出力された尤度に基づいて対象者の覚醒状態を判定するものである。
【０００４】
この特許文献１の従来技術においては、眼状態判定用ＨＭＭの生成時において、１回１回のまばたきの眼電図（EOG）波形における、まばたきの振幅、持続時間及び速度などのパラメータに基づいて眼電図（EOG）波形の種類を判断し、この判断結果に基づき、前記眼電図（EOG）波形に対応する眼部分の複数フレームの映像データから抽出した特徴量に対して、前記眼電図（EOG）波形の種類を識別するための識別情報を付与し、この識別情報の付与された特徴量を学習データとしてＨＭＭを学習させている。
【０００５】
また、特許文献２の覚醒状態検出装置は、単位時間において、まばたきの閉眼時間が基準時間以上であるものを順次積算して、その閉眼時間積算値が設定値以上になったときに覚醒状態が低下していると判断する。
【特許文献１】ＷＯ−Ａ１−２００５／１１４５７６号公報
【特許文献２】特開平７−１５６６８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１の従来技術において、まばたきの眼電図（EOG）波形の種類を識別するための識別情報（識別ラベル）を、例えば、映像データから抽出した特徴量に付与する作業は、映像データに対応するまばたきの眼電図（EOG）波形を人が目視で判断して行っており、付与対象のデータ量が増大するほど多大な労力及びコストが必要になるという問題があった。
【０００７】
また、この識別情報の付与（ラベル付け）は、その作業を行う人毎に解釈が異なるため、できるだけ同じ人が（又は少人数で）やることが望ましく、このため、より多くの作業時間がかかるという問題があった。
また、従来、把握されたまばたき波形の種類（モデル）は、正確に把握されていたかの検証が十分ではなく、更なる正確なモデルの把握が求められていた。
【０００８】
また、上記特許文献１及び特許文献２の従来技術においては、覚醒度の低下に伴いまばたき時間が長くなるという指標や、眠気が生じるころのまばたき波形は、波高が小さく、波形の立ち上がり角度と立ち下り角度が緩やかで持続時間が短いといった指標などの単一の指標を用いているため、居眠り状態に移行するまでに発生する多種多様な覚醒水準を推定することは困難であった。
【０００９】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、まばたきの眼電図（EOG）波形の種類を種別するのに好適で且つまばたきの種類を識別する情報を当該眼電図（EOG）波形に係るまばたきデータに効率よく付与することが可能なまばたきデータ種別装置、当該種別したまばたきデータに基づきパターンモデルを生成するパターンモデル生成装置、当該生成したパターンモデルを用いて対象者の所定期間のまばたき種類の出現頻度の時間的変化の情報である出現頻度情報を生成するまばたき波形出現頻度情報生成装置、当該出現頻度情報に基づき対象者の覚醒状態を判定（判断）する覚醒状態判定装置及び覚醒状態判断装置、並びに覚醒状態の判定結果に基づき対象者に警告を与える警告装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る請求項１記載のまばたきデータ種別装置は、 まばたきの眼電図（EOG）波形に係るデータであるまばたきデータを種別するまばたきデータ種別装置であって、
前記まばたきの眼電図（EOG）波形のデータである眼電図（EOG）波形データから抽出された、単位の異なる複数種類のパラメータを正規化する正規化手段と、
前記正規化手段で正規化された複数種類のまばたきの前記眼電図（EOG）波形データに対応するパラメータを、所定のクラスタリング手法を用いて種別する種別手段と、
前記種別手段の種別結果に基づき、前記種別された各パラメータに対応する前記まばたきデータに対して、前記各パラメータの属する種類の識別情報をそれぞれ付与する識別情報付与手段と、を備えることを特徴としている。
【００１１】
このような構成であれば、正規化手段によって、まばたきの眼電図（EOG）波形のデータである眼電図（EOG）波形データから抽出された、単位の異なる複数種類のパラメータを正規化することが可能であり、種別手段によって、前記正規化手段で正規化された複数種類のまばたきの前記眼電図（EOG）波形データに対応するパラメータを、所定のクラスタリング手法を用いて種別することが可能である。
更に、識別情報付与手段によって、前記種別手段の種別結果に基づき、前記種別された各パラメータに対応する前記まばたきデータに対して、前記各パラメータの属する種類の識別情報をそれぞれ付与することが可能である。
【００１２】
従って、まばたきの眼電図（EOG）波形データから距離や時間などの単位（次元）の異なる特徴的なパラメータを抽出し、この抽出したパラメータを正規化することで、単位（次元）の異なる複数種類のパラメータを同時に使用してクラスタリング（種別）を行うことができると共に、この種別結果に基づいてまばたきデータへの識別情報の付与を自動で行うことができるので、まばたきデータの種別を安定且つ精度良く行うことができると共に、識別情報の付与作業に必要な労力及びコストを低減できるという効果が得られる。
【００１３】
また、全てのまばたきデータを、正確な種類（まばたき波形の種類（モデル））に分類することができるので、これら正確に分類されたまばたきデータを利用して対象者のまばたき波形の種類を識別するで、例えば、対象者の正確な覚醒状態の判定などを行うことが可能である。
ここで、上記「まばたきデータ」は、まばたきの眼電図（EOG）波形データ、当該眼電図（EOG）波形データから抽出される特徴量データ、前記まばたきの眼電図（EOG）波形データを測定時の対象者のまばたきの動画像データ（まばたき映像データ）、当該まばたき映像データから抽出される特徴量データなどである。
【００１４】
また、上記「単位の異なる複数種類のパラメータ」は、まばたきの眼電図（EOG）波形データから抽出可能なパラメータ（データ）であり、例えば、まばたき波形の持続時間を示すパラメータや、波形の高さ（距離）を示すデータ、まばたきの速度を示すデータなどが該当する。
また、上記「種別する」とは、上記正規化されたパラメータを、クラスタリング手段によって複数のクラスのいずれかにクラスタリングすることであり、このクラスタリング結果そのものを種別結果としても良いし、クラスタリング結果に何らかの加工を施した結果を種別結果としても良い。
また、上記「識別情報」は、クラスタリング手段でクラスタリング（種別）された各パラメータに対応するまばたきデータが、どのクラス（種類）に属するかを識別可能な情報である。
【００１５】
更に、請求項２に係る発明は、請求項１記載のまばたきデータ種別装置において、
前記単位の異なる複数種類のパラメータは、前記まばたきの眼電図（EOG）波形データから抽出される、前記眼電図（EOG）波形のピーク高の距離データ、まばたきの開始から前記ピーク高に至るまでの時間データ及び前記ピーク高からまばたきの終了に至るまでの時間データを含むことを特徴としている。
このような構成であれば、様々な形状のまばたきの眼電図（EOG）波形を区別することができるので、より正確にまばたきデータの種別を行うことができるという効果が得られる。
【００１６】
例えば、まばたきの眼電図（EOG）波形のピーク高と、まばたきの速度との２つのパラメータを用いてクラスタリングを行う場合は、ピーク高の高さ（距離）及びまばたき速度がそれぞれ同じとなる複数の眼電図（EOG）波形が、全て同じクラス（種類）に属してしまうため、正確な種別を行うことができない。一方、本発明の構成であれば、ピーク高の高さ（距離）及びまばたき速度がそれぞれ同じとなる眼電図（EOG）波形が複数あっても、まばたきの開始からピーク高に至るまで及びピーク高からまばたきの終了に至るまでの時間がそれぞれ異なるものを正確に種別することができる。
ここで、上記「ピーク高」は、例えば、まばたきの発生した時間区間の眼電図（EOG）波形における、波形の最も高いレベル位置と最も低いレベル位置との差などで表されるものである。
【００１７】
更に、請求項３に係る発明は、請求項１又は請求項２記載のまばたきデータ種別装置において、
前記正規化手段は、Ｚスコア法を用いて、前記単位の異なる複数種類のパラメータを正規化することを特徴としている。
このような構成であれば、公知のＺスコア法を用いて正規化を行うので、単位（次元）の異なる複数種類のパラメータを、そのそれぞれについて、平均値を「０」、標準偏差を「１」とするように分布の加工を行って正規化をすることが可能である。これによって、距離や時間などの単位（次元）の異なるパラメータを混在させてクラスタリングを行うことができるという効果が得られる。
【００１８】
更に、請求項４に係る発明は、請求項１乃至請求項３のいずれか１項に記載のまばたきデータ種別装置において、
前記種別手段は、前記所定のクラスタリング手法として、分割最適化手法又は階層的手法を用いることを特徴としている。
このような構成であれば、分割最適化手法又は階層的手法を用いてクラスタリングを行うことが可能となるので、簡易にパラメータの種別を行うことができるという効果が得られる。
【００１９】
ここで、上記「分割最適化手法」は、非階層的手法であり、分割の良否を示す評価関数を定め、この評価関数を最適にする分割を探索する手法である。その代表的なものに、ｋ−平均法（ｋ−ｍｅａｎｓ法）などがある。ｋ−平均法は、分割数ｋを与え、セントロイド（ｋ個のクラスタの重心点）をクラスタの代表点とし、例えば、各対象クラスタからセントロイドまでの距離の２乗の総和（評価関数の解）を最小化するようにｋ個のクラスタを分割する。この手法は山登り法で、局所最適解しか求められないため、ランダムに初期値を変更して評価関数を最小にする結果を選択する。
【００２０】
また、上記「階層的手法」は、Ｎ個の対象からなるデータが与えられたとき、１個の対象データだけを含むＮ個のクラスタがある初期状態を作成する。この状態から始めて、クラスタ間の距離を計算し、最も距離の近い２つのクラスタを逐次的に併合する。このクラスタの併合を全ての対象が１つのクラスタに併合されるまで繰り返すことで階層構造を獲得する。この階層構造はデンドログラムによって表示される。デンドログラムとは、各終端ノードが各対象を表し、併合されてできたクラスタを非終端ノードで表した二分木である。なお、非終端ノードの横軸は、併合されたときのクラスタ間の距離を表す。階層的手法の代表的なものには、クラスタのセントロイド（重心点）までの距離の２乗の総和を最小化するウォード法（Ward method）、最短距離法、最長距離法、群平均法などがある。
【００２１】
更に、請求項５に係る発明は、請求項１乃至請求項４のいずれか１項に記載のまばたきデータ種別装置において、
前記まばたきデータは、前記まばたきの眼電図（EOG）波形に対応する、各対象者のまばたき時の少なくとも片眼全体の動画像データを含むまばたき映像データから抽出される特徴量データであることを特徴としている。
このような構成であれば、まばたきの眼電図（EOG）波形測定時のまばたき映像データから抽出される特徴量データに属性情報を付加することが可能である。
【００２２】
例えば、属性情報の付加された特徴量データを学習データとしてＨＭＭなどの統計モデルを学習させ、まばたき映像データの特徴量データから、そのまばたきの眼電図（EOG）波形の種類を識別可能なパターンモデルを生成することができるという効果が得られる。つまり、まばたき映像データの特徴量データがあれば、対象者のまばたきの種類を識別することができるので、対象者の眼電図（EOG）波形を測定しなくても、まばたき時の映像データから簡易に識別処理を行うことができる。
【００２３】
一方、上記目的を達成するために、請求項６記載のパターンモデル生成装置は、
請求項１乃至請求項４のいずれか１項に記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させて、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴としている。
【００２４】
このような構成であれば、パターンモデル生成手段によって、前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させ、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成することが可能である。
従って、安定且つ正確に種別されたまばたきデータを学習データとして学習されたパターンモデルを生成することが可能となるので、眼電図（EOG）波形の種類の識別能力の高いパターンモデルを生成することができるという効果が得られる。
【００２５】
ここで、パターンモデルとは、例えば、まばたきデータに対してマッチングを行う信号パターンを統計モデルを学習させてモデル化したものであり、統計モデルとしては、例えば、ＨＭＭやニューラルネットワーク等がある。以下、請求項８記載のパターンモデル生成装置において同じである。
また、識別データは、入力されたまばたきデータに対するまばたき波形種類を示す識別結果そのものを示すデータ、入力されたまばたきデータに対する各まばたき波形種類に対する尤度などのまばたき波形種類を識別するためのデータなど、パターンモデルを構成する統計モデルの種類や、パターンモデルの仕様に応じたデータとなる。以下、請求項８記載のパターンモデル生成装置において同じである。
【００２６】
更に、請求項７に係る発明は、請求項６記載のパターンモデル生成装置において、
前記統計モデルは、ＨＭＭ（Hidden Markov Model）であることを特徴としている。
このような構成であれば、統計モデルとして公知のＨＭＭを用いるので、まばたきのように時間的概念を伴う動作内容に対して、高精度な前記眼電図（EOG）波形の種類の識別を行うことができるパターンモデルを生成することができるという効果が得られる。
【００２７】
ここで、上記「ＨＭＭ」は、時系列信号の統計モデルであり、複数の定常信号源の間を遷移することで、非定常な時系列信号をモデル化することができる。例えば、音声は、話すスピードによりその時間的長さが変わり、発話内容により、周波数上で特徴的な形状（スペクトル包絡という）を示すが、その形状は発声する人、環境、内容等に依存し、揺らぎが生じる。ＨＭＭはそのような揺らぎを吸収することができる統計モデルである。以下、請求項９記載のパターンモデル生成装置において同じである。
【００２８】
また、上記目的を達成するために、請求項８記載のパターンモデル生成装置は、
請求項５記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させ、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴としている。
【００２９】
このような構成であれば、パターンモデル生成手段によって、前記まばたきデータ種別装置で前記識別情報の付与されたまばたきデータ（まばたき映像の特徴量データ）を学習データとして統計モデルを学習させ、前記まばたきデータ（特徴量データ）を入力とし、当該まばたきデータ（特徴量データ）の識別データを出力とするパターンモデルを生成することが可能である。
【００３０】
従って、安定且つ正確に種別されたまばたき映像データの特徴量データを学習データとして学習されたパターンモデルを生成することが可能となるので、眼電図（EOG）波形の種類の識別能力の高い（正確な識別が可能な）パターンモデルを生成することができると共に、まばたき映像データの特徴量データから対象者のまばたきの種類を識別することができるパターンモデルを生成することができるという効果が得られる。
【００３１】
更に、請求項９に係る発明は、請求項８記載のパタンモデル生成装置において、
前記統計モデルは、ＨＭＭ（Hidden Markov Model）であることを特徴としている。
このような構成であれば、統計モデルとして公知のＨＭＭを用いるので、まばたきのように時間的概念を伴う動作内容に対して、高精度な前記眼電図（EOG）波形の種類の識別を行うことができるパターンモデルを生成することができるという効果が得られる。
【００３２】
一方、上記目的を達成するために、請求項１０記載のまばたき波形出現頻度情報生成装置は、
請求項６又は請求項７記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の眼電図（EOG）波形を測定する眼電図波形測定手段と、
前記眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、前記パターンモデルに対応するまばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出したまばたきデータと、前記パターンモデルとに基づき、前記まばたきデータに対応する眼電図（EOG）波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記対象者のまばたき時の眼電図（EOG）波形に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記眼電図（EOG）波形の種類の出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴としている。
【００３３】
このような構成であれば、眼電図波形測定手段によって、対象者のまばたき時の眼電図（EOG）波形を測定することが可能であり、まばたきデータ抽出手段によって、前記眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、前記パターンモデルに対応するまばたきデータを抽出することが可能であり、まばたき波形識別手段によって、前記まばたきデータ抽出手段で抽出したまばたきデータと、前記パターンモデルとに基づき、前記まばたきデータに対応する眼電図（EOG）波形の種類を識別することが可能である。
更に、出現頻度情報生成手段によって、所定期間において測定された前記対象者のまばたき時の眼電図（EOG）波形に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記眼電図（EOG）波形の種類の出現頻度の時間的変化を示す出現頻度情報を生成することが可能である。
【００３４】
従って、出現頻度情報から、対象者の特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、出現頻度の時間的変化と、高覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を調べておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）を判断することができるという効果が得られる。
つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
【００３５】
また、上記目的を達成するために、請求項１１記載のまばたき波形出現頻度情報生成装置は、
請求項８又は請求項９記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影する撮影手段と、
前記撮影手段で撮影したまばたき映像のデータであるまばたき映像データから、前記パターンモデルに対応する特徴量データを抽出する特徴量データ抽出手段と、
前記特徴量データ抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対応したまばたき映像に対応する眼電図（EOG）波形の種類を識別するまばたき波形識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴としている。
【００３６】
このような構成であれば、撮影手段によって、対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影することが可能であり、特徴量データ抽出手段によって、前記撮影手段で撮影したまばたき映像のデータであるまばたき映像データから、前記パターンモデルに対応する特徴量データを抽出することが可能であり、まばたき波形識別手段によって、前記特徴量データ抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対応したまばたき映像に対応する眼電図（EOG）波形の種類を識別することが可能である。
更に、出現頻度情報生成手段によって、所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成することが可能である。
【００３７】
従って、出現頻度情報から、対象者の特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、前記出現頻度の時間的変化と、高覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を得ておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）を判断することができるという効果が得られる。つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
また、まばたき映像データを撮影するだけで、対象者のまばたき（眼電図（EOG）波形）の種類を識別することができるので、まばたきの眼電図（EOG）波形を直接測定する場合と比べて、対象者に電極等の測定部材を装着させずに、簡易にまばたき波形の識別を行うことが可能である。
【００３８】
一方、上記目的を達成するために、請求項１２記載の覚醒状態判定装置は、
請求項１０又は請求項１１記載のまばたき波形出現頻度情報生成装置と、
前記まばたき波形出現頻度情報生成装置で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴としている。
このような構成であれば、覚醒状態判定手段によって、前記まばたき波形出現頻度情報生成装置で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判定することが可能である。
従って、例えば、対象者の高覚醒状態から居眠り状態へと移行するまでの様々な覚醒状態を判定することができるという効果が得られる。
【００３９】
また、上記目的を達成するために、請求項１３記載の覚醒状態判断装置は、
対象者のまばたき時の眼電図（EOG）波形を測定するまばたき眼電図波形測定手段と、
前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、まばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出されたまばたきデータと、予め記憶されたまばたき波形種類の識別用データとに基づき、前記まばたきデータに対応するまばたき波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記眼電図（EOG）波形に対応する前記まばたき波形識別手段の識別結果に基づき、前記所定期間の前記まばたき波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、
前記出現頻度情報生成手段で生成した出現頻度情報に基づき、前記まばたき波形の所定の種類の出現頻度から、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴としている。
【００４０】
このような構成であれば、眼電図波形測定手段によって、対象者のまばたき時の眼電図（EOG）波形を測定することが可能であり、まばたきデータ抽出手段によって、前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、まばたきデータを抽出することが可能であり、まばたき波形識別手段によって、前記まばたきデータ抽出手段で抽出されたまばたきデータと、予め記憶されたまばたき波形種類の識別用データとに基づき、前記まばたきデータに対応するまばたき波形の種類を識別することが可能である。
【００４１】
更に、出現頻度情報生成手段によって、所定期間において測定された前記眼電図（EOG）波形に対応する前記まばたき波形識別手段の識別結果に基づき、前記所定期間の前記まばたき波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成することが可能であり、覚醒状態判定手段によって、前記出現頻度情報生成手段で生成した出現頻度情報に基づき、前記まばたき波形の所定の種類の出現頻度から、前記対象者の覚醒状態を判定することが可能である。
【００４２】
従って、出現頻度情報から、対象者の特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、前記出現頻度の時間的変化と、高覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を得ておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）を判断することができるという効果が得られる。つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
ここで、識別用データは、特徴量データから、当該特徴量データに対応するまばたき波形種類を識別できるデータであり、例えば、特徴量データを入力とし、当該特徴量データの識別データを出力とするパターンモデル、様々な特徴量データとまばたき波形種類との関係が登録されたデータテーブル（データベース）などがある。
【００４３】
更に、請求項１４に係る発明は、請求項１３記載の覚醒状態判定装置において、
前記まばたき波形の所定の種類の出現頻度は、前記まばたき波形の複数種類の出現頻度であることを特徴としている。
このような構成であれば、対象者の特定の複数種類のまばたきの発生頻度、特定の複数種類のまばたきの群発などの所定時間内における特定の複数種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、前記出現頻度の時間的変化と、高覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を得ておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）をより正確に判断することができるという効果が得られる。つまり、高覚醒時から居眠りへと移行するまでには、様々な種類のまばたきが混在して発生するので、その中でも特に覚醒水準（状態）に係る複数種類のまばたきの出現頻度に着目して判定を行うことで、覚醒水準の判定精度をより高精度にすることが可能である。
【００４４】
また、上記目的を達成するために、請求項１５記載の覚醒状態判断装置は、
対象者のまばたき時の眼電図（EOG）波形を測定するまばたき眼電図波形測定手段と、
前記眼電図（EOG）波形のデータである眼電図（EOG）波形データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴としている。
【００４５】
このような構成であれば、まばたき眼電図波形測定手段によって、対象者のまばたき時の眼電図（EOG）波形を測定することが可能であり、特徴量抽出手段によって、前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、特徴量データを抽出することが可能であり、まばたき種類識別手段によって、前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別することが可能である。
【００４６】
更に、まばたき波形種類出現頻度情報生成手段によって、所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成することが可能であり、覚醒状態判断手段によって、前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断することが可能である。
【００４７】
従って、出現頻度情報から、対象者の特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、出現頻度の時間的変化と、覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を調べておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）を判断することができるという効果が得られる。
つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
【００４８】
また、上記目的を達成するために、請求項１６記載の覚醒状態判断装置は、
対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影するまばたき映像撮影手段と、
前記まばたき映像のデータであるまばたき映像データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき映像撮影手段で撮影したまばたき映像のデータであるまばたき映像データから特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴としている。
【００４９】
このような構成であれば、まばたき映像撮影手段によって、対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影することが可能であり、特徴量抽出手段によって、前記まばたき映像撮影手段で撮影したまばたき映像のデータであるまばたき映像データから特徴量データを抽出することが可能であり、まばたき種類識別手段によって、前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別することが可能である。
【００５０】
更に、まばたき波形種類出現頻度情報生成手段によって、所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成することが可能であり、覚醒状態判断手段によって、前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断することが可能である。
【００５１】
従って、出現頻度情報から、対象者の特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、前記出現頻度の時間的変化と、覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を得ておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）を判断することができるという効果が得られる。つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
【００５２】
また、まばたき映像データを撮影するだけで、対象者のまばたき（眼電図（EOG）波形）の種類を識別することができるので、まばたきの眼電図（EOG）波形を直接測定する場合と比べて、対象者に電極等の測定部材を装着させずに、簡易にまばたき波形の識別を行うことが可能である。
【００５３】
また、上記目的を達成するために、請求項１７記載の警告装置は、
請求項１２又は請求項１３記載の覚醒状態判定装置と、
前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与える警告手段と、を備えることを特徴としている。
このような構成であれば、警告手段によって、前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与えることが可能である。
【００５４】
従って、例えば、自動車内のドライバの所定期間ごとの出現頻度情報をリアルタイムに生成することによって、この出現頻度情報から、例えば、完全に居眠りの状態になる前の居眠り状態に移行中のドライバの覚醒水準（状態）等を判定することができるので、眠りに落ちそうな状態の対象者に対して、警告音や光の点滅などによる警告を与えることによって、未然に事故を防ぐことができるという効果が得られる。
ここで、上記警告は、ブザー等の警報音、警告音声メッセージ等の音によるもの、光の点灯、点滅等による視覚的な警告、対象者に振動や衝撃などの与える警告などがある。また、これらを任意に組み合わせた警告を対象者に与えるようにしても良い。
【発明を実施するための最良の形態】
【００５５】
〔第１の実施の形態〕
以下、本発明の第１の実施の形態を図面に基づき説明する。図１〜図１０は、本発明に係るまばたきデータ種別装置、まばたきデータ種別プログラム及びまばたきデータ種別方法、並びにパターンモデル生成装置、パターンモデル生成プログラム及びパターンモデル生成方法の実施の形態を示す図である。
【００５６】
まず、本発明に係るパターンモデル生成装置の構成を図１に基づき説明する。図１は、本発明に係るパターンモデル生成装置１００の構成を示すブロック図である。
図１に示すように、パターンモデル生成装置１００は、まばたきの眼電図（EOG）波形のデータ（以下、眼電図（EOG）波形データと称す）を記憶するまばたき波形データ記憶部１０と、まばたきの眼電図（EOG）波形の測定時に同時に撮影したまばたきの映像データ（以下、まばたき映像データと称す）を記憶するまばたき映像データ記憶部１１と、まばたき波形データからパラメータを抽出するパラメータ抽出部１２と、まばたき映像データから特徴量データを抽出する特徴量データ抽出部１３と、パラメータ抽出部１２で抽出したパラメータ及び特徴量データ抽出部１３で抽出した特徴量データを対応付けて記憶する種別対象データ記憶部１４とを含んだ構成となっている。
【００５７】
まばたき波形データ記憶部１０は、複数被験者に対して測定した、複数種類のまばたきの眼電図（EOG）波形データを、後述する記憶装置７０の所定領域に記憶するようになっている。具体的には、例えば、被験者の左眼又は右眼の少なくとも一方のまばたきの眼電図（EOG）波形データを記憶する。
まばたき映像データ記憶部１１は、まばたき波形データ記憶部１０に記憶された左眼又は右眼の少なくとも一方のまばたきの眼電図（EOG）波形データに対応するまばたき映像データを、後述する記憶装置７０の所定領域に記憶するようになっている。ここで、まばたき映像データは、眼電図（EOG）波形の測定時に同時に撮影したまばたきの映像データであり、被験者のまばたき時の左眼又は右眼の少なくとも一方を含む動画像データで構成されている。また、眼電図（EOG）波形データ及びまばたき映像データは識別情報によってそれぞれが対応付けされており、これによって、眼電図（EOG）波形データ及びまばたき波形データのいずれか一方から他方を知ることが可能となっている。
【００５８】
パラメータ抽出部１２は、まばたき波形データ記憶部１０によって記憶された眼電図（EOG）波形データから、単位の異なる複数種類のパラメータを抽出するようになっている。
本実施の形態においては、眼電図（EOG）波形のピーク高の距離データ、まばたきの開始からピーク高に至るまでの時間データ、ピーク高からまばたきの終了に至るまでの時間データの３つのパラメータを抽出する。
特徴量データ抽出部１３は、まばたき映像データ記憶部１１によって記憶されたまばたき映像データから、特徴量データを抽出するようになっている。
本実施の形態においては、まばたき映像データの各フレーム毎に、所定領域の各ラインごとの輝度合計を算出し、各まばたき映像データの輝度合計のデータを特徴量データとする。
【００５９】
種別対象データ記憶部１４は、眼電図（EOG）波形データ及びまばたき映像データに付与された識別情報に基づき、パラメータ抽出部１２で抽出された各眼電図（EOG）波形データごとの３つのパラメータと、特徴量データ抽出部１３で抽出された各まばたき映像データごとの特徴量データとを対応付けて、後述する記憶装置７０の所定領域に記憶するようになっている。
【００６０】
パターンモデル生成装置１００は、更に、種別対象データ記憶部１４に記憶されたパラメータを正規化するパラメータ正規化部１５と、パラメータ正規化部１５で正規化されたパラメータを種別するパラメータ種別部１６と、パラメータ種別部１６の種別結果に基づき、種別対象データ記憶部１４によって記憶されたパラメータ及び特徴量データにまばたきの種類を識別する識別情報を自動的に付与する識別情報付与部１７と、識別情報付与部１７で識別情報の付与されたパラメータ及び特徴量データを学習データとして記憶する学習データ記憶部１８とを含んだ構成となっている。
【００６１】
パラメータ正規化部１５は、単位の異なる複数種類のパラメータを、所定の正規化手法を用いて正規化するようになっている。本実施の形態においては、公知のＺスコア法を用いて正規化する。
パラメータ種別部１６は、パラメータ正規化部１５で正規化後のパラメータ（以下、正規化パラメータと称す）を、所定のクラスタリング手法を用いて種別するようになっている。本実施の形態においては、階層的クラスタリング手法の１つである公知のウォード法、及び分割最適化クラスタリング手法の１つである公知のｋ−平均法のいずれか指定された方のクラスタリング手法を用いて正規化パラメータをクラスタリングする。本実施の形態においては、このクラスタリング結果を種別結果とし、各正規化パラメータの属するクラスの情報を各正規化パラメータに付与し、これを種別結果とする。
【００６２】
識別情報付与部１７は、パラメータ種別部１６の種別結果に基づき、種別後の各正規化パラメータの属するクラスをそれぞれまばたきの種類の識別情報とし、この識別情報を、各種別後の正規化パラメータに対応する正規化前のパラメータと、このパラメータに対応する特徴量データとに対して自動的に付与するようになっている。
学習データ記憶部１８は、識別情報付与部１７で識別情報の付与された、パラメータ及び特徴量データを学習データとして、後述する記憶装置７０の所定領域に記憶するようになっている。
パターンモデル生成装置１００は、更に、学習データ記憶部１８に記憶された学習データを用いて統計モデルを学習する統計モデル学習部１９と、学習後の統計モデルからなるパターンモデルを記憶するパターンモデル記憶部２０とを含んだ構成となっている。
【００６３】
統計モデル学習部１９は、まばたき波形用パターンモデルの生成指示に応じて、学習データ記憶部１８に記憶されたパラメータを学習データとして統計モデルを学習し、まばたき波形用パターンモデルを生成するようになっている。更に、まばたき映像用パターンモデルの生成指示に応じて、学習データ記憶部１８に記憶された特徴量データを学習データとして統計モデルを学習し、まばたき映像用パターンモデルを生成するようになっている。なお、本実施の形態においては、統計モデルとしてＨＭＭ（Hidden Markov Model）を用いることとする。
パターンモデル記憶部２０は、統計モデル学習部１９において生成された、まばたき波形用パターンモデル及びまばたき映像用パターンモデルを、後述する記憶装置７０の所定領域に記憶するようになっている。
【００６４】
更に、パターンモデル生成装置１００は、上記各部の制御をソフトウェア上で実現するためのコンピュータシステムを備えており、そのハードウェア構成は、図２に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０と、主記憶装置（Ｍａｉｎ Ｓｔｏｒａｇｅ）を構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６２と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６４との間をＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等からなる各種内外バス６８で接続すると共に、このバス６８に入出力インターフェース（Ｉ／Ｆ）６６を介して、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの内部又は外部記憶装置（Ｓｅｃｏｎｄａｒｙ Ｓｔｏｒａｇｅ）７０や、印刷手段やＣＲＴ、ＬＣＤモニター等の出力装置７２、操作パネルやマウス、キーボード、スキャナなどの入力装置７４、及び図示しない外部装置などと通信するためのネットワークＬなどを接続したものである。
【００６５】
そして、電源を投入すると、ＲＯＭ６４等に記憶されたＢＩＯＳ等のシステムプログラムが、ＲＯＭ６４に予め記憶された各種専用のコンピュータプログラム、あるいは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などの記憶媒体を介して、又はインターネットなどの通信ネットワークＬを介して記憶装置７０にインストールされた各種専用のコンピュータプログラムを同じくＲＡＭ６２にロードし、そのＲＡＭ６２にロードされたプログラムに記述された命令に従ってＣＰＵ６０が各種リソースを駆使して所定の制御及び演算処理を行うことで前述したような各手段の各機能をソフトウェア上で実現できるようになっている。
【００６６】
次に、図３に基づき、このような構成をしたパターンモデル生成装置１００における、まばたき波形データからのパラメータの抽出処理及びまばたき映像データからの特徴量データの抽出処理の流れを説明する。ここで、図３は、まばたき波形データからのパラメータの抽出処理及びまばたき映像データからの特徴量データの抽出処理を示すフローチャートである。
まばたき波形データからのパラメータの抽出処理及びまばたき映像データからの特徴量データの抽出処理は、図３のフローチャートに示すように、まずステップＳ１００に移行し、パラメータ抽出部１２において、入力装置７４等を介したユーザからの抽出指示があったか否かを判定し、抽出指示があったと判定された場合(Yes)は、ステップＳ１０２に移行し、そうでない場合(No)は、抽出指示があるまで待機する。
【００６７】
ステップＳ１０２に移行した場合は、パラメータ抽出部１２において、まばたき波形データ記憶部１０を介して記憶装置７０からまばたき波形データを取得してステップＳ１０４に移行する。
ステップＳ１０４では、パラメータ抽出部１２において、ステップＳ１０２で取得したまばたき波形データから、単位の異なる複数種類のパラメータを抽出し、当該抽出したパラメータを種別対象データ記憶部１４に出力してステップＳ１０６に移行する。
【００６８】
ステップＳ１０６では、パラメータ抽出部１２において、ステップＳ１０２で取得したまばたき波形データに対応するまばたき映像データがあるか否かを判定し、あると判定された場合(Yes)は、特徴量データ抽出部１３に抽出指示を与えてステップＳ１０８に移行し、そうでない場合(No)は、ステップＳ１１６に移行する。
ステップＳ１０８に移行した場合は、特徴量データ抽出部１３において、まばたき映像データ記憶部１１を介して記憶装置７０からまばたき映像データを取得してステップＳ１１０に移行する。
【００６９】
ステップＳ１１０では、特徴量データ抽出部１３において、ステップＳ１０８で取得したまばたき映像データから、特徴量データを抽出し、当該抽出した特徴量データを種別対象データ記憶部１４に出力してステップＳ１１２に移行する。
ステップＳ１１２では、種別対象データ記憶部１４において、パラメータ抽出部１２から入力されたパラメータと、特徴量データ抽出部１３から入力された特徴量データとを対応付けて記憶装置７０の所定領域に記憶してステップＳ１１４に移行する。
【００７０】
ステップＳ１１４では、パラメータ抽出部１２において、ステップＳ１０２で取得したまばたき波形データに対し、パラメータ抽出処理及び特徴量データ抽出処理が全て終了したか否かを判定し、終了したと判定された場合(Yes)は、抽出処理を終了し、そうでない場合(No)は、ステップＳ１０４に移行する。
一方、ステップＳ１０６において、まばたき波形データに対応するまばたき映像データがなくステップＳ１１６に移行した場合は、種別対象データ記憶部１４において、パラメータ抽出部１２から入力されたパラメータを記憶装置７０の所定領域に記憶してステップＳ１１４に移行する。
【００７１】
次に、図４に基づき、パターンモデル生成装置１００における、学習データ生成処理の流れを説明する。ここで、パターンモデル生成装置１００における、図４は、学習データ生成処理を示すフローチャートである。
学習データ生成処理は、図４のフローチャートに示すように、まずステップＳ２００に移行し、入力装置７４等を介したユーザからの学習データの生成指示があったか否かを判定し、生成指示があったと判定された場合(Yes)は、ステップＳ２０２に移行し、そうでない場合(No)は、抽出指示があるまで待機する。
【００７２】
ステップＳ２０２に移行した場合は、パラメータ正規化部１５において、種別対象データ記憶部１４からパラメータを取得してステップＳ２０４に移行する。
ステップＳ２０４では、パラメータ正規化部１５において、ステップＳ２０２で取得したパラメータを正規化してステップＳ２０６に移行する。
ステップＳ２０６では、パラメータ種別部１６において、ステップＳ２０４において正規化されたパラメータを、所定のクラスタリング手法を用いて種別してステップＳ２０８に移行する。
【００７３】
ステップＳ２０８では、識別情報付与部１７において、ステップＳ２０６で種別された、各正規化パラメータに対応するパラメータ及び特徴量データを、種別対象データ記憶部１４から取得してステップＳ２１０に移行する。
ステップＳ２１０では、識別情報付与部１７において、ステップＳ２０６の種別結果に基づき、ステップＳ２０８で取得したパラメータ及び特徴量データに識別情報を付与してステップＳ２１２に移行する。
【００７４】
ステップＳ２１２では、識別情報付与部１７において、学習データ記憶部１８を介して記憶装置７０の所定領域に、ステップＳ２１０で識別情報の付与されたパラメータ及び特徴量データを学習データとして記憶して処理を終了する。ここで、識別情報は、クラスタリングによって分割された各クラス（まばたき種類）の情報である。
次に、図５に基づき、パターンモデル生成装置１００における、パターンモデル生成処理の流れを説明する。ここで、図５は、パターンモデル生成装置１００における、パターンモデル生成処理を示すフローチャートである。
【００７５】
パターンモデル生成処理は、図５のフローチャートに示すように、まずステップＳ３００に移行し、統計モデル学習部１９において、入力装置７４等を介したユーザからのまばたき波形用パターンモデルの生成指示があったか否かを判定し、生成指示があったと判定された場合(Yes)は、ステップＳ３０２に移行し、そうでない場合(No)は、ステップＳ３０８に移行する。
【００７６】
ステップＳ３０２に移行した場合は、統計モデル学習部１９において、学習データ記憶部１８から、識別情報の付与されたパラメータを取得してステップＳ３０４に移行する。
ステップＳ３０４では、統計モデル学習部１９において、ステップＳ３０２で取得したパラメータを学習データとして統計モデルを学習させてまばたき波形用パターンモデルを生成しステップＳ３０６に移行する。
【００７７】
ステップＳ３０６では、統計モデル学習部１９において、パターンモデル記憶部２０を介して記憶装置７０の所定領域に、ステップＳ３０４又はステップＳ３１２で生成したパターンモデルを記憶して処理を終了する。
一方、ステップＳ３００において、まばたき波形用パターンモデルの生成指示ではなくステップＳ３０８に移行した場合は、統計モデル学習部１９において、まばたき映像用パターンモデルの生成指示があったか否かを判定し、生成指示があったと判定された場合(Yes)は、ステップＳ３１０に移行し、そうでない場合(No)は、ステップＳ３００に移行する。
【００７８】
ステップＳ３１０に移行した場合は、統計モデル学習部１９において、学習データ記憶部１８から、識別情報の付与された特徴量データを取得してステップＳ３１２に移行する。
ステップＳ３１２では、統計モデル学習部１９において、ステップＳ３１０で取得した特徴量データを学習データとして統計モデルを学習させてまばたき映像用パターンモデルを生成しステップＳ３０６に移行する。
【００７９】
次に、図６〜図１０に基づき、本実施の形態の動作を説明する。
ここで、図６は、まばたき波形データから抽出するパラメータの説明図である。また、図７（ａ）及び（ｂ）は、まばたき映像データから抽出する特徴量データの説明図である。また、図８は、３種類のパラメータを用いて本発明の手法によって種別された、ある一人の被験者に対するまばたき波形を示す図であり、図９は、２種類のパラメータを用いて本発明の手法によって種別された、ある一人の被験者に対するまばたき波形を示す図である。また、図１０（ａ）〜（ｃ）は、ある一人の被験者に対するＺスコアのレーダーチャートである。また、図１８は、ＨＭＭの一例を示す図である。
【００８０】
パターンモデル生成装置１００において、上述したパラメータ及び特徴量データの抽出処理、学習データの生成処理及びパターンモデルの生成処理を行うにあたって、まず、複数被験者の複数種類のまばたきの眼電図（EOG）波形データ（まばたき波形データ）と、当該まばたき波形データを測定時のまばたき映像データとを事前に用意する必要がある。
【００８１】
本実施の形態においては、事前に、健常な男女複数名を含む被験者のまばたきの眼電図（EOG）波形の測定及びまばたき映像データの撮影を行い、まばたき波形データ及びまばたき映像データを収集することとする。具体的に、被験者の眠気の度合いに応じて、３０分〜１時間程度を１回として、まばたきの眼電図（EOG）波形の測定を断続的に複数回行うと同時に、まばたき映像データの撮影を行い、測定時間内に行われるまばたきのまばたき波形データ及びまばたき映像データを取得する。
【００８２】
また、眼電図（EOG）波形（ＥＯＧ波形）としては、被験者の右眼瞼の上下に電極を装着して、生体計測用交流アンプ（ＢＩＯＰＡＣ，時定数３．２[ｓｅｃ]，ＧＡＩＮ５０００倍，３５[Ｈｚ]カットオフローパスフィルタ）を用いて、垂直ＥＯＧ波形を計測した。そして、この垂直ＥＯＧ波形から、まばたき部分を検出する。まばたき部分の検出方法は、公知の手法（湯瀬裕昭、田多英興：瞬目の自動検出と瞬目波形解析，人間工学，vol30，No5，p.331-337（1994））と同様に、ＥＯＧ波形の微分値（１次差分）を利用し、この微分値が予め設定した開始閾値を超えた時点をまばたきの開始点とし、同様に前記微分値が予め設定した終了閾値を超えた時点をまばたきの終了点として、開始点から終了点までの波形をまばたき波形として検出する。
【００８３】
また、本実施の形態において、まばたき映像データの撮影は、自動車内のインナーミラーに内蔵したカメラでの撮影を想定し、赤外ＬＥＤ照射装置とＣＣＤ（charge coupled device）カメラとを組み合わせたカメラを用いて行った。そして、このカメラによって、被験者の顔画像を撮影し、この顔画像から、公知のＳＶＭ（Support Vector Machine）を用いて右眼部分の画像を検出し、まばたき映像データを得るようにした。なお、ＳＶＭについては、ＵＲＬ「ｈｔｔｐ://ｗｗｗ.ｎｅｕｒｏｓｃｉ.ａｉｓｔ.ｇｏ.ｊｐ/~ｋｕｒｉｔａ/ｌｅｃｔｕｒｅ/ｓｖｍ/ｓｖｍ.ｈｔｍｌ」のＷｅｂページに掲載された「サポートベクターマシン入門 栗田 多喜夫」に詳述されている（２００６年５月１２日現在）。
【００８４】
上記のようにして収集されたまばたき波形データ及びまばたき映像データは、それぞれ、まばたき波形データ記憶部１０及びまばたき映像データ記憶部１１に、各まばたきと各まばたきに対応するまばたき映像データとの組み合わせが解るように組み合わせ情報を付与されて記憶される。なお、まばたき波形データに付与される組み合わせ情報から、まばたき波形データに対応するまばたき映像データの有無を判断できるようになっている。
【００８５】
まず、図６及び図７に基づき、パターンモデル生成装置１００における、パラメータ及び特徴量データの抽出処理の動作を説明する。
パターンモデル生成装置１００は、まばたき波形データ及びまばたき映像データが用意された状態において、入力装置７４等を介した、ユーザからの抽出指示が与えられると（ステップＳ１００）、パラメータ抽出部１２において、まばたき波形データ記憶部１０を介して、記憶装置７０からまばたき波形データを取得する（ステップＳ１０２）。本実施の形態において、まばたき波形データの取得は、記憶された全てのデータ又は新規のデータなどを自動で取得するか、ユーザに指示されたものを取得するかを選択できるようになっている。
【００８６】
そして、まばたき波形データが取得されると、当該取得したまばたき波形データから波形のピーク点の高さ（距離）データ、まばたきの開始点からピーク点までの時間データ、ピーク点からまばたきの終了点までの時間データの３つのパラメータを抽出する（ステップＳ１０４）。例えば、まばたき波形データが、図６に示すような波形を示すものであった場合に、ピーク点の高さｘ１を、まばたきの開始点のレベル（電圧又は電流）と、波形のピーク点のレベルとの差分値とする。図６の例では、波形のピークが「ｘ１[ｍｍ]」となり、まばたきの開始点からピーク点までの時間ｘ２（以下、立ち上がり時間ｘ２）が２８[ｍｓ]となり、ピーク点からまばたきの終了点までの時間ｘ３（立ち下り時間ｘ３）が５２[ｍｓ]となる。本実施の形態においては、ピーク点の高さ（距離）データｘ１は、測定した値をそのまま用い、立ち上がり及び立ち下がり時間データｘ２及びｘ３は、対数変換したものを用いる。これらｘ１、ｘ２及びｘ３の３つのパラメータを、上記取得したまばたき波形データから順次抽出する。また、まばたき波形データからパラメータを抽出するごとに、前述した組み合わせ情報に基づき、まばたき波形データに対応するまばたき映像データの有無を判断し（ステップＳ１０６）、対応するまばたき映像データがある場合は（ステップＳ１０６の「Ｙｅｓ」の分岐）、特徴量データ抽出部１３に抽出指示を与える。
【００８７】
特徴量データ抽出部１３は、パラメータ抽出部１２からの抽出指示に応じて、まばたき映像データ記憶部１１を介して記憶装置７０から、上記パラメータを抽出したまばたき波形データに対応するまばたき映像データを取得する（ステップＳ１０８）。
そして、まばたき映像データが取得されると、当該取得したまばたき映像データから特徴量データを抽出する（ステップＳ１１０）。具体的には、図７（ａ）に示すように、まばたき映像データを構成するまばたき画像データにおける眼球部分を中央に横１１画素×縦３０画素の抽出領域画像を切り出し、この切り出した抽出領域画像を構成する各ライン（１１画素）の輝度合計値を算出し、例えば、図７（ｂ）に示すような特性を示す、抽出領域画像の３０ライン分の各ラインごとの輝度合計値のデータを生成する。本実施の形態においては、この輝度合計値のデータを、１回のまばたきに対応するまばたき映像データを構成する全まばたき画像データに対して生成したものが、各まばたき映像データに対する特徴量データとなる。なお、まばたき映像データを構成するまばたき画像データの数は、撮影手段の性能やまばたきの種類などによって変わってくる（通常のＣＣＤカメラを用いた場合は、例えば、１回のまばたきに対して８〜１１画像くらいとなる）。
【００８８】
上記抽出されたパラメータと、これに対応する上記抽出された特徴量データとは、種別対象データ記憶部１４において、両者が対応付けられて記憶装置７０の所定領域に記憶される（ステップＳ１１２）。
上記したパラメータの抽出処理及び特徴量データの抽出処理が、取得したまばたき波形データ及びこれらに対応するまばたき映像データに対して全て終了すると（ステップＳ１１４の「Ｙｅｓ」の分岐）、パターンモデル生成装置１００は、抽出処理を終了する。
【００８９】
次に、図８〜図１０及び図１８に基づき、パターンモデル生成装置１００における、学習データ生成処理の動作を説明する。
パターンモデル生成装置１００は、種別対象データ記憶部１４によって、記憶装置７０の所定領域に、パラメータ及び特徴量データが記憶された状態において、入力装置７４等を介した、ユーザからの学習データの生成指示が与えられると（ステップＳ２００）、パラメータ正規化部１５において、種別対象データ記憶部１４を介して記憶装置７０からパラメータ（以下、特徴パラメータと称す）を取得する（ステップＳ２０２）。
【００９０】
特徴パラメータを取得すると、パラメータ正規化部１５は、Ｚスコア法を用いて、上記ｘ１〜ｘ３の３種類のパラメータから構成される特徴パラメータを正規化する（ステップＳ２０４）。
Ｚスコア法による正規化は、上記ｘ１〜ｘ３の３種類の特徴パラメータを、それぞれの平均値が０、標準偏差が１になるように分布の加工をすることで行われる。具体的には、ｘ１〜ｘ３のそれぞれの特徴パラメータの中での平均値μを求める。また、同時にｘ１〜ｘ３のそれぞれの特徴パラメータの中での標準分散σを求める。
ここで、ｘ１〜ｘ３のそれぞれにおいて各特徴パラメータをＸとし、下式（１）に従って、特徴パラメータＸをｚに変換する。
【００９１】
【数１】
【００９２】
具体的な数値例を示すと、ある対象者のすべてのまばたき波形のｘ１〜ｘ３のそれぞれの平均値が（2.2239、1.3542、1.5693）であり、ｘ１〜ｘ３のそれぞれの標準偏差が（0.7396、0.1000、0.0709）である場合、ｚは下式（２）のように算出される。
【００９３】
【数２】
【００９４】
Ｚスコア法によるパラメータの正規化が終了すると、パラメータ種別部１６において、正規化後のパラメータ（正規化パラメータ）を、所定のクラスタリング手法を用いてクラスタリング（種別）する（ステップＳ２０６）。ここでは、階層的クラスタリング手法の１つであるウォード法を用いて正規化パラメータを種別する方法と、分割最適化クラスタリング手法の１つであるｋ−平均法を用いて正規化パラメータを種別する方法とをそれぞれ説明する。
【００９５】
まず、階層的手法の１つであるウォード法を用いたクラスタリングによる正規化パラメータの種別方法について説明する。ここで、クラスタリングとはデータ間の距離を定義して似たもの同士をグループにまとめる手法であり、階層的手法はＮ個の対象からなるデータが与えられたとき、１個の対象だけを含むＮ個のクラスタがある初期状態から始めて、クラスタ間の距離を計算し最も距離の近い２つのクラスタを逐次的に併合する手法である。
【００９６】
クラスタ間の距離としてクラスタの重心点までの距離の２乗の総和を最小化するウォード法による具体的な手順は、(1)初期設定として個々の要素をクラスタとする。(2)すべてのクラスタについてクラスタ重心点の距離の２乗を計算し、距離が最小のクラスタ対を探して結合する。(3)結合したクラスタと他のすべてのクラスタについての距離を再計算する。そして、本実施の形態においては、(2)と(3)とを繰り返し実行し、クラスタ総数が１２になった時点で終了とする。
【００９７】
次に、分割最適法の１つであるｋ−平均法を用いたクラスタリングによる正規化パラメータの種別方法について説明する。ここで、分割最適化法はクラスタ数をあらかじめ指定し、各要素をＮ個のクラスタに類似度を基準として分割する手法である。ｋ−平均法による具体的な手順は、(1)すべての要素からランダムに１２個の要素を選び、それぞれのクラスタの代表とする。(2)その他の各要素を最も近いクラスタ中心に割り当てる。(3)各クラスタの重心を新しい中心として(2)を行なう。(4)各要素の割り当てが１つ前のステップと変化がなくなった時点で終了とする。
【００９８】
上記したように、クラスタ数を１２（Class１〜Class１２）に設定することによって、まばたき波形データの自動検出の際に混入した、眼球運動などによるまばたきとは考えにくい波形などを、まばたきとは別のクラスタとして分類し、排除することが可能となる。
上記種別処理によって、Class１〜Class１２にそれぞれクラスタリングした、ある一人の被験者の正規化パラメータ（上記ｘ１〜ｘ３に対応）に対応する眼電図（EOG）波形は、図８に示すように、各Classに分類される。
【００９９】
また、図１０（ａ）〜（ｃ）に示すＺスコア（正規化パラメータ）のレーダーチャートは、ある一人の被験者の（図８の被験者と同様）、上記クラスタリングによってClass１〜Class１２に分類された正規化パラメータにおける、Class１〜Class９の各Class毎の平均値を算出し、その算出結果を、覚醒状態ごとにプロットしたものである。なお、図１０（ａ）が、標準的なまばたき・意識的ではっきりしたまばたきのプロット結果を示し、同図（ｂ）が、覚醒低下時に増加するまばたきのプロット結果を示し、同図（ｃ）が、速くて小さなまばたき・群発まばたきのプロット結果を示す。また、図１０（ａ）〜（ｃ）は、ある一人の被験者に対して実際に測定したまばたき波形から生成されたレーダーチャートである。
【０１００】
本実施の形態においては、具体的に、Class１に属する正規化パラメータに対応するまばたき波形を、高覚醒時の標準的なまばたき波形とし、Class１〜Class１２に分類された各正規化パラメータを更に覚醒状態ごとに分類した。
図１０（ａ）〜（ｃ）の例では、Class１の波形と他のClassの波形とを比較すると、Class２には、まばたきの持続時間（立ち上がり時間と、立ち下り時間の総和）はほぼ同等であるが、ピーク高のみが小さなまばたきが分類され、Class３には、まばたき持続時間が長く、ピーク高も大きなまばたきが分類される（図１０（ａ）参照）。また、Class４には、まばたき持続時間はほぼ同等であるが、ピーク高がClass２よりも更に小さなまばたきが分類され、Class５には、立ち上がり時間が長く、ピーク高が小さなまばたきが分類される（図１０（ｂ）参照）。また、Class６及びClass７には、立ち上がり時間、立ち下がり時間ともに長く、且つピーク高の小さなまばたきが分類されるが、Class６には、特に立ち下がり時間の長いまばたきが分類され、Class７には、特に立ち上がり時間の長いまばたきが分類される（図１０（ｂ）参照）。また、Class８及びClass９には、まばたき持続時間、ピーク高がともにClass２よりも小さなまばたきが分類され、そのうち、立ち上がり時間が長く、立ち下がり時間の短いまばたきがClass９に分類される（図１０（ｃ）参照）。
【０１０１】
以上より、Class１〜Class９は、実験から明らかになった被験者の覚醒水準と、その覚醒状態に応じて発生するまばたき種別の対応から、生理学的知見に基づいて以下のように分類される。
Class１：高覚醒時の標準的なまばたき
Class２：眠気によりまぶたが落ちてきて波高が少し小さくなったまばたき
Class３：眠気に対抗するために意図的なはっきりとした大きなまばたき
Class４：低覚醒状態で発生する波高が非常に小さくなったまばたき
Class５〜７：低覚醒状態時の持続時間の長いまばたき
Class８：低覚醒状態から一時的に瞬時覚醒する際のまばたき
Class９：群発まばたき
なお、図１０（ａ）〜（ｃ）のいずれにも分類されていないClass１０〜Class１２には、まばたき波形の検出時に誤検出されたもの、まばたき以外の眼球運動の影響を受けたもの、眼球運動かまばたきかの判断が難しいものなどが分類される。
【０１０２】
また、図９は、ピーク高ｘ１と、まばたき持続時間（ｘ２＋ｘ３）の２つのパラメータを用い、これら２つのパラメータを、上記ｘ１〜ｘ３の３つのパラメータを用いた場合と同じ条件、同じ方法でClass１〜Class１２にクラスタリングした場合の、まばたき波形の種別結果を示すものである。図８に示す、３つのパラメータを用いたクラスタリングによる種別結果と比較すると、２つのパラメータの場合には、まばたき時間全体の中でのピーク時間（上記ｘ２、ｘ３に対応する時間）が考慮されないため、特にClass５やClass９のクラスタリング結果において、本来ならばClass１０〜Class１２のまばたき波形以外のものに分類されるべき眼電図（EOG）波形の混入が見られ、まばたき種別のまとまりの悪さが生じている。つまり、３つのパラメータｘ１〜ｘ３を用いてまばたき波形の種別を行うことで、より正確にまばたき波形（パラメータ）の種別を行うことが可能であり、覚醒水準（状態）に、より適応したまばたき波形の種別を行うことが可能である。例えば、図８に示すClass３に分類されるような、眠気に対抗するために対象者が行う意図的なはっきりとした大きなまばたきを、１つのまばたき種類として分類することが可能となる。
【０１０３】
上記のようにして正規化パラメータが種別され、且つ正規化パラメータの種別結果がパラメータ種別部１６から識別情報付与部１７に入力されると、識別情報付与部１７において、種別対象データ記憶部１４を介して、記憶装置７０の所定領域に記憶された、正規化パラメータに対応する特徴パラメータ及び特徴量データを取得する（ステップＳ２０８）。
【０１０４】
そして、入力された識別結果に基づき、前記取得した特徴パラメータ及び特徴量データに対して、まばたき種類（Class１〜Class１２）を識別する識別情報を付与して学習データを生成する（ステップＳ２１０）。本実施の形態においては、例えば、Class１に属する正規化パラメータに対応する特徴パラメータ及びこの特徴パラメータに対応する特徴量データに対しては、これらのデータがClass１に属していることを識別可能な情報（識別ラベル）を付与する。
最終的に、識別情報の付与された特徴パラメータ及び特徴量データは、学習データとして、学習データ記憶部１８を介して、記憶装置７０の所定領域に記憶される（ステップＳ２１２）。
【０１０５】
次に、パターンモデル生成装置１００における、パターンモデル生成処理の動作を説明する。
パターンモデル生成装置１００は、学習データ記憶部１８によって、記憶装置７０の所定領域に、学習データが記憶された状態において、入力装置７４等を介した、ユーザからのまばたき波形用パターンモデルの生成指示又はまばたき映像用パターンモデルの生成指示が与えられると、統計モデル学習部１９において、パターンモデルの生成処理を開始する。
【０１０６】
統計モデル学習部１９は、まばたき波形用パターンモデルの生成指示が与えられた場合（ステップＳ３００の「Ｙｅｓ」の分岐）は、学習データ記憶部１８を介して、記憶装置７０から識別情報の付与された特徴パラメータを取得する（ステップＳ３０２）。そして、当該取得した特徴パラメータを学習データとして統計モデルを学習させて、特徴パラメータを入力とし、入力された特徴パラメータに対するまばたき種類（Class１〜Class１２）の識別結果のデータを出力とするまばたき波形用パターンモデルを生成する（ステップＳ３０４）。本実施の形態においては、統計モデルとしてＨＭＭを用いる。
【０１０７】
ここで、ＨＭＭは、時系列信号の確率モデルであり、複数の定常信号源の間を遷移することで、非定常な時系列信号をモデル化する。例えば、１回のまばたきの時間は、一定ではなく覚醒水準（状態）状況などによりまちまちであるため、それに応じた時間方向の特徴パラメータ数も変化する。従って、ＨＭＭの学習は、具体的に、図１８に示すように、例えば、状態数３のＨＭＭを決定し、上記取得した特徴パラメータから状態の遷移回数を計算し、この計算結果に基づいてある状態から次の状態への遷移確率と、ある状態での特徴パラメータの出力確率とを最尤推定することで行われる。そして、この学習によって得られた遷移確率及び出力確率を有するＨＭＭが、まばたき波形用パターンモデルとなる。
【０１０８】
一方、統計モデル学習部１９は、まばたき映像用パターンモデルの生成指示が与えられた場合（ステップＳ３０８の「Ｙｅｓ」の分岐）は、学習データ記憶部１８を介して、記憶装置７０から識別情報の付与された特徴量データを取得する（ステップＳ３１０）。そして、当該取得した特徴量データを学習データとしてＨＭＭを学習させて、特徴量データを入力とし、入力された特徴量データに対するまばたき種類（Class１〜Class１２）の識別結果（尤度）のデータを出力とするまばたき映像用パターンモデルを生成する（ステップＳ３１２）。なお、ＨＭＭの学習方法は、まばたき波形用パターンモデルのときと同様となるので説明を省略する。
【０１０９】
上記のようにして生成された、まばたき波形用パターンモデル及びまばたき映像用パターンモデルは、パターンモデル記憶部２０を介して、記憶装置７０の所定領域に記憶される（ステップＳ３０６）。
以上、本実施の形態のパターンモデル生成装置１００は、まばたきの眼電図（EOG）波形のピーク高（距離）ｘ１、まばたきの開始からピーク高までの立ち上がり時間ｘ２、ピーク高からまばたきの終了までの立ち下がり時間ｘ３の３つのパラメータを正規化することで、単位（次元）の異なるパラメータが混在したクラスタリングを行うことが可能である。
【０１１０】
また、ｘ１〜ｘ３の３つのパラメータを用いてまばたき種別を行うようにしたので、より正確且つ詳細に眼電図（EOG）波形を種別することが可能である。
また、種別結果に基づき、特徴パラメータ及び特徴量データに識別情報を自動的に付与して学習データを生成するようにしたので、人手をかけずに簡易に識別情報を付与して学習データを生成することが可能である。
また、上記正確且つ詳細に種別された種別結果に基づき、特徴パラメータ及び特徴量データに識別情報を付与して学習データを生成し、この学習データを用いてパターンモデルを生成するようにしたので、まばたき種類の識別結果のデータを精度良く出力できるパターンモデルを生成することが可能である。
【０１１１】
上記第１の実施の形態において、パラメータ正規化部１５は、請求項１又は３記載の正規化手段に対応し、パラメータ種別部１６は、請求項１、４及び５のいずれか１項に記載の種別手段に対応し、識別情報付与部１７は、請求項１記載の識別情報付与手段に対応する。
また、上記第１の実施の形態において、統計モデル学習部１９は、請求項７又は９記載のパターンモデル生成手段に対応する。
【０１１２】
〔第２の実施の形態〕
次に、本発明の第２の実施の形態を図面に基づき説明する。図１１〜図１６は、本発明に係るまばたき波形出現頻度情報生成装置、まばたき波形出現頻度情報生成プログラム及びまばたき波形出現頻度情報生成方法、覚醒状態判定装置、覚醒状態判定プログラム及び覚醒状態判定方法、並びに警告装置、警告装置制御プログラム及び警告装置制御方法の実施の形態を示す図である。
【０１１３】
本実施の形態においては、本発明に係るまばたき波形出現頻度情報生成装置、まばたき波形出現頻度情報生成プログラム及びまばたき波形出現頻度情報生成方法、覚醒状態判定装置、覚醒状態判定プログラム及び覚醒状態判定方法、並びに警告装置、警告装置制御プログラム及び警告装置制御方法を、自動車を運転する運転者の覚醒状態を判定し、その判定結果に基づき運転者に警告を与える警告装置に適用した場合を説明する。
また、本実施の形態の警告装置は、上記第１の実施の形態のパターンモデル生成装置１００において生成された、まばたき波形用パターンモデル及びまばたき映像用パターンモデルを備え、これらパターンモデルを用いて、運転者の所定期間ごとのまばたき種類の識別を行うようになっている。
【０１１４】
まず、本発明に係る警告装置の構成を図に基づき説明する。図１１は、本発明に係る警告装置２００の構成を示すブロック図である。
図１１に示すように、警告装置２００は、運転者の眼部分の映像を含む顔映像を撮影する映像撮影部２１と、運転者のまばたきの眼電図（EOG）波形を測定するまばたき波形測定部２２と、映像撮影部２１で撮影された映像データから特徴量データを抽出し、まばたき波形測定部２２で測定されたまばたき波形データから特徴量データを抽出する特徴量データ抽出部２３と、上記第１の実施の形態のパターンモデル生成装置１００において生成されたパターンモデルを記憶するパターンモデル記憶部２４と、パターンモデル記憶部２４によって記憶されたパターンモデルと、特徴量データ抽出部２３で抽出された特徴量データとに基づきまばたき種類を識別するまばたき種類識別部２５と、所定期間のまばたき種類の識別結果に基づき、まばたき種類の出現頻度情報を生成する出現頻度情報生成部２６とを含んだ構成となっている。
【０１１５】
映像撮影部２１は、自動車内のインナーミラーに設置されたＣＣＤカメラによって、運転席に座っている運転者の顔画像をフレーム単位でリアルタイムに撮影するようになっている。なお、撮影した顔映像はデジタルの顔映像データとして出力する。なお、ＣＣＤカメラの設置位置は、インナーミラーに限らず、撮影対象者の顔全体を含む画像が撮影可能な位置であれば、ステアリング・コラム位置、センター・パネル位置、フロント・ピラー位置等の別の場所でも良い。
まばたき波形測定部２２は、生体計測用交流アンプを有しており、運転者の右眼瞼の上下に装着された電極を介して、リアルタイムに垂直ＥＯＧ（眼電図（EOG）波形）を測定するようになっている。
【０１１６】
特徴量データ抽出部２３は、映像撮影部２１で撮影された運転者の顔映像データから、ＳＶＭを用いて、右眼部分の映像データを抽出すると共に、当該抽出した右眼部分の映像データから特徴量データを抽出するようになっている。具体的には、上記第１の実施の形態と同様に、右眼部分の映像データを構成する各まばたき画像データから、眼球を中央に横１１画素×縦３０画素の抽出領域画像を切り出し、当該抽出領域画像の各画素ライン（横１１画素）ごとの輝度の合計値を算出し、この算出した輝度合計値データ（１回のまばたき映像分）を特徴量データとする。
【０１１７】
更に、特徴量データ抽出部２３は、まばたき波形測定部２２で測定されたまばたきの眼電図（EOG）波形データ（まばたき波形データ）から、上記第１の実施の形態と同様に、まばたき波形のピーク高（距離）ｘ１、まばたきの開始からピーク高までの立ち上がり時間ｘ２、ピーク高からまばたきの終了までの立ち下がり時間ｘ３の３つの特徴パラメータを特徴量データとして抽出するようになっている。
パターンモデル記憶部２４は、上記第１の実施の形態のパターンモデル生成装置１００で生成された、まばたき波形用パターンモデルと、まばたき映像用パターンモデルとを、後述する記憶装置９０の所定領域に記憶するようになっている。
【０１１８】
まばたき種類識別部２５は、設定された識別モードに対応するパターンモデルを用いて、リアルタイムに入力される特徴量データに対するまばたき種類を識別するようになっている。本実施の形態においては、映像撮影部２１で撮影された顔映像データから抽出されるまばたき映像の特徴量データを用いて識別を行うまばたき映像モードと、まばたき波形測定部２２で測定されたまばたき波形データから抽出されるまばたき波形データの特徴量データを用いて識別を行うまばたき波形モードとの２つのモードから、ユーザが任意のモードを設定できるようになっている。
【０１１９】
つまり、まばたき映像モードが設定された場合は、パターンモデル記憶部２４によって記憶されたまばたき映像用パターンモデルと、特徴量データ抽出部２３で抽出したまばたき映像データの特徴量データとに基づき、当該特徴量データに対するまばたき種類を識別する。一方、まばたき波形モードが設定された場合は、パターンモデル記憶部２４によって記憶されたまばたき波形用パターンモデルと、特徴量データ抽出部２３で抽出したまばたき波形データの特徴量データとに基づき、当該特徴量データに対するまばたき種類を識別する。
【０１２０】
出現頻度情報生成部２６は、まばたき種類識別部２５の所定期間における識別結果に基づき、各まばたき種類（Class１〜Class１２）の出現頻度の所定期間における時間変化を示す出現頻度情報を生成するようになっている。本実施の形態においては、所定期間における所定時間幅（例えば、６０秒）ごとの識別結果に基づき、当該所定時間幅における各種類のまばたきの出現頻度を順次算出して、所定時間幅ごとの出現頻度を示す副出現頻度情報を生成する。そして、所定期間分の副出現頻度情報から出現頻度情報を生成し、当該生成した出現頻度情報を覚醒状態判定部２７に出力する。
【０１２１】
警告装置２００は、更に、出現頻度情報生成部２６で生成された出現頻度情報に基づき、運転者の覚醒状態を判定する覚醒状態判定部２７と、覚醒状態判定部２７の判定結果に基づき運転者に警告を与える警告部２８とを含んだ構成となっている。
覚醒状態判定部２７は、各副出現頻度情報の示す各Classのまばたき種類の出現頻度、出現頻度情報から解る各出現頻度の時間変化などに基づき、運転者の覚醒状態を判定する。判定する覚醒状態としては、意識のはっきりとした覚醒状態から居眠りに至るまでの間に段階的に変化する状態が含まれる。例えば、正常な状態、弱い眠気を感じている状態、眠気を感じている状態、強い眠気を感じている状態、居眠り状態などが含まれる。
【０１２２】
また、Class１〜Class１２は、上記第１の実施の形態で説明したように、覚醒状態に応じて分類できるので、まばたき波形であるClass１〜Class９の各Classの出現頻度と、当該出現頻度の時間変化とから覚醒状態を判定する。
警告部２８は、覚醒状態判定部２７の判定結果に基づき、覚醒状態の内容に応じた警告を運転者に与えるようになっている。
具体的には、例えば、弱い眠気を感じていると判定された場合は、休憩をとることを進める音声メッセージを出力し、眠気を感じていると判定された場合は、やや大きい音量で警告音を出力し、強い眠気を感じている又は居眠り状態であると判定された場合は、極めて大きい音量で警告音を出力する。
【０１２３】
更に、警告装置２００は、上記各部の制御をソフトウェア上で実現するためのコンピュータシステムを備えており、そのハードウェア構成は、図１２に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０と、主記憶装置（Ｍａｉｎ Ｓｔｏｒａｇｅ）を構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８２と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８４との間をＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等からなる各種内外バス８８で接続すると共に、このバス８８に入出力インターフェース（Ｉ／Ｆ）８６を介して、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの内部又は外部記憶装置（Ｓｅｃｏｎｄａｒｙ Ｓｔｏｒａｇｅ）９０や、ＬＣＤモニター等の出力装置９２、操作パネルやリモコンなどの入力装置９４、及び図示しない外部装置などと通信するためのネットワークＬなどを接続したものである。
【０１２４】
そして、電源を投入すると、ＲＯＭ８４等に記憶されたＢＩＯＳ等のシステムプログラムが、ＲＯＭ８４に予め記憶された各種専用のコンピュータプログラム、あるいは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などの記憶媒体を介して、又はインターネットなどの通信ネットワークＬを介して記憶装置９０にインストールされた各種専用のコンピュータプログラムを同じくＲＡＭ８２にロードし、そのＲＡＭ８２にロードされたプログラムに記述された命令に従ってＣＰＵ８０が各種リソースを駆使して所定の制御及び演算処理を行うことで前述したような各手段の各機能をソフトウェア上で実現できるようになっている。
【０１２５】
次に、図１３に基づき、このような構成をした警告装置２００における、特徴量データ抽出処理の流れを説明する。ここで、図１３は、警告装置２００における特徴量データ抽出処理を示すフローチャートである。
特徴量データ抽出処理は、図１３に示すように、まずステップＳ４００に移行し、特徴量データ抽出部２３において、識別処理のモードとして、まばたき映像モードが設定されているか否かを判定し、設定されていると判定された場合(Yes)は、ステップＳ４０２に移行し、そうでない場合(No)は、ステップＳ４１０に移行する。
【０１２６】
ステップＳ４０２に移行した場合は、特徴量データ抽出部２３において、映像撮影部２１から、ＣＣＤカメラによって撮影された運転者の顔映像データを取得してステップＳ４０４に移行する。
ステップＳ４０４では、特徴量データ抽出部２３において、ＳＶＭを用いて、ステップＳ４０２で取得した顔映像データからまばたき映像データを検出し、当該検出したまばたき映像データから特徴量データを抽出してステップＳ４０６に移行する。
【０１２７】
ステップＳ４０６では、まばたき種類識別部２５において、パターンモデル記憶部２４からまばたき映像用パターンモデルを取得し、当該取得したまばたき映像用パターンモデルと、ステップＳ４０４で抽出した特徴量データとに基づき、当該特徴量データに対応するまばたき種類を識別してステップＳ４０８に移行する。
ステップＳ４０８では、まばたき種類識別部２５において、ステップＳ４０６又はステップＳ４１６の識別結果を出現頻度情報生成部２６に出力してステップＳ４００に移行する。
【０１２８】
一方、ステップＳ４００において、まばたき映像モードではなくステップＳ４１０に移行した場合は、特徴量データ抽出部２３において、識別処理のモードとして、まばたき波形モードが設定されているか否かを判定し、設定されていると判定された場合(Yes)は、ステップＳ４１２に移行し、そうでない場合(No)は、ステップＳ４００に移行する。
ステップＳ４１２に移行した場合は、特徴量データ抽出部２３において、まばたき波形測定部２２から、まばたき波形データを取得してステップＳ４１４に移行する。
【０１２９】
ステップＳ４１４では、特徴量データ抽出部２３において、ステップＳ４１２で取得したまばたき波形データから、単位の異なる複数の特徴量データ（特徴パラメータ）を抽出してステップＳ４１６に移行する。
ステップＳ４１６では、まばたき種類識別部２５において、パターンモデル記憶部２４からまばたき波形用パターンモデルを取得し、当該取得したまばたき波形用パターンモデルと、ステップＳ４１４で抽出した特徴量データ（特徴パラメータ）とに基づき、当該特徴量データに対応するまばたき種類を識別してステップＳ４０８に移行する。
【０１３０】
次に、図１４に基づき、警告装置２００における、出現頻度情報生成処理の流れを説明する。ここで、図１４は、警告装置２００における出現頻度情報生成処理を示すフローチャートである。
出現頻度情報生成処理は、図１４のフローチャートに示すように、まずステップＳ５００に移行し、出現頻度情報生成部２６において、まばたき種類識別部２５から識別結果を取得したか否かを判定し、取得したと判定された場合(Yes)は、ステップＳ５０２に移行し、そうでない場合(No)は、取得するまで待機する。本実施の形態において、識別結果は、識別結果のまばたき種類の情報と、特徴量データに対応するまばたき映像データ又はまばたき波形データの取得時刻の情報とを含んでいる。
【０１３１】
ステップＳ５０２に移行した場合は、出現頻度情報生成部２６において、識別結果をＲＡＭ８２又は記憶装置９０の所定領域に記憶してステップＳ５０４に移行する。本実施の形態においては、ＲＡＭ９２を優先使用し、ＲＡＭ９２のメモリ容量に応じて、適宜記憶先を変更する。
ステップＳ５０４では、出現頻度情報生成部２６において、識別結果の時刻時間差が所定時間を越えたか否かを判定し、超えたと判定された場合(Yes)は、ステップＳ５０６に移行し、そうでない場合(No)は、ステップＳ５００に移行する。
【０１３２】
本実施の形態においては、時間差を算出する基準として、所定の識別結果に開始位置を示すフラグを設定し、開始位置を示すフラグを有する識別結果の時刻と、現在取得した識別結果の時刻との時間差が所定時間を超えたか否かを判定する。また、所定時間を越えた場合には、開始位置を示すフラグを、現在取得した識別結果に設定変更する。
ステップＳ５０６に移行した場合は、出現頻度情報生成部２６において、所定時間分の識別結果に基づき、各まばたき種類ごとの所定時間における出現頻度を算出してステップＳ５０８に移行する。
【０１３３】
ステップＳ５０８では、出現頻度情報生成部２６において、ステップＳ５０６で算出した出現頻度に基づき、所定時間におけるまばたき種類の出現頻度を示す副出現頻度情報を生成してステップＳ５１０に移行する。
ステップＳ５１０では、出現頻度情報生成部２６において、ステップＳ５０８で生成した副出現頻度情報を、ＲＡＭ８２又は記憶装置９０の所定領域に記憶してステップＳ５１２に移行する。
【０１３４】
ステップＳ５１２では、出現頻度情報生成部２６において、所定期間分の副出現頻度情報が蓄積されたか否かを判定し、蓄積されたと判定された場合(Yes)は、ステップＳ５１４に移行し、そうでない場合(No)は、ステップＳ５００に移行する。
ステップＳ５１４に移行した場合は、出現頻度情報生成部２６において、ステップＳ５０８で記憶した所定期間分の副出現頻度情報に基づき、出現頻度情報を生成してステップＳ５１６に移行する。
ステップＳ５１６では、出現頻度情報生成部２６において、ステップＳ５１４で生成した出現頻度情報を覚醒状態判定部２７に出力してステップＳ５００に移行する。
【０１３５】
次に、図１５に基づき、警告装置２００における、覚醒状態判定処理及び警告処理の流れを説明する。ここで、図１５は、警告装置２００における覚醒状態判定処理及び警告処理を示すフローチャートである。
覚醒状態判定処理及び警告処理は、図１５のフローチャートに示すように、まずステップＳ６００に移行し、覚醒状態判定部２７において、出現頻度情報生成部２６から出現頻度情報を取得したか否かを判定し、取得したと判定された場合(Yes)は、ステップＳ６０２に移行し、そうでない場合(No)は、取得するまで待機する。
【０１３６】
ステップＳ６０２に移行した場合は、覚醒状態判定部２７において、ステップＳ６００で取得した出現頻度情報に基づき、運転者の覚醒状態を判定してステップＳ６０４に移行する。ここで、覚醒状態の判定は、出現頻度情報
ステップＳ６０４では、警告部２８において、ステップＳ６０２の判定結果に基づき、運転者は弱い眠気を感じた状態であるか否かを判定し、そうである場合(Yes)は、ステップＳ６０６に移行し、そうでない場合(No)は、ステップＳ６０８に移行する。
【０１３７】
ステップＳ６０６に移行した場合は、警告部２８において、警告処理（１）を実行してステップＳ６００に移行する。ここで、警告処理（１）を実行すると、休憩をとることを進める音声メッセージを出力される。
一方、ステップＳ６０８に移行した場合は、警告部２８において、運転者は眠気を感じた状態であるか否かを判定し、そうである場合(Yes)は、ステップＳ６１０に移行し、そうでない場合(No)は、ステップＳ６１２に移行する。
【０１３８】
ステップＳ６１０に移行した場合は、警告部２８において、警告処理（２）を実行してステップＳ６００に移行する。ここで、警告処理（２）を実行すると、車内に配設されたスピーカからやや大きい音量（例えば、５０％のボリューム）で警告音及び警告メッセージが出力される。
一方、ステップＳ６１２に移行した場合は、警告部２８において、強い眠気を感じた状態であるか否か又は居眠り状態であるか否かを判定し、強い眠気を感じた状態又は居眠り状態である場合(Yes)は、ステップＳ６１４に移行し、そうでない場合(No)は、ステップＳ６００に移行する。
ステップＳ６１４に移行した場合は、警告部２８において、警告処理（３）を実行してステップＳ６００に移行する。ここで、警告処理（３）を実行すると、車内に配設されたスピーカから極めて大きい音量（例えば、７０％以上のボリューム）で警告音及び警告メッセージが出力される。
【０１３９】
次に、図１６及び図１７に基づき、本実施の形態の動作を説明する。
ここで、図１６は、まばたき波形用パターンモデルの識別結果を用いて生成された出現頻度情報の一例を示す図である。また、図１７は、まばたき映像用パターンモデルの識別結果を用いて生成された出現頻度情報の一例を示す図である。
警告装置２００は、入力装置９４を介してユーザの任意の識別モードが設定され、識別処理が開始されると、まず、設定された識別モードがまばたき映像モードであるか否かを判定する（ステップＳ４００）。設定された識別モードがまばたき映像モードである場合（ステップＳ４００の「Ｙｅｓ」の分岐）は、特徴量データ抽出部２３において、映像撮影部２１から顔映像データを取得する（ステップＳ４０２）。更に、特徴量データ抽出部２３は、ＳＶＭを用いて取得した顔映像データから右眼のまばたき映像データを検出し、当該検出したまばたき映像データから特徴量データを抽出する（ステップＳ４０４）。この特徴量データの抽出は、上記第１の実施の形態のパターンモデル生成装置１００における特徴量データ抽出部１３と同様の方法を用いる。つまり、１回のまばたきに対応するまばたき映像データを構成する各まばたき画像データにおける、抽出領域画像の３０ライン分の各ラインごとの輝度合計値のデータが特徴量データとして抽出される。
【０１４０】
特徴量データが抽出されると、まばたき種類識別部２５は、パターンモデル記憶部２４を介して、記憶装置９０に記憶された、まばたき映像用パターンモデルを取得し、当該取得したまばたき映像用パターンモデルに特徴量データを入力して、まばたき映像用パターンモデルから出力される各まばたき種類（Class１〜Class１２）に対する尤度に基づき、まばたき種類を識別する。具体的には、尤度の最も高いまばたき種類を、入力された特徴量データに対する識別結果とする。そして、この識別結果を、出現頻度情報生成部２６に出力する（ステップＳ４０８）。
【０１４１】
一方、識別モードとして、まばたき波形モードが設定されている場合（ステップＳ４１０の「Ｙｅｓ」の分岐）は、特徴量データ抽出部２３は、まばたき波形測定部２２からまばたき波形データを取得する（ステップＳ４１２）。そして、当該取得したまばたき波形データから、上記第１の実施の形態のパターンモデル生成装置１００におけるパラメータ抽出部１２と同様に、まばたき波形のピーク高（距離）ｘ１、まばたきの開始からピーク高までの立ち上がり時間ｘ２、ピーク高からまばたきの終了までの立ち下がり時間ｘ３の３つの特徴パラメータを特徴量データとして抽出する（ステップＳ４１４）。
【０１４２】
特徴量データが抽出されると、まばたき種類識別部２５は、パターンモデル記憶部２４を介して、記憶装置９０に記憶された、まばたき波形用パターンモデルを取得し、当該取得したまばたき映像用パターンモデルに特徴量データを入力して、まばたき映像用パターンモデルから出力される各まばたき種類（Class１〜Class１２）に対する尤度に基づき、まばたき種類を識別する（ステップＳ４１６）。そして、識別結果を、出現頻度情報生成部２６に出力する（ステップＳ４０８）。
【０１４３】
一方、出現頻度情報生成部２６は、上記いずれかの識別モードによる識別結果を取得するごとに（ステップＳ５００の「Ｙｅｓ」の分岐）、当該識別結果をＲＡＭ８２又は記憶装置９０の所定領域に記憶する（ステップＳ５０２）。ここで、前述したように、識別結果は、識別時の特徴量データに対応するまばたき映像データ又はまばたき波形データの取得時刻情報と、識別されたまばたきの種類情報とを含む情報である。なお、最初に取得した識別結果に対しては、所定時間幅の開始位置を示すフラグを設定する。
【０１４４】
そして、開始位置を示すフラグの設定された識別情報の示す時刻と、現在取得した識別情報の示す時刻とから、これらの時間差を算出し、当該時間差が所定時間（ここでは、６０秒とする）を超えているか否かを判定する（ステップＳ５０４）。６０秒を超えている場合は（ステップＳ５０４の「Ｙｅｓ」の分岐）、開始位置の識別結果から現在取得した識別結果の１つ前の識別結果までの識別結果群に基づき、６０秒間における各まばたき種類の出現頻度（出現回数）を算出し（ステップＳ５０６）、この出現頻度と時刻情報（例えば、識別情報の取得時刻範囲「１２：０１：２０〜１２：０２：２０」）とを対応付けて副出現頻度情報を生成する（ステップＳ５０８）。そして、当該生成した副出現頻度情報をＲＡＭ８２又は記憶装置９０の所定領域に記憶する（ステップＳ５１０）。
【０１４５】
ここで、設定変更前の開始位置の識別結果から現在取得した識別結果の１つ前の識別結果までの識別結果群に対して、前記時刻情報を付してグループ化する。また、所定期間の開始位置となる識別結果に対しては、所定期間の開始を示すフラグを設定する。ここでは、所定期間を「５分（３００秒）」とする。
そして、ＲＡＭ８２又は記憶装置９０の所定領域に所定期間分の副出現頻度情報が蓄積されると（ステップＳ５１２の「Ｙｅｓ」の分岐）、所定期間分の副出現頻度情報を時刻順にグループ化して出現頻度情報を生成し（ステップＳ５１４）、当該生成した出現頻度情報を覚醒状態判定部２７に出力する。
【０１４６】
覚醒状態判定部２７は、出現頻度情報生成部２６から出現頻度情報を取得すると（ステップＳ６００の「Ｙｅｓ」の分岐）、出現頻度情報に基づき覚醒状態を判定する（ステップＳ６０２）。なお、出現頻度情報は、時刻順に連続して出現頻度情報生成部２６から取得され、４０分間分の出現頻度情報を時刻順にグラフに表すと、まばたき波形モードで生成された場合は図１６に示すようになる。また、覚醒状態判定部２７は、現在取得した出現頻度情報だけではなく、過去に取得した出現頻度情報にも基づいて覚醒状態を判定する。
なお、図１６に示す出現頻度情報は、ある一人の被験者に対する、実際に測定したまばたき波形データに対するまばたき波形用パターンモデルの識別結果に基づき、上記まばたき波形モードで生成されたものである。このまばたき波形用パターンモデルは、上記第１の実施の形態で生成されたものと同じものである。
【０１４７】
また、図１７は、図１６と同じ被験者について、実際にまばたき波形の測定と同時に撮影したまばたき映像データを用いて、上記まばたき映像モードで生成した出現頻度情報を示す図である。つまり、図１７に示す出現頻度情報は、まばたき映像用パターンモデルを用いた識別結果に基づき生成されている。このまばたき映像用パターンモデルは、上記第１の実施の形態において説明したように、眼電図(EOG)波形から抽出した特徴パラメータを、クラスタリングによりClass１〜Class１２の１２種類のまばたき種類に種別した結果に基づき生成された、まばたき映像データの特徴量データを学習データとして生成されるものである。但し、上記第１の実施の形態においては、１２種類のまばたき種類の全種類に対応する学習データを用いてまばたき映像用パターンモデルを生成しているのに対して、図１７の出現頻度情報の生成に用いられるまばたき映像用パターンモデルは、Class１〜Class９に種別された９種類のまばたき種類に対応する学習データのみを用いて生成されている。従って、図１７を見ると解るように、その出現頻度情報には、Class１〜Class９に種別されたまばたき波形の出現頻度しか示されていない。
【０１４８】
このようにした理由は、Class１０〜Class１２に種別されたまばたき波形（特徴パラメータ）が、まばたき以外の眼球運動などの影響による眼電図(EOG)波形であり、覚醒水準との関連性が極めて低いためである。
従って、図１７に示す出現頻度情報と、図１６に示す出現頻度情報とを比較すると、図１７に示す、まばたき映像入力のみからまばたき種類を識別して生成されたまばたき種類の出現頻度の時間的変化（出現頻度情報）が、図１６に示す、まばたき種類の種別の基準となる眼電図（EOG）波形入力からまばたき種類を識別して生成されたものに対して、ほぼ同じ内容となる。つまり、Class１０〜Class１２のまばたき種類が出現頻度情報に与える影響は極めて小さいことが解る。
【０１４９】
図１６及び図１７に示すように、この被験者は、序盤から弱い眠気を感じており、中盤（２０分前後）から後半にかけて段階的に眠気が増していき、途中、外的要因によって一時的に覚醒しているが、４０分後には睡眠状態（居眠り状態）になっている。
より具体的には、図１６及び図１７に示すように、運転初期から高覚醒状態時の標準的なまばたき種類であるClass１に加えて、眠気によりまぶたの落ちてきたまばたき種類であるClass２の発生が始まる。運転中盤にかけて覚醒状態の低下が進み、Class２のまばたき種類の増加と共にClass３の眠気に対抗するための意図的なはっきりとしたまばたき種類が増加している。運転者の覚醒状態が著しく低下した運転中盤以降から終盤にかけては、Class４の低覚醒状態で発生する波高の小さいまばたき種類が発生し、同時にClass５〜Class７の低覚醒状態時の持続時間の長いまばたき種類も発生している。また、低覚醒状態から外的要因により一時的に瞬時覚醒したときに、Class８のまばたき種類が発生している。
【０１５０】
従って、図１６及び図１７の例の場合は、序盤からしばらくは、運転者が弱い眠気を感じていると判定し（ステップＳ６０４の「Ｙｅｓ」の分岐）、警告部２８において、警告処理（１）を実行し、休憩を促す音声メッセージを出力する（ステップＳ６０６）。また、途中から中盤までは運転者が眠気を感じていると判定し（ステップＳ６０８の「Ｙｅｓ」の分岐）、警告部２８において、警告処理（２）を実行し、最大音量の５０％の音量で警告音を出力する（ステップＳ６１０）。また、中盤から後半にかけては、運転者が強い眠気を感じている又は居眠り状態であると判定し（ステップＳ６１２の「Ｙｅｓ」の分岐）、警告部２８において、警告処理（３）を実行し、最大音量の７０％以上の音量で警告音を出力する（ステップＳ６１４）。
【０１５１】
ここで、より具体的な覚醒状態の判断（判定）方法として、まず、図１６及び図１７に基づき、ある特定の１種類のまばたき種類に着目して覚醒状態を判断（判定）する方法を説明する。
図１６や図１７に示された、まばたき種類の出現頻度の時間的変化（経時変化）を見ると解るように、１５分を過ぎたあたりからClass１の高覚醒時の標準的なまばたきの発生が減少し、２０分以降には発生しなくなる。また、同じ時間帯において、Class３の眠気に対抗した意図的なはっきりとした大きなまばたきが発生している。つまり、Class１及びClass３のまばたきの発生状態に着目することで、８分後から２０分後にかけて運転者は眠気を感じており（Class１から）、かつその眠気に対抗しようとしている（Class３から）と判断（判定）することができる。
【０１５２】
更に、図１６及び図１７に示すように、２０分を過ぎると、それまでは発生していなかったClass４の低覚醒状態で発生する波高が非常に小さくなったまばたきが発生し始める。つまり、Class４のまばたきの発生状態に着目することで、運転者は、２０分を過ぎたあたりから非常に強い眠気を感じていると判断（判定）することができる。
【０１５３】
次に、図１６及び図１７に基づき、複数種類のまばたきの出現頻度の割合から覚醒状態を判断（判定）する方法を説明する。図１６及び図１７に示すように、１５分を過ぎたあたりからClass１の高覚醒時の標準的なまばたきの出現割合が減少し、かつClass３の眠気に対抗した意図的なはっきりとした大きなまばたきの出現割合が高くなっている。更に、１５分を過ぎたあたりから２０分後にかけて、Class３のまばたきと、Class２の眠気によりまぶたが落ちてきて波高が小さくなったまばたきとが、各所定時間（図では、６０秒間）で発生するまばたきのほぼ全てを占めるようになっている。つまり、Class１〜Class３のまばたきの出現頻度の割合に着目することで、運転者は、８分後から２０分後にかけて眠気を感じており、かつその眠気に対抗しようとしていると判断（判定）することができる。
【０１５４】
更に、図１６及び図１７に示すように、２０分を過ぎると、Class４の低覚醒状態で発生する波高が非常に小さくなったまばたきと、Class５〜Class７の低覚醒状態時の持続時間の長いまばたきの発生回数が増加し、これらの合計発生回数から、Class４並びにClass５〜Class７のまばたきが各所定時間で発生するまばたきのほぼ全てを占めるようになる。このことから、運転者は、２０分を過ぎたあたりから非常に強い眠気を感じていると判断（判定）することができる。
【０１５５】
なお、図１６及び図１７において、まばたき種類の出現頻度情報が、同図の時間軸（横軸）における７分を経過後から出現（開始）しているのは、あくまでも、データを取得した今回の実験の都合上であり、実際の実用上は、データ取得直後からの出現頻度情報を生成することが可能である。
また、上記第１及び第２の実施の形態において、眼電図（EOG:Electro-oculography）の波形データを用いた部分は、これに代えて、あるいはこれと同時に眼輪筋電図(EMG:Electro-myography)の波形データを使用してもよい。
【０１５６】
以上、本実施の形態の警告装置２００は、上記第１の実施の形態のパターンモデル生成装置１００で生成したパターンモデルを用いて、まばたき種類の識別を行うことができるので、これにより、一般に分類されるまばたき種類よりも多い種類（上記Class１〜Class１２）のまばたき種類を識別することが可能である。
また、所定期間における所定時間幅のまばたき種類の出現頻度の時間変化の情報である出現頻度情報を生成し、この出現頻度情報に基づき運転者の覚醒状態を判定することができるので、覚醒した状態から睡眠状態に至るまでの間に段階的な発生する様々な覚醒状態を判定することが可能であり、これにより、眠気の強弱をより正確に判定することができるので、より適切な警告を与えることが可能である。
【０１５７】
上記第２の実施の形態において、映像撮影部２１は、請求項１１記載の撮影手段又は請求項１６記載のまばたき映像撮影手段に対応し、まばたき波形測定部２２は、請求項１０若しくは請求項１３記載の眼電図波形測定手段又は請求項１５記載のまばたき眼電図波形測定手段に対応し、特徴量データ抽出部２３におけるまばたき映像データから特徴量データを抽出する処理は、請求項１１記載の特徴量データ抽出手段又は請求項１６記載の特徴量抽出手段に対応し、特徴量データ抽出部２３におけるまばたき波形データから特徴量データ（特徴パラメータ）を抽出する処理は、請求項１１若しくは請求項１３記載のまばたきデータ抽出手段又は請求項１５記載の特徴量抽出手段に対応し、まばたき種類識別部２５は、請求項１０若しくは請求項１１若しくは請求項１３記載のまばたき波形識別手段又は請求項１５若しくは請求項１６記載のまばたき種類識別手段に対応する。
【０１５８】
また、上記第２の実施の形態において、出現頻度情報生成部２６は、請求項１０、１１及び１３のいずれか１項に記載の出現頻度情報生成手段又は請求項１５若しくは請求項１６記載のまばたき波形種類出現頻度情報生成手段に対応し、覚醒状態判定部２７は、請求項１２若しくは請求項１３記載の覚醒状態判定手段又は請求項１５若しくは請求項１６記載の覚醒状態判断手段に対応し、警告部２８は、請求項１７記載の警告手段に対応する。
【０１５９】
なお、上記第１の実施の形態においては、パターンモデルをＨＭＭから構成する例を説明したが、これに限らず、ＳＶＭやニューラルネットワークなどの他の統計モデルから構成するようにしても良い。
また、上記第２の実施の形態では、撮影対象者の右眼領域を検出し覚醒状態の判定を行う例を説明したが、撮影環境や適用するシステムの種類などに応じて撮影対象者の左眼領域や両眼領域を検出して判定を行うようにしても良い。
【０１６０】
また、上記第１及び第２の実施の形態においては、まばたき画像データから切り出した抽出部分画像のラインごと輝度合計を特徴量データとして抽出するようにしたが、これに限らず、まばたき画像データをフーリエ変換してその周波数スペクトル成分を特徴量として抽出するなど、他の特徴量を抽出するようにしても良い。
また、上記第２の実施の形態においては、出現頻度情報に基づき対象者（運転者）の覚醒状態を判定するようにしたが、これに限らず、出現頻度情報に基づき対象者の緊張状態など、対象者の他の状態を判定するようにしても良い。
【図面の簡単な説明】
【０１６１】
【図１】本発明に係るパターンモデル生成装置１００の構成を示すブロック図である。
【図２】パターンモデル生成装置１００のハードウェア構成を示すブロック図である。
【図３】まばたき波形データからのパラメータの抽出処理及びまばたき映像データからの特徴量データの抽出処理を示すフローチャートである。
【図４】学習データ生成処理を示すフローチャートである。
【図５】パターンモデル生成装置１００における、パターンモデル生成処理を示すフローチャートである。
【図６】まばたき波形データから抽出するパラメータの説明図である。
【図７】（ａ）及び（ｂ）は、まばたき映像データから抽出する特徴量データの説明図である。
【図８】３種類のパラメータを用いて本発明の手法によって種別された、ある一人の被験者に対するまばたき波形を示す図である。
【図９】２種類のパラメータを用いて本発明の手法によって種別された、ある一人の被験者に対するまばたき波形を示す図である。
【図１０】（ａ）〜（ｃ）は、ある一人の被験者に対するＺスコアのレーダーチャートである。
【図１１】本発明に係る警告装置２００の構成を示すブロック図である。
【図１２】警告装置２００のハードウェア構成を示すブロック図である。
【図１３】警告装置２００における特徴量データ抽出処理を示すフローチャートである。
【図１４】警告装置２００における出現頻度情報生成処理を示すフローチャートである。
【図１５】警告装置２００における覚醒状態判定処理及び警告処理を示すフローチャートである。
【図１６】まばたき波形用パターンモデルの識別結果を用いて生成された出現頻度情報の一例を示す図である。
【図１７】まばたき映像用パターンモデルの識別結果を用いて生成された出現頻度情報の一例を示す図である。
【図１８】ＨＭＭの一例を示す図である。
【符号の説明】
【０１６２】
１００ パターンモデル生成装置
２００ 警告装置
１０ まばたき波形データ記憶部
１１ まばたき映像データ記憶部
１２ パラメータ抽出部
１３ 特徴量データ抽出部
１４ 種別対象データ記憶部
１５ パラメータ正規化部
１６ パラメータ種別部
１７ 識別情報付与部
１８ 学習データ記憶部
１９ 統計モデル学習部
２０ パターンモデル記憶部
２１ 映像撮影部
２２ まばたき波形測定部
２３ 特徴量データ抽出部
２４ パターンモデル記憶部
２５ まばたき種類識別部
２６ 出現頻度情報生成部
２７ 覚醒状態判定部
２８ 警告部
【技術分野】
【０００１】
本発明は、まばたきの眼電図（EOG）波形に係るデータを種別するまばたきデータ種別装置、当該種別したまばたきの眼電図（EOG）波形に係るデータに基づきパターンモデルを生成するパターンモデル生成装置、当該生成したパターンモデルを用いて対象者の所定期間のまばたき種類の出現頻度の時間的変化の情報である出現頻度情報を生成するまばたき波形出現頻度情報生成装置、当該生成した波形種類の出現頻度情報に基づき対象者の覚醒状態を判定する覚醒状態判定装置、まばたき波形種類の出現頻度の時間変化に基づき対象者の覚醒状態を判断する覚醒状態判断装置、及び前記覚醒状態の判定結果に基づき対象者に警告を与える警告装置に関する。
【背景技術】
【０００２】
近年、ＩＴＳ（高度道路交通システム）の実用化に向けた研究開発は、情報処理技術の発展及び高度化に伴って急速に展開されてきており、新規市場としての産業界からの注目度も高まっている。ＩＴＳの中心的な役割を果たすものとして、運転支援・ナビゲーションシステムなどがあるが、道路・交通状況や車の挙動のみならず、ドライバの特性やその時々の状態に応じた支援や情報提示が望まれている。中でも、ドライバの覚醒水準の評価は、古くからの課題とされており、脳波、皮膚電気活動、心拍、まばたきなどの生理反応を利用した研究が数多く行われてきている。特に、まばたきの発生パターンや眼球運動を示す波形のパラメータは、被験者の覚醒水準によって変化することが知られており、まばたきの発生パターンやまばたき時の眼球運動を示す波形のパラメータを利用したドライバの居眠り検出などの研究が進められている。
【０００３】
また、まばたき時の眼球運動を示す波形のパラメータを利用して覚醒状態を判定する技術として、特許文献１に記載の動作内容判定装置がある。この動作内容判定装置は、眼部分の複数フレームの映像データに対する特徴量の入力に対して対象者のまばたきの眼電図（EOG）波形の種類に対する尤度を出力する眼状態判定用ＨＭＭを有しており、前記特徴量の入力に対して眼状態判定用ＨＭＭから出力された尤度に基づいて対象者の覚醒状態を判定するものである。
【０００４】
この特許文献１の従来技術においては、眼状態判定用ＨＭＭの生成時において、１回１回のまばたきの眼電図（EOG）波形における、まばたきの振幅、持続時間及び速度などのパラメータに基づいて眼電図（EOG）波形の種類を判断し、この判断結果に基づき、前記眼電図（EOG）波形に対応する眼部分の複数フレームの映像データから抽出した特徴量に対して、前記眼電図（EOG）波形の種類を識別するための識別情報を付与し、この識別情報の付与された特徴量を学習データとしてＨＭＭを学習させている。
【０００５】
また、特許文献２の覚醒状態検出装置は、単位時間において、まばたきの閉眼時間が基準時間以上であるものを順次積算して、その閉眼時間積算値が設定値以上になったときに覚醒状態が低下していると判断する。
【特許文献１】ＷＯ−Ａ１−２００５／１１４５７６号公報
【特許文献２】特開平７−１５６６８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１の従来技術において、まばたきの眼電図（EOG）波形の種類を識別するための識別情報（識別ラベル）を、例えば、映像データから抽出した特徴量に付与する作業は、映像データに対応するまばたきの眼電図（EOG）波形を人が目視で判断して行っており、付与対象のデータ量が増大するほど多大な労力及びコストが必要になるという問題があった。
【０００７】
また、この識別情報の付与（ラベル付け）は、その作業を行う人毎に解釈が異なるため、できるだけ同じ人が（又は少人数で）やることが望ましく、このため、より多くの作業時間がかかるという問題があった。
また、従来、把握されたまばたき波形の種類（モデル）は、正確に把握されていたかの検証が十分ではなく、更なる正確なモデルの把握が求められていた。
【０００８】
また、上記特許文献１及び特許文献２の従来技術においては、覚醒度の低下に伴いまばたき時間が長くなるという指標や、眠気が生じるころのまばたき波形は、波高が小さく、波形の立ち上がり角度と立ち下り角度が緩やかで持続時間が短いといった指標などの単一の指標を用いているため、居眠り状態に移行するまでに発生する多種多様な覚醒水準を推定することは困難であった。
【０００９】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、まばたきの眼電図（EOG）波形の種類を種別するのに好適で且つまばたきの種類を識別する情報を当該眼電図（EOG）波形に係るまばたきデータに効率よく付与することが可能なまばたきデータ種別装置、当該種別したまばたきデータに基づきパターンモデルを生成するパターンモデル生成装置、当該生成したパターンモデルを用いて対象者の所定期間のまばたき種類の出現頻度の時間的変化の情報である出現頻度情報を生成するまばたき波形出現頻度情報生成装置、当該出現頻度情報に基づき対象者の覚醒状態を判定（判断）する覚醒状態判定装置及び覚醒状態判断装置、並びに覚醒状態の判定結果に基づき対象者に警告を与える警告装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る請求項１記載のまばたきデータ種別装置は、 まばたきの眼電図（EOG）波形に係るデータであるまばたきデータを種別するまばたきデータ種別装置であって、
前記まばたきの眼電図（EOG）波形のデータである眼電図（EOG）波形データから抽出された、単位の異なる複数種類のパラメータを正規化する正規化手段と、
前記正規化手段で正規化された複数種類のまばたきの前記眼電図（EOG）波形データに対応するパラメータを、所定のクラスタリング手法を用いて種別する種別手段と、
前記種別手段の種別結果に基づき、前記種別された各パラメータに対応する前記まばたきデータに対して、前記各パラメータの属する種類の識別情報をそれぞれ付与する識別情報付与手段と、を備えることを特徴としている。
【００１１】
このような構成であれば、正規化手段によって、まばたきの眼電図（EOG）波形のデータである眼電図（EOG）波形データから抽出された、単位の異なる複数種類のパラメータを正規化することが可能であり、種別手段によって、前記正規化手段で正規化された複数種類のまばたきの前記眼電図（EOG）波形データに対応するパラメータを、所定のクラスタリング手法を用いて種別することが可能である。
更に、識別情報付与手段によって、前記種別手段の種別結果に基づき、前記種別された各パラメータに対応する前記まばたきデータに対して、前記各パラメータの属する種類の識別情報をそれぞれ付与することが可能である。
【００１２】
従って、まばたきの眼電図（EOG）波形データから距離や時間などの単位（次元）の異なる特徴的なパラメータを抽出し、この抽出したパラメータを正規化することで、単位（次元）の異なる複数種類のパラメータを同時に使用してクラスタリング（種別）を行うことができると共に、この種別結果に基づいてまばたきデータへの識別情報の付与を自動で行うことができるので、まばたきデータの種別を安定且つ精度良く行うことができると共に、識別情報の付与作業に必要な労力及びコストを低減できるという効果が得られる。
【００１３】
また、全てのまばたきデータを、正確な種類（まばたき波形の種類（モデル））に分類することができるので、これら正確に分類されたまばたきデータを利用して対象者のまばたき波形の種類を識別するで、例えば、対象者の正確な覚醒状態の判定などを行うことが可能である。
ここで、上記「まばたきデータ」は、まばたきの眼電図（EOG）波形データ、当該眼電図（EOG）波形データから抽出される特徴量データ、前記まばたきの眼電図（EOG）波形データを測定時の対象者のまばたきの動画像データ（まばたき映像データ）、当該まばたき映像データから抽出される特徴量データなどである。
【００１４】
また、上記「単位の異なる複数種類のパラメータ」は、まばたきの眼電図（EOG）波形データから抽出可能なパラメータ（データ）であり、例えば、まばたき波形の持続時間を示すパラメータや、波形の高さ（距離）を示すデータ、まばたきの速度を示すデータなどが該当する。
また、上記「種別する」とは、上記正規化されたパラメータを、クラスタリング手段によって複数のクラスのいずれかにクラスタリングすることであり、このクラスタリング結果そのものを種別結果としても良いし、クラスタリング結果に何らかの加工を施した結果を種別結果としても良い。
また、上記「識別情報」は、クラスタリング手段でクラスタリング（種別）された各パラメータに対応するまばたきデータが、どのクラス（種類）に属するかを識別可能な情報である。
【００１５】
更に、請求項２に係る発明は、請求項１記載のまばたきデータ種別装置において、
前記単位の異なる複数種類のパラメータは、前記まばたきの眼電図（EOG）波形データから抽出される、前記眼電図（EOG）波形のピーク高の距離データ、まばたきの開始から前記ピーク高に至るまでの時間データ及び前記ピーク高からまばたきの終了に至るまでの時間データを含むことを特徴としている。
このような構成であれば、様々な形状のまばたきの眼電図（EOG）波形を区別することができるので、より正確にまばたきデータの種別を行うことができるという効果が得られる。
【００１６】
例えば、まばたきの眼電図（EOG）波形のピーク高と、まばたきの速度との２つのパラメータを用いてクラスタリングを行う場合は、ピーク高の高さ（距離）及びまばたき速度がそれぞれ同じとなる複数の眼電図（EOG）波形が、全て同じクラス（種類）に属してしまうため、正確な種別を行うことができない。一方、本発明の構成であれば、ピーク高の高さ（距離）及びまばたき速度がそれぞれ同じとなる眼電図（EOG）波形が複数あっても、まばたきの開始からピーク高に至るまで及びピーク高からまばたきの終了に至るまでの時間がそれぞれ異なるものを正確に種別することができる。
ここで、上記「ピーク高」は、例えば、まばたきの発生した時間区間の眼電図（EOG）波形における、波形の最も高いレベル位置と最も低いレベル位置との差などで表されるものである。
【００１７】
更に、請求項３に係る発明は、請求項１又は請求項２記載のまばたきデータ種別装置において、
前記正規化手段は、Ｚスコア法を用いて、前記単位の異なる複数種類のパラメータを正規化することを特徴としている。
このような構成であれば、公知のＺスコア法を用いて正規化を行うので、単位（次元）の異なる複数種類のパラメータを、そのそれぞれについて、平均値を「０」、標準偏差を「１」とするように分布の加工を行って正規化をすることが可能である。これによって、距離や時間などの単位（次元）の異なるパラメータを混在させてクラスタリングを行うことができるという効果が得られる。
【００１８】
更に、請求項４に係る発明は、請求項１乃至請求項３のいずれか１項に記載のまばたきデータ種別装置において、
前記種別手段は、前記所定のクラスタリング手法として、分割最適化手法又は階層的手法を用いることを特徴としている。
このような構成であれば、分割最適化手法又は階層的手法を用いてクラスタリングを行うことが可能となるので、簡易にパラメータの種別を行うことができるという効果が得られる。
【００１９】
ここで、上記「分割最適化手法」は、非階層的手法であり、分割の良否を示す評価関数を定め、この評価関数を最適にする分割を探索する手法である。その代表的なものに、ｋ−平均法（ｋ−ｍｅａｎｓ法）などがある。ｋ−平均法は、分割数ｋを与え、セントロイド（ｋ個のクラスタの重心点）をクラスタの代表点とし、例えば、各対象クラスタからセントロイドまでの距離の２乗の総和（評価関数の解）を最小化するようにｋ個のクラスタを分割する。この手法は山登り法で、局所最適解しか求められないため、ランダムに初期値を変更して評価関数を最小にする結果を選択する。
【００２０】
また、上記「階層的手法」は、Ｎ個の対象からなるデータが与えられたとき、１個の対象データだけを含むＮ個のクラスタがある初期状態を作成する。この状態から始めて、クラスタ間の距離を計算し、最も距離の近い２つのクラスタを逐次的に併合する。このクラスタの併合を全ての対象が１つのクラスタに併合されるまで繰り返すことで階層構造を獲得する。この階層構造はデンドログラムによって表示される。デンドログラムとは、各終端ノードが各対象を表し、併合されてできたクラスタを非終端ノードで表した二分木である。なお、非終端ノードの横軸は、併合されたときのクラスタ間の距離を表す。階層的手法の代表的なものには、クラスタのセントロイド（重心点）までの距離の２乗の総和を最小化するウォード法（Ward method）、最短距離法、最長距離法、群平均法などがある。
【００２１】
更に、請求項５に係る発明は、請求項１乃至請求項４のいずれか１項に記載のまばたきデータ種別装置において、
前記まばたきデータは、前記まばたきの眼電図（EOG）波形に対応する、各対象者のまばたき時の少なくとも片眼全体の動画像データを含むまばたき映像データから抽出される特徴量データであることを特徴としている。
このような構成であれば、まばたきの眼電図（EOG）波形測定時のまばたき映像データから抽出される特徴量データに属性情報を付加することが可能である。
【００２２】
例えば、属性情報の付加された特徴量データを学習データとしてＨＭＭなどの統計モデルを学習させ、まばたき映像データの特徴量データから、そのまばたきの眼電図（EOG）波形の種類を識別可能なパターンモデルを生成することができるという効果が得られる。つまり、まばたき映像データの特徴量データがあれば、対象者のまばたきの種類を識別することができるので、対象者の眼電図（EOG）波形を測定しなくても、まばたき時の映像データから簡易に識別処理を行うことができる。
【００２３】
一方、上記目的を達成するために、請求項６記載のパターンモデル生成装置は、
請求項１乃至請求項４のいずれか１項に記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させて、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴としている。
【００２４】
このような構成であれば、パターンモデル生成手段によって、前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させ、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成することが可能である。
従って、安定且つ正確に種別されたまばたきデータを学習データとして学習されたパターンモデルを生成することが可能となるので、眼電図（EOG）波形の種類の識別能力の高いパターンモデルを生成することができるという効果が得られる。
【００２５】
ここで、パターンモデルとは、例えば、まばたきデータに対してマッチングを行う信号パターンを統計モデルを学習させてモデル化したものであり、統計モデルとしては、例えば、ＨＭＭやニューラルネットワーク等がある。以下、請求項８記載のパターンモデル生成装置において同じである。
また、識別データは、入力されたまばたきデータに対するまばたき波形種類を示す識別結果そのものを示すデータ、入力されたまばたきデータに対する各まばたき波形種類に対する尤度などのまばたき波形種類を識別するためのデータなど、パターンモデルを構成する統計モデルの種類や、パターンモデルの仕様に応じたデータとなる。以下、請求項８記載のパターンモデル生成装置において同じである。
【００２６】
更に、請求項７に係る発明は、請求項６記載のパターンモデル生成装置において、
前記統計モデルは、ＨＭＭ（Hidden Markov Model）であることを特徴としている。
このような構成であれば、統計モデルとして公知のＨＭＭを用いるので、まばたきのように時間的概念を伴う動作内容に対して、高精度な前記眼電図（EOG）波形の種類の識別を行うことができるパターンモデルを生成することができるという効果が得られる。
【００２７】
ここで、上記「ＨＭＭ」は、時系列信号の統計モデルであり、複数の定常信号源の間を遷移することで、非定常な時系列信号をモデル化することができる。例えば、音声は、話すスピードによりその時間的長さが変わり、発話内容により、周波数上で特徴的な形状（スペクトル包絡という）を示すが、その形状は発声する人、環境、内容等に依存し、揺らぎが生じる。ＨＭＭはそのような揺らぎを吸収することができる統計モデルである。以下、請求項９記載のパターンモデル生成装置において同じである。
【００２８】
また、上記目的を達成するために、請求項８記載のパターンモデル生成装置は、
請求項５記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させ、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴としている。
【００２９】
このような構成であれば、パターンモデル生成手段によって、前記まばたきデータ種別装置で前記識別情報の付与されたまばたきデータ（まばたき映像の特徴量データ）を学習データとして統計モデルを学習させ、前記まばたきデータ（特徴量データ）を入力とし、当該まばたきデータ（特徴量データ）の識別データを出力とするパターンモデルを生成することが可能である。
【００３０】
従って、安定且つ正確に種別されたまばたき映像データの特徴量データを学習データとして学習されたパターンモデルを生成することが可能となるので、眼電図（EOG）波形の種類の識別能力の高い（正確な識別が可能な）パターンモデルを生成することができると共に、まばたき映像データの特徴量データから対象者のまばたきの種類を識別することができるパターンモデルを生成することができるという効果が得られる。
【００３１】
更に、請求項９に係る発明は、請求項８記載のパタンモデル生成装置において、
前記統計モデルは、ＨＭＭ（Hidden Markov Model）であることを特徴としている。
このような構成であれば、統計モデルとして公知のＨＭＭを用いるので、まばたきのように時間的概念を伴う動作内容に対して、高精度な前記眼電図（EOG）波形の種類の識別を行うことができるパターンモデルを生成することができるという効果が得られる。
【００３２】
一方、上記目的を達成するために、請求項１０記載のまばたき波形出現頻度情報生成装置は、
請求項６又は請求項７記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の眼電図（EOG）波形を測定する眼電図波形測定手段と、
前記眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、前記パターンモデルに対応するまばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出したまばたきデータと、前記パターンモデルとに基づき、前記まばたきデータに対応する眼電図（EOG）波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記対象者のまばたき時の眼電図（EOG）波形に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記眼電図（EOG）波形の種類の出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴としている。
【００３３】
このような構成であれば、眼電図波形測定手段によって、対象者のまばたき時の眼電図（EOG）波形を測定することが可能であり、まばたきデータ抽出手段によって、前記眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、前記パターンモデルに対応するまばたきデータを抽出することが可能であり、まばたき波形識別手段によって、前記まばたきデータ抽出手段で抽出したまばたきデータと、前記パターンモデルとに基づき、前記まばたきデータに対応する眼電図（EOG）波形の種類を識別することが可能である。
更に、出現頻度情報生成手段によって、所定期間において測定された前記対象者のまばたき時の眼電図（EOG）波形に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記眼電図（EOG）波形の種類の出現頻度の時間的変化を示す出現頻度情報を生成することが可能である。
【００３４】
従って、出現頻度情報から、対象者の特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、出現頻度の時間的変化と、高覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を調べておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）を判断することができるという効果が得られる。
つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
【００３５】
また、上記目的を達成するために、請求項１１記載のまばたき波形出現頻度情報生成装置は、
請求項８又は請求項９記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影する撮影手段と、
前記撮影手段で撮影したまばたき映像のデータであるまばたき映像データから、前記パターンモデルに対応する特徴量データを抽出する特徴量データ抽出手段と、
前記特徴量データ抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対応したまばたき映像に対応する眼電図（EOG）波形の種類を識別するまばたき波形識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴としている。
【００３６】
このような構成であれば、撮影手段によって、対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影することが可能であり、特徴量データ抽出手段によって、前記撮影手段で撮影したまばたき映像のデータであるまばたき映像データから、前記パターンモデルに対応する特徴量データを抽出することが可能であり、まばたき波形識別手段によって、前記特徴量データ抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対応したまばたき映像に対応する眼電図（EOG）波形の種類を識別することが可能である。
更に、出現頻度情報生成手段によって、所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成することが可能である。
【００３７】
従って、出現頻度情報から、対象者の特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、前記出現頻度の時間的変化と、高覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を得ておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）を判断することができるという効果が得られる。つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
また、まばたき映像データを撮影するだけで、対象者のまばたき（眼電図（EOG）波形）の種類を識別することができるので、まばたきの眼電図（EOG）波形を直接測定する場合と比べて、対象者に電極等の測定部材を装着させずに、簡易にまばたき波形の識別を行うことが可能である。
【００３８】
一方、上記目的を達成するために、請求項１２記載の覚醒状態判定装置は、
請求項１０又は請求項１１記載のまばたき波形出現頻度情報生成装置と、
前記まばたき波形出現頻度情報生成装置で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴としている。
このような構成であれば、覚醒状態判定手段によって、前記まばたき波形出現頻度情報生成装置で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判定することが可能である。
従って、例えば、対象者の高覚醒状態から居眠り状態へと移行するまでの様々な覚醒状態を判定することができるという効果が得られる。
【００３９】
また、上記目的を達成するために、請求項１３記載の覚醒状態判断装置は、
対象者のまばたき時の眼電図（EOG）波形を測定するまばたき眼電図波形測定手段と、
前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、まばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出されたまばたきデータと、予め記憶されたまばたき波形種類の識別用データとに基づき、前記まばたきデータに対応するまばたき波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記眼電図（EOG）波形に対応する前記まばたき波形識別手段の識別結果に基づき、前記所定期間の前記まばたき波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、
前記出現頻度情報生成手段で生成した出現頻度情報に基づき、前記まばたき波形の所定の種類の出現頻度から、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴としている。
【００４０】
このような構成であれば、眼電図波形測定手段によって、対象者のまばたき時の眼電図（EOG）波形を測定することが可能であり、まばたきデータ抽出手段によって、前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、まばたきデータを抽出することが可能であり、まばたき波形識別手段によって、前記まばたきデータ抽出手段で抽出されたまばたきデータと、予め記憶されたまばたき波形種類の識別用データとに基づき、前記まばたきデータに対応するまばたき波形の種類を識別することが可能である。
【００４１】
更に、出現頻度情報生成手段によって、所定期間において測定された前記眼電図（EOG）波形に対応する前記まばたき波形識別手段の識別結果に基づき、前記所定期間の前記まばたき波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成することが可能であり、覚醒状態判定手段によって、前記出現頻度情報生成手段で生成した出現頻度情報に基づき、前記まばたき波形の所定の種類の出現頻度から、前記対象者の覚醒状態を判定することが可能である。
【００４２】
従って、出現頻度情報から、対象者の特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、前記出現頻度の時間的変化と、高覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を得ておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）を判断することができるという効果が得られる。つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
ここで、識別用データは、特徴量データから、当該特徴量データに対応するまばたき波形種類を識別できるデータであり、例えば、特徴量データを入力とし、当該特徴量データの識別データを出力とするパターンモデル、様々な特徴量データとまばたき波形種類との関係が登録されたデータテーブル（データベース）などがある。
【００４３】
更に、請求項１４に係る発明は、請求項１３記載の覚醒状態判定装置において、
前記まばたき波形の所定の種類の出現頻度は、前記まばたき波形の複数種類の出現頻度であることを特徴としている。
このような構成であれば、対象者の特定の複数種類のまばたきの発生頻度、特定の複数種類のまばたきの群発などの所定時間内における特定の複数種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、前記出現頻度の時間的変化と、高覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を得ておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）をより正確に判断することができるという効果が得られる。つまり、高覚醒時から居眠りへと移行するまでには、様々な種類のまばたきが混在して発生するので、その中でも特に覚醒水準（状態）に係る複数種類のまばたきの出現頻度に着目して判定を行うことで、覚醒水準の判定精度をより高精度にすることが可能である。
【００４４】
また、上記目的を達成するために、請求項１５記載の覚醒状態判断装置は、
対象者のまばたき時の眼電図（EOG）波形を測定するまばたき眼電図波形測定手段と、
前記眼電図（EOG）波形のデータである眼電図（EOG）波形データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴としている。
【００４５】
このような構成であれば、まばたき眼電図波形測定手段によって、対象者のまばたき時の眼電図（EOG）波形を測定することが可能であり、特徴量抽出手段によって、前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、特徴量データを抽出することが可能であり、まばたき種類識別手段によって、前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別することが可能である。
【００４６】
更に、まばたき波形種類出現頻度情報生成手段によって、所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成することが可能であり、覚醒状態判断手段によって、前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断することが可能である。
【００４７】
従って、出現頻度情報から、対象者の特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、出現頻度の時間的変化と、覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を調べておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）を判断することができるという効果が得られる。
つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
【００４８】
また、上記目的を達成するために、請求項１６記載の覚醒状態判断装置は、
対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影するまばたき映像撮影手段と、
前記まばたき映像のデータであるまばたき映像データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき映像撮影手段で撮影したまばたき映像のデータであるまばたき映像データから特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴としている。
【００４９】
このような構成であれば、まばたき映像撮影手段によって、対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影することが可能であり、特徴量抽出手段によって、前記まばたき映像撮影手段で撮影したまばたき映像のデータであるまばたき映像データから特徴量データを抽出することが可能であり、まばたき種類識別手段によって、前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別することが可能である。
【００５０】
更に、まばたき波形種類出現頻度情報生成手段によって、所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成することが可能であり、覚醒状態判断手段によって、前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断することが可能である。
【００５１】
従って、出現頻度情報から、対象者の特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化が解るので、予め実験等を行って、例えば、前記出現頻度の時間的変化と、覚醒時から居眠りへと移行するまでの様々な覚醒水準（状態）との関係を得ておくことにより、出現頻度情報から、対象者の様々な覚醒水準（状態）を判断することができるという効果が得られる。つまり、生理学の見地において覚醒状態の判定に有効であるとされている、特定種類のまばたきの発生頻度、特定種類のまばたきの群発などの所定時間内における特定種類のまばたきの発生頻度の変化に基づいて、高精度の覚醒状態の判定を行うことが可能である。
【００５２】
また、まばたき映像データを撮影するだけで、対象者のまばたき（眼電図（EOG）波形）の種類を識別することができるので、まばたきの眼電図（EOG）波形を直接測定する場合と比べて、対象者に電極等の測定部材を装着させずに、簡易にまばたき波形の識別を行うことが可能である。
【００５３】
また、上記目的を達成するために、請求項１７記載の警告装置は、
請求項１２又は請求項１３記載の覚醒状態判定装置と、
前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与える警告手段と、を備えることを特徴としている。
このような構成であれば、警告手段によって、前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与えることが可能である。
【００５４】
従って、例えば、自動車内のドライバの所定期間ごとの出現頻度情報をリアルタイムに生成することによって、この出現頻度情報から、例えば、完全に居眠りの状態になる前の居眠り状態に移行中のドライバの覚醒水準（状態）等を判定することができるので、眠りに落ちそうな状態の対象者に対して、警告音や光の点滅などによる警告を与えることによって、未然に事故を防ぐことができるという効果が得られる。
ここで、上記警告は、ブザー等の警報音、警告音声メッセージ等の音によるもの、光の点灯、点滅等による視覚的な警告、対象者に振動や衝撃などの与える警告などがある。また、これらを任意に組み合わせた警告を対象者に与えるようにしても良い。
【発明を実施するための最良の形態】
【００５５】
〔第１の実施の形態〕
以下、本発明の第１の実施の形態を図面に基づき説明する。図１〜図１０は、本発明に係るまばたきデータ種別装置、まばたきデータ種別プログラム及びまばたきデータ種別方法、並びにパターンモデル生成装置、パターンモデル生成プログラム及びパターンモデル生成方法の実施の形態を示す図である。
【００５６】
まず、本発明に係るパターンモデル生成装置の構成を図１に基づき説明する。図１は、本発明に係るパターンモデル生成装置１００の構成を示すブロック図である。
図１に示すように、パターンモデル生成装置１００は、まばたきの眼電図（EOG）波形のデータ（以下、眼電図（EOG）波形データと称す）を記憶するまばたき波形データ記憶部１０と、まばたきの眼電図（EOG）波形の測定時に同時に撮影したまばたきの映像データ（以下、まばたき映像データと称す）を記憶するまばたき映像データ記憶部１１と、まばたき波形データからパラメータを抽出するパラメータ抽出部１２と、まばたき映像データから特徴量データを抽出する特徴量データ抽出部１３と、パラメータ抽出部１２で抽出したパラメータ及び特徴量データ抽出部１３で抽出した特徴量データを対応付けて記憶する種別対象データ記憶部１４とを含んだ構成となっている。
【００５７】
まばたき波形データ記憶部１０は、複数被験者に対して測定した、複数種類のまばたきの眼電図（EOG）波形データを、後述する記憶装置７０の所定領域に記憶するようになっている。具体的には、例えば、被験者の左眼又は右眼の少なくとも一方のまばたきの眼電図（EOG）波形データを記憶する。
まばたき映像データ記憶部１１は、まばたき波形データ記憶部１０に記憶された左眼又は右眼の少なくとも一方のまばたきの眼電図（EOG）波形データに対応するまばたき映像データを、後述する記憶装置７０の所定領域に記憶するようになっている。ここで、まばたき映像データは、眼電図（EOG）波形の測定時に同時に撮影したまばたきの映像データであり、被験者のまばたき時の左眼又は右眼の少なくとも一方を含む動画像データで構成されている。また、眼電図（EOG）波形データ及びまばたき映像データは識別情報によってそれぞれが対応付けされており、これによって、眼電図（EOG）波形データ及びまばたき波形データのいずれか一方から他方を知ることが可能となっている。
【００５８】
パラメータ抽出部１２は、まばたき波形データ記憶部１０によって記憶された眼電図（EOG）波形データから、単位の異なる複数種類のパラメータを抽出するようになっている。
本実施の形態においては、眼電図（EOG）波形のピーク高の距離データ、まばたきの開始からピーク高に至るまでの時間データ、ピーク高からまばたきの終了に至るまでの時間データの３つのパラメータを抽出する。
特徴量データ抽出部１３は、まばたき映像データ記憶部１１によって記憶されたまばたき映像データから、特徴量データを抽出するようになっている。
本実施の形態においては、まばたき映像データの各フレーム毎に、所定領域の各ラインごとの輝度合計を算出し、各まばたき映像データの輝度合計のデータを特徴量データとする。
【００５９】
種別対象データ記憶部１４は、眼電図（EOG）波形データ及びまばたき映像データに付与された識別情報に基づき、パラメータ抽出部１２で抽出された各眼電図（EOG）波形データごとの３つのパラメータと、特徴量データ抽出部１３で抽出された各まばたき映像データごとの特徴量データとを対応付けて、後述する記憶装置７０の所定領域に記憶するようになっている。
【００６０】
パターンモデル生成装置１００は、更に、種別対象データ記憶部１４に記憶されたパラメータを正規化するパラメータ正規化部１５と、パラメータ正規化部１５で正規化されたパラメータを種別するパラメータ種別部１６と、パラメータ種別部１６の種別結果に基づき、種別対象データ記憶部１４によって記憶されたパラメータ及び特徴量データにまばたきの種類を識別する識別情報を自動的に付与する識別情報付与部１７と、識別情報付与部１７で識別情報の付与されたパラメータ及び特徴量データを学習データとして記憶する学習データ記憶部１８とを含んだ構成となっている。
【００６１】
パラメータ正規化部１５は、単位の異なる複数種類のパラメータを、所定の正規化手法を用いて正規化するようになっている。本実施の形態においては、公知のＺスコア法を用いて正規化する。
パラメータ種別部１６は、パラメータ正規化部１５で正規化後のパラメータ（以下、正規化パラメータと称す）を、所定のクラスタリング手法を用いて種別するようになっている。本実施の形態においては、階層的クラスタリング手法の１つである公知のウォード法、及び分割最適化クラスタリング手法の１つである公知のｋ−平均法のいずれか指定された方のクラスタリング手法を用いて正規化パラメータをクラスタリングする。本実施の形態においては、このクラスタリング結果を種別結果とし、各正規化パラメータの属するクラスの情報を各正規化パラメータに付与し、これを種別結果とする。
【００６２】
識別情報付与部１７は、パラメータ種別部１６の種別結果に基づき、種別後の各正規化パラメータの属するクラスをそれぞれまばたきの種類の識別情報とし、この識別情報を、各種別後の正規化パラメータに対応する正規化前のパラメータと、このパラメータに対応する特徴量データとに対して自動的に付与するようになっている。
学習データ記憶部１８は、識別情報付与部１７で識別情報の付与された、パラメータ及び特徴量データを学習データとして、後述する記憶装置７０の所定領域に記憶するようになっている。
パターンモデル生成装置１００は、更に、学習データ記憶部１８に記憶された学習データを用いて統計モデルを学習する統計モデル学習部１９と、学習後の統計モデルからなるパターンモデルを記憶するパターンモデル記憶部２０とを含んだ構成となっている。
【００６３】
統計モデル学習部１９は、まばたき波形用パターンモデルの生成指示に応じて、学習データ記憶部１８に記憶されたパラメータを学習データとして統計モデルを学習し、まばたき波形用パターンモデルを生成するようになっている。更に、まばたき映像用パターンモデルの生成指示に応じて、学習データ記憶部１８に記憶された特徴量データを学習データとして統計モデルを学習し、まばたき映像用パターンモデルを生成するようになっている。なお、本実施の形態においては、統計モデルとしてＨＭＭ（Hidden Markov Model）を用いることとする。
パターンモデル記憶部２０は、統計モデル学習部１９において生成された、まばたき波形用パターンモデル及びまばたき映像用パターンモデルを、後述する記憶装置７０の所定領域に記憶するようになっている。
【００６４】
更に、パターンモデル生成装置１００は、上記各部の制御をソフトウェア上で実現するためのコンピュータシステムを備えており、そのハードウェア構成は、図２に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０と、主記憶装置（Ｍａｉｎ Ｓｔｏｒａｇｅ）を構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６２と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６４との間をＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等からなる各種内外バス６８で接続すると共に、このバス６８に入出力インターフェース（Ｉ／Ｆ）６６を介して、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの内部又は外部記憶装置（Ｓｅｃｏｎｄａｒｙ Ｓｔｏｒａｇｅ）７０や、印刷手段やＣＲＴ、ＬＣＤモニター等の出力装置７２、操作パネルやマウス、キーボード、スキャナなどの入力装置７４、及び図示しない外部装置などと通信するためのネットワークＬなどを接続したものである。
【００６５】
そして、電源を投入すると、ＲＯＭ６４等に記憶されたＢＩＯＳ等のシステムプログラムが、ＲＯＭ６４に予め記憶された各種専用のコンピュータプログラム、あるいは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などの記憶媒体を介して、又はインターネットなどの通信ネットワークＬを介して記憶装置７０にインストールされた各種専用のコンピュータプログラムを同じくＲＡＭ６２にロードし、そのＲＡＭ６２にロードされたプログラムに記述された命令に従ってＣＰＵ６０が各種リソースを駆使して所定の制御及び演算処理を行うことで前述したような各手段の各機能をソフトウェア上で実現できるようになっている。
【００６６】
次に、図３に基づき、このような構成をしたパターンモデル生成装置１００における、まばたき波形データからのパラメータの抽出処理及びまばたき映像データからの特徴量データの抽出処理の流れを説明する。ここで、図３は、まばたき波形データからのパラメータの抽出処理及びまばたき映像データからの特徴量データの抽出処理を示すフローチャートである。
まばたき波形データからのパラメータの抽出処理及びまばたき映像データからの特徴量データの抽出処理は、図３のフローチャートに示すように、まずステップＳ１００に移行し、パラメータ抽出部１２において、入力装置７４等を介したユーザからの抽出指示があったか否かを判定し、抽出指示があったと判定された場合(Yes)は、ステップＳ１０２に移行し、そうでない場合(No)は、抽出指示があるまで待機する。
【００６７】
ステップＳ１０２に移行した場合は、パラメータ抽出部１２において、まばたき波形データ記憶部１０を介して記憶装置７０からまばたき波形データを取得してステップＳ１０４に移行する。
ステップＳ１０４では、パラメータ抽出部１２において、ステップＳ１０２で取得したまばたき波形データから、単位の異なる複数種類のパラメータを抽出し、当該抽出したパラメータを種別対象データ記憶部１４に出力してステップＳ１０６に移行する。
【００６８】
ステップＳ１０６では、パラメータ抽出部１２において、ステップＳ１０２で取得したまばたき波形データに対応するまばたき映像データがあるか否かを判定し、あると判定された場合(Yes)は、特徴量データ抽出部１３に抽出指示を与えてステップＳ１０８に移行し、そうでない場合(No)は、ステップＳ１１６に移行する。
ステップＳ１０８に移行した場合は、特徴量データ抽出部１３において、まばたき映像データ記憶部１１を介して記憶装置７０からまばたき映像データを取得してステップＳ１１０に移行する。
【００６９】
ステップＳ１１０では、特徴量データ抽出部１３において、ステップＳ１０８で取得したまばたき映像データから、特徴量データを抽出し、当該抽出した特徴量データを種別対象データ記憶部１４に出力してステップＳ１１２に移行する。
ステップＳ１１２では、種別対象データ記憶部１４において、パラメータ抽出部１２から入力されたパラメータと、特徴量データ抽出部１３から入力された特徴量データとを対応付けて記憶装置７０の所定領域に記憶してステップＳ１１４に移行する。
【００７０】
ステップＳ１１４では、パラメータ抽出部１２において、ステップＳ１０２で取得したまばたき波形データに対し、パラメータ抽出処理及び特徴量データ抽出処理が全て終了したか否かを判定し、終了したと判定された場合(Yes)は、抽出処理を終了し、そうでない場合(No)は、ステップＳ１０４に移行する。
一方、ステップＳ１０６において、まばたき波形データに対応するまばたき映像データがなくステップＳ１１６に移行した場合は、種別対象データ記憶部１４において、パラメータ抽出部１２から入力されたパラメータを記憶装置７０の所定領域に記憶してステップＳ１１４に移行する。
【００７１】
次に、図４に基づき、パターンモデル生成装置１００における、学習データ生成処理の流れを説明する。ここで、パターンモデル生成装置１００における、図４は、学習データ生成処理を示すフローチャートである。
学習データ生成処理は、図４のフローチャートに示すように、まずステップＳ２００に移行し、入力装置７４等を介したユーザからの学習データの生成指示があったか否かを判定し、生成指示があったと判定された場合(Yes)は、ステップＳ２０２に移行し、そうでない場合(No)は、抽出指示があるまで待機する。
【００７２】
ステップＳ２０２に移行した場合は、パラメータ正規化部１５において、種別対象データ記憶部１４からパラメータを取得してステップＳ２０４に移行する。
ステップＳ２０４では、パラメータ正規化部１５において、ステップＳ２０２で取得したパラメータを正規化してステップＳ２０６に移行する。
ステップＳ２０６では、パラメータ種別部１６において、ステップＳ２０４において正規化されたパラメータを、所定のクラスタリング手法を用いて種別してステップＳ２０８に移行する。
【００７３】
ステップＳ２０８では、識別情報付与部１７において、ステップＳ２０６で種別された、各正規化パラメータに対応するパラメータ及び特徴量データを、種別対象データ記憶部１４から取得してステップＳ２１０に移行する。
ステップＳ２１０では、識別情報付与部１７において、ステップＳ２０６の種別結果に基づき、ステップＳ２０８で取得したパラメータ及び特徴量データに識別情報を付与してステップＳ２１２に移行する。
【００７４】
ステップＳ２１２では、識別情報付与部１７において、学習データ記憶部１８を介して記憶装置７０の所定領域に、ステップＳ２１０で識別情報の付与されたパラメータ及び特徴量データを学習データとして記憶して処理を終了する。ここで、識別情報は、クラスタリングによって分割された各クラス（まばたき種類）の情報である。
次に、図５に基づき、パターンモデル生成装置１００における、パターンモデル生成処理の流れを説明する。ここで、図５は、パターンモデル生成装置１００における、パターンモデル生成処理を示すフローチャートである。
【００７５】
パターンモデル生成処理は、図５のフローチャートに示すように、まずステップＳ３００に移行し、統計モデル学習部１９において、入力装置７４等を介したユーザからのまばたき波形用パターンモデルの生成指示があったか否かを判定し、生成指示があったと判定された場合(Yes)は、ステップＳ３０２に移行し、そうでない場合(No)は、ステップＳ３０８に移行する。
【００７６】
ステップＳ３０２に移行した場合は、統計モデル学習部１９において、学習データ記憶部１８から、識別情報の付与されたパラメータを取得してステップＳ３０４に移行する。
ステップＳ３０４では、統計モデル学習部１９において、ステップＳ３０２で取得したパラメータを学習データとして統計モデルを学習させてまばたき波形用パターンモデルを生成しステップＳ３０６に移行する。
【００７７】
ステップＳ３０６では、統計モデル学習部１９において、パターンモデル記憶部２０を介して記憶装置７０の所定領域に、ステップＳ３０４又はステップＳ３１２で生成したパターンモデルを記憶して処理を終了する。
一方、ステップＳ３００において、まばたき波形用パターンモデルの生成指示ではなくステップＳ３０８に移行した場合は、統計モデル学習部１９において、まばたき映像用パターンモデルの生成指示があったか否かを判定し、生成指示があったと判定された場合(Yes)は、ステップＳ３１０に移行し、そうでない場合(No)は、ステップＳ３００に移行する。
【００７８】
ステップＳ３１０に移行した場合は、統計モデル学習部１９において、学習データ記憶部１８から、識別情報の付与された特徴量データを取得してステップＳ３１２に移行する。
ステップＳ３１２では、統計モデル学習部１９において、ステップＳ３１０で取得した特徴量データを学習データとして統計モデルを学習させてまばたき映像用パターンモデルを生成しステップＳ３０６に移行する。
【００７９】
次に、図６〜図１０に基づき、本実施の形態の動作を説明する。
ここで、図６は、まばたき波形データから抽出するパラメータの説明図である。また、図７（ａ）及び（ｂ）は、まばたき映像データから抽出する特徴量データの説明図である。また、図８は、３種類のパラメータを用いて本発明の手法によって種別された、ある一人の被験者に対するまばたき波形を示す図であり、図９は、２種類のパラメータを用いて本発明の手法によって種別された、ある一人の被験者に対するまばたき波形を示す図である。また、図１０（ａ）〜（ｃ）は、ある一人の被験者に対するＺスコアのレーダーチャートである。また、図１８は、ＨＭＭの一例を示す図である。
【００８０】
パターンモデル生成装置１００において、上述したパラメータ及び特徴量データの抽出処理、学習データの生成処理及びパターンモデルの生成処理を行うにあたって、まず、複数被験者の複数種類のまばたきの眼電図（EOG）波形データ（まばたき波形データ）と、当該まばたき波形データを測定時のまばたき映像データとを事前に用意する必要がある。
【００８１】
本実施の形態においては、事前に、健常な男女複数名を含む被験者のまばたきの眼電図（EOG）波形の測定及びまばたき映像データの撮影を行い、まばたき波形データ及びまばたき映像データを収集することとする。具体的に、被験者の眠気の度合いに応じて、３０分〜１時間程度を１回として、まばたきの眼電図（EOG）波形の測定を断続的に複数回行うと同時に、まばたき映像データの撮影を行い、測定時間内に行われるまばたきのまばたき波形データ及びまばたき映像データを取得する。
【００８２】
また、眼電図（EOG）波形（ＥＯＧ波形）としては、被験者の右眼瞼の上下に電極を装着して、生体計測用交流アンプ（ＢＩＯＰＡＣ，時定数３．２[ｓｅｃ]，ＧＡＩＮ５０００倍，３５[Ｈｚ]カットオフローパスフィルタ）を用いて、垂直ＥＯＧ波形を計測した。そして、この垂直ＥＯＧ波形から、まばたき部分を検出する。まばたき部分の検出方法は、公知の手法（湯瀬裕昭、田多英興：瞬目の自動検出と瞬目波形解析，人間工学，vol30，No5，p.331-337（1994））と同様に、ＥＯＧ波形の微分値（１次差分）を利用し、この微分値が予め設定した開始閾値を超えた時点をまばたきの開始点とし、同様に前記微分値が予め設定した終了閾値を超えた時点をまばたきの終了点として、開始点から終了点までの波形をまばたき波形として検出する。
【００８３】
また、本実施の形態において、まばたき映像データの撮影は、自動車内のインナーミラーに内蔵したカメラでの撮影を想定し、赤外ＬＥＤ照射装置とＣＣＤ（charge coupled device）カメラとを組み合わせたカメラを用いて行った。そして、このカメラによって、被験者の顔画像を撮影し、この顔画像から、公知のＳＶＭ（Support Vector Machine）を用いて右眼部分の画像を検出し、まばたき映像データを得るようにした。なお、ＳＶＭについては、ＵＲＬ「ｈｔｔｐ://ｗｗｗ.ｎｅｕｒｏｓｃｉ.ａｉｓｔ.ｇｏ.ｊｐ/~ｋｕｒｉｔａ/ｌｅｃｔｕｒｅ/ｓｖｍ/ｓｖｍ.ｈｔｍｌ」のＷｅｂページに掲載された「サポートベクターマシン入門 栗田 多喜夫」に詳述されている（２００６年５月１２日現在）。
【００８４】
上記のようにして収集されたまばたき波形データ及びまばたき映像データは、それぞれ、まばたき波形データ記憶部１０及びまばたき映像データ記憶部１１に、各まばたきと各まばたきに対応するまばたき映像データとの組み合わせが解るように組み合わせ情報を付与されて記憶される。なお、まばたき波形データに付与される組み合わせ情報から、まばたき波形データに対応するまばたき映像データの有無を判断できるようになっている。
【００８５】
まず、図６及び図７に基づき、パターンモデル生成装置１００における、パラメータ及び特徴量データの抽出処理の動作を説明する。
パターンモデル生成装置１００は、まばたき波形データ及びまばたき映像データが用意された状態において、入力装置７４等を介した、ユーザからの抽出指示が与えられると（ステップＳ１００）、パラメータ抽出部１２において、まばたき波形データ記憶部１０を介して、記憶装置７０からまばたき波形データを取得する（ステップＳ１０２）。本実施の形態において、まばたき波形データの取得は、記憶された全てのデータ又は新規のデータなどを自動で取得するか、ユーザに指示されたものを取得するかを選択できるようになっている。
【００８６】
そして、まばたき波形データが取得されると、当該取得したまばたき波形データから波形のピーク点の高さ（距離）データ、まばたきの開始点からピーク点までの時間データ、ピーク点からまばたきの終了点までの時間データの３つのパラメータを抽出する（ステップＳ１０４）。例えば、まばたき波形データが、図６に示すような波形を示すものであった場合に、ピーク点の高さｘ１を、まばたきの開始点のレベル（電圧又は電流）と、波形のピーク点のレベルとの差分値とする。図６の例では、波形のピークが「ｘ１[ｍｍ]」となり、まばたきの開始点からピーク点までの時間ｘ２（以下、立ち上がり時間ｘ２）が２８[ｍｓ]となり、ピーク点からまばたきの終了点までの時間ｘ３（立ち下り時間ｘ３）が５２[ｍｓ]となる。本実施の形態においては、ピーク点の高さ（距離）データｘ１は、測定した値をそのまま用い、立ち上がり及び立ち下がり時間データｘ２及びｘ３は、対数変換したものを用いる。これらｘ１、ｘ２及びｘ３の３つのパラメータを、上記取得したまばたき波形データから順次抽出する。また、まばたき波形データからパラメータを抽出するごとに、前述した組み合わせ情報に基づき、まばたき波形データに対応するまばたき映像データの有無を判断し（ステップＳ１０６）、対応するまばたき映像データがある場合は（ステップＳ１０６の「Ｙｅｓ」の分岐）、特徴量データ抽出部１３に抽出指示を与える。
【００８７】
特徴量データ抽出部１３は、パラメータ抽出部１２からの抽出指示に応じて、まばたき映像データ記憶部１１を介して記憶装置７０から、上記パラメータを抽出したまばたき波形データに対応するまばたき映像データを取得する（ステップＳ１０８）。
そして、まばたき映像データが取得されると、当該取得したまばたき映像データから特徴量データを抽出する（ステップＳ１１０）。具体的には、図７（ａ）に示すように、まばたき映像データを構成するまばたき画像データにおける眼球部分を中央に横１１画素×縦３０画素の抽出領域画像を切り出し、この切り出した抽出領域画像を構成する各ライン（１１画素）の輝度合計値を算出し、例えば、図７（ｂ）に示すような特性を示す、抽出領域画像の３０ライン分の各ラインごとの輝度合計値のデータを生成する。本実施の形態においては、この輝度合計値のデータを、１回のまばたきに対応するまばたき映像データを構成する全まばたき画像データに対して生成したものが、各まばたき映像データに対する特徴量データとなる。なお、まばたき映像データを構成するまばたき画像データの数は、撮影手段の性能やまばたきの種類などによって変わってくる（通常のＣＣＤカメラを用いた場合は、例えば、１回のまばたきに対して８〜１１画像くらいとなる）。
【００８８】
上記抽出されたパラメータと、これに対応する上記抽出された特徴量データとは、種別対象データ記憶部１４において、両者が対応付けられて記憶装置７０の所定領域に記憶される（ステップＳ１１２）。
上記したパラメータの抽出処理及び特徴量データの抽出処理が、取得したまばたき波形データ及びこれらに対応するまばたき映像データに対して全て終了すると（ステップＳ１１４の「Ｙｅｓ」の分岐）、パターンモデル生成装置１００は、抽出処理を終了する。
【００８９】
次に、図８〜図１０及び図１８に基づき、パターンモデル生成装置１００における、学習データ生成処理の動作を説明する。
パターンモデル生成装置１００は、種別対象データ記憶部１４によって、記憶装置７０の所定領域に、パラメータ及び特徴量データが記憶された状態において、入力装置７４等を介した、ユーザからの学習データの生成指示が与えられると（ステップＳ２００）、パラメータ正規化部１５において、種別対象データ記憶部１４を介して記憶装置７０からパラメータ（以下、特徴パラメータと称す）を取得する（ステップＳ２０２）。
【００９０】
特徴パラメータを取得すると、パラメータ正規化部１５は、Ｚスコア法を用いて、上記ｘ１〜ｘ３の３種類のパラメータから構成される特徴パラメータを正規化する（ステップＳ２０４）。
Ｚスコア法による正規化は、上記ｘ１〜ｘ３の３種類の特徴パラメータを、それぞれの平均値が０、標準偏差が１になるように分布の加工をすることで行われる。具体的には、ｘ１〜ｘ３のそれぞれの特徴パラメータの中での平均値μを求める。また、同時にｘ１〜ｘ３のそれぞれの特徴パラメータの中での標準分散σを求める。
ここで、ｘ１〜ｘ３のそれぞれにおいて各特徴パラメータをＸとし、下式（１）に従って、特徴パラメータＸをｚに変換する。
【００９１】
【数１】
【００９２】
具体的な数値例を示すと、ある対象者のすべてのまばたき波形のｘ１〜ｘ３のそれぞれの平均値が（2.2239、1.3542、1.5693）であり、ｘ１〜ｘ３のそれぞれの標準偏差が（0.7396、0.1000、0.0709）である場合、ｚは下式（２）のように算出される。
【００９３】
【数２】
【００９４】
Ｚスコア法によるパラメータの正規化が終了すると、パラメータ種別部１６において、正規化後のパラメータ（正規化パラメータ）を、所定のクラスタリング手法を用いてクラスタリング（種別）する（ステップＳ２０６）。ここでは、階層的クラスタリング手法の１つであるウォード法を用いて正規化パラメータを種別する方法と、分割最適化クラスタリング手法の１つであるｋ−平均法を用いて正規化パラメータを種別する方法とをそれぞれ説明する。
【００９５】
まず、階層的手法の１つであるウォード法を用いたクラスタリングによる正規化パラメータの種別方法について説明する。ここで、クラスタリングとはデータ間の距離を定義して似たもの同士をグループにまとめる手法であり、階層的手法はＮ個の対象からなるデータが与えられたとき、１個の対象だけを含むＮ個のクラスタがある初期状態から始めて、クラスタ間の距離を計算し最も距離の近い２つのクラスタを逐次的に併合する手法である。
【００９６】
クラスタ間の距離としてクラスタの重心点までの距離の２乗の総和を最小化するウォード法による具体的な手順は、(1)初期設定として個々の要素をクラスタとする。(2)すべてのクラスタについてクラスタ重心点の距離の２乗を計算し、距離が最小のクラスタ対を探して結合する。(3)結合したクラスタと他のすべてのクラスタについての距離を再計算する。そして、本実施の形態においては、(2)と(3)とを繰り返し実行し、クラスタ総数が１２になった時点で終了とする。
【００９７】
次に、分割最適法の１つであるｋ−平均法を用いたクラスタリングによる正規化パラメータの種別方法について説明する。ここで、分割最適化法はクラスタ数をあらかじめ指定し、各要素をＮ個のクラスタに類似度を基準として分割する手法である。ｋ−平均法による具体的な手順は、(1)すべての要素からランダムに１２個の要素を選び、それぞれのクラスタの代表とする。(2)その他の各要素を最も近いクラスタ中心に割り当てる。(3)各クラスタの重心を新しい中心として(2)を行なう。(4)各要素の割り当てが１つ前のステップと変化がなくなった時点で終了とする。
【００９８】
上記したように、クラスタ数を１２（Class１〜Class１２）に設定することによって、まばたき波形データの自動検出の際に混入した、眼球運動などによるまばたきとは考えにくい波形などを、まばたきとは別のクラスタとして分類し、排除することが可能となる。
上記種別処理によって、Class１〜Class１２にそれぞれクラスタリングした、ある一人の被験者の正規化パラメータ（上記ｘ１〜ｘ３に対応）に対応する眼電図（EOG）波形は、図８に示すように、各Classに分類される。
【００９９】
また、図１０（ａ）〜（ｃ）に示すＺスコア（正規化パラメータ）のレーダーチャートは、ある一人の被験者の（図８の被験者と同様）、上記クラスタリングによってClass１〜Class１２に分類された正規化パラメータにおける、Class１〜Class９の各Class毎の平均値を算出し、その算出結果を、覚醒状態ごとにプロットしたものである。なお、図１０（ａ）が、標準的なまばたき・意識的ではっきりしたまばたきのプロット結果を示し、同図（ｂ）が、覚醒低下時に増加するまばたきのプロット結果を示し、同図（ｃ）が、速くて小さなまばたき・群発まばたきのプロット結果を示す。また、図１０（ａ）〜（ｃ）は、ある一人の被験者に対して実際に測定したまばたき波形から生成されたレーダーチャートである。
【０１００】
本実施の形態においては、具体的に、Class１に属する正規化パラメータに対応するまばたき波形を、高覚醒時の標準的なまばたき波形とし、Class１〜Class１２に分類された各正規化パラメータを更に覚醒状態ごとに分類した。
図１０（ａ）〜（ｃ）の例では、Class１の波形と他のClassの波形とを比較すると、Class２には、まばたきの持続時間（立ち上がり時間と、立ち下り時間の総和）はほぼ同等であるが、ピーク高のみが小さなまばたきが分類され、Class３には、まばたき持続時間が長く、ピーク高も大きなまばたきが分類される（図１０（ａ）参照）。また、Class４には、まばたき持続時間はほぼ同等であるが、ピーク高がClass２よりも更に小さなまばたきが分類され、Class５には、立ち上がり時間が長く、ピーク高が小さなまばたきが分類される（図１０（ｂ）参照）。また、Class６及びClass７には、立ち上がり時間、立ち下がり時間ともに長く、且つピーク高の小さなまばたきが分類されるが、Class６には、特に立ち下がり時間の長いまばたきが分類され、Class７には、特に立ち上がり時間の長いまばたきが分類される（図１０（ｂ）参照）。また、Class８及びClass９には、まばたき持続時間、ピーク高がともにClass２よりも小さなまばたきが分類され、そのうち、立ち上がり時間が長く、立ち下がり時間の短いまばたきがClass９に分類される（図１０（ｃ）参照）。
【０１０１】
以上より、Class１〜Class９は、実験から明らかになった被験者の覚醒水準と、その覚醒状態に応じて発生するまばたき種別の対応から、生理学的知見に基づいて以下のように分類される。
Class１：高覚醒時の標準的なまばたき
Class２：眠気によりまぶたが落ちてきて波高が少し小さくなったまばたき
Class３：眠気に対抗するために意図的なはっきりとした大きなまばたき
Class４：低覚醒状態で発生する波高が非常に小さくなったまばたき
Class５〜７：低覚醒状態時の持続時間の長いまばたき
Class８：低覚醒状態から一時的に瞬時覚醒する際のまばたき
Class９：群発まばたき
なお、図１０（ａ）〜（ｃ）のいずれにも分類されていないClass１０〜Class１２には、まばたき波形の検出時に誤検出されたもの、まばたき以外の眼球運動の影響を受けたもの、眼球運動かまばたきかの判断が難しいものなどが分類される。
【０１０２】
また、図９は、ピーク高ｘ１と、まばたき持続時間（ｘ２＋ｘ３）の２つのパラメータを用い、これら２つのパラメータを、上記ｘ１〜ｘ３の３つのパラメータを用いた場合と同じ条件、同じ方法でClass１〜Class１２にクラスタリングした場合の、まばたき波形の種別結果を示すものである。図８に示す、３つのパラメータを用いたクラスタリングによる種別結果と比較すると、２つのパラメータの場合には、まばたき時間全体の中でのピーク時間（上記ｘ２、ｘ３に対応する時間）が考慮されないため、特にClass５やClass９のクラスタリング結果において、本来ならばClass１０〜Class１２のまばたき波形以外のものに分類されるべき眼電図（EOG）波形の混入が見られ、まばたき種別のまとまりの悪さが生じている。つまり、３つのパラメータｘ１〜ｘ３を用いてまばたき波形の種別を行うことで、より正確にまばたき波形（パラメータ）の種別を行うことが可能であり、覚醒水準（状態）に、より適応したまばたき波形の種別を行うことが可能である。例えば、図８に示すClass３に分類されるような、眠気に対抗するために対象者が行う意図的なはっきりとした大きなまばたきを、１つのまばたき種類として分類することが可能となる。
【０１０３】
上記のようにして正規化パラメータが種別され、且つ正規化パラメータの種別結果がパラメータ種別部１６から識別情報付与部１７に入力されると、識別情報付与部１７において、種別対象データ記憶部１４を介して、記憶装置７０の所定領域に記憶された、正規化パラメータに対応する特徴パラメータ及び特徴量データを取得する（ステップＳ２０８）。
【０１０４】
そして、入力された識別結果に基づき、前記取得した特徴パラメータ及び特徴量データに対して、まばたき種類（Class１〜Class１２）を識別する識別情報を付与して学習データを生成する（ステップＳ２１０）。本実施の形態においては、例えば、Class１に属する正規化パラメータに対応する特徴パラメータ及びこの特徴パラメータに対応する特徴量データに対しては、これらのデータがClass１に属していることを識別可能な情報（識別ラベル）を付与する。
最終的に、識別情報の付与された特徴パラメータ及び特徴量データは、学習データとして、学習データ記憶部１８を介して、記憶装置７０の所定領域に記憶される（ステップＳ２１２）。
【０１０５】
次に、パターンモデル生成装置１００における、パターンモデル生成処理の動作を説明する。
パターンモデル生成装置１００は、学習データ記憶部１８によって、記憶装置７０の所定領域に、学習データが記憶された状態において、入力装置７４等を介した、ユーザからのまばたき波形用パターンモデルの生成指示又はまばたき映像用パターンモデルの生成指示が与えられると、統計モデル学習部１９において、パターンモデルの生成処理を開始する。
【０１０６】
統計モデル学習部１９は、まばたき波形用パターンモデルの生成指示が与えられた場合（ステップＳ３００の「Ｙｅｓ」の分岐）は、学習データ記憶部１８を介して、記憶装置７０から識別情報の付与された特徴パラメータを取得する（ステップＳ３０２）。そして、当該取得した特徴パラメータを学習データとして統計モデルを学習させて、特徴パラメータを入力とし、入力された特徴パラメータに対するまばたき種類（Class１〜Class１２）の識別結果のデータを出力とするまばたき波形用パターンモデルを生成する（ステップＳ３０４）。本実施の形態においては、統計モデルとしてＨＭＭを用いる。
【０１０７】
ここで、ＨＭＭは、時系列信号の確率モデルであり、複数の定常信号源の間を遷移することで、非定常な時系列信号をモデル化する。例えば、１回のまばたきの時間は、一定ではなく覚醒水準（状態）状況などによりまちまちであるため、それに応じた時間方向の特徴パラメータ数も変化する。従って、ＨＭＭの学習は、具体的に、図１８に示すように、例えば、状態数３のＨＭＭを決定し、上記取得した特徴パラメータから状態の遷移回数を計算し、この計算結果に基づいてある状態から次の状態への遷移確率と、ある状態での特徴パラメータの出力確率とを最尤推定することで行われる。そして、この学習によって得られた遷移確率及び出力確率を有するＨＭＭが、まばたき波形用パターンモデルとなる。
【０１０８】
一方、統計モデル学習部１９は、まばたき映像用パターンモデルの生成指示が与えられた場合（ステップＳ３０８の「Ｙｅｓ」の分岐）は、学習データ記憶部１８を介して、記憶装置７０から識別情報の付与された特徴量データを取得する（ステップＳ３１０）。そして、当該取得した特徴量データを学習データとしてＨＭＭを学習させて、特徴量データを入力とし、入力された特徴量データに対するまばたき種類（Class１〜Class１２）の識別結果（尤度）のデータを出力とするまばたき映像用パターンモデルを生成する（ステップＳ３１２）。なお、ＨＭＭの学習方法は、まばたき波形用パターンモデルのときと同様となるので説明を省略する。
【０１０９】
上記のようにして生成された、まばたき波形用パターンモデル及びまばたき映像用パターンモデルは、パターンモデル記憶部２０を介して、記憶装置７０の所定領域に記憶される（ステップＳ３０６）。
以上、本実施の形態のパターンモデル生成装置１００は、まばたきの眼電図（EOG）波形のピーク高（距離）ｘ１、まばたきの開始からピーク高までの立ち上がり時間ｘ２、ピーク高からまばたきの終了までの立ち下がり時間ｘ３の３つのパラメータを正規化することで、単位（次元）の異なるパラメータが混在したクラスタリングを行うことが可能である。
【０１１０】
また、ｘ１〜ｘ３の３つのパラメータを用いてまばたき種別を行うようにしたので、より正確且つ詳細に眼電図（EOG）波形を種別することが可能である。
また、種別結果に基づき、特徴パラメータ及び特徴量データに識別情報を自動的に付与して学習データを生成するようにしたので、人手をかけずに簡易に識別情報を付与して学習データを生成することが可能である。
また、上記正確且つ詳細に種別された種別結果に基づき、特徴パラメータ及び特徴量データに識別情報を付与して学習データを生成し、この学習データを用いてパターンモデルを生成するようにしたので、まばたき種類の識別結果のデータを精度良く出力できるパターンモデルを生成することが可能である。
【０１１１】
上記第１の実施の形態において、パラメータ正規化部１５は、請求項１又は３記載の正規化手段に対応し、パラメータ種別部１６は、請求項１、４及び５のいずれか１項に記載の種別手段に対応し、識別情報付与部１７は、請求項１記載の識別情報付与手段に対応する。
また、上記第１の実施の形態において、統計モデル学習部１９は、請求項７又は９記載のパターンモデル生成手段に対応する。
【０１１２】
〔第２の実施の形態〕
次に、本発明の第２の実施の形態を図面に基づき説明する。図１１〜図１６は、本発明に係るまばたき波形出現頻度情報生成装置、まばたき波形出現頻度情報生成プログラム及びまばたき波形出現頻度情報生成方法、覚醒状態判定装置、覚醒状態判定プログラム及び覚醒状態判定方法、並びに警告装置、警告装置制御プログラム及び警告装置制御方法の実施の形態を示す図である。
【０１１３】
本実施の形態においては、本発明に係るまばたき波形出現頻度情報生成装置、まばたき波形出現頻度情報生成プログラム及びまばたき波形出現頻度情報生成方法、覚醒状態判定装置、覚醒状態判定プログラム及び覚醒状態判定方法、並びに警告装置、警告装置制御プログラム及び警告装置制御方法を、自動車を運転する運転者の覚醒状態を判定し、その判定結果に基づき運転者に警告を与える警告装置に適用した場合を説明する。
また、本実施の形態の警告装置は、上記第１の実施の形態のパターンモデル生成装置１００において生成された、まばたき波形用パターンモデル及びまばたき映像用パターンモデルを備え、これらパターンモデルを用いて、運転者の所定期間ごとのまばたき種類の識別を行うようになっている。
【０１１４】
まず、本発明に係る警告装置の構成を図に基づき説明する。図１１は、本発明に係る警告装置２００の構成を示すブロック図である。
図１１に示すように、警告装置２００は、運転者の眼部分の映像を含む顔映像を撮影する映像撮影部２１と、運転者のまばたきの眼電図（EOG）波形を測定するまばたき波形測定部２２と、映像撮影部２１で撮影された映像データから特徴量データを抽出し、まばたき波形測定部２２で測定されたまばたき波形データから特徴量データを抽出する特徴量データ抽出部２３と、上記第１の実施の形態のパターンモデル生成装置１００において生成されたパターンモデルを記憶するパターンモデル記憶部２４と、パターンモデル記憶部２４によって記憶されたパターンモデルと、特徴量データ抽出部２３で抽出された特徴量データとに基づきまばたき種類を識別するまばたき種類識別部２５と、所定期間のまばたき種類の識別結果に基づき、まばたき種類の出現頻度情報を生成する出現頻度情報生成部２６とを含んだ構成となっている。
【０１１５】
映像撮影部２１は、自動車内のインナーミラーに設置されたＣＣＤカメラによって、運転席に座っている運転者の顔画像をフレーム単位でリアルタイムに撮影するようになっている。なお、撮影した顔映像はデジタルの顔映像データとして出力する。なお、ＣＣＤカメラの設置位置は、インナーミラーに限らず、撮影対象者の顔全体を含む画像が撮影可能な位置であれば、ステアリング・コラム位置、センター・パネル位置、フロント・ピラー位置等の別の場所でも良い。
まばたき波形測定部２２は、生体計測用交流アンプを有しており、運転者の右眼瞼の上下に装着された電極を介して、リアルタイムに垂直ＥＯＧ（眼電図（EOG）波形）を測定するようになっている。
【０１１６】
特徴量データ抽出部２３は、映像撮影部２１で撮影された運転者の顔映像データから、ＳＶＭを用いて、右眼部分の映像データを抽出すると共に、当該抽出した右眼部分の映像データから特徴量データを抽出するようになっている。具体的には、上記第１の実施の形態と同様に、右眼部分の映像データを構成する各まばたき画像データから、眼球を中央に横１１画素×縦３０画素の抽出領域画像を切り出し、当該抽出領域画像の各画素ライン（横１１画素）ごとの輝度の合計値を算出し、この算出した輝度合計値データ（１回のまばたき映像分）を特徴量データとする。
【０１１７】
更に、特徴量データ抽出部２３は、まばたき波形測定部２２で測定されたまばたきの眼電図（EOG）波形データ（まばたき波形データ）から、上記第１の実施の形態と同様に、まばたき波形のピーク高（距離）ｘ１、まばたきの開始からピーク高までの立ち上がり時間ｘ２、ピーク高からまばたきの終了までの立ち下がり時間ｘ３の３つの特徴パラメータを特徴量データとして抽出するようになっている。
パターンモデル記憶部２４は、上記第１の実施の形態のパターンモデル生成装置１００で生成された、まばたき波形用パターンモデルと、まばたき映像用パターンモデルとを、後述する記憶装置９０の所定領域に記憶するようになっている。
【０１１８】
まばたき種類識別部２５は、設定された識別モードに対応するパターンモデルを用いて、リアルタイムに入力される特徴量データに対するまばたき種類を識別するようになっている。本実施の形態においては、映像撮影部２１で撮影された顔映像データから抽出されるまばたき映像の特徴量データを用いて識別を行うまばたき映像モードと、まばたき波形測定部２２で測定されたまばたき波形データから抽出されるまばたき波形データの特徴量データを用いて識別を行うまばたき波形モードとの２つのモードから、ユーザが任意のモードを設定できるようになっている。
【０１１９】
つまり、まばたき映像モードが設定された場合は、パターンモデル記憶部２４によって記憶されたまばたき映像用パターンモデルと、特徴量データ抽出部２３で抽出したまばたき映像データの特徴量データとに基づき、当該特徴量データに対するまばたき種類を識別する。一方、まばたき波形モードが設定された場合は、パターンモデル記憶部２４によって記憶されたまばたき波形用パターンモデルと、特徴量データ抽出部２３で抽出したまばたき波形データの特徴量データとに基づき、当該特徴量データに対するまばたき種類を識別する。
【０１２０】
出現頻度情報生成部２６は、まばたき種類識別部２５の所定期間における識別結果に基づき、各まばたき種類（Class１〜Class１２）の出現頻度の所定期間における時間変化を示す出現頻度情報を生成するようになっている。本実施の形態においては、所定期間における所定時間幅（例えば、６０秒）ごとの識別結果に基づき、当該所定時間幅における各種類のまばたきの出現頻度を順次算出して、所定時間幅ごとの出現頻度を示す副出現頻度情報を生成する。そして、所定期間分の副出現頻度情報から出現頻度情報を生成し、当該生成した出現頻度情報を覚醒状態判定部２７に出力する。
【０１２１】
警告装置２００は、更に、出現頻度情報生成部２６で生成された出現頻度情報に基づき、運転者の覚醒状態を判定する覚醒状態判定部２７と、覚醒状態判定部２７の判定結果に基づき運転者に警告を与える警告部２８とを含んだ構成となっている。
覚醒状態判定部２７は、各副出現頻度情報の示す各Classのまばたき種類の出現頻度、出現頻度情報から解る各出現頻度の時間変化などに基づき、運転者の覚醒状態を判定する。判定する覚醒状態としては、意識のはっきりとした覚醒状態から居眠りに至るまでの間に段階的に変化する状態が含まれる。例えば、正常な状態、弱い眠気を感じている状態、眠気を感じている状態、強い眠気を感じている状態、居眠り状態などが含まれる。
【０１２２】
また、Class１〜Class１２は、上記第１の実施の形態で説明したように、覚醒状態に応じて分類できるので、まばたき波形であるClass１〜Class９の各Classの出現頻度と、当該出現頻度の時間変化とから覚醒状態を判定する。
警告部２８は、覚醒状態判定部２７の判定結果に基づき、覚醒状態の内容に応じた警告を運転者に与えるようになっている。
具体的には、例えば、弱い眠気を感じていると判定された場合は、休憩をとることを進める音声メッセージを出力し、眠気を感じていると判定された場合は、やや大きい音量で警告音を出力し、強い眠気を感じている又は居眠り状態であると判定された場合は、極めて大きい音量で警告音を出力する。
【０１２３】
更に、警告装置２００は、上記各部の制御をソフトウェア上で実現するためのコンピュータシステムを備えており、そのハードウェア構成は、図１２に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０と、主記憶装置（Ｍａｉｎ Ｓｔｏｒａｇｅ）を構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８２と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８４との間をＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等からなる各種内外バス８８で接続すると共に、このバス８８に入出力インターフェース（Ｉ／Ｆ）８６を介して、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの内部又は外部記憶装置（Ｓｅｃｏｎｄａｒｙ Ｓｔｏｒａｇｅ）９０や、ＬＣＤモニター等の出力装置９２、操作パネルやリモコンなどの入力装置９４、及び図示しない外部装置などと通信するためのネットワークＬなどを接続したものである。
【０１２４】
そして、電源を投入すると、ＲＯＭ８４等に記憶されたＢＩＯＳ等のシステムプログラムが、ＲＯＭ８４に予め記憶された各種専用のコンピュータプログラム、あるいは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などの記憶媒体を介して、又はインターネットなどの通信ネットワークＬを介して記憶装置９０にインストールされた各種専用のコンピュータプログラムを同じくＲＡＭ８２にロードし、そのＲＡＭ８２にロードされたプログラムに記述された命令に従ってＣＰＵ８０が各種リソースを駆使して所定の制御及び演算処理を行うことで前述したような各手段の各機能をソフトウェア上で実現できるようになっている。
【０１２５】
次に、図１３に基づき、このような構成をした警告装置２００における、特徴量データ抽出処理の流れを説明する。ここで、図１３は、警告装置２００における特徴量データ抽出処理を示すフローチャートである。
特徴量データ抽出処理は、図１３に示すように、まずステップＳ４００に移行し、特徴量データ抽出部２３において、識別処理のモードとして、まばたき映像モードが設定されているか否かを判定し、設定されていると判定された場合(Yes)は、ステップＳ４０２に移行し、そうでない場合(No)は、ステップＳ４１０に移行する。
【０１２６】
ステップＳ４０２に移行した場合は、特徴量データ抽出部２３において、映像撮影部２１から、ＣＣＤカメラによって撮影された運転者の顔映像データを取得してステップＳ４０４に移行する。
ステップＳ４０４では、特徴量データ抽出部２３において、ＳＶＭを用いて、ステップＳ４０２で取得した顔映像データからまばたき映像データを検出し、当該検出したまばたき映像データから特徴量データを抽出してステップＳ４０６に移行する。
【０１２７】
ステップＳ４０６では、まばたき種類識別部２５において、パターンモデル記憶部２４からまばたき映像用パターンモデルを取得し、当該取得したまばたき映像用パターンモデルと、ステップＳ４０４で抽出した特徴量データとに基づき、当該特徴量データに対応するまばたき種類を識別してステップＳ４０８に移行する。
ステップＳ４０８では、まばたき種類識別部２５において、ステップＳ４０６又はステップＳ４１６の識別結果を出現頻度情報生成部２６に出力してステップＳ４００に移行する。
【０１２８】
一方、ステップＳ４００において、まばたき映像モードではなくステップＳ４１０に移行した場合は、特徴量データ抽出部２３において、識別処理のモードとして、まばたき波形モードが設定されているか否かを判定し、設定されていると判定された場合(Yes)は、ステップＳ４１２に移行し、そうでない場合(No)は、ステップＳ４００に移行する。
ステップＳ４１２に移行した場合は、特徴量データ抽出部２３において、まばたき波形測定部２２から、まばたき波形データを取得してステップＳ４１４に移行する。
【０１２９】
ステップＳ４１４では、特徴量データ抽出部２３において、ステップＳ４１２で取得したまばたき波形データから、単位の異なる複数の特徴量データ（特徴パラメータ）を抽出してステップＳ４１６に移行する。
ステップＳ４１６では、まばたき種類識別部２５において、パターンモデル記憶部２４からまばたき波形用パターンモデルを取得し、当該取得したまばたき波形用パターンモデルと、ステップＳ４１４で抽出した特徴量データ（特徴パラメータ）とに基づき、当該特徴量データに対応するまばたき種類を識別してステップＳ４０８に移行する。
【０１３０】
次に、図１４に基づき、警告装置２００における、出現頻度情報生成処理の流れを説明する。ここで、図１４は、警告装置２００における出現頻度情報生成処理を示すフローチャートである。
出現頻度情報生成処理は、図１４のフローチャートに示すように、まずステップＳ５００に移行し、出現頻度情報生成部２６において、まばたき種類識別部２５から識別結果を取得したか否かを判定し、取得したと判定された場合(Yes)は、ステップＳ５０２に移行し、そうでない場合(No)は、取得するまで待機する。本実施の形態において、識別結果は、識別結果のまばたき種類の情報と、特徴量データに対応するまばたき映像データ又はまばたき波形データの取得時刻の情報とを含んでいる。
【０１３１】
ステップＳ５０２に移行した場合は、出現頻度情報生成部２６において、識別結果をＲＡＭ８２又は記憶装置９０の所定領域に記憶してステップＳ５０４に移行する。本実施の形態においては、ＲＡＭ９２を優先使用し、ＲＡＭ９２のメモリ容量に応じて、適宜記憶先を変更する。
ステップＳ５０４では、出現頻度情報生成部２６において、識別結果の時刻時間差が所定時間を越えたか否かを判定し、超えたと判定された場合(Yes)は、ステップＳ５０６に移行し、そうでない場合(No)は、ステップＳ５００に移行する。
【０１３２】
本実施の形態においては、時間差を算出する基準として、所定の識別結果に開始位置を示すフラグを設定し、開始位置を示すフラグを有する識別結果の時刻と、現在取得した識別結果の時刻との時間差が所定時間を超えたか否かを判定する。また、所定時間を越えた場合には、開始位置を示すフラグを、現在取得した識別結果に設定変更する。
ステップＳ５０６に移行した場合は、出現頻度情報生成部２６において、所定時間分の識別結果に基づき、各まばたき種類ごとの所定時間における出現頻度を算出してステップＳ５０８に移行する。
【０１３３】
ステップＳ５０８では、出現頻度情報生成部２６において、ステップＳ５０６で算出した出現頻度に基づき、所定時間におけるまばたき種類の出現頻度を示す副出現頻度情報を生成してステップＳ５１０に移行する。
ステップＳ５１０では、出現頻度情報生成部２６において、ステップＳ５０８で生成した副出現頻度情報を、ＲＡＭ８２又は記憶装置９０の所定領域に記憶してステップＳ５１２に移行する。
【０１３４】
ステップＳ５１２では、出現頻度情報生成部２６において、所定期間分の副出現頻度情報が蓄積されたか否かを判定し、蓄積されたと判定された場合(Yes)は、ステップＳ５１４に移行し、そうでない場合(No)は、ステップＳ５００に移行する。
ステップＳ５１４に移行した場合は、出現頻度情報生成部２６において、ステップＳ５０８で記憶した所定期間分の副出現頻度情報に基づき、出現頻度情報を生成してステップＳ５１６に移行する。
ステップＳ５１６では、出現頻度情報生成部２６において、ステップＳ５１４で生成した出現頻度情報を覚醒状態判定部２７に出力してステップＳ５００に移行する。
【０１３５】
次に、図１５に基づき、警告装置２００における、覚醒状態判定処理及び警告処理の流れを説明する。ここで、図１５は、警告装置２００における覚醒状態判定処理及び警告処理を示すフローチャートである。
覚醒状態判定処理及び警告処理は、図１５のフローチャートに示すように、まずステップＳ６００に移行し、覚醒状態判定部２７において、出現頻度情報生成部２６から出現頻度情報を取得したか否かを判定し、取得したと判定された場合(Yes)は、ステップＳ６０２に移行し、そうでない場合(No)は、取得するまで待機する。
【０１３６】
ステップＳ６０２に移行した場合は、覚醒状態判定部２７において、ステップＳ６００で取得した出現頻度情報に基づき、運転者の覚醒状態を判定してステップＳ６０４に移行する。ここで、覚醒状態の判定は、出現頻度情報
ステップＳ６０４では、警告部２８において、ステップＳ６０２の判定結果に基づき、運転者は弱い眠気を感じた状態であるか否かを判定し、そうである場合(Yes)は、ステップＳ６０６に移行し、そうでない場合(No)は、ステップＳ６０８に移行する。
【０１３７】
ステップＳ６０６に移行した場合は、警告部２８において、警告処理（１）を実行してステップＳ６００に移行する。ここで、警告処理（１）を実行すると、休憩をとることを進める音声メッセージを出力される。
一方、ステップＳ６０８に移行した場合は、警告部２８において、運転者は眠気を感じた状態であるか否かを判定し、そうである場合(Yes)は、ステップＳ６１０に移行し、そうでない場合(No)は、ステップＳ６１２に移行する。
【０１３８】
ステップＳ６１０に移行した場合は、警告部２８において、警告処理（２）を実行してステップＳ６００に移行する。ここで、警告処理（２）を実行すると、車内に配設されたスピーカからやや大きい音量（例えば、５０％のボリューム）で警告音及び警告メッセージが出力される。
一方、ステップＳ６１２に移行した場合は、警告部２８において、強い眠気を感じた状態であるか否か又は居眠り状態であるか否かを判定し、強い眠気を感じた状態又は居眠り状態である場合(Yes)は、ステップＳ６１４に移行し、そうでない場合(No)は、ステップＳ６００に移行する。
ステップＳ６１４に移行した場合は、警告部２８において、警告処理（３）を実行してステップＳ６００に移行する。ここで、警告処理（３）を実行すると、車内に配設されたスピーカから極めて大きい音量（例えば、７０％以上のボリューム）で警告音及び警告メッセージが出力される。
【０１３９】
次に、図１６及び図１７に基づき、本実施の形態の動作を説明する。
ここで、図１６は、まばたき波形用パターンモデルの識別結果を用いて生成された出現頻度情報の一例を示す図である。また、図１７は、まばたき映像用パターンモデルの識別結果を用いて生成された出現頻度情報の一例を示す図である。
警告装置２００は、入力装置９４を介してユーザの任意の識別モードが設定され、識別処理が開始されると、まず、設定された識別モードがまばたき映像モードであるか否かを判定する（ステップＳ４００）。設定された識別モードがまばたき映像モードである場合（ステップＳ４００の「Ｙｅｓ」の分岐）は、特徴量データ抽出部２３において、映像撮影部２１から顔映像データを取得する（ステップＳ４０２）。更に、特徴量データ抽出部２３は、ＳＶＭを用いて取得した顔映像データから右眼のまばたき映像データを検出し、当該検出したまばたき映像データから特徴量データを抽出する（ステップＳ４０４）。この特徴量データの抽出は、上記第１の実施の形態のパターンモデル生成装置１００における特徴量データ抽出部１３と同様の方法を用いる。つまり、１回のまばたきに対応するまばたき映像データを構成する各まばたき画像データにおける、抽出領域画像の３０ライン分の各ラインごとの輝度合計値のデータが特徴量データとして抽出される。
【０１４０】
特徴量データが抽出されると、まばたき種類識別部２５は、パターンモデル記憶部２４を介して、記憶装置９０に記憶された、まばたき映像用パターンモデルを取得し、当該取得したまばたき映像用パターンモデルに特徴量データを入力して、まばたき映像用パターンモデルから出力される各まばたき種類（Class１〜Class１２）に対する尤度に基づき、まばたき種類を識別する。具体的には、尤度の最も高いまばたき種類を、入力された特徴量データに対する識別結果とする。そして、この識別結果を、出現頻度情報生成部２６に出力する（ステップＳ４０８）。
【０１４１】
一方、識別モードとして、まばたき波形モードが設定されている場合（ステップＳ４１０の「Ｙｅｓ」の分岐）は、特徴量データ抽出部２３は、まばたき波形測定部２２からまばたき波形データを取得する（ステップＳ４１２）。そして、当該取得したまばたき波形データから、上記第１の実施の形態のパターンモデル生成装置１００におけるパラメータ抽出部１２と同様に、まばたき波形のピーク高（距離）ｘ１、まばたきの開始からピーク高までの立ち上がり時間ｘ２、ピーク高からまばたきの終了までの立ち下がり時間ｘ３の３つの特徴パラメータを特徴量データとして抽出する（ステップＳ４１４）。
【０１４２】
特徴量データが抽出されると、まばたき種類識別部２５は、パターンモデル記憶部２４を介して、記憶装置９０に記憶された、まばたき波形用パターンモデルを取得し、当該取得したまばたき映像用パターンモデルに特徴量データを入力して、まばたき映像用パターンモデルから出力される各まばたき種類（Class１〜Class１２）に対する尤度に基づき、まばたき種類を識別する（ステップＳ４１６）。そして、識別結果を、出現頻度情報生成部２６に出力する（ステップＳ４０８）。
【０１４３】
一方、出現頻度情報生成部２６は、上記いずれかの識別モードによる識別結果を取得するごとに（ステップＳ５００の「Ｙｅｓ」の分岐）、当該識別結果をＲＡＭ８２又は記憶装置９０の所定領域に記憶する（ステップＳ５０２）。ここで、前述したように、識別結果は、識別時の特徴量データに対応するまばたき映像データ又はまばたき波形データの取得時刻情報と、識別されたまばたきの種類情報とを含む情報である。なお、最初に取得した識別結果に対しては、所定時間幅の開始位置を示すフラグを設定する。
【０１４４】
そして、開始位置を示すフラグの設定された識別情報の示す時刻と、現在取得した識別情報の示す時刻とから、これらの時間差を算出し、当該時間差が所定時間（ここでは、６０秒とする）を超えているか否かを判定する（ステップＳ５０４）。６０秒を超えている場合は（ステップＳ５０４の「Ｙｅｓ」の分岐）、開始位置の識別結果から現在取得した識別結果の１つ前の識別結果までの識別結果群に基づき、６０秒間における各まばたき種類の出現頻度（出現回数）を算出し（ステップＳ５０６）、この出現頻度と時刻情報（例えば、識別情報の取得時刻範囲「１２：０１：２０〜１２：０２：２０」）とを対応付けて副出現頻度情報を生成する（ステップＳ５０８）。そして、当該生成した副出現頻度情報をＲＡＭ８２又は記憶装置９０の所定領域に記憶する（ステップＳ５１０）。
【０１４５】
ここで、設定変更前の開始位置の識別結果から現在取得した識別結果の１つ前の識別結果までの識別結果群に対して、前記時刻情報を付してグループ化する。また、所定期間の開始位置となる識別結果に対しては、所定期間の開始を示すフラグを設定する。ここでは、所定期間を「５分（３００秒）」とする。
そして、ＲＡＭ８２又は記憶装置９０の所定領域に所定期間分の副出現頻度情報が蓄積されると（ステップＳ５１２の「Ｙｅｓ」の分岐）、所定期間分の副出現頻度情報を時刻順にグループ化して出現頻度情報を生成し（ステップＳ５１４）、当該生成した出現頻度情報を覚醒状態判定部２７に出力する。
【０１４６】
覚醒状態判定部２７は、出現頻度情報生成部２６から出現頻度情報を取得すると（ステップＳ６００の「Ｙｅｓ」の分岐）、出現頻度情報に基づき覚醒状態を判定する（ステップＳ６０２）。なお、出現頻度情報は、時刻順に連続して出現頻度情報生成部２６から取得され、４０分間分の出現頻度情報を時刻順にグラフに表すと、まばたき波形モードで生成された場合は図１６に示すようになる。また、覚醒状態判定部２７は、現在取得した出現頻度情報だけではなく、過去に取得した出現頻度情報にも基づいて覚醒状態を判定する。
なお、図１６に示す出現頻度情報は、ある一人の被験者に対する、実際に測定したまばたき波形データに対するまばたき波形用パターンモデルの識別結果に基づき、上記まばたき波形モードで生成されたものである。このまばたき波形用パターンモデルは、上記第１の実施の形態で生成されたものと同じものである。
【０１４７】
また、図１７は、図１６と同じ被験者について、実際にまばたき波形の測定と同時に撮影したまばたき映像データを用いて、上記まばたき映像モードで生成した出現頻度情報を示す図である。つまり、図１７に示す出現頻度情報は、まばたき映像用パターンモデルを用いた識別結果に基づき生成されている。このまばたき映像用パターンモデルは、上記第１の実施の形態において説明したように、眼電図(EOG)波形から抽出した特徴パラメータを、クラスタリングによりClass１〜Class１２の１２種類のまばたき種類に種別した結果に基づき生成された、まばたき映像データの特徴量データを学習データとして生成されるものである。但し、上記第１の実施の形態においては、１２種類のまばたき種類の全種類に対応する学習データを用いてまばたき映像用パターンモデルを生成しているのに対して、図１７の出現頻度情報の生成に用いられるまばたき映像用パターンモデルは、Class１〜Class９に種別された９種類のまばたき種類に対応する学習データのみを用いて生成されている。従って、図１７を見ると解るように、その出現頻度情報には、Class１〜Class９に種別されたまばたき波形の出現頻度しか示されていない。
【０１４８】
このようにした理由は、Class１０〜Class１２に種別されたまばたき波形（特徴パラメータ）が、まばたき以外の眼球運動などの影響による眼電図(EOG)波形であり、覚醒水準との関連性が極めて低いためである。
従って、図１７に示す出現頻度情報と、図１６に示す出現頻度情報とを比較すると、図１７に示す、まばたき映像入力のみからまばたき種類を識別して生成されたまばたき種類の出現頻度の時間的変化（出現頻度情報）が、図１６に示す、まばたき種類の種別の基準となる眼電図（EOG）波形入力からまばたき種類を識別して生成されたものに対して、ほぼ同じ内容となる。つまり、Class１０〜Class１２のまばたき種類が出現頻度情報に与える影響は極めて小さいことが解る。
【０１４９】
図１６及び図１７に示すように、この被験者は、序盤から弱い眠気を感じており、中盤（２０分前後）から後半にかけて段階的に眠気が増していき、途中、外的要因によって一時的に覚醒しているが、４０分後には睡眠状態（居眠り状態）になっている。
より具体的には、図１６及び図１７に示すように、運転初期から高覚醒状態時の標準的なまばたき種類であるClass１に加えて、眠気によりまぶたの落ちてきたまばたき種類であるClass２の発生が始まる。運転中盤にかけて覚醒状態の低下が進み、Class２のまばたき種類の増加と共にClass３の眠気に対抗するための意図的なはっきりとしたまばたき種類が増加している。運転者の覚醒状態が著しく低下した運転中盤以降から終盤にかけては、Class４の低覚醒状態で発生する波高の小さいまばたき種類が発生し、同時にClass５〜Class７の低覚醒状態時の持続時間の長いまばたき種類も発生している。また、低覚醒状態から外的要因により一時的に瞬時覚醒したときに、Class８のまばたき種類が発生している。
【０１５０】
従って、図１６及び図１７の例の場合は、序盤からしばらくは、運転者が弱い眠気を感じていると判定し（ステップＳ６０４の「Ｙｅｓ」の分岐）、警告部２８において、警告処理（１）を実行し、休憩を促す音声メッセージを出力する（ステップＳ６０６）。また、途中から中盤までは運転者が眠気を感じていると判定し（ステップＳ６０８の「Ｙｅｓ」の分岐）、警告部２８において、警告処理（２）を実行し、最大音量の５０％の音量で警告音を出力する（ステップＳ６１０）。また、中盤から後半にかけては、運転者が強い眠気を感じている又は居眠り状態であると判定し（ステップＳ６１２の「Ｙｅｓ」の分岐）、警告部２８において、警告処理（３）を実行し、最大音量の７０％以上の音量で警告音を出力する（ステップＳ６１４）。
【０１５１】
ここで、より具体的な覚醒状態の判断（判定）方法として、まず、図１６及び図１７に基づき、ある特定の１種類のまばたき種類に着目して覚醒状態を判断（判定）する方法を説明する。
図１６や図１７に示された、まばたき種類の出現頻度の時間的変化（経時変化）を見ると解るように、１５分を過ぎたあたりからClass１の高覚醒時の標準的なまばたきの発生が減少し、２０分以降には発生しなくなる。また、同じ時間帯において、Class３の眠気に対抗した意図的なはっきりとした大きなまばたきが発生している。つまり、Class１及びClass３のまばたきの発生状態に着目することで、８分後から２０分後にかけて運転者は眠気を感じており（Class１から）、かつその眠気に対抗しようとしている（Class３から）と判断（判定）することができる。
【０１５２】
更に、図１６及び図１７に示すように、２０分を過ぎると、それまでは発生していなかったClass４の低覚醒状態で発生する波高が非常に小さくなったまばたきが発生し始める。つまり、Class４のまばたきの発生状態に着目することで、運転者は、２０分を過ぎたあたりから非常に強い眠気を感じていると判断（判定）することができる。
【０１５３】
次に、図１６及び図１７に基づき、複数種類のまばたきの出現頻度の割合から覚醒状態を判断（判定）する方法を説明する。図１６及び図１７に示すように、１５分を過ぎたあたりからClass１の高覚醒時の標準的なまばたきの出現割合が減少し、かつClass３の眠気に対抗した意図的なはっきりとした大きなまばたきの出現割合が高くなっている。更に、１５分を過ぎたあたりから２０分後にかけて、Class３のまばたきと、Class２の眠気によりまぶたが落ちてきて波高が小さくなったまばたきとが、各所定時間（図では、６０秒間）で発生するまばたきのほぼ全てを占めるようになっている。つまり、Class１〜Class３のまばたきの出現頻度の割合に着目することで、運転者は、８分後から２０分後にかけて眠気を感じており、かつその眠気に対抗しようとしていると判断（判定）することができる。
【０１５４】
更に、図１６及び図１７に示すように、２０分を過ぎると、Class４の低覚醒状態で発生する波高が非常に小さくなったまばたきと、Class５〜Class７の低覚醒状態時の持続時間の長いまばたきの発生回数が増加し、これらの合計発生回数から、Class４並びにClass５〜Class７のまばたきが各所定時間で発生するまばたきのほぼ全てを占めるようになる。このことから、運転者は、２０分を過ぎたあたりから非常に強い眠気を感じていると判断（判定）することができる。
【０１５５】
なお、図１６及び図１７において、まばたき種類の出現頻度情報が、同図の時間軸（横軸）における７分を経過後から出現（開始）しているのは、あくまでも、データを取得した今回の実験の都合上であり、実際の実用上は、データ取得直後からの出現頻度情報を生成することが可能である。
また、上記第１及び第２の実施の形態において、眼電図（EOG:Electro-oculography）の波形データを用いた部分は、これに代えて、あるいはこれと同時に眼輪筋電図(EMG:Electro-myography)の波形データを使用してもよい。
【０１５６】
以上、本実施の形態の警告装置２００は、上記第１の実施の形態のパターンモデル生成装置１００で生成したパターンモデルを用いて、まばたき種類の識別を行うことができるので、これにより、一般に分類されるまばたき種類よりも多い種類（上記Class１〜Class１２）のまばたき種類を識別することが可能である。
また、所定期間における所定時間幅のまばたき種類の出現頻度の時間変化の情報である出現頻度情報を生成し、この出現頻度情報に基づき運転者の覚醒状態を判定することができるので、覚醒した状態から睡眠状態に至るまでの間に段階的な発生する様々な覚醒状態を判定することが可能であり、これにより、眠気の強弱をより正確に判定することができるので、より適切な警告を与えることが可能である。
【０１５７】
上記第２の実施の形態において、映像撮影部２１は、請求項１１記載の撮影手段又は請求項１６記載のまばたき映像撮影手段に対応し、まばたき波形測定部２２は、請求項１０若しくは請求項１３記載の眼電図波形測定手段又は請求項１５記載のまばたき眼電図波形測定手段に対応し、特徴量データ抽出部２３におけるまばたき映像データから特徴量データを抽出する処理は、請求項１１記載の特徴量データ抽出手段又は請求項１６記載の特徴量抽出手段に対応し、特徴量データ抽出部２３におけるまばたき波形データから特徴量データ（特徴パラメータ）を抽出する処理は、請求項１１若しくは請求項１３記載のまばたきデータ抽出手段又は請求項１５記載の特徴量抽出手段に対応し、まばたき種類識別部２５は、請求項１０若しくは請求項１１若しくは請求項１３記載のまばたき波形識別手段又は請求項１５若しくは請求項１６記載のまばたき種類識別手段に対応する。
【０１５８】
また、上記第２の実施の形態において、出現頻度情報生成部２６は、請求項１０、１１及び１３のいずれか１項に記載の出現頻度情報生成手段又は請求項１５若しくは請求項１６記載のまばたき波形種類出現頻度情報生成手段に対応し、覚醒状態判定部２７は、請求項１２若しくは請求項１３記載の覚醒状態判定手段又は請求項１５若しくは請求項１６記載の覚醒状態判断手段に対応し、警告部２８は、請求項１７記載の警告手段に対応する。
【０１５９】
なお、上記第１の実施の形態においては、パターンモデルをＨＭＭから構成する例を説明したが、これに限らず、ＳＶＭやニューラルネットワークなどの他の統計モデルから構成するようにしても良い。
また、上記第２の実施の形態では、撮影対象者の右眼領域を検出し覚醒状態の判定を行う例を説明したが、撮影環境や適用するシステムの種類などに応じて撮影対象者の左眼領域や両眼領域を検出して判定を行うようにしても良い。
【０１６０】
また、上記第１及び第２の実施の形態においては、まばたき画像データから切り出した抽出部分画像のラインごと輝度合計を特徴量データとして抽出するようにしたが、これに限らず、まばたき画像データをフーリエ変換してその周波数スペクトル成分を特徴量として抽出するなど、他の特徴量を抽出するようにしても良い。
また、上記第２の実施の形態においては、出現頻度情報に基づき対象者（運転者）の覚醒状態を判定するようにしたが、これに限らず、出現頻度情報に基づき対象者の緊張状態など、対象者の他の状態を判定するようにしても良い。
【図面の簡単な説明】
【０１６１】
【図１】本発明に係るパターンモデル生成装置１００の構成を示すブロック図である。
【図２】パターンモデル生成装置１００のハードウェア構成を示すブロック図である。
【図３】まばたき波形データからのパラメータの抽出処理及びまばたき映像データからの特徴量データの抽出処理を示すフローチャートである。
【図４】学習データ生成処理を示すフローチャートである。
【図５】パターンモデル生成装置１００における、パターンモデル生成処理を示すフローチャートである。
【図６】まばたき波形データから抽出するパラメータの説明図である。
【図７】（ａ）及び（ｂ）は、まばたき映像データから抽出する特徴量データの説明図である。
【図８】３種類のパラメータを用いて本発明の手法によって種別された、ある一人の被験者に対するまばたき波形を示す図である。
【図９】２種類のパラメータを用いて本発明の手法によって種別された、ある一人の被験者に対するまばたき波形を示す図である。
【図１０】（ａ）〜（ｃ）は、ある一人の被験者に対するＺスコアのレーダーチャートである。
【図１１】本発明に係る警告装置２００の構成を示すブロック図である。
【図１２】警告装置２００のハードウェア構成を示すブロック図である。
【図１３】警告装置２００における特徴量データ抽出処理を示すフローチャートである。
【図１４】警告装置２００における出現頻度情報生成処理を示すフローチャートである。
【図１５】警告装置２００における覚醒状態判定処理及び警告処理を示すフローチャートである。
【図１６】まばたき波形用パターンモデルの識別結果を用いて生成された出現頻度情報の一例を示す図である。
【図１７】まばたき映像用パターンモデルの識別結果を用いて生成された出現頻度情報の一例を示す図である。
【図１８】ＨＭＭの一例を示す図である。
【符号の説明】
【０１６２】
１００ パターンモデル生成装置
２００ 警告装置
１０ まばたき波形データ記憶部
１１ まばたき映像データ記憶部
１２ パラメータ抽出部
１３ 特徴量データ抽出部
１４ 種別対象データ記憶部
１５ パラメータ正規化部
１６ パラメータ種別部
１７ 識別情報付与部
１８ 学習データ記憶部
１９ 統計モデル学習部
２０ パターンモデル記憶部
２１ 映像撮影部
２２ まばたき波形測定部
２３ 特徴量データ抽出部
２４ パターンモデル記憶部
２５ まばたき種類識別部
２６ 出現頻度情報生成部
２７ 覚醒状態判定部
２８ 警告部
【特許請求の範囲】
【請求項１】
まばたきの眼電図（EOG）波形に係るデータであるまばたきデータを種別するまばたきデータ種別装置であって、
前記まばたきの眼電図（EOG）波形のデータである眼電図（EOG）波形データから抽出された、単位の異なる複数種類のパラメータを正規化する正規化手段と、
前記正規化手段で正規化された複数種類のまばたきの前記眼電図（EOG）波形データに対応するパラメータを、所定のクラスタリング手法を用いて種別する種別手段と、
前記種別手段の種別結果に基づき、前記種別された各パラメータに対応する前記まばたきデータに対して、前記各パラメータの属する種類の識別情報をそれぞれ付与する識別情報付与手段と、を備えることを特徴とするまばたきデータ種別装置。
【請求項２】
前記単位の異なる複数種類のパラメータは、前記まばたきの眼電図（EOG）波形データから抽出される、前記眼電図（EOG）波形のピーク高の距離データ、まばたきの開始から前記ピーク高に至るまでの時間データ及び前記ピーク高からまばたきの終了に至るまでの時間データを含むことを特徴とする請求項１記載のまばたきデータ種別装置。
【請求項３】
前記正規化手段は、Ｚスコア法を用いて、前記単位の異なる複数種類のパラメータを正規化することを特徴とする請求項１又は請求項２記載のまばたきデータ種別装置。
【請求項４】
前記種別手段は、前記所定のクラスタリング手法として、分割最適化手法又は階層的手法を用いることを特徴とする請求項１乃至請求項３のいずれか１項に記載のまばたきデータ種別装置。
【請求項５】
前記まばたきデータは、前記まばたきの眼電図（EOG）波形に対応する、各対象者のまばたき時の少なくとも片眼全体の動画像データを含むまばたき映像データから抽出される特徴量データであることを特徴とする請求項１乃至請求項４のいずれか１項に記載のまばたきデータ種別装置。
【請求項６】
請求項１乃至請求項４のいずれか１項に記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させ、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴とするパターンモデル生成装置。
【請求項７】
前記統計モデルは、ＨＭＭ（Hidden Markov Model）であることを特徴とする請求項６記載のパターンモデル生成装置。
【請求項８】
請求項５記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させ、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴とするパターンモデル生成装置。
【請求項９】
前記統計モデルは、ＨＭＭ（Hidden Markov Model）であることを特徴とする請求項８記載のパターンモデル生成装置。
【請求項１０】
請求項６又は請求項７記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の眼電図（EOG）波形を測定する眼電図波形測定手段と、
前記眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、前記パターンモデルに対応するまばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出したまばたきデータと、前記パターンモデルとに基づき、前記まばたきデータに対応する眼電図（EOG）波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記対象者のまばたき時の眼電図（EOG）波形に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記眼電図（EOG）波形の種類の出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴とするまばたき波形出現頻度情報生成装置。
【請求項１１】
請求項８又は請求項９記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影する撮影手段と、
前記撮影手段で撮影したまばたき映像のデータであるまばたき映像データから、前記パターンモデルに対応する特徴量データを抽出する特徴量データ抽出手段と、
前記特徴量データ抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対応したまばたき映像に対応する眼電図（EOG）波形の種類を識別するまばたき波形識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴とするまばたき波形出現頻度情報生成装置。
【請求項１２】
請求項１０又は請求項１１記載のまばたき波形出現頻度情報生成装置と、
前記まばたき波形出現頻度情報生成装置で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴とする覚醒状態判定装置。
【請求項１３】
対象者のまばたき時の眼電図（EOG）波形を測定するまばたき眼電図波形測定手段と、
前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、まばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出されたまばたきデータと、予め記憶されたまばたき波形種類の識別用データとに基づき、前記まばたきデータに対応するまばたき波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記眼電図（EOG）波形に対応する前記まばたき波形識別手段の識別結果に基づき、前記所定期間の前記まばたき波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、
前記出現頻度情報生成手段で生成した出現頻度情報に基づき、前記まばたき波形の所定の種類の出現頻度から、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴とする覚醒状態判定装置。
【請求項１４】
前記まばたき波形の所定の種類の出現頻度は、前記まばたき波形の複数種類の出現頻度であることを特徴とする請求項１３記載の覚醒状態判定装置。
【請求項１５】
対象者のまばたき時の眼電図（EOG）波形を測定するまばたき眼電図波形測定手段と、
前記眼電図（EOG）波形のデータである眼電図（EOG）波形データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴とする覚醒状態判断装置。
【請求項１６】
対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影するまばたき映像撮影手段と、
前記まばたき映像のデータであるまばたき映像データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき映像撮影手段で撮影したまばたき映像のデータであるまばたき映像データから特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴とする覚醒状態判断装置。
【請求項１７】
請求項１２又は請求項１３記載の覚醒状態判定装置と、
前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与える警告手段と、を備えることを特徴とする警告装置。
【請求項１】
まばたきの眼電図（EOG）波形に係るデータであるまばたきデータを種別するまばたきデータ種別装置であって、
前記まばたきの眼電図（EOG）波形のデータである眼電図（EOG）波形データから抽出された、単位の異なる複数種類のパラメータを正規化する正規化手段と、
前記正規化手段で正規化された複数種類のまばたきの前記眼電図（EOG）波形データに対応するパラメータを、所定のクラスタリング手法を用いて種別する種別手段と、
前記種別手段の種別結果に基づき、前記種別された各パラメータに対応する前記まばたきデータに対して、前記各パラメータの属する種類の識別情報をそれぞれ付与する識別情報付与手段と、を備えることを特徴とするまばたきデータ種別装置。
【請求項２】
前記単位の異なる複数種類のパラメータは、前記まばたきの眼電図（EOG）波形データから抽出される、前記眼電図（EOG）波形のピーク高の距離データ、まばたきの開始から前記ピーク高に至るまでの時間データ及び前記ピーク高からまばたきの終了に至るまでの時間データを含むことを特徴とする請求項１記載のまばたきデータ種別装置。
【請求項３】
前記正規化手段は、Ｚスコア法を用いて、前記単位の異なる複数種類のパラメータを正規化することを特徴とする請求項１又は請求項２記載のまばたきデータ種別装置。
【請求項４】
前記種別手段は、前記所定のクラスタリング手法として、分割最適化手法又は階層的手法を用いることを特徴とする請求項１乃至請求項３のいずれか１項に記載のまばたきデータ種別装置。
【請求項５】
前記まばたきデータは、前記まばたきの眼電図（EOG）波形に対応する、各対象者のまばたき時の少なくとも片眼全体の動画像データを含むまばたき映像データから抽出される特徴量データであることを特徴とする請求項１乃至請求項４のいずれか１項に記載のまばたきデータ種別装置。
【請求項６】
請求項１乃至請求項４のいずれか１項に記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させ、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴とするパターンモデル生成装置。
【請求項７】
前記統計モデルは、ＨＭＭ（Hidden Markov Model）であることを特徴とする請求項６記載のパターンモデル生成装置。
【請求項８】
請求項５記載のまばたきデータ種別装置と、
前記まばたきデータ種別装置で前記識別情報の付与された前記まばたきデータを学習データとして統計モデルを学習させ、前記まばたきデータを入力とし、当該まばたきデータの識別データを出力とするパターンモデルを生成するパターンモデル生成手段と、を備えることを特徴とするパターンモデル生成装置。
【請求項９】
前記統計モデルは、ＨＭＭ（Hidden Markov Model）であることを特徴とする請求項８記載のパターンモデル生成装置。
【請求項１０】
請求項６又は請求項７記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の眼電図（EOG）波形を測定する眼電図波形測定手段と、
前記眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、前記パターンモデルに対応するまばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出したまばたきデータと、前記パターンモデルとに基づき、前記まばたきデータに対応する眼電図（EOG）波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記対象者のまばたき時の眼電図（EOG）波形に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記眼電図（EOG）波形の種類の出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴とするまばたき波形出現頻度情報生成装置。
【請求項１１】
請求項８又は請求項９記載のパターンモデル生成装置で生成されたパターンモデルと、
対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影する撮影手段と、
前記撮影手段で撮影したまばたき映像のデータであるまばたき映像データから、前記パターンモデルに対応する特徴量データを抽出する特徴量データ抽出手段と、
前記特徴量データ抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対応したまばたき映像に対応する眼電図（EOG）波形の種類を識別するまばたき波形識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき波形識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、を備えることを特徴とするまばたき波形出現頻度情報生成装置。
【請求項１２】
請求項１０又は請求項１１記載のまばたき波形出現頻度情報生成装置と、
前記まばたき波形出現頻度情報生成装置で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴とする覚醒状態判定装置。
【請求項１３】
対象者のまばたき時の眼電図（EOG）波形を測定するまばたき眼電図波形測定手段と、
前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、まばたきデータを抽出するまばたきデータ抽出手段と、
前記まばたきデータ抽出手段で抽出されたまばたきデータと、予め記憶されたまばたき波形種類の識別用データとに基づき、前記まばたきデータに対応するまばたき波形の種類を識別するまばたき波形識別手段と、
所定期間において測定された前記眼電図（EOG）波形に対応する前記まばたき波形識別手段の識別結果に基づき、前記所定期間の前記まばたき波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成する出現頻度情報生成手段と、
前記出現頻度情報生成手段で生成した出現頻度情報に基づき、前記まばたき波形の所定の種類の出現頻度から、前記対象者の覚醒状態を判定する覚醒状態判定手段と、を備えることを特徴とする覚醒状態判定装置。
【請求項１４】
前記まばたき波形の所定の種類の出現頻度は、前記まばたき波形の複数種類の出現頻度であることを特徴とする請求項１３記載の覚醒状態判定装置。
【請求項１５】
対象者のまばたき時の眼電図（EOG）波形を測定するまばたき眼電図波形測定手段と、
前記眼電図（EOG）波形のデータである眼電図（EOG）波形データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき眼電図波形測定手段で測定された眼電図（EOG）波形のデータである眼電図（EOG）波形データから、特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴とする覚醒状態判断装置。
【請求項１６】
対象者のまばたき時の少なくとも片眼全体の動画像を含むまばたき映像を撮影するまばたき映像撮影手段と、
前記まばたき映像のデータであるまばたき映像データから抽出される特徴量データを入力とし、当該特徴量データに対応するまばたき波形種類の識別データを出力とするパターンモデルと、
前記まばたき映像撮影手段で撮影したまばたき映像のデータであるまばたき映像データから特徴量データを抽出する特徴量抽出手段と、
前記特徴量抽出手段で抽出した特徴量データと、前記パターンモデルとに基づき、前記特徴量データに対するまばたき波形種類を識別するまばたき種類識別手段と、
所定期間において撮影された前記対象者のまばたき映像に対する前記まばたき種類識別手段の識別結果に基づき、前記所定期間における前記まばたき映像に対応する眼電図（EOG）波形の種類ごとの出現頻度の時間的変化を示す出現頻度情報を生成するまばたき波形種類出現頻度情報生成手段と、
前記まばたき波形種類出現頻度情報生成手段で生成した出現頻度情報に基づき、前記対象者の覚醒状態を判断する覚醒状態判断手段と、を備えることを特徴とする覚醒状態判断装置。
【請求項１７】
請求項１２又は請求項１３記載の覚醒状態判定装置と、
前記覚醒状態判定装置における前記覚醒状態の判定結果に基づき、前記対象者に警告を与える警告手段と、を備えることを特徴とする警告装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００７−３１２８２４（Ｐ２００７−３１２８２４Ａ）
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願番号】特願２００６−１４２５８２（Ｐ２００６−１４２５８２）
【出願日】平成１８年５月２３日（２００６．５．２３）
【出願人】（０００００００３３）旭化成株式会社 (901)
【出願人】（５０３４２０８３３）学校法人大阪工大摂南大学 (62)
【Ｆターム（参考）】
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願日】平成１８年５月２３日（２００６．５．２３）
【出願人】（０００００００３３）旭化成株式会社 (901)
【出願人】（５０３４２０８３３）学校法人大阪工大摂南大学 (62)
【Ｆターム（参考）】
[ Back to top ]