瞬目計測装置及び瞬目計測方法
【課題】 生体状態に関連する指標として変則瞬目を判別することができる瞬目計測装置及び瞬目計測方法を提供する。
【解決手段】 瞬目計測装置１では、撮像部５が計測対象者の眼１００を撮像し（撮像工程）、瞬目判別部７が、撮像部５により撮像された眼１００の画像に基づいて、計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目を変則瞬目と判別する（瞬目判別工程）。これにより、閉眼時や開眼時に眼瞼の断続的な動作（眼瞼の微動）を伴う変則瞬目（すなわち、閉眼の途中で眼瞼の停留或いは開瞼が現れたり、開眼の途中で眼瞼の停留或いは閉瞼が現れたりする変則瞬目）が検出される。
【解決手段】 瞬目計測装置１では、撮像部５が計測対象者の眼１００を撮像し（撮像工程）、瞬目判別部７が、撮像部５により撮像された眼１００の画像に基づいて、計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目を変則瞬目と判別する（瞬目判別工程）。これにより、閉眼時や開眼時に眼瞼の断続的な動作（眼瞼の微動）を伴う変則瞬目（すなわち、閉眼の途中で眼瞼の停留或いは開瞼が現れたり、開眼の途中で眼瞼の停留或いは閉瞼が現れたりする変則瞬目）が検出される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、瞬目計測装置及び瞬目計測方法に関する。
【背景技術】
【０００２】
人間は１分間に約２０回程度の瞬き（瞬目）を行うことが知られている。以前は、「眼球を乾燥から守るため」といわれていたが、環境の湿度や風速の変化では、瞬目回数が殆ど変化しないなど、瞬目がなぜ起こるのかについては、未知な部分が多い。そのような中、近年では、瞬目の態様が生体状態（眼精疲労（ＶＤＴ疲労）、疲労度、集中度、覚醒度（眠気）や、生活習慣病、精神疾患、神経疾患、認知症等）に関連する指標となり得ることが報告されている。
【０００３】
例えば、特許文献１には、眼疲労の状態（眼疲労度）を推定するパラメータとして、瞬きの開始時の速度及び加速度を利用することが記載されている。また、特許文献２には、眼疲労度を推定するパラメータとして、瞬きの回数や頻度を利用することが記載されている。また、非特許文献１には、車を運転するドライバの意識低下状態（特に眠気）を検知・推定するためのパラメータとして、瞬き開始から閉眼状態を経て再び開眼（すなわち、瞬きの完了）するまでの時間を利用することが記載されている。
【０００４】
一方、本発明者らは、これまでに高速の瞬目計測装置の開発を進めてきており、疲労度と瞬目特徴量との相関に基づき疲労度を算出する瞬目計測装置を提案したり（特許文献３参照）、そのような装置を用いて様々な検証を行ったりしている（非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−２８９３２７号公報
【特許文献２】特許第３３４８９５６号公報
【特許文献３】特開２００９−１２５１５４号公報
【非特許文献】
【０００６】
【非特許文献１】足立和正、他３名、「ドライバの意識低下検知のための動画像処理によるまばたき計測」、電気学会論文誌Ｃ（電子・情報・システム部門誌）、電気学会、２００４年、第１２４巻、第３号、ｐ．７７６−７８３
【非特許文献２】中村芳子、他６名、「瞬目高速解析装置を用いた自発性瞬目の測定」、日本眼科学会雑誌 １１２（１２）、２００８年、ｐ．１０５９−１０６７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１，２及び非特許文献１に記載された装置は、ＣＣＤカメラにより取得した顔画像に基づいて各パラメータを算出している。しかし、現在の一般的なＣＣＤカメラは３０フレーム／秒といった低速での撮像しかできない。この場合、１フレーム当たりの所要時間は約３３ミリ秒である。一方、人間の瞬目に要する時間（瞬き開始から閉眼状態を経て再び開眼するまで）は１００〜３００ミリ秒程度であり、ＣＣＤカメラでは３〜１０フレームの画像しか得られないので、回数などのマクロな特徴量は計測できるが、瞬目の詳細な動きに関する質的な特徴量を精度良く計測することは困難である。したがって、特許文献１，２又は非特許文献１に記載されたパラメータが、疲労度を正確に推定できるものであるかといった信頼性には疑問があり、これらの文献による疲労度の推定は、疲労度と眼の運動との正確な相関に基づいているとはいい難い。
【０００８】
一方、特許文献３及び非特許文献２に記載された装置には、生体状態に関連する指標となり得る瞬目の態様をより詳細にかつより正確に判別することが期待されている。
【０００９】
本発明は、このような事情に鑑みてなされたものであり、生体状態に関連する指標として変則瞬目を判別することができる瞬目計測装置及び瞬目計測方法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の瞬目計測装置は、計測対象者の眼を撮像する撮像手段と、撮像手段により撮像された眼の画像に基づいて、計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目を変則瞬目と判別する瞬目判別手段と、を備えることを特徴とする。
【００１１】
また、本発明の瞬目計測方法は、計測対象者の眼を撮像する撮像工程と、撮像工程において撮像された眼の画像に基づいて、計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目を変則瞬目と判別する瞬目判別工程と、を備えることを特徴とする。
【００１２】
これらの瞬目計測装置及び瞬目計測方法では、閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目を変則瞬目と判別する。これにより、閉眼時や開眼時に眼瞼の断続的な動作（眼瞼の微動）を伴う変則瞬目（すなわち、閉眼の途中で眼瞼の停留或いは開瞼が現れたり、開眼の途中で眼瞼の停留或いは閉瞼が現れたりする変則瞬目）を検出することが可能となる。このように、これらの瞬目計測装置及び瞬目計測方法によれば、生体状態に関連する指標として変則瞬目を判別することができる。なお、閉眼とは、１回の瞬目において眼を閉じる一連の動作を意味し、開眼とは、１回の瞬目において眼を開く一連の動作を意味する。また、閉瞼とは、閉じる方向への眼瞼の動作を意味し、開瞼とは、開く方向への眼瞼の動作を意味する。
【００１３】
ここで、瞬目判別手段は、１回の瞬目において閉瞼及び開瞼する眼瞼の位置の時間変化を示す眼瞼位置データを取得し、当該眼瞼位置データに基づいて、１回の瞬目において閉瞼及び開瞼する眼瞼の位置の時間変化に現れる極値を３点以上抽出した場合に、瞬目を変則瞬目と判別することが好ましい。
【００１４】
また、瞬目判別手段は、１回の瞬目において閉瞼及び開瞼する眼瞼の速度の時間変化を示す眼瞼速度データを取得し、当該眼瞼速度データに基づいて、１回の瞬目において閉瞼及び開瞼する眼瞼の速度の時間変化に現れる極値を３点以上抽出した場合に、瞬目を変則瞬目と判別することが好ましい。
【００１５】
更に、瞬目判別手段は、１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化を示す眼瞼加速度データを取得し、当該眼瞼加速度データに基づいて、１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に現れる極値を３点以上抽出した場合に、瞬目を変則瞬目と判別することが好ましい。
【００１６】
これらによれば、眼瞼位置データ、眼瞼速度データ及び眼瞼加速度データの少なくとも１つに基づいて、閉眼時や開眼時に眼瞼の微動を伴う変則瞬目を検出することが可能となる。
【発明の効果】
【００１７】
本発明によれば、生体状態に関連する指標として変則瞬目を判別することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態の瞬目計測装置の構成図である。
【図２】図１の瞬目計測装置の撮像部の構成図である。
【図３】図１の瞬目計測装置の撮像部内の電気的接続関係を示す図である。
【図４】眼瞼抽出部による眼瞼位置情報の生成方法を示す図である。
【図５】通常瞬目における眼瞼の位置、速度及び加速度の時間変化を示すグラフである。
【図６】変則瞬目における眼瞼の位置、速度及び加速度の時間変化を示すグラフである。
【図７】変則瞬目における眼瞼の位置、速度及び加速度の時間変化を示すグラフである。
【図８】変則瞬目における眼瞼の位置、速度及び加速度の時間変化を示すグラフである。
【発明を実施するための形態】
【００１９】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。
【００２０】
図１に示されるように、瞬目計測装置１は、照明２、ダイクロイックミラー３、集光レンズ４、撮像部（撮像手段）５、眼瞼抽出部６及び瞬目判別部（瞬目判別手段）７を備えている。集光レンズ４、撮像部５、眼瞼抽出部６及び瞬目判別部７は、カメラ８の内部に収容されている。
【００２１】
照明２は、計測対象者の眼１００及びその周辺を照らす照明手段であり、例えば赤外光を発生する複数のＬＥＤによって好適に構成される。照明２が眼１００及びその周辺へ赤外光Ｌ１を照射することにより、眼１００及びその周辺において赤外光Ｌ１が反射して光像Ｌ２が生じる。なお、照明２としては赤外光ＬＥＤに限らず他の光源を用いることができるが、高速撮像時には、眼１００の様子等を照らし出すのに充分な光量の可視光を発光すると計測対象者にとって眩しいため、赤外光源を用いることが好ましい。
【００２２】
ダイクロイックミラー３は、眼１００及びその周辺からの光像Ｌ２を透過して、該光像Ｌ２を撮像部５の光検出部５１に入射させるように配置されている。また、ダイクロイックミラー３は、眼１００と撮像部５とを結ぶ光軸の脇に設置された視標９を計測対象者が視認可能なように、視標９と眼１００とを光学的に結合している。視標９は、例えば可視光を発生するＬＥＤとピンホールマスクとを組み合わせて輝点パターンを発生するように構成されるとよい。ダイクロイックミラー３は、視標９から出射された可視光Ｌ３を眼１００へ向けて反射する。これにより、視標９を計測対象者に提示して眼１００の角膜位置を一定に維持しつつ、眼１００及びその周辺を撮像することができる。なお、視標９とダイクロイックミラー３との間には、視力調整用のレンズ９ａが設けられていると尚良い。
【００２３】
集光レンズ４は、光像Ｌ２を集光して撮像部５の光検出部５１上に結像させるためのレンズである。集光レンズ４は、ダイクロイックミラー３と撮像部５との間に配置されている。集光レンズ４は、後述する撮像部５が眼１００の全体を含む画像を取得することができるように、眼１００の眼窩全体が撮像部５の画角に入るように構成されている。
【００２４】
撮像部５は、眼１００からの光像Ｌ２を捉えることにより、計測対象者の眼１００を撮像する。撮像部５は、二次元状に配列された複数の画素を含む光検出部５１を有しており、光検出部５１に入射した光像Ｌ２を各画素において電気信号に変換することにより、光像Ｌ２に関する画素毎の入射光量を示す画像データを生成する。撮像部５は、生成した画像データを表示装置や映像出力端子といった出力手段へ出力すると共に、画像データを眼瞼抽出部６に提供する。
【００２５】
眼瞼抽出部６は、撮像部５から提供された画像データに基づいて、該画像データにおける眼瞼の縁部１０１を検出して眼瞼位置情報を生成する。また、瞬目判別部７は、眼瞼抽出部６から提供された眼瞼位置情報に基づいて、瞬目の態様（通常瞬目、変則瞬目）を判別する。眼瞼抽出部６及び瞬目判別部７は、電気回路として実現されてもよいし、中央演算処理装置やメモリを有するコンピュータ内部でソフトウェアとして実現されてもよい。
【００２６】
図２に示されるように、撮像部５は、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置であり、このような撮像装置としては、例えば浜松ホトニクス株式会社製のインテリジェントビジョンセンサ（ＩＶＳ）カメラが挙げられる。撮像部５は、光検出部５１、増幅部５３、Ａ／Ｄ変換部５５及びスイッチ部５７を有している。ここでは、光検出部５１は、いわゆるＭＯＳ型の撮像素子であり、二次元状（ｍ行×ｎ列）に配列された複数の画素５１ａを有している。複数の画素５１ａのそれぞれは、入射した光の光量に応じた電荷Ｑを生成する。
【００２７】
増幅部５３は、光検出部５１の行数に対応するｍ個のアンプ５３ａを有している。ｍ個のアンプ５３ａは、それぞれ光検出部５１の画素５１ａの対応する行と電気的に接続されており、ｎ列の画素５１ａから電荷Ｑを順次受け取る。そして、アンプ５３ａは、電荷Ｑを増幅すると共に電荷Ｑを電圧信号である画像信号Ｓ１に変換する。また、ｍ個のアンプ５３ａは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの増幅率制御信号Ｓ３に従って、電荷Ｑを画像信号Ｓ１に変換する際の増幅率を変化させることができる。
【００２８】
Ａ／Ｄ変換部５５は、光検出部５１の行数に対応するｍ個のＡ／Ｄ変換器５５ａを有している。ｍ個のＡ／Ｄ変換器５５ａは、対応するｍ個のアンプ５３ａとそれぞれ電気的に接続されており、電圧信号（アナログ信号）である画像信号Ｓ１をアンプ５３ａから受けてディジタル信号である画像データＳ２に変換する。なお、本実施形態ではディジタル信号に変換された画像データＳ２を撮像部５からの画像データとしているが、アナログ信号である画像信号Ｓ１を撮像部５からの画像データとして用いてもよい。
【００２９】
スイッチ部５７は、光検出部５１の行数に対応するｍ個のスイッチ５７ａを有している。ｍ個のスイッチ５７ａは、対応するｍ個のＡ／Ｄ変換器５５ａと眼瞼抽出部６との間に設けられており、Ａ／Ｄ変換器５５ａと眼瞼抽出部６との接続／非接続を制御する。スイッチ５７ａが接続状態になると、Ａ／Ｄ変換器５５ａからの画像データＳ２が眼瞼抽出部６へ提供される。ｍ個のスイッチ５７ａはそれぞれ眼瞼抽出部６と電気的に接続されており、個別に接続／非接続が制御される。
【００３０】
ここで、光検出部５１及びその周辺回路について更に詳しく説明する。図３に示されるように、光検出部５１は、フォトダイオードといった光電変換素子により構成される複数の画素５１ａを有している。そして、光検出部５１は、複数の画素５１ａに対応する複数のコンデンサ５１ｂ及び複数の読み出し用スイッチ５１ｃを有している。画素５１ａの光電変換素子とコンデンサ５１ｂとは互いに並列に接続されており、光電変換素子及びコンデンサ５１ｂの一端に読み出し用スイッチ５１ｃの一端が接続されている。読み出し用スイッチ５１ｃの他端は、同一行に含まれる他の読み出し用スイッチ５１ｃの他端と共に、アンプ５３ａの入力端に接続されている。読み出し用スイッチ５１ｃは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの制御信号Ｓ４に従って個別に接続／非接続が制御される。アンプ５３ａの出力端はＡ／Ｄ変換器５５ａの入力端と電気的に接続されており、Ａ／Ｄ変換器５５ａの出力端は眼瞼抽出部６の入力端と電気的に接続されている。
【００３１】
上述した光検出部５１及びその周辺回路の動作は、次のとおりである。光検出部５１に光像Ｌ２が入射すると、画素５１ａ毎の光像Ｌ２の入射光量に応じた電荷Ｑがコンデンサ５１ｂに蓄積される。制御部からの指示に応じて読み出し用スイッチ５１ｃが各行において順次接続されると、コンデンサ５１ｂに蓄積された電荷Ｑがアンプ５３ａに順次送られる。電荷Ｑは、アンプ５３ａによって電圧信号に変換されると共に増幅されて画像信号Ｓ１となる。画像信号Ｓ１は、Ａ／Ｄ変換器５５ａによってアナログ信号からディジタル信号へ変換されて画像データＳ２となる。画像データＳ２は、眼瞼抽出部６へ提供される。
【００３２】
なお、眼瞼抽出部６における演算を高速に行うために、例えば撮像部５が各画素５１ａのそれぞれに対応する並列演算回路を更に有することが好ましい。このような並列演算回路は、例えばＡ／Ｄ変換器５５ａの後段に接続される。
【００３３】
次に、眼瞼抽出部６による眼瞼位置情報の生成について説明する。図４（ａ）は、画像データＳ２の一例を示す図であり、画像データＳ２には、図１に示された眼１００に対応する画像Ｄ１が含まれている。眼瞼抽出部６は、まず、図４（ａ）における画像データＳ２において最も暗い暗部領域Ｄ２を抽出する。この暗部領域Ｄ２は、画像データＳ２において眼１００の角膜（もしくは瞳孔）に相当する領域である。暗部領域Ｄ２の抽出は、例えば眼瞼の開閉方向（すなわち、顔の上下方向）を長手方向とする領域Ａ１及び領域Ａ２を設定し、領域Ａ１，Ａ２のそれぞれにおける輝度ヒストグラム（輝度分布）の相互比較に基づいて行うとよい。
【００３４】
図４（ｂ）は、領域Ａ１，Ａ２のそれぞれにおける輝度ヒストグラムの一例を示すグラフである。図４（ｂ）において、グラフＧ１は領域Ａ１における輝度ヒストグラムを示しており、グラフＧ２は領域Ａ２における輝度ヒストグラムを示している。眼瞼抽出部６は、図４（ｂ）におけるグラフＧ１及びグラフＧ２を比較することにより、グラフＧ１に含まれる暗部領域Ｄ２を判定することができる。
【００３５】
続いて、眼瞼抽出部６は、暗部領域Ｄ２を通り眼瞼の開閉方向を長手方向とする領域（ここでは領域Ａ１）の輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ３，Ｄ４を検出する。眼瞼抽出部６は、グラフＧ１において輝度が急激に変化するエッジ部分Ｅ１，Ｅ２を抽出することにより、このような画像部分Ｄ３，Ｄ４を検出する。そして、眼瞼抽出部６は、眼瞼の開閉方向における画像部分Ｄ３，Ｄ４の位置を眼瞼位置情報として瞬目判別部７へ提供する。なお、眼瞼抽出部は、輪郭抽出や領域分割、減色処理やテンプレートマッチングといった画像処理を用いて眼瞼の位置を検出してもよい。
【００３６】
次に、瞬目判別部７による瞬目の態様（通常瞬目、変則瞬目）の判別について説明する。ここでは、計測対象者が無意識に行う自然瞬目を判別対象とする。また、瞬目時には上眼瞼の運動量が下眼瞼の運動量よりも大きいことから、眼瞼抽出部６が上眼瞼の位置を検出するものとする。
【００３７】
まず、瞬目判別部７は、眼瞼抽出部６から提供された眼瞼位置情報に基づいて、図５（ａ）に示されるように、１回の瞬目において閉瞼及び開瞼する上眼瞼の位置の時間変化を示す眼瞼位置データを生成し、取得する。この眼瞼位置データは、平滑化処理によりノイズが除去されたものである。
【００３８】
続いて、瞬目判別部７は、眼瞼位置データの時間差分（微分）を求めることにより、図５（ｂ）に示されるように、１回の瞬目において閉瞼及び開瞼する上眼瞼の速度の時間変化を示す眼瞼速度データを生成し、取得する。この眼瞼速度データは、平滑化処理によりノイズが除去されたものである。
【００３９】
続いて、瞬目判別部７は、閉じる方向（図５（ｂ）におけるマイナス方向）への上眼瞼の速度の絶対値が閾値Ｖｔｈを所定時間（例えば１０ｍｓ）上回った場合に、その上回り始めた時刻を瞬目開始時刻Ｔｓとする。また、瞬目判別部７は、開く方向（図５（ｂ）におけるプラス方向）への上眼瞼の速度の絶対値が閾値Ｖｔｈを所定時間（例えば１０ｍｓ）上回った後、当該閾値Ｖｔｈを所定時間（例えば１０ｍｓ）下回った場合に、その下回り始めた時刻を瞬目終了時刻Ｔｅとする。閾値Ｖｔｈは、例えば、瞬目の速度の平均値である２００ｍｍ／ｓの５％に相当する１０ｍｍ／ｓである。
【００４０】
なお、瞬目判別部７は、眼瞼位置データに基づいて、瞬目開始時刻Ｔｓ及び瞬目終了時刻Ｔｅを設定してもよい。すなわち、瞬目判別部７は、閉じる方向（図５（ａ）におけるマイナス方向）への上眼瞼の位置の変化の値が所定の閾値（例えば、瞬目の深さの一般値である６ｍｍの５％に相当する０．３ｍｍ）を上回った時刻を瞬目開始時刻Ｔｓとし、一旦閉眼した後、閉じる方向への上眼瞼の位置の絶対値が当該閾値を下回った時刻を瞬目終了時刻Ｔｅとしてもよい。また、自然瞬目測定後に閉瞼及び開瞼を指示して瞬目による瞼の変化の値を求めて求めてもよい。また、瞬目開始時刻Ｔｓ及び瞬目終了時刻Ｔｅの設定は、瞬目解析ソフトウェア等を用いて瞬目波形や特徴値を確認しながら個別に分別・統合することにより行ってもよい。
【００４１】
続いて、瞬目判別部７は、眼瞼速度データの時間差分（微分）を求めることにより、図５（ｃ）に示されるように、１回の瞬目において閉瞼及び開瞼する上眼瞼の加速度の時間変化を示す眼瞼加速度データを生成し、取得する。この眼瞼加速度データは、平滑化処理によりノイズが除去されたものである。
【００４２】
なお、眼瞼加速度データについては、次のようにして、更なるノイズの除去が行われてもよい。すなわち、瞬目を行っている期間（瞬目開始時刻Ｔｓから瞬目終了時刻Ｔｅまで）以外の期間において上眼瞼の加速度を求め、その加速度の絶対値の平均値を揺らぎ量とする。そして、当該揺らぎ量の例えば３倍程度を閾値とし、当該閾値以下の絶対値を有する加速度をノイズとして除去する。
【００４３】
続いて、瞬目判別部７は、取得した眼瞼位置データに基づいて、１回の瞬目（すなわち、瞬目開始時刻Ｔｓから瞬目終了時刻Ｔｅまでの期間）において閉瞼及び開瞼する眼瞼の位置の時間変化に現れる極値（極大値及び極小値）を抽出する。また、瞬目判別部７は、取得した眼瞼速度データに基づいて、１回の瞬目において閉瞼及び開瞼する眼瞼の速度の時間変化に現れる極値を抽出する。更に、瞬目判別部７は、取得した眼瞼加速度データに基づいて、１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に現れる極値を抽出する。
【００４４】
そして、瞬目判別部７は、図５に示されるように、眼瞼位置データ、眼瞼速度データ及び眼瞼加速度データのいずれにおいても、抽出した極値（図５における黒丸）の数が２点以下の場合には、当該瞬目を通常瞬目と判別する。
【００４５】
一方、瞬目判別部７は、図６〜図８に示されるように、眼瞼位置データ、眼瞼速度データ及び眼瞼加速度データの少なくとも１つにおいて、極値（図６〜図８における黒丸）を３点以上抽出した場合には、当該瞬目を変則瞬目と判別する。
【００４６】
図６の例では、眼瞼位置データ（図６（ａ）参照）、眼瞼速度データ（図６（ｂ）参照）及び眼瞼加速度データ（図６（ｃ）参照）において極値が３点以上抽出されている。図７の例では、眼瞼位置データ（図７（ａ）参照）において極値が３点以上抽出されていないが、眼瞼速度データ（図７（ｂ）参照）及び眼瞼加速度データ（図７（ｃ）参照）において極値が３点以上抽出されている。図８の例では、眼瞼位置データ（図８（ａ）参照）及び眼瞼速度データ（図８（ｂ）参照）において極値が３点以上抽出されていないが、眼瞼加速度データ（図８（ｃ）参照）において極値が３点以上抽出されている。
【００４７】
このように、瞬目計測装置１では、眼瞼位置データや眼瞼速度データにおいて極値が３点以上抽出されない場合であっても、１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目が変則瞬目として確実に判別される。
【００４８】
ここで、眼瞼加速度データにおいて極値を抽出するための第１の方法及び第２の方法について、図５〜図８を参照して説明する。第１の方法及び第２の方法は、眼瞼加速度データからの極値の抽出において、ノイズ等によって生じた偽の極値を除去する方法である。なお、眼瞼位置データ及び眼瞼速度データのそれぞれにおける極値の抽出も同様の方法で行うことが可能である。
【００４９】
まず、第１の方法では、極値として抽出した対象点（図５〜図８における黒丸及び白丸）のそれぞれについて、前後の対象点との加速度の差を算出し、その絶対値の両方が所定値以下の場合には、偽の極値と判断する。なお、最初の対象点は、前の対象点に代えて、瞬目開始時刻Ｔｓにおける加速度を用い、最後の対象点は、後の対象点に代えて、瞬目終了時刻Ｔｅにおける加速度を用いる。先の偽の極値の判断により、極性が同じ偽の極値が連続して現れる場合（すなわち、極大値−極大値又は極小値−極小値と連続する場合）には、加速度の絶対値の大きい極値を真の極値と判断し、残りの極値を偽の極値と判断する。これにより、偽の極値（図５〜図８における白丸）が除去されて、真の極値（図５〜図８における黒丸）が抽出される。なお、真の極値のカウントは、真の極値の抽出後に行ってもよいし、真の極値の抽出と同時に行ってもよい。
【００５０】
次に、第２の方法では、極値として抽出した対象点（図５〜図８における黒丸及び白丸）のそれぞれを順次走査する。そして、１つ前の対象点との差が所定の閾値を上回った場合には、その対象点を極値として仮採用する。一方、１つ前の対象点との差が所定の閾値を下回った場合には、次の対象点と１つ前の対象点とを比較し、大きい方の値で１つ前の対象点を更新する。走査位置の移動に合わせて、仮採用した１つ前の対象点を極値として本採用する。これにより、偽の極値（図５〜図８における白丸）が除去されて、真の極値（図５〜図８における黒丸）が抽出される。なお、真の極値のカウントは、真の極値の抽出後に行ってもよいし、真の極値の抽出と同時に行ってもよい。
【００５１】
以上説明したように、瞬目計測装置１では、撮像部５が計測対象者の眼１００を撮像し（撮像工程）、瞬目判別部７が、撮像部５により撮像された眼１００の画像に基づいて、計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目を変則瞬目と判別する（瞬目判別工程）。これにより、閉眼時や開眼時に眼瞼の断続的な動作（眼瞼の微動）を伴う変則瞬目（すなわち、閉眼の途中で眼瞼の停留或いは開瞼が現れたり、開眼の途中で眼瞼の停留或いは閉瞼が現れたりする変則瞬目）を検出することが可能となる。このように、瞬目計測装置１、及び瞬目計測装置１により実施される瞬目計測方法によれば、生体状態（眼精疲労（ＶＤＴ疲労）、疲労度、集中度、覚醒度（眠気）や、生活習慣病、精神疾患、神経疾患、認知症等）に関連する指標として変則瞬目を判別することができ、眼精疲労（ＶＤＴ疲労）、疲労度、集中度、覚醒度（眠気）の定量化や、生活習慣病、精神疾患、神経疾患、認知症のスクリーニングを行うことが可能となる。
【００５２】
また、瞬目判別部７は、眼瞼位置データ、眼瞼速度データ及び眼瞼加速度データの少なくとも１つにおいて、極値を３点以上抽出した場合には、当該瞬目を変則瞬目と判別する。これにより、眼瞼位置データや眼瞼速度データにおいて極値が３点以上抽出されない場合であっても、閉眼時や開眼時に眼瞼の微動を伴う変則瞬目を確実に検出することが可能となる。
【００５３】
なお、変則瞬目を判別するに際し、眼瞼速度データにおける極値が有する、速度値、前後の極値との差（極性及び絶対値）、前後の極値との時間間隔を特徴量として算出し、判別の補助特徴量をして用いてもよい。
【００５４】
また、変則瞬目を判別するに際し、眼瞼加速度データにおける極値が有する、加速度値、前後の極値との差（極性及び絶対値）、前後の極値との時間間隔を特徴量として算出し、判別の補助特徴量として用いてもよい。
【００５５】
更に、以下の特徴量を算出してもよい。以下の特徴量は、変則瞬目と判別した際に、閉瞼時のものと開瞼時のものとで分けて集計した後、総合的な判断に用いるとよい。
１：瞬目速度の経時変化における極大値とその時刻と半値幅
２：瞬目速度の経時変化における極小値とその時刻と半値幅
３：瞬目加速度の経時変化における極大値とその時刻と半値幅
４：瞬目加速度の経時変化における極小値とその時刻と半値幅
５：進行方向と同方向の速度極値の発生間隔
６：進行方向と同方向の速度極値の発生回数
７：進行方向と同方向の速度極値の差、比
８：進行方向と同方向の加速度極値の発生間隔
９：進行方向と同方向の加速度極値の発生回数
１０：進行方向と同方向の加速度極値の差、比
１１：連続して発生した速度極値の発生間隔
１２：連続して発生した速度極値の差、比
１３：連続して発生した加速度極値の発生間隔
１４：連続して発生した加速度極値の差、比
１５：閉瞬目から開瞬目に切り替わる迄の期間
１６：加速度の経時変化が閾値を超えた回数
１７：加速度の経時変化が閾値を超えていた期間
１８：加速度の経時変化が閾値を超えていた期間の移動距離
【００５６】
また、図８（ｃ）に示されるように、眼瞼加速度データにおいて、瞬目開始時刻前Ｔｓ前の所定時間（例えば５０ｍｓ）内に極値が抽出された場合に、それに続く瞬目を変則瞬目と判別してもよい。
【００５７】
以上、本発明の一実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、上記実施形態では撮像手段として１ｋＨｚ以上のフレームレートを有する撮像装置（ＩＶＳカメラ）を使用したが、エリアセンサやラインセンサを使用してもよい。ラインセンサを使用する場合、瞬目に伴う眼瞼の位置の変化を検出するために、ラインセンサの長手方向が眼瞼の開閉方向に沿うようにラインセンサを設置するとよい。
【００５８】
また、以下の特徴量を算出してもよい。
１：速度、加速度の極大、極小値間の時間間隔
２：速度、加速度の極大、極小値の速度差
３：速度、加速度の極大、極小値の速度比
４：加速度の極大、極小値の半値幅
５：算出されたすべての速度、加速度の極大、極小値の時間隔の平均
６：算出されたすべての速度、加速度の極大、極小値の時間隔の標準偏差
７：算出されたすべての速度、加速度の極大、極小値の時間隔の比の平均
８：算出されたすべての速度、加速度の極大、極小値の時間隔の比の標準偏差
９：算出されたすべての加速度の極大、極小値の半値幅の比の平均
１０：算出されたすべての加速度の極大、極小値の半値幅の比の標準偏差
１１：瞬目全区間内における、速度、加速度の極大、極小値が確認されたすべての時刻の重心時刻
１２：閉眼動作から開眼動作に移行するまでの期間
【００５９】
また、眼瞼加速度データに対して閾値を設定し、下記の特徴量を算出してもよい。
１：加速度の変化が閾値以上となる回数
２：加速度の変化が連続して閾値を超えていた期間
３：加速度の変化と閾値の交差回数
４：加速度の変化が連続して閾値以下となっていた回数
【００６０】
また、例えば図５に示されるような瞬目理想曲線を用いて下記の情報を算出してもよい。
１：抽出された瞬目と瞬目理想曲線とのＲＭＳ値
２：抽出された瞬目の速度変化と瞬目理想曲線の速度変化のＲＭＳ値
３：抽出された瞬目の加速度変化と瞬目理想曲線の加速度変化のＲＭＳ値
【符号の説明】
【００６１】
１…瞬目計測装置、５…撮像部（撮像手段）、７…瞬目判別部（瞬目判別手段）。
【技術分野】
【０００１】
本発明は、瞬目計測装置及び瞬目計測方法に関する。
【背景技術】
【０００２】
人間は１分間に約２０回程度の瞬き（瞬目）を行うことが知られている。以前は、「眼球を乾燥から守るため」といわれていたが、環境の湿度や風速の変化では、瞬目回数が殆ど変化しないなど、瞬目がなぜ起こるのかについては、未知な部分が多い。そのような中、近年では、瞬目の態様が生体状態（眼精疲労（ＶＤＴ疲労）、疲労度、集中度、覚醒度（眠気）や、生活習慣病、精神疾患、神経疾患、認知症等）に関連する指標となり得ることが報告されている。
【０００３】
例えば、特許文献１には、眼疲労の状態（眼疲労度）を推定するパラメータとして、瞬きの開始時の速度及び加速度を利用することが記載されている。また、特許文献２には、眼疲労度を推定するパラメータとして、瞬きの回数や頻度を利用することが記載されている。また、非特許文献１には、車を運転するドライバの意識低下状態（特に眠気）を検知・推定するためのパラメータとして、瞬き開始から閉眼状態を経て再び開眼（すなわち、瞬きの完了）するまでの時間を利用することが記載されている。
【０００４】
一方、本発明者らは、これまでに高速の瞬目計測装置の開発を進めてきており、疲労度と瞬目特徴量との相関に基づき疲労度を算出する瞬目計測装置を提案したり（特許文献３参照）、そのような装置を用いて様々な検証を行ったりしている（非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−２８９３２７号公報
【特許文献２】特許第３３４８９５６号公報
【特許文献３】特開２００９−１２５１５４号公報
【非特許文献】
【０００６】
【非特許文献１】足立和正、他３名、「ドライバの意識低下検知のための動画像処理によるまばたき計測」、電気学会論文誌Ｃ（電子・情報・システム部門誌）、電気学会、２００４年、第１２４巻、第３号、ｐ．７７６−７８３
【非特許文献２】中村芳子、他６名、「瞬目高速解析装置を用いた自発性瞬目の測定」、日本眼科学会雑誌 １１２（１２）、２００８年、ｐ．１０５９−１０６７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１，２及び非特許文献１に記載された装置は、ＣＣＤカメラにより取得した顔画像に基づいて各パラメータを算出している。しかし、現在の一般的なＣＣＤカメラは３０フレーム／秒といった低速での撮像しかできない。この場合、１フレーム当たりの所要時間は約３３ミリ秒である。一方、人間の瞬目に要する時間（瞬き開始から閉眼状態を経て再び開眼するまで）は１００〜３００ミリ秒程度であり、ＣＣＤカメラでは３〜１０フレームの画像しか得られないので、回数などのマクロな特徴量は計測できるが、瞬目の詳細な動きに関する質的な特徴量を精度良く計測することは困難である。したがって、特許文献１，２又は非特許文献１に記載されたパラメータが、疲労度を正確に推定できるものであるかといった信頼性には疑問があり、これらの文献による疲労度の推定は、疲労度と眼の運動との正確な相関に基づいているとはいい難い。
【０００８】
一方、特許文献３及び非特許文献２に記載された装置には、生体状態に関連する指標となり得る瞬目の態様をより詳細にかつより正確に判別することが期待されている。
【０００９】
本発明は、このような事情に鑑みてなされたものであり、生体状態に関連する指標として変則瞬目を判別することができる瞬目計測装置及び瞬目計測方法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の瞬目計測装置は、計測対象者の眼を撮像する撮像手段と、撮像手段により撮像された眼の画像に基づいて、計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目を変則瞬目と判別する瞬目判別手段と、を備えることを特徴とする。
【００１１】
また、本発明の瞬目計測方法は、計測対象者の眼を撮像する撮像工程と、撮像工程において撮像された眼の画像に基づいて、計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目を変則瞬目と判別する瞬目判別工程と、を備えることを特徴とする。
【００１２】
これらの瞬目計測装置及び瞬目計測方法では、閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目を変則瞬目と判別する。これにより、閉眼時や開眼時に眼瞼の断続的な動作（眼瞼の微動）を伴う変則瞬目（すなわち、閉眼の途中で眼瞼の停留或いは開瞼が現れたり、開眼の途中で眼瞼の停留或いは閉瞼が現れたりする変則瞬目）を検出することが可能となる。このように、これらの瞬目計測装置及び瞬目計測方法によれば、生体状態に関連する指標として変則瞬目を判別することができる。なお、閉眼とは、１回の瞬目において眼を閉じる一連の動作を意味し、開眼とは、１回の瞬目において眼を開く一連の動作を意味する。また、閉瞼とは、閉じる方向への眼瞼の動作を意味し、開瞼とは、開く方向への眼瞼の動作を意味する。
【００１３】
ここで、瞬目判別手段は、１回の瞬目において閉瞼及び開瞼する眼瞼の位置の時間変化を示す眼瞼位置データを取得し、当該眼瞼位置データに基づいて、１回の瞬目において閉瞼及び開瞼する眼瞼の位置の時間変化に現れる極値を３点以上抽出した場合に、瞬目を変則瞬目と判別することが好ましい。
【００１４】
また、瞬目判別手段は、１回の瞬目において閉瞼及び開瞼する眼瞼の速度の時間変化を示す眼瞼速度データを取得し、当該眼瞼速度データに基づいて、１回の瞬目において閉瞼及び開瞼する眼瞼の速度の時間変化に現れる極値を３点以上抽出した場合に、瞬目を変則瞬目と判別することが好ましい。
【００１５】
更に、瞬目判別手段は、１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化を示す眼瞼加速度データを取得し、当該眼瞼加速度データに基づいて、１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に現れる極値を３点以上抽出した場合に、瞬目を変則瞬目と判別することが好ましい。
【００１６】
これらによれば、眼瞼位置データ、眼瞼速度データ及び眼瞼加速度データの少なくとも１つに基づいて、閉眼時や開眼時に眼瞼の微動を伴う変則瞬目を検出することが可能となる。
【発明の効果】
【００１７】
本発明によれば、生体状態に関連する指標として変則瞬目を判別することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態の瞬目計測装置の構成図である。
【図２】図１の瞬目計測装置の撮像部の構成図である。
【図３】図１の瞬目計測装置の撮像部内の電気的接続関係を示す図である。
【図４】眼瞼抽出部による眼瞼位置情報の生成方法を示す図である。
【図５】通常瞬目における眼瞼の位置、速度及び加速度の時間変化を示すグラフである。
【図６】変則瞬目における眼瞼の位置、速度及び加速度の時間変化を示すグラフである。
【図７】変則瞬目における眼瞼の位置、速度及び加速度の時間変化を示すグラフである。
【図８】変則瞬目における眼瞼の位置、速度及び加速度の時間変化を示すグラフである。
【発明を実施するための形態】
【００１９】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。
【００２０】
図１に示されるように、瞬目計測装置１は、照明２、ダイクロイックミラー３、集光レンズ４、撮像部（撮像手段）５、眼瞼抽出部６及び瞬目判別部（瞬目判別手段）７を備えている。集光レンズ４、撮像部５、眼瞼抽出部６及び瞬目判別部７は、カメラ８の内部に収容されている。
【００２１】
照明２は、計測対象者の眼１００及びその周辺を照らす照明手段であり、例えば赤外光を発生する複数のＬＥＤによって好適に構成される。照明２が眼１００及びその周辺へ赤外光Ｌ１を照射することにより、眼１００及びその周辺において赤外光Ｌ１が反射して光像Ｌ２が生じる。なお、照明２としては赤外光ＬＥＤに限らず他の光源を用いることができるが、高速撮像時には、眼１００の様子等を照らし出すのに充分な光量の可視光を発光すると計測対象者にとって眩しいため、赤外光源を用いることが好ましい。
【００２２】
ダイクロイックミラー３は、眼１００及びその周辺からの光像Ｌ２を透過して、該光像Ｌ２を撮像部５の光検出部５１に入射させるように配置されている。また、ダイクロイックミラー３は、眼１００と撮像部５とを結ぶ光軸の脇に設置された視標９を計測対象者が視認可能なように、視標９と眼１００とを光学的に結合している。視標９は、例えば可視光を発生するＬＥＤとピンホールマスクとを組み合わせて輝点パターンを発生するように構成されるとよい。ダイクロイックミラー３は、視標９から出射された可視光Ｌ３を眼１００へ向けて反射する。これにより、視標９を計測対象者に提示して眼１００の角膜位置を一定に維持しつつ、眼１００及びその周辺を撮像することができる。なお、視標９とダイクロイックミラー３との間には、視力調整用のレンズ９ａが設けられていると尚良い。
【００２３】
集光レンズ４は、光像Ｌ２を集光して撮像部５の光検出部５１上に結像させるためのレンズである。集光レンズ４は、ダイクロイックミラー３と撮像部５との間に配置されている。集光レンズ４は、後述する撮像部５が眼１００の全体を含む画像を取得することができるように、眼１００の眼窩全体が撮像部５の画角に入るように構成されている。
【００２４】
撮像部５は、眼１００からの光像Ｌ２を捉えることにより、計測対象者の眼１００を撮像する。撮像部５は、二次元状に配列された複数の画素を含む光検出部５１を有しており、光検出部５１に入射した光像Ｌ２を各画素において電気信号に変換することにより、光像Ｌ２に関する画素毎の入射光量を示す画像データを生成する。撮像部５は、生成した画像データを表示装置や映像出力端子といった出力手段へ出力すると共に、画像データを眼瞼抽出部６に提供する。
【００２５】
眼瞼抽出部６は、撮像部５から提供された画像データに基づいて、該画像データにおける眼瞼の縁部１０１を検出して眼瞼位置情報を生成する。また、瞬目判別部７は、眼瞼抽出部６から提供された眼瞼位置情報に基づいて、瞬目の態様（通常瞬目、変則瞬目）を判別する。眼瞼抽出部６及び瞬目判別部７は、電気回路として実現されてもよいし、中央演算処理装置やメモリを有するコンピュータ内部でソフトウェアとして実現されてもよい。
【００２６】
図２に示されるように、撮像部５は、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置であり、このような撮像装置としては、例えば浜松ホトニクス株式会社製のインテリジェントビジョンセンサ（ＩＶＳ）カメラが挙げられる。撮像部５は、光検出部５１、増幅部５３、Ａ／Ｄ変換部５５及びスイッチ部５７を有している。ここでは、光検出部５１は、いわゆるＭＯＳ型の撮像素子であり、二次元状（ｍ行×ｎ列）に配列された複数の画素５１ａを有している。複数の画素５１ａのそれぞれは、入射した光の光量に応じた電荷Ｑを生成する。
【００２７】
増幅部５３は、光検出部５１の行数に対応するｍ個のアンプ５３ａを有している。ｍ個のアンプ５３ａは、それぞれ光検出部５１の画素５１ａの対応する行と電気的に接続されており、ｎ列の画素５１ａから電荷Ｑを順次受け取る。そして、アンプ５３ａは、電荷Ｑを増幅すると共に電荷Ｑを電圧信号である画像信号Ｓ１に変換する。また、ｍ個のアンプ５３ａは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの増幅率制御信号Ｓ３に従って、電荷Ｑを画像信号Ｓ１に変換する際の増幅率を変化させることができる。
【００２８】
Ａ／Ｄ変換部５５は、光検出部５１の行数に対応するｍ個のＡ／Ｄ変換器５５ａを有している。ｍ個のＡ／Ｄ変換器５５ａは、対応するｍ個のアンプ５３ａとそれぞれ電気的に接続されており、電圧信号（アナログ信号）である画像信号Ｓ１をアンプ５３ａから受けてディジタル信号である画像データＳ２に変換する。なお、本実施形態ではディジタル信号に変換された画像データＳ２を撮像部５からの画像データとしているが、アナログ信号である画像信号Ｓ１を撮像部５からの画像データとして用いてもよい。
【００２９】
スイッチ部５７は、光検出部５１の行数に対応するｍ個のスイッチ５７ａを有している。ｍ個のスイッチ５７ａは、対応するｍ個のＡ／Ｄ変換器５５ａと眼瞼抽出部６との間に設けられており、Ａ／Ｄ変換器５５ａと眼瞼抽出部６との接続／非接続を制御する。スイッチ５７ａが接続状態になると、Ａ／Ｄ変換器５５ａからの画像データＳ２が眼瞼抽出部６へ提供される。ｍ個のスイッチ５７ａはそれぞれ眼瞼抽出部６と電気的に接続されており、個別に接続／非接続が制御される。
【００３０】
ここで、光検出部５１及びその周辺回路について更に詳しく説明する。図３に示されるように、光検出部５１は、フォトダイオードといった光電変換素子により構成される複数の画素５１ａを有している。そして、光検出部５１は、複数の画素５１ａに対応する複数のコンデンサ５１ｂ及び複数の読み出し用スイッチ５１ｃを有している。画素５１ａの光電変換素子とコンデンサ５１ｂとは互いに並列に接続されており、光電変換素子及びコンデンサ５１ｂの一端に読み出し用スイッチ５１ｃの一端が接続されている。読み出し用スイッチ５１ｃの他端は、同一行に含まれる他の読み出し用スイッチ５１ｃの他端と共に、アンプ５３ａの入力端に接続されている。読み出し用スイッチ５１ｃは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの制御信号Ｓ４に従って個別に接続／非接続が制御される。アンプ５３ａの出力端はＡ／Ｄ変換器５５ａの入力端と電気的に接続されており、Ａ／Ｄ変換器５５ａの出力端は眼瞼抽出部６の入力端と電気的に接続されている。
【００３１】
上述した光検出部５１及びその周辺回路の動作は、次のとおりである。光検出部５１に光像Ｌ２が入射すると、画素５１ａ毎の光像Ｌ２の入射光量に応じた電荷Ｑがコンデンサ５１ｂに蓄積される。制御部からの指示に応じて読み出し用スイッチ５１ｃが各行において順次接続されると、コンデンサ５１ｂに蓄積された電荷Ｑがアンプ５３ａに順次送られる。電荷Ｑは、アンプ５３ａによって電圧信号に変換されると共に増幅されて画像信号Ｓ１となる。画像信号Ｓ１は、Ａ／Ｄ変換器５５ａによってアナログ信号からディジタル信号へ変換されて画像データＳ２となる。画像データＳ２は、眼瞼抽出部６へ提供される。
【００３２】
なお、眼瞼抽出部６における演算を高速に行うために、例えば撮像部５が各画素５１ａのそれぞれに対応する並列演算回路を更に有することが好ましい。このような並列演算回路は、例えばＡ／Ｄ変換器５５ａの後段に接続される。
【００３３】
次に、眼瞼抽出部６による眼瞼位置情報の生成について説明する。図４（ａ）は、画像データＳ２の一例を示す図であり、画像データＳ２には、図１に示された眼１００に対応する画像Ｄ１が含まれている。眼瞼抽出部６は、まず、図４（ａ）における画像データＳ２において最も暗い暗部領域Ｄ２を抽出する。この暗部領域Ｄ２は、画像データＳ２において眼１００の角膜（もしくは瞳孔）に相当する領域である。暗部領域Ｄ２の抽出は、例えば眼瞼の開閉方向（すなわち、顔の上下方向）を長手方向とする領域Ａ１及び領域Ａ２を設定し、領域Ａ１，Ａ２のそれぞれにおける輝度ヒストグラム（輝度分布）の相互比較に基づいて行うとよい。
【００３４】
図４（ｂ）は、領域Ａ１，Ａ２のそれぞれにおける輝度ヒストグラムの一例を示すグラフである。図４（ｂ）において、グラフＧ１は領域Ａ１における輝度ヒストグラムを示しており、グラフＧ２は領域Ａ２における輝度ヒストグラムを示している。眼瞼抽出部６は、図４（ｂ）におけるグラフＧ１及びグラフＧ２を比較することにより、グラフＧ１に含まれる暗部領域Ｄ２を判定することができる。
【００３５】
続いて、眼瞼抽出部６は、暗部領域Ｄ２を通り眼瞼の開閉方向を長手方向とする領域（ここでは領域Ａ１）の輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ３，Ｄ４を検出する。眼瞼抽出部６は、グラフＧ１において輝度が急激に変化するエッジ部分Ｅ１，Ｅ２を抽出することにより、このような画像部分Ｄ３，Ｄ４を検出する。そして、眼瞼抽出部６は、眼瞼の開閉方向における画像部分Ｄ３，Ｄ４の位置を眼瞼位置情報として瞬目判別部７へ提供する。なお、眼瞼抽出部は、輪郭抽出や領域分割、減色処理やテンプレートマッチングといった画像処理を用いて眼瞼の位置を検出してもよい。
【００３６】
次に、瞬目判別部７による瞬目の態様（通常瞬目、変則瞬目）の判別について説明する。ここでは、計測対象者が無意識に行う自然瞬目を判別対象とする。また、瞬目時には上眼瞼の運動量が下眼瞼の運動量よりも大きいことから、眼瞼抽出部６が上眼瞼の位置を検出するものとする。
【００３７】
まず、瞬目判別部７は、眼瞼抽出部６から提供された眼瞼位置情報に基づいて、図５（ａ）に示されるように、１回の瞬目において閉瞼及び開瞼する上眼瞼の位置の時間変化を示す眼瞼位置データを生成し、取得する。この眼瞼位置データは、平滑化処理によりノイズが除去されたものである。
【００３８】
続いて、瞬目判別部７は、眼瞼位置データの時間差分（微分）を求めることにより、図５（ｂ）に示されるように、１回の瞬目において閉瞼及び開瞼する上眼瞼の速度の時間変化を示す眼瞼速度データを生成し、取得する。この眼瞼速度データは、平滑化処理によりノイズが除去されたものである。
【００３９】
続いて、瞬目判別部７は、閉じる方向（図５（ｂ）におけるマイナス方向）への上眼瞼の速度の絶対値が閾値Ｖｔｈを所定時間（例えば１０ｍｓ）上回った場合に、その上回り始めた時刻を瞬目開始時刻Ｔｓとする。また、瞬目判別部７は、開く方向（図５（ｂ）におけるプラス方向）への上眼瞼の速度の絶対値が閾値Ｖｔｈを所定時間（例えば１０ｍｓ）上回った後、当該閾値Ｖｔｈを所定時間（例えば１０ｍｓ）下回った場合に、その下回り始めた時刻を瞬目終了時刻Ｔｅとする。閾値Ｖｔｈは、例えば、瞬目の速度の平均値である２００ｍｍ／ｓの５％に相当する１０ｍｍ／ｓである。
【００４０】
なお、瞬目判別部７は、眼瞼位置データに基づいて、瞬目開始時刻Ｔｓ及び瞬目終了時刻Ｔｅを設定してもよい。すなわち、瞬目判別部７は、閉じる方向（図５（ａ）におけるマイナス方向）への上眼瞼の位置の変化の値が所定の閾値（例えば、瞬目の深さの一般値である６ｍｍの５％に相当する０．３ｍｍ）を上回った時刻を瞬目開始時刻Ｔｓとし、一旦閉眼した後、閉じる方向への上眼瞼の位置の絶対値が当該閾値を下回った時刻を瞬目終了時刻Ｔｅとしてもよい。また、自然瞬目測定後に閉瞼及び開瞼を指示して瞬目による瞼の変化の値を求めて求めてもよい。また、瞬目開始時刻Ｔｓ及び瞬目終了時刻Ｔｅの設定は、瞬目解析ソフトウェア等を用いて瞬目波形や特徴値を確認しながら個別に分別・統合することにより行ってもよい。
【００４１】
続いて、瞬目判別部７は、眼瞼速度データの時間差分（微分）を求めることにより、図５（ｃ）に示されるように、１回の瞬目において閉瞼及び開瞼する上眼瞼の加速度の時間変化を示す眼瞼加速度データを生成し、取得する。この眼瞼加速度データは、平滑化処理によりノイズが除去されたものである。
【００４２】
なお、眼瞼加速度データについては、次のようにして、更なるノイズの除去が行われてもよい。すなわち、瞬目を行っている期間（瞬目開始時刻Ｔｓから瞬目終了時刻Ｔｅまで）以外の期間において上眼瞼の加速度を求め、その加速度の絶対値の平均値を揺らぎ量とする。そして、当該揺らぎ量の例えば３倍程度を閾値とし、当該閾値以下の絶対値を有する加速度をノイズとして除去する。
【００４３】
続いて、瞬目判別部７は、取得した眼瞼位置データに基づいて、１回の瞬目（すなわち、瞬目開始時刻Ｔｓから瞬目終了時刻Ｔｅまでの期間）において閉瞼及び開瞼する眼瞼の位置の時間変化に現れる極値（極大値及び極小値）を抽出する。また、瞬目判別部７は、取得した眼瞼速度データに基づいて、１回の瞬目において閉瞼及び開瞼する眼瞼の速度の時間変化に現れる極値を抽出する。更に、瞬目判別部７は、取得した眼瞼加速度データに基づいて、１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に現れる極値を抽出する。
【００４４】
そして、瞬目判別部７は、図５に示されるように、眼瞼位置データ、眼瞼速度データ及び眼瞼加速度データのいずれにおいても、抽出した極値（図５における黒丸）の数が２点以下の場合には、当該瞬目を通常瞬目と判別する。
【００４５】
一方、瞬目判別部７は、図６〜図８に示されるように、眼瞼位置データ、眼瞼速度データ及び眼瞼加速度データの少なくとも１つにおいて、極値（図６〜図８における黒丸）を３点以上抽出した場合には、当該瞬目を変則瞬目と判別する。
【００４６】
図６の例では、眼瞼位置データ（図６（ａ）参照）、眼瞼速度データ（図６（ｂ）参照）及び眼瞼加速度データ（図６（ｃ）参照）において極値が３点以上抽出されている。図７の例では、眼瞼位置データ（図７（ａ）参照）において極値が３点以上抽出されていないが、眼瞼速度データ（図７（ｂ）参照）及び眼瞼加速度データ（図７（ｃ）参照）において極値が３点以上抽出されている。図８の例では、眼瞼位置データ（図８（ａ）参照）及び眼瞼速度データ（図８（ｂ）参照）において極値が３点以上抽出されていないが、眼瞼加速度データ（図８（ｃ）参照）において極値が３点以上抽出されている。
【００４７】
このように、瞬目計測装置１では、眼瞼位置データや眼瞼速度データにおいて極値が３点以上抽出されない場合であっても、１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目が変則瞬目として確実に判別される。
【００４８】
ここで、眼瞼加速度データにおいて極値を抽出するための第１の方法及び第２の方法について、図５〜図８を参照して説明する。第１の方法及び第２の方法は、眼瞼加速度データからの極値の抽出において、ノイズ等によって生じた偽の極値を除去する方法である。なお、眼瞼位置データ及び眼瞼速度データのそれぞれにおける極値の抽出も同様の方法で行うことが可能である。
【００４９】
まず、第１の方法では、極値として抽出した対象点（図５〜図８における黒丸及び白丸）のそれぞれについて、前後の対象点との加速度の差を算出し、その絶対値の両方が所定値以下の場合には、偽の極値と判断する。なお、最初の対象点は、前の対象点に代えて、瞬目開始時刻Ｔｓにおける加速度を用い、最後の対象点は、後の対象点に代えて、瞬目終了時刻Ｔｅにおける加速度を用いる。先の偽の極値の判断により、極性が同じ偽の極値が連続して現れる場合（すなわち、極大値−極大値又は極小値−極小値と連続する場合）には、加速度の絶対値の大きい極値を真の極値と判断し、残りの極値を偽の極値と判断する。これにより、偽の極値（図５〜図８における白丸）が除去されて、真の極値（図５〜図８における黒丸）が抽出される。なお、真の極値のカウントは、真の極値の抽出後に行ってもよいし、真の極値の抽出と同時に行ってもよい。
【００５０】
次に、第２の方法では、極値として抽出した対象点（図５〜図８における黒丸及び白丸）のそれぞれを順次走査する。そして、１つ前の対象点との差が所定の閾値を上回った場合には、その対象点を極値として仮採用する。一方、１つ前の対象点との差が所定の閾値を下回った場合には、次の対象点と１つ前の対象点とを比較し、大きい方の値で１つ前の対象点を更新する。走査位置の移動に合わせて、仮採用した１つ前の対象点を極値として本採用する。これにより、偽の極値（図５〜図８における白丸）が除去されて、真の極値（図５〜図８における黒丸）が抽出される。なお、真の極値のカウントは、真の極値の抽出後に行ってもよいし、真の極値の抽出と同時に行ってもよい。
【００５１】
以上説明したように、瞬目計測装置１では、撮像部５が計測対象者の眼１００を撮像し（撮像工程）、瞬目判別部７が、撮像部５により撮像された眼１００の画像に基づいて、計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような瞬目を変則瞬目と判別する（瞬目判別工程）。これにより、閉眼時や開眼時に眼瞼の断続的な動作（眼瞼の微動）を伴う変則瞬目（すなわち、閉眼の途中で眼瞼の停留或いは開瞼が現れたり、開眼の途中で眼瞼の停留或いは閉瞼が現れたりする変則瞬目）を検出することが可能となる。このように、瞬目計測装置１、及び瞬目計測装置１により実施される瞬目計測方法によれば、生体状態（眼精疲労（ＶＤＴ疲労）、疲労度、集中度、覚醒度（眠気）や、生活習慣病、精神疾患、神経疾患、認知症等）に関連する指標として変則瞬目を判別することができ、眼精疲労（ＶＤＴ疲労）、疲労度、集中度、覚醒度（眠気）の定量化や、生活習慣病、精神疾患、神経疾患、認知症のスクリーニングを行うことが可能となる。
【００５２】
また、瞬目判別部７は、眼瞼位置データ、眼瞼速度データ及び眼瞼加速度データの少なくとも１つにおいて、極値を３点以上抽出した場合には、当該瞬目を変則瞬目と判別する。これにより、眼瞼位置データや眼瞼速度データにおいて極値が３点以上抽出されない場合であっても、閉眼時や開眼時に眼瞼の微動を伴う変則瞬目を確実に検出することが可能となる。
【００５３】
なお、変則瞬目を判別するに際し、眼瞼速度データにおける極値が有する、速度値、前後の極値との差（極性及び絶対値）、前後の極値との時間間隔を特徴量として算出し、判別の補助特徴量をして用いてもよい。
【００５４】
また、変則瞬目を判別するに際し、眼瞼加速度データにおける極値が有する、加速度値、前後の極値との差（極性及び絶対値）、前後の極値との時間間隔を特徴量として算出し、判別の補助特徴量として用いてもよい。
【００５５】
更に、以下の特徴量を算出してもよい。以下の特徴量は、変則瞬目と判別した際に、閉瞼時のものと開瞼時のものとで分けて集計した後、総合的な判断に用いるとよい。
１：瞬目速度の経時変化における極大値とその時刻と半値幅
２：瞬目速度の経時変化における極小値とその時刻と半値幅
３：瞬目加速度の経時変化における極大値とその時刻と半値幅
４：瞬目加速度の経時変化における極小値とその時刻と半値幅
５：進行方向と同方向の速度極値の発生間隔
６：進行方向と同方向の速度極値の発生回数
７：進行方向と同方向の速度極値の差、比
８：進行方向と同方向の加速度極値の発生間隔
９：進行方向と同方向の加速度極値の発生回数
１０：進行方向と同方向の加速度極値の差、比
１１：連続して発生した速度極値の発生間隔
１２：連続して発生した速度極値の差、比
１３：連続して発生した加速度極値の発生間隔
１４：連続して発生した加速度極値の差、比
１５：閉瞬目から開瞬目に切り替わる迄の期間
１６：加速度の経時変化が閾値を超えた回数
１７：加速度の経時変化が閾値を超えていた期間
１８：加速度の経時変化が閾値を超えていた期間の移動距離
【００５６】
また、図８（ｃ）に示されるように、眼瞼加速度データにおいて、瞬目開始時刻前Ｔｓ前の所定時間（例えば５０ｍｓ）内に極値が抽出された場合に、それに続く瞬目を変則瞬目と判別してもよい。
【００５７】
以上、本発明の一実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、上記実施形態では撮像手段として１ｋＨｚ以上のフレームレートを有する撮像装置（ＩＶＳカメラ）を使用したが、エリアセンサやラインセンサを使用してもよい。ラインセンサを使用する場合、瞬目に伴う眼瞼の位置の変化を検出するために、ラインセンサの長手方向が眼瞼の開閉方向に沿うようにラインセンサを設置するとよい。
【００５８】
また、以下の特徴量を算出してもよい。
１：速度、加速度の極大、極小値間の時間間隔
２：速度、加速度の極大、極小値の速度差
３：速度、加速度の極大、極小値の速度比
４：加速度の極大、極小値の半値幅
５：算出されたすべての速度、加速度の極大、極小値の時間隔の平均
６：算出されたすべての速度、加速度の極大、極小値の時間隔の標準偏差
７：算出されたすべての速度、加速度の極大、極小値の時間隔の比の平均
８：算出されたすべての速度、加速度の極大、極小値の時間隔の比の標準偏差
９：算出されたすべての加速度の極大、極小値の半値幅の比の平均
１０：算出されたすべての加速度の極大、極小値の半値幅の比の標準偏差
１１：瞬目全区間内における、速度、加速度の極大、極小値が確認されたすべての時刻の重心時刻
１２：閉眼動作から開眼動作に移行するまでの期間
【００５９】
また、眼瞼加速度データに対して閾値を設定し、下記の特徴量を算出してもよい。
１：加速度の変化が閾値以上となる回数
２：加速度の変化が連続して閾値を超えていた期間
３：加速度の変化と閾値の交差回数
４：加速度の変化が連続して閾値以下となっていた回数
【００６０】
また、例えば図５に示されるような瞬目理想曲線を用いて下記の情報を算出してもよい。
１：抽出された瞬目と瞬目理想曲線とのＲＭＳ値
２：抽出された瞬目の速度変化と瞬目理想曲線の速度変化のＲＭＳ値
３：抽出された瞬目の加速度変化と瞬目理想曲線の加速度変化のＲＭＳ値
【符号の説明】
【００６１】
１…瞬目計測装置、５…撮像部（撮像手段）、７…瞬目判別部（瞬目判別手段）。
【特許請求の範囲】
【請求項１】
計測対象者の眼を撮像する撮像手段と、
前記撮像手段により撮像された前記眼の画像に基づいて、前記計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような前記瞬目を変則瞬目と判別する瞬目判別手段と、を備えることを特徴とする瞬目計測装置。
【請求項２】
前記瞬目判別手段は、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の位置の時間変化を示す眼瞼位置データを取得し、当該眼瞼位置データに基づいて、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の位置の時間変化に現れる極値を３点以上抽出した場合に、前記瞬目を前記変則瞬目と判別することを特徴とする請求項１記載の瞬目計測装置。
【請求項３】
前記瞬目判別手段は、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の速度の時間変化を示す眼瞼速度データを取得し、当該眼瞼速度データに基づいて、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の速度の時間変化に現れる極値を３点以上抽出した場合に、前記瞬目を前記変則瞬目と判別することを特徴とする請求項１又は２記載の瞬目計測装置。
【請求項４】
前記瞬目判別手段は、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の加速度の時間変化を示す眼瞼加速度データを取得し、当該眼瞼加速度データに基づいて、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の加速度の時間変化に現れる極値を３点以上抽出した場合に、前記瞬目を前記変則瞬目と判別することを特徴とする請求項１〜３のいずれか一項記載の瞬目計測装置。
【請求項５】
計測対象者の眼を撮像する撮像工程と、
前記撮像工程において撮像された前記眼の画像に基づいて、前記計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような前記瞬目を変則瞬目と判別する瞬目判別工程と、を備えることを特徴とする瞬目計測方法。
【請求項１】
計測対象者の眼を撮像する撮像手段と、
前記撮像手段により撮像された前記眼の画像に基づいて、前記計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような前記瞬目を変則瞬目と判別する瞬目判別手段と、を備えることを特徴とする瞬目計測装置。
【請求項２】
前記瞬目判別手段は、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の位置の時間変化を示す眼瞼位置データを取得し、当該眼瞼位置データに基づいて、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の位置の時間変化に現れる極値を３点以上抽出した場合に、前記瞬目を前記変則瞬目と判別することを特徴とする請求項１記載の瞬目計測装置。
【請求項３】
前記瞬目判別手段は、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の速度の時間変化を示す眼瞼速度データを取得し、当該眼瞼速度データに基づいて、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の速度の時間変化に現れる極値を３点以上抽出した場合に、前記瞬目を前記変則瞬目と判別することを特徴とする請求項１又は２記載の瞬目計測装置。
【請求項４】
前記瞬目判別手段は、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の加速度の時間変化を示す眼瞼加速度データを取得し、当該眼瞼加速度データに基づいて、１回の前記瞬目において閉瞼及び開瞼する前記眼瞼の加速度の時間変化に現れる極値を３点以上抽出した場合に、前記瞬目を前記変則瞬目と判別することを特徴とする請求項１〜３のいずれか一項記載の瞬目計測装置。
【請求項５】
計測対象者の眼を撮像する撮像工程と、
前記撮像工程において撮像された前記眼の画像に基づいて、前記計測対象者による１回の瞬目において閉瞼及び開瞼する眼瞼の加速度の時間変化に極値が３点以上現れるような前記瞬目を変則瞬目と判別する瞬目判別工程と、を備えることを特徴とする瞬目計測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−８５６９１（Ｐ２０１２−８５６９１Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３２８７８（Ｐ２０１０−２３２８７８）
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【国等の委託研究の成果に係る記載事項】（出願人による申告）【国等の委託研究の成果に係る記載事項】 独立行政法人科学技術振興機構、研究成果最適展開支援事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００２３６４３６）浜松ホトニクス株式会社 (1,479)
【出願人】（５０９３４９１４１）京都府公立大学法人 (19)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月１５日（２０１０．１０．１５）
【国等の委託研究の成果に係る記載事項】（出願人による申告）【国等の委託研究の成果に係る記載事項】 独立行政法人科学技術振興機構、研究成果最適展開支援事業、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００２３６４３６）浜松ホトニクス株式会社 (1,479)
【出願人】（５０９３４９１４１）京都府公立大学法人 (19)
【Ｆターム（参考）】
[ Back to top ]