瞬目計測装置
【課題】疲労度と眼の運動とのより確かな相関に基づいて疲労度を算出することができる瞬目計測装置を提供する。
【解決手段】瞬目計測装置１は、計測対象者の眼１００を撮像する撮像部５と、撮像部５により撮像された画像データに基づいて、瞬きの際の閉眼時間を算出する算出手段（瞼抽出処理部６及び瞼開閉計測部７）とを備え、閉眼時間を疲労度を示す数値として算出する。これにより、疲労度と眼の運動とのより確かな相関に基づいて疲労度を算出することが可能となる。
【解決手段】瞬目計測装置１は、計測対象者の眼１００を撮像する撮像部５と、撮像部５により撮像された画像データに基づいて、瞬きの際の閉眼時間を算出する算出手段（瞼抽出処理部６及び瞼開閉計測部７）とを備え、閉眼時間を疲労度を示す数値として算出する。これにより、疲労度と眼の運動とのより確かな相関に基づいて疲労度を算出することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、瞬目計測装置に関するものである。
【背景技術】
【０００２】
近年、ＶＤＴ作業等による眼疲労や車の運転等の作業による疲労と、眼の運動との関係が注目を集めている。例えば、特許文献１には、眼疲労の状態（眼疲労度）を推定するパラメータとして、瞬き（瞬目）の開始時の速度および加速度を利用することが記載されている。また、特許文献２には、眼疲労度を推定するパラメータとして、瞬きの回数や頻度を利用することが記載されている。また、非特許文献１には、車を運転するドライバの意識低下状態（特に眠気）を検知・推定するためのパラメータとして、瞬き開始から閉眼状態を経て再び開眼（すなわち瞬きの完了）するまでの時間を利用している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２８９３２７号公報
【特許文献２】特許第３３４８９５６号公報
【非特許文献】
【０００４】
【非特許文献１】足立和正、他３名、「ドライバの意識低下検知のための動画像処理によるまばたき計測」、電気学会論文誌Ｃ（電子・情報・システム部門誌）、電気学会、２００４年、第１２４巻、第３号、ｐ．７７６−７８３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１，２および非特許文献１に記載された装置は、ＣＣＤカメラにより取得した顔画像に基づいて各パラメータを算出している。しかし、現在の一般的なＣＣＤカメラは３０フレーム／秒といった低速での撮像しかできない。この場合、１フレーム当たりの所要時間は約３３ミリ秒である。一方、人間の瞬きに要する時間（瞬き開始から閉眼状態を経て再び開眼するまで）は１００〜３００ミリ秒程度であり、ＣＣＤカメラでは３〜１０フレームの画像しか得られないので、眼の運動を精度良く計測することは困難である。したがって、特許文献１，２または非特許文献１に記載されたパラメータが、疲労度を正確に推定できるものであるかといった信頼性には疑問があり、これらの文献による疲労度の推定は、疲労度と眼の運動との正確な相関に基づいているとは言い難い。
【０００６】
本発明は、上記した問題点を鑑みてなされたものであり、疲労度と眼の運動とのより確かな相関に基づいて疲労度を算出することができる瞬目計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明者らは、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置を用いて眼の運動を計測することによって、疲労度と目の運動との関係について、これまで知られていなかった事実を突き止めた。すなわち、瞬きにおける閉眼状態の後、開眼する際の開眼速度と疲労度との間には有意な相関が存在しており、疲労度が増すほど開眼速度が低下し、閉眼状態から開眼状態へ移行する為の所要時間が疲労度に応じて長くなるという事実である。
【０００８】
そこで、本発明による瞬目計測装置は、計測対象者の眼を撮像する撮像手段と、撮像手段により撮像された画像に基づいて、瞬きの際の閉眼時間を算出する算出手段と、を備え、閉眼時間を疲労度若しくは健康度を示す数値として算出することを特徴としている。このように、閉眼時間を疲労度若しくは健康度を示す数値として算出することにより、疲労度と眼の運動とのより確かな相関に基づいて疲労度若しくは健康度を算出することが可能となる。
【０００９】
また、瞬目計測装置は、算出手段が、画像における眼瞼の縁部を検出して眼瞼位置情報を生成する眼瞼位置検出部と、眼瞼位置情報の時間変化に基づいて閉眼時間を算出する演算部とを有することを特徴としてもよい。これにより、瞬きの際の閉眼時間を画像に基づいて好適に算出することができる。
【００１０】
また、瞬目計測装置は、眼瞼位置検出部が、画像において最も暗い暗部領域を抽出し、該暗部領域を通り眼瞼の開閉方向を長手方向とする領域の輝度分布に基づいて眼瞼位置情報を生成することを特徴としてもよい。これにより、画像における眼瞼の縁部を精度良く検出して眼瞼位置情報を生成できる。
【００１１】
また、瞬目計測装置は、眼瞼位置検出部が、上眼瞼の縁部を検出して眼瞼位置情報を生成することを特徴としてもよい。瞬きの際には上眼瞼の運動量が下眼瞼より大きいので、このように上眼瞼の縁部を検出して眼瞼位置情報を生成することにより、眼瞼位置情報を更に精度良く生成できる。
【発明の効果】
【００１２】
本発明による瞬目計測装置によれば、疲労度と眼の運動とのより確かな相関に基づいて疲労度若しくは健康度を算出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明による瞬目計測装置の一実施形態を示す概略図である。
【図２】本実施形態において用いられる撮像部５の内部構成を示す図である。
【図３】光検出部と、アンプ、Ａ／Ｄ変換器、及び瞼抽出処理部との電気的接続関係を示す図である。
【図４】（ａ）（ｂ）瞼抽出処理部における、画像データに基づく眼瞼の縁部の検出方法を示す図である。
【図５】眼瞼位置情報の時間変化に基づいて瞼開閉計測部が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化を示している。
【図６】眼瞼位置情報の時間変化に基づいて瞼開閉計測部が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化を示している。
【図７】眼瞼位置情報の時間変化に基づいて瞼開閉計測部が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化を示している。
【図８】眼瞼位置情報の時間変化に基づいて算出される、開眼速度に相当する数値の他の例について説明するための図である。
【図９】瞬目計測装置の動作に関するフローチャートである。
【図１０】本発明者らが実際に行った実験の結果を示すグラフである。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照しながら本発明による瞬目計測装置の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１５】
図１は、本発明による瞬目計測装置の一実施形態を示す概略図である。図１を参照すると、本実施形態による瞬目計測装置１は、照明２、ダイクロイックミラー３、集光レンズ４、撮像部５、瞼抽出処理部６、及び瞼開閉計測部７を備えている。撮像部５は本実施形態における撮像手段である。また、瞼抽出処理部６は本実施形態における瞼位置検出部であり、瞼開閉計測部７は本実施形態における演算部である。瞼抽出処理部６及び瞼開閉計測部７は、本実施形態において開眼速度算出手段を構成している。なお、集光レンズ４、撮像部５、瞼抽出処理部６、及び瞼開閉計測部７は、カメラ８の内部に収容されている。
【００１６】
照明２は、計測対象者の眼１００およびその周辺を照らす照明手段であり、例えば赤外光を発生する複数のＬＥＤによって好適に構成される。照明２が眼１００およびその周辺へ赤外光Ｌ１を照射することにより、眼１００およびその周辺において赤外光Ｌ１が反射して光像Ｌ２が生じる。なお、照明２としては赤外光ＬＥＤに限らず他の光源を用いることができるが、高速撮像時には、眼１００の様子などを照らし出すのに充分な光量の可視光を発光すると被験者にとって眩しいため、赤外光源を用いることが好ましい。
【００１７】
ダイクロイックミラー３は、眼１００およびその周辺からの光像Ｌ２を透過して、該光像Ｌ２を撮像部５の光検出部５１に入射させるように配置されている。また、ダイクロイックミラー３は、眼１００と撮像部５とを結ぶ光軸の脇に設置された視標９を計測対象者が視認可能なように、視標９と眼１００とを光学的に結合している。視標９は、例えば可視光を発生するＬＥＤとピンホールマスクとを組み合わせて輝点パターンを発生するように構成されるとよい。ダイクロイックミラー３は、視標９から出射された可視光Ｌ３を眼１００へ向けて反射する。これにより、視標９を計測対象者に提示して眼１００の角膜位置を一定に維持しつつ、眼１００およびその周辺を撮像することができる。なお、視標９とダイクロイックミラー３との間には、視力調整用のレンズ９ａが設けられていると尚良い。
【００１８】
集光レンズ４は、光像Ｌ２を集光して撮像部５の光検出部５１上に結像させるためのレンズである。集光レンズ４は、ダイクロイックミラー３と撮像部５との間に配置されている。本実施形態の集光レンズ４は、後述する撮像部５が眼１００の全体を含む画像を取得できるように、眼１００の眼窩全体が撮像部５の画角に入るように構成されている。
【００１９】
撮像部５は、眼１００からの光像Ｌ２を撮像するための手段である。撮像部５は、二次元状に配列された複数の画素を含む光検出部５１を有しており、光検出部５１に入射した光像Ｌ２を各画素において電気信号に変換することにより、光像Ｌ２に関する画素毎の入射光量を示す画像データを生成する。撮像部５は、生成した画像データを表示装置や映像出力端子といった出力手段へ出力するとともに、画像データを瞼抽出処理部６に提供する。
【００２０】
瞼抽出処理部６は、撮像部５から提供された画像データに基づいて、該画像データにおける眼瞼の縁部１０１を検出して眼瞼位置情報を生成する。また、瞼開閉計測部７は、瞼抽出処理部６から提供された眼瞼位置情報の時間変化に基づいて、瞬きにおける閉眼状態の後の開眼速度、もしくは開眼速度に相当する数値を算出する。瞼抽出処理部６及び瞼開閉計測部７は、電気回路として実現されてもよいし、中央演算処理装置やメモリを有するコンピュータ内部でソフトウェアとして実現されてもよい。
【００２１】
図２は、本実施形態において用いられる撮像部５の内部構成を示す図である。本実施形態の撮像部５は、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置であり、このような撮像装置としては、例えば浜松ホトニクス製のインテリジェントビジョンシステム（ＩＶＳ）カメラが挙げられる。撮像部５は、光検出部５１、増幅部５３、Ａ／Ｄ変換部５５、及びスイッチ部５７を有している。本実施形態においては、光検出部５１はいわゆるＭＯＳ型の撮像素子であり、二次元状（ｍ行×ｎ列）に配列された複数の画素５１ａを有している。複数の画素５１ａのそれぞれは、入射した光の光量に応じた電荷Ｑを生成する。
【００２２】
増幅部５３は、光検出部５１の行数に対応するｍ個のアンプ５３ａを有している。ｍ個のアンプ５３ａは、それぞれ光検出部５１の画素５１ａの対応する行と電気的に接続されており、ｎ列の画素５１ａから電荷Ｑを順次受け取る。そして、アンプ５３ａは、電荷Ｑを増幅するとともに電荷Ｑを電圧信号である画像信号Ｓ1に変換する。また、ｍ個のアンプ５３ａは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの増幅率制御信号Ｓ3に従って、電荷Ｑを画像信号Ｓ1に変換する際の増幅率を変化させることができる。
【００２３】
Ａ／Ｄ変換部５５は、光検出部５１の行数に対応するｍ個のＡ／Ｄ変換器５５ａを有している。ｍ個のＡ／Ｄ変換器５５ａは、対応するｍ個のアンプ５３ａとそれぞれ電気的に接続されており、電圧信号（アナログ信号）である画像信号Ｓ1をアンプ５３ａから受けてディジタル信号である画像データＳ2に変換する。なお、本実施形態ではディジタル信号に変換された画像データＳ2を撮像部５からの画像データとしているが、アナログ信号である画像信号Ｓ1を撮像部５からの画像データとして用いてもよい。
【００２４】
スイッチ部５７は、光検出部５１の行数に対応するｍ個のスイッチ５７ａを有している。ｍ個のスイッチ５７ａは、対応するｍ個のＡ／Ｄ変換器５５ａと瞼抽出処理部６との間に設けられており、Ａ／Ｄ変換器５５ａと瞼抽出処理部６との接続／非接続を制御する。スイッチ５７ａが接続状態になると、Ａ／Ｄ変換器５５ａからの画像データＳ2が瞼抽出処理部６へ提供される。ｍ個のスイッチ５７ａはそれぞれ瞼抽出処理部６と電気的に接続されており、個別に接続／非接続が制御される。
【００２５】
ここで、光検出部５１及びその周辺回路についてさらに詳しく説明する。図３は、光検出部５１と、アンプ５３ａ、Ａ／Ｄ変換器５５ａ、及び瞼抽出処理部６との電気的接続関係を示す図である。図３を参照すると、光検出部５１は、フォトダイオードといった光電変換素子により構成される複数の画素５１ａを有している。そして、光検出部５１は、複数の画素５１ａに対応する複数のコンデンサ５１ｂ及び複数の読み出し用スイッチ５１ｃを有している。画素５１ａの光電変換素子とコンデンサ５１ｂとは互いに並列に接続されており、光電変換素子及びコンデンサ５１ｂの一端に読み出し用スイッチ５１ｃの一端が接続されている。読み出し用スイッチ５１ｃの他端は、同一行に含まれる他の読み出し用スイッチ５１ｃの他端と共に、アンプ５３ａの入力端に接続されている。読み出し用スイッチ５１ｃは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの制御信号Ｓ4に従って個別に接続／非接続が制御される。アンプ５３ａの出力端はＡ／Ｄ変換器５５ａの入力端と電気的に接続されており、Ａ／Ｄ変換器５５ａの出力端は瞼抽出処理部６の入力端と電気的に接続されている。
【００２６】
図３に示した光検出部５１及びその周辺回路の動作は、次のとおりである。光検出部５１に光像Ｌ２が入射すると、各画素５１ａ毎の光像Ｌ２の入射光量に応じた電荷がコンデンサ５１ｂに蓄積される。制御部からの指示に応じて読み出し用スイッチ５１ｃが各行において順次接続されると、コンデンサ５１ｂに蓄積された電荷Ｑがアンプ５３ａに順次送られる。電荷Ｑは、アンプ５３ａによって電圧信号に変換されるとともに増幅されて画像信号Ｓ1となる。画像信号Ｓ1は、Ａ／Ｄ変換器５５ａによってアナログ信号からディジタル信号へ変換されて画像データＳ2となる。画像データＳ2は、瞼抽出処理部６へ提供される。
【００２７】
なお、瞼抽出処理部６における演算を高速に行うために、例えば撮像部５が各画素５１ａのそれぞれに対応する並列演算回路をさらに有することが好ましい。このような並列演算回路は、例えばＡ／Ｄ変換器５５ａの後段に接続される。
【００２８】
図４（ａ）及び（ｂ）は、瞼抽出処理部６における、画像データＳ2に基づく眼瞼の縁部の検出方法を示す図である。図４（ａ）は画像データＳ2を示しており、画像データＳ2には図１に示した眼１００に対応する画像Ｄ1が含まれている。本実施形態の瞼抽出処理部６は、まず、画像データＳ2において最も暗い暗部領域Ｄ2を抽出する。この暗部領域Ｄ2は、画像データＳ2において眼１００の角膜（もしくは瞳孔）に相当する領域である。暗部領域Ｄ2の抽出は、例えば図４（ａ）に示すように眼瞼の開閉方向（すなわち顔の上下方向）を長手方向とする領域Ａ1及びＡ2を設定し、領域Ａ1及びＡ2における輝度ヒストグラム（輝度分布）の相互比較に基づいて行うとよい。図４（ｂ）は、領域Ａ1及びＡ2における輝度ヒストグラムの一例を示すグラフである。図４（ｂ）において、グラフＧ１は領域Ａ1における輝度ヒストグラムを示しており、グラフＧ２は領域Ａ2における輝度ヒストグラムを示している。瞼抽出処理部６は、図４（ｂ）におけるグラフＧ１及びＧ２を比較することにより、グラフＧ１に含まれる暗部領域Ｄ2を判定することができる。
【００２９】
続いて、瞼抽出処理部６は、暗部領域Ｄ2を通り眼瞼の開閉方向を長手方向とする領域（本実施形態では領域Ａ1）の輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ3、Ｄ4を検出する。本実施形態の瞼抽出処理部６は、図４（ｂ）に示すグラフＧ１において輝度が急激に変化するエッジ部分Ｅ1、Ｅ2を抽出することにより、このような画像部分Ｄ3、Ｄ4を検出する。そして、眼瞼の開閉方向における画像部分Ｄ3、Ｄ4の位置を、眼瞼位置情報として瞼開閉計測部７へ提供する。なお、瞬きの際には上眼瞼の運動量が下眼瞼より大きいので、瞼抽出処理部６は、上眼瞼の縁部（画像部分Ｄ3）を検出して眼瞼位置情報を生成することが好ましい。これにより、眼瞼位置情報をより精度良く生成できる。
【００３０】
また、眼瞼位置に関するその他の判定方法として、例えば、図４（ｂ）に示すグラフＧ１，Ｇ２において、輝度ヒストグラムが急峻に変化するエッジ部分Ｅ１，Ｅ２の位置を相互に比較し、輝度ヒストグラムがグラフＧ１及びＧ２に共通の位置で変化している場合に、当該位置を瞼位置として瞼抽出処理部６が判定しても良い。この場合、輝度値ヒストグラム（Ｇ１、Ｇ２）の変化分が、あらかじめ設定された閾値ｔｈと比較されることにより、上瞼位置及び下瞼位置を抽出することが可能となる。
【００３１】
図５〜図７は、眼瞼位置情報の時間変化に基づいて瞼開閉計測部７が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。図５〜図７において、（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化（すなわち（ａ）に示すグラフの時間微分値）を示している。また、これらの図において、時刻ｔ1は瞬きにおける閉眼開始タイミングを示し、時刻ｔ2は閉眼完了タイミングを示し、時刻ｔ3は開眼開始タイミングを示し、時刻ｔ4は開眼完了タイミングを示す。また、期間Ｔ5は閉眼期間であり、眼瞼は閉じた状態となっている。
【００３２】
例えば、図５（ａ）及び（ｂ）に示すように、瞼開閉計測部７は、瞬きの際の開眼開始時（時刻ｔ3）から開眼完了時（時刻ｔ4）までの期間Ｔ6における眼瞼の縁部の最大移動速度を算出し、これを開眼速度として提示する。具体的には、瞼開閉計測部７は、図５（ａ）に示す眼瞼位置情報を微分することにより、上眼瞼の縁部の移動速度についての遷移情報（図５（ｂ））を求める。そして、この遷移情報の期間Ｔ6における移動速度の最大値Ｖmaxを、開眼速度として外部に提示する。なお、閉眼開始タイミング（時刻ｔ1）および開眼完了タイミング（時刻ｔ4）は、例えば上眼瞼の位置が図５（ａ）に示す開眼閾値Ｚth1を下回る（または上回る）ことによって知ることができる。また、閉眼完了タイミング（時刻ｔ2）および開眼開始タイミング（時刻ｔ3）は、例えば上眼瞼の位置が図５（ａ）に示す閉眼閾値Ｚth2（＜Ｚth1）を下回る（または上回る）ことによって知ることができる。
【００３３】
或いは、図６（ａ）及び（ｂ）に示すように、瞼開閉計測部７は、期間Ｔ6において、眼瞼の縁部の移動速度が最大となる時刻ｔvmaxを含む所定期間ＴAでの眼瞼の縁部の移動距離ΔＺを、開眼速度に相当する数値として算出してもよい。具体的には、瞼開閉計測部７は、図６（ａ）に示す眼瞼位置情報を微分することにより、上眼瞼の縁部の移動速度についての遷移情報（図６（ｂ））を求める。そして、この遷移情報の期間Ｔ6において移動速度の最大値Ｖmaxが得られる時刻ｔvmaxを中心に、ｔvmax±Δｔ（Δｔは所定の時間）以内の期間を上記所定期間ＴAに設定し、この所定期間ＴAにおける上眼瞼の縁部の移動距離ΔＺを、開眼速度に相当する数値として外部に提示するとよい。
【００３４】
或いは、図７（ａ）及び（ｂ）に示すように、瞼開閉計測部７は、期間Ｔ6における眼瞼の縁部の移動速度の半値幅を、開眼速度に相当する数値として算出してもよい。具体的には、瞼開閉計測部７は、図７（ａ）に示す眼瞼位置情報を微分することにより、上眼瞼の縁部の移動速度についての遷移情報（図７（ｂ））を求める。そして、この遷移情報の期間Ｔ6において移動速度の最大値Ｖmaxが得られる時刻ｔvmaxを基準として、最大値Ｖmaxの半値が得られる時刻ｔFWHM1、ｔFWHM2をそれぞれ求め、その時間差（ｔFWHM2−ｔFWHM1）または所定の係数を乗じた時間を、開眼速度に相当する数値として外部に提示するとよい。
【００３５】
或いは、瞼開閉計測部７は、開眼速度に相当する数値として、閉眼速度と開眼速度との比、すなわち［開眼速度］／［閉眼速度］もしくは［閉眼速度］／［開眼速度］を算出してもよい。閉眼速度は、図５に基づき、開眼速度の算出手順と同様の手順により、瞬きの際の閉眼開始時（時刻ｔ1）から閉眼完了時（時刻ｔ2）までの期間における眼瞼の縁部の最大移動速度（移動速度の絶対値の最大値）として算出される。また、図６に基づいて算出された上瞼の縁部の移動距離ΔＺ、及び図７に基づいて算出された時間差（ｔFWHM2−ｔFWHM1）の算出手順と同様の手順により、閉眼時におけるこれらの数値を算出し、開眼時および閉眼時におけるこれらの数値の比を算出して、開眼速度に相当する数値としてもよい。これにより、個人差や計測バラツキなどの影響を抑えた疲労度の計測が可能となる。
【００３６】
開眼速度に相当する数値の他の例について、図８を参照しながら説明する。図８に示すグラフＧ３は瞼位置の遷移（左目盛）であり、グラフＧ４は瞼速度の遷移（右目盛）である。本実施形態に係る瞬目計測装置１は、瞬目時の瞼の詳細な位置情報を計測値として出力できるため、図８のように、瞼の位置ならびに開眼及び閉眼の速度を計測情報として得ることができる。そこで、以下のような特徴量を算出し、これらを開眼速度に相当する数値として利用してもよい。具体的には、
１．瞬目前瞼位置：閉眼前における瞼位置、すなわち閉眼前の瞼速度が０の時刻における瞼位置
２．完全閉眼時瞼位置：閉眼動作と開眼動作との間における瞼位置、すなわち閉眼完了タイミングと閉眼開始タイミングとの間に挟まれた瞼速度が０の時刻における瞼位置
３．瞬目後瞼位置：開眼後における瞼位置、すなわち開眼後の瞼速度が０の時刻における瞼位置
４．閉眼時最大速度時刻（ｔa）：閉眼速度の絶対値が最大となる時刻
５．閉眼／開眼時極小速度時刻（ｔb）：閉眼動作から開眼動作へ移る際の、瞼位置および瞼速度が極小となる時刻
６．開眼時最大速度時刻（ｔc）：開眼速度の絶対値が最大となる時刻
７．閉眼時１０％時刻（ｔd10）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の１０％に達した時刻
８．閉眼時５０％時刻（ｔd50）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の５０％に達した時刻
９．閉眼時９０％時刻（ｔd90）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の９０％に達した時刻
１０．開眼時１０％時刻（ｔe10）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の１０％に達した時刻
１１．開眼時５０％時刻（ｔe50）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の５０％に達した時刻
１２．開眼時９０％時刻（ｔe90）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の９０％に達した時刻
【００３７】
さらに、上記各時刻より、下記の特徴量を算出することも可能となる。
１３．閉眼時間：（閉眼時１０％時刻（ｔd10）と閉眼時９０％時刻（ｔd90）との時間差）
１４．開眼時間：（開眼時１０％時刻（ｔe10）と開眼時９０％時刻（ｔe90）との時間差）
【００３８】
また、閉眼／開眼時の特徴を示すために、下記の特徴量を算出することも可能となる。
１５．閉眼時の比：（ｔd50−ｔd90）／（ｔd10−ｔd50）
１６．開眼時の比：（ｔe50−ｔe90）／（ｔe10−ｔe50）
【００３９】
瞬目計測装置１は、このようにして算出された開眼速度または前記開眼速度に応じた数値を、疲労度（主に眼疲労度）を示す数値として外部に提示する。提示先としては、例えば表示装置（ディスプレイ）や各種の疲労軽減装置（ＶＤＴのコントラストや輝度等を調整する装置など）が挙げられる。
【００４０】
図９は、瞬目計測装置１の動作に関するフローチャートである。図９に示すように、瞬目計測装置１では、まず図１に示した眼１００及びその周辺の撮影を撮像部５が行い、画像データを取得する（ステップＳ１０）。次に、図４（ａ）に示した暗部領域Ｄ2を瞼抽出処理部６が抽出し（ステップＳ１１）、暗部領域Ｄ2を通り眼瞼の開閉方向を長手方向とする領域Ａ1の輝度ヒストグラム（図４（ｂ））を作成する（ステップＳ１２）。そして、瞼抽出処理部６は、この輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ3を検出し、画像部分Ｄ3の位置を示す眼瞼位置情報を作成する（ステップＳ１３）。続いて、瞼開閉計測部７は、この眼瞼位置情報の時間変化に基づいて、開眼速度または開眼速度に相当する数値を算出する（ステップＳ１４）。
【００４１】
本実施形態の瞬目計測装置１により得られる効果について、以下に説明する。従来より、ＣＣＤカメラにより取得した顔画像に基づいて瞬きに関するパラメータを算出し、このパラメータと疲労度との相関について研究がなされてきた。しかし、ＣＣＤカメラの撮像速度は３０フレーム／秒（１フレーム当たり約３３ミリ秒）程度であるため、１００〜３００ミリ秒程度といわれている人間の瞬きをＣＣＤカメラを用いて精度良く撮像することは困難である。したがって、上記パラメータは疲労度を正確に推定できるものであるか疑いがある。
【００４２】
なお、瞬きを計測する方法としては、画像処理の他に、眼電図（ＥＯＧ：Electrooculogram）や筋電図（ＥＭＧ：Electromyography）を用いる計測方法がある。しかし、ＥＯＧやＥＭＧは電極を眼の周囲の所定位置に貼り付ける必要があり、簡便性を欠いてしまう。特に、ＶＤＴ作業や車の運転などの作業中においては、非接触での計測が可能な撮像による計測が望ましい。また、ＥＯＧのような筋電位計測では、瞼位置の絶対値を正確に計測することは困難である。そのため、非接触かつ高精度の瞬目計測のツールとして、上記実施形態のような２次元センサ、特に固体撮像素子を用いた高速センシングが非常に有効な手段となる。
【００４３】
本発明者らは、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置（ＩＶＳカメラ）を用いて眼の運動を計測することによって、疲労度と目の運動との関係について、これまで知られていなかった事実を突き止めた。すなわち、瞬きにおける閉眼状態（図５〜図７に示した期間Ｔ5）の後、開眼する際の開眼速度と疲労度との間には有意な相関が存在しており、疲労度が増すほど開眼速度が低下し、閉眼状態から開眼状態へ移行する為の所要時間が疲労度に応じて長くなるという事実である。
【００４４】
図１０は、本発明者らが実際に行った実験の結果を示すグラフである。図１０には、ＶＤＴ作業直前、ＶＤＴ作業を３０分継続した直後、およびＶＤＴ作業を６０分継続した直後のそれぞれにおける、閉眼所要時間（図５〜図７におけるｔ2−ｔ1）および開眼所要時間（図５〜図７におけるｔ4−ｔ3）の計測結果が示されている。図１０を参照すると、ＶＤＴ作業の直前では開眼所要時間が約１５０ミリ秒であるが、ＶＤＴ作業を３０分継続した直後では開眼所要時間が約２００ミリ秒と長くなり、ＶＤＴ作業を６０分継続した直後では開眼所要時間が約２３０ミリ秒と更に長くなった。すなわち、１時間のＶＤＴ作業によって開眼所要時間が１．５倍になったのである。
【００４５】
なお、図１０から明らかなように、開眼動作及び閉眼動作は、その所要時間が５０ミリ秒から２５０ミリ秒程度という極めて高速な現象であり、これらの特徴量を計測するには、好ましくは、それらの１／１０倍程度（５０ミリ秒の現象を捉える場合には５ミリ秒すなわち２００Ｈｚ）のサンプリング周期での計測が必要となる。このため、従来のＣＣＤカメラ（３０フレーム／秒）では、開眼や閉眼の現象を高精度かつ正確に計測することは困難であった。上記実施形態では、高いフレームレートを有する撮像装置としてＭＯＳ型の撮像装置を例示したが、これに限定されるものではない。例えば、ＣＣＤカメラの部分読み出し機能（高速部分読み出し）や、まとめ読み出し（ビニング機能）を利用すれば、高フレームレートを実現することが可能となる。
【００４６】
そこで、本実施形態の瞬目計測装置１は、図１に示したように、計測対象者の眼１００を撮像する撮像部（撮像手段）５と、撮像部５により撮像された画像データに基づいて、瞬きの際の開眼速度または開眼速度に相当する数値を算出する開眼速度算出手段（瞼抽出処理部６、瞼開閉計測部７）とを備えており、開眼速度または開眼速度に応じた数値を疲労度を示す数値として算出する。このように、開眼速度または開眼速度に応じた数値を疲労度を示す数値として算出することにより、疲労度と眼の運動とのより確かな相関に基づいて疲労度を算出することができる。
【００４７】
また、本実施形態のように、開眼速度算出手段は、画像データにおける眼瞼の縁部を検出して眼瞼位置情報を生成する瞼抽出処理部（眼瞼位置検出部）６と、眼瞼位置情報の時間変化に基づいて開眼速度または開眼速度に相当する数値を算出する瞼開閉計測部（演算部）７とを有するとよい。これにより、瞬きの際の開眼速度または開眼速度に相当する数値を画像データに基づいて好適に算出することができる。
【００４８】
また、本実施形態のように、瞼抽出処理部６は、画像データにおいて最も暗い暗部領域Ｄ2（図４（ａ）参照）を抽出し、該暗部領域Ｄ2を通り眼瞼の開閉方向を長手方向とする領域Ａ1の輝度分布（例えば図４（ｂ）のグラフＧ１）に基づいて、眼瞼位置情報を生成するとよい。これにより、画像データにおける眼瞼の縁部を精度良く検出して眼瞼位置情報を生成できる。
【００４９】
本実施形態による瞬目計測装置１は、次のような応用が可能である。例えば、ＶＤＴ作業や車の運転、製品検査等に従事する者の眼を計測し、開眼速度または開眼速度に相当する数値が所定の閾値を越えた場合に警告を発して休息を促す等、疲労度モニタとして応用できる。また、瞬目計測装置１により計測される開眼速度または開眼速度に相当する数値に応じて、環境パラメータ（例えば、ＶＤＴ作業時であれば画面のコントラストや輝度、作業時の部屋の明るさなど）を調整することにより、作業者の疲労度に応じた作業環境の調整を行うことも可能である。また、瞬目計測装置１は小型に構成でき且つ非接触計測が可能なので、携帯電話のカメラ機能やパソコンのＷＥＢカメラなどに組み合わせて手軽な健康度計測装置として利用することもできる。
【００５０】
本発明による瞬目計測装置は、上記した実施形態に限られるものではなく、他に様々な変形が可能である。例えば、上記実施形態では撮像手段として１ｋＨｚ以上のフレームレートを有する撮像装置（ＩＶＳカメラ）を使用したが、エリアセンサやラインセンサを使用してもよい。ラインセンサを使用する場合、瞬きに伴う眼瞼の位置の変化を検出するために、ラインセンサの長手方向が眼瞼の開閉方向に沿うようにラインセンサを設置するとよい。また、開眼速度または開眼速度に相当する数値は上述した３つの数値（最大移動速度、最大移動速度となる時刻を含む所定期間での移動距離、移動速度の半値幅）に限られるものではなく、開眼速度に関わる他の数値を算出／提示してもよい。
【符号の説明】
【００５１】
１…瞬目計測装置、２…照明、３…ダイクロイックミラー、４…集光レンズ、５…撮像部、６…瞼抽出処理部、７…瞼開閉計測部、８…カメラ、９…視標、５１…光検出部、５１ａ…画素、５３…増幅部、５３ａ…アンプ、５５…変換部、５５ａ…変換器、５７…スイッチ部、５７ａ…スイッチ、Ｄ2…暗部領域、Ｅ1，Ｅ2…エッジ部分、Ｌ１…赤外光、Ｌ２…光像、Ｌ３…可視光。
【技術分野】
【０００１】
本発明は、瞬目計測装置に関するものである。
【背景技術】
【０００２】
近年、ＶＤＴ作業等による眼疲労や車の運転等の作業による疲労と、眼の運動との関係が注目を集めている。例えば、特許文献１には、眼疲労の状態（眼疲労度）を推定するパラメータとして、瞬き（瞬目）の開始時の速度および加速度を利用することが記載されている。また、特許文献２には、眼疲労度を推定するパラメータとして、瞬きの回数や頻度を利用することが記載されている。また、非特許文献１には、車を運転するドライバの意識低下状態（特に眠気）を検知・推定するためのパラメータとして、瞬き開始から閉眼状態を経て再び開眼（すなわち瞬きの完了）するまでの時間を利用している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２８９３２７号公報
【特許文献２】特許第３３４８９５６号公報
【非特許文献】
【０００４】
【非特許文献１】足立和正、他３名、「ドライバの意識低下検知のための動画像処理によるまばたき計測」、電気学会論文誌Ｃ（電子・情報・システム部門誌）、電気学会、２００４年、第１２４巻、第３号、ｐ．７７６−７８３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１，２および非特許文献１に記載された装置は、ＣＣＤカメラにより取得した顔画像に基づいて各パラメータを算出している。しかし、現在の一般的なＣＣＤカメラは３０フレーム／秒といった低速での撮像しかできない。この場合、１フレーム当たりの所要時間は約３３ミリ秒である。一方、人間の瞬きに要する時間（瞬き開始から閉眼状態を経て再び開眼するまで）は１００〜３００ミリ秒程度であり、ＣＣＤカメラでは３〜１０フレームの画像しか得られないので、眼の運動を精度良く計測することは困難である。したがって、特許文献１，２または非特許文献１に記載されたパラメータが、疲労度を正確に推定できるものであるかといった信頼性には疑問があり、これらの文献による疲労度の推定は、疲労度と眼の運動との正確な相関に基づいているとは言い難い。
【０００６】
本発明は、上記した問題点を鑑みてなされたものであり、疲労度と眼の運動とのより確かな相関に基づいて疲労度を算出することができる瞬目計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明者らは、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置を用いて眼の運動を計測することによって、疲労度と目の運動との関係について、これまで知られていなかった事実を突き止めた。すなわち、瞬きにおける閉眼状態の後、開眼する際の開眼速度と疲労度との間には有意な相関が存在しており、疲労度が増すほど開眼速度が低下し、閉眼状態から開眼状態へ移行する為の所要時間が疲労度に応じて長くなるという事実である。
【０００８】
そこで、本発明による瞬目計測装置は、計測対象者の眼を撮像する撮像手段と、撮像手段により撮像された画像に基づいて、瞬きの際の閉眼時間を算出する算出手段と、を備え、閉眼時間を疲労度若しくは健康度を示す数値として算出することを特徴としている。このように、閉眼時間を疲労度若しくは健康度を示す数値として算出することにより、疲労度と眼の運動とのより確かな相関に基づいて疲労度若しくは健康度を算出することが可能となる。
【０００９】
また、瞬目計測装置は、算出手段が、画像における眼瞼の縁部を検出して眼瞼位置情報を生成する眼瞼位置検出部と、眼瞼位置情報の時間変化に基づいて閉眼時間を算出する演算部とを有することを特徴としてもよい。これにより、瞬きの際の閉眼時間を画像に基づいて好適に算出することができる。
【００１０】
また、瞬目計測装置は、眼瞼位置検出部が、画像において最も暗い暗部領域を抽出し、該暗部領域を通り眼瞼の開閉方向を長手方向とする領域の輝度分布に基づいて眼瞼位置情報を生成することを特徴としてもよい。これにより、画像における眼瞼の縁部を精度良く検出して眼瞼位置情報を生成できる。
【００１１】
また、瞬目計測装置は、眼瞼位置検出部が、上眼瞼の縁部を検出して眼瞼位置情報を生成することを特徴としてもよい。瞬きの際には上眼瞼の運動量が下眼瞼より大きいので、このように上眼瞼の縁部を検出して眼瞼位置情報を生成することにより、眼瞼位置情報を更に精度良く生成できる。
【発明の効果】
【００１２】
本発明による瞬目計測装置によれば、疲労度と眼の運動とのより確かな相関に基づいて疲労度若しくは健康度を算出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明による瞬目計測装置の一実施形態を示す概略図である。
【図２】本実施形態において用いられる撮像部５の内部構成を示す図である。
【図３】光検出部と、アンプ、Ａ／Ｄ変換器、及び瞼抽出処理部との電気的接続関係を示す図である。
【図４】（ａ）（ｂ）瞼抽出処理部における、画像データに基づく眼瞼の縁部の検出方法を示す図である。
【図５】眼瞼位置情報の時間変化に基づいて瞼開閉計測部が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化を示している。
【図６】眼瞼位置情報の時間変化に基づいて瞼開閉計測部が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化を示している。
【図７】眼瞼位置情報の時間変化に基づいて瞼開閉計測部が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化を示している。
【図８】眼瞼位置情報の時間変化に基づいて算出される、開眼速度に相当する数値の他の例について説明するための図である。
【図９】瞬目計測装置の動作に関するフローチャートである。
【図１０】本発明者らが実際に行った実験の結果を示すグラフである。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照しながら本発明による瞬目計測装置の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１５】
図１は、本発明による瞬目計測装置の一実施形態を示す概略図である。図１を参照すると、本実施形態による瞬目計測装置１は、照明２、ダイクロイックミラー３、集光レンズ４、撮像部５、瞼抽出処理部６、及び瞼開閉計測部７を備えている。撮像部５は本実施形態における撮像手段である。また、瞼抽出処理部６は本実施形態における瞼位置検出部であり、瞼開閉計測部７は本実施形態における演算部である。瞼抽出処理部６及び瞼開閉計測部７は、本実施形態において開眼速度算出手段を構成している。なお、集光レンズ４、撮像部５、瞼抽出処理部６、及び瞼開閉計測部７は、カメラ８の内部に収容されている。
【００１６】
照明２は、計測対象者の眼１００およびその周辺を照らす照明手段であり、例えば赤外光を発生する複数のＬＥＤによって好適に構成される。照明２が眼１００およびその周辺へ赤外光Ｌ１を照射することにより、眼１００およびその周辺において赤外光Ｌ１が反射して光像Ｌ２が生じる。なお、照明２としては赤外光ＬＥＤに限らず他の光源を用いることができるが、高速撮像時には、眼１００の様子などを照らし出すのに充分な光量の可視光を発光すると被験者にとって眩しいため、赤外光源を用いることが好ましい。
【００１７】
ダイクロイックミラー３は、眼１００およびその周辺からの光像Ｌ２を透過して、該光像Ｌ２を撮像部５の光検出部５１に入射させるように配置されている。また、ダイクロイックミラー３は、眼１００と撮像部５とを結ぶ光軸の脇に設置された視標９を計測対象者が視認可能なように、視標９と眼１００とを光学的に結合している。視標９は、例えば可視光を発生するＬＥＤとピンホールマスクとを組み合わせて輝点パターンを発生するように構成されるとよい。ダイクロイックミラー３は、視標９から出射された可視光Ｌ３を眼１００へ向けて反射する。これにより、視標９を計測対象者に提示して眼１００の角膜位置を一定に維持しつつ、眼１００およびその周辺を撮像することができる。なお、視標９とダイクロイックミラー３との間には、視力調整用のレンズ９ａが設けられていると尚良い。
【００１８】
集光レンズ４は、光像Ｌ２を集光して撮像部５の光検出部５１上に結像させるためのレンズである。集光レンズ４は、ダイクロイックミラー３と撮像部５との間に配置されている。本実施形態の集光レンズ４は、後述する撮像部５が眼１００の全体を含む画像を取得できるように、眼１００の眼窩全体が撮像部５の画角に入るように構成されている。
【００１９】
撮像部５は、眼１００からの光像Ｌ２を撮像するための手段である。撮像部５は、二次元状に配列された複数の画素を含む光検出部５１を有しており、光検出部５１に入射した光像Ｌ２を各画素において電気信号に変換することにより、光像Ｌ２に関する画素毎の入射光量を示す画像データを生成する。撮像部５は、生成した画像データを表示装置や映像出力端子といった出力手段へ出力するとともに、画像データを瞼抽出処理部６に提供する。
【００２０】
瞼抽出処理部６は、撮像部５から提供された画像データに基づいて、該画像データにおける眼瞼の縁部１０１を検出して眼瞼位置情報を生成する。また、瞼開閉計測部７は、瞼抽出処理部６から提供された眼瞼位置情報の時間変化に基づいて、瞬きにおける閉眼状態の後の開眼速度、もしくは開眼速度に相当する数値を算出する。瞼抽出処理部６及び瞼開閉計測部７は、電気回路として実現されてもよいし、中央演算処理装置やメモリを有するコンピュータ内部でソフトウェアとして実現されてもよい。
【００２１】
図２は、本実施形態において用いられる撮像部５の内部構成を示す図である。本実施形態の撮像部５は、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置であり、このような撮像装置としては、例えば浜松ホトニクス製のインテリジェントビジョンシステム（ＩＶＳ）カメラが挙げられる。撮像部５は、光検出部５１、増幅部５３、Ａ／Ｄ変換部５５、及びスイッチ部５７を有している。本実施形態においては、光検出部５１はいわゆるＭＯＳ型の撮像素子であり、二次元状（ｍ行×ｎ列）に配列された複数の画素５１ａを有している。複数の画素５１ａのそれぞれは、入射した光の光量に応じた電荷Ｑを生成する。
【００２２】
増幅部５３は、光検出部５１の行数に対応するｍ個のアンプ５３ａを有している。ｍ個のアンプ５３ａは、それぞれ光検出部５１の画素５１ａの対応する行と電気的に接続されており、ｎ列の画素５１ａから電荷Ｑを順次受け取る。そして、アンプ５３ａは、電荷Ｑを増幅するとともに電荷Ｑを電圧信号である画像信号Ｓ1に変換する。また、ｍ個のアンプ５３ａは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの増幅率制御信号Ｓ3に従って、電荷Ｑを画像信号Ｓ1に変換する際の増幅率を変化させることができる。
【００２３】
Ａ／Ｄ変換部５５は、光検出部５１の行数に対応するｍ個のＡ／Ｄ変換器５５ａを有している。ｍ個のＡ／Ｄ変換器５５ａは、対応するｍ個のアンプ５３ａとそれぞれ電気的に接続されており、電圧信号（アナログ信号）である画像信号Ｓ1をアンプ５３ａから受けてディジタル信号である画像データＳ2に変換する。なお、本実施形態ではディジタル信号に変換された画像データＳ2を撮像部５からの画像データとしているが、アナログ信号である画像信号Ｓ1を撮像部５からの画像データとして用いてもよい。
【００２４】
スイッチ部５７は、光検出部５１の行数に対応するｍ個のスイッチ５７ａを有している。ｍ個のスイッチ５７ａは、対応するｍ個のＡ／Ｄ変換器５５ａと瞼抽出処理部６との間に設けられており、Ａ／Ｄ変換器５５ａと瞼抽出処理部６との接続／非接続を制御する。スイッチ５７ａが接続状態になると、Ａ／Ｄ変換器５５ａからの画像データＳ2が瞼抽出処理部６へ提供される。ｍ個のスイッチ５７ａはそれぞれ瞼抽出処理部６と電気的に接続されており、個別に接続／非接続が制御される。
【００２５】
ここで、光検出部５１及びその周辺回路についてさらに詳しく説明する。図３は、光検出部５１と、アンプ５３ａ、Ａ／Ｄ変換器５５ａ、及び瞼抽出処理部６との電気的接続関係を示す図である。図３を参照すると、光検出部５１は、フォトダイオードといった光電変換素子により構成される複数の画素５１ａを有している。そして、光検出部５１は、複数の画素５１ａに対応する複数のコンデンサ５１ｂ及び複数の読み出し用スイッチ５１ｃを有している。画素５１ａの光電変換素子とコンデンサ５１ｂとは互いに並列に接続されており、光電変換素子及びコンデンサ５１ｂの一端に読み出し用スイッチ５１ｃの一端が接続されている。読み出し用スイッチ５１ｃの他端は、同一行に含まれる他の読み出し用スイッチ５１ｃの他端と共に、アンプ５３ａの入力端に接続されている。読み出し用スイッチ５１ｃは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの制御信号Ｓ4に従って個別に接続／非接続が制御される。アンプ５３ａの出力端はＡ／Ｄ変換器５５ａの入力端と電気的に接続されており、Ａ／Ｄ変換器５５ａの出力端は瞼抽出処理部６の入力端と電気的に接続されている。
【００２６】
図３に示した光検出部５１及びその周辺回路の動作は、次のとおりである。光検出部５１に光像Ｌ２が入射すると、各画素５１ａ毎の光像Ｌ２の入射光量に応じた電荷がコンデンサ５１ｂに蓄積される。制御部からの指示に応じて読み出し用スイッチ５１ｃが各行において順次接続されると、コンデンサ５１ｂに蓄積された電荷Ｑがアンプ５３ａに順次送られる。電荷Ｑは、アンプ５３ａによって電圧信号に変換されるとともに増幅されて画像信号Ｓ1となる。画像信号Ｓ1は、Ａ／Ｄ変換器５５ａによってアナログ信号からディジタル信号へ変換されて画像データＳ2となる。画像データＳ2は、瞼抽出処理部６へ提供される。
【００２７】
なお、瞼抽出処理部６における演算を高速に行うために、例えば撮像部５が各画素５１ａのそれぞれに対応する並列演算回路をさらに有することが好ましい。このような並列演算回路は、例えばＡ／Ｄ変換器５５ａの後段に接続される。
【００２８】
図４（ａ）及び（ｂ）は、瞼抽出処理部６における、画像データＳ2に基づく眼瞼の縁部の検出方法を示す図である。図４（ａ）は画像データＳ2を示しており、画像データＳ2には図１に示した眼１００に対応する画像Ｄ1が含まれている。本実施形態の瞼抽出処理部６は、まず、画像データＳ2において最も暗い暗部領域Ｄ2を抽出する。この暗部領域Ｄ2は、画像データＳ2において眼１００の角膜（もしくは瞳孔）に相当する領域である。暗部領域Ｄ2の抽出は、例えば図４（ａ）に示すように眼瞼の開閉方向（すなわち顔の上下方向）を長手方向とする領域Ａ1及びＡ2を設定し、領域Ａ1及びＡ2における輝度ヒストグラム（輝度分布）の相互比較に基づいて行うとよい。図４（ｂ）は、領域Ａ1及びＡ2における輝度ヒストグラムの一例を示すグラフである。図４（ｂ）において、グラフＧ１は領域Ａ1における輝度ヒストグラムを示しており、グラフＧ２は領域Ａ2における輝度ヒストグラムを示している。瞼抽出処理部６は、図４（ｂ）におけるグラフＧ１及びＧ２を比較することにより、グラフＧ１に含まれる暗部領域Ｄ2を判定することができる。
【００２９】
続いて、瞼抽出処理部６は、暗部領域Ｄ2を通り眼瞼の開閉方向を長手方向とする領域（本実施形態では領域Ａ1）の輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ3、Ｄ4を検出する。本実施形態の瞼抽出処理部６は、図４（ｂ）に示すグラフＧ１において輝度が急激に変化するエッジ部分Ｅ1、Ｅ2を抽出することにより、このような画像部分Ｄ3、Ｄ4を検出する。そして、眼瞼の開閉方向における画像部分Ｄ3、Ｄ4の位置を、眼瞼位置情報として瞼開閉計測部７へ提供する。なお、瞬きの際には上眼瞼の運動量が下眼瞼より大きいので、瞼抽出処理部６は、上眼瞼の縁部（画像部分Ｄ3）を検出して眼瞼位置情報を生成することが好ましい。これにより、眼瞼位置情報をより精度良く生成できる。
【００３０】
また、眼瞼位置に関するその他の判定方法として、例えば、図４（ｂ）に示すグラフＧ１，Ｇ２において、輝度ヒストグラムが急峻に変化するエッジ部分Ｅ１，Ｅ２の位置を相互に比較し、輝度ヒストグラムがグラフＧ１及びＧ２に共通の位置で変化している場合に、当該位置を瞼位置として瞼抽出処理部６が判定しても良い。この場合、輝度値ヒストグラム（Ｇ１、Ｇ２）の変化分が、あらかじめ設定された閾値ｔｈと比較されることにより、上瞼位置及び下瞼位置を抽出することが可能となる。
【００３１】
図５〜図７は、眼瞼位置情報の時間変化に基づいて瞼開閉計測部７が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。図５〜図７において、（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化（すなわち（ａ）に示すグラフの時間微分値）を示している。また、これらの図において、時刻ｔ1は瞬きにおける閉眼開始タイミングを示し、時刻ｔ2は閉眼完了タイミングを示し、時刻ｔ3は開眼開始タイミングを示し、時刻ｔ4は開眼完了タイミングを示す。また、期間Ｔ5は閉眼期間であり、眼瞼は閉じた状態となっている。
【００３２】
例えば、図５（ａ）及び（ｂ）に示すように、瞼開閉計測部７は、瞬きの際の開眼開始時（時刻ｔ3）から開眼完了時（時刻ｔ4）までの期間Ｔ6における眼瞼の縁部の最大移動速度を算出し、これを開眼速度として提示する。具体的には、瞼開閉計測部７は、図５（ａ）に示す眼瞼位置情報を微分することにより、上眼瞼の縁部の移動速度についての遷移情報（図５（ｂ））を求める。そして、この遷移情報の期間Ｔ6における移動速度の最大値Ｖmaxを、開眼速度として外部に提示する。なお、閉眼開始タイミング（時刻ｔ1）および開眼完了タイミング（時刻ｔ4）は、例えば上眼瞼の位置が図５（ａ）に示す開眼閾値Ｚth1を下回る（または上回る）ことによって知ることができる。また、閉眼完了タイミング（時刻ｔ2）および開眼開始タイミング（時刻ｔ3）は、例えば上眼瞼の位置が図５（ａ）に示す閉眼閾値Ｚth2（＜Ｚth1）を下回る（または上回る）ことによって知ることができる。
【００３３】
或いは、図６（ａ）及び（ｂ）に示すように、瞼開閉計測部７は、期間Ｔ6において、眼瞼の縁部の移動速度が最大となる時刻ｔvmaxを含む所定期間ＴAでの眼瞼の縁部の移動距離ΔＺを、開眼速度に相当する数値として算出してもよい。具体的には、瞼開閉計測部７は、図６（ａ）に示す眼瞼位置情報を微分することにより、上眼瞼の縁部の移動速度についての遷移情報（図６（ｂ））を求める。そして、この遷移情報の期間Ｔ6において移動速度の最大値Ｖmaxが得られる時刻ｔvmaxを中心に、ｔvmax±Δｔ（Δｔは所定の時間）以内の期間を上記所定期間ＴAに設定し、この所定期間ＴAにおける上眼瞼の縁部の移動距離ΔＺを、開眼速度に相当する数値として外部に提示するとよい。
【００３４】
或いは、図７（ａ）及び（ｂ）に示すように、瞼開閉計測部７は、期間Ｔ6における眼瞼の縁部の移動速度の半値幅を、開眼速度に相当する数値として算出してもよい。具体的には、瞼開閉計測部７は、図７（ａ）に示す眼瞼位置情報を微分することにより、上眼瞼の縁部の移動速度についての遷移情報（図７（ｂ））を求める。そして、この遷移情報の期間Ｔ6において移動速度の最大値Ｖmaxが得られる時刻ｔvmaxを基準として、最大値Ｖmaxの半値が得られる時刻ｔFWHM1、ｔFWHM2をそれぞれ求め、その時間差（ｔFWHM2−ｔFWHM1）または所定の係数を乗じた時間を、開眼速度に相当する数値として外部に提示するとよい。
【００３５】
或いは、瞼開閉計測部７は、開眼速度に相当する数値として、閉眼速度と開眼速度との比、すなわち［開眼速度］／［閉眼速度］もしくは［閉眼速度］／［開眼速度］を算出してもよい。閉眼速度は、図５に基づき、開眼速度の算出手順と同様の手順により、瞬きの際の閉眼開始時（時刻ｔ1）から閉眼完了時（時刻ｔ2）までの期間における眼瞼の縁部の最大移動速度（移動速度の絶対値の最大値）として算出される。また、図６に基づいて算出された上瞼の縁部の移動距離ΔＺ、及び図７に基づいて算出された時間差（ｔFWHM2−ｔFWHM1）の算出手順と同様の手順により、閉眼時におけるこれらの数値を算出し、開眼時および閉眼時におけるこれらの数値の比を算出して、開眼速度に相当する数値としてもよい。これにより、個人差や計測バラツキなどの影響を抑えた疲労度の計測が可能となる。
【００３６】
開眼速度に相当する数値の他の例について、図８を参照しながら説明する。図８に示すグラフＧ３は瞼位置の遷移（左目盛）であり、グラフＧ４は瞼速度の遷移（右目盛）である。本実施形態に係る瞬目計測装置１は、瞬目時の瞼の詳細な位置情報を計測値として出力できるため、図８のように、瞼の位置ならびに開眼及び閉眼の速度を計測情報として得ることができる。そこで、以下のような特徴量を算出し、これらを開眼速度に相当する数値として利用してもよい。具体的には、
１．瞬目前瞼位置：閉眼前における瞼位置、すなわち閉眼前の瞼速度が０の時刻における瞼位置
２．完全閉眼時瞼位置：閉眼動作と開眼動作との間における瞼位置、すなわち閉眼完了タイミングと閉眼開始タイミングとの間に挟まれた瞼速度が０の時刻における瞼位置
３．瞬目後瞼位置：開眼後における瞼位置、すなわち開眼後の瞼速度が０の時刻における瞼位置
４．閉眼時最大速度時刻（ｔa）：閉眼速度の絶対値が最大となる時刻
５．閉眼／開眼時極小速度時刻（ｔb）：閉眼動作から開眼動作へ移る際の、瞼位置および瞼速度が極小となる時刻
６．開眼時最大速度時刻（ｔc）：開眼速度の絶対値が最大となる時刻
７．閉眼時１０％時刻（ｔd10）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の１０％に達した時刻
８．閉眼時５０％時刻（ｔd50）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の５０％に達した時刻
９．閉眼時９０％時刻（ｔd90）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の９０％に達した時刻
１０．開眼時１０％時刻（ｔe10）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の１０％に達した時刻
１１．開眼時５０％時刻（ｔe50）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の５０％に達した時刻
１２．開眼時９０％時刻（ｔe90）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の９０％に達した時刻
【００３７】
さらに、上記各時刻より、下記の特徴量を算出することも可能となる。
１３．閉眼時間：（閉眼時１０％時刻（ｔd10）と閉眼時９０％時刻（ｔd90）との時間差）
１４．開眼時間：（開眼時１０％時刻（ｔe10）と開眼時９０％時刻（ｔe90）との時間差）
【００３８】
また、閉眼／開眼時の特徴を示すために、下記の特徴量を算出することも可能となる。
１５．閉眼時の比：（ｔd50−ｔd90）／（ｔd10−ｔd50）
１６．開眼時の比：（ｔe50−ｔe90）／（ｔe10−ｔe50）
【００３９】
瞬目計測装置１は、このようにして算出された開眼速度または前記開眼速度に応じた数値を、疲労度（主に眼疲労度）を示す数値として外部に提示する。提示先としては、例えば表示装置（ディスプレイ）や各種の疲労軽減装置（ＶＤＴのコントラストや輝度等を調整する装置など）が挙げられる。
【００４０】
図９は、瞬目計測装置１の動作に関するフローチャートである。図９に示すように、瞬目計測装置１では、まず図１に示した眼１００及びその周辺の撮影を撮像部５が行い、画像データを取得する（ステップＳ１０）。次に、図４（ａ）に示した暗部領域Ｄ2を瞼抽出処理部６が抽出し（ステップＳ１１）、暗部領域Ｄ2を通り眼瞼の開閉方向を長手方向とする領域Ａ1の輝度ヒストグラム（図４（ｂ））を作成する（ステップＳ１２）。そして、瞼抽出処理部６は、この輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ3を検出し、画像部分Ｄ3の位置を示す眼瞼位置情報を作成する（ステップＳ１３）。続いて、瞼開閉計測部７は、この眼瞼位置情報の時間変化に基づいて、開眼速度または開眼速度に相当する数値を算出する（ステップＳ１４）。
【００４１】
本実施形態の瞬目計測装置１により得られる効果について、以下に説明する。従来より、ＣＣＤカメラにより取得した顔画像に基づいて瞬きに関するパラメータを算出し、このパラメータと疲労度との相関について研究がなされてきた。しかし、ＣＣＤカメラの撮像速度は３０フレーム／秒（１フレーム当たり約３３ミリ秒）程度であるため、１００〜３００ミリ秒程度といわれている人間の瞬きをＣＣＤカメラを用いて精度良く撮像することは困難である。したがって、上記パラメータは疲労度を正確に推定できるものであるか疑いがある。
【００４２】
なお、瞬きを計測する方法としては、画像処理の他に、眼電図（ＥＯＧ：Electrooculogram）や筋電図（ＥＭＧ：Electromyography）を用いる計測方法がある。しかし、ＥＯＧやＥＭＧは電極を眼の周囲の所定位置に貼り付ける必要があり、簡便性を欠いてしまう。特に、ＶＤＴ作業や車の運転などの作業中においては、非接触での計測が可能な撮像による計測が望ましい。また、ＥＯＧのような筋電位計測では、瞼位置の絶対値を正確に計測することは困難である。そのため、非接触かつ高精度の瞬目計測のツールとして、上記実施形態のような２次元センサ、特に固体撮像素子を用いた高速センシングが非常に有効な手段となる。
【００４３】
本発明者らは、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置（ＩＶＳカメラ）を用いて眼の運動を計測することによって、疲労度と目の運動との関係について、これまで知られていなかった事実を突き止めた。すなわち、瞬きにおける閉眼状態（図５〜図７に示した期間Ｔ5）の後、開眼する際の開眼速度と疲労度との間には有意な相関が存在しており、疲労度が増すほど開眼速度が低下し、閉眼状態から開眼状態へ移行する為の所要時間が疲労度に応じて長くなるという事実である。
【００４４】
図１０は、本発明者らが実際に行った実験の結果を示すグラフである。図１０には、ＶＤＴ作業直前、ＶＤＴ作業を３０分継続した直後、およびＶＤＴ作業を６０分継続した直後のそれぞれにおける、閉眼所要時間（図５〜図７におけるｔ2−ｔ1）および開眼所要時間（図５〜図７におけるｔ4−ｔ3）の計測結果が示されている。図１０を参照すると、ＶＤＴ作業の直前では開眼所要時間が約１５０ミリ秒であるが、ＶＤＴ作業を３０分継続した直後では開眼所要時間が約２００ミリ秒と長くなり、ＶＤＴ作業を６０分継続した直後では開眼所要時間が約２３０ミリ秒と更に長くなった。すなわち、１時間のＶＤＴ作業によって開眼所要時間が１．５倍になったのである。
【００４５】
なお、図１０から明らかなように、開眼動作及び閉眼動作は、その所要時間が５０ミリ秒から２５０ミリ秒程度という極めて高速な現象であり、これらの特徴量を計測するには、好ましくは、それらの１／１０倍程度（５０ミリ秒の現象を捉える場合には５ミリ秒すなわち２００Ｈｚ）のサンプリング周期での計測が必要となる。このため、従来のＣＣＤカメラ（３０フレーム／秒）では、開眼や閉眼の現象を高精度かつ正確に計測することは困難であった。上記実施形態では、高いフレームレートを有する撮像装置としてＭＯＳ型の撮像装置を例示したが、これに限定されるものではない。例えば、ＣＣＤカメラの部分読み出し機能（高速部分読み出し）や、まとめ読み出し（ビニング機能）を利用すれば、高フレームレートを実現することが可能となる。
【００４６】
そこで、本実施形態の瞬目計測装置１は、図１に示したように、計測対象者の眼１００を撮像する撮像部（撮像手段）５と、撮像部５により撮像された画像データに基づいて、瞬きの際の開眼速度または開眼速度に相当する数値を算出する開眼速度算出手段（瞼抽出処理部６、瞼開閉計測部７）とを備えており、開眼速度または開眼速度に応じた数値を疲労度を示す数値として算出する。このように、開眼速度または開眼速度に応じた数値を疲労度を示す数値として算出することにより、疲労度と眼の運動とのより確かな相関に基づいて疲労度を算出することができる。
【００４７】
また、本実施形態のように、開眼速度算出手段は、画像データにおける眼瞼の縁部を検出して眼瞼位置情報を生成する瞼抽出処理部（眼瞼位置検出部）６と、眼瞼位置情報の時間変化に基づいて開眼速度または開眼速度に相当する数値を算出する瞼開閉計測部（演算部）７とを有するとよい。これにより、瞬きの際の開眼速度または開眼速度に相当する数値を画像データに基づいて好適に算出することができる。
【００４８】
また、本実施形態のように、瞼抽出処理部６は、画像データにおいて最も暗い暗部領域Ｄ2（図４（ａ）参照）を抽出し、該暗部領域Ｄ2を通り眼瞼の開閉方向を長手方向とする領域Ａ1の輝度分布（例えば図４（ｂ）のグラフＧ１）に基づいて、眼瞼位置情報を生成するとよい。これにより、画像データにおける眼瞼の縁部を精度良く検出して眼瞼位置情報を生成できる。
【００４９】
本実施形態による瞬目計測装置１は、次のような応用が可能である。例えば、ＶＤＴ作業や車の運転、製品検査等に従事する者の眼を計測し、開眼速度または開眼速度に相当する数値が所定の閾値を越えた場合に警告を発して休息を促す等、疲労度モニタとして応用できる。また、瞬目計測装置１により計測される開眼速度または開眼速度に相当する数値に応じて、環境パラメータ（例えば、ＶＤＴ作業時であれば画面のコントラストや輝度、作業時の部屋の明るさなど）を調整することにより、作業者の疲労度に応じた作業環境の調整を行うことも可能である。また、瞬目計測装置１は小型に構成でき且つ非接触計測が可能なので、携帯電話のカメラ機能やパソコンのＷＥＢカメラなどに組み合わせて手軽な健康度計測装置として利用することもできる。
【００５０】
本発明による瞬目計測装置は、上記した実施形態に限られるものではなく、他に様々な変形が可能である。例えば、上記実施形態では撮像手段として１ｋＨｚ以上のフレームレートを有する撮像装置（ＩＶＳカメラ）を使用したが、エリアセンサやラインセンサを使用してもよい。ラインセンサを使用する場合、瞬きに伴う眼瞼の位置の変化を検出するために、ラインセンサの長手方向が眼瞼の開閉方向に沿うようにラインセンサを設置するとよい。また、開眼速度または開眼速度に相当する数値は上述した３つの数値（最大移動速度、最大移動速度となる時刻を含む所定期間での移動距離、移動速度の半値幅）に限られるものではなく、開眼速度に関わる他の数値を算出／提示してもよい。
【符号の説明】
【００５１】
１…瞬目計測装置、２…照明、３…ダイクロイックミラー、４…集光レンズ、５…撮像部、６…瞼抽出処理部、７…瞼開閉計測部、８…カメラ、９…視標、５１…光検出部、５１ａ…画素、５３…増幅部、５３ａ…アンプ、５５…変換部、５５ａ…変換器、５７…スイッチ部、５７ａ…スイッチ、Ｄ2…暗部領域、Ｅ1，Ｅ2…エッジ部分、Ｌ１…赤外光、Ｌ２…光像、Ｌ３…可視光。
【特許請求の範囲】
【請求項１】
計測対象者の眼を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、瞬きの際の閉眼時間を算出する算出手段と
を備え、
前記閉眼時間を疲労度若しくは健康度を示す数値として算出することを特徴とする、瞬目計測装置。
【請求項２】
前記算出手段は、
前記画像における眼瞼の縁部を検出して眼瞼位置情報を生成する眼瞼位置検出部と、
前記眼瞼位置情報の時間変化に基づいて前記閉眼時間を算出する演算部と
を有することを特徴とする、請求項１に記載の瞬目計測装置。
【請求項３】
前記眼瞼位置検出部は、前記画像において最も暗い暗部領域を抽出し、該暗部領域を通り眼瞼の開閉方向を長手方向とする領域の輝度分布に基づいて前記眼瞼位置情報を生成することを特徴とする、請求項２に記載の瞬目計測装置。
【請求項４】
前記眼瞼位置検出部は、上眼瞼の縁部を検出して前記眼瞼位置情報を生成することを特徴とする、請求項２または３に記載の瞬目計測装置。
【請求項１】
計測対象者の眼を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、瞬きの際の閉眼時間を算出する算出手段と
を備え、
前記閉眼時間を疲労度若しくは健康度を示す数値として算出することを特徴とする、瞬目計測装置。
【請求項２】
前記算出手段は、
前記画像における眼瞼の縁部を検出して眼瞼位置情報を生成する眼瞼位置検出部と、
前記眼瞼位置情報の時間変化に基づいて前記閉眼時間を算出する演算部と
を有することを特徴とする、請求項１に記載の瞬目計測装置。
【請求項３】
前記眼瞼位置検出部は、前記画像において最も暗い暗部領域を抽出し、該暗部領域を通り眼瞼の開閉方向を長手方向とする領域の輝度分布に基づいて前記眼瞼位置情報を生成することを特徴とする、請求項２に記載の瞬目計測装置。
【請求項４】
前記眼瞼位置検出部は、上眼瞼の縁部を検出して前記眼瞼位置情報を生成することを特徴とする、請求項２または３に記載の瞬目計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１３９５６２（Ｐ２０１２−１３９５６２Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１２−１０１４３６（Ｐ２０１２−１０１４３６）
【出願日】平成２４年４月２６日（２０１２．４．２６）
【分割の表示】特願２００７−３００８７６（Ｐ２００７−３００８７６）の分割
【原出願日】平成１９年１１月２０日（２００７．１１．２０）
【出願人】（０００２３６４３６）浜松ホトニクス株式会社 (1,479)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２４年４月２６日（２０１２．４．２６）
【分割の表示】特願２００７−３００８７６（Ｐ２００７−３００８７６）の分割
【原出願日】平成１９年１１月２０日（２００７．１１．２０）
【出願人】（０００２３６４３６）浜松ホトニクス株式会社 (1,479)
【Ｆターム（参考）】
[ Back to top ]