瞬目計測装置、方法、及びプログラム

【課題】瞬目の発生情報を事前に予測可能な仕組みを提供する。
【解決手段】本発明による瞬目計測装置は被検眼の動きの情報を取得する取得部１１と、
動きの情報に基づいて被検眼の瞬目の開始情報を得る解析部１３と、
を有することを特徴とする。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，瞬目を計測する装置に関し、特に眼の動きから瞬目の情報を得る装置に関する。
【背景技術】
【０００２】
瞬目（まばたき）は動物の眼瞼が開閉することによって、結膜や角膜の表面を湿潤し、涙液の循環を行うものである。瞬目自体は生理的な現象であるが、特許文献１に開示されるように、それを積極的に利用することで運転者の居眠りを判定するなどの応用が提案されている。
【０００３】
また、眼科用の撮影装置では眼を撮影するため、撮影中に瞬目が発生するとその時取得された画像は意味を持たない。そのため、瞬目を検出して瞬目の間に得られた画像情報を除去する処理等が行われる。このような、瞬目検出の方法として特許文献２にはウェーブレット変換を利用した瞬目検出の方法が開示されている。
【０００４】
一方で、人間の眼球は固視微動として知られる微小な運動を常に行っており、眼科用の撮影装置には眼球の位置を検出する光学系を別途設け、測定用のレーザ光を眼球の位置に追従させることが行われている。しかし瞬目発生時は眼球位置の検出が不可能であるから、瞬目後に再び追尾を開始することとなり、その場合は遅れが発生する。また瞬目前後では眼球の位置が変化していることが多く、瞬目発生前の眼球位置情報が使えなくなることもあった。このような場合、瞬目の発生が予測できると迅速な対応が可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−３９６０３号公報
【特許文献２】特開平１０−５２４０３号公報
【非特許文献】
【０００６】
【非特許文献１】高木幹雄他監修新編画像解析ハンドブック東京大学出版会
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、従来の瞬目検出の方法では、瞬目の発生を事前に予測することは困難であった。
本発明は、瞬目の開始情報を得る仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明による瞬目計測装置は、被検眼の動きの情報を取得する取得手段と、
前記動きの情報に基づいて前記被検眼の瞬目の開始情報を得る解析手段と、
を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば瞬目の開始情報を得る仕組みを提供することができる。また、瞬目を事前に予測することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明による瞬目計測装置の構成図である。
【図２】第１の実施形態に係る瞬目計測装置の各部をソフトウェアにより実現するコンピュータの基本構成を示す図である。
【図３】本発明による瞬目予測方法のフローチャートである。
【図４】ＳＬＯの構成図である。
【図５】ＳＬＯ像の説明図である。
【図６】眼球位置の時間変化の例である。
【図７】眼球位置の時間変化の例である。
【図８】眼球位置の時間変化の例である。
【図９】実施例２における本発明による瞬目計測装置の構成図である。
【図１０】瞬目後の眼球位置予測の説明図である。
【図１１】実施例２におけるテンプレートマッチング説明図である。
【図１２】その他の実施例に係る瞬目計測装置の構成図である。
【発明を実施するための形態】
【００１１】
以下に適宜図面を参照しながら本発明の実施例を具体的に説明する。
【実施例１】
【００１２】
図１は本発明による瞬目計測装置１の基本的な構成を図示したものである。同図において、取得部１１は被検眼の眼球の動きを連続的に検出して位置情報を出力する。特性取得部１２は取得部１１から入力した位置情報を解析し被検眼の特性を取得する。解析部１３は特性取得部１２で取得した特性から瞬目の開始情報を取得する。また、瞬目の発生を事前に予測してその結果を出力することもできる。
【００１３】
図２は、図１に示した瞬目計測装置１の各部の夫々の機能を、ソフトウェアを実行することで実現するためのコンピュータの基本構成を示す図である。
【００１４】
瞬目計測装置１は、制御部２０、モニタ２０４、マウス２０５、及びキーボード２０６を有する。また、制御部２０は、中央処理装置（ＣＰＵ）２００、主メモリ２０１、磁気ディスク２０２、表示メモリ２０３、及び共有バス２０７を有する。
【００１５】
ＣＰＵ２００は、主メモリ２０１に格納されたプログラムを実行することにより、データベース２との通信、瞬目計測装置１の全体制御、等の各種制御を実行する。このＣＰＵ２００は、主として瞬目計測装置１の各構成要素の動作を制御する。
【００１６】
主メモリ２０１は、ＣＰＵ２００が実行する制御プログラムの格納や、ＣＰＵ２００によるプログラム実行時の作業領域の提供を行う。
【００１７】
磁気ディスク２０２は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する瞬目予測処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。
【００１８】
表示メモリ２０３は、モニタ２０４のための表示用データを一時記憶する。
【００１９】
モニタ２０４は、ＣＰＵ２００の制御に基づいて、表示メモリ２０３に記憶されている表示用データの表示を行う。
【００２０】
マウス２０５及びキーボード２０６は、ユーザ（医師）によるポインティング入力及び文字等の入力をそれぞれ行う。
【００２１】
上記各構成要素は、共通バス２０７により互いに通信可能に接続されている。
【００２２】
なお、上述の装置構成は、一般的なコンピュータ及びその周辺装置を用いて構成することができる。また、図３を用いて後述する本発明に係る瞬目計測装置の制御手順は、コンピュータ上で実行されるプログラムとして実現することができる。
【００２３】
以下に各部の詳細と処理の流れについて図３に示すフローチャートに沿って説明する。
【００２４】
＜ステップＳ１０１＞
ＰＣは被検眼に対する瞬目の解析が既に行われているかどうかで、後続の処理を解析モードか予測モードかを切り換える。これは、本発明による瞬目計測装置が被検眼の瞬目時の特性を予め解析する工程を有するためである。ここで、解析モードの場合（Ｙｅｓ）はステップＳ１０２に、予測モードの場合（Ｎｏ）はステップＳ１０６に処理を分岐する。
【００２５】
特性取得部１２と解析部１３は被検眼の瞬目の開始情報を得るために同様の処理を行う。しかし、解析モードの場合は、予め測定されたデータを解析して被検眼の特性を得るために特性取得部１２が用いられる。予測モードの場合は、解析部１３が取得部１１で得られた情報を取得の都度、解析して検眼の瞬目が生じるタイミングを予測する点で相違する。
【００２６】
＜ステップＳ１０２＞
まず、取得部１１は解析に用いる眼底の画像を取得する。図４は取得部１１が有する画像生成手段の構成を図示したものであり、本実施例において取得部１１は走査型レーザ検眼鏡（ＳｃａｎｎｉｎｇＬａｓｅｒＯｐｈｔｈａｌｍｏｓｃｏｐｅ、以下ＳＬＯ）により構成されている。なお、本発明は眼球の位置を検出できるものであればこれに限定されるものではないが、眼球の位置変化を概ね毎秒１０フレーム以上のレートで連続的に検出可能であることが必要であり、より好ましくは毎秒数１０フレーム以上が望ましい。例えば、眼球の動きとして、前眼部の虹彩などの特徴的な領域（特徴部）を追跡してもよい。
【００２７】
図４において、４０１はレーザ光源であり半導体レーザまたはＳＬＤ光源（ＳｕｐｅｒＬｕｍｉｎｅｓｃｅｎｔＤｉｏｄｅ）で、その波長は例えば７００ｎｍ〜１０００ｎｍが好適である。レーザ光源４０１から出射された測定光Ｂは穴あきミラー４０２、リレーレンズ４０４とその前後に配置された直交する２軸方向に測定光Ｂを走査するスキャナ４０３および４０４、および接眼光学系４０６を介して被検眼Ｅに入射される。被検眼Ｅの眼底で反射した測定光Ｂは元の経路を逆に辿り、穴あきミラーを通過してリレーレンズ４０７を介して検出器４０８上で結像する。検出器４０８は、たとえばＡＰＤ（アバランシェフォトダイオード）を用いることができ、光の強度信号を電気信号として出力する。
【００２８】
一方、ＰＣはスキャナ４０３、４０５および検出器４０８の動作を制御して被検眼の眼底からの反射強度を２次元のＳＬＯ像として撮像する。図５はＳＬＯ像の例を図示したものであり、ＳＬＯ像Ｉには視神経乳頭Ｈ、および眼底血管Ｖが描出されている。
【００２９】
＜ステップＳ１０３＞
次に取得部１１はＳＬＯ像Ｉからテンプレートマッチングにより眼球の位置を検出する。図５においてテンプレートＴは、被検眼から取得したＳＬＯ像から抽出した、眼球の位置を検出するための小領域である。テンプレートＴは、探索領域Ｓ内において対象となる画像の間で類似度の高い特徴部分を抽出するためのパターンである。テンプレートＴの抽出は、装置のオペレータによって手動で抽出してもよいし、画像処理によって自動的に抽出してもよいが、眼球の位置を特定するために、血管の分岐等の特徴的な構造である特徴部を含むことが望ましい。抽出は被検眼の撮影が開始した後の最初のＳＬＯ像から行ってもよいし、一定の時間内に取得した複数のＳＬＯ像から固視微動による歪の少ない画像を選択して抽出してもよい。
【００３０】
テンプレート抽出後、被検眼に対して撮影が開始されると、取得部１１において順次取得されるＳＬＯ像に対してテンプレートマッチングが実行され、眼球の位置ＰｅがＰＣにより計算される。テンプレートマッチングは公知の手法を用いることができ、例えば非特許文献１において説明されている相互相関係数等を用いればよい。眼球の位置Ｐｅは連続して取得される各ＳＬＯ像において、図５において示される座標系上の座標値（ｘ、ｙ）として計算されて特性取得部１２に順次出力される。
【００３１】
＜ステップＳ１０４＞
特性取得部１２は入力した眼球の位置ＰｅのＸ方向（水平方向）およびＹ方向（垂直方向）の成分の時間的な変化を解析する。まず特性取得部１２は眼球の位置Ｐｅと共にＳＬＯ像を入力し、各ＳＬＯ像取得時に瞬目が発生しているかどうかを判断する。瞬目の発生時は図４における検出器４０８に反射光は戻らずＳＬＯ像の画素値の平均値は極めて低い値となるため、これを利用することができる。すなわち、ＳＬＯ像の画素値の平均が閾値未満の場合は瞬目が発生していると判断し、瞬目が発生する直前の被検眼の所定の動きを特性取得部１２は取得する。
【００３２】
閾値は実験により予め適切な値を決定して特性取得部１２が利用可能なメモリ等の記憶装置に記憶しておけばよい。
【００３３】
図６は図４に図示したＳＬＯによって実際に測定された眼球の位置変化の様子を成分毎に例示したものである。同図において横軸はフレームＮｏ（ＳＬＯ像の番号）であり、縦軸はＸ又はＹ方向の座標値である。また、破線は瞬目が発生しているフレームを表し、例えばＹ方向のグラフにおいてフレームＮｏが５４０から５６０の近傍において瞬目が発生している。瞬目が発生している間はパターンマッチングも不可能となるため、その間はパターンマッチングを行う探索領域の中心座標が仮の値として設定されている。
【００３４】
図６によれば、この被検眼では瞬目が発生する直前に眼球がＹ軸の負の方向に急激に移動する頻度が高いことが分かる。また、図７は別の被検眼の実例であり、図６の例と同様に瞬目の発生直前に眼球がＹの負の方向に急激に移動している。このような現象は本願出願人が初めて見出したものであり、本発明ではこの特徴を利用する。
【００３５】
具体的には特性取得部１２は瞬目を検出後、瞬目の直前の眼球の移動速度を計算し、その値から瞬目を予測するための予測閾値Ｔｐを特性情報として計算する。具体的には瞬目前の移動速度を取得部１１から入力した位置Ｐｅと隣接するフレーム間の時間間隔から計算し、各瞬目直前の移動速度の平均値を予測閾値Ｔｐとする。すなわち解析の期間において発生した瞬目の数をＮとした時、ｉ番目の瞬目に対する移動速度Ｖ（ｉ）およびＴｐは以下の式で求める。
【００３６】
Ｖ（ｉ）＝｛Ｐｅ（ｉ） − Ｐｅ（ｉ−１）｝／Ｔ … （１）
Ｔｐ＝ Σ（Ｖ（ｉ））／Ｎ … （２）
ただし、ｉ＝０，１，…，Ｎ−１、ＴはＳＬＯ像の取得レートから計算される、時間的に隣接するＳＬＯ像の時間間隔である。
【００３７】
さらに、図８は別の被検眼の位置変化を示しているが、先の２つの場合と異なり、Ｙ方向ではなくＸ方向で瞬目の直前に急激な移動が観察されている。したがって、特性取得部１２はＸ方向およびＹ方向の２方向を解析し、瞬目の直前でより変化の大きい方向を選択して予測閾値Ｔｐを求めている。ここで、Ｙ方向、Ｘ方向、は被検者にとっては垂直方向、水平方向に相当し、瞬目の直前の眼の動きに被検者毎の特性がでることがわかる。このため、特性取得部１２では、予め被検眼の特性情報を得ることにより瞬目の生じるタイミングを精度よく得ることができる。つまり、特性取得部１２は、被検眼に応じて垂直方向、あるいは、水平方向の動きを選択して瞬目の生じるタイミングを得ることもできる。
【００３８】
また、Ｘ方向及びＹ方向の両方の動きの大きさから被検眼の眼の動きの絶対値を求めて移動速度Ｖ（ｉ）およびＴｐを求めても良い。この場合には、被検者によらず眼の動き速度で統一的に瞬目の直前の眼の動きを扱うことができる。
【００３９】
ここでは、被検眼の所定の動きの代表値として移動速度Ｖ（ｉ）およびＴｐを用いるものである。
【００４０】
またこの際、特性取得部１２は外れ値の除去を行うことが望ましい。例えば図７においてフレームＮｏが６００の近傍で２回の瞬目が発生しているように見えるが、２回目の直前において眼球はＹの正の方向に移動している。これは瞬目発生時に眼瞼による信号の遮断がＳＬＯ像全体に渡っておらず、明るい部分と暗い部分が混在しているためにテンプレートマッチングが誤検出を起こすような場合に発生することがある。
【００４１】
このため、特性取得部１２は瞬目直前の移動方向が他と大きく異なる場合は外れ値として扱い、前述した予測閾値Ｔｐの計算には用いないようにすればよい。このようにして計算された予測閾値Ｔｐと予測に使う方向Ｄが特性情報として解析部１３に出力される。Ｄは例えばＸ方向を予測に使う場合は０、Ｙ方向を使う場合は１とすればよい。
【００４２】
なお、本実施例において解析に用いるフレームの数は、図６乃至図７に示すように８００枚程度となっているが、本発明はこれに限定されるものではない。しかし、瞬目の解析においては解析対象となるデータに複数の瞬目が含まれている必要があるため、概ね１０数秒以上に渡ってデータを取得、解析することが望ましい。
【００４３】
＜ステップＳ１０５＞
特性取得部１２から出力された予測閾値Ｔｐは解析部１３内の不図示のメモリに記憶され、処理の流れは再びＳ１０１に戻り、実際の予測動作を開始する予測モードに移行し、処理の流れはステップＳ１０６に移動する。
【００４４】
＜ステップＳ１０６＞
取得部１１はＳＬＯ像を取得する。詳細についてはステップＳ１０２と同様であるため説明は省略する。
【００４５】
＜ステップＳ１０７＞
取得部１１はＳＬＯ像に対してパターンマッチングにより眼球の位置を計算し、解析部１３に出力する。パターンマッチングの詳細はステップＳ１０３と同様であるため説明は省略する。
【００４６】
＜ステップＳ１０８＞
解析部１３は入力した眼球位置ＰｅからステップＳ１０４と同様にして眼球の移動速度を計算し、先にステップＳ１０５で記憶した所定値である予測閾値Ｔｐと比較する。ただし、解析部１３においてはＸおよびＹの２方向のいずれかを選択して解析することができる。この場合、特性取得部１２から入力した予測に用いる方向Ｄの値で規定された方向のみ解析を行う。
【００４７】
その結果、移動速度が予測閾値Ｔｐ以上であり、かつ移動の方向がステップＳ１０４において瞬目の発生直前に眼球が移動する方向と同じ場合は、後続して瞬目が発生する可能性が高いとして予測信号Ｓを外部に対して出力する。
【００４８】
なお、上述のようにＸおよびＹの２方向の動きから解析してもよい。
【００４９】
＜ステップＳ１０９＞
ＰＣは後続してＳＬＯ像を入力、予測を行う必要がある場合は再びＳ１０６に処理を移行する。例えば、本実施例の瞬目計測装置が眼科用撮影装置に連動している場合は、撮影が終了するかどうかによって、本ステップでの処理が決定される。
【００５０】
以上説明したように、本発明による瞬目計測装置は眼球の移動速度と瞬目の発生を解析して、その瞬目の発生と眼球の移動速度および方向から瞬目の発生を自動的に予測することを可能としている。なお、眼球の移動速度を事後的に分析して瞬目の発生を解析してもよいことはいうまでもない。この場合には、瞬目の開始情報を解析的に求めていることになる。
【実施例２】
【００５１】
前述した実施例１では瞬目の発生を予測する装置について説明したが、本実施例では本発明による瞬目計測装置の効果的な応用例について説明する。なお、本実施例における瞬目計測装置の基本構成は実施例１とほぼ同じであるため、重複する部分については説明を省略し、異なる部分について詳細に説明する。
【００５２】
図９は本実施例における瞬目計測装置の構成を図示したものである。本実施形態において各部の基本的な動作は実施例１と同様であるが、特性取得部１２は瞬目の直前の眼球の移動速度に加えて瞬目後の眼球の位置を推測するパラメータを出力する。以下に本実施例における特性取得部１２の動作について図６を参照して説明する。
【００５３】
特性取得部１２は眼球の位置Ｐｅと共にＳＬＯ像を入力し、各ＳＬＯ像取得時に瞬目が発生しているかどうかを実施例１で説明した方法により判断する。次に特性取得部１２は瞬目発生直前の眼球の移動速度と瞬目後の眼球の位置を抽出する。例えば、図６および図７のＹ方向の眼球位置に関して、瞬目発生後の眼球位置は瞬目発生直前の位置に対して正の方向に大きく変化し、かつ一定の時間そこに留まる傾向があることが分かる。そこで特性取得部１２は各瞬目発生後の眼球位置の平均値Ｐを瞬目発生後の眼球の推定位置とする。
【００５４】
すなわち、図１０に示すようにｉ番目の瞬目発生後の眼球位置をｐｉとした場合、推定位置Ｐは解析時に発生した瞬目の数をＮとした場合、
Ｐ＝ Σｐ（ｉ）／Ｎ … （３）
で計算され、実施例１と同様に予測閾値Ｔｐと併せて予測値Ｐが解析部１３に出力される。
【００５５】
次にモードが予測モードに切り替えられると、解析部１３は眼球位置Ｐｅから瞬目を予測し、瞬目発生が予測された際は予測信号Ｓと共に予測位置Ｐを眼球位置取得部１に出力する。図１１に示すように眼球位置取得部１は眼球位置検出のテンプレートマッチングにおいて、テンプレートにマッチングする位置を探索する領域をＹ方向にＰだけ移動させ、瞬目後のマッチングはこの修正された探索領域Ｓ２に対して行われるようにする。
【００５６】
なお、図11においてはＹ方向のみテンプレートマッチングの探索領域を移動させているが、実施例1において説明したようにＸＹ両方の動きを用いる場合は、２方向に対して探索領域を移動させてもよい。
【００５７】
このように、瞬目後の位置を予測してそれを次回のテンプレートマッチングの探索位置に反映させることで、瞬目によって眼球の位置が大きくずれることがあってもパターンマッチングの対象が探索領域を外れことを防止し、より安定した眼球運動に対する追尾を行うことができるようになる。
【００５８】
［その他の実施例］
前述した各実施例において、瞬目を予測するためのパラメータである予測閾値Ｔｐ又は予測位置Ｐをその都度求めていたが、一度予測のための解析を行った被検眼に対しては、これらのパラメータを記憶しておくことで、再利用することも可能である。
【００５９】
例えば図１２に示すように図１の構成に対してさらに記憶部４を追加し、特性取得部１２の出力が解析部１３および記憶部１４に出力され、記憶部１４において記憶するように構成する。この際、不図示の入力部から被検眼を特定できる一意の番号を入力して予測閾値Ｔｐと共に記憶しておく。
【００６０】
次に同一被検眼に対する予測を行う際は、ＰＣが既に記憶部４に同一の番号を有する被検眼の情報があるかどうかを検索し、ある場合は解析部１３が記憶部１４から予測値閾値Ｔｐを入力し、ない場合は図３に示した手順によって予測に必要なパラメータを決定するようにすればよい。
【００６１】
以上説明したように本発明によれば、瞬目を事前に予測することが可能となり、眼に対する撮影装置等においてより効率的な撮影を行うことができるようになる。
【符号の説明】
【００６２】
１１取得部
１２特性取得部
１３解析部
１４記憶部

【特許請求の範囲】
【請求項１】
被検眼の動きの情報を取得する取得手段と、
前記動きの情報に基づいて前記被検眼の瞬目の開始情報を得る解析手段と、
を有することを特徴とする瞬目計測装置。
【請求項２】
前記解析手段は、前記被検眼が所定の動きをした場合に前記被検眼の瞬目が開始すると解析することを特徴とする請求項１に記載の瞬目計測装置。
【請求項３】
前記解析手段は、
瞬目の直前の眼球の移動速度が所定値を超えた場合に前記被検眼の瞬目が開始すると解析することを特徴とする請求項１又は２に記載の瞬目計測装置。
【請求項４】
前記解析手段は、
被検眼に応じて垂直方向、水平方向のいずれかの動きを選択して瞬目の生じるタイミングを得ることを特徴とする請求項１乃至３のいずれか一項に記載の瞬目計測装置。
【請求項５】
前記取得手段は走査型レーザ検眼鏡を有し、前記走査型レーザ検眼鏡で撮像された前記被検眼の眼底の特徴部の動きを被検眼の動きの情報として取得することを特徴とする請求項１乃至４のいずれか一項に記載の瞬目計測装置。
【請求項６】
前記解析手段は、
瞬目発生後の眼球位置を推定することを特徴とする請求項１乃至５のいずれか一項に記載の瞬目計測装置。
【請求項７】
前記解析手段は、瞬目の生じるタイミングを予測することを特徴とする請求項１乃至６のいずれか一項に記載の瞬目計測装置。
【請求項８】
前記被検眼の特性情報を取得する特性取得手段と、前記特性情報を記憶する記憶手段を更に備え、
前記解析手段は前記記憶手段に記憶される特性情報に基づいて前記被検眼の瞬目の開始情報を得ることを特徴とする請求項１乃至７のいずれか一項に記載の瞬目計測装置。
【請求項９】
前記取得手段は、被検眼の動きの情報として
被検眼の固視微動を取得することを特徴とする請求項１乃至８のいずれか一項に記載の瞬目計測装置。
【請求項１０】
被検眼の動きの情報を取得する取得工程と、
前記動きの情報に基づいて前記被検眼の瞬目の開始情報を得る解析工程と、
を有することを特徴とする瞬目計測方法。
【請求項１１】
請求項１０に記載の瞬目計測方法をコンピュータに実行させるためのプログラム。

【図１】