眼・瞼状態検出装置、入力装置
【課題】眼球の位置や瞬きの状態等を正確に検出する。
【解決手段】使用者の眼の周辺に装着されるフレーム部と、前記フレーム部に設置され、前記フレーム部で囲まれた領域に対して、一定の勾配を有した光強度分布を有する光を照射する発光部と、前記フレーム部に設置され、前記発光部によって照射された前記光に対して前記眼あるいは瞼による反射光を受光する受光部と、前記反射光の受光量に基づいて、前記眼あるいは前記瞼の状態を検出する検出部と、を備えた。
【解決手段】使用者の眼の周辺に装着されるフレーム部と、前記フレーム部に設置され、前記フレーム部で囲まれた領域に対して、一定の勾配を有した光強度分布を有する光を照射する発光部と、前記フレーム部に設置され、前記発光部によって照射された前記光に対して前記眼あるいは瞼による反射光を受光する受光部と、前記反射光の受光量に基づいて、前記眼あるいは前記瞼の状態を検出する検出部と、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼・瞼状態検出装置、入力装置に関する。
【背景技術】
【０００２】
人間（操作者）の眼の動きや視線の動きの検出結果に基づいて、符号等を入力する入力装置としては、ディスプレイと、ディスプレイの所定領域に対する操作者の眼の位置および動きを検出するカメラと、カメラによって検出された操作者の眼の位置等のデータに基づいて、入力すべき符号を特定する制御部等を備えたものが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２１２２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の装置では、操作者が、ディスプレイに表示された符号等を見るため、すなわち、ディスプレイの方向における視界を遮らないように、眼の位置からある程度離れた位置にカメラを配置する必要がある。このため、外光の影響を受けてしまい、正確に眼の位置や眼の動き等を検出することができない、という課題があった。
【課題を解決するための手段】
【０００５】
本発明は、上記課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］本適用例にかかる眼・瞼状態検出装置は、使用者の眼の周辺に装着されるフレーム部と、前記フレーム部に設置され、前記フレーム部で囲まれた領域に対して、一定の勾配を有した光強度分布を有する光を照射する発光部と、前記フレーム部に設置され、前記発光部によって照射された前記光に対して前記眼あるいは瞼による反射光を受光する受光部と、前記反射光の受光量に基づいて、前記眼あるいは前記瞼の状態を検出する検出部と、を備えたことを特徴とする。
【０００７】
この構成によれば、フレーム部に設置された発光部から照射された光が眼或いは瞼に反射する。反射された光は受光部によって受光される。そして、受光した光量に基づき、眼あるいは瞼の状態を検出することができる。従って、眼あるいは瞼の近傍で光の照射および受光を行うため、外光等のノイズの影響が低減され、正確に眼や瞼の状態を検出することができる。なお、検出部において、眼の状態の検出とは、眼球の位置の検出が含まれる。すなわち、視線の検出が含まれる。発光部から照射された光は、一定の勾配を有した光強度分布をするため、例えば、複数の位置における受光量の比率に基づいてそれらの減衰係数の比率を求め、この減衰係数の比率から両位置検出光の伝播距離を求めることにより、眼の位置を容易に求めることができる。また、瞼の状態の検出とは、瞼の開閉状態が含まれる。そして、例えば、眼から反射された受光量および光強度分布に基づいて、容易に瞼の開閉状態を検出することができる。
【０００８】
［適用例２］上記適用例にかかる眼・瞼状態検出装置の前記発光部では、一方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、他方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、を有する前記光を照射することを特徴とする。
【０００９】
この構成によれば、ある位置において反射された光の受光量が安定するため、より正確に、眼球の位置あるいは瞼の開閉状態等を検出することができる。
【００１０】
［適用例３］上記適用例にかかる眼・瞼状態検出装置の前記発光部が、前記フレーム部の周囲の距離を４等分したそれぞれの位置に設置され、各前記発光部は、前記フレーム部で囲まれた前記領域の中心部に向けて前記光を照射することを特徴とする。
【００１１】
この構成によれば、均等に配置された発光部から発光された光を、複数方向からの受光するため、外光等の影響を低減させることができる。これにより、より正確な眼や瞼の状態を検出することができる。
【００１２】
［適用例４］上記適用例にかかる眼・瞼状態検出装置の前記フレーム部が、前記光の照射によって一定の勾配を有する前記光強度分布が形成されるパターン膜を含むパターン部材を固定し、前記発光部では、前記パターン膜を介して、前記使用者の眼側を含む前記領域を照射することを特徴とする。
【００１３】
この構成によれば、パターン膜を介して光を照射させることにより、容易に勾配を有する光強度分布を形成することができ、正確に眼や瞼の状態を検出することができる。
【００１４】
［適用例５］上記適用例にかかる眼・瞼状態検出装置では、前記受光部の近傍に、参照光を照射する参照光発光部が設置され、前記受光部では、前記参照光を受光し、前記検出部では、前記発光部と前記参照光発光部のそれぞれから受光した光を比較しながら、前記眼あるいは前記瞼の状態を検出することを特徴とする。
【００１５】
この構成によれば、検出部において参照光を参照することにより、外光の影響を取り除くことができる。これにより、正確に眼や瞼の状態を検出することができる。
【００１６】
［適用例６］本適用例にかかる入力装置は、上記の眼・瞼状態検出装置を搭載したことを特徴とする。
【００１７】
この構成によれば、眼・瞼状態検出装置において検出された眼や瞼の状態に基づいて、例えば、ポインターの移動等を容易に制御することができる。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態にかかる眼・瞼状態検出装置の構成を示す概略図。
【図２】眼・瞼状態検出方法を示すフローチャート。
【図３】入力装置の構成を示す説明図。
【図４】第２実施形態にかかる眼・瞼状態検出装置の構成を示す説明図。
【発明を実施するための形態】
【００１９】
以下、本発明を具体化した第１及び第２実施形態について図面に従って説明する。なお、各図面における各部材は、各図面上で認識可能な程度の大きさとするため、各部材ごとに縮尺を異ならせて図示している。
【００２０】
［第１実施形態］
（眼・瞼状態検出装置の構成）
まず、眼・瞼状態検出装置の構成について説明する。図１は、第１実施形態にかかる眼・瞼状態検出装置の構成を示す概略図である。眼・瞼状態検出装置１は、眼の状態、例えば、眼球の位置の検出や、瞼の状態、例えば、瞼の開閉状態の検出を行う装置である。
【００２１】
図１に示すように、眼・瞼状態検出装置１は、使用者の眼の周辺に装着されるフレーム部２と、フレーム部２に設置され、フレーム部２で囲まれた領域Ｒに対して、一定の勾配を有した光強度分布を有する光を照射する発光部１２（１２ａ〜１２ｄ）と、フレーム部２に設置され、発光部１２によって照射された光に対して眼あるいは瞼による反射光を受光する受光部１５と、反射光の受光量に基づいて、眼あるいは瞼の状態を検出する検出部４５を備えている。
【００２２】
フレーム部２は、使用者の眼の周辺に装着可能なものである。本実施形態のフレーム部２は、例えば、図１（ａ）に示すように、眼鏡用フレームの一部として適用している。そして、使用者が眼鏡用フレームを掛ける（装着する）ことにより、使用者の眼の周辺がフレーム部２によって覆われ、眼・瞼状態の検出が可能となる。
【００２３】
フレーム部２は、検出領域Ｒの一部を囲う形状を有している。本実施形態では、図１（ｂ）に示すように、略矩形の枠形状を有している。枠形状によって囲まれた領域は、眼や瞼等の状態の検出が行われる検出領域Ｒの一部となる。
【００２４】
発光部１２は、フレーム部２の周囲の距離を４等分したそれぞれの位置に設置され、各発光部１２は、フレーム部２で囲まれた領域Ｒの中心部に向けて光を照射する。本実施形態では、第１〜第４発光部１２ａ〜１２ｄを備えている。そして、フレーム部２の角部のそれぞれに配置されている。そして、第１〜第４発光部１２ａ〜１２ｄのそれぞれの発光口が、検出領域Ｒの中央部に向かって配置されている。本実施形態では、第１発光部１２ａと第２発光部１２ｂとが互いに対向して配置され、第３発光部１２ｃと第４発光部１２ｄとが互いに対向して配置されている。
【００２５】
第１〜第４発光部１２ａ〜１２ｄは、例えば、ＬＥＤ（発光ダイオード）などの発光素子で構成され、駆動回路（図示せず）から出力される駆動信号に応じて、第１〜第４発光部１２ａ〜１２ｄのそれぞれから赤外光からなる光（検出光）Ｌ１２ａ〜Ｌ１２ｄが発散光として放出される。検出光Ｌ１２ａ〜Ｌ１２ｄの種類は、特に限定されないが、可視光とは波長分布が異なるか、点滅などの変調が加えられることで発光態様が異なればよい。また、検出光Ｌ１２ａ〜Ｌ１２ｄは、眼（白目部分）や瞼（人体の皮膚の一部）等に対して効率的に反射される波長域を有することが好ましい。従って、対象物体が人体であれば、人体の表面で反射率の高い赤外線（特に可視光領域に近い近赤外線、例えば波長で８５０ｎｍ付近）、あるいは９５０ｎｍであることが望ましい。
【００２６】
受光部１５は、第１〜第４発光部１２ａ〜１２ｄから発光された検出光Ｌ１２ａ〜Ｌ１２ｄを受光するものであり、例えば、フォトダイオードやフォトトランジスターである。受光部１５は、フレーム部２に設置されている。本実施形態では、フレーム部２の第２発光部１２ｂと第４発光部１２ｄの中間にあたる箇所に配置されている。そして、検出領域Ｒに向けて受光口が配置される。
【００２７】
受光部１５の近傍には、参照光を照射する参照光発光部１６が設置されている。参照光発光部１６は、例えば、ＬＥＤ（発光ダイオード）などの発光素子で構成されている。参照光発光部１６では、受光部１５に向けて参照光を常時照射する。ここで、参照光とは、検出に用いられる基準の照射量を発光する光である。そして、受光部１５で受光した後、検出部４５において、発光部１２と参照光発光部１６のそれぞれから受光した光を比較しながら、眼あるいは瞼の状態を検出する。そのため、検出の際に、外光等の外部の光に伴う、検査誤差を低減するため、外光による照射量（ノイズ）をキャンセルすることができる。これにより、検出精度を向上させることができる。
【００２８】
検出領域Ｒは、検出光Ｌ１２ａ〜Ｌ１２ｄが照射される立体的な領域であり、使用者の眼や瞼による反射光が生じ得る領域である。そして、各検出光Ｌ１２ａ〜Ｌ１２ｄは、一定の勾配を有した光強度分布を有する光である。具体的には、図１（ｃ）に実線で示すように、第１発光部１２ａからの照射距離に伴って直線的に減衰する強度分布を有する。また、検出領域Ｒに出射される検出光Ｌ１２ｂの光量は、図１（ｃ）に点線で示すように、第２発光部１２ｂからの距離に伴って直線的に減衰する強度分布を有する。なお、第３及び第４発光部１２ｃ，１２ｄから照射される検出光Ｌ１２ｃ，１２ｄも同様である。
【００２９】
次に、眼球の位置を検出する基本原理について説明する。本実施形態では、上記受光部１５における検出光の受光量に基づいて、眼球の位置、すなわち、眼球のＸＹ座標の取得方法について説明する。この位置情報の取得方法は種々のものが考えられるが、例えば、二つの位置検出光の検出光量の比率に基づいてそれらの減衰係数の比率を求め、この減衰係数の比率から両位置検出光の伝播距離を求めることにより、対応する二つの光源を結ぶ方向の位置座標を求める方法などが挙げられる。また、二つの位置検出光の検出光量の差を求め、この差の絶対値から、対応する二つの光源を結ぶ方向の位置座標を求める方法が挙げられる。これらいずれの方法においても、受光部１５からの出力値をそのまま演算に用いる方法、受光部１５を介してキャパシタに蓄電あるいは放電させてキャパシタの端子間電圧が所定の電圧になるまでの時間を演算に用いる方法などを挙げることができる。いずれの場合も、以下に説明する性質を利用したものである。
【００３０】
まず、第１〜第４発光部１２ａ〜１２ｄから検出光Ｌ１２ａ〜Ｌ１２ｄが照射されると、検出領域Ｒにおいて、各検出光Ｌ１２ａ〜Ｌ１２ｄは、図１（ｃ）に示すように、各第１〜第４発光部１２ａ〜１２ｄからの距離に伴って直線的に減衰する光強度分布が形成される。
【００３１】
ここで、第１発光部１２ａの制御量（例えば電流量）、変換係数、および放出光量をＩａ、ｋ、およびＥａとし、第２発光部１２ｂの制御量（電流量）、変換係数、および放出光量をＩｂ、ｋ、およびＥｂとすれば、
Ｅａ＝ｋ・Ｉａ
Ｅｂ＝ｋ・Ｉｂ
となる。また、検出光Ｌ１２ａの減衰係数、および検出光量をｆａ、およびＧａとし、検出光Ｌ１２ｂの減衰係数、および検出光量をｆｂ、およびＧｂとすれば、
Ｇａ＝ｆａ・Ｅａ＝ｆａ・ｋ・Ｉａ
Ｇｂ＝ｆｂ・Ｅｂ＝ｆｂ・ｋ・Ｉｂ
となる。
【００３２】
従って、受光部１５において両検出光の検出光量の比であるＧａ／Ｇｂが検出できるとすれば、
Ｇａ／Ｇｂ＝（ｆａ・Ｅａ）／（ｆｂ・Ｅｂ）＝（ｆａ／ｆｂ）・（Ｉａ／Ｉｂ）
となるため、放出光量の比Ｅａ／Ｅｂ、および制御量の比Ｉａ／Ｉｂに相当する値が分かれば、減衰係数の比ｆａ／ｆｂが分る。この減衰係数の比と両検出光の伝播距離の比との間に直線関係があれば、この直線関係を予め設定しておくことで、眼球の位置情報を得ることができる。
【００３３】
上記減衰係数の比ｆａ／ｆｂを求める方法としては、例えば、第１発光部１２ａと第２発光部１２ｂを逆相で点滅（例えば、矩形波状若しくは正弦波状の駆動信号を伝播距離の差に起因する位相差が無視できる周波数で相互に１８０度の位相差を持つように動作）させた上で、検出光量の波形を解析する。より現実的には、例えば、一方の制御量Ｉａを固定し（Ｉａ＝Ｉｍ）、検出波形が観測できなくなるように、すなわち、検出光量の比Ｇａ／Ｇｂが１となるように他方の制御量Ｉｂを制御し、このときの制御量Ｉｂ＝Ｉｍ・（ｆａ／ｆｂ）から上記減衰係数の比ｆａ／ｆｂを導出する。
【００３４】
また、両制御量の和が常に一定、すなわち、下式
Ｉｍ＝Ｉａ＋Ｉｂ
を満たすように制御してもよい。この場合には、下式
Ｉｂ＝Ｉｍ・ｆｂ／（ｆａ＋ｆｂ）
となるので、
ｆｂ／（ｆａ＋ｆｂ）＝α
とすると、下式
ｆａ／ｆｂ＝（１−α）／α
により、減衰係数の比が求まる。
【００３５】
従って、眼球の矢印Ａ方向の位置情報は、第１発光部Ｌ１２ａと第２発光部Ｌ１２ｂを相互に逆相で駆動することで取得することができる。また、眼球の矢印Ｂ方向の位置情報は、第３発光部１２ｃと第４発光部１２ｄを相互に逆相で駆動することで取得することができる。それ故、制御系において上記Ａ方向とＢ方向の検出動作を順次行って眼球のＸＹ平面上の位置座標を取得できる。
【００３６】
上記のように、受光部１５により検出される検出光１２ａ〜１２ｄの光量比に基づいて眼球の検出領域Ｒ内の平面位置情報を取得するにあたって、例えば、信号処理部としてマイクロプロセッサーユニット（ＭＰＵ）を用い、これにより所定のソフトウェア（動作プログラム）を実行することに従って処理を行う構成を採用することができる。また、論理回路などのハードウェアを用いた信号処理部で処理を行う構成を採用することもできる。
【００３７】
また、瞼の状態の検出方法として、例えば、瞼の開閉状態を検出する方法としては、眼球から反射された光の光量、すなわち、瞼が開いている状態における光量と、瞼（人体の皮膚の一部）から反射された光の光量、すなわち、瞼が閉じられている状態における光量と、を比較することにより、瞼の開閉状態を検出することができる。
【００３８】
（眼・瞼状態検出方法）
次に、本実施形態における眼・瞼状態検出方法について説明する。本実施形態では、眼の状態の検出として眼球の位置の検出方法について説明する。図２は、眼球位置検出方法を示すフローチャートである。
【００３９】
まず、眼球のＸ座標位置を検出するため、ステップＳ１１では、第１及び第４発光部１２ａ，１２ｄを駆動させ、検出光Ｌ１２ａ，Ｌ１２ｄを照射する。この際、第２及び第３発光部１２ｂ，１２ｃは停止させておく。従って、Ｘ軸方向の一方方向において光強度が高くなる光強度分布が形成される。
【００４０】
ステップＳ１２では、受光部１５を駆動させ、検出光Ｌ１２ａ，Ｌ１２ｄに対して眼から反射した光を受光させる。
【００４１】
ステップＳ１３では、第２及び第３発光部１２ｂ，１２ｃを駆動させ、検出光Ｌ１２ｂ，Ｌ１２ｃを照射する。この際、第１及び第４発光部１２ａ，１２ｄは停止させておく。従って、Ｘ軸方向の他方方向において光強度が高くなる光強度分布が形成される。
【００４２】
ステップＳ１４では、受光部１５を駆動させ、検出光Ｌ１２ｂ，Ｌ１２ｃに対して眼から反射した光を受光させる。
【００４３】
ステップＳ１５では、ステップＳ１２及びステップＳ１４において受光した受光量をそれぞれ演算し、各受光量を比較演算することにより、眼球のＸ座標を算出することができる。
【００４４】
次に、眼球のＹ座標位置を検出するため、ステップＳ１６では、第１及び第３発光部１２ａ，１２ｃを駆動させ、検出光Ｌ１２ａ，Ｌ１２ｃを照射する。この際、第２及び第４発光部１２ｂ，１２ｄは停止させておく。従って、Ｙ軸方向の一方方向において光強度が高くなる光強度分布が形成される。
【００４５】
ステップＳ１７では、受光部１５を駆動させ、検出光Ｌ１２ａ，Ｌ１２ｃに対して眼から反射した光を受光させる。
【００４６】
ステップＳ１８では、第２及び第４発光部１２ｂ，１２ｄを駆動させ、検出光Ｌ１２ｂ，Ｌ１２ｄを照射する。この際、第１及び第３発光部１２ａ，１２ｃは停止させておく。従って、Ｙ軸方向の他方方向において光強度が高くなる光強度分布が形成される。
【００４７】
ステップＳ１９では、受光部１５を駆動させ、検出光Ｌ１２ｂ，Ｌ１２ｄに対して眼から反射した光を受光させる。
【００４８】
ステップＳ１９では、ステップＳ１７及びステップＳ１９において受光した受光量をそれぞれ演算し、各受光量を比較演算することにより、眼球のＹ座標を算出することができる。このようにして、眼球のＸＹ座標が検出される。これにより、使用者の眼球の位置が検出されるとともに、使用者の視線を検出することができる。
【００４９】
次に、瞼の状態の検出方法について説明する。本実施形態では、瞼の状態の検出として、瞼の開閉状態の検出方法について説明する。まず、基準となる受光量を算出する。そこで、第１〜第４発光部１２ａ〜１２ｄのうち、例えば、第１及び第４発光部１２ａ，１２ｄを駆動させ、検出光Ｌ１２ａ，１２ｄを照射させる。そして、瞼を開けた状態における眼球で反射された反射光を受光部１５で受光する。これにより、瞼を開けた状態における基準の受光量が算出される。また、瞼を閉じた状態における瞼で反射された反射光を受光部１５で受光する。これにより、瞼を閉じた状態における基準の受光量が算出される。そして、瞼の開閉状態を検出する場合には、基準となる受光量を検出した条件、すなわち、上記の例では、第１及び第４発光部１２ａ，１２ｄを駆動させた状態で反射光を受光する。そして、検出した受光量と基準の受光量とを比較演算することにより、瞼の開閉状態を検出することができる。
【００５０】
なお、上記の眼・瞼の状態検出に際しては、眼・瞼状態検出の前に、眼・瞼状態検出装置１のキャリブレーションを行うことが好ましい。例えば、眼・瞼状態検出装置１を使用する使用者が異なった場合には、眼の位置や大きさや皮膚の色合い等が使用者毎に異なるため、正確に眼・瞼状態検出を行うことができないおそれが生じるためである。そこで、眼・瞼状態検出装置１を用いて検出する前にキャリブレーションを行う。
【００５１】
キャリブレーションでは、眼・瞼状態検出装置１を使用する使用者の基本情報を取得する。本実施形態では、基本情報として、瞼を開閉した各状態の受光量と、眼球が移動する移動範囲における眼球の座標と、を取得する。まず、瞼を開閉した各状態の受光量の取得については、所定の検出光Ｌ１２を照射させた状態で、瞼を開けた状態において眼から反射した光を受光し、受光量を検出する。次に、眼を閉じた状態において瞼（使用者の皮膚の一部）から反射した光を受光し、受光量を検出する。そして、これらの受光量は、メモリー等の記憶部に、使用者毎に格納される。格納された受光量は、瞼の状態検出の際に、基準の比較データとして用いられる。
【００５２】
次に、眼球が移動する移動範囲における眼球の座標の取得については、例えば、眼球を右側から左側に移動させながら、また、眼球を上側から下側に移動させながら、または、眼球を回しながら、所定の位置、或いは期間において眼球のＸＹ座標を検出する。検出方法は、例えば、図２に示す眼球の位置を検出する方法に沿って行う。このようにして、使用者毎に基本の眼球座標が取得される。
【００５３】
（入力装置の構成）
次に、入力装置の構成について説明する。図３は、入力装置の構成を示す概略図である。入力装置は、眼や瞼の状態を検出する眼・瞼状態検出装置１と、眼・瞼状態検出装置１によって検出された検出情報に基づいて入力制御情報として出力する制御部２０と、制御部２０によって出力された入力制御情報に基づいて、画像を表示する表示部３０と、を備えている。このように構成された入力装置１００では、眼や瞼の状態を入力パラメーターとして画像の入力等に利用することができる。
【００５４】
まず、眼の状態検出に基づく、入力処理方法について説明する。なお、本実施形態では、眼球の位置（視線）検出に基づく、表示部３０上のポインター（位置指示画像）Ｐを移動させる方法について説明する。眼・瞼状態検出装置１によって眼球のＸＹ座標が取得される。ＸＹ座標の取得方法については、図２に示す方法と同様なので説明を省略する。そして、取得された検出情報としてのＸＹ座標情報が、制御部２０に供給される。制御部２０では、眼球の位置を表すＸＹ座標情報をポインターＰに該当する座標情報に連動させた入力制御情報を生成するとともに、入力制御情報を表示部３０に出力する。表示部３０では、入力制御情報に基づいて、ポインターＰを表示する。従って、例えば、図３（ｂ）に示すように、使用者の眼球の移動に連動させて、表示部３０上のポインターＰの位置を位置Ｓ１から位置Ｓ２へと移動させることができる。
【００５５】
次に、瞼の状態検出に基づく、入力処理方法について説明する。なお、本実施形態では、瞼の開閉状態の検出に基づく、表示部３０上の画像の切り替え方法について説明する。眼・瞼状態検出装置１によって瞼の開閉状態を検出する。瞼の開閉状態の検出方法は、先述の検出方法と同様なので説明を省略する。そして、取得された瞼の開閉情報が、制御部２０に供給される。制御部２０では、時間測定部を備え、瞼が閉じている時間を計測することができる。そして、予め、瞼が閉じられた時間や単位時間当たりの瞬きの回数に対応した所定の画像の移動方法が関連付けられている。そして、瞼の開閉情報に基づいて、所定の画像の移動に関する入力制御情報を生成するとともに、入力制御情報を表示部３０に出力する。表示部３０では、入力制御情報に基づいて、画像を表示する。従って、例えば、図３（ｃ）に示すように、使用者の瞼の開閉状態に連動させて、例えば、瞬き２回で画像Ａから画像Ｂに切り替え、瞬き３回で画像Ｂから画像Ａに切り替えることができる。また、瞼を所定時間以上閉じた状態にすることにより、画像の表示を停止（画像Ｃ）にしたり、表示部３０の駆動を停止させることができる。本実施形態では、片目に眼・瞼状態検出装置１を装着した例を説明したが、これに限定されず、右眼及び左眼のそれぞれに眼・瞼状態検出装置１を装着してもよい。このようにすれば、さらに、複雑な制御割り当てが可能となる。
【００５６】
なお、上記では、眼の状態と瞼の状態とを別個に検出したが、眼と瞼の状態を同時期に検出してもよい。この場合、例えば、眼球の移動によってポインターの移動や画像の切り替えを選択し、瞼の開閉状態によって実行することができる。このようにすれば、さらに、容易に入力装置を操作することができる。
【００５７】
なお、本実施形態では、眼・瞼状態検出装置１を入力装置１００に適用したが、これに限定されない。上記に示した入力装置１００の他にも、ＨＭＤ（ヘッド・マウント・デバイス）、ビューファインダー、双眼鏡、顕微鏡、望遠鏡等の機器に適用することができる。また、瞼の開閉状態を検出することにより、自動車運転等の眠気感知装置等に適用することができる。
【００５８】
従って、上記第１実施形態によれば、以下に示す効果がある。
【００５９】
（１）使用者の眼の近傍で一定の勾配を有する光強度分布が形成されるとともに、眼球等の反射を検出することができる。このため、外光等のノイズの影響が低減され、正確に眼球の位置や瞼の開閉状態等を検出することができる。
【００６０】
（２）眼・瞼状態検出装置１において検出された情報に基づいて、簡単かつ容易に入力装置を操作することができる。
【００６１】
［第２実施形態］
（眼・瞼状態検出装置の構成）
次に、第２実施形態について説明する。図４は、第２実施形態にかかる眼・瞼状態検出装置の構成を示す概略図である。図４に示すように、眼・瞼状態検出装置１’は、使用者の眼の周辺に装着されるフレーム部２と、フレーム部２に設置され、フレーム部２で囲まれた領域Ｒに対して、一定の勾配を有する光強度分布が形成された光を照射する発光部１２と、フレーム部２に設置され、眼あるいは瞼で反射した光を受光する受光部１５と、受光量に基づいて、眼あるいは瞼の状態を検出する検出部（図示せず）を備えている。さらに、フレーム部２には、光の照射によって一定の勾配を有する光強度分布が形成されるパターン膜１８’を含むパターン部材１８が固定され、発光部１２では、パターン膜１８’を介して、使用者の眼側を含む領域を照射する。なお、パターン膜１８ａを含むパターン部材１８以外の構成については、第１実施形態の内容と同様なので説明を省略し、パターン部材１８に関して説明する。
【００６２】
パターン部材１８は、フレーム部２によって囲われた部分に固定されている。パターン部材１８は、透明性を有し、例えば、ガラス、プラスチック、アクリル等を用いることができる。パターン部材１８にはパターン膜１８ａが形成されている。パターン膜１８ａには、所定のパターンが形成されており、発光部１２から出射された検出光Ｌ１２がパターン膜１８ａを介して検出領域Ｒを照射することにより、検出領域Ｒには、図１（ｃ）に示したような、一定の勾配を有する光強度分布が形成される。
【００６３】
なお、眼球の位置や瞼の開閉状態の検出方法やキャリブレーションの方法は、第１実施形態の内容と同じなので説明を省略する。また、入力装置等についても第１実施形態の内容と同じように、本実施形態にかかる眼・瞼状態検出装置１’を適用することができる。
【００６４】
従って、上記第２実施形態によれば、第１実施形態における効果に加え、以下に示す効果がある。
【００６５】
フレーム部２にパターン膜１８ａを有するパターン部材１８が設置され、発光部１２から出射された検出光Ｌ１２が、パターン膜１８ａを介して検出領域Ｒに照射される。これにより、光強度分布を正確に形成することができ、眼球位置等を正確に検出することができる。
【符号の説明】
【００６６】
１…眼・瞼状態検出装置、２…フレーム部、１２，１２ａ〜１２ｄ…発光部、第１〜第４発光部、１５…受光部、１６…参照光発光部、１８…パターン部材、１８’…パターン膜、２０…制御部、３０…表示部、４５…検出部、１００…入力装置。
【技術分野】
【０００１】
本発明は、眼・瞼状態検出装置、入力装置に関する。
【背景技術】
【０００２】
人間（操作者）の眼の動きや視線の動きの検出結果に基づいて、符号等を入力する入力装置としては、ディスプレイと、ディスプレイの所定領域に対する操作者の眼の位置および動きを検出するカメラと、カメラによって検出された操作者の眼の位置等のデータに基づいて、入力すべき符号を特定する制御部等を備えたものが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２１２２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の装置では、操作者が、ディスプレイに表示された符号等を見るため、すなわち、ディスプレイの方向における視界を遮らないように、眼の位置からある程度離れた位置にカメラを配置する必要がある。このため、外光の影響を受けてしまい、正確に眼の位置や眼の動き等を検出することができない、という課題があった。
【課題を解決するための手段】
【０００５】
本発明は、上記課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］本適用例にかかる眼・瞼状態検出装置は、使用者の眼の周辺に装着されるフレーム部と、前記フレーム部に設置され、前記フレーム部で囲まれた領域に対して、一定の勾配を有した光強度分布を有する光を照射する発光部と、前記フレーム部に設置され、前記発光部によって照射された前記光に対して前記眼あるいは瞼による反射光を受光する受光部と、前記反射光の受光量に基づいて、前記眼あるいは前記瞼の状態を検出する検出部と、を備えたことを特徴とする。
【０００７】
この構成によれば、フレーム部に設置された発光部から照射された光が眼或いは瞼に反射する。反射された光は受光部によって受光される。そして、受光した光量に基づき、眼あるいは瞼の状態を検出することができる。従って、眼あるいは瞼の近傍で光の照射および受光を行うため、外光等のノイズの影響が低減され、正確に眼や瞼の状態を検出することができる。なお、検出部において、眼の状態の検出とは、眼球の位置の検出が含まれる。すなわち、視線の検出が含まれる。発光部から照射された光は、一定の勾配を有した光強度分布をするため、例えば、複数の位置における受光量の比率に基づいてそれらの減衰係数の比率を求め、この減衰係数の比率から両位置検出光の伝播距離を求めることにより、眼の位置を容易に求めることができる。また、瞼の状態の検出とは、瞼の開閉状態が含まれる。そして、例えば、眼から反射された受光量および光強度分布に基づいて、容易に瞼の開閉状態を検出することができる。
【０００８】
［適用例２］上記適用例にかかる眼・瞼状態検出装置の前記発光部では、一方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、他方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、を有する前記光を照射することを特徴とする。
【０００９】
この構成によれば、ある位置において反射された光の受光量が安定するため、より正確に、眼球の位置あるいは瞼の開閉状態等を検出することができる。
【００１０】
［適用例３］上記適用例にかかる眼・瞼状態検出装置の前記発光部が、前記フレーム部の周囲の距離を４等分したそれぞれの位置に設置され、各前記発光部は、前記フレーム部で囲まれた前記領域の中心部に向けて前記光を照射することを特徴とする。
【００１１】
この構成によれば、均等に配置された発光部から発光された光を、複数方向からの受光するため、外光等の影響を低減させることができる。これにより、より正確な眼や瞼の状態を検出することができる。
【００１２】
［適用例４］上記適用例にかかる眼・瞼状態検出装置の前記フレーム部が、前記光の照射によって一定の勾配を有する前記光強度分布が形成されるパターン膜を含むパターン部材を固定し、前記発光部では、前記パターン膜を介して、前記使用者の眼側を含む前記領域を照射することを特徴とする。
【００１３】
この構成によれば、パターン膜を介して光を照射させることにより、容易に勾配を有する光強度分布を形成することができ、正確に眼や瞼の状態を検出することができる。
【００１４】
［適用例５］上記適用例にかかる眼・瞼状態検出装置では、前記受光部の近傍に、参照光を照射する参照光発光部が設置され、前記受光部では、前記参照光を受光し、前記検出部では、前記発光部と前記参照光発光部のそれぞれから受光した光を比較しながら、前記眼あるいは前記瞼の状態を検出することを特徴とする。
【００１５】
この構成によれば、検出部において参照光を参照することにより、外光の影響を取り除くことができる。これにより、正確に眼や瞼の状態を検出することができる。
【００１６】
［適用例６］本適用例にかかる入力装置は、上記の眼・瞼状態検出装置を搭載したことを特徴とする。
【００１７】
この構成によれば、眼・瞼状態検出装置において検出された眼や瞼の状態に基づいて、例えば、ポインターの移動等を容易に制御することができる。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態にかかる眼・瞼状態検出装置の構成を示す概略図。
【図２】眼・瞼状態検出方法を示すフローチャート。
【図３】入力装置の構成を示す説明図。
【図４】第２実施形態にかかる眼・瞼状態検出装置の構成を示す説明図。
【発明を実施するための形態】
【００１９】
以下、本発明を具体化した第１及び第２実施形態について図面に従って説明する。なお、各図面における各部材は、各図面上で認識可能な程度の大きさとするため、各部材ごとに縮尺を異ならせて図示している。
【００２０】
［第１実施形態］
（眼・瞼状態検出装置の構成）
まず、眼・瞼状態検出装置の構成について説明する。図１は、第１実施形態にかかる眼・瞼状態検出装置の構成を示す概略図である。眼・瞼状態検出装置１は、眼の状態、例えば、眼球の位置の検出や、瞼の状態、例えば、瞼の開閉状態の検出を行う装置である。
【００２１】
図１に示すように、眼・瞼状態検出装置１は、使用者の眼の周辺に装着されるフレーム部２と、フレーム部２に設置され、フレーム部２で囲まれた領域Ｒに対して、一定の勾配を有した光強度分布を有する光を照射する発光部１２（１２ａ〜１２ｄ）と、フレーム部２に設置され、発光部１２によって照射された光に対して眼あるいは瞼による反射光を受光する受光部１５と、反射光の受光量に基づいて、眼あるいは瞼の状態を検出する検出部４５を備えている。
【００２２】
フレーム部２は、使用者の眼の周辺に装着可能なものである。本実施形態のフレーム部２は、例えば、図１（ａ）に示すように、眼鏡用フレームの一部として適用している。そして、使用者が眼鏡用フレームを掛ける（装着する）ことにより、使用者の眼の周辺がフレーム部２によって覆われ、眼・瞼状態の検出が可能となる。
【００２３】
フレーム部２は、検出領域Ｒの一部を囲う形状を有している。本実施形態では、図１（ｂ）に示すように、略矩形の枠形状を有している。枠形状によって囲まれた領域は、眼や瞼等の状態の検出が行われる検出領域Ｒの一部となる。
【００２４】
発光部１２は、フレーム部２の周囲の距離を４等分したそれぞれの位置に設置され、各発光部１２は、フレーム部２で囲まれた領域Ｒの中心部に向けて光を照射する。本実施形態では、第１〜第４発光部１２ａ〜１２ｄを備えている。そして、フレーム部２の角部のそれぞれに配置されている。そして、第１〜第４発光部１２ａ〜１２ｄのそれぞれの発光口が、検出領域Ｒの中央部に向かって配置されている。本実施形態では、第１発光部１２ａと第２発光部１２ｂとが互いに対向して配置され、第３発光部１２ｃと第４発光部１２ｄとが互いに対向して配置されている。
【００２５】
第１〜第４発光部１２ａ〜１２ｄは、例えば、ＬＥＤ（発光ダイオード）などの発光素子で構成され、駆動回路（図示せず）から出力される駆動信号に応じて、第１〜第４発光部１２ａ〜１２ｄのそれぞれから赤外光からなる光（検出光）Ｌ１２ａ〜Ｌ１２ｄが発散光として放出される。検出光Ｌ１２ａ〜Ｌ１２ｄの種類は、特に限定されないが、可視光とは波長分布が異なるか、点滅などの変調が加えられることで発光態様が異なればよい。また、検出光Ｌ１２ａ〜Ｌ１２ｄは、眼（白目部分）や瞼（人体の皮膚の一部）等に対して効率的に反射される波長域を有することが好ましい。従って、対象物体が人体であれば、人体の表面で反射率の高い赤外線（特に可視光領域に近い近赤外線、例えば波長で８５０ｎｍ付近）、あるいは９５０ｎｍであることが望ましい。
【００２６】
受光部１５は、第１〜第４発光部１２ａ〜１２ｄから発光された検出光Ｌ１２ａ〜Ｌ１２ｄを受光するものであり、例えば、フォトダイオードやフォトトランジスターである。受光部１５は、フレーム部２に設置されている。本実施形態では、フレーム部２の第２発光部１２ｂと第４発光部１２ｄの中間にあたる箇所に配置されている。そして、検出領域Ｒに向けて受光口が配置される。
【００２７】
受光部１５の近傍には、参照光を照射する参照光発光部１６が設置されている。参照光発光部１６は、例えば、ＬＥＤ（発光ダイオード）などの発光素子で構成されている。参照光発光部１６では、受光部１５に向けて参照光を常時照射する。ここで、参照光とは、検出に用いられる基準の照射量を発光する光である。そして、受光部１５で受光した後、検出部４５において、発光部１２と参照光発光部１６のそれぞれから受光した光を比較しながら、眼あるいは瞼の状態を検出する。そのため、検出の際に、外光等の外部の光に伴う、検査誤差を低減するため、外光による照射量（ノイズ）をキャンセルすることができる。これにより、検出精度を向上させることができる。
【００２８】
検出領域Ｒは、検出光Ｌ１２ａ〜Ｌ１２ｄが照射される立体的な領域であり、使用者の眼や瞼による反射光が生じ得る領域である。そして、各検出光Ｌ１２ａ〜Ｌ１２ｄは、一定の勾配を有した光強度分布を有する光である。具体的には、図１（ｃ）に実線で示すように、第１発光部１２ａからの照射距離に伴って直線的に減衰する強度分布を有する。また、検出領域Ｒに出射される検出光Ｌ１２ｂの光量は、図１（ｃ）に点線で示すように、第２発光部１２ｂからの距離に伴って直線的に減衰する強度分布を有する。なお、第３及び第４発光部１２ｃ，１２ｄから照射される検出光Ｌ１２ｃ，１２ｄも同様である。
【００２９】
次に、眼球の位置を検出する基本原理について説明する。本実施形態では、上記受光部１５における検出光の受光量に基づいて、眼球の位置、すなわち、眼球のＸＹ座標の取得方法について説明する。この位置情報の取得方法は種々のものが考えられるが、例えば、二つの位置検出光の検出光量の比率に基づいてそれらの減衰係数の比率を求め、この減衰係数の比率から両位置検出光の伝播距離を求めることにより、対応する二つの光源を結ぶ方向の位置座標を求める方法などが挙げられる。また、二つの位置検出光の検出光量の差を求め、この差の絶対値から、対応する二つの光源を結ぶ方向の位置座標を求める方法が挙げられる。これらいずれの方法においても、受光部１５からの出力値をそのまま演算に用いる方法、受光部１５を介してキャパシタに蓄電あるいは放電させてキャパシタの端子間電圧が所定の電圧になるまでの時間を演算に用いる方法などを挙げることができる。いずれの場合も、以下に説明する性質を利用したものである。
【００３０】
まず、第１〜第４発光部１２ａ〜１２ｄから検出光Ｌ１２ａ〜Ｌ１２ｄが照射されると、検出領域Ｒにおいて、各検出光Ｌ１２ａ〜Ｌ１２ｄは、図１（ｃ）に示すように、各第１〜第４発光部１２ａ〜１２ｄからの距離に伴って直線的に減衰する光強度分布が形成される。
【００３１】
ここで、第１発光部１２ａの制御量（例えば電流量）、変換係数、および放出光量をＩａ、ｋ、およびＥａとし、第２発光部１２ｂの制御量（電流量）、変換係数、および放出光量をＩｂ、ｋ、およびＥｂとすれば、
Ｅａ＝ｋ・Ｉａ
Ｅｂ＝ｋ・Ｉｂ
となる。また、検出光Ｌ１２ａの減衰係数、および検出光量をｆａ、およびＧａとし、検出光Ｌ１２ｂの減衰係数、および検出光量をｆｂ、およびＧｂとすれば、
Ｇａ＝ｆａ・Ｅａ＝ｆａ・ｋ・Ｉａ
Ｇｂ＝ｆｂ・Ｅｂ＝ｆｂ・ｋ・Ｉｂ
となる。
【００３２】
従って、受光部１５において両検出光の検出光量の比であるＧａ／Ｇｂが検出できるとすれば、
Ｇａ／Ｇｂ＝（ｆａ・Ｅａ）／（ｆｂ・Ｅｂ）＝（ｆａ／ｆｂ）・（Ｉａ／Ｉｂ）
となるため、放出光量の比Ｅａ／Ｅｂ、および制御量の比Ｉａ／Ｉｂに相当する値が分かれば、減衰係数の比ｆａ／ｆｂが分る。この減衰係数の比と両検出光の伝播距離の比との間に直線関係があれば、この直線関係を予め設定しておくことで、眼球の位置情報を得ることができる。
【００３３】
上記減衰係数の比ｆａ／ｆｂを求める方法としては、例えば、第１発光部１２ａと第２発光部１２ｂを逆相で点滅（例えば、矩形波状若しくは正弦波状の駆動信号を伝播距離の差に起因する位相差が無視できる周波数で相互に１８０度の位相差を持つように動作）させた上で、検出光量の波形を解析する。より現実的には、例えば、一方の制御量Ｉａを固定し（Ｉａ＝Ｉｍ）、検出波形が観測できなくなるように、すなわち、検出光量の比Ｇａ／Ｇｂが１となるように他方の制御量Ｉｂを制御し、このときの制御量Ｉｂ＝Ｉｍ・（ｆａ／ｆｂ）から上記減衰係数の比ｆａ／ｆｂを導出する。
【００３４】
また、両制御量の和が常に一定、すなわち、下式
Ｉｍ＝Ｉａ＋Ｉｂ
を満たすように制御してもよい。この場合には、下式
Ｉｂ＝Ｉｍ・ｆｂ／（ｆａ＋ｆｂ）
となるので、
ｆｂ／（ｆａ＋ｆｂ）＝α
とすると、下式
ｆａ／ｆｂ＝（１−α）／α
により、減衰係数の比が求まる。
【００３５】
従って、眼球の矢印Ａ方向の位置情報は、第１発光部Ｌ１２ａと第２発光部Ｌ１２ｂを相互に逆相で駆動することで取得することができる。また、眼球の矢印Ｂ方向の位置情報は、第３発光部１２ｃと第４発光部１２ｄを相互に逆相で駆動することで取得することができる。それ故、制御系において上記Ａ方向とＢ方向の検出動作を順次行って眼球のＸＹ平面上の位置座標を取得できる。
【００３６】
上記のように、受光部１５により検出される検出光１２ａ〜１２ｄの光量比に基づいて眼球の検出領域Ｒ内の平面位置情報を取得するにあたって、例えば、信号処理部としてマイクロプロセッサーユニット（ＭＰＵ）を用い、これにより所定のソフトウェア（動作プログラム）を実行することに従って処理を行う構成を採用することができる。また、論理回路などのハードウェアを用いた信号処理部で処理を行う構成を採用することもできる。
【００３７】
また、瞼の状態の検出方法として、例えば、瞼の開閉状態を検出する方法としては、眼球から反射された光の光量、すなわち、瞼が開いている状態における光量と、瞼（人体の皮膚の一部）から反射された光の光量、すなわち、瞼が閉じられている状態における光量と、を比較することにより、瞼の開閉状態を検出することができる。
【００３８】
（眼・瞼状態検出方法）
次に、本実施形態における眼・瞼状態検出方法について説明する。本実施形態では、眼の状態の検出として眼球の位置の検出方法について説明する。図２は、眼球位置検出方法を示すフローチャートである。
【００３９】
まず、眼球のＸ座標位置を検出するため、ステップＳ１１では、第１及び第４発光部１２ａ，１２ｄを駆動させ、検出光Ｌ１２ａ，Ｌ１２ｄを照射する。この際、第２及び第３発光部１２ｂ，１２ｃは停止させておく。従って、Ｘ軸方向の一方方向において光強度が高くなる光強度分布が形成される。
【００４０】
ステップＳ１２では、受光部１５を駆動させ、検出光Ｌ１２ａ，Ｌ１２ｄに対して眼から反射した光を受光させる。
【００４１】
ステップＳ１３では、第２及び第３発光部１２ｂ，１２ｃを駆動させ、検出光Ｌ１２ｂ，Ｌ１２ｃを照射する。この際、第１及び第４発光部１２ａ，１２ｄは停止させておく。従って、Ｘ軸方向の他方方向において光強度が高くなる光強度分布が形成される。
【００４２】
ステップＳ１４では、受光部１５を駆動させ、検出光Ｌ１２ｂ，Ｌ１２ｃに対して眼から反射した光を受光させる。
【００４３】
ステップＳ１５では、ステップＳ１２及びステップＳ１４において受光した受光量をそれぞれ演算し、各受光量を比較演算することにより、眼球のＸ座標を算出することができる。
【００４４】
次に、眼球のＹ座標位置を検出するため、ステップＳ１６では、第１及び第３発光部１２ａ，１２ｃを駆動させ、検出光Ｌ１２ａ，Ｌ１２ｃを照射する。この際、第２及び第４発光部１２ｂ，１２ｄは停止させておく。従って、Ｙ軸方向の一方方向において光強度が高くなる光強度分布が形成される。
【００４５】
ステップＳ１７では、受光部１５を駆動させ、検出光Ｌ１２ａ，Ｌ１２ｃに対して眼から反射した光を受光させる。
【００４６】
ステップＳ１８では、第２及び第４発光部１２ｂ，１２ｄを駆動させ、検出光Ｌ１２ｂ，Ｌ１２ｄを照射する。この際、第１及び第３発光部１２ａ，１２ｃは停止させておく。従って、Ｙ軸方向の他方方向において光強度が高くなる光強度分布が形成される。
【００４７】
ステップＳ１９では、受光部１５を駆動させ、検出光Ｌ１２ｂ，Ｌ１２ｄに対して眼から反射した光を受光させる。
【００４８】
ステップＳ１９では、ステップＳ１７及びステップＳ１９において受光した受光量をそれぞれ演算し、各受光量を比較演算することにより、眼球のＹ座標を算出することができる。このようにして、眼球のＸＹ座標が検出される。これにより、使用者の眼球の位置が検出されるとともに、使用者の視線を検出することができる。
【００４９】
次に、瞼の状態の検出方法について説明する。本実施形態では、瞼の状態の検出として、瞼の開閉状態の検出方法について説明する。まず、基準となる受光量を算出する。そこで、第１〜第４発光部１２ａ〜１２ｄのうち、例えば、第１及び第４発光部１２ａ，１２ｄを駆動させ、検出光Ｌ１２ａ，１２ｄを照射させる。そして、瞼を開けた状態における眼球で反射された反射光を受光部１５で受光する。これにより、瞼を開けた状態における基準の受光量が算出される。また、瞼を閉じた状態における瞼で反射された反射光を受光部１５で受光する。これにより、瞼を閉じた状態における基準の受光量が算出される。そして、瞼の開閉状態を検出する場合には、基準となる受光量を検出した条件、すなわち、上記の例では、第１及び第４発光部１２ａ，１２ｄを駆動させた状態で反射光を受光する。そして、検出した受光量と基準の受光量とを比較演算することにより、瞼の開閉状態を検出することができる。
【００５０】
なお、上記の眼・瞼の状態検出に際しては、眼・瞼状態検出の前に、眼・瞼状態検出装置１のキャリブレーションを行うことが好ましい。例えば、眼・瞼状態検出装置１を使用する使用者が異なった場合には、眼の位置や大きさや皮膚の色合い等が使用者毎に異なるため、正確に眼・瞼状態検出を行うことができないおそれが生じるためである。そこで、眼・瞼状態検出装置１を用いて検出する前にキャリブレーションを行う。
【００５１】
キャリブレーションでは、眼・瞼状態検出装置１を使用する使用者の基本情報を取得する。本実施形態では、基本情報として、瞼を開閉した各状態の受光量と、眼球が移動する移動範囲における眼球の座標と、を取得する。まず、瞼を開閉した各状態の受光量の取得については、所定の検出光Ｌ１２を照射させた状態で、瞼を開けた状態において眼から反射した光を受光し、受光量を検出する。次に、眼を閉じた状態において瞼（使用者の皮膚の一部）から反射した光を受光し、受光量を検出する。そして、これらの受光量は、メモリー等の記憶部に、使用者毎に格納される。格納された受光量は、瞼の状態検出の際に、基準の比較データとして用いられる。
【００５２】
次に、眼球が移動する移動範囲における眼球の座標の取得については、例えば、眼球を右側から左側に移動させながら、また、眼球を上側から下側に移動させながら、または、眼球を回しながら、所定の位置、或いは期間において眼球のＸＹ座標を検出する。検出方法は、例えば、図２に示す眼球の位置を検出する方法に沿って行う。このようにして、使用者毎に基本の眼球座標が取得される。
【００５３】
（入力装置の構成）
次に、入力装置の構成について説明する。図３は、入力装置の構成を示す概略図である。入力装置は、眼や瞼の状態を検出する眼・瞼状態検出装置１と、眼・瞼状態検出装置１によって検出された検出情報に基づいて入力制御情報として出力する制御部２０と、制御部２０によって出力された入力制御情報に基づいて、画像を表示する表示部３０と、を備えている。このように構成された入力装置１００では、眼や瞼の状態を入力パラメーターとして画像の入力等に利用することができる。
【００５４】
まず、眼の状態検出に基づく、入力処理方法について説明する。なお、本実施形態では、眼球の位置（視線）検出に基づく、表示部３０上のポインター（位置指示画像）Ｐを移動させる方法について説明する。眼・瞼状態検出装置１によって眼球のＸＹ座標が取得される。ＸＹ座標の取得方法については、図２に示す方法と同様なので説明を省略する。そして、取得された検出情報としてのＸＹ座標情報が、制御部２０に供給される。制御部２０では、眼球の位置を表すＸＹ座標情報をポインターＰに該当する座標情報に連動させた入力制御情報を生成するとともに、入力制御情報を表示部３０に出力する。表示部３０では、入力制御情報に基づいて、ポインターＰを表示する。従って、例えば、図３（ｂ）に示すように、使用者の眼球の移動に連動させて、表示部３０上のポインターＰの位置を位置Ｓ１から位置Ｓ２へと移動させることができる。
【００５５】
次に、瞼の状態検出に基づく、入力処理方法について説明する。なお、本実施形態では、瞼の開閉状態の検出に基づく、表示部３０上の画像の切り替え方法について説明する。眼・瞼状態検出装置１によって瞼の開閉状態を検出する。瞼の開閉状態の検出方法は、先述の検出方法と同様なので説明を省略する。そして、取得された瞼の開閉情報が、制御部２０に供給される。制御部２０では、時間測定部を備え、瞼が閉じている時間を計測することができる。そして、予め、瞼が閉じられた時間や単位時間当たりの瞬きの回数に対応した所定の画像の移動方法が関連付けられている。そして、瞼の開閉情報に基づいて、所定の画像の移動に関する入力制御情報を生成するとともに、入力制御情報を表示部３０に出力する。表示部３０では、入力制御情報に基づいて、画像を表示する。従って、例えば、図３（ｃ）に示すように、使用者の瞼の開閉状態に連動させて、例えば、瞬き２回で画像Ａから画像Ｂに切り替え、瞬き３回で画像Ｂから画像Ａに切り替えることができる。また、瞼を所定時間以上閉じた状態にすることにより、画像の表示を停止（画像Ｃ）にしたり、表示部３０の駆動を停止させることができる。本実施形態では、片目に眼・瞼状態検出装置１を装着した例を説明したが、これに限定されず、右眼及び左眼のそれぞれに眼・瞼状態検出装置１を装着してもよい。このようにすれば、さらに、複雑な制御割り当てが可能となる。
【００５６】
なお、上記では、眼の状態と瞼の状態とを別個に検出したが、眼と瞼の状態を同時期に検出してもよい。この場合、例えば、眼球の移動によってポインターの移動や画像の切り替えを選択し、瞼の開閉状態によって実行することができる。このようにすれば、さらに、容易に入力装置を操作することができる。
【００５７】
なお、本実施形態では、眼・瞼状態検出装置１を入力装置１００に適用したが、これに限定されない。上記に示した入力装置１００の他にも、ＨＭＤ（ヘッド・マウント・デバイス）、ビューファインダー、双眼鏡、顕微鏡、望遠鏡等の機器に適用することができる。また、瞼の開閉状態を検出することにより、自動車運転等の眠気感知装置等に適用することができる。
【００５８】
従って、上記第１実施形態によれば、以下に示す効果がある。
【００５９】
（１）使用者の眼の近傍で一定の勾配を有する光強度分布が形成されるとともに、眼球等の反射を検出することができる。このため、外光等のノイズの影響が低減され、正確に眼球の位置や瞼の開閉状態等を検出することができる。
【００６０】
（２）眼・瞼状態検出装置１において検出された情報に基づいて、簡単かつ容易に入力装置を操作することができる。
【００６１】
［第２実施形態］
（眼・瞼状態検出装置の構成）
次に、第２実施形態について説明する。図４は、第２実施形態にかかる眼・瞼状態検出装置の構成を示す概略図である。図４に示すように、眼・瞼状態検出装置１’は、使用者の眼の周辺に装着されるフレーム部２と、フレーム部２に設置され、フレーム部２で囲まれた領域Ｒに対して、一定の勾配を有する光強度分布が形成された光を照射する発光部１２と、フレーム部２に設置され、眼あるいは瞼で反射した光を受光する受光部１５と、受光量に基づいて、眼あるいは瞼の状態を検出する検出部（図示せず）を備えている。さらに、フレーム部２には、光の照射によって一定の勾配を有する光強度分布が形成されるパターン膜１８’を含むパターン部材１８が固定され、発光部１２では、パターン膜１８’を介して、使用者の眼側を含む領域を照射する。なお、パターン膜１８ａを含むパターン部材１８以外の構成については、第１実施形態の内容と同様なので説明を省略し、パターン部材１８に関して説明する。
【００６２】
パターン部材１８は、フレーム部２によって囲われた部分に固定されている。パターン部材１８は、透明性を有し、例えば、ガラス、プラスチック、アクリル等を用いることができる。パターン部材１８にはパターン膜１８ａが形成されている。パターン膜１８ａには、所定のパターンが形成されており、発光部１２から出射された検出光Ｌ１２がパターン膜１８ａを介して検出領域Ｒを照射することにより、検出領域Ｒには、図１（ｃ）に示したような、一定の勾配を有する光強度分布が形成される。
【００６３】
なお、眼球の位置や瞼の開閉状態の検出方法やキャリブレーションの方法は、第１実施形態の内容と同じなので説明を省略する。また、入力装置等についても第１実施形態の内容と同じように、本実施形態にかかる眼・瞼状態検出装置１’を適用することができる。
【００６４】
従って、上記第２実施形態によれば、第１実施形態における効果に加え、以下に示す効果がある。
【００６５】
フレーム部２にパターン膜１８ａを有するパターン部材１８が設置され、発光部１２から出射された検出光Ｌ１２が、パターン膜１８ａを介して検出領域Ｒに照射される。これにより、光強度分布を正確に形成することができ、眼球位置等を正確に検出することができる。
【符号の説明】
【００６６】
１…眼・瞼状態検出装置、２…フレーム部、１２，１２ａ〜１２ｄ…発光部、第１〜第４発光部、１５…受光部、１６…参照光発光部、１８…パターン部材、１８’…パターン膜、２０…制御部、３０…表示部、４５…検出部、１００…入力装置。
【特許請求の範囲】
【請求項１】
使用者の眼の周辺に装着されるフレーム部と、
前記フレーム部に設置され、前記フレーム部で囲まれた領域に対して、一定の勾配を有した光強度分布を有する光を照射する発光部と、
前記フレーム部に設置され、前記発光部によって照射された前記光に対して前記眼あるいは瞼による反射光を受光する受光部と、
前記反射光の受光量に基づいて、前記眼あるいは前記瞼の状態を検出する検出部と、を備えたことを特徴とする眼・瞼状態検出装置。
【請求項２】
請求項１に記載の眼・瞼状態検出装置において、
前記発光部では、
一方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、他方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、を有する前記光を照射することを特徴とする眼・瞼状態検出装置。
【請求項３】
請求項１または２に記載の眼・瞼状態検出装置において、
前記発光部が、前記フレーム部の周囲の距離を４等分したそれぞれの位置に設置され、 各前記発光部は、前記フレーム部で囲まれた前記領域の中心部に向けて前記光を照射することを特徴とする眼・瞼状態検出装置。
【請求項４】
請求項１〜３のいずれか一項に記載の眼・瞼状態検出装置において、
前記フレーム部が、前記光の照射によって一定の勾配を有する前記光強度分布が形成されるパターン膜を含むパターン部材を固定し、
前記発光部では、前記パターン膜を介して、前記使用者の眼側を含む前記領域を照射することを特徴とする眼・瞼状態検出装置。
【請求項５】
請求項１〜４のいずれか一項に記載の眼・瞼状態検出装置において、
前記受光部の近傍に、参照光を照射する参照光発光部が設置され、
前記受光部では、前記参照光を受光し、
前記検出部では、前記発光部と前記参照光発光部とのそれぞれから受光した光を比較しながら、前記眼あるいは前記瞼の状態を検出することを特徴とする眼・瞼状態検出装置。
【請求項６】
請求項１〜５のいずれか一項に記載の眼・瞼状態検出装置を搭載した入力装置。
【請求項１】
使用者の眼の周辺に装着されるフレーム部と、
前記フレーム部に設置され、前記フレーム部で囲まれた領域に対して、一定の勾配を有した光強度分布を有する光を照射する発光部と、
前記フレーム部に設置され、前記発光部によって照射された前記光に対して前記眼あるいは瞼による反射光を受光する受光部と、
前記反射光の受光量に基づいて、前記眼あるいは前記瞼の状態を検出する検出部と、を備えたことを特徴とする眼・瞼状態検出装置。
【請求項２】
請求項１に記載の眼・瞼状態検出装置において、
前記発光部では、
一方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、他方の方向に向かって、ある光強度が直線的に減衰する前記光強度分布と、を有する前記光を照射することを特徴とする眼・瞼状態検出装置。
【請求項３】
請求項１または２に記載の眼・瞼状態検出装置において、
前記発光部が、前記フレーム部の周囲の距離を４等分したそれぞれの位置に設置され、 各前記発光部は、前記フレーム部で囲まれた前記領域の中心部に向けて前記光を照射することを特徴とする眼・瞼状態検出装置。
【請求項４】
請求項１〜３のいずれか一項に記載の眼・瞼状態検出装置において、
前記フレーム部が、前記光の照射によって一定の勾配を有する前記光強度分布が形成されるパターン膜を含むパターン部材を固定し、
前記発光部では、前記パターン膜を介して、前記使用者の眼側を含む前記領域を照射することを特徴とする眼・瞼状態検出装置。
【請求項５】
請求項１〜４のいずれか一項に記載の眼・瞼状態検出装置において、
前記受光部の近傍に、参照光を照射する参照光発光部が設置され、
前記受光部では、前記参照光を受光し、
前記検出部では、前記発光部と前記参照光発光部とのそれぞれから受光した光を比較しながら、前記眼あるいは前記瞼の状態を検出することを特徴とする眼・瞼状態検出装置。
【請求項６】
請求項１〜５のいずれか一項に記載の眼・瞼状態検出装置を搭載した入力装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−２２１８９０（Ｐ２０１１−２２１８９０Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９２０３１（Ｐ２０１０−９２０３１）
【出願日】平成２２年４月１３日（２０１０．４．１３）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月１３日（２０１０．４．１３）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]