目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
【課題】人の目の動きをモニターするバイオセンサ、コミュニケーター及び/又はコントロールデバイス、システム、並びに方法を提供する。
【解決手段】ユーザーが頭に装着するように作製されたデバイスと、ユーザーの片目又は両目に光を向ける光源と、ユーザーの片目又は両目を観察するデバイス上の1以上の映像案内部と、デバイス上に搭載され両目及び/又はユーザーの周囲のイメージを取得するための映像案内部に結合された1以上のカメラとを備え。デバイスは、ケーブル及び/又はカメラから離れた場所、例えばイメージデータを解析及び/又は表示するためのプロセッサ及び/又はディスプレイに、イメージデータを伝送するトランスミッタを備える。システムは、1以上の眼球運動パラメータ、例えば瞳孔反射、をモニターすること、及び/又はユーザーの口の代わりに目を用いてコンピュータをコントロールすること、に使用できるデバイスを備えることもできる。
【解決手段】ユーザーが頭に装着するように作製されたデバイスと、ユーザーの片目又は両目に光を向ける光源と、ユーザーの片目又は両目を観察するデバイス上の1以上の映像案内部と、デバイス上に搭載され両目及び/又はユーザーの周囲のイメージを取得するための映像案内部に結合された1以上のカメラとを備え。デバイスは、ケーブル及び/又はカメラから離れた場所、例えばイメージデータを解析及び/又は表示するためのプロセッサ及び/又はディスプレイに、イメージデータを伝送するトランスミッタを備える。システムは、1以上の眼球運動パラメータ、例えば瞳孔反射、をモニターすること、及び/又はユーザーの口の代わりに目を用いてコンピュータをコントロールすること、に使用できるデバイスを備えることもできる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、疲れや意識的なコミュニケーションをモニターするために人間の目の動きをモニターする装置、システム、方法、及び/又は目、瞼、及び/又は人間の片目又は両目の他の部分の動きに基づくコントロールデバイスに関する。
【背景技術】
【0002】
人の眠れない状態又は眠気を催している状態等の不随意な状態をモニターするために、人間の目の動きを用いることが提案されている。例えば、特許文献1は、眠り始めていることを人に警告するためにアラームを鳴らすデバイスを開示している。そのデバイスは眼鏡に類似したフレームを有しており、その上には、ユーザーがかけた時にユーザーの目の方向に向く光ファイバーと光電セルとが取り付けられている。光電セルは、ユーザーの目から反射された光、すなわち、目が閉じている時は瞼から反射された光、又は目が開いている時は目の表面から反射された光の強度を検出する。時間により、規則的な瞬きか、あるいは目が閉じている時の長い時間、すなわち、人が寝ていることを示す時間、であるかを識別する。閾時間が経過すると、アラームが鳴り、ユーザーに知らせあるいはユーザーを起こす。
【0003】
別のデバイスはMTI研究所の警報モニターであり、安全眼鏡に取り付けることができ、瞼の軸に沿って、光線が瞬きの間以外には睫毛により遮られることがない重要な位置に連続した赤外線を放射することにより、瞬きの回数を測定することができる。特許文献2や特許文献3に開示された別のデバイスは、ユーザーの瞼又は眉毛に直接係合させて目の動きを検出し、眠気を催している状態を検出した時にはアラームを鳴らすものである。このようなデバイスには、機械デバイス、例えば、機械アーム又は瞼に対して用いる圧電フィルムが含まれる。
【0004】
車の中のダッシュボード、屋根又は別の場所にカメラ又は別のデバイスを取り付け、運転者の覚醒状態をモニターすることが提案されている。しかし、そのようなデバイスの場合、ユーザーは常にカメラに視線を合わせる必要がある。また、ユーザーが頭を横方向や下方向に動かしたり、転回したり、車から出たり、あるいはユーザーが急に動き回ったり、あるいはカメラがその個人に対して移動したりすると、そのようなデバイスでは瞼の動きをモニターすることができない。さらに、そのようなデバイスは、プライバシーを侵すという問題があり、及び/又はシースルー眼鏡、サングラスあるいはコンタクトレンズに対して問題があり、太陽光線下ではうまく作動しない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許第3,863,243号明細書
【特許文献2】米国特許第5,469,143号明細書
【特許文献3】米国特許第4,359,724号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、1以上の目や瞼及び/又は被験者の瞳孔の動きをモニターするデバイス、システム、及び方法に関する。一般に、人間は毎分約5〜30回、又は1日当たり約7000〜43000回、瞬きをする。不随意の反射性の瞬きは、それぞれ約200〜300ミリ秒、平均すると約250ミリ秒続き、不随意の瞬きにより目を閉じている時間は1日当たり約1750〜10800秒に達する。疲れたり又は眠気を催すと、目の瞬きは長くゆっくりとなり、及び/又は瞬きの速度が変化し、及び/又は瞼は瞬きの強度が小さくなり伏し目がちとなり、例えば目は短時間の微睡眠(microsleeps)、すなわち、約3〜5秒又はそれ以上あるいは長い睡眠が続く睡眠状態、に近づき始める。さらに、眠気と疲れが大きくなるにつれて、瞳孔の締め付けはより緩くなり、揺らぎにより大きさが一定せず、径が急速に収縮し、及び/又は閃光に対する反応が遅くなる(すなわち、潜在的瞳孔遅延反応(delayed pupil response latency))。また、眠気についての他の視覚上の変化が起こり、一例として、例えば刺激に対するゆっくりした又は遅れた断続的な目の追跡反応(潜在的遅延断続反応(delayed saccadic response latency))であり、過剰又は過少の目標への視線を伴い、及び/又は両眼転導又は放散、目のドリフト又は内斜位(esophoria)を伴いあるいは伴わず、注視が減ってくる。
【課題を解決するための手段】
【0007】
一実施態様において、瞼、瞳孔及び/又は目の動きをモニターする装置が提供され、それには、人の頭に装着できるように作製されたデバイスと、そのデバイスを装着した人の目に向けられた光源と、そのデバイスに固定された第1及び第2の光ファイバーバンドルと、ここで、第1の光ファイバーバンドルはデバイスを装着した人の第1の目を観察するように位置決めされる一方、第2の光ファイバーバンドルはデバイスを装着した人の第2の目を観察するように位置決めされている。その装置は、第1及び第2の目の映像を得るために、第1及び第2の光ファイバーバンドルに結合されたカメラを備えることもできる。
【0008】
必要により、その装置は、例えばユーザーが頭を回した方向の領域を観察するために、ユーザーから離れた場所に第3の光ファイバーバンドルを備えることもできる。さらにあるいは代わりに、その装置は1以上の空間センサを備えることもできる。カメラは、ユーザーの頭及び/又は目が向いた方向の領域の映像を得るために第3のバンドルに結合するだけでなく、第1及び第2の目の映像を得るために、第1及び第2のバンドルにも結合することができる。空間センサは、ユーザーの頭の動き、例えばユーザーの目の動きに対しての、を同時に測定又は追跡することができる。また、カメラに結合したエミッタ及び/又はセンサのアレイにより、片目又は両目の種々の視覚パラメータの測定を行うことができ、そのパラメータには、例えば、瞼速度、加速及び減速、瞬きの回数、PERCLOS(瞼が開いている時間の割合)、完全に目を開いた状態に対する距離又は比率等で表される瞼の割れ目の垂直高さ(すなわち、瞳孔を覆っていない瞼間の領域)がある。
【0009】
別の実施態様では、人の瞼の動きを検出する自蔵式のデバイスが提供され、そのデバイスは、人の頭に装着されるデバイスと、そのデバイス上に取り付けられ、そのデバイスを装着した人の目に向けて光を放射するエミッタと、そのエミッタからの光を検出するカメラとを備えている。センサは目が閉じているか開いているかを示す出力信号を発生し、フレーム上のトランスミッタは、離れた場所に出力信号を無線送信するためにセンサに結合されている。フレームは、眠気による瞼の動きを検出するため、予め設定した閾値と出力信号とを比較するプロセッサを備えることもできる。前の実施態様と同様に、エミッタとセンサには、赤外線を放射及び検出する固体型バイオセンサデバイスを用いることができ、あるいは1次元又は2次元等のアレイであって、フレーム上に所定の配置で形成されたエミッタ及び/又はセンサからなるアレイを用いることもでき、例えば、片目あるいは両目の方向に対して配置された1以上のエミッタ及び/又はセンサからなる、垂直、水平、対角又は他の線状又は幾何学的アレイが含まれる。特に、エミッタ及び/又はセンサのアレイにより、別の箇所で記載したものと同一の視覚パラメータの測定を行うことができる。
【0010】
エミッタ及び/又はセンサを、フレーム上のあらゆるポイントに取り付けることができ、例えば、レンズの周り及び/又は鼻柱の中、あるいはフレームの鼻部分の近く又は鼻部分の上を含むフレームに沿ったすべての場所、フレームのテンプル片の付属物、及び/又は眼鏡のレンズの上に取り付けられた面である。あるいは、エミッタ及び/又はセンサを眼鏡のレンズの中に埋め込み、あるいはそれらがレンズを通して動作するように埋め込むことができる。これにより、エミッタ(群)及び/又はセンサ(群)を眼鏡フレーム上に固定することにより、ユーザーが車内、屋外あるいは他の場所にいようが、装着した人の頭の動きに合わせてそれらは移動することができ、身体がどのような状態にあってもユーザーの目に連続して焦点を合わせることができる。
【0011】
さらに別の実施態様では、人の目の動きをモニターするシステムが提供される。そのシステムは、人の頭に装着できるように作製されたデバイスと、デバイスを装着した人の目に光を向ける1以上のエミッタと、CCD又はCMOS等のデバイスからなるカメラを備えている。エミッタ(群)は、目の方向に基準フレームを向けるように形成されている。基準フレームに対する目の動きをモニターするために、カメラを目の方向に配置することもできる。カメラは、デバイスの上又はデバイスから離れた場所に設けることができるが、ユーザーにかなり近接して設ける必要がある。
【0012】
エミッタ(群)からの光はデバイスを装着したユーザーの目に向けて放射され、ユーザーの目を照らす一方、目の上には基準フレームが照射されている。エミッタ(群)は、ユーザーに”不可視”の光、すなわち、通常の視覚の暗順応(夜間視覚)又は明所視(昼間視覚)の範囲外、例えば赤外線、を照射し、照明及び/又は基準フレームがユーザーの視覚を実質的に妨害しないようにすることができる。カメラは、エミッタからの光、例えば赤外線領域の光を映し、それにより、照射光を光のスポット、光のバンド又は他の”輝き”として検出する。基準フレームに対する目の動きは、カメラでモニターすることができる。カメラによってモニターされる動きのグラフィックな出力を、例えば目の上の照射される基準フレームに対してモニターすることができる。例えば、エミッタからの赤外線は、白色光の下では”赤色反射”として、赤外線の下では白色又は暗黒色の瞳孔として網膜から反射され、公知の減法法を用いた暗い瞳孔の映像を含む。
【0013】
例えば1以上のこれらの方法を用いたプロセッサは、目の瞳孔の動きを検出することができ、例えば、基準フレームに対する動きを測定することができる。この動きをグラフィック表示し、基準フレームに対する目の瞳孔の動きを示すことができる。必要に応じ、1以上のセンサからの出力信号を、基準フレームに対する目の動きをモニターするカメラから発生するビデオ信号と相関させることができる。例えば、人の眠気のレベルを決定し、あるいは、心理的又は神経的な生理的認識、感情的及び/又は警戒に関係する心の状態について決定することができる。
【0014】
さらに別の実施態様では、ユーザーの頭に装着されたデバイスを用いて、コンピューティングデバイス又は他の電子又は電気機械デバイス(例えば、ラジオ、テレビ、車椅子、電話、警報システム、聴覚、視覚又は触覚警報システム等)の制御方法を提供する。そのデバイスは、本明細書に記載した別の実施態様と同様に、1以上の部材から構成することができ、ユーザーの少なくとも片方の目に向けられた少なくとも1つの対物レンズを備えたカメラを含む。コンピュータデバイスは、ディスプレイに表示されるポインターを含むディスプレイを含むこともできる。そのディスプレイは、ユーザーの頭に装着されたデバイスに取り付けられた又は別の方法で取り付けられた又はユーザーの頭に配置されたヘッドアップ型又はヘッドダウン型のディスプレイと、ユーザーの前に配置されたデスク型コンピュータモニターと、スクリーン上にデジタル的に投射された映像(例えば、ドライブ又はフライトシミュレータの場合のように)等を含む。ユーザーの目の動きは、カメラを用いてモニターすることができ、目の動きはディスプレイ上のポインターに相関させ、例えばコンピュータマウスの場合と同様にポインターを目の動きに追従させることができる。必要に応じて、カメラは、所定の目の活動、例えば所定時間の瞬き、について目の動きをモニターすることができ、その目に活動は、例えばコンピュータマウスのダブルクリックと同様に、ディスプレイ上のポインターで確認された1以上のコマンドを実行する指示に対応する。
【0015】
本発明の他の態様及び特徴は、図面を参照して以下の記載を検討することにより明らかになるであろう。
【図面の簡単な説明】
【0016】
【図1】患者の目又は瞼の動きに基づいて患者をモニターする装置の一態様を装着した病院患者を示す斜視図である。
【図2】図1の実施態様の拡大斜視図であり、検出デバイスとプロセッサボックスを備えている。
【図3A】瞼の動きのシーケンスに対応する出力信号を伝送するための回路構成の一例を示す模式図である。
【図3B】瞼の動きのシーケンスに対応する出力信号を伝送するための回路構成の一例を示す模式図である。
【図3C】瞼の動きのシーケンスに対応する出力信号を伝送するための回路構成の一例を示す模式図である。
【図3D】瞼の動きのシーケンスに対応する出力信号を伝送するための回路構成の一例を示す模式図である。
【図4A】瞼の動きのシーケンスに対応する出力信号に応じて装置を制御するための回路構成の一例を示す模式図である。
【図4B】瞼の動きのシーケンスに対応する出力信号に応じて装置を制御するための回路構成の一例を示す模式図である。
【図4C】瞼の動きのシーケンスに対応する出力信号に応じて装置を制御するための回路構成の一例を示す模式図である。
【図5A】瞼の動きを検出する回路構成の一例を示す模式図である。
【図5B】瞼の動きを検出する回路構成の一例を示す模式図である。
【図6A】光を向けて放射し、開けた目の表面からの反射光を検出するデバイスの別の実施態様を示す断面図又は前面図である。
【図6B】光を向けて放射し、開けた目の表面からの反射光を検出するデバイスの別の実施態様を示す断面図又は前面図である。
【図6C】光を向けて放射し、開けた目の表面からの反射光を検出するデバイスの別の実施態様を示す断面図又は前面図である。
【図7A】光を向けて放射し、閉じた瞼からの反射光を検出する、それぞれ、図6A〜6Cのデバイスの断面図と前面図である。
【図7B】光を向けて放射し、閉じた瞼からの反射光を検出する、それぞれ、図6A〜6Cのデバイスの断面図と前面図である。
【図7C】光を向けて放射し、閉じた瞼からの反射光を検出する、それぞれ、図6A〜6Cのデバイスの断面図と前面図である。
【図8】ユーザーの目及び/又は瞼の動きに基づいてユーザーをモニターするシステムの別の実施態様に係る斜視図とブロック図である。
【図9】ユーザーの目及び/又は瞼の動きに基づいてユーザーをモニターするシステムのさらに別の実施態様に係る部品のブロック図である。
【図10A】ユーザーの目及び/又は瞼の動きに基づいてユーザーをモニターするシステムのさらに別の実施態様に係るシステムの斜視図である。
【図10B】図10Aのシステムの一部についての模式詳細図である。
【図10C】例えば図10Aの目のフレームの鼻柱の上に配置されたエミッタとセンサのアレイの一例を示す詳細図である。
【図10D】光を反射し、目からの反射光を検出する図10Cのエミッタとセンサのアレイの断面図である。
【図11A】目の動きに基づいて離れた場所から多数のデバイスを選択的に制御する一システムの模式図である。
【図11B】図11Bのシステムにより制御される付加的なデバイスを示す模式図である。
【図12A】例えば図10A〜10Dに示すセンサアレイの活動と、そのアレイにモニターされる目との間の関係を示す表であり、目は開いた状態と閉じた状態との間を変化する。
【図12B】例えば図10A〜10Dに示すセンサアレイにより測定された一連のデータを示すグラフであり、時間に対して目を覆う時間のパーセンテージ(PERCLOS)を示す。
【図12C】例えば図10A〜10Dに示すセンサアレイを含むシステムによりモニターされた人の、PERCLOSを含む多くの生理学的パラメータのグラフィック表示を示す。
【図12D】二次元センサアレイの活動と、そのアレイにモニターされる目との間の関係を示す表であり、目は開いた状態と閉じた状態との間を変化する。
【図13】ユーザーの目及び/又は瞼の動きに基づいてユーザーをモニターする別のシステムの斜視図である。
【図14】図13のフレーム上のカメラの詳細図である。
【図15A】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15B】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15C】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15D】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15E】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15F】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15G】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15H】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15I】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図16】図13のフレーム上のカメラからの映像出力を示す詳細図である。
【図17】5構成要素センサアレイからの信号を処理する回路構成の一例を示す模式図である。
【図18A】パイロット用ヘルメットに取り付けられ、目の動きをモニターする別の実施態様を示す図である。
【図18B】パイロット用ヘルメットに取り付けられ、目の動きをモニターする別の実施態様を示す図である。
【図19】図18Aと18Bの装置の中に含まれるカメラの模式図である。
【図20A】多数のカメラからの同時出力を示すグラフィック映像であり、それぞれ、ユーザーが目を開けた状態と閉じた状態を示す。
【図20B】多数のカメラからの同時出力を示すグラフィック映像であり、それぞれ、ユーザーが目を開けた状態と閉じた状態を示す。
【図21A】目の動きのモニターを促進するため、瞳孔の周囲を確認できるように作成された楕円状の図を示すグラフィック表示である。
【図21B】目の動きのモニターを促進するため、瞳孔の周囲を確認できるように作成された楕円状の図を示すグラフィック表示である。
【図21C】目の動きのモニターを促進するため、瞳孔の周囲を確認できるように作成された楕円状の図を示すグラフィック表示である。
【図22A】ユーザーの目の動きをモニターするために、装置を装着したユーザーに対して行う覚醒検査の方法を示すフローチャートである。
【図22B】ユーザーの目の動きをモニターするために、装置を装着したユーザーに対して行う覚醒検査の方法を示すフローチャートである。
【図23】目の動きに基づきコンピューティングデバイスを制御する方法を示すフローチャートである。
【図24】経皮的に光を目に伝送し、目の瞳孔で励起された放射光を検出するための装置であり、それぞれ正面図と側面図を示す。
【発明を実施するための形態】
【0017】
図面を見ると、図1は、患者の目及び/又は瞼の動きを検出するための検出デバイス30を装着したベッド12の中の患者10を示している。検出デバイス30は、本明細書に記載したあらゆる種類のバイオセンサデバイスを用いることができ、目の随意的な動き、例えば目的あるコミュニケーションや、目の不随意的な動き、例えば眠気又は他の状態をモニターしたり、及び/又は1以上の電子デバイス(不図示)を制御するのに用いることができる。検出デバイス30は、プロセッサボックス130に結合することができ、そのプロセッサボックスは、検出された目及び/又は瞼の動きを一連のデータ、理解可能なメッセージ、及び/又は他の情報に変換することができ、例えばビデオディスプレイ50を用い、メディカルケアプロバイダー40に伝送することができる。
【0018】
図2,6A及び7Aは、装置又はシステム14の一例を示しており、従来の眼鏡20の対に取り付け可能であって、照準を合わせかつ焦点を合わせることの可能なデバイス30を含んでいる。眼鏡20は、フレーム22に取り付けられた一対のレンズ21と、ここでフレームはレンズ21間に延在するブリッジ部材24を有しており、耳片26を保持する側面部材又はテンプル片25とを有し、これらすべては従来のものである。あるいは、レンズ21が必要でない場合、フレーム22はレンズ21なしでも良い。
【0019】
検出デバイス30は、側面部材25の一方に取り付けるクランプ又は他の機構27と、その上に1以上のエミッタ32とセンサ33(不図示)を取り付ける調整可能アーム31を有している。エミッタ32とセンサ33は、眼鏡20を装着した人の目300に向けてエミッタ32が信号を放射し、目300と瞼310の表面からの反射信号をセンサ33が検出できるように予め所定の位置に取り付けられている。図6Aと7Aに示す例では、エミッタ32とセンサ33は互いに隣接して取り付けられている。
【0020】
あるいは、図6Bと7Bに示すように、エミッタ32’とセンサ33’は互いに離間してフレーム上に取り付けることもでき、例えば、エミッタ32’とセンサ33’とを実質的に横方向に配置することができる。さらに図6Cと7Cに示す別の例では、エミッタ32”とセンサ33”は同軸的に目300を横切って取り付けることができる。瞼302を閉じると、それによりセンサ33”によるビーム340の検出が妨害される。
【0021】
一実施態様では、エミッタ32とセンサ33は、それぞれ、連続あるいはパルス状の光を発生及び検出し、例えば、赤外線領域とし、気が散ることや装着者の通常の視覚が妨害されることを最小限に抑制している。エミッタ32は、所定の周波数でパルス状に光を放射することができ、センサ33は所定の周波数で光のパルスを検出できるように作製されている。このパルス状の動作は、エミッタ32のエネルギー消費を低減し、及び/又は他の光源による妨害を最小限にすることができる。あるいは、可視スペクトルの範囲を超えるあるいはその範囲内の別の周波数域の光、例えば紫外線、あるいは他のエネルギー形状、例えば電波や音波等を用いることができる。
【0022】
プロセッサボックス130は、中に1以上のワイヤ(不図示)を含むケーブル34により検出デバイス30に結合されている。図9に示すように、プロセッサボックス130は、中央演算ユニット(CPU)140、及び/又は他の回路構成、例えば、センサ33からの光強度信号等の出力信号142を受信及び/又は演算する図3A〜3D、図4A〜4C、そして図5A〜5Bの回路構成例を含む。プロセッサボックス130は、エミッタ32及び/又はセンサ33を制御する制御回路構成141を含んでも良く、あるいはCPU140は内部制御回路構成を含んでも良い。
【0023】
例えば、一実施態様において、制御回路構成141は、エミッタ32を制御して、所定周波数の点滅赤外線パルス信号、毎秒数千パルスから毎秒約4〜5パルス、例えば少なくとも毎秒約5〜20パルスを発生させ、1回の瞬き当たり約200ミリ秒と短い無意識あるいは意識的な瞬きの検出を促進することができる。センサ33は、エミッタ32の点滅周波数に対応した所定の周波数の光パルスのみ検出するように制御することができる。それにより、エミッタ32とセンサ33とを所定の周波数に同期させることにより、出力信号142が、明るい太陽光、完全な闇、周囲のバックグラウンド赤外線、あるいは異なる点滅周波数で作動する他のエミッタ等に実質的に影響されることなく、システム10を種々の環境条件で使用することができる。点滅周波数は、電力消費を最小限に抑えながら、単位時間当たりの瞬き回数(毎分約10〜約20回)、各瞬きの持続時間(例えば約200〜約300ミリ秒)、及び/又はPERCLOS(すなわち、瞼を完全に又は部分的に閉じている時間のパーセンテージ)を最大化し、あるいはシステムの効率を最大化するように調整することができる。
【0024】
制御回路構成141及び/又はプロセッサボックス130は、エミッタをオンオフし、センサ33の限界感度を調整し、及び/又は閉じた瞼からの赤外線の反射を最大にするように自己焦点調整できるように、当業者には明らかなように、周波数、焦点又はエミッタ32からの放射光の強度を、手動及び/又はソフトウェアによる制御部分(不図示)を有している。
【0025】
また、プロセッサボックス130は、エミッタ32、センサ33、CPU144、及び/又はプロセッサボックス130内の他の部品に電力を供給する電源160を備えていても良い。プロセッサボックス130には、9Vバッテリー、あるいは充電可能なリチウム、カドミウム又は水素発生バッテリー、及び/又はシステム14に取り付けられた又は内蔵された太陽バッテリー等の従来のDCバッテリーから電力を供給することができる。あるいは、従来のACアダプターや、12Vの自動車のライター用アダプター等のアダプター(不図示)をプロセッサボックス130に接続することもできる。
【0026】
CPU140は、通常の瞬きと瞼の他の動きとを区別するために、出力信号142の各構成要素の長さと所定の閾値とを比較するタイマー回路構成146を備えることもできる。タイマー回路構成146は、当業者には明らかなように、分離した独立の部品としても良く、あるいはCPU140の内部に設けることもできる。CPU140は出力信号142を一連のデータ144に変換し、そのデータは他の人又は装置と交信するのに用いることができる。例えば、CPU140により作成された一連のデータ144は、モールス信号やASCIコード等の二進信号を用いることができる。また、CPU140は、合成音声信号、装置用制御信号、又は絵画信号等の他の出力信号を発生させることができる。
【0027】
通信を促進するため、プロセッサボックス130は、一連のデータ144を用いる種々の出力デバイスを備えることができる。例えば、アラーム音や合成された音声を発生させる内部スピーカー150を設けることもできる。図1のビデオディスプレイ50等の種々の装置に直接配線接続する出力ポート148を設けることもできる。
【0028】
さらにあるいは代わりに、プロセッサボックス130は、一連のデータ144を離れた場所に無線送信するため、CPU144に結合したトランスミッタ152を備えることもできる。例えば、図9に示すように、システム14は、コンピュータ又は他の制御又は表示システム等の受信・演算ユニット154を備えることができる。トランスミッタ152には、短距離信号を発生することのできる無線周波数(RF)トランスミッタを用いることができ、例えば、約100フィート以上に到達でき、又は約45フィートから50フィート、壁や障害物を通過できるものである。あるいは、赤外線トランスミッタ等の他のトランスミッタを設けることもできる。
【0029】
トランスミッタ152は、ブルートゥース又は他のRFプロトコル等を用いて、一連のデータを数百あるいは数千フィート以上伝送させるため、アンプ(不図示)に結合することもできる。例えば、システムから何マイルも離れた場所に一連のデータを伝送するため、アンプとトランスミッタ152は電話線や人工衛星等を介して通信可能であり、将来の又遡及の分析のために、その場所では、データがモニタされ、リアルタイムで分析され、あるいは記憶される(例えばトラックや飛行機のブラックボックスレコーダーの中に)。そのシステムは、検出デバイス30を装着した個人の、位置、動き、及び/又は警報認識状態、覚醒状態、眠気又は感情的/身体的動作及び/又は安全をモニターするための全地球位置把握システム(GPS)を備えることも、あるいはそれに結合させることもできる。
【0030】
受信・演算ユニット154は、一連のデータを含み、トランスミッタ152により伝送される信号153を受信するために、無線周波数レシーバー等のレシーバー156を備えることもできる。プロセッサ158は、一連のデータの中に含まれる情報を翻訳、記憶及び/又は使用するレシーバー156に結合されており、プロセッサ158は、記憶回路構成160,通信デバイス162、及び/又は制御システム164に結合されている。例えば、受信・演算ユニット154は、記憶回路構成160を有しており、後に続く検索と分析のためにプロセッサ158はその中に一連のデータを記憶させる。
【0031】
プロセッサ158は、一連のデータを翻訳処理し、例えば、一連のデータ中の二進コードを理解可能なメッセージ、例えば、一連の文字群や単語群、及び/又はコマンドに変換することにより、及び/又は通信を促進するため、拡大通信デバイス又はソフトウェア(KE:NX又はWords Plus)を使用することもできる。得られたメッセージは、通信デバイス162上に表示されるが、そのデバイスには、テキスト、絵及び/又はシンボル、電子スピーチを提供するための合成された音声のモジュール等を表示するためのビデオディスプレイを含むことができる。
【0032】
あるいは、一連のデータは、コンピュータビデオスクリーン又は他の電子表示デバイス上にリアルタイムのメッセージ信号として図式的又は数字的に(例えば、瞬き速度、瞬きの時間、PERCLOS等を表示する)に表示することができ、又はEKG又はEEGトレーシングの場合と同様に図式的に表示することができる。また、図12Cに示すように、一連のデータを、他の生理学的データとともに表示することができ、そのデータには、皮膚電導度、体温、心臓血管データ(心拍数、血圧等)、呼吸データ(呼吸数、血中の酸素濃度及びCO2濃度等)、筋電記録(EMG)、及び/又は行動データ(すなわち、身体の動きや位置)、及び/又は睡眠ポリグラフ(PSG)又は脳波記録(EEG)の変数等が含まれる。あるいは、一連のデータを、自動車又は機械的機能(例えば、自動車速度、加速度、ブレーキ機能、トルク、振動又は傾き、エンジン又はモータのスピード)をモニターするコントローラと統合することができ、これにより、意識、覚醒、集中の状態、及び/又は運転者又は機械のオペレーターについてのリアルタイムの覚醒反応の動作に関係する機能だけでなく、道路及び/又は車両の状態に応じて自動車を減速したり加速したりする高度な判断を行うことができる。
【0033】
また、1以上の機械又は装置を制御するためにコントロールシステム164に指示を出すため。プロセッサ158によりメッセージを翻訳することができる。例えば、その一連のデータには、リレースイッチ又は他のデバイスを制御して、電気機器、電動車椅子、エンジン、ライト、アラーム、電話、テレビ、コンピュータ、触覚振動シート等の電気デバイスのオンオフを行うように、あるいは目で作動させるコンピュータマウス又は他のコントローラを動作するように、コントロールシステム164に指示するコマンドを含めることができる。
【0034】
あるいは、PC、IBM、マッキントッシュ及び他のコンピュータ、及び/又は互換性のあるコンピュータソフトウェア及び/又はハードウェア、例えば、マウスの場合と同様にコンピュータと相互に作用する、リターンキー及び/又はジョイスティックを制御するために、プロセッサ158は一連のデータを使用することができる。例えば、一連のデータは、WORDS−PLUSやKe:NX等の特別の通信用ソフトウェアのみならず、市販の一般的なソフトウェアとコンピュータゲームにおいて使用されているように、サブメニュー又は個々のアイテムが選択された一連のメニューを作動させるコマンドを含むことができる。プロセッサ158は、コントロール、スクロール又はコンピュータソフトウェアプログラムからの選択を行い、プリンター又は他のデバイスを作動させる(例えば、フォント、パラグラフ、タブ又は他のシンボルオペレータを選択し、”エディト”、”フォーマット”、”インサート”、”ヘルプ”等のコマンドを選択し、又はCD-ROM又はディスクドライブの動作、及び/又は他のウィンドウズ(登録商標)と非ウィンドウズ(登録商標)の機能を制御する)。
【0035】
また、レシーバー156は、ユーザーとデバイスとの間の直接的な接続を提供するため、種々のデバイス(不図示)、例えば、ラジオ又はテレビコントロール、ランプ、ファン、ヒーター、モータ、体感振動椅子(vibro-tactile seats)、リモートコントロールの乗り物、乗り物のモニタ又は制御デバイス、コンピュータ、プリンタ、電話、ライフライン装置、電子玩具、又は拡大通信システム等に直接結合することができる。
【0036】
使用している間、検出デバイス30は、ユーザーの頭の上に配置する、すなわち、図1に示すように眼鏡をかけることにより配置することができる。調整可能なアーム31及び/又はクランプ27を、エミッタ32とセンサ33とがユーザーの目300に向くように最適配置となるように調整することができる(図6A〜6C及び7A〜7C参照)。エミッタ32を作動させ、エミッタ32からの光ビーム340を目300に向けることができる。エミッタ32の強度及び/又は周波数、及び/又はセンサ33又は他の焦点の限界感度をその時に調整することができる(例えば、自己調整機構を利用して手動又は自動で)。
【0037】
目300自身の表面と瞼302の表面の反射特性に差があるため、目300からの反射光の強度は、目が開いているか閉じているかにより異なる。例えば、図6Aと6Bは目が開いた状態を示しており、そこでは、エミッタ32から発生した光線340は目300自身の表面に当たり、光線350により示されるように散乱される。これにより、センサ33により検出される光の強度は比較的小さくなり、すなわち、センサ33は実質的に戻り信号を受信することがない。
【0038】
図7Aと7Bでは、瞼302が閉じた状態の目を示しており、その状態は、通常の瞬き、眠い瞬間、意図的な瞬き、又は他の瞼の動きの間に起きるものである。光線340は瞼302に当たるので、光線360のように光は反射して実質的にセンサ33に戻り、センサ33により比較的高い光強度が検出される。あるいは、7Cに示すように、光線340は、目を閉じた時には、瞼302により乱され又は遮断される。
【0039】
センサ33は、結果として、センサ33により反射光が検出される時間と検出されない時間に対応して、目300が開いているか閉じられているかを示す光強度信号を生成させる。一般に、瞼の表面から反射される赤外線の強度は、皮膚の着色には実質的に影響されない。瞼からの反射光の強度を調整する必要がある場合、フォイル、キラキラ輝く装飾品(glitter)、反射性の保湿クリーム等を反射率を増加させるのに用いることができ、あるいは、黒目ライナー、吸収性又は屈折性のクリーム等を反射率を低下させるのに用いることができる。
【0040】
図9に戻ると、センサ33により検出される光強度は、結果として出力信号142となるものであり、一連の時間依存性の光強度信号(例えば図12Bに示すように)を含んでいる。出力信号142は、センサ33に結合したCPU140により受信され、そこで、閉じた目の状態に応じて各光強度信号142の時間長さを所定の閾値と比較する。タイマー回路構成146は、通常の瞬きを意図的及び/又は他の意図的でない瞼の動きと区別するためにCPU140に閾時間を与えることができ、CPU140はそれに応じて出力信号142をフィルターする。次いで、CPU140は、随意的及び/又は不随意的な通信に用いる一連のデータを生成させる。
【0041】
有用な一の応用として、検出デバイス30を、ユーザーの切迫した眠気又はマイクロ睡眠(すなわち、覚醒状態を襲う数秒程度の眠気)を検出するのに用いることができ、プロセッサボックス130はユーザーや、ユーザーの側の他人、又は襲う眠気をモニターする装置に警告を発することができる。CPU140が、人が寝入った時のように目を比較的長い時間閉じている状態も検出できるように、タイマー回路構成146の閾値を調整することもできる。
【0042】
例えば、通常の瞬きは比較的短いので、通常の瞬きと眠気により引き起こされる瞼の動とを区別するために、閾値は、ゼロ秒に近いところから数秒の範囲に設定することができ、例えば約200〜300ミリ秒、又は別の実施態様では約250ミリ秒とすることができる。CPU140が眠気を検出すると、すなわち、所定の閾値を超える高い光強度信号を検出すると、警告デバイスを起動させる。警告デバイスは、スピーカー等をプロセッサボックス130に内蔵させることもでき、あるいは、警告ライト(不図示)又はアラームスピーカー(図9にはない。図10Cを参照)をフレーム上に取り付けることができる。別の例では、警告デバイスに、別の箇所で説明する振動シート等の体感デバイスを用いることもできる。
【0043】
あるいは、検出デバイス30を用いて、眠気による瞼の動きを目立たないように記録又はモニターすることもでき、CPU140が一連のデータを作製し、トランスミッタ152が受信及び演算ユニット154(図9)に伝送する。例えば、デバイス30を車両の安全システムと共に用いて、運転者の意識状態又は注意状態をモニターすることもできる。一連のデータ144は、車両に搭載された受信及び演算ユニット154に伝送することができ、そのユニットは運転者の眠気についてのデータを記憶し、及び/又は、車両の速度調整や車両のエンジン停止等の車両の制御を行うため、所定のアルゴリズム反応に基づき判断を行うためにそのデータを用いることができる。これにより、検出デバイス30は、トラック運転手、タクシー運転手、船又は飛行機のパイロット、列車の車掌又はエンジニア、レーダー又は空港管制塔のオペレータ、重機又は工場機械のオペレータ、スキューバダイバー、学生、宇宙飛行士、エンターテイメントの関係者又は観客等をモニターすることができる。
【0044】
検出デバイス30とシステム14は、医療診断、治療、又は専門的な方法に用いることもでき、覚醒、睡眠パターン、及び/又はストレスの多い状態又は覚醒剤(例えば、カフェイン、ニコチン、デキストロ−アンフェタミン、メチルフェニデート、モダファニル)、鎮静剤(例えば、ベンゾジアザピン、アムビエン)、又は光と闇の効果を変える概日リズム、又はメラトニンの、これらは患者や車両オペレーターの瞬きの回数、速度、持続時間又はPERCLOSに影響を与えるものであり、交感神経系及び副交感神経系への影響をモニターする。デバイスを使用する個人の眠気の影響を予測するため、時間をかけて測定された変化の動向を知るため、信号をリアルタイムで記憶及び解析することができる。
【0045】
前述の方法と同様に、CPU140は一連のデータ144を発生させ、そのデータをトランスミッタは離れた受信及び演算ユニット154に送ることができる。受信及び演算ユニット154は、記憶回路構成160の中に一連のデータ144を記憶させることができ、これにより、後で修正及び解析を、研究者、医療専門家、又は安全人員(safety personnel)(例えば、飛行機の”ブラックボックス”レコーダーの中にフライトレコーダーのデータが記憶される方法と同様である)が行うことができる。受信及び演算ユニット154は、一連のデータ144を表示することもでき、例えば、ナースステーションで、患者の身体的、精神的、又は感情的な状態を連続的にモニターするための追加のパラメータとして表示することができる。ユニット154は、記憶及び/又は信号を発生させるが、例えば、肯定及び否定の間違いを防ぐために所定の時間内に反応しなければならない一連のアルゴリズムにより行う(例えば覚醒動作モニタリング)。
【0046】
多くの医学的状態、例えば、目が毎秒約3回震える小発作てんかん、パチパチしながら繰り返し目を凝視又は閉じる大発作又は精神運動発作、瞼をパチパチしながら開けたり閉じたりするミオクロニーてんかん、又はチック、又は、例えばトゥーレット症候群の人達に見られるような他の目の動き、を検出デバイス30とシステム14によりモニターすることができる。そのシステムは、プラス又はマイナスの重力効果により起きるパイロットのg-LOC(意識喪失)、飛行機内の気圧が低下することによる乗客又は乗員の酸素欠乏症、ダイバーの窒素酔い又はベンズ(bends)、又はガス、化学薬品、薬、及び/又は軍人又はその他の人間に対する生物薬剤をモニターするのに用いることができる。
【0047】
そのシステムは、心理状態のモニターにも用いることができ、例えば、ストレスを検出したり、又は睡眠の間、人が横になっている時(例えば、横になり目を閉じたりあるいは動かすことにより)、注意力をモニターして、目の機能が低下する状態に対するドラッグ又は医薬品の負の副作用及び/又は正の治療効果(例えば、パーキンソン病において瞬き速度を改良するためのL-ドーパ、目のチックや、ALSや重症筋無力症のような神経筋異常を処置するのに用いられるドラッグ)、相関視覚測定に基づくドラッグ又はアルコールの濃度(眼振又は閃光に対する遅延瞳孔反射)、抗痙攣薬、ドラッグ、アルコール、毒の治療効果及び副作用、又は酸素欠乏症又は換気の効果等の1以上について測定する。すべての年齢の患者の神経学的状態をモニターすることができ、例えば、目又は瞼の神経支配的又は機械的な機能が影響を受ける、パーキンソン病や筋病、例えば筋強直症、筋強直性ジストロフィー、眼瞼痙攣、羞明又は光過敏症、エンセファロパシー、発作、ベル麻痺の場合や、又は視覚を失ったり(例えば黄斑変性症)、瞼の垂れ又は眼瞼下垂症が現れる、第III脳神経麻痺又は不全麻痺、脳幹障害又は発作、腫瘍、感染、代謝性疾患、外傷性神経症、退行症、例えば多発性硬化症、筋萎縮性側索硬化症、多発ニューロパシー、重症筋無力症(myesthenia gravis)、ボツリヌス中毒、強縮、テタニー、遅発性ジスキネジー、脳幹脳炎、そして他の原発性の瞼の症状、例えば、眼球突出症、甲状腺中毒症又は他の甲状腺症の場合である。同様に、検出デバイス30は歩行状態でも用いることができ、上記のあらゆる神経眼科的及び眼科的な障害の進行及び/又は緩解を研究することができる。
【0048】
同様に、検出デバイス30はバイオフィードバックの用途に用いることができ、例えば、特定の症状(例えばチック異常)の睡眠又は心理学的治療法に用いることができる。検出デバイス30は刺激を発生させることができ、例えば、明かり又はスピーカーを起動させ、所定時間内に刺激を認識したことを示す反応、例えば瞬きの特定のシークエンス等の反応を受信すべくユーザーの瞼の動きをモニターする。もしユーザーが反応しなければ、プロセッサは反応時間等を含む反応について記憶し、及び/又はアラーム信号等の信号を自動的に送信することができる。
【0049】
また、検出デバイスは、医療関係以外にも人間のモニターに用いることができ、例えばユーザーの家庭等の通常の活動の間においても用いることができる。例えば、てんかん又はナルコレプシー等の不随意の症状を持つ人のモニターに用いることもでき、あるいは幼児、子供、刑務所の囚人、発狂した患者(例えば、アルツハイマー病を持った人)、警察官、軍人、銀行の出納係、レジ係、カジノ従業員、学生、交替又はグレーブヤードシフトの労働者等に対しても用いることができる。同様の応用は睡眠実験室における睡眠ポリグラフ測定(例えば、PSG,MSLT,MWT)についても可能であり、寝ている患者に対し、睡眠の兆候、睡眠の潜在性、瞼を閉じているあるいは開いている時間、夜の覚醒している時間等のパラメータを測定し、あるいは動物の研究においては、瞬き、瞳孔変化及び/又は遅かったり速かったりする目の動きが研究対象であり、あるいは幼児の視覚についての神経発達機能の研究にも用いることができる。
【0050】
検出デバイス30は、他のリラックス用、鎮静用又はアラーム用の技術又はデバイスに対してのみならず、前述の薬(例えば興奮薬)、アルコール又は他の違法ドラッグ、毒素、毒薬についても、眠気、覚醒又は警報効果を研究又はモニターするのに用いることができる。同様に、ユーザーの特徴及び不眠の程度を測定し、PERCLOSの直接の関数として又はPERCLOSと関係づけて解析することができる。
【0051】
CPU140が特定の瞼の動き、例えば、てんかん発作や、失神エピソード(syncopal episode)や、ナルコレプティックエピソード(narcoleptic episode)の間に、あるいは運転中や仕事中の居眠りをしている時によく見られる、目を閉じている時間が長くなる等の瞼の動きを検出した場合、CPU140はアラームを起動させる出力信号を発生させる。あるいは、トランスミッター152が使用されている装置を止める出力信号を送り、自動的に緊急サービスにダイアルさせるように電話を自動的に起動させる等により医療関係者に知らせたり、警察、救急車、車両コントロールセンター、保護者等の離れた場所に信号を送ることができる。
【0052】
システム14には、自発的な通信のための有用な用途がある。検出デバイス30を装着したユーザーが、モールス信号又は他の瞬きコード等の所定のパターンで瞬きを意図的に行い、人々又は装置(例えば緊急を知らせるための)に理解可能なメッセージを送ることができる。CPU140は、センサ33から受信され瞬きコードに対応する光強度信号142を一連のデータ142に変換し、あるいは文字、単語及び/又はコマンドを含む理解可能なメッセージへと直接変換することができる。
【0053】
一連のデータ144は、出力ポート148に結合したビデオディスプレイ50(図1参照)に表示され、あるいは内部スピーカー150から合成スピーチとして出力される。一連のデータ144は、メッセージを表示したり、コントロールシステム164に接続された家庭用デバイス等をコントロールするため、信号153を介してトランスミッタ152により受信及び演算ユニット154に伝送される。住宅用に加え、システム14は、病院加療又は看護ケアを受けている患者、例えば、挿管され、換気され、拘束され、麻痺したあるいは弱った患者により使用され、付き添いの医療スタッフと意志の疎通を図り、及び/又は意識してナースステーションに信号を送ることができる。対象となる患者は、言語で意志疎通を図る身体能力のない患者だけでなく、片目又は両目の瞬きにより意志表示をすることができる患者も含まれる(例えば、筋萎縮性側索硬化症、横断性脊髄炎、閉じ込め症候群(locked-in syndrome)、脳血管性発作、末期筋ジストロフィー(terminal muscular dystrophy)を持った患者や、換気のため挿管された患者である。)。
【0054】
デバイスは、あらゆる環境又は領域内で使用することができ、それには水又は他の実質的に透明な流体が含まれる。さらに、デバイス30は緊急の通知及び/又は独立した安全確保用ツールとしても用いることができる。通常の言語能力のある人であれば、通常の意志疎通手段、すなわち言語、が困難な場合であってもデバイス30を装着することができる。例えば、銀行又は小売店の従業員は、強盗に襲われた時あるいは犯罪現場に居合わせた時、一人で予め設定された警報を瞬きすることにより、警備部門に連絡したり又は警察を呼ぶことができる。あるいは、治療を受けている人が、身体的な能力がない場合、すなわち、緊急の医療ケアを呼ぶために動くことができないが、自分で目を動かすことができる状態にある場合には、デバイスを装着することができる。そのような場合、予め記録されたメッセージ又は確認データ(ユーザーの名前、居場所、緊急内容等)を、特定の一連の瞬きコード又は予め設定されたメッセージにより離れた場所に伝送することができる。この方法によれば、検出デバイス30は、ICUの中の患者、換気されている患者、囚人、老人又は障害者、重機のオペレーター、トラック運転手、モータリスト、船舶及び航空機のパイロット、列車のエンジニア、レーダー又は航空管制塔のオペレーターをモニターするのに用いることができ、又は軍の警備担当、警察銀行出納係(police bank tellers)、レジ係、タクシー運転手等によるコミュニケーションのための非言語的又は閾下のツールとしても用いることができる。検出デバイス30は、レクリエーション用のデバイス、例えば、ウォーキートーキーに似た子供の玩具又は玩具の車をリモートコントロールするためのデバイスとしても用いることができる。
【0055】
また、検出デバイス30を連続使用するために、CPU140に付加的な閾値比較を実行させることが好ましい。例えば、付加的なタイマー回路構成をCPU140に結合し、CPU140に、センサ33から受信した光強度信号と、タイマー回路構成により提供される第2の所定の閾値とを比較させることができる。第2の所定の閾値は、人が普通に瞬きを行う間の時間間隔に対応する。CPU140がこの時間間隔内で通常の瞬きを検出できない場合あるいはユーザーが所定の刺激(明滅光又は音等)に反応しない場合、CPU140は信号を発生し、スピーカー150を起動させあるいはトランスミッタ152を用いて警報を伝送する。
【0056】
このことは、間違いアラームの防止やユーザーの注意状態の測定のためだけでなく、検出デバイス30が犯罪現場において犯人により外されたり、一連の医療エピソードにより落ちたりした場合等にも役立つ。また、ユーザーは特性に注意する必要があり、信号が意図的か又は間違いアラームであるか、そしてまたバイオフィードバックのために注意力又は眠気を測定しているかどうか、そしてまたデバイスを装着したユーザーの反応を測定しているかどうかを判断する必要がある。
【0057】
また、睡眠実験室で患者をモニターして、眠気の兆候、潜在的な眠気、瞼を閉じている時間等を測定したり、あるいは刑務所の囚人をモニターしたりする場合等において、出力信号142の極性を逆転させ、目が開いている時のみ、一連のデータを生成させるようにすることもできる。そのような目的の場合、当業者に理解可能なように、開いた目の状態が検出された時のみCPU140がアラームを起動させるようにすることもできる。
【0058】
図8に、検出デバイス30の別の実施態様を示す。この実施態様においては、エミッタとセンサは単一の固体型光放射及び検出バイオセンサデバイス132であり、眼鏡20の上に直接固定されている。バイオセンサデバイス132は赤外線を発生及び検出し、その大きさは2mm×4mm、重さは数gであり、検出デバイス30を使い易くし、快適にし及び/又は自由度を大きくしている。大きさが小さいので、図8に示すようにバイオセンサデバイス132をレンズに直接取り付けることができ、目の動きを検出し易いように、目のレンズの外表面又は内表面の上、鼻柱に又はフレーム22の別の場所に取り付けることができる。バイオセンサデバイス132は約5mm×5mmより小さい表面積を測定し、少なくとも約1オンスの重さを測ることができるので、視覚の邪魔にならず、持ち運びでき、軽量の眼鏡フレームに容易に組み込めるエミッタ/センサの組み合わせを提供できる。全システムがフレームに内蔵されているので、ユーザーがどの方向を見ようとユーザーとともに移動し、種々の環境又は領域で、日夜や、水中等でも作動させることができる。
【0059】
浜松はバイオセンサデバイス132に使用できる種々の赤外線エミッタ及び検出デバイスを製造しており、モデルNo.L1909、L1915−01、L2791−02、L2792−02、L2959、そして5482−11等があり、あるいはラジオシャック(Radio Shack)赤外線エミッタモデルNo.274−142を用いることもできる。線形光学走査センサアレイ等のマルチエレメントアレイも使用可能であり、テキサス州プラノのテキサスアドバンストオプトエレクトロニックソルーション社(TAOS)のモデルNo.TSL201(64ピクセル×1ピクセル)、TSL201(128×1)、TSL208(512×1)、TSL2301(102×1)を用いることができる。検出光を集束させるため、これらのセンサをレンズアレイと組み合わせて用いることができ、そのレンズアレイには、例えばカリフォルニア州アーバインのNSGアメリカ社で製造されている線形走査用のセルホック(Selfoc)レンズアレイを用いることができる。
【0060】
また、マルチバイオセンサデバイス132は眼鏡20の上に取り付けることができ、例えば、図8に示すように一対のバイオセンサデバイス132が眼鏡の上に取り付けられ、ユーザー(不図示)のそれぞれの目の瞼の動きを検出することができる。上述のプロセッサボックス130と同様に、各バイオセンサデバイス132から延びるケーブル134はプロセッサボックス130に続いている。プロセッサボックス130(図8には不図示)のCPU140は、各バイオセンサデバイス132からの出力信号を受信して比較し、通常の瞬きを他の瞼の動きから識別する力をさらに増大させることができる。
【0061】
一対のバイオセンサデバイス132により、より複雑なコードを使用することができ、例えば、当業者にも理解可能なように、それぞれの目を別々にあるいは一緒に瞬きすることにより、より効果的かつ便利にコミュニケーションをとることができる。一例として、一方の目の瞬きをドットに対応させ、他方の目の瞬きをダッシュに対応させてモールス信号として使用することができる。それぞれの目からの出力信号はCPU140により解析され理解可能なメッセージへと変換される。
【0062】
別の例では、右目の瞬き(又は瞬きの連続)が電動車椅子を右方向に移動させ、左目の瞬きが左方向に移動させ、両目を同時に2回瞬きすると車椅子を前進させ、及び/又は両目を同時に4回瞬きすると車椅子を後退させることができる。同様の瞬きの組み合わせ又は連続は、テレビ、AM/FMラジオ、VCR、テープレコーダ又は電子デバイスや電気機械デバイスのオン/オフ機能、音量又はチャンネルのコントロール、あらゆる拡大コミュニケーション又はコントロールデバイス、又は単にオン/オフスイッチで操作可能なあらゆるデバイス(ワイヤレスのテレビリモートコントロールシングルスイッチテレビコントロールユニット、汎用リモートコントローラ、壁スイッチモジュール又は壁スイッチコントローラを備えたACプラグ付きのシングルマルチ機器ユニット、コンピュータの入力アダプター、点灯するシグナルブザー、振動するシグナルボックス、すべてのタイプのスイッチモジュール、ビデオゲーム用コントローラスイッチモジュール、そしてスイッチコントロールの電子玩具)のコントロールに用いることができる。
【0063】
また、バイオセンサデバイスにより放射及び/又は検出された光や、各エミッタ、及び/又は検出器をコントロールするために、1以上のレンズ又はフィルターを設けることができる。例えば、プリズム又は他のレンズで放射光の角度を変更したり、あるいは目に向ける所定ビーム形状の光を作製したり、反射光をセンサで受光するために、スリットを通すことにより光を柱状にしたり又は集束させることができる。放射された光ビームの幅等の形状を調整可能とするため、あるいはセンサの感度を調整するため、レンズアレイを設けることができる。レンズは、当業者に理解可能なように、プラスチック等の中にエミッタとともにエミッタに沿って配置され、あるいは別体の付属部品として用いられる。
【0064】
図10Aはシステム414の別の実施態様であり、フレーム422上に直接設けられた結合したプロセッサ及びトランスミッタ回路構成430を備えたバイオセンサデバイス432を含むフレーム422を有し、例えば、システム414の使い易さと自由度を大きくしている。フレーム422は、鼻柱424を含んでも良く、その上にバイオセンサデバイス432を固定的に、スライド移動可能に、及び/又は調整可能に取り付けることができ、そして一対の耳掛け部材423,425を含むことができる。
【0065】
例えば、一方の耳掛け部材423の大きさを他方の耳掛け部材425よりも大きくすることができ、これにより、プロセッサ及びトランスミッタ回路構成430を埋め込んだり、あるいはその上に取り付けたりすることができる。プロセッサ440は、プロセッサボックス130中の前述のCPU140と同様に、フレーム422上に設けることができ、リチウムバッテリー等の電源を耳掛け部材423に挿入又は固定することができる。無線又は別のトランスミッタ452(例えばブルートゥース又は他のプロトコルを用いる)を、テンプル片中に又はフレーム422の別の場所に存在するアンテナ453を含む耳掛け部材423上に設けることができ、そのアンテナは、埋め込んだりあるいは耳掛け部材423に沿って固定することができる。
【0066】
システム414は、耳掛け部材423又はフレーム上の他の場所に設けたマニュアルコントロール部を含むこともでき、例えば、電源をオンオフしたり、バイオセンサデバイス432の強度及び/又は閾値を調整することができる。システム414は、眼鏡の場合のようにレンズ(不図示)を含んでも含まなくても良いフレーム422上に内蔵されている。外部ケーブル又はワイヤを減らすことができるので、コミュニケーション及び/又はユーザーのモニターのための便利で快適なシステムを提供することができる。
【0067】
別の例を図10B,10C,10Dに示すが、エミッタ532とセンサ533の線状アレイ530が、例えば、眼鏡フレーム522の鼻柱524の上に垂直方向に取り付けられている。CPU540、バッテリー460、トランスミッタアンテナ543,そして警報指示器550が、例えば前述の実施態様と同様にテンプル片525の中に設けられている。ユーザーからの日常的なバイオフィードバック反応が可能なように、LED542又は他の刺激デバイスを眼鏡フレーム522の所定の位置に設けることができる。また、CPU540で作成された一連のデータを受信し、トランスミッタ543により伝送するため、レシーバー544を設けることができる。
【0068】
図10Cに示すように、各センサ533及びエミッタ532は、エミッタ532をコントロールするため及び/又はセンサ532からの光強度信号を処理するため、CPU540又は他のコントロール回路構成に結合することができる。これにより、本明細書に記載した別のプロセッサの場合と同様に、CPU540はアレイ530中のセンサ533を循環し、各センサ533からの信号を連続的に処理することができる。図10Dに示すように、エミッタ532は、光ビーム(それぞれ360a,360bで示されている)を目300の方向に、例えば瞳孔301の方向に集束させるレンズ534を有している。センサ533は鼻柱524の内部に埋め込まれており、スリット535は各センサに対して設けられており、スリットは各センサ533により検出される反射光をコントロールできるように所定の大きさを有している。これにより、各センサ535は、目300の特定の部分を通過する瞼302の動きを検出することができ、例えば、図12Aに示すようPERCLOSを測定することができる。センサ又はエミッタは、放射光又は反射光を集束させるレンズ又は柱状デバイスを含むこともできる。
【0069】
線状アレイ530は、単に目が閉じている否かだけではなく、瞼の動きについての付加的なパラメータの測定にも利用でき、例えば、瞼を開けたり閉じたりする速度、すなわち目を閉じる速度を測定することができ、CPU540は連続するセンサ533間における活性化の時間遅れを比較することができる。また、部分的に目を閉じたこと等による瞼302による瞳孔の被覆率を、時間の関数として測定するためにセンサ533からの出力信号を処理することができ、例えば目が完全ではなく部分的に閉じられた時にモニターし、及び/又は図12A〜12Cに示すように目が閉じられている時間のパーセンテージ(PERCLOS)をモニターし、ユーザーが最大限に目を開けたベースラインと比較する。
【0070】
図12Dは、別の実施態様であり、センサの2次元アレイを示している。5×5アレイ633や、9×11アレイ733は例示であり、あらゆる数のエレメントを含む他のアレイも可能である。例えば、以下に説明するように、センサには、数百又は数千ピクセルのグリッド又は他のパターンを有するCMOS又はCCDデバイスを用いることができる。センサ633,733は、エミッタ632からの光の表面反射率を測定するのに用いることができ、すなわち、プロセッサ(不図示)はアレイ633,733中の各センサからの信号を処理し、瞼302により覆われた目の表面積のパーセンテージ及び/又は瞳孔の相対位置を示す一連のデータを作製する。
【0071】
アレイ633,733中のセンサは十分に高感度あるいは十分な解像度を有しているので、瞳孔301を通過する網膜からの反射光による”赤色反射”又は同等の赤外線”明色瞳孔”反射を検出することができる。これにより、センサは、赤色反射又は明色瞳孔がないことを示す実質的にゼロの値を含む光強度信号や、赤色反射又は白色瞳孔反射を示す低出力信号、そして、閉じた瞼302からの反射を示す高出力信号を発生させることができる。赤色反射は、明白色光瞳孔として現れる(エミッタ(群)からの赤外線が瞼が開いている時の網膜に反射して現れ、又はプロセッサが減法アルゴリズムを用いている場合には暗色又は”黒色瞳孔”として現れる。)プロセッサは、瞳孔301が瞼302により覆われている状態を検出するために光強度信号を処理する、すなわち、目が完全に瞼302により覆われていなくても、ユーザーはその状態を見ることはできず、その状態はPERCLOS値で第一次注視(primary gaze)の約50〜75%である。また、瞼、目、そして瞳孔が下降すると、PERCLOS測定の結果が75〜80%以上でも、センサ(群)は、赤色反射又は明色瞳孔を検出することができ、例えば、その状態では、下方注視において、目はまだ、狭いスリット状の瞼の裂け目開口を通して見ることができる。
【0072】
別の例では、プロセッサ及び/又はトランスミッタ回路構成(図2のプロセッサボックス130中のCPU140又は図10Aと10BのCPU440,540)は、確認回路構成(不図示)を、別体のメモリーチップとして又は他の回路エレメントとして又はCPU自身の内部に含むことができる。確認回路構成は、所定の確認コードでプログラムすることができ、又はユーザーの身分照明、ユーザーの居場所、ユーザーに特徴的なバイオメトリック測定(例えば、固有虹彩(unique iris)又は網膜パターン、指紋、音声認証)、各検出デバイスに対する確認コード等の選択された確認情報を含むようにプログラム可能である。
【0073】
CPUは、伝送された一連のデータ553に確認情報を付加することができ、あるいは確認情報は自動的に又は定期的に、連続的に又は断続的に、一連のデータの中に組み込まれ、それにより、その一連のデータを特定の検出デバイス、個々のユーザー、及び/又は特別な場所に関連付けることができる。確認情報は、例えば離れた場所でプロセッサにより使用され、そこでは多数の検出デバイスからのデータが識別され、次いで前述のように記憶、表示等がなされる。そのため、システムを使用している時には、ユーザーが特定の確認又は標準情報を要求されることはない。
【0074】
図11Aに示すように、レシーバー544により、シングルスイッチマルチアプライアンスコントロールユニット550を介してレシーバー544に結合された1以上のデバイスをコントロールすることができる。コントロールユニット550は、個々のコントロールモジュール552a−552fにより受信されるオン/オフ又は他のコントロール信号を伝送するために取り付けられた自身のトランスミッタを備えている。ユーザー10は、瞬きすることにより、伝送される一連のデータ553を作製し、コントロールユニット550やコントロールモジュール552a−552fを使用する選択された電気装置、例えば、ラジオ554、テレビ556、ライト558a、壁スイッチ560にコントロールされるライト562、壁ソケット564にプラグを差し込んだ扇風機564等のスイッチを切ったり入れたり、あるいはコントロールすることができる。
【0075】
また、図11Bに示すように、レシーバー554を、他のシステム、例えば、コンピュータ570,プリンター572、車両集積システム574、ライフラインユニット576、GPS又は他の衛星トランスミッタ578等と結合することができる。伝送された一連のデータ553は、単独であるいは他の車両センサ情報及び/又は人的構成要素等(EKG、EEG、EOG、脈膊、血圧、呼吸速度、酸素飽和度、アクチグラフ、頭の位置、声分析、体温、皮膚電導度、自己評価測定及び覚醒反応特性、固定された非着用の計器盤又は日除けに取り付けられたカメラシステム等)の追加データとともに処理され、長距離トラック運転手等のユーザーのモニターのさらに効果を発揮する。
【0076】
図13は、目の動きをモニターする別の実施態様のシステム810を示す。一般に、システム810は、鼻柱814と一対の耳掛け部材816、1以上のエミッタ820、1以上のセンサ、及び/又は1以上のカメラ830,840を含むフレーム812を有している。フレーム812は、処方レンズ、影付きレンズ又は保護レンズ等の一対のレンズを有していても良いは、それらを省略することもできる。また、ユーザーの頭に装着可能な他のデバイス、例えば、パイロットの酸素マスク、保護用眼鏡ギア、患者用換気装置、スキューバ用又は水泳用マスク、ヘルメット、帽子、ヘッドバンド、ヘッドバイザー、保護用ヘッドギア、又は頭及び/又は顔を保護する密閉スーツの内部等(不図示)にシステムを設けることもできる。システムの構成要素は、ユーザーの視界及び/又はデバイスの通常の使用の妨害とならないように、デバイスの種々の位置に設けることができる。
【0077】
図示の通り、エミッタ820のアレイはフレーム812上に設けられており、例えば垂直アレイ820aや水平アレイ820bとして設けられている。さらに又は代わりに、円状アレイ(不図示)等の別の配置でエミッタ820を設けることもでき、光フィルター及び/又はディフューザー(不図示)を含んでも含まなくても良い。一態様として、エミッタ820は所定周波数のパルスを放射するように配置された赤外線エミッタであり、本明細書中の別の態様と同様である。エミッタ820は、ユーザーの1以上の目を含むユーザーの顔領域の上に基準フレーム850を向けるようにフレーム上に配置することができる。図示の通り、基準フレームはその領域を四分円に分割する一対の交差バンド850a,850bを含んでいる。一態様として、交差バンドの交点を、第一次注視、すなわち、ユーザーが概ねまっすぐを見ている時に目の瞳孔に実質的に対応する位置に配置することができる。あるいは、垂直及び水平成分、角度及び放射状成分、又は他の直交成分等を含む他の基準フレームを設けることもできる。必要により、実質的に一定である1以上の基準点を設け、以下に説明するように目の相対運動のための有効な基準フレームとすることもできる。
【0078】
ユーザーの瞼から反射されたエミッタ820からの光を検出するために、フレーム812上にセンサ822のアレイを設けることもできる。本明細書に記載された別の態様と同様に、センサ822は、瞼が閉じているか開いているかを確認するために必要な強度を有する出力信号を発生させることができる。センサ822は、瞼の各部分から反射された光を検出するため、各エミッタ820に隣接して配置することができる。あるいは、センサ822を垂直アレイの形で配置することもでき、例えば、本明細書に記載された別の態様と同様に、瞼の閉じた程度をモニターするために鼻柱814に沿って配置することもできる。さらに別の態様では、エミッタ820とセンサ822は、単一のデバイスで放射及び検出の両方が可能な固体型のバイオセンサ(不図示)であっても良い。必要に応じ、エミッタ820及び/又はセンサ822を省略しても良く、例えば、カメラ830,840が以下に述べるように十分な情報を提供してくれる場合には省略することもできる。
【0079】
センサアレイから発生する信号を用いてPERCLOS又は他のパラメータを測定するための、回路構成及びソフトウェアを設けることもできる。例えば、図17は、5つの構成要素アレイからの信号を処理するのに用いる模式構成例を示しており、例えばPERCLOS測定値又は他の警告パラメータを得るために用いることができる。図13に戻ると、システム810は、ユーザーの片目又は両目に方向に概ね配置された1以上のカメラ830も有している。各カメラ830は、柱部814(又はフレーム812の別の場所、例えばユーザーの視界の妨害を最小限にできる位置)に一端を取り付け又は隣接させ、他端837を、映像をデジタルビデオ信号に変換するCCD又はCMOS等の検出器838に結合させた、光ファイバーバンドル832を有している。例えば光ファイバーバンドルの上に映像を集束させるため、図14に示すように、光ファイバーバンドル832の一端上に対物レンズを配置することができる。必要に応じ、図14に示すように、光ファイバーバンドル832は、レンズに隣接して終了し、エミッタ836を提供する1以上の照明用ファイバーを含むこともできる。照明用ファイバー(群)は、図22に示す態様と同様に及び以下に説明するように、光源(不図示)と結合させることができる。図13では1個のカメラのみが示されているが(例えばユーザーの左目だけをモニターするため)、別のカメラ(不図示)をユーザーの他の目(例えば右目)をモニターするために、同様の部材、例えば光ファイバーバンドル、レンズ、エミッタ(群)及び/又は検出器(必要により、以下に説明するようにカメラは共通の検出器を共有することができる)を対象配置に設けることができることは当業者には理解できるであろう。必要に応じ、各目の方向に向けられ、例えば目に対し異なる角度を有する多数のカメラ(不図示)を用いることが好ましい。必要に応じ、これらのカメラ(群)は、光ファイバー延長部、プリズムレンズ、及び/又は反射ミラー(例えば赤外線を反射する)、侵入させずあるいはブロックする鏡面を目と対向する側に有するレンズ等を有する。そのような付属品は、カメラに伝送された目の映像を所望の方法により湾曲させたり、回転させたり、反射させたり、又は逆転させたりすることができる。
【0080】
カメラ(群)は、エミッタ820及び/又は836から放射された光、例えば赤外線又は可視域を超える他の光の周波数を検出できるように配置することができる。必要に応じ、光ファイバーバンドル832がエミッタ836用の1以上の照明用ファイバーを含む場合、フレーム812上のエミッタ820は省略することができる。この態様では、センサ822を省略し、以下に説明するように、ユーザーの目の動きをモニターするためにカメラ(群)830を用いることができる。必要に応じ、システム810はユーザーの頭から離れた位置に配置された第2のカメラを含んでも良く、それによりユーザーの顔のすぐ前の領域等のユーザーの周囲をモニターすることができる。カメラ840は、カメラ830と同様な成分、例えば光ファイバーバンドル841、レンズ(不図示)、及び/又はエミッタ(群)(不図示)を含むことができる。必要に応じ、カメラ830には、周囲の照明条件でも撮像できる十分な感度を有するものを用いることができ、エミッタを省略することができる。カメラ840は、図13に示すように別体の検出器839に結合させることができ、以下に説明するように、カメラ830と検出器838を共有することができる。
【0081】
光ファイバーバンドル832,841は、それぞれ、例えば、約5,000〜100,000のピクセル化された送光用光ファイバー、あるいは約10,000〜50,000のファイバーを含むことができる。ファイバーの数は用途におけるニーズに依存し、例えば、周囲環境について得られた映像についてのみならず(すなわち、”外部カメラ”ファイバー)、ユーザーの目について得られた映像について(すなわち、”内部カメラ”ファイバー)所望の光学解像度を与える必要がある。必要に応じ、バンドルに用いるファイバーは、1以上の照明用ファイバーを含むことができる。一態様において、5,000のファイバー(75×75ピクセル解像)、10,000のファイバー(100×100ピクセル解像)、50,000のファイバー(224×224ピクセル解像)、100,000のファイバー(316×316ピクセル解像)を有するバンドルを用いることができる。得られる光ファイバーバンドル832,841は、例えば、クラッドがある場合又はない場合について、約3〜5mmの直径とすることができる。光ファイバーバンドル832,841は、フレーム812に沿って固定することもでき、あるいはフレーム812の内部に設けることもできる。例えば、鼻柱814から耳掛け部材816に延在し、そこに光ファイバーバンドル832,841を収容する、1以上の通路を有するようにフレーム812を作製することができる。あるいは、光ファイバーバンドル832,841は、例えばフレーム812を作製する時に、成型、溶融、あるいはフレーム812の中に埋め込むことができる。必要に応じ、光ファイバーバンドル832,841は、図18Aと18Bを用いて以下に説明する態様と同様に、フレーム812から検出器及び/又はフレーム812から離間したプロセッサ(不図示)へと延在させることができる。
【0082】
一方又は両方の耳掛け部材816は、1以上の部材を取り付けるためのパネル818を有していても良く、例えば、コントローラ又はプロセッサ、例えば典型例のプロセッサ842、トランスミッタ844、アンテナ845、検出器(群)838,839、及び/又はバッテリー846である。プロセッサ840を、エミッタ820、センサ822、及び/又はカメラ830,840(例えば検出器(群)838,839)に結合することができ、これによりそれらの動作をコントロールすることができる。以下に説明するように、トランスミッタ844を、センサ822及び/又はカメラ830,840からの出力信号を受信するため、プロセッサ842及び/又は検出器(群)838,839に結合することができ、これにより以下に説明するように離れた場所に信号を伝送することができる。あるいは、トランスミッタ844を、センサ822及び/又はカメラ830,840からの出力リードに直接結合することができる。フレーム812は、例えば耳掛け部材816上に手動コントロール(不図示)を含むこともでき、これにより電源を入れたり切ったり、エミッタ820、センサ822及び/又はカメラ830,840の強度及び/又は閾値を調整することができる。
【0083】
必要に応じ、システム810はフレーム812上に1以上の追加センサを含むことができ、例えば、ユーザーの認識、感情及び/又は行動についての状態に関係する追加的なバイオ−又は神経−生理学的データの集積と相互交換を目的とする生理学的センサがある。センサをプロセッサ842及び/又はトランスミッタ844に結合することができ、これによりセンサからの信号をモニターし、記録し、及び/又は離れた場所に伝送することができる。例えば、フレーム812の空間的な配置、結果としてユーザーの頭の空間的配置を決定するために、1以上の位置センサ852a,852bを設けることもできる。例えば、ユーザーの頭が前に垂れていないか、又は横に傾いていないかをモニターするために、頭の傾き又は動きを測定する挙動計測センサを設けることもできる。環境騒音又はユーザーの発する音を検出するため、マイクロフォン854等の音波センサを設けることもできる。
【0084】
さらに又は代わりに、例えば、生理学的システムの集積及び/又は相互相関のために、フレーム812は、ユーザーの1以上の身体的特徴を測定する1以上のセンサを含むことができる。例えば、EEG電極856を、耳掛け部材816上であって、ナジオンの上方又は下方で、乳様突起上で、後頭部領域に、及び/又はユーザーの皮膚に接触する他の領域に設けることができ(例えば湿潤表面接触電極)、又はユーザーの皮膚に接触しないように設けることができ(例えば乾燥ワイヤレス電極)、それにより頭脳活動(覚醒、眠気、又は他の睡眠に関係する頭脳活動)について、例えば、視覚動向あるいは短期又は長期の空間動向及び/又は時間動向についての分析を行うため(例えば高速フーリエ又はスペクトル分析)、約1〜500Hzの異なる周波数範囲で測定及び伝送することができる。EKG電極(不図示)を設けることができ、これにより皮膚に接触している場所を通して心臓の活動を測定することができる。パルスセンサ(不図示)は、心血管搏動を測定するのに用いることができ、酸素測定センサ858は酸素飽和度を測定するのに用いることができる。サーミスタ又は他のセンサは、ユーザーの鼻等を通過する呼吸空気流量を測定することができる。サーミスタ、熱電対、又は他の温度センサ(不図示)を、ユーザーの皮膚温度を測定するのに用いることができる。ユーザーの皮膚の湿度を測定するために汗検出器(不図示)を設けることもでき、及び/又は、ユーザーの声又は息遣いを検出するために、マイクロフォン又は他の音波センサ(不図示)をフレーム812に取り付けることもできる。目が動いている時の電位の揺らぎを測定するために、ユーザーの皮膚の所望の領域に接触するように、1以上の眼電図記録(EOG)電極を設けることもできる。
【0085】
また、システム810は、フレーム上に1以上のフィードバックデバイスを含むことができる。これらデバイスは、眠気又は意識の欠如等の所定の状態を検出すると、警報を出したり及び/又はユーザーを起こす等のフィードバックをユーザーに対して行うことができる。フィードバックデバイスをプロセッサ842に結合し、フィードバックデバイスの活動をコントロールすることができる。例えば、機械振動デバイス860を、耳掛け部材816等のユーザーに接触する場所に設けることにより、皮膚との接触により、体感振動刺激を与えることができる。比較的低出力の電気刺激を与える電極(不図示)を設けることもできる。1以上のLED等の可視の白色光又は着色光エミッタを、柱部814の上等の所望の場所に設けることができる。あるいは、以下に説明する別の態様の場合と同様に、ブザー又は他のアラーム等のオーディオデバイス862を設けることもできる。さらに、柱部814上に又は隣接して、フレーム810上にアロマ放出部を設けることもできる。
【0086】
さらにあるいは代わりに、1以上のフィードバックデバイスをフレームから離間した状態で、かつユーザーにフィードバック反応を伝達できるように配置することもできる。例えば、聴覚、視覚、触覚(振動椅子等)又は嗅覚エミッタを、本明細書の別の箇所で説明したデバイスの場合と同様に、ユーザーの近くに設けることができる。さらに、リモートコントロールの扇風機又はエアコン装置等のユーザーに熱的刺激を与えることのできる、熱又は冷気を発生させるデバイスを設けることもできる。
【0087】
システム810は、本明細書の別の箇所で説明した態様の場合と同様に、フレーム812から離れた部材を含むこともできる。例えば、システム810は、レシーバー、プロセッサ、及び/又はフレーム812から離れた場所、例えば同じ部屋の中、近くのモニターステーション、又はより離れた場所等にあるディスプレイ(不図示)を含むことができる。レシーバーは、トランスミッタ842により伝送された信号を受信するが、この信号にはセンサ822、カメラ830,840、又はフレーム上に設けられた他のセンサからの出力信号も含む。
【0088】
グラフィック表示用の信号を作製するため、プロセッサをレシーバーに結合させて、フレーム12上の部材からの信号を分析することができる。例えば、モニター上に表示するため、プロセッサはセンサ822及び/又はカメラ830からの信号を作製することができ、これにより、ユーザーは他人によりモニターしてもらうことができる。同時に、他のパラメータを同じあるいは別のディスプレイに表示することもできる。例えば、図15A〜15Iは、フレーム812上の種々のセンサの出力を示す信号を示しており、共通の時間軸に対して、又はユーザーの目の動き及び/又は眠気の程度等と相関するものに対して表示される。プロセッサは、ビデオ信号を他の検出したパラメータと共に重ね合わせてあるいは同時に表示して、医師又は他人によるモニターを可能とし、これらのパラメータをユーザーの行動に直接相関させることができる。
【0089】
さらに別の態様において、ユーザーの行動をモニター及び/又は研究するために、プロセッサは自動的に信号を処理することができる。例えば、プロセッサは、目の動きに関係する種々の視覚パラメータ、例えば瞬きの持続時間(EBD)、瞬きの周波数、瞬きの速度、瞬きの加速度、瞬きの間隔(IBD)、PERCLOS、PEROP(瞼が開いているパーセンテージ)、瞳孔の大きさの変動、注視及び眼球運動等をモニターするために出力信号を用いることができ、このことは米国特許第6,542,081号に記載されており、出典明示により明細書の一部となる。
【0090】
カメラ830からのビデオ信号は、瞳孔サイズ、位置、例えば直交バンド850で規定される四分円の中にある等、目の追跡運動、目の注視距離等の種々の目のパラメータをモニターするために処理される。例えば、カメラ(群)830は、エミッタ822から放射される光を検出することができ、カメラ(群)830は、エミッタからユーザーの目の領域に向けられる基準フレームを検出することができる。図16は、垂直に配置された20個のエミッタを有するシステムに含まれるカメラからのビデオ出力の一例である。カメラは、垂直のバンドとして配置された20個の個々の光領域を検出することができる。カメラは、”キラキラ光る”点G及び/又は移動する明るい瞳孔Pを検出することができる。これにより、瞳孔の動きは、キラキラ光る点Gと関係付けて、及び/又は垂直バンド1〜20と関係付けてモニターすることができる。
【0091】
エミッタ822はフレーム812に固定されているので、基準フレーム850はユーザーに対して実質的に一定である。そのため、プロセッサは、基準フレーム850に対する直交軸(x−y又は角−半径等)における瞳孔の位置を決定することができる。あるいは、基準フレームが削除された場合、瞳孔の位置は、ユーザーの目の上のすべての静止しているキラキラ光る点に対して又は他の所定の基準点に対して決定することができる。例えば、カメラ830自身は目の上に光の点を投射し、その光は反射されカメラにより検出される。この”キラキラ光る”点は、カメラ830がフレーム812に対して固定されているので、実質的に静止しており、それが所望の基準点を与え、それに基づいて引き続く目の相対運動を決定することができる。
【0092】
また、フレーム812と別の離れたカメラからの信号は、離れた距離から(例えば、車、ドライブ、フライト又は他のシミュレータのダッシュボード、又はソナー、レーダー又は他のモニターステーションの中等)、ユーザーの顔を描くことができ、例えば、エミッタから投射された光の基準フレームに加えあるいはそれに代えて、顔の表情、欠伸の回数等の種々の顔の計測をモニターすることができる。さらに又は代わりに、頭の方向、傾き、身体の動き、生理学的パラメータ等の他のセンサからのパラメータを処理し相関付けることができる。一態様において、プロセッサは2以上のこれら種々のパラメータの相関関係を算定することができ、これにより複合疲労指数(COFI)を作り出すことができる。例えば、瞼による瞬き又は瞳孔被覆が閾時間を超えると、プロセッサが、位置センサに頭の傾きをモニターさせ、及び/又は頭脳活動のための生理学的センサをモニターさせ、これにより、ユーザーが眠り始めている、あるいは運転又は装置を操作することが困難な状態になったことを指摘することができる。プロセッサは、メモリに保存されている経験的アルゴリズムを用いてこれらのパラメータに数字を割り当て、そして追加し、あるいはユーザーの現在の状態に対し数値のCOFIを割り当てるため、パラメータの相関関係を算定することができる。
【0093】
所定のCOFI閾値を超えると、システム810はアラームを起動させ、あるいはユーザー及び/又は離れた場所の別の関係者に知らせることができる。そのため、システム810は、ユーザーの疲労、眠気、覚醒状態、精神状態等をモニターするより有効な方法を提供することができる。さらにまた、システム810は、所定の出力を発生させるのに用いることができ、例えば、COFI値等の所定の条件がシステム810により決定されている時、ユーザーにより操作される自動車等の装置を起動又は停止することができる。
【0094】
また、例えばプロセッサ842の一部として、フレーム812上にプロセッサを設けることができ、これにより、所定のCOFI閾値を超える等の所定の現象が起きるか否かについてパラメータをモニターすることができる。さらにまた、上述の目の追跡パラメータは、例えば自動車等のダッシュボードのように、ユーザーの前の固定された位置にあるリモートカメラ、を用いてモニターすることができる。リモートカメラは直接又は自身のトランスミッタを介してプロセッサに結合することができ、プロセッサはCOFI測定の中に統合することもでき、及び/又はアルゴリズム的に規定された反応計測により第三者にモニターされることもできる。種々の装置、システム、そしてそれらを用いる方法についての付加的な情報は、2000年12月19日に発行された米国特許第6,163,281号、2001年6月12日に発行された米国特許第6,246,344号、2003年4月1日に発行された米国特許第6,542,081号に記載されており、出典明示により明細書の一部となる。
【0095】
図13の別の態様に戻ると、図22に示す配置と同様に、カメラ832,840を、単一の検出器(不図示)に結合することができる。光ファイバーバンドル832,841は、検出器の各領域の上にカメラ830,840からの映像を供給及び/又は集束させる1以上のレンズに結合させることができる。検出器には、例えば、断面積約5〜10mm2の活性映像領域を有するCCD又はCMOSチップを用いることができる。一例として、検出器の活性映像領域は、正方形、矩形、円形又は楕円形であり、カメラ830とカメラ840の両方からの映像を同時に受像可能な十分な面積を有する。カメラ830,840からの同時ビデオ映像の出力表示例を図20Aと20Bに示し、以下に説明する。この例では、十分な解像力と処理力を有するので、システム810からエミッタ820及び/又はセンサ822を除くことが可能である。
【0096】
図18Aと18Bには、装置910の別の態様が示されており、装置910を装着した人間の瞼の動きをモニターすることができる。本明細書の別の箇所で説明した通り、装置910は、バイオセンサ、コミュニケーター、及び/又はコントローラとして用いることができ、及び/又はシステムの中に組み込み、ユーザーの片目又は両目の随意的−意図的及び/又は不随意的−非意図的な動きをモニターすることができる。
【0097】
図に示す通り、装置910は、ユーザーの頭に装着されるヘルメット912と、バイオセンサアセンブリー920とを有している。ヘルメット912は、ヘリコプター又はジェット旅客機のパイロットが使用する標準的な飛行士用のヘルメットであり、例えば、一対の夜間視界用のチューブ又は他のゴーグル914がその上に取り付けられている。必要により、ヘルメット912は、1以上のヘッドアップディスプレイ、例えば、片目又は両目の前又は近くに取り付けた小さなフラットパネルディスプレイを用いることができる。あるいは、ヘルメット912を、フレーム(不図示。例えば図13を参照)に置き換えることもでき、その場合、フレームは、本明細書に記載した他の態様と同様に、柱部、各目の上方又は周囲に延在するリム、及び/又は一対の耳掛け部材を有するものを用いることができる。装置の動作には必要はないが、フレームは、一対の処方レンズ、遮光レンズ、及び/又は保護レンズを含むことができる。あるいは、一方又は両方のレンズを比較的小さいフラットパネルLCD等のディスプレイと置き換えることができ、以下に説明するように、シミュレーター用及び/又はレクリエーション用のデバイスとして用いることができる。さらにまた、装置910は、ユーザーの頭に装着する他のデバイス、例えば、縁付き帽子、縁なし帽子、ヘッドバンド、ヘッドバイザー、保護用の目及びヘッドギア、顔用マスク、酸素マスク、換気用マスク、スキューバ又は水泳用マスク等(不図示)を含むことができる。
【0098】
装置910の部材は、ヘルメット912(又は他の頭に装着するデバイス)の種々の場所に設けることができ、これにより、例えば、装置910を装着していても、ユーザーの視界及び/又は通常の活動への妨害を最小限に抑えることができる。図に示すように、バイオセンサアセンブリー920は、ヘルメット912の頂部に、ベルクロ(Velcro)(登録商標)、ストラップ、及び/又は他の一時的又は着脱可能な接続部材等を用いて固定されたカメラ922を有している。これにより、使用しない時は、カメラ922を取り外すことができる。あるいは、本明細書に記載した他の態様と同様に、カメラ922を実質的に永久に、ヘルメット912に固定したり、ヘルメット912(又は他のフレーム)に直接組み込んだり、ヘッド装着型のテレビ、LCDモニター又は他のデジタルディスプレイに接続したりすることができる。
【0099】
バイオセンサアセンブリー920は、カメラ922からヘルメット912の前に延在し、ユーザーの片目又は両目を撮像する1以上の”内部カメラ”を提供する、1以上の光ファイバーバンドルを含むこともできる。図に示すように、一対の光ファイバーバンドル924は、カメラ922からゴーグル914の各チューブに延在している。一態様において、光ファイバーバンドル924は、カメラ922からゴーグル914へと延在する十分な長さを有することができ、ヘルメット910上のカメラ922の位置に応じ(又はカメラ922がヘルメット910から離れて設けられている場合)、例えば長さ約12〜18インチ、あるいは光ファイバーバンドル924はさらに長く約2〜4フィート、あるいは短くすることもできる。
【0100】
光ファイバーバンドル924の端部926は、ゴーグル914に永久的又は着脱可能に取り付けることができ、例えば、ゴーグル916に接続されたあるいはゴーグルから延在するブラケット916に取り付けることができる。あるいは、光ファイバーバンドル924は、クリップ、ファスナー、接着剤等(不図示)を用い、一時的あるいは実質的に永久的にゴーグル914上に固定することができる。図に示すように、光ファイバーバンドル924の端部926は、ゴーグル914の下方であって、ユーザーの目の方向を向くように上向きの角度で固定されている。端部926の角度は調整可能であり、例えば、約45度の基準角から約15度上向きあるいは下向きに調整可能である。あるいは、光ファイバーバンドル924の端部926を、ユーザーの目の方向に向けながら、ヘルメット912及び/又はゴーグル914の別の場所に設けることができる。
【0101】
さらに図19に示すように、各光ファイバーバンドル924は、光ファイバー撮像ガイド928、すなわち、光撮像ファイバーのバンドルと、収縮チューブ(不図示)等に収容され、カメラ922と光ファイバーバンドル924との間に延在する照明用ファイバーのバンドル930とを有している。照明用ファイバーのバンドル930は、それぞれ、例えばカメラ922の内部の光源に結合した1以上の光ファイバーを有している。例えば、カメラ922は、1以上のLED934(簡単のため1個のみ示す)を含むLEDハウジング932を有し、照明用ファイバー0のバンドル(群)930は、光を端部(群)926に供給するためにLEDハウジング932に結合されている。
【0102】
光源934から放射される光は、放射光がユーザーの視覚を実質的に妨害しないように、人間の通常の視覚の範囲外であっても良く、例えば波長範囲が840〜880nmの赤外線であっても良い。本明細書に記載した別の態様と同様に、光源には、実質的に連続光あるいは所定周波数のパルス光を用いることができる。あるいは、ユーザーの顔及び/又は片目又は両目の照明用の光源を、照明用ファイバーのバンドル930の代わりに用いることもできる。例えば、本明細書に記載した別の態様と同様に、1以上のエミッタ(不図示)、例えばヘルメット912及び/又はゴーグル914の1以上の領域に沿って配置したエミッタアレイを用いることができる。
【0103】
光ファイバーバンドル924のそれぞれの端部926は、1以上のレンズ、例えば所望の方法で映像案内部を集束させる、例えばユーザーの目の方向に対物レンズ936(図18A)を含むことができる。各映像案内部928は、視界の前方ライン(視野0度)を有し、対物レンズ936は、例えば約45度の広い視界を提供できる。必要により、視界ラインは調整可能であり、例えば約30〜60度の範囲を対物レンズで調整することができる。さらに、対物レンズ936は可視距離を最適化することができ、例えば約2インチまで最適化することができるので、ユーザーの目に対するフォーカスを向上させることができる。そのため、映像案内部(群)928は、ユーザーの目の映像を光ファイバーバンドル(群)924を通してカメラ922まで運ぶことができる。
【0104】
図19に示すように、カメラ922は、映像案内部(群)928(及び/又はカメラ944)からの映像を撮像デバイス940の活性領域942の上に供給及び/又は集束させるために、拡大部938等の1以上のレンズを備えることができる。撮像デバイス940には、映像を受像する2次元の活性領域を有する種々の公知のデバイスを用いることができ、例えばCMOS又はCCDを用いることができる。一態様において、撮像デバイス940はCMOSデバイスであり、例えば、センソヴェイション(Sensovation)のモデル cmos SamBa HR−130、又はマイクロンイメージング製のモデル MI−MV13のファーストカメラ13である。拡大部938は、Cマウント又は他の接続部材(不図示)を用いてカメラ922に機械的に係合させることができる。
【0105】
一態様において、本明細書の別の箇所に記載した光ファイバーバンドルと同様に、各映像案内部928は10,000〜50,000ピクセルの映像データを提供でき、それらを撮像デバイス940の活性領域942の上に投射することができる。図18Aと18Bに示す装置910では、両方の光ファイバーバンドル924からの映像は図19に示すように単一の撮像デバイス940の上に投射され、例えば、ユーザーの両目のそれぞれのデータは、活性領域942の半分以下となる。
【0106】
必要に応じ、装置910は、ユーザーの頭から離れた場所に配置された”外部カメラ”を含むことができ、本明細書の別の箇所に記載した態様と同様に、ユーザーの周囲をモニターすることができる。例えば、図18Aに示すように、別の光ファイバーバンドル945を、カメラ922から延在するように設けることもできる。図に示すように、光ファイバーバンドル945は、前方に配置され、すなわち、ユーザーがまっすぐ見る時と概ね同じ方向となるように前方に配置され、マイクロレンズ946に至る。その視野がヘルメット912に対して実質的に固定されるように、光ファイバーバンドル945を比較的短く及び/又は実質的に硬くすることができる。また、上述の外部カメラ840と同様に、外部カメラ944を、ヘルメット912及び/又はゴーグル914の他の場所に、可撓性のファイバーバンドルも含めて設けることができる。これにより、外部カメラは、ユーザーの顔もまっすぐ前等のユーザーから離れたところに映像を提供できる。
【0107】
外部カメラ944は、1以上の照明用ファイバーを含んでも含まなくとも良いが、拡大部938を介してあるいは別々に撮像デバイス940に結合された映像案内部を含むことができる。これにより、外部カメラ944からの映像を、本明細書に記載した別の態様と同様に、映像案内部928から受像されたユーザーの両目のそれぞれの映像として同じ活性領域942の上に供給することができる。この配置により、一時的及び/又は空間的な同期化が許容又は促進され、外部カメラ映像を内部カメラ映像(群)で覆ったり重ねたりすることが可能となり、又は”三角測量”を用いて又は目の追跡目的のための他のアルゴリズムを用いて、ユーザーの頭の方向的な位置に対し、ユーザーの目が”どこで”、”なにを”、及び/又は”どのぐらい”、見ているかを確認することができる。
【0108】
これにより、カメラ922は、1以上の”内部カメラ”、すなわち光ファイバーバンドル924からと、外部カメラ944からとの映像とを同時に撮像することができる。これにより、各デバイスからの映像は互いに同期化され、すなわち、特定の時間で撮像された一方の目の映像と、実質的に同時に撮像された他の映像とを時間的な遅れのないように互いに結合させることができる。さらに、これらの映像は、1以上の生理学的センサ等の他のセンサからのデータと実質的に同期化することができるので、ユーザーのモニター及び/又は診断、及び/又はユーザーの行動を予測する能力を向上させることができる。この同期化により、映像データを比較的高速、例えば500〜750Hzで取得することができる。また、別体の検出器を設けることができ、それにより、データをプロセッサに受信させる等により、同期化する映像データを取得することができる。この場合、取得した後のプロセッサ又は他のデバイスによる同期化を促進させるため、約30〜60Hzの遅い取得速度を用いることができる。必要に応じ、カメラ922及び/又は結合したプロセッサは、例えば約15〜60フレーム/秒の速度で、比較的遅い眼球運動を撮像することができる。
【0109】
図20Aと20Bは、2個の内部カメラ2010と1個の外部カメラ2020から(又は別々のカメラ及び/又は検出器からの映像信号をコンパイルするデバイスから)の映像信号を同時に受信したカメラからの出力例である。図に示すように、内部カメラはユーザーのそれぞれの目に向けられており、外部カメラはユーザーの周囲に向くよう外側に向けられている(概ねユーザーの顔の前まっすぐに)。図20Aでは、ユーザーの両眼2010L、2010Rは、開かれており、外部カメラの映像2020はユーザーの前方の部屋の水平風景を示している。これに対し、図20Bは、ユーザーの一方の目2010Lが完全に閉じられており、他方の目2010Rは瞼が瞳孔の大部分を覆うように部分的に閉じられている。外部カメラの映像2020は、ユーザーの頭が左に傾きうなだれ始めていることを示している。必要に応じ、図12A〜12C又は図15A〜15Iに示したと同様に、装置910の他のセンサからのリアルタイムデータ等の追加情報を、これらの映像とともに表示及び/又は記憶させることができる。
【0110】
図18A、18Bそして19に戻ると、カメラ922(及び/又はカメラ944)からの映像は、ケーブル948(図18Aで明確に見ることができる)を介して装置910から伝送される。例えば、本明細書の別の箇所に記載した他の態様と同様に、撮像デバイス940は、活性領域942からの光学映像を電気信号に変換することができ、その信号はケーブル948を介して1以上のプロセッサ及び/又はコントローラ(不図示)に伝送される。また、光ファイバーバンドル924及び/又は外部カメラ944からの映像は、本明細書の別の箇所に記載した他の態様と同様に、装置910から、カメラ、検出器及び/又はプロセッサ(不図示)等の1以上の離れたデバイスに伝送される。この場合、バンドルの長さは約2〜6フィートであり、離れてデバイスとの結合状態を維持しながらユーザーが通常移動するのに十分な長さである。
【0111】
あるいは又はさらに、装置910は、カメラ922に結合可能であって、ブルートゥースや他のプロトコル等を用いる短距離又は長距離の無線トランスミッタ等のワイヤレストランスミッタ(不図示)を含むことができる。トランスミッタはカメラ922の中又はヘルメット912の別の場所に配置することができる。本明細書の別の箇所に記載した他の態様と同様に、トランスミッタは、映像データに対応する映像信号を別の場所のレシーバーに伝送することができる。さらに別の態様では、装置910は、トランスミッタ及び/又はケーブル948の代わりにあるいはそれに加えて、映像データを記憶するメモリ(不図示)を備えることもできる。例えば、飛行機で使用される”ブラックボックス”レコーダーと同様のレコーダーデバイスにデータを記憶させることができ、後でレコーダーを回収可能な形とし、自動車事故、医療事故等の解析に用いることができる。
【0112】
必要に応じ、装置910の種々の構成要素をコントロールするため、装置910は1以上のコントローラ(不図示)を含むことができ、例えば、カメラ922の内部、及び/又はヘルメット912上又はその中に設けることができる。例えば、コントローラを1以上のLED934に結合させ、装置910のエネルギー消費を減らすため、所定周波数でLEDがパルスを放射するようにすることができる。また、装置910は、装置910の1以上の構成要素に電力を供給するため、バッテリー及び/又はケーブル等の1以上の電源を含むことができる。例えば、撮像デバイス940及び/又はLED(群)934に電力を供給するため、カメラ922の中に1以上のバッテリー(不図示)を配置することができる。
【0113】
必要に応じ、装置910は、ヘルメット910等に1以上の追加のセンサ(不図示)を設けることもできる。センサを、バイオセンサアセンブリー920、ケーブル948、及び/又は、もし含まれていればワイヤレストランスミッタ(不図示)に結合することができ、これによりセンサからの信号をモニター、記録、及び/又は離れた場所に伝送することができる。例えば、本明細書の別の箇所に記載したように、1以上の位置センサを設けることができ、これにより、ヘルメット912の空間的配置、結果的にはユーザーの頭の空間的配置を決定することができる。さらに又はあるいは、装置910は、1以上の生理学的センサ(不図示)を含むことができ、例えば、ユーザーの1以上の身体特性を測定することができる、1以上のEEG電極、EKG電極、EOG電極、パルスセンサ、酸素濃度センサ、サーミスタ、熱電対又はユーザーの皮膚温度を測定するための他の温度センサ、ユーザーの皮膚の湿潤度を測定する汗検出器、及び/又は、ユーザーの鼻等を通して呼吸空気流量を測定するセンサ等がある。
【0114】
また、装置910は、1以上のフィードバックデバイス(不図示)を含むことができ、例えば、ユーザーに警報を出したり、ユーザーの目を覚まさせるために用いる、皮膚接触により触覚振動刺激を与える機械的振動デバイスや、比較的低出力の電気刺激を与える1以上の電極や、LED等の光エミッタ、オーディオデバイス、アロマ放出器等を挙げることができる。また、フィードバックデバイスは装置910から離れて配置することができるが、ユーザーに反応をフィードバックできる方法で配置される必要がある。例えば、音波、視覚、触覚(例えば振動椅子)、又はアロマ放出器は、前述のすべてのデバイスの場合と同様に、ユーザーの近くに配置することができる。さらにまた、熱刺激を発生させることのできる熱又は冷気デバイスを設けることもでき、例えば、リモートコントロールの扇風機又はエアコン装置を挙げることができる。
【0115】
装置910を含むシステムは、本明細書の別の箇所に記載した他の態様の場合と同様に、装置910から離れた場所に構成要素群を含むことができる。例えば、システムは、装置910から離れた場所、例えば同じ室内、近くのモニターステーション、又はより離れた場所に、1以上のレシーバー、プロセッサ、及び/又はディスプレイ(不図示)を含むことができる。レシーバーは、カメラ922からの映像信号及び/又は装置910の他のセンサからの信号を含め、装置910のトランスミッタから伝送された信号を受信することができる。
【0116】
プロセッサを、装置910からの信号を解析するため、レシーバーに結合することができ、これによりグラフィック表示のための信号を作製することができる。例えば、図20Aと20Bに示す映像と同様に、プロセッサは、モニター上に表示するため、カメラ922からのビデオ信号を作製することができ、これにより第三者、例えば医療関係者、監督車、又は他の協力者によりユーザーをモニターすることが可能となる。本明細書の別の箇所に記載された別の態様と同様に、他のパラメータを単一のモニター及び/又は別々のモニターに同時に表示することができる。プロセッサは、ユーザーの目及び/又は外部カメラのビデオ信号を単独で又は他の検出パラメータとともに重ね合わせ又は同時に表示することができ、これにより医者又は他の人がモニターし、かつこれらパラメータとユーザーの行動との相関関係を個人的に算定することができる。
【0117】
さらにまた、プロセッサは、ユーザーの行動をモニター又は検討するために、信号を自動的に処理することができる。例えば、目の動きに関係する種々のパラメータ、例えば、瞬きの時間(EBD)、瞬きの回数、瞬きの速度、瞬きの加速度、瞬きの間隔(IBD)、PERCLOS、PEROP(瞼が開いているパーセンテージ)等をモニターするためにプロセッサは出力信号を用いることができる。別の箇所で記載したように、瞳孔サイズ、相対位置、目の追跡速度、注視距離等の取得データの組み合わせ又はパターンからなる単一又は多数の目のパラメータを、連続的又は非連続的及び/又は逐次的にモニターするために、カメラ922からのビデオ信号を処理することができる。これにより、装置910及び/又はシステムは、米国特許第6,542,081号に開示されているように、1以上の眼球運動(oculometrics)又は他のパラメータをモニターすることができ、出典明示により明細書の一部となる。
【0118】
瞳孔サイズ(拡張、収縮、及び/又は偏心等)及び/又は目の動きのモニタリングを向上させるため、システムは、カメラ922とつながったプロセッサを含むことができ、ビデオ信号を処理し、ビデオ信号からの目の瞳孔を確認することができる。例えば、CMOS及びCCD等の高感度カメラを用いて、プロセッサは、瞳孔の縁、そして結果的に周囲、直径、及び/又は断面積を確認することができる。プロセッサにより処理されたビデオ信号からの目のビデオ映像を表示するため、ディスプレイをプロセッサに結合することができる。
【0119】
また、図21A〜21Cに戻ると、プロセッサは図形をディスプレイに重ね合わせることができ、例えば、目300の瞳孔301を確認及び/又はモニタリングを向上させるため、ビデオ映像の上に重ね合わせることができる。図に示すように、瞳孔の縁301と周囲の虹彩304との間のコントラストにより、プロセッサはこの境界を近似し、片目又は両目の映像データに重ね合わせる図形ハロー、長円又は他の図形306を作成することができる(簡単のため、図21A〜21Cは片目300のみについて示している)。観察者はこの図形306を用い、装置910のユーザーのモニタリングを向上させることができる。
【0120】
さらに又はあるいは、プロセッサは、瞳孔301(又は図形306)の大きさ及び/又は形状についての情報を自動的に解析し、人の眠気の程度又は他の身体的及び/又は精神状態を決定するために、ビデオ信号の相関関係を算定することができる。この解析には、瞳孔の相対位置、瞳孔の大きさ、及び/又は瞳孔の偏心率を例えばオーバータイムでモニタリングすることが含まれる。例えば、プロセッサは瞳孔300の直径をオーバータイムでモニターすることができ、それは図15Eに示すようにチャート表示され、時間の関数としてメモリに記憶され、及び/又はリアルタイムで目の映像の上に重ね合わされる。
【0121】
例えば、図21Aは、環境条件下、リラックスした状態の瞳孔301を示しており、例えば、直径”d1”の図形306に対応している。図21Bに示すように、ユーザーが瞬きを行い又は目300を閉じると、瞳孔301は拡大し、目300を再度開くと瞳孔301は最初拡大し、直径”d2”の図形306で示される。プロセッサは、図形306又は瞳孔301自身の直径の変化を比較し、瞬き又は他の目を閉じた後の瞳孔301の直径 ”d1”への戻りの遅れを決定する。可視又は不可視のフラッシュ光に対する反応の遅れ又は無反応は、少なくとも部分的には、眠気の程度、障害の程度を示すものであり、例えば、この障害には、中毒、及び/又は、低酸素症、低血糖症、発作、心筋梗塞、毒素、毒物等による脳損傷又は脳死等の致死症状又は末期症状を含む医学的症状が含まれる。
【0122】
さらに又はあるいは、プロセッサは、瞳孔が瞼により部分的に覆われている時の瞳孔の大体の偏心率を決定することができる。例えば、図21Cに示すように、瞼302が部分的に閉じられている時、映像に重ね合わされたハロー306は、瞳孔301の露出部(幅”w”で高さ”h”)に対応する長円を用いる。高さ”h”は、瞼302が瞳孔301を覆う程度を示す指標として、直径 ”d1”と関係付けることができ、すなわち、高さ”h”の直径 ”d1”に対する比率が、1又は1より小さい(h/d1≧1)。例えば、瞳孔301が瞼302により完全に覆われると、この比率は1から0になる。
【0123】
同様に、瞼302が瞳孔301の半分以上を覆い始める時、幅”w”を直径 ”d1”と関係付け(w/d1≧1)、瞼302が瞳孔301を覆う程度を示す指標として用いることもできる。さらに又はあるいは、高さと幅の比(h/w≧1)を、例えば瞼302の被覆の程度に基づいて瞳孔301の偏心率と関係付けることができる。これらのパラメータは、個々に、集合的に、及び/又は他の眼球運動パラメータ及び/又は生理学的パラメータとともに解析され、ユーザーの先の行動をモニター、解析及び/又は予測するのに用いることができる。本明細書の別の箇所に記載したように、データは、経験的データ又はプロセッサにより保有又はアクセスされた他のデータと比較され、COFI値等のユーザー状態に関する情報を提供することができる。
【0124】
もし、例えば、ユーザーの瞳孔の解析の結果、ユーザーの覚醒レベルが所定のレベルより低いと判断された場合、本明細書に記載した他の態様と同様に、ユーザー及び/又は1以上の第三者に警報が出される。それらの方法は、ユーザーがドラッグ、アルコール、及び/又はここで説明した医学的状態に影響されているか否かを決定するのに有効な方法である。
【0125】
また、閾値として及び/又はユーザーの覚醒状態を検査するため、本明細書に記載した装置又はシステムは、ユーザーの瞳孔反応を検査することができる。その検査により、ユーザーが活動状態にある、すなわち、装置を装着している間、寝ておらず、ましてや死んでもいないことを確認することができる。例えば、光源が所定の時間及び/又はパルス周波数でフラッシュされた時、ユーザーの瞳孔はリラックスした状態(周囲の照明に基づく)から速やかに拡大し、次いで予測可能な時間内にリラックスした状態に収縮して戻る。
【0126】
図22Aに戻ると、本明細書に記載された装置とシステムを用いた、ユーザーの覚醒検査の方法の一例が示されている。例えば、前述のように、ユーザーは、片目又は両目をモニターする図18に示す装置810を装着することができる。工程2210では、ユーザーの目のベース又はパラメータがリラックス状態で測定される。例えば、リラックス状態での瞳孔の直径は、ある環境条件下で測定あるいはモニターされる。
【0127】
工程2220では、目の方向に1以上の光パルスが放射され、それにより目は、パルスフラッシュ光の周波数と実質的に同じ周波数で、リラックス状態から拡大又は収縮する。例えば、装置810の1以上のエミッタは、所定の順序で起動され、目を拡大させる。その後、工程2230では、ユーザーの目が、例えばカメラ830又はセンサ822により潜在意識的に又は無意識裡にモニターされ、リラックス状態に戻るまでの目の反応時間が測定される。反応時間は、経験データベース又は他のデータベースと比較され、ユーザーの意識があり、覚醒しており及び/又は生きているかどうかを確認する。必要により、反応時間を確認するため及び/又は平均反応時間を提供するため、工程2220と2230を1回以上繰り返すことができ、誤った否定的な判断を避けることができる。
【0128】
光源が可視光の範囲外、例えば赤外線である場合、瞳孔はこの方法でフラッシュ光にまだ反応する。赤外線を使う利点の一つは、ユーザーは意識裡には光を見ることができないため、赤外線がユーザーの気を散らせたり、面倒をかけることがないからである。さらに、瞳孔は赤外線に対しても十分に反応するため、そのフラッシュに反応して瞳孔が拡大及び収縮した時、目をモニターするシステムは確認することが可能である。
【0129】
閾値検査の間、光の単発フラッシュを発生させ、瞳孔の反応をモニターすることは十分に可能である。また、傾向を検討し又は単発フラッシュの場合に起きる可能性のある誤りを減らすため、連続フラッシュを用いて瞳孔反応をオーバータイムでモニターすることができる。連続フラッシュでは、フラッシュ光に反応して瞳孔が拡大からリラックス状態に自然に戻るに要する時間よりもパルス速度を長くする必要があり、少なくとも約50〜100msである。また、パルス光として、近赤外線(波長約640〜700nm)をユーザーの目に向けることもできる。システムは、瞳孔の反応における周期的変動を検出することができる。その反応は、基本的な眼球運動反応によるものであり、暗闇での”視力”又は暗闇での赤外線の感知力等の夜間視力におそらく関係している。
【0130】
その瞳孔反応検査は、ユーザーが死亡した時でも、システムが、目が閉じられていること及び/又は目の動きを一切検出できないため、誤って肯定的な判断をしないように確認するために用いることができる。同様に、瞳孔反応検査は、ユーザーが寝ているか又は意識がないかを調べるのにも用いることができる。また、瞳孔反応検査は、ユーザーがアルコール、ドラッグ等の影響下にあるか否かを判断するのにも用いることができるが、これは、アルコール等が、フラッシュ光に反応して拡大した瞳孔がリラックス状態に収縮して戻る速度に影響を与えるからである。さらに又はあるいは、瞳孔反応検査は、眼球運動測定値と対応する科学的に決定された血液濃度との間の相関関係に依存する、ユーザーの身体の血液濃度あるいはドラッグ又はアルコールの濃度を決定するのに用いることもできる。
【0131】
図22Bには、覚醒閾値を検査する別の方法が示されている。この方法は、一般に、所定の方法で目をゆっくりと動かすようにユーザーに指示する刺激を準備する工程2240と、目をモニターする工程2250とを有し、例えば、ユーザーのゆっくりした目の動きは、ユーザーが指示に従い目を所定の方法で動かしていることを示すものである。本明細書に記載したすべての装置は、スピーカー、照明、振動又は他の触覚デバイス等の1以上の刺激デバイスを含むことができる。また、それらデバイスは、自動車のダッシュボード、ビデオディスプレイ等のように、ユーザーから離れた場所に配置することができる。
【0132】
例えば、装置の可視光が起動されると、ユーザーは所定時間目を閉じるように指示される。一旦光が起動すると、システムは目をモニターし、ユーザーが、所定の時間枠で及び/又は所定の方法で(例えば、所定のシーケンスの中で1以上の瞬き)反応していることを確認することができる。また、フラッシュ光に代えて別の刺激を用いることができ、例えば、ディスプレイ(装置上の又は装置と別体の)による視認可能な指示、聞き取り可能な信号(デバイス上の又はデバイス近傍のスピーカーからの言語による指示)、触覚信号等がある。これらの態様において、ユーザーは一連の動作を行うよう指示を受け、例えば、見上げたり、見下ろしたり、左又は右を向いたり、所定のシーケンスで瞬きしたり、指示されるまで目を閉じたり、ディスプレイ上のポインターを目で追ったり等を行う。その検査は、例えば、検査対象が起きているか、意識があるか、及び/又は一連の検査の間又は種々の動作を行っている間覚醒しているかどうかを確認するのに有用である。
【0133】
別の態様では、例えば本明細書の別の箇所に記載した装置とシステムを、コンピュータマウスやジョイスティック等と同様に、コンピュータシステムをコントロールするのに用いることができる。例えば、図13に記載された装置810に関し、カメラ(群)830を、ユーザーの瞳孔(群)の位置をモニターするのに用い、コンピュータのスクリーン又は他のディスプレイ上にマウスポインターを向けたり及び/又は起動させたりすることができる。カメラ922からの映像データを受信するプロセッサは、映像データを解析し、検出器940の活性領域内における瞳孔(群)の相対位置を決定することができる。必要により、ユーザーの片目又は両目の前又は視野内に配置されたフレーム812に対して1以上のディスプレイを固定することができる。例えば、フラットパネルLCD又は他のディスプレイ(不図示)をレンズに代えてフレーム812に固定することができる。そのような装置は、医療又は他の研究施設内でのシミュレーション用に、また、ビデオゲームコンソール等のレクリエーション用に用いることができる。
【0134】
図23には、本明細書に記載したいずれかの装置又はシステムを用い、検出された目の動きに基づいてコンピューティングデバイスをコントロールする方法の一例が示されている。例えば、図18Aの装置910が用いられ、ユーザーの片目又は両目を撮像するための光ファイバーバンドル924を含んでいる。必要により、以下に説明するように、装置は1以上の外部カメラを含むことができ、それらはユーザーの前方視界に沿って外側に位置するように、ユーザーの片目又は両目の近くに配置されている。まず、工程2310では、そのような装置を含むシステムを初期化することが好ましく、すなわち、ベース又は基準位置等であり、直交成分を有する基準フレームを設定する。例えば、ユーザーはディスプレイ上のポインター又は他の所定位置を見るように指示され、それにより、ユーザーの目を維持し、結果としてユーザーの瞳孔を実質的に静止させる。プロセッサは、ユーザーの目を実質的に静止させながら、カメラ830からの映像データを解析することができ、これにより、基準点又は”ベース位置”に対応する映像上の瞳孔位置を決定する。例えば、ポインター又はベース位置は、ユーザーの瞳孔に対し実質的にまっすぐに配置することができる。必要に応じ、ユーザーはディスプレイ上の2以上の確認位置を連続して見るように指示され、これによりユーザーの目の相対的な動きに対する尺度を提供することができる。この場合、ユーザーにディスプレイの反対側のコーナーを見させることが好ましく、これにより、ディスプレイに対する適切な目の動きの限界を確認することができる。
【0135】
一旦初期化が終了すると、ユーザーは、ポインター及び/又はディスプレイの残りの部分に対し、左右、上下等に自由に目を動かすことができる。工程2320では、システムはそのような目の動きをモニターすることができ、すなわち、プロセッサは、ベース位置からのユーザーの瞳孔の相対位置を決定するために映像データを解析する。例えば、ユーザーが目を上及びベース位置から右に動かすと、すなわち、コンピュータ上のポインターに対し上及び右に動かすと、プロセッサはこの動きを測定する。反応して、工程2330では、プロセッサはポインターを上及び右に移動させることができ、これによりユーザーの注視を追跡する。ユーザーが自身の目を動かすのを止めると、プロセッサは、ディスプレイ上のユーザーが現在見ている位置に到達したところで、一旦ポインターを止めることができる。
【0136】
必要により、工程2340では、一旦ポインターがディスプレイ上の所定の位置に移動すれば、マウスのボタンを起動させると同様にコマンドを実行させることができる。例えば、プロセッサは、ユーザーからの映像データ信号、例えば所定のシーケンスの1以上の意図的な瞬き等をモニターすることができる。これは、数秒程度の所定時間の単発の瞬きでも良く、ユーザーの片目又は両目を含むより複雑な一連の瞬きでも良い。また、信号が、瞬きのない3秒、5秒又はそれ以上の所定時間であっても良い。プロセッサが信号を確認すると、プロセッサはコマンドを起動させることができる。例えば、ユーザーは、ディスプレイ上のアイコン、ワードコマンド等に目が至ると目の動きを停止し、プロセッサは、ポイントがその上に重なるまであるいはアイコン又はコマンドに位置に移動するまでポイントを移動させることができる。次いで、ユーザーは、前述のように、コンピュータマウスのボタンを”ダブルクリック”すると同様に、瞬きをし又は動作することができ、これにより、選択したコマンドを実行するようにあるいは選択したコマンドを所望の対象に伝達するように指示することができる。例えば、選択されたコマンドにより、コンピュータプログラムを実行させたり、装置一点又は他のデバイスを停止させたり、起動させたり、あるいは所望の方法にコントロールしたりすることができる。これにより、プロセッサ及び/又はディスプレイに結合したコンピュータデバイスのコントロールから、照明スイッチ又は自動車のオンオフまで種々の仕事を実行させるのに用いることができる。そのような装置及び/又はシステムは、ハンドフリーのコンピュータ、すなわち、ユーザーの目の動きのみを用いる方法を提供することができる。
【0137】
例えば、一つの用途として、ヘリコプター、ジェット機又は他の飛行機等の乗物の運転や、武器、ナビゲーションシステム又は他の基板搭載システムの起動又はコントロールにシステムを用いることができる。別の用途として、例えばバーチャルリアリティーの現実感覚を増すため、ビデオゲーム又は他のシミュレーションにシステムを用いることができる。例えば、システムは、ユーザーの手を自由にして他のことを実施可能としながら、多くのメニュー、場面、又は他の活動の中からユーザーが速やかに選択することを可能とすることができ、例えば、眼のコントロール機能により追加的又は同時に他の行動を実行することができるので、より多くの及び/又はより複雑な作業を同時に行うことが可能となる。
【0138】
また、ディスプレイ上のポインターに対する眼の動きの追跡を促進及び/又は容易にするために、1以上の外部カメラを用いることができる。例えば、1個の外部カメラをディスプレイの方向に位置している少なくとも一方の眼に近づけて配置することができ、例えばその眼から所定距離離間して又は他の関係に基づいて配置することができる。これにより、外部カメラはディスプレイの映像を提供することができ、例えば、内部カメラでモニターされる眼の動きと同期させたポインターの動きをリアルタイムで示すことができる。プロセッサは、ポインター追跡の精度を向上させるため、三角測量又は他のアルゴリズムを用い、このデータを眼の動きと関係付けることができる。これにより、ユーザーがコマンド上のポインターに瞬きをすることによりコマンドを実行させようとする場合、ディスプレイ上に多数の選択可能なコマンドが存在していても、目的とするコマンドを実際に選択できる精度を向上させることができる。
【0139】
また、そのシステム及び方法を、覚醒検査等の医療又は他の診断手続に用いることができる。例えば、プロセッサは、ディスプレイ上の映像に対する目の動きを相関関係を算定するため内部カメラと外部カメラからのデータを解析することができ、これにより、種々の眼球運動パラメータ、例えば、緩徐回転眼球運動、弱眼球固定(poor eye fixation)及び/又は追跡、浮遊視、瞬き増加、催眠凝視(hypnotic staring)、長くなる瞼のたれ又は瞬き、遅い瞼の開閉速度、刺激時の瞼を開ける速度、長い瞳孔収縮変化、不安定な瞳孔直径、暗視界による瞳孔反応、及び/又は本明細書で説明した他のパラメータ等を検討することができる。これらの手法は、種々の環境、アルコール又はドラッグに起因する条件、及び/又は他の条件に直面した人間の反応を研究するのに用いることができる。
【0140】
図24には、別の態様であり、装置2410を装着したユーザーの目300に対し、装置2410は経皮的に照明を当てることができる。装置2410は、例えば図13に示すフレーム812のように本明細書に記載したいずれの態様にも概ね類似している。図に示すように、装置2410は、ユーザーの頭308、例えば片目又は両目に近いこめかみ(簡単のため一方のみ示す)に接触する1以上のエミッタ又は他の光源を有している。また、装置2410は、1以上のセンサ、例えばユーザーの目300の映像を取得するためレンズ2434に至る光ファイバーバンドル2430等を含んでいる。
【0141】
一態様として、エミッタ2422がユーザーの皮膚に接触してユーザーの皮膚の方向に光を放射可能に、フレーム2412の一方又は両方の耳部材2422に赤外線エミッタ2422が固定あるいは調整可能に取着されている。例えば、エミッタ2422は多数のLEDを有しており、そのLEDは、集束され、コヒーレントでない(レーザーでない)赤外線を放射することができる。エミッタ2422は、破線矢印2450で示すように、エミッタ2422からの光がユーザーの頭308を通ってあるいは沿って目300に移動できるように、概ね目300の方向に配置されている。例えば、皮膚及び他の組織は、赤外線等の特定周波数の光に対しては少なくとも透明であることが知られている。そのため、エミッタ(群)2422からの光の少なくとも一部は、ユーザーの皮膚及び/又は他の組織を経皮的に沿って又は通過して、光の少なくとも一部が目300に入る。
【0142】
光は、目300の内部の網膜(不図示)で反射され、光の少なくとも一部は矢印2452で示すように瞳孔301から逃げる。レンズ2434と光ファイバーバンドル2430は、本明細書に記載した他の態様と同様に、目の映像を検出器(不図示)まで中継し、光2452による映像の上の明るいスポットとして瞳孔301を同定する。検出器に結合したプロセッサ又は他のデバイスは、瞳孔301をモニターし、本明細書に記載した他の態様と同様に、例えば、映像上の相対位置、大きさ、及び/又は形状を、本明細書に記載した”白色瞳孔”又は”暗色瞳孔”技術を用いてモニターする。さらに又はあるいは、経皮光は、目300全体、特に網膜を照らし、ユーザーの顔の前面から観察することができ、例えば暗い球又は他の形状であり、瞳孔301がその暗い形状により包囲された明るいスポットを示す状態が観察できる。
【0143】
この態様は、1以上のエミッタをユーザーの目の前に配置する必要がないという利点を有し、これによりユーザーの視界を遮ったり、気を散らすことがない。さらに、このシステムは入射赤外線の角度に無関係に使用可能な、赤外線検出カメラ及び/又は検出器を用いるので、エミッタを検出器に対し正確に配置する必要から生じる技術的問題を減らすことができる。また、目の前にエミッタ(群)がないので、目からのキラキラや反射を減らすことができ、映像データの解析を容易にする。
【0144】
特定の態様について記載した種々の構成要素や特徴は、態様を用いる意図に応じて、他の態様に付加したり、削除したり、及び/又は置換できることが理解されるであろう。例えば、仮出願No.60/559,135号の付記AとBは、可能な構造的特徴、及び/又は本明細書に記載した装置及びシステムの使用方法についての付加的な情報を提供するものであり、出典明示により明細書の一部となる。付記A及びBのすべての開示は、出典明示により明細書の一部となる。
【0145】
本発明には種々の変形例や代替形態が可能であるが、特定の実施例について図面及び本明細書で詳細に説明した。本発明は開示された特定の形態又は方法に限定されるものではなく、反対に、本発明には、添付のクレームの範囲に含まれるすべての変形例、等価物、代替物が含まれることが理解されるべきである。
【技術分野】
【0001】
本発明は、例えば、疲れや意識的なコミュニケーションをモニターするために人間の目の動きをモニターする装置、システム、方法、及び/又は目、瞼、及び/又は人間の片目又は両目の他の部分の動きに基づくコントロールデバイスに関する。
【背景技術】
【0002】
人の眠れない状態又は眠気を催している状態等の不随意な状態をモニターするために、人間の目の動きを用いることが提案されている。例えば、特許文献1は、眠り始めていることを人に警告するためにアラームを鳴らすデバイスを開示している。そのデバイスは眼鏡に類似したフレームを有しており、その上には、ユーザーがかけた時にユーザーの目の方向に向く光ファイバーと光電セルとが取り付けられている。光電セルは、ユーザーの目から反射された光、すなわち、目が閉じている時は瞼から反射された光、又は目が開いている時は目の表面から反射された光の強度を検出する。時間により、規則的な瞬きか、あるいは目が閉じている時の長い時間、すなわち、人が寝ていることを示す時間、であるかを識別する。閾時間が経過すると、アラームが鳴り、ユーザーに知らせあるいはユーザーを起こす。
【0003】
別のデバイスはMTI研究所の警報モニターであり、安全眼鏡に取り付けることができ、瞼の軸に沿って、光線が瞬きの間以外には睫毛により遮られることがない重要な位置に連続した赤外線を放射することにより、瞬きの回数を測定することができる。特許文献2や特許文献3に開示された別のデバイスは、ユーザーの瞼又は眉毛に直接係合させて目の動きを検出し、眠気を催している状態を検出した時にはアラームを鳴らすものである。このようなデバイスには、機械デバイス、例えば、機械アーム又は瞼に対して用いる圧電フィルムが含まれる。
【0004】
車の中のダッシュボード、屋根又は別の場所にカメラ又は別のデバイスを取り付け、運転者の覚醒状態をモニターすることが提案されている。しかし、そのようなデバイスの場合、ユーザーは常にカメラに視線を合わせる必要がある。また、ユーザーが頭を横方向や下方向に動かしたり、転回したり、車から出たり、あるいはユーザーが急に動き回ったり、あるいはカメラがその個人に対して移動したりすると、そのようなデバイスでは瞼の動きをモニターすることができない。さらに、そのようなデバイスは、プライバシーを侵すという問題があり、及び/又はシースルー眼鏡、サングラスあるいはコンタクトレンズに対して問題があり、太陽光線下ではうまく作動しない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許第3,863,243号明細書
【特許文献2】米国特許第5,469,143号明細書
【特許文献3】米国特許第4,359,724号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、1以上の目や瞼及び/又は被験者の瞳孔の動きをモニターするデバイス、システム、及び方法に関する。一般に、人間は毎分約5〜30回、又は1日当たり約7000〜43000回、瞬きをする。不随意の反射性の瞬きは、それぞれ約200〜300ミリ秒、平均すると約250ミリ秒続き、不随意の瞬きにより目を閉じている時間は1日当たり約1750〜10800秒に達する。疲れたり又は眠気を催すと、目の瞬きは長くゆっくりとなり、及び/又は瞬きの速度が変化し、及び/又は瞼は瞬きの強度が小さくなり伏し目がちとなり、例えば目は短時間の微睡眠(microsleeps)、すなわち、約3〜5秒又はそれ以上あるいは長い睡眠が続く睡眠状態、に近づき始める。さらに、眠気と疲れが大きくなるにつれて、瞳孔の締め付けはより緩くなり、揺らぎにより大きさが一定せず、径が急速に収縮し、及び/又は閃光に対する反応が遅くなる(すなわち、潜在的瞳孔遅延反応(delayed pupil response latency))。また、眠気についての他の視覚上の変化が起こり、一例として、例えば刺激に対するゆっくりした又は遅れた断続的な目の追跡反応(潜在的遅延断続反応(delayed saccadic response latency))であり、過剰又は過少の目標への視線を伴い、及び/又は両眼転導又は放散、目のドリフト又は内斜位(esophoria)を伴いあるいは伴わず、注視が減ってくる。
【課題を解決するための手段】
【0007】
一実施態様において、瞼、瞳孔及び/又は目の動きをモニターする装置が提供され、それには、人の頭に装着できるように作製されたデバイスと、そのデバイスを装着した人の目に向けられた光源と、そのデバイスに固定された第1及び第2の光ファイバーバンドルと、ここで、第1の光ファイバーバンドルはデバイスを装着した人の第1の目を観察するように位置決めされる一方、第2の光ファイバーバンドルはデバイスを装着した人の第2の目を観察するように位置決めされている。その装置は、第1及び第2の目の映像を得るために、第1及び第2の光ファイバーバンドルに結合されたカメラを備えることもできる。
【0008】
必要により、その装置は、例えばユーザーが頭を回した方向の領域を観察するために、ユーザーから離れた場所に第3の光ファイバーバンドルを備えることもできる。さらにあるいは代わりに、その装置は1以上の空間センサを備えることもできる。カメラは、ユーザーの頭及び/又は目が向いた方向の領域の映像を得るために第3のバンドルに結合するだけでなく、第1及び第2の目の映像を得るために、第1及び第2のバンドルにも結合することができる。空間センサは、ユーザーの頭の動き、例えばユーザーの目の動きに対しての、を同時に測定又は追跡することができる。また、カメラに結合したエミッタ及び/又はセンサのアレイにより、片目又は両目の種々の視覚パラメータの測定を行うことができ、そのパラメータには、例えば、瞼速度、加速及び減速、瞬きの回数、PERCLOS(瞼が開いている時間の割合)、完全に目を開いた状態に対する距離又は比率等で表される瞼の割れ目の垂直高さ(すなわち、瞳孔を覆っていない瞼間の領域)がある。
【0009】
別の実施態様では、人の瞼の動きを検出する自蔵式のデバイスが提供され、そのデバイスは、人の頭に装着されるデバイスと、そのデバイス上に取り付けられ、そのデバイスを装着した人の目に向けて光を放射するエミッタと、そのエミッタからの光を検出するカメラとを備えている。センサは目が閉じているか開いているかを示す出力信号を発生し、フレーム上のトランスミッタは、離れた場所に出力信号を無線送信するためにセンサに結合されている。フレームは、眠気による瞼の動きを検出するため、予め設定した閾値と出力信号とを比較するプロセッサを備えることもできる。前の実施態様と同様に、エミッタとセンサには、赤外線を放射及び検出する固体型バイオセンサデバイスを用いることができ、あるいは1次元又は2次元等のアレイであって、フレーム上に所定の配置で形成されたエミッタ及び/又はセンサからなるアレイを用いることもでき、例えば、片目あるいは両目の方向に対して配置された1以上のエミッタ及び/又はセンサからなる、垂直、水平、対角又は他の線状又は幾何学的アレイが含まれる。特に、エミッタ及び/又はセンサのアレイにより、別の箇所で記載したものと同一の視覚パラメータの測定を行うことができる。
【0010】
エミッタ及び/又はセンサを、フレーム上のあらゆるポイントに取り付けることができ、例えば、レンズの周り及び/又は鼻柱の中、あるいはフレームの鼻部分の近く又は鼻部分の上を含むフレームに沿ったすべての場所、フレームのテンプル片の付属物、及び/又は眼鏡のレンズの上に取り付けられた面である。あるいは、エミッタ及び/又はセンサを眼鏡のレンズの中に埋め込み、あるいはそれらがレンズを通して動作するように埋め込むことができる。これにより、エミッタ(群)及び/又はセンサ(群)を眼鏡フレーム上に固定することにより、ユーザーが車内、屋外あるいは他の場所にいようが、装着した人の頭の動きに合わせてそれらは移動することができ、身体がどのような状態にあってもユーザーの目に連続して焦点を合わせることができる。
【0011】
さらに別の実施態様では、人の目の動きをモニターするシステムが提供される。そのシステムは、人の頭に装着できるように作製されたデバイスと、デバイスを装着した人の目に光を向ける1以上のエミッタと、CCD又はCMOS等のデバイスからなるカメラを備えている。エミッタ(群)は、目の方向に基準フレームを向けるように形成されている。基準フレームに対する目の動きをモニターするために、カメラを目の方向に配置することもできる。カメラは、デバイスの上又はデバイスから離れた場所に設けることができるが、ユーザーにかなり近接して設ける必要がある。
【0012】
エミッタ(群)からの光はデバイスを装着したユーザーの目に向けて放射され、ユーザーの目を照らす一方、目の上には基準フレームが照射されている。エミッタ(群)は、ユーザーに”不可視”の光、すなわち、通常の視覚の暗順応(夜間視覚)又は明所視(昼間視覚)の範囲外、例えば赤外線、を照射し、照明及び/又は基準フレームがユーザーの視覚を実質的に妨害しないようにすることができる。カメラは、エミッタからの光、例えば赤外線領域の光を映し、それにより、照射光を光のスポット、光のバンド又は他の”輝き”として検出する。基準フレームに対する目の動きは、カメラでモニターすることができる。カメラによってモニターされる動きのグラフィックな出力を、例えば目の上の照射される基準フレームに対してモニターすることができる。例えば、エミッタからの赤外線は、白色光の下では”赤色反射”として、赤外線の下では白色又は暗黒色の瞳孔として網膜から反射され、公知の減法法を用いた暗い瞳孔の映像を含む。
【0013】
例えば1以上のこれらの方法を用いたプロセッサは、目の瞳孔の動きを検出することができ、例えば、基準フレームに対する動きを測定することができる。この動きをグラフィック表示し、基準フレームに対する目の瞳孔の動きを示すことができる。必要に応じ、1以上のセンサからの出力信号を、基準フレームに対する目の動きをモニターするカメラから発生するビデオ信号と相関させることができる。例えば、人の眠気のレベルを決定し、あるいは、心理的又は神経的な生理的認識、感情的及び/又は警戒に関係する心の状態について決定することができる。
【0014】
さらに別の実施態様では、ユーザーの頭に装着されたデバイスを用いて、コンピューティングデバイス又は他の電子又は電気機械デバイス(例えば、ラジオ、テレビ、車椅子、電話、警報システム、聴覚、視覚又は触覚警報システム等)の制御方法を提供する。そのデバイスは、本明細書に記載した別の実施態様と同様に、1以上の部材から構成することができ、ユーザーの少なくとも片方の目に向けられた少なくとも1つの対物レンズを備えたカメラを含む。コンピュータデバイスは、ディスプレイに表示されるポインターを含むディスプレイを含むこともできる。そのディスプレイは、ユーザーの頭に装着されたデバイスに取り付けられた又は別の方法で取り付けられた又はユーザーの頭に配置されたヘッドアップ型又はヘッドダウン型のディスプレイと、ユーザーの前に配置されたデスク型コンピュータモニターと、スクリーン上にデジタル的に投射された映像(例えば、ドライブ又はフライトシミュレータの場合のように)等を含む。ユーザーの目の動きは、カメラを用いてモニターすることができ、目の動きはディスプレイ上のポインターに相関させ、例えばコンピュータマウスの場合と同様にポインターを目の動きに追従させることができる。必要に応じて、カメラは、所定の目の活動、例えば所定時間の瞬き、について目の動きをモニターすることができ、その目に活動は、例えばコンピュータマウスのダブルクリックと同様に、ディスプレイ上のポインターで確認された1以上のコマンドを実行する指示に対応する。
【0015】
本発明の他の態様及び特徴は、図面を参照して以下の記載を検討することにより明らかになるであろう。
【図面の簡単な説明】
【0016】
【図1】患者の目又は瞼の動きに基づいて患者をモニターする装置の一態様を装着した病院患者を示す斜視図である。
【図2】図1の実施態様の拡大斜視図であり、検出デバイスとプロセッサボックスを備えている。
【図3A】瞼の動きのシーケンスに対応する出力信号を伝送するための回路構成の一例を示す模式図である。
【図3B】瞼の動きのシーケンスに対応する出力信号を伝送するための回路構成の一例を示す模式図である。
【図3C】瞼の動きのシーケンスに対応する出力信号を伝送するための回路構成の一例を示す模式図である。
【図3D】瞼の動きのシーケンスに対応する出力信号を伝送するための回路構成の一例を示す模式図である。
【図4A】瞼の動きのシーケンスに対応する出力信号に応じて装置を制御するための回路構成の一例を示す模式図である。
【図4B】瞼の動きのシーケンスに対応する出力信号に応じて装置を制御するための回路構成の一例を示す模式図である。
【図4C】瞼の動きのシーケンスに対応する出力信号に応じて装置を制御するための回路構成の一例を示す模式図である。
【図5A】瞼の動きを検出する回路構成の一例を示す模式図である。
【図5B】瞼の動きを検出する回路構成の一例を示す模式図である。
【図6A】光を向けて放射し、開けた目の表面からの反射光を検出するデバイスの別の実施態様を示す断面図又は前面図である。
【図6B】光を向けて放射し、開けた目の表面からの反射光を検出するデバイスの別の実施態様を示す断面図又は前面図である。
【図6C】光を向けて放射し、開けた目の表面からの反射光を検出するデバイスの別の実施態様を示す断面図又は前面図である。
【図7A】光を向けて放射し、閉じた瞼からの反射光を検出する、それぞれ、図6A〜6Cのデバイスの断面図と前面図である。
【図7B】光を向けて放射し、閉じた瞼からの反射光を検出する、それぞれ、図6A〜6Cのデバイスの断面図と前面図である。
【図7C】光を向けて放射し、閉じた瞼からの反射光を検出する、それぞれ、図6A〜6Cのデバイスの断面図と前面図である。
【図8】ユーザーの目及び/又は瞼の動きに基づいてユーザーをモニターするシステムの別の実施態様に係る斜視図とブロック図である。
【図9】ユーザーの目及び/又は瞼の動きに基づいてユーザーをモニターするシステムのさらに別の実施態様に係る部品のブロック図である。
【図10A】ユーザーの目及び/又は瞼の動きに基づいてユーザーをモニターするシステムのさらに別の実施態様に係るシステムの斜視図である。
【図10B】図10Aのシステムの一部についての模式詳細図である。
【図10C】例えば図10Aの目のフレームの鼻柱の上に配置されたエミッタとセンサのアレイの一例を示す詳細図である。
【図10D】光を反射し、目からの反射光を検出する図10Cのエミッタとセンサのアレイの断面図である。
【図11A】目の動きに基づいて離れた場所から多数のデバイスを選択的に制御する一システムの模式図である。
【図11B】図11Bのシステムにより制御される付加的なデバイスを示す模式図である。
【図12A】例えば図10A〜10Dに示すセンサアレイの活動と、そのアレイにモニターされる目との間の関係を示す表であり、目は開いた状態と閉じた状態との間を変化する。
【図12B】例えば図10A〜10Dに示すセンサアレイにより測定された一連のデータを示すグラフであり、時間に対して目を覆う時間のパーセンテージ(PERCLOS)を示す。
【図12C】例えば図10A〜10Dに示すセンサアレイを含むシステムによりモニターされた人の、PERCLOSを含む多くの生理学的パラメータのグラフィック表示を示す。
【図12D】二次元センサアレイの活動と、そのアレイにモニターされる目との間の関係を示す表であり、目は開いた状態と閉じた状態との間を変化する。
【図13】ユーザーの目及び/又は瞼の動きに基づいてユーザーをモニターする別のシステムの斜視図である。
【図14】図13のフレーム上のカメラの詳細図である。
【図15A】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15B】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15C】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15D】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15E】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15F】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15G】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15H】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図15I】図13のシステムによりモニターされるいくつかのパラメータのグラフィック表示である。
【図16】図13のフレーム上のカメラからの映像出力を示す詳細図である。
【図17】5構成要素センサアレイからの信号を処理する回路構成の一例を示す模式図である。
【図18A】パイロット用ヘルメットに取り付けられ、目の動きをモニターする別の実施態様を示す図である。
【図18B】パイロット用ヘルメットに取り付けられ、目の動きをモニターする別の実施態様を示す図である。
【図19】図18Aと18Bの装置の中に含まれるカメラの模式図である。
【図20A】多数のカメラからの同時出力を示すグラフィック映像であり、それぞれ、ユーザーが目を開けた状態と閉じた状態を示す。
【図20B】多数のカメラからの同時出力を示すグラフィック映像であり、それぞれ、ユーザーが目を開けた状態と閉じた状態を示す。
【図21A】目の動きのモニターを促進するため、瞳孔の周囲を確認できるように作成された楕円状の図を示すグラフィック表示である。
【図21B】目の動きのモニターを促進するため、瞳孔の周囲を確認できるように作成された楕円状の図を示すグラフィック表示である。
【図21C】目の動きのモニターを促進するため、瞳孔の周囲を確認できるように作成された楕円状の図を示すグラフィック表示である。
【図22A】ユーザーの目の動きをモニターするために、装置を装着したユーザーに対して行う覚醒検査の方法を示すフローチャートである。
【図22B】ユーザーの目の動きをモニターするために、装置を装着したユーザーに対して行う覚醒検査の方法を示すフローチャートである。
【図23】目の動きに基づきコンピューティングデバイスを制御する方法を示すフローチャートである。
【図24】経皮的に光を目に伝送し、目の瞳孔で励起された放射光を検出するための装置であり、それぞれ正面図と側面図を示す。
【発明を実施するための形態】
【0017】
図面を見ると、図1は、患者の目及び/又は瞼の動きを検出するための検出デバイス30を装着したベッド12の中の患者10を示している。検出デバイス30は、本明細書に記載したあらゆる種類のバイオセンサデバイスを用いることができ、目の随意的な動き、例えば目的あるコミュニケーションや、目の不随意的な動き、例えば眠気又は他の状態をモニターしたり、及び/又は1以上の電子デバイス(不図示)を制御するのに用いることができる。検出デバイス30は、プロセッサボックス130に結合することができ、そのプロセッサボックスは、検出された目及び/又は瞼の動きを一連のデータ、理解可能なメッセージ、及び/又は他の情報に変換することができ、例えばビデオディスプレイ50を用い、メディカルケアプロバイダー40に伝送することができる。
【0018】
図2,6A及び7Aは、装置又はシステム14の一例を示しており、従来の眼鏡20の対に取り付け可能であって、照準を合わせかつ焦点を合わせることの可能なデバイス30を含んでいる。眼鏡20は、フレーム22に取り付けられた一対のレンズ21と、ここでフレームはレンズ21間に延在するブリッジ部材24を有しており、耳片26を保持する側面部材又はテンプル片25とを有し、これらすべては従来のものである。あるいは、レンズ21が必要でない場合、フレーム22はレンズ21なしでも良い。
【0019】
検出デバイス30は、側面部材25の一方に取り付けるクランプ又は他の機構27と、その上に1以上のエミッタ32とセンサ33(不図示)を取り付ける調整可能アーム31を有している。エミッタ32とセンサ33は、眼鏡20を装着した人の目300に向けてエミッタ32が信号を放射し、目300と瞼310の表面からの反射信号をセンサ33が検出できるように予め所定の位置に取り付けられている。図6Aと7Aに示す例では、エミッタ32とセンサ33は互いに隣接して取り付けられている。
【0020】
あるいは、図6Bと7Bに示すように、エミッタ32’とセンサ33’は互いに離間してフレーム上に取り付けることもでき、例えば、エミッタ32’とセンサ33’とを実質的に横方向に配置することができる。さらに図6Cと7Cに示す別の例では、エミッタ32”とセンサ33”は同軸的に目300を横切って取り付けることができる。瞼302を閉じると、それによりセンサ33”によるビーム340の検出が妨害される。
【0021】
一実施態様では、エミッタ32とセンサ33は、それぞれ、連続あるいはパルス状の光を発生及び検出し、例えば、赤外線領域とし、気が散ることや装着者の通常の視覚が妨害されることを最小限に抑制している。エミッタ32は、所定の周波数でパルス状に光を放射することができ、センサ33は所定の周波数で光のパルスを検出できるように作製されている。このパルス状の動作は、エミッタ32のエネルギー消費を低減し、及び/又は他の光源による妨害を最小限にすることができる。あるいは、可視スペクトルの範囲を超えるあるいはその範囲内の別の周波数域の光、例えば紫外線、あるいは他のエネルギー形状、例えば電波や音波等を用いることができる。
【0022】
プロセッサボックス130は、中に1以上のワイヤ(不図示)を含むケーブル34により検出デバイス30に結合されている。図9に示すように、プロセッサボックス130は、中央演算ユニット(CPU)140、及び/又は他の回路構成、例えば、センサ33からの光強度信号等の出力信号142を受信及び/又は演算する図3A〜3D、図4A〜4C、そして図5A〜5Bの回路構成例を含む。プロセッサボックス130は、エミッタ32及び/又はセンサ33を制御する制御回路構成141を含んでも良く、あるいはCPU140は内部制御回路構成を含んでも良い。
【0023】
例えば、一実施態様において、制御回路構成141は、エミッタ32を制御して、所定周波数の点滅赤外線パルス信号、毎秒数千パルスから毎秒約4〜5パルス、例えば少なくとも毎秒約5〜20パルスを発生させ、1回の瞬き当たり約200ミリ秒と短い無意識あるいは意識的な瞬きの検出を促進することができる。センサ33は、エミッタ32の点滅周波数に対応した所定の周波数の光パルスのみ検出するように制御することができる。それにより、エミッタ32とセンサ33とを所定の周波数に同期させることにより、出力信号142が、明るい太陽光、完全な闇、周囲のバックグラウンド赤外線、あるいは異なる点滅周波数で作動する他のエミッタ等に実質的に影響されることなく、システム10を種々の環境条件で使用することができる。点滅周波数は、電力消費を最小限に抑えながら、単位時間当たりの瞬き回数(毎分約10〜約20回)、各瞬きの持続時間(例えば約200〜約300ミリ秒)、及び/又はPERCLOS(すなわち、瞼を完全に又は部分的に閉じている時間のパーセンテージ)を最大化し、あるいはシステムの効率を最大化するように調整することができる。
【0024】
制御回路構成141及び/又はプロセッサボックス130は、エミッタをオンオフし、センサ33の限界感度を調整し、及び/又は閉じた瞼からの赤外線の反射を最大にするように自己焦点調整できるように、当業者には明らかなように、周波数、焦点又はエミッタ32からの放射光の強度を、手動及び/又はソフトウェアによる制御部分(不図示)を有している。
【0025】
また、プロセッサボックス130は、エミッタ32、センサ33、CPU144、及び/又はプロセッサボックス130内の他の部品に電力を供給する電源160を備えていても良い。プロセッサボックス130には、9Vバッテリー、あるいは充電可能なリチウム、カドミウム又は水素発生バッテリー、及び/又はシステム14に取り付けられた又は内蔵された太陽バッテリー等の従来のDCバッテリーから電力を供給することができる。あるいは、従来のACアダプターや、12Vの自動車のライター用アダプター等のアダプター(不図示)をプロセッサボックス130に接続することもできる。
【0026】
CPU140は、通常の瞬きと瞼の他の動きとを区別するために、出力信号142の各構成要素の長さと所定の閾値とを比較するタイマー回路構成146を備えることもできる。タイマー回路構成146は、当業者には明らかなように、分離した独立の部品としても良く、あるいはCPU140の内部に設けることもできる。CPU140は出力信号142を一連のデータ144に変換し、そのデータは他の人又は装置と交信するのに用いることができる。例えば、CPU140により作成された一連のデータ144は、モールス信号やASCIコード等の二進信号を用いることができる。また、CPU140は、合成音声信号、装置用制御信号、又は絵画信号等の他の出力信号を発生させることができる。
【0027】
通信を促進するため、プロセッサボックス130は、一連のデータ144を用いる種々の出力デバイスを備えることができる。例えば、アラーム音や合成された音声を発生させる内部スピーカー150を設けることもできる。図1のビデオディスプレイ50等の種々の装置に直接配線接続する出力ポート148を設けることもできる。
【0028】
さらにあるいは代わりに、プロセッサボックス130は、一連のデータ144を離れた場所に無線送信するため、CPU144に結合したトランスミッタ152を備えることもできる。例えば、図9に示すように、システム14は、コンピュータ又は他の制御又は表示システム等の受信・演算ユニット154を備えることができる。トランスミッタ152には、短距離信号を発生することのできる無線周波数(RF)トランスミッタを用いることができ、例えば、約100フィート以上に到達でき、又は約45フィートから50フィート、壁や障害物を通過できるものである。あるいは、赤外線トランスミッタ等の他のトランスミッタを設けることもできる。
【0029】
トランスミッタ152は、ブルートゥース又は他のRFプロトコル等を用いて、一連のデータを数百あるいは数千フィート以上伝送させるため、アンプ(不図示)に結合することもできる。例えば、システムから何マイルも離れた場所に一連のデータを伝送するため、アンプとトランスミッタ152は電話線や人工衛星等を介して通信可能であり、将来の又遡及の分析のために、その場所では、データがモニタされ、リアルタイムで分析され、あるいは記憶される(例えばトラックや飛行機のブラックボックスレコーダーの中に)。そのシステムは、検出デバイス30を装着した個人の、位置、動き、及び/又は警報認識状態、覚醒状態、眠気又は感情的/身体的動作及び/又は安全をモニターするための全地球位置把握システム(GPS)を備えることも、あるいはそれに結合させることもできる。
【0030】
受信・演算ユニット154は、一連のデータを含み、トランスミッタ152により伝送される信号153を受信するために、無線周波数レシーバー等のレシーバー156を備えることもできる。プロセッサ158は、一連のデータの中に含まれる情報を翻訳、記憶及び/又は使用するレシーバー156に結合されており、プロセッサ158は、記憶回路構成160,通信デバイス162、及び/又は制御システム164に結合されている。例えば、受信・演算ユニット154は、記憶回路構成160を有しており、後に続く検索と分析のためにプロセッサ158はその中に一連のデータを記憶させる。
【0031】
プロセッサ158は、一連のデータを翻訳処理し、例えば、一連のデータ中の二進コードを理解可能なメッセージ、例えば、一連の文字群や単語群、及び/又はコマンドに変換することにより、及び/又は通信を促進するため、拡大通信デバイス又はソフトウェア(KE:NX又はWords Plus)を使用することもできる。得られたメッセージは、通信デバイス162上に表示されるが、そのデバイスには、テキスト、絵及び/又はシンボル、電子スピーチを提供するための合成された音声のモジュール等を表示するためのビデオディスプレイを含むことができる。
【0032】
あるいは、一連のデータは、コンピュータビデオスクリーン又は他の電子表示デバイス上にリアルタイムのメッセージ信号として図式的又は数字的に(例えば、瞬き速度、瞬きの時間、PERCLOS等を表示する)に表示することができ、又はEKG又はEEGトレーシングの場合と同様に図式的に表示することができる。また、図12Cに示すように、一連のデータを、他の生理学的データとともに表示することができ、そのデータには、皮膚電導度、体温、心臓血管データ(心拍数、血圧等)、呼吸データ(呼吸数、血中の酸素濃度及びCO2濃度等)、筋電記録(EMG)、及び/又は行動データ(すなわち、身体の動きや位置)、及び/又は睡眠ポリグラフ(PSG)又は脳波記録(EEG)の変数等が含まれる。あるいは、一連のデータを、自動車又は機械的機能(例えば、自動車速度、加速度、ブレーキ機能、トルク、振動又は傾き、エンジン又はモータのスピード)をモニターするコントローラと統合することができ、これにより、意識、覚醒、集中の状態、及び/又は運転者又は機械のオペレーターについてのリアルタイムの覚醒反応の動作に関係する機能だけでなく、道路及び/又は車両の状態に応じて自動車を減速したり加速したりする高度な判断を行うことができる。
【0033】
また、1以上の機械又は装置を制御するためにコントロールシステム164に指示を出すため。プロセッサ158によりメッセージを翻訳することができる。例えば、その一連のデータには、リレースイッチ又は他のデバイスを制御して、電気機器、電動車椅子、エンジン、ライト、アラーム、電話、テレビ、コンピュータ、触覚振動シート等の電気デバイスのオンオフを行うように、あるいは目で作動させるコンピュータマウス又は他のコントローラを動作するように、コントロールシステム164に指示するコマンドを含めることができる。
【0034】
あるいは、PC、IBM、マッキントッシュ及び他のコンピュータ、及び/又は互換性のあるコンピュータソフトウェア及び/又はハードウェア、例えば、マウスの場合と同様にコンピュータと相互に作用する、リターンキー及び/又はジョイスティックを制御するために、プロセッサ158は一連のデータを使用することができる。例えば、一連のデータは、WORDS−PLUSやKe:NX等の特別の通信用ソフトウェアのみならず、市販の一般的なソフトウェアとコンピュータゲームにおいて使用されているように、サブメニュー又は個々のアイテムが選択された一連のメニューを作動させるコマンドを含むことができる。プロセッサ158は、コントロール、スクロール又はコンピュータソフトウェアプログラムからの選択を行い、プリンター又は他のデバイスを作動させる(例えば、フォント、パラグラフ、タブ又は他のシンボルオペレータを選択し、”エディト”、”フォーマット”、”インサート”、”ヘルプ”等のコマンドを選択し、又はCD-ROM又はディスクドライブの動作、及び/又は他のウィンドウズ(登録商標)と非ウィンドウズ(登録商標)の機能を制御する)。
【0035】
また、レシーバー156は、ユーザーとデバイスとの間の直接的な接続を提供するため、種々のデバイス(不図示)、例えば、ラジオ又はテレビコントロール、ランプ、ファン、ヒーター、モータ、体感振動椅子(vibro-tactile seats)、リモートコントロールの乗り物、乗り物のモニタ又は制御デバイス、コンピュータ、プリンタ、電話、ライフライン装置、電子玩具、又は拡大通信システム等に直接結合することができる。
【0036】
使用している間、検出デバイス30は、ユーザーの頭の上に配置する、すなわち、図1に示すように眼鏡をかけることにより配置することができる。調整可能なアーム31及び/又はクランプ27を、エミッタ32とセンサ33とがユーザーの目300に向くように最適配置となるように調整することができる(図6A〜6C及び7A〜7C参照)。エミッタ32を作動させ、エミッタ32からの光ビーム340を目300に向けることができる。エミッタ32の強度及び/又は周波数、及び/又はセンサ33又は他の焦点の限界感度をその時に調整することができる(例えば、自己調整機構を利用して手動又は自動で)。
【0037】
目300自身の表面と瞼302の表面の反射特性に差があるため、目300からの反射光の強度は、目が開いているか閉じているかにより異なる。例えば、図6Aと6Bは目が開いた状態を示しており、そこでは、エミッタ32から発生した光線340は目300自身の表面に当たり、光線350により示されるように散乱される。これにより、センサ33により検出される光の強度は比較的小さくなり、すなわち、センサ33は実質的に戻り信号を受信することがない。
【0038】
図7Aと7Bでは、瞼302が閉じた状態の目を示しており、その状態は、通常の瞬き、眠い瞬間、意図的な瞬き、又は他の瞼の動きの間に起きるものである。光線340は瞼302に当たるので、光線360のように光は反射して実質的にセンサ33に戻り、センサ33により比較的高い光強度が検出される。あるいは、7Cに示すように、光線340は、目を閉じた時には、瞼302により乱され又は遮断される。
【0039】
センサ33は、結果として、センサ33により反射光が検出される時間と検出されない時間に対応して、目300が開いているか閉じられているかを示す光強度信号を生成させる。一般に、瞼の表面から反射される赤外線の強度は、皮膚の着色には実質的に影響されない。瞼からの反射光の強度を調整する必要がある場合、フォイル、キラキラ輝く装飾品(glitter)、反射性の保湿クリーム等を反射率を増加させるのに用いることができ、あるいは、黒目ライナー、吸収性又は屈折性のクリーム等を反射率を低下させるのに用いることができる。
【0040】
図9に戻ると、センサ33により検出される光強度は、結果として出力信号142となるものであり、一連の時間依存性の光強度信号(例えば図12Bに示すように)を含んでいる。出力信号142は、センサ33に結合したCPU140により受信され、そこで、閉じた目の状態に応じて各光強度信号142の時間長さを所定の閾値と比較する。タイマー回路構成146は、通常の瞬きを意図的及び/又は他の意図的でない瞼の動きと区別するためにCPU140に閾時間を与えることができ、CPU140はそれに応じて出力信号142をフィルターする。次いで、CPU140は、随意的及び/又は不随意的な通信に用いる一連のデータを生成させる。
【0041】
有用な一の応用として、検出デバイス30を、ユーザーの切迫した眠気又はマイクロ睡眠(すなわち、覚醒状態を襲う数秒程度の眠気)を検出するのに用いることができ、プロセッサボックス130はユーザーや、ユーザーの側の他人、又は襲う眠気をモニターする装置に警告を発することができる。CPU140が、人が寝入った時のように目を比較的長い時間閉じている状態も検出できるように、タイマー回路構成146の閾値を調整することもできる。
【0042】
例えば、通常の瞬きは比較的短いので、通常の瞬きと眠気により引き起こされる瞼の動とを区別するために、閾値は、ゼロ秒に近いところから数秒の範囲に設定することができ、例えば約200〜300ミリ秒、又は別の実施態様では約250ミリ秒とすることができる。CPU140が眠気を検出すると、すなわち、所定の閾値を超える高い光強度信号を検出すると、警告デバイスを起動させる。警告デバイスは、スピーカー等をプロセッサボックス130に内蔵させることもでき、あるいは、警告ライト(不図示)又はアラームスピーカー(図9にはない。図10Cを参照)をフレーム上に取り付けることができる。別の例では、警告デバイスに、別の箇所で説明する振動シート等の体感デバイスを用いることもできる。
【0043】
あるいは、検出デバイス30を用いて、眠気による瞼の動きを目立たないように記録又はモニターすることもでき、CPU140が一連のデータを作製し、トランスミッタ152が受信及び演算ユニット154(図9)に伝送する。例えば、デバイス30を車両の安全システムと共に用いて、運転者の意識状態又は注意状態をモニターすることもできる。一連のデータ144は、車両に搭載された受信及び演算ユニット154に伝送することができ、そのユニットは運転者の眠気についてのデータを記憶し、及び/又は、車両の速度調整や車両のエンジン停止等の車両の制御を行うため、所定のアルゴリズム反応に基づき判断を行うためにそのデータを用いることができる。これにより、検出デバイス30は、トラック運転手、タクシー運転手、船又は飛行機のパイロット、列車の車掌又はエンジニア、レーダー又は空港管制塔のオペレータ、重機又は工場機械のオペレータ、スキューバダイバー、学生、宇宙飛行士、エンターテイメントの関係者又は観客等をモニターすることができる。
【0044】
検出デバイス30とシステム14は、医療診断、治療、又は専門的な方法に用いることもでき、覚醒、睡眠パターン、及び/又はストレスの多い状態又は覚醒剤(例えば、カフェイン、ニコチン、デキストロ−アンフェタミン、メチルフェニデート、モダファニル)、鎮静剤(例えば、ベンゾジアザピン、アムビエン)、又は光と闇の効果を変える概日リズム、又はメラトニンの、これらは患者や車両オペレーターの瞬きの回数、速度、持続時間又はPERCLOSに影響を与えるものであり、交感神経系及び副交感神経系への影響をモニターする。デバイスを使用する個人の眠気の影響を予測するため、時間をかけて測定された変化の動向を知るため、信号をリアルタイムで記憶及び解析することができる。
【0045】
前述の方法と同様に、CPU140は一連のデータ144を発生させ、そのデータをトランスミッタは離れた受信及び演算ユニット154に送ることができる。受信及び演算ユニット154は、記憶回路構成160の中に一連のデータ144を記憶させることができ、これにより、後で修正及び解析を、研究者、医療専門家、又は安全人員(safety personnel)(例えば、飛行機の”ブラックボックス”レコーダーの中にフライトレコーダーのデータが記憶される方法と同様である)が行うことができる。受信及び演算ユニット154は、一連のデータ144を表示することもでき、例えば、ナースステーションで、患者の身体的、精神的、又は感情的な状態を連続的にモニターするための追加のパラメータとして表示することができる。ユニット154は、記憶及び/又は信号を発生させるが、例えば、肯定及び否定の間違いを防ぐために所定の時間内に反応しなければならない一連のアルゴリズムにより行う(例えば覚醒動作モニタリング)。
【0046】
多くの医学的状態、例えば、目が毎秒約3回震える小発作てんかん、パチパチしながら繰り返し目を凝視又は閉じる大発作又は精神運動発作、瞼をパチパチしながら開けたり閉じたりするミオクロニーてんかん、又はチック、又は、例えばトゥーレット症候群の人達に見られるような他の目の動き、を検出デバイス30とシステム14によりモニターすることができる。そのシステムは、プラス又はマイナスの重力効果により起きるパイロットのg-LOC(意識喪失)、飛行機内の気圧が低下することによる乗客又は乗員の酸素欠乏症、ダイバーの窒素酔い又はベンズ(bends)、又はガス、化学薬品、薬、及び/又は軍人又はその他の人間に対する生物薬剤をモニターするのに用いることができる。
【0047】
そのシステムは、心理状態のモニターにも用いることができ、例えば、ストレスを検出したり、又は睡眠の間、人が横になっている時(例えば、横になり目を閉じたりあるいは動かすことにより)、注意力をモニターして、目の機能が低下する状態に対するドラッグ又は医薬品の負の副作用及び/又は正の治療効果(例えば、パーキンソン病において瞬き速度を改良するためのL-ドーパ、目のチックや、ALSや重症筋無力症のような神経筋異常を処置するのに用いられるドラッグ)、相関視覚測定に基づくドラッグ又はアルコールの濃度(眼振又は閃光に対する遅延瞳孔反射)、抗痙攣薬、ドラッグ、アルコール、毒の治療効果及び副作用、又は酸素欠乏症又は換気の効果等の1以上について測定する。すべての年齢の患者の神経学的状態をモニターすることができ、例えば、目又は瞼の神経支配的又は機械的な機能が影響を受ける、パーキンソン病や筋病、例えば筋強直症、筋強直性ジストロフィー、眼瞼痙攣、羞明又は光過敏症、エンセファロパシー、発作、ベル麻痺の場合や、又は視覚を失ったり(例えば黄斑変性症)、瞼の垂れ又は眼瞼下垂症が現れる、第III脳神経麻痺又は不全麻痺、脳幹障害又は発作、腫瘍、感染、代謝性疾患、外傷性神経症、退行症、例えば多発性硬化症、筋萎縮性側索硬化症、多発ニューロパシー、重症筋無力症(myesthenia gravis)、ボツリヌス中毒、強縮、テタニー、遅発性ジスキネジー、脳幹脳炎、そして他の原発性の瞼の症状、例えば、眼球突出症、甲状腺中毒症又は他の甲状腺症の場合である。同様に、検出デバイス30は歩行状態でも用いることができ、上記のあらゆる神経眼科的及び眼科的な障害の進行及び/又は緩解を研究することができる。
【0048】
同様に、検出デバイス30はバイオフィードバックの用途に用いることができ、例えば、特定の症状(例えばチック異常)の睡眠又は心理学的治療法に用いることができる。検出デバイス30は刺激を発生させることができ、例えば、明かり又はスピーカーを起動させ、所定時間内に刺激を認識したことを示す反応、例えば瞬きの特定のシークエンス等の反応を受信すべくユーザーの瞼の動きをモニターする。もしユーザーが反応しなければ、プロセッサは反応時間等を含む反応について記憶し、及び/又はアラーム信号等の信号を自動的に送信することができる。
【0049】
また、検出デバイスは、医療関係以外にも人間のモニターに用いることができ、例えばユーザーの家庭等の通常の活動の間においても用いることができる。例えば、てんかん又はナルコレプシー等の不随意の症状を持つ人のモニターに用いることもでき、あるいは幼児、子供、刑務所の囚人、発狂した患者(例えば、アルツハイマー病を持った人)、警察官、軍人、銀行の出納係、レジ係、カジノ従業員、学生、交替又はグレーブヤードシフトの労働者等に対しても用いることができる。同様の応用は睡眠実験室における睡眠ポリグラフ測定(例えば、PSG,MSLT,MWT)についても可能であり、寝ている患者に対し、睡眠の兆候、睡眠の潜在性、瞼を閉じているあるいは開いている時間、夜の覚醒している時間等のパラメータを測定し、あるいは動物の研究においては、瞬き、瞳孔変化及び/又は遅かったり速かったりする目の動きが研究対象であり、あるいは幼児の視覚についての神経発達機能の研究にも用いることができる。
【0050】
検出デバイス30は、他のリラックス用、鎮静用又はアラーム用の技術又はデバイスに対してのみならず、前述の薬(例えば興奮薬)、アルコール又は他の違法ドラッグ、毒素、毒薬についても、眠気、覚醒又は警報効果を研究又はモニターするのに用いることができる。同様に、ユーザーの特徴及び不眠の程度を測定し、PERCLOSの直接の関数として又はPERCLOSと関係づけて解析することができる。
【0051】
CPU140が特定の瞼の動き、例えば、てんかん発作や、失神エピソード(syncopal episode)や、ナルコレプティックエピソード(narcoleptic episode)の間に、あるいは運転中や仕事中の居眠りをしている時によく見られる、目を閉じている時間が長くなる等の瞼の動きを検出した場合、CPU140はアラームを起動させる出力信号を発生させる。あるいは、トランスミッター152が使用されている装置を止める出力信号を送り、自動的に緊急サービスにダイアルさせるように電話を自動的に起動させる等により医療関係者に知らせたり、警察、救急車、車両コントロールセンター、保護者等の離れた場所に信号を送ることができる。
【0052】
システム14には、自発的な通信のための有用な用途がある。検出デバイス30を装着したユーザーが、モールス信号又は他の瞬きコード等の所定のパターンで瞬きを意図的に行い、人々又は装置(例えば緊急を知らせるための)に理解可能なメッセージを送ることができる。CPU140は、センサ33から受信され瞬きコードに対応する光強度信号142を一連のデータ142に変換し、あるいは文字、単語及び/又はコマンドを含む理解可能なメッセージへと直接変換することができる。
【0053】
一連のデータ144は、出力ポート148に結合したビデオディスプレイ50(図1参照)に表示され、あるいは内部スピーカー150から合成スピーチとして出力される。一連のデータ144は、メッセージを表示したり、コントロールシステム164に接続された家庭用デバイス等をコントロールするため、信号153を介してトランスミッタ152により受信及び演算ユニット154に伝送される。住宅用に加え、システム14は、病院加療又は看護ケアを受けている患者、例えば、挿管され、換気され、拘束され、麻痺したあるいは弱った患者により使用され、付き添いの医療スタッフと意志の疎通を図り、及び/又は意識してナースステーションに信号を送ることができる。対象となる患者は、言語で意志疎通を図る身体能力のない患者だけでなく、片目又は両目の瞬きにより意志表示をすることができる患者も含まれる(例えば、筋萎縮性側索硬化症、横断性脊髄炎、閉じ込め症候群(locked-in syndrome)、脳血管性発作、末期筋ジストロフィー(terminal muscular dystrophy)を持った患者や、換気のため挿管された患者である。)。
【0054】
デバイスは、あらゆる環境又は領域内で使用することができ、それには水又は他の実質的に透明な流体が含まれる。さらに、デバイス30は緊急の通知及び/又は独立した安全確保用ツールとしても用いることができる。通常の言語能力のある人であれば、通常の意志疎通手段、すなわち言語、が困難な場合であってもデバイス30を装着することができる。例えば、銀行又は小売店の従業員は、強盗に襲われた時あるいは犯罪現場に居合わせた時、一人で予め設定された警報を瞬きすることにより、警備部門に連絡したり又は警察を呼ぶことができる。あるいは、治療を受けている人が、身体的な能力がない場合、すなわち、緊急の医療ケアを呼ぶために動くことができないが、自分で目を動かすことができる状態にある場合には、デバイスを装着することができる。そのような場合、予め記録されたメッセージ又は確認データ(ユーザーの名前、居場所、緊急内容等)を、特定の一連の瞬きコード又は予め設定されたメッセージにより離れた場所に伝送することができる。この方法によれば、検出デバイス30は、ICUの中の患者、換気されている患者、囚人、老人又は障害者、重機のオペレーター、トラック運転手、モータリスト、船舶及び航空機のパイロット、列車のエンジニア、レーダー又は航空管制塔のオペレーターをモニターするのに用いることができ、又は軍の警備担当、警察銀行出納係(police bank tellers)、レジ係、タクシー運転手等によるコミュニケーションのための非言語的又は閾下のツールとしても用いることができる。検出デバイス30は、レクリエーション用のデバイス、例えば、ウォーキートーキーに似た子供の玩具又は玩具の車をリモートコントロールするためのデバイスとしても用いることができる。
【0055】
また、検出デバイス30を連続使用するために、CPU140に付加的な閾値比較を実行させることが好ましい。例えば、付加的なタイマー回路構成をCPU140に結合し、CPU140に、センサ33から受信した光強度信号と、タイマー回路構成により提供される第2の所定の閾値とを比較させることができる。第2の所定の閾値は、人が普通に瞬きを行う間の時間間隔に対応する。CPU140がこの時間間隔内で通常の瞬きを検出できない場合あるいはユーザーが所定の刺激(明滅光又は音等)に反応しない場合、CPU140は信号を発生し、スピーカー150を起動させあるいはトランスミッタ152を用いて警報を伝送する。
【0056】
このことは、間違いアラームの防止やユーザーの注意状態の測定のためだけでなく、検出デバイス30が犯罪現場において犯人により外されたり、一連の医療エピソードにより落ちたりした場合等にも役立つ。また、ユーザーは特性に注意する必要があり、信号が意図的か又は間違いアラームであるか、そしてまたバイオフィードバックのために注意力又は眠気を測定しているかどうか、そしてまたデバイスを装着したユーザーの反応を測定しているかどうかを判断する必要がある。
【0057】
また、睡眠実験室で患者をモニターして、眠気の兆候、潜在的な眠気、瞼を閉じている時間等を測定したり、あるいは刑務所の囚人をモニターしたりする場合等において、出力信号142の極性を逆転させ、目が開いている時のみ、一連のデータを生成させるようにすることもできる。そのような目的の場合、当業者に理解可能なように、開いた目の状態が検出された時のみCPU140がアラームを起動させるようにすることもできる。
【0058】
図8に、検出デバイス30の別の実施態様を示す。この実施態様においては、エミッタとセンサは単一の固体型光放射及び検出バイオセンサデバイス132であり、眼鏡20の上に直接固定されている。バイオセンサデバイス132は赤外線を発生及び検出し、その大きさは2mm×4mm、重さは数gであり、検出デバイス30を使い易くし、快適にし及び/又は自由度を大きくしている。大きさが小さいので、図8に示すようにバイオセンサデバイス132をレンズに直接取り付けることができ、目の動きを検出し易いように、目のレンズの外表面又は内表面の上、鼻柱に又はフレーム22の別の場所に取り付けることができる。バイオセンサデバイス132は約5mm×5mmより小さい表面積を測定し、少なくとも約1オンスの重さを測ることができるので、視覚の邪魔にならず、持ち運びでき、軽量の眼鏡フレームに容易に組み込めるエミッタ/センサの組み合わせを提供できる。全システムがフレームに内蔵されているので、ユーザーがどの方向を見ようとユーザーとともに移動し、種々の環境又は領域で、日夜や、水中等でも作動させることができる。
【0059】
浜松はバイオセンサデバイス132に使用できる種々の赤外線エミッタ及び検出デバイスを製造しており、モデルNo.L1909、L1915−01、L2791−02、L2792−02、L2959、そして5482−11等があり、あるいはラジオシャック(Radio Shack)赤外線エミッタモデルNo.274−142を用いることもできる。線形光学走査センサアレイ等のマルチエレメントアレイも使用可能であり、テキサス州プラノのテキサスアドバンストオプトエレクトロニックソルーション社(TAOS)のモデルNo.TSL201(64ピクセル×1ピクセル)、TSL201(128×1)、TSL208(512×1)、TSL2301(102×1)を用いることができる。検出光を集束させるため、これらのセンサをレンズアレイと組み合わせて用いることができ、そのレンズアレイには、例えばカリフォルニア州アーバインのNSGアメリカ社で製造されている線形走査用のセルホック(Selfoc)レンズアレイを用いることができる。
【0060】
また、マルチバイオセンサデバイス132は眼鏡20の上に取り付けることができ、例えば、図8に示すように一対のバイオセンサデバイス132が眼鏡の上に取り付けられ、ユーザー(不図示)のそれぞれの目の瞼の動きを検出することができる。上述のプロセッサボックス130と同様に、各バイオセンサデバイス132から延びるケーブル134はプロセッサボックス130に続いている。プロセッサボックス130(図8には不図示)のCPU140は、各バイオセンサデバイス132からの出力信号を受信して比較し、通常の瞬きを他の瞼の動きから識別する力をさらに増大させることができる。
【0061】
一対のバイオセンサデバイス132により、より複雑なコードを使用することができ、例えば、当業者にも理解可能なように、それぞれの目を別々にあるいは一緒に瞬きすることにより、より効果的かつ便利にコミュニケーションをとることができる。一例として、一方の目の瞬きをドットに対応させ、他方の目の瞬きをダッシュに対応させてモールス信号として使用することができる。それぞれの目からの出力信号はCPU140により解析され理解可能なメッセージへと変換される。
【0062】
別の例では、右目の瞬き(又は瞬きの連続)が電動車椅子を右方向に移動させ、左目の瞬きが左方向に移動させ、両目を同時に2回瞬きすると車椅子を前進させ、及び/又は両目を同時に4回瞬きすると車椅子を後退させることができる。同様の瞬きの組み合わせ又は連続は、テレビ、AM/FMラジオ、VCR、テープレコーダ又は電子デバイスや電気機械デバイスのオン/オフ機能、音量又はチャンネルのコントロール、あらゆる拡大コミュニケーション又はコントロールデバイス、又は単にオン/オフスイッチで操作可能なあらゆるデバイス(ワイヤレスのテレビリモートコントロールシングルスイッチテレビコントロールユニット、汎用リモートコントローラ、壁スイッチモジュール又は壁スイッチコントローラを備えたACプラグ付きのシングルマルチ機器ユニット、コンピュータの入力アダプター、点灯するシグナルブザー、振動するシグナルボックス、すべてのタイプのスイッチモジュール、ビデオゲーム用コントローラスイッチモジュール、そしてスイッチコントロールの電子玩具)のコントロールに用いることができる。
【0063】
また、バイオセンサデバイスにより放射及び/又は検出された光や、各エミッタ、及び/又は検出器をコントロールするために、1以上のレンズ又はフィルターを設けることができる。例えば、プリズム又は他のレンズで放射光の角度を変更したり、あるいは目に向ける所定ビーム形状の光を作製したり、反射光をセンサで受光するために、スリットを通すことにより光を柱状にしたり又は集束させることができる。放射された光ビームの幅等の形状を調整可能とするため、あるいはセンサの感度を調整するため、レンズアレイを設けることができる。レンズは、当業者に理解可能なように、プラスチック等の中にエミッタとともにエミッタに沿って配置され、あるいは別体の付属部品として用いられる。
【0064】
図10Aはシステム414の別の実施態様であり、フレーム422上に直接設けられた結合したプロセッサ及びトランスミッタ回路構成430を備えたバイオセンサデバイス432を含むフレーム422を有し、例えば、システム414の使い易さと自由度を大きくしている。フレーム422は、鼻柱424を含んでも良く、その上にバイオセンサデバイス432を固定的に、スライド移動可能に、及び/又は調整可能に取り付けることができ、そして一対の耳掛け部材423,425を含むことができる。
【0065】
例えば、一方の耳掛け部材423の大きさを他方の耳掛け部材425よりも大きくすることができ、これにより、プロセッサ及びトランスミッタ回路構成430を埋め込んだり、あるいはその上に取り付けたりすることができる。プロセッサ440は、プロセッサボックス130中の前述のCPU140と同様に、フレーム422上に設けることができ、リチウムバッテリー等の電源を耳掛け部材423に挿入又は固定することができる。無線又は別のトランスミッタ452(例えばブルートゥース又は他のプロトコルを用いる)を、テンプル片中に又はフレーム422の別の場所に存在するアンテナ453を含む耳掛け部材423上に設けることができ、そのアンテナは、埋め込んだりあるいは耳掛け部材423に沿って固定することができる。
【0066】
システム414は、耳掛け部材423又はフレーム上の他の場所に設けたマニュアルコントロール部を含むこともでき、例えば、電源をオンオフしたり、バイオセンサデバイス432の強度及び/又は閾値を調整することができる。システム414は、眼鏡の場合のようにレンズ(不図示)を含んでも含まなくても良いフレーム422上に内蔵されている。外部ケーブル又はワイヤを減らすことができるので、コミュニケーション及び/又はユーザーのモニターのための便利で快適なシステムを提供することができる。
【0067】
別の例を図10B,10C,10Dに示すが、エミッタ532とセンサ533の線状アレイ530が、例えば、眼鏡フレーム522の鼻柱524の上に垂直方向に取り付けられている。CPU540、バッテリー460、トランスミッタアンテナ543,そして警報指示器550が、例えば前述の実施態様と同様にテンプル片525の中に設けられている。ユーザーからの日常的なバイオフィードバック反応が可能なように、LED542又は他の刺激デバイスを眼鏡フレーム522の所定の位置に設けることができる。また、CPU540で作成された一連のデータを受信し、トランスミッタ543により伝送するため、レシーバー544を設けることができる。
【0068】
図10Cに示すように、各センサ533及びエミッタ532は、エミッタ532をコントロールするため及び/又はセンサ532からの光強度信号を処理するため、CPU540又は他のコントロール回路構成に結合することができる。これにより、本明細書に記載した別のプロセッサの場合と同様に、CPU540はアレイ530中のセンサ533を循環し、各センサ533からの信号を連続的に処理することができる。図10Dに示すように、エミッタ532は、光ビーム(それぞれ360a,360bで示されている)を目300の方向に、例えば瞳孔301の方向に集束させるレンズ534を有している。センサ533は鼻柱524の内部に埋め込まれており、スリット535は各センサに対して設けられており、スリットは各センサ533により検出される反射光をコントロールできるように所定の大きさを有している。これにより、各センサ535は、目300の特定の部分を通過する瞼302の動きを検出することができ、例えば、図12Aに示すようPERCLOSを測定することができる。センサ又はエミッタは、放射光又は反射光を集束させるレンズ又は柱状デバイスを含むこともできる。
【0069】
線状アレイ530は、単に目が閉じている否かだけではなく、瞼の動きについての付加的なパラメータの測定にも利用でき、例えば、瞼を開けたり閉じたりする速度、すなわち目を閉じる速度を測定することができ、CPU540は連続するセンサ533間における活性化の時間遅れを比較することができる。また、部分的に目を閉じたこと等による瞼302による瞳孔の被覆率を、時間の関数として測定するためにセンサ533からの出力信号を処理することができ、例えば目が完全ではなく部分的に閉じられた時にモニターし、及び/又は図12A〜12Cに示すように目が閉じられている時間のパーセンテージ(PERCLOS)をモニターし、ユーザーが最大限に目を開けたベースラインと比較する。
【0070】
図12Dは、別の実施態様であり、センサの2次元アレイを示している。5×5アレイ633や、9×11アレイ733は例示であり、あらゆる数のエレメントを含む他のアレイも可能である。例えば、以下に説明するように、センサには、数百又は数千ピクセルのグリッド又は他のパターンを有するCMOS又はCCDデバイスを用いることができる。センサ633,733は、エミッタ632からの光の表面反射率を測定するのに用いることができ、すなわち、プロセッサ(不図示)はアレイ633,733中の各センサからの信号を処理し、瞼302により覆われた目の表面積のパーセンテージ及び/又は瞳孔の相対位置を示す一連のデータを作製する。
【0071】
アレイ633,733中のセンサは十分に高感度あるいは十分な解像度を有しているので、瞳孔301を通過する網膜からの反射光による”赤色反射”又は同等の赤外線”明色瞳孔”反射を検出することができる。これにより、センサは、赤色反射又は明色瞳孔がないことを示す実質的にゼロの値を含む光強度信号や、赤色反射又は白色瞳孔反射を示す低出力信号、そして、閉じた瞼302からの反射を示す高出力信号を発生させることができる。赤色反射は、明白色光瞳孔として現れる(エミッタ(群)からの赤外線が瞼が開いている時の網膜に反射して現れ、又はプロセッサが減法アルゴリズムを用いている場合には暗色又は”黒色瞳孔”として現れる。)プロセッサは、瞳孔301が瞼302により覆われている状態を検出するために光強度信号を処理する、すなわち、目が完全に瞼302により覆われていなくても、ユーザーはその状態を見ることはできず、その状態はPERCLOS値で第一次注視(primary gaze)の約50〜75%である。また、瞼、目、そして瞳孔が下降すると、PERCLOS測定の結果が75〜80%以上でも、センサ(群)は、赤色反射又は明色瞳孔を検出することができ、例えば、その状態では、下方注視において、目はまだ、狭いスリット状の瞼の裂け目開口を通して見ることができる。
【0072】
別の例では、プロセッサ及び/又はトランスミッタ回路構成(図2のプロセッサボックス130中のCPU140又は図10Aと10BのCPU440,540)は、確認回路構成(不図示)を、別体のメモリーチップとして又は他の回路エレメントとして又はCPU自身の内部に含むことができる。確認回路構成は、所定の確認コードでプログラムすることができ、又はユーザーの身分照明、ユーザーの居場所、ユーザーに特徴的なバイオメトリック測定(例えば、固有虹彩(unique iris)又は網膜パターン、指紋、音声認証)、各検出デバイスに対する確認コード等の選択された確認情報を含むようにプログラム可能である。
【0073】
CPUは、伝送された一連のデータ553に確認情報を付加することができ、あるいは確認情報は自動的に又は定期的に、連続的に又は断続的に、一連のデータの中に組み込まれ、それにより、その一連のデータを特定の検出デバイス、個々のユーザー、及び/又は特別な場所に関連付けることができる。確認情報は、例えば離れた場所でプロセッサにより使用され、そこでは多数の検出デバイスからのデータが識別され、次いで前述のように記憶、表示等がなされる。そのため、システムを使用している時には、ユーザーが特定の確認又は標準情報を要求されることはない。
【0074】
図11Aに示すように、レシーバー544により、シングルスイッチマルチアプライアンスコントロールユニット550を介してレシーバー544に結合された1以上のデバイスをコントロールすることができる。コントロールユニット550は、個々のコントロールモジュール552a−552fにより受信されるオン/オフ又は他のコントロール信号を伝送するために取り付けられた自身のトランスミッタを備えている。ユーザー10は、瞬きすることにより、伝送される一連のデータ553を作製し、コントロールユニット550やコントロールモジュール552a−552fを使用する選択された電気装置、例えば、ラジオ554、テレビ556、ライト558a、壁スイッチ560にコントロールされるライト562、壁ソケット564にプラグを差し込んだ扇風機564等のスイッチを切ったり入れたり、あるいはコントロールすることができる。
【0075】
また、図11Bに示すように、レシーバー554を、他のシステム、例えば、コンピュータ570,プリンター572、車両集積システム574、ライフラインユニット576、GPS又は他の衛星トランスミッタ578等と結合することができる。伝送された一連のデータ553は、単独であるいは他の車両センサ情報及び/又は人的構成要素等(EKG、EEG、EOG、脈膊、血圧、呼吸速度、酸素飽和度、アクチグラフ、頭の位置、声分析、体温、皮膚電導度、自己評価測定及び覚醒反応特性、固定された非着用の計器盤又は日除けに取り付けられたカメラシステム等)の追加データとともに処理され、長距離トラック運転手等のユーザーのモニターのさらに効果を発揮する。
【0076】
図13は、目の動きをモニターする別の実施態様のシステム810を示す。一般に、システム810は、鼻柱814と一対の耳掛け部材816、1以上のエミッタ820、1以上のセンサ、及び/又は1以上のカメラ830,840を含むフレーム812を有している。フレーム812は、処方レンズ、影付きレンズ又は保護レンズ等の一対のレンズを有していても良いは、それらを省略することもできる。また、ユーザーの頭に装着可能な他のデバイス、例えば、パイロットの酸素マスク、保護用眼鏡ギア、患者用換気装置、スキューバ用又は水泳用マスク、ヘルメット、帽子、ヘッドバンド、ヘッドバイザー、保護用ヘッドギア、又は頭及び/又は顔を保護する密閉スーツの内部等(不図示)にシステムを設けることもできる。システムの構成要素は、ユーザーの視界及び/又はデバイスの通常の使用の妨害とならないように、デバイスの種々の位置に設けることができる。
【0077】
図示の通り、エミッタ820のアレイはフレーム812上に設けられており、例えば垂直アレイ820aや水平アレイ820bとして設けられている。さらに又は代わりに、円状アレイ(不図示)等の別の配置でエミッタ820を設けることもでき、光フィルター及び/又はディフューザー(不図示)を含んでも含まなくても良い。一態様として、エミッタ820は所定周波数のパルスを放射するように配置された赤外線エミッタであり、本明細書中の別の態様と同様である。エミッタ820は、ユーザーの1以上の目を含むユーザーの顔領域の上に基準フレーム850を向けるようにフレーム上に配置することができる。図示の通り、基準フレームはその領域を四分円に分割する一対の交差バンド850a,850bを含んでいる。一態様として、交差バンドの交点を、第一次注視、すなわち、ユーザーが概ねまっすぐを見ている時に目の瞳孔に実質的に対応する位置に配置することができる。あるいは、垂直及び水平成分、角度及び放射状成分、又は他の直交成分等を含む他の基準フレームを設けることもできる。必要により、実質的に一定である1以上の基準点を設け、以下に説明するように目の相対運動のための有効な基準フレームとすることもできる。
【0078】
ユーザーの瞼から反射されたエミッタ820からの光を検出するために、フレーム812上にセンサ822のアレイを設けることもできる。本明細書に記載された別の態様と同様に、センサ822は、瞼が閉じているか開いているかを確認するために必要な強度を有する出力信号を発生させることができる。センサ822は、瞼の各部分から反射された光を検出するため、各エミッタ820に隣接して配置することができる。あるいは、センサ822を垂直アレイの形で配置することもでき、例えば、本明細書に記載された別の態様と同様に、瞼の閉じた程度をモニターするために鼻柱814に沿って配置することもできる。さらに別の態様では、エミッタ820とセンサ822は、単一のデバイスで放射及び検出の両方が可能な固体型のバイオセンサ(不図示)であっても良い。必要に応じ、エミッタ820及び/又はセンサ822を省略しても良く、例えば、カメラ830,840が以下に述べるように十分な情報を提供してくれる場合には省略することもできる。
【0079】
センサアレイから発生する信号を用いてPERCLOS又は他のパラメータを測定するための、回路構成及びソフトウェアを設けることもできる。例えば、図17は、5つの構成要素アレイからの信号を処理するのに用いる模式構成例を示しており、例えばPERCLOS測定値又は他の警告パラメータを得るために用いることができる。図13に戻ると、システム810は、ユーザーの片目又は両目に方向に概ね配置された1以上のカメラ830も有している。各カメラ830は、柱部814(又はフレーム812の別の場所、例えばユーザーの視界の妨害を最小限にできる位置)に一端を取り付け又は隣接させ、他端837を、映像をデジタルビデオ信号に変換するCCD又はCMOS等の検出器838に結合させた、光ファイバーバンドル832を有している。例えば光ファイバーバンドルの上に映像を集束させるため、図14に示すように、光ファイバーバンドル832の一端上に対物レンズを配置することができる。必要に応じ、図14に示すように、光ファイバーバンドル832は、レンズに隣接して終了し、エミッタ836を提供する1以上の照明用ファイバーを含むこともできる。照明用ファイバー(群)は、図22に示す態様と同様に及び以下に説明するように、光源(不図示)と結合させることができる。図13では1個のカメラのみが示されているが(例えばユーザーの左目だけをモニターするため)、別のカメラ(不図示)をユーザーの他の目(例えば右目)をモニターするために、同様の部材、例えば光ファイバーバンドル、レンズ、エミッタ(群)及び/又は検出器(必要により、以下に説明するようにカメラは共通の検出器を共有することができる)を対象配置に設けることができることは当業者には理解できるであろう。必要に応じ、各目の方向に向けられ、例えば目に対し異なる角度を有する多数のカメラ(不図示)を用いることが好ましい。必要に応じ、これらのカメラ(群)は、光ファイバー延長部、プリズムレンズ、及び/又は反射ミラー(例えば赤外線を反射する)、侵入させずあるいはブロックする鏡面を目と対向する側に有するレンズ等を有する。そのような付属品は、カメラに伝送された目の映像を所望の方法により湾曲させたり、回転させたり、反射させたり、又は逆転させたりすることができる。
【0080】
カメラ(群)は、エミッタ820及び/又は836から放射された光、例えば赤外線又は可視域を超える他の光の周波数を検出できるように配置することができる。必要に応じ、光ファイバーバンドル832がエミッタ836用の1以上の照明用ファイバーを含む場合、フレーム812上のエミッタ820は省略することができる。この態様では、センサ822を省略し、以下に説明するように、ユーザーの目の動きをモニターするためにカメラ(群)830を用いることができる。必要に応じ、システム810はユーザーの頭から離れた位置に配置された第2のカメラを含んでも良く、それによりユーザーの顔のすぐ前の領域等のユーザーの周囲をモニターすることができる。カメラ840は、カメラ830と同様な成分、例えば光ファイバーバンドル841、レンズ(不図示)、及び/又はエミッタ(群)(不図示)を含むことができる。必要に応じ、カメラ830には、周囲の照明条件でも撮像できる十分な感度を有するものを用いることができ、エミッタを省略することができる。カメラ840は、図13に示すように別体の検出器839に結合させることができ、以下に説明するように、カメラ830と検出器838を共有することができる。
【0081】
光ファイバーバンドル832,841は、それぞれ、例えば、約5,000〜100,000のピクセル化された送光用光ファイバー、あるいは約10,000〜50,000のファイバーを含むことができる。ファイバーの数は用途におけるニーズに依存し、例えば、周囲環境について得られた映像についてのみならず(すなわち、”外部カメラ”ファイバー)、ユーザーの目について得られた映像について(すなわち、”内部カメラ”ファイバー)所望の光学解像度を与える必要がある。必要に応じ、バンドルに用いるファイバーは、1以上の照明用ファイバーを含むことができる。一態様において、5,000のファイバー(75×75ピクセル解像)、10,000のファイバー(100×100ピクセル解像)、50,000のファイバー(224×224ピクセル解像)、100,000のファイバー(316×316ピクセル解像)を有するバンドルを用いることができる。得られる光ファイバーバンドル832,841は、例えば、クラッドがある場合又はない場合について、約3〜5mmの直径とすることができる。光ファイバーバンドル832,841は、フレーム812に沿って固定することもでき、あるいはフレーム812の内部に設けることもできる。例えば、鼻柱814から耳掛け部材816に延在し、そこに光ファイバーバンドル832,841を収容する、1以上の通路を有するようにフレーム812を作製することができる。あるいは、光ファイバーバンドル832,841は、例えばフレーム812を作製する時に、成型、溶融、あるいはフレーム812の中に埋め込むことができる。必要に応じ、光ファイバーバンドル832,841は、図18Aと18Bを用いて以下に説明する態様と同様に、フレーム812から検出器及び/又はフレーム812から離間したプロセッサ(不図示)へと延在させることができる。
【0082】
一方又は両方の耳掛け部材816は、1以上の部材を取り付けるためのパネル818を有していても良く、例えば、コントローラ又はプロセッサ、例えば典型例のプロセッサ842、トランスミッタ844、アンテナ845、検出器(群)838,839、及び/又はバッテリー846である。プロセッサ840を、エミッタ820、センサ822、及び/又はカメラ830,840(例えば検出器(群)838,839)に結合することができ、これによりそれらの動作をコントロールすることができる。以下に説明するように、トランスミッタ844を、センサ822及び/又はカメラ830,840からの出力信号を受信するため、プロセッサ842及び/又は検出器(群)838,839に結合することができ、これにより以下に説明するように離れた場所に信号を伝送することができる。あるいは、トランスミッタ844を、センサ822及び/又はカメラ830,840からの出力リードに直接結合することができる。フレーム812は、例えば耳掛け部材816上に手動コントロール(不図示)を含むこともでき、これにより電源を入れたり切ったり、エミッタ820、センサ822及び/又はカメラ830,840の強度及び/又は閾値を調整することができる。
【0083】
必要に応じ、システム810はフレーム812上に1以上の追加センサを含むことができ、例えば、ユーザーの認識、感情及び/又は行動についての状態に関係する追加的なバイオ−又は神経−生理学的データの集積と相互交換を目的とする生理学的センサがある。センサをプロセッサ842及び/又はトランスミッタ844に結合することができ、これによりセンサからの信号をモニターし、記録し、及び/又は離れた場所に伝送することができる。例えば、フレーム812の空間的な配置、結果としてユーザーの頭の空間的配置を決定するために、1以上の位置センサ852a,852bを設けることもできる。例えば、ユーザーの頭が前に垂れていないか、又は横に傾いていないかをモニターするために、頭の傾き又は動きを測定する挙動計測センサを設けることもできる。環境騒音又はユーザーの発する音を検出するため、マイクロフォン854等の音波センサを設けることもできる。
【0084】
さらに又は代わりに、例えば、生理学的システムの集積及び/又は相互相関のために、フレーム812は、ユーザーの1以上の身体的特徴を測定する1以上のセンサを含むことができる。例えば、EEG電極856を、耳掛け部材816上であって、ナジオンの上方又は下方で、乳様突起上で、後頭部領域に、及び/又はユーザーの皮膚に接触する他の領域に設けることができ(例えば湿潤表面接触電極)、又はユーザーの皮膚に接触しないように設けることができ(例えば乾燥ワイヤレス電極)、それにより頭脳活動(覚醒、眠気、又は他の睡眠に関係する頭脳活動)について、例えば、視覚動向あるいは短期又は長期の空間動向及び/又は時間動向についての分析を行うため(例えば高速フーリエ又はスペクトル分析)、約1〜500Hzの異なる周波数範囲で測定及び伝送することができる。EKG電極(不図示)を設けることができ、これにより皮膚に接触している場所を通して心臓の活動を測定することができる。パルスセンサ(不図示)は、心血管搏動を測定するのに用いることができ、酸素測定センサ858は酸素飽和度を測定するのに用いることができる。サーミスタ又は他のセンサは、ユーザーの鼻等を通過する呼吸空気流量を測定することができる。サーミスタ、熱電対、又は他の温度センサ(不図示)を、ユーザーの皮膚温度を測定するのに用いることができる。ユーザーの皮膚の湿度を測定するために汗検出器(不図示)を設けることもでき、及び/又は、ユーザーの声又は息遣いを検出するために、マイクロフォン又は他の音波センサ(不図示)をフレーム812に取り付けることもできる。目が動いている時の電位の揺らぎを測定するために、ユーザーの皮膚の所望の領域に接触するように、1以上の眼電図記録(EOG)電極を設けることもできる。
【0085】
また、システム810は、フレーム上に1以上のフィードバックデバイスを含むことができる。これらデバイスは、眠気又は意識の欠如等の所定の状態を検出すると、警報を出したり及び/又はユーザーを起こす等のフィードバックをユーザーに対して行うことができる。フィードバックデバイスをプロセッサ842に結合し、フィードバックデバイスの活動をコントロールすることができる。例えば、機械振動デバイス860を、耳掛け部材816等のユーザーに接触する場所に設けることにより、皮膚との接触により、体感振動刺激を与えることができる。比較的低出力の電気刺激を与える電極(不図示)を設けることもできる。1以上のLED等の可視の白色光又は着色光エミッタを、柱部814の上等の所望の場所に設けることができる。あるいは、以下に説明する別の態様の場合と同様に、ブザー又は他のアラーム等のオーディオデバイス862を設けることもできる。さらに、柱部814上に又は隣接して、フレーム810上にアロマ放出部を設けることもできる。
【0086】
さらにあるいは代わりに、1以上のフィードバックデバイスをフレームから離間した状態で、かつユーザーにフィードバック反応を伝達できるように配置することもできる。例えば、聴覚、視覚、触覚(振動椅子等)又は嗅覚エミッタを、本明細書の別の箇所で説明したデバイスの場合と同様に、ユーザーの近くに設けることができる。さらに、リモートコントロールの扇風機又はエアコン装置等のユーザーに熱的刺激を与えることのできる、熱又は冷気を発生させるデバイスを設けることもできる。
【0087】
システム810は、本明細書の別の箇所で説明した態様の場合と同様に、フレーム812から離れた部材を含むこともできる。例えば、システム810は、レシーバー、プロセッサ、及び/又はフレーム812から離れた場所、例えば同じ部屋の中、近くのモニターステーション、又はより離れた場所等にあるディスプレイ(不図示)を含むことができる。レシーバーは、トランスミッタ842により伝送された信号を受信するが、この信号にはセンサ822、カメラ830,840、又はフレーム上に設けられた他のセンサからの出力信号も含む。
【0088】
グラフィック表示用の信号を作製するため、プロセッサをレシーバーに結合させて、フレーム12上の部材からの信号を分析することができる。例えば、モニター上に表示するため、プロセッサはセンサ822及び/又はカメラ830からの信号を作製することができ、これにより、ユーザーは他人によりモニターしてもらうことができる。同時に、他のパラメータを同じあるいは別のディスプレイに表示することもできる。例えば、図15A〜15Iは、フレーム812上の種々のセンサの出力を示す信号を示しており、共通の時間軸に対して、又はユーザーの目の動き及び/又は眠気の程度等と相関するものに対して表示される。プロセッサは、ビデオ信号を他の検出したパラメータと共に重ね合わせてあるいは同時に表示して、医師又は他人によるモニターを可能とし、これらのパラメータをユーザーの行動に直接相関させることができる。
【0089】
さらに別の態様において、ユーザーの行動をモニター及び/又は研究するために、プロセッサは自動的に信号を処理することができる。例えば、プロセッサは、目の動きに関係する種々の視覚パラメータ、例えば瞬きの持続時間(EBD)、瞬きの周波数、瞬きの速度、瞬きの加速度、瞬きの間隔(IBD)、PERCLOS、PEROP(瞼が開いているパーセンテージ)、瞳孔の大きさの変動、注視及び眼球運動等をモニターするために出力信号を用いることができ、このことは米国特許第6,542,081号に記載されており、出典明示により明細書の一部となる。
【0090】
カメラ830からのビデオ信号は、瞳孔サイズ、位置、例えば直交バンド850で規定される四分円の中にある等、目の追跡運動、目の注視距離等の種々の目のパラメータをモニターするために処理される。例えば、カメラ(群)830は、エミッタ822から放射される光を検出することができ、カメラ(群)830は、エミッタからユーザーの目の領域に向けられる基準フレームを検出することができる。図16は、垂直に配置された20個のエミッタを有するシステムに含まれるカメラからのビデオ出力の一例である。カメラは、垂直のバンドとして配置された20個の個々の光領域を検出することができる。カメラは、”キラキラ光る”点G及び/又は移動する明るい瞳孔Pを検出することができる。これにより、瞳孔の動きは、キラキラ光る点Gと関係付けて、及び/又は垂直バンド1〜20と関係付けてモニターすることができる。
【0091】
エミッタ822はフレーム812に固定されているので、基準フレーム850はユーザーに対して実質的に一定である。そのため、プロセッサは、基準フレーム850に対する直交軸(x−y又は角−半径等)における瞳孔の位置を決定することができる。あるいは、基準フレームが削除された場合、瞳孔の位置は、ユーザーの目の上のすべての静止しているキラキラ光る点に対して又は他の所定の基準点に対して決定することができる。例えば、カメラ830自身は目の上に光の点を投射し、その光は反射されカメラにより検出される。この”キラキラ光る”点は、カメラ830がフレーム812に対して固定されているので、実質的に静止しており、それが所望の基準点を与え、それに基づいて引き続く目の相対運動を決定することができる。
【0092】
また、フレーム812と別の離れたカメラからの信号は、離れた距離から(例えば、車、ドライブ、フライト又は他のシミュレータのダッシュボード、又はソナー、レーダー又は他のモニターステーションの中等)、ユーザーの顔を描くことができ、例えば、エミッタから投射された光の基準フレームに加えあるいはそれに代えて、顔の表情、欠伸の回数等の種々の顔の計測をモニターすることができる。さらに又は代わりに、頭の方向、傾き、身体の動き、生理学的パラメータ等の他のセンサからのパラメータを処理し相関付けることができる。一態様において、プロセッサは2以上のこれら種々のパラメータの相関関係を算定することができ、これにより複合疲労指数(COFI)を作り出すことができる。例えば、瞼による瞬き又は瞳孔被覆が閾時間を超えると、プロセッサが、位置センサに頭の傾きをモニターさせ、及び/又は頭脳活動のための生理学的センサをモニターさせ、これにより、ユーザーが眠り始めている、あるいは運転又は装置を操作することが困難な状態になったことを指摘することができる。プロセッサは、メモリに保存されている経験的アルゴリズムを用いてこれらのパラメータに数字を割り当て、そして追加し、あるいはユーザーの現在の状態に対し数値のCOFIを割り当てるため、パラメータの相関関係を算定することができる。
【0093】
所定のCOFI閾値を超えると、システム810はアラームを起動させ、あるいはユーザー及び/又は離れた場所の別の関係者に知らせることができる。そのため、システム810は、ユーザーの疲労、眠気、覚醒状態、精神状態等をモニターするより有効な方法を提供することができる。さらにまた、システム810は、所定の出力を発生させるのに用いることができ、例えば、COFI値等の所定の条件がシステム810により決定されている時、ユーザーにより操作される自動車等の装置を起動又は停止することができる。
【0094】
また、例えばプロセッサ842の一部として、フレーム812上にプロセッサを設けることができ、これにより、所定のCOFI閾値を超える等の所定の現象が起きるか否かについてパラメータをモニターすることができる。さらにまた、上述の目の追跡パラメータは、例えば自動車等のダッシュボードのように、ユーザーの前の固定された位置にあるリモートカメラ、を用いてモニターすることができる。リモートカメラは直接又は自身のトランスミッタを介してプロセッサに結合することができ、プロセッサはCOFI測定の中に統合することもでき、及び/又はアルゴリズム的に規定された反応計測により第三者にモニターされることもできる。種々の装置、システム、そしてそれらを用いる方法についての付加的な情報は、2000年12月19日に発行された米国特許第6,163,281号、2001年6月12日に発行された米国特許第6,246,344号、2003年4月1日に発行された米国特許第6,542,081号に記載されており、出典明示により明細書の一部となる。
【0095】
図13の別の態様に戻ると、図22に示す配置と同様に、カメラ832,840を、単一の検出器(不図示)に結合することができる。光ファイバーバンドル832,841は、検出器の各領域の上にカメラ830,840からの映像を供給及び/又は集束させる1以上のレンズに結合させることができる。検出器には、例えば、断面積約5〜10mm2の活性映像領域を有するCCD又はCMOSチップを用いることができる。一例として、検出器の活性映像領域は、正方形、矩形、円形又は楕円形であり、カメラ830とカメラ840の両方からの映像を同時に受像可能な十分な面積を有する。カメラ830,840からの同時ビデオ映像の出力表示例を図20Aと20Bに示し、以下に説明する。この例では、十分な解像力と処理力を有するので、システム810からエミッタ820及び/又はセンサ822を除くことが可能である。
【0096】
図18Aと18Bには、装置910の別の態様が示されており、装置910を装着した人間の瞼の動きをモニターすることができる。本明細書の別の箇所で説明した通り、装置910は、バイオセンサ、コミュニケーター、及び/又はコントローラとして用いることができ、及び/又はシステムの中に組み込み、ユーザーの片目又は両目の随意的−意図的及び/又は不随意的−非意図的な動きをモニターすることができる。
【0097】
図に示す通り、装置910は、ユーザーの頭に装着されるヘルメット912と、バイオセンサアセンブリー920とを有している。ヘルメット912は、ヘリコプター又はジェット旅客機のパイロットが使用する標準的な飛行士用のヘルメットであり、例えば、一対の夜間視界用のチューブ又は他のゴーグル914がその上に取り付けられている。必要により、ヘルメット912は、1以上のヘッドアップディスプレイ、例えば、片目又は両目の前又は近くに取り付けた小さなフラットパネルディスプレイを用いることができる。あるいは、ヘルメット912を、フレーム(不図示。例えば図13を参照)に置き換えることもでき、その場合、フレームは、本明細書に記載した他の態様と同様に、柱部、各目の上方又は周囲に延在するリム、及び/又は一対の耳掛け部材を有するものを用いることができる。装置の動作には必要はないが、フレームは、一対の処方レンズ、遮光レンズ、及び/又は保護レンズを含むことができる。あるいは、一方又は両方のレンズを比較的小さいフラットパネルLCD等のディスプレイと置き換えることができ、以下に説明するように、シミュレーター用及び/又はレクリエーション用のデバイスとして用いることができる。さらにまた、装置910は、ユーザーの頭に装着する他のデバイス、例えば、縁付き帽子、縁なし帽子、ヘッドバンド、ヘッドバイザー、保護用の目及びヘッドギア、顔用マスク、酸素マスク、換気用マスク、スキューバ又は水泳用マスク等(不図示)を含むことができる。
【0098】
装置910の部材は、ヘルメット912(又は他の頭に装着するデバイス)の種々の場所に設けることができ、これにより、例えば、装置910を装着していても、ユーザーの視界及び/又は通常の活動への妨害を最小限に抑えることができる。図に示すように、バイオセンサアセンブリー920は、ヘルメット912の頂部に、ベルクロ(Velcro)(登録商標)、ストラップ、及び/又は他の一時的又は着脱可能な接続部材等を用いて固定されたカメラ922を有している。これにより、使用しない時は、カメラ922を取り外すことができる。あるいは、本明細書に記載した他の態様と同様に、カメラ922を実質的に永久に、ヘルメット912に固定したり、ヘルメット912(又は他のフレーム)に直接組み込んだり、ヘッド装着型のテレビ、LCDモニター又は他のデジタルディスプレイに接続したりすることができる。
【0099】
バイオセンサアセンブリー920は、カメラ922からヘルメット912の前に延在し、ユーザーの片目又は両目を撮像する1以上の”内部カメラ”を提供する、1以上の光ファイバーバンドルを含むこともできる。図に示すように、一対の光ファイバーバンドル924は、カメラ922からゴーグル914の各チューブに延在している。一態様において、光ファイバーバンドル924は、カメラ922からゴーグル914へと延在する十分な長さを有することができ、ヘルメット910上のカメラ922の位置に応じ(又はカメラ922がヘルメット910から離れて設けられている場合)、例えば長さ約12〜18インチ、あるいは光ファイバーバンドル924はさらに長く約2〜4フィート、あるいは短くすることもできる。
【0100】
光ファイバーバンドル924の端部926は、ゴーグル914に永久的又は着脱可能に取り付けることができ、例えば、ゴーグル916に接続されたあるいはゴーグルから延在するブラケット916に取り付けることができる。あるいは、光ファイバーバンドル924は、クリップ、ファスナー、接着剤等(不図示)を用い、一時的あるいは実質的に永久的にゴーグル914上に固定することができる。図に示すように、光ファイバーバンドル924の端部926は、ゴーグル914の下方であって、ユーザーの目の方向を向くように上向きの角度で固定されている。端部926の角度は調整可能であり、例えば、約45度の基準角から約15度上向きあるいは下向きに調整可能である。あるいは、光ファイバーバンドル924の端部926を、ユーザーの目の方向に向けながら、ヘルメット912及び/又はゴーグル914の別の場所に設けることができる。
【0101】
さらに図19に示すように、各光ファイバーバンドル924は、光ファイバー撮像ガイド928、すなわち、光撮像ファイバーのバンドルと、収縮チューブ(不図示)等に収容され、カメラ922と光ファイバーバンドル924との間に延在する照明用ファイバーのバンドル930とを有している。照明用ファイバーのバンドル930は、それぞれ、例えばカメラ922の内部の光源に結合した1以上の光ファイバーを有している。例えば、カメラ922は、1以上のLED934(簡単のため1個のみ示す)を含むLEDハウジング932を有し、照明用ファイバー0のバンドル(群)930は、光を端部(群)926に供給するためにLEDハウジング932に結合されている。
【0102】
光源934から放射される光は、放射光がユーザーの視覚を実質的に妨害しないように、人間の通常の視覚の範囲外であっても良く、例えば波長範囲が840〜880nmの赤外線であっても良い。本明細書に記載した別の態様と同様に、光源には、実質的に連続光あるいは所定周波数のパルス光を用いることができる。あるいは、ユーザーの顔及び/又は片目又は両目の照明用の光源を、照明用ファイバーのバンドル930の代わりに用いることもできる。例えば、本明細書に記載した別の態様と同様に、1以上のエミッタ(不図示)、例えばヘルメット912及び/又はゴーグル914の1以上の領域に沿って配置したエミッタアレイを用いることができる。
【0103】
光ファイバーバンドル924のそれぞれの端部926は、1以上のレンズ、例えば所望の方法で映像案内部を集束させる、例えばユーザーの目の方向に対物レンズ936(図18A)を含むことができる。各映像案内部928は、視界の前方ライン(視野0度)を有し、対物レンズ936は、例えば約45度の広い視界を提供できる。必要により、視界ラインは調整可能であり、例えば約30〜60度の範囲を対物レンズで調整することができる。さらに、対物レンズ936は可視距離を最適化することができ、例えば約2インチまで最適化することができるので、ユーザーの目に対するフォーカスを向上させることができる。そのため、映像案内部(群)928は、ユーザーの目の映像を光ファイバーバンドル(群)924を通してカメラ922まで運ぶことができる。
【0104】
図19に示すように、カメラ922は、映像案内部(群)928(及び/又はカメラ944)からの映像を撮像デバイス940の活性領域942の上に供給及び/又は集束させるために、拡大部938等の1以上のレンズを備えることができる。撮像デバイス940には、映像を受像する2次元の活性領域を有する種々の公知のデバイスを用いることができ、例えばCMOS又はCCDを用いることができる。一態様において、撮像デバイス940はCMOSデバイスであり、例えば、センソヴェイション(Sensovation)のモデル cmos SamBa HR−130、又はマイクロンイメージング製のモデル MI−MV13のファーストカメラ13である。拡大部938は、Cマウント又は他の接続部材(不図示)を用いてカメラ922に機械的に係合させることができる。
【0105】
一態様において、本明細書の別の箇所に記載した光ファイバーバンドルと同様に、各映像案内部928は10,000〜50,000ピクセルの映像データを提供でき、それらを撮像デバイス940の活性領域942の上に投射することができる。図18Aと18Bに示す装置910では、両方の光ファイバーバンドル924からの映像は図19に示すように単一の撮像デバイス940の上に投射され、例えば、ユーザーの両目のそれぞれのデータは、活性領域942の半分以下となる。
【0106】
必要に応じ、装置910は、ユーザーの頭から離れた場所に配置された”外部カメラ”を含むことができ、本明細書の別の箇所に記載した態様と同様に、ユーザーの周囲をモニターすることができる。例えば、図18Aに示すように、別の光ファイバーバンドル945を、カメラ922から延在するように設けることもできる。図に示すように、光ファイバーバンドル945は、前方に配置され、すなわち、ユーザーがまっすぐ見る時と概ね同じ方向となるように前方に配置され、マイクロレンズ946に至る。その視野がヘルメット912に対して実質的に固定されるように、光ファイバーバンドル945を比較的短く及び/又は実質的に硬くすることができる。また、上述の外部カメラ840と同様に、外部カメラ944を、ヘルメット912及び/又はゴーグル914の他の場所に、可撓性のファイバーバンドルも含めて設けることができる。これにより、外部カメラは、ユーザーの顔もまっすぐ前等のユーザーから離れたところに映像を提供できる。
【0107】
外部カメラ944は、1以上の照明用ファイバーを含んでも含まなくとも良いが、拡大部938を介してあるいは別々に撮像デバイス940に結合された映像案内部を含むことができる。これにより、外部カメラ944からの映像を、本明細書に記載した別の態様と同様に、映像案内部928から受像されたユーザーの両目のそれぞれの映像として同じ活性領域942の上に供給することができる。この配置により、一時的及び/又は空間的な同期化が許容又は促進され、外部カメラ映像を内部カメラ映像(群)で覆ったり重ねたりすることが可能となり、又は”三角測量”を用いて又は目の追跡目的のための他のアルゴリズムを用いて、ユーザーの頭の方向的な位置に対し、ユーザーの目が”どこで”、”なにを”、及び/又は”どのぐらい”、見ているかを確認することができる。
【0108】
これにより、カメラ922は、1以上の”内部カメラ”、すなわち光ファイバーバンドル924からと、外部カメラ944からとの映像とを同時に撮像することができる。これにより、各デバイスからの映像は互いに同期化され、すなわち、特定の時間で撮像された一方の目の映像と、実質的に同時に撮像された他の映像とを時間的な遅れのないように互いに結合させることができる。さらに、これらの映像は、1以上の生理学的センサ等の他のセンサからのデータと実質的に同期化することができるので、ユーザーのモニター及び/又は診断、及び/又はユーザーの行動を予測する能力を向上させることができる。この同期化により、映像データを比較的高速、例えば500〜750Hzで取得することができる。また、別体の検出器を設けることができ、それにより、データをプロセッサに受信させる等により、同期化する映像データを取得することができる。この場合、取得した後のプロセッサ又は他のデバイスによる同期化を促進させるため、約30〜60Hzの遅い取得速度を用いることができる。必要に応じ、カメラ922及び/又は結合したプロセッサは、例えば約15〜60フレーム/秒の速度で、比較的遅い眼球運動を撮像することができる。
【0109】
図20Aと20Bは、2個の内部カメラ2010と1個の外部カメラ2020から(又は別々のカメラ及び/又は検出器からの映像信号をコンパイルするデバイスから)の映像信号を同時に受信したカメラからの出力例である。図に示すように、内部カメラはユーザーのそれぞれの目に向けられており、外部カメラはユーザーの周囲に向くよう外側に向けられている(概ねユーザーの顔の前まっすぐに)。図20Aでは、ユーザーの両眼2010L、2010Rは、開かれており、外部カメラの映像2020はユーザーの前方の部屋の水平風景を示している。これに対し、図20Bは、ユーザーの一方の目2010Lが完全に閉じられており、他方の目2010Rは瞼が瞳孔の大部分を覆うように部分的に閉じられている。外部カメラの映像2020は、ユーザーの頭が左に傾きうなだれ始めていることを示している。必要に応じ、図12A〜12C又は図15A〜15Iに示したと同様に、装置910の他のセンサからのリアルタイムデータ等の追加情報を、これらの映像とともに表示及び/又は記憶させることができる。
【0110】
図18A、18Bそして19に戻ると、カメラ922(及び/又はカメラ944)からの映像は、ケーブル948(図18Aで明確に見ることができる)を介して装置910から伝送される。例えば、本明細書の別の箇所に記載した他の態様と同様に、撮像デバイス940は、活性領域942からの光学映像を電気信号に変換することができ、その信号はケーブル948を介して1以上のプロセッサ及び/又はコントローラ(不図示)に伝送される。また、光ファイバーバンドル924及び/又は外部カメラ944からの映像は、本明細書の別の箇所に記載した他の態様と同様に、装置910から、カメラ、検出器及び/又はプロセッサ(不図示)等の1以上の離れたデバイスに伝送される。この場合、バンドルの長さは約2〜6フィートであり、離れてデバイスとの結合状態を維持しながらユーザーが通常移動するのに十分な長さである。
【0111】
あるいは又はさらに、装置910は、カメラ922に結合可能であって、ブルートゥースや他のプロトコル等を用いる短距離又は長距離の無線トランスミッタ等のワイヤレストランスミッタ(不図示)を含むことができる。トランスミッタはカメラ922の中又はヘルメット912の別の場所に配置することができる。本明細書の別の箇所に記載した他の態様と同様に、トランスミッタは、映像データに対応する映像信号を別の場所のレシーバーに伝送することができる。さらに別の態様では、装置910は、トランスミッタ及び/又はケーブル948の代わりにあるいはそれに加えて、映像データを記憶するメモリ(不図示)を備えることもできる。例えば、飛行機で使用される”ブラックボックス”レコーダーと同様のレコーダーデバイスにデータを記憶させることができ、後でレコーダーを回収可能な形とし、自動車事故、医療事故等の解析に用いることができる。
【0112】
必要に応じ、装置910の種々の構成要素をコントロールするため、装置910は1以上のコントローラ(不図示)を含むことができ、例えば、カメラ922の内部、及び/又はヘルメット912上又はその中に設けることができる。例えば、コントローラを1以上のLED934に結合させ、装置910のエネルギー消費を減らすため、所定周波数でLEDがパルスを放射するようにすることができる。また、装置910は、装置910の1以上の構成要素に電力を供給するため、バッテリー及び/又はケーブル等の1以上の電源を含むことができる。例えば、撮像デバイス940及び/又はLED(群)934に電力を供給するため、カメラ922の中に1以上のバッテリー(不図示)を配置することができる。
【0113】
必要に応じ、装置910は、ヘルメット910等に1以上の追加のセンサ(不図示)を設けることもできる。センサを、バイオセンサアセンブリー920、ケーブル948、及び/又は、もし含まれていればワイヤレストランスミッタ(不図示)に結合することができ、これによりセンサからの信号をモニター、記録、及び/又は離れた場所に伝送することができる。例えば、本明細書の別の箇所に記載したように、1以上の位置センサを設けることができ、これにより、ヘルメット912の空間的配置、結果的にはユーザーの頭の空間的配置を決定することができる。さらに又はあるいは、装置910は、1以上の生理学的センサ(不図示)を含むことができ、例えば、ユーザーの1以上の身体特性を測定することができる、1以上のEEG電極、EKG電極、EOG電極、パルスセンサ、酸素濃度センサ、サーミスタ、熱電対又はユーザーの皮膚温度を測定するための他の温度センサ、ユーザーの皮膚の湿潤度を測定する汗検出器、及び/又は、ユーザーの鼻等を通して呼吸空気流量を測定するセンサ等がある。
【0114】
また、装置910は、1以上のフィードバックデバイス(不図示)を含むことができ、例えば、ユーザーに警報を出したり、ユーザーの目を覚まさせるために用いる、皮膚接触により触覚振動刺激を与える機械的振動デバイスや、比較的低出力の電気刺激を与える1以上の電極や、LED等の光エミッタ、オーディオデバイス、アロマ放出器等を挙げることができる。また、フィードバックデバイスは装置910から離れて配置することができるが、ユーザーに反応をフィードバックできる方法で配置される必要がある。例えば、音波、視覚、触覚(例えば振動椅子)、又はアロマ放出器は、前述のすべてのデバイスの場合と同様に、ユーザーの近くに配置することができる。さらにまた、熱刺激を発生させることのできる熱又は冷気デバイスを設けることもでき、例えば、リモートコントロールの扇風機又はエアコン装置を挙げることができる。
【0115】
装置910を含むシステムは、本明細書の別の箇所に記載した他の態様の場合と同様に、装置910から離れた場所に構成要素群を含むことができる。例えば、システムは、装置910から離れた場所、例えば同じ室内、近くのモニターステーション、又はより離れた場所に、1以上のレシーバー、プロセッサ、及び/又はディスプレイ(不図示)を含むことができる。レシーバーは、カメラ922からの映像信号及び/又は装置910の他のセンサからの信号を含め、装置910のトランスミッタから伝送された信号を受信することができる。
【0116】
プロセッサを、装置910からの信号を解析するため、レシーバーに結合することができ、これによりグラフィック表示のための信号を作製することができる。例えば、図20Aと20Bに示す映像と同様に、プロセッサは、モニター上に表示するため、カメラ922からのビデオ信号を作製することができ、これにより第三者、例えば医療関係者、監督車、又は他の協力者によりユーザーをモニターすることが可能となる。本明細書の別の箇所に記載された別の態様と同様に、他のパラメータを単一のモニター及び/又は別々のモニターに同時に表示することができる。プロセッサは、ユーザーの目及び/又は外部カメラのビデオ信号を単独で又は他の検出パラメータとともに重ね合わせ又は同時に表示することができ、これにより医者又は他の人がモニターし、かつこれらパラメータとユーザーの行動との相関関係を個人的に算定することができる。
【0117】
さらにまた、プロセッサは、ユーザーの行動をモニター又は検討するために、信号を自動的に処理することができる。例えば、目の動きに関係する種々のパラメータ、例えば、瞬きの時間(EBD)、瞬きの回数、瞬きの速度、瞬きの加速度、瞬きの間隔(IBD)、PERCLOS、PEROP(瞼が開いているパーセンテージ)等をモニターするためにプロセッサは出力信号を用いることができる。別の箇所で記載したように、瞳孔サイズ、相対位置、目の追跡速度、注視距離等の取得データの組み合わせ又はパターンからなる単一又は多数の目のパラメータを、連続的又は非連続的及び/又は逐次的にモニターするために、カメラ922からのビデオ信号を処理することができる。これにより、装置910及び/又はシステムは、米国特許第6,542,081号に開示されているように、1以上の眼球運動(oculometrics)又は他のパラメータをモニターすることができ、出典明示により明細書の一部となる。
【0118】
瞳孔サイズ(拡張、収縮、及び/又は偏心等)及び/又は目の動きのモニタリングを向上させるため、システムは、カメラ922とつながったプロセッサを含むことができ、ビデオ信号を処理し、ビデオ信号からの目の瞳孔を確認することができる。例えば、CMOS及びCCD等の高感度カメラを用いて、プロセッサは、瞳孔の縁、そして結果的に周囲、直径、及び/又は断面積を確認することができる。プロセッサにより処理されたビデオ信号からの目のビデオ映像を表示するため、ディスプレイをプロセッサに結合することができる。
【0119】
また、図21A〜21Cに戻ると、プロセッサは図形をディスプレイに重ね合わせることができ、例えば、目300の瞳孔301を確認及び/又はモニタリングを向上させるため、ビデオ映像の上に重ね合わせることができる。図に示すように、瞳孔の縁301と周囲の虹彩304との間のコントラストにより、プロセッサはこの境界を近似し、片目又は両目の映像データに重ね合わせる図形ハロー、長円又は他の図形306を作成することができる(簡単のため、図21A〜21Cは片目300のみについて示している)。観察者はこの図形306を用い、装置910のユーザーのモニタリングを向上させることができる。
【0120】
さらに又はあるいは、プロセッサは、瞳孔301(又は図形306)の大きさ及び/又は形状についての情報を自動的に解析し、人の眠気の程度又は他の身体的及び/又は精神状態を決定するために、ビデオ信号の相関関係を算定することができる。この解析には、瞳孔の相対位置、瞳孔の大きさ、及び/又は瞳孔の偏心率を例えばオーバータイムでモニタリングすることが含まれる。例えば、プロセッサは瞳孔300の直径をオーバータイムでモニターすることができ、それは図15Eに示すようにチャート表示され、時間の関数としてメモリに記憶され、及び/又はリアルタイムで目の映像の上に重ね合わされる。
【0121】
例えば、図21Aは、環境条件下、リラックスした状態の瞳孔301を示しており、例えば、直径”d1”の図形306に対応している。図21Bに示すように、ユーザーが瞬きを行い又は目300を閉じると、瞳孔301は拡大し、目300を再度開くと瞳孔301は最初拡大し、直径”d2”の図形306で示される。プロセッサは、図形306又は瞳孔301自身の直径の変化を比較し、瞬き又は他の目を閉じた後の瞳孔301の直径 ”d1”への戻りの遅れを決定する。可視又は不可視のフラッシュ光に対する反応の遅れ又は無反応は、少なくとも部分的には、眠気の程度、障害の程度を示すものであり、例えば、この障害には、中毒、及び/又は、低酸素症、低血糖症、発作、心筋梗塞、毒素、毒物等による脳損傷又は脳死等の致死症状又は末期症状を含む医学的症状が含まれる。
【0122】
さらに又はあるいは、プロセッサは、瞳孔が瞼により部分的に覆われている時の瞳孔の大体の偏心率を決定することができる。例えば、図21Cに示すように、瞼302が部分的に閉じられている時、映像に重ね合わされたハロー306は、瞳孔301の露出部(幅”w”で高さ”h”)に対応する長円を用いる。高さ”h”は、瞼302が瞳孔301を覆う程度を示す指標として、直径 ”d1”と関係付けることができ、すなわち、高さ”h”の直径 ”d1”に対する比率が、1又は1より小さい(h/d1≧1)。例えば、瞳孔301が瞼302により完全に覆われると、この比率は1から0になる。
【0123】
同様に、瞼302が瞳孔301の半分以上を覆い始める時、幅”w”を直径 ”d1”と関係付け(w/d1≧1)、瞼302が瞳孔301を覆う程度を示す指標として用いることもできる。さらに又はあるいは、高さと幅の比(h/w≧1)を、例えば瞼302の被覆の程度に基づいて瞳孔301の偏心率と関係付けることができる。これらのパラメータは、個々に、集合的に、及び/又は他の眼球運動パラメータ及び/又は生理学的パラメータとともに解析され、ユーザーの先の行動をモニター、解析及び/又は予測するのに用いることができる。本明細書の別の箇所に記載したように、データは、経験的データ又はプロセッサにより保有又はアクセスされた他のデータと比較され、COFI値等のユーザー状態に関する情報を提供することができる。
【0124】
もし、例えば、ユーザーの瞳孔の解析の結果、ユーザーの覚醒レベルが所定のレベルより低いと判断された場合、本明細書に記載した他の態様と同様に、ユーザー及び/又は1以上の第三者に警報が出される。それらの方法は、ユーザーがドラッグ、アルコール、及び/又はここで説明した医学的状態に影響されているか否かを決定するのに有効な方法である。
【0125】
また、閾値として及び/又はユーザーの覚醒状態を検査するため、本明細書に記載した装置又はシステムは、ユーザーの瞳孔反応を検査することができる。その検査により、ユーザーが活動状態にある、すなわち、装置を装着している間、寝ておらず、ましてや死んでもいないことを確認することができる。例えば、光源が所定の時間及び/又はパルス周波数でフラッシュされた時、ユーザーの瞳孔はリラックスした状態(周囲の照明に基づく)から速やかに拡大し、次いで予測可能な時間内にリラックスした状態に収縮して戻る。
【0126】
図22Aに戻ると、本明細書に記載された装置とシステムを用いた、ユーザーの覚醒検査の方法の一例が示されている。例えば、前述のように、ユーザーは、片目又は両目をモニターする図18に示す装置810を装着することができる。工程2210では、ユーザーの目のベース又はパラメータがリラックス状態で測定される。例えば、リラックス状態での瞳孔の直径は、ある環境条件下で測定あるいはモニターされる。
【0127】
工程2220では、目の方向に1以上の光パルスが放射され、それにより目は、パルスフラッシュ光の周波数と実質的に同じ周波数で、リラックス状態から拡大又は収縮する。例えば、装置810の1以上のエミッタは、所定の順序で起動され、目を拡大させる。その後、工程2230では、ユーザーの目が、例えばカメラ830又はセンサ822により潜在意識的に又は無意識裡にモニターされ、リラックス状態に戻るまでの目の反応時間が測定される。反応時間は、経験データベース又は他のデータベースと比較され、ユーザーの意識があり、覚醒しており及び/又は生きているかどうかを確認する。必要により、反応時間を確認するため及び/又は平均反応時間を提供するため、工程2220と2230を1回以上繰り返すことができ、誤った否定的な判断を避けることができる。
【0128】
光源が可視光の範囲外、例えば赤外線である場合、瞳孔はこの方法でフラッシュ光にまだ反応する。赤外線を使う利点の一つは、ユーザーは意識裡には光を見ることができないため、赤外線がユーザーの気を散らせたり、面倒をかけることがないからである。さらに、瞳孔は赤外線に対しても十分に反応するため、そのフラッシュに反応して瞳孔が拡大及び収縮した時、目をモニターするシステムは確認することが可能である。
【0129】
閾値検査の間、光の単発フラッシュを発生させ、瞳孔の反応をモニターすることは十分に可能である。また、傾向を検討し又は単発フラッシュの場合に起きる可能性のある誤りを減らすため、連続フラッシュを用いて瞳孔反応をオーバータイムでモニターすることができる。連続フラッシュでは、フラッシュ光に反応して瞳孔が拡大からリラックス状態に自然に戻るに要する時間よりもパルス速度を長くする必要があり、少なくとも約50〜100msである。また、パルス光として、近赤外線(波長約640〜700nm)をユーザーの目に向けることもできる。システムは、瞳孔の反応における周期的変動を検出することができる。その反応は、基本的な眼球運動反応によるものであり、暗闇での”視力”又は暗闇での赤外線の感知力等の夜間視力におそらく関係している。
【0130】
その瞳孔反応検査は、ユーザーが死亡した時でも、システムが、目が閉じられていること及び/又は目の動きを一切検出できないため、誤って肯定的な判断をしないように確認するために用いることができる。同様に、瞳孔反応検査は、ユーザーが寝ているか又は意識がないかを調べるのにも用いることができる。また、瞳孔反応検査は、ユーザーがアルコール、ドラッグ等の影響下にあるか否かを判断するのにも用いることができるが、これは、アルコール等が、フラッシュ光に反応して拡大した瞳孔がリラックス状態に収縮して戻る速度に影響を与えるからである。さらに又はあるいは、瞳孔反応検査は、眼球運動測定値と対応する科学的に決定された血液濃度との間の相関関係に依存する、ユーザーの身体の血液濃度あるいはドラッグ又はアルコールの濃度を決定するのに用いることもできる。
【0131】
図22Bには、覚醒閾値を検査する別の方法が示されている。この方法は、一般に、所定の方法で目をゆっくりと動かすようにユーザーに指示する刺激を準備する工程2240と、目をモニターする工程2250とを有し、例えば、ユーザーのゆっくりした目の動きは、ユーザーが指示に従い目を所定の方法で動かしていることを示すものである。本明細書に記載したすべての装置は、スピーカー、照明、振動又は他の触覚デバイス等の1以上の刺激デバイスを含むことができる。また、それらデバイスは、自動車のダッシュボード、ビデオディスプレイ等のように、ユーザーから離れた場所に配置することができる。
【0132】
例えば、装置の可視光が起動されると、ユーザーは所定時間目を閉じるように指示される。一旦光が起動すると、システムは目をモニターし、ユーザーが、所定の時間枠で及び/又は所定の方法で(例えば、所定のシーケンスの中で1以上の瞬き)反応していることを確認することができる。また、フラッシュ光に代えて別の刺激を用いることができ、例えば、ディスプレイ(装置上の又は装置と別体の)による視認可能な指示、聞き取り可能な信号(デバイス上の又はデバイス近傍のスピーカーからの言語による指示)、触覚信号等がある。これらの態様において、ユーザーは一連の動作を行うよう指示を受け、例えば、見上げたり、見下ろしたり、左又は右を向いたり、所定のシーケンスで瞬きしたり、指示されるまで目を閉じたり、ディスプレイ上のポインターを目で追ったり等を行う。その検査は、例えば、検査対象が起きているか、意識があるか、及び/又は一連の検査の間又は種々の動作を行っている間覚醒しているかどうかを確認するのに有用である。
【0133】
別の態様では、例えば本明細書の別の箇所に記載した装置とシステムを、コンピュータマウスやジョイスティック等と同様に、コンピュータシステムをコントロールするのに用いることができる。例えば、図13に記載された装置810に関し、カメラ(群)830を、ユーザーの瞳孔(群)の位置をモニターするのに用い、コンピュータのスクリーン又は他のディスプレイ上にマウスポインターを向けたり及び/又は起動させたりすることができる。カメラ922からの映像データを受信するプロセッサは、映像データを解析し、検出器940の活性領域内における瞳孔(群)の相対位置を決定することができる。必要により、ユーザーの片目又は両目の前又は視野内に配置されたフレーム812に対して1以上のディスプレイを固定することができる。例えば、フラットパネルLCD又は他のディスプレイ(不図示)をレンズに代えてフレーム812に固定することができる。そのような装置は、医療又は他の研究施設内でのシミュレーション用に、また、ビデオゲームコンソール等のレクリエーション用に用いることができる。
【0134】
図23には、本明細書に記載したいずれかの装置又はシステムを用い、検出された目の動きに基づいてコンピューティングデバイスをコントロールする方法の一例が示されている。例えば、図18Aの装置910が用いられ、ユーザーの片目又は両目を撮像するための光ファイバーバンドル924を含んでいる。必要により、以下に説明するように、装置は1以上の外部カメラを含むことができ、それらはユーザーの前方視界に沿って外側に位置するように、ユーザーの片目又は両目の近くに配置されている。まず、工程2310では、そのような装置を含むシステムを初期化することが好ましく、すなわち、ベース又は基準位置等であり、直交成分を有する基準フレームを設定する。例えば、ユーザーはディスプレイ上のポインター又は他の所定位置を見るように指示され、それにより、ユーザーの目を維持し、結果としてユーザーの瞳孔を実質的に静止させる。プロセッサは、ユーザーの目を実質的に静止させながら、カメラ830からの映像データを解析することができ、これにより、基準点又は”ベース位置”に対応する映像上の瞳孔位置を決定する。例えば、ポインター又はベース位置は、ユーザーの瞳孔に対し実質的にまっすぐに配置することができる。必要に応じ、ユーザーはディスプレイ上の2以上の確認位置を連続して見るように指示され、これによりユーザーの目の相対的な動きに対する尺度を提供することができる。この場合、ユーザーにディスプレイの反対側のコーナーを見させることが好ましく、これにより、ディスプレイに対する適切な目の動きの限界を確認することができる。
【0135】
一旦初期化が終了すると、ユーザーは、ポインター及び/又はディスプレイの残りの部分に対し、左右、上下等に自由に目を動かすことができる。工程2320では、システムはそのような目の動きをモニターすることができ、すなわち、プロセッサは、ベース位置からのユーザーの瞳孔の相対位置を決定するために映像データを解析する。例えば、ユーザーが目を上及びベース位置から右に動かすと、すなわち、コンピュータ上のポインターに対し上及び右に動かすと、プロセッサはこの動きを測定する。反応して、工程2330では、プロセッサはポインターを上及び右に移動させることができ、これによりユーザーの注視を追跡する。ユーザーが自身の目を動かすのを止めると、プロセッサは、ディスプレイ上のユーザーが現在見ている位置に到達したところで、一旦ポインターを止めることができる。
【0136】
必要により、工程2340では、一旦ポインターがディスプレイ上の所定の位置に移動すれば、マウスのボタンを起動させると同様にコマンドを実行させることができる。例えば、プロセッサは、ユーザーからの映像データ信号、例えば所定のシーケンスの1以上の意図的な瞬き等をモニターすることができる。これは、数秒程度の所定時間の単発の瞬きでも良く、ユーザーの片目又は両目を含むより複雑な一連の瞬きでも良い。また、信号が、瞬きのない3秒、5秒又はそれ以上の所定時間であっても良い。プロセッサが信号を確認すると、プロセッサはコマンドを起動させることができる。例えば、ユーザーは、ディスプレイ上のアイコン、ワードコマンド等に目が至ると目の動きを停止し、プロセッサは、ポイントがその上に重なるまであるいはアイコン又はコマンドに位置に移動するまでポイントを移動させることができる。次いで、ユーザーは、前述のように、コンピュータマウスのボタンを”ダブルクリック”すると同様に、瞬きをし又は動作することができ、これにより、選択したコマンドを実行するようにあるいは選択したコマンドを所望の対象に伝達するように指示することができる。例えば、選択されたコマンドにより、コンピュータプログラムを実行させたり、装置一点又は他のデバイスを停止させたり、起動させたり、あるいは所望の方法にコントロールしたりすることができる。これにより、プロセッサ及び/又はディスプレイに結合したコンピュータデバイスのコントロールから、照明スイッチ又は自動車のオンオフまで種々の仕事を実行させるのに用いることができる。そのような装置及び/又はシステムは、ハンドフリーのコンピュータ、すなわち、ユーザーの目の動きのみを用いる方法を提供することができる。
【0137】
例えば、一つの用途として、ヘリコプター、ジェット機又は他の飛行機等の乗物の運転や、武器、ナビゲーションシステム又は他の基板搭載システムの起動又はコントロールにシステムを用いることができる。別の用途として、例えばバーチャルリアリティーの現実感覚を増すため、ビデオゲーム又は他のシミュレーションにシステムを用いることができる。例えば、システムは、ユーザーの手を自由にして他のことを実施可能としながら、多くのメニュー、場面、又は他の活動の中からユーザーが速やかに選択することを可能とすることができ、例えば、眼のコントロール機能により追加的又は同時に他の行動を実行することができるので、より多くの及び/又はより複雑な作業を同時に行うことが可能となる。
【0138】
また、ディスプレイ上のポインターに対する眼の動きの追跡を促進及び/又は容易にするために、1以上の外部カメラを用いることができる。例えば、1個の外部カメラをディスプレイの方向に位置している少なくとも一方の眼に近づけて配置することができ、例えばその眼から所定距離離間して又は他の関係に基づいて配置することができる。これにより、外部カメラはディスプレイの映像を提供することができ、例えば、内部カメラでモニターされる眼の動きと同期させたポインターの動きをリアルタイムで示すことができる。プロセッサは、ポインター追跡の精度を向上させるため、三角測量又は他のアルゴリズムを用い、このデータを眼の動きと関係付けることができる。これにより、ユーザーがコマンド上のポインターに瞬きをすることによりコマンドを実行させようとする場合、ディスプレイ上に多数の選択可能なコマンドが存在していても、目的とするコマンドを実際に選択できる精度を向上させることができる。
【0139】
また、そのシステム及び方法を、覚醒検査等の医療又は他の診断手続に用いることができる。例えば、プロセッサは、ディスプレイ上の映像に対する目の動きを相関関係を算定するため内部カメラと外部カメラからのデータを解析することができ、これにより、種々の眼球運動パラメータ、例えば、緩徐回転眼球運動、弱眼球固定(poor eye fixation)及び/又は追跡、浮遊視、瞬き増加、催眠凝視(hypnotic staring)、長くなる瞼のたれ又は瞬き、遅い瞼の開閉速度、刺激時の瞼を開ける速度、長い瞳孔収縮変化、不安定な瞳孔直径、暗視界による瞳孔反応、及び/又は本明細書で説明した他のパラメータ等を検討することができる。これらの手法は、種々の環境、アルコール又はドラッグに起因する条件、及び/又は他の条件に直面した人間の反応を研究するのに用いることができる。
【0140】
図24には、別の態様であり、装置2410を装着したユーザーの目300に対し、装置2410は経皮的に照明を当てることができる。装置2410は、例えば図13に示すフレーム812のように本明細書に記載したいずれの態様にも概ね類似している。図に示すように、装置2410は、ユーザーの頭308、例えば片目又は両目に近いこめかみ(簡単のため一方のみ示す)に接触する1以上のエミッタ又は他の光源を有している。また、装置2410は、1以上のセンサ、例えばユーザーの目300の映像を取得するためレンズ2434に至る光ファイバーバンドル2430等を含んでいる。
【0141】
一態様として、エミッタ2422がユーザーの皮膚に接触してユーザーの皮膚の方向に光を放射可能に、フレーム2412の一方又は両方の耳部材2422に赤外線エミッタ2422が固定あるいは調整可能に取着されている。例えば、エミッタ2422は多数のLEDを有しており、そのLEDは、集束され、コヒーレントでない(レーザーでない)赤外線を放射することができる。エミッタ2422は、破線矢印2450で示すように、エミッタ2422からの光がユーザーの頭308を通ってあるいは沿って目300に移動できるように、概ね目300の方向に配置されている。例えば、皮膚及び他の組織は、赤外線等の特定周波数の光に対しては少なくとも透明であることが知られている。そのため、エミッタ(群)2422からの光の少なくとも一部は、ユーザーの皮膚及び/又は他の組織を経皮的に沿って又は通過して、光の少なくとも一部が目300に入る。
【0142】
光は、目300の内部の網膜(不図示)で反射され、光の少なくとも一部は矢印2452で示すように瞳孔301から逃げる。レンズ2434と光ファイバーバンドル2430は、本明細書に記載した他の態様と同様に、目の映像を検出器(不図示)まで中継し、光2452による映像の上の明るいスポットとして瞳孔301を同定する。検出器に結合したプロセッサ又は他のデバイスは、瞳孔301をモニターし、本明細書に記載した他の態様と同様に、例えば、映像上の相対位置、大きさ、及び/又は形状を、本明細書に記載した”白色瞳孔”又は”暗色瞳孔”技術を用いてモニターする。さらに又はあるいは、経皮光は、目300全体、特に網膜を照らし、ユーザーの顔の前面から観察することができ、例えば暗い球又は他の形状であり、瞳孔301がその暗い形状により包囲された明るいスポットを示す状態が観察できる。
【0143】
この態様は、1以上のエミッタをユーザーの目の前に配置する必要がないという利点を有し、これによりユーザーの視界を遮ったり、気を散らすことがない。さらに、このシステムは入射赤外線の角度に無関係に使用可能な、赤外線検出カメラ及び/又は検出器を用いるので、エミッタを検出器に対し正確に配置する必要から生じる技術的問題を減らすことができる。また、目の前にエミッタ(群)がないので、目からのキラキラや反射を減らすことができ、映像データの解析を容易にする。
【0144】
特定の態様について記載した種々の構成要素や特徴は、態様を用いる意図に応じて、他の態様に付加したり、削除したり、及び/又は置換できることが理解されるであろう。例えば、仮出願No.60/559,135号の付記AとBは、可能な構造的特徴、及び/又は本明細書に記載した装置及びシステムの使用方法についての付加的な情報を提供するものであり、出典明示により明細書の一部となる。付記A及びBのすべての開示は、出典明示により明細書の一部となる。
【0145】
本発明には種々の変形例や代替形態が可能であるが、特定の実施例について図面及び本明細書で詳細に説明した。本発明は開示された特定の形態又は方法に限定されるものではなく、反対に、本発明には、添付のクレームの範囲に含まれるすべての変形例、等価物、代替物が含まれることが理解されるべきである。
【特許請求の範囲】
【請求項1】
人の頭に装着できるように作製されたデバイスと、
デバイスを装着した時に人の目に光を向ける光源と、
一端がデバイスに固定された第1及び第2の映像案内部と、ここで、第1の映像案内部はデバイスを装着した人の第1の目を観察するように位置決めされる一方、第2の映像案内部はデバイスを装着した人の第2の目を観察するように位置決めされており、そして、
第1及び第2の目の映像を得るための第1及び第2のバンドルに結合されたカメラと、を備えた人の目の動きをモニターする装置。
【請求項2】
上記カメラはCCD又はCMOS検出器を有し、第1及び第2の映像案内部からの映像が上記検出器の活性領域に同時に受像される請求項1記載の装置。
【請求項3】
上記光源は、赤外線を放射する1以上の赤外線エミッタを有する請求項1記載の装置。
【請求項4】
上記光源は、第1及び第2の映像案内部によりそれぞれ保持された第1及び第2の照明用ファイバーを有する請求項1記載の装置。
【請求項5】
さらに、上記カメラに結合され、第1及び第2の目の映像を表す出力信号を、デバイスから離れた場所に伝送するケーブルを有する請求項1記載の装置。
【請求項6】
さらに、上記デバイス上に配置され、上記カメラからの出力信号を離れた場所にワイヤレスで伝送するトランスミッタを有する請求項1記載の装置。
【請求項7】
さらに、それぞれ第1及び第2の映像案内部の一端に配置され、それぞれ第1と第2の目に焦点を合わせる第1及び第2のレンズを有する請求項1記載の装置。
【請求項8】
上記デバイスは、眼鏡フレーム、帽子、ヘルメット、バイザー、そしてマスクの中の少なくとも1つを有する請求項1記載の装置。
【請求項9】
上記デバイスは、一対のゴーグルを備えたヘルメットを有しており、上記カメラは該ヘルメットに固定され、第1及び第2の映像案内部の一端が上記ゴーグルに取り付けられている請求項1記載の装置。
【請求項10】
さらに、上記デバイスの人から離れた位置に一端が位置決めされた第3の映像案内部を有し、該第3の映像案内部は人の周囲の映像を得るためカメラに固定されている請求項1記載の装置。
【請求項11】
さらに、ユーザーの1以上の生理学的特徴を測定する1以上のセンサを有する請求項1記載の装置。
【請求項12】
さらに、上記カメラに結合されたディスプレイと、第1及び第2の目の映像とユーザーの1以上の生理学的特徴を同時に表示する1以上のセンサとを有する請求項11記載の装置。
【請求項13】
さらに、第1及び第2の目の映像からなる信号を離れた場所に伝送するために、カメラに結合されたトランスミッタを有する請求項1記載の装置。
【請求項14】
人の頭に装着できるように作製されたデバイスと、
デバイスを装着した時に人の目に光を向ける光源と、
デバイスに取り付けられた第1及び第2のレンズと、ここで、第1のレンズはデバイスを装着した人の第1の目に向けられる一方、第2のレンズはデバイスを装着した人の第2の目に向けられており、
デバイスを装着した人から離れた位置に配置され、人の周囲の映像を得るための第3のレンズと、そして、
第1及び第2のレンズからの第1及び第2の目の映像と第3のレンズからの映像とを同時に得るために、第1、第2及び第3のレンズに結合されたカメラと、を備えた人の目の動きをモニターする装置。
【請求項15】
上記カメラはCCD又はCMOS検出器を有し、第1及び第2の映像案内部からの映像が上記検出器の活性領域に同時に受像される請求項14記載の装置。
【請求項16】
上記光源は、赤外線を放出する1以上の赤外線エミッタを有する請求項14記載の装置。
【請求項17】
第1及び第2のレンズは、それぞれ第1及び第2の映像案内部によりカメラに結合している請求項14記載の装置。
【請求項18】
上記光源は、それぞれ第1及び第2の映像案内部により保持された第1及び第2の照明用ファイバーを有する請求項17記載の装置。
【請求項19】
人の頭に装着できるように作製されたデバイスと、
一端が上記デバイスに固定された第1及び第2の光ファイバーバンドルと、ここで、第1の光ファイバーバンドルはデバイスを装着した人の第1の目を観察するように位置決めされる一方、第2の光ファイバーバンドルはデバイスを装着した人の第2の目を観察するように位置決めされており、そして、
第1及び第2の目の映像を第1及び第2の光ファイバーバンドルから同時に得るために、第1及び第2の光ファイバーバンドルに結合されたカメラと、を備えた人の目の動きをモニターする装置。
【請求項20】
さらに、人の周囲の映像を得るため、デバイス上であってデバイスを装着した人から離れた位置に配置された外部カメラを有し、該外部カメラは、該外部カメラからの映像と第1及び第2の光ファイバーバンドルからの映像とを同時に得るためにカメラに結合されている請求項19記載の装置。
【請求項21】
人の頭に装着できるように作製されたデバイスと、
デバイスを装着した時に人の目に光を向ける光源と、
目の動きをモニターするデバイス上のカメラと、ここで該カメラは、該カメラにより得られた目のビデオ映像を表すビデオ信号を発生するように作製されており、
上記ビデオ信号を処理し、ビデオ信号から瞳孔を確認するため、上記カメラと通信するプロセッサと、そして
上記プロセッサにより処理されたビデオ信号から目のビデオ映像を表示するために上記プロセッサに結合され、瞳孔を確認するため、ビデオ映像の上にグラフィックを重ね合わせるディスプレイと、を備えた人の目の動きをモニターするシステム。
【請求項22】
上記プロセッサは、上記プロセッサにより確認された瞳孔の解析に少なくとも部分的に基づいて人の物理的又は精神の状態を決定するため、ビデオ信号を相関させるように作製されている請求項21記載のシステム。
【請求項23】
上記プロセッサは、瞳孔の相対的な位置、瞳孔の大きさ、瞳孔の偏心率の中の少なくとも1つをモニターするためにビデオ信号を解析するように作製されている請求項22記載のシステム。
【請求項24】
上記カメラは、CCD又はCMOS検出器と、デバイスを装着した時、一端が人の目の方に向くように該一端がデバイスに取り付けられた少なくとも1つの光ファイバーバンドルとを有している請求項21記載のシステム。
【請求項25】
上記光源は、上記光ファイバーバンドルに保持された少なくとも1つの照明用ファイバーを有する請求項24記載のシステム。
【請求項26】
さらに、離れた場所にカメラからの出力信号をワイヤレスで伝送するトランスミッタをデバイス上に有する請求項21記載のシステム。
【請求項27】
上記プロセッサは、上記デバイスから離れた場所に配置され、トランスミッタから伝送された出力信号を受信するため、レシーバーと結合している請求項26記載のシステム。
【請求項28】
上記プロセッサは、デバイス上に配置されている請求項21記載のシステム。
【請求項29】
さらに、人の1以上の生理学的特徴を測定するための1以上のセンサをデバイス上に有しており、人の物理的状態又は精神的状態を決定するため、上記プロセッサは1以上の生理学的特徴をビデオ信号と相関させる1以上のセンサと結合している請求項21記載のシステム。
【請求項30】
さらに、ユーザーの1以上の生理学的特徴を測定するための1以上のセンサをデバイス上に有しており、上記プロセッサは、ディスプレイ上にビデオ映像とともに1以上の生理学的特徴を表示する1以上のセンサと結合している請求項21記載のシステム。
【請求項31】
バイオセンサアセンブリを装着した時に光を人の目に向ける光源と、目に向けて配置されたカメラとを有するバイオセンサアセンブリを用いる人の目の動きのモニター方法であって、
上記光源から目に向けて光を放射し、
目のビデオ映像を生成させるためにカメラで目の動きをモニターし、そして、
目の瞳孔を確認するため、目のビデオ映像に重ね合わせる人工映像からなる図形出力を、カメラによりモニターした動きから生成させる、モニター方法。
【請求項32】
光を人の目に向ける光源と、目に向けて配置されたカメラとを有するバイオセンサアセンブリを用いる人の目の動きのモニター方法であって、
上記光源から目に向けて光を放射して、目をそのリラックス状態から広げ、
目をカメラでモニターして目がリラックス状態に戻るまでの反応時間を決定する、モニター方法。
【請求項33】
人の頭に装着できるように作製されたデバイスと、
人の少なくとも片方の目の動きをモニターするデバイス上のカメラと、ここで該カメラは、該カメラにより得られた目のビデオ映像を表すビデオ信号を発生するように作製されており、
デバイスを装着した人がディスプレイ上でポインターを見ることができるようにデバイスに隣接して配置されたディスプレイと、
ディスプレイ上の基準フレームに対する目の動きをモニターする目的で信号を処理するためにカメラに結合され、基準フレームに対する目の動きに基づいてディスプレイ上でポインターを移動させるためにディスプレイに結合されているプロセッサと、を備えた計算デバイスの制御システム。
【請求項34】
上記ディスプレイは、デバイスを装着した人の目の前の所定の位置にディスプレイが配置されるようにデバイスの取り付けられたヘッドアップディスプレイである請求項33記載のシステム。
【請求項35】
上記プロセッサは、デバイスを装着した人がディスプレイ上の特定の場所を見ていることを示すビデオ映像用の信号をモニターするためにカメラに結合され、特定の場所にポインターを移動できるように形成されている請求項33記載のシステム。
【請求項36】
上記プロセッサは、デバイスを装着した人が、コマンドが実行されるように要求するため特定の場所を見ている間、所定の連続動作で瞬きしたことを示すビデオ映像を検出するための信号をモニターするように形成され、検出したビデオ映像に基づきコンピューティングデバイスへのコマンドを実行できるように形成されている請求項35記載のシステム。
【請求項37】
さらに、デバイスを装着した人の目に光を向ける光源を有する請求項33記載のシステム。
【請求項38】
上記光源は、デバイスを装着した人の目の上へ基準フレームを向けるように形成されている請求項37記載のシステム。
【請求項39】
上記プロセッサは、ディスプレイ上のベース位置に映像を表示するように形成され、さらに、ベース位置に対する後に続く目の動きのための基準フレームを提供するため、デバイスを装着した人がベース位置を見ていることを示すビデオ映像を検出するための信号をモニターできるように形成されている請求項33記載のシステム。
【請求項40】
人が頭に装着するデバイスであって、ユーザーの少なくとも片方の目に向けられた対物レンズを備えたデバイスを用いる、ディスプレイ上に表示されたポインターを含むディスプレイを備えたコンピュータデバイスの制御方法であって、
カメラを用いて少なくとも片方の目をモニターし、そして、
少なくとも片方の目の動きにポインターを追従させるように、ディスプレイ上のポインターに対して少なくとも片方の目の動きを相関させる、コンピュータデバイスの制御方法。
【請求項41】
さらに、少なくとも片方の目がポインターを見ている時、カメラの活性領域上に少なくとも片方の目のベース位置を決定し、そして、
位置の変化に応じてポインターを移動させるため、活性領域上の少なくとも片方の目の位置のベース位置に対する変化を決定する、請求項40記載の方法。
【請求項42】
さらに、予め設定された目の動きの連続動作の間、少なくとも片方の目をモニターし、ディスプレイ上に表示されたポインターにより確認されたコマンドを、活性化する信号を提供する、請求項40記載の方法。
【請求項1】
人の頭に装着できるように作製されたデバイスと、
デバイスを装着した時に人の目に光を向ける光源と、
一端がデバイスに固定された第1及び第2の映像案内部と、ここで、第1の映像案内部はデバイスを装着した人の第1の目を観察するように位置決めされる一方、第2の映像案内部はデバイスを装着した人の第2の目を観察するように位置決めされており、そして、
第1及び第2の目の映像を得るための第1及び第2のバンドルに結合されたカメラと、を備えた人の目の動きをモニターする装置。
【請求項2】
上記カメラはCCD又はCMOS検出器を有し、第1及び第2の映像案内部からの映像が上記検出器の活性領域に同時に受像される請求項1記載の装置。
【請求項3】
上記光源は、赤外線を放射する1以上の赤外線エミッタを有する請求項1記載の装置。
【請求項4】
上記光源は、第1及び第2の映像案内部によりそれぞれ保持された第1及び第2の照明用ファイバーを有する請求項1記載の装置。
【請求項5】
さらに、上記カメラに結合され、第1及び第2の目の映像を表す出力信号を、デバイスから離れた場所に伝送するケーブルを有する請求項1記載の装置。
【請求項6】
さらに、上記デバイス上に配置され、上記カメラからの出力信号を離れた場所にワイヤレスで伝送するトランスミッタを有する請求項1記載の装置。
【請求項7】
さらに、それぞれ第1及び第2の映像案内部の一端に配置され、それぞれ第1と第2の目に焦点を合わせる第1及び第2のレンズを有する請求項1記載の装置。
【請求項8】
上記デバイスは、眼鏡フレーム、帽子、ヘルメット、バイザー、そしてマスクの中の少なくとも1つを有する請求項1記載の装置。
【請求項9】
上記デバイスは、一対のゴーグルを備えたヘルメットを有しており、上記カメラは該ヘルメットに固定され、第1及び第2の映像案内部の一端が上記ゴーグルに取り付けられている請求項1記載の装置。
【請求項10】
さらに、上記デバイスの人から離れた位置に一端が位置決めされた第3の映像案内部を有し、該第3の映像案内部は人の周囲の映像を得るためカメラに固定されている請求項1記載の装置。
【請求項11】
さらに、ユーザーの1以上の生理学的特徴を測定する1以上のセンサを有する請求項1記載の装置。
【請求項12】
さらに、上記カメラに結合されたディスプレイと、第1及び第2の目の映像とユーザーの1以上の生理学的特徴を同時に表示する1以上のセンサとを有する請求項11記載の装置。
【請求項13】
さらに、第1及び第2の目の映像からなる信号を離れた場所に伝送するために、カメラに結合されたトランスミッタを有する請求項1記載の装置。
【請求項14】
人の頭に装着できるように作製されたデバイスと、
デバイスを装着した時に人の目に光を向ける光源と、
デバイスに取り付けられた第1及び第2のレンズと、ここで、第1のレンズはデバイスを装着した人の第1の目に向けられる一方、第2のレンズはデバイスを装着した人の第2の目に向けられており、
デバイスを装着した人から離れた位置に配置され、人の周囲の映像を得るための第3のレンズと、そして、
第1及び第2のレンズからの第1及び第2の目の映像と第3のレンズからの映像とを同時に得るために、第1、第2及び第3のレンズに結合されたカメラと、を備えた人の目の動きをモニターする装置。
【請求項15】
上記カメラはCCD又はCMOS検出器を有し、第1及び第2の映像案内部からの映像が上記検出器の活性領域に同時に受像される請求項14記載の装置。
【請求項16】
上記光源は、赤外線を放出する1以上の赤外線エミッタを有する請求項14記載の装置。
【請求項17】
第1及び第2のレンズは、それぞれ第1及び第2の映像案内部によりカメラに結合している請求項14記載の装置。
【請求項18】
上記光源は、それぞれ第1及び第2の映像案内部により保持された第1及び第2の照明用ファイバーを有する請求項17記載の装置。
【請求項19】
人の頭に装着できるように作製されたデバイスと、
一端が上記デバイスに固定された第1及び第2の光ファイバーバンドルと、ここで、第1の光ファイバーバンドルはデバイスを装着した人の第1の目を観察するように位置決めされる一方、第2の光ファイバーバンドルはデバイスを装着した人の第2の目を観察するように位置決めされており、そして、
第1及び第2の目の映像を第1及び第2の光ファイバーバンドルから同時に得るために、第1及び第2の光ファイバーバンドルに結合されたカメラと、を備えた人の目の動きをモニターする装置。
【請求項20】
さらに、人の周囲の映像を得るため、デバイス上であってデバイスを装着した人から離れた位置に配置された外部カメラを有し、該外部カメラは、該外部カメラからの映像と第1及び第2の光ファイバーバンドルからの映像とを同時に得るためにカメラに結合されている請求項19記載の装置。
【請求項21】
人の頭に装着できるように作製されたデバイスと、
デバイスを装着した時に人の目に光を向ける光源と、
目の動きをモニターするデバイス上のカメラと、ここで該カメラは、該カメラにより得られた目のビデオ映像を表すビデオ信号を発生するように作製されており、
上記ビデオ信号を処理し、ビデオ信号から瞳孔を確認するため、上記カメラと通信するプロセッサと、そして
上記プロセッサにより処理されたビデオ信号から目のビデオ映像を表示するために上記プロセッサに結合され、瞳孔を確認するため、ビデオ映像の上にグラフィックを重ね合わせるディスプレイと、を備えた人の目の動きをモニターするシステム。
【請求項22】
上記プロセッサは、上記プロセッサにより確認された瞳孔の解析に少なくとも部分的に基づいて人の物理的又は精神の状態を決定するため、ビデオ信号を相関させるように作製されている請求項21記載のシステム。
【請求項23】
上記プロセッサは、瞳孔の相対的な位置、瞳孔の大きさ、瞳孔の偏心率の中の少なくとも1つをモニターするためにビデオ信号を解析するように作製されている請求項22記載のシステム。
【請求項24】
上記カメラは、CCD又はCMOS検出器と、デバイスを装着した時、一端が人の目の方に向くように該一端がデバイスに取り付けられた少なくとも1つの光ファイバーバンドルとを有している請求項21記載のシステム。
【請求項25】
上記光源は、上記光ファイバーバンドルに保持された少なくとも1つの照明用ファイバーを有する請求項24記載のシステム。
【請求項26】
さらに、離れた場所にカメラからの出力信号をワイヤレスで伝送するトランスミッタをデバイス上に有する請求項21記載のシステム。
【請求項27】
上記プロセッサは、上記デバイスから離れた場所に配置され、トランスミッタから伝送された出力信号を受信するため、レシーバーと結合している請求項26記載のシステム。
【請求項28】
上記プロセッサは、デバイス上に配置されている請求項21記載のシステム。
【請求項29】
さらに、人の1以上の生理学的特徴を測定するための1以上のセンサをデバイス上に有しており、人の物理的状態又は精神的状態を決定するため、上記プロセッサは1以上の生理学的特徴をビデオ信号と相関させる1以上のセンサと結合している請求項21記載のシステム。
【請求項30】
さらに、ユーザーの1以上の生理学的特徴を測定するための1以上のセンサをデバイス上に有しており、上記プロセッサは、ディスプレイ上にビデオ映像とともに1以上の生理学的特徴を表示する1以上のセンサと結合している請求項21記載のシステム。
【請求項31】
バイオセンサアセンブリを装着した時に光を人の目に向ける光源と、目に向けて配置されたカメラとを有するバイオセンサアセンブリを用いる人の目の動きのモニター方法であって、
上記光源から目に向けて光を放射し、
目のビデオ映像を生成させるためにカメラで目の動きをモニターし、そして、
目の瞳孔を確認するため、目のビデオ映像に重ね合わせる人工映像からなる図形出力を、カメラによりモニターした動きから生成させる、モニター方法。
【請求項32】
光を人の目に向ける光源と、目に向けて配置されたカメラとを有するバイオセンサアセンブリを用いる人の目の動きのモニター方法であって、
上記光源から目に向けて光を放射して、目をそのリラックス状態から広げ、
目をカメラでモニターして目がリラックス状態に戻るまでの反応時間を決定する、モニター方法。
【請求項33】
人の頭に装着できるように作製されたデバイスと、
人の少なくとも片方の目の動きをモニターするデバイス上のカメラと、ここで該カメラは、該カメラにより得られた目のビデオ映像を表すビデオ信号を発生するように作製されており、
デバイスを装着した人がディスプレイ上でポインターを見ることができるようにデバイスに隣接して配置されたディスプレイと、
ディスプレイ上の基準フレームに対する目の動きをモニターする目的で信号を処理するためにカメラに結合され、基準フレームに対する目の動きに基づいてディスプレイ上でポインターを移動させるためにディスプレイに結合されているプロセッサと、を備えた計算デバイスの制御システム。
【請求項34】
上記ディスプレイは、デバイスを装着した人の目の前の所定の位置にディスプレイが配置されるようにデバイスの取り付けられたヘッドアップディスプレイである請求項33記載のシステム。
【請求項35】
上記プロセッサは、デバイスを装着した人がディスプレイ上の特定の場所を見ていることを示すビデオ映像用の信号をモニターするためにカメラに結合され、特定の場所にポインターを移動できるように形成されている請求項33記載のシステム。
【請求項36】
上記プロセッサは、デバイスを装着した人が、コマンドが実行されるように要求するため特定の場所を見ている間、所定の連続動作で瞬きしたことを示すビデオ映像を検出するための信号をモニターするように形成され、検出したビデオ映像に基づきコンピューティングデバイスへのコマンドを実行できるように形成されている請求項35記載のシステム。
【請求項37】
さらに、デバイスを装着した人の目に光を向ける光源を有する請求項33記載のシステム。
【請求項38】
上記光源は、デバイスを装着した人の目の上へ基準フレームを向けるように形成されている請求項37記載のシステム。
【請求項39】
上記プロセッサは、ディスプレイ上のベース位置に映像を表示するように形成され、さらに、ベース位置に対する後に続く目の動きのための基準フレームを提供するため、デバイスを装着した人がベース位置を見ていることを示すビデオ映像を検出するための信号をモニターできるように形成されている請求項33記載のシステム。
【請求項40】
人が頭に装着するデバイスであって、ユーザーの少なくとも片方の目に向けられた対物レンズを備えたデバイスを用いる、ディスプレイ上に表示されたポインターを含むディスプレイを備えたコンピュータデバイスの制御方法であって、
カメラを用いて少なくとも片方の目をモニターし、そして、
少なくとも片方の目の動きにポインターを追従させるように、ディスプレイ上のポインターに対して少なくとも片方の目の動きを相関させる、コンピュータデバイスの制御方法。
【請求項41】
さらに、少なくとも片方の目がポインターを見ている時、カメラの活性領域上に少なくとも片方の目のベース位置を決定し、そして、
位置の変化に応じてポインターを移動させるため、活性領域上の少なくとも片方の目の位置のベース位置に対する変化を決定する、請求項40記載の方法。
【請求項42】
さらに、予め設定された目の動きの連続動作の間、少なくとも片方の目をモニターし、ディスプレイ上に表示されたポインターにより確認されたコマンドを、活性化する信号を提供する、請求項40記載の方法。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図11A】
【図11B】
【図12A】
【図12B】
【図12C】
【図12D】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図15E】
【図15F】
【図15G】
【図15H】
【図15I】
【図16】
【図17】
【図18A】
【図18B】
【図19】
【図20A】
【図20B】
【図21A】
【図21B】
【図21C】
【図22A】
【図22B】
【図23】
【図24】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図11A】
【図11B】
【図12A】
【図12B】
【図12C】
【図12D】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図15E】
【図15F】
【図15G】
【図15H】
【図15I】
【図16】
【図17】
【図18A】
【図18B】
【図19】
【図20A】
【図20B】
【図21A】
【図21B】
【図21C】
【図22A】
【図22B】
【図23】
【図24】
【公開番号】特開2013−27718(P2013−27718A)
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−208785(P2012−208785)
【出願日】平成24年9月21日(2012.9.21)
【分割の表示】特願2011−227722(P2011−227722)の分割
【原出願日】平成17年4月1日(2005.4.1)
【出願人】(506332339)
【氏名又は名称原語表記】William C. Torch
【Fターム(参考)】
【公開日】平成25年2月7日(2013.2.7)
【国際特許分類】
【出願番号】特願2012−208785(P2012−208785)
【出願日】平成24年9月21日(2012.9.21)
【分割の表示】特願2011−227722(P2011−227722)の分割
【原出願日】平成17年4月1日(2005.4.1)
【出願人】(506332339)
【氏名又は名称原語表記】William C. Torch
【Fターム(参考)】
[ Back to top ]