被験者の頭及び目の動きを分析する方法及び装置
【課題】頭及び／又は眼球運動追跡システムによって生成された眼球運動データの分析、特徴データを出力する分析法及びアルゴリズムを提供する。
【解決手段】眼球運動を表すデータを、分類規則を前記データに適用してプロセッサを用いて処理し、被験者によって経験される視界的な凝視を識別し、凝視に関連して注視方向の情報を分析し、データ収集中に被験者が視覚的に凝視した方向を示すデータを表し、部分的に凝視の注視方向に基づいて画定データセットに区分され、データ収集中に存在する被験者の関心がある領域／対象を表し、前記画定データセットの少なくとも一つが、前記注視方向の情報から決定された高密度パターンに基づく典型的な目の向く方向の運転の領域を表し、道路中央のパーセント（ＰＲＣ）のドライバの特徴を、予め規定された期間中にドライバに維持された目の向く方向の運転の相対的な定量化を表すデータから計算する。
【解決手段】眼球運動を表すデータを、分類規則を前記データに適用してプロセッサを用いて処理し、被験者によって経験される視界的な凝視を識別し、凝視に関連して注視方向の情報を分析し、データ収集中に被験者が視覚的に凝視した方向を示すデータを表し、部分的に凝視の注視方向に基づいて画定データセットに区分され、データ収集中に存在する被験者の関心がある領域／対象を表し、前記画定データセットの少なくとも一つが、前記注視方向の情報から決定された高密度パターンに基づく典型的な目の向く方向の運転の領域を表し、道路中央のパーセント（ＰＲＣ）のドライバの特徴を、予め規定された期間中にドライバに維持された目の向く方向の運転の相対的な定量化を表すデータから計算する。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２００２年１０月１５日に出願されるとともに発明の名称が「ドライバの動きを分析する方法及び装置」である分割特許出願第６０／４１８，１７１号の利益を主張し、この開示は、ここに参照することによって組み込まれる。
【０００２】
本発明は、データの自動化された処理方法に関し、更に詳しくは、本発明は、知覚的及び視覚的な注意散漫のような観察された被験者についての特徴を推定するとともに作業負荷レベルを定量化するために頭及び目標追跡データを分析し及び利用する自動化された方法に関する。
【背景技術】
【０００３】
潜在的に危険な運転状態を形成するドライバの疲労、注意散漫、作業負荷及び他のドライバの状態に関連した意義深い継続中の研究がある。これは、全ての交通事故の約９５％がドライバの過失に起因するという驚くべき考察ではなく、ドライバの過失のうち、ドライバの不注意は、最も一般的な原因である。多数の研究は、眼球運動と更に高い知覚処理との間の関係を確立した。これらの研究は、一般に、眼球運動がある程度ドライバの知覚状態を反映していると主張している。複数の研究において、眼球運動は、ドライバの知覚的な注意レベルの直接的な基準として用いられ、そうでない場合には、精神的な作業負荷が用いられる。
【０００４】
ドライバが見ている場所を知ることは、一般に、車両事故、特に衝突を回避するために設計されたシステムに対する重要な入力因子として受け入れられる。ドライバが見ている場所を突き止めることによって、ヒューマンマシンインタラクション（ＨＭＩ）システムを最適化することができ、前方衝突警報（ＦＷＣ）のようなアクティブ安全機能を、ドライバの目の向き及び運動に基づいて適合させることができる。これを、多数の被験者のオフライン分析、オンラインの使用、又はＦＷＣ境界値のようなものを現在のドライバ状態に適合させうるリアルタイムアルゴリズムとして行うことができる。
【０００５】
既に説明したように、眼球運動の関心のある使用は、人間工学の分野及びＨＭＩの分野にある。例えば、そのような使用を、道路及び交通情報（ＲＴＩ）ディスプレイの最適な配置の決定と、同様に所定のＨＭＩが他に比べて少ない視覚的な要求を課すか否かを分析する際に行うことができる。これらのタイプの分析を行うことができ、それは、装置−ＨＭＩを使用しながら被験者の眼球運動を研究することによって行われている。しかしながら、現在の方法に関連する主な不都合は、分析を実行する適切に自動化したツールがほとんどないことであり、それが存在しない場合には、骨が折れる集中的なマニュアル分析が一般的に行われる。
【０００６】
現在の眼球運動の研究の重大な問題は、各研究チームが眼球運動信号を復号するためにそれ自体の定義及びソフトウェアを使用しているように思えることである。これによって、研究結果は、互いに比較するのが困難になっている。視覚的な測定及び概念を定義する基準を有することが望ましい。ＩＳＯ１５００７及びＳＡＥ Ｊ−２３９６は、そのような基準の例を構成し、それは、車両内の視覚的な要求の測定方法を規定し、瞥見の頻度や、瞥見の時間や、道路の前方シーンを外れた時間や、一見の持続時間のような目の特徴及びそれを取得する手順の定量的な規則を提供する。しかしながら、二つの基準は、記録されたビデオ技術に基づくものであり、時間を浪費するとともに著しく信用性のないフレームごとの人間の評価者の分析に依存する。種々の車両内情報並びにドライバ補助システム及び装置の数が増加するに従って、眼球運動及び他の知覚指標のあり得る関心も増加する。したがって、眼球運動に対して、標準化され、自動化され、かつ、しっかりした分析方法が存在する必要があり、それは、将来更に重要になる。
【０００７】
所定の指標追跡方法及び分析手順は、ＩＳＯ１５００７及びＳＡＥ Ｊ−２３９６の規定に対して統計的に確かめられている。システムのこれら物理的な部分を、侵入的でなく、かつ、あまり環境に依存せずに形成することができる。少なくとも一つの例は、ドライバの前方に配置された二つのカメラ（ステレオ状態）に基づく。注視ベクトル及び他の関心のある量をリアルタイムで演算するためにソフトウェアが使用され、それは、頭の位置及び回転（向き）、まばたき、まばたきの頻度、及び開眼度のようなものを表す。このソフトウェアの他の重要な特徴は、頭の位置／回転（向き）及び注視回転のリアルタイムの同時の演算であり、その特徴は、かつて利用されたものではない。また、それは、車両内で生じるような騒々しい環境の影響を受けない。特に、データ中の「雑音」は、可変の照明状態及び頭／注視運動のようなものに起因するデータ品質の劣化に影響を及ぼす重大な因子として見つけられている。
【０００８】
研究に関連した眼球運動追跡の領域で行われた以前の作業は、かなり徹底しているように思われる。それにもかかわらず、眼球運動追跡が更にしっかりとしたものになるとともに更に移動容易になるよう進歩するに従って、この技術領域は拡大し続ける。しかしながら、道路上における運転タスクに関連したドライバの特徴の研究は多くなく、今日まで、視覚的又は知覚的な注意散漫のような量を計算するためにリアルタイムに基づく眼球運動追跡データが利用されていない（図１６〜１８参照）。これは、少なくとも部分的には人的による区分けの時間浪費の性質及び／又は一般的に用いられる眼球運動追跡システムを持ち運びできないことに関連した技術的な困難の結果である。しかしながら、研究所の環境において導かれた研究において、多様なアルゴリズムが開発された。多数の互いに相違するアプローチ、例えば、ニューラルネットワーク、適応されるデジタルフィルタ、隠れマルコフモデル、最小平均二乗法、分散又は速度に基づく方法及び他の高次の微分法が用いられる。しかしながら、これらの方法のうちの多数は、サンプリング周波数のような眼球運動追跡装置の典型的な特徴に基づいており、他のそのようなシステムとともに良好に作業しない。
【０００９】
これまで、ドライバの一つ以上の特徴を測定するもの及びそれを測定する方法を規定する基準が存在しない。目のすばやい動き、固定状態及び目を閉じることを含む基本的な目の区分化を参照する基準が存在しない。基準は、瞥見のみに関連し、すなわち、視界を横切る急速な眼球運動の発生のみに関連する。
【００１０】
興味を引くことには、現在の方法は、円滑な眼球運動又は追従視を考慮していない、すなわち、通過の際に道路標識を見る（読む）ような運転経路から離れた目的のある瞥見を考慮しない。実際には、追跡する対象が存在しないことを保証することによって円滑な追従視が決して生じないように、多数の研究がなされている。現在の研究によるこのような回避は理解することができる。円滑な追従視を目のすばやい動き又は固定と区別するのは困難である。これらの特徴は文献中でまれにしか言及されない。これらの特徴が考察されなかった一つ以上の理由に関係なく、円滑な追従視は、ここに開示した発明に関連して考慮される。その理由は、そのような円滑な眼球運動が実際の運転状態でしばしば生じるからである。
【００１１】
車両の運転の基本は、車両を向かわせること、車両の経路及び向きを検出することと、潜在的な衝突のおそれが対象と出来事のうちのいずれからであるか検出することが不可欠である。このような道路のシーンで気が付くことは、車両の縦方向及び横方向の制御に必須である。道路の中央は、車両の縦方向軸線の前方で常に直線であるとは限らず、多かれ少なかれほとんど車道に存在する曲線に起因して中心線から外れることを認識すべきである。そうであるとしても、研究が示すところによれば、ドライバは、ほとんどの時間すなわち時間の８５〜９５％の時間道路上に目を向けながら（道路の湾曲に対する相当な変位を考察しながら）ほぼ真っ直ぐ前を向く傾向にある。さらに、賢明に話すと、道路の中央又は通路から離れるように瞥見する平均的なドライバは、車両を向ける際に妨害されずに予測しない出来事又は対象に出くわす可能性が低くなるよう時間が決められる。そうであるとしても、上記統計が示すところによれば、慎重なドライバでさえも、常に運転要求に注意を向けているわけでなく、運転の際に自身の作業負荷及び注意散漫の一貫して良好な管理人でもない。
【００１２】
運転は、大抵の場合において特に骨の折れる仕事ではない。例えば、大抵の各州間運転中、ドライバの知覚能力の５０％未満しか使用されないと見積もられる。このために、ドライバは、しばしば、携帯電話をかけ又はラジオのチャンネルを変えるという二次的なタスクを実行する。二次的なタスクが実行されると、時間を共有する瞥見の動作が示され、この場合、目が道路とタスクとの間で前後に移動する。このような瞥見の時間的な共有は、単一の視覚的な手段を有することを意味する。二次的なタスクが他方に代わって実行される間に道路がサンプリングされるといえる。衝突を引き起こす問題は、目が道路から離れて予測できない出来事又は対象に対する反応が著しく低下する間に予測できないことが生じうることである。
【００１３】
ここで表される新たな測定及び分析技術は、前方を真っ直ぐ又は車両経路追跡を見るこのような基本的かつ必須の運転中の眼球運動の挙動を利用する。その測定によって、視覚的に、認識的に又は手動で要求する、従来の測定と大いに関連することがわかった車両内タスクの実行の視覚的な影響の正確なオフライン評価を行う。その測定によって、通常の運転との比較を行うことができる。重要なことには、ここに示される測定は、この視覚的な影響のオンライン計算及び評価にも適しており、したがって、注意散漫及び作業負荷の検出に用いることができるリアルタイム測定を表す。
【発明の概要】
【００１４】
本発明の少なくとも一つの特徴は、頭及び／又は眼球運動追跡システムによって生成された眼球運動データの自動化された分析、人間の評価の十分な除去、並びに誤差及び雑音に対して強固なフィルタ処理され及び有効にされた特徴データの出力を容易にする実証された分析法及びアルゴリズムを提供する。好適には、これらの簡易化は、ＩＳＯ／ＳＡＥ並びに同様に受け入れられる現在及び将来の基準に従って行われる。
【００１５】
他の目的は、所定のアルゴリズムをリアルタイムの環境に適合させることである。他の目的は、視覚的な動作に基づくとともにドライバに再び集中させる実現されたシステムのために潜在的に不利益な状況を回避するようドライバを補助することができるドライバサポートを識別し及び提供することである。
【００１６】
一態様において、本発明は、ドライバの関心がある種々の対象及び領域を比較的離間して配置することができる車両に一つの標準的な基準を有する必要があることに注意を向ける。変化する大きさ、高さ及び動作のオペレータから取り出される頭／顔／指標追跡データを変換することができる（車両の内部の相対的な位置／場所／向き{この開示の文脈において、以後のスラッシュマーク「／」を、「及び／又は」関係を表すのに用いる。}によって規定される）基準の標準的なフレームは、ここで説明される複数の目的のために良好に処理するそのようなデータを「標準化する」という点で望ましい。
【００１７】
少なくとも一例において、ここに開示した発明を、車両のドライバの目及び／又は頭の向きの特徴を分析する方法として規定することができる。説明した分析技術又は処理は、典型的には時間に対してマークされたすなわちリアルタイムの格納追跡データに適用することができるものと考えられ、その性質から、データ流れの因子を、すなわち記述名「リアルタイム」データとして時間を考察する。いずれにせよ、本発明のこの例は、車両の乗客区画内のスペースに対するドライバの頭の位置の検出及び定量化を考察する。「基準点」ドライバの頭（又はその一部）の基準に基づく位置が設けられ、これによって、相対的な領域／ドライバの関心がある対象の位置の相互参照が可能になる。これらドライバの関心がある領域／対象を、車両の外側又は内側にすることができ、（１）音声制御や、スピードメータや、計器のような「もの」及び（２）「道路前方」や、互いに隣接する車線の車線変更クリアランススペースのような領域又は位置によって構成することができる。関心のある車両に対する追跡データを「標準化」するために、ドライバの頭の位置の定量化が、基準位置に対して正規化され、これによって、（１）ドライバの目の向きと（２）ドライバの頭の向きのうちのいずれか一方又は両方に関する検知された情報に基づく関心をドライバが示す一つ以上の位置を推定することができる。
【００１８】
追跡情報がドライバの頭と目の両方の特徴を利用できる場合、ドライバの目の向きに関する検知された情報を、ドライバの関心のある一つ以上の位置の推定の基礎として優先的に利用することができる。ドライバの目の向きに関する検知された情報の品質が、所定の注視信頼境界値より下に低下したとき、ドライバの関心がある位置の推定の基礎としてのドライバの頭の向きに関する検知された情報の切替が行われる。一例として、ドライバの目が閉じられ、すなわち、追跡を妨げるようにドライバの目が遮られるときに、この切替が必要となることがある。目が閉じられた状態は、例えば相対的な顔の特徴を識別／決定できないために一つ以上の追跡センサが目を追跡できない状況を含むことも考えられる。例えば、目−鼻−口の向き及び基準を推定することができない（一部の追跡システムは、データ値によって追跡され及び特徴付けられる目を配置するために顔に対する基準のフレームを確立することを要求する。）。顔が適切に参照されない場合、一部のセンサシステムは、例えば、目と区別が付かない被験者の鼻孔又は目のイメージを歪ませて（屈折して）、若しくは目のイメージを曖昧にするように装着される眼鏡（サングラス）を追跡することができない。閉じられた目の他の例は、許容される程度の変位を超えてドライバの頭の位置が目の前（方向の支配的な運転）方向から離間するときである。これらの場合において、ドライバの（両方の）目は、目の向きのデータを発生する追跡装置（センサ）から実質的には視覚的にブロックされる。
【００１９】
好適には、基準位置に対してドライバの頭の位置の定量化の規格化を達成するために、数学的な変換が利用される。オンボード装置において、ほぼリアルタイムで車両に基づくコンピュータを用いて数学的な変換を実行するのが好ましい。
【００２０】
本発明の一態様（形態）において、基準位置に対するドライバの関心がある領域／対象のあり得る位置が、予め規定される。これに関して、そのような予めの規定は、検知されたデータを読出し又は上書きすることができるテンプレートとしての役割を果たす。
【００２１】
また、ドライバの関心がある領域／対象のあり得る位置は、検知されたドライバの目の特徴に基づく基準位置に対して規定される。一態様において、基準位置に対するドライバの関心がある領域／対象のあり得る位置の規定を、注視頻度の検知されたドライバの目の特徴に基づいて確立することができる。ここでは、注視頻度の確立は、収集された注視密度の特徴の定量化に基づく。
【００２２】
本発明の一例において、（ドライバの関心がある複数の領域／対象を包囲するものとしても解釈するよう意図した）ドライバの関心がある領域／対象は、基準位置に対するドライバの関心がある領域／対象の予め規定され又は定義されたあり得る位置に対して検知されたドライバの目の特徴をマッピングすることによって、（例えば追跡データとして表される）ドライバの目の特徴に基づいて識別される。すなわち、ドライバの関心があるものとして推定された対象又は領域の識別を、既に定義したような予め規定されたテンプレートに対して観察データ（頭及び／又は眼球運動追跡データ）の比較を行い、又はドライバが潜在的に関心がある特定の対象及び／又は領域に対して相関された既知のデータセットに対する比較によって行うことができる。
【００２３】
典型的な例では、領域に基づくテンプレートが特定の車両に対して工夫され、ドライバが種々の位置／対象を見る相対的な頻度が識別される。例えば、典型的なドライバは、運転時間の約４０％の間にほぼ真っ直ぐ前方方向を見るとともに、運転時間の約２０％の間に速度計を含む計器群を見る。空間的にはこれら領域の中心が上下していることも知られている。したがって、（頭の向きと目（眼球）の向きのいずれに基づくかに関係なく）注視方向データを利用すると、道路中央及び設備一群の相対位置を、特定のドライバに対して推定することができる。一旦基準の基礎フレームが確立されると、特定の車両に対する現実への対応を推定することができ、基準フレームへの変換を決定することができる。さらに、例えば、典型的なドライバが通常の運転時間の約１０％の間にオーディオ制御を見ることが統計的に知られている場合、車両のオーディオ制御に対する瞥見を推定することもできる。一旦「学習時間」の期間が記録されると、ドライバの関心がある多数の領域／対象の相対位置を、対象／領域の任意の既知のマップ又は車両の基準フレームに依存しなくても統計に基づいて確認することができる。
【００２４】
他の態様において、本発明は、マッピングされたドライバの目の特徴に基づいた車両によって実行される予め規定された機能の適合を必然的に伴う。これは、ドライバが長時間道路から目を離したことを検出したときに注意散漫の警報を音声に適合させるのと同様に簡単であり、これによって、先行する車両の後方に維持された緩衝地帯が適応する巡回制御システムにより増大する。
【００２５】
特定の好適例において、ドライバの関心があるこれら領域／対象を、注視角度の測定によって専ら構成されるドライバの目の向きに関連する検知された情報に、部分的に又は専一に基づいて識別することができる。（例えば自動車の特定の製造者及び型番として識別することができる）少なくとも特定の車両内の基準フレームに関して、領域／対象の角度位置は、特に優れている。その理由は、距離を考察する必要がなくなるからである。すなわち、領域−位置が、あり得るドライバの関心がある領域／対象が統計的（確率的）に表すものとして識別される場合、領域が基準フレームから離間した距離を知る必要がある。これによって、規定された領域は、円錐が頂点から広がるように焦点から広がる。しかしながら、頂点からの角度は、別々のものとなる（図１１参照）。
【００２６】
本発明の変形例において、注視角度の大きさを、検知された眼球の向きに基づく注視方向のベクトルから取得する。これを、一つの眼球の観察から取得することができるが、好適には、両眼球から取り出した観察の一致点として取り出す。したがって、代表ベクトルは、被験者の鼻梁の領域から生じるとともに観察された平均角度に平行の向きのベクトルとして更に正確に表現される。
【００２７】
ここでは、本発明を特に眼球の角度に関連して説明しているが、頭の向きに基づいて行う同様な観察から関連ある同様でない結果を取得できる場合も、考慮されている。一般に、基準フレームの向きによって規定された基準フレームから目が向けられる方向とは逆の（頭に基づく）鼻が指す方向の使用として、比較を説明することができ、それは、検知された頭の向きに基づく基準起点位置に対するドライバの関心がある領域／対象のあり得る位置を規定する。
【００２８】
少なくとも一例において、ドライバの関心がある領域／対象のあり得る位置の規定が、顔の向く方向が推定される検知された頭の向きに基づいた基準起点位置に対して決定される。この場合、眼球追跡測定データによって、特定の頭の向き、したがって、顔の向く方向を、ドライバが所定の方向を見る頻度を表す密度マッピングを利用することによって確立することがでできる。
【００２９】
ドライバの関心がある対象／領域を、基準起点位置に対するドライバの関心がある領域／対象の予め規定／定義されたあり得る位置に対する代表マッピング（したがって、これを、直接的な角度データから果たすこともできる。）を相関することによって識別することができる。
【００３０】
頭の向きに基づく分析に注目すると、注視角度の大きさを、検知した頭の向きに基づく注視方向ベクトルから取得することができる。
【００３１】
他の例において、本発明は、ドライバの動作及び／又はドライバの状態を評価する際の比較に対して基準点（基準フレーム）を表す方法の形態をとる。この方法は、ドライバの検知された特徴に基づいた注視方向データの流れの収集（記録されたデータの流れの使用を含む。）と、それから表した密度パターンに基づいたドライバの関心があり得る少なくとも一つの領域に対応する注視方向に基づくパラメータの規定を具える（が、それに限定されるものではない。）。
【００３２】
既に説明したように、この方法は、（１）ドライバの目の向きと、（２）注視方向データを構成するドライバの頭の向きのうちの少なくとも一方の量の利用を伴う。
【００３３】
典型的な目の向いた方向の運転を表す領域は、収集された注視方向データから評価された高密度パターンに基づいて確立される。例えば、領域を、放物線のような２次元で規定された領域、又は、確立された基準フレームに対して典型的なドライバの目の位置にほぼ配置された頂点を有する基準フレームから放射状に広がる円錐のような３次元で規定された量として規定することができる。
【００３４】
収集された注視方向データは、確立された表現領域と比較され、これによって、比較に基づく注視の逸脱を識別する。同様な比較に基づいて、環境又はドライバの他の品質を推定することができる。例えば、注視方向データを、ドライバの知覚的な注意散漫の状態、ドライバの視覚的な注意散漫の状態及び／又はドライバの高い作業負荷の状態のようなものを識別し及び／又は測定するのに用いることができる。
【００３５】
さらに、その方法は、（出来事の発生が離散的であるか連続的であるかに応じて）確認された頻度又は持続時間に基づく運転タスクの実行に対するドライバへの影響の過酷さ（程度）を定量化する手段を考慮して提供し、注視の逸脱や、知覚的な注意散漫や、（３）視覚的な注意散漫や、（４）ドライバの高い作業負荷のような表示状態が、予め規定された時間間隔で検出される。
【００３６】
関心のある出来事を、プロセッサによる更なる分析のために記録し、格納し及び／又は送信することができる。それに対して、関心のある出来事のデータ表示を、リアルタイムに局部的に分析することができ、又は、リアルタイムで送信される場合には遠隔的に分析することができる。
【００３７】
そのような分析の少なくとも一例の利用は、過酷さの量が予め規定された境界値レベルを超えるときにドライバにフィードバックを提供することである。例えば、過度のレベルの視覚的な注意散漫（過度のわき見）又は（没頭しているときに前方をじっと見て、周囲を見るのが不十分である）知覚的な注意散漫が生じるときに、ドライバに警報することができる。
【００３８】
分析からの出力の他の利用は、過酷さの量が予め規定された苦しさの境界値レベルを超えるときに車両によって実行される予め規定された性能に適合することである。一例では、適応する巡回制御レベルによって、ドライバが注意散漫又は不注意になったときに前方の車両との間に更なるスペースを設ける。
【００３９】
収集された注視方向データの流れを分析する特定の有利なモードは、一連のデータを横切る予め設定された期間の第１の移動時間窓を利用し（統計分析分野の当業者には周知の分析ツール）、ドライバの時間共有動作の発生を表す第１の移動時間窓内の特徴を検出する。一例は、移動する９０秒の窓内の所定のデータの平均をとる。窓が一連のデータに沿って進行するので、新たなデータが考察に加えられ、最も古いデータが放棄される（時間に基づく等量のnew-in及びold-out）。
【００４０】
このプロセスを、ドライバの時間共有動作の境界値を超えて生じる頻度に基づくドライバの高い作業負荷の期間を識別するのに用いる。検出した発生の影響のある窓を除去するために、ドライバの時間共有動作の発生の中断を検出する際に、第１移動時間窓のリフレッシュメント（正常に位置合せ又は回復）が生じる。このようにして、検出又は分析後に発生の影響を最小にし、これによって、システムは、正常からの次の出発の準備をする。
【００４１】
後に詳細に説明するように、眼球の動きの複数の特徴を、観察された目の活動に基づいて識別することができる。非当業者によって容易に認識される一部の共通の特徴は、まばたき及び瞥見である。非当業者によって容易に認識できないことは、瞥見のようなものが目のすばやい動きや、視線固定や、移り変わりのような既知の構成する目の動きにそれほど基づかずに特徴付けられ又は識別されるということであり、その各々は、測定可能な規定された特性を有する。
【００４２】
他の例において、本発明は、眼球運動のデータの自動化された分析の方法の形態をとり、それは、分類規則をデータに適用することによってコンピュータに基づくプロセッサを用いた被験者で観察される眼球運動を表現するデータの処理と、これによって、被験者によって経験された少なくとも視覚的な固定の識別とを有する。これらの規則及び特徴を、後に詳細に検討する。識別された固定に関連する注視方向の情報の分析も行われ、これによって、現在分析されているデータ収集の期間中に被験者が視覚的に固定した方向を表すデータを作り上げる。ここに記載している例において、被験者は、車両のドライバに限定されず、他の設定で関心のある被験者とすることができることを理解すべきである。運転環境外の設定の少なくとも一例は、互いに相違する位置に配置された製品表示が（例えばビデオディスプレイのバンク上の）テスト被験者に対して露出されるテストマーケッティングの分野であり、注意を払ったものを識別することができる。観察中に被験者の知覚によって生じた所定の影響を、所定の追跡可能な目の活動から確定することができる。例えば、どれくらいの長さの瞥見が生じたかが決定され、それによって、最初の知覚対象によって生じた相対的な関心の表示を提供することができる。
【００４３】
好適例において、適用された分類規則は、少なくとも固定及び移り変わりを規定する基準を具え、更に好適には、目のすばやい動きを規定する基準を提供する分類規則は、付加的に利用される。
【００４４】
データは、少なくとも部分的に固定の注視方向に基づいて、範囲が定められたデータセットに分離され、範囲が定められたデータセットの各々は、データ収集の期間中に存在する被験者の関心がある領域／対象を表す。
【００４５】
他の態様において、瞥見は、少なくとも一つの瞥見を規定する規則をデータに適用することによって識別され、識別された瞥見の各々は、少なくとも一つの識別された固定を含む。本発明のこの態様において、瞥見を規定する規則は、瞥見の持続時間、瞥見の頻度、瞥見の全体的な時間及び全タスク時間を有する特徴のうちの少なくとも一つに基づく。
【００４６】
他の態様において、一つの瞥見のセットの相対密度が、それ以外の少なくとも一つの瞥見のセットとの比較で査定され、それに基づいて、この方法は、比較された瞥見のセットの表示された被験者の関心がある領域／対象を識別する。
【００４７】
同様に、本発明の方法は、複数の瞥見のセットから少なくとも一つの瞥見のセットの相対密度の評価を意図し、眼球運動データが収集されたタイプの設定に関連した既知の相対密度に対する評価相対密度のマッピングに基づいて、比較された瞥見のセットの被験者の関心がある表示された領域／対象を識別する。例えば、通常の運転状態中にドライバの関心がある所定の対象又は領域の既知の存在期間の例示的な割合を用いて、これら対象又は領域を、収集したデータから識別することができる。
【００４８】
他の態様において、空間的に既知の設定で観察される眼球運動のデータ表示から表された少なくとも二つの瞥見のセットの相対密度が評価され、比較された二つの瞥見のセットの各々の被験者の関心がある表示された領域／対象は、それから確認される。それで、被験者の関心がある表示された領域／対象の位置は、この既知の設定から確認され、これによって、既知の設定に対する基準フレームを確立する。その理由は、推定された位置を、対象／領域の既知の位置にマッピングし又は上書きすることができるからである。
【００４９】
しかしながら、特に好適例においては、被験者が車両のドライバであり、瞥見のデータセットの少なくとも一つの密度に基づいて、目を前に向けた通常のドライバの目の向きが推定される。
【００５０】
車両のドライバが被験者である本発明の他の態様は、複数の分析プロトコルの利用を考慮し、その選択は、処理されたデータセットに関連した一般的な雑音特性に依存する。
【００５１】
一つの展開において、予め設定された厳格な第１のデータフィルタが、車両のドライバに観察される眼球運動のデータ表示を備える入力データ流れに適用される。コンピュータに基づくプロセッサが利用され、入力データ流れに対応する第１のフィルタ処理されたデータ流れが、プロセッサから出力される（この対応の概念を、各出力値が入力値に対応するものとすることができ、出力値が入力値から取得される。）。出力され第１のフィルタ処理されたデータ流れの品質は、第１の承認規則を適用することによって査定され、第１の承認規則をパスする第１のフィルタ処理されたデータ流れは、出力され、承認された第１のデータ流れを構成する。
【００５２】
他の展開において、第２のデータフィルタが、コンピュータに基づくプロセッサを利用する第１のデータフィルタよりも厳格（データに対して更に円滑）であるデータの入力流れに適用され、データの入力流れからの共通の起源を通じた第１のフィルタ処理されたデータ流れに対応する第２のフィルタ処理されたデータ流れが、プロセッサから出力される（再度、同一入力データ値からの演算に基づく対応／比較）。出力され第２のフィルタ処理されたデータ流れの品質は、第２の承認規則を適用することによって査定され、第２の承認規則をパスする出力された第２のフィルタ処理されたデータ流れは、出力され、承認された第２のデータ流れを構成する。
【００５３】
二つの承認されたデータ流れから、承認された第１のデータ流れの全体からなる収集的な承認されたデータ流れが構成され、収集的な承認されたデータ流れは、出力され第１のフィルタ処理されたデータ流れの承認されていない部分に対応する承認された第２のデータ流れの部分によって構成される。
【００５４】
少なくとも一例において、第１及び第２の承認された規則は同一であり、他の例において、第１及び第２の承認された規則は、同一基準に基づくが、同一の規則でなくてもよい。
【００５５】
他の態様において、その方法は、（１）群の他のメンバーに比べて低雑音成分の目及びまぶたの動きのデータに最適な速度に基づく二重境界値プロトコル、（２）群の他のメンバーに比べて中間雑音成分の目及びまぶたの動きのデータに最適な距離に基づく拡散スペーシングプロトコル、並びに（３）群の他のメンバーに比べて高雑音成分の目及びまぶたの動きのデータに最適な目の特徴に基づく規則に適合したプロトコルからなる群から複数を構成する少なくとも二つの分析プロトコルを選択する。
【００５６】
関連の態様において、所定のデータセットに対するプロトコルの選択は、データセットの検出された雑音レベルに依存して三つのプロトコルのうちの一つに片寄る。他の態様において、規則に適合したプロトコルは、視線固定と目のすばやい動きとの間の区別において以下の基準のうちの一つ以上を考察する：（１）固定期間は１５０ｍｓを超える必要がある。（２）目のすばやい動きの期間は２００ｍｓを超えてはいけなく、目のすばやい動きが、二つの相違する場所で開始し及び終了する。
【００５７】
他の観点で、眼球運動を表すデータの品質は、複数の分析プロトコル間の各分析プロトコルの相対的な利用に基づいて評価される。代わりに、又はそれに関連して、品質の評価を、あらかじめ規定された期間に亘る複数の分析プロトコルのうちの各分析プロトコルの相対的な利用を時間に基づいて考察することによって行うことができる。
【００５８】
既に説明したように、収集されたドライバの目の注視のデータ流れの分析を、予め規定された期間の流れが横切る第１の時間窓を利用することによって行うことができるが、この場合、データ流れの一部の正確性を鈍らせる人為的作為が検出される。この場合、データ流れを同時に横切るとともに人為的作為に出くわす際に高フィルタ処理されたデータを収集データから発生する第２の移動時間窓に対する再分類を行う。データ流れが横切る間に予め規定された品質の境界値レベルを超える検出されたデータの品質の低下を処理するために、同様なプロセスが予め規定される。この場合、同時にデータ流れを横切るとともに、データの品質の低下が予め規定された品質の境界値レベルを超える際に高次フィルタ処理されたデータを収集データから発生する第２の移動時間窓に対する再分類を再び行う。次に、予め規定された品質の境界値レベル内にあるデータの質の低下が検出されると、第１の移動時間窓に戻る。
【図面の簡単な説明】
【００５９】
【図１】オフラインハイブリッドアルゴリズムの線形図である。
【図２】オンラインハイブリッドアルゴリズムの線形図である。
【図３】視線固定及び目のすばやい動きを規定する境界値規則を示すグラフである。
【図４】信号雑音量に基づく分析ツールの選択を示す線形図である。
【図５】集団又は実際の密度に基づく被験者の関心がある二つの領域／対象を示すグラフである。
【図６】細かい目のすばやい動き、ドリフト及び震えを示す二つの眼球運動の詳細のグラフである。
【図７】眼球運動サンプルの互いに相違する成分の特徴のグラフ表示である。
【図８】複数の視線固定及び目のすばやい動きのグラフ表示である。
【図９】瞥見を構成する眼球運動の成分を示す。
【図１０】実際の頭の位置の基準フレームへの変換を示す図である。
【図１１】注視方向の測定を示す略図である。
【図１２】道路中央のパーセント又はピークを識別する典型的なデイクラスタ又は密度収集のグラフ表示をいろいろと説明する。
【図１３】道路中央のパーセント又はピークを識別する典型的なデイクラスタ又は密度収集のグラフ表示をいろいろと説明する。
【図１４】道路中央のパーセント又はピークを識別する典型的なデイクラスタ又は密度収集のグラフ表示をいろいろと説明する。
【図１５】道路中央のパーセント又はピークを識別する典型的なデイクラスタ又は密度収集のグラフ表示をいろいろと説明する。
【図１６】種々の車内タスクの相対的な影響を測定する道路中央の使用パーセントを示すグラフである。
【図１７】注意散漫の他の測定に関連して示す道路中央の絶対パーセントを示すグラフである。
【図１８】互いに相違する時間境界値に対する道路中央から離れた長い瞥見のパーセントを示すグラフである。
【図１９】二つの「ステレオ」追跡カメラ又はモニタが存在する場合の計器盤に向かう車両中の斜視図である。
【図２０】単一の追跡カメラ又はモニタが存在する場合の計器盤に向かう車両中の斜視図である。
【図２１】補間されたまばたきを有する注視水平信号のグラフである。
【図２２】まばたきに起因する三つの下降を示す水平注視のグラフである。
【図２３】境界値に対する目の動きの速度を示すグラフである。
【図２４】区分された注視信号を示すグラフである。
【図２５】回復した視線固定を示すグラフである。
【図２６】道路前方のシーンから離れた複数の瞥見を示すグラフである。
【図２７】関心がある二つの領域／対象を示す滞在ヒストグラムである。
【図２８】方向データのリアルタイム分析に影響を及ぼす代案配置の線形図である。
【図２９】道路前方のシーンの境界の確立を示すグラフである。
【図３０】ドライバによって行われる典型的な瞥見の態様の種々の成分を示すグラフである。
【図３１】ドライバによって行われる典型的な瞥見の態様の種々の成分を示すグラフである。
【図３２】ドライバによって行われる典型的な瞥見の態様の種々の成分を示すグラフである。
【図３３】ドライバによって行われる典型的な瞥見の態様の種々の成分を示すグラフである。
【図３４】瞥見のデータの所定の統計的な分析を示すグラフである。
【図３５】瞥見のデータの所定の統計的な分析を示すグラフである。
【図３６】瞥見のデータの所定の統計的な分析を示すグラフである。
【発明を実施するための形態】
【００６０】
ここに開示した発明に注目する実際のデータ処理技術を説明する前に、眼球運動の基本的な特徴に関する一部の基本情報を提供するとともに、当業者よりレベルが下の読者の処理を容易にする結果として頭及び／又は目の動き（位置の特徴及び動きの特徴）を表すデータを検知し、定量化し、場合によっては記録することができる典型的な追跡システムについての一部の一般的な情報を提供する。
【００６１】
少なくとも眼球運動に基づくシステムに関連して、眼球運動のデータを収集するのに用いられる現在利用できる検知システムは、幾分雑音があるととともに人為的作為を有する「未補正の」眼球運動信号を生じる。この開示の残りを読むと明らかなように、典型的には、頭の向きの追跡データを、近似として利用することができ、したがって、しばしば指標追跡データに対する有効な代用として利用することができる。指標追跡データは、明らかにほとんど常に被験者が見ている場所の更に正確な表示（頭上の追跡データ）を提供するが、本発明の開示で主に考察するのは目の追跡である。
【００６２】
本発明のアルゴリズムは、この情報を処理し、瞥見の頻度の量（予め規定された期間中にターゲット領域に向けられる瞥見の回数）や、単一の瞥見の持続時間の量や、全体的な瞥見の時間の量や、全体的なタスク時間の量のようなものを表す出力を生成する。アルゴリズムは、互いに相違する警報、例えば、ドライバが道路に視線を戻さず２秒を超えて携帯電話を見る場合にトリガをかけるよう規定された規則を実施する。正確なトリガ規則の規定は、継続的に開発下であるリアルタイムシステムでのタイミングの生成である。ここに開示した発明によってヒューマンマシンインタフェース（ＨＭＩ）も考察され、そのようなＨＭＩ概念の例は、２００３年２月１９日に出願された発明の名称が「ドライバの注意負荷を監視し及び管理するシステム及び方法」である米国特許出願第１０／２４８，７９８号に完全に記載されており、この開示を、ここに組み込む。ここでは、これらの警報を表す方法の概念を示す。
【００６３】
ここに開示した発明の態様は、互いに相違する二つの基本となるアルゴリズムを有し、そのうちの一つは、オフラインポストデータ収集処理であり、他の一つは、（定量化された特徴が実行されるときに）データ収集とほぼ同時に生じるリアルタイム処理である。これらは同様に基本となるが、リアルタイムアルゴリズムは、初期化手順を有し、オフライン形態の一部を有しない。オフライン分析の主目的及び利点は、記録され又は格納された特徴データの処理である。リアルタイム分析の主目的は、直ちに収集データを処理するとともに、観察された被験者に対するフィードバックのようなものを同時に利用し又は観察の被験者が車両のドライバであるときの車両システムのような関連のシステムに適合することである。
【００６４】
ドライバに関連して、オフラインアルゴリズムに対する目的の一つは、ユニットが運転タスクに課す視覚的な要求がどの程度であるかを決定するために（運転中の）ラジオ局の変更やＲＴＩシステムの使用のようなタスクから眼球運動のデータを分析することである。リアルタイムアルゴリズムの目的は、ドライバが道路を見る程度を決定することである。本発明の目的の一つは、オフタイムアルゴリズムからの結果と同様な結果を得ることができるようにリアルタイムアルゴリズムに適合し又はそれを可能にすることである。
【００６５】
眼球運動を、一般に二つのカテゴリー：目のすばやい動き及び視線固定に分類することができる。視線固定は、目が何か（例えばこのページの文字）に固定されるときに生じる。このことは、固定が行われる一つ以上のものの視覚的なイメージとして解釈される情報を脳が吸収できるときにも生じる。それに対して、目のすばやい動きは、視線固定間の移動であり、すなわち、関連のポイントの変化である。目のすばやい動きは、（大きな振幅に対して７００°／ｓのピーク速度で）非常に迅速であり、観察者の脳はこれらの事態の認識を抑制する。その理由は、網膜を横切る光が非常に急速であるために脳による解釈ができないからである。
【００６６】
何か、例えば、移動電話機に対する瞥見は、予め規定されたターゲット領域（例えば、道路）から離れる目のすばやい動き、瞥見の開始及び新たなターゲット領域（例えば、移動電話機）への固定の組合せである。瞥見は、第２のターゲット領域から離れる新たな目のすばやい動きが開始されるときに終了する。同一ターゲット領域内の連続的な目のすばやい動き及び視線固定は、同一の瞥見の一部として規定される。
【００６７】
本発明の目的及び好適な態様のいくつかは、次のように要約される。（１）単なる速度に基づくアルゴリズム及び分散に基づくアルゴリズムの組合せのレベルであっても、ハイブリッドアルゴリズムは、特に目の規則と組み合わせたときに新しい。以後、目の物理的な能力は、眼球運動を区分する際に考慮されない。（２）道路の中央領域に局限する考え及び手順は、単に「山」の平均値を指定するよりも更に詳細な中心としての密度関数のピークを用いる。（３）全体としてのアルゴリズム及び互いに相違するアルゴリズム部が他のものと共同する方法。ドライバの注意深さの量としての道路中央パーセント（ＰＲＣ）及び道路中央パーセントの絶対値（Ａ−ＰＲＣ）の概念。アルゴリズムは、上記量を生成することを意図するだけでなく、ＩＳＯ１５００７−２で定義された全ての量及びＳＡＥ Ｊ−２３９６の量を決定するのに用いることもできる。
【００６８】
眼球運動の概念は十分研究され、一般に、目の動きは、目のすばやい動き、細かい目のすばやい動き、円滑な追跡、両眼転導、震え、ドリフト等として例示することができる複数の互いに相違するカテゴリーに分類することができる。しかしながら、本発明の目的のために、目の動きを、基本的な二つのカテゴリー：目のすばやい動き及び視線固定に分類する。本発明の概念は、目のすばやい動きでない全てのデータポイントは固定である。これは、後に説明する固定の概念において、運転中に頻繁に生じる円滑な追跡を含む。
【００６９】
視線固定は、目が情報を吸収する情報領域に亘る休止として定義される。有効な視線固定となるために、休止は少なくとも約１５０ｍｓの間持続する必要があり、同様なことが、人間の脳が情報を利用する必要がある時間について当てはまる。「視線固定」と言及するが、目は動いたままであり、領域に「視線固定」されている間にドリフト、震え及び細かい目のすばやい動きのような細かい動きを行う。これらの小さい動きは、非常に低い振幅であり、視線固定を規定するものの一部である。図６は、ドリフト、震え及び細かい目のすばやい動きを有する典型的な視線固定を表す。ここでは、被験者の二つの目の活動がグラフ化され、水平軸に時間をとるとともに、垂直軸に距離をとる。これらの動きは、幸いなことには、非常に低速（典型的には４及び２００ｓ−１のオーダ）又は非常に小さく（典型的には２０〜４０インチのオーダ）なり、これらのタイプのアプリケーションで用いられる典型的な装置による検出を防止する。これは有利である。その理由は、これらの変位が雑音として見られるからである。
【００７０】
他の大きな運動であるが副次的なすばやい目の動きの速度を伴うものは、円滑な追跡と称される。これらは、視線固定のサブカテゴリーである、すなわち、観察者が動作中である間の移動ターゲット上の視線固定又は静止（又は移動）対象上の視線固定である。ターゲットを追跡するとき、目は、眼窩をターゲット上にもたらす小さな目のすばやい動きを用い、その後、ターゲットを追跡する低速で連続的な動きを実行し、それはその速度に依存する。大まかに８０〜１６０°／ｓの範囲にある速度を有する低速な動きは、円滑な追跡を構成する。この動作を図７に示し、この場合、被験者は、曲線（ａ）の曲がりくねった経路上を動くポイントを追跡する。曲線（ｅ）は、目のすばやい動き及び円滑な追跡を有する全体的な眼球運動を表す。曲線（ｅｓａ）は、円滑な追跡の除去を表し、（ｅｓｍ）は、目のすばやい動きが除かれた曲線を示す。一般的に、全体的な追跡動作は、円滑な追跡と称され、漂流のある視線固定と考えることができる。このために、このタイプの動作は、ここでは本発明に対して、この運動中に情報が処理されるとともに目のすばやい動きが非常に小さいために、利用できる眼球運動追跡システムで検出することができないという事実に起因する固定と称される。
【００７１】
目のすばやい動きは、人の視界が二つのポイント間で変化する際に生じる急速な眼球運動である。目のすばやい動きは、振幅、持続時間、速度及び方向において変化する。振幅が約５°より大きい目のすばやい動きの持続時間は、約２０〜３０ｍｓであり、その後、度を追加する度に２ミリ秒を追加することができる。ピーク速度は、典型的には０．１°未満の振幅に対する約１０°／秒から大きな振幅に対する７００°／秒までの範囲にある。
【００７２】
あるポイントから他のポイントに対する典型的な目のすばやい動きを、仮想的に雑音のない良好な追跡測定の一例として図８に示す。目のすばやい動きの一例を、ポイント（Ａ）の開始及びポイント（Ｂ）の終了で示す。図示した眼球運動は、１軸の周辺の動きからなり、すなわち、目のすばやい動きは、水平面で測定されていない。
【００７３】
目のすばやい動きの間、人間の脳は、一般的に情報を認知しない。その理由は、光が網膜上を非常に速く通過するからである。しかしながら、実際には、一部の情報が目のすばやい動きの間に処理されていることを知るべきである。認識された知覚は、観察された対象が同一速度で目と同一方向に移動する場合にのみ生じる。情報の一般的な不足は、脳に振幅及び持続時間の計算を前もって行うことを強いる。このプロセスにおける不正確さ及び雑音は、ほとんど常にある程度のオーダの通り過ぎ又は未到達を生じる。これは、ドリフト又は以前より著しく短い新たな目のすばやい動きによって補正され、したがって、更に正確になる。ここで、追跡の長い垂直部分（Ａ）によって表された目のすばやい動きの未到達は、補正された小さい目のすばやい動きを表す短い垂直部分（Ｂ）によって補正される。そのような補正された目のすばやい動きは、しばしば、既知の目の追跡機構を用いて検出不可能である程度の低い振幅となり、代わって、追加された雑音として考察される。
【００７４】
これら３種類の動きとは別に、一般的にまばたきと称される違う種類の視覚的な動作がある。人間は、通常２秒に約１回まばたきをし、この特徴は、注視評価において衝撃的なインパクトを有する。まばたき中に実際に目を閉じる間、注視を測定することができず、まばたきが目のすばやい動きの間と視線固定の間の両方で生じるので、追跡機構に対して再び可視になったときに目の見る場所を予測するのが困難である。幸いにも、まばたきは非常に迅速であり、全体のまばたきに対して２００ｍｓのオーダである。これは、目が全体として約１００〜１５０ｍｓしか閉じられないことを意味する。被験者は、一般にまばたきの発生を全く気付かないので、本発明は、目のすばやい動きとまばたきの両方の認識を抑制することによって、更に緊密で安定した現実認識を達成する。
【００７５】
目の特性は、区分化に有利に作用し、これは、分類の規則を提供する目の移動の物理的な境界が存在することを意味する。例えば、一方の目のすばやい動きは、約１８０ｍｓ未満の間隔で他方の目のすばやい動きについていくことができず、これは、２００ｍｓより長く継続する目のすばやい動きがありえないことを意味する。２００ｍｓの目のまばたきは、全く一般的でない約９０°の振幅をもつことになる。さらに、約２２０ｍｓより長い任意の測定された目のすばやい動きは、二つの目のすばやい動き及びその間の一つの視線固定となりうる。他の関心のあることは、既に説明したまばたきの認識の被験者の抑制である。被験者は、一般的にまばたきの発生に気が付かず、したがって、目の動きがまばたきの発生によって影響を及ぼされないので、一般的には分析から除外される。本発明に関連する目の物理的な境界を、以下のように構成する。少なくとも約１５０ｍｓ継続する固定；一方の目のすばやい動きが約１８０ｍｓ未満の間隔で他方の目のすばやい動きについていけない；人間の視覚的な領域が制限される；固定を空間的に大きくすることができる（円滑な追跡）；目のすばやい動きは、視覚中枢によって抑制される；まばたきは、視覚中枢によって抑制される。
【００７６】
車両のドライバに対して、次のような更なる制約があり得る。特にタスク中でない運転中に車内の天井又は床に固定を見つけることがありえない；被験者の注意（及び固定）の重大な割合は道路の中央で見つけられる傾向があり、円滑な追跡速度は低速から中速である。一例として、近づく車及び道路標識は、大抵の評価された追跡のきっかけとなる。本発明において、これらの境界は、ドライバの眼球運動の区分の一部として用いることができる枠組みを規定するのに用いられる。
【００７７】
本発明によれば、目の測定は、二つの群：測定に基づく瞥見及び測定に基づく瞥見なしに分類される。これら二つの群は、視線固定、目のすばやい動き及び閉眼が識別される基本的な目の区分の結果によって構成される。
【００７８】
既に説明したように、異なる研究者は、データを分析するとともに視線固定／目のすばやい動きを規定する互いに相違する方法を有する。一様な規則及び基準点を有することは重要であり、その結果、そのような全ての分析方法を、一般的に受け入れられる国際的な基準に基づかせることができる。この理由は、この作業の測定がＩＳＯ１５００７−２規格及びＳＡＥ Ｊ−２３９６規格の規定に基づくからである。これらは、ドライバの視覚的な動作の測定に関連した定義及びメートル法並びに実際の評価の適切な引き出しを保証する手順を標準化する。ＳＡＥの文献は、ＩＳＯ規格の複数の項目に依存し、その各々は互いに補完するように働く。
【００７９】
本発明の説明の中で、シミュレートされた環境及び道路上の試行の両方に適切な装置及び手順を確認する。しかしながら、両方の規格（ＳＡＥ及びＩＳＯ）は、視線固定及び目のすばやい動きの手動（オフライン）分類による人間の評価者によって実行される、例えばカメラ及びレコーダを利用するビデオ技術に基づく。手動のビデオ録画は、時間を浪費するものであり、潜在的に信頼性のないタスクである。したがって、本発明に基づくような自動化された方法が好ましい。ＩＳＯ／ＳＡＥタイプの測定の組込み及び典型的な信頼性は、眼球運動を手動で又は自動的に分類する任意のシステムの使用に依存する。
【００８０】
次に、基本的な目の区分の三つの小区分を、２群の測定とともに説明する。基本的な目の区分は、眼球運動を、利用できる指標追跡システムで測定可能な最小量に分割する。これら眼球運動の「かたまり」は、全ての瞥見に基づく統計的な測定が取得される基礎に基づく。要約すると、それは、（１）関心のある領域から他の領域を見るときに生じる急速な動きを規定する目のすばやい動きと、（２）視線固定が行われるターゲットのイメージが所定の期間中、眼窩にあるように目の位置の整列又は安定を指定する固定と、（３）短時間の閉眼はまばたきと称され、長時間の閉眼は眠気と特徴付けることができる閉眼とを含む。
【００８１】
ＩＳＯ／ＳＡＥの文献で利用される測定を理解するために、瞥見の定義を知ることが重要であり、それは、ＳＡＥ規格によれば、目が新たな領域に向くまでのターゲット領域への一連の凝視として考えられる。例えば、ドライバが、最初に（道路上で）真っ直ぐ前方を見た後に、最初にラジオのディスプレイを凝視し、次に音量調節を凝視すると、運転者は、（最初の真っ直ぐ前方視をカウントしない）二つの凝視及び二つの目のすばやい動きを行い、その全てが一つの瞥見を構成する。瞥見は、道路から離れる最初の目のすばやい動き（この目のすばやい動きは遷移と称される。）を始める際に開始され、ラジオへの最後の凝視が終わる際に終了する。図９は、典型的なドライバの３回続いた瞥見の構成部分を示すグラフを提供する。ここでは、凝視、目のすばやい動き及び遷移が、複数の瞥見の成分として定量化される。
【００８２】
全ての瞥見に基づく量は、これらの定義から取得され、前段で説明した「かたまり」を構成する眼球運動の「ハイレベル」の説明と考えられる。これらの量は、時間共有、作業負荷、視覚的な注意の要求等の互いに相違する特性を反映する。ＩＳＯプロトコル及びＳＡＥプロトコルで定義され及び利用される量は次の通りである。（１）瞥見の方向がターゲットに向かって移動するときから離間するときまでとして定義される瞥見持続時間。幾分長い持続時間は、その領域における高い作業負荷の要求を表す。（２）予め規定されたサンプル期間内又は予め規定されたタスク中のターゲットに対する瞥見の回数として規定される瞥見の頻度。この場合、瞥見の各々は、少なくとも１回の瞥見によって互いに相違するターゲットに区分される。この量を、瞥見の持続時間とともに考察すべきである。その理由は、少ない一見の頻度が長い一見の持続時間に関連されることがあるからである。（３）ターゲットに関連した全体の瞥見の時間として規定された全体の瞥見の時間。これは、その位置によって課せられた視覚的な要求の量を提供する。（４）所定の位置に対する瞥見の確率として定義された瞥見の確率。この量は、ターゲットに関連した相対的な注意要求を反映する。相互に排他的かつ網羅的なターゲットのセットに亘って計算された場合、そのような分布を、統計的な比較を行うのに用いることができる。（５）全体の瞥見の時間から瞥見を開始する目のすばやい動きを差し引いたものとして定義された滞留時間。（６）互いに相違する二つの位置の間で瞥見遷移の確率として定義されるリンク値確率。この量は、互いに相違するターゲット領域間で時間を共有する注意の必要性を反映する。（７）道路の前方のシーンに対する連続的な二つの瞥見の間の全時間として定義された道路の前方のシーンを外れた時間（「道路の前方のシーン」は、後方の視界及びサイドミラーを除外する。）。それは、瞥見によって道路のターゲットでないものを切り離す。（８）互いに相違する、すなわち、瞥見を開始する目のすばやい動きに対する一つの規定されたターゲット位置からの目の凝視位置の変化として定義された遷移。（９）ターゲット位置の凝視の終了ともう一つのターゲット位置の新たな凝視の開始との間の持続時間として定義された遷移時間。遷移中の新たな情報がほとんど又は全く存在しないので、増大する遷移時間は、新たなドライバ情報に対する利用可能性が減少することを反映する。（１０）タスク中の最初の瞥見の開始ポイントから最後の瞥見の終了までの時間として規定されたタスクの全時間として定義された全タスク時間。
【００８３】
量に基づく瞥見なしは、ＩＳＯ／ＳＡＥ規格で定義された量以外の計算しうる他の全ての量である。次の二つの例を含む。（１）互いに相違する集団、例えば、道路の前方のシーン及び携帯電話内の凝視位置の平均値及び標準偏差。（２）互いに相違する集団及び／又は互いに相違するタスク内の凝視滞留時間の平均値及び標準偏差。これらのタイプの量は、例えば、ドライバが数学的なタスクを伴う場合に生じるような高い知識的な負荷期間中の運転に比べた通常の運転を分析するときに関係してくる。
【００８４】
本発明の一般的な目的は、輸送情報及び制御システムに対するドライバの視覚的な動作を測定するＩＳＯ１５００７−２法及びＳＡＥＪ−２３９６法で規定された測定に注目する眼球運動のデータ分析の健全な自動化を提供する。この自動化で利用されるツールの一例は、ここで更に詳細に説明するもの以外の目の追跡システムを含む。好適には、アルゴリズム及び実行するシステムは、読み込み／保存データや、検出した集団及び外れ値の目視検査のような最小の人の言葉のやりとりしか必要としない。
【００８５】
この開示の開始点は、利用できる検知システムを用いることができる自動化した分析を示すことであり、特定の研究は、全ての測定に対して高い相関を表した。本例において、スライディング１３のサンプルの中間値窓フィルタを使用して信号をフィルタ処理し、雑音を減少するとともに、一部の外れ値及びまばたきを除外した。速度境界値アルゴリズムは、凝視（円滑な凝視を視線固定と考えた。）及び瞥見の分類に対する基礎として設けた手動による集団の画定から目のすばやい動きを異ならせるように開発された。手順は、かなりのオペレータ入力及び注意を要求し、例えば、信号をフィルタ処理する必要があり、外れ値、短い凝視及び他の人為的作為が手動で識別された。本発明がこの開示のポイントに進展するので、これらオペレータの時間集中手順が除外される。
【００８６】
本来、中間値フィルタの幅は、全ての被験者に最適ではなく、長さは、雑音レベルに比例させておく必要があった。それに応答して、互いに相違するフィルタタイプ及びパラメータが用いられた。また、速度アルゴリズムが雑音に敏感であることがわかった。したがって、境界値を、目のすばやい動きの開始速度及び終了速度より十分上の３４０°／秒に設定した。これを補償するために、目のすばやい動きに前後する二つのサンプルも、目のすばやい動きの速度を有するようにマークした。目のすばやい動きの振幅及びピーク速度が変化するので、その加速度も同様に変化する。したがって、これ以前の方法は、目のすばやい動きの開始及び終了の良好な平均値しか提供していない。したがって、ここで導き出した本発明の目的は、更に正確な目のすばやい動き／凝視を識別する確かな技術を提供することである。
【００８７】
さらに、自動的に瞥見のターゲット領域及び瞥見を識別する集団化技術の必要が認められた。従来の人間の評価者以外で外れ値及び他の人為的作為を自動的に除外するのが目的である。
【００８８】
ここに開示したデータの由来及び特徴の理解は、検出アルゴリズムを設計する際に重要である。したがって、利用できるデータ及びそのデータを取得するのに用いた技術的基盤を説明する。
【００８９】
本発明に関連して、添付図面の図１は、典型的なオフライン分析アルゴリズムの一般的な概略を提供する。生の眼球運動データは、予処理が実行される上部左側のボックスに入力される。典型的には、そのような予処理は、雑音、人為的作為及びまばたきを抑制する中間値フィルタを有する。また、全ての非追跡データが、この機能ステーションで除去される。
【００９０】
大きな中間のボックスは、図示したような通常用いられる二つのデータ処理アルゴリズム（二重境界値速度検出並びに分散及び規則に基づく検出）間のハイブリッド処理である典型的なアルゴリズムを示す。中間ボックスの右側に示すように、適用された目の規則は、一般に人の目の能力によって規定される凝視の（時間に対する）最小長さのような目の動きの所定の態様の既知の限界又はパラメータに基づく。ハイブリッドアルゴリズムの中の下のボックスは、一つ以上の特徴に基づいて凝視を集団化する適応集団化アルゴリズムを表し、それは、実際には、サンプルされた瞥見の数が増加するに従って一集団を空間に「フロート」させる傾向にある。
【００９１】
ハイブリッドアルゴリズムの中の上側のボックスによって表された二重境界値速度検出アルゴリズムは、眼球運動の速度（°／秒）に基づく。図３を参照すると、高い境界値（上側の平坦な点線）は、低い速度を有するものの間の凝視を目のすばやい動きと区別する。下側の一点鎖線の曲線は、１次元で示すような実際の眼球運動を表し、実線のピーク曲線は、眼球運動の微分すなわち目の動きの速度を表す。一旦目のすばやい動きが検出されると、開始ポイント及び終了ポイントを決定するために低い境界値（長短の破線）が適用される。二つの境界値を用いる理由は、目のすばやい動きの検出によって生じる雑音のトリガを回避するためである。しかしながら、雑音が増大するに従って、このプロトコルの誤差が増大することを知るべきである。
【００９２】
目のすばやい動きの検出に加えて、分散プロトコルが、適用された目の規則とともに用いられる。この規則は、検出した目のすばやい動き及び凝視が自然でないとき、すなわち、規定するデータが、割り当てられた分類（目のすばやい動き及び凝視）の許容される特徴パラメータの幾分外側にあるときを決定する。
【００９３】
そのような規則の例を、凝視が少なくとも１５０ｍｓより長く持続する必要があるとともに、目のすばやい動きが、予め設定されたより短い期間によって測定されるものとすることができる。また、目のすばやい動きは、その開始と同一領域に戻ることができない。これらの規則が、凝視を目のすばやい動きの一部に変更し又は目のすばやい動きを凝視の一部に変更するように適用するときは常に、分散アルゴリズムは、状況がどのように取り扱われるかを決定する。例えば、同一ターゲットに対する連続する二つの凝視が目のすばやい動きの間に６０ｍｓで検出される場合、目のすばやい動きの検出にトリガをかけた雑音であると推定することができる。雑音であるか否かは、分散プロトコルによって決定される。二つの凝視が、互いに所定の距離内にある（分散境界値）場合、それらは、同一の凝視の一部であり、目のすばやい動きは、凝視の一部に変更され、そうでない場合には、それは、補正検出である可能性が最も高い。
【００９４】
ハイブリッドアルゴリズムの主な指示は、自動的に処理アルゴリズム（又はその一部）が現在の雑音レベルに基づくデータに適用される「決定」に向けられる。図４に示すように、高品質で相対的に雑音のない追跡データは、二重境界値速度検出を用いて支配的に処理される。データ雑音／品質の平均又は中間量の存在は、データの分散検出処理の影響を増大する。最後に、図４の右側に示すように、凝視の復元は、データの雑音が大きくてデータの品質が低いときに影響が及ぼされることがある。通常、そのような低品質又は雑音の多いデータは、過渡的な影響しかなく、全体に亘るデータ流れに適用されない。データの一部がそのように低グレードの品質である場合、著しい雑音を引き起こす動作を認識するのに十分に「穏やか」（円滑）となりうる場合に厳格なフィルタを対応データに適用することによって、その部分を回復する。更に厳格にフィルタ処理された出力が、更に厳格でないフィルタ処理されたデータが許容されない「妥当性」規則をパスするときに、厳格に処理した部分の「置換」を行うことによって回復が行われる。
【００９５】
全ての凝視及び目のすばやい動きの検出が終了すると、データは、実行された集団分析の結果に基づく瞥見を識別する集団化アルゴリズムに入力され、その典型的な詳細を後に行う。
【００９６】
図２は、リアルタイム追跡データ処理を実行するのに利用されるハイブリッドアルゴリズムを示す。典型的には、任意のデータ流れ形態の生追跡データは、頭及び／又は目の向き及び動きに関するセンサシステムから取得される。処理がリアルタイムに基づいて行われるので、規則に適合しそこなうのに満足しない場合に、他の任意のフィルタ処理の通過の際にデータをリサイクルすることができる。最もあり得るデータは、いつでも利用できる。したがって、リアルタイムハイブリッドアルゴリズムは、同一データの二つの同時処理を十分に実行する。図２に示すように、ソースデータは、上側では標準的なフィルタを用いるのと同時に下側では更に厳格なフィルタを用いて平行的に処理される。同時に、互いに相違するフィルタ処理されたソースデータは、規則のセットによって処理される。通常、フィルタ処理されたデータ流れの各々に適用される規則は、同一であるが、各フィルタ処理の特徴に応じてそれぞれ適応させることができる。
【００９７】
二つの規則の処理から、データ流れが生成される。図２からわかるように、出力してフィルタ処理された二つの流れの特徴は、互いに相違する。好適には、標準的なフィルタは、データの円滑化に対して極めて緩やかであり、データ流れに適用される規則のセットは、有効な凝視又は目のすばやい動きが生じたか否かを決定するよう試みる。規則に適合できない場合、データ流れが出力されない。データ中のこのブランクは、図２の右上で理解することができる。適用された一つ以上の規則に適合しそこなったデータ流れの部分に単なる非常に大きな雑音が存在してもよい。
【００９８】
この時間全体の間、データは、既に説明したように厳格なフィルタによっても処理される。典型的には、厳格なフィルタは、雑音を除去するためにデータを著しく「円滑」にする。出力されたデータは、先鋭でなくなることがあるが、同一の規則が、ブランクゾーンに対応する更に強くフィルタ処理されたデータに適用される場合、規則に適合しない標準的なフィルタ処理されたデータ部分、目のすばやい動きの特徴又は凝視の特徴は、識別できる。この場合、規則はパスされ、データの有効な特徴が取得される。見えなくなった規則に適合しないフィルタ処理が強くないデータ領域に対応する更に強くフィルタ処理されたデータのこのように規則をパスする部分は、標準的なフィルタ処理後にパスした出力流れに併合される。これを、図２において、コンパイル処理されたデータ流れとして示す。
【００９９】
互いに相違するフィルタ処理されたデータ流れのいずれもが一つ以上の適用された規則をパスしない、あり得る短いブランク部を有するコンパイルされたデータ流れは、ソースデータが一般的な意味で許容しうる品質（雑音がない）の場合にはほぼ連続的である。すなわち、非常に低い品質のデータは、許容されることはなく、典型的には許容できるようになるためにフィルタ処理され又は処理されることができない。しかしながら、一般的にソースデータが所定のサブ基準部分を除いて許容される場合、リアルタイム追跡データを処理する典型的なハイブリッドアルゴリズムは、ここで更に詳細に説明するような集団及び密度分析のような更なる処理に適した分類可能な凝視及び目のすばやい動きからなるコンパイルデータの出力流れを生成する。
【０１００】
図２８は、最終的には全てが共同して意味のある出力値を生成するデータの予処理、道路前方識別、集団化及びハイブリッドアルゴリズムの適用に関連するリアルタイムアルゴリズムの他の表示を提供する。
【０１０１】
この配列において、データ処理プロセスは、道路前方のシーンとして規定されるものを見つける自動的な初期化で開始する。これは、密度表面を形成することによって行われ、この場合、ドライバが所定の方向を見るときは、この領域の注視密度によって説明される。例えば、ドライバが領域を見るのが増えると、その領域の注視密度が増大する。ドライバの注意のほとんどは、道路前方のシーンの中心に関連して見つけられる傾向にある。図５に示すようなこの領域の中心に「注意のピーク」がある。この図において、二つのピークが上昇する面は、フロントガラスに対面するときにドライバの顔に垂直にとる。高いピークは道路前方のシーンを表し、低いピークは集中点を表す。マッピングした例において、被験者は、ナビゲーションシステム上で言語を変更するか問い合わされ、それは、低いピークを表すものである。ドライブ中、高い（左側の）ピークが徐々に組み立てられ、約２分後にピーク道路中央（ＰＲＣ）位置が安定する。道路中央領域はこの山の基礎として規定され、ピークはその中心として規定される。基礎は、山がガウス形状を有するとともに平均値がピーク位置である近似値に基づいて計算された９５％の信頼がおける値であると考えられる。一旦これが行われると、道路前方の位置から離れる瞥見を検出することができ、したがって、注意及びドライバの作業負荷を、後に説明するようなピーク道路中央の規定を用いて計算することができる。
【０１０２】
道路中央を識別する概念の更なる展開において、データの予処理は、純粋な数学的な変換及び回転並びに信号のフィルタ処理を用いて実行される。目の注視が、目の間の点から始まるベクトルであるので、それは頭の位置に依存する。ドライバの視野の各目標を、ドライバの目からの視角によって位置づけることができる。視角は、ドライバの頭の位置及び回転に大いに依存し、その位置及び回転は、ドライバの高さ及び好適な運転位置に依存する。互いに相違する頭の位置／回転は、注視信号及び頭の動きの特性に影響を及ぼす。この影響を最小にするために、頭の位置を、基準位置に対して正規化し、好適には、大抵のドライバのほぼ平均位置としてとる。これは、図１０に示すようにドライバの前方に配置された理論的なミラー面を通じて達成される。
【０１０３】
ここで、測定された注視及びヘッド角は、この面を通じて静的すなわち基準ヘッドに投影される。この実施の形態において、アルゴリズムで用いられるのは、静的ヘッドでの注視及びヘッド角である。
【０１０４】
注視の信頼が低いとき、例えば、目が閉じられているとき、アルゴリズムは、自動的に頭の向きを切り替え、顔が前を向く方向を注視ベクトルのように用いる。結果的に得られる信号は、ここで説明するハイブリッドアルゴリズムに供給され、道路の中央は、注視密度関数を通じて位置決めされる。初期化手順は、７０ｋｍ／ｈより速い速度の通常の運転で約２０秒を要する。この特定のアプリケーションにおいて、道路中央は、真っ直ぐ前方の視野の密度関数の評価によって中央に位置決めされる楕円形の２０°×４０°として規定される。しかしながら、道路中央の幾何学的な配置は、速度及び／又は環境に依存する。
【０１０５】
上記楕円形は、中間的な交通量の２レーンの車道で７０ｋｍ／ｈより上で約１２０ｋｍ／ｈの速度に対して理想的である。他の幾何学的配置は、一部の環境、互いに相違する速度での走行及び他のアプリケーションにおいて最適に作動することができる。長い瞥見の持続時間の量、すなわち、時間が延長された瞥見は、注視密度関数によって垂直方向で中央に配置された２０°の水平帯域で良好に作用するように思われる。
【０１０６】
道路中央は、ドライバの視野の世界対象のみを規定する。ドライバは、道路中央を見ることもあれば見ないこともある。遷移の遅延は、注視が道路中央のエッジにあるときに点滅信号を回避するために用いられる。注視は、記録すべき移り変わりのために１００ｍｓを超えて（道路上又は道路外の）二つの対象の一つにおいて一定のままである必要がある。
【０１０７】
道路中央が有効であるとき（すなわち、注視密度関数が安定するとき）、（ここではピーク道路中央又は道路中央パーセントを意味する）ＰＲＣは計算を開始する。必須ではないが、ソース追跡データがないときには常にアルゴリズムを休止する。さらに、好適な実施の形態において、車両の速度が６５ｋｍ／ｈより下に低下すると常にアルゴリズムを作動不可とする。これは、ＰＲＣの値を８０％にリセットする。
【０１０８】
ＰＲＣアルゴリズムの一バージョンにおいて、最大ＰＲＣパラメータは、ＰＲＣが８０％を超えるのを防止する。これは、通常の運転中にＰＲＣを安定にする簡単な方法である（一部の被験者に対して、通常の運転は、７５〜８５％の近似的なＰＲＣの値の間で変動する。このような制限を用いて、ＰＲＣは、常に所定の瞥見の数に対して（ＰＲＣ８０％から）所定のレベルまで下がる。同一の論法が、最小ＰＲＣ及び知覚的な注意散漫に当てはまる。
【０１０９】
短いＰＲＣ窓（３〜１０秒）が、時間共有動作、すなわち、二つのターゲット領域間の複数の瞥見を表すのに用いられる。時間共有の動作の表示は、動作が終了したとき、すなわち、２次タスクの終了時にＰＲＣを８０％にリセットするのに用いられる。
【０１１０】
典型的には、ドライバに対する互いに相違する三つの警報／フィードバックを付与することができる。ＰＲＣが境界値より下に下がると、ドライバが道路から目を離すまで警報が与えられない（知覚的な警報はこの例外である。）。視覚的な注意散漫の場合、被験者が僅かに注意散漫となったとき、すなわち、ＰＲＣが６５％より下に下がったとき、刺激レベルに到達する。ドライバが道路から目を離したときのみ、警報が１０秒間に２回の最大を与え、すなわち、警報は、ＰＲＣが６５％より下になった後の最初の２回の瞥見で与えられる。被験者の注意散漫が著しいとき、すなわち、ＰＲＣが５８％より下になったときに他の警報レベルに到達する。この場合、警報が発せられた直後に、ＰＲＣは、通常の運転すなわち８０％にリセットされる。
【０１１１】
知覚的な注意散漫の場合、ドライバが知覚的に注意散漫であるとき、すなわち、ＰＲＣが９２％より上であるときに知覚的な警報が発せられる。この場合、ＰＲＣは８０％までリセットされる。道路中央の外側の瞥見が４秒を超えて継続するときには常に、（道路から目を離す）長い瞥見の警報が発せられる。
【０１１２】
時間窓の使用が最適な解決でないことがある。１分間の時間窓は１分間の履歴を有し、したがって、ドライバが１／２分前に行ったことは、ＰＲＣ及び現在のタスクに影響を及ぼす。ドライバがラジオをつけ、ラジオを４回瞥見した場合、ドライバは、少なくとも１／２分の間にこの４回の瞥見によって警報を受ける、すなわち、ドライバが通常の運転に戻ったとしてもＰＲＣは少なくとも３０秒間低いままである（これは、タスクが最大で３０秒継続すると仮定する。）。この問題を処理する複数の方法がある。
【０１１３】
方法の一つは、（ほぼ同一のウィンドウダイナミックスを取得するために）減衰化要因を有する短い窓を用いることである。他の方法は、タスクが完了すると常にウィンドウを平らにすることである。さらに、著しく短い窓、例えば、３〜１５秒の窓を用いて、タスクが実行されたか否かを決定することができる。
【０１１４】
時間共有検出器を用いて、ＲＰＣ和（通常、時間窓内の全ての道路の中央の瞥見の全時間）が道路上の瞥見を無視すべきか否か決定することができ、すなわち、タスクを実行する間、ＰＲＣ和は、道路の中央から外れた瞥見の時間に比例して減少するが、道路中央の瞥見を無視し、したがって、窓であるような和の同一ダイナミックスを付与する。
【０１１５】
現在のアルゴリズムの他の問題は、まばたきが機器の群に向かう瞥見として非常にしばしば解釈されることである。標準的なデータフィルタは、注視信号の僅かに相違する特性のためにまばたきをフィルタ処理しない。提案した解決は、まばたきか瞥見かを決定するために開眼信号の使用を含む。これは、プログラムが「非呼び出し時間モード」であるときに開眼信号がログデータに存在することを要求する。代案は、まばたき検出器を設計することである。まばたきは、非常に短いために瞥見とすることができず、したがって、フィルタで止めることができない。しかしながら、これは、少なくとも１５０ｍｓのシステムの遅延を導入する。
【０１１６】
上記アルゴリズムは、約７０〜１２０ｋｍ／ｈの速度で中間の交通量の車道の運転に合わせられる。アルゴリズムを互いに相違する速度及び環境に適合させる複数の方法がある。方法の一つは、道路中央領域を速度及び環境に適合させることである。速度が減少するに従って、道路中央のサイズが、大抵は水平領域で増大する。道路中央は、この速度及び環境の通常の運転が約８０％のＰＲＣを有するように増大する。これを行う二つの方法がある。一例は、ライン上の各ドライバに適合させることである。他の例は、互いに相違する速度及び環境に対して、予め規定された道路中央の幾何学配置を提供することである。更に別の例は、特定の速度及び環境に対する通常の運転のＲＰＣレベルに従って警報境界値を調整することである。更に別の例は、環境の表示、すなわち、少なくとも運転動作によって表された環境を提供することである。
【０１１７】
ドライバの頭が道路中央から約６０°以上回っている場合、すなわち、隣接するレーンに車が存在するか否かを見るためにドライバが肩越しに見るすなわち横側を見る場合にアルゴリズムが機能しなくなるという制約がある。これらのブランクを埋めるためにパターン認識が用いられる。
【０１１８】
直接的な警報とは別に、ＰＣＲを用いて、第三者のシステムを作動／不作動にし又はそれを互いに相違するモードに設定することができる。例えば、ＰＲＣを用いて、前方衝突警報（ＦＣＷ）システムを「応答」モードに設定し、瞬時の道路中心の目の信号を用いて、警報を作動するか否か決定することができる。それを、適応走行制御（ＡＣＣ）制御ループのタイムギャップを調整（安全距離の増加又は減少）し又は他の警報及びシステムを作動／不作動にするのに用いることもできる。
【０１１９】
ここで説明する測定の多くは、道路中央ポイント（ＲＣＰ）の基準計算を利用する。垂直及び水平道路中央ポイントは、例えばデータの３分間の区分された眼球運動のデータセット（凝視／円滑な追跡及び目のすばやい動きへの区分）から計算される。先ず、各凝視データポイントが、垂直及び水平ビンに追加され、例えば、０．９８×０．９８°のビンサイズとする（真っ直ぐ前方又は零ポイントから＋／−３０°に対して１２８×１２８）。次に、ビンのモード（ビンの最大頻度）を、垂直及び水平道路中央ポイントに設定する。これらデータポイントに基づく測定は、図１２〜１５において更に詳しく説明され、この場合、道路中央ポイントは、ドライバの目の位置のサンプル密度に基づいて識別される。真っ直ぐな２レーンのフリーウェイにおける通常の運転状態の眼球運動は、これらの図面に示される。データは、道路中央ポイントの周辺に集中し、道路中央ポイントは、それに基づいて零に設定される。頻度の単位は、ビンごとの全頻度の割合を表す（１ビンは、０．９８°×０．９８°に等しい。）左上の眼球運動は正であり、右下の眼球運動を、負として示す。
【０１２０】
移動時間窓の各ステップに対して、例えば、６０Ｈｚの更新周波数を有する１分間の時間窓は、次のように計算される。時間窓内の各凝視データポイントは、「道路中央」を表すタイプ「１」と「非道路中央」を表すタイプ「０」のいずれかとして分類され、規定された道路中央領域の内側か外側かに基づいて区別を行う。道路中央領域は、例えば、道路中央ポイントからの角度／弧度の距離をとるとともに遮断境界値、例えば、その周りの半径として８°を設定することによって行う。遮断境界値内にあるこれらの凝視データポイントは、「道路中央」として分類され、遮断境界値外にある凝視データポイントは、「非道路中央」として分類される。この例において、遮断境界値は、道路中央領域の形状を規定する。
【０１２１】
道路中央領域を、半径遮断境界値を用いる代わりとして他の方法で規定することができる。例えば、道路中央領域を、非対称形状として規定することができる。非対称な道路中央の識別は、曲がりくねった又は混雑した道路環境を運転するときに有用である。非対称形状を規定する方法は、次の通りである。（１）図１４に示す水平道路中央領域ラインのようなビンごとの頻度で境界値レベルを設定することができる。図１３のアウトラインのような幾何学的形状は積である。（２）道路中央ポイントからの１又は２の標準偏差内のデータとして道路中央領域を規定することができる。標準偏差を、中心点の半径に基づいて又は垂直成分及び水平成分に個別に基づいて規定することができる。垂直／水平方向の標準偏差の規定によって、形状を楕円として計算することができる。（３）曲がりくねった道路環境において、大抵の凝視データポイントは、車両のこれからの経路の周りに集中する。瞬時の経路は、通常、車両のヨーレート（又はステアリングホイール角に基づく測定）から計算される。（視角に変換される）この曲がりくねった経路を用いて、有効な「通路上凝視」の領域を規定することができる。この経路を用いて、例えば車両通路からの所定の距離内の一見の「通路上領域」を規定することができる。したがって、ＰＲＣ、Ａ−ＰＲＣ及びＰＬＧを、通路上領域を有する道路中央領域を構成する既に説明した同一方法によって計算することができる。最後に、パーセントの計算は、道路中央データポイントの数を窓内の凝視データポイントの総数で除算するとともに積に１００を乗算することによって行うことができる。このようなパーセントの計算は、目のすばやい動き及び消失データを無視する。
【０１２２】
道路中央のパーセントの絶対値（Ａ−ＰＲＣ）は、所定のＰＲＣ値、例えば、通常の運転のＰＲＣ値からの差の絶対値として、既に説明した同一の時間窓で計算される。図１７は、注意散漫の他の一部の共通量とＡ−ＰＲＣの比較を示す。
【０１２３】
道路中央から離れた長い瞥見のパーセント（ＰＬＧ）は、所定の時間境界値、例えば、図１８に示すような２秒に亘る（ＳＡＥ Ｊ−２３９６規格によって規定されるような）瞥見として分類される凝視データポイントのパーセントとして、既に説明した同一の時間窓で計算される。
【０１２４】
モード道路中心からの標準偏差（ＳＤ−ＭＲＣ）は、平均が
DistRoadCenter=sqrt(((VerticalPos-VerticalMode)^2) + ((Horizontal
-HorizontalMode) ^2))
SD-MRC=sqrt(sum((DistRoadCenter)^2)/length(NonFixations))
によって例示されるようなモードで置換される点を除いて、標準偏差の式に従って、既に説明した同一の時間窓で計算される。車両外側のパーセント（ＰＯＶ）は、車両の外側にある凝視データポイント及び後方ミラー又はサイドミラーにある凝視データポイントのパーセントとして、既に説明したような同一の時間窓で計算される。車両の内側は、度又は弧度の幾何学的領域として規定される。
【０１２５】
データセットの例は、本発明に関連して収集された。検証研究が、１１１°の視野及び４８Ｈｚで２４５６×７５０の解像度を有する７．５ｍ×２．２ｍの「パワーウォール」スクリーンを用いたシミュレーション環境で行われた。１４人の被験者が研究に参加し、携帯電話の使用やラジオ局の変更のような種々の車内タスクを実行した。データは、収集され、ＩＳＯ１５００７−２法（ＩＳＯ １９９９）に従うビデオ録画形態でも利用できる。ＧＩＢ−Ｔ警戒研究と称されるものにおいて、同一シミュレーションが、既に説明した環境で実行され、少ない交通量の４レーンの車道における１２人の運転が含まれた。各人は、二つのケースに参加し、通常の状態の下で３０分運転し、約２時間１５分間睡眠なしの状態で運転し、その結果が、ビデオレコーダを用いて記録された。このセットは、１６人の被験者が参加した大きな道路上の実験の一部である。各人は、３０ｋｍの運転中に通常の車道の運転の約１５分に種々の車内タスクを実行する。
【０１２６】
典型的な追跡システムは、頭の位置及び角度並びに固定された座標系に対する注視角度を追跡する。システムは、ステレオビジョンを使用し、すなわち、機器の群の前方の被験者ドライバの前であるが頭の位置及び注視を追跡するために図１９に示すようにステアリングホイールの後方に配置された二つのカメラを使用する。また、好適には、図２０に示すように単一のカメラを使用することもできる。これは、煩わしい他の現存する追跡システムに比べて著しい改良である。手順に基づく視野のない場合に比べたこの技術を用いる見返りは、ある種の角膜の反射を用いるシステム（±１°）に比べて僅かに劣る注視評価（±３°）となる。これら他のタイプの視野に基づくシステムは、単一視野に依存し、良好に作用しない。ここに開示したシステムの顕著な利点の一つは、頭のベクトルと目のベクトルを同時に出力することである。
【０１２７】
利用されるシステムは、まゆげや、口元や、目のような顔の特徴を見つけるテンプレート整合アルゴリズムを用いる。各テンプレートは、３次元の強固なボディフェースモデルの一部と考えられる。複数の特徴が両画像で見つけられるとき、頭及び目の３次元位置は、モデル回転及び変換の最小二乗最適化を用いて計算される。この問題に対する解決は、良好に追跡を行うポイントに向けられ、これによって、閉塞、雑音及び知覚的な注意散漫に対して強固になる。さらに、カルマンフィルタを用いて、雑音を減少するとともに次の繰り返しにおける頭のポーズを予測し、これによって、次のフレームに対する計算時間を減少する。
【０１２８】
目の注視評価は、頭−目の位置に基づく。眼球の回転中心及び虹彩の中心の測定を用いると、注視は、これらポイントを通過する光線として算出される。両目が利用できるとき、注視方向は二つのベクトルの平均として計算され、そうでない場合、可視光が用いられる。いずれの目も検出できない場合、例えば、被験者の頭が６０°を超えて回ったとき、又は目が閉じられたとき、顔面法線が注視方向として用いられる。
【０１２９】
閉眼を検出するアルゴリズムは、被験者がまばたきするときを決定するのに利用される。目じり間の距離によって決定される上まぶたと下まぶたとの間の距離は、閉眼量として用いられる。これらの距離を算出するために、システムは、エッジ検出器を使用し、各まぶたに一つで両目じりを通過する放物線を近似する。閉眼量及び他の少数の量（目のイメージ領域の垂直方向の光学的な流れ、領域の時間的な変化速度、目の強膜の色を有する画素のｎｒ及び目のテンプレートの相関係数）は、互いに重み付けされ、境界値は、被験者がまばたきするときを決定する。
【０１３０】
システムは複数の信号を出力するが、この開示では少数の信号のみを例示的に示す。これらは以下のものを有する。（１）注視信号「未加工の注視回数」及び「フィルタを通過した注視回数」は、瞬時の場合には同一信号である。その理由は、フィルタパラメータは、全ての研究において零に設定されるからである。信号は、弧度で与えられる二つの方向：ピッチ及びヨーからなる。（２）「注視信頼」信号は、注視評価アルゴリズムに対して信頼性のある量を提供する。（３）「フィルタを通過した頭の位置」及び「フィルタを通過した頭の回転」は、独自に頭の３次元位置及び回転を決定する。これらは、「未加工の頭の位置」及び「未加工の頭の回転」と同一である。その理由は、これら全てが、利用できるデータで零に設定されるフィルタパラメータだからである。（４）「追跡」状態は、システムが追跡モードであるか探索モードであるかを表す。（５）「まばたき」は、被験者がまばたきしているか否かを表す。（６）「時間」は、各評価に関連したＣＰＵ時間である。
【０１３１】
注視信号の情報成分は、全く一定でなく、時間変化するようである。記録中、被験者ドライバの膝、車両内側の天井等のような集中しそうにないポイントである対象に向かう時々の瞥見がある。これらの瞥見の一部を、注視信号に下降が生じる検出されない閉眼と称することができる。システムは、互いに相違する光レベルに応答することもできる。背景光の変化を処理することができるが、車両が影のある道路から日の当たる道路に移動するときのように変化が急であるときには、背景光の変化を処理することができない。その結果、高い雑音レベルとなり、場合によっては情報成分がほとんどなくなる。日光がカメラレンズに直接入射することによって、信号は、レンズフレアによって雑音が大きくなる。場合によっては、これによって数秒間の追跡の損失となる。
【０１３２】
閉眼の間の上記「下降」は、疑いなく目を閉じることによって（冒頭で説明したような）近時の失敗が生じるためである。下降は、ピッチ信号において約３０〜４０°と非常に明瞭であるが、ヨー信号で気付くこともできる。典型的なまばたきは、３００ミリ秒のオーダで継続するが、下降は約１００ミリ秒しか継続しない。したがって、目がほとんど閉じられるまで評価は失敗しない。下降は、中間値フィルタを用いた予処理段階で容易に除去される。典型的な実施の形態において、システムは、まばたき信号によって表されるまばたき部分を簡単に切り、まばたきが補間された図２１に例示されているように、最後に既知のサンプルと最初の新たなサンプルとの間で補間を行う。その結果、データの重要な部分、しばしば３００ミリ秒の量のほとんどが、除去され、幾分不自然な表示すなわち直線に置換される。まばたきがしばしば目のすばやい動きの間に生じるので、適切な測定を行うことができない。正確な測定を行うためにこれらの特徴を再構成するのが有利である。
【０１３３】
まばたき信号は、常に現実に一致するわけではない。これは、被験者がタスクを実行するときに明らかになり、まばたきではなく現実のまばたき信号に従って、まばたきが生じたことを知る。典型的なシステムにおいて、被験者が注視を移動するに従って、まばたき信号の精度が低下する。
【０１３４】
注視信用信号を用いて、既に説明した欠陥の大部分を克服することができる。しかしながら、経験は、信号品質及び注視信用度が常に相関するわけでないことを示す。それは、互いに相違する被験者に対するだけでなく、同一被験者から取り出された互いに相違するサンプルに対しても異なりうる。さらに、信用度は、まばたきごとに零に降下する。検出されないまばたきの瞬時において、生じたのは実際には信用を零に降下したまばたきすなわち人為的作為であることを確かめることができない。したがって、信用信号を絶対的に信用することはできない。
【０１３５】
実際には、システムの演算速度が「約６０Ｈｚ」であり、サンプリング間隔は、一定ではなく、ある程度フレームごとの演算時間に依存する。しかしながら、典型的なシステムにおいて、時間が秒とミリ秒の両方で利用され、演算遅延信号はミリ秒である。遅延は、１５０〜２００ミリ秒のオーダである。
【０１３６】
最後に、互いに相違する被験者は、互いに相違する顔の特徴を有し、多かれ少なかれシステムに基づく測定に適合させる。良好なコントラストを有する顔の特徴は、良好なデータ品質に相関し、その結果、カメラ視界の中心にある頭の位置を補正する。
【０１３７】
変化検出アルゴリズムの設計は、常に正確な変化の検出と誤った警報の回避との間の妥協である。雑音特性及び信号特性が変化することによって、グレーゾーンが幾分大きくなる。信号品質が変化するので、この問題を克服するために適応フィルタを用いる考えがあった。一般に、適応フィルタが提案されるとき、ある種の評価プロセス、例えば、最小平均二乗法（ＬＭＳ）を用いて信号に適合するのは、フィルタリング係数である。しかしながら、データ信号は、情報成分の変化や未知の人為的作為のような特徴を有することが証明され、これによって、この種の適合に適さなくなる。その代わりに、二つの予処理中間値フィルタを利用するハイブリッドアルゴリズムが開発された。これを、オフラインアルゴリズムとリアルタイムアルゴリズムの両方に対してこの章で説明する。しかしながら、先ず、眼球運動の区分に一般的に用いられる一部の互いに相違するアルゴリズムを簡単に概説する。
【０１３８】
Salvucci及びGoldbergの作業が、「目の追跡プロトコルの凝視及び目のすばやい動きの識別」で規定されており、この場合、互いに相違する複数の技術が、目のすばやい動き及び凝視を識別するために収集されている。
【０１３９】
■速度に基づくもの
・速度−境界値識別（ＶＴ−Ｉ）
・ＨＭＭ識別（ＨＭＭ−Ｉ）
■分散に基づくもの
・分散−境界値識別（ＤＴ−Ｉ）
・最小スパニングツリー（ＭＳＴ）識別（ＭＳＴ−Ｉ）
■領域に基づくもの
・関心のある領域識別（ＡＯＩ−Ｉ）
【０１４０】
これらのうちの三つ：ＶＴ−Ｉ、ＨＭＭ−Ｉ及びＤＴ−Ｉは、本発明の状況及び目的に対して関心があると考えられた。ＡＯＩ−Ｉ及びＭＳＴ−Ｉの主な問題は、これらが他のものと同様にＩＳＯ／ＳＡＥに適合しないことである。実証された作業が既にＶＴ−Ｉ法で行われているので、最初のアプローチは、ＤＴ−Ｉ法を用いて行われる。ＤＴ−Ｉアルゴリズムは、非常に正確かつ強固であると考えられるが、ここで用いられる目の追跡が不正確で雑音が多いために、適切でなくなる。目のすばやい動きは、雑音及びスパイクに起因して識別され、凝視の開始／終了は、信号特性に起因して不正確であり、例えば、凝視前の時折のドリフトは、多かれ少なかれ静止し始める。他の問題は、円滑な追跡であり、これによって、円滑な追跡が一つの凝視と考えられるときにアルゴリズムは失敗する。したがって、分散法を単独で用いることができない。
【０１４１】
それに対して、ＨＭＭ−Ｉは、最もあり得る識別を決定するために確率的な分析を利用する。ＨＭＭ−ＩのＨＭＭモデルは２状態モデルである。第１状態は、高速の目のすばやい動きのポイントを表し、第２状態は、低速の凝視のポイントを表す。その遷移の確率が与えられた場合、ＨＭＭ−Ｉは、最大確率によって各プロトコルポイントの最もあり得る識別を決定する。アルゴリズムは、正確なパラメータが与えられた場合には正確かつ強固であると考察される。これらは、再評価プロセスを用いて評価され、ＨＭＭの主な複雑要因となっている。この評価の実現は、複雑かつ冗長である。
【０１４２】
ＶＴ−Ｉアルゴリズムは、上記問題を有しない。しかしながら、速度境界値は、雑音のピックアップ並びに正確な凝視の開始及び終了の識別の間の妥協である。この問題を最小にするために、二重境界値アルゴリズムが採用された（二重ＶＴ−Ｉ）。高い境界値によって、適切な目のすばやい動きの識別が保証される。目のすばやい動きが検出されると、開始及び終了を計算するために低い境界値が用いられる。
【０１４３】
ＶＴ−Ｉアルゴリズムの主な不都合は、強固さがないことであった。しかしながら、これは、二重ＶＴ−Ｉにおいて非常に改良される。
【０１４４】
以前の段落で説明した識別法のいずれも完全ではなく、これらは全て、互いに相違する欠点を有する。したがって、二つのアルゴリズムの組合せ及び眼球運動に対する他の規則、すなわち、二重ＶＴ−Ｉ及びＤＴ−Ｉが、この作業に対して選択された。この組合せは、決定が自動的にＤＴ−Ｉ及び規則に基づく部分に向かって行われるとともに雑音が増大するに従って二重ＶＴ−Ｉ特性が保護されるという意味で適応アルゴリズムとして作用する。これは、二重ＶＴ−Ｉ速度プロトコルの正確さ及びＤＴ−Ｉ分散プロトコルの強固さを組み合わせる。それを見る方法の一つは、規則をアルゴリズム制御として考察することであり、現在最も正確に作業しているアルゴリズム部に向かって「決定」が行われることを意味する。アルゴリズムの共同を図４に示す。
【０１４５】
予処理に関連して、生データは、区分前に予処理される必要がある。生データは、多かれ少なかれ雑音があり、まばたき及び非追跡部分を有する。
【０１４６】
多くの研究者が、中間値フィルタ及びＦＩＲハイブリッド中間値（ＦＨＭ）フィルタを眼球運動に対して適切にすべきことを指摘していた。雑音及び外れ値を抑制しながら先鋭なエッジを保持する中間値フィルタの特性は、目のすばやい動きの信号に適している。一般的に、ＦＨＭ又は重み付けされたＦＨＭフィルタは、最もよく作用すると考えられるが、１５サンプルのスライディング窓の中間値フィルタが、雑音を十分減少する。有利な効果は、被験者がまばたきすると常に再生されるとともに図２２に示すように検出されない区分をパスするのに十分な「まばたき下降」も抑制することである。
【０１４７】
全く異なる問題は、既に説明したようなまばたき補間であり、この場合、注視信号は、線形的な補間に置換される。これが凝視中に生じる場合、通常問題ない。しかしながら、人間は、数百ミリ秒しか続かない目のすばやい動きの間にしばしばまばたきをし、同時に、２００〜３００ミリ秒が直線に置換される。この問題を考慮するために、再構成が必要になる。本発明は、適切な数の瞥見を行う簡単かつ強固な解決を採用し、それに対して、時間に基づく測定は、正確さに欠ける。信号中に存在するような同一振幅の雑音は、５°未満の分散を有する全てのまばたきに加えられ、他の全てのまばたきは、目のすばやい動きとしてマークされる。５°の境界値は、任意の誤った凝視を検出することなく利用できる全てのデータに基づいて設定された。しかしながら、被験者は、複数の瞥見を伴うタスク中にまばたきを行わない傾向にある。
【０１４８】
既に説明したように、選択した識別アルゴリズムは、速度及び分散プロトコルと目の物理的な特性及び指標追跡装置によって概略が述べられる規則との間の混成である。オフライン状態において、プロセスが順次実行され、先ず、二重境界値を用いる速度プロトコルが適用され、その後、規則を有する分散プロトコルが適用される。これを図１に示す。信号の雑音又は他の一部の特性が（目の規則に従って存在すべきである）凝視の検出を妨げたときには、凝視回復アルゴリズムが用いられる。これを、ＤＴ−Ｉ及び規則に基づくブロックから二重ＶＴ−Ｉブロックに戻る矢印として示す。また、自動的なクラスタ化アルゴリズムは、ハイブリッドシェルに含まれる。それは、瞥見の検出を処理する。
【０１４９】
各アルゴリズム部を更に説明しない。微分（速度）評価は、２点中心差分
【数１】
によって算出され、各注視成分に適用され、２次元速度を形成するために二乗和の平方根とともに重み付けされる。信号を区別する際に雑音は常に問題であり、この問題を処理する方法の一つは、微分をローパスフィルタ処理することである。しかしながら、中心差分は、理想的な微分器及びそれに直列なローパスフィルタとして説明することができる。周波数応答は、以下のように計算される。
【数２】
約６０Ｈｚに設定されるサンプリング速度によって、このフィルタは、約１４Ｈｚの３ｄＢ遮断周波数を有する。このような幾分低い遮断によってエイリアシングを防止し、３０Ｈｚを超える周波数が除去されるが、目のすばやい動きの開始及び終了を歪ませないくらい十分に高い。二重境界値及び速度評価を、図２３に示す。
【０１５０】
５回微分アルゴリズムのある実験的な比較は、２点中心差分が１２ビットデータに対して更に正確な技術であることを見つけた。この方法の利点の一部は、簡単、正確かつ高速なことである。
【０１５１】
目のすばやい動きの検出の境界値は、主に、結果と以前に実行した半自動化分析の結果とを比較することによって設定される。
【０１５２】
ここで、微分近似が自動的にローパスフィルタ処理されるとしても、依然として非常に雑音が多く、雑音レベルが約７０°／ｓである。しかしながら、データ収集システムが最大で±３°の不正確さを有し、目のすばやい動きのピーク速度は、約３〜４°より大きい振幅に対して１００°／ｓより高いので、問題が課されない。これにもかかわらず、実際の評価が示すところによれば、特に雑音が増大するときに時折誤りがスリップすることがある。その不正確な識別は、区分プロセスの次のステップでＤＴ−Ｉ部分によって検出され及び除去される。したがって、速度評価に対して３サンプルを用いる精度の相反する要求は無視しうることが立証されている。
【０１５３】
第２ステップにおいて、既に説明した物理的基準及び分散に基づくアルゴリズムの一部は、検出した目のすばやい動き及び凝視が有効であるか否か決定する（規則アプリケーション）。典型的な目のすばやい動き及び凝視の３次元表示を、図２４に示す。雑音レベルが高いとき、微分近似に対する影響が更に大きくなり、混乱させるアーティファクトが、凝視内で時折検出される。その除去は、誤判断を防止する少数の基本的な規則を有する。１）新たな凝視の分散が境界値より下である場合、目のすばやい動きを凝視の一部に変更することができる。２）凝視の分散が境界値より下である場合、目のすばやい動きを凝視の一部に変更することができる。
【０１５４】
これらの基準が満足される場合、一部の追加された雑音との線形補間を用いて二つの凝視が互いに結合される。信号のこの部分が非物理的となるのを回避するために雑音が導入される。元の信号はしばしばある種のスパイクを有し、したがって、補間が行われる。
【０１５５】
同様に、持続時間が約１５０ｍｓより短いことを意味する、凝視が非物理的である場合には、凝視が除去されるとともに単に目のすばやい動きとしてマークされる。これは、信号の情報成分が低いときに生じる。
【０１５６】
（長い遅延が許容される）オフライン状態において、図２５に示すような凝視回復アルゴリズムは、凝視信号の低情報成分を補償するように開発された。これは、アルゴリズムがそれ自体安定されないときに凝視の開始時に生じる。それは、目のすばやい動きが約２００ミリ秒より長く持続すると考えられないという仮定の下で作用し、そうである場合、最もあり得るのは、二つの目のすばやい動き及びその間にある検出されない凝視である。これに基づいて、アルゴリズムは、検出されなかった凝視を有するとともに予処理（２０サンプル）で用いられるのより幾分長いスライディング中間値フィルタを用いてフィルタ処理を行う目のすばやい動きを突き止める。これは、新たな凝視を検出するのに十分となるように信号雑音を低減する。これは、検出を強いる直接的かつ危険な方法であると思われる。しかしながら、それは、単なる区分式の適応特性であり、有効部分に対して現実と強く相関することが証明されている。
【０１５７】
瞥見の分類アルゴリズムは、２ステップで作用する。先ず、全ての集団が、全滞在時間に基づいて自動的に配置される。第２ステップにおいて、これら集団が、同一滞在時間に基づいてそれ自体集団化され、世界モデル対象が形成される。世界モデルは、互いに相違する予め規定された視野領域、例えば、右後の視野ミラー又は道路の真っ直ぐ前方の簡単な描写である。全てのモデルは、ドライバが道路の真っ直ぐ前方を見るときのドライバに直交する面に規定される。
【０１５８】
第１ステップにおいて、集団位置の大まかな近似が、２次元滞在時間ヒストグラム、すなわち、図２６及び２７に示すような各凝視の持続時間及び平均位置に基づいた互いに相違する視野領域の全凝視時間を用いて行われる。平均位置の使用は、雑音問題を減少する簡単な方法である。ヒストグラムビンサイズは、主に試行錯誤によって３×３°に設定された。これによって、各ピークが集団の近似位置を表す優れた円滑なヒストグラムを形成する。注視データが弧度で与えられるので、実際の集団面は、平面ではなく円柱の内側である。したがって、注視角度は集団サイズに悪影響を及ぼさない。一旦近似集団位置が決定されると、各平均凝視ポイントは、ユークリッド平均によって最も近い集団ポイントに割り当てられる。全ての集団は、各集団に関連したポイントの平均位置に更新される。
【０１５９】
アルゴリズムは分類ログも形成し、この場合、分類されたイベントはそれぞれ、位置、開始、終了、持続時間、関連の集団及び番号に符号化した目のすばやい動き又は凝視のタイプを有する行列に格納される。ログ−行列は、単なるデータの減少であり、後に統計関数計算の基礎として用いられる。
【０１６０】
第２ステップにおいて、全ての集団が世界モデルにマッピングされる。互いに相違する幾何学的な領域、例えば、ボックス、円、又は同一若しくは他の形状の組合せは、ミラーや、センタースタックや、計器の集団のような対象を規定する。複数の集団は、通常、同一の瞥見に属する同一領域内にある。これらは、一つの集団に結合され、その平均位置が再計算される。世界モデル対象の数は、タスクとともに変化する。３対象の基本モデルがこの作業に対して選択され、滞在ヒストグラムに基づくアルゴリズムは、対象を「浮き上がらせる。」その後、対象中心と全ての集団位置との間の距離の標準偏差を検出する。対象の９５％の信頼度内にある集団は、その一部と考えられ、したがって、対象サイズは、集団を包囲するように調整される。世界モデル対象の数は、パラメータを通じて容易に制御される。
【０１６１】
これは、実験者からの検査及び補正が要求されることがある１ステップである。この理由は、何が対象で何が対象でないかの決定が生信号の雑音及び非追跡に起因して非常に難しく、実験者によって考えを修正する必要があるからである。人の評価者を必要としない方法の一つは、データ収集の際に日が良く照る日を回避することである。カメラに日光が直接入射するのが、ほとんど全ての凝視がずれる原因の一つである。
【０１６２】
世界モデルのアプローチは、瞥見の分類、例えば、オンロードオフロード比及び更に大きなスケールの視覚的な走査パターンに加えて他の測定目的に非常に有用となりうる。それは、注視信号が（例えば日光によって）多い雑音になり又は損なわれるとともに実際より多い集団を形成する大きな領域で凝視が散乱されるときにも有用である。処理中、ログ行列は連続的に更新される。
【０１６３】
関心のある領域をテンプレートするとき、二つの主な問題：１）各被験者に対して較正及び走行の必要があること。２）センサシステムの不正確さのために対象を実際より大きく規定する必要があることがある。データを調べる前に世界対象が必要とする大きさがどの程度であるかを決定するのは困難である。対象が非常に大きい場合、常に外れ値が含まれる又は対象が互いに重なり合う可能性がある。
【０１６４】
この見地から、データを分析する際に世界モデルを規定するとともにそれを現在の状態に適合させるのが更に容易になる。
【０１６５】
少なくとも、統計的な量は、ログ−行列を用いて生成される。統計的な量は、１）滞在時間、２）瞥見の持続時間、３）瞥見の頻度、４）全体の瞥見の時間、５）瞥見の可能性、６）リンク値の可能性、７）道路外の前方シーンの時間、８）全タスク時間及び９）遷移時間として規定される。
【０１６６】
一旦瞥見の分類が実行されると、これらの量の計算は、直接的であり、したがって、含まれない。
【０１６７】
典型的なリアルタイムの実行は、オフラインアルゴリズムに非常によく似ている。違いは、「道路前方シーン」及び「他の領域」が世界モデル対象として規定されることである。出力は、各タスクに対する瞥見の総数並びに道路上及び道路外の瞥見の全時間である。タスクの開始及び終了は、注釈又は時間差によってログファイルに示される（これは、ログ中に手動で行われる。）。
【０１６８】
任意の分類が実行される前に、道路前方シーンの世界対象が配置される。これは、特定の被験者及び走行に対する設定の較正を行う初期化段階を用いて行われる。道路前方シーン領域は、注視密度関数によって配置される。大抵のドライバの注意は、この領域に向けられ、滞在時間密度関数は、図２７に示すように常にその中心に非常に大きいピークを有する。この領域の注視の分布はガウス分布に近似される。したがって、滞在ヒストグラムの最高点を平均凝視位置の値として用いることによって、標準偏差を算出することができる。技術的には、計算されるのは標準偏差ではなくモードの偏差である。この場合、道路前方のシーンは９５％の信頼度内で考察される。手順は、ヨーとピッチの両方に対して行われ、これによって、道路前方シーンを表す楕円領域を形成する。
【０１６９】
初期化中、探索領域は、道路前方シーンが何であるかに制約され、探索領域は、典型的には、半径１０°及び中心が（０，０）の円であり、この領域にある凝視のみが計算に用いられる。これにもかかわらず、一部の被験者とともに作業するために９５％の信頼境界を約２°右下に下げる必要があり、それは、被験者の注視が道路曲線に従うときに生じる特性である。これらの偏差に対する簡単な解決は、典型的には、曲線に従うことができる時間窓を用いた長い初期化期間又は不可の計算である。ヨーレートが利用できる場合、道路前方のシーンの中心は、この信号に適合するとともに問題を解決するが、これは、現在では車両の通常のセンサではない。初期化段階を図２９に示す。較正プロセスは、有効値を生成する前に通常の運転の約５分間を用いて最適に作業するように調整される。
【０１７０】
同様な問題は、ドライバがタスクを実行するときに生じる。目は、道路前方の中央に戻るとは思われず、ある程度２次タスクの方向に向いている（運転は１次タスクである。）。頭の向きは、道路前方のシーンに直交しないことを意味するこの動作の回答となり、したがって、注視評価に変位が生じる。被験者の目が道路前方のシーンにあるものから離れるに従って、注視評価の精度が低下する。
【０１７１】
初期化段階が終了すると、二重ＶＴ−Ｉ，ＤＴ−Ｉ及び規則が適用される。二重ＶＴ−Ｉは、先ず、目のすばやい動き−注視の組合せを識別する。このような瞥見の最短形態は、その瞥見の時間に従ってＤＴ−Ｉ及び規則に送られる。小さい瞥見、例えば、領域内の一連の凝視は、それが同一領域に属する場合には互いに結合され、すなわち、瞥見がＩＳＯ／ＳＡＥ規格に従って形成される。瞥見の時間は、その総和がとられ、図２８に示すような集団化アルゴリズムからの出力であるオン／オフロード前方信号と同期をとるカウンタに送出される。カウンタは、同一タスクに属する全ての瞥見及び瞥見の時間を登録し、新たなタスクごとにリセットされる。しかしながら、リセットが実行される前に、ログのために処理されるデータが送出される。この場合、タスクの開始及び終了を表すために時間差が用いられる。
【０１７２】
アルゴリズムは、ＶＤＭからのデータに対して実証され、実証の研究はビデオ録画を利用する。ビデオ録画は、ＩＳＯ１５００７−２及びＳＡＥ Ｊ−２３９６法に従って行われた。７人の被験者を用いて、４種類の量：１）タスク長；２）瞥見の頻度；３）瞥見の平均持続時間；及び４）瞥見の全時間が比較された。
【０１７３】
適切なアルゴリズム機能を満足するために視覚的に確認されたそれぞれの瞥見を用いながら立証をタスクごとに行った。少数の凝視は、良好に作用することが証明されるとともに実際に計算間違いのない回復アルゴリズムを用いて自動的に回復される。
【０１７４】
ピアソンプロダクト−ムーブメントは、全ての重要な測定の分析タイプ間で高い相関を表している。タスク長ｒ＝０．９９９、瞥見の頻度ｒ＝０．９９８、瞥見の平均の持続時間ｒ＝０．８１６及び瞥見の全持続時間ｒ＝０．９９５。これは、「自動的なドライバの視覚的な動作の測定」の結果と比較され、この場合、相関は、ｒ＝０．９９１，ｒ＝０．９９７，ｒ＝０．７３２及びｒ＝０．９９５である。図３０〜３３は、各タスクに対する平均及び標準偏差をプロットする。
【０１７５】
リアルタイムアルゴリズムは、ＶＤＭ−実証研究からの六つのビデオ録画された被験者に対して実証された。オフライン実証に用いられる被験者の一人は、ベースラインドライブがない（校正データなし）ために取り除かれた。
【０１７６】
三つの測定：１）瞥見の回数；２）瞥見の全時間及び３）瞥見の平均時間が比較された。
【０１７７】
各被験者の全運転は、アルゴリズムを通じて連続的に行われた。安全サイドのために、走行は、５分しか要求されないとしてもシステムを校正するために２０分の通常の車道（ベースライン）の運転で開始した。ピアゾンプロダクト−ムーブメントは、二つの測定：瞥見の数ｒ＝０．９２５及び瞥見の全体の時間ｒ＝０．９６４の分析タイプ間で高い相関を表した。しかしながら、瞥見の平均時間は、良好に相関しない。ｒ＝０．３０１。図３４〜３６は、各タスクに対する平均及び標準偏差をプロットする。
【０１７８】
立証の結果によれば、データ品質が最適レベルでなくてもアルゴリズムは著しく信頼性があり、例えば、アルゴリズムは、雑音レベル及び信号精度の変動に対して強固である。また、目の動きの規則を用いることによって、アルゴリズムは、信号中のほとんど消滅した凝視を検索することができる。
【０１７９】
分析方法間の相関は、強力である（ｒ＝０．８２）瞥見の平均持続時間を除く全ての測定に対して０．９９の領域（オフライン形態）で非常に高い。しかしながら、低い相関は、他の二つに基づく測定から予測される。
【０１８０】
予処理も良好に作用することが証明された。１５サンプルの中間値フィルタは、雑音及びまばたきを非常に効率よく除去する間に目のすばやい動きの開始／終了を保持した。
【０１８１】
二重ＶＴ−Ｉ，ＤＴ−Ｉ及び規則の組合せは、予想以上に作用することを証明した。眼球運動に対する物理的な規則と共同する二重ＶＴ−Ｉの精度及びＤＴ−Ｉの信頼性は、一時的なセンサの信用の降下及び高い雑音レベルに対して強固であるアルゴリズムを形成した。
【０１８２】
強固かつ信頼性のあるリアルタイムの瞥見検出を行うことができることが示された。シミュレーションは、二つの測定（瞥見の回数及び瞥見の全時間）の高い相関を明らかにした。しかしながら、瞥見の平均時間に対する相関は低かった（ｒ＝０．３０１）。注目すべきことは、リアルタイムアルゴリズムは、ミラーに向かう瞥見とラジオに対する瞥見とを区別することができず、全ての測定が幾分低いと予測される。リアルタイムアルゴリズムをオフライン形態と同程度に正確にすることができる。これは、被験者が車両内、例えば、インテリアミラー、サイドミラー、機器の群及びセンタースタックを最も一般的に見る対象物として識別することによって行われる。これら対象は、車両中に適切に分散し、したがって、互いに混同されない。さらに、これら対象の一つに対して初期段階を開始するためにこの特定の対象に対する最もあり得る領域として規定される領域で一つ又は二つの瞥見しかとるべきでない。最も一般的に見られる対象は、この誤りに最も寄与する対象であり、これらは、検出が最も容易な対象でもある。
【０１８３】
他のデータセットはビデオ録画されず又は他の任意の方法で分析されないので、それは、互いに相違するアルゴリズム部分、例えば、リアルタイム初期化のテストに対してのみ使用された。しかしながら、この作業は、このデータの分析に対するドアを開いた。
【０１８４】
ＩＳＯ１５００７−２規格及びＳＡＥ Ｊ−２３９６規格の規定及び測定に従って作用する強固なハイブリッドアルゴリズムが開発された。この方法は、ビデオ録画に比べて著しく速く、１時間のデータは、ビデオ録画で約１日を要し、それに対して、自動的に現在の雑音レベルに適合するアルゴリズムでは数分を要する。
【０１８５】
本発明の展開中、以下の達成が観察された。１）予処理中間値フィルタ長は、６０Ｈｚでサンプリングされたデータに対して１５サンプルに最適化された。２）２０サンプルの中間値フィルタが、雑音の多い信号部分に用いられ、この場合、目の規則によれば、凝視となるべきである。これは、凝視を検出するのに十分な信号を穏やかにすることができる。３）現在の雑音レベルに適合する二つの凝視／目のすばやい動きの検出アルゴリズム及び決定アルゴリズムの強固なハイブリッドが開発され、それは６０Ｈｚデータに調整される。４）眼球運動に対する物理的な規則は、スマートな決定及び制御アルゴリズムとして実現される。５）インタラクションの最小を要求する自動的かつ強固な集団化方法が、タスク分析に対して開発された。６）アルゴリズムのリアルタイム形態が開発され及び検証された。７）アルゴリズムのリアルタイム形態は、瞥見を「道路真っ直ぐ前方」のカテゴリー又は「他の」カテゴリーに分類する新規のフレームワークを用いる。８）ＩＳＯ／ＳＡＥの全ての測定が実現された。
【０１８６】
このテーマは、実際のオンロード環境でテストすべき眼球運動のデータを用いることができる複数の関心がある車内プロダクトアプリケーションに対してドアを開く。例えば、作業負荷評価、注意評価、眠気検出、適応インタフェース、適応警報等。人間工学の評価、ＨＭＩ研究、知覚的な作業負荷、注意散漫、眠気等の研究は全て、ここで規定する発明の潜在的に関心があるアプリケーションである。
【０１８７】
したがって、ドライバの精神状態に対する新たな途が開かれた。今日の環境において、ロードやセーブのようなデータを実行し、視覚的に区分を検査し、時折世界モデルを調整する少数のマニュアルステップが存在する。しかしながら、これらマニュアルタスクを自動化するとともに本発明に従ってそれを実行することは、当業者の理解の範囲内で十分考えられる。これは、カメラに直接日光が入射し、大きな領域に亘って凝視を散乱し、時々集団が消える場合に特に当てはまる。したがって、その解析ツールは、更に強固かつ正確になり、これらステップの一部はもはや必要でなく、バッチ処理が可能になるかもしれない。
【０１８８】
本発明は、できるだけ多くに利用できる情報をドライバの目から車両（及び研究者）に提供するために強固かつ知的に作業するリアルタイムアルゴリズムを有することを意図する。リアルタイムアルゴリズムは、複数の対象を強固かつ知的に分類することができる。世界モデル対象の現実世界に対するリアルタイムの適合によって、イベント及びデータをログする。関心がある一つのアプローチは、ターゲットエリアをＨＭＭ状態として実現することである。この統計的なアプローチを導入することによって、ターゲット分類を促進することができ、ターゲット領域の境界が更にフローティング状態になる。関心がある一つの考えは、これまでの凝視が外側に登録されたときに世界モデル領域が出現し又は凝視が他の対象から離間して登録されたときに動的な世界モデルが出現することである。世界モデルは、世界モデルを校正するために対象のこのヒストリを使用するとともに、知的な決定、例えば、対象の完全なタスク駆動識別を行うことができる。
【０１８９】
検出アルゴリズムに関して、他のセンサ情報を利用することができる。近年の車において、ＣＡＮバスは、ステアリング角や、ターンインディケータアクチュエーションや、車両速度や、所定のボタンが押されたか否かのようなフェールを追跡する際に注視方向を評価するのに有用であるセンサ信号が流れている。これは、交通状況についての情報を提供することもでき、したがって、区分パラメータを、田舎や、郊外や、都市の交通のような特定の交通状況に対して最適化する。ラージスケールの運転パターンを認識する更に有用なアプローチも完了した。他のＷＨＭフィルタを、道路から離れた凝視の開始における雑音を減少する更によい方法が存在するか否かを見つけ出すためにテストすることができ、この場合、回復アルゴリズムが用いられる。フィルタのフローラは大きくなるように思われる。
【０１９０】
アルゴリズムをサポートする方法の一つは、被験者の頭がしばしば少なくとも横の注視に対して目と同一方向に動くという事実である。このアプローチの欠点は、被験者の個別の差に起因することである。一部の被験者は、実質的には頭が動かないが、一部の被験者は常に動いている。それでも、これは、注視に雑音が多いときには区分を助長する適切な方法となりうる。
【０１９１】
リアルタイムアルゴリズムにおいて、次の６サンプルの予測によって、１００ｍｓで速度が増加する。目のすばやい動きの信号を、５点の２次式予測を用いることによって非常に小さい誤差で少なくとも数ポイントで予測することができる。速度は、リアルタイムアルゴリズムで最重要である。
【０１９２】
既に説明したことの観点から、これらアルゴリズムの良好な調整が将来継続される。既に進行中の開発の一つは、「視覚的な要求測定ツール」又は単に「ＶＤＭツール」と称されるアルゴリズムＧＵＩである。このプログラムの目的は、眼球運動の分析を所望する者の使用を容易にする分析ツールを形成することである。
【０１９３】
実行することができる方法と装置の両方を含む本発明の分析技術の多数の態様を開示した。分析の重要な特徴は、少なくとも部分的にドライバの眼球運動に基づき、評価がリアルタイムに基づいて行われる。
【技術分野】
【０００１】
この出願は、２００２年１０月１５日に出願されるとともに発明の名称が「ドライバの動きを分析する方法及び装置」である分割特許出願第６０／４１８，１７１号の利益を主張し、この開示は、ここに参照することによって組み込まれる。
【０００２】
本発明は、データの自動化された処理方法に関し、更に詳しくは、本発明は、知覚的及び視覚的な注意散漫のような観察された被験者についての特徴を推定するとともに作業負荷レベルを定量化するために頭及び目標追跡データを分析し及び利用する自動化された方法に関する。
【背景技術】
【０００３】
潜在的に危険な運転状態を形成するドライバの疲労、注意散漫、作業負荷及び他のドライバの状態に関連した意義深い継続中の研究がある。これは、全ての交通事故の約９５％がドライバの過失に起因するという驚くべき考察ではなく、ドライバの過失のうち、ドライバの不注意は、最も一般的な原因である。多数の研究は、眼球運動と更に高い知覚処理との間の関係を確立した。これらの研究は、一般に、眼球運動がある程度ドライバの知覚状態を反映していると主張している。複数の研究において、眼球運動は、ドライバの知覚的な注意レベルの直接的な基準として用いられ、そうでない場合には、精神的な作業負荷が用いられる。
【０００４】
ドライバが見ている場所を知ることは、一般に、車両事故、特に衝突を回避するために設計されたシステムに対する重要な入力因子として受け入れられる。ドライバが見ている場所を突き止めることによって、ヒューマンマシンインタラクション（ＨＭＩ）システムを最適化することができ、前方衝突警報（ＦＷＣ）のようなアクティブ安全機能を、ドライバの目の向き及び運動に基づいて適合させることができる。これを、多数の被験者のオフライン分析、オンラインの使用、又はＦＷＣ境界値のようなものを現在のドライバ状態に適合させうるリアルタイムアルゴリズムとして行うことができる。
【０００５】
既に説明したように、眼球運動の関心のある使用は、人間工学の分野及びＨＭＩの分野にある。例えば、そのような使用を、道路及び交通情報（ＲＴＩ）ディスプレイの最適な配置の決定と、同様に所定のＨＭＩが他に比べて少ない視覚的な要求を課すか否かを分析する際に行うことができる。これらのタイプの分析を行うことができ、それは、装置−ＨＭＩを使用しながら被験者の眼球運動を研究することによって行われている。しかしながら、現在の方法に関連する主な不都合は、分析を実行する適切に自動化したツールがほとんどないことであり、それが存在しない場合には、骨が折れる集中的なマニュアル分析が一般的に行われる。
【０００６】
現在の眼球運動の研究の重大な問題は、各研究チームが眼球運動信号を復号するためにそれ自体の定義及びソフトウェアを使用しているように思えることである。これによって、研究結果は、互いに比較するのが困難になっている。視覚的な測定及び概念を定義する基準を有することが望ましい。ＩＳＯ１５００７及びＳＡＥ Ｊ−２３９６は、そのような基準の例を構成し、それは、車両内の視覚的な要求の測定方法を規定し、瞥見の頻度や、瞥見の時間や、道路の前方シーンを外れた時間や、一見の持続時間のような目の特徴及びそれを取得する手順の定量的な規則を提供する。しかしながら、二つの基準は、記録されたビデオ技術に基づくものであり、時間を浪費するとともに著しく信用性のないフレームごとの人間の評価者の分析に依存する。種々の車両内情報並びにドライバ補助システム及び装置の数が増加するに従って、眼球運動及び他の知覚指標のあり得る関心も増加する。したがって、眼球運動に対して、標準化され、自動化され、かつ、しっかりした分析方法が存在する必要があり、それは、将来更に重要になる。
【０００７】
所定の指標追跡方法及び分析手順は、ＩＳＯ１５００７及びＳＡＥ Ｊ−２３９６の規定に対して統計的に確かめられている。システムのこれら物理的な部分を、侵入的でなく、かつ、あまり環境に依存せずに形成することができる。少なくとも一つの例は、ドライバの前方に配置された二つのカメラ（ステレオ状態）に基づく。注視ベクトル及び他の関心のある量をリアルタイムで演算するためにソフトウェアが使用され、それは、頭の位置及び回転（向き）、まばたき、まばたきの頻度、及び開眼度のようなものを表す。このソフトウェアの他の重要な特徴は、頭の位置／回転（向き）及び注視回転のリアルタイムの同時の演算であり、その特徴は、かつて利用されたものではない。また、それは、車両内で生じるような騒々しい環境の影響を受けない。特に、データ中の「雑音」は、可変の照明状態及び頭／注視運動のようなものに起因するデータ品質の劣化に影響を及ぼす重大な因子として見つけられている。
【０００８】
研究に関連した眼球運動追跡の領域で行われた以前の作業は、かなり徹底しているように思われる。それにもかかわらず、眼球運動追跡が更にしっかりとしたものになるとともに更に移動容易になるよう進歩するに従って、この技術領域は拡大し続ける。しかしながら、道路上における運転タスクに関連したドライバの特徴の研究は多くなく、今日まで、視覚的又は知覚的な注意散漫のような量を計算するためにリアルタイムに基づく眼球運動追跡データが利用されていない（図１６〜１８参照）。これは、少なくとも部分的には人的による区分けの時間浪費の性質及び／又は一般的に用いられる眼球運動追跡システムを持ち運びできないことに関連した技術的な困難の結果である。しかしながら、研究所の環境において導かれた研究において、多様なアルゴリズムが開発された。多数の互いに相違するアプローチ、例えば、ニューラルネットワーク、適応されるデジタルフィルタ、隠れマルコフモデル、最小平均二乗法、分散又は速度に基づく方法及び他の高次の微分法が用いられる。しかしながら、これらの方法のうちの多数は、サンプリング周波数のような眼球運動追跡装置の典型的な特徴に基づいており、他のそのようなシステムとともに良好に作業しない。
【０００９】
これまで、ドライバの一つ以上の特徴を測定するもの及びそれを測定する方法を規定する基準が存在しない。目のすばやい動き、固定状態及び目を閉じることを含む基本的な目の区分化を参照する基準が存在しない。基準は、瞥見のみに関連し、すなわち、視界を横切る急速な眼球運動の発生のみに関連する。
【００１０】
興味を引くことには、現在の方法は、円滑な眼球運動又は追従視を考慮していない、すなわち、通過の際に道路標識を見る（読む）ような運転経路から離れた目的のある瞥見を考慮しない。実際には、追跡する対象が存在しないことを保証することによって円滑な追従視が決して生じないように、多数の研究がなされている。現在の研究によるこのような回避は理解することができる。円滑な追従視を目のすばやい動き又は固定と区別するのは困難である。これらの特徴は文献中でまれにしか言及されない。これらの特徴が考察されなかった一つ以上の理由に関係なく、円滑な追従視は、ここに開示した発明に関連して考慮される。その理由は、そのような円滑な眼球運動が実際の運転状態でしばしば生じるからである。
【００１１】
車両の運転の基本は、車両を向かわせること、車両の経路及び向きを検出することと、潜在的な衝突のおそれが対象と出来事のうちのいずれからであるか検出することが不可欠である。このような道路のシーンで気が付くことは、車両の縦方向及び横方向の制御に必須である。道路の中央は、車両の縦方向軸線の前方で常に直線であるとは限らず、多かれ少なかれほとんど車道に存在する曲線に起因して中心線から外れることを認識すべきである。そうであるとしても、研究が示すところによれば、ドライバは、ほとんどの時間すなわち時間の８５〜９５％の時間道路上に目を向けながら（道路の湾曲に対する相当な変位を考察しながら）ほぼ真っ直ぐ前を向く傾向にある。さらに、賢明に話すと、道路の中央又は通路から離れるように瞥見する平均的なドライバは、車両を向ける際に妨害されずに予測しない出来事又は対象に出くわす可能性が低くなるよう時間が決められる。そうであるとしても、上記統計が示すところによれば、慎重なドライバでさえも、常に運転要求に注意を向けているわけでなく、運転の際に自身の作業負荷及び注意散漫の一貫して良好な管理人でもない。
【００１２】
運転は、大抵の場合において特に骨の折れる仕事ではない。例えば、大抵の各州間運転中、ドライバの知覚能力の５０％未満しか使用されないと見積もられる。このために、ドライバは、しばしば、携帯電話をかけ又はラジオのチャンネルを変えるという二次的なタスクを実行する。二次的なタスクが実行されると、時間を共有する瞥見の動作が示され、この場合、目が道路とタスクとの間で前後に移動する。このような瞥見の時間的な共有は、単一の視覚的な手段を有することを意味する。二次的なタスクが他方に代わって実行される間に道路がサンプリングされるといえる。衝突を引き起こす問題は、目が道路から離れて予測できない出来事又は対象に対する反応が著しく低下する間に予測できないことが生じうることである。
【００１３】
ここで表される新たな測定及び分析技術は、前方を真っ直ぐ又は車両経路追跡を見るこのような基本的かつ必須の運転中の眼球運動の挙動を利用する。その測定によって、視覚的に、認識的に又は手動で要求する、従来の測定と大いに関連することがわかった車両内タスクの実行の視覚的な影響の正確なオフライン評価を行う。その測定によって、通常の運転との比較を行うことができる。重要なことには、ここに示される測定は、この視覚的な影響のオンライン計算及び評価にも適しており、したがって、注意散漫及び作業負荷の検出に用いることができるリアルタイム測定を表す。
【発明の概要】
【００１４】
本発明の少なくとも一つの特徴は、頭及び／又は眼球運動追跡システムによって生成された眼球運動データの自動化された分析、人間の評価の十分な除去、並びに誤差及び雑音に対して強固なフィルタ処理され及び有効にされた特徴データの出力を容易にする実証された分析法及びアルゴリズムを提供する。好適には、これらの簡易化は、ＩＳＯ／ＳＡＥ並びに同様に受け入れられる現在及び将来の基準に従って行われる。
【００１５】
他の目的は、所定のアルゴリズムをリアルタイムの環境に適合させることである。他の目的は、視覚的な動作に基づくとともにドライバに再び集中させる実現されたシステムのために潜在的に不利益な状況を回避するようドライバを補助することができるドライバサポートを識別し及び提供することである。
【００１６】
一態様において、本発明は、ドライバの関心がある種々の対象及び領域を比較的離間して配置することができる車両に一つの標準的な基準を有する必要があることに注意を向ける。変化する大きさ、高さ及び動作のオペレータから取り出される頭／顔／指標追跡データを変換することができる（車両の内部の相対的な位置／場所／向き{この開示の文脈において、以後のスラッシュマーク「／」を、「及び／又は」関係を表すのに用いる。}によって規定される）基準の標準的なフレームは、ここで説明される複数の目的のために良好に処理するそのようなデータを「標準化する」という点で望ましい。
【００１７】
少なくとも一例において、ここに開示した発明を、車両のドライバの目及び／又は頭の向きの特徴を分析する方法として規定することができる。説明した分析技術又は処理は、典型的には時間に対してマークされたすなわちリアルタイムの格納追跡データに適用することができるものと考えられ、その性質から、データ流れの因子を、すなわち記述名「リアルタイム」データとして時間を考察する。いずれにせよ、本発明のこの例は、車両の乗客区画内のスペースに対するドライバの頭の位置の検出及び定量化を考察する。「基準点」ドライバの頭（又はその一部）の基準に基づく位置が設けられ、これによって、相対的な領域／ドライバの関心がある対象の位置の相互参照が可能になる。これらドライバの関心がある領域／対象を、車両の外側又は内側にすることができ、（１）音声制御や、スピードメータや、計器のような「もの」及び（２）「道路前方」や、互いに隣接する車線の車線変更クリアランススペースのような領域又は位置によって構成することができる。関心のある車両に対する追跡データを「標準化」するために、ドライバの頭の位置の定量化が、基準位置に対して正規化され、これによって、（１）ドライバの目の向きと（２）ドライバの頭の向きのうちのいずれか一方又は両方に関する検知された情報に基づく関心をドライバが示す一つ以上の位置を推定することができる。
【００１８】
追跡情報がドライバの頭と目の両方の特徴を利用できる場合、ドライバの目の向きに関する検知された情報を、ドライバの関心のある一つ以上の位置の推定の基礎として優先的に利用することができる。ドライバの目の向きに関する検知された情報の品質が、所定の注視信頼境界値より下に低下したとき、ドライバの関心がある位置の推定の基礎としてのドライバの頭の向きに関する検知された情報の切替が行われる。一例として、ドライバの目が閉じられ、すなわち、追跡を妨げるようにドライバの目が遮られるときに、この切替が必要となることがある。目が閉じられた状態は、例えば相対的な顔の特徴を識別／決定できないために一つ以上の追跡センサが目を追跡できない状況を含むことも考えられる。例えば、目−鼻−口の向き及び基準を推定することができない（一部の追跡システムは、データ値によって追跡され及び特徴付けられる目を配置するために顔に対する基準のフレームを確立することを要求する。）。顔が適切に参照されない場合、一部のセンサシステムは、例えば、目と区別が付かない被験者の鼻孔又は目のイメージを歪ませて（屈折して）、若しくは目のイメージを曖昧にするように装着される眼鏡（サングラス）を追跡することができない。閉じられた目の他の例は、許容される程度の変位を超えてドライバの頭の位置が目の前（方向の支配的な運転）方向から離間するときである。これらの場合において、ドライバの（両方の）目は、目の向きのデータを発生する追跡装置（センサ）から実質的には視覚的にブロックされる。
【００１９】
好適には、基準位置に対してドライバの頭の位置の定量化の規格化を達成するために、数学的な変換が利用される。オンボード装置において、ほぼリアルタイムで車両に基づくコンピュータを用いて数学的な変換を実行するのが好ましい。
【００２０】
本発明の一態様（形態）において、基準位置に対するドライバの関心がある領域／対象のあり得る位置が、予め規定される。これに関して、そのような予めの規定は、検知されたデータを読出し又は上書きすることができるテンプレートとしての役割を果たす。
【００２１】
また、ドライバの関心がある領域／対象のあり得る位置は、検知されたドライバの目の特徴に基づく基準位置に対して規定される。一態様において、基準位置に対するドライバの関心がある領域／対象のあり得る位置の規定を、注視頻度の検知されたドライバの目の特徴に基づいて確立することができる。ここでは、注視頻度の確立は、収集された注視密度の特徴の定量化に基づく。
【００２２】
本発明の一例において、（ドライバの関心がある複数の領域／対象を包囲するものとしても解釈するよう意図した）ドライバの関心がある領域／対象は、基準位置に対するドライバの関心がある領域／対象の予め規定され又は定義されたあり得る位置に対して検知されたドライバの目の特徴をマッピングすることによって、（例えば追跡データとして表される）ドライバの目の特徴に基づいて識別される。すなわち、ドライバの関心があるものとして推定された対象又は領域の識別を、既に定義したような予め規定されたテンプレートに対して観察データ（頭及び／又は眼球運動追跡データ）の比較を行い、又はドライバが潜在的に関心がある特定の対象及び／又は領域に対して相関された既知のデータセットに対する比較によって行うことができる。
【００２３】
典型的な例では、領域に基づくテンプレートが特定の車両に対して工夫され、ドライバが種々の位置／対象を見る相対的な頻度が識別される。例えば、典型的なドライバは、運転時間の約４０％の間にほぼ真っ直ぐ前方方向を見るとともに、運転時間の約２０％の間に速度計を含む計器群を見る。空間的にはこれら領域の中心が上下していることも知られている。したがって、（頭の向きと目（眼球）の向きのいずれに基づくかに関係なく）注視方向データを利用すると、道路中央及び設備一群の相対位置を、特定のドライバに対して推定することができる。一旦基準の基礎フレームが確立されると、特定の車両に対する現実への対応を推定することができ、基準フレームへの変換を決定することができる。さらに、例えば、典型的なドライバが通常の運転時間の約１０％の間にオーディオ制御を見ることが統計的に知られている場合、車両のオーディオ制御に対する瞥見を推定することもできる。一旦「学習時間」の期間が記録されると、ドライバの関心がある多数の領域／対象の相対位置を、対象／領域の任意の既知のマップ又は車両の基準フレームに依存しなくても統計に基づいて確認することができる。
【００２４】
他の態様において、本発明は、マッピングされたドライバの目の特徴に基づいた車両によって実行される予め規定された機能の適合を必然的に伴う。これは、ドライバが長時間道路から目を離したことを検出したときに注意散漫の警報を音声に適合させるのと同様に簡単であり、これによって、先行する車両の後方に維持された緩衝地帯が適応する巡回制御システムにより増大する。
【００２５】
特定の好適例において、ドライバの関心があるこれら領域／対象を、注視角度の測定によって専ら構成されるドライバの目の向きに関連する検知された情報に、部分的に又は専一に基づいて識別することができる。（例えば自動車の特定の製造者及び型番として識別することができる）少なくとも特定の車両内の基準フレームに関して、領域／対象の角度位置は、特に優れている。その理由は、距離を考察する必要がなくなるからである。すなわち、領域−位置が、あり得るドライバの関心がある領域／対象が統計的（確率的）に表すものとして識別される場合、領域が基準フレームから離間した距離を知る必要がある。これによって、規定された領域は、円錐が頂点から広がるように焦点から広がる。しかしながら、頂点からの角度は、別々のものとなる（図１１参照）。
【００２６】
本発明の変形例において、注視角度の大きさを、検知された眼球の向きに基づく注視方向のベクトルから取得する。これを、一つの眼球の観察から取得することができるが、好適には、両眼球から取り出した観察の一致点として取り出す。したがって、代表ベクトルは、被験者の鼻梁の領域から生じるとともに観察された平均角度に平行の向きのベクトルとして更に正確に表現される。
【００２７】
ここでは、本発明を特に眼球の角度に関連して説明しているが、頭の向きに基づいて行う同様な観察から関連ある同様でない結果を取得できる場合も、考慮されている。一般に、基準フレームの向きによって規定された基準フレームから目が向けられる方向とは逆の（頭に基づく）鼻が指す方向の使用として、比較を説明することができ、それは、検知された頭の向きに基づく基準起点位置に対するドライバの関心がある領域／対象のあり得る位置を規定する。
【００２８】
少なくとも一例において、ドライバの関心がある領域／対象のあり得る位置の規定が、顔の向く方向が推定される検知された頭の向きに基づいた基準起点位置に対して決定される。この場合、眼球追跡測定データによって、特定の頭の向き、したがって、顔の向く方向を、ドライバが所定の方向を見る頻度を表す密度マッピングを利用することによって確立することがでできる。
【００２９】
ドライバの関心がある対象／領域を、基準起点位置に対するドライバの関心がある領域／対象の予め規定／定義されたあり得る位置に対する代表マッピング（したがって、これを、直接的な角度データから果たすこともできる。）を相関することによって識別することができる。
【００３０】
頭の向きに基づく分析に注目すると、注視角度の大きさを、検知した頭の向きに基づく注視方向ベクトルから取得することができる。
【００３１】
他の例において、本発明は、ドライバの動作及び／又はドライバの状態を評価する際の比較に対して基準点（基準フレーム）を表す方法の形態をとる。この方法は、ドライバの検知された特徴に基づいた注視方向データの流れの収集（記録されたデータの流れの使用を含む。）と、それから表した密度パターンに基づいたドライバの関心があり得る少なくとも一つの領域に対応する注視方向に基づくパラメータの規定を具える（が、それに限定されるものではない。）。
【００３２】
既に説明したように、この方法は、（１）ドライバの目の向きと、（２）注視方向データを構成するドライバの頭の向きのうちの少なくとも一方の量の利用を伴う。
【００３３】
典型的な目の向いた方向の運転を表す領域は、収集された注視方向データから評価された高密度パターンに基づいて確立される。例えば、領域を、放物線のような２次元で規定された領域、又は、確立された基準フレームに対して典型的なドライバの目の位置にほぼ配置された頂点を有する基準フレームから放射状に広がる円錐のような３次元で規定された量として規定することができる。
【００３４】
収集された注視方向データは、確立された表現領域と比較され、これによって、比較に基づく注視の逸脱を識別する。同様な比較に基づいて、環境又はドライバの他の品質を推定することができる。例えば、注視方向データを、ドライバの知覚的な注意散漫の状態、ドライバの視覚的な注意散漫の状態及び／又はドライバの高い作業負荷の状態のようなものを識別し及び／又は測定するのに用いることができる。
【００３５】
さらに、その方法は、（出来事の発生が離散的であるか連続的であるかに応じて）確認された頻度又は持続時間に基づく運転タスクの実行に対するドライバへの影響の過酷さ（程度）を定量化する手段を考慮して提供し、注視の逸脱や、知覚的な注意散漫や、（３）視覚的な注意散漫や、（４）ドライバの高い作業負荷のような表示状態が、予め規定された時間間隔で検出される。
【００３６】
関心のある出来事を、プロセッサによる更なる分析のために記録し、格納し及び／又は送信することができる。それに対して、関心のある出来事のデータ表示を、リアルタイムに局部的に分析することができ、又は、リアルタイムで送信される場合には遠隔的に分析することができる。
【００３７】
そのような分析の少なくとも一例の利用は、過酷さの量が予め規定された境界値レベルを超えるときにドライバにフィードバックを提供することである。例えば、過度のレベルの視覚的な注意散漫（過度のわき見）又は（没頭しているときに前方をじっと見て、周囲を見るのが不十分である）知覚的な注意散漫が生じるときに、ドライバに警報することができる。
【００３８】
分析からの出力の他の利用は、過酷さの量が予め規定された苦しさの境界値レベルを超えるときに車両によって実行される予め規定された性能に適合することである。一例では、適応する巡回制御レベルによって、ドライバが注意散漫又は不注意になったときに前方の車両との間に更なるスペースを設ける。
【００３９】
収集された注視方向データの流れを分析する特定の有利なモードは、一連のデータを横切る予め設定された期間の第１の移動時間窓を利用し（統計分析分野の当業者には周知の分析ツール）、ドライバの時間共有動作の発生を表す第１の移動時間窓内の特徴を検出する。一例は、移動する９０秒の窓内の所定のデータの平均をとる。窓が一連のデータに沿って進行するので、新たなデータが考察に加えられ、最も古いデータが放棄される（時間に基づく等量のnew-in及びold-out）。
【００４０】
このプロセスを、ドライバの時間共有動作の境界値を超えて生じる頻度に基づくドライバの高い作業負荷の期間を識別するのに用いる。検出した発生の影響のある窓を除去するために、ドライバの時間共有動作の発生の中断を検出する際に、第１移動時間窓のリフレッシュメント（正常に位置合せ又は回復）が生じる。このようにして、検出又は分析後に発生の影響を最小にし、これによって、システムは、正常からの次の出発の準備をする。
【００４１】
後に詳細に説明するように、眼球の動きの複数の特徴を、観察された目の活動に基づいて識別することができる。非当業者によって容易に認識される一部の共通の特徴は、まばたき及び瞥見である。非当業者によって容易に認識できないことは、瞥見のようなものが目のすばやい動きや、視線固定や、移り変わりのような既知の構成する目の動きにそれほど基づかずに特徴付けられ又は識別されるということであり、その各々は、測定可能な規定された特性を有する。
【００４２】
他の例において、本発明は、眼球運動のデータの自動化された分析の方法の形態をとり、それは、分類規則をデータに適用することによってコンピュータに基づくプロセッサを用いた被験者で観察される眼球運動を表現するデータの処理と、これによって、被験者によって経験された少なくとも視覚的な固定の識別とを有する。これらの規則及び特徴を、後に詳細に検討する。識別された固定に関連する注視方向の情報の分析も行われ、これによって、現在分析されているデータ収集の期間中に被験者が視覚的に固定した方向を表すデータを作り上げる。ここに記載している例において、被験者は、車両のドライバに限定されず、他の設定で関心のある被験者とすることができることを理解すべきである。運転環境外の設定の少なくとも一例は、互いに相違する位置に配置された製品表示が（例えばビデオディスプレイのバンク上の）テスト被験者に対して露出されるテストマーケッティングの分野であり、注意を払ったものを識別することができる。観察中に被験者の知覚によって生じた所定の影響を、所定の追跡可能な目の活動から確定することができる。例えば、どれくらいの長さの瞥見が生じたかが決定され、それによって、最初の知覚対象によって生じた相対的な関心の表示を提供することができる。
【００４３】
好適例において、適用された分類規則は、少なくとも固定及び移り変わりを規定する基準を具え、更に好適には、目のすばやい動きを規定する基準を提供する分類規則は、付加的に利用される。
【００４４】
データは、少なくとも部分的に固定の注視方向に基づいて、範囲が定められたデータセットに分離され、範囲が定められたデータセットの各々は、データ収集の期間中に存在する被験者の関心がある領域／対象を表す。
【００４５】
他の態様において、瞥見は、少なくとも一つの瞥見を規定する規則をデータに適用することによって識別され、識別された瞥見の各々は、少なくとも一つの識別された固定を含む。本発明のこの態様において、瞥見を規定する規則は、瞥見の持続時間、瞥見の頻度、瞥見の全体的な時間及び全タスク時間を有する特徴のうちの少なくとも一つに基づく。
【００４６】
他の態様において、一つの瞥見のセットの相対密度が、それ以外の少なくとも一つの瞥見のセットとの比較で査定され、それに基づいて、この方法は、比較された瞥見のセットの表示された被験者の関心がある領域／対象を識別する。
【００４７】
同様に、本発明の方法は、複数の瞥見のセットから少なくとも一つの瞥見のセットの相対密度の評価を意図し、眼球運動データが収集されたタイプの設定に関連した既知の相対密度に対する評価相対密度のマッピングに基づいて、比較された瞥見のセットの被験者の関心がある表示された領域／対象を識別する。例えば、通常の運転状態中にドライバの関心がある所定の対象又は領域の既知の存在期間の例示的な割合を用いて、これら対象又は領域を、収集したデータから識別することができる。
【００４８】
他の態様において、空間的に既知の設定で観察される眼球運動のデータ表示から表された少なくとも二つの瞥見のセットの相対密度が評価され、比較された二つの瞥見のセットの各々の被験者の関心がある表示された領域／対象は、それから確認される。それで、被験者の関心がある表示された領域／対象の位置は、この既知の設定から確認され、これによって、既知の設定に対する基準フレームを確立する。その理由は、推定された位置を、対象／領域の既知の位置にマッピングし又は上書きすることができるからである。
【００４９】
しかしながら、特に好適例においては、被験者が車両のドライバであり、瞥見のデータセットの少なくとも一つの密度に基づいて、目を前に向けた通常のドライバの目の向きが推定される。
【００５０】
車両のドライバが被験者である本発明の他の態様は、複数の分析プロトコルの利用を考慮し、その選択は、処理されたデータセットに関連した一般的な雑音特性に依存する。
【００５１】
一つの展開において、予め設定された厳格な第１のデータフィルタが、車両のドライバに観察される眼球運動のデータ表示を備える入力データ流れに適用される。コンピュータに基づくプロセッサが利用され、入力データ流れに対応する第１のフィルタ処理されたデータ流れが、プロセッサから出力される（この対応の概念を、各出力値が入力値に対応するものとすることができ、出力値が入力値から取得される。）。出力され第１のフィルタ処理されたデータ流れの品質は、第１の承認規則を適用することによって査定され、第１の承認規則をパスする第１のフィルタ処理されたデータ流れは、出力され、承認された第１のデータ流れを構成する。
【００５２】
他の展開において、第２のデータフィルタが、コンピュータに基づくプロセッサを利用する第１のデータフィルタよりも厳格（データに対して更に円滑）であるデータの入力流れに適用され、データの入力流れからの共通の起源を通じた第１のフィルタ処理されたデータ流れに対応する第２のフィルタ処理されたデータ流れが、プロセッサから出力される（再度、同一入力データ値からの演算に基づく対応／比較）。出力され第２のフィルタ処理されたデータ流れの品質は、第２の承認規則を適用することによって査定され、第２の承認規則をパスする出力された第２のフィルタ処理されたデータ流れは、出力され、承認された第２のデータ流れを構成する。
【００５３】
二つの承認されたデータ流れから、承認された第１のデータ流れの全体からなる収集的な承認されたデータ流れが構成され、収集的な承認されたデータ流れは、出力され第１のフィルタ処理されたデータ流れの承認されていない部分に対応する承認された第２のデータ流れの部分によって構成される。
【００５４】
少なくとも一例において、第１及び第２の承認された規則は同一であり、他の例において、第１及び第２の承認された規則は、同一基準に基づくが、同一の規則でなくてもよい。
【００５５】
他の態様において、その方法は、（１）群の他のメンバーに比べて低雑音成分の目及びまぶたの動きのデータに最適な速度に基づく二重境界値プロトコル、（２）群の他のメンバーに比べて中間雑音成分の目及びまぶたの動きのデータに最適な距離に基づく拡散スペーシングプロトコル、並びに（３）群の他のメンバーに比べて高雑音成分の目及びまぶたの動きのデータに最適な目の特徴に基づく規則に適合したプロトコルからなる群から複数を構成する少なくとも二つの分析プロトコルを選択する。
【００５６】
関連の態様において、所定のデータセットに対するプロトコルの選択は、データセットの検出された雑音レベルに依存して三つのプロトコルのうちの一つに片寄る。他の態様において、規則に適合したプロトコルは、視線固定と目のすばやい動きとの間の区別において以下の基準のうちの一つ以上を考察する：（１）固定期間は１５０ｍｓを超える必要がある。（２）目のすばやい動きの期間は２００ｍｓを超えてはいけなく、目のすばやい動きが、二つの相違する場所で開始し及び終了する。
【００５７】
他の観点で、眼球運動を表すデータの品質は、複数の分析プロトコル間の各分析プロトコルの相対的な利用に基づいて評価される。代わりに、又はそれに関連して、品質の評価を、あらかじめ規定された期間に亘る複数の分析プロトコルのうちの各分析プロトコルの相対的な利用を時間に基づいて考察することによって行うことができる。
【００５８】
既に説明したように、収集されたドライバの目の注視のデータ流れの分析を、予め規定された期間の流れが横切る第１の時間窓を利用することによって行うことができるが、この場合、データ流れの一部の正確性を鈍らせる人為的作為が検出される。この場合、データ流れを同時に横切るとともに人為的作為に出くわす際に高フィルタ処理されたデータを収集データから発生する第２の移動時間窓に対する再分類を行う。データ流れが横切る間に予め規定された品質の境界値レベルを超える検出されたデータの品質の低下を処理するために、同様なプロセスが予め規定される。この場合、同時にデータ流れを横切るとともに、データの品質の低下が予め規定された品質の境界値レベルを超える際に高次フィルタ処理されたデータを収集データから発生する第２の移動時間窓に対する再分類を再び行う。次に、予め規定された品質の境界値レベル内にあるデータの質の低下が検出されると、第１の移動時間窓に戻る。
【図面の簡単な説明】
【００５９】
【図１】オフラインハイブリッドアルゴリズムの線形図である。
【図２】オンラインハイブリッドアルゴリズムの線形図である。
【図３】視線固定及び目のすばやい動きを規定する境界値規則を示すグラフである。
【図４】信号雑音量に基づく分析ツールの選択を示す線形図である。
【図５】集団又は実際の密度に基づく被験者の関心がある二つの領域／対象を示すグラフである。
【図６】細かい目のすばやい動き、ドリフト及び震えを示す二つの眼球運動の詳細のグラフである。
【図７】眼球運動サンプルの互いに相違する成分の特徴のグラフ表示である。
【図８】複数の視線固定及び目のすばやい動きのグラフ表示である。
【図９】瞥見を構成する眼球運動の成分を示す。
【図１０】実際の頭の位置の基準フレームへの変換を示す図である。
【図１１】注視方向の測定を示す略図である。
【図１２】道路中央のパーセント又はピークを識別する典型的なデイクラスタ又は密度収集のグラフ表示をいろいろと説明する。
【図１３】道路中央のパーセント又はピークを識別する典型的なデイクラスタ又は密度収集のグラフ表示をいろいろと説明する。
【図１４】道路中央のパーセント又はピークを識別する典型的なデイクラスタ又は密度収集のグラフ表示をいろいろと説明する。
【図１５】道路中央のパーセント又はピークを識別する典型的なデイクラスタ又は密度収集のグラフ表示をいろいろと説明する。
【図１６】種々の車内タスクの相対的な影響を測定する道路中央の使用パーセントを示すグラフである。
【図１７】注意散漫の他の測定に関連して示す道路中央の絶対パーセントを示すグラフである。
【図１８】互いに相違する時間境界値に対する道路中央から離れた長い瞥見のパーセントを示すグラフである。
【図１９】二つの「ステレオ」追跡カメラ又はモニタが存在する場合の計器盤に向かう車両中の斜視図である。
【図２０】単一の追跡カメラ又はモニタが存在する場合の計器盤に向かう車両中の斜視図である。
【図２１】補間されたまばたきを有する注視水平信号のグラフである。
【図２２】まばたきに起因する三つの下降を示す水平注視のグラフである。
【図２３】境界値に対する目の動きの速度を示すグラフである。
【図２４】区分された注視信号を示すグラフである。
【図２５】回復した視線固定を示すグラフである。
【図２６】道路前方のシーンから離れた複数の瞥見を示すグラフである。
【図２７】関心がある二つの領域／対象を示す滞在ヒストグラムである。
【図２８】方向データのリアルタイム分析に影響を及ぼす代案配置の線形図である。
【図２９】道路前方のシーンの境界の確立を示すグラフである。
【図３０】ドライバによって行われる典型的な瞥見の態様の種々の成分を示すグラフである。
【図３１】ドライバによって行われる典型的な瞥見の態様の種々の成分を示すグラフである。
【図３２】ドライバによって行われる典型的な瞥見の態様の種々の成分を示すグラフである。
【図３３】ドライバによって行われる典型的な瞥見の態様の種々の成分を示すグラフである。
【図３４】瞥見のデータの所定の統計的な分析を示すグラフである。
【図３５】瞥見のデータの所定の統計的な分析を示すグラフである。
【図３６】瞥見のデータの所定の統計的な分析を示すグラフである。
【発明を実施するための形態】
【００６０】
ここに開示した発明に注目する実際のデータ処理技術を説明する前に、眼球運動の基本的な特徴に関する一部の基本情報を提供するとともに、当業者よりレベルが下の読者の処理を容易にする結果として頭及び／又は目の動き（位置の特徴及び動きの特徴）を表すデータを検知し、定量化し、場合によっては記録することができる典型的な追跡システムについての一部の一般的な情報を提供する。
【００６１】
少なくとも眼球運動に基づくシステムに関連して、眼球運動のデータを収集するのに用いられる現在利用できる検知システムは、幾分雑音があるととともに人為的作為を有する「未補正の」眼球運動信号を生じる。この開示の残りを読むと明らかなように、典型的には、頭の向きの追跡データを、近似として利用することができ、したがって、しばしば指標追跡データに対する有効な代用として利用することができる。指標追跡データは、明らかにほとんど常に被験者が見ている場所の更に正確な表示（頭上の追跡データ）を提供するが、本発明の開示で主に考察するのは目の追跡である。
【００６２】
本発明のアルゴリズムは、この情報を処理し、瞥見の頻度の量（予め規定された期間中にターゲット領域に向けられる瞥見の回数）や、単一の瞥見の持続時間の量や、全体的な瞥見の時間の量や、全体的なタスク時間の量のようなものを表す出力を生成する。アルゴリズムは、互いに相違する警報、例えば、ドライバが道路に視線を戻さず２秒を超えて携帯電話を見る場合にトリガをかけるよう規定された規則を実施する。正確なトリガ規則の規定は、継続的に開発下であるリアルタイムシステムでのタイミングの生成である。ここに開示した発明によってヒューマンマシンインタフェース（ＨＭＩ）も考察され、そのようなＨＭＩ概念の例は、２００３年２月１９日に出願された発明の名称が「ドライバの注意負荷を監視し及び管理するシステム及び方法」である米国特許出願第１０／２４８，７９８号に完全に記載されており、この開示を、ここに組み込む。ここでは、これらの警報を表す方法の概念を示す。
【００６３】
ここに開示した発明の態様は、互いに相違する二つの基本となるアルゴリズムを有し、そのうちの一つは、オフラインポストデータ収集処理であり、他の一つは、（定量化された特徴が実行されるときに）データ収集とほぼ同時に生じるリアルタイム処理である。これらは同様に基本となるが、リアルタイムアルゴリズムは、初期化手順を有し、オフライン形態の一部を有しない。オフライン分析の主目的及び利点は、記録され又は格納された特徴データの処理である。リアルタイム分析の主目的は、直ちに収集データを処理するとともに、観察された被験者に対するフィードバックのようなものを同時に利用し又は観察の被験者が車両のドライバであるときの車両システムのような関連のシステムに適合することである。
【００６４】
ドライバに関連して、オフラインアルゴリズムに対する目的の一つは、ユニットが運転タスクに課す視覚的な要求がどの程度であるかを決定するために（運転中の）ラジオ局の変更やＲＴＩシステムの使用のようなタスクから眼球運動のデータを分析することである。リアルタイムアルゴリズムの目的は、ドライバが道路を見る程度を決定することである。本発明の目的の一つは、オフタイムアルゴリズムからの結果と同様な結果を得ることができるようにリアルタイムアルゴリズムに適合し又はそれを可能にすることである。
【００６５】
眼球運動を、一般に二つのカテゴリー：目のすばやい動き及び視線固定に分類することができる。視線固定は、目が何か（例えばこのページの文字）に固定されるときに生じる。このことは、固定が行われる一つ以上のものの視覚的なイメージとして解釈される情報を脳が吸収できるときにも生じる。それに対して、目のすばやい動きは、視線固定間の移動であり、すなわち、関連のポイントの変化である。目のすばやい動きは、（大きな振幅に対して７００°／ｓのピーク速度で）非常に迅速であり、観察者の脳はこれらの事態の認識を抑制する。その理由は、網膜を横切る光が非常に急速であるために脳による解釈ができないからである。
【００６６】
何か、例えば、移動電話機に対する瞥見は、予め規定されたターゲット領域（例えば、道路）から離れる目のすばやい動き、瞥見の開始及び新たなターゲット領域（例えば、移動電話機）への固定の組合せである。瞥見は、第２のターゲット領域から離れる新たな目のすばやい動きが開始されるときに終了する。同一ターゲット領域内の連続的な目のすばやい動き及び視線固定は、同一の瞥見の一部として規定される。
【００６７】
本発明の目的及び好適な態様のいくつかは、次のように要約される。（１）単なる速度に基づくアルゴリズム及び分散に基づくアルゴリズムの組合せのレベルであっても、ハイブリッドアルゴリズムは、特に目の規則と組み合わせたときに新しい。以後、目の物理的な能力は、眼球運動を区分する際に考慮されない。（２）道路の中央領域に局限する考え及び手順は、単に「山」の平均値を指定するよりも更に詳細な中心としての密度関数のピークを用いる。（３）全体としてのアルゴリズム及び互いに相違するアルゴリズム部が他のものと共同する方法。ドライバの注意深さの量としての道路中央パーセント（ＰＲＣ）及び道路中央パーセントの絶対値（Ａ−ＰＲＣ）の概念。アルゴリズムは、上記量を生成することを意図するだけでなく、ＩＳＯ１５００７−２で定義された全ての量及びＳＡＥ Ｊ−２３９６の量を決定するのに用いることもできる。
【００６８】
眼球運動の概念は十分研究され、一般に、目の動きは、目のすばやい動き、細かい目のすばやい動き、円滑な追跡、両眼転導、震え、ドリフト等として例示することができる複数の互いに相違するカテゴリーに分類することができる。しかしながら、本発明の目的のために、目の動きを、基本的な二つのカテゴリー：目のすばやい動き及び視線固定に分類する。本発明の概念は、目のすばやい動きでない全てのデータポイントは固定である。これは、後に説明する固定の概念において、運転中に頻繁に生じる円滑な追跡を含む。
【００６９】
視線固定は、目が情報を吸収する情報領域に亘る休止として定義される。有効な視線固定となるために、休止は少なくとも約１５０ｍｓの間持続する必要があり、同様なことが、人間の脳が情報を利用する必要がある時間について当てはまる。「視線固定」と言及するが、目は動いたままであり、領域に「視線固定」されている間にドリフト、震え及び細かい目のすばやい動きのような細かい動きを行う。これらの小さい動きは、非常に低い振幅であり、視線固定を規定するものの一部である。図６は、ドリフト、震え及び細かい目のすばやい動きを有する典型的な視線固定を表す。ここでは、被験者の二つの目の活動がグラフ化され、水平軸に時間をとるとともに、垂直軸に距離をとる。これらの動きは、幸いなことには、非常に低速（典型的には４及び２００ｓ−１のオーダ）又は非常に小さく（典型的には２０〜４０インチのオーダ）なり、これらのタイプのアプリケーションで用いられる典型的な装置による検出を防止する。これは有利である。その理由は、これらの変位が雑音として見られるからである。
【００７０】
他の大きな運動であるが副次的なすばやい目の動きの速度を伴うものは、円滑な追跡と称される。これらは、視線固定のサブカテゴリーである、すなわち、観察者が動作中である間の移動ターゲット上の視線固定又は静止（又は移動）対象上の視線固定である。ターゲットを追跡するとき、目は、眼窩をターゲット上にもたらす小さな目のすばやい動きを用い、その後、ターゲットを追跡する低速で連続的な動きを実行し、それはその速度に依存する。大まかに８０〜１６０°／ｓの範囲にある速度を有する低速な動きは、円滑な追跡を構成する。この動作を図７に示し、この場合、被験者は、曲線（ａ）の曲がりくねった経路上を動くポイントを追跡する。曲線（ｅ）は、目のすばやい動き及び円滑な追跡を有する全体的な眼球運動を表す。曲線（ｅｓａ）は、円滑な追跡の除去を表し、（ｅｓｍ）は、目のすばやい動きが除かれた曲線を示す。一般的に、全体的な追跡動作は、円滑な追跡と称され、漂流のある視線固定と考えることができる。このために、このタイプの動作は、ここでは本発明に対して、この運動中に情報が処理されるとともに目のすばやい動きが非常に小さいために、利用できる眼球運動追跡システムで検出することができないという事実に起因する固定と称される。
【００７１】
目のすばやい動きは、人の視界が二つのポイント間で変化する際に生じる急速な眼球運動である。目のすばやい動きは、振幅、持続時間、速度及び方向において変化する。振幅が約５°より大きい目のすばやい動きの持続時間は、約２０〜３０ｍｓであり、その後、度を追加する度に２ミリ秒を追加することができる。ピーク速度は、典型的には０．１°未満の振幅に対する約１０°／秒から大きな振幅に対する７００°／秒までの範囲にある。
【００７２】
あるポイントから他のポイントに対する典型的な目のすばやい動きを、仮想的に雑音のない良好な追跡測定の一例として図８に示す。目のすばやい動きの一例を、ポイント（Ａ）の開始及びポイント（Ｂ）の終了で示す。図示した眼球運動は、１軸の周辺の動きからなり、すなわち、目のすばやい動きは、水平面で測定されていない。
【００７３】
目のすばやい動きの間、人間の脳は、一般的に情報を認知しない。その理由は、光が網膜上を非常に速く通過するからである。しかしながら、実際には、一部の情報が目のすばやい動きの間に処理されていることを知るべきである。認識された知覚は、観察された対象が同一速度で目と同一方向に移動する場合にのみ生じる。情報の一般的な不足は、脳に振幅及び持続時間の計算を前もって行うことを強いる。このプロセスにおける不正確さ及び雑音は、ほとんど常にある程度のオーダの通り過ぎ又は未到達を生じる。これは、ドリフト又は以前より著しく短い新たな目のすばやい動きによって補正され、したがって、更に正確になる。ここで、追跡の長い垂直部分（Ａ）によって表された目のすばやい動きの未到達は、補正された小さい目のすばやい動きを表す短い垂直部分（Ｂ）によって補正される。そのような補正された目のすばやい動きは、しばしば、既知の目の追跡機構を用いて検出不可能である程度の低い振幅となり、代わって、追加された雑音として考察される。
【００７４】
これら３種類の動きとは別に、一般的にまばたきと称される違う種類の視覚的な動作がある。人間は、通常２秒に約１回まばたきをし、この特徴は、注視評価において衝撃的なインパクトを有する。まばたき中に実際に目を閉じる間、注視を測定することができず、まばたきが目のすばやい動きの間と視線固定の間の両方で生じるので、追跡機構に対して再び可視になったときに目の見る場所を予測するのが困難である。幸いにも、まばたきは非常に迅速であり、全体のまばたきに対して２００ｍｓのオーダである。これは、目が全体として約１００〜１５０ｍｓしか閉じられないことを意味する。被験者は、一般にまばたきの発生を全く気付かないので、本発明は、目のすばやい動きとまばたきの両方の認識を抑制することによって、更に緊密で安定した現実認識を達成する。
【００７５】
目の特性は、区分化に有利に作用し、これは、分類の規則を提供する目の移動の物理的な境界が存在することを意味する。例えば、一方の目のすばやい動きは、約１８０ｍｓ未満の間隔で他方の目のすばやい動きについていくことができず、これは、２００ｍｓより長く継続する目のすばやい動きがありえないことを意味する。２００ｍｓの目のまばたきは、全く一般的でない約９０°の振幅をもつことになる。さらに、約２２０ｍｓより長い任意の測定された目のすばやい動きは、二つの目のすばやい動き及びその間の一つの視線固定となりうる。他の関心のあることは、既に説明したまばたきの認識の被験者の抑制である。被験者は、一般的にまばたきの発生に気が付かず、したがって、目の動きがまばたきの発生によって影響を及ぼされないので、一般的には分析から除外される。本発明に関連する目の物理的な境界を、以下のように構成する。少なくとも約１５０ｍｓ継続する固定；一方の目のすばやい動きが約１８０ｍｓ未満の間隔で他方の目のすばやい動きについていけない；人間の視覚的な領域が制限される；固定を空間的に大きくすることができる（円滑な追跡）；目のすばやい動きは、視覚中枢によって抑制される；まばたきは、視覚中枢によって抑制される。
【００７６】
車両のドライバに対して、次のような更なる制約があり得る。特にタスク中でない運転中に車内の天井又は床に固定を見つけることがありえない；被験者の注意（及び固定）の重大な割合は道路の中央で見つけられる傾向があり、円滑な追跡速度は低速から中速である。一例として、近づく車及び道路標識は、大抵の評価された追跡のきっかけとなる。本発明において、これらの境界は、ドライバの眼球運動の区分の一部として用いることができる枠組みを規定するのに用いられる。
【００７７】
本発明によれば、目の測定は、二つの群：測定に基づく瞥見及び測定に基づく瞥見なしに分類される。これら二つの群は、視線固定、目のすばやい動き及び閉眼が識別される基本的な目の区分の結果によって構成される。
【００７８】
既に説明したように、異なる研究者は、データを分析するとともに視線固定／目のすばやい動きを規定する互いに相違する方法を有する。一様な規則及び基準点を有することは重要であり、その結果、そのような全ての分析方法を、一般的に受け入れられる国際的な基準に基づかせることができる。この理由は、この作業の測定がＩＳＯ１５００７−２規格及びＳＡＥ Ｊ−２３９６規格の規定に基づくからである。これらは、ドライバの視覚的な動作の測定に関連した定義及びメートル法並びに実際の評価の適切な引き出しを保証する手順を標準化する。ＳＡＥの文献は、ＩＳＯ規格の複数の項目に依存し、その各々は互いに補完するように働く。
【００７９】
本発明の説明の中で、シミュレートされた環境及び道路上の試行の両方に適切な装置及び手順を確認する。しかしながら、両方の規格（ＳＡＥ及びＩＳＯ）は、視線固定及び目のすばやい動きの手動（オフライン）分類による人間の評価者によって実行される、例えばカメラ及びレコーダを利用するビデオ技術に基づく。手動のビデオ録画は、時間を浪費するものであり、潜在的に信頼性のないタスクである。したがって、本発明に基づくような自動化された方法が好ましい。ＩＳＯ／ＳＡＥタイプの測定の組込み及び典型的な信頼性は、眼球運動を手動で又は自動的に分類する任意のシステムの使用に依存する。
【００８０】
次に、基本的な目の区分の三つの小区分を、２群の測定とともに説明する。基本的な目の区分は、眼球運動を、利用できる指標追跡システムで測定可能な最小量に分割する。これら眼球運動の「かたまり」は、全ての瞥見に基づく統計的な測定が取得される基礎に基づく。要約すると、それは、（１）関心のある領域から他の領域を見るときに生じる急速な動きを規定する目のすばやい動きと、（２）視線固定が行われるターゲットのイメージが所定の期間中、眼窩にあるように目の位置の整列又は安定を指定する固定と、（３）短時間の閉眼はまばたきと称され、長時間の閉眼は眠気と特徴付けることができる閉眼とを含む。
【００８１】
ＩＳＯ／ＳＡＥの文献で利用される測定を理解するために、瞥見の定義を知ることが重要であり、それは、ＳＡＥ規格によれば、目が新たな領域に向くまでのターゲット領域への一連の凝視として考えられる。例えば、ドライバが、最初に（道路上で）真っ直ぐ前方を見た後に、最初にラジオのディスプレイを凝視し、次に音量調節を凝視すると、運転者は、（最初の真っ直ぐ前方視をカウントしない）二つの凝視及び二つの目のすばやい動きを行い、その全てが一つの瞥見を構成する。瞥見は、道路から離れる最初の目のすばやい動き（この目のすばやい動きは遷移と称される。）を始める際に開始され、ラジオへの最後の凝視が終わる際に終了する。図９は、典型的なドライバの３回続いた瞥見の構成部分を示すグラフを提供する。ここでは、凝視、目のすばやい動き及び遷移が、複数の瞥見の成分として定量化される。
【００８２】
全ての瞥見に基づく量は、これらの定義から取得され、前段で説明した「かたまり」を構成する眼球運動の「ハイレベル」の説明と考えられる。これらの量は、時間共有、作業負荷、視覚的な注意の要求等の互いに相違する特性を反映する。ＩＳＯプロトコル及びＳＡＥプロトコルで定義され及び利用される量は次の通りである。（１）瞥見の方向がターゲットに向かって移動するときから離間するときまでとして定義される瞥見持続時間。幾分長い持続時間は、その領域における高い作業負荷の要求を表す。（２）予め規定されたサンプル期間内又は予め規定されたタスク中のターゲットに対する瞥見の回数として規定される瞥見の頻度。この場合、瞥見の各々は、少なくとも１回の瞥見によって互いに相違するターゲットに区分される。この量を、瞥見の持続時間とともに考察すべきである。その理由は、少ない一見の頻度が長い一見の持続時間に関連されることがあるからである。（３）ターゲットに関連した全体の瞥見の時間として規定された全体の瞥見の時間。これは、その位置によって課せられた視覚的な要求の量を提供する。（４）所定の位置に対する瞥見の確率として定義された瞥見の確率。この量は、ターゲットに関連した相対的な注意要求を反映する。相互に排他的かつ網羅的なターゲットのセットに亘って計算された場合、そのような分布を、統計的な比較を行うのに用いることができる。（５）全体の瞥見の時間から瞥見を開始する目のすばやい動きを差し引いたものとして定義された滞留時間。（６）互いに相違する二つの位置の間で瞥見遷移の確率として定義されるリンク値確率。この量は、互いに相違するターゲット領域間で時間を共有する注意の必要性を反映する。（７）道路の前方のシーンに対する連続的な二つの瞥見の間の全時間として定義された道路の前方のシーンを外れた時間（「道路の前方のシーン」は、後方の視界及びサイドミラーを除外する。）。それは、瞥見によって道路のターゲットでないものを切り離す。（８）互いに相違する、すなわち、瞥見を開始する目のすばやい動きに対する一つの規定されたターゲット位置からの目の凝視位置の変化として定義された遷移。（９）ターゲット位置の凝視の終了ともう一つのターゲット位置の新たな凝視の開始との間の持続時間として定義された遷移時間。遷移中の新たな情報がほとんど又は全く存在しないので、増大する遷移時間は、新たなドライバ情報に対する利用可能性が減少することを反映する。（１０）タスク中の最初の瞥見の開始ポイントから最後の瞥見の終了までの時間として規定されたタスクの全時間として定義された全タスク時間。
【００８３】
量に基づく瞥見なしは、ＩＳＯ／ＳＡＥ規格で定義された量以外の計算しうる他の全ての量である。次の二つの例を含む。（１）互いに相違する集団、例えば、道路の前方のシーン及び携帯電話内の凝視位置の平均値及び標準偏差。（２）互いに相違する集団及び／又は互いに相違するタスク内の凝視滞留時間の平均値及び標準偏差。これらのタイプの量は、例えば、ドライバが数学的なタスクを伴う場合に生じるような高い知識的な負荷期間中の運転に比べた通常の運転を分析するときに関係してくる。
【００８４】
本発明の一般的な目的は、輸送情報及び制御システムに対するドライバの視覚的な動作を測定するＩＳＯ１５００７−２法及びＳＡＥＪ−２３９６法で規定された測定に注目する眼球運動のデータ分析の健全な自動化を提供する。この自動化で利用されるツールの一例は、ここで更に詳細に説明するもの以外の目の追跡システムを含む。好適には、アルゴリズム及び実行するシステムは、読み込み／保存データや、検出した集団及び外れ値の目視検査のような最小の人の言葉のやりとりしか必要としない。
【００８５】
この開示の開始点は、利用できる検知システムを用いることができる自動化した分析を示すことであり、特定の研究は、全ての測定に対して高い相関を表した。本例において、スライディング１３のサンプルの中間値窓フィルタを使用して信号をフィルタ処理し、雑音を減少するとともに、一部の外れ値及びまばたきを除外した。速度境界値アルゴリズムは、凝視（円滑な凝視を視線固定と考えた。）及び瞥見の分類に対する基礎として設けた手動による集団の画定から目のすばやい動きを異ならせるように開発された。手順は、かなりのオペレータ入力及び注意を要求し、例えば、信号をフィルタ処理する必要があり、外れ値、短い凝視及び他の人為的作為が手動で識別された。本発明がこの開示のポイントに進展するので、これらオペレータの時間集中手順が除外される。
【００８６】
本来、中間値フィルタの幅は、全ての被験者に最適ではなく、長さは、雑音レベルに比例させておく必要があった。それに応答して、互いに相違するフィルタタイプ及びパラメータが用いられた。また、速度アルゴリズムが雑音に敏感であることがわかった。したがって、境界値を、目のすばやい動きの開始速度及び終了速度より十分上の３４０°／秒に設定した。これを補償するために、目のすばやい動きに前後する二つのサンプルも、目のすばやい動きの速度を有するようにマークした。目のすばやい動きの振幅及びピーク速度が変化するので、その加速度も同様に変化する。したがって、これ以前の方法は、目のすばやい動きの開始及び終了の良好な平均値しか提供していない。したがって、ここで導き出した本発明の目的は、更に正確な目のすばやい動き／凝視を識別する確かな技術を提供することである。
【００８７】
さらに、自動的に瞥見のターゲット領域及び瞥見を識別する集団化技術の必要が認められた。従来の人間の評価者以外で外れ値及び他の人為的作為を自動的に除外するのが目的である。
【００８８】
ここに開示したデータの由来及び特徴の理解は、検出アルゴリズムを設計する際に重要である。したがって、利用できるデータ及びそのデータを取得するのに用いた技術的基盤を説明する。
【００８９】
本発明に関連して、添付図面の図１は、典型的なオフライン分析アルゴリズムの一般的な概略を提供する。生の眼球運動データは、予処理が実行される上部左側のボックスに入力される。典型的には、そのような予処理は、雑音、人為的作為及びまばたきを抑制する中間値フィルタを有する。また、全ての非追跡データが、この機能ステーションで除去される。
【００９０】
大きな中間のボックスは、図示したような通常用いられる二つのデータ処理アルゴリズム（二重境界値速度検出並びに分散及び規則に基づく検出）間のハイブリッド処理である典型的なアルゴリズムを示す。中間ボックスの右側に示すように、適用された目の規則は、一般に人の目の能力によって規定される凝視の（時間に対する）最小長さのような目の動きの所定の態様の既知の限界又はパラメータに基づく。ハイブリッドアルゴリズムの中の下のボックスは、一つ以上の特徴に基づいて凝視を集団化する適応集団化アルゴリズムを表し、それは、実際には、サンプルされた瞥見の数が増加するに従って一集団を空間に「フロート」させる傾向にある。
【００９１】
ハイブリッドアルゴリズムの中の上側のボックスによって表された二重境界値速度検出アルゴリズムは、眼球運動の速度（°／秒）に基づく。図３を参照すると、高い境界値（上側の平坦な点線）は、低い速度を有するものの間の凝視を目のすばやい動きと区別する。下側の一点鎖線の曲線は、１次元で示すような実際の眼球運動を表し、実線のピーク曲線は、眼球運動の微分すなわち目の動きの速度を表す。一旦目のすばやい動きが検出されると、開始ポイント及び終了ポイントを決定するために低い境界値（長短の破線）が適用される。二つの境界値を用いる理由は、目のすばやい動きの検出によって生じる雑音のトリガを回避するためである。しかしながら、雑音が増大するに従って、このプロトコルの誤差が増大することを知るべきである。
【００９２】
目のすばやい動きの検出に加えて、分散プロトコルが、適用された目の規則とともに用いられる。この規則は、検出した目のすばやい動き及び凝視が自然でないとき、すなわち、規定するデータが、割り当てられた分類（目のすばやい動き及び凝視）の許容される特徴パラメータの幾分外側にあるときを決定する。
【００９３】
そのような規則の例を、凝視が少なくとも１５０ｍｓより長く持続する必要があるとともに、目のすばやい動きが、予め設定されたより短い期間によって測定されるものとすることができる。また、目のすばやい動きは、その開始と同一領域に戻ることができない。これらの規則が、凝視を目のすばやい動きの一部に変更し又は目のすばやい動きを凝視の一部に変更するように適用するときは常に、分散アルゴリズムは、状況がどのように取り扱われるかを決定する。例えば、同一ターゲットに対する連続する二つの凝視が目のすばやい動きの間に６０ｍｓで検出される場合、目のすばやい動きの検出にトリガをかけた雑音であると推定することができる。雑音であるか否かは、分散プロトコルによって決定される。二つの凝視が、互いに所定の距離内にある（分散境界値）場合、それらは、同一の凝視の一部であり、目のすばやい動きは、凝視の一部に変更され、そうでない場合には、それは、補正検出である可能性が最も高い。
【００９４】
ハイブリッドアルゴリズムの主な指示は、自動的に処理アルゴリズム（又はその一部）が現在の雑音レベルに基づくデータに適用される「決定」に向けられる。図４に示すように、高品質で相対的に雑音のない追跡データは、二重境界値速度検出を用いて支配的に処理される。データ雑音／品質の平均又は中間量の存在は、データの分散検出処理の影響を増大する。最後に、図４の右側に示すように、凝視の復元は、データの雑音が大きくてデータの品質が低いときに影響が及ぼされることがある。通常、そのような低品質又は雑音の多いデータは、過渡的な影響しかなく、全体に亘るデータ流れに適用されない。データの一部がそのように低グレードの品質である場合、著しい雑音を引き起こす動作を認識するのに十分に「穏やか」（円滑）となりうる場合に厳格なフィルタを対応データに適用することによって、その部分を回復する。更に厳格にフィルタ処理された出力が、更に厳格でないフィルタ処理されたデータが許容されない「妥当性」規則をパスするときに、厳格に処理した部分の「置換」を行うことによって回復が行われる。
【００９５】
全ての凝視及び目のすばやい動きの検出が終了すると、データは、実行された集団分析の結果に基づく瞥見を識別する集団化アルゴリズムに入力され、その典型的な詳細を後に行う。
【００９６】
図２は、リアルタイム追跡データ処理を実行するのに利用されるハイブリッドアルゴリズムを示す。典型的には、任意のデータ流れ形態の生追跡データは、頭及び／又は目の向き及び動きに関するセンサシステムから取得される。処理がリアルタイムに基づいて行われるので、規則に適合しそこなうのに満足しない場合に、他の任意のフィルタ処理の通過の際にデータをリサイクルすることができる。最もあり得るデータは、いつでも利用できる。したがって、リアルタイムハイブリッドアルゴリズムは、同一データの二つの同時処理を十分に実行する。図２に示すように、ソースデータは、上側では標準的なフィルタを用いるのと同時に下側では更に厳格なフィルタを用いて平行的に処理される。同時に、互いに相違するフィルタ処理されたソースデータは、規則のセットによって処理される。通常、フィルタ処理されたデータ流れの各々に適用される規則は、同一であるが、各フィルタ処理の特徴に応じてそれぞれ適応させることができる。
【００９７】
二つの規則の処理から、データ流れが生成される。図２からわかるように、出力してフィルタ処理された二つの流れの特徴は、互いに相違する。好適には、標準的なフィルタは、データの円滑化に対して極めて緩やかであり、データ流れに適用される規則のセットは、有効な凝視又は目のすばやい動きが生じたか否かを決定するよう試みる。規則に適合できない場合、データ流れが出力されない。データ中のこのブランクは、図２の右上で理解することができる。適用された一つ以上の規則に適合しそこなったデータ流れの部分に単なる非常に大きな雑音が存在してもよい。
【００９８】
この時間全体の間、データは、既に説明したように厳格なフィルタによっても処理される。典型的には、厳格なフィルタは、雑音を除去するためにデータを著しく「円滑」にする。出力されたデータは、先鋭でなくなることがあるが、同一の規則が、ブランクゾーンに対応する更に強くフィルタ処理されたデータに適用される場合、規則に適合しない標準的なフィルタ処理されたデータ部分、目のすばやい動きの特徴又は凝視の特徴は、識別できる。この場合、規則はパスされ、データの有効な特徴が取得される。見えなくなった規則に適合しないフィルタ処理が強くないデータ領域に対応する更に強くフィルタ処理されたデータのこのように規則をパスする部分は、標準的なフィルタ処理後にパスした出力流れに併合される。これを、図２において、コンパイル処理されたデータ流れとして示す。
【００９９】
互いに相違するフィルタ処理されたデータ流れのいずれもが一つ以上の適用された規則をパスしない、あり得る短いブランク部を有するコンパイルされたデータ流れは、ソースデータが一般的な意味で許容しうる品質（雑音がない）の場合にはほぼ連続的である。すなわち、非常に低い品質のデータは、許容されることはなく、典型的には許容できるようになるためにフィルタ処理され又は処理されることができない。しかしながら、一般的にソースデータが所定のサブ基準部分を除いて許容される場合、リアルタイム追跡データを処理する典型的なハイブリッドアルゴリズムは、ここで更に詳細に説明するような集団及び密度分析のような更なる処理に適した分類可能な凝視及び目のすばやい動きからなるコンパイルデータの出力流れを生成する。
【０１００】
図２８は、最終的には全てが共同して意味のある出力値を生成するデータの予処理、道路前方識別、集団化及びハイブリッドアルゴリズムの適用に関連するリアルタイムアルゴリズムの他の表示を提供する。
【０１０１】
この配列において、データ処理プロセスは、道路前方のシーンとして規定されるものを見つける自動的な初期化で開始する。これは、密度表面を形成することによって行われ、この場合、ドライバが所定の方向を見るときは、この領域の注視密度によって説明される。例えば、ドライバが領域を見るのが増えると、その領域の注視密度が増大する。ドライバの注意のほとんどは、道路前方のシーンの中心に関連して見つけられる傾向にある。図５に示すようなこの領域の中心に「注意のピーク」がある。この図において、二つのピークが上昇する面は、フロントガラスに対面するときにドライバの顔に垂直にとる。高いピークは道路前方のシーンを表し、低いピークは集中点を表す。マッピングした例において、被験者は、ナビゲーションシステム上で言語を変更するか問い合わされ、それは、低いピークを表すものである。ドライブ中、高い（左側の）ピークが徐々に組み立てられ、約２分後にピーク道路中央（ＰＲＣ）位置が安定する。道路中央領域はこの山の基礎として規定され、ピークはその中心として規定される。基礎は、山がガウス形状を有するとともに平均値がピーク位置である近似値に基づいて計算された９５％の信頼がおける値であると考えられる。一旦これが行われると、道路前方の位置から離れる瞥見を検出することができ、したがって、注意及びドライバの作業負荷を、後に説明するようなピーク道路中央の規定を用いて計算することができる。
【０１０２】
道路中央を識別する概念の更なる展開において、データの予処理は、純粋な数学的な変換及び回転並びに信号のフィルタ処理を用いて実行される。目の注視が、目の間の点から始まるベクトルであるので、それは頭の位置に依存する。ドライバの視野の各目標を、ドライバの目からの視角によって位置づけることができる。視角は、ドライバの頭の位置及び回転に大いに依存し、その位置及び回転は、ドライバの高さ及び好適な運転位置に依存する。互いに相違する頭の位置／回転は、注視信号及び頭の動きの特性に影響を及ぼす。この影響を最小にするために、頭の位置を、基準位置に対して正規化し、好適には、大抵のドライバのほぼ平均位置としてとる。これは、図１０に示すようにドライバの前方に配置された理論的なミラー面を通じて達成される。
【０１０３】
ここで、測定された注視及びヘッド角は、この面を通じて静的すなわち基準ヘッドに投影される。この実施の形態において、アルゴリズムで用いられるのは、静的ヘッドでの注視及びヘッド角である。
【０１０４】
注視の信頼が低いとき、例えば、目が閉じられているとき、アルゴリズムは、自動的に頭の向きを切り替え、顔が前を向く方向を注視ベクトルのように用いる。結果的に得られる信号は、ここで説明するハイブリッドアルゴリズムに供給され、道路の中央は、注視密度関数を通じて位置決めされる。初期化手順は、７０ｋｍ／ｈより速い速度の通常の運転で約２０秒を要する。この特定のアプリケーションにおいて、道路中央は、真っ直ぐ前方の視野の密度関数の評価によって中央に位置決めされる楕円形の２０°×４０°として規定される。しかしながら、道路中央の幾何学的な配置は、速度及び／又は環境に依存する。
【０１０５】
上記楕円形は、中間的な交通量の２レーンの車道で７０ｋｍ／ｈより上で約１２０ｋｍ／ｈの速度に対して理想的である。他の幾何学的配置は、一部の環境、互いに相違する速度での走行及び他のアプリケーションにおいて最適に作動することができる。長い瞥見の持続時間の量、すなわち、時間が延長された瞥見は、注視密度関数によって垂直方向で中央に配置された２０°の水平帯域で良好に作用するように思われる。
【０１０６】
道路中央は、ドライバの視野の世界対象のみを規定する。ドライバは、道路中央を見ることもあれば見ないこともある。遷移の遅延は、注視が道路中央のエッジにあるときに点滅信号を回避するために用いられる。注視は、記録すべき移り変わりのために１００ｍｓを超えて（道路上又は道路外の）二つの対象の一つにおいて一定のままである必要がある。
【０１０７】
道路中央が有効であるとき（すなわち、注視密度関数が安定するとき）、（ここではピーク道路中央又は道路中央パーセントを意味する）ＰＲＣは計算を開始する。必須ではないが、ソース追跡データがないときには常にアルゴリズムを休止する。さらに、好適な実施の形態において、車両の速度が６５ｋｍ／ｈより下に低下すると常にアルゴリズムを作動不可とする。これは、ＰＲＣの値を８０％にリセットする。
【０１０８】
ＰＲＣアルゴリズムの一バージョンにおいて、最大ＰＲＣパラメータは、ＰＲＣが８０％を超えるのを防止する。これは、通常の運転中にＰＲＣを安定にする簡単な方法である（一部の被験者に対して、通常の運転は、７５〜８５％の近似的なＰＲＣの値の間で変動する。このような制限を用いて、ＰＲＣは、常に所定の瞥見の数に対して（ＰＲＣ８０％から）所定のレベルまで下がる。同一の論法が、最小ＰＲＣ及び知覚的な注意散漫に当てはまる。
【０１０９】
短いＰＲＣ窓（３〜１０秒）が、時間共有動作、すなわち、二つのターゲット領域間の複数の瞥見を表すのに用いられる。時間共有の動作の表示は、動作が終了したとき、すなわち、２次タスクの終了時にＰＲＣを８０％にリセットするのに用いられる。
【０１１０】
典型的には、ドライバに対する互いに相違する三つの警報／フィードバックを付与することができる。ＰＲＣが境界値より下に下がると、ドライバが道路から目を離すまで警報が与えられない（知覚的な警報はこの例外である。）。視覚的な注意散漫の場合、被験者が僅かに注意散漫となったとき、すなわち、ＰＲＣが６５％より下に下がったとき、刺激レベルに到達する。ドライバが道路から目を離したときのみ、警報が１０秒間に２回の最大を与え、すなわち、警報は、ＰＲＣが６５％より下になった後の最初の２回の瞥見で与えられる。被験者の注意散漫が著しいとき、すなわち、ＰＲＣが５８％より下になったときに他の警報レベルに到達する。この場合、警報が発せられた直後に、ＰＲＣは、通常の運転すなわち８０％にリセットされる。
【０１１１】
知覚的な注意散漫の場合、ドライバが知覚的に注意散漫であるとき、すなわち、ＰＲＣが９２％より上であるときに知覚的な警報が発せられる。この場合、ＰＲＣは８０％までリセットされる。道路中央の外側の瞥見が４秒を超えて継続するときには常に、（道路から目を離す）長い瞥見の警報が発せられる。
【０１１２】
時間窓の使用が最適な解決でないことがある。１分間の時間窓は１分間の履歴を有し、したがって、ドライバが１／２分前に行ったことは、ＰＲＣ及び現在のタスクに影響を及ぼす。ドライバがラジオをつけ、ラジオを４回瞥見した場合、ドライバは、少なくとも１／２分の間にこの４回の瞥見によって警報を受ける、すなわち、ドライバが通常の運転に戻ったとしてもＰＲＣは少なくとも３０秒間低いままである（これは、タスクが最大で３０秒継続すると仮定する。）。この問題を処理する複数の方法がある。
【０１１３】
方法の一つは、（ほぼ同一のウィンドウダイナミックスを取得するために）減衰化要因を有する短い窓を用いることである。他の方法は、タスクが完了すると常にウィンドウを平らにすることである。さらに、著しく短い窓、例えば、３〜１５秒の窓を用いて、タスクが実行されたか否かを決定することができる。
【０１１４】
時間共有検出器を用いて、ＲＰＣ和（通常、時間窓内の全ての道路の中央の瞥見の全時間）が道路上の瞥見を無視すべきか否か決定することができ、すなわち、タスクを実行する間、ＰＲＣ和は、道路の中央から外れた瞥見の時間に比例して減少するが、道路中央の瞥見を無視し、したがって、窓であるような和の同一ダイナミックスを付与する。
【０１１５】
現在のアルゴリズムの他の問題は、まばたきが機器の群に向かう瞥見として非常にしばしば解釈されることである。標準的なデータフィルタは、注視信号の僅かに相違する特性のためにまばたきをフィルタ処理しない。提案した解決は、まばたきか瞥見かを決定するために開眼信号の使用を含む。これは、プログラムが「非呼び出し時間モード」であるときに開眼信号がログデータに存在することを要求する。代案は、まばたき検出器を設計することである。まばたきは、非常に短いために瞥見とすることができず、したがって、フィルタで止めることができない。しかしながら、これは、少なくとも１５０ｍｓのシステムの遅延を導入する。
【０１１６】
上記アルゴリズムは、約７０〜１２０ｋｍ／ｈの速度で中間の交通量の車道の運転に合わせられる。アルゴリズムを互いに相違する速度及び環境に適合させる複数の方法がある。方法の一つは、道路中央領域を速度及び環境に適合させることである。速度が減少するに従って、道路中央のサイズが、大抵は水平領域で増大する。道路中央は、この速度及び環境の通常の運転が約８０％のＰＲＣを有するように増大する。これを行う二つの方法がある。一例は、ライン上の各ドライバに適合させることである。他の例は、互いに相違する速度及び環境に対して、予め規定された道路中央の幾何学配置を提供することである。更に別の例は、特定の速度及び環境に対する通常の運転のＲＰＣレベルに従って警報境界値を調整することである。更に別の例は、環境の表示、すなわち、少なくとも運転動作によって表された環境を提供することである。
【０１１７】
ドライバの頭が道路中央から約６０°以上回っている場合、すなわち、隣接するレーンに車が存在するか否かを見るためにドライバが肩越しに見るすなわち横側を見る場合にアルゴリズムが機能しなくなるという制約がある。これらのブランクを埋めるためにパターン認識が用いられる。
【０１１８】
直接的な警報とは別に、ＰＣＲを用いて、第三者のシステムを作動／不作動にし又はそれを互いに相違するモードに設定することができる。例えば、ＰＲＣを用いて、前方衝突警報（ＦＣＷ）システムを「応答」モードに設定し、瞬時の道路中心の目の信号を用いて、警報を作動するか否か決定することができる。それを、適応走行制御（ＡＣＣ）制御ループのタイムギャップを調整（安全距離の増加又は減少）し又は他の警報及びシステムを作動／不作動にするのに用いることもできる。
【０１１９】
ここで説明する測定の多くは、道路中央ポイント（ＲＣＰ）の基準計算を利用する。垂直及び水平道路中央ポイントは、例えばデータの３分間の区分された眼球運動のデータセット（凝視／円滑な追跡及び目のすばやい動きへの区分）から計算される。先ず、各凝視データポイントが、垂直及び水平ビンに追加され、例えば、０．９８×０．９８°のビンサイズとする（真っ直ぐ前方又は零ポイントから＋／−３０°に対して１２８×１２８）。次に、ビンのモード（ビンの最大頻度）を、垂直及び水平道路中央ポイントに設定する。これらデータポイントに基づく測定は、図１２〜１５において更に詳しく説明され、この場合、道路中央ポイントは、ドライバの目の位置のサンプル密度に基づいて識別される。真っ直ぐな２レーンのフリーウェイにおける通常の運転状態の眼球運動は、これらの図面に示される。データは、道路中央ポイントの周辺に集中し、道路中央ポイントは、それに基づいて零に設定される。頻度の単位は、ビンごとの全頻度の割合を表す（１ビンは、０．９８°×０．９８°に等しい。）左上の眼球運動は正であり、右下の眼球運動を、負として示す。
【０１２０】
移動時間窓の各ステップに対して、例えば、６０Ｈｚの更新周波数を有する１分間の時間窓は、次のように計算される。時間窓内の各凝視データポイントは、「道路中央」を表すタイプ「１」と「非道路中央」を表すタイプ「０」のいずれかとして分類され、規定された道路中央領域の内側か外側かに基づいて区別を行う。道路中央領域は、例えば、道路中央ポイントからの角度／弧度の距離をとるとともに遮断境界値、例えば、その周りの半径として８°を設定することによって行う。遮断境界値内にあるこれらの凝視データポイントは、「道路中央」として分類され、遮断境界値外にある凝視データポイントは、「非道路中央」として分類される。この例において、遮断境界値は、道路中央領域の形状を規定する。
【０１２１】
道路中央領域を、半径遮断境界値を用いる代わりとして他の方法で規定することができる。例えば、道路中央領域を、非対称形状として規定することができる。非対称な道路中央の識別は、曲がりくねった又は混雑した道路環境を運転するときに有用である。非対称形状を規定する方法は、次の通りである。（１）図１４に示す水平道路中央領域ラインのようなビンごとの頻度で境界値レベルを設定することができる。図１３のアウトラインのような幾何学的形状は積である。（２）道路中央ポイントからの１又は２の標準偏差内のデータとして道路中央領域を規定することができる。標準偏差を、中心点の半径に基づいて又は垂直成分及び水平成分に個別に基づいて規定することができる。垂直／水平方向の標準偏差の規定によって、形状を楕円として計算することができる。（３）曲がりくねった道路環境において、大抵の凝視データポイントは、車両のこれからの経路の周りに集中する。瞬時の経路は、通常、車両のヨーレート（又はステアリングホイール角に基づく測定）から計算される。（視角に変換される）この曲がりくねった経路を用いて、有効な「通路上凝視」の領域を規定することができる。この経路を用いて、例えば車両通路からの所定の距離内の一見の「通路上領域」を規定することができる。したがって、ＰＲＣ、Ａ−ＰＲＣ及びＰＬＧを、通路上領域を有する道路中央領域を構成する既に説明した同一方法によって計算することができる。最後に、パーセントの計算は、道路中央データポイントの数を窓内の凝視データポイントの総数で除算するとともに積に１００を乗算することによって行うことができる。このようなパーセントの計算は、目のすばやい動き及び消失データを無視する。
【０１２２】
道路中央のパーセントの絶対値（Ａ−ＰＲＣ）は、所定のＰＲＣ値、例えば、通常の運転のＰＲＣ値からの差の絶対値として、既に説明した同一の時間窓で計算される。図１７は、注意散漫の他の一部の共通量とＡ−ＰＲＣの比較を示す。
【０１２３】
道路中央から離れた長い瞥見のパーセント（ＰＬＧ）は、所定の時間境界値、例えば、図１８に示すような２秒に亘る（ＳＡＥ Ｊ−２３９６規格によって規定されるような）瞥見として分類される凝視データポイントのパーセントとして、既に説明した同一の時間窓で計算される。
【０１２４】
モード道路中心からの標準偏差（ＳＤ−ＭＲＣ）は、平均が
DistRoadCenter=sqrt(((VerticalPos-VerticalMode)^2) + ((Horizontal
-HorizontalMode) ^2))
SD-MRC=sqrt(sum((DistRoadCenter)^2)/length(NonFixations))
によって例示されるようなモードで置換される点を除いて、標準偏差の式に従って、既に説明した同一の時間窓で計算される。車両外側のパーセント（ＰＯＶ）は、車両の外側にある凝視データポイント及び後方ミラー又はサイドミラーにある凝視データポイントのパーセントとして、既に説明したような同一の時間窓で計算される。車両の内側は、度又は弧度の幾何学的領域として規定される。
【０１２５】
データセットの例は、本発明に関連して収集された。検証研究が、１１１°の視野及び４８Ｈｚで２４５６×７５０の解像度を有する７．５ｍ×２．２ｍの「パワーウォール」スクリーンを用いたシミュレーション環境で行われた。１４人の被験者が研究に参加し、携帯電話の使用やラジオ局の変更のような種々の車内タスクを実行した。データは、収集され、ＩＳＯ１５００７−２法（ＩＳＯ １９９９）に従うビデオ録画形態でも利用できる。ＧＩＢ−Ｔ警戒研究と称されるものにおいて、同一シミュレーションが、既に説明した環境で実行され、少ない交通量の４レーンの車道における１２人の運転が含まれた。各人は、二つのケースに参加し、通常の状態の下で３０分運転し、約２時間１５分間睡眠なしの状態で運転し、その結果が、ビデオレコーダを用いて記録された。このセットは、１６人の被験者が参加した大きな道路上の実験の一部である。各人は、３０ｋｍの運転中に通常の車道の運転の約１５分に種々の車内タスクを実行する。
【０１２６】
典型的な追跡システムは、頭の位置及び角度並びに固定された座標系に対する注視角度を追跡する。システムは、ステレオビジョンを使用し、すなわち、機器の群の前方の被験者ドライバの前であるが頭の位置及び注視を追跡するために図１９に示すようにステアリングホイールの後方に配置された二つのカメラを使用する。また、好適には、図２０に示すように単一のカメラを使用することもできる。これは、煩わしい他の現存する追跡システムに比べて著しい改良である。手順に基づく視野のない場合に比べたこの技術を用いる見返りは、ある種の角膜の反射を用いるシステム（±１°）に比べて僅かに劣る注視評価（±３°）となる。これら他のタイプの視野に基づくシステムは、単一視野に依存し、良好に作用しない。ここに開示したシステムの顕著な利点の一つは、頭のベクトルと目のベクトルを同時に出力することである。
【０１２７】
利用されるシステムは、まゆげや、口元や、目のような顔の特徴を見つけるテンプレート整合アルゴリズムを用いる。各テンプレートは、３次元の強固なボディフェースモデルの一部と考えられる。複数の特徴が両画像で見つけられるとき、頭及び目の３次元位置は、モデル回転及び変換の最小二乗最適化を用いて計算される。この問題に対する解決は、良好に追跡を行うポイントに向けられ、これによって、閉塞、雑音及び知覚的な注意散漫に対して強固になる。さらに、カルマンフィルタを用いて、雑音を減少するとともに次の繰り返しにおける頭のポーズを予測し、これによって、次のフレームに対する計算時間を減少する。
【０１２８】
目の注視評価は、頭−目の位置に基づく。眼球の回転中心及び虹彩の中心の測定を用いると、注視は、これらポイントを通過する光線として算出される。両目が利用できるとき、注視方向は二つのベクトルの平均として計算され、そうでない場合、可視光が用いられる。いずれの目も検出できない場合、例えば、被験者の頭が６０°を超えて回ったとき、又は目が閉じられたとき、顔面法線が注視方向として用いられる。
【０１２９】
閉眼を検出するアルゴリズムは、被験者がまばたきするときを決定するのに利用される。目じり間の距離によって決定される上まぶたと下まぶたとの間の距離は、閉眼量として用いられる。これらの距離を算出するために、システムは、エッジ検出器を使用し、各まぶたに一つで両目じりを通過する放物線を近似する。閉眼量及び他の少数の量（目のイメージ領域の垂直方向の光学的な流れ、領域の時間的な変化速度、目の強膜の色を有する画素のｎｒ及び目のテンプレートの相関係数）は、互いに重み付けされ、境界値は、被験者がまばたきするときを決定する。
【０１３０】
システムは複数の信号を出力するが、この開示では少数の信号のみを例示的に示す。これらは以下のものを有する。（１）注視信号「未加工の注視回数」及び「フィルタを通過した注視回数」は、瞬時の場合には同一信号である。その理由は、フィルタパラメータは、全ての研究において零に設定されるからである。信号は、弧度で与えられる二つの方向：ピッチ及びヨーからなる。（２）「注視信頼」信号は、注視評価アルゴリズムに対して信頼性のある量を提供する。（３）「フィルタを通過した頭の位置」及び「フィルタを通過した頭の回転」は、独自に頭の３次元位置及び回転を決定する。これらは、「未加工の頭の位置」及び「未加工の頭の回転」と同一である。その理由は、これら全てが、利用できるデータで零に設定されるフィルタパラメータだからである。（４）「追跡」状態は、システムが追跡モードであるか探索モードであるかを表す。（５）「まばたき」は、被験者がまばたきしているか否かを表す。（６）「時間」は、各評価に関連したＣＰＵ時間である。
【０１３１】
注視信号の情報成分は、全く一定でなく、時間変化するようである。記録中、被験者ドライバの膝、車両内側の天井等のような集中しそうにないポイントである対象に向かう時々の瞥見がある。これらの瞥見の一部を、注視信号に下降が生じる検出されない閉眼と称することができる。システムは、互いに相違する光レベルに応答することもできる。背景光の変化を処理することができるが、車両が影のある道路から日の当たる道路に移動するときのように変化が急であるときには、背景光の変化を処理することができない。その結果、高い雑音レベルとなり、場合によっては情報成分がほとんどなくなる。日光がカメラレンズに直接入射することによって、信号は、レンズフレアによって雑音が大きくなる。場合によっては、これによって数秒間の追跡の損失となる。
【０１３２】
閉眼の間の上記「下降」は、疑いなく目を閉じることによって（冒頭で説明したような）近時の失敗が生じるためである。下降は、ピッチ信号において約３０〜４０°と非常に明瞭であるが、ヨー信号で気付くこともできる。典型的なまばたきは、３００ミリ秒のオーダで継続するが、下降は約１００ミリ秒しか継続しない。したがって、目がほとんど閉じられるまで評価は失敗しない。下降は、中間値フィルタを用いた予処理段階で容易に除去される。典型的な実施の形態において、システムは、まばたき信号によって表されるまばたき部分を簡単に切り、まばたきが補間された図２１に例示されているように、最後に既知のサンプルと最初の新たなサンプルとの間で補間を行う。その結果、データの重要な部分、しばしば３００ミリ秒の量のほとんどが、除去され、幾分不自然な表示すなわち直線に置換される。まばたきがしばしば目のすばやい動きの間に生じるので、適切な測定を行うことができない。正確な測定を行うためにこれらの特徴を再構成するのが有利である。
【０１３３】
まばたき信号は、常に現実に一致するわけではない。これは、被験者がタスクを実行するときに明らかになり、まばたきではなく現実のまばたき信号に従って、まばたきが生じたことを知る。典型的なシステムにおいて、被験者が注視を移動するに従って、まばたき信号の精度が低下する。
【０１３４】
注視信用信号を用いて、既に説明した欠陥の大部分を克服することができる。しかしながら、経験は、信号品質及び注視信用度が常に相関するわけでないことを示す。それは、互いに相違する被験者に対するだけでなく、同一被験者から取り出された互いに相違するサンプルに対しても異なりうる。さらに、信用度は、まばたきごとに零に降下する。検出されないまばたきの瞬時において、生じたのは実際には信用を零に降下したまばたきすなわち人為的作為であることを確かめることができない。したがって、信用信号を絶対的に信用することはできない。
【０１３５】
実際には、システムの演算速度が「約６０Ｈｚ」であり、サンプリング間隔は、一定ではなく、ある程度フレームごとの演算時間に依存する。しかしながら、典型的なシステムにおいて、時間が秒とミリ秒の両方で利用され、演算遅延信号はミリ秒である。遅延は、１５０〜２００ミリ秒のオーダである。
【０１３６】
最後に、互いに相違する被験者は、互いに相違する顔の特徴を有し、多かれ少なかれシステムに基づく測定に適合させる。良好なコントラストを有する顔の特徴は、良好なデータ品質に相関し、その結果、カメラ視界の中心にある頭の位置を補正する。
【０１３７】
変化検出アルゴリズムの設計は、常に正確な変化の検出と誤った警報の回避との間の妥協である。雑音特性及び信号特性が変化することによって、グレーゾーンが幾分大きくなる。信号品質が変化するので、この問題を克服するために適応フィルタを用いる考えがあった。一般に、適応フィルタが提案されるとき、ある種の評価プロセス、例えば、最小平均二乗法（ＬＭＳ）を用いて信号に適合するのは、フィルタリング係数である。しかしながら、データ信号は、情報成分の変化や未知の人為的作為のような特徴を有することが証明され、これによって、この種の適合に適さなくなる。その代わりに、二つの予処理中間値フィルタを利用するハイブリッドアルゴリズムが開発された。これを、オフラインアルゴリズムとリアルタイムアルゴリズムの両方に対してこの章で説明する。しかしながら、先ず、眼球運動の区分に一般的に用いられる一部の互いに相違するアルゴリズムを簡単に概説する。
【０１３８】
Salvucci及びGoldbergの作業が、「目の追跡プロトコルの凝視及び目のすばやい動きの識別」で規定されており、この場合、互いに相違する複数の技術が、目のすばやい動き及び凝視を識別するために収集されている。
【０１３９】
■速度に基づくもの
・速度−境界値識別（ＶＴ−Ｉ）
・ＨＭＭ識別（ＨＭＭ−Ｉ）
■分散に基づくもの
・分散−境界値識別（ＤＴ−Ｉ）
・最小スパニングツリー（ＭＳＴ）識別（ＭＳＴ−Ｉ）
■領域に基づくもの
・関心のある領域識別（ＡＯＩ−Ｉ）
【０１４０】
これらのうちの三つ：ＶＴ−Ｉ、ＨＭＭ−Ｉ及びＤＴ−Ｉは、本発明の状況及び目的に対して関心があると考えられた。ＡＯＩ−Ｉ及びＭＳＴ−Ｉの主な問題は、これらが他のものと同様にＩＳＯ／ＳＡＥに適合しないことである。実証された作業が既にＶＴ−Ｉ法で行われているので、最初のアプローチは、ＤＴ−Ｉ法を用いて行われる。ＤＴ−Ｉアルゴリズムは、非常に正確かつ強固であると考えられるが、ここで用いられる目の追跡が不正確で雑音が多いために、適切でなくなる。目のすばやい動きは、雑音及びスパイクに起因して識別され、凝視の開始／終了は、信号特性に起因して不正確であり、例えば、凝視前の時折のドリフトは、多かれ少なかれ静止し始める。他の問題は、円滑な追跡であり、これによって、円滑な追跡が一つの凝視と考えられるときにアルゴリズムは失敗する。したがって、分散法を単独で用いることができない。
【０１４１】
それに対して、ＨＭＭ−Ｉは、最もあり得る識別を決定するために確率的な分析を利用する。ＨＭＭ−ＩのＨＭＭモデルは２状態モデルである。第１状態は、高速の目のすばやい動きのポイントを表し、第２状態は、低速の凝視のポイントを表す。その遷移の確率が与えられた場合、ＨＭＭ−Ｉは、最大確率によって各プロトコルポイントの最もあり得る識別を決定する。アルゴリズムは、正確なパラメータが与えられた場合には正確かつ強固であると考察される。これらは、再評価プロセスを用いて評価され、ＨＭＭの主な複雑要因となっている。この評価の実現は、複雑かつ冗長である。
【０１４２】
ＶＴ−Ｉアルゴリズムは、上記問題を有しない。しかしながら、速度境界値は、雑音のピックアップ並びに正確な凝視の開始及び終了の識別の間の妥協である。この問題を最小にするために、二重境界値アルゴリズムが採用された（二重ＶＴ−Ｉ）。高い境界値によって、適切な目のすばやい動きの識別が保証される。目のすばやい動きが検出されると、開始及び終了を計算するために低い境界値が用いられる。
【０１４３】
ＶＴ−Ｉアルゴリズムの主な不都合は、強固さがないことであった。しかしながら、これは、二重ＶＴ−Ｉにおいて非常に改良される。
【０１４４】
以前の段落で説明した識別法のいずれも完全ではなく、これらは全て、互いに相違する欠点を有する。したがって、二つのアルゴリズムの組合せ及び眼球運動に対する他の規則、すなわち、二重ＶＴ−Ｉ及びＤＴ−Ｉが、この作業に対して選択された。この組合せは、決定が自動的にＤＴ−Ｉ及び規則に基づく部分に向かって行われるとともに雑音が増大するに従って二重ＶＴ−Ｉ特性が保護されるという意味で適応アルゴリズムとして作用する。これは、二重ＶＴ−Ｉ速度プロトコルの正確さ及びＤＴ−Ｉ分散プロトコルの強固さを組み合わせる。それを見る方法の一つは、規則をアルゴリズム制御として考察することであり、現在最も正確に作業しているアルゴリズム部に向かって「決定」が行われることを意味する。アルゴリズムの共同を図４に示す。
【０１４５】
予処理に関連して、生データは、区分前に予処理される必要がある。生データは、多かれ少なかれ雑音があり、まばたき及び非追跡部分を有する。
【０１４６】
多くの研究者が、中間値フィルタ及びＦＩＲハイブリッド中間値（ＦＨＭ）フィルタを眼球運動に対して適切にすべきことを指摘していた。雑音及び外れ値を抑制しながら先鋭なエッジを保持する中間値フィルタの特性は、目のすばやい動きの信号に適している。一般的に、ＦＨＭ又は重み付けされたＦＨＭフィルタは、最もよく作用すると考えられるが、１５サンプルのスライディング窓の中間値フィルタが、雑音を十分減少する。有利な効果は、被験者がまばたきすると常に再生されるとともに図２２に示すように検出されない区分をパスするのに十分な「まばたき下降」も抑制することである。
【０１４７】
全く異なる問題は、既に説明したようなまばたき補間であり、この場合、注視信号は、線形的な補間に置換される。これが凝視中に生じる場合、通常問題ない。しかしながら、人間は、数百ミリ秒しか続かない目のすばやい動きの間にしばしばまばたきをし、同時に、２００〜３００ミリ秒が直線に置換される。この問題を考慮するために、再構成が必要になる。本発明は、適切な数の瞥見を行う簡単かつ強固な解決を採用し、それに対して、時間に基づく測定は、正確さに欠ける。信号中に存在するような同一振幅の雑音は、５°未満の分散を有する全てのまばたきに加えられ、他の全てのまばたきは、目のすばやい動きとしてマークされる。５°の境界値は、任意の誤った凝視を検出することなく利用できる全てのデータに基づいて設定された。しかしながら、被験者は、複数の瞥見を伴うタスク中にまばたきを行わない傾向にある。
【０１４８】
既に説明したように、選択した識別アルゴリズムは、速度及び分散プロトコルと目の物理的な特性及び指標追跡装置によって概略が述べられる規則との間の混成である。オフライン状態において、プロセスが順次実行され、先ず、二重境界値を用いる速度プロトコルが適用され、その後、規則を有する分散プロトコルが適用される。これを図１に示す。信号の雑音又は他の一部の特性が（目の規則に従って存在すべきである）凝視の検出を妨げたときには、凝視回復アルゴリズムが用いられる。これを、ＤＴ−Ｉ及び規則に基づくブロックから二重ＶＴ−Ｉブロックに戻る矢印として示す。また、自動的なクラスタ化アルゴリズムは、ハイブリッドシェルに含まれる。それは、瞥見の検出を処理する。
【０１４９】
各アルゴリズム部を更に説明しない。微分（速度）評価は、２点中心差分
【数１】
によって算出され、各注視成分に適用され、２次元速度を形成するために二乗和の平方根とともに重み付けされる。信号を区別する際に雑音は常に問題であり、この問題を処理する方法の一つは、微分をローパスフィルタ処理することである。しかしながら、中心差分は、理想的な微分器及びそれに直列なローパスフィルタとして説明することができる。周波数応答は、以下のように計算される。
【数２】
約６０Ｈｚに設定されるサンプリング速度によって、このフィルタは、約１４Ｈｚの３ｄＢ遮断周波数を有する。このような幾分低い遮断によってエイリアシングを防止し、３０Ｈｚを超える周波数が除去されるが、目のすばやい動きの開始及び終了を歪ませないくらい十分に高い。二重境界値及び速度評価を、図２３に示す。
【０１５０】
５回微分アルゴリズムのある実験的な比較は、２点中心差分が１２ビットデータに対して更に正確な技術であることを見つけた。この方法の利点の一部は、簡単、正確かつ高速なことである。
【０１５１】
目のすばやい動きの検出の境界値は、主に、結果と以前に実行した半自動化分析の結果とを比較することによって設定される。
【０１５２】
ここで、微分近似が自動的にローパスフィルタ処理されるとしても、依然として非常に雑音が多く、雑音レベルが約７０°／ｓである。しかしながら、データ収集システムが最大で±３°の不正確さを有し、目のすばやい動きのピーク速度は、約３〜４°より大きい振幅に対して１００°／ｓより高いので、問題が課されない。これにもかかわらず、実際の評価が示すところによれば、特に雑音が増大するときに時折誤りがスリップすることがある。その不正確な識別は、区分プロセスの次のステップでＤＴ−Ｉ部分によって検出され及び除去される。したがって、速度評価に対して３サンプルを用いる精度の相反する要求は無視しうることが立証されている。
【０１５３】
第２ステップにおいて、既に説明した物理的基準及び分散に基づくアルゴリズムの一部は、検出した目のすばやい動き及び凝視が有効であるか否か決定する（規則アプリケーション）。典型的な目のすばやい動き及び凝視の３次元表示を、図２４に示す。雑音レベルが高いとき、微分近似に対する影響が更に大きくなり、混乱させるアーティファクトが、凝視内で時折検出される。その除去は、誤判断を防止する少数の基本的な規則を有する。１）新たな凝視の分散が境界値より下である場合、目のすばやい動きを凝視の一部に変更することができる。２）凝視の分散が境界値より下である場合、目のすばやい動きを凝視の一部に変更することができる。
【０１５４】
これらの基準が満足される場合、一部の追加された雑音との線形補間を用いて二つの凝視が互いに結合される。信号のこの部分が非物理的となるのを回避するために雑音が導入される。元の信号はしばしばある種のスパイクを有し、したがって、補間が行われる。
【０１５５】
同様に、持続時間が約１５０ｍｓより短いことを意味する、凝視が非物理的である場合には、凝視が除去されるとともに単に目のすばやい動きとしてマークされる。これは、信号の情報成分が低いときに生じる。
【０１５６】
（長い遅延が許容される）オフライン状態において、図２５に示すような凝視回復アルゴリズムは、凝視信号の低情報成分を補償するように開発された。これは、アルゴリズムがそれ自体安定されないときに凝視の開始時に生じる。それは、目のすばやい動きが約２００ミリ秒より長く持続すると考えられないという仮定の下で作用し、そうである場合、最もあり得るのは、二つの目のすばやい動き及びその間にある検出されない凝視である。これに基づいて、アルゴリズムは、検出されなかった凝視を有するとともに予処理（２０サンプル）で用いられるのより幾分長いスライディング中間値フィルタを用いてフィルタ処理を行う目のすばやい動きを突き止める。これは、新たな凝視を検出するのに十分となるように信号雑音を低減する。これは、検出を強いる直接的かつ危険な方法であると思われる。しかしながら、それは、単なる区分式の適応特性であり、有効部分に対して現実と強く相関することが証明されている。
【０１５７】
瞥見の分類アルゴリズムは、２ステップで作用する。先ず、全ての集団が、全滞在時間に基づいて自動的に配置される。第２ステップにおいて、これら集団が、同一滞在時間に基づいてそれ自体集団化され、世界モデル対象が形成される。世界モデルは、互いに相違する予め規定された視野領域、例えば、右後の視野ミラー又は道路の真っ直ぐ前方の簡単な描写である。全てのモデルは、ドライバが道路の真っ直ぐ前方を見るときのドライバに直交する面に規定される。
【０１５８】
第１ステップにおいて、集団位置の大まかな近似が、２次元滞在時間ヒストグラム、すなわち、図２６及び２７に示すような各凝視の持続時間及び平均位置に基づいた互いに相違する視野領域の全凝視時間を用いて行われる。平均位置の使用は、雑音問題を減少する簡単な方法である。ヒストグラムビンサイズは、主に試行錯誤によって３×３°に設定された。これによって、各ピークが集団の近似位置を表す優れた円滑なヒストグラムを形成する。注視データが弧度で与えられるので、実際の集団面は、平面ではなく円柱の内側である。したがって、注視角度は集団サイズに悪影響を及ぼさない。一旦近似集団位置が決定されると、各平均凝視ポイントは、ユークリッド平均によって最も近い集団ポイントに割り当てられる。全ての集団は、各集団に関連したポイントの平均位置に更新される。
【０１５９】
アルゴリズムは分類ログも形成し、この場合、分類されたイベントはそれぞれ、位置、開始、終了、持続時間、関連の集団及び番号に符号化した目のすばやい動き又は凝視のタイプを有する行列に格納される。ログ−行列は、単なるデータの減少であり、後に統計関数計算の基礎として用いられる。
【０１６０】
第２ステップにおいて、全ての集団が世界モデルにマッピングされる。互いに相違する幾何学的な領域、例えば、ボックス、円、又は同一若しくは他の形状の組合せは、ミラーや、センタースタックや、計器の集団のような対象を規定する。複数の集団は、通常、同一の瞥見に属する同一領域内にある。これらは、一つの集団に結合され、その平均位置が再計算される。世界モデル対象の数は、タスクとともに変化する。３対象の基本モデルがこの作業に対して選択され、滞在ヒストグラムに基づくアルゴリズムは、対象を「浮き上がらせる。」その後、対象中心と全ての集団位置との間の距離の標準偏差を検出する。対象の９５％の信頼度内にある集団は、その一部と考えられ、したがって、対象サイズは、集団を包囲するように調整される。世界モデル対象の数は、パラメータを通じて容易に制御される。
【０１６１】
これは、実験者からの検査及び補正が要求されることがある１ステップである。この理由は、何が対象で何が対象でないかの決定が生信号の雑音及び非追跡に起因して非常に難しく、実験者によって考えを修正する必要があるからである。人の評価者を必要としない方法の一つは、データ収集の際に日が良く照る日を回避することである。カメラに日光が直接入射するのが、ほとんど全ての凝視がずれる原因の一つである。
【０１６２】
世界モデルのアプローチは、瞥見の分類、例えば、オンロードオフロード比及び更に大きなスケールの視覚的な走査パターンに加えて他の測定目的に非常に有用となりうる。それは、注視信号が（例えば日光によって）多い雑音になり又は損なわれるとともに実際より多い集団を形成する大きな領域で凝視が散乱されるときにも有用である。処理中、ログ行列は連続的に更新される。
【０１６３】
関心のある領域をテンプレートするとき、二つの主な問題：１）各被験者に対して較正及び走行の必要があること。２）センサシステムの不正確さのために対象を実際より大きく規定する必要があることがある。データを調べる前に世界対象が必要とする大きさがどの程度であるかを決定するのは困難である。対象が非常に大きい場合、常に外れ値が含まれる又は対象が互いに重なり合う可能性がある。
【０１６４】
この見地から、データを分析する際に世界モデルを規定するとともにそれを現在の状態に適合させるのが更に容易になる。
【０１６５】
少なくとも、統計的な量は、ログ−行列を用いて生成される。統計的な量は、１）滞在時間、２）瞥見の持続時間、３）瞥見の頻度、４）全体の瞥見の時間、５）瞥見の可能性、６）リンク値の可能性、７）道路外の前方シーンの時間、８）全タスク時間及び９）遷移時間として規定される。
【０１６６】
一旦瞥見の分類が実行されると、これらの量の計算は、直接的であり、したがって、含まれない。
【０１６７】
典型的なリアルタイムの実行は、オフラインアルゴリズムに非常によく似ている。違いは、「道路前方シーン」及び「他の領域」が世界モデル対象として規定されることである。出力は、各タスクに対する瞥見の総数並びに道路上及び道路外の瞥見の全時間である。タスクの開始及び終了は、注釈又は時間差によってログファイルに示される（これは、ログ中に手動で行われる。）。
【０１６８】
任意の分類が実行される前に、道路前方シーンの世界対象が配置される。これは、特定の被験者及び走行に対する設定の較正を行う初期化段階を用いて行われる。道路前方シーン領域は、注視密度関数によって配置される。大抵のドライバの注意は、この領域に向けられ、滞在時間密度関数は、図２７に示すように常にその中心に非常に大きいピークを有する。この領域の注視の分布はガウス分布に近似される。したがって、滞在ヒストグラムの最高点を平均凝視位置の値として用いることによって、標準偏差を算出することができる。技術的には、計算されるのは標準偏差ではなくモードの偏差である。この場合、道路前方のシーンは９５％の信頼度内で考察される。手順は、ヨーとピッチの両方に対して行われ、これによって、道路前方シーンを表す楕円領域を形成する。
【０１６９】
初期化中、探索領域は、道路前方シーンが何であるかに制約され、探索領域は、典型的には、半径１０°及び中心が（０，０）の円であり、この領域にある凝視のみが計算に用いられる。これにもかかわらず、一部の被験者とともに作業するために９５％の信頼境界を約２°右下に下げる必要があり、それは、被験者の注視が道路曲線に従うときに生じる特性である。これらの偏差に対する簡単な解決は、典型的には、曲線に従うことができる時間窓を用いた長い初期化期間又は不可の計算である。ヨーレートが利用できる場合、道路前方のシーンの中心は、この信号に適合するとともに問題を解決するが、これは、現在では車両の通常のセンサではない。初期化段階を図２９に示す。較正プロセスは、有効値を生成する前に通常の運転の約５分間を用いて最適に作業するように調整される。
【０１７０】
同様な問題は、ドライバがタスクを実行するときに生じる。目は、道路前方の中央に戻るとは思われず、ある程度２次タスクの方向に向いている（運転は１次タスクである。）。頭の向きは、道路前方のシーンに直交しないことを意味するこの動作の回答となり、したがって、注視評価に変位が生じる。被験者の目が道路前方のシーンにあるものから離れるに従って、注視評価の精度が低下する。
【０１７１】
初期化段階が終了すると、二重ＶＴ−Ｉ，ＤＴ−Ｉ及び規則が適用される。二重ＶＴ−Ｉは、先ず、目のすばやい動き−注視の組合せを識別する。このような瞥見の最短形態は、その瞥見の時間に従ってＤＴ−Ｉ及び規則に送られる。小さい瞥見、例えば、領域内の一連の凝視は、それが同一領域に属する場合には互いに結合され、すなわち、瞥見がＩＳＯ／ＳＡＥ規格に従って形成される。瞥見の時間は、その総和がとられ、図２８に示すような集団化アルゴリズムからの出力であるオン／オフロード前方信号と同期をとるカウンタに送出される。カウンタは、同一タスクに属する全ての瞥見及び瞥見の時間を登録し、新たなタスクごとにリセットされる。しかしながら、リセットが実行される前に、ログのために処理されるデータが送出される。この場合、タスクの開始及び終了を表すために時間差が用いられる。
【０１７２】
アルゴリズムは、ＶＤＭからのデータに対して実証され、実証の研究はビデオ録画を利用する。ビデオ録画は、ＩＳＯ１５００７−２及びＳＡＥ Ｊ−２３９６法に従って行われた。７人の被験者を用いて、４種類の量：１）タスク長；２）瞥見の頻度；３）瞥見の平均持続時間；及び４）瞥見の全時間が比較された。
【０１７３】
適切なアルゴリズム機能を満足するために視覚的に確認されたそれぞれの瞥見を用いながら立証をタスクごとに行った。少数の凝視は、良好に作用することが証明されるとともに実際に計算間違いのない回復アルゴリズムを用いて自動的に回復される。
【０１７４】
ピアソンプロダクト−ムーブメントは、全ての重要な測定の分析タイプ間で高い相関を表している。タスク長ｒ＝０．９９９、瞥見の頻度ｒ＝０．９９８、瞥見の平均の持続時間ｒ＝０．８１６及び瞥見の全持続時間ｒ＝０．９９５。これは、「自動的なドライバの視覚的な動作の測定」の結果と比較され、この場合、相関は、ｒ＝０．９９１，ｒ＝０．９９７，ｒ＝０．７３２及びｒ＝０．９９５である。図３０〜３３は、各タスクに対する平均及び標準偏差をプロットする。
【０１７５】
リアルタイムアルゴリズムは、ＶＤＭ−実証研究からの六つのビデオ録画された被験者に対して実証された。オフライン実証に用いられる被験者の一人は、ベースラインドライブがない（校正データなし）ために取り除かれた。
【０１７６】
三つの測定：１）瞥見の回数；２）瞥見の全時間及び３）瞥見の平均時間が比較された。
【０１７７】
各被験者の全運転は、アルゴリズムを通じて連続的に行われた。安全サイドのために、走行は、５分しか要求されないとしてもシステムを校正するために２０分の通常の車道（ベースライン）の運転で開始した。ピアゾンプロダクト−ムーブメントは、二つの測定：瞥見の数ｒ＝０．９２５及び瞥見の全体の時間ｒ＝０．９６４の分析タイプ間で高い相関を表した。しかしながら、瞥見の平均時間は、良好に相関しない。ｒ＝０．３０１。図３４〜３６は、各タスクに対する平均及び標準偏差をプロットする。
【０１７８】
立証の結果によれば、データ品質が最適レベルでなくてもアルゴリズムは著しく信頼性があり、例えば、アルゴリズムは、雑音レベル及び信号精度の変動に対して強固である。また、目の動きの規則を用いることによって、アルゴリズムは、信号中のほとんど消滅した凝視を検索することができる。
【０１７９】
分析方法間の相関は、強力である（ｒ＝０．８２）瞥見の平均持続時間を除く全ての測定に対して０．９９の領域（オフライン形態）で非常に高い。しかしながら、低い相関は、他の二つに基づく測定から予測される。
【０１８０】
予処理も良好に作用することが証明された。１５サンプルの中間値フィルタは、雑音及びまばたきを非常に効率よく除去する間に目のすばやい動きの開始／終了を保持した。
【０１８１】
二重ＶＴ−Ｉ，ＤＴ−Ｉ及び規則の組合せは、予想以上に作用することを証明した。眼球運動に対する物理的な規則と共同する二重ＶＴ−Ｉの精度及びＤＴ−Ｉの信頼性は、一時的なセンサの信用の降下及び高い雑音レベルに対して強固であるアルゴリズムを形成した。
【０１８２】
強固かつ信頼性のあるリアルタイムの瞥見検出を行うことができることが示された。シミュレーションは、二つの測定（瞥見の回数及び瞥見の全時間）の高い相関を明らかにした。しかしながら、瞥見の平均時間に対する相関は低かった（ｒ＝０．３０１）。注目すべきことは、リアルタイムアルゴリズムは、ミラーに向かう瞥見とラジオに対する瞥見とを区別することができず、全ての測定が幾分低いと予測される。リアルタイムアルゴリズムをオフライン形態と同程度に正確にすることができる。これは、被験者が車両内、例えば、インテリアミラー、サイドミラー、機器の群及びセンタースタックを最も一般的に見る対象物として識別することによって行われる。これら対象は、車両中に適切に分散し、したがって、互いに混同されない。さらに、これら対象の一つに対して初期段階を開始するためにこの特定の対象に対する最もあり得る領域として規定される領域で一つ又は二つの瞥見しかとるべきでない。最も一般的に見られる対象は、この誤りに最も寄与する対象であり、これらは、検出が最も容易な対象でもある。
【０１８３】
他のデータセットはビデオ録画されず又は他の任意の方法で分析されないので、それは、互いに相違するアルゴリズム部分、例えば、リアルタイム初期化のテストに対してのみ使用された。しかしながら、この作業は、このデータの分析に対するドアを開いた。
【０１８４】
ＩＳＯ１５００７−２規格及びＳＡＥ Ｊ−２３９６規格の規定及び測定に従って作用する強固なハイブリッドアルゴリズムが開発された。この方法は、ビデオ録画に比べて著しく速く、１時間のデータは、ビデオ録画で約１日を要し、それに対して、自動的に現在の雑音レベルに適合するアルゴリズムでは数分を要する。
【０１８５】
本発明の展開中、以下の達成が観察された。１）予処理中間値フィルタ長は、６０Ｈｚでサンプリングされたデータに対して１５サンプルに最適化された。２）２０サンプルの中間値フィルタが、雑音の多い信号部分に用いられ、この場合、目の規則によれば、凝視となるべきである。これは、凝視を検出するのに十分な信号を穏やかにすることができる。３）現在の雑音レベルに適合する二つの凝視／目のすばやい動きの検出アルゴリズム及び決定アルゴリズムの強固なハイブリッドが開発され、それは６０Ｈｚデータに調整される。４）眼球運動に対する物理的な規則は、スマートな決定及び制御アルゴリズムとして実現される。５）インタラクションの最小を要求する自動的かつ強固な集団化方法が、タスク分析に対して開発された。６）アルゴリズムのリアルタイム形態が開発され及び検証された。７）アルゴリズムのリアルタイム形態は、瞥見を「道路真っ直ぐ前方」のカテゴリー又は「他の」カテゴリーに分類する新規のフレームワークを用いる。８）ＩＳＯ／ＳＡＥの全ての測定が実現された。
【０１８６】
このテーマは、実際のオンロード環境でテストすべき眼球運動のデータを用いることができる複数の関心がある車内プロダクトアプリケーションに対してドアを開く。例えば、作業負荷評価、注意評価、眠気検出、適応インタフェース、適応警報等。人間工学の評価、ＨＭＩ研究、知覚的な作業負荷、注意散漫、眠気等の研究は全て、ここで規定する発明の潜在的に関心があるアプリケーションである。
【０１８７】
したがって、ドライバの精神状態に対する新たな途が開かれた。今日の環境において、ロードやセーブのようなデータを実行し、視覚的に区分を検査し、時折世界モデルを調整する少数のマニュアルステップが存在する。しかしながら、これらマニュアルタスクを自動化するとともに本発明に従ってそれを実行することは、当業者の理解の範囲内で十分考えられる。これは、カメラに直接日光が入射し、大きな領域に亘って凝視を散乱し、時々集団が消える場合に特に当てはまる。したがって、その解析ツールは、更に強固かつ正確になり、これらステップの一部はもはや必要でなく、バッチ処理が可能になるかもしれない。
【０１８８】
本発明は、できるだけ多くに利用できる情報をドライバの目から車両（及び研究者）に提供するために強固かつ知的に作業するリアルタイムアルゴリズムを有することを意図する。リアルタイムアルゴリズムは、複数の対象を強固かつ知的に分類することができる。世界モデル対象の現実世界に対するリアルタイムの適合によって、イベント及びデータをログする。関心がある一つのアプローチは、ターゲットエリアをＨＭＭ状態として実現することである。この統計的なアプローチを導入することによって、ターゲット分類を促進することができ、ターゲット領域の境界が更にフローティング状態になる。関心がある一つの考えは、これまでの凝視が外側に登録されたときに世界モデル領域が出現し又は凝視が他の対象から離間して登録されたときに動的な世界モデルが出現することである。世界モデルは、世界モデルを校正するために対象のこのヒストリを使用するとともに、知的な決定、例えば、対象の完全なタスク駆動識別を行うことができる。
【０１８９】
検出アルゴリズムに関して、他のセンサ情報を利用することができる。近年の車において、ＣＡＮバスは、ステアリング角や、ターンインディケータアクチュエーションや、車両速度や、所定のボタンが押されたか否かのようなフェールを追跡する際に注視方向を評価するのに有用であるセンサ信号が流れている。これは、交通状況についての情報を提供することもでき、したがって、区分パラメータを、田舎や、郊外や、都市の交通のような特定の交通状況に対して最適化する。ラージスケールの運転パターンを認識する更に有用なアプローチも完了した。他のＷＨＭフィルタを、道路から離れた凝視の開始における雑音を減少する更によい方法が存在するか否かを見つけ出すためにテストすることができ、この場合、回復アルゴリズムが用いられる。フィルタのフローラは大きくなるように思われる。
【０１９０】
アルゴリズムをサポートする方法の一つは、被験者の頭がしばしば少なくとも横の注視に対して目と同一方向に動くという事実である。このアプローチの欠点は、被験者の個別の差に起因することである。一部の被験者は、実質的には頭が動かないが、一部の被験者は常に動いている。それでも、これは、注視に雑音が多いときには区分を助長する適切な方法となりうる。
【０１９１】
リアルタイムアルゴリズムにおいて、次の６サンプルの予測によって、１００ｍｓで速度が増加する。目のすばやい動きの信号を、５点の２次式予測を用いることによって非常に小さい誤差で少なくとも数ポイントで予測することができる。速度は、リアルタイムアルゴリズムで最重要である。
【０１９２】
既に説明したことの観点から、これらアルゴリズムの良好な調整が将来継続される。既に進行中の開発の一つは、「視覚的な要求測定ツール」又は単に「ＶＤＭツール」と称されるアルゴリズムＧＵＩである。このプログラムの目的は、眼球運動の分析を所望する者の使用を容易にする分析ツールを形成することである。
【０１９３】
実行することができる方法と装置の両方を含む本発明の分析技術の多数の態様を開示した。分析の重要な特徴は、少なくとも部分的にドライバの眼球運動に基づき、評価がリアルタイムに基づいて行われる。
【特許請求の範囲】
【請求項１】
眼球運動のデータを自動的に分析する方法であって、
被験者で観察される眼球運動を表すデータを、分類規則を前記データに適用することによってコンピュータに基づくプロセッサを用いて処理し、前記被験者によって経験される少なくとも視界的な凝視を識別し、
識別された凝視に関連して注視方向の情報を分析し、これによって、データ収集中に被験者が視覚的に凝視した方向を示すデータを表し、
表されたデータが、少なくとも部分的に凝視の注視方向に基づいて画定データセットに区分され、画定データセットの各々が、データ収集中に存在する被験者の関心がある領域／対象を表し、前記画定データセットのうちの少なくとも一つが、前記注視方向の情報から決定された高密度パターンに基づく典型的な目の向く方向の運転の領域を表し、
道路中央のパーセント（ＰＲＣ）のドライバの特徴を、予め規定された期間中にドライバに維持された目の向く方向の運転の相対的な定量化を表すデータから計算することを特徴とする方法。
【請求項２】
典型的な目の向く方向の運転を表す領域を規定する前記画定データセットと比較しながら、前記表されたデータを利用して、前記比較に基づく以下のドライバの状態の特徴（１）知覚的なドライバの注意散漫、（２）視覚的なドライバの注意散漫及び（３）ドライバの高い作業負荷のうちの少なくとも一つの過酷さを識別し及び評価することを特徴とする請求項１記載の方法。
【請求項３】
少なくとも一つの瞥見規定規則をデータに適用することによって瞥見を識別し、識別された前記瞥見の各々が、少なくとも一つの識別された凝視状態をもたらすことを特徴とする請求項１記載の方法。
【請求項４】
前記少なくとも一つの瞥見規定規則を、瞥見の持続時間、瞥見の頻度、瞥見の全時間及び全タスク時間を含む群から選択された少なくとも一つの特徴に基礎を置くことを特徴とする請求項３記載の方法。
【請求項５】
前記識別された瞥見を、少なくとも部分的に瞥見の各々の間の注視方向に基づいて限界瞥見セットに分離し、分離された瞥見のセットの各々が、データ収集期間中に存在する被験者の関心がある領域／対象を表すことを特徴とする請求項３記載の方法。
【請求項６】
一つの瞥見のセットの相対密度を、少なくとも他の一つの瞥見のセットとの比較によって評価し、それに基づいて、比較された瞥見のセットの被験者の関心がある前記表された領域／対象を識別することを特徴とする請求項５記載の方法。
【請求項７】
複数の瞥見のセットのうちの少なくとも一つの瞥見のセットの相対密度を評価し、眼球運動のデータが収集されたタイプの設定に関連した既知の相対密度に対する前記評価した相対密度のマッピングに基づいて、比較された瞥見のセットの被験者の関心がある前記表された領域／対象を識別することを特徴とする請求項５記載の方法。
【請求項８】
既知の設定で観察された眼球運動を示すデータから表された少なくとも二つの瞥見のセットの相対密度を評価し、
二つの比較された瞥見の各々の被験者の関心がある前記表された領域／対象を識別するとともに、前記既知の設定の被験者の関心がある前記表された領域／対象の位置を確認し、これによって、前記既知の設定に対する特別な参照フレームを確立することを特徴とする請求項５記載の方法。
【請求項９】
前記被験者が車両のドライバであり、前記瞥見のデータセットのうちの少なくとも一つの密度に基づいて、目が前方に向くドライバの通常の目の向きを推定することを特徴とする請求項８記載の方法。
【請求項１０】
適用された前記分類規則が、少なくとも凝視状態及び遷移状態を規定する基準を備えることを特徴とする請求項１記載の方法。
【請求項１１】
適用された前記分類規則が、目のすばやい動きを規定する基準を更に備えることを特徴とする請求項１記載の方法。
【請求項１２】
前記被験者が車両のドライバであり、この方法が更に処理されるデータセットに関連した優勢な雑音特性に依存して複数の分析プロトコルの利用を含むことを特徴とする請求項１記載の方法。
【請求項１３】
予め設定された厳格さの第１データフィルタを、車両のドライバに観察された眼球運動を表す前記データを備える入力データ流れに適用し、前記コンピュータに基づくプロセッサを利用して、そこから前記入力データ流れに対応する第１のフィルタ処理されたデータ流れを出力し、
出力された前記第１のフィルタ処理されたデータ流れの品質を、第１の承認規則を適用することによって評価し、前記第１の承認規則をパスする出力され前記第１のフィルタ処理されたデータ流れが、出力され、承認された第１のデータ流れを構成することを特徴とする請求項１２記載の方法。
【請求項１４】
前記第１データフィルタより強い厳格さの第２データフィルタ入力データ流れを適用し、前記コンピュータに基づくプロセッサを利用して、前記入力データ流れからの共通の偏差を通じた第１のフィルタ処理されたデータ流れに対応する第２のフィルタ処理されたデータ流れを出力し、
出力された前記第２のフィルタ処理されたデータ流れの品質を、第２の承認規則を適用することによって評価し、前記第２の承認規則を通過して出力される前記第２のフィルタ処理されたデータ流れが、出力され、承認された第２のデータ流れを構成することを特徴とする請求項１３記載の方法。
【請求項１５】
前記承認された第１のデータ流れの全体によって構成された収集的な承認データ流れを構成し、前記収集的な承認データ流れが、出力され前記第１のフィルタ処理されたデータ流れの未承認部分に対応する前記承認された第２のデータ流れの部分によっても構成されることを特徴とする請求項１４記載の方法。
【請求項１６】
前記第１及び第２の承認規則が同一であることを特徴とする請求項１４記載の方法。
【請求項１７】
前記第１及び第２の承認規則が同一基準に基づくことを特徴とする請求項１４記載の方法。
【請求項１８】
（１）群の他のメンバーと比べて低雑音成分の目の動作のデータに最適な速度に基づく二重境界値プロトコル、（２）群の他のメンバーと比べて中間雑音成分の目及びまぶたの動きのデータに最適な距離に基づく分散スペーシングプロトコル及び（３）群の他のメンバーと比べて高雑音成分の目の動作のデータに最適な目の特徴に基づく規則に適合されたプロトコルからなる群から複数を構成する少なくとも二つの分析プロトコルを選択することを特徴とする請求項１２記載の方法。
【請求項１９】
所定のデータセットに対するプロトコルの前記選択が、前記データセットの検出された雑音レベルに依存して前記三つのプロトコルのうちの一つに向かうことを特徴とする請求項１８記載の方法。
【請求項２０】
前記規則に適合されたプロトコルが、凝視状態と目のすばやい動きとの間の区別の際に以下の基準（１）凝視状態の持続時間が１５０ミリ秒を超える必要がある、（２）目のすばやい動きの持続時間が２００ミリ秒を超えてはいけなく、目のすばやい動きの開始及び終了が、互いに相違する位置で行われる、のうちの一つ以上を考察することを特徴とする請求項１８記載の方法。
【請求項２１】
前記複数の分析プロトコル間の各分析プロトコルの相対的な利用に基づいて、眼球運動を表す前記データの品質を評価することを特徴とする請求項１２記載の方法。
【請求項２２】
予め規定された期間に亘る複数の分析プロトコル間の各分析プロトコルの相対的な利用を時間に基づいて考察する眼球運動を表すデータの品質を評価することを特徴とする請求項１０記載の方法。
【請求項２３】
予め規定された期間の流れを横切る第１時間窓を利用しながら収集されたドライバの目の注視データを分析し、前記データ流れの部分の正しさを混乱させる人為的作為を検出し、
前記データ流れを同時に横切る第２の移動時間窓を回復し、前記人為的作為に出くわしたときに前記収集的なデータから高次のフィルタ処理データを発生することを特徴とする請求項１記載の方法。
【請求項２４】
予め規定された期間の流れを横切る第１時間窓を利用しながら収集されたドライバの目の注視のデータ流れを分析し、
データ流れが横切る間に予め規定された品質の境界値レベルよりデータの品質が低下していることを表す前記第１時間窓内の特徴を検出することを特徴とする請求項１記載の方法。
【請求項２５】
前記データの品質の低下が、予め規定された品質の境界値レベルを超えるときに、前記データ流れを同時に横切る第２移動時間窓を回復し、前記収集されたデータから高次フィルタ処理されたデータを発生することを特徴とする請求項２４記載の方法。
【請求項２６】
前記予め規定された品質の境界値レベル内に戻される前記データの品質の低下が検出されると、前記第１移動時間窓に戻ることを特徴とする請求項２５記載の方法。
【請求項１】
眼球運動のデータを自動的に分析する方法であって、
被験者で観察される眼球運動を表すデータを、分類規則を前記データに適用することによってコンピュータに基づくプロセッサを用いて処理し、前記被験者によって経験される少なくとも視界的な凝視を識別し、
識別された凝視に関連して注視方向の情報を分析し、これによって、データ収集中に被験者が視覚的に凝視した方向を示すデータを表し、
表されたデータが、少なくとも部分的に凝視の注視方向に基づいて画定データセットに区分され、画定データセットの各々が、データ収集中に存在する被験者の関心がある領域／対象を表し、前記画定データセットのうちの少なくとも一つが、前記注視方向の情報から決定された高密度パターンに基づく典型的な目の向く方向の運転の領域を表し、
道路中央のパーセント（ＰＲＣ）のドライバの特徴を、予め規定された期間中にドライバに維持された目の向く方向の運転の相対的な定量化を表すデータから計算することを特徴とする方法。
【請求項２】
典型的な目の向く方向の運転を表す領域を規定する前記画定データセットと比較しながら、前記表されたデータを利用して、前記比較に基づく以下のドライバの状態の特徴（１）知覚的なドライバの注意散漫、（２）視覚的なドライバの注意散漫及び（３）ドライバの高い作業負荷のうちの少なくとも一つの過酷さを識別し及び評価することを特徴とする請求項１記載の方法。
【請求項３】
少なくとも一つの瞥見規定規則をデータに適用することによって瞥見を識別し、識別された前記瞥見の各々が、少なくとも一つの識別された凝視状態をもたらすことを特徴とする請求項１記載の方法。
【請求項４】
前記少なくとも一つの瞥見規定規則を、瞥見の持続時間、瞥見の頻度、瞥見の全時間及び全タスク時間を含む群から選択された少なくとも一つの特徴に基礎を置くことを特徴とする請求項３記載の方法。
【請求項５】
前記識別された瞥見を、少なくとも部分的に瞥見の各々の間の注視方向に基づいて限界瞥見セットに分離し、分離された瞥見のセットの各々が、データ収集期間中に存在する被験者の関心がある領域／対象を表すことを特徴とする請求項３記載の方法。
【請求項６】
一つの瞥見のセットの相対密度を、少なくとも他の一つの瞥見のセットとの比較によって評価し、それに基づいて、比較された瞥見のセットの被験者の関心がある前記表された領域／対象を識別することを特徴とする請求項５記載の方法。
【請求項７】
複数の瞥見のセットのうちの少なくとも一つの瞥見のセットの相対密度を評価し、眼球運動のデータが収集されたタイプの設定に関連した既知の相対密度に対する前記評価した相対密度のマッピングに基づいて、比較された瞥見のセットの被験者の関心がある前記表された領域／対象を識別することを特徴とする請求項５記載の方法。
【請求項８】
既知の設定で観察された眼球運動を示すデータから表された少なくとも二つの瞥見のセットの相対密度を評価し、
二つの比較された瞥見の各々の被験者の関心がある前記表された領域／対象を識別するとともに、前記既知の設定の被験者の関心がある前記表された領域／対象の位置を確認し、これによって、前記既知の設定に対する特別な参照フレームを確立することを特徴とする請求項５記載の方法。
【請求項９】
前記被験者が車両のドライバであり、前記瞥見のデータセットのうちの少なくとも一つの密度に基づいて、目が前方に向くドライバの通常の目の向きを推定することを特徴とする請求項８記載の方法。
【請求項１０】
適用された前記分類規則が、少なくとも凝視状態及び遷移状態を規定する基準を備えることを特徴とする請求項１記載の方法。
【請求項１１】
適用された前記分類規則が、目のすばやい動きを規定する基準を更に備えることを特徴とする請求項１記載の方法。
【請求項１２】
前記被験者が車両のドライバであり、この方法が更に処理されるデータセットに関連した優勢な雑音特性に依存して複数の分析プロトコルの利用を含むことを特徴とする請求項１記載の方法。
【請求項１３】
予め設定された厳格さの第１データフィルタを、車両のドライバに観察された眼球運動を表す前記データを備える入力データ流れに適用し、前記コンピュータに基づくプロセッサを利用して、そこから前記入力データ流れに対応する第１のフィルタ処理されたデータ流れを出力し、
出力された前記第１のフィルタ処理されたデータ流れの品質を、第１の承認規則を適用することによって評価し、前記第１の承認規則をパスする出力され前記第１のフィルタ処理されたデータ流れが、出力され、承認された第１のデータ流れを構成することを特徴とする請求項１２記載の方法。
【請求項１４】
前記第１データフィルタより強い厳格さの第２データフィルタ入力データ流れを適用し、前記コンピュータに基づくプロセッサを利用して、前記入力データ流れからの共通の偏差を通じた第１のフィルタ処理されたデータ流れに対応する第２のフィルタ処理されたデータ流れを出力し、
出力された前記第２のフィルタ処理されたデータ流れの品質を、第２の承認規則を適用することによって評価し、前記第２の承認規則を通過して出力される前記第２のフィルタ処理されたデータ流れが、出力され、承認された第２のデータ流れを構成することを特徴とする請求項１３記載の方法。
【請求項１５】
前記承認された第１のデータ流れの全体によって構成された収集的な承認データ流れを構成し、前記収集的な承認データ流れが、出力され前記第１のフィルタ処理されたデータ流れの未承認部分に対応する前記承認された第２のデータ流れの部分によっても構成されることを特徴とする請求項１４記載の方法。
【請求項１６】
前記第１及び第２の承認規則が同一であることを特徴とする請求項１４記載の方法。
【請求項１７】
前記第１及び第２の承認規則が同一基準に基づくことを特徴とする請求項１４記載の方法。
【請求項１８】
（１）群の他のメンバーと比べて低雑音成分の目の動作のデータに最適な速度に基づく二重境界値プロトコル、（２）群の他のメンバーと比べて中間雑音成分の目及びまぶたの動きのデータに最適な距離に基づく分散スペーシングプロトコル及び（３）群の他のメンバーと比べて高雑音成分の目の動作のデータに最適な目の特徴に基づく規則に適合されたプロトコルからなる群から複数を構成する少なくとも二つの分析プロトコルを選択することを特徴とする請求項１２記載の方法。
【請求項１９】
所定のデータセットに対するプロトコルの前記選択が、前記データセットの検出された雑音レベルに依存して前記三つのプロトコルのうちの一つに向かうことを特徴とする請求項１８記載の方法。
【請求項２０】
前記規則に適合されたプロトコルが、凝視状態と目のすばやい動きとの間の区別の際に以下の基準（１）凝視状態の持続時間が１５０ミリ秒を超える必要がある、（２）目のすばやい動きの持続時間が２００ミリ秒を超えてはいけなく、目のすばやい動きの開始及び終了が、互いに相違する位置で行われる、のうちの一つ以上を考察することを特徴とする請求項１８記載の方法。
【請求項２１】
前記複数の分析プロトコル間の各分析プロトコルの相対的な利用に基づいて、眼球運動を表す前記データの品質を評価することを特徴とする請求項１２記載の方法。
【請求項２２】
予め規定された期間に亘る複数の分析プロトコル間の各分析プロトコルの相対的な利用を時間に基づいて考察する眼球運動を表すデータの品質を評価することを特徴とする請求項１０記載の方法。
【請求項２３】
予め規定された期間の流れを横切る第１時間窓を利用しながら収集されたドライバの目の注視データを分析し、前記データ流れの部分の正しさを混乱させる人為的作為を検出し、
前記データ流れを同時に横切る第２の移動時間窓を回復し、前記人為的作為に出くわしたときに前記収集的なデータから高次のフィルタ処理データを発生することを特徴とする請求項１記載の方法。
【請求項２４】
予め規定された期間の流れを横切る第１時間窓を利用しながら収集されたドライバの目の注視のデータ流れを分析し、
データ流れが横切る間に予め規定された品質の境界値レベルよりデータの品質が低下していることを表す前記第１時間窓内の特徴を検出することを特徴とする請求項１記載の方法。
【請求項２５】
前記データの品質の低下が、予め規定された品質の境界値レベルを超えるときに、前記データ流れを同時に横切る第２移動時間窓を回復し、前記収集されたデータから高次フィルタ処理されたデータを発生することを特徴とする請求項２４記載の方法。
【請求項２６】
前記予め規定された品質の境界値レベル内に戻される前記データの品質の低下が検出されると、前記第１移動時間窓に戻ることを特徴とする請求項２５記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【公開番号】特開２０１３−５６１８０（Ｐ２０１３−５６１８０Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１２−２４５４５７（Ｐ２０１２−２４５４５７）
【出願日】平成２４年１１月７日（２０１２．１１．７）
【分割の表示】特願２００９−２９０１１６（Ｐ２００９−２９０１１６）の分割
【原出願日】平成１５年１０月１５日（２００３．１０．１５）
【出願人】（５０２１９６５１１）ボルボ テクノロジー コーポレイション (52)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２４年１１月７日（２０１２．１１．７）
【分割の表示】特願２００９−２９０１１６（Ｐ２００９−２９０１１６）の分割
【原出願日】平成１５年１０月１５日（２００３．１０．１５）
【出願人】（５０２１９６５１１）ボルボ テクノロジー コーポレイション (52)
【Ｆターム（参考）】
[ Back to top ]