輸送手段の安全な運転を補助する装置及び方法
【課題】輸送手段の安全性を改善する装置及び方法を提供すること。
【解決手段】輸送手段の安全運転を補助する装置は，輸送手段環境内の危険事情を検出する環境感知器システムと，（視線軌跡のような）ドライバ認知データを提供するドライバ監視器と，危険事情データと視線軌跡とを比較することによって，ドライバが十分に又は不十分に感知した危険事情を特定する注意評価モジュールとを含む。認知していない危険事情に関係する警告信号を提供することができる。
【解決手段】輸送手段の安全運転を補助する装置は，輸送手段環境内の危険事情を検出する環境感知器システムと，（視線軌跡のような）ドライバ認知データを提供するドライバ監視器と，危険事情データと視線軌跡とを比較することによって，ドライバが十分に又は不十分に感知した危険事情を特定する注意評価モジュールとを含む。認知していない危険事情に関係する警告信号を提供することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は２０１０年１月１４日出願の米国特許出願第１２／６８７，５９９号の優先権を主張し，その内容をここに参照する。
【０００２】
本発明は輸送手段の安全性を改善する装置及び方法に関する。
【背景技術】
【０００３】
輸送手段の安全性は大きな関心及び重要性を伴う分野である。したがって，輸送手段の安全性を改善する方法及び装置は大いなる価値を有する。
【発明の概要】
【課題を解決するための手段】
【０００４】
輸送手段の安全性は，輸送手段環境内の危険事情（ｈａｚａｒｄ）を運転手に気付きやすくすることによって向上させることができる。しかし，すべての潜在的危険事情を輸送手段運転手に警告しようとすると警告の数が過剰になり，そのようなシステムはそれ自身を危険なまでに乱し，無視されるか，停止させられることになる。
【０００５】
危険事情警告の有効性は，その警告が輸送手段運転手が気付いていない危険事情に関するものであるとき，高められる。輸送手段安全システムの例は，環境感知器システム，輸送手段運転手監視器（例えば，ドライバ監視器），注意評価モジュール，及び警告システムである。注意評価モジュールは，（環境感知器システムによって検出された）環境内の危険事情と，ドライバの認知とを比較する。ドライバの認知は，視線追跡（ｇａｚｅ ｔｒａｃｋｉｎｇ）を用いてどの危険事情をドライバが認知されたか判定することによって推定してもよい。
【０００６】
危険事情警告の数は，ドライバが見ていないか，又は気付いていないと分かる危険事情に対して，選択的に危険事情警告を行うことによって大いに減少させることができる。警告の数を減らすことによって，装置の有効性が大いに高まる。不必要な警告を無くすことによって，出された警告はドライバにより有用なものとなり，ドライバがシステムを停止させたり，無視したりすることは少なくなる。
【０００７】
したがって，改善された事故防止システムは，内向き（ｉｎｗａｒｄ−ｆａｃｉｎｇ）感知器と，ドライバ監視と，輸送手段環境を監視する外向き（ｏｕｔｗａｒｄ−ｆａｃｉｎｇ）感知器と，の組合せを用いて提供することができる。ここで，内向き感知器はドライバの方に向けられ，外向き感知器は輸送手段の外部環境に向けられている。輸送手段運転手とは，自動車のような陸上の輸送手段のドライバであってよく，簡潔にするため以降の例においては「ドライバ」の用語を用いる。しかし，本発明の実施例は，船，飛行機，など，ほかの輸送手段の輸送手段安全システムも含む。
【０００８】
輸送手段の安全運転を補助する装置の例は，輸送手段環境内の危険事情を検出する環境感知器システムと，ドライバを監視し，（注目点に関するデータのような）ドライバ認知データを提供するドライバ監視器と，危険事情データとドライバ認知データとを比較することによって，認知された（例えば目視した）危険事情と認知されていない危険事情とを特定する注意評価モジュールと，を含む。認知された危険事情とは，ドライバが気付いているもの，又はドライバ認知データに基づいて，ドライバの認知が合理的に推定又は推論できるもの，である。
【０００９】
危険事情データは，タイムスタンプ付き危険事情位置データのような，時間に応じた特定の危険事情に対する危険事情位置を含んでもよい。危険事情についての予測された位置データもまた使うことができる。ドライバ認知データは，視線軌跡（ｇａｚｅ ｔｒａｃｋ）のようなドライバ認知の中心方向に関するデータを含む。特に，視線軌跡の測定によって認知された危険事情及び認知されていない危険事情（すなわち，十分に観察されている危険事情及び観察が不十分な危険事情）の推測又は特定が可能になる。視線軌跡データは，ドライバの視線軌跡を含んでもよく，かつドライバの凝視方向及び期間を含む凝視データを含んでもよい。任意選択の危険事情警告を，ドライバに警告をするために用いてもよい。ここで，観察されていない危険事情及び／又は隠ぺいされた認知されていない危険事情に優先度が与えられる。危険事情は次の二つのクラス，「十分に感知された」若しくは「十分に感知されていない」，又は「十分に観察された」若しくは「十分に観察されていない」に分類することができる。いくつかの実施例においては，危険事情は２以上の範ちゅう，例えば「認知された」（危険事情への視線又は危険事情への視線ベクトルがある）及び「認知されていない」（危険事情への視線又は危険事情への視線ベクトルがない）に分類することができる。任意選択の追加範ちゅうは「十分に認知されていない」危険事情である。十分に認知されていない危険事情は，視線ベクトルが危険事情に向けられているが，妨害物によって当該危険事情全体が認知できない，隠ぺいされた危険事情を含む。一例は，歩行者が駐車している輸送手段のかげから道路に近づき，駐車した輸送手段が歩行者をはっきり見えないようにしている場合である。範ちゅう「十分に認知されていない」はまた，何かを一時的に凝視したが，輸送手段感知器が捕捉したものに対して十分に正確な心理モデルが形成できない場合も含む。例えば，人がほかの輸送手段を一べつ（瞥）したが，輸送手段の相対速度を認知するには十分長くない場合である。
【００１０】
環境感知と，ドライバ監視と，これらのシステムからのデータの比較との新規な組合せによって，ドライバが危険に気付かないであろう潜在的に危険な状況について情報を与えることができる。利点には不必要な警告の減少と，与えられた警告の有効性の向上とが含まれる。例えば，ドライバ監視器が，ドライバが接近する輸送手段又はほかの危険事情を見たとき，ドライバがまだ観察していない危険事情の振る舞いに変化がない限り，接近する輸送手段又はほかの危険事情に関しては，追加の警告をする必要はない。
【００１１】
環境感知器システムは，ほかの輸送手段，交通信号，歩行者などのような環境内の物体を感知及び検出するように構成される。いくつかの実施例において，すべての検出された物体は危険事情と考えてもよい。いくつかの実施例において，危険事情はすべての検出された物体，例えば，大きさ，輸送手段に対する相対位置，輸送手段の予想走行経路（例えば道路）に対する相対位置，速度，加速度，及び／又はほかの要因，のような要因によって判定される輸送手段へ脅威を与える物体，のサブセットである。
【００１２】
環境感知器システムは，例えばレーダ，レーザ測距器，映像感知器，などのような１又は複数の感知器を備えてもよい。環境感知器システムは，感知器信号を受信して，環境内の１又は複数の危険事情を検出する処理モジュールを更に含んでもよい。ドライバ監視器は車室内に向かって内向きに向けられた１又は複数の感知器を備えてもよく，またカメラ，３次元飛行時間感知器，などのような，視線追跡用に構成できる感知器を含んでもよい。頭又は身体の姿勢のようなドライバに関するほかの情報もまた，ドライバの状態及び環境の知識を推定できるようにする。姿勢に関しては，カメラからだけではなく，ドライバの重量及び応力の分布を示す（シート，ハンドル，又はドライバが触れる可能性があるほかの場所における）圧力感知器，ドライバがそばにいる可能性がある超音波，容量，光又はほかの近接感知システム，身体が発する蒸気又は化学物質（例えば神経過敏の際の汗，又はドライバが飲酒しているときのアルコール）を検出できる化学物質感知器，又はほかの感知器のような感知器からも推定することができる。感知器は，ドライバの姿勢，医学的若しくはほかの身体的状態，感情状態，又はほかの状態を監視することができる。
【００１３】
環境感知器は，適応型走行制御感知器のようなほかの機能のためにも用いられる感知器を含んでもよい。これらはレーダ感知器を含んでもよい。例えばレーダ感知器は，輸送手段に対する相対速度が変化する輸送手段を特定するために用いてもよい。衝突又はドライバに与えられる警告を避けるように輸送手段の速度を調整してもよい。
【００１４】
ドライバ監視器は１又は複数の感知器，例えばコンピュータビジョンアルゴリズムによるドライバ監視を用いることができる。このような感知システムは，疲労又は注意散漫のようなドライバの問題を検出するためにも用いることができる。ドライバ監視器を，通常のコンピュータビジョンアルゴリズムを用いて，頭及び目の動きを追跡するために用いてもよい。例えば，人の視線軌跡が危険事情を通過するか，又は危険事情のそば（例えば，危険事情からの分離角及び／又は分離距離のような一定のしきい値内にある）を通過する必要がある。例えば，認知されていない危険事情は，視線軌跡から所定の分離角である１°〜１０°の外にあることがある。
【００１５】
ドライバ監視器は，画像データを供給するビデオカメラのような少なくとも一つの画像感知器を含んでもよく，ドライバ監視器処理モジュールは画像データから視線方向を判定することができる。例えば，頭の方向及び／又は目の方向を検出して視線軌跡を判定するために用いてもよい。
【００１６】
ドライバ認知データは，視線軌跡内の凝視に関係する凝視時間データを更に含んでもよい。いくつかの実施例において，視線は一定のしきい値時間固定している必要がある。例えば，少なくともいくつかの危険事情は，認知された危険事情として特定されるまでかなりの凝視時間を必要とする。これらの危険事情は，輸送手段に対して大いなる危険を生じさせ，危険な状態を避けるためにそれ自身が行動を起こすことがあり得ない重大な危険事情を含む。例えば，重大な危険事情は，一時停止標識，赤色交通信号，走行車線内に停止した輸送手段，動物，走行車線内の歩行者，などを含む。
【００１７】
視線軌跡が危険事情（又は危険事情の近く，例えば危険事情からのしきい値分離角以内）を通過したとき，危険事情はドライバが気付いている「認知された危険事情」として特定してもよい。認知されていない危険事情は，視線軌跡から所定の距離だけ外にある危険事情であってもよい。以降述べる種々の例において，認知された危険事情及び認知されていない危険事情が説明されるが，ドライバ監視器は，ドライバ認知のほかの量を更に又は代替で追跡してもよい。いくつかの実施例において，凝視は，目の動きの完全な停止を必要としない。凝視は，衝動性運動間間隔（ｉｎｔｅｒｓａｃｃａｄｉｃ ｉｎｔｅｒｖａｌ）として判定され，衝動性運動間間隔は視線追跡器によって検出することができる。視線は物体から物体へ，若しくは場所から場所へ跳躍する（「衝動性運動」（ｓａｃｃａｄｅ）と呼ばれる）か，又は物体若しくは位置に留まる（凝視（ｆｉｘａｔｉｏｎ）と呼ばれる）。しかし，物体が動いているときであっても，目が大きな速い跳躍をする必要がなく，適度によく物体を追跡できる限り，凝視中も視線は物体に留まることができる。凝視は，衝動性運動間の期間，すなわち衝動性運動間間隔中に起こる。視線が観察者に対して動いている物体に留まるとき，目は，（視線が物体上に維持されている間の物体の動きを強調するための）物体追跡又は動いている物体の凝視双方を指す滑動性追従運動を用いて，緊密に物体運動を追う。移動物体に関する凝視という用語は，目の動きの完全な停止を必要としない。むしろ，脳の滑動性追従システムを用いて移動物体を追跡する，目で追跡可能な相対速度で目標物が移動するときであっても，一つの目標物の選択である。したがって，衝動性運動間に静止又は準静止画像が観察されるとき，衝動性眼球運動間の衝動性運動間間隔も凝視期間と呼んでよい。
【００１８】
認知された危険事情は，ドライバの視線が危険事情を通過した後も，例えば所定の時間，例えば１〜１０秒の間は「認知された」に分類され続ける。環境感知器システムが危険事情は予測不能な振る舞いをしていると判定したときは，認知された危険事情は「認知されていない」に再分類される。物体の予測不能な振る舞いとは，最後の視線配置において構築されたモデルから振る舞いを変えること，又は最後の視線配置にかかわらず予測不能な振る舞いをすることを含む。予測不能な振る舞いは，最後の観察における危険事情の状態に比べた危険事情の加速，減速，又は方向の変化の結果として生じる。認知された危険事情もまた，ドライバが最後に危険事情を見た後，所定時間が経過した後に「認知されていない」に再分類される。さらに，既存の物体から新たに現れた振る舞い（予測していない振る舞い）に対しても警告してよい。これらは，振る舞いを予測する全体能力が限られている場合，又は物体が新規である場合と同様に危険かつ重要である。例えば，別の輸送手段が予測不能に速度を上げ，速度を下げ，方向を変えたとき，ドライバ監視に基づいてドライバに警告が行われる。さらに，認知された危険事情は，当該危険事情の周囲の環境によって振る舞いの変更が必要であり，またドライバが危険事情の状態を評価して危険事情の振る舞いについてのドライバのモデルを更新するために当該危険事情を再検査したとき，認知状態を認知された危険事情から予期しない危険事情の状態に偏移させることが必要であるほど変化しても，予測可能に自己の振る舞いを変化させることができないことがある（例えば，環境内の一時停止標識又は停止信号があるにもかかわらず停止するために減速しない，又は道路が曲がっているにもかかわらず，転回を開始できない）。
【００１９】
注意評価処理モジュールは，環境感知器及びドライバ監視感知器からのデータを結合して，ドライバが潜在的な危険事情それぞれに十分な注意を払っているかどうかを評価する。出力は潜在的な危険事情について一組の警告を有し，ドライバが各危険事情に気付いているかどうかに応じてこれらの警告を選択する。例えば，危険な状況について，人間‐機械インタフェースを介してドライバに警告を与えることができる。警告は，１又は複数の危険事情パラメータに関係する情報を含んでもよい。危険事情パラメータは，距離，相対速度，方向（例えば走行方向のような基準方向に対する角度），大きさ，危険事情識別情報，又はほかの情報を含んでもよい。例えば危険事情に対する方向は，可聴警告の発生源の見掛けの方向で示してもよいし，視覚識別可能な矢印を用いて示してもよい。いくつかの実施例においては，輸送手段制御モジュールを用いて，危険事情に反応して，例えばブレーキ，エンジン速度制御，操舵，又はほかの輸送手段制御信号を用いて輸送手段の軌跡を調整することができる。
【００２０】
注意評価モジュールは計算機のような電子回路であってよく，環境感知器システムによって検出された環境内の危険事情と，ドライバの環境の認知とを比較するように動作することができる。ドライバの認知は，ドライバの視線がそばを通過したか，通過した環境内の危険事情として判定してもよい。いくつかの実施例において，例えば視線追跡によって判定されたとき，ドライバが見た危険事情にドライバは気付いていると見なされる。しかし，ドライバの見たことのある物体であるが，ドライバが当該物体の現在の動き及び／又は状態を正しく予測していなかったと思われるため，ドライバに追加の警告が必要な物体がある。注意評価モジュールは，ドライバが認知しなかった，十分よく認知しなかった，又は物体がその振る舞いを変え始めたために認知しなかったとドライバ監視器が判定した環境内の危険事情について選択的に警告を与えることができる。
【００２１】
装置はさらに，潜在的に危険な運転状況が特定されたとき，（可聴，可視及び／又は触覚による警告のような）警告信号を供給することができる。これらの潜在的に危険な運転状況には，外向き感知器によって検出された危険事情であって，内向き感知器によってドライバが気付いていないと判定された危険事情がある状況を含む。警告は，ドライバに追加の安全情報を与える警告のような人間‐機械インタフェース，又は輸送手段が危険事情及びすべての同時に発生するその他のものを自立的に避けるために自動的に反応する保護システムのいずれかにおいて，使用される可能性がある。
【００２２】
後者の例又は類似のその他のものにおいて，注意評価モジュールからの信号は輸送手段制御モジュールに送信され，例えばブレーキ，アクセル又はハンドル調整を作動させて，輸送手段の運転を調整するために用いることができる。
【００２３】
ドライバによる輸送手段の安全運転を補助する例示方法は，危険事情データを取得するために，輸送手段によって提供される環境感知器を用いて輸送手段環境を監視するステップと，視線方向データを含むドライバ認知データを取得するためにドライバを監視するステップと，危険事情データとドライバ認知データとを比較して，認知された危険事情と認知されていない危険事情とを特定するステップと，認知されていない危険事情に関してドライバに警告を与えるステップと，を含む。視線方向データは，所定の時間期間の視線軌跡であって，所定の時間期間に認知されていない危険事情を通過又は十分近くを通過しなかった視線軌跡を含む。
【図面の簡単な説明】
【００２４】
【図１】ドライバ認知輸送手段安全システムのブロック図である。
【図２】輸送手段周囲の可能な感知器配置を示す簡略化した図である。
【図３】複数の危険事情であって，そのうちいくつかはドライバが見なかった危険事情を含む環境を示す図である。
【図４】認識システムに基づくドライバ補助システムのブロック図である。
【図５Ａ】ドライバ支援システムの例の更なるブロック図である。
【図５Ｂ】ドライバ支援システムの例の更なるブロック図である。
【図５Ｃ】ドライバ支援システムの例の更なるブロック図である。
【図６Ａ】視線追跡の例を示す図である。
【図６Ｂ】視線追跡の例を示す図である。
【図６Ｃ】視線追跡の例を示す図である。
【発明を実施するための形態】
【００２５】
本発明の実施例において，環境のモデルは，輸送手段と関係し，輸送手段環境に向かって（ドライバに対して）外向きに向けられた感知器のような１又は複数の環境感知器を用いて生成することができる。処理モジュールを用いて，環境感知器（レーダ感知器，レーザ感知器，などを含んでもよい）を用いて検出された環境内の物体を追跡することができる。ドライバの視線が監視され，視線軌跡と環境内で特定された物体，例えば環境モデル内で追跡された物体とが関係付けられる。
【００２６】
例えば，ドライバは車線変更の操縦をする前に左を見て，次にその操縦を実行することがある。左斜線にはほかの輸送手段がある可能性がある。システムは最初に，位置及び相対速度に基づいて，第２の輸送手段が危険事情かどうかを判定する。視線追跡を用いてドライバが第２の輸送手段に気付いているかどうかを判定することができ，ドライバが当該危険事情に気付いているときは警告は出されない。しかしいくつかの実施例においては，視線追跡が，ドライバが第２の輸送手段のような危険事情に気付いていないことを示すことがあり，それによって有用な警告を与えることができる。
【００２７】
いくつかの実施例において，例えば危険事情が前の観察以降に，前の行動又は状態と比べて例えば方向を変える，減速する，又は加速するといった予測不能な又は予測していなかった振る舞いをしたとき，認知された危険事情と分類された危険事情が認知されていない危険事情に再分類されることがある。
【００２８】
本発明の実施例による方法は，不必要な警告を無くし，適切ならば制御システムを引き継ぐことができるようにする。例示装置は，１又は複数の環境感知器と，危険事情のリストを生成できる環境感知器処理モジュールと，１又は複数のドライバ監視感知器と，人間の注目点位置を推定するドライバ監視感知器処理モジュールと，を備える。その位置には時間ラベルが与えられる。注意評価情報処理モジュールは次に，環境監視システムからのデータとドライバ監視器からのデータとを比較し，潜在的な各危険事情に対して人が十分に注意を払ったかどうかを評価するように構成されている。
【００２９】
図１はドライバ認知輸送手段安全システムの例のブロック図である。この装置は，感知器１２のような複数の環境感知器１０を備える。環境感知器データは第１処理モジュール１４に渡され，第１処理モジュールは輸送手段環境内の危険事情を検出するように動作する。ドライバ監視器は感知器２２のような複数のドライバ監視感知器２０を備える。１又は複数の感知器があってもよく，複数感知器は同一であってもよいし，異なっていてもよく，互いに類似の情報を発生してもよいし，異なる情報を発生してもよい。ドライバ監視感知器からの感知器データは第２処理モジュール１６へ送信される。注意評価モジュール１８は，感知システム１０によって検出された，環境内のどの危険事情をドライバが認識していないかを判定するために，第１処理モジュールの出力と第２処理モジュールの出力とを比較する。注意評価モジュール１８からの出力を，ドライバ警告システム２４及び／又は輸送手段制御安全システム２６に渡してもよい。
【００３０】
この例において，環境感知器システムは複数の環境感知器及び第１処理モジュールを含み，ドライバ監視器は複数のドライバ監視感知器及び第２処理モジュールを含む。しかし，感知器処理及び注意評価モジュールの比較は，プロセッサ，メモリ，クロック及びほかの通常の部品を含む計算機のような単一電子回路によって実行してもよい。
【００３１】
図２はドライバ４２のいる輸送手段４０を示している。１又は複数の内向きの感知器４４が，時間に応じたドライバの注目点を推定するために，ドライバの頭の位置，目の位置，又はほかの関連するドライバの身体姿勢要素を監視する。このようにして視線軌跡が測定される。（４６，４８，５０及び５２のような）複数の外向き感知器が，輸送手段の外部環境を感知するために用いられる。感知器の例は，ＶｅｌｏｄｙｎｅＴＭレーザ測距（ＬＩＤＡＲ）感知器（Velodyne Lidar Inc., Morgan Hill, カリフォルニア）及びＳｉｃｋ（登録商標）レーザ距離計（Sick AG, Waldkirch, ドイツ）を含む。例えば，環境感知器は，レーダ感知器，レーザ感知器，光学画像感知器，ほかの感知器，又はこれらの任意の組合せを含む。内向き感知器は，映像感知器，飛行時間感知器，ドライバに関する情報を提供するほかの感知器であってよい。
【００３２】
この図はまた，環境及びドライバ監視に関係する処理モジュールから感知器データ又はデータを受信する計算モジュール５４も示している。処理モジュール及び注意評価モジュールの機能は，上記計算モジュールのような１又は複数の電子回路のような，１又は複数の部品によって提供され，かつ計算機のような単位デバイスに結合されてもよい。
【００３３】
図２はまたスピーカ５６も示しており，該スピーカを用いて，例えば危険事情に関係する方位情報を提供するためにステレオ効果又は４チャネル効果を用いてドライバに音声又はほかの可聴警告を提供することができる。矢印，点滅灯などのような視覚警告もまた，この部品上の画像要素又は局所モジュールからヘッドアップ表示装置に至るまでのほかの種類の表示装置によって提供してよい。
【００３４】
図３は，ほかの輸送手段８２，８４，８６及び８８，歩行者９０及び９２，並びに一時停止標識９４を有する代表的な輸送手段環境内の輸送手段８０を示している。輸送手段安全システムの形態の装置は輸送手段８０と関係付けられ，環境監視システムと，ドライバ監視器と，（例えば図１に示すとおりの）注意評価モジュールと，を備える。輸送手段８０の環境監視システムは感知器９６のような感知器を備え，比較的短時間に複数の危険事情を特定し，それら危険事情を動的追跡のためにラベル付けすることができる。感知器は，輸送手段外のより広い視野を提供するために，図示したものより多くの方向を向いていてもよい。さらに，環境監視システムは，識別された物体の速度，方向及び／又は加速度の変化のような環境内の動的変化に素早く反応する。反対に，輸送手段のドライバは環境内の変化をそれほど素早くは特定できないことがある。
【００３５】
例えば，輸送手段の環境感知器システムは，環境内にあるほかの物体と共に，すべてのラベル付けされた危険事情を検出し，追跡することができてもよい。木９８のような静止物体は，輸送手段の予測される経路にないときは，危険事情として特定する必要はないが，特定してもよい。
【００３６】
ドライバ監視器を用いて取得された視線軌跡を用いて，注意評価モジュールはドライバが見なかった危険事情（見えない危険事情）を特定し，ドライバが最近知識又は情報を更新していない危険事情を含む，どの危険事情の状態及び位置にドライバが最近気付いていない可能性が高いかを指示することができる。例えば，ドライバの注意を監視することによって，ドライバが一時停止標識９４に気付かなかったことを検出することができる。この場合，一時停止標識９４の存在に特に向けられた警告が与えられる。
【００３７】
さらに，８８のような輸送手段は最初は隠れていて，輸送手段環境に突然現れることがある。輸送手段感知器（環境監視システム）は新規の危険事情を，ほとんど直ちに，例えば０．１秒未満で，検出することができる。警告は直ちに与えてもよいし，いくつかの実施例においては，警告を与える前に，新たに現れた輸送手段を見るために所定の時間期間をドライバに許可してもよい。
【００３８】
図４はドライバ補助システムの例の更なるブロック図であって，実時間環境感知に基づく世界モデルと，ドライバの観察の監視及び任意選択のドライバ記憶モデルに基づいたドライバ認知推定とが比較される。装置は，環境感知器１００と，環境モデル１０２と，世界状態推定システム１０４と，鑑別機械（ｄｉｆｆｅｒｅｎｃｉｎｇ ｍａｃｈｉｎｅ）１０６と，ドライバ知識推定システム１０８と，ドライバ感知器のモデル１１０と，環境の心理表現１１２と，を備える。ドライバの認知を推定するために，環境のモデルを，検出された物体１１４と，検出された動き１１６と，記憶１１８とについて作ることができる。環境モデル１０２は，地図，過去に記録された経験，伝送された情報を含む種々の情報源からの，環境に関する情報を含んでもよい。
【００３９】
環境についての推定されたドライバの心理モデル（１１２）は，自己認知の推定と，物体認知（当該物体が危険事情かどうかの危険事情認知を含む）と，例えば見掛けのオプチカルフロー及び見掛け上，一貫性のある（ｃｏｈｅｒｅｎｔ）動きからの，物体の相対運動に対するドライバの認知の推定と，を含んでもよい。推定されたドライバの心理モデルは，長期記憶のモデル１１８，例えばドライバがどのように環境を地図に描くかと，物体の種類及びその行動の保持のための記憶モデルと，を含んでもよい。
【００４０】
例えば人は一定速度で移動している，環境内の危険事情を感知することができる。ドライバ認知推定システムは，人が前の観察に基づいて危険事情の動きに気付くと推定する。しかし，ほかの輸送手段のような危険事情が，例えば予測したときと異なる時間に方向を変え，又は加速するなど現在の予測と異なる振る舞いを始めたとき，環境モデル１０４は，ドライバが更に危険事情を観察しない限り，モデル化された認知とは異なるであろう。このような例において，実際の環境モデル１０４とドライバの認知の推定１０８との差を測定して，ドライバへ警告を与えることができる。
【００４１】
図４の例において，注意評価モジュールの機能は，環境の推定１０４とドライバの認知１０８とを比較する鑑別機械１０６によって提供される。感知システムの処理モジュールは，簡潔性のために図示していないが，この機能は関係する推定システムに含めてもよいし，感知器と連携させてもよい。鑑別機械は，記号的，数学的又は状態進行（ｓｔａｔｅ ｐｒｏｇｒｅｓｓｉｏｎ）鑑別機械のような１又は複数の比較器機能を含んでもよい。
【００４２】
いくつかの実施例において，ドライバの認知は，物体の検出，動きの認知並びに空間関係及び環境に関係する類似の事実及び行動に関する人の記憶によって，それ自身がモデル化されてもよい。
【００４３】
図５Ａはドライバ支援のための視線に基づく認知システムのブロック図である。この図は，輸送手段外のカメラシステム１４４によって検出された環境１４０を示している。追加感知器１４２が提供されてもよい。輸送手段感知器データは感知器融合システム１４８を介して３次元環境再構築１５２に渡される。再構築１５２はまた，コンピュータビジョンデータベース１５４のような外部データベースからもデータを受信してよい。環境再構築の出力は運転に関係する環境構成要素の表現１６０を形成するために用いられる。これらの構成要素は必ずしも危険ではないが，より単純に危険事情と呼んでもよい。視線追跡システム１４６は輸送手段運転手の視線方向を追跡する。視線追跡システムの出力は，例えば視線軌跡データとして，環境内で検査された物体の推定１５６を提供する。環境内の位置と視線との位置合わせ１５０が提供される。ドライバの記憶のモデル１５８は任意選択で用いられる。作業記憶モデル１５８は１５６から物体の推定を受け取り，ドライバの知識の推定１６４を供給するために用いる。ドライバの推定された知識は比較器１６２において１６０からの危険事情の表現と比較される。ドライバが見なかった危険事情はどれもこの比較において検出され，ドライバ対話モジュール１６６を介して適切な警告がされるか又は行動が取られる。
【００４４】
図５Ｂはドライバモデルを更に詳細に示すものであり，処理ブロック１７０が，ドライバによって検査された物体を記録し，優先度が付けられる。利用者の経験を保存するために用いられる記憶１７２が示され，局所地図の推定１７４が可能になる。地図推定１７４の出力は，記憶からのドライバの推定知識の具体化１６４に提供される。この図において，構成要素１５６，１５８，１６４及び１６２は図５Ａに示されたものである。
【００４５】
図５Ｃはわずかにより高度化されたドライバ及び環境モデルを示している。環境再構築１５２は，１８０で輸送手段の推定及びドライバ振る舞いモデルと結合される。このモデルはドライバ専用にしてもよいし，及び／又は特定輸送手段専用にしてもよい。さらに，物体振る舞いに用いられる推定モデル１８２が提供される。１８０からの自己振る舞いモデルと，１８２からの物体振る舞いモデルとの組合せがタスク推定器１８４で結合されて，ドライバが現在取り組んでいるタスクの推定を与える。これによって，実行すべきタスクの認知モデル１８６が提供できる。これらのモデルは危険事情の表現１６０を改善するために用いることができる。この図において，構成要素１５２，１６０及び１６２は図５Ａで示されたものである。
【００４６】
運転及び環境の経験は，環境に対するドライバの認知に影響することがある。図６Ａは，慣れた環境内の熟練したドライバが環境を効率よく視覚的に走査し，ほとんどの危険事情を検出することを示している。この図は，２０４で示すような凝視点と共に，環境２００の視線軌跡２０２を示している。
【００４７】
視線追跡システムは，視線軌跡を追跡し，凝視時間を検出及び定量化することができる。各凝視点の円の大きさは，ドライバ監視システムによって測定することができる凝視時間と関係付けられる。いくつかの実施例において，人が危険事情を認知するには，所定のしきい値より長い凝視時間が必要なことがある。
【００４８】
図６Ｂは，慣れた環境内の初心者レベルドライバが関連する空間のよく認識できる運転上の手掛かりに偏ることを示している。場所の知識が凝視点を導く（運転による偏りはない）。
【００４９】
図６Ｃは，あまり慣れていない環境内の初心者レベルドライバを示している。このような例においては，ドライバの視線は時々環境内をあちこち無作為に動き，輸送手段に対する危険事情と関係のなさそうな点を凝視することがある。例えば，ドライバは自然のコントラスト，色，などに基づいて物体を見ることがある。凝視点は慣れた場所と新規な場所とによって偏る。
【００５０】
輸送手段への危険は，未経験なドライバの場合，又は慣れていない環境内の経験のあるドライバの場合に高まることがある。環境を視覚的に観察するパターンからドライバの経験を検出するように，システムをプログラムしてもよい。また，例えばＧＰＳデータのような位置データから輸送手段が慣れていない環境にあるかどうかを判定するように，システムを構成してもよい。このようなより危険な状況においては，警告の数は増加することがある。
【００５１】
環境内で感知された危険事情についてのドライバの世界の推定は，最近の視線軌跡から判定することができる。視線追跡を用いて，環境の状態についてのドライバの現在の観察及び知識を推定することができる。
【００５２】
いくつかの実施例において，ドライバの技能を評価し，また見逃した危険事情の検出を容易にするためにドライバの視線軌跡を熟練ドライバの視線軌跡と比較してもよい。これは改善されたドライバの評価，免許取得又は訓練の一部となり得る。
【００５３】
例えば，経験のあるドライバが環境を運転し，その経験のあるドライバの視線を追跡する。軌跡及び凝視点がデータベースに記憶される。同一の環境を通過する第２の輸送手段はこのデータベースからデータを取得して，危険事情の検出を容易にすることができる。
【００５４】
＜アルゴリズム＞
あるアルゴリズムを用いて，ドライバが気付いていない輸送手段外の潜在的に危険な状況があるかどうかを判定することができる。環境感知器を用いて，過去の時間間隔内に輸送手段外の潜在的に危険な状況を検出する。次に第２時間間隔内のドライバの注視位置を測定する。環境感知器によって検出された危険事情であって，過去の時間間隔内のドライバの注視位置集合内になかった危険事情に対して警告を与えることができる。
【００５５】
環境感知器によって測定された輸送手段環境は，極めて速いペースで動的に更新されることがある。例えば，１秒又はそれより短い時間間隔で更新が起こることがある。ドライバの記憶は，人は第２時間間隔内の危険事情の存在を記憶するものとしてモデル化され，又は推定される。
【００５６】
ドライバ認知の領域は，視線軌跡から一定の距離範囲内の，環境内の領域として推定することができる。使用する距離関数は，ユークリッド距離，分離角，又は使用する感知器方式（ｍｏｄａｌｉｔｙ）に有用な任意のほかの距離関数であってよい。
【００５７】
いくつかの実施例において，感知器が危険事情を検出したとき直ちには警告が出されない。例えば１〜３秒の間，ドライバは視覚的に危険事情に気付くようになるまで時間期間を与えられる。システムは，関係する時間期間を現在のモデルから将来に延長できるようにして，ドライバに潜在的な危険事情を認識する機会を与えることができる。
【００５８】
例示システムは，１又は複数の外向き感知器のような環境感知器システムと，およその位置及び時間ラベルを有する，輸送手段外の危険事情の集合を生成する外向き感知器処理モジュールとを備える。システムはさらに，複数の内向き感知器のようなドライバ監視器と，時間ラベルを有する人の注目点の位置を推定する内向き監視器処理モジュールと，外向き処理モジュールからのデータと，内向き処理モジュールからのデータを結合し，人間の運転手（例えばドライバ）が危険な状況（危険事情）それぞれに十分な注意を払ったかどうかを評価できる注意評価モジュールと，を備える。
【００５９】
注意評価モジュールは，次のアルゴリズムを用いて，人が気付いていない輸送手段の外の潜在的に危険な状況があるかどうかを判定することができる。
１．過去の時間間隔ｔＤ内の輸送手段外の潜在的に危険な状況の集合Ｄを入力する
２．過去の時間間隔ｔＦ内のドライバの注視点位置の集合Ｆを入力する
３．Ｄ内の状況ｄごとに次を実行する
４． Ｌ（ｄ）をｄのおよその位置とし，Ｔ（ｄ）をｄの時間とし，Ｗａｒｎ（ｄ）＝ｔｒｕｅに設定する
５． Ｆ内の注視点範囲ｆごとに次を実行する
６． Ｌ（ｆ）をｆのおよその位置とし，Ｔ（ｆ）をｆの時間とする
７． 距離Ｄ（Ｌ（ｄ），Ｌ（ｆ））＜切り捨て値（ｃｕｔｏｆｆ）Ｄ，かつ時間差Ｅ（Ｔ（ｄ），Ｔ（ｆ））＜切り捨て値Ｔであるとき，Ｗａｒｎ（ｄ）＝ｆａｌｓｅに設定
８． 繰り返し終了
９．繰り返し終了
１０．Ｗａｒｎ（ｄ）＝＝ｔｒｕｅであるｄごとに，ｄを認知されていない危険な状況として返す
【００６０】
上記の例示アルゴリズムにおいて，距離関数Ｄはユークリッド距離，角距離（例えば視野内の分離角），又は使用した感知器方式に有用なほかの距離関数であってよい。使用される時間差関数Ｅは多くの形態を取ることができ，例えば単に絶対値であってもよいが，追加機能用に選択してもよい。例えば，Ｔ（ｄ）＜Ｔ（ｆ）のとき，又はＴ（ｄ）＞Ｔ（ｆ）のとき，別個の値を返すものであってもよい。切り捨て値は，危険な状況の潜在的なひどさに応じて変えてもよい。時間間隔ｔＤ及びｔＦは，必ずしも現在時刻で終了しなくてもよい。例えば，システムは，ｔＤを現在時刻に対して［−５，＋１］秒の間に設定して，警告を発生する前に輸送手段運転手が脅威を認識する機会を与えてもよい。
【００６１】
状況に応じて，所定の時間期間は，例えば輸送手段速度及び／又は危険事情が現実（例えば衝突）となるまでの時間に逆相関となるように可変であってもよい。例えば，危険事情位置データは第１所定時間期間の危険事情位置を含んでもよく，ドライバ認知データは第２所定時間期間のドライバ認知に対応してもよく，第１及び第２所定時間期間はそれぞれ約０．０１秒と約１０秒との間の期間を有してもよい。３０Ｈｚの平均視覚フリッカ融合（二つの閃光がぼやけて一つの広がった閃光として観察される，霊長類視覚の視覚統合速度）は約０．０３秒の時間窓に対応し，したがって，０．０１秒の窓は，１００Ｈｚと同様の極めて良い視覚時間識別を提供する。
【００６２】
＜環境感知器システム＞
輸送手段の外部環境を測定するために用いられる環境感知器は，ビデオカメラ，ＬＩＤＡＲのようなレーザ感知器，レーダ，その他の画像に基づく感知器，ソナー，等を含んでもよい。
【００６３】
環境感知器システムは，輸送手段環境の詳細な表現を生成することができる。例えば，複数のレーダ感知器で輸送手段を取り囲んでもよい。いくつかの実施例において，輸送手段は近隣の輸送手段から，例えば同一車線及び隣接内の近隣の輸送手段からの速度データ及び進路データなどの車線データを受信してもよい。
【００６４】
環境感知器は，ほかの輸送手段及び歩行者，看板（ｓｉｇｎａｇｅ），等の道路際の物体を含む，環境内の物体を検出するように構成することができる。
【００６５】
環境感知器システムは，感知器信号を分析し，環境内の物体の位置を測定するために用いられる，計算機又はほかの電子回路のような処理モジュールを更に備えてもよい。処理モジュールはさらに，現在の輸送手段の振る舞いと，現在の輸送手段の対する物体の相対位置と，（相対速度，方向，加速度，などのような）物体の振る舞いと，に基づいて潜在的に危険な物体を特定してもよい。
【００６６】
環境は３次元でモデル化してもよいし，２次元表現としてモデル化してもよい。２次元表現の方が計算上単純になることがある。
【００６７】
いくつかの実施例において，地図データを含むネットワークデータのような所定のデータを輸送手段に伝送することができる。このような例においては，データ受信機構は輸送手段の環境に関係するデータを受信するため，環境感知器の機能に対応する。例えば，以前に収集された街路風景を，交通管制信号のような固定した危険事情の検出に用いることができる。
【００６８】
環境感知器システムは，感知器信号を受信し，環境内の物体を検出する，感知器処理モジュールを含んでもよい。すべて又はいくつかの特定された物体を危険事情として特定してもよい。処理モジュールの出力は，環境内の危険事情の位置の集合，例えば第１時間期間内に検出された危険事情を含んでもよい。第１時間期間は過去の開始時刻（例えば現在時刻の１〜１０秒前）から現在時刻まで出会ってもよいし，又はいくつかの実施例においては直近の時間期間を除いてもよい。
【００６９】
＜ドライバ監視器＞
ドライバ監視器は１又は複数のドライバ監視感知器を備えてもよく，映像感知器（例えばＣＭＯＳ感知器），超音波又はレーザ感知器のような飛行時間感知器を含んでもよい。ドライバに赤外（ＩＲ）又はほかの照明を当ててドライバ監視器の感度を高めてもよい。ドライバ監視器はドライバ認知データを出力し，該データは所定の時間期間に渡るドライバの認知中心（例えば視線方向）の測定値であってよい。したがって，ドライバ認知データは当該ドライバの視線軌跡データを含んでもよい。
【００７０】
いくつかの実施例において，コンピュータビジョンシステムを用いてドライバの頭の方向を監視することができる。投影された視線方向と感知された環境とを位置合わせすることによって，ドライバがどの危険事情に気付いているか，及びどの危険事情がドライバの意識外であるか，を推定することができる。
【００７１】
環境の方を向いた外向きのカメラ及び目の方を向いた更なる画像感知器を備えた眼鏡のような装置を用いて，視線追跡を正確に行うことができる。このような装置は日常の使用には扱いづらく，ドライバ監視のためのコンピュータビジョンシステム又はほかの画像に基づくシステムの較正に用いてもよい。代替の視線追跡システムは，代わりに，ドライバの方を向いて搭載され，輸送手段がある外部環境を観察する監視システムに対して位置合わせされた１又は複数のカメラを用いてもよい。又は，視線追跡システムは，頭及び目の方向，又は輸送手段若しくは環境の基準フレームに対する目の方向を測定するために合理的に用いられる，コンタクトレンズ及び無線周波（ＲＦ）送信信号を生成する，フレーム内に埋め込まれた（ｉｍｐｒｅｇｎａｔｅｄ）コイル，又はほかの類似システムのような追加の視線及び頭部方向検出モードを用いてもよい。多くの種類の方向付けシステムが標準視線追跡システム技術としてよく知られているが，ここで説明した視線追跡器のどの説明も，本発明の実施例において説明したより大きな安全システムの視線検出機能にかなうように選択された追跡器の選択を制限するものではない。
【００７２】
いくつかの実施例において，輸送手段のダッシュボードに搭載された外向きカメラを用いて，ドライバが見た輸送手段環境を推定してもよい。この画像を，外部輸送手段感知器を用いて生成された環境モデルと比較してもよい。
【００７３】
標準の座標変換を用いて，ドライバの視点と，輸送手段感知器が生成した環境モデルとを位置合わせすることができる。環境モデル内の視線追跡の制度は１５度以内，いくつかの実施例においては１０度以内，そしていくつかの実施例においては５度以内であってよい。視線軌跡データがより正確であればあるほど，ドライバ認知の推定がより信頼できる。
【００７４】
いくつかの実施例において，計器盤（ｉｎｓｔｒｕｍｅｎｔ ｇａｕｇｅ）に関する輸送手段運転手の注意もまた監視することができ，輸送手段運転手が計器盤に表示された警告を見なかったとき，追加の警告が与えられる。いくつかの実施例において，輸送手段のダッシュボード上のカメラを視線軌跡の粗い近似として用いることができる。
【００７５】
＜注意評価モジュール＞
注意評価モジュールの例は，環境内の危険事情に関する危険事情データと，ドライバの認知に関するドライバ認知データとを受信するように構成される。注意評価モジュールは検出された危険事情とドライバ認知データとを比較して，（ドライバ認知内の）認知された危険事情及び（ドライバ認知外の）認知されていない危険事情を判定する。注意評価モジュールの例は次に，認知されていない危険事情に関してだけ警告信号を生成し，認知された危険事情には生成しない。いくつかの実施例において，警告信号はまた，例えば危険事情の危険が極端であるとき，認知された危険事情も含んでよい。したがって，注意評価モジュールは複数の範ちゅうの危険事情，例えば認知された危険事情及び認知されていない危険事情，並びに任意選択で十分に認知されていない危険事情を特定してもよい。例えば，凝視時間は第１しきい値（例えば危険事情の存在を認知するために必要と推定される）より長く，完全な認知に必要な第２しきい値（例えば危険事情を十分に認識するために必要と推定される時間より短い）未満であってもよい。十分に認知されていない危険事情は見えているが，相対速度のような危険事情パラメータは認知されないことがある。
【００７６】
したがって，危険事情の分類は「認知された」対「認知されていない」の二つの分類であってもよいし，中間範ちゅうを含んでもよく，また，認知程度に応じて連続的な段階を含んでもよい。検出程度が測定できるときは，「十分に認知された」又は「十分に認知されていない」のような二つの状態に区別してもよく，認知された及び認知されていないと均等に用いてもよい。危険事情範ちゅうは，完全に認知されたと，完全に認知されていないとの間の中間状態として存在してもよい。また，あいまいな危険事情に視線ベクトルが向いているとき，別の物体がドライバと危険事情との間にあってもよいように，危険事情はあいまいな状態で存在してもよい。あいまいな危険事情は，あいまいさの程度と，危険事情の振る舞いと，潜在的危険事情の程度とに応じて，認知された，認知されていない，又は十分に認知されていないという中間範ちゅうに分類してもよい。十分に認知されていない危険事情は観察期間が十分でない状態，すなわち視線が物体の上又は近傍のどこかに向いたが，当該物体を認識するために十分な空間的特徴を観察（静的「危険事情識別」認識）する前に，又は当該物体の振る舞いパターンを正しく予測するために十分な時間的特徴を経験（動的「動きモデル」構築／認識）する前に移動した状態を有することがある。
【００７７】
注意評価モジュールは，プロセッサと，メモリと，クロックと，入出力部品とを備えた計算機のような電子回路によって提供してもよい。同一の電子回路を感知器データ処理を行うために用いることもできる。
【００７８】
＜警告及び輸送手段の反応＞
いくつかの実施例において，ドライバに，認識していない危険事情のようなドライバにとって意外な状況を警告するために装置を用いることができる。例えばこれらの警告は，新たに現れた輸送手段，又は前の観察からは予測できない輸送手段の振る舞いに関する警告を含んでもよい。装置は，認識していない危険事情に関して選択的に警告を行う危険事情警報器を備えてもよい。
【００７９】
危険事情が検出された後，ビープ音のような可聴警告をドライバに与えてもよい。いくつかの実施例において，輸送手段の意図は，例えば経路計画によって予め定められ，危険な状態を避けるために人間の入力を自動制御が無視してもよい。例えば，輸送手段は，自動走行制御システムに用いられるものと同一の方法で減速又は加速してもよい。いくつかの実施例において，このような自動化システムに用いられる感知器は，本発明の実施例の環境モデルを決定するために用いてもよい。
【００８０】
本発明の実施例の利点は警告の減少を含み，したがって不必要な警告でドライバを圧倒することが避けられる。ドライバが外部の危険事情に気付いていることが分かったときは，警告を出す必要はない（いくつかの実施例において，危険事情が特にひどい場合以外は）。例えばドライバが危険事情の方向を見ていなかったとき，又は例えば危険事情が新たに環境に現れたとき，又は環境内の最近の変化がまだ観察されていない潜在的危険状況を起こしたときなど，警告が真に有用になることをシステムが判定したときだけ与えられる。
【００８１】
いくつかの実施例において，システムは計器のような輸送手段のシステムによって出された警告をドライバが認知したかを監視してもよい。例えばシステムはドライバが速度計を見たかどうかを判定して，輸送手段速度が局所速度制限を越えたとき，警告してもよい。しかし，ドライバが現在の速度に気付いており，この情報を無視したことが分かったときは，警告はされない。
【００８２】
いくつかの実施例において，例えば輸送手段感知器システムが新たに現れた輸送手段又はほかの極めて危険な状況を検出し，ドライバ監視が，ドライバがその危険な状況に気付いていないことを示したとき，非常ブレーキ又は回避制御の操縦を輸送手段制御に入力してもよい。
【００８３】
＜ドライバ記憶モデル＞
任意選択で，ドライバ記憶のモデルを用いてドライバの認知を判定してもよい。例えば，ドライバ記憶モデルは，視線パターンと，認知に必要な最小凝視時間と，記憶保持時間，記憶容量（例えば，ドライバが同時に短期記憶に保持できる危険事情の最大数のようなパラメータを含む）と，適切なほかのパラメータと，に関する状況認知のモデルを含んでもよい。
【００８４】
いくつかの実施例において，ドライバ記憶のモデルと，コンピュータビジョンシステム内で用いられる視線追跡パラメータのようなほかのパラメータとを，１又は複数のドライバに対応する記憶されたデータ集合から選択してもよい。例えば，システムがドライバの正体を認識してよいし，ドライバがそのような識別情報及びデータベースから取得した対応データを入力してもよい。
【００８５】
本発明の実施例は，例えばドライバが差し迫った障害物のような危険事情を見たかどうかを分析することによって，ドライバの知識の状態を追跡する装置及び方法を含む。例えばドライバは，注意散漫（例えば，携帯電話機の使用，ほかの乗客との会話，又は輸送手段の近くの注意を引く標識の存在），無力（例えば疲労），いくつかのほかの注意を払うことの不履行，又はある場合には一時的過失によって，１又は複数の危険事情に気付かないことがある。本発明の実施例は認知欠如の原因にかかわらず，有用な警告を与えることができる。輸送手段の環境感知器は，ほかの輸送手段，歩行者又はほかの危険事情を検出して，感知された外界と，車内感知器のようなドライバ監視器によって測定されたとおりの，ドライバが何を見ていたかの最近の履歴とを比較することができる。
【００８６】
例えば，システムがドライバは危険事情に気付いていないと判定したとき，システムはドライバに警告し，実時間で安全軌道（ｓａｆｅ ｔｒａｊｅｃｔｏｒｉｅｓ）を計画及び実行することができる。このような反応は必ずしも所定の反応ではないが，ドライバの認知欠如が推測されるときは迅速に（例えば５０ｍｓ未満）で計算することができる。
【００８７】
本発明の実施例は追加の機能，例えば，視線軌跡，ほかのドライバの振る舞い，又は観察された危険事情に対するドライバの反応，のパラメータからドライバの疲労又はめいてい（酩酊）を検出する機能を有してもよい。しかし，ドライバの疲労又はめいていを検出する通常の方法とは異なり，本発明の実施例は，ドライバが十分能力があるが過失又は不可避の状況によって危険事情（例えば，前にドライバから隠ぺいされた場所から輸送手段環境に入った輸送手段）に気付いていないときであっても，有用な警告を行うことができる。ドライバが疲労又はめいていしていないが，（何らかの理由で）ドライバの環境内の何かに気付いていないときであっても危険事情は生じることがあり，本発明の実施例はこのような場合においても適切な警告を与えることができる。
【００８８】
本発明の実施例は，ドライバ認知監視と車外環境感知とを組み合わせて，ドライバに対する改良された警告及び任意選択で衝突を避けるための輸送手段制御入力を提供する。
【００８９】
本発明の実施例は，認知されていない危険事情が輸送手段環境のどこにあっても，通常の死角検出器に対する多大な改善になる。いずれにしろ，ドライバの状態（例えば，通常の姿勢及び十分な認知，携帯電話機での通話中，何かを取ろうとして体を曲げている）に応じて，ドライバにとっての真の死角は，輸送手段の屋根支柱によって生じる通常の死角構成とは異なることがある。外部感知器は環境内の多くの，ほとんどの又はすべての物体を追跡し，どの物体が危険事情かを判定し，ドライバの視線軌跡及び物体の振る舞いに基づいて，ドライバが各危険事情に気付いているか否かを動的に追跡することができる。
【００９０】
本発明は上述の例示に制限されるものではない。上述の実施例は本発明の範囲を制限するものではない。本発明の範囲は，本願請求項の範囲によって規定される。
【技術分野】
【０００１】
本出願は２０１０年１月１４日出願の米国特許出願第１２／６８７，５９９号の優先権を主張し，その内容をここに参照する。
【０００２】
本発明は輸送手段の安全性を改善する装置及び方法に関する。
【背景技術】
【０００３】
輸送手段の安全性は大きな関心及び重要性を伴う分野である。したがって，輸送手段の安全性を改善する方法及び装置は大いなる価値を有する。
【発明の概要】
【課題を解決するための手段】
【０００４】
輸送手段の安全性は，輸送手段環境内の危険事情（ｈａｚａｒｄ）を運転手に気付きやすくすることによって向上させることができる。しかし，すべての潜在的危険事情を輸送手段運転手に警告しようとすると警告の数が過剰になり，そのようなシステムはそれ自身を危険なまでに乱し，無視されるか，停止させられることになる。
【０００５】
危険事情警告の有効性は，その警告が輸送手段運転手が気付いていない危険事情に関するものであるとき，高められる。輸送手段安全システムの例は，環境感知器システム，輸送手段運転手監視器（例えば，ドライバ監視器），注意評価モジュール，及び警告システムである。注意評価モジュールは，（環境感知器システムによって検出された）環境内の危険事情と，ドライバの認知とを比較する。ドライバの認知は，視線追跡（ｇａｚｅ ｔｒａｃｋｉｎｇ）を用いてどの危険事情をドライバが認知されたか判定することによって推定してもよい。
【０００６】
危険事情警告の数は，ドライバが見ていないか，又は気付いていないと分かる危険事情に対して，選択的に危険事情警告を行うことによって大いに減少させることができる。警告の数を減らすことによって，装置の有効性が大いに高まる。不必要な警告を無くすことによって，出された警告はドライバにより有用なものとなり，ドライバがシステムを停止させたり，無視したりすることは少なくなる。
【０００７】
したがって，改善された事故防止システムは，内向き（ｉｎｗａｒｄ−ｆａｃｉｎｇ）感知器と，ドライバ監視と，輸送手段環境を監視する外向き（ｏｕｔｗａｒｄ−ｆａｃｉｎｇ）感知器と，の組合せを用いて提供することができる。ここで，内向き感知器はドライバの方に向けられ，外向き感知器は輸送手段の外部環境に向けられている。輸送手段運転手とは，自動車のような陸上の輸送手段のドライバであってよく，簡潔にするため以降の例においては「ドライバ」の用語を用いる。しかし，本発明の実施例は，船，飛行機，など，ほかの輸送手段の輸送手段安全システムも含む。
【０００８】
輸送手段の安全運転を補助する装置の例は，輸送手段環境内の危険事情を検出する環境感知器システムと，ドライバを監視し，（注目点に関するデータのような）ドライバ認知データを提供するドライバ監視器と，危険事情データとドライバ認知データとを比較することによって，認知された（例えば目視した）危険事情と認知されていない危険事情とを特定する注意評価モジュールと，を含む。認知された危険事情とは，ドライバが気付いているもの，又はドライバ認知データに基づいて，ドライバの認知が合理的に推定又は推論できるもの，である。
【０００９】
危険事情データは，タイムスタンプ付き危険事情位置データのような，時間に応じた特定の危険事情に対する危険事情位置を含んでもよい。危険事情についての予測された位置データもまた使うことができる。ドライバ認知データは，視線軌跡（ｇａｚｅ ｔｒａｃｋ）のようなドライバ認知の中心方向に関するデータを含む。特に，視線軌跡の測定によって認知された危険事情及び認知されていない危険事情（すなわち，十分に観察されている危険事情及び観察が不十分な危険事情）の推測又は特定が可能になる。視線軌跡データは，ドライバの視線軌跡を含んでもよく，かつドライバの凝視方向及び期間を含む凝視データを含んでもよい。任意選択の危険事情警告を，ドライバに警告をするために用いてもよい。ここで，観察されていない危険事情及び／又は隠ぺいされた認知されていない危険事情に優先度が与えられる。危険事情は次の二つのクラス，「十分に感知された」若しくは「十分に感知されていない」，又は「十分に観察された」若しくは「十分に観察されていない」に分類することができる。いくつかの実施例においては，危険事情は２以上の範ちゅう，例えば「認知された」（危険事情への視線又は危険事情への視線ベクトルがある）及び「認知されていない」（危険事情への視線又は危険事情への視線ベクトルがない）に分類することができる。任意選択の追加範ちゅうは「十分に認知されていない」危険事情である。十分に認知されていない危険事情は，視線ベクトルが危険事情に向けられているが，妨害物によって当該危険事情全体が認知できない，隠ぺいされた危険事情を含む。一例は，歩行者が駐車している輸送手段のかげから道路に近づき，駐車した輸送手段が歩行者をはっきり見えないようにしている場合である。範ちゅう「十分に認知されていない」はまた，何かを一時的に凝視したが，輸送手段感知器が捕捉したものに対して十分に正確な心理モデルが形成できない場合も含む。例えば，人がほかの輸送手段を一べつ（瞥）したが，輸送手段の相対速度を認知するには十分長くない場合である。
【００１０】
環境感知と，ドライバ監視と，これらのシステムからのデータの比較との新規な組合せによって，ドライバが危険に気付かないであろう潜在的に危険な状況について情報を与えることができる。利点には不必要な警告の減少と，与えられた警告の有効性の向上とが含まれる。例えば，ドライバ監視器が，ドライバが接近する輸送手段又はほかの危険事情を見たとき，ドライバがまだ観察していない危険事情の振る舞いに変化がない限り，接近する輸送手段又はほかの危険事情に関しては，追加の警告をする必要はない。
【００１１】
環境感知器システムは，ほかの輸送手段，交通信号，歩行者などのような環境内の物体を感知及び検出するように構成される。いくつかの実施例において，すべての検出された物体は危険事情と考えてもよい。いくつかの実施例において，危険事情はすべての検出された物体，例えば，大きさ，輸送手段に対する相対位置，輸送手段の予想走行経路（例えば道路）に対する相対位置，速度，加速度，及び／又はほかの要因，のような要因によって判定される輸送手段へ脅威を与える物体，のサブセットである。
【００１２】
環境感知器システムは，例えばレーダ，レーザ測距器，映像感知器，などのような１又は複数の感知器を備えてもよい。環境感知器システムは，感知器信号を受信して，環境内の１又は複数の危険事情を検出する処理モジュールを更に含んでもよい。ドライバ監視器は車室内に向かって内向きに向けられた１又は複数の感知器を備えてもよく，またカメラ，３次元飛行時間感知器，などのような，視線追跡用に構成できる感知器を含んでもよい。頭又は身体の姿勢のようなドライバに関するほかの情報もまた，ドライバの状態及び環境の知識を推定できるようにする。姿勢に関しては，カメラからだけではなく，ドライバの重量及び応力の分布を示す（シート，ハンドル，又はドライバが触れる可能性があるほかの場所における）圧力感知器，ドライバがそばにいる可能性がある超音波，容量，光又はほかの近接感知システム，身体が発する蒸気又は化学物質（例えば神経過敏の際の汗，又はドライバが飲酒しているときのアルコール）を検出できる化学物質感知器，又はほかの感知器のような感知器からも推定することができる。感知器は，ドライバの姿勢，医学的若しくはほかの身体的状態，感情状態，又はほかの状態を監視することができる。
【００１３】
環境感知器は，適応型走行制御感知器のようなほかの機能のためにも用いられる感知器を含んでもよい。これらはレーダ感知器を含んでもよい。例えばレーダ感知器は，輸送手段に対する相対速度が変化する輸送手段を特定するために用いてもよい。衝突又はドライバに与えられる警告を避けるように輸送手段の速度を調整してもよい。
【００１４】
ドライバ監視器は１又は複数の感知器，例えばコンピュータビジョンアルゴリズムによるドライバ監視を用いることができる。このような感知システムは，疲労又は注意散漫のようなドライバの問題を検出するためにも用いることができる。ドライバ監視器を，通常のコンピュータビジョンアルゴリズムを用いて，頭及び目の動きを追跡するために用いてもよい。例えば，人の視線軌跡が危険事情を通過するか，又は危険事情のそば（例えば，危険事情からの分離角及び／又は分離距離のような一定のしきい値内にある）を通過する必要がある。例えば，認知されていない危険事情は，視線軌跡から所定の分離角である１°〜１０°の外にあることがある。
【００１５】
ドライバ監視器は，画像データを供給するビデオカメラのような少なくとも一つの画像感知器を含んでもよく，ドライバ監視器処理モジュールは画像データから視線方向を判定することができる。例えば，頭の方向及び／又は目の方向を検出して視線軌跡を判定するために用いてもよい。
【００１６】
ドライバ認知データは，視線軌跡内の凝視に関係する凝視時間データを更に含んでもよい。いくつかの実施例において，視線は一定のしきい値時間固定している必要がある。例えば，少なくともいくつかの危険事情は，認知された危険事情として特定されるまでかなりの凝視時間を必要とする。これらの危険事情は，輸送手段に対して大いなる危険を生じさせ，危険な状態を避けるためにそれ自身が行動を起こすことがあり得ない重大な危険事情を含む。例えば，重大な危険事情は，一時停止標識，赤色交通信号，走行車線内に停止した輸送手段，動物，走行車線内の歩行者，などを含む。
【００１７】
視線軌跡が危険事情（又は危険事情の近く，例えば危険事情からのしきい値分離角以内）を通過したとき，危険事情はドライバが気付いている「認知された危険事情」として特定してもよい。認知されていない危険事情は，視線軌跡から所定の距離だけ外にある危険事情であってもよい。以降述べる種々の例において，認知された危険事情及び認知されていない危険事情が説明されるが，ドライバ監視器は，ドライバ認知のほかの量を更に又は代替で追跡してもよい。いくつかの実施例において，凝視は，目の動きの完全な停止を必要としない。凝視は，衝動性運動間間隔（ｉｎｔｅｒｓａｃｃａｄｉｃ ｉｎｔｅｒｖａｌ）として判定され，衝動性運動間間隔は視線追跡器によって検出することができる。視線は物体から物体へ，若しくは場所から場所へ跳躍する（「衝動性運動」（ｓａｃｃａｄｅ）と呼ばれる）か，又は物体若しくは位置に留まる（凝視（ｆｉｘａｔｉｏｎ）と呼ばれる）。しかし，物体が動いているときであっても，目が大きな速い跳躍をする必要がなく，適度によく物体を追跡できる限り，凝視中も視線は物体に留まることができる。凝視は，衝動性運動間の期間，すなわち衝動性運動間間隔中に起こる。視線が観察者に対して動いている物体に留まるとき，目は，（視線が物体上に維持されている間の物体の動きを強調するための）物体追跡又は動いている物体の凝視双方を指す滑動性追従運動を用いて，緊密に物体運動を追う。移動物体に関する凝視という用語は，目の動きの完全な停止を必要としない。むしろ，脳の滑動性追従システムを用いて移動物体を追跡する，目で追跡可能な相対速度で目標物が移動するときであっても，一つの目標物の選択である。したがって，衝動性運動間に静止又は準静止画像が観察されるとき，衝動性眼球運動間の衝動性運動間間隔も凝視期間と呼んでよい。
【００１８】
認知された危険事情は，ドライバの視線が危険事情を通過した後も，例えば所定の時間，例えば１〜１０秒の間は「認知された」に分類され続ける。環境感知器システムが危険事情は予測不能な振る舞いをしていると判定したときは，認知された危険事情は「認知されていない」に再分類される。物体の予測不能な振る舞いとは，最後の視線配置において構築されたモデルから振る舞いを変えること，又は最後の視線配置にかかわらず予測不能な振る舞いをすることを含む。予測不能な振る舞いは，最後の観察における危険事情の状態に比べた危険事情の加速，減速，又は方向の変化の結果として生じる。認知された危険事情もまた，ドライバが最後に危険事情を見た後，所定時間が経過した後に「認知されていない」に再分類される。さらに，既存の物体から新たに現れた振る舞い（予測していない振る舞い）に対しても警告してよい。これらは，振る舞いを予測する全体能力が限られている場合，又は物体が新規である場合と同様に危険かつ重要である。例えば，別の輸送手段が予測不能に速度を上げ，速度を下げ，方向を変えたとき，ドライバ監視に基づいてドライバに警告が行われる。さらに，認知された危険事情は，当該危険事情の周囲の環境によって振る舞いの変更が必要であり，またドライバが危険事情の状態を評価して危険事情の振る舞いについてのドライバのモデルを更新するために当該危険事情を再検査したとき，認知状態を認知された危険事情から予期しない危険事情の状態に偏移させることが必要であるほど変化しても，予測可能に自己の振る舞いを変化させることができないことがある（例えば，環境内の一時停止標識又は停止信号があるにもかかわらず停止するために減速しない，又は道路が曲がっているにもかかわらず，転回を開始できない）。
【００１９】
注意評価処理モジュールは，環境感知器及びドライバ監視感知器からのデータを結合して，ドライバが潜在的な危険事情それぞれに十分な注意を払っているかどうかを評価する。出力は潜在的な危険事情について一組の警告を有し，ドライバが各危険事情に気付いているかどうかに応じてこれらの警告を選択する。例えば，危険な状況について，人間‐機械インタフェースを介してドライバに警告を与えることができる。警告は，１又は複数の危険事情パラメータに関係する情報を含んでもよい。危険事情パラメータは，距離，相対速度，方向（例えば走行方向のような基準方向に対する角度），大きさ，危険事情識別情報，又はほかの情報を含んでもよい。例えば危険事情に対する方向は，可聴警告の発生源の見掛けの方向で示してもよいし，視覚識別可能な矢印を用いて示してもよい。いくつかの実施例においては，輸送手段制御モジュールを用いて，危険事情に反応して，例えばブレーキ，エンジン速度制御，操舵，又はほかの輸送手段制御信号を用いて輸送手段の軌跡を調整することができる。
【００２０】
注意評価モジュールは計算機のような電子回路であってよく，環境感知器システムによって検出された環境内の危険事情と，ドライバの環境の認知とを比較するように動作することができる。ドライバの認知は，ドライバの視線がそばを通過したか，通過した環境内の危険事情として判定してもよい。いくつかの実施例において，例えば視線追跡によって判定されたとき，ドライバが見た危険事情にドライバは気付いていると見なされる。しかし，ドライバの見たことのある物体であるが，ドライバが当該物体の現在の動き及び／又は状態を正しく予測していなかったと思われるため，ドライバに追加の警告が必要な物体がある。注意評価モジュールは，ドライバが認知しなかった，十分よく認知しなかった，又は物体がその振る舞いを変え始めたために認知しなかったとドライバ監視器が判定した環境内の危険事情について選択的に警告を与えることができる。
【００２１】
装置はさらに，潜在的に危険な運転状況が特定されたとき，（可聴，可視及び／又は触覚による警告のような）警告信号を供給することができる。これらの潜在的に危険な運転状況には，外向き感知器によって検出された危険事情であって，内向き感知器によってドライバが気付いていないと判定された危険事情がある状況を含む。警告は，ドライバに追加の安全情報を与える警告のような人間‐機械インタフェース，又は輸送手段が危険事情及びすべての同時に発生するその他のものを自立的に避けるために自動的に反応する保護システムのいずれかにおいて，使用される可能性がある。
【００２２】
後者の例又は類似のその他のものにおいて，注意評価モジュールからの信号は輸送手段制御モジュールに送信され，例えばブレーキ，アクセル又はハンドル調整を作動させて，輸送手段の運転を調整するために用いることができる。
【００２３】
ドライバによる輸送手段の安全運転を補助する例示方法は，危険事情データを取得するために，輸送手段によって提供される環境感知器を用いて輸送手段環境を監視するステップと，視線方向データを含むドライバ認知データを取得するためにドライバを監視するステップと，危険事情データとドライバ認知データとを比較して，認知された危険事情と認知されていない危険事情とを特定するステップと，認知されていない危険事情に関してドライバに警告を与えるステップと，を含む。視線方向データは，所定の時間期間の視線軌跡であって，所定の時間期間に認知されていない危険事情を通過又は十分近くを通過しなかった視線軌跡を含む。
【図面の簡単な説明】
【００２４】
【図１】ドライバ認知輸送手段安全システムのブロック図である。
【図２】輸送手段周囲の可能な感知器配置を示す簡略化した図である。
【図３】複数の危険事情であって，そのうちいくつかはドライバが見なかった危険事情を含む環境を示す図である。
【図４】認識システムに基づくドライバ補助システムのブロック図である。
【図５Ａ】ドライバ支援システムの例の更なるブロック図である。
【図５Ｂ】ドライバ支援システムの例の更なるブロック図である。
【図５Ｃ】ドライバ支援システムの例の更なるブロック図である。
【図６Ａ】視線追跡の例を示す図である。
【図６Ｂ】視線追跡の例を示す図である。
【図６Ｃ】視線追跡の例を示す図である。
【発明を実施するための形態】
【００２５】
本発明の実施例において，環境のモデルは，輸送手段と関係し，輸送手段環境に向かって（ドライバに対して）外向きに向けられた感知器のような１又は複数の環境感知器を用いて生成することができる。処理モジュールを用いて，環境感知器（レーダ感知器，レーザ感知器，などを含んでもよい）を用いて検出された環境内の物体を追跡することができる。ドライバの視線が監視され，視線軌跡と環境内で特定された物体，例えば環境モデル内で追跡された物体とが関係付けられる。
【００２６】
例えば，ドライバは車線変更の操縦をする前に左を見て，次にその操縦を実行することがある。左斜線にはほかの輸送手段がある可能性がある。システムは最初に，位置及び相対速度に基づいて，第２の輸送手段が危険事情かどうかを判定する。視線追跡を用いてドライバが第２の輸送手段に気付いているかどうかを判定することができ，ドライバが当該危険事情に気付いているときは警告は出されない。しかしいくつかの実施例においては，視線追跡が，ドライバが第２の輸送手段のような危険事情に気付いていないことを示すことがあり，それによって有用な警告を与えることができる。
【００２７】
いくつかの実施例において，例えば危険事情が前の観察以降に，前の行動又は状態と比べて例えば方向を変える，減速する，又は加速するといった予測不能な又は予測していなかった振る舞いをしたとき，認知された危険事情と分類された危険事情が認知されていない危険事情に再分類されることがある。
【００２８】
本発明の実施例による方法は，不必要な警告を無くし，適切ならば制御システムを引き継ぐことができるようにする。例示装置は，１又は複数の環境感知器と，危険事情のリストを生成できる環境感知器処理モジュールと，１又は複数のドライバ監視感知器と，人間の注目点位置を推定するドライバ監視感知器処理モジュールと，を備える。その位置には時間ラベルが与えられる。注意評価情報処理モジュールは次に，環境監視システムからのデータとドライバ監視器からのデータとを比較し，潜在的な各危険事情に対して人が十分に注意を払ったかどうかを評価するように構成されている。
【００２９】
図１はドライバ認知輸送手段安全システムの例のブロック図である。この装置は，感知器１２のような複数の環境感知器１０を備える。環境感知器データは第１処理モジュール１４に渡され，第１処理モジュールは輸送手段環境内の危険事情を検出するように動作する。ドライバ監視器は感知器２２のような複数のドライバ監視感知器２０を備える。１又は複数の感知器があってもよく，複数感知器は同一であってもよいし，異なっていてもよく，互いに類似の情報を発生してもよいし，異なる情報を発生してもよい。ドライバ監視感知器からの感知器データは第２処理モジュール１６へ送信される。注意評価モジュール１８は，感知システム１０によって検出された，環境内のどの危険事情をドライバが認識していないかを判定するために，第１処理モジュールの出力と第２処理モジュールの出力とを比較する。注意評価モジュール１８からの出力を，ドライバ警告システム２４及び／又は輸送手段制御安全システム２６に渡してもよい。
【００３０】
この例において，環境感知器システムは複数の環境感知器及び第１処理モジュールを含み，ドライバ監視器は複数のドライバ監視感知器及び第２処理モジュールを含む。しかし，感知器処理及び注意評価モジュールの比較は，プロセッサ，メモリ，クロック及びほかの通常の部品を含む計算機のような単一電子回路によって実行してもよい。
【００３１】
図２はドライバ４２のいる輸送手段４０を示している。１又は複数の内向きの感知器４４が，時間に応じたドライバの注目点を推定するために，ドライバの頭の位置，目の位置，又はほかの関連するドライバの身体姿勢要素を監視する。このようにして視線軌跡が測定される。（４６，４８，５０及び５２のような）複数の外向き感知器が，輸送手段の外部環境を感知するために用いられる。感知器の例は，ＶｅｌｏｄｙｎｅＴＭレーザ測距（ＬＩＤＡＲ）感知器（Velodyne Lidar Inc., Morgan Hill, カリフォルニア）及びＳｉｃｋ（登録商標）レーザ距離計（Sick AG, Waldkirch, ドイツ）を含む。例えば，環境感知器は，レーダ感知器，レーザ感知器，光学画像感知器，ほかの感知器，又はこれらの任意の組合せを含む。内向き感知器は，映像感知器，飛行時間感知器，ドライバに関する情報を提供するほかの感知器であってよい。
【００３２】
この図はまた，環境及びドライバ監視に関係する処理モジュールから感知器データ又はデータを受信する計算モジュール５４も示している。処理モジュール及び注意評価モジュールの機能は，上記計算モジュールのような１又は複数の電子回路のような，１又は複数の部品によって提供され，かつ計算機のような単位デバイスに結合されてもよい。
【００３３】
図２はまたスピーカ５６も示しており，該スピーカを用いて，例えば危険事情に関係する方位情報を提供するためにステレオ効果又は４チャネル効果を用いてドライバに音声又はほかの可聴警告を提供することができる。矢印，点滅灯などのような視覚警告もまた，この部品上の画像要素又は局所モジュールからヘッドアップ表示装置に至るまでのほかの種類の表示装置によって提供してよい。
【００３４】
図３は，ほかの輸送手段８２，８４，８６及び８８，歩行者９０及び９２，並びに一時停止標識９４を有する代表的な輸送手段環境内の輸送手段８０を示している。輸送手段安全システムの形態の装置は輸送手段８０と関係付けられ，環境監視システムと，ドライバ監視器と，（例えば図１に示すとおりの）注意評価モジュールと，を備える。輸送手段８０の環境監視システムは感知器９６のような感知器を備え，比較的短時間に複数の危険事情を特定し，それら危険事情を動的追跡のためにラベル付けすることができる。感知器は，輸送手段外のより広い視野を提供するために，図示したものより多くの方向を向いていてもよい。さらに，環境監視システムは，識別された物体の速度，方向及び／又は加速度の変化のような環境内の動的変化に素早く反応する。反対に，輸送手段のドライバは環境内の変化をそれほど素早くは特定できないことがある。
【００３５】
例えば，輸送手段の環境感知器システムは，環境内にあるほかの物体と共に，すべてのラベル付けされた危険事情を検出し，追跡することができてもよい。木９８のような静止物体は，輸送手段の予測される経路にないときは，危険事情として特定する必要はないが，特定してもよい。
【００３６】
ドライバ監視器を用いて取得された視線軌跡を用いて，注意評価モジュールはドライバが見なかった危険事情（見えない危険事情）を特定し，ドライバが最近知識又は情報を更新していない危険事情を含む，どの危険事情の状態及び位置にドライバが最近気付いていない可能性が高いかを指示することができる。例えば，ドライバの注意を監視することによって，ドライバが一時停止標識９４に気付かなかったことを検出することができる。この場合，一時停止標識９４の存在に特に向けられた警告が与えられる。
【００３７】
さらに，８８のような輸送手段は最初は隠れていて，輸送手段環境に突然現れることがある。輸送手段感知器（環境監視システム）は新規の危険事情を，ほとんど直ちに，例えば０．１秒未満で，検出することができる。警告は直ちに与えてもよいし，いくつかの実施例においては，警告を与える前に，新たに現れた輸送手段を見るために所定の時間期間をドライバに許可してもよい。
【００３８】
図４はドライバ補助システムの例の更なるブロック図であって，実時間環境感知に基づく世界モデルと，ドライバの観察の監視及び任意選択のドライバ記憶モデルに基づいたドライバ認知推定とが比較される。装置は，環境感知器１００と，環境モデル１０２と，世界状態推定システム１０４と，鑑別機械（ｄｉｆｆｅｒｅｎｃｉｎｇ ｍａｃｈｉｎｅ）１０６と，ドライバ知識推定システム１０８と，ドライバ感知器のモデル１１０と，環境の心理表現１１２と，を備える。ドライバの認知を推定するために，環境のモデルを，検出された物体１１４と，検出された動き１１６と，記憶１１８とについて作ることができる。環境モデル１０２は，地図，過去に記録された経験，伝送された情報を含む種々の情報源からの，環境に関する情報を含んでもよい。
【００３９】
環境についての推定されたドライバの心理モデル（１１２）は，自己認知の推定と，物体認知（当該物体が危険事情かどうかの危険事情認知を含む）と，例えば見掛けのオプチカルフロー及び見掛け上，一貫性のある（ｃｏｈｅｒｅｎｔ）動きからの，物体の相対運動に対するドライバの認知の推定と，を含んでもよい。推定されたドライバの心理モデルは，長期記憶のモデル１１８，例えばドライバがどのように環境を地図に描くかと，物体の種類及びその行動の保持のための記憶モデルと，を含んでもよい。
【００４０】
例えば人は一定速度で移動している，環境内の危険事情を感知することができる。ドライバ認知推定システムは，人が前の観察に基づいて危険事情の動きに気付くと推定する。しかし，ほかの輸送手段のような危険事情が，例えば予測したときと異なる時間に方向を変え，又は加速するなど現在の予測と異なる振る舞いを始めたとき，環境モデル１０４は，ドライバが更に危険事情を観察しない限り，モデル化された認知とは異なるであろう。このような例において，実際の環境モデル１０４とドライバの認知の推定１０８との差を測定して，ドライバへ警告を与えることができる。
【００４１】
図４の例において，注意評価モジュールの機能は，環境の推定１０４とドライバの認知１０８とを比較する鑑別機械１０６によって提供される。感知システムの処理モジュールは，簡潔性のために図示していないが，この機能は関係する推定システムに含めてもよいし，感知器と連携させてもよい。鑑別機械は，記号的，数学的又は状態進行（ｓｔａｔｅ ｐｒｏｇｒｅｓｓｉｏｎ）鑑別機械のような１又は複数の比較器機能を含んでもよい。
【００４２】
いくつかの実施例において，ドライバの認知は，物体の検出，動きの認知並びに空間関係及び環境に関係する類似の事実及び行動に関する人の記憶によって，それ自身がモデル化されてもよい。
【００４３】
図５Ａはドライバ支援のための視線に基づく認知システムのブロック図である。この図は，輸送手段外のカメラシステム１４４によって検出された環境１４０を示している。追加感知器１４２が提供されてもよい。輸送手段感知器データは感知器融合システム１４８を介して３次元環境再構築１５２に渡される。再構築１５２はまた，コンピュータビジョンデータベース１５４のような外部データベースからもデータを受信してよい。環境再構築の出力は運転に関係する環境構成要素の表現１６０を形成するために用いられる。これらの構成要素は必ずしも危険ではないが，より単純に危険事情と呼んでもよい。視線追跡システム１４６は輸送手段運転手の視線方向を追跡する。視線追跡システムの出力は，例えば視線軌跡データとして，環境内で検査された物体の推定１５６を提供する。環境内の位置と視線との位置合わせ１５０が提供される。ドライバの記憶のモデル１５８は任意選択で用いられる。作業記憶モデル１５８は１５６から物体の推定を受け取り，ドライバの知識の推定１６４を供給するために用いる。ドライバの推定された知識は比較器１６２において１６０からの危険事情の表現と比較される。ドライバが見なかった危険事情はどれもこの比較において検出され，ドライバ対話モジュール１６６を介して適切な警告がされるか又は行動が取られる。
【００４４】
図５Ｂはドライバモデルを更に詳細に示すものであり，処理ブロック１７０が，ドライバによって検査された物体を記録し，優先度が付けられる。利用者の経験を保存するために用いられる記憶１７２が示され，局所地図の推定１７４が可能になる。地図推定１７４の出力は，記憶からのドライバの推定知識の具体化１６４に提供される。この図において，構成要素１５６，１５８，１６４及び１６２は図５Ａに示されたものである。
【００４５】
図５Ｃはわずかにより高度化されたドライバ及び環境モデルを示している。環境再構築１５２は，１８０で輸送手段の推定及びドライバ振る舞いモデルと結合される。このモデルはドライバ専用にしてもよいし，及び／又は特定輸送手段専用にしてもよい。さらに，物体振る舞いに用いられる推定モデル１８２が提供される。１８０からの自己振る舞いモデルと，１８２からの物体振る舞いモデルとの組合せがタスク推定器１８４で結合されて，ドライバが現在取り組んでいるタスクの推定を与える。これによって，実行すべきタスクの認知モデル１８６が提供できる。これらのモデルは危険事情の表現１６０を改善するために用いることができる。この図において，構成要素１５２，１６０及び１６２は図５Ａで示されたものである。
【００４６】
運転及び環境の経験は，環境に対するドライバの認知に影響することがある。図６Ａは，慣れた環境内の熟練したドライバが環境を効率よく視覚的に走査し，ほとんどの危険事情を検出することを示している。この図は，２０４で示すような凝視点と共に，環境２００の視線軌跡２０２を示している。
【００４７】
視線追跡システムは，視線軌跡を追跡し，凝視時間を検出及び定量化することができる。各凝視点の円の大きさは，ドライバ監視システムによって測定することができる凝視時間と関係付けられる。いくつかの実施例において，人が危険事情を認知するには，所定のしきい値より長い凝視時間が必要なことがある。
【００４８】
図６Ｂは，慣れた環境内の初心者レベルドライバが関連する空間のよく認識できる運転上の手掛かりに偏ることを示している。場所の知識が凝視点を導く（運転による偏りはない）。
【００４９】
図６Ｃは，あまり慣れていない環境内の初心者レベルドライバを示している。このような例においては，ドライバの視線は時々環境内をあちこち無作為に動き，輸送手段に対する危険事情と関係のなさそうな点を凝視することがある。例えば，ドライバは自然のコントラスト，色，などに基づいて物体を見ることがある。凝視点は慣れた場所と新規な場所とによって偏る。
【００５０】
輸送手段への危険は，未経験なドライバの場合，又は慣れていない環境内の経験のあるドライバの場合に高まることがある。環境を視覚的に観察するパターンからドライバの経験を検出するように，システムをプログラムしてもよい。また，例えばＧＰＳデータのような位置データから輸送手段が慣れていない環境にあるかどうかを判定するように，システムを構成してもよい。このようなより危険な状況においては，警告の数は増加することがある。
【００５１】
環境内で感知された危険事情についてのドライバの世界の推定は，最近の視線軌跡から判定することができる。視線追跡を用いて，環境の状態についてのドライバの現在の観察及び知識を推定することができる。
【００５２】
いくつかの実施例において，ドライバの技能を評価し，また見逃した危険事情の検出を容易にするためにドライバの視線軌跡を熟練ドライバの視線軌跡と比較してもよい。これは改善されたドライバの評価，免許取得又は訓練の一部となり得る。
【００５３】
例えば，経験のあるドライバが環境を運転し，その経験のあるドライバの視線を追跡する。軌跡及び凝視点がデータベースに記憶される。同一の環境を通過する第２の輸送手段はこのデータベースからデータを取得して，危険事情の検出を容易にすることができる。
【００５４】
＜アルゴリズム＞
あるアルゴリズムを用いて，ドライバが気付いていない輸送手段外の潜在的に危険な状況があるかどうかを判定することができる。環境感知器を用いて，過去の時間間隔内に輸送手段外の潜在的に危険な状況を検出する。次に第２時間間隔内のドライバの注視位置を測定する。環境感知器によって検出された危険事情であって，過去の時間間隔内のドライバの注視位置集合内になかった危険事情に対して警告を与えることができる。
【００５５】
環境感知器によって測定された輸送手段環境は，極めて速いペースで動的に更新されることがある。例えば，１秒又はそれより短い時間間隔で更新が起こることがある。ドライバの記憶は，人は第２時間間隔内の危険事情の存在を記憶するものとしてモデル化され，又は推定される。
【００５６】
ドライバ認知の領域は，視線軌跡から一定の距離範囲内の，環境内の領域として推定することができる。使用する距離関数は，ユークリッド距離，分離角，又は使用する感知器方式（ｍｏｄａｌｉｔｙ）に有用な任意のほかの距離関数であってよい。
【００５７】
いくつかの実施例において，感知器が危険事情を検出したとき直ちには警告が出されない。例えば１〜３秒の間，ドライバは視覚的に危険事情に気付くようになるまで時間期間を与えられる。システムは，関係する時間期間を現在のモデルから将来に延長できるようにして，ドライバに潜在的な危険事情を認識する機会を与えることができる。
【００５８】
例示システムは，１又は複数の外向き感知器のような環境感知器システムと，およその位置及び時間ラベルを有する，輸送手段外の危険事情の集合を生成する外向き感知器処理モジュールとを備える。システムはさらに，複数の内向き感知器のようなドライバ監視器と，時間ラベルを有する人の注目点の位置を推定する内向き監視器処理モジュールと，外向き処理モジュールからのデータと，内向き処理モジュールからのデータを結合し，人間の運転手（例えばドライバ）が危険な状況（危険事情）それぞれに十分な注意を払ったかどうかを評価できる注意評価モジュールと，を備える。
【００５９】
注意評価モジュールは，次のアルゴリズムを用いて，人が気付いていない輸送手段の外の潜在的に危険な状況があるかどうかを判定することができる。
１．過去の時間間隔ｔＤ内の輸送手段外の潜在的に危険な状況の集合Ｄを入力する
２．過去の時間間隔ｔＦ内のドライバの注視点位置の集合Ｆを入力する
３．Ｄ内の状況ｄごとに次を実行する
４． Ｌ（ｄ）をｄのおよその位置とし，Ｔ（ｄ）をｄの時間とし，Ｗａｒｎ（ｄ）＝ｔｒｕｅに設定する
５． Ｆ内の注視点範囲ｆごとに次を実行する
６． Ｌ（ｆ）をｆのおよその位置とし，Ｔ（ｆ）をｆの時間とする
７． 距離Ｄ（Ｌ（ｄ），Ｌ（ｆ））＜切り捨て値（ｃｕｔｏｆｆ）Ｄ，かつ時間差Ｅ（Ｔ（ｄ），Ｔ（ｆ））＜切り捨て値Ｔであるとき，Ｗａｒｎ（ｄ）＝ｆａｌｓｅに設定
８． 繰り返し終了
９．繰り返し終了
１０．Ｗａｒｎ（ｄ）＝＝ｔｒｕｅであるｄごとに，ｄを認知されていない危険な状況として返す
【００６０】
上記の例示アルゴリズムにおいて，距離関数Ｄはユークリッド距離，角距離（例えば視野内の分離角），又は使用した感知器方式に有用なほかの距離関数であってよい。使用される時間差関数Ｅは多くの形態を取ることができ，例えば単に絶対値であってもよいが，追加機能用に選択してもよい。例えば，Ｔ（ｄ）＜Ｔ（ｆ）のとき，又はＴ（ｄ）＞Ｔ（ｆ）のとき，別個の値を返すものであってもよい。切り捨て値は，危険な状況の潜在的なひどさに応じて変えてもよい。時間間隔ｔＤ及びｔＦは，必ずしも現在時刻で終了しなくてもよい。例えば，システムは，ｔＤを現在時刻に対して［−５，＋１］秒の間に設定して，警告を発生する前に輸送手段運転手が脅威を認識する機会を与えてもよい。
【００６１】
状況に応じて，所定の時間期間は，例えば輸送手段速度及び／又は危険事情が現実（例えば衝突）となるまでの時間に逆相関となるように可変であってもよい。例えば，危険事情位置データは第１所定時間期間の危険事情位置を含んでもよく，ドライバ認知データは第２所定時間期間のドライバ認知に対応してもよく，第１及び第２所定時間期間はそれぞれ約０．０１秒と約１０秒との間の期間を有してもよい。３０Ｈｚの平均視覚フリッカ融合（二つの閃光がぼやけて一つの広がった閃光として観察される，霊長類視覚の視覚統合速度）は約０．０３秒の時間窓に対応し，したがって，０．０１秒の窓は，１００Ｈｚと同様の極めて良い視覚時間識別を提供する。
【００６２】
＜環境感知器システム＞
輸送手段の外部環境を測定するために用いられる環境感知器は，ビデオカメラ，ＬＩＤＡＲのようなレーザ感知器，レーダ，その他の画像に基づく感知器，ソナー，等を含んでもよい。
【００６３】
環境感知器システムは，輸送手段環境の詳細な表現を生成することができる。例えば，複数のレーダ感知器で輸送手段を取り囲んでもよい。いくつかの実施例において，輸送手段は近隣の輸送手段から，例えば同一車線及び隣接内の近隣の輸送手段からの速度データ及び進路データなどの車線データを受信してもよい。
【００６４】
環境感知器は，ほかの輸送手段及び歩行者，看板（ｓｉｇｎａｇｅ），等の道路際の物体を含む，環境内の物体を検出するように構成することができる。
【００６５】
環境感知器システムは，感知器信号を分析し，環境内の物体の位置を測定するために用いられる，計算機又はほかの電子回路のような処理モジュールを更に備えてもよい。処理モジュールはさらに，現在の輸送手段の振る舞いと，現在の輸送手段の対する物体の相対位置と，（相対速度，方向，加速度，などのような）物体の振る舞いと，に基づいて潜在的に危険な物体を特定してもよい。
【００６６】
環境は３次元でモデル化してもよいし，２次元表現としてモデル化してもよい。２次元表現の方が計算上単純になることがある。
【００６７】
いくつかの実施例において，地図データを含むネットワークデータのような所定のデータを輸送手段に伝送することができる。このような例においては，データ受信機構は輸送手段の環境に関係するデータを受信するため，環境感知器の機能に対応する。例えば，以前に収集された街路風景を，交通管制信号のような固定した危険事情の検出に用いることができる。
【００６８】
環境感知器システムは，感知器信号を受信し，環境内の物体を検出する，感知器処理モジュールを含んでもよい。すべて又はいくつかの特定された物体を危険事情として特定してもよい。処理モジュールの出力は，環境内の危険事情の位置の集合，例えば第１時間期間内に検出された危険事情を含んでもよい。第１時間期間は過去の開始時刻（例えば現在時刻の１〜１０秒前）から現在時刻まで出会ってもよいし，又はいくつかの実施例においては直近の時間期間を除いてもよい。
【００６９】
＜ドライバ監視器＞
ドライバ監視器は１又は複数のドライバ監視感知器を備えてもよく，映像感知器（例えばＣＭＯＳ感知器），超音波又はレーザ感知器のような飛行時間感知器を含んでもよい。ドライバに赤外（ＩＲ）又はほかの照明を当ててドライバ監視器の感度を高めてもよい。ドライバ監視器はドライバ認知データを出力し，該データは所定の時間期間に渡るドライバの認知中心（例えば視線方向）の測定値であってよい。したがって，ドライバ認知データは当該ドライバの視線軌跡データを含んでもよい。
【００７０】
いくつかの実施例において，コンピュータビジョンシステムを用いてドライバの頭の方向を監視することができる。投影された視線方向と感知された環境とを位置合わせすることによって，ドライバがどの危険事情に気付いているか，及びどの危険事情がドライバの意識外であるか，を推定することができる。
【００７１】
環境の方を向いた外向きのカメラ及び目の方を向いた更なる画像感知器を備えた眼鏡のような装置を用いて，視線追跡を正確に行うことができる。このような装置は日常の使用には扱いづらく，ドライバ監視のためのコンピュータビジョンシステム又はほかの画像に基づくシステムの較正に用いてもよい。代替の視線追跡システムは，代わりに，ドライバの方を向いて搭載され，輸送手段がある外部環境を観察する監視システムに対して位置合わせされた１又は複数のカメラを用いてもよい。又は，視線追跡システムは，頭及び目の方向，又は輸送手段若しくは環境の基準フレームに対する目の方向を測定するために合理的に用いられる，コンタクトレンズ及び無線周波（ＲＦ）送信信号を生成する，フレーム内に埋め込まれた（ｉｍｐｒｅｇｎａｔｅｄ）コイル，又はほかの類似システムのような追加の視線及び頭部方向検出モードを用いてもよい。多くの種類の方向付けシステムが標準視線追跡システム技術としてよく知られているが，ここで説明した視線追跡器のどの説明も，本発明の実施例において説明したより大きな安全システムの視線検出機能にかなうように選択された追跡器の選択を制限するものではない。
【００７２】
いくつかの実施例において，輸送手段のダッシュボードに搭載された外向きカメラを用いて，ドライバが見た輸送手段環境を推定してもよい。この画像を，外部輸送手段感知器を用いて生成された環境モデルと比較してもよい。
【００７３】
標準の座標変換を用いて，ドライバの視点と，輸送手段感知器が生成した環境モデルとを位置合わせすることができる。環境モデル内の視線追跡の制度は１５度以内，いくつかの実施例においては１０度以内，そしていくつかの実施例においては５度以内であってよい。視線軌跡データがより正確であればあるほど，ドライバ認知の推定がより信頼できる。
【００７４】
いくつかの実施例において，計器盤（ｉｎｓｔｒｕｍｅｎｔ ｇａｕｇｅ）に関する輸送手段運転手の注意もまた監視することができ，輸送手段運転手が計器盤に表示された警告を見なかったとき，追加の警告が与えられる。いくつかの実施例において，輸送手段のダッシュボード上のカメラを視線軌跡の粗い近似として用いることができる。
【００７５】
＜注意評価モジュール＞
注意評価モジュールの例は，環境内の危険事情に関する危険事情データと，ドライバの認知に関するドライバ認知データとを受信するように構成される。注意評価モジュールは検出された危険事情とドライバ認知データとを比較して，（ドライバ認知内の）認知された危険事情及び（ドライバ認知外の）認知されていない危険事情を判定する。注意評価モジュールの例は次に，認知されていない危険事情に関してだけ警告信号を生成し，認知された危険事情には生成しない。いくつかの実施例において，警告信号はまた，例えば危険事情の危険が極端であるとき，認知された危険事情も含んでよい。したがって，注意評価モジュールは複数の範ちゅうの危険事情，例えば認知された危険事情及び認知されていない危険事情，並びに任意選択で十分に認知されていない危険事情を特定してもよい。例えば，凝視時間は第１しきい値（例えば危険事情の存在を認知するために必要と推定される）より長く，完全な認知に必要な第２しきい値（例えば危険事情を十分に認識するために必要と推定される時間より短い）未満であってもよい。十分に認知されていない危険事情は見えているが，相対速度のような危険事情パラメータは認知されないことがある。
【００７６】
したがって，危険事情の分類は「認知された」対「認知されていない」の二つの分類であってもよいし，中間範ちゅうを含んでもよく，また，認知程度に応じて連続的な段階を含んでもよい。検出程度が測定できるときは，「十分に認知された」又は「十分に認知されていない」のような二つの状態に区別してもよく，認知された及び認知されていないと均等に用いてもよい。危険事情範ちゅうは，完全に認知されたと，完全に認知されていないとの間の中間状態として存在してもよい。また，あいまいな危険事情に視線ベクトルが向いているとき，別の物体がドライバと危険事情との間にあってもよいように，危険事情はあいまいな状態で存在してもよい。あいまいな危険事情は，あいまいさの程度と，危険事情の振る舞いと，潜在的危険事情の程度とに応じて，認知された，認知されていない，又は十分に認知されていないという中間範ちゅうに分類してもよい。十分に認知されていない危険事情は観察期間が十分でない状態，すなわち視線が物体の上又は近傍のどこかに向いたが，当該物体を認識するために十分な空間的特徴を観察（静的「危険事情識別」認識）する前に，又は当該物体の振る舞いパターンを正しく予測するために十分な時間的特徴を経験（動的「動きモデル」構築／認識）する前に移動した状態を有することがある。
【００７７】
注意評価モジュールは，プロセッサと，メモリと，クロックと，入出力部品とを備えた計算機のような電子回路によって提供してもよい。同一の電子回路を感知器データ処理を行うために用いることもできる。
【００７８】
＜警告及び輸送手段の反応＞
いくつかの実施例において，ドライバに，認識していない危険事情のようなドライバにとって意外な状況を警告するために装置を用いることができる。例えばこれらの警告は，新たに現れた輸送手段，又は前の観察からは予測できない輸送手段の振る舞いに関する警告を含んでもよい。装置は，認識していない危険事情に関して選択的に警告を行う危険事情警報器を備えてもよい。
【００７９】
危険事情が検出された後，ビープ音のような可聴警告をドライバに与えてもよい。いくつかの実施例において，輸送手段の意図は，例えば経路計画によって予め定められ，危険な状態を避けるために人間の入力を自動制御が無視してもよい。例えば，輸送手段は，自動走行制御システムに用いられるものと同一の方法で減速又は加速してもよい。いくつかの実施例において，このような自動化システムに用いられる感知器は，本発明の実施例の環境モデルを決定するために用いてもよい。
【００８０】
本発明の実施例の利点は警告の減少を含み，したがって不必要な警告でドライバを圧倒することが避けられる。ドライバが外部の危険事情に気付いていることが分かったときは，警告を出す必要はない（いくつかの実施例において，危険事情が特にひどい場合以外は）。例えばドライバが危険事情の方向を見ていなかったとき，又は例えば危険事情が新たに環境に現れたとき，又は環境内の最近の変化がまだ観察されていない潜在的危険状況を起こしたときなど，警告が真に有用になることをシステムが判定したときだけ与えられる。
【００８１】
いくつかの実施例において，システムは計器のような輸送手段のシステムによって出された警告をドライバが認知したかを監視してもよい。例えばシステムはドライバが速度計を見たかどうかを判定して，輸送手段速度が局所速度制限を越えたとき，警告してもよい。しかし，ドライバが現在の速度に気付いており，この情報を無視したことが分かったときは，警告はされない。
【００８２】
いくつかの実施例において，例えば輸送手段感知器システムが新たに現れた輸送手段又はほかの極めて危険な状況を検出し，ドライバ監視が，ドライバがその危険な状況に気付いていないことを示したとき，非常ブレーキ又は回避制御の操縦を輸送手段制御に入力してもよい。
【００８３】
＜ドライバ記憶モデル＞
任意選択で，ドライバ記憶のモデルを用いてドライバの認知を判定してもよい。例えば，ドライバ記憶モデルは，視線パターンと，認知に必要な最小凝視時間と，記憶保持時間，記憶容量（例えば，ドライバが同時に短期記憶に保持できる危険事情の最大数のようなパラメータを含む）と，適切なほかのパラメータと，に関する状況認知のモデルを含んでもよい。
【００８４】
いくつかの実施例において，ドライバ記憶のモデルと，コンピュータビジョンシステム内で用いられる視線追跡パラメータのようなほかのパラメータとを，１又は複数のドライバに対応する記憶されたデータ集合から選択してもよい。例えば，システムがドライバの正体を認識してよいし，ドライバがそのような識別情報及びデータベースから取得した対応データを入力してもよい。
【００８５】
本発明の実施例は，例えばドライバが差し迫った障害物のような危険事情を見たかどうかを分析することによって，ドライバの知識の状態を追跡する装置及び方法を含む。例えばドライバは，注意散漫（例えば，携帯電話機の使用，ほかの乗客との会話，又は輸送手段の近くの注意を引く標識の存在），無力（例えば疲労），いくつかのほかの注意を払うことの不履行，又はある場合には一時的過失によって，１又は複数の危険事情に気付かないことがある。本発明の実施例は認知欠如の原因にかかわらず，有用な警告を与えることができる。輸送手段の環境感知器は，ほかの輸送手段，歩行者又はほかの危険事情を検出して，感知された外界と，車内感知器のようなドライバ監視器によって測定されたとおりの，ドライバが何を見ていたかの最近の履歴とを比較することができる。
【００８６】
例えば，システムがドライバは危険事情に気付いていないと判定したとき，システムはドライバに警告し，実時間で安全軌道（ｓａｆｅ ｔｒａｊｅｃｔｏｒｉｅｓ）を計画及び実行することができる。このような反応は必ずしも所定の反応ではないが，ドライバの認知欠如が推測されるときは迅速に（例えば５０ｍｓ未満）で計算することができる。
【００８７】
本発明の実施例は追加の機能，例えば，視線軌跡，ほかのドライバの振る舞い，又は観察された危険事情に対するドライバの反応，のパラメータからドライバの疲労又はめいてい（酩酊）を検出する機能を有してもよい。しかし，ドライバの疲労又はめいていを検出する通常の方法とは異なり，本発明の実施例は，ドライバが十分能力があるが過失又は不可避の状況によって危険事情（例えば，前にドライバから隠ぺいされた場所から輸送手段環境に入った輸送手段）に気付いていないときであっても，有用な警告を行うことができる。ドライバが疲労又はめいていしていないが，（何らかの理由で）ドライバの環境内の何かに気付いていないときであっても危険事情は生じることがあり，本発明の実施例はこのような場合においても適切な警告を与えることができる。
【００８８】
本発明の実施例は，ドライバ認知監視と車外環境感知とを組み合わせて，ドライバに対する改良された警告及び任意選択で衝突を避けるための輸送手段制御入力を提供する。
【００８９】
本発明の実施例は，認知されていない危険事情が輸送手段環境のどこにあっても，通常の死角検出器に対する多大な改善になる。いずれにしろ，ドライバの状態（例えば，通常の姿勢及び十分な認知，携帯電話機での通話中，何かを取ろうとして体を曲げている）に応じて，ドライバにとっての真の死角は，輸送手段の屋根支柱によって生じる通常の死角構成とは異なることがある。外部感知器は環境内の多くの，ほとんどの又はすべての物体を追跡し，どの物体が危険事情かを判定し，ドライバの視線軌跡及び物体の振る舞いに基づいて，ドライバが各危険事情に気付いているか否かを動的に追跡することができる。
【００９０】
本発明は上述の例示に制限されるものではない。上述の実施例は本発明の範囲を制限するものではない。本発明の範囲は，本願請求項の範囲によって規定される。
【特許請求の範囲】
【請求項１】
輸送手段の安全運転を補助する装置であって，
前記輸送手段は輸送手段環境を有し，前記装置は，
前記輸送手段環境内の危険事情を検出し，危険事情データを供給できる環境感知器システムと，
視線軌跡を含むドライバ認知データを供給できるドライバ監視器と，
前記危険事情データと前記視線軌跡とを比較することによって，認知された危険事情と認知されていない危険事情とを特定する注意評価モジュールと，を備え，
前記注意評価モジュールは前記認知されていない危険事情に関する警告信号を供給する，装置。
【請求項２】
前記警告信号を受信したとき，警告を発する危険事情警報器を更に備える請求項１に記載の装置。
【請求項３】
前記危険事情データは危険事情位置データを含み，
認知されていない危険事情は，前記視線軌跡から所定の距離外の危険事情位置にある，請求項１に記載の装置。
【請求項４】
前記所定の距離は前記視線軌跡からの所定の角距離である，請求項３に記載の装置。
【請求項５】
前記危険事情位置データは第１所定時間期間の危険事情位置に対応し，
前記ドライバ認知データは第２所定時間期間のドライバ認知に対応し，
前記第１及び第２所定時間期間はそれぞれ，約０．０１秒と約０．１秒との間の期間を有する，請求項３に記載の装置。
【請求項６】
前記ドライバ認知データは凝視時間データを更に含み，
少なくともいくつかの危険事情は認知された危険事情として特定されるために十分な凝視時間を必要とする，請求項１に記載の装置。
【請求項７】
前記環境感知器システムはレーダ感知器を含む，請求項１に記載の装置。
【請求項８】
前記危険事情は前記輸送手段環境内のほかの輸送手段を含む，請求項１に記載の装置。
【請求項９】
前記ドライバ監視器は，
画像データを供給する少なくとも一つの画像感知器と，
前記画像データから視線方向を判定できる処理モジュールと，
を含む，請求項１に記載の装置。
【請求項１０】
認知されていない危険事情に反応して輸送手段の運転を調整することができる輸送手段制御モジュールを更に備える請求項１に記載の装置。
【請求項１１】
前記注意評価モジュールはプロセッサを備えた電子回路を含み，
前記プロセッサは危険事情位置データと前記視線軌跡とを比較するアルゴリズムを実行でき，
前記電子回路はさらにドライバ記憶のモデルを用いてドライバ認知を推定できる，請求項１に記載の装置。
【請求項１２】
輸送手段の安全運転を補助する装置であって，
前記輸送手段は輸送手段環境を有し，前記装置は，
前記輸送手段環境内の危険事情を検出し，危険事情データを供給できる環境感知器システムであって，
前記危険事情データは危険事情位置データを含み，
前記危険事情は前記輸送手段環境内のほかの輸送手段を含む，環境感知器システムと，
視線追跡器を含み，視線軌跡を含む視線軌跡データを供給するドライバ監視器と，
前記危険事情データ及び前記視線軌跡データを受信し，前記危険事情位置と前記視線軌跡とを比較することによって，認知されていない危険事情を特定できる注意評価モジュールと，
前記認知されていない危険事情に関してドライバに警告する危険事情警報器と，
を備える装置。
【請求項１３】
前記環境感知器システムは前記輸送手段によって支持されるレーダ感知器を含み，
前記ドライバ監視器は前記ドライバに関する画像から視線軌跡を判定できるコンピュータビジョンシステムを含み，
前記輸送手段は陸上輸送手段である，請求項１２に記載の装置。
【請求項１４】
前記注意評価モジュールは，所定の時間期間に記危険位置と前記視線軌跡とを比較することによって，認知された危険事情と認知されていない危険事情とを識別し，
認知された危険事情は前記所定の時間期間に前記視線軌跡から所定の距離内にあり，
前記所定の距離は所定の分離角である，請求項１２に記載の装置。
【請求項１５】
前記視線軌跡データは前記ドライバに関する凝視データを含み，
前記注意評価モジュールは，前記危険事情位置と前記凝視データとを比較することによって，認知されていない危険事情を特定できる，請求項１２に記載の装置。
【請求項１６】
ドライバによる輸送手段の安全運転を補助する方法であって，
危険事情データを取得するために，前記輸送手段によって支持される環境感知器を用いて輸送手段環境を監視するステップと，
視線方向データを含むドライバ認知データを取得するために，前記ドライバを監視するステップと，
認知されていない危険事情を特定するために，前記危険事情データと前記ドライバ認知データとを比較するステップと，
前記認知されていない危険事情に関して，前記ドライバに警告するステップと，
を有する方法。
【請求項１７】
前記視線方向データは所定時間期間の視線軌跡を含み，
前記視線軌跡は前記所定時間期間に認知された危険事情に固着する，請求項１６に記載の方法。
【請求項１８】
前記視線方向データは凝視データを含み，
前記方法は，前記危険事情位置データと凝視データとを比較して，認知されていない危険事情を特定するステップを含む，請求項１６に記載の方法。
【請求項１】
輸送手段の安全運転を補助する装置であって，
前記輸送手段は輸送手段環境を有し，前記装置は，
前記輸送手段環境内の危険事情を検出し，危険事情データを供給できる環境感知器システムと，
視線軌跡を含むドライバ認知データを供給できるドライバ監視器と，
前記危険事情データと前記視線軌跡とを比較することによって，認知された危険事情と認知されていない危険事情とを特定する注意評価モジュールと，を備え，
前記注意評価モジュールは前記認知されていない危険事情に関する警告信号を供給する，装置。
【請求項２】
前記警告信号を受信したとき，警告を発する危険事情警報器を更に備える請求項１に記載の装置。
【請求項３】
前記危険事情データは危険事情位置データを含み，
認知されていない危険事情は，前記視線軌跡から所定の距離外の危険事情位置にある，請求項１に記載の装置。
【請求項４】
前記所定の距離は前記視線軌跡からの所定の角距離である，請求項３に記載の装置。
【請求項５】
前記危険事情位置データは第１所定時間期間の危険事情位置に対応し，
前記ドライバ認知データは第２所定時間期間のドライバ認知に対応し，
前記第１及び第２所定時間期間はそれぞれ，約０．０１秒と約０．１秒との間の期間を有する，請求項３に記載の装置。
【請求項６】
前記ドライバ認知データは凝視時間データを更に含み，
少なくともいくつかの危険事情は認知された危険事情として特定されるために十分な凝視時間を必要とする，請求項１に記載の装置。
【請求項７】
前記環境感知器システムはレーダ感知器を含む，請求項１に記載の装置。
【請求項８】
前記危険事情は前記輸送手段環境内のほかの輸送手段を含む，請求項１に記載の装置。
【請求項９】
前記ドライバ監視器は，
画像データを供給する少なくとも一つの画像感知器と，
前記画像データから視線方向を判定できる処理モジュールと，
を含む，請求項１に記載の装置。
【請求項１０】
認知されていない危険事情に反応して輸送手段の運転を調整することができる輸送手段制御モジュールを更に備える請求項１に記載の装置。
【請求項１１】
前記注意評価モジュールはプロセッサを備えた電子回路を含み，
前記プロセッサは危険事情位置データと前記視線軌跡とを比較するアルゴリズムを実行でき，
前記電子回路はさらにドライバ記憶のモデルを用いてドライバ認知を推定できる，請求項１に記載の装置。
【請求項１２】
輸送手段の安全運転を補助する装置であって，
前記輸送手段は輸送手段環境を有し，前記装置は，
前記輸送手段環境内の危険事情を検出し，危険事情データを供給できる環境感知器システムであって，
前記危険事情データは危険事情位置データを含み，
前記危険事情は前記輸送手段環境内のほかの輸送手段を含む，環境感知器システムと，
視線追跡器を含み，視線軌跡を含む視線軌跡データを供給するドライバ監視器と，
前記危険事情データ及び前記視線軌跡データを受信し，前記危険事情位置と前記視線軌跡とを比較することによって，認知されていない危険事情を特定できる注意評価モジュールと，
前記認知されていない危険事情に関してドライバに警告する危険事情警報器と，
を備える装置。
【請求項１３】
前記環境感知器システムは前記輸送手段によって支持されるレーダ感知器を含み，
前記ドライバ監視器は前記ドライバに関する画像から視線軌跡を判定できるコンピュータビジョンシステムを含み，
前記輸送手段は陸上輸送手段である，請求項１２に記載の装置。
【請求項１４】
前記注意評価モジュールは，所定の時間期間に記危険位置と前記視線軌跡とを比較することによって，認知された危険事情と認知されていない危険事情とを識別し，
認知された危険事情は前記所定の時間期間に前記視線軌跡から所定の距離内にあり，
前記所定の距離は所定の分離角である，請求項１２に記載の装置。
【請求項１５】
前記視線軌跡データは前記ドライバに関する凝視データを含み，
前記注意評価モジュールは，前記危険事情位置と前記凝視データとを比較することによって，認知されていない危険事情を特定できる，請求項１２に記載の装置。
【請求項１６】
ドライバによる輸送手段の安全運転を補助する方法であって，
危険事情データを取得するために，前記輸送手段によって支持される環境感知器を用いて輸送手段環境を監視するステップと，
視線方向データを含むドライバ認知データを取得するために，前記ドライバを監視するステップと，
認知されていない危険事情を特定するために，前記危険事情データと前記ドライバ認知データとを比較するステップと，
前記認知されていない危険事情に関して，前記ドライバに警告するステップと，
を有する方法。
【請求項１７】
前記視線方向データは所定時間期間の視線軌跡を含み，
前記視線軌跡は前記所定時間期間に認知された危険事情に固着する，請求項１６に記載の方法。
【請求項１８】
前記視線方向データは凝視データを含み，
前記方法は，前記危険事情位置データと凝視データとを比較して，認知されていない危険事情を特定するステップを含む，請求項１６に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【公表番号】特表２０１３−５１７５７５（Ｐ２０１３−５１７５７５Ａ）
【公表日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１２−５４９１２１（Ｐ２０１２−５４９１２１）
【出願日】平成２３年１月１４日（２０１１．１．１４）
【国際出願番号】ＰＣＴ／ＵＳ２０１１／０２１３３４
【国際公開番号】ＷＯ２０１１／０８８３４４
【国際公開日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（５０７３４２２６１）トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド (135)
【Ｆターム（参考）】
【公表日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１月１４日（２０１１．１．１４）
【国際出願番号】ＰＣＴ／ＵＳ２０１１／０２１３３４
【国際公開番号】ＷＯ２０１１／０８８３４４
【国際公開日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（５０７３４２２６１）トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド (135)
【Ｆターム（参考）】
[ Back to top ]