乗り物の操作者の視覚的入力

【課題】交通状況またはシーンに対する乗り物の操作者の注意またはそこからの視覚的入力の改善をする。
【解決手段】乗り物の操作者の周囲環境内にある物体についての前記操作者の視覚的入力を決定する方法であって、少なくとも１つの物体の位置を示す物体位置信号を受信するステップと、前記操作者の身体の動きに関係する情報を包含する生理学的データを示す操作者移動入力信号を受信するステップと、操作者の凝視方向の見積もりを行なうステップと、前記物体位置信号および前記見積もりによる操作者の凝視方向に基づいて前記操作者によって受け取られる前記少なくとも１つの物体の視覚的入力のレベルを表わす視覚的入力品質値を決定するステップと、を包含する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、乗り物の操作者の周囲環境内にある物体についての当該操作者の視覚的入力、または操作者の視野ゾーンもしくは当該ゾーン内において発生している事象についての操作者の視覚的入力を決定するための方法に関する。本発明はまた、乗り物の操作者の周囲環境内にある物体についての当該操作者の視覚的入力を決定するための、対応するシステムおよびコンピュータ・プログラム・プロダクトを具体化するためのコンピュータ可読媒体にも関係する。さらにまた本発明は、乗り物の操作者の操作者凝視方向の見積もりを行なうための方法およびシステムにも関係する。
【背景技術】
【０００２】
交通事故は、しばしば、乗り物の操作者すなわち運転者が周囲の交通状況に気付いていないことに起因して発生する。たとえば、注意散漫な運転はよく知られた交通安全上の問題であり、たとえばすべての道路上の乗り物事故のうちの多くが運転者の注意散漫との掛かり合いがあると見積もられている。
【０００３】
操作者が周囲の交通状況に気付いていないことによって発生する事故を防止するために、操作者に警告メッセージを提供して周囲の交通状況に対する操作者の注意を回復させることが可能である。しかしながら、操作者が周囲の交通状況に気付いている状況においては、その種の警告システムが操作者に対する情報の過負荷を生じさせる可能性があり、かつ警告に関して操作者が有している信頼性のレベルを減ずる可能性があることから、警告システムが状況によって警告しないこともまた非常に重要である。たとえば、運転の間における操作者の目の動きを監視するための視標追跡デバイスが可能である。しかしながら、凝視方向は監視が困難であり、しばしば視標追跡を失う。
【０００４】
したがって、操作者の視覚的入力に基づいて乗り物の操作の間における乗り物の操作者の周囲環境についての操作者の注意および／または意識性の改善されたリアルタイム乗り物内見積もりを提供するシステムおよび方法が必要とされている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、交通状況またはシーンに対する乗り物の操作者の注意またはそこからの視覚的入力の改善された見積もりの可能性を与えるシステムおよび方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、乗り物の操作者の周囲環境内にある物体についての当該操作者の視覚的入力を決定するための方法によって上記の目的を満たすことができ、当該方法は、操作者の周囲環境内にある少なくとも１つの物体の位置を示す物体位置信号を受信するステップと、乗り物の操作者の目、顔、頭、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを示す操作者移動入力信号を受信するステップと、操作者移動入力信号に基づいて操作者の凝視方向の見積もりを行なうステップと、物体位置信号および見積もりによる操作者の凝視方向に基づいて操作者によって受け取られる少なくとも１つの物体の視覚的入力のレベルを表わす視覚的入力品質値を決定するステップと、を包含する。
【０００７】
本発明の第２の態様によれば、乗り物の操作者の周囲環境内にある物体についての当該操作者の視覚的入力を決定するためのシステムによって上記の目的を満たすことができ、当該システムはコントロール手段を包含し、それにおいてコントロール手段は、操作者の周囲環境内にある少なくとも１つの物体の位置を示す物体位置信号を受信するべく構成された第１の入力と、乗り物の操作者の目、顔、頭、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを示す操作者移動入力信号を受信するべく構成された第２の入力と、を包含し、それにおいてコントロール手段は、操作者移動入力信号に基づいて操作者の凝視方向の見積もりを行なうべく構成され、かつ物体位置信号および見積もりによる操作者の凝視方向に基づいて操作者によって受け取られる少なくとも１つの物体の視覚的入力のレベルを表わす視覚的入力品質値を決定するべく構成される。
【０００８】
本発明は、物体についての乗り物の操作者の注意は、操作者の凝視方向を見積もるための操作者の身体の動きの監視、および運転者の周囲にある物体またはゾーンに関連付けされた運転者の注意のレベル、すなわち視覚的入力品質値を決定するためのこの見積もりによる凝視方向の使用によって、改善された態様で都合よく見積もることができるという理解に基づく。言い換えると本発明による方法およびシステムは、操作者の凝視方向を見積もり、このデータを特定の物体／ゾーンに関してマップすることによって、物体ごと、またはゾーンごとにセグメント化された時々刻々の視覚的入力の見積もりの可能性を与える。
【０００９】
さらにまた、本発明による方法およびシステムは、操作者の目による物体の直接固視により操作者によって知覚されている物体についての、および操作者による周辺視入力によって知覚されている物体についての視覚的入力品質値の決定の可能性を与える。
【００１０】
たとえば、複数の個別の交通物体またはゾーンについて操作者が受け取っている量または視覚的入力の時々刻々の見積もりを表わすために、視覚的入力品質値を都合よく使用することができる。視覚的入力品質値は、たとえば、ゼロまたは１の間の数として定量化することができ、それにおいてゼロは、操作者が現在、物体／ゾーンを見ていないことを示し、値１は、特定のゾーン内の物体またはその中で生じている事象の位置、動き、速度、および／またはそれの微分についての正しい理解を最大限にすばやく獲得するために操作者が物体／ゾーンの視覚的入力を充分に受け取っていることを示す。
【００１１】
物体またはゾーンについての視覚的入力品質値は、さらに、乗り物のほかのシステムならびにサブシステムへ提供して、たとえば操作者に対する警告の発行のために使用することができる。さらにまた、衝突警告、車線維持補助といった乗り物の操作者のための高度な運転者補助システムが、操作者の周囲環境内の交通シーンまたは物体に関して運転者に最良の影響を与える方法または補助する方法を決定するために、物体またはゾーンに関連付けされた視覚的入力品質値を受け取ることができる。視覚的入力品質値は、操作者の注意散漫レベルを評価するため、および、たとえば情報の過負荷を回避するために、乗り物内情報システムによっても使用することができる。
【００１２】
視覚的に入力される物体は、たとえば、乗り物、歩行者、道路の車線、動物、車線のマーク、道路の縁、交通標識等々とすることができる。物体は、乗り物に関する内部または外部の任意的なゾーンを表わすこともできる。
【００１３】
本発明を使用することによって、操作者移動入力信号が、操作者の頭および／または上体の動き、たとえば方向および動きの速度ならびにそれの微分を示すことができ、それにおいては操作者の凝視が、操作者移動入力信号に基づいて見積もられる。したがって、たとえば視標追跡デバイスからの直接的な操作者の凝視方向データを用いることなく、操作者の凝視方向を決定することができる。
【００１４】
たとえば、視標追跡デバイスからの凝視方向データが失われているか、またはそれが消勢されているときに見積もりによる凝視方向を使用することができる。しかしながら見積もりによる凝視方向は、たとえば高い詳細度の凝視方向の見積もりを提供する視標追跡デバイスからの凝視方向データに基づくこともできる。
【００１５】
例示的な実施態様によれば、方法および／またはシステムが、さらに、操作者の目による物体の固視の確率を示す期待される固視の確率の見積もりを包含し、それにおいて視覚的入力品質値を決定するステップは、さらにこの期待される固視の確率に基づく。固視の確率は、異なる物体のタイプの分類の可能性を与える。たとえば、道路の車線マークには低い固視の確率が割り当てられ、歩行者等の人には、高い固視の確率が割り当てられるようにできる。それによって異なる物体についての視覚的入力品質値の見積もりは、固視の確率に応じて異なる見積もりプロセスに基づくことができる。たとえば、物体のサイズに基づいて固視の確率を決定することができる。
【００１６】
例示的な実施態様によれば、見積もりによる操作者の凝視方向が、操作者の異なる凝視方向についての確率を示す総合的な凝視分布を包含する。したがって、操作者の凝視方向は、操作者の視野全体にわたる確率分布として提供される。たとえば操作者の完全な視野は、視覚マトリクス等の適切な座標系における点の集合に定量化され、それにおいて各点には、総合的な凝視分布に従って確率値が割り当てられる。
【００１７】
例示的な実施態様によれば、方法および／またはシステムが、さらに、物体に関連付けされた物体エリアの決定を包含し、当該物体エリアは、操作者によって知覚されるところの物体の物体エリアを示し、それにおいて視覚的入力品質値を決定するステップは、さらにこの物体エリアに基づく。それによって、操作者の周囲の交通状況の中にある物体が、操作者の視覚的配景に都合よくマップされる。したがって、物体の視覚的入力品質値を、その物体の物体エリアとの関係において操作者の凝視方向を評価することによって、決定することができる。
【００１８】
例示的な実施態様によれば、視覚的入力品質値を決定するステップが、中心の凝視方向との関係において操作者の片眼または両眼の視力レベルを示す視力分布を決定するステップを包含し、それにおいて視覚的入力品質値を決定するステップは、さらにこの視力分布に基づく。視力分布を利用することによって、物体の視覚的入力品質値が、物体が操作者の目によって固視されているか否か、あるいはどちらかというと操作者の周辺視入力によって知覚されているか否かに基づいて好都合に決定できる。視力分布は、操作者の目の鋭い中央視を担う中心窩部分に関連付けされる視力のピーク値を示す中心点を定義し、それにおいて視力値レベルは、操作者の周辺視が増加する方向に向かって、すなわち中心点からの距離の増加に従って減少する。たとえば、現在の、あるいは見積もりによる操作者の凝視方向にピークを有するガウス関数として定義される視力分布を使用することができる。
【００１９】
例示的な実施態様によれば、視覚的入力品質値を決定するステップが、物体エリアにわたって総合的な凝視分布に関する視力分布の積分を行なうことを包含する。それにより視覚的入力品質パラメータが、物体エリア内におけるすべての可能性のある凝視方向についての総合的な凝視分布を用いた視力分布の重み付けを行なうことによって決定される。
【００２０】
例示的な実施態様によれば、視覚的入力品質値を決定するステップが、物体エリア内における視力分布と総合的な凝視分布の畳み込みを包含する。たとえば、視覚的入力品質値を、畳み込み後の物体エリア内の視力分布と総合的な凝視方向分布の最大値として決定することができる。凝視方向分布および視力分布が、それぞれのガウス分布によって表わされる場合には、畳み込みが、既知の場所および広がりを伴った別のガウス分布を出力することになり、それにおいて出力されたガウス分布、または物体エリアに関するそれの場所、および／または平均値および標準偏差が、その物体の視覚的入力品質値を表わす。
【００２１】
例示的な実施態様によれば、方法および／またはシステムが、さらに、物体に関連付けされた重要点パラメータ値の決定を包含し、それにおいて重要点パラメータは、視覚的な注意を引く確率を示す。したがって、視覚的入力品質値は、異なるタイプの視覚的な刺激に基づいて都合よく決定することができる。たとえば、突発的な光の発生等の迅速な遷移、迅速な動き、特定の色、または物体の高い視覚的コントラストは、操作者の視覚的注意を引くことがよりありがちである。特定の物体の視覚的入力品質値は、重要点パラメータ値によって、たとえば重み付けを行なうことができる。
【００２２】
例示的な実施態様によれば、物体エリア・パラメータ値は、操作者の主要な頭の向きに関する少なくとも１つのピッチおよび少なくとも１つのヨー座標値を包含する。たとえば、デカルト座標系における外部乗り物センサ・システムによって提供されたとおりの周囲の交通状況を、２次元のピッチ／ヨー座標系に変換することができる。さらにまた、このピッチ／ヨー座標系は、ピッチおよびヨー方向における操作者の頭の動きとともに移動させることができる。
【００２３】
例示的な実施態様によれば、物体エリア・パラメータ値は、物体のエリアを示す概略で矩形を表わす。たとえば、この矩形の幅は、操作者によって知覚されるところの物体の２つのもっとも広いポイント間距離によって近似され、かつ外部乗り物センサ・システムによって提供される物体位置信号から演繹することができる。矩形の高さは、操作者によって知覚されるところの物体の垂直方向におけるもっとも高いポイントと、もっとも低いポイントの間の距離によって近似される。
【００２４】
例示的な実施態様によれば、方法および／またはシステムが、さらに、第１の凝視方向の推測の決定を包含し、それにおいて総合的な凝視分布は、第１の凝視方向の推測に基づき、この推測は、操作者の凝視方向がねらいを定めているところを示す。たとえば、この推測は、操作者の容易に検出可能な頭または身体の動きに基づいて操作者の凝視方向を指定することができる。
【００２５】
例示的な実施態様によれば、方法および／またはシステムが、さらに、第２の、または複数の凝視方向の推測の決定、および第１および第２の、または複数の凝視方向の推測を組み合わせることによる総合的な凝視分布の決定を包含する。これは、１つの総合的な凝視分布を出力するために２つまたはそれより多くの異なる凝視方向の推測の査定および評価が同時にできることから有利である。
【００２６】
たとえば、例示的な実施態様によれば、操作者の凝視方向の見積もりを行なうステップが、操作者のサッケード運動を示す操作者の身体の動きの検出、および検出された操作者の身体の動きに基づいたサッケード凝視分布の見積もりを包含する。
【００２７】
したがって、例示的な推測によれば、すばやい頭の動きといった操作者の身体の動きが検出され、すばやい頭の動きは見積もりによる凝視方向に向かう頭と目の組み合わせサッケードを示すものであると決定され、それにおいてはその凝視方向に基づいてサッケードの凝視分布が見積もられる。
【００２８】
例示的な実施態様によれば、操作者の凝視方向の見積もりを行なうステップが、さらに、サッケードの凝視分布に関連付けされる凝視時間値の決定を包含し、それにおいて総合的な凝視分布が、サッケードの凝視分布および凝視時間値に基づいて決定される。凝視時間値は、どのくらい長い時間にわたって、またはどの範囲に対して、凝視方向の推測に関連付けされる凝視分布が真となることがありそうであるかを決定することによって総合的な凝視分布を見積もるために都合よく使用できる。さらに凝視時間値は、異なる凝視方向の推測のための異なる開始時間に応じて、１つの凝視方向の推測の確率をほかの凝視方向の推測との関連において漸進的に低減させるために使用できる。たとえば、凝視時間値は推測に関連付けされた見積もりによる一瞥の存続時間に対応し、かつ、たとえばガンマ分布または指数分布に基づく減衰モデルに従って、たとえば表現することができる。たとえば、一瞥の存続時間の見積もり、または凝視の推測のもっとも最近の開始以降に目のサッケードが行なわれているか否かを、減衰モデルに従ってモデリングすることが可能である。一瞥の存続時間は、たとえばガンマ分布に従ってモデリングされ、それにおいては減衰前の存続時間が、もっとも一般的な存続時間に対応するピーク値を有する概略の正規確率分布に従う。さらにまた、概略の正規確率分布は、典型的な一瞥の存続時間分布と整合するべく当て嵌めることができ、それにおいては平均の一瞥持続／存続時間が、約０．５乃至４秒の長さ、または約１乃至２秒の長さである。
【００２９】
異なる凝視方向の推測についての確率は、時間を経て等しいレベルに近づくこともある。
【００３０】
例示的な実施態様によれば、操作者の凝視方向の見積もりを行なうステップが、さらに、道路進行方向の凝視分布の決定を包含し、それにおいて総合的な凝視分布が、凝視時間値に基づく道路進行方向の凝視分布を用いてサッケードの凝視分布の重み付けを行なうことによって決定される。したがって、各推測のために１つ、すなわち２つの別々の凝視方向または角度の見積もりが計算され、それにおいて各推測は、凝視分布によって表わされる。各分布は、たとえば、中心の凝視方向を示すピッチ／ヨー値およびピッチ／ヨー標準偏差によって表現することができる。
【００３１】
道路進行方向の凝視分布は、たとえば、操作者の凝視方向が特定時間の後に道路進行方向に戻るという推測に基づくことができる。たとえば、道路進行方向の凝視方向は、中心点または道路進行方向の遠点に関して１０度上および１０度下といった特定のピッチ方向、および２０度右および２０度左といった特定のヨー方向を伴った領域として定義することができる。
【００３２】
システムの例示的な実施態様によれば、コントロール手段が、さらに、物体に関連付けされた物体エリアを決定するべく構成され、当該物体エリアは、操作者によって知覚されるとおりの物体の物体エリアを示し、それにおいては品質値が物体エリアに基づいて決定される。
【００３３】
システムの例示的な実施態様によれば、コントロール手段が、中心の凝視方向との関係において操作者の目の視力レベルを示す視力分布を決定するべく構成され、それにおいて品質値は、この視力分布に基づいて決定される。
【００３４】
例示的な実施態様によれば、操作者の凝視方向の見積もりを行なうステップが、さらに、頭と目の組み合わせサッケード運動等の操作者のサッケード運動を示す検出された操作者の身体の動きが、操作者の凝視が道路進行方向に向かって指向されていることを示しているか否かの決定を包含する。また、例示的な実施態様によれば、操作者のサッケード運動を示す検出された操作者の身体の動きが、操作者の凝視が操作者の周囲環境内にある物体またはゾーンに向かって指向されていることを示しているか否かを決定することもできる。
【００３５】
たとえば例示的な実施態様によれば、操作者移動入力信号が、操作者を監視する画像センサを使用して生成される。
【００３６】
それに加えて例示的な実施態様によれば、センサ・システムを使用して物体位置信号が提供される。たとえばこのセンサ・システムは、カメラ、レーダ、ライダ、乗り物対乗り物通信デバイス、乗り物対インフラストラクチャ通信デバイス、および／またはインフラストラクチャ対乗り物通信デバイスを包含する。採用することができる通信デバイスの例は、ほかの乗り物、道路に沿って配置されるか、道路の脇に配置されるか、または道路内に組み込まれた基地局、または衛星等とすることができ、それらは、たとえば位置、速度、加速度、ヨー・レート等といった情報を送信するべく構成することができる。道路センサもまた、速度制限、道路の曲率、温度、道路の摩擦特性等の情報を提供することができる。
【００３７】
例示的な実施態様によれば、視覚品質パラメータ値のための信頼性の見積もりが、たとえば標準偏差を計算することによって、異なる物体またはゾーンについて決定される。たとえばデカルト座標において定義された周囲の物体／ゾーンに関するセンサからの信頼性の見積もりを、さらに、ピッチ／ヨーの信頼性の見積もりに変換することができる。
【００３８】
本発明の第３の態様、すなわち乗り物の操作者の乗り物の操作の間における凝視方向を決定するための方法に関する第３の態様によれば、当該方法が、乗り物の操作者の目、顔、頭、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを示す操作者移動入力信号を受信するステップと、操作者移動入力信号に基づいて操作者の凝視方向の見積もりを行なうステップと、を包含し、それにおいて操作者の凝視方向の見積もりが、第１の凝視方向の推測に基づく。
【００３９】
本発明のこの態様は、手前の本発明の態様に関係して上で述べたものと類似する利点を提供する。
【００４０】
第３の態様の例示的な実施態様によれば、それが第２の凝視方向の推測を決定するステップを包含し、それにおいて操作者の凝視方向の見積もりが、操作者の第１および第２の凝視方向の推測に基づく。たとえば操作者の凝視方向は、第１および第２の凝視方向の推測を、操作者の凝視方向を示す総合的な凝視方向の推測に結合することによって見積もられる。
【００４１】
さらにまた、追加の例示的な実施態様によれば、凝視の推測のそれぞれの１つが、その推測に対する操作者の異なる凝視方向についての確率を示す凝視分布によって表わされる。たとえば、第１の凝視の推測が第１の凝視分布によって表わされ、第２の凝視の推測が第２の凝視分布によって表わされるといった形になる。
【００４２】
さらに、操作者の凝視方向を、複数の凝視方向の推測に基づいて見積もることが企図されており、それにおいては各推測が、それぞれの凝視分布内において表わされるか、または具体化される。
【００４３】
さらにまた、例示的な実施態様によれば、この方法によって出力されることになる見積もりによる操作者の凝視方向が、第１および第２の、または複数の凝視分布の結合により提供される総合的な凝視方向分布によって表わされる。
【００４４】
例示的な実施態様によれば、サッケードの推測が企図できる。たとえば、この方法は、操作者のサッケード運動を示す操作者の身体の動きを検出するステップ、および検出された操作者の身体の動きに基づいてサッケード凝視分布の見積もりを行なうステップを包含する。たとえば、サッケード凝視分布は、第１の凝視分布を形成する。検出された操作者の身体の動きは、都合よく、操作者の目の凝視方向が変化するすばやい頭の動きおよびすばやい目の動きを伴う頭と目の組み合わせサッケードを操作者が行なったことを示す、すばやい頭の動きとすることができる。その種の頭と目の組み合わせサッケードについては、頭の動きおよび目の動きが相互に関係付けられる。したがって、検出された操作者の身体の動きは、たとえば、検出されたすばやい頭の動きに基づく凝視方向の見積もりに使用できる。
【００４５】
第３の態様の例示的な実施態様によれば、操作者の凝視方向の見積もりを行なうステップが、さらに、凝視方向の推測に関連付けされる凝視時間値の決定を包含し、それにおいて総合的な凝視方向分布が、第１および第２の、または複数の凝視の推測および凝視時間値に基づいて決定される。
【００４６】
第３の態様の追加の例示的な実施態様によれば、道路進行方向の推測が企図できる。たとえば、この方法は、第２の凝視分布を形成する道路進行方向の凝視分布の見積もりを行なうステップを包含することができる。この方法によれば、総合的な凝視方向分布を、さらに、第１および第２の、または複数の凝視分布および凝視時間値に基づいて決定できる。この時間値は、異なる分布の互いに関する重み付けを凝視時間値に基づいて行なうことによって、異なる分布を総合的な凝視方向分布に結合する可能性を与える。
【００４７】
さらに別の例示的な実施態様によれば、操作者移動入力信号および見積もりによる操作者の凝視方向を、たとえば一時的に追跡を失っている間における操作者の動きおよび凝視方向の位置算定のために利用できる。それに加えて、特定の状況については、たとえば特定の操作者の凝視方向の推測、または操作者の頭または身体のすばやい動きが生じており、センサ・データが一時的にのみ失われることが期待される間においては、位置算定の持続時間を延長することができる。
【００４８】
それに加えて、本発明の多様な例示的な実施態様によれば、それが、センサによって提供されるデータ信号内のノイズ・レベルの監視、およびセンサからの、たとえば標準偏差によって表わされる信頼性の見積もりを用いたノイズ・レベルの重み付けを包含する。操作者移動入力信号は、さらに、操作者の非現実的な、または非生理学的な挙動および動きの検出のために監視することができ、それにおいては信頼できないデータが破棄される。
【００４９】
例示的な実施態様によれば、コントロール手段が、乗り物内通信ネットワークを介して互いに、および乗り物内のほかのシステム、追加のコントロール・ユニット、および／またはセンサと通信するべく構成されたコントロール・ユニットおよび／またはサブコントロール・ユニットを包含する。それに加えて、異なる乗り物、インフラストラクチャ、およびほかのデバイスとの間の無線通信が企図できる。
【００５０】
さらにまた多様な実施態様によれば、コントロール手段が、マイクロプロセッサ、マイクロコントローラ、プログラマブル・デジタル信号プロセッサ、または別のプログラマブル・デバイスを包含できる。コントロール手段は、それに加えて、またはそれに代えて、特定用途向け集積回路、プログラマブル・ゲート・アレイまたはプログラマブル・アレイ・ロジック、プログラマブル・ロジック・デバイス、またはデジタル信号プロセッサも含むことができる。コントロール手段が、上で述べたマイクロプロセッサ、マイクロコントローラ、またはプログラマブル・デジタル信号プロセッサ等のプログラマブル・デバイスを含む場合には、さらにプロセッサが、プログラマブル・デバイスの動作をコントロールするコンピュータ実行可能コードを含むことができる。
【００５１】
本発明の別の態様によれば、乗り物の操作者の周囲環境内にある物体についての当該操作者の視覚的入力を決定するためのコンピュータ・プログラム・プロダクトを具体化するコンピュータ可読媒体が提供され、当該コンピュータ・プログラム・プロダクトは、プロセッサによって実行されたときに、操作者の周囲環境内にある少なくとも１つの物体の位置を示す物体位置信号を受信するべく構成されたコードと、乗り物の操作者の目、顔、頭、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを示す操作者移動入力信号を受信するべく構成されたコードと、操作者移動入力信号に基づいて操作者の凝視方向の見積もりを行なうべく構成されたコードと、物体位置信号および見積もりによる操作者の凝視方向に基づいて操作者によって受け取られる少なくとも１つの物体の視覚的入力のレベルを表わす視覚的入力品質値を決定するべく構成されたコードと、を包含する。このコンピュータ・プログラムは、さらに、多様な例示的な実施態様によれば、本発明による方法および／またはそれの実施態様に従って動作するべく構成されたコードを包含できる。
【００５２】
コンピュータ可読媒体は、リムーバブル不揮発性ランダム・アクセス・メモリ、ハード・ディスク・ドライブ、フロッピー（登録商標）ディスク、ＣＤ‐ＲＯＭ、ＤＶＤ‐ＲＯＭ、ＵＳＢメモリ、ＳＤメモリ・カード、またはこの分野で周知の類似のコンピュータ可読媒体のうちの１つとすることができる。
【００５３】
本発明のこのほかの特徴および利点については、付随する特許請求の範囲および以下の説明を考察するときに明らかなものとなるであろう。当業者は認識されるであろうが、本発明の種々の特徴を組み合わせて以下の説明とは別の実施態様を本発明の範囲からの逸脱なしに作り出すことができる。
【００５４】
次に本発明のこれらの、およびそのほかの態様について、本発明の例示的な実施態様を示している以下に列挙した添付図面を参照してより詳細に説明する。
【図面の簡単な説明】
【００５５】
【図１】外部センサが装備された乗り物およびそれの前端における座標系を示した斜視図である。
【図２】内部センサが装備された乗り物の内部の斜視図である。
【図３】乗り物の操作者の顔および頭の座標系を図解した図である。
【図４ａ】操作者の環境内に現われる物体の側面図、上面図、及び操作者の視野図である。
【図４ｂ】操作者の環境内に現われる物体の側面図、上面図、及び操作者の視野図である。
【図４ｃ】操作者の環境内に現われる物体の側面図、上面図、及び操作者の視野図である。
【図５】どのような形で乗り物の前方および内側のゾーンが定義できるかについての例を図解した説明図である。
【図６】本発明によるシステムの実施態様を略図的に図解した説明図である。
【図７】本発明による方法の実施態様を概念的に図解したフローチャートである。
【図８】操作の間における乗り物の進行方向についての操作者の見ている眺めを略図的に図解した説明図である。
【図９】凝視分布によって表わされる見積もりによる操作者の凝視方向を略図的に図解したプロットである。
【図１０】操作の間における乗り物の進行方向についての操作者の見ている眺めを略図的に図解した説明図である。
【発明を実施するための形態】
【００５６】
以下、本発明の例示的な実施態様が示されている添付図面を参照して本発明をより詳細に説明する。しかしながら、本発明は、多くの異なる形で具体化されることを許容し、ここに示されている実施態様に限定されると解釈されるべきでなく、むしろこれらの実施態様は、詳細および完全性のために提供されている。全体を通じて類似した要素の参照には類似した参照文字を用いる。
【００５７】
以下においては、乗り物の操作者の視覚的入力品質の見積もりを向上させるためのシステムを参照して本発明が説明されている。乗り物には、乗り物の操作者の情報を引き出すための内部センサ（１つまたは複数）、および乗り物の操作をはじめ、乗り物の周囲環境の情報を引き出すための外部センサ（１つまたは複数）が好ましく装備される。より良好な理解に資するために、ここで図１乃至３を参照して内部センサおよび外部センサを説明する。
【００５８】
図１は、例示的な乗り物を図解しており、ここではそれを自動車１００とするが、それに本発明によるシステムを組み込むことができる。自動車１００には、追い越し、乗り物の速度、乗り物のヨー・レート等々といった乗り物の操作、および物体、ゾーン、乗り物の周囲環境、たとえば車線のマーク、道路のマーク、道路の湾曲、周囲の乗り物等々を検出するべく配される外部センサ１０４が提供される。外部センサ１０４は、たとえばカメラまたはレーダ・センサとすることができる。カメラが物体の高さおよび幅の決定時に高精度を提供する一方、レーダ・センサが物体までの距離の決定時に高精度を提供することから、好ましくは、カメラおよびレーダ・センサの組み合わせが使用されるとすることができる。これによって、周囲の物体のサイズ、位置、速度等を決定することが可能になる。自動車１００の位置に関して言えば、ここではデカルト座標系として図解されている座標系１０２が自動車１００の前端に置かれる。座標系１０２は、乗り物に追従するべく構成され、軸は、長さ方向（ｘ軸）、横方向（ｙ軸）、および垂直方向（ｚ軸）をそれぞれ表わす。検出される物体は、自動車１００の座標系１０２に関連して乗り物のシステムに、自動車１００と相対的なその物体のサイズおよび位置をシステムが決定することが可能となるように提供される。たとえばこのシステムに、異なるセンサ１０４から物体のデータを連続的に提供することができる。したがって、周囲の交通環境の速度および加速度を決定することも可能である。
【００５９】
図２は、乗り物の操作者２０２を含む自動車１００の内部を図解しており、それにおいては、乗り物１００に、ここではカメラ・システム２０４として図解されている内部センサが装備される。カメラ・システム２０４は、乗り物の操作の間における乗り物の操作者２０２の挙動の測定および検出を行なうべく配されており、かつ乗り物の操作者の目、顔、頭、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを示す操作者移動入力信号を生成するべく構成できる。
【００６０】
さらにまた、カメラ・システム２０４は、操作者の顔、頭、または上体のあらかじめ決定済みの数の位置に焦点を合わせるべく配することができる。これらの位置は、たとえば、目、まぶた、眉、鼻、口、頬、首、肩、腕等々とすることができる。カメラ・システム２０４は、その自動車を通常操作する特定の操作者２０２のためにあらかじめ較正すること、または自動車１００の運転席に操作者２０２が入る都度較正することができる。カメラ・システム２０４が操作者の顔または頭の種々の位置を検出すると、カメラ・システム２０４が顔の挙動を見積もることが可能になる。したがって、カメラ・システム２０４は、たとえば頭および目の方向ならびに動き、およびそれらの微分、頭の姿勢、目のサッケード、頭と目の組み合わせサッケード、閉瞼、および閉瞼の速度等を検出することができる。
【００６１】
またカメラ・システム２０４は、操作者の顔３０４に関連して座標系３０２を使用することによって、たとえば図３に図解されているとおりの操作者に中心が置かれるピッチ／ヨー座標系を使用することによって、操作者の頭または目が右または左に回転（ヨー）３０５しているか否か、上または下に回転（ピッチ）３０６しているか否か、あるいは頭の動きであれば、右または左の肩に向かって傾斜（ロール）３０７しているか否かを検出することもできる。顔３０４の座標系３０２は、好ましくは極座標系とし、それの原点が操作者の目の間に位置決めされる。
【００６２】
さらにまた内部センサは、カメラ・システム２０４に代えて、またはそれに追加して別のタイプの操作者検出手段を含むこともできる。これはたとえば、ステアリング挙動を検出するためのステアリング・ホイール・センサ、一貫性のない自動車１００の加速および／または制動を検出するためのアクセル・ペダルおよび／またはブレーキ・ペダルにおけるセンサ、たとえばインフォテイメント・システムの多様な機能のいずれかを操作者２０２が調整しているか否かといったことを検出する自動車１００の多様なボタンにおけるセンサを含むことができる。さらに別の内部センサを、操作者の意識性の状態を監視するための呼吸分析センサまたは瞳サイズ・センサとすることができる。
【００６３】
乗り物の環境内の各物体は、ターゲット・コーナ・ポイントを伴う３Ｄボックスによって近似される。物体についての入力データは、物体ごとに次に示す形式で受信される。各物体またはゾーンのためのデータは、乗り物ベースのデカルト座標系を使用して記述され、ＸおよびＹ方向における４つのコーナのそれぞれについてのコーナ位置（標準偏差の見積もりを含む）、Ｚ方向における物体の高さ（標準偏差の見積もりを含む）、物体の速度、および物体の加速度を含む。
【００６４】
物体と操作者の視野を整合させるために、操作者の周囲の実際の３Ｄ世界が、図４ａ乃至ｃにそれぞれ示されているとおり、３つの図、すなわち側面図、上面図、および操作者の視野に分割される。図４ｃには、道路１０００、トラック１００１、自動車１００２、歩行者１００３、および車線マーク１００４を包含する操作者の視野が図解されている。側面図および上面図は、操作者の視野から見えるとおりの環境の記述に到達するべく別々に描画される。側面図および上面図においては、周囲の物体の位置が、乗り物ベースのデカルト座標系を用いて記述されている。この情報と操作者の頭から乗り物ベースの座標系の原点までの距離が組み合わされて、操作者の頭ベースの極座標系における目標に対するヨー角およびピッチ角が計算される。
【００６５】
ヨー（φ）角およびピッチ（θ）角の計算は、次に示す式を用いて行なわれる。
【００６６】
【数１】

【００６７】
これらの式において、ｘ_{ｎ，ｏｂｊ}およびｙ_{ｎ，ｏｂｊ}は、それぞれＸおよびＹ方向における物体のコーナｎまでの距離であり、ｘ_ＤＭＣ、ｙ_ＤＭＣ、およびｚ_ＤＭＣは、乗り物の座標系の原点からそれぞれの方向において操作者を監視するセンサまでの距離であり、ｘ_ｈｅａｄ、ｙ_ｈｅａｄ、およびｚ_ｈｅａｄは、操作者の頭からそれぞれの方向において操作者を監視するセンサまでの距離である。
【００６８】
【数２】

【００６９】
これにおいて、ｒ_{ｎ，ｏｂｊ}＝√（ｘ_{ｎ，ｏｂｊ}^２＋ｙ_{ｎ，ｏｂｊ}^２）は、物体のコーナｎまでの距離であり、ｈ_ｏｂｊは物体の高さである。
【００７０】
簡明のため、図４ａおよびｂには、１つの物体についてだけ、すなわちトラック１００１についてだけこれが図解されている。しかしながら、乗り物の周囲環境内にある各物体、たとえば車線マーク１００４、乗り物、歩行者１００３等々についても同じ計算が使用される。
【００７１】
さらにまた、図４ｃにはトラック１００１の物体エリア１００５が図解されているが、この物体エリアは、操作者の視野内において近似されるトラック１００１に対応するエリアを形成し、それにおいて物体エリアは、運転者に中心が置かれるピッチ／ヨー座標系を用いて表わされる。物体エリアは、矩形エリアによって都合よく表わされる。しかしながら物体エリアは、矩形エリアに限定されない。操作者によって知覚されるとおりの物体の実際の形状に対応するより正確な物体エリアを、本発明によるシステムおよび方法の実施態様内において使用することもできる。
【００７２】
図４ｂにトラック１００１の物体エリアのコーナ・ポイント２を参照して図解されているとおり、コーナ・ポイントの位置は、外部センサ・システムからの信号に基づく信頼区間を決定することによって近似できる。信頼区間は、ＸおよびＹ方向において示されているが、同様にＺ方向においても企図できる。またコーナ・ポイントについての信頼区間は、ヨー（φ）およびピッチ（θ）を包含する運転者の頭ベースの極座標系を使用して表わすこともできる。さらにまた、この方法は、物体の位置を決定するために、物体のコーナ・ポイントの分散の計算の使用を包含することができる。たとえば、分散の値の増加は、視覚的入力品質値の決定に占めることができる物体の位置の不確定性の増加を含意する。
【００７３】
ゾーンが、乗り物の周囲または内側にある任意のそのほかの物体と同様に２Ｄまたは３Ｄ物体として定義され、かつ見積もられる。図５は、どのような形で乗り物の前方および内側のゾーンが定義できるかについての例を示している。しかしながら、図においては視覚化の簡明のために単に２Ｄ物体（Ｘ成分なし）だけが示されている。図５におけるゾーンは、どのようにゾーンが使用できるかの例に過ぎず、いくつかの応用については、乗り物の側方または後方のゾーンが有用となり得る。
【００７４】
図解されているとおり、左側の道路車線に対応するゾーンＺ１、乗り物が走行している道路車線に対応するゾーンＺ２、および右側の道路車線に対応するゾーンＺ３等のように、操作者の視野内においてゾーンが互いにオーバーラップすることがある。また、同時にいくつかのゾーン内を跨いで物体が存在することもある。その種の場合においては、異なるゾーンについての操作者の視覚的入力を一緒に、各ゾーン内にどの程度の量でその物体が存在するかに応じて重み付けすることができる。
【００７５】
図６には、操作者の周囲環境内にある物体についての乗り物の操作者の視覚的入力を決定するための、本発明によるシステム６００の実施態様が略図的に図解されている。システム６００は、２つの入力６０２および６０３を包含するコントロール・ユニットによって形成されるコントロール手段６０１を包含する。第１の入力６０２は、操作者の周囲環境内にある少なくとも１つの物体の位置データ、すなわち外部センサ・システム１０４によって提供される位置データを示す物体位置信号を受信するべく構成されている。第２の入力６０３は、乗り物の操作者の目、顔、頭、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを示す操作者移動入力信号を受信するべく構成され、それにおいて生理学的データは、乗り物の操作者を監視する内部センサ・システム２０４によって提供される。コントロール手段６０１のコントロール・ユニットは、さらに、ＣＡＮ‐ＢＵＳシステムまたはそれに類似した乗り物内通信ネットワーク６０５と機能的に接続されている。通信ネットワーク６０５を介して、コントロール・ユニットは、運転者警告システムまたは運転者補助システム等といったほかの乗り物内システム６０６および人間機械インターフェース・デバイス等のインターフェース・デバイス６０７と通信し、それに対して情報を提供し、そこからデータを受信することができる。代替実施態様によれば、コントロール・ユニットが通信ネットワーク６０５を介して外部および内部のセンサ・システム１０４および２０４と機能的に接続される。
【００７６】
操作の間においてコントロール・ユニットは、物体位置信号および操作者移動入力信号を受信して、その操作者移動入力信号に基づいて操作者の凝視方向を見積もる。さらにコントロール・ユニットは、物体位置信号および見積もりによる操作者の凝視方向に基づいて操作者によって受け取られている少なくとも１つの物体の視覚的入力のレベルを表わす視覚的入力品質値６０４を決定し、通信ネットワーク６０５を介して出力する。言い換えると、システムは、操作者が物体について、またはゾーン内において発生している事象についてどの程度気付いているかを示す見積もり値を査定し、提供するために、その操作者の周囲環境内にある物体またはゾーンの情報を受信し、その操作者の凝視方向を評価する。
【００７７】
コントロール手段６０１のコントロール・ユニットは、さらに、図７に図解されているとおり、本発明による方法の多様な実施態様を実行するべく構成することができる。
【００７８】
たとえばコントロール・ユニットは、物体に関連付けされた物体エリアを決定するべく構成することができ、当該物体エリアは、操作者によって知覚されるとおりの物体の物体エリアを示し、それにおいては視覚的入力品質値が物体エリアに基づいて決定される。さらにコントロール・ユニットは、中心の凝視方向との関係において操作者の目の視力レベルを示す視力分布を決定するべく構成することができ、それにおいて視覚的入力品質値は、この視力分布に基づいて決定される。
【００７９】
図７には、操作者の周囲環境内にある物体についての乗り物の操作者の視覚的入力を決定するための、本発明による方法７００の多様な実施態様の概念的なフローチャートが図解されている。方法７００は、
ステップ７０１において、操作者の周囲環境内にある少なくとも１つの物体の位置を示す物体位置信号であって、外部センサ・システム１０４によって提供される物体位置信号を受信すること、
ステップ７０３において、乗り物の操作者の目、顔、頭、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを示す操作者移動入力信号であって、内部センサ・システム２０４によって提供される操作者移動入力信号を受信すること、
ステップ７０５において、操作者移動入力信号に基づいて総合的な凝視分布を包含する操作者の凝視方向の見積もりを行なうこと、および
ステップ７１０において、物体位置信号および見積もりによる操作者の凝視方向に基づいて操作者によって受け取られる少なくとも１つの物体の視覚的入力のレベルを表わす視覚的入力品質値６０４を決定することを包含する。
【００８０】
さらにまた物体位置信号は、物体に関連付けされた座標点等の情報を包含し、それらが、ステップ７０２において、少なくとも１つの物体に関連付けされた物体エリアの決定に利用され、当該物体エリアは、ステップ７１０において、視覚的入力品質値の決定に使用される。
【００８１】
さらに図解されているとおり、操作者の凝視方向の見積もり７０５は、操作者の凝視方向の仮定を表わす第１の凝視方向の推測の決定７０５ａを包含することができる。方法７００は、さらに、操作者の凝視方向の別の仮定を表わす第２の凝視方向の推測の決定７０５ｂを包含する。たとえば、異なる推測は、乗り物の操作者の目、顔、頭、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データに基づく。また凝視方向の推測は、ほかの乗り物の動き等の操作者の周囲環境内において生じている外部事象に基づくこともできる。推測は、頭と目の組み合わせサッケード運動等の操作者の身体の異なる動きの間における見積もりによる相関に基づくこともでき、それにおいては検出された頭の動きに基づいて凝視方向の見積もりが行なわれる。
【００８２】
視覚的入力品質値を決定するステップは、図解されているとおり、ステップ７１０ａにおいて視力分布の決定を包含することができ、それが、視覚的入力品質値を決定するための２つの別々のステップ７１０ｂおよび７１０ｃにおいて使用される。
【００８３】
より詳細に述べれば、ステップ７１０ｂにおいて視覚的入力品質値が、物体エリアにわたって総合的な凝視分布に関する視力分布の積分を行なうことによって決定される。したがって、視覚的入力品質値は、視力分布の中心点を物体エリア内の各点に配置し、各点について、物体エリア内の完全な視力分布を、物体エリア内の総合的な凝視分布を用いて重み付けし、物体エリア内のすべての点についての結果を合計して視覚的入力品質値とすることによって決定される。
【００８４】
ステップ７１０ｃにおいては、視覚的入力品質値を示す分布が結果として生成されるように物体エリア内において視力分布と総合的な凝視分布の畳み込みを行なうことによって視覚的入力品質値が決定される。
【００８５】
出力される視覚的入力品質値６０４は、さらに、ステップ７１１において、外部センサ・システム１０４からの入力信号に基づいて決定される重要点パラメータ値によって重み付けを行なうことができる。
【００８６】
図８には、操作の間における乗り物の進行方向についての操作者の見ている眺めが略図的に図解されており、この図は、操作者の視野における代表的な交通シーンに対応する。操作者の見ている眺めは、種々の物体を包含し、図４ｃに関して述べれば、左側および右側の道路車線のマーク１００４ａおよび１００４ｂを包含している。各物体は、さらに、物体エリアによって表わされる。さらに、第１および第２の凝視方向分布９０１および９０２が図解されている。
【００８７】
第１の凝視分布９０１は、サッケードの凝視方向の推測に基づいており、それにおいては凝視方向が、たとえば、頭と目の組み合わせサッケードを示す操作者の頭の動きに基づいて見積もられる。したがって、サッケード凝視方向の推測によるところの凝視方向は、もっとも最後に仮定された頭と目の組み合わせサッケードの結果であり、また操作者の頭と目の間における動きのモデリングによって見積もりを行なうことができる。図解されているとおり、サッケードの凝視方向の推測によれば、操作者の凝視方向が左にねらいを定めており、それにおいてはサッケードの凝視分布のピークの点９０１’が、トラック１００１の物体エリア内に配置されている。
【００８８】
第２の凝視分布９０２は、道路進行方向の凝視の推測に基づき、それにおいては道路進行方向に凝視方向のねらいが定められることが仮定されており、当該道路進行方向は、操作者ごとに、たとえば身長および着座姿勢に応じて異なる可能性があり、時間にわたる乗り物の操作の間における操作者の動きのモデリングを行なうことによって決定できる。図解されているとおり、道路進行方向の凝視方向の推測によれば、操作者の凝視方向が操作者自身の道路車線に関して中心方向に、または道路進行方向の遠点にねらいを定めており、それにおいてはサッケードの凝視分布のピークの点９０２’が、自動車１００２の物体エリア内に配置されている。
【００８９】
別々の凝視分布のそれぞれは、通常、操作者に関するピッチ／ヨー座標における確率分布によって表わされる。総合的な凝視分布を提供するために、異なる凝視方向の推測を表わす異なる分布を適切に組み合わせることができる。
【００９０】
たとえば、図９においては、総合的な凝視分布によって表わされる見積もりによる操作者の凝視方向が、ピッチ／ヨーおよび確率の座標系を使用して略図的にプロットされている。総合的な凝視分布は、複数の異なる凝視方向の推測に基づいており、それにおいては推測の凝視分布が一緒に、たとえば凝視時間値に基づいて重み付けされる。図解されているとおり、ピッチ／ヨーの中心点（０，０）は、もっとも高い確率のピークを構成する。したがって、操作者の凝視方向を表わす総合的な凝視分布によれば、操作者の目が、道路進行方向等のまっすぐ前の方向にねらいを定めることがもっともありがちとなる。
【００９１】
図１０には、図８に図解されたものと同じ操作者の見ている眺めが示されているが、さらに、それぞれが可能性のある操作者の凝視方向を表わす第１および第２の例示的な視力分布９０３ａおよび９０３ｂを包含する。第１の分布９０３ａは、トラック１００１の物体エリア内および右側の道路車線のマーク１００４ａの物体エリアに置かれる操作者の中心凝視方向９０３’ａに対応する。第２の分布９０３ｂは、右側の道路車線のマーク１００４ｂの物体エリアに置かれる操作者の中心凝視方向９０３’ｂに対応する。
【００９２】
以上、特定の例示的な実施態様を参照して本発明の説明を行なってはいるが、多くの異なる変更、修正、およびその類が当業者には明らかなものとなるであろう。開示されている実施態様に対する変形が理解され、かつそれがもたらされることは、請求されている本発明の実施において、図面、開示、および付随する特許請求の範囲の考察から当業者によって可能である。
【００９３】
さらに、特許請求の範囲内における用語『包含』は、そのほかの要素またはステップを排除せず、また複数であると明示していないことは、複数であることを排除しない。
【符号の説明】
【００９４】
１００自動車、乗り物
１０２座標系
１０４外部センサ、外部センサ・システム
２０２乗り物の操作者
２０４カメラ・システム、内部センサ・システム
３０２座標系
３０４操作者の顔
６００システム
６０１コントロール手段
６０２入力、第１の入力
６０３入力、第２の入力
６０４視覚的入力品質値
６０５乗り物内通信ネットワーク、通信ネットワーク
６０６乗り物内システム
６０７インターフェース・デバイス
９０１第１の凝視方向分布
９０１’ ピークの点
９０２第２の凝視方向分布
９０２’ ピークの点
９０３’ａ中心凝視方向
９０３ａ第１の視力分布
９０３ｂ第２の視力分布、第２の分布
１０００道路
１００１トラック
１００２自動車
１００３歩行者
１００４車線マーク
１００４ａ車線のマーク
１００４ｂ車線のマーク
１００５物体エリア

【特許請求の範囲】
【請求項１】
乗り物の操作者の周囲環境内にある物体についての前記操作者の視覚的入力を決定する方法（７００）であって、
‐前記操作者の周囲環境内にある少なくとも１つの物体の位置を示す物体位置信号を受信するステップ（７０１）と、
‐前記乗り物の前記操作者の目、顔、頭、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを示す操作者移動入力信号を受信するステップ（７０３）と、
‐前記操作者移動入力信号に基づいて操作者の凝視方向の見積もりを行なうステップ（７０５）と、
‐前記物体位置信号および前記見積もりによる操作者の凝視方向に基づいて前記操作者によって受け取られる前記少なくとも１つの物体の視覚的入力のレベルを表わす視覚的入力品質値を決定するステップ（７１０）と、
を包含する方法。
【請求項２】
さらに、前記操作者の目による前記物体の固視の確率を示す期待される固視の確率の見積もりを行なうステップを包含し、
それにおいて前記視覚的入力品質値を決定するステップは、さらに前記期待される固視の確率に基づく、
請求項１に記載の方法。
【請求項３】
前記見積もりによる操作者の凝視方向が、前記操作者の異なる凝視方向についての確率を示す総合的な凝視分布を包含する、請求項１または２に記載の方法。
【請求項４】
さらに、前記物体に関連付けされた物体エリアを決定するステップ（７０２）を包含し、前記物体エリアは、前記操作者によって知覚されるところの前記物体の物体エリアを示し、
それにおいて前記視覚的入力品質値を決定するステップは、さらに前記物体エリアに基づく、
請求項１乃至３のいずれかに記載の方法。
【請求項５】
前記視覚的入力品質値を決定するステップは、
‐中心の凝視方向との関係において前記操作者の目の視力レベルを示す視力分布を決定するステップ（７１０ａ）を包含し、
それにおいて前記視覚的入力品質値を決定するステップは、さらに前記視力分布に基づく、
請求項４に記載の方法。
【請求項６】
前記視覚的入力品質値を決定するステップは、前記物体エリアにわたって前記総合的な凝視分布に関する前記視力分布の積分を行なうステップ（７１０ｂ）を包含する、請求項５に記載の方法。
【請求項７】
前記視覚的入力品質値を決定するステップは、前記物体エリア内における前記視力分布と前記総合的な凝視分布の畳み込みを行なうステップ（７１０ｃ）を包含する、請求項５に記載の方法。
【請求項８】
さらに、前記物体に関連付けされた重要点パラメータ値を決定するステップ（７１１）を包含し、それにおいて重要点パラメータは、視覚的な注意を引く確率を示す、請求項１乃至７のいずれかに記載の方法。
【請求項９】
さらに、
‐第１の凝視方向の推測を決定するステップ（７０５ａ）を包含し、それにおいて前記総合的な凝視分布は、前記第１の凝視方向の推測に基づく、
請求項３乃至８のいずれかに記載の方法。
【請求項１０】
さらに、
‐第２の、または複数の凝視方向の推測を決定するステップ（７０５ｂ）と、
‐前記第１および第２の、または複数の凝視方向の推測を組み合わせることによって前記総合的な凝視分布を決定するステップと、
を包含する請求項９に記載の方法。
【請求項１１】
前記操作者の凝視方向の見積もりを行なうステップは、
‐前記操作者のサッケード運動を示す操作者の身体の動きを検出するステップと、
‐前記検出された操作者の身体の動きに基づいてサッケード凝視分布の見積もりを行なうステップと、
を包含する請求項３乃至１０のいずれかに記載の方法。
【請求項１２】
前記操作者の凝視方向の見積もりを行なうステップは、さらに、
‐前記サッケード凝視分布に関連付けされる凝視時間値を決定するステップを包含し、
それにおいて前記総合的な凝視分布は、前記サッケード凝視分布および前記凝視時間値に基づいて決定される、
請求項１１に記載の方法。
【請求項１３】
前記操作者の凝視方向の見積もりを行なうステップは、さらに、
‐道路進行方向の凝視分布を決定するステップを包含し、
それにおいて前記総合的な凝視分布は、前記凝視時間値に基づき、前記道路進行方向の凝視分布を用いて前記サッケード凝視分布の重み付けを行なうことによって決定される、
請求項１２に記載の方法。
【請求項１４】
乗り物の操作者（２０２）の周囲環境内にある物体（１００１）についての前記操作者の視覚的入力を決定するためのシステム（６００）であって、前記システムはコントロール手段（６０１）を包含し、それにおいて前記コントロール手段が、
‐前記操作者の周囲環境内にある少なくとも１つの物体の位置を示す物体位置信号を受信するべく構成された第１の入力（６０２）と、
‐前記乗り物の前記操作者の目、顔、頭、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを示す操作者移動入力信号を受信するべく構成された第２の入力（６０３）と、
を包含し、
それにおいて前記コントロール手段は、前記操作者移動入力信号に基づいて操作者の凝視方向の見積もりを行なうべく構成され、かつ前記物体位置信号および前記見積もりによる操作者の凝視方向に基づいて前記操作者によって受け取られる前記少なくとも１つの物体（１００１）の視覚的入力のレベルを表わす視覚的入力品質値（６０４）を決定するべく構成される、
システム。
【請求項１５】
乗り物の操作者の周囲環境内にある物体についての前記操作者の視覚的入力を決定するためのコンピュータ・プログラム・プロダクトを具体化するコンピュータ可読媒体であって、前記コンピュータ・プログラム・プロダクトが、プロセッサによって実行されたとき、
‐前記操作者の周囲環境内にある少なくとも１つの物体の位置を示す物体位置信号を受信するべく構成されたコードと、
‐前記乗り物の前記操作者の目、顔、頭、および身体の動きのうちの少なくとも１つに関係する情報を包含する生理学的データを示す操作者移動入力信号を受信するべく構成されたコードと、
‐操作者移動入力信号に基づいて前記操作者の凝視方向の見積もりを行なうべく構成されたコードと、
‐前記物体位置信号および前記見積もりによる操作者の凝視方向に基づいて前記操作者によって受け取られる前記少なくとも１つの物体の視覚的入力のレベルを表わす視覚的入力品質値を決定するべく構成されたコードと、
を包含する、コンピュータ可読媒体。

【図１】