説明

物体の状態についての乗り物の操作者の期待を決定するための方法、システム、およびコンピュータ・プログラム・プロダクトを具体化するコンピュータ可読媒体

【課題】警告が必要とされる状況においてのみ警告が発せられるように、たとえば乗り物内の異なる警告システムに対して入力データを提供する。
【解決手段】第1の時点における物体の状態についての操作者の期待を示す入力信号を獲得するステップ402と、第2の時点における物体の状態を、前記物体の状態を示す入力信号に基づいて決定するステップ404であって、前記第2の時点は前記第1の時点より後であるとするステップと、前記第2の時点における前記操作者の見積もりによる視覚的入力を示す入力信号を獲得するステップ406と、前記第2の時点における前記物体の前記状態に基づいて前記第2の時点における前記物体の前記状態についての前記操作者の期待を決定するステップ408と、前記第2の時点における前記物体の前記状態についての前記操作者の期待を示す出力信号を提供するステップ410と、を包含する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、乗り物の操作者の環境内における物体の状態についての当該操作者の期待を決定するための方法に関する。
【0002】
本発明はまた、乗り物の操作者の環境内における物体の状態についての当該操作者の期待を決定するための、対応するシステムおよびコンピュータ・プログラム・プロダクトを具体化するためのコンピュータ可読媒体にも関係する。
【背景技術】
【0003】
交通事故は、しばしば、運転者が周囲の交通状況に気付いていないことに起因して発生する。運転者が周囲の交通状況に気付いていないことによって発生する事故を防止するためには、運転者に警告メッセージを提供して周囲の交通状況に対する運転者の注意を回復することが極めて重要なこととなり得る。しかしながら、運転者が周囲の交通状況に気付いている状況においては、その種の警告システムが運転者に対する情報の過負荷を生じさせる可能性があり、かつ警告に関して運転者が有している信頼性のレベルを減ずる可能性があることから、警告システムが警告しないこともまた非常に重要である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、警告が必要とされる状況においてのみ警告が発せられるように、たとえば乗り物内の異なる警告システムに対して入力データを提供するシステム、方法、およびコンピュータ・プログラム・プロダクトを具体化するコンピュータ可読媒体が必要とされている。
【課題を解決するための手段】
【0005】
本発明の第1の態様によれば、上記の必要性を満たすことができる、乗り物の操作者の環境内における物体の状態についての当該操作者の期待を決定するための方法が提供される。この方法は、第1の時点における物体の状態についての操作者の期待を示す入力信号を獲得するステップと、第2の時点における物体の状態を、当該物体の状態を示す入力信号に基づいて決定するステップであって、第2の時点は第1の時点より後であるとするステップと、第2の時点における操作者の見積もりによる視覚的入力を示す入力信号を獲得するステップと、第1の時点における物体の状態についての操作者の期待、第2の時点における乗り物の操作者の見積もりによる視覚的入力、および第2の時点における物体の状態に基づいて第2の時点における物体の状態についての操作者の期待を決定するステップと、第2の時点における物体の状態についての操作者の期待を示す出力信号を提供するステップと、を包含する。
【0006】
本発明の第3の態様によれば、上記の必要性を満たすことができる、乗り物の操作者の環境内における物体の状態についての当該乗り物の操作者の期待を決定するためのシステムが提供される。このシステムは、第1の時点における物体の状態についての操作者の期待を示す入力信号を獲得するための手段と、第2の時点における物体の状態を、当該物体の状態を示す入力信号に基づいて決定するための手段であって、第2の時点は第1の時点より後であるとする手段と、第2の時点における操作者の見積もりによる視覚的入力を示す入力信号を獲得するための手段と、第1の時点における物体の状態についての操作者の期待、第2の時点における乗り物の操作者の見積もりによる視覚的入力、および第2の時点における物体の状態に基づいて第2の時点における物体の状態についての操作者の期待を決定するための手段と、第2の時点における物体の状態についての操作者の期待を示す出力信号を提供するための手段と、を包含する。
【0007】
本発明の第1の態様による方法および本発明の第3の態様によるシステムは、たとえば今日の乗り物内に存在する多様な警告システムのための入力として使用することができる出力信号を提供する。
【0008】
操作者の環境内にある物体は、たとえば、限定ではないが、ほかの乗り物、歩行者、動物、道路標識、道路の境界および走行車線のマークとすることができる。
【0009】
第1の時点における物体の状態についての操作者の期待を示す入力信号は、前回のこの方法の実行またはシステムの使用からの、この方法の結果として、およびシステムからの出力信号として提供される出力信号に対応する。したがって、この方法は反復性であり、物体の状態についての操作者の期待は、物体の状態についての操作者の以前の期待、操作者の見積もりによる視覚的入力、および物体の実際の状態に基づいて更新される。
【0010】
不正確であり、場合によってはすべてが欠落している測定に基づいて物体の状態のモデル−ベースの追跡を行なう能力を有するあらゆる方法を、第1の時点における物体の状態についての操作者の期待、第2の時点における乗り物の操作者の見積もりによる視覚的入力、および第2の時点における物体の状態に基づいて第2の時点における物体の状態についての操作者の期待を決定するために使用することが可能である。たとえば、カルマン・フィルタまたは粒子フィルタといった多くの既存のフィルタリング・アルゴリズムが、ここでは適切なものとなることが可能であり、それにおいては、フィルタ内において仮定される測定ノイズを変調することによって物体に対する変動的な注意のレベルを考慮に入れることが可能である。
【0011】
1つの例示的な実施態様によれば、第1の時点と第2の時点の間における経過時間が、好ましくは、数百または数十分の1秒台の大きさになる。たとえば、この方法を毎秒20回または40回反復することが企図できる。その場合における第1と第2の時点の間の時間の差は、それぞれ20分の1秒、または40分の1秒になる。
【0012】
本発明の第1および第3の態様の1つの例示的な実施態様によれば、物体の状態が、物体の位置、物体の移動、および物体の加速度のうちの少なくとも1つを含む。
【0013】
例示的な実施態様によれば、物体の状態が、物体の位置、物体の移動、または物体の加速度のうちのいずれかを含む。またそれが、物体の位置および物体の移動、または物体の位置および物体の加速度、または物体の移動および物体の加速度の組み合わせ、または物体の位置、物体の移動、および物体の加速度の組み合わせを含むこともできる。
【0014】
1つの例示的な実施態様によれば、物体の移動を示す入力信号が、物体の位置を示す入力信号を提供する手段と同じ手段によって提供されるとすることができる。
【0015】
1つの例示的な実施態様によれば、方法およびシステムにおいて、物体の状態を構成することができる異なる要素、すなわち位置、移動、加速度が同時に扱われるとすることができる。しかしながら、ほかの1つの例示的な実施態様によれば、方法およびシステムにおいて、異なる要素が別々に扱われるとすることができる。したがって、この例示的な実施態様によれば、異なる要素のために異なる入力信号が、たとえば提供されるとすること、または物体の移動についての操作者の期待が、1つの方法ステップにおいて、もしくはシステムの1つの手段において決定され、かつ物体の位置についての操作者の期待が、別の方法ステップにおいて、もしくはシステムの別の手段において決定されるとすることができる。
【0016】
1つの例示的な実施態様によれば、物体の現在の状態および移動が、座標系のXおよびY方向において決定される。1つの例示的な実施態様によれば、物体が、ターゲット・コーナ・ポイントを伴う3Dボックスとして近似される。1つの例示的な実施態様によれば、その後、平均がXおよびY方向のそれぞれにおける物体の中心点を定義する物体の4つのコーナを、入力として使用して状態を計算することができる。1つの例示的な実施態様によれば、物体の移動を、最初に個別のコーナのそれぞれについてコーナ・ポイント速度を計算し、その後それの平均を取ることによって計算することができる。
【0017】
1つの例示的な実施態様によれば、操作者の見積もりによる物体の位置を演繹することによって物体の移動についての操作者の期待を決定することが可能である。移動について考察するときは、物体と乗り物の操作者の間における相対的な移動であると理解することが意図されている。したがって、すべての移動は、乗り物の操作者を原点とする座標系において考察される。
【0018】
1つの例示的な実施態様によれば、操作者の見積もりによる物体の移動を演繹することによって物体の加速度についての操作者の期待を決定することが可能である。加速度について考察するときは、物体と乗り物の操作者の間における相対的な加速度であると理解することが意図されている。したがって、すべての加速度および移動は、乗り物の操作者を原点とする座標系において考察される。
【0019】
本発明の第1の態様の1つの例示的な実施態様によれば、第2の時点における操作者の見積もりによる視覚的入力を示す入力信号が、乗り物の操作者の目、顔、および身体の動きのうちの少なくとも1つに関係する情報を包含する生理学的データを示す入力信号に基づいて決定される。
【0020】
本発明の第3の態様の1つの例示的な実施態様によれば、システムが、さらに、第2の時点における操作者の見積もりによる視覚的入力を、乗り物の操作者の目、顔、および身体の動きのうちの少なくとも1つに関係する情報を包含する生理学的データを示す入力信号に基づいて決定するための手段を包含する。
【0021】
見積もりによる視覚的入力は、操作者の生理学的データとあらかじめ決定済みの規則のセットを、環境内の物体についての操作者の視覚的入力を見積もるために比較することによって決定される。たとえば、操作者の頭および/または目の方向に依存する視線の方向の尤度を定義する規則を使用することが企図できる。また、乗り物内に存在する視界を妨げるものに関係する規則を適用することも企図できる。さらに、乗り物を取り囲む環境内に存在する視界を妨げるものに関係する規則を適用することも企図できる。
【0022】
本発明の第1の態様の1つの例示的な実施態様によれば、方法が、さらに、第2の時点における物体の状態についての操作者の期待を決定するときに第1の時点における物体の状態についての操作者の期待および第2の時点における物体の状態の重み付けを行なう係数を決定するステップを包含し、それにおいて当該係数は、第2の時点における物体についての操作者の見積もりによる視覚的入力とあらかじめ決定済みの規則のセットを比較することによって決定される。
【0023】
本発明の第3の態様の1つの例示的な実施態様によれば、システムが、さらに、本発明の第1の態様の例示的な実施態様について上で述べた方法ステップを実行するための手段を包含する。
【0024】
これらの本発明の第1および第3の態様の例示的な実施態様によれば、物体の状態についての操作者の期待が、物体の状態についての操作者の以前の期待、すなわち第1の時点における期待を、現在の物体の現実の状態、すなわち第2の時点における物体の状態とともに重み付けすることによって計算される。重み付け係数は、この例示的な実施態様においては変数であり、特定の物体についての運転者の見積もりによる視覚的入力に依存する。1つの例示的な実施態様によれば、重み付け係数が、あらかじめ決定済みの規則のセットに従って0と1の間において変化することができる。操作者が物体に多くの注意を向ける場合には高い重み付け係数が与えられることになり、操作者が物体に殆ど注意を向けない場合には低い重み付け係数が与えられることになる。
【0025】
本発明の第1および第3の態様の1つの例示的な実施態様によれば、操作者の視覚的入力を示す入力信号が、操作者を監視する画像センサを使用して生成される。乗り物の操作者を監視する画像センサは、たとえば、カメラとすることができる。
【0026】
本発明の第1および第3の態様の1つの例示的な実施態様によれば、乗り物の操作者の目、顔、および身体の動きのうちの少なくとも1つに関係する情報を包含する生理学的データを示す入力信号が、操作者を監視する画像センサを使用して生成される。しかしながら、乗り物の操作者を監視する複数のセンサおよび/またはカメラを用いることも企図できる。
【0027】
本発明の第1および第3の態様の1つの例示的な実施態様によれば、物体の状態を示す入力信号が、センサを使用して提供される。1つの例示的な実施態様によれば、複数のセンサが採用される。これらの例示的な実施態様によれば、物体の状態を示す入力信号を、たとえば、カメラまたはレーダといったセンサによって提供することができる。また、たとえばレーダとカメラ、またはいくつかのレーダ・センサ、またはカメラの組み合わせを使用することも企図できる。
【0028】
本発明の第1および第3の態様の1つの例示的な実施態様によれば、物体の状態を示す入力信号が、物体対乗り物の通信手段を使用して提供される。この例示的な実施態様によれば、物体の状態を示す入力信号を、たとえば、乗り物対乗り物の通信のための手段、歩行者対乗り物の通信のための手段、インフラストラクチャ対乗り物の通信のための手段、または、たとえば道路標識対乗り物の通信のための手段、あるいはこれらの手段のうちのいくつかまたはすべての組み合わせによって提供することができる。インフラストラクチャ対乗り物の通信のための手段は、たとえば、道路に沿って配置されるか、道路の脇に配置されるか、または道路内に組み込まれた基地局、または衛星等とすることができる。
【0029】
1つの例示的な実施態様によれば、物体の状態を示す入力信号が、センサと、物体対乗り物の通信のための手段の組み合わせを使用して提供される。入力信号は、乗り物を取り囲む異なる物体タイプのそれぞれについて類似の態様で提供される必要がないこともある。たとえば、周囲にある乗り物の状態を示す入力信号が乗り物対乗り物の通信のための手段を使用して提供され、歩行者の状態を示す入力信号がセンサを使用して提供されることが企図できる。採用することができる通信手段の例は、ほかの乗り物、道路に沿って配置されるか、道路の脇に配置されるか、もしくは道路内に組み込まれた基地局、または衛星等とすることができ、それらは、たとえば位置、速度、加速度、ヨー・レート等といった情報を送信するべく構成することができる。道路センサもまた、速度制限、道路の曲率、温度、道路の摩擦特性等の情報を提供することができる。
【0030】
本発明の第2の態様によれば、第2の時点における乗り物の操作者の環境内にある物体についての当該操作者の意識性を決定するための方法が提供される。この方法は、第2の時点における物体の状態についての操作者の期待を、第2の時点における物体の状態についての操作者の期待を示す入力信号に基づいて決定するステップであって、当該入力信号が本発明の第1の態様による方法を使用して提供されるものとするステップと、第2の時点における物体の状態を、当該物体の状態を示す入力信号に基づいて決定するステップと、第2の時点における物体の状態についての操作者の期待と第2の時点における物体の状態を比較するステップと、第2の時点における物体の状態についての操作者の期待と第2の時点における物体の状態の間の相違を決定するステップと、第2の時点における物体の状態についての操作者の期待と第2の時点における物体の状態の間の相違を示す出力信号を提供するステップと、を包含する。
【0031】
本発明の第4の態様によれば、第2の時点における乗り物の操作者の環境内の物体についての当該操作者の意識性を決定するためのシステムが提供される。このシステムは、第2の時点における物体の状態についての操作者の期待を、第2の時点における物体の状態についての操作者の期待を示す入力信号に基づいて決定するための手段であって、当該入力信号が本発明の第3の態様によるシステムを使用して提供されるものとする手段と、第2の時点における物体の状態を、当該物体の状態を示す入力信号に基づいて決定するための手段と、第2の時点における物体の状態についての操作者の期待と第2の時点における物体の状態を比較するための手段と、第2の時点における物体の状態についての操作者の期待と第2の時点における物体の状態の間の相違を決定するための手段と、第2の時点における物体の状態についての操作者の期待と第2の時点における物体の状態の間の相違を示す出力信号を提供するための手段と、を包含する。
【0032】
本発明の第2の態様による方法および本発明の第4の態様によるシステムは、たとえば今日の乗り物内に存在する多様な警告システムのための入力として使用することができる出力信号を提供する。
【0033】
本発明の第2および第4の態様の1つの例示的な実施態様によれば、物体の現実の状態と物体の状態についての操作者の期待の間における相違が、現実と期待の間における実際の相違を比較することによって評価される。したがって、位置における相違をたとえばメートルを用いて表現すること、移動における相違をたとえばメートル/秒を用いて表現すること、および加速度における相違をたとえばメートル/平方秒を用いて表現することができる。本発明の第2および第4の態様の1つの例示的な実施態様によれば、物体の現実の状態と物体の状態についての操作者の期待の間における相違が、現実から期待が相違するパーセンテージを計算することによって評価される。
【0034】
本発明の第5の態様によれば、乗り物の操作者の環境内における物体の状態についての当該操作者の期待を決定するためのコンピュータ・プログラム・プロダクトを具体化するコンピュータ可読媒体が提供され、このコンピュータ・プログラム・プロダクトは、プロセッサによって実行されたとき、第1の時点における物体の状態についての操作者の期待を示す入力信号を獲得するべく構成されたコードと、第2の時点における物体の状態を、当該物体の状態を示す入力信号に基づいて決定するべく構成されたコードであって、第2の時点は第1の時点より後であるとするコードと、第2の時点における操作者の見積もりによる視覚的入力を示す入力信号を獲得するべく構成されたコードと、第1の時点における物体の状態についての操作者の期待、第2の時点における乗り物の操作者の見積もりによる視覚的入力、および第2の時点における物体の状態に基づいて第2の時点における物体の状態についての操作者の期待を決定するべく構成されたコードと、第2の時点における物体の状態についての操作者の期待と第2の時点における物体の状態の間の相違を示す出力信号を提供するべく構成されたコードと、を包含する。このコンピュータ・プログラムは、さらに、多様な例示的な実施態様によれば、本発明による方法および/またはそれの実施態様に従って動作するべく構成されたコードを包含する。コンピュータ可読媒体は、リムーバブル不揮発性ランダム・アクセス・メモリ、ハード・ディスク・ドライブ、フロッピー(登録商標)ディスク、CD‐ROM、DVD‐ROM、USBメモリ、SDメモリ・カード、またはこの分野で周知の類似のコンピュータ可読媒体のうちの1つとすることができる。
【0035】
本発明のこのほかの特徴および利点については、付随する特許請求の範囲および以下の説明を考察するときに明らかなものとなるであろう。当業者は認識されるであろうが、本発明の種々の特徴を組み合わせて以下の説明とは別の実施態様を本発明の範囲からの逸脱なしに作り出すことができる。
【0036】
次に本発明のこれらの、およびそのほかの態様について、本発明の例示的な実施態様を示している以下に列挙した添付図面を参照してより詳細に説明する。
【図面の簡単な説明】
【0037】
【図1】外部センサが装備された乗り物およびそれの前端における座標系を示した斜視図である。
【図2】内部センサが装備された乗り物の内部の斜視図である。
【図3】乗り物の操作者の顔の座標系を図解した斜視図である。
【図4a】運転者の環境内に現われる物体および運転者の視野を図解した側面図である。
【図4b】運転者の環境内に現われる物体および運転者の視野を図解した上面図である。
【図4c】運転者の環境内に現われる物体および運転者の視野を図解した正面図である。
【図5】どのような形で乗り物の前方および内側のゾーンが定義できるかについての例を図解した説明図である。
【図6】本発明の態様によるシステムを概念的に図解したフローチャートである。
【図7】本発明の態様によるシステムを概念的に図解したフローチャートである。
【図8】運転状況において使用されている本発明のシステムを略図的に図解した説明図である。
【図9】本発明の態様による方法を図解したフローチャートである。
【図10】本発明の態様による方法を図解したフローチャートである。
【発明を実施するための形態】
【0038】
以下、本発明の例示的な実施態様が示されている添付図面を参照して本発明をより詳細に説明する。しかしながら、本発明は、多くの異なる形で具体化されることを許容し、ここに示されている実施態様に限定されると解釈されるべきでなく、むしろこれらの実施態様は、詳細および完全性のため、および当業者への本発明の範囲の完全な伝達のために提供されている。全体を通じて類似した要素の参照には類似した参照文字を用いる。
【0039】
以下においては、乗り物の操作者の環境内の物体の状態についての当該操作者の期待を決定するためのシステムを参照して本発明が説明されている。乗り物には、乗り物の操作者の情報を引き出すための内部センサ(1つまたは複数)、および乗り物の操作をはじめ、乗り物の周囲環境の情報を引き出すための外部センサ(1つまたは複数)が好ましく装備される。より良好な理解に資するために、ここで図1乃至3を参照して内部センサおよび外部センサを説明する。
【0040】
図1は、例示的な乗り物を図解しており、ここではそれを自動車100とするが、それに本発明によるシステムを組み込むことができる。自動車100には、追い越し、乗り物の速度、乗り物のヨー・レート等々といった乗り物の操作、およびたとえば車線のマーク、道路のマーク、道路の湾曲、周囲の乗り物、歩行者等々といった乗り物の周囲環境を検出するべく配される外部センサ104が提供される。外部センサ104は、たとえばカメラまたはレーダ・センサとすることができる。カメラが物体の高さおよび幅の決定時に高精度を提供する一方、レーダ・センサが物体までの距離の決定時に高精度を提供することから、好ましくは、カメラおよびレーダ・センサの組み合わせが使用されるとすることができる。これによって、周囲の物体のサイズ、位置、速度等を決定することが可能になる。
【0041】
自動車100の位置に関して言えば、ここではデカルト座標系として図解されている座標系102が自動車100の前端に置かれる。座標系102は、乗り物に追従するべく構成され、軸は、長さ方向(x軸)、横方向(y軸)、および垂直方向(z軸)をそれぞれ表わす。検出される物体は、自動車100の座標系102に関連して乗り物のシステムに、自動車100と相対的なその物体のサイズおよび位置をシステムが決定することが可能となるように提供される。システムに、異なるセンサ104から検出された物体が連続して提供されることから、周囲の交通環境の速度および加速度を決定することも可能になる。
【0042】
図2は、乗り物の操作者202を含む自動車100の内部を図解しており、それにおいては、自動車100に、ここではカメラ・システム204として図解されている内部センサが装備される。カメラ・システム204は、乗り物の操作の間における乗り物の操作者202の挙動を決定するべく配される。さらにまた、カメラ・システム204は、操作者の顔のあらかじめ決定済みの数の位置に焦点を合わせるべく較正することができる。これらの位置は、たとえば、目、まぶた、眉、鼻、口、頬等々とすることができる。カメラ・システムは、その乗り物を通常操作する特定の操作者202のためにあらかじめ較正すること、または乗り物100の運転席に操作者202が入る都度較正することができる。カメラ・システムが操作者の顔の種々の位置を検出すると、カメラ・システムが顔の挙動を見積もることが可能になる。したがって、カメラ・システムは、たとえば頭および目の方向、頭の姿勢、目のサッケード、頭−目のサッケード、閉瞼、および閉瞼の速度等を検出することができる。またカメラ・システムは、図3に図解されているが、操作者の顔304に関連して座標系302を使用することによって、操作者の頭が右または左に回転(ヨー)305しているか否か、上または下に回転(ピッチ)306しているか否か、あるいは右または左の肩に向かって傾斜(ロール)307しているか否かを検出することもできる。顔304の座標系302は、好ましくは極座標系とし、それの原点が操作者の目の間に位置決めされる。
【0043】
さらにまた内部センサ204は、カメラに代えて、またはそれに追加して別のタイプの操作者検出手段を含むこともできる。これはたとえば、操作者のEKGまたはEEGを検出するためのセンサ、ステアリング挙動を検出するためのステアリング・ホイール・センサ、一貫性のない自動車の加速および/または制動を検出するためのアクセル・ペダルおよび/またはブレーキ・ペダルにおけるセンサ、たとえば乗り物のインフォテイメント・システムの多様な機能のいずれかを操作者202が調整しているか否かといったことを検出する自動車の多様なボタンにおけるセンサを含むことができる。さらに別の内部センサを、操作者の酩酊を検出するための呼吸分析センサまたは瞳サイズ・センサとすることができる。
【0044】
乗り物の環境内の各物体は、ターゲット・コーナ・ポイントを伴う3Dボックスによって近似される。物体についての入力データは、物体ごとに次に示す形式で受信される。各ターゲットのためのデータは、乗り物ベースのデカルト座標系を使用して記述され、XおよびY方向における4つのコーナのそれぞれについてのコーナ位置(標準偏差の見積もりを含む)、Z方向における物体の高さ(標準偏差の見積もりを含む)、物体の速度、および物体の加速度を含む。
【0045】
物体と運転者の視野を整合させるために、運転者の周囲の実際の3D世界が、図4a乃至cにそれぞれ示されているとおり、3つの図、すなわち側面図、上面図、および運転者の視野に分割される。図4cには、道路1000、トラック1001、自動車1002、歩行者1003、および車線マーク1004を包含する運転者の視野が図解されている。側面図および上面図は、運転者の視野から見えるとおりの環境の記述に到達するべく別々に描画される。側面図および上面図においては、周囲の物体の位置が、乗り物ベースのデカルト座標系を用いて記述されている。この情報と運転者の頭から乗り物ベースの座標系の原点までの距離が組み合わされて、運転者の頭ベースの極座標系における目標に対するヨー角およびピッチ角が計算される。
【0046】
ヨー(φ)角およびピッチ(θ)角の計算は、次に示す式を用いて行なわれる。
【0047】
【数1】

【0048】
これらの式において、xn,objおよびyn,objは、それぞれXおよびY方向における物体のコーナnまでの距離であり、xDMC、yDMC、およびzDMCは、乗り物の座標系の原点からそれぞれの方向において運転者を監視するセンサまでの距離であり、xhead、yhead、およびzheadは、運転者の頭からそれぞれの方向において運転者を監視するセンサまでの距離である。
【0049】
【数2】

これにおいて、rn,obj=√(xn,obj+yn,obj)は、物体のコーナnまでの距離であり、hobjは物体の高さである。
【0050】
簡明のため、図4aおよびbには、1つの物体についてだけ、すなわちトラック1001についてだけこれが図解されている。しかしながら、乗り物の周囲にある各物体、たとえば車線マーク1004、乗り物1002、歩行者1003等々についても同じ計算が使用される。
【0051】
図4bにトラックのコーナ・ポイント2を参照して図解されているとおり、コーナ・ポイントの位置は、外部センサ・システムからの信号に基づく信頼区間を決定することによって近似できる。信頼区間は、XおよびY方向において示されているが、同様にZ方向においても企図できる。またコーナ・ポイントについての信頼区間は、ヨー(φ)およびピッチ(θ)を包含する運転者の頭ベースの極座標系を使用して表わすこともできる。さらにまた、操作者の環境内の物体の状態についての操作者の期待を決定する方法は、物体の位置を決定するために、物体のコーナ・ポイントの分散の計算の使用を包含することができる。たとえば、分散の値の増加は、物体の状態についての操作者の期待の決定に占める物体の位置の不確定性の増加を含意する。
【0052】
次に、本発明によるシステムの実施態様を図解した図6を参照する。このシステムによって実行される方法は図9に図解されている。図解された実施態様における第1のシステム400は、運転者の周囲にある物体の位置、移動、および加速度のうちの少なくとも1つを含む物体の状態についての運転者の期待を決定するべく構成されたシステムである。システム400は、第1の時点における物体の状態についての運転者の期待を示す入力信号を獲得するために構成された第1のサブシステム402と、第2の時点におけるXおよびY方向の物体の位置および移動を決定するために構成された第2のサブシステム404と、運転者の見積もりによる視覚的入力を示す入力信号を獲得するために構成された第3のサブシステム406と、第2の時点における物体の状態についての運転者の期待を決定するために構成された第4のサブシステム408と、第2の時点における物体の状態についての運転者の期待を示す出力信号を提供するために構成された第5のサブシステム410と、を包含する。
【0053】
このシステムが使用されているとき、第1のサブシステム402は、第1の時点における運転者の周囲にある物体の状態についての運転者の期待を示す入力信号を受信することによって方法ステップS1を実行する。この第1の時点は、現在の時点に先行する時点である。
【0054】
第2のサブシステム404においては、第2の時点におけるXおよびY方向の物体の位置および移動を決定することによって方法ステップS2が実行される。第2の時点は、現在の時点である。位置は、物体の4つのコーナを入力として使用して計算され、それの平均がXおよびY方向のそれぞれにおける物体の中心点を定義する。入力は、外部センサ104から受信される。XおよびY方向における物体の移動は、同一の方法を用いて計算され、平均を取る前に第1のステップとして個別のコーナのそれぞれについてコーナ・ポイントの速度だけが計算される。物体の位置または移動の単一の分散測度もまたこのサブシステムによって計算することができ、この測度は、このプロセスにおける後のほかのサブシステムが利用することができる。たとえば、この測度を獲得するために、各コーナについての標準偏差が最初に平方され、続いて平方値の平均が計算されて物体の位置または移動の分散が単一の測度として獲得される。
【0055】
第3のサブシステム406においては、運転者の見積もりによる視覚的入力を示す入力信号が獲得される。運転者の見積もりによる視覚的入力は、センサ202からの入力信号に基づいており、たとえば物体の視覚的入力についての操作者のレベルを示す視覚的入力の品質値を出力する別の見積もりシステムの中で決定することができる。たとえば、操作者の見積もりによる視覚的入力は、方法ステップS3において乗り物の操作者に関係する生理学的データを示す入力信号を獲得し、ステップS4において乗り物の操作者の見積もりによる視覚的入力を決定し、ステップS5において、視覚的入力の品質値に対応する乗り物の操作者の見積もりによる視覚的入力を示す入力信号を獲得することによって決定される。
【0056】
たとえば、見積もりシステムは、操作者の周囲にある少なくとも1つの物体の位置を示す物体位置信号を受信するべく構成された第1の入力、および乗り物の操作者の目、顔、頭、および身体の動きのうちの少なくとも1つに関係する情報を包含する生理学的データを示す操作者移動入力信号を受信するべく構成された第2の入力を包含するコントロール手段を含むことができ、それにおいてコントロール手段は、操作者移動入力信号に基づいて操作者の凝視方向を見積もるべく構成され、かつ操作者によって受け取られる少なくとも1つの物体の視覚的入力のレベルを表わす視覚的入力品質値を、物体位置信号および見積もられた操作者の凝視方向に基づいて決定するべく構成される。システムのコントロール手段は、さらに、物体の4つのコーナ・ポイント等の物体に関連付けされた物体エリアを決定するべく構成することができ、当該物体エリアは、操作者によって知覚されるとおりの物体の物体エリアを示し、それにおいては品質値が物体エリアに基づいて決定される。さらにまた、操作者の異なる凝視方向についての確率を示す操作者の凝視分布、および/または中心凝視方向に関する操作者の目の視力レベルを示す視力分布を決定することによって物体に関連付けされた視覚的入力品質値を見積もることができ、それにおいて凝視分布および/または視力分布は、たとえば物体エリアにわたって畳み込みまたは積分される。
【0057】
その後、第4のサブシステム408内において、第2の時点における物体の状態についての運転者の期待を決定することによって方法ステップS8が実行される。物体の位置についての運転者の期待は、第1の時点における物体の位置についての運転者の期待を、第2の時点における物体の実際の位置とともに重み付けすることによって決定される。重み付け係数は変数であり、方法ステップS7において決定される。重み付け係数は、特定の物体についての運転者の現在の視覚的入力に依存し、それは第3のサブシステム406から獲得される。この例示的な実施態様においては、重み付け係数が、ユーザによって定義されたルックアップ・テーブルに従って0と1の間で変化することが可能である。高い視覚的入力の値、すなわち運転者が物体に多くの注意を向けている視覚的入力は、高い重み付け係数を与え、そのことは、運転者の期待が正しい物体位置に向けて収斂するであろうということを意味する。その逆に低い視覚的入力の値、すなわち運転者が物体にあまり注意を向けていない視覚的入力は、運転者が認識したその物体の最後の移動に従って運転者の期待が更新されるであろうという結果に帰結することになる。このことは、視覚的入力が低い間に物体がいずれかの方向において加速を開始した場合には、運転者がそれに気付かず、その物体の位置についての運転者の期待と現実の物体の位置との相関がますます悪化していくことを意味する。物体の移動についての運転者の期待は、期待された位置を入力として使用して第4のサブシステムにおいても行なわれる。運転者の期待における物体の位置の微分は、したがって、物体の移動についての運転者の期待になる。
【0058】
第5のサブシステム410においては、方法ステップS9が実行される。ここでは、第2の時点における物体の位置および移動についての運転者の期待が、たとえば、さらに詳細を後述する人間機械インターフェース(HMI)または第2のシステム500において入力データとして使用するために、そのシステムに対して送信することができる出力信号として提供される。この出力信号はまた、引き続く時点についての、第1のシステム400の第1のサブシステム402のための入力信号としても使用される。
【0059】
図7に第2のシステム500を図解するが、図解されている実施態様においてこれは、運転者の周囲にある物体に対する運転者の意識性を決定するべく構成されたシステムである。このシステムによって実行される方法は図10に図解されている。システム500は、物体の現実の状態と運転者が期待した物体の状態の間の相違を決定するための第1のサブシステム502と、物体に対する運転者の意識性を示す値を割り当てるための第2のサブシステム504と、物体に対する運転者の意識性を示す出力信号を提供するための第3のサブシステム506を包含する。
【0060】
使用においては、第1のサブシステム502が、第1のシステム400の第2のサブシステム404から入力データを、物体の状態を示す入力信号の形式で受信することによって方法ステップS10を実行する。第1のサブシステム502はまた、第1のシステム400の第5のサブシステム410から入力データを、物体の状態についての運転者の期待を示す入力信号の形式で受信することによって方法ステップS11も実行する。その後これらの入力データが使用されて、物体の現実の位置/移動と物体の位置/移動についての運転者の期待を比較することによって方法ステップS12が実行される。続いて現実の位置/移動と運転者が期待した位置/移動の間における相違の評価が、現実と期待の間の実際の相違、すなわちメートルで測定される位置の相違、メートル/秒で測定される移動の相違を比較すること、および現実から異なる期待のパーセンテージを計算することの両方によって行なわれる。
【0061】
第2のサブシステム504においては、第1のサブシステム502において決定された現実の位置/移動と位置/移動についての運転者の期待の間における相違に基づいて物体に対する運転者の意識性に値を割り当てることによって方法ステップS13が実行される。この例示的な実施態様においては、条件のうちのいくつかが真である場合にもっとも低い値を伴う1つが入力として選択されることになるように状態が優先順位付けされる。この例示的な実施態様においては、意識性のそれぞれのレベルについて次に示す評価基準が割り当てられる。すなわち、運転者が物体の存在を認識していない場合には0、運転者が物体の存在に気付いているが、その位置について非常に不正確な理解を有している場合には1、運転者が物体の位置についてわずかに不正確な理解を有しているか、かつ/またはそれの移動について非常に不正確な理解を有している場合には2、運転者は物体の位置について正しい理解を有しているが、それの移動についてわずかに不正確な理解を有している場合には3、物体の位置および移動についての運転者の期待が物体の実際の位置および移動と良好に相関する場合には4とする。
【0062】
第3のサブシステム506においては、第2のサブシステム504において決定された値、すなわち第2の時点における物体の位置および移動についての現実の位置/移動と運転者が期待した位置/移動の間の相違を示す値を示す出力信号を提供することによって方法ステップS13が実行される。この出力信号は、たとえば人間機械インターフェース(HMI)へ送信することができる。
【0063】
以上、物体の状態についての運転者の期待とその物体の実際の状態を関係付けるものとしてシステム400、500を説明した。実際上は、システム400、500が、運転者の環境内にある任意の関連する物体について同一の決定を行ない、各物体についてのそれぞれの出力信号を提供する。
【0064】
次に、使用時のシステム400、500の例を図解した図8a乃至cを参照する。図8aは、30秒の期間にわたる運転者のヨー角およびピッチ角を図解している。図8bは、運転者の乗り物と運転者の乗り物の正面にある乗り物の間における現実の相対的な位置、および運転者の乗り物と運転者の乗り物の正面にある乗り物の間における相対的な位置についての運転者の期待を、図8aと同じ30秒の期間にわたって図解している。図8cは、図8aおよびbと同じ30秒の期間にわたる見積もりによる運転者の意識性を図解している。
【0065】
図解された例において、約19.5秒までは運転者が先行する乗り物を一定して注視しており、その時点から数秒間にわたって運転者がよそを見ていることが図8aに示された頭のヨー角からわかる。運転者がよそを見た直後の約20秒において、先行する乗り物が制動を開始しており、そのことは、運転者の乗り物の正面にある先行する乗り物の状態についての運転者の期待が、現実の相対的な乗り物の位置と良好に相関しなくなったことを意味する。このことは、運転者の意識性の見積もりが約21秒において急速に減少していることにも現われている。その後、運転者の注目が先行する乗り物に向けて戻されると、先行する乗り物の状態についての運転者の期待がその乗り物の現実の状態に対して徐々に適合され、運転者の意識性の見積もりが高いレベルに回復する。
【0066】
図8a乃至cから、一定して運転者が先行する乗り物を注視しているにもかかわらず、約5秒および15秒において意識性が3まで減少していることも知ることができる。この理由は、先行する乗り物の加速および減速に運転者が気付くまでいくらかの時間を要するためである。約22および23秒においては、先行する乗り物の新しい位置および速度に対して運転者が調整するために要する時間に応じて意識性のレベルが急激に変化している。
【0067】
システム400、500のうちのいずれか1つからの出力信号、すなわち、第2の時点における物体の状態についての操作者の期待を示す信号、または第2の時点における物体の状態についての操作者の期待と第2の時点におけるその物体の状態の間の相違を示す信号は、乗り物内にあるいくつかの既存のシステム222に対する入力信号として使用することができる。たとえば、前方衝突警告システム、死角スポット警告システム、および車線外れ警告システムにおいては、警告のタイミングの適合、運転者の意識性のレベルに応じた警告のレベルの適合、運転者がシステムをオフにしている場合であっても実行される自動的な機能の付勢、または方向警告の適合にこの入力信号を使用することができる。適応型クルーズ・コントロール・システムにおいては、運転者の注意が道路上にないときに先行する乗り物までの距離をより長く調整するべくシステムを適合させること、または周囲の物体についての運転者の期待が低いときに制動能力を増加するべくシステムを適合させることができる。自動制動システムにおいては、運転者が周囲の交通に充分に気付いているときと比較して運転者が注意散漫な場合にはより早期に反応するべく自動制動システムを適合させることができる。当然のことながら、道路および/または周囲の交通に対する運転者の注意が極めて低い時に警告を発する注意散漫警告システムを実装することも企図できる。
【0068】
乗り物の周囲を監視するセンサの範囲内に到来しようとしている物体についての運転者の注意/意識性をより迅速に分類することを可能にするためには、ゾーンの概念が有用となり得る。乗り物の周囲にゾーンを定義することによって、未だセンサが物体を発見していない場合でさえ、そのゾーン内にある物体についての運転者の注意/意識性を見積もることが可能になる。その後、センサがそれを発見したときには、その物体についての未知の注意/意識性を与える代わりに、見積もりによる運転者の注意/意識性を直接その物体に割り当てることができる。
【0069】
ゾーンは、乗り物の周囲または内側にある任意のそのほかの物体と同様に3D物体として定義される。図5は、どのような形で乗り物の前方および内側のゾーンが定義できるかについての例を示している。しかしながら、図においては視覚化の簡明のために単に2D物体(X成分なし)だけが示されている。図5におけるゾーンは、どのようにゾーンが使用できるかの例に過ぎず、いくつかの応用については、乗り物の側方または後方のゾーンが有用となり得る。
【0070】
ゾーンは、運転者の視野内においてしばしば互いにオーバーラップすることがある。同時にいくつかのゾーン内を跨いで物体が存在することもある。その種の場合においては、現われている物体に対する運転者の注意/意識性の割り当て時に、異なるゾーンについての運転者の注意/意識性が一緒に、各ゾーン内の存在する物体の量に応じて重み付けされる必要がある。
【0071】
以上、特定の例示的な実施態様を参照して本発明の説明を行なってはいるが、多くの異なる変更、修正、およびその類が当業者には明らかなものとなるであろう。開示されている実施態様に対する変形が理解され、かつそれがもたらされることは、請求されている本発明の実施において、図面、開示、および付随する特許請求の範囲の考察から当業者によって可能である。
【0072】
たとえば、意識性の5つのレベルの選択は例証の目的によるものに過ぎず、ほかのレベル数が企図できる。
【0073】
さらに、本発明は、乗り物の環境を検出するためのカメラおよび/またはレーダ・センサの使用に限定されることはなく、ほかの周知の適切なセンサもまた、当然のことながら企図できる。
【0074】
説明されている実施態様は、すべての物体タイプをシステム内において同一の形で取り扱っている。しかしながら、物体のタイプに応じて異なる決定システムを提供することが適切となる可能性もあり、異なる物体のタイプは、必ずしも同一のタイプの移動パターンを呈しない。
【0075】
さらにまた、システム500内に信頼性の計算を含めることも企図できる。これは、たとえば、『楽天的』/『悲観的』意識性の見積もりを計算し、それらと通常の意識性の見積もりを比較してそれらがどの程度異なるかを調べることによって行なうことができる。楽天的な意識性の見積もりは、乗り物の操作者の見積もりによる視覚的入力に対していくらかの値(たとえば、1の標準偏差)を加算することを通じて達成され、意識性がどのようになるかをこの『楽天的』な意識性の見積もりを使用して計算することができる。同様に、悲観的な意識性の見積もりは、乗り物の操作者の見積もりによる視覚的入力値から同じ値(たとえば、1の標準偏差)を減じ、続いて結果としてもたらされる『悲観的』な意識性の見積もりを計算することによって獲得できる。乗り物の操作者の見積もりによる視覚的入力についての標準偏差が大きいことは、見積もりが不確かであり、かつ意識性の見積もりもまた同様に不確かとなることを意味するため、見積もりが異なるほど、意識性の信頼度が低くなる。
【0076】
さらに、特許請求の範囲内における用語『包含』は、そのほかの要素またはステップを排除せず、また複数であると明示していないことは、複数であることを排除しない。
【符号の説明】
【0077】
100 自動車、乗り物
102 座標系
104 外部センサ
202 乗り物の操作者
204 カメラ・システム、内部センサ
222 既存のシステム
302 座標系
304 操作者の顔
400 第1のシステム
402 第1のサブシステム
404 第2のサブシステム
406 第3のサブシステム
408 第4のサブシステム
410 第5のサブシステム
500 第2のシステム
502 第1のサブシステム
504 第2のサブシステム
506 第3のサブシステム
1000 道路
1001 トラック
1002 自動車、乗り物
1003 歩行者
1004 車線マーク

【特許請求の範囲】
【請求項1】
乗り物の操作者の環境内における物体の状態についての前記操作者の期待を決定するための方法であって、
− 第1の時点における前記物体の前記状態についての前記操作者の期待を示す入力信号を獲得するステップと、
− 第2の時点における前記物体の状態を、前記物体の状態を示す入力信号に基づいて決定するステップであって、前記第2の時点は前記第1の時点より後であるとするステップと、
− 前記第2の時点における前記操作者の見積もりによる視覚的入力を示す入力信号を獲得するステップと、
− 前記第1の時点における前記物体の前記状態についての前記操作者の期待、前記第2の時点における前記乗り物の前記操作者の前記見積もりによる視覚的入力、および前記第2の時点における前記物体の前記状態に基づいて前記第2の時点における前記物体の前記状態についての前記操作者の期待を決定するステップと、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待を示す出力信号を提供するステップと、
を包含する方法。
【請求項2】
物体の前記状態は、前記物体の位置、前記物体の移動、および前記物体の加速度のうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項3】
前記第2の時点における前記操作者の見積もりによる視覚的入力を示す前記入力信号は、前記乗り物の前記操作者の目、顔、および身体の動きのうちの少なくとも1つに関係する情報を包含する生理学的データを示す入力信号に基づいて決定される、請求項1または2に記載の方法。
【請求項4】
さらに、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待を決定するときに前記第1の時点における前記物体の前記状態についての前記操作者の期待および前記第2の時点における前記物体の前記状態の重み付けを行なう係数を決定するステップを包含し、
それにおいて前記係数は、
− 前記第2の時点における前記物体についての前記操作者の見積もりによる視覚的入力とあらかじめ決定済みの規則のセットを比較することによって決定される、請求項1乃至3のいずれか一項に記載の方法。
【請求項5】
第2の時点における乗り物の操作者の環境内にある物体についての前記操作者の意識性を決定するための方法であって、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待を、前記第2の時点における前記物体の前記状態についての前記操作者の期待を示す入力信号に基づいて決定するステップであって、前記入力信号が請求項1乃至4のいずれか一項に記載の方法を使用して提供されるものとするステップと、
− 前記第2の時点における前記物体の前記状態を、前記物体の状態を示す入力信号に基づいて決定するステップと、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待と前記第2の時点における前記物体の前記状態を比較するステップと、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待と前記第2の時点における前記物体の前記状態の間の相違を決定するステップと、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待と前記第2の時点における前記物体の前記状態の間の相違を示す出力信号を提供するステップと、
を包含する方法。
【請求項6】
乗り物の操作者の環境内における物体の状態についての前記乗り物の操作者の期待を決定するためのシステムであって、
− 第1の時点における前記物体の前記状態についての前記操作者の期待を示す入力信号を獲得するための手段と、
− 前記第2の時点における前記物体の状態を、前記物体の状態を示す入力信号に基づいて決定するための手段であって、前記第2の時点は前記第1の時点より後であるとする手段と、
− 前記第2の時点における前記操作者の見積もりによる視覚的入力を示す入力信号を獲得するための手段と、
− 前記第1の時点における前記物体の前記状態についての前記操作者の期待、前記第2の時点における前記乗り物の前記操作者の前記見積もりによる視覚的入力、および前記第2の時点における前記物体の前記状態に基づいて前記第2の時点における前記物体の前記状態についての前記操作者の期待を決定するための手段と、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待を示す出力信号を提供するための手段と、
を包含するシステム。
【請求項7】
物体の前記状態は、前記物体の位置、前記物体の移動、および前記物体の加速度のうちの少なくとも1つを含む、請求項6に記載のシステム。
【請求項8】
前記システムは、さらに、前記第2の時点における前記操作者の見積もりによる視覚的入力を、前記乗り物の前記操作者の目、顔、および身体の動きのうちの少なくとも1つに関係する情報を包含する生理学的データを示す入力信号に基づいて決定するための手段を包含する、請求項6または7に記載のシステム。
【請求項9】
さらに、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待を決定するときに前記第1の時点における前記物体の前記状態についての前記操作者の期待および前記第2の時点における前記物体の前記状態の重み付けを行なう係数を決定するための手段を包含し、
それにおいて前記係数は、
− 前記第2の時点における前記物体についての前記操作者の見積もりによる視覚的入力とあらかじめ決定済みの規則のセットを比較するための手段によって決定される、請求項6乃至8のいずれか一項に記載のシステム。
【請求項10】
前記乗り物の前記操作者の目、顔、および身体の動きのうちの少なくとも1つに関係する情報を包含する生理学的データを示す前記入力信号は、前記操作者を監視する画像センサを使用して生成される、請求項6乃至9のいずれか一項に記載のシステム。
【請求項11】
物体の前記状態を示す入力信号は、センサを使用して提供される、請求項1乃至10のいずれか一項に記載のシステム。
【請求項12】
物体の前記状態を示す入力信号は、物体対乗り物の通信手段を使用して提供される、請求項1乃至11のいずれか一項に記載のシステム。
【請求項13】
第2の時点における乗り物の操作者の環境内にある物体についての前記操作者の意識性を決定するためのシステムであって、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待を、前記第2の時点における前記物体の前記状態についての前記操作者の期待を示す入力信号に基づいて決定するための手段であって、前記入力信号が請求項6乃至12のいずれか一項に記載のシステムを使用して提供されるものとする手段と、
− 前記第2の時点における前記物体の前記状態を、前記物体の状態を示す入力信号に基づいて決定するための手段と、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待と前記第2の時点における前記物体の前記状態を比較するための手段と、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待と前記第2の時点における前記物体の前記状態の間の相違を決定するための手段と、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待と前記第2の時点における前記物体の前記状態の間の相違を示す出力信号を提供するための手段と、
を包含するシステム。
【請求項14】
乗り物の操作者の環境内における物体の状態についての前記操作者の期待を決定するためのコンピュータ・プログラム・プロダクトを具体化するコンピュータ可読媒体であって、前記コンピュータ・プログラム・プロダクトが、プロセッサによって実行されたとき、
− 第1の時点における前記物体の前記状態についての前記操作者の期待を示す入力信号を獲得するべく構成されたコードと、
− 前記第2の時点における前記物体の状態を、前記物体の状態を示す入力信号に基づいて決定するべく構成されたコードであって、前記第2の時点は前記第1の時点より後であるとするコードと、
− 前記第2の時点における前記操作者の見積もりによる視覚的入力を示す入力信号を獲得するべく構成されたコードと、
− 前記第1の時点における前記物体の前記状態についての前記操作者の期待、前記第2の時点における前記乗り物の前記操作者の見積もりによる視覚的入力、および前記第2の時点における前記物体の前記状態に基づいて前記第2の時点における前記物体の前記状態についての前記操作者の期待を決定するべく構成されたコードと、
− 前記第2の時点における前記物体の前記状態についての前記操作者の期待と前記第2の時点における前記物体の前記状態の間の相違を示す出力信号を提供するべく構成されたコードと、
を包含する、コンピュータ可読媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4a】
image rotate

【図4b】
image rotate

【図4c】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate