説明

運転者の障害を認識するための方法およびシステム

本発明は、自動車が影響を受ける障害に対する人の頭部運動および/または人の頭部運動反応を検出して評価することによって、特に居眠り、注意散漫および/または作業負荷によって生じる、特には自動車の運転者である人の障害および/または不注意を認識および/または検出するための方法およびシステムに関する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の頭部運動を検出して評価することによって、特に居眠り、注意散漫および/または作業負荷によって生じる、特には自動車の運転者である人の障害および/または不注意を認識および/または検出するための方法およびシステムに関する。
【背景技術】
【0002】
アメリカの研究(トリート(Treat)、1979年)によれば約90%もの大多数の交通事故は、運転者のミスによって発生する。運転者の不注意は、衝突事故の最も一般的な主因であり、事故の推定25〜55%を占めている(年間2500万件を越える牽引撤去事故を示すCDSデータベースのNHTSA研究による、ワング(Wang)ら、1996年)。実質的には、以下の3つの構成要素のうちの少なくとも1つが、運転者の不注意の原因である。すなわち、居眠り、注意散漫および/または作業負荷である。不注意によって生じる一般的な事故の種類および現場は、追突事故、交差点・車線変更/合流地点・道路分岐点での事故、さらには、単独車両事故または速度規制の緩い車道における事故である。
【0003】
さらに詳細に言えば、居眠りによって引き起こされる衝突事故は、非常に深刻な道路安全上の問題である。質問を受けた運転者の57%は、眠気を催したまま運転したことがあると語り、23%は、運転しながら実際に寝入ってしまったことがあると述べている(ジョンソン(Johnson)、1998年)。運転者は、疲労によって、いつ重大な注意力の欠如またはこらえきれない睡眠発作に至るまで正常に機能しなくなるのかを確実に見定めることができない(ワイリー(Wylie)ら、1996年;ブラウン(Brown)、1997年)。注意力の低下およびその後の居眠りの段階は、集中力および判断力を損なうものであり、結果的に、運転能力も低下させる(ウィリアムソン(Williamson)ら、2001年)。疲労は、全ての事故の2%〜23%に関わるものであると推定されている(ニップリング(Knipling)およびワング(Wang)、1995年)。これらの事故は、深夜または昼下がりに非常に多く発生する。それらは、典型的には、高速で車線または道路から逸脱する単独車両によるものであり、運転者がこれを回避しようと試みた徴候はない(NHTSA、1998年)。事故の場合の怪我は、重傷であることが多い。眠気を催した運転者は、追突および正面衝突事故にも、関与していることが多い(前掲書中)。運転者は眠気が事故を引き起こした要因であったと認識または承認することを嫌がる傾向があるので、これらの統計値は、おそらく実際の問題の過小評価であるに過ぎない(シュタッツ(Stutts)、ウィルキンス(Wilkens)およびヴォーン(Vaughn)、1999年)。
【0004】
さらになお、運転者は、運転に関係のない物事に注意を払うことが多い。これらの物事は、しばしば二次作業と呼ばれているものであり、注意散漫の潜在的な理由である。残念なことに、運転者は、注意散漫が運転作業に及ぼす影響を承知していないことがよくある(ボーズ(Boase)その他、1988年;スターン(Stern)その他、1996年)。その結果、注意散漫(視覚的な注意散漫と、精神的な注意散漫、すなわち見てはいるが意識してはいない状況とを含む)が少なくとも22.9%の事故の原因であると判明している(ワング(Wang)ら、1996年)。1996年以降、例えば、携帯電話、ナビゲーション装置、インターネット、eサービスのように、自動車の内部で使用され得る新しい情報システムおよび機能性が急速に増加して、市場に浸透してきている。注意を散漫にするこれらのものは、運転者の意識を過剰に集中させるため、注意散漫の原因に基づく衝突事故を潜在的に増加させ得る。
【0005】
一般的に、二次作業は、運転者の意識が運転の状況とは無関係である情報に集中するとき、以下のような程度まで、注意散漫(視覚的、聴覚的、精神的、認識的および生体力学的な注意散漫を含む)を引き起こす。
(a)運転の主要な制御作業のために不十分な注意力だけが残される程度、および/または、
(b)運転能力(例えば車線維持または速度制御)および安全性が危うくなる程度。
【0006】
最後に、作業負荷は、運転者の忙しさの程度と、運転者がすぐに実行する必要がある作業の労力とについて言及する。やるべきことがたくさんあるということ(「高い作業負荷」)は、注意すべき多くのこと(すなわち高い知覚的な要求)と、取り組むべき多くのこと(すなわち高い行動的な要求)とを生み出す。例えば、運転者の作業負荷は、上述のような二次作業の遂行(注意散漫)だけでなく、主要な運転作業の要求(例えば、道路および環境条件、交通、運転スタイル等に起因する)に関しても増大する。したがって、高い作業負荷の状況は、運転者が注意散漫になる可能性を増大させる。
【0007】
特許文献1は、運転者が運行中に1つ以上のアクチュエータによって積極的に相互作用する自動車のステアリングまたはその他の部分に刺激を与えることによって、運転者の覚醒度を監視するための方法および手段を開示している。この刺激に対する運転者の自然反応が、1つ以上のセンサによって検出され、運転者の冷静さに関する結論を出すべく衝撃自体と比較される。しかしながら、自動車のいかなる部分に対して刺激を与えることも、有害だとみなされる。さらになお、運転者の覚醒度は、連続的に監視され得るものでなく、そのような刺激が与えられる瞬間だけ監視され得る。
【0008】
2002年6月付の記事「操作およびシステムの実現可能性の原理(Principles of operation and system feasibility)」において開示されるように、運転者の覚醒度の判定に対するもう1つの方法は、スペリコン社(Spericon Ltd.)の「運転者の覚醒度表示システム(Driver alertness indication system)」(DAISY)である。このシステムによれば、自動車に対して付加され且つその進路に沿った自動車の運動を混乱させる外力の累積作用が検出され、自動車を道路上に維持するように作用する運転者の動作が分析される。混乱のパターンに対する運転パターンの分析は、運転者の覚醒レベルの連続的な判定を可能にする。しかしながら、運転者によって開始される運動(ステアリングホイールによる)と外部の混乱に起因する運動(ロードホイールによる)との間の必要な分離は、自動車のステアリングシステムにおける自由な遊びおよびタイムラグを考慮して評価されなければならないため、数学的および工学的技術の集約的利用だけでなく、複雑なアルゴリズムの適用も必要とされる。
【0009】
特許文献2は、「障害を受けた輸送自動車のオペレータシステム(Impaired transportation vehicle operator system)」と、運転者の頭部位置および頭部運動が3つの静電結合センサによって検出される関連方法とを開示している。各センサの出力信号は、オペレータの頭部運動データを記録し、追跡して、記憶された正常な頭部運動のプロファイルおよび正常に機能しない頭部運動のプロファイルと比較し、オペレータの障害を示す頭部運動を検出するマイクロプロセッサによって分析される。しかしながら、このシステムおよび方法は、どの形式の頭部運動が、正常プロファイルの一部であるのか、そして正常に機能しないプロファイルの一部であるのかを検出して、定量化することはできない。
【0010】
【特許文献1】国際公開第01/60254号パンフレット
【特許文献2】米国特許第5691693号明細書
【発明の開示】
【0011】
本発明の1つの目的は、例えばプロセスの監視時に、運転の安全性の低下に至る可能性のある、例えば自動車運転時の自動車運転者である人の障害および/または不注意(特に居眠り、注意散漫および/または作業負荷によって生じる)を検出または認識するための方法およびシステムを提供することである。
【0012】
本発明のもう1つの目的は、特には自動車運転者である人の障害および/または不注意のレベルを定量化するための方法およびシステムを提供することである。
【0013】
さらに、本発明のもう1つの目的は、頭部運動パターンに基づいて、特には自動車運転者である人の障害および/または不注意のレベルを定量化するために障害および/または不注意を検出または認識するための方法およびシステムを提供することである。
【0014】
これらの目的は、請求項1および6に記載の方法と、請求項14に記載のシステムとによって解決される。
【0015】
従属請求項は、請求項1,6および14のそれぞれに記載の方法およびシステムに関する有利な実施形態を開示している。
【0016】
本発明のさらなる詳細、特徴および利点は、以下のものを概略的に示している各図面に関連する本発明の例示的な実施形態に関する後続の説明から明らかになる。
【発明を実施するための最良の形態】
【0017】
以下では、本発明は、まず初めに、居眠りを認識するための好適な方法およびシステムの形態で説明されるものとする。
【0018】
本発明の方法およびシステムの基礎は、人は眠気を催すとき筋肉が弛緩状態になるということである。そのような眠気は、例えば、疲労および/またはアルコールおよび/または麻薬および/または薬および/または中毒等によって生じ得る。背景として、骨格筋の緊張は全てが、脊髄から来る神経インパルスに起因する。これらは、続いて、部分的には脳から伝達されるインパルスによって制御され、部分的には筋肉自体の中に位置する筋紡錘体を起源とするインパルスによって制御される。筋紡錘体のインパルスは、各々の筋肉からの情報の連続的なフィードバックを神経系に提供するものであり、長さ、緊張状態、さらには筋肉の長さまたは緊張が迅速に変化する様式など、それぞれの瞬間における各々の筋肉の状態を提示する。したがって、一般的に居眠りには、筋緊張の弛緩が伴うのである。特に首における筋緊張の消失、および混乱に対する反応の鈍さの結果、頭部は、より大きな運動の振幅を備えて、より大きく動き回り始める。この頭部運動の変化が、本発明による方法およびシステムによって定量化され得る。
【0019】
居眠りに関する以下の計測値は、その全てが絶対的または相対的な数値として使用され得る。絶対的な数値としては、計測値を、覚醒状態から睡眠状態までの尺度で眠気のレベルを表示するために採用する。相対的な数値としては、計測値を、運転者が覚醒している運転区域と比較したときの差違を示すために使用する。頭部運動は、人毎に相違し得るので、その方法は、正常すなわち覚醒している行動が、記録および/または分析され、定量化されて、比較のために使用される初期段階を有しても良い。その結果、この正常すなわち覚醒している行動からの逸脱の度合いが、眠気を表示するのである。
【0020】
一般的に、頭部運動のみから眠気を検出すること(本発明の第1の実施形態)と、混乱に関わる頭部運動の比較によって眠気を検出すること(本発明の第2の実施形態)とは、区別されるべきである。
【0021】
ここで、先行の段落において述べられた第1の実施形態が、さらに詳細に説明されるものとする。
【0022】
頭部運動は、一般的に、3つの頭部回転成分(ピッチ、ヨーおよびロール)と、軸x,yおよびzを備えたデカルト座標系に従った3つの頭部並進成分(Pos,Pos,Pos)とによって説明される。これらの6つの成分は、頭部運動を完全に説明する頭部運動信号HMOVEへと結合され得る。
【0023】
好ましくは、6つの信号成分の各々は、事前処理されて、計測値ノイズおよび運転者の長期の姿勢変化を除去する。これを達成する1つの方法は、本来、低い頻度のものである長期の姿勢変化を除去するために高域フィルタを使用し、信号ノイズを抑制または少なくとも軽減するために低域フィルタを使用することである。当然ながら、両方とも、1つの適当な帯域フィルタによって同様に達成されることも可能である。
【0024】
この事前処理の後、全体的な頭部運動HMOVEの包括的な計測値は、例えば、方程式(1.1)に従って、6つの自由度の関数として、さらにはそれらの1次および2次の時間依存性導関数として表現され、計算され得る。
【数1.1】

【0025】
この一般的な関数すなわちモデルは、様々な用途のために様々に選択され、調整され得る。例えば、包括的な頭部運動の計測値は、方程式(1.2)に従って規定されることも可能である。
【数1.2】

ここで、AからFは、様々な種類の頭部運動についての感度を決定し、したがって、計測値の感度も決定する重み係数である。
【0026】
この頭部運動信号HMOVEからの眠気の検出に関して、本発明の方法およびシステムは、正常領域中心点(NRCP)Xまたは正常領域(NR)の(第1の)基準計算に基づいており、それを利用する。NRによって取り囲まれるそのようなNRCPを示している図1を参照する。さらになお、第1、第2および第3の正常外領域ONR1,ONR2,ONR3が、NRを取り囲む同心円の形態で示される(図1は、2次元領域(例えばピッチおよびヨー運動)を示しているが、これは、例えば上述の全ての6次元にまで適用して、拡大され得る)。
【0027】
まず初めに、図1に示されたようなNRCPが、運転の初めの数分(例えば3分)またはある環境における運転の初めの数分(例えば3分)の間に上述のように計測された各々の頭部回転および頭部並進の信号成分に関して計算される。そのような計算の例示的な結果が、図3および図4に示されている。
【0028】
図3は、覚醒している複数の運転者に関する(具体例としての)水平方向および垂直方向の頭部回転に関連する信号成分の結果として生じる密度のプロットを示しており、図4は、眠気を催した複数の運転者に関するこの密度を示している。これらの両図面におけるx軸上では、垂直方向回転(頭部のピッチ運動の度数)の信号成分が示され、y軸上では、水平方向回転(頭部のヨー運動の度数)の信号成分が示されており、z軸上では、ビンまたはファンネル当たりのパーセントでこれらの運動の密度が示されている。図1および図2によるNRCPは、x=0およびy=0の各数値における点に対応する。
【0029】
図3は、好ましくはそれぞれの運転の初めの3分の間における12名の覚醒している運転者の頭部回転信号に関するそのような第1の基準計算の結果を示している。これと対比して、図4は、12名の運転者が眠気を催した場合に関する第2の計算(以下で説明されるような)の結果を示している。
【0030】
覚醒している運転者および眠気を催した運転者の両方に関して、NRCP(X)とみなされる信号成分の密度の明確なピークが存在している。NRCPは、運転者の障害および/または不注意から独立して生じるため、図3と図4を比較することによって、NRCPは、覚醒している運転者によって左右されるものではないという所見が明らかになる。
【0031】
第2に、図3および図4の異なった領域の間における信号成分の密度分布の変化が、居眠りとして分類され得る方法が評価される。最新の分布をもう1つの分布と比較するために、各々の個別の運転者に関して基本トラフが規定される。その基本トラフは、運転の初めの数分(または特定の環境における運転の初めの数分)の間の頭部運動に基づいて設定される。したがって、基本トラフに基づく相対的な計測値に関しては、運転者は、これらの較正のための初めの数分間、覚醒しており、麻薬の影響下にはないと想定しなければならない。絶対的な計測値に関しては、閾値が事前設定されており、較正周期は全く必要とされない。
【0032】
一般的に、基本トラフは、それが運転者のための運転者独立基準として使用され得るように、覚醒している複数の運転者に基づいて規定され得るものであるが、さもなければ、基本トラフは、関連システムによって監視されている各々の特定の(覚醒している)運転者のために個別に設定される。
【0033】
これらの計測のために使用されるセンサは、例えば、1台または2台のカメラおよびカメラの出力信号を処理するコンピュータソフトウェアに基づいた頭部および眼球追跡器である。そのセンサは、特には、3次元座標における頭部の位置および方向を計測する。当然ながら、その他の計測技術またはその他のセンサ(例えば赤外線センサ)も使用され得る。
【0034】
各々の領域(例えば図1によるNRCPおよび各々のNRおよびONR)内における頭部運動の分布を計算するために、(各々の頭部運動信号における)各々の信号成分は、その対応する領域内においてカウントされる。1つの領域内の信号成分(例えばPosおよびPos)が多ければ多いほど、この領域に関しては数値がより高くなり、その他の領域に関しては数値がより低くなる(各々の頭部運動信号に関しては全ての領域の合計が100%になる)。図1の各領域が図3および図4のx/y平面内に展開される場合、それらは、これらの2つの信号成分に関して、各々の領域内における水平方向および垂直方向の頭部運動の量を示す(ほとんどの運動は正常領域NR内にある)。図3および図4からは、各領域の間における分布が、覚醒している運転者と眠気を催した運転者の間では相当に異なっているということもまた明らかである。
【0035】
各領域は、ビン/ファンネルのグリッドの形態(図3および図4によれば長方形、円形であり、さもなければ、その他の形状を有する)を有するものであり、その分布は、ビン/ファンネルのサイズに基づいた信号成分に関する標準化ヒストグラムである。例えば、特定の信号成分に関しては、0と1の間の第1領域、1と2の間の第2領域および2と3の間の第3領域が規定され、0,5;1,1;2,4;0,9および0,3の各数値を有する信号成分の5つのサンプルが検討されると想定する。結果として生じる分布は、各数値の60%が領域1内にあって、各々の20%がそれぞれ領域2および領域3の中にあることになる。しかしながら、本発明によれば、このようにして評価される6次元のヒストグラム/分布が存在し、これらの分布の所定の「形状」が居眠りを示すものだと想定される。
【0036】
各々の頭部回転および頭部並進信号成分に関しては、各々のサンプルが、例えば0.98×0.98度(まっすぐ、すなわちゼロ点から+/−30度の場合に128×128)のファンネルサイズが使用され得る関連の(回転および並進)ファンネルに対して追加される。その後、各ファンネルの最頻値(ファンネル内における最大頻度を備えたサンプル)が、各々の回転および並進信号成分それぞれに関する正常領域中心点(NRCP)Xとして設定され、記憶される。
【0037】
その後、上述の第1(基準)の計算(それによって、NRCPまたはNRが計算された)が、複数の第2の計算として、所定の時間間隔を備えて好ましくは周期的に繰り返される。後続の第2の計算に関する各々の結果は、第1の計算と比較される。両者の間における相違が所定の数値を超過する場合、運転者は、眠気を催していると想定され、信号が出力されるか、または警報装置が起動される。なお、それは、連続して計算される分布である。この目的のためには、例えば運転に関する過去の分またはその他の時間間隔に焦点を絞り、この時間間隔の前に生じた内容を無視するができるスライド式時間窓が使用される。その後、連続して計算された分布は、基準分布(または事前に規定された「覚醒」分布)と比較される。その相違が所定の閾値を超過するとき、または連続して計算された分布が所定の基準形状から逸脱しているかまたはある所定形状を有しているとき、運転者は眠気を催していると想定される。
【0038】
本件の開示において、「スライド式時間窓」は、信号と共にスライドする窓である。新しいサンプルが追加されると、時間窓内の最も古いサンプルは、削除される。全ての計測値は、スライド式時間窓内部のサンプルに基づいて計算される。
【0039】
図2において示されるように、正常外領域ONR1,ONR2,ONR3は、それぞれ、2から9、10から17、および18から25の小領域にさらに分割されても良い(領域1は正常領域NRであるとみなされる)。これにより、ファンネル/ビンの個数およびそれらの形状およびサイズは、図1に示された分割とは異なり得る。これは、一定の信号成分に関する所定の分布を評価して比較するために有益であり得る(例えば、水平方向および垂直方向の頭部回転に関する図3および図4の事例)。
【0040】
正常領域計測値パーセント(PNR)を評価する場合、まず初めに、スライド式時間窓(例えば60ヘルツの更新周波数を備えた1分の時間窓)内部の各々のサンプルが、正常領域判定基準に基づいて、「1」、すなわち正常領域(NR)内に位置しているか、または、「0」、すなわち正常外領域(ONR)に位置しているものとして分類される。正常領域判定基準は、例えば、正常領域中心点Xからの距離をとって、例えば、頭部の回転位置に関しては5度、および/または頭部の並進位置に関しては例えば図1において示されたような第1の正常領域NRを表示する正常領域中心点Xの周りにおける半径として5cmであるように、切捨て閾値を設定することによって計算される。
【0041】
当然ながら、様々な閾値を備えた数個の正常領域判定基準が設定可能であり、それぞれに、関連する閾値に対応する半径を有する、第2の正常領域NR2、第3の正常領域NR3、第4の正常領域NR4等を導くことになる。
【0042】
切捨て閾値は、例えば、正常領域中心点Xからの1つの標準偏差内のデータとしても規定され得るものであり、またはクラスタリングアルゴリズムによって別途指定されることも可能であり、それによって、同様に正常領域NRが非円形であることを可能にする。
【0043】
ここでもまた、切捨て閾値内のサンプルは、「関連の正常領域内(NR)」として分類され、そこから出るサンプルは、「関連の正常領域外(ONR)」として分類される。
【0044】
次のステップにおいて、パーセントの計算は、関連の正常領域NR内部のデータポイントの個数を時間窓内のデータポイントの総数で除算し、例えばその結果に100を乗算することによって行われて、正常領域計測値パーセント(PNR)が得られるようになる。
【0045】
正常領域計測値パーセント(PNR)以外にも、最頻道路中心値(SD−MRC)から正常領域中心点までの距離の標準偏差(SD_DNRC)が、その平均値が最頻値に代替されることを除いて、標準偏差公式に従って、上述のものと同じ時間窓内において計算され得る。
【0046】
より詳細に言えば、NRCPと最新の信号数値との間の距離(DNRCと呼ばれる)の標準偏差(SD)が計算される。しかしながら、SD−公式において使用される通常の平均値は、最頻値すなわちNRCPに代替されなければならない。その計算は、スライド式時間窓の内部に含まれる限られた量のデータに関して実行される。その結果、それは、DNRCのRMS(二乗平均平方根)になる。例えば覚醒している運転者のSDの2倍である閾値が設定され、その閾値が到達または超過されると、その運転者は、眠気を催していると想定される。
【0047】
【数1.3】

【数1.4】

公式(1.3)におけるRは、HMOVEおよびNRCPを形成するために幾つの信号成分が使用されたかに応じて、N=1,2,3,4,5,6,7,8,・・・である、次元Nの実数である(複素数ではない)。したがって、公式(1.4)におけるR(すなわちR)は、1次元の実数である。
【0048】
方程式(1.3)において、HMOVEは、例えば公式(1.5)に従って規定され得る。
【数1.5】

ここで、AからFは、重み係数である。
【0049】
その後、眠気は、正常領域NR;NR1,NR2,・・・および/または正常外領域ONR1,ONR2,・・・およびセグメント2,3,・・・25の間における頭部運動の分布のパターン認識(例えばニューラルネットまたは統計による)に基づいて計算された。覚醒している運転者は、図1または図2による各領域内において、眠気を催した運転者と比較して異なった分布を有する。
【0050】
より詳細に言えば、各々の瞬間の時間に関して且つ各々の運転者に関しては、様々な領域NR,ONR内における頭部運動の独特な分布が存在する。各々の分布は、運転者が過去X分(スライド式時間窓の長さに従属する)の間にその頭部の動き方を示している。眠気を催した運転者の分布は、覚醒している運転者とは相当に異なると想定される(ここでもまた、図3および図4を参照)。眠気を催した運転者の分布を有する運転者を分類するためには、パターン認識方法が使用される。図4によれば、眠気を催した運転者は、図3による覚醒している運転者と比較して信号成分の密度に関してはるかに不鮮明な分布を有する。
【0051】
非常に単純な具体例では、眠気は、所定の円(図3および図4ではx/y平面内に配置される)の外側における頭部運動の所定数値X%を有するものとして規定されても良い。図3および図4は、2次元のみを示しているが、分布および認識は、例えば、頭部運動および頭部回転の両者だけでなく、頭部運動の速度または角速度も分析して、N次元(信号成分)において実行され得る。
【0052】
図5は、ヘルツ周波数(x軸上において示される)に関して覚醒している運転者(曲線A)と比較される眠気を催した運転者(曲線B)の垂直方向頭部回転(ピッチ運動)のパワースペクトル密度(y軸上において示される)のプロットを示している。
【0053】
図6は、覚醒している運転者(曲線A)と比較される眠気を催した運転者(曲線B)の垂直方向頭部位置(並進運動)のパワースペクトル密度に関するプロットを示しており、図7は、ここでもまた、覚醒している運転者(曲線A)と比較される眠気を催した運転者(曲線B)に関して、好ましくは前後の方向における運動成分から成る、水平方向(深さ)の頭部位置(並進運動)のパワースペクトル密度に関するプロットを示している。図6および図7におけるy軸は、ここでもまたパワースペクトル密度が表示され、図5および図6のx軸は、ヘルツ周波数が表示されている。
【0054】
図5から図7は、眠気を催した運転者の頭部運動の全般的な増大を示している。より詳細に言えば、曲線Aは、それぞれ20分にわたって運転する12名の覚醒している運転者の頭部運動の周波数成分を表示している。図5から図7において、覚醒している運転者は、全ての周波数にわたって、より少ない頭部運動を示している。
【0055】
眠気を催した運転者のデータは、20分毎のブロックにおいて計測された(例えば、眠気ブロック(DB)1が12名全員の眠気を催した運転者の最初の20分を示し、眠気ブロック(DB)2が次の20分を示している、等である)。そのようなDB1からDB4(この具体例では、DB1の終了の40分後に始まり、20分にわたって継続する)からのデータにおける傾向は、眠気を催した運転者が作業時間によって影響を受けることを示している。運転者はそれに応じて、より長く運転していることになるため、DB1からDB3までの頭部運動には全般的な増大が存在することが計測された。しかしながら、この傾向は、DB4がDB3よりもわずかに下であるが、それでもDB2より上のレベルを有するように、逆転されることもある。この理由は、旅程が終りになることを運転者が予期し、その結果、旅程の終点に向かってわずかに用心深くなるからであろう。図5から図7における曲線Bは、1から4のそのような全ての眠気ブロック(DB1からDB4)の合計としてのパワースペクトル密度曲線を示している。これらのDB1からDB4の眠気ブロックの曲線は、図5から図7では破線で示されている。
【0056】
各DBにおけるデータの提示は、眠気の増大に従って増大する頭部運動の傾向の説明を提供している。図示の曲線Bは、図3および図4において示されたものと同じデータに対応するパワースペクトル密度内容を示している。
【0057】
これらのパワースペクトル密度データは、運転者が眠気を増すにつれて実際に頭部運動の増大が存在することを示す強力な証拠を提供する。
【0058】
もう1つの選択肢は、眠気に関するリアルタイムの計測が実行され得るように、リアルタイムベースでパワースペクトル密度データを計測することである。この目的のために、パワースペクトル密度データは、例えば図5から図7において示されたような周波数の全体またはこれらの周波数の部分集合にわたってリアルタイムで計算され得る。
【0059】
本発明による方法およびシステムの第2の実施形態は、混乱の場合における頭部運動反応を比較することによって眠気を検出するために提案されており、ここで、より詳細に説明されるものとする。
【0060】
一般的に、運転者は、眠くなればなるほど、この事例では混乱に対抗しようと努める頭部運動を意味する調節的な頭部運動の制御を失うものである。その混乱とは、横風、荒れた路面、または車両自体によって誘発される単純な運動(トラックでは一般的である)であっても良い。基本的な原理は、混乱および運転者の調節的な頭部運動を計測することである。頭部運動反応(HMR)計測値であるこれらの信号(混乱および反応)の間の相違は、運転者がどのように混乱を補正するかについての推定値である。覚醒している運転者は、より速く、より正確且つ吸収的な反応を有するものであるが、眠気を催した運転者は、より遅く、より不正確且つより大きくずれた振幅を備えたずさんな反応を示す(<<首のグラツキ>>)。その結果、眠気を催した運転者の場合は、混乱と反応の間の相違がより大きいのである。
【0061】
まず初めに、混乱自体が計測されなければならない。これは、例えば以下のような数多くの様式(またはこれらの組合せ)で実行され得る。
−例えば背景に対する身体運動または遊離した物体である、カメラ視野における物体の動的特性を計測すること。
−加速度センサ(例えば座席内に配置される)を使用して運転者に作用する力を計測すること。
−トラックの残りの部分と比較した車室のエアサスペンションおよび傾斜角度を計測すること。
−ステアリングホイールの運動を計測すること。
【0062】
混乱に対する反応は、頭部運動の中に含まれる(頭部運動は、刺激駆動[反応]または目標駆動[意図的なもの]のいずれであっても良い)。混乱に対する頭部運動反応(HMR)は、例えば以下のような多数の様式において確認され、フィルタ処理され得る。
−閾値トリガーが、混乱信号に対して設定され得る。反応は、一定の閾値より大きい混乱に関してのみ計算される。その結果、その計測は、プローブベース(プローブが混乱である)であり、連続的な信号に基づくものではない。
−頭部運動は、自動車が所定の時間周期にわたって且つ所定の速度閾値を越えて相当にまっすぐ走行している場合にのみ使用され得るのであり、すなわち、方向転換して新しい道路に進入したり、ロータリーを周回したり、または市街地を走行している間は使用され得ない。
−頭部運動は、車線を変更する信号表示の際には無視されるべきである。
【0063】
最後に、GPSおよびマップ対応データおよび/または統計パターン認識データの組合せは、環境を規定するために使用され得るものであり、自動車が相当にまっすぐ走行または進行しているか否かを評価し、混乱が使用され得るかまたは使用されなければならないときおよび使用されないときを評価するために使用され得る。
【0064】
上述のように、HMR計測値は、混乱および反応の関数である。
【数2.1】

【0065】
混乱は、運転者に作用する力であり、反応は、頭部運動に関する運転者の応答反応である。HMR関数は、例えば、以下のように規定されても良い。
−反応と正常領域中心点(NRCP)Xとの間における(例えば転位に関する)相違。その相違は、眠気を催した運転者の場合は、覚醒している運転者の場合よりも大きい。
−反応と正常領域中心点Xとの間における相違のRMS(二乗平均平方根)数値。ここでもまた、低いRMS数値は、頭部運動が有効に制御されていて、運転者が覚醒していることを示す。高いRMS数値は、眠気を催した運転者を示す。
−HMRのパターン認識。
−混乱に反応する頭部運動の基準モデルと同じ混乱に反応する頭部運動計測値との間における誤差。この誤差は、眠気の量を示す。覚醒している運転者の混乱に応答する頭部運動は、例えば、上側接合部および底部における下側接合部によって連結される2本の棒の頂部における質点質量の物理的モデルであっても良く、それは、頭部および脊椎の単純なモデルである。下側接合部は運転者の座席との接触を示し、下側の棒は胴体を示し、上側接合部は首を示し、質点質量は頭部を示している。運転者の環境(トラック運転台)における混乱は、計測されて、モデルに対して導入され、それが結果としてモデル化された頭部運動を生じ、続いて、それが頭部運動計測値と比較される。そのモデルは、覚醒しているときの運転者として反応するように調整される。衝突実験のダミーのようなモデルが使用されても構わない。
【0066】
本発明による方法およびシステムの第3の実施形態に従えば、運転者の注意散漫が、上述の方法を以下のような様式で適用することによって認識され得る。
【0067】
特にはトラック、バス、トレーラーにおけるものであるが、小型自動車においても、運転台または車室内部の統合システムとの相互作用は、大きな眼球運動(道路の中心とシステムの間の前後方向)を要求することがあり、それには、しばしば、同じ方向における前後の小さな頭部運動が随伴される。これは、サイドミラーのチェックおよび肩越しのチェックに対しても当てはまる。これらの頭部運動は、注意散漫にさせる作業として指定され分類され得るものであり、上で説明されたように検出されて評価されても良い。
【0068】
本発明による方法およびシステムの第4の実施形態に従えば、運転者の作業負荷は、頭部運動の量に関して作業負荷が定量化され得るという事実を考慮して、上述の方法を適用することによって、認識され得る。以下の2つの方程式が、このことを例証する。
【数4.1】

【数4.2】

SDは標準偏差を表わし、RMSは二乗平均平方根を表わし、HMOVEは、方程式(1.2)において例証されたように規定されても良い。
【0069】
方程式(4.1)および(4.2)は、数秒(例えば4秒)のスライド式時間窓の全体にわたって計算される。これらの計測値が、作業負荷の連続的な定量化を算出する。閾値は、好ましくはブール数値を入手するために使用され得るものであり、すなわち、高作業負荷または低作業負荷および高作業負荷から低作業負荷への遅延が数値のちらつきを防止するために使用される。絶対値に関する高い重み係数の使用(方程式1.1)は、例えばピッチおよびヨー運動の両者によって構成される中心スタックに向かう指向性運動である頭部運動を説明するために使用される数個の条件の同時変化に対して推定値をより敏感にさせ、主としてヨー運動である道路の湾曲によって生じる頭部運動に対しては余り敏感でないようにさせる。信号の動力学は、時間窓の長さおよび/または重み係数の大きさを調節することによって調整され得る。1つの閾値およびブール数値の代わりに、複数の閾値が、それに応じた作業負荷の数個のレベルを入手するために使用されても良い。
【0070】
頭部位置および頭部回転に関する時間依存性導関数が、作業負荷を検出するために類似の様式で使用されることも可能である。例えば、速い頭部運動は、遅い頭部運動よりも高い作業負荷を示すことになる。
【0071】
本発明は、自動車の運転者に対してだけでなく、航空機のパイロット、航空交通管制官、機関士、または、寝入ってしまわずに警戒していなければならず、じっと静かに座っていて、ほとんどの時間にわたって同じ方向を見ていなければならないあらゆる人物に対しても適用可能である。
【0072】
本件の開示において説明された計測値の全ては、例えばスマートカードである運転者身分証明チップ上に個別の特殊データ(例えば覚醒状態に関する所定の頭部運動信号成分の密度分布)をセーブすることによって個別化されても良い。
【0073】
図8は、信号密度の覚醒分布(またはそのような密度の事前記憶分布)を頭部運動に関する関連信号密度の最新の分布と比較することによって単純に居眠りを検出する、本発明による方法の第1の実施形態に関する概略的なフローチャートを示している。
【0074】
図8における構成要素は、以下の通りに表示される。
矢印H:運転者の頭部運動信号(前述のように全ての6つの成分)の入力。
1:ノイズ抑制および姿勢の影響の除去を包含する事前処理段階。
2:運転者に特有なシステムパラメータを初期化するための初期化・適応ブロック(これは、連続的な適応も含み得る)。
3:覚醒している初期化周期(または覚醒している運転者の所定の頭部運動分布の適応性)に関する頭部運動分布の計算。このステップは、所定の時間周期の後に休止され、その後、覚醒している運転者のための基準分布として機能する。
矢印E:初期化が完了したとき眠気の計算を可能にする。
4:運転の所定の過去X分(「スライド式時間窓」)にわたって構成要素1によって送られる運転者の事前処理頭部運動信号に基づいた、頭部運動信号分布の連続的な計算。
5:最新の頭部運動信号分布を覚醒している運転者の頭部運動信号分布と比較すること。この構成要素は、運転者が眠気を催していると考えられるときのための判定基準および/または閾値を含む。
矢印O:連続的または離散的な眠気数値の出力。
【0075】
図9は、混乱の場合における頭部運動反応を比較することによって眠気を検出する、本発明による方法の第2の実施形態に関する概略的なフローチャートを示している。
【0076】
図9における構成要素は、以下の通りに表示される。
矢印H:運転者の頭部運動信号(前述のように全ての6つの成分)の入力。
1:ノイズ抑制および姿勢の影響の除去を包含する事前処理段階。
2:運転者に特有なシステムパラメータを初期化するための初期化・適応ブロック(これは、連続的な適応も含み得る)。
矢印E:初期化が完了したとき眠気の計算を可能にする。
矢印D:混乱信号(例えば加速度計の信号)の入力。
3:プローブトリガーおよび/または運転者の単純な基準モデル。どの混乱が使用できるほど大きい(且つ所定の数値を超過する)のかと、どれが比較構成要素5に送られるのかが決定される。当該構成要素3は、運転者の単純な基準モデル(例えば前述のような機械的モデル)も同様に含む。混乱Dが、モデルに対して適用され、続いて、その出力(シミュレーションされた頭部運動)が、比較構成要素5に対して送られる。
矢印P:計測値の比較および/または計算を行うべきときを示すトリガー信号。
4:運転の所定の過去X分にわたる頭部運動計測値(頭部運動分布を含む)に関する連続的な計算。
5:最新の頭部運動計測値をモデル化された頭部運動分布と比較すること。この構成要素は、この比較と頭部運動および混乱計測値の数値とに基づいて、運転者が眠気を催していると考えられるときのための判定基準および/または閾値を含む。
矢印O:連続的または離散的な眠気数値の出力。
【図面の簡単な説明】
【0077】
【図1】頭部運動の正常領域および正常外領域の概略図である。
【図2】頭部運動の正常外領域内における小領域の概略図である。
【図3】覚醒している運転者の水平方向および垂直方向の頭部回転に関する密度のプロットである。
【図4】眠気を催した運転者の水平方向および垂直方向の頭部回転に関する密度のプロットである。
【図5】眠気を催した運転者と比較した覚醒している運転者の垂直方向の頭部回転に関する第1のパワースペクトル密度のプロットである。
【図6】眠気を催した運転者と比較した覚醒している運転者の垂直方向の頭部位置に関する第2のパワースペクトル密度のプロットである。
【図7】眠気を催した運転者と比較した覚醒している運転者の水平方向(深さ)の頭部位置に関する第3のパワースペクトル密度のプロットである。
【図8】本発明による方法の第1の実施形態に関する概略的なフローチャートである。
【図9】本発明による方法の第2の実施形態に関する概略的なフローチャートである。

【特許請求の範囲】
【請求項1】
3つの頭部回転成分のうちの少なくとも1つおよび/または3つの頭部並進成分のうちの少なくとも1つに基づいて、人の頭部運動を検出して評価することによって、人の障害および/または不注意を認識および/または検出するための方法において、
−人が障害および/または不注意の基準レベルを有する最初の時間間隔の間に、少なくとも一つの成分の基準密度パターンを評価するための最初の計算をし、
−少なくとも一つの第2の時間間隔の間に、少なくとも一つの成分の実際の密度パターンを評価するための少なくとも一つの第2の計算をし、
−実際の密度パターンと基準密度パターンとを比較し、両者のパターンの間における相違を評価し、その相違が所定の数値を超過する場合に信号を出力する、各ステップを含むことを特徴とする方法。
【請求項2】
基準密度パターンは、計測された成分のサンプルの最大密度を含む正常領域または正常領域中心点の形態において評価されることを特徴とする請求項1に記載の方法。
【請求項3】
1つまたは複数の閾値が、1つまたは複数の正常領域のそれぞれを規定するために事前に決定されることを特徴とする、請求項2に記載の方法。
【請求項4】
それらの閾値は、正常領域中心点からの標準偏差に関して規定されることを特徴とする、請求項3に記載の方法。
【請求項5】
実際の密度パターンを基準密度パターンと比較することが、様々な正常領域および/または少なくとも1つの正常領域の各セグメントの両者の間における相違を評価することを含むことを特徴とする、請求項3に記載の方法。
【請求項6】
人の頭部運動反応を引き起こす外部の混乱によって物体または自動車が影響されるか影響を受ける、特には自動車である物体に対して作用的または反応的に関連付けられる、特には自動車の運転者である人の障害および/または不注意を認識および/または検出するための方法において、
−外力によって物体または自動車に対して付加される混乱を検出し、
−3つの頭部回転成分および/または3つの頭部並進成分のうちの少なくとも1つに基づいて、混乱に対する人の頭部運動反応を検出し、
−頭部運動反応と所定の基準頭部運動反応または先行の混乱に際して記憶された先行の頭部運動反応との間における相違を評価し、
−その相違が所定の数値を超過する場合に信号を出力する、各ステップを含むことを特徴とする方法。
【請求項7】
その物体が自動車であり、混乱を検出することが、
−自動車内部における各物体の動的特性と、
−人に作用する加速力と、
−特にはトラックの場合に自動車の残りの部分と比較した車室のエアサスペンションおよび傾斜角度と、
−ステアリングホイールの運動とから成る各数値のうちの少なくとも1つを計測することを含むことを特徴とする、請求項6に記載の方法。
【請求項8】
頭部運動反応を検出することが、
−混乱信号に関する閾値を事前に規定して、その混乱が閾値を超過する場合に頭部運動反応を評価し、
−自動車が実質的に所定の時間周期にわたって且つ所定の速度閾値の上において実質的にまっすぐな方向において走行している場合に頭部運動を評価し、
−自動車が実質的に所定の時間周期にわたっておよび/または所定の速度閾値の上において実質的にまっすぐな方向において走行していない場合には頭部運動を無視する、各計測および各評価のうちの少なくとも1つをそれぞれ含むことを特徴とする、請求項6に記載の方法。
【請求項9】
実質的にまっすぐな方向における走行および/または自動車の速度が、GPSおよびマップ対応データおよび/または類似のナビゲーション/位置推定システムおよびデータに基づいて評価されることを特徴とする、請求項8に記載の方法。
【請求項10】
頭部運動反応を検出することが、GPSおよびマップ対応データおよび/または類似のナビゲーション/位置推定システムおよびデータに基づいて、起動されおよび/または停止されることを特徴とする、請求項8に記載の方法。
【請求項11】
相違の評価が、
−反応と標準領域中心点の間における相違と、
−反応と標準領域中心点の間における相違のRMS(二乗平均平方根)数値と、
−混乱に反応する頭部運動のモデルと同じ混乱に反応する頭部運動計測値との間の誤差とから成る各計測のうちの少なくとも1つを含むことを特徴とする、請求項6に記載の方法。
【請求項12】
頭部運動の評価が、人の居眠りおよび/または注意散漫および/または作業負荷を検出するために行われることを特徴とする、請求項1または6に記載の方法。
【請求項13】
3つの頭部回転成分および/または3つの頭部並進成分のうちの少なくとも1つの量および/または時間依存性導関数に基づいて人の頭部運動を検出して評価することによって、人の作業負荷を認識および/または検出することを特徴とする、請求項12に記載の方法。
【請求項14】
請求項1または6に記載の方法を実行するためのシステム。
【請求項15】
プログラムがプログラム可能なマイクロコンピュータにおいて実行されるとき、請求項1乃至13のうちの少なくとも1つに記載の方法を実行するように適応されるコンピュータプログラムコード手段を含むことを特徴とする、コンピュータプログラム。
【請求項16】
インターネットに接続されるコンピュータにおいて実行されるとき、請求項14に記載のシステムまたはその構成要素のうちの1つに対してダウンロードされるように適応されることを特徴とする、請求項15に記載のコンピュータプログラム。
【請求項17】
請求項15に記載のコンピュータプログラムコード手段を含むことを特徴とする、コンピュータで使用可能な媒体上に記憶されるコンピュータプログラム製品。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公表番号】特表2007−524134(P2007−524134A)
【公表日】平成19年8月23日(2007.8.23)
【国際特許分類】
【出願番号】特願2005−510871(P2005−510871)
【出願日】平成15年11月30日(2003.11.30)
【国際出願番号】PCT/EP2003/013480
【国際公開番号】WO2005/052878
【国際公開日】平成17年6月9日(2005.6.9)
【出願人】(502196511)ボルボ テクノロジー コーポレイション (52)
【Fターム(参考)】