乗員検出システム
カメラ(32)は、光源ポジショナ(28)により配置された光カーテン(18)により物体上に投射された光ストライプ(22)の連続画像を取り込む。これから背景画像を差し引き(616)、得られた画像をビニング(618)により強調し、閾値アルゴリズム(620)により2値化し、細線化し(622)、補間し(624)、そして格納する(626)。補間画像は、複数の光ストライプ(22)について取り込む。プロセッサ(30)は、非ゼロカメラピクセルについて計算した直交座標から3D表面モデルを生成する(1604)。容量表示は、近接表面、例えば着座表面(24)のモデルに対する、物体表面のオフセットから決定する(1610)。物体は、例えば訓練可能パターン認識システムによって、3D表面モデルの3D形状デスクリプタ(1606)および容量表示(1610)またはその一部(1612)に応答して分類される(1614)。車両(12)内の乗員(14)の検出は、安全拘束システム(36)の制御に用いることができる。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
2001年6月15日に「乗員センサー」の名称で出願された米国出願第09/882,959号(「出願959」)、および2002年4月24日に「乗員検出システム」の名称で出願された米国出願第10/132,349号(「出願349」)は、本明細書に参照として組み込まれる。
【0002】
態様の記載
車両は、乗員の傷害を軽減する目的で、車両の衝突に応答して作動する安全拘束アクチュエータを含むことができる。かかる自動安全拘束アクチュエータの例は、エアバッグ、シートベルト・プリテンショナ、およびサイドカーテンを含む。自動拘束システムの1つの目的は、乗員の傷害を軽減であり、これにより自動拘束システムが作動されなかった場合に衝突から生じる傷害よりも、自動拘束システムの作動によって傷害をより軽くすることである。一般に、傷害を軽減することが必要な場合にのみ、自動安全拘束システムを作動させることが望ましく、これは、安全拘束システムに付随する部品の入替え費用のため、およびかかる作動が乗員を傷つける可能性があるためである。自動拘束システムは動的抑制からの利益を得ることができ、この動的抑制は、衝突前のブレーキをかける状況または連鎖的な衝突事象において、エアバッグまたは他の安全デバイスを無効にすることが可能である。そして、種々の物体を検出して分類できる、改善された乗員検出システムの必要性が存在し、これは、衝突前ブレーキまたは衝突条件のもとで、自動拘束システムの予期される展開の直前に、自動拘束システムの展開による傷害の危険にあいそうな位置に乗員がいるかどうかを十分早く検出できる、乗員検出システムである。
【0003】
図1を参照すると、車両12に組み込まれた乗員検出システム10は、車両のシート16上の乗員14または物体を、光カーテン(幕)18をシート16の前の領域20にわたって走査すること、光カーテン18とそれによって照射された物体との交差点に形成された、得られた光ストライプ(帯)22を画像化すること、前記光ストライプ22が位置する表面24のプロファイルを計算すること、およびこれに応答する、対応するシート占有条件を分類することにより、検出する。光カーテン18は光源26によって生成され、該光源は、プロセッサ30からの信号に応答して、光源ポジショナ28により姿勢制御される。カメラ32は、光源の順次の作動および変位に応答して、光カーテン18により照射された物体からの光ストライプ22の反射の連続的な画像を取り込む。連続的な画像はプロセッサ30のメモリ34に取り込まれ、これに応答して例えばエアバッグインフレータ36.1などの安全拘束システム36を制御する目的のために、分類される。
【0004】
図1は、例示の態様に関連する直交座標系を示し、ここでY軸は車両12の長さ方向の軸に平行に配置され、後方が正であり;X軸は、車両12の横軸に平行に配置され、右側、すなわち、助手席側のドアが正であり;Z軸は、車両12の垂直(高さ)方向の軸に平行に配置され、下向きが正である。座標系の原点はカメラレンズ38であるが、図1では、図中の混乱を避けるために、座標系の交点はカメラ32からずらせて示す。
【0005】
光源26は、例えば平面などの表面に沿って光カーテン18を生成し、これは、例えばレーザーなどの1つまたは2つ以上の光発生装置、または、光源26の1つまたは2つ以上の光発生装置によって発光される光から光カーテン18を形成するよう適合された変換要素と反応する、1つまたは2つ以上の発光ダイオード(LED)を用いて、生成する。1つの態様において、以下にさらに十分に記載されるように、光源26の光発生装置は複数の発光ダイオード(LED)を含み、このLEDは、眼を保護する他の形態なしで眼に安全に適合されている、裸眼には見えない近赤外線を生成し、これによって、レーザーに基づく照射に付随する可能性のある規制上および安全上の問題を回避する。光源26はまた、付随する画像処理アルゴリズムに関連して適合されており、以下にさらに十分に記載されるように、乗員14が直射日光に照射されている条件、すなわち、乗員検出システム10がその下で動作すべき可能性のある条件のもとでも検出可能な、十分な照明を提供する。車両の内部での組織的な照明(structured lighting)の使用は難しい課題であり、なぜならば、直射日光の条件下で投射線を回収するのが困難だからである。カメラ32の周囲日光レベルを低減させるために、約800nmのカットオフ波長のロングパスフィルタ(すなわち、比較的長い波長を透過させるもの)を、カメラレンズ38の上に配置する。しかし、このフィルタを用いたとしても、さらなる画像処理なしで直射日光の周囲照明の条件下で光カーテン18をカメラ32が観測できるためには、比較的高いレベルの光力を有する光源が必要となる。直射日光の周囲照明の条件下でカメラ32に視覚可能な十分な明るさのレーザー光の強度は、乗員14が長時間見るには眼の安全な限界を超える可能性が高く、従って、規制上および安全上の問題を生じる。目に見えない光源26、例えば近赤外線周波数を用いたものは、乗員14の注意を引かないが、近赤外線照射に関連する規制は一般に、可視光の照射に対するものより厳しく、なぜならば、眼に見えない光源を直接見る場合、眼に見える光源を見る場合と異なり、眼が自然の回避反応(例えば瞳孔の収縮)を起こさないからである。
【0006】
図2aおよび2bを参照すると、放射輝度(radiance)は、光源130から受光手段132への、空間を通る光束のマッピングである。放射の伝播方向に対して直角に配置された光源130および受光手段132の両方に対して、光源放射輝度Lは、光源130と受光手段132の間を流れる光束φを、光源面積A1および受光面積A2の積で割り、さらに光源130と受光手段132の間距離rの2乗をかけて得られる。これはまた、受光手段での放射照度(irradiance)Ereceiverを、光源面積A1で割って距離rの2乗倍したものとして表すことができる(すなわち、光源立体角)。光源放射輝度Lは、光源130と受光手段132の間の距離rから独立していることに注意すべきである。光源放射輝度Lは、次の式で与えられる:
【数1】
【0007】
従って、比較的小さな光源面積A1’、対応する比較的小さなダイバージェンス、およびその結果比較的小さな受光面積A2を有するレーザー源130’は、対応する比較的大きな光源放射輝度Lを有し、これは、人の眼の受光手段132によって見るには安全ではない可能性がある。対照的に、比較的大きい光源面積A1および対応する比較的大きい受光面積A2を有するLED光源130”は、レーザー源130’より実質的に低い光源放射輝度Lを提供する。光源面積A1および受光面積A2の両方を増加させることにより、光源放射輝度Lは実質的に低減され、これによって、眼に安全で、直射日光の周囲照明の条件下でも続く画像処理によって信号が回収可能な、関連する十分な光束φを有する光源のデザインが可能となる。
【0008】
光源26は、眼に安全な照明源、例えば800〜900nm範囲の発光ダイオード(LED)に基づく照明源を用いることにより、光源26のカバーが開かれたりまたは壊された場合にも、付加的な安全のマージンを提供する。米国食品医薬品局医療機器放射線保健センターは、800〜900nm範囲の放射に対する眼に安全な限界値を、光源放射輝度に基づいて設定している。光源26は、最長時間の観察条件の下で眼に安全であるように設計され、これは人の目で光源を10,000秒間(約2.8時間)連続凝視することにおいて規定される。例えば、医療機器放射線保健センターは、880nmの放射および光源を10,000秒間連続凝視することに対して、光源放射輝度がステラジアン(steridian)当たり447ミリワット/平方センチメーターを超えないことと規定している。
【0009】
光源26は、1つまたは2つ以上の関連する光発生装置により生成される光から光カーテン18を形成するための方法を含む。例えば、1つの態様において、光源26は、円筒状ファンアウトレンズ(cylindrical fan-out lens)(例えば、平面−円筒状ファンアウトレンズ(plano-cylindrical fan-out lens))と協働して、連続的で、実質的に平面状の、十分な厚さを有し眼に安全な光カーテン18を生成する、複数のLEDを含む。より具体的には、図3〜図7を参照すると、光源26は複数の発光ダイオード(LED)134および円筒状ファンアウトレンズ136(例えば、平面−円筒状ファンアウトレンズ)を含み、この組合せは、光カーテン18を生成するように適合されている。図3に示すように、円筒状ファンアウトレンズ136の長さ方向の軸をY’とし、レンズの平表面を横切る軸をX’とすると、LED134は円筒状ファンアウトレンズ136から−Z’方向に約1焦点距離の位置に配置され、これにより得られる光カーテン18は+Z’方向に伝播し、実質的にX’方向において平行にされ(X’Z’面)、そして+/−Y’方向に散開し(Y’Z’面)、ここでX’、Y’、およびZ’は互いに直交する。円筒状ファンアウトレンズ136の凸側には連続した起伏(corrugation)138が設けられ、これは光を+/−Y’方向に分散および散開させるように機能して、光源26の操作のシミュレーションにより図4にさらに示されるように、LED134によって生成された不連続の光線140を光カーテン18に変換する。起伏138の1つまたは2つ以上の形状の組合せおよびLED134の寸法およびY’の間隔は、Y’方向に沿った光カーテン18の均一性に影響し、可能な限り、比較的均一な光の分散を提供するように適合される。
【0010】
起伏138なしの円筒状レンズは、線状の光束(例えば、光カーテン18)を作りだすが、しかし、ビームの均一性および強度を維持しつつ、特定の長さの光線を提供するのに十分な制御を欠いている。代わりに、散開の度合い(またはその欠如)、およびビームの長さに沿った強度の変化は、関連するLED134の光分散特性によって律則される。十分な強度の十分な光線を提供するには、一般に幾つかのLED134源が必要である。
【0011】
円筒状ファンアウトレンズ136の円筒状レンズ形状および対応する焦点距離は、関連するLED134の特性(例えば、ビームの広がりおよび大きさ)および特定用途のための全体の寸法の制限に基づいて決定され、X’方向、すなわち、光カーテン18の厚さに沿う方向に、実質的な平行光線変換(collimation)を提供する。円筒状ファンアウトレンズ136の円筒状面上の起伏138は、光カーテン18の均一性を改善し、光を仰角方向、すなわちY’方向に十分な散開を有して広がるようにし、これによってシート16上の乗員14または物体を、起伏138の利点なしの円筒状レンズより実質的に短く、従ってパッケージが容易な円筒状ファンアウトレンズ136からの光により照射することができる。円筒状ファンアウトレンズ136の全体の長さは、強度を提供するのに必要なLED134の数および、起伏138に対するLED134の間隔によって決定された。図5に例示したレンズにおいては、下側の円筒焦点距離は30mmであった。起伏138は、回転体の円筒表面により形成され、図6にはこの表面の生成曲線が示され、図7には、この断面の回転体の状態を示している円筒状ファンアウトレンズ136の末端図が示される。例示の円筒状ファンアウトレンズ136の生成曲線の起伏138は、1mmのピークの径方向の大きさおよび、3mmのピークのY’方向の間隔を有し、ここで上部および下部の3分の1の曲線は、G2連続5度スパンのベジエ曲線(G2 continuous degree 5 Bezier curve)と混合された標準円錐部(例えば放物線)を含み、これは、Robert McNeel and Associatesが販売する光学コンピューター支援設計(CAD)プログラムコールRhinocerosにより提供される。
【0012】
複数のLED134は、円筒状ファンアウトレンズ136の長さ方向(Y’)軸に平行な線に沿って、その円筒側に、約1焦点距離だけ離して配置される。LED134の長さ方向(Y’)の間隔は、起伏138のピーク間間隔とは異なっており、光カーテン18の長さに沿った照明の均一性を改善する。照明の均一性は、LED134の間隔が起伏138の間隔に近づくにつれて低下する。例示の光源26において、近接するLED134の間隔は約4mmであり、LED134のセットは起伏138に対して、LED3個毎に起伏138の谷142と整列するように、そしてどのLED134もピーク144とは整列しないように配置される。谷142に近接する起伏138の凹部は、凹部反射表面として、LED134によってそこから照射された光を発散させるように働く傾向にあり、一方、ピーク144に近接する起伏138の凸部は、凸部反射表面として、LED134によってそこから照射された光を集束させるように働く傾向にある。従って、LED134とピーク144が揃うことは、LED134からの光をY’軸に沿って集中させ、それによって光カーテン18により投射される光の均一性を低下させるため、光カーテン18により投射される光の均一性を改善するには、LED134の位置を起伏138の近接するピーク144からずらすことが有利である。
【0013】
光源26の個々のLED134からの光は、光カーテン18によって投射された光線の長さに沿って広がり、光カーテン18の強度は、個々のLED134の強度を調節するか、または光源26に組み込まれたLED134の数を変えることによって、円筒状ファンアウトレンズ136を、またはより具体的にはその起伏138を再設計することなく、調節することができる。円筒状ファンアウトレンズ136の起伏138は、光カーテン18によって投射される光の強度の変化を制御することを可能とし、また散開角度(fan-out angle)θを制御することを可能とし、該散開角度は光源26の長さを決定するが、これは、円筒状ファンアウトレンズ136の長さによって決定するのと同様に、特定領域を照射するのに十分な光カーテン18を生成するのに必要な程度に決定される。光カーテン18の幅w(または厚さ)は、LED134の横幅および円筒状ファンアウトレンズ136の円筒焦点特性によって決定され、これには、LED134の円筒状ファンアウトレンズ136に対する位置および、光カーテン18が完全に平行光線変換されていない場合は、光カーテン18に沿った円筒状ファンアウトレンズ136からの距離を含む。ここで、光源26は、基本的に平面−円筒状形を有する円筒状ファンアウトレンズ136を用いて示され、またLED134は円筒状ファンアウトレンズ136の円筒側に配置されて示されているが、次の項目:1)円筒状ファンアウトレンズ136は両側共に曲面であってよい、2)LED134は代わりに平面−円筒状ファンアウトレンズ136の平面側に配置されてよもよい、も理解されるべきである。
【0014】
他の態様において、光源26は、レンズと協働するレーザー、レンズアセンブリ、ホログラフィック素子、または光カーテン18を生成するよう適合された組合せを含むことができる。さらに他の態様において、光カーテン18は分割されてもよく、例えば、複数の個別のスポットビームを含むことができる。さらに他の態様において、光カーテン18は、単一の走査型スポットビームを含むことができる。
図8を参照すると、光源ポジショナ28.1の1つの態様において、光源26によって生成された光カーテン18は、光カーテン18を回転ミラー40で反射させることにより、シート16の前の領域20にわたって走査される。光カーテン18により走査される角度は、ミラー40の回転角度θの2倍である。1つの態様において、ミラー40は両面ミラーであり、ミラー40の各完全1回転に対して、2回の完全走査を提供する。他の態様において、複数面ミラーを組み込み、光カーテン18が領域20内に位置する時間の割合を増加させる、すなわち、関連する走査デューティサイクルを増加させることができる。
【0015】
例えば、ミラー40はモーター42、例えば改善された信頼性のためにDCブラシレスモーターによって駆動されてもよく、ここでミラー40はモーター42によって連続して回転され、ミラー40の位置はエンコーダ44によって、例えばロータリー・エンコーダ、例えばシャフトエンコーダ、例えば光学的もしくは磁気的にミラー40またはモーター42のどちらかに動作可能に結合されたエンコーダによって、モニタリングすることができる。他の態様において、ミラーの位置は、測定または推定可能な回転速度を積分することにより決定される。他の態様において、ミラー40はステッピング・モーターによって駆動され、ミラー40の位置はステッピング・モーターに適用された制御ステップを計算することによりモニタリングされる。
もし用いられる場合、エンコーダ44は絶対位置の測定値を提供するよう適合することができる。そうでなければ、上記のミラーの位置の測定値は、ミラー40の特定の基準位置の表示を提供する基準信号と組み合わされ、これからミラー40の絶対位置を決定することができる。例えば、基準信号は、例えば反射マークまたは強磁性突起部などの要素またはシャフト上の要素と協働するよう適合された、磁気もしくは光学センサーのどちらかを用いて生成でき、回転毎に一回、信号が生成される。
【0016】
他の態様において、ミラー40の絶対位置を決定するための基準信号は、車両12の内部をカメラ32でサンプリングすることにより得ることができる。車両のBピラー上または車両12のヘッドライナー上の高い基準位置は、閉塞される可能性が低く、基準点として用いることができ、ここで基準信号は、光カーテン18がこの基準点と交差すると生成される。このアプローチはまた、エンコーダ44の必要性を除外する。
【0017】
図9を参照すると、光源ポジショナ28.2の他の態様において、光カーテン18は、例えば、検流計または他の電磁気デバイス、または静電気デバイスなどの駆動装置48によって振動回転されるねじりシャフト46(少なくとも1つ)により支持されたミラー40からの反射によって走査することができる。ねじりシャフト46/ミラー40アセンブリは、フレックスピボットデバイス(flex pivot device)としても知られており、駆動装置48により共振で駆動され、ミラーをある回転角度にわたって振動させ、例えば、駆動装置48への特定の駆動信号に対する固定の回転角度にわたって振動させる。関連する検知回路は、ミラー40が特定の振動限界に配置された場合の測度を、駆動装置48の信号または別のセンサからの信号のどちらかを用いて提供する。ミラー40の振動限界間の位置は、次に、関連する運動の推測的運動学から、時間に関連して推測することができる。フレックスピボットデバイスは、比較的高い信頼性および、関連する比較的長い寿命と平均故障間隔(MTBF)を、有利に有している。
光源ポジショナ28の他の態様を用いることもできる。例えば、光カーテン18は、ホログラフ、電気光学、または液晶に基づくシステムを用いて走査してもよい。他の例として、本明細書に参照として組み込まれる米国特許第6,598,139号には、可能性のある光源ポジショナ28の他の態様が例示されている。
【0018】
比較的高速で高い応答性のCMOSカメラ32は、車両12の助手席側の領域20のサンプリングを、例えば約500Hzまでのレートで連続して行う。1つの態様において、カメラ32は車両12のセンターラインに沿って、ヘッドライナーとフロントガラスの交点の数インチ後ろに配置され、この位置は、以下の理由から有利である:1)車両の助手席区画の最適な視界を提供する;2)カメラ32が直射日光によって照射されないことを保証し、これはそうでなければ、センサのブルーミングの原因となる;そして3)カメラ32の視野(FOV)が日よけによって遮られないことを保証する。カメラ32は、光カーテン18によって投射される光ストライプ22が観測できるように配置され、固定オフセット距離、例えば光源26のaft(Y方向)、例えば十分な精度で光ストライプ22内の点の位置を決定するのに十分な距離だけ、光源26から相対的に変位される。例えば、光源26とカメラ32の両方は、車両12のセンターラインに沿ったヘッドライナー、例えば頭上のコンソールに搭載されてもよい。
【0019】
光カーテン18は、車両12の乗員区画の領域20上に投射され、その領域にわたって走査されて、シート16上の乗員14または物体の表面に複数の光ストライプ22を形成する。代替的に、光カーテン18は連続して作動することができ、そしてカメラ32またはそれに動作可能に結合されたシャッターが間欠的に作動することができて、関連する複数の光ストライプ22の画像を生成する。光ストライプ22は、光カーテン18によって投射された比較的厚みのある光線を含み、この厚さは、光ストライプ22を妨害する可能性のある直射日光の下でも、光線が画像処理後に検出するのに十分な量の光束φを有していてもなお、光線の強度が眼に安全であるほど十分厚い。走査された光ストライプ22を解析して、シート16上の乗員14または物体の表面プロファイルに関する十分な情報を得、これによってシート16の表面に対する関連する深度情報を抽出して、乗員14または物体の表面をレンダリングすることを可能とし、そしてシート16の表面に対するその変位モデルを構成することを可能とする。光カーテン18を生成する光源26は、カメラ32からはオフセットすることにより、得られた関連する光ストライプ22の画像から、深度情報が得られる。図10aを参照すると、1つの態様において、光カーテン18は実質的に仰角方向に伸びる光ストライプ22を投射するように向けられており、方位角方向に走査される。図10bを参照すると、他の態様において、光カーテン18は実質的に方位角方向に伸びる光ストライプ22を投射するように向けられており、仰角方向に走査される。さらに他の態様において、光ストライプ22は斜めに向けることもでき、関連する光カーテン18の表面に対して直角方向の成分を有する方向に走査される。
【0020】
光源26とカメラ32の間の具体的なオフセットは、多くの考慮事項、例えば、精度、視野、およびパッケージングなどに影響される。例えば、光源26とカメラ32の間のオフセットを、特定の光ストライプ22内の特定点の位置の計算に対する、角度のずれおよびオフセットのずれの影響を最小化するように選択することが可能である。最大位置づけ誤差(回避ゾーン(avoidance zone)内で)を有する点を「最適化」点として選択することは、特定の精度基準、例えば±12.5mmを満たすような他の点において、誤差の大きな増加を引き起こす。さらに、特定のオフセット距離の選択は、他の基準、例えば、製造コスト、実装の容易さ、寸法等によって影響され得る。例えば、カメラ32と光源26の両方を1つの比較的小さな構造に実装することは、カメラ32と光源26をそれぞれ別の構造に収納するシステムと比較して、車両12内のパッケージングを改善し、関連するコストを低減し、そして、関連する並進運動および回転のずれのよりよい制御を可能にする。さらに、実質的に垂直の光カーテン18、すなわち、例えばZ軸など1つの軸に対して平行な面を提供するよう整列された光源26に対して、乗員検出システム10の関連する位置演算は、他の2つの軸に沿ったカメラ32/光源26のオフセットから実質的に独立しており、これによって2つの誤差源を実質的に排除し、関連する製造コストの低減を支援する。誤差源およびそれらの3次元位置計算精度への影響の解析によって、次のことが示された:特定車両においてカメラ32と光源26の間のオフセットが4インチであるシステムでは、関連するオフセット距離が±1.25mm以内で、光源26に対するカメラ32の関連する回転角度が±0.06度以内の場合、関連する計算位置誤差は±12.5mm以内である。
【0021】
走査中、光カーテン18はプロセッサ30の制御の下で一連の間隔で、カメラ32の画像取得開始および終了時と同期してストロボを作動され、プロセッサ30による個別セットの画像の取得が可能となり、ここでセットの各画像は、光カーテン18の異なる走査位置および、関連する投射された光カーテン18の異なる位置に対応する。光カーテン18オンで取得された各画像(「オン画像」)に対して、光カーテン18オフで第2画像(「オフ画像」)を取得する。得られた2つの画像は、次にその差を求めて、以下にさらに十分に記載するように直射日光の存在下での光ストライプ22を回復するために用いられる。代替的に、各オン画像に対応するオフ画像を取り込む代わりに、例えば走査の各セットに対して1つのオフ画像を取り込むことができ、これは各オン画像から差し引く共通の背景基準として用いられる。
【0022】
図11を参照すると、乗員検出処理500の1つの態様に従って、ステップ(502)において、例えば助手席区画内の着座位置は、シート上の乗員または物体を後にモデル化および分類するために、シート16の着座表面のモデルを提供するように特徴を明らかにする。次に、走査および画像化処理600に従って、ステップ(600)において光カーテン18を走査し、得られた光ストライプ22の画像セットを取得する。次にステップ(506)において、例えば、シート軌道位置およびシートバック角度を直接測ることにより、または、ステップ(600)の走査および画像化処理600からの画像の一部を処理することにより、シート位置を決定する。次にステップ(1600)において、光カーテン18の完全な走査にわたって全ての光ストライプ画像を取得した後、得られた画像からのデータをモデル化し、次に分類して、乗員14がシート16上に着座しているかどうかを決定し、もし着座している場合は、乗員14の種類、寸法および位置を決定する。次にステップ(510)において、安全拘束システム36(例えばエアバッグインフレータ36.1)を、この分類情報に応答して制御する。乗員検出処理500は次にステップ(600)から繰り返す。乗員検出処理500の上記の各ステップは、以下にさらに十分に記載される。
【0023】
図12を参照すると、走査および画像化処理600はステップ(602)から始まり、ここで、光カーテン18の走査位置を、例えば光源ポジショナ28により初期化する。例えば、モーター駆動の光源ポジショナ28.1を用いると、走査および画像化処理600は、ミラー40が走査開始に対応する位置にある場合に開始される。次に、ステップ(604)において光カーテン18をオフに切り換え、ステップ(604)においてカメラ32は背景のオフ画像を取得する。次に、以下にさらに十分に記載されるように、ステップ(608)において、周囲光(例えば日光)からの飽和を避け、一方で光ストライプ22の有用な画像を取得するのに十分なダイナミックレンジを提供するよう、カメラの露光時間を調節する。次にステップ(610)において、光カーテン18をオンとし、ステップ(612)においてカメラ32はオン画像を取得し、これには、光カーテン18をシート16およびその上に位置する乗員14または物体上に投射して得られる、光ストライプ22が含まれる。ステップ(614)においてカメラの露光をチェックし、以下にさらに十分に記載されるように、後に必要ならば露光を調節するために、対応するフラグをセットする。
【0024】
図13を参照すると、カメラ32の視点によれば、乗員14と交差する光カーテン18は、得られる光ストライプ22の一部を、乗員14の3次元プロファイルに応答して横に変位させる。従って、各光ストライプ22内の光のこの横変位は、これによって照射された物体の形状プロファイルに対応し、走査中の他の光ストライプ22のそれと組み合わさって、シート16を占めている乗員14または物体の全体の寸法および容量の測定値の決定を可能にする。
【0025】
ステップ(616)において、光ストライプ22の有用な情報を、関連する背景クラッターから減法画像化処理(subtractive imaging process)を用いて分離し、すなわちオフ画像をオン画像からピクセル毎に差し引いて、差分画像を生成する。差分画像の信号レベル、例えば8ビット値で表されるような信号レベルは、光ストライプ22の位置以外ではどこでもほぼゼロである。光ストライプ22のエネルギーを光カーテン18の厚さを拡張することによって分散し、眼の安全を提供する態様においては、画像における光ストライプ22の信号レベルは比較的低い。ステップ(618)において、この信号は次に、以下にさらに十分に記載されるように、差分画像中のピクセルをビニング(binning)することにより増幅する。ビニング処理は、差分画像中の信号の、空間的積分を含む。ステップ(620)において、ビニング画像を次に閾値アルゴリズムにより2値化し、これには例えば、ピクセル値が閾値以上の場合には関連するピクセルをオンの値とし、ピクセル値が閾値未満の場合には関連するピクセルをオフの値とする。図14は、上記の画像化処理を図13に示した画像に適用した場合に得られる、2値化画像50の例を示す。
【0026】
ステップ(622)において、光ストライプ22に関連する形状プロファイルの精度を、細線化処理(skeletonization process)を用いて、2進法物体の幅を狭めて単一ピクセル幅の物体とすることにより改善する。例えば、図15は、図14に示された画像の細線化により得られた、細線化画像52を示す。細線化処理は、シニング細線化処理(thinning process)としても知られており、物体の形状を表す線分のセットを含む2値画像を提供し、ここで関連する細線化ピクセルは物体の中心軸と考えることができる。例えば、細線化またはシニング細線化処理は、http://www.cee.hw.ac.uk/hipr/html/thin.htmlの文献に記載されており、これはインターネット上で入手可能であり、ここに参照として組み込まれる。
【0027】
シート16上の乗員14または物体の特徴により、光カーテン18が遮蔽されて、得られる光ストライプ22の画像中に隙間54を生じ得る。ステップ(624)において、これらの隙間54は補間処理により補充され、この処理により光カーテン22のセグメント56間の隙間54は、その間の3次スプライン補間によって補充される。得られる2値補間画像58は、物体の形状、すなわちプロファイルの、光ストライプ22の特定走査位置における表示である。例えば図16は、図15に示された画像の補間から得られる補間画像58を示す。ステップ(626)において、補間画像58をメモリ34に格納する。
【0028】
ステップ(628)において光カーテンの走査が完了していない場合は、ステップ(630)において、光カーテン18の位置を増加し(例えば、モーター42がミラー40の次の回転角に到達するまで待機することにより)、そして上記の処理をステップ(604)から繰り返す。上記の処理は光カーテン18のそれぞれの走査位置について繰り返される。全走査位置が画像化された後、次にステップ(628)からステップ(632)において走査および画像化処理600が完了し、これによって乗員検出処理500に戻り、ここでメモリ34には、それぞれの走査位置についての光ストライプ22の補間画像58の合成セットが格納されている。例えば、図17は、光源ポジショナ28による光カーテン18の完全な走査中に生成された全ての光ストライプ22に対する補間画像58の合成セットを示し、シート16上の乗員14の、関連するその基礎にある3次元形状プロファイルを明らかにしている。
【0029】
上記の走査および画像化処理600は本質的に、分割(segmentation)(信号分離)および信号増幅の操作を各処理サイクルの間に実行する。分割は、背景物体(窓の外の物体および車両内部に属する固定された領域)を重視しないようにしつつ、関連物体(光ストライプ22の領域)を分離および識別することである。信号増幅は、高い周囲日光レベルの存在下で、比較的低い照明レベルを回復するために必要である。上記の走査および画像化処理600は、本発明の範囲内で改変が可能であることが理解されるべきである。例えば、露光制御ステップ(608)は、1セットの走査に1度またはそれ以下の頻度で実施することができ、例えば、周囲光センサに応答して実施できる。さらに、ステップ(612)、(628)および(630)をまとめることにより、ステップ(616)〜(626)の画像処理に先立って全オン画像を取得および格納することが可能となり、それによって走査画像の処理が1セットの走査に1度づつ実施される。
【0030】
図18を参照すると、走査および画像化処理600の画像前処理プロセス600aは、ステップ(601)から、カメラ32の露光時間を初期化することにより開始される。露光時間は初期値として、光ストライプ22に対応する画像ピクセルがカメラ32のノイズ閾値より実質的に大きい値を有するように設定される。ステップ(604)および(606)において、k番目の背景画像を、光カーテン18をオフにしてカメラ32によりサンプリングする。ステップ(608.1)において、k番目の背景画像を、例えば図19に示すようなマスク領域M内で解析し、閾値より大きい対応するピクセル値を有するマスク領域M内の点のパーセンテージを決定するが、これは、カメラ32の露光時間を減少させて、カメラ32が例えば日光などの周囲光により飽和されることを防ぐ必要があるかどうかを決定するためである。光ストライプ22にわたる与えられたピクセルのセットが、光カーテンオフにて十分なマージンで飽和されていない限り、以下に記載のビニング技法により前処理画像における光ストライプ22を回復することができ、光ストライプ22を、乗員検出の目的で用いることができる。
【0031】
マスク領域Mは、画像内領域を囲むように適合され、ここで光ストライプ22の画像の少なくとも一部は、その中に配置されることが予想される。カメラ32からの画像中の各ピクセル値は、例えば0〜255の範囲の8ビット数で表される。図20は、光カーテン18をオフとした画像についての、マスク領域M内のピクセルに対するピクセル値のヒストグラムの例であり、ここで可能性のある256の異なるピクセル値の各々に対して、マスク領域M内におけるその値のピクセルの数を、ピクセルの関数として、関連ヒストグラムにプロットする。ステップ(608.2)において、閾ピクセル値(例えば248、図20の領域R2として定義)より大きい値を有するピクセルの閾値パーセンテージ(例えば2%)は、比較的高い周囲照明、例えば図19において示されたように、日光からのレベルを示唆し、次にステップ(608.3)において、カメラ32の露光時間を例えば係数によって減少させ、処理をステップ(604)から繰り返す。例えば閾ピクセル値は、少なくともカメラ32のノイズ閾値、例えば6〜8ピクセルと同じ量だけ、最大ピクセル値より低い値に適合される。図19が、マスク領域Mの位置を示す目的で光カーテン18をオンにしたカメラ32からの画像を示しているにも関わらず、ステップ(608.2)における決定は、光カーテン18をオフとしてなされる。さらに、ステップ(608.1)および図20がヒストグラムの使用を例示しているにも関わらず、次のことが理解されるべきである:すなわち、ステップ(608.1)および(608.2)におけるカメラ露光時間を減少させるかどうかの決定は、閾ピクセル値を超えるピクセル値を有するピクセルの数が、閾値パーセンテージに対応するピクセル数の閾値を超えるかどうかの決定と等価であり、なぜならば、マスク領域M内のピクセル総数は固定されているからである。
【0032】
ステップ(608.2)に続き露光時間が正しい場合、ステップ(610)および(612)において、(k+1)番目の画像を、光カーテン18をオンにしてカメラ32によりサンプリングし、ここでkおよびk+1はそれぞれ、任意の2つの連続画像である。ステップ(614.1)において、差分画像中の最大ピクセル値が閾値より小さい場合、次にステップ(614.2)においてフラグをセットし、これによって、次の画像をサンプリングするときにステップ(601)においてカメラ32の露光時間を増加させることになる。従って、ステップ(608.3)では、例えば日光などの高い周囲照明に応答して露光時間の減少を提供するが、ステップ(614.2)では、その後の周囲光の減少、例えば、晴れた日に開かれた道路からトンネルに入った場合などに応答して、露光時間のその後の増加を提供する。ステップ(614.1)における最大ピクセル値は、一般には、光ストライプ22内のピクセルに対応する。
【0033】
画像化システムは、光ストライプ22から反射または散乱された光を検出するように機能する。反射光または散乱光を検出する方法、またはこの光を関連する周囲照明から識別する方法は、高い周囲照明の条件下では、例えば周囲日光条件のために困難である。光カーテンからの反射光または散乱光の信号を関連する周囲照明のノイズから識別するには、光カーテン18をオンにした画像から、光カーテン18をオフにした画像(すなわち背景画像)を差し引くことによって、両方の画像に共通の画像成分、すなわち、連続する画像においてカメラ32または光カーテン18に関して比較的変化のない画像成分を実質的にキャンセルすることにより、識別することができる。差を求める操作により、直射日光で照射されることから生じる比較的高い輝度の共通モード信号を含む、オンおよびオフ画像に共通な信号の部分が、実質的に除去される。差分画像の信号は、光線が投射された領域以外のどの場所においても、実質的にゼロに近い。例示のシステムにおいて、2ミリ秒間の画像が、光源26オンおよび光源26オフの繰り返しにより連続的に取り込まれる。連続画像は互いに差し引かれて、関連する差分画像を形成し、これは次に、車両の内部、乗員14または物体、またはこれらの部分の上の、および従ってこれらと交差する光カーテン18の画像に対応するピクセルを検出するために用いられる。
【0034】
従って、ステップ(614.1)または(614.2)のどちらかに続き、ステップ(616)において、(k+1)番目の画像からk番目の画像を差し引くことにより、差分画像が形成され、両方の画像に共通な背景信号をキャンセルし、そこで交差する表面によって反射または散乱された光カーテン18の光ストライプ22からの光の画像を残す。減法画像化処理は共通モード信号をキャンセルし、差分画像の信号対雑音比は、光カーテン18がオンの画像のそれより高くなる。
【0035】
ステップ(610)〜ステップ(614.2)は、ステップ(604)〜ステップ(608.3)の前に実行することも可能であることが理解されるべきであるが、ただし、前に記載した順序の方が待ち時間の減少を可能とし、何故ならば、シート16上の乗員14または物体についての情報は光カーテン18がオンの画像中にあり、これは最後に、すなわち最も近時に取得されるためである。一般に差分画像は、光カーテン18がオフの画像を光カーテン18がオンの画像から差し引くことにより形成される。
【0036】
減法画像処理の1つの技法によれば、差分画像は、各新しいセットの連続画像が取り込まれた後に形成され、これによって差分画像は、画像がカメラ32により取得される速度の半分の速度で、以下のように形成され、ここでオンは光カーテン18がオンの画像信号を示し、オフは光カーテン18がオフの画像信号を示す:
差分画像1=画像1:光カーテンオン−画像2:光カーテンオフ
差分画像2=画像3:光カーテンオン−画像4:光カーテンオフ
差分画像3=画像5:光カーテンオン−画像6:光カーテンオフ
【0037】
上の処理においては、差分画像が光カーテン18オンの画像からの情報に影響される前に、1サンプリング期間の固有の待ち時間がある。この待ち時間は、以下に示すように、光カーテン18オフの画像が取り込まれた後ではなく、光カーテン18オンの画像が取り込まれた後に、差分画像を更新することにより、取り除くことができる:
差分画像1=画像2:光カーテンオン−画像1:光カーテンオフ
差分画像2=画像4:光カーテンオン−画像3:光カーテンオフ
差分画像3=画像6:光カーテンオン−画像5:光カーテンオフ
【0038】
光カーテン18を貫通する乗員14を検出する処理は、以下のように、動的条件の下で、連続画像の対を取得した後ではなく、新しい画像を取得した後に、新しい差分画像を形成することにより改善することができ、形成される差分画像の数は、取得される総画像数より1少なくなる:
差分画像1=画像1:光カーテンオン−画像2:光カーテンオフ
差分画像2=画像3:光カーテンオン−画像2:光カーテンオフ
差分画像3=画像3:光カーテンオン−画像4:光カーテンオフ
【0039】
図21を参照すると、減法画像化処理が、比較的高いレベルの周囲照明について示されている。16ピクセルの4×4アレイにおいて、光ストライプ22を含む画像領域において、光カーテン18オフの第1画像21aにおいて、アレイ21bのピクセル値は208〜228単位の範囲である;そして光カーテン18オンの第2画像21cにおいて、アレイ21dのピクセル値は214〜233単位の範囲である。差分画像の対応するピクセルのアレイ21eは、5〜7単位の範囲のピクセル値を有する。従って、光カーテン18が投射された領域において、8ビット差分信号の計測レベルは比較的小さい可能性がある。光カーテン18の光ストライプ22を通る差分画像の断面21fは、光ストライプ22に対応し、約8単位のピークを有するパルス形状の特徴21gを示す。
【0040】
再度図18を参照すると、ステップ(618)において、差分画像の信号をビニング処理により強調し、ここで、与えられたアレイ内の全ピクセルの値を合計して、このアレイの代表信号値を生成し、この大きさはビニング係数と呼ばれる。ビニング操作は、差分画像の信号を空間的にまとめて圧縮する。例えば、2×2、4×4および8×8領域のビニング係数が用いられた。さらにビニング係数は、差分画像または得られたビニング画像のどちらかの特徴に応答して適合的に制御することもでき、例えば、ビニング画像の値の範囲は閾値にわたる。一般にビニング処理において、差分画像中に大きさn×nの領域が識別され、続いて一緒に合計されて、より小さい画像を形成する。得られたビニング画像は次に、そのもとの大きさに拡張することができ、または、続く処理を、差分画像空間に対して圧縮されたビニング空間に適合させることができる。ビニング操作は画像の解像度を低下させるが、しかし高い周囲日光レベルの存在下において、比較的低い照明レベルを回復するのに非常に効果的である。例えば、8×8ビニングを用いて、光ストライプ22の放射照度が関連する波長バンド内の背景日光レベルの3%と低い場合でも、光ストライプ22を回復できる。例えば、光ストライプ22がオンとオフの画像のピクセルの間の、1.5カウントの平均の差により、96カウント(255のうち)のピクセル値を有する対応する8×8ビニングピクセルが生成可能である。説明のため、ビニングなしのシステムにおいて同じ信号レベルを達成するためには、光カーテン18は実質的により高い放射照度を必要とし、これは眼の安全に影響する可能性があり、および/またはカメラ32の露光時間を増加する必要があり、これは高い周囲照明の条件下でカメラ32の飽和をもたらす可能性がある。
【0041】
図21を再度参照すると、4×4ビニング係数を用いたビニング処理が示されており、ここで差分画像の4×4アレイ21eは合計されて、対応するビニング値21hとして96を生成する。ビニング値は次に、もとの画像空間に拡張され、ビニング画像21iを形成する。光カーテン18の光ストライプ22を通るビニング画像21iの断面21jは、光ストライプ22に対応する、約100単位のピークを有するパルス形状の特徴21kを示し、これは差分画像の対応するピークより8倍以上大きい。平均6カウントと低いピクセル値を有する差分画像に対して、4×4ビニングは、平均96カウントの合計信号を提供する。ビニング処理は、重ね合わせなしのピクセルのアレイ上で操作されるように適合される。差分画像が単一振幅の矩形パルス機能と共に畳み込まれる畳み込み処理は、差分信号の同様な増幅を提供するが、しかしよりゆっくりとである。
【0042】
図18を再度参照すると、次にステップ(610)において、ビニング画像をカメラ32のダイナミックレンジ内の適当な閾値において2値化し、これによって閾値未満の輝度値を有するピクセルをゼロの値にセットし、閾値より高い輝度値を有するピクセルを1の値にセットし、関連する2値のビニング画像信号51を生成する。
【0043】
フィールド・プログラマブル・ゲートアレイ(FPGA)を適合させて、本明細書に記載の差分化(616)、ビニング(618)、および2値化(620)の操作を実行することができ、これによりプロセッサ30のマイクロプロセッサの演算負荷、処理時間、電子パッケージ寸法、関連する電力消費、および単位コストが低減される。処理時間は、マイクロプロセッサにソフトウェアを実装するのと比較して低減することができ、これは、FPGAを用いたハードウェアにより、画像差分化およびビニング処理に適合された平行算術演算を実現できるためである。FPGAは、この処理用に特注設計および特注寸法とされ、寸法、電力消費および単位コストを減少させ、これがなければ汎用信号処理を支援するために必要とされる、余分な回路の必要性を除外する。FPGAゲートを、個別のRAM統合回路の代わりに一時的画像データストレージとして用いることにより、部品数がさらに減少される。FPGAはまた、CMOSカメラ32の制御にも、外部メモリチップまたは支援回路なしで用いることができる。さらに、FPGAは、製造容量によりASICに関連する復帰不可能エンジニアリング(non-recoverable engineering)(NRE)が正当化される場合には、特定用途向け集積回路(ASIC)中に実装してもよい。
【0044】
図22を参照すると、FPGA内の差分化およびビニング処理を、実質的に最小数のゲートを用いて実装するために用いることのできる、例示の処理アルゴリズムが示されており、ここでビニング処理は4×4ビニング係数を用いて示されている。カメラ32の画像センサ152からの画像信号は、画像バッファ154に、第1FIFO(先入れ先出し)バッファ156を介して格納される。任意の与えられた画像サイクルの開始において、例えば図18のステップ(606)または(612)において、画像バッファ154は前のサイクルからの完全な画像を格納している。例えば、ステップ(606)の開始時に、画像バッファ54は光カーテン18オンの画像を格納し、ステップ(612)の開始時に、画像バッファ54は光カーテン18オフの対応する画像を格納している。従って、ステップ(612)において画像化処理を開始すると、画像バッファ54はその中に光カーテン18オフの画像を有しており、画像センサ152からの画像データは光カーテン18オンのシーンのものであり、画像センサ152は、ピクセル毎に、光カーテン18オンの画像を提供する。与えられたピクセル位置について、古いピクセル値158は画像バッファ54から第2FIFOバッファ160へと取り込まれて、対応する新しいピクセル値162が、画像センサ152から第1FIFOバッファ156を介して、画像バッファ54の対応する位置へと取り込まれる。古いピクセル値158は、加算ジャンクション164において新しいピクセル値162から差し引かれて、差分ピクセル値166を形成し、連続数、例えば4つの差分ピクセル値166がアキュムレータ168で一緒に加算され、ここで加算される連続数は、ビニング係数によって与えられる。アキュムレータ168の値は、差分ピクセル値166の各群が加算された後にゼロにリセットされる。アキュムレータ168は、差分画像の特定列からの差分ピクセル値166の各セットについて、カラムビニング値170を出力する。カラムビニング値170.1の第1列は、差分画像の第1列に対応し、第1列バッファ172.1に格納される。画像の第1列が処理された後、差分画像の第2列に対応するカラムビニング値170.2の第2列が、第2列バッファ172.2に格納される。この処理は、4×4ビニング係数に対して、カラムビニング値170.4の第4列まで連続して続き(または一般に、K×Kビニング係数に対してはK番目の列まで)、ここで対応するカラムビニング値170.1、170.2、170.3および170.4は、加算器174によって一緒に合計され、画像の最初の4列についての対応するビニング値176を計算する。最初の4つ(または一般にK)の列が処理されると、上記の処理は次の4つ(または一般にK)の列について継続され、画像の全列がビニングされるまで続く。代替的に、1列バッファ172を、個別の列バッファ172.1、172.2等の代わりに用いることもでき、ここでカラムビニング値170.1の第1列は列バッファ172に最初に格納され、続くカラムビニング値170.2、170.3および170.4がこれに加算され、それによって最後のカラムビニング値170.4が処理された後に、最終ビニング値176を生成する。
【0045】
光ストライプ22と交差する物体の3次元プロファイルは、原点がカメラレンズ38の中心と一致すると仮定した基準座標系(XR、YR、ZR)に対する、カメラ32および光源26両方の既知の位置と回転角度を用いて計算できる。車両12の助手席区画内の基準座標系の1例を図23に示す。これらの計算方法の1例は次のように与えられる:
【0046】
3次元基準座標系において、平面光カーテン18に対し、光カーテン18を含む平面の式は以下のように表される。
仰角一次系(すなわち、実質的に仰角方向の光ストライプ22)に対して:
(x-a)・cos(β)+(y-b)・cos(α)・sin(β)+(z-c)・sin(α)・cos(β)=0;および (1a)
方位角一次系(すなわち、実質的に方位角方向の光ストライプ22)に対して:
(x-a)・sin(β)・sin(α)-(y-b)・cos(β)・sin(α)+(z-c)・cos(α)= 0 (1b)
ここでa、bおよびcは、基準座標系の原点に対して、それぞれX、YおよびZ軸に沿った、光源26の平行移動オフセットである。基準座標系(XR、YR、ZR)に対する光カーテン18の回転の仰角および方位角方向の角度は、それぞれαおよびβである。もしαおよびβが両方とも0の場合は、光カーテン18は、次で定義される平面上にある:
仰角一次系に対して、x=a、および (2a)
方位角一次系に対して、z=c (2b)
【0047】
図24を参照すると、仰角方向に伸びる光カーテン18がZRに平行な軸の周りにβの角度だけ回転された場合、光カーテン18を含む平面を定義する式は、次のように変形される:
(x-a)・cos(β)+(y-b)・sin(β)= 0 ; as α = 0 (3)
図24は、光源座標系(XM、YM、ZM)を示し、この原点は、光源ポジショナ28の回転軸に沿って、光カーテン18の中心と一致すると仮定され、ここで光源座標系(XM、YM、ZM)は、基準座標系(XR、YR、ZR)に対して平行移動されている。
【0048】
方位角一次系が、XRに平行な軸の周りにαの角度だけ回転された場合、光線ストライプを含む平面を定義する式は、次のように変形される:
-(y-b)・sin(α)+(z-c)・cos(α)= 0 ; as β = 0 (4)
光カーテン18と交差する物体から反射される光ストライプ22のエネルギーはカメラ32に入り、関連する焦点面アレイ(FPA)の関連する1つまたは2つ以上のピクセルに焦点を合わせて、関連するカメラ座標を有する対応する2次元ピクセル空間内に、カメラ32によって観測された物体のピクセルで構成された画像を提供する。光カーテン18を貫通する物体から反射されたエネルギーは、カメラレンズ38によって画像化され、FPAの関連するピクセルを照射する。各照射されたピクセルに対する、カメラ座標で表された方向余弦ic、jcおよびkcは、次の式によって表される:
ic = cos(δ)・h (5.1)
jc = [ ic2 + kc2]1/2 (5.2)
kc = sin(δ)・h (5.3)
式中、ic、jcおよびkcは方向余弦であり、そしてhおよびδは以下で与えられ、
h=[sin2{(m2+n2)1/2・Ψ/(2・mmax)}]1/2 (6)
δ=tan-1(n/m) (7)
この式中、Ψ≡カメラの視野(FOV)であり、そしてmおよびnは、照射されたピクセルの方位角および仰角方向の位置である。
【0049】
方向余弦ic、jcおよびkcは、関連する方向余弦ベクトルの成分を構成し、これは、カメラ座標系から基準座標系に、カメラ回転角度マトリクスによって次のように回転変換することにより変換可能である:
【数2】
式中、θおよびφは、それぞれカメラ32の方位角および仰角である。
【0050】
基準座標系の原点から、照射されたピクセルに対応する光カーテン18上の物体空間の点(xp、yp、zp)までの、長さλのベクトル[xp、yp、zp]の成分であって、照射されたピクセルが凝視する方向を示す前記ベクトルの成分は、次式によって与えられ、
xp =λ・ir (9.1)
yp =λ・jr (9.2)
zp =λ・kr (9.3)
式中λは、基準原点から光カーテン18の平面(xp、yp、zp)上の凝視点までのベクトルの長さである。
【0051】
光ストライプ22によって照射される物体の表面の3次元座標は、次に、1)式(9.1〜9.3)のxp、ypおよびzpを、式(1aまたは1b)に代入すること;2)λについて解くこと;および3)λの値を、光カーテン18によって照射され、従って光カーテンを貫通する物体の1つまたは2つ以上の関連する点の各々について、式(9.1〜9.3)に代入すること;により得ることができる。
【0052】
再度図11を参照すると、ステップ(502)において、シート位置を決定する処理の第1の態様に従って、上記の走査、処理、および座標変換処理を、着座表面の3次元表示を創出するために、空の助手席シートに適用する。このプロセスを、シートトラック位置およびシートバックの傾き角の可能性のある全ての組合せに対して繰り返す。対応する光ストライプ22の得られた画像全ての得られた(x、y、z)座標を、シートトラック位置およびシートバックの傾き角に従って索引付けし、メモリ34の参照表中に格納する。助手席シートの位置は、シートトラックセンサおよびシートバック角度センサを用いて決定する。ステップ(502)の処理は、特定の車両12/シート16の構成に対して、一般には1度実施される、システム較正ステップである。次に、ステップ(506)において、シートトラック位置およびシートバック角度の測定値は、関連する着座表面の関連する較正3次元表示を決定するために用いることができる。
【0053】
シート位置を決定する処理の第2の態様に従って、ステップ(506)において、シート16の位置は、カメラ32が取得した、シート16の少なくとも一部の画像のみから導くことができ、これによって、第1の態様の較正ステップ(502)の必要性を除外する。図25aおよび25bを参照すると、光カーテン18が実質的に方位角方向に伸び、仰角方向に走査される場合、シートボトムおよびシートバックの両方の、左端または右端のどちらかのある部分は、カメラ32の視野から観測することができる。シートの2次元形状プロファイルの左または右端点は結合され、シートボトムのy軸にそったシートバック角度と位置の計算に用いることができる。図26aおよび26bを参照すると、光カーテン18が実質的に仰角方向に伸び、方位角方向に走査される場合、シート16の上端および下端のある部分は、カメラ32の視野から観測することができる。シート16の2次元形状プロファイルの上端および下端点は、シートバック角度とシートボトム位置の計算に用いることができる。乗員が通常でない位置にいるために、左または右のシート端が瞬間的に遮蔽された場合は、前の既知のシート位置情報を用いることができる。
【0054】
シート位置を決定する処理の第3の態様に従うと、較正ステップ(502)は第1の態様に従って実行され、ステップ(506)において、第2の態様に従って、また、得られたシート位置が較正ステップ(502)において用いられた予め決定されたシート位置の1つに合致するとの、追加の拘束条件と組み合わせて、シート位置が決定される。
図11および図27を参照すると、モデル化および分類処理1600は、上記の走査および画像化処理600に従って光カーテンの完全走査から得られた光ストライプ22の合成画像に対応する表面のモデルを生成する。ステップ(1602)から開始して、上に定義した座標変換を用いて、(x、y、z)座標を、走査および画像化処理600からの補間画像58の非ゼロピクセルの各々について計算する。各走査線は、カメラ32の解像度および視野によって決められる固定の数の点を有する。ステップ(1604)において、個別の走査線の(x、y、z)座標を組み合わせて、例えば図28に示されるような3次元表面モデルを作製する。
【0055】
ステップ(1606)において、モーメント、質量中心、境界測度(bounding measure)、プロジェクションを含む3次元数理形状デスクリプタのセットを用いて、表面モデルをコンパクトに表示する。個々の3次元形状デスクリプタの選択は、トレーニングデータの代表的なセットに対して、それらの大きさが同クラスの物体に対しては同じ程度であり、他の全てのクラスの物体に対しては顕著に異なるようになされる。換言すれば、クラスは、クラス内の厳格なクラスタリングと、クラス間の大きな分離が生じるように、選択され充足される。本明細書に参照として組み込まれる出願959には、本発明に従って用いることができる、種々のデスクリプタおよび計量値、および関連する技法が記載されている。
【0056】
ステップ(1608)において、走査された物体の、空のシートの表示(例えばステップ(502)および(506))に対する3次元偏差またはオフセットを、シート16の現在位置に対して決定し、これは、ステップ(506)の処理に対して本明細書中に記載されたいくつかの態様の1つに従って決定する。例えば、空のシート表示に対する全走査線の(x、y、z)座標を、格納したルックアップ表から取得し、走査した物体の3次元オフセットを、物体の走査データの(x、y、z)座標と、対応する空のシートの走査データの(x、y、z)座標との間の、ユークリッド距離として算定する。
【0057】
ステップ(1610)において、次に、物体の容量表示を、ステップ(1608)からの(x、y、z)座標の上のような対の各々についての3次元偏差の全組合せから得る。例えば図29には、図28に対応する物体の容量表示を示し、ここで容量表示は、隣接する(x、y、z)座標対を結ぶことによって、図表的に表示される。ステップ(1612)において、ステップ(1610)からの容量表示を2つの特徴的な領域に区分し、これらはそれぞれ、シート上部およびシート下部に、例えば図30に示すように対応している。全体の、および区分された容量表示は、物体の大きさ全体の測定値として用いることができ、シートが空であるか、占有されているか、または一部占有されているかを決定することができる。
【0058】
図31を参照すると、乗員検出システム10の動作が、光カーテン18の11個の走査位置を有するシステムについて示されている。各走査位置に対して、関連する空のシート表示に対応する実質的な直線と、光カーテン18と乗員14または物体との交点から得られた、関連する光ストライプ22に対応する別の線とが描かれており、各線は、23個の関連する(x、y、z)座標を含む。図29に示された対応する容量表示は、23×11点のグリッドを含む表面モデルによって表示される。
【0059】
ステップ(1614)において、乗員14または物体を、訓練可能パターン認識システムにより、ステップ(1610)および(1612)の容量表示とステップ(1606)からの形状デスクリプタを用いて分類する。この訓練可能パターン認識システムは、多数の例から経験によって得られた知識ベースを用いて、可能性のあるクラスを識別するように訓練される。シート位置、シートバック角度、シート上部容量、シート下部容量、および各物体走査に関連する3次元形状デスクリプタは、この物体の特徴をコンパクトに表示する。例えば訓練セットは、乗員と乳児用シートの寸法、形状および位置の変化を正確に説明できるように、5つの主要クラスおよび6つのサブクラスの各々について、数千の物体走査を含むことができる。正確なパターンマッチにより、訓練されていない物体の走査特性が、訓練された物体の走査特性に厳密にマッチされる。実際には、一連の個別の逆伝播人工ニューラルネットワークが、個別の乗員シナリオ全てを正しく認識することが証明されたが、ここで各ニューラルネットワークは、1つの特定クラスの情報のみを認識するよう訓練されている。
【0060】
ルールベース・システムを加えて、パターン認識システムの決定を補完することができ、ここでルールは、例外なく、クラス内の可能性のある全ての変化に適用できるように設計される。このルールは、特定クラスを含めるまたは除外するように開発することもできる。例えば、シート上部容量とシート下部容量が両方とも0の場合、物体走査の分類は空のシートとすべきである。または、例えばシート上部容量が0の場合、分類は、正常に着座した成人乗員、FFIS、または小さな子供ではあり得ない。
【0061】
1つの態様によれば、車両12の前部助手席側4分の1に位置する乗員14は、次の5つの識別クラスの1つに分類される:(1)後ろ向き幼児用シート(RFIS)、(2)前向き幼児用シート(FFIS)または小さな子供、(3)正常着座成人乗員、(4)空のシート、および(5)正規位置外乗員(OOP)。正常着座乗員のクラスはさらに、次の3つの識別サブクラスの1つに分類される:(a)小さな子供、(b)5パーセンタイル女性、および(c)95パーセンタイル男性。OOPクラスはさらに、エアバッグインフレータ36.1近傍の既定の回避ゾーンにどの身体部分が入っているかによって、次の3つの識別サブクラスの1つに分類される:(a)「手が危険」、(b)「頭が危険」、および(c)「足が危険」。上の分類は、エアバッグ展開の決定および/または展開力の適合を可能とし、安全を最大化して傷害のリスクを最小化する。
【0062】
乗員検出システム10による分類は、安全拘束システム36/エアバッグインフレータ36.1を、例えばRFIS、FFIS、小さな子供、OOP、または空のシートなどの一定クラスの乗員およびシート占有シナリオに対して抑制する;または、物体の寸法のみに、またはこれと衝突センサ60からの衝突の程度の測定値と組み合わせたものに応答して、エアバッグインフレータ36.1の関連する膨張特性を適合させる。1つの態様において、乗員検出システム10は、エアバッグインフレータ36.1の予測される展開の直前に、乗員14による回避ゾーンの貫通を検出するのに十分速いように適合され、乗員14が回避ゾーンを十分に貫通した場合に、エアバッグインフレータ36.1の展開の動的抑制として知られているものを提供する。従って、この態様において、乗員検出システム10は、例えば、衝突前のブレーキまたは衝突事象の早期に起こる可能性のある、衝突が引き起こした動きの結果生じる乗員14の動きに応答するよう適合される。例えば図1を参照すると、エアバッグインフレータ36.1が、乗員検出システム10によってANDゲート62を介して動作可能にされると、次にエアバッグインフレータ36.1が、衝突センサ60によって検出された衝突に応答して作動される。
【0063】
本明細書に記載の構造化照明を用いた乗員検出システム10は、各クラスに対して形状情報を有利に提供する;例えば日光、影、または材料などにより引き起こされるようなグレースケール変化から生じる可能性のある誤分類を回避する;および、個別の分類の複雑さまたは高価な費用なしに、意図した標的を回復する。1つの態様において、乗員検出システム10はまた、レーザーに基づく照明を用いた場合に固有の規制上および安全の問題を克服する、LEDに基づく照明技術も用いる。乗員検出システム10は、単一のカメラ32のみを用いて、3次元位置を検出することを可能とし、これは、ステレオビジョンシステムと比べて、ハードウェアのコストおよびアルゴリズムの複雑さを低減するのに有利である。
【0064】
具体的な態様が詳細に記載されているが、当業者は、これらの詳細に対する種々の修飾および改変が、本開示の全体的な教示に照らして開発可能であることを理解する。従って、開示された特定の装置は例示のみを意味し、本発明の範囲について限定するものではなく、本発明の範囲は、添付のクレームおよびその任意の全ての等価物の全範囲を与えられるべきである。
【図面の簡単な説明】
【0065】
【図1】乗員検出システムを組み込んだ車両内に正常に着座する乗員を示す図である。
【図2a】レーザー光線の放射輝度を示す図である。
【図2b】LEDの放射輝度を示す図である。
【図3】光カーテンを生成するための光源を示す図である。
【図4】光源のシミュレーションを示す図である。
【図5】光源に組み込まれた円筒状ファンアウトレンズの斜視図である。
【図6】関連する円筒状ファンアウトレンズの断面図を含む、光源の側面図である。
【図7】図6に示す光源の末端プロファイルを示す図である。
【図8】光カーテンを走査するための、モーター駆動式回転ミラーを示す図である。
【図9】光カーテンを走査するための、振動ミラーを示す図である。
【図10a】仰角方向に伸びる光カーテンを有し方位角方向に走査される、乗員検出システムの動作を示す図である。
【図10b】方位角方向に伸びる光カーテンを有し仰角方向に走査される、乗員検出システムの動作を示す図である。
【図11】乗員検出処理のフローチャートである。
【図12】走査された光ストライプの画像セットを取得する処理のフローチャートである。
【図13】乗員および着座面にわたって実質的に方位角方向に伸びる光ストライプを投射する光カーテンにより照射される、助手席シート内の乗員の画像である。
【図14】減法画像処理により背景情報を除去し、ビニングにより信号レベルを強調し、2値化を行った後の、図13からの光ストライプの画像である。
【図15】細線化操作による画像処理後の、図14からの光ストライプの画像である。
【図16】光ストライプの隙間を埋める補間処理を用いた画像処理後の、図15からの光ストライプの画像である。
【図17】光カーテンの完全走査および関連する画像処理から得られた、複数の処理された光ストライプの合成の図である。
【図18】画像前処理プロセスのフローチャートである。
【図19】画像前処理プロセスによるカメラの自動露光制御用の演算に用いる、マスク領域の例の図である。
【図20】カメラの自動露光制御用のマスク領域のヒストグラムの1例の図である。
【図21】画像前処理プロセスにおける、画像差分化処理および画像ビニング処理の1例の図である。
【図22】画像差分化処理および画像ビニング処理の方法の1例の図である。
【図23】車両の助手席区画と、乗員検出システムの関連する基準座標システムの図である。
【図24】実質的に仰角方向に伸びる光カーテンを用いた乗員検出システムの態様の操作を示す図である。
【図25a】実質的に方位角方向に伸び仰角方向に走査される光カーテンから得られる複数の光ストライプの合成によって照射された、シート上の乗員を示す図である。
【図25b】図25aの画像に対応する、補間された光ストライプの合成の図である。
【図26a】実質的に仰角方向に伸び方位角方向に走査される光カーテンから得られる複数の光ストライプの合成によって照射された、シート上の乗員を示す図である。
【図26b】図26aの画像に対応する、補間された光ストライプの合成の図である。
【図27】モデル化および分類処理のフローチャートである。
【図28】シート上の乗員の3次元表面モデルである。
【図29】図28に対応する、シート上の乗員の容量表示を示す図である。
【図30】図29の容量表示を、それぞれシート上部およびシート下部に区分した図である。
【図31】物体からの走査線を、空のシート表示に対応する走査線に重ね合わせた図である。
【技術分野】
【0001】
関連出願の相互参照
2001年6月15日に「乗員センサー」の名称で出願された米国出願第09/882,959号(「出願959」)、および2002年4月24日に「乗員検出システム」の名称で出願された米国出願第10/132,349号(「出願349」)は、本明細書に参照として組み込まれる。
【0002】
態様の記載
車両は、乗員の傷害を軽減する目的で、車両の衝突に応答して作動する安全拘束アクチュエータを含むことができる。かかる自動安全拘束アクチュエータの例は、エアバッグ、シートベルト・プリテンショナ、およびサイドカーテンを含む。自動拘束システムの1つの目的は、乗員の傷害を軽減であり、これにより自動拘束システムが作動されなかった場合に衝突から生じる傷害よりも、自動拘束システムの作動によって傷害をより軽くすることである。一般に、傷害を軽減することが必要な場合にのみ、自動安全拘束システムを作動させることが望ましく、これは、安全拘束システムに付随する部品の入替え費用のため、およびかかる作動が乗員を傷つける可能性があるためである。自動拘束システムは動的抑制からの利益を得ることができ、この動的抑制は、衝突前のブレーキをかける状況または連鎖的な衝突事象において、エアバッグまたは他の安全デバイスを無効にすることが可能である。そして、種々の物体を検出して分類できる、改善された乗員検出システムの必要性が存在し、これは、衝突前ブレーキまたは衝突条件のもとで、自動拘束システムの予期される展開の直前に、自動拘束システムの展開による傷害の危険にあいそうな位置に乗員がいるかどうかを十分早く検出できる、乗員検出システムである。
【0003】
図1を参照すると、車両12に組み込まれた乗員検出システム10は、車両のシート16上の乗員14または物体を、光カーテン(幕)18をシート16の前の領域20にわたって走査すること、光カーテン18とそれによって照射された物体との交差点に形成された、得られた光ストライプ(帯)22を画像化すること、前記光ストライプ22が位置する表面24のプロファイルを計算すること、およびこれに応答する、対応するシート占有条件を分類することにより、検出する。光カーテン18は光源26によって生成され、該光源は、プロセッサ30からの信号に応答して、光源ポジショナ28により姿勢制御される。カメラ32は、光源の順次の作動および変位に応答して、光カーテン18により照射された物体からの光ストライプ22の反射の連続的な画像を取り込む。連続的な画像はプロセッサ30のメモリ34に取り込まれ、これに応答して例えばエアバッグインフレータ36.1などの安全拘束システム36を制御する目的のために、分類される。
【0004】
図1は、例示の態様に関連する直交座標系を示し、ここでY軸は車両12の長さ方向の軸に平行に配置され、後方が正であり;X軸は、車両12の横軸に平行に配置され、右側、すなわち、助手席側のドアが正であり;Z軸は、車両12の垂直(高さ)方向の軸に平行に配置され、下向きが正である。座標系の原点はカメラレンズ38であるが、図1では、図中の混乱を避けるために、座標系の交点はカメラ32からずらせて示す。
【0005】
光源26は、例えば平面などの表面に沿って光カーテン18を生成し、これは、例えばレーザーなどの1つまたは2つ以上の光発生装置、または、光源26の1つまたは2つ以上の光発生装置によって発光される光から光カーテン18を形成するよう適合された変換要素と反応する、1つまたは2つ以上の発光ダイオード(LED)を用いて、生成する。1つの態様において、以下にさらに十分に記載されるように、光源26の光発生装置は複数の発光ダイオード(LED)を含み、このLEDは、眼を保護する他の形態なしで眼に安全に適合されている、裸眼には見えない近赤外線を生成し、これによって、レーザーに基づく照射に付随する可能性のある規制上および安全上の問題を回避する。光源26はまた、付随する画像処理アルゴリズムに関連して適合されており、以下にさらに十分に記載されるように、乗員14が直射日光に照射されている条件、すなわち、乗員検出システム10がその下で動作すべき可能性のある条件のもとでも検出可能な、十分な照明を提供する。車両の内部での組織的な照明(structured lighting)の使用は難しい課題であり、なぜならば、直射日光の条件下で投射線を回収するのが困難だからである。カメラ32の周囲日光レベルを低減させるために、約800nmのカットオフ波長のロングパスフィルタ(すなわち、比較的長い波長を透過させるもの)を、カメラレンズ38の上に配置する。しかし、このフィルタを用いたとしても、さらなる画像処理なしで直射日光の周囲照明の条件下で光カーテン18をカメラ32が観測できるためには、比較的高いレベルの光力を有する光源が必要となる。直射日光の周囲照明の条件下でカメラ32に視覚可能な十分な明るさのレーザー光の強度は、乗員14が長時間見るには眼の安全な限界を超える可能性が高く、従って、規制上および安全上の問題を生じる。目に見えない光源26、例えば近赤外線周波数を用いたものは、乗員14の注意を引かないが、近赤外線照射に関連する規制は一般に、可視光の照射に対するものより厳しく、なぜならば、眼に見えない光源を直接見る場合、眼に見える光源を見る場合と異なり、眼が自然の回避反応(例えば瞳孔の収縮)を起こさないからである。
【0006】
図2aおよび2bを参照すると、放射輝度(radiance)は、光源130から受光手段132への、空間を通る光束のマッピングである。放射の伝播方向に対して直角に配置された光源130および受光手段132の両方に対して、光源放射輝度Lは、光源130と受光手段132の間を流れる光束φを、光源面積A1および受光面積A2の積で割り、さらに光源130と受光手段132の間距離rの2乗をかけて得られる。これはまた、受光手段での放射照度(irradiance)Ereceiverを、光源面積A1で割って距離rの2乗倍したものとして表すことができる(すなわち、光源立体角)。光源放射輝度Lは、光源130と受光手段132の間の距離rから独立していることに注意すべきである。光源放射輝度Lは、次の式で与えられる:
【数1】
【0007】
従って、比較的小さな光源面積A1’、対応する比較的小さなダイバージェンス、およびその結果比較的小さな受光面積A2を有するレーザー源130’は、対応する比較的大きな光源放射輝度Lを有し、これは、人の眼の受光手段132によって見るには安全ではない可能性がある。対照的に、比較的大きい光源面積A1および対応する比較的大きい受光面積A2を有するLED光源130”は、レーザー源130’より実質的に低い光源放射輝度Lを提供する。光源面積A1および受光面積A2の両方を増加させることにより、光源放射輝度Lは実質的に低減され、これによって、眼に安全で、直射日光の周囲照明の条件下でも続く画像処理によって信号が回収可能な、関連する十分な光束φを有する光源のデザインが可能となる。
【0008】
光源26は、眼に安全な照明源、例えば800〜900nm範囲の発光ダイオード(LED)に基づく照明源を用いることにより、光源26のカバーが開かれたりまたは壊された場合にも、付加的な安全のマージンを提供する。米国食品医薬品局医療機器放射線保健センターは、800〜900nm範囲の放射に対する眼に安全な限界値を、光源放射輝度に基づいて設定している。光源26は、最長時間の観察条件の下で眼に安全であるように設計され、これは人の目で光源を10,000秒間(約2.8時間)連続凝視することにおいて規定される。例えば、医療機器放射線保健センターは、880nmの放射および光源を10,000秒間連続凝視することに対して、光源放射輝度がステラジアン(steridian)当たり447ミリワット/平方センチメーターを超えないことと規定している。
【0009】
光源26は、1つまたは2つ以上の関連する光発生装置により生成される光から光カーテン18を形成するための方法を含む。例えば、1つの態様において、光源26は、円筒状ファンアウトレンズ(cylindrical fan-out lens)(例えば、平面−円筒状ファンアウトレンズ(plano-cylindrical fan-out lens))と協働して、連続的で、実質的に平面状の、十分な厚さを有し眼に安全な光カーテン18を生成する、複数のLEDを含む。より具体的には、図3〜図7を参照すると、光源26は複数の発光ダイオード(LED)134および円筒状ファンアウトレンズ136(例えば、平面−円筒状ファンアウトレンズ)を含み、この組合せは、光カーテン18を生成するように適合されている。図3に示すように、円筒状ファンアウトレンズ136の長さ方向の軸をY’とし、レンズの平表面を横切る軸をX’とすると、LED134は円筒状ファンアウトレンズ136から−Z’方向に約1焦点距離の位置に配置され、これにより得られる光カーテン18は+Z’方向に伝播し、実質的にX’方向において平行にされ(X’Z’面)、そして+/−Y’方向に散開し(Y’Z’面)、ここでX’、Y’、およびZ’は互いに直交する。円筒状ファンアウトレンズ136の凸側には連続した起伏(corrugation)138が設けられ、これは光を+/−Y’方向に分散および散開させるように機能して、光源26の操作のシミュレーションにより図4にさらに示されるように、LED134によって生成された不連続の光線140を光カーテン18に変換する。起伏138の1つまたは2つ以上の形状の組合せおよびLED134の寸法およびY’の間隔は、Y’方向に沿った光カーテン18の均一性に影響し、可能な限り、比較的均一な光の分散を提供するように適合される。
【0010】
起伏138なしの円筒状レンズは、線状の光束(例えば、光カーテン18)を作りだすが、しかし、ビームの均一性および強度を維持しつつ、特定の長さの光線を提供するのに十分な制御を欠いている。代わりに、散開の度合い(またはその欠如)、およびビームの長さに沿った強度の変化は、関連するLED134の光分散特性によって律則される。十分な強度の十分な光線を提供するには、一般に幾つかのLED134源が必要である。
【0011】
円筒状ファンアウトレンズ136の円筒状レンズ形状および対応する焦点距離は、関連するLED134の特性(例えば、ビームの広がりおよび大きさ)および特定用途のための全体の寸法の制限に基づいて決定され、X’方向、すなわち、光カーテン18の厚さに沿う方向に、実質的な平行光線変換(collimation)を提供する。円筒状ファンアウトレンズ136の円筒状面上の起伏138は、光カーテン18の均一性を改善し、光を仰角方向、すなわちY’方向に十分な散開を有して広がるようにし、これによってシート16上の乗員14または物体を、起伏138の利点なしの円筒状レンズより実質的に短く、従ってパッケージが容易な円筒状ファンアウトレンズ136からの光により照射することができる。円筒状ファンアウトレンズ136の全体の長さは、強度を提供するのに必要なLED134の数および、起伏138に対するLED134の間隔によって決定された。図5に例示したレンズにおいては、下側の円筒焦点距離は30mmであった。起伏138は、回転体の円筒表面により形成され、図6にはこの表面の生成曲線が示され、図7には、この断面の回転体の状態を示している円筒状ファンアウトレンズ136の末端図が示される。例示の円筒状ファンアウトレンズ136の生成曲線の起伏138は、1mmのピークの径方向の大きさおよび、3mmのピークのY’方向の間隔を有し、ここで上部および下部の3分の1の曲線は、G2連続5度スパンのベジエ曲線(G2 continuous degree 5 Bezier curve)と混合された標準円錐部(例えば放物線)を含み、これは、Robert McNeel and Associatesが販売する光学コンピューター支援設計(CAD)プログラムコールRhinocerosにより提供される。
【0012】
複数のLED134は、円筒状ファンアウトレンズ136の長さ方向(Y’)軸に平行な線に沿って、その円筒側に、約1焦点距離だけ離して配置される。LED134の長さ方向(Y’)の間隔は、起伏138のピーク間間隔とは異なっており、光カーテン18の長さに沿った照明の均一性を改善する。照明の均一性は、LED134の間隔が起伏138の間隔に近づくにつれて低下する。例示の光源26において、近接するLED134の間隔は約4mmであり、LED134のセットは起伏138に対して、LED3個毎に起伏138の谷142と整列するように、そしてどのLED134もピーク144とは整列しないように配置される。谷142に近接する起伏138の凹部は、凹部反射表面として、LED134によってそこから照射された光を発散させるように働く傾向にあり、一方、ピーク144に近接する起伏138の凸部は、凸部反射表面として、LED134によってそこから照射された光を集束させるように働く傾向にある。従って、LED134とピーク144が揃うことは、LED134からの光をY’軸に沿って集中させ、それによって光カーテン18により投射される光の均一性を低下させるため、光カーテン18により投射される光の均一性を改善するには、LED134の位置を起伏138の近接するピーク144からずらすことが有利である。
【0013】
光源26の個々のLED134からの光は、光カーテン18によって投射された光線の長さに沿って広がり、光カーテン18の強度は、個々のLED134の強度を調節するか、または光源26に組み込まれたLED134の数を変えることによって、円筒状ファンアウトレンズ136を、またはより具体的にはその起伏138を再設計することなく、調節することができる。円筒状ファンアウトレンズ136の起伏138は、光カーテン18によって投射される光の強度の変化を制御することを可能とし、また散開角度(fan-out angle)θを制御することを可能とし、該散開角度は光源26の長さを決定するが、これは、円筒状ファンアウトレンズ136の長さによって決定するのと同様に、特定領域を照射するのに十分な光カーテン18を生成するのに必要な程度に決定される。光カーテン18の幅w(または厚さ)は、LED134の横幅および円筒状ファンアウトレンズ136の円筒焦点特性によって決定され、これには、LED134の円筒状ファンアウトレンズ136に対する位置および、光カーテン18が完全に平行光線変換されていない場合は、光カーテン18に沿った円筒状ファンアウトレンズ136からの距離を含む。ここで、光源26は、基本的に平面−円筒状形を有する円筒状ファンアウトレンズ136を用いて示され、またLED134は円筒状ファンアウトレンズ136の円筒側に配置されて示されているが、次の項目:1)円筒状ファンアウトレンズ136は両側共に曲面であってよい、2)LED134は代わりに平面−円筒状ファンアウトレンズ136の平面側に配置されてよもよい、も理解されるべきである。
【0014】
他の態様において、光源26は、レンズと協働するレーザー、レンズアセンブリ、ホログラフィック素子、または光カーテン18を生成するよう適合された組合せを含むことができる。さらに他の態様において、光カーテン18は分割されてもよく、例えば、複数の個別のスポットビームを含むことができる。さらに他の態様において、光カーテン18は、単一の走査型スポットビームを含むことができる。
図8を参照すると、光源ポジショナ28.1の1つの態様において、光源26によって生成された光カーテン18は、光カーテン18を回転ミラー40で反射させることにより、シート16の前の領域20にわたって走査される。光カーテン18により走査される角度は、ミラー40の回転角度θの2倍である。1つの態様において、ミラー40は両面ミラーであり、ミラー40の各完全1回転に対して、2回の完全走査を提供する。他の態様において、複数面ミラーを組み込み、光カーテン18が領域20内に位置する時間の割合を増加させる、すなわち、関連する走査デューティサイクルを増加させることができる。
【0015】
例えば、ミラー40はモーター42、例えば改善された信頼性のためにDCブラシレスモーターによって駆動されてもよく、ここでミラー40はモーター42によって連続して回転され、ミラー40の位置はエンコーダ44によって、例えばロータリー・エンコーダ、例えばシャフトエンコーダ、例えば光学的もしくは磁気的にミラー40またはモーター42のどちらかに動作可能に結合されたエンコーダによって、モニタリングすることができる。他の態様において、ミラーの位置は、測定または推定可能な回転速度を積分することにより決定される。他の態様において、ミラー40はステッピング・モーターによって駆動され、ミラー40の位置はステッピング・モーターに適用された制御ステップを計算することによりモニタリングされる。
もし用いられる場合、エンコーダ44は絶対位置の測定値を提供するよう適合することができる。そうでなければ、上記のミラーの位置の測定値は、ミラー40の特定の基準位置の表示を提供する基準信号と組み合わされ、これからミラー40の絶対位置を決定することができる。例えば、基準信号は、例えば反射マークまたは強磁性突起部などの要素またはシャフト上の要素と協働するよう適合された、磁気もしくは光学センサーのどちらかを用いて生成でき、回転毎に一回、信号が生成される。
【0016】
他の態様において、ミラー40の絶対位置を決定するための基準信号は、車両12の内部をカメラ32でサンプリングすることにより得ることができる。車両のBピラー上または車両12のヘッドライナー上の高い基準位置は、閉塞される可能性が低く、基準点として用いることができ、ここで基準信号は、光カーテン18がこの基準点と交差すると生成される。このアプローチはまた、エンコーダ44の必要性を除外する。
【0017】
図9を参照すると、光源ポジショナ28.2の他の態様において、光カーテン18は、例えば、検流計または他の電磁気デバイス、または静電気デバイスなどの駆動装置48によって振動回転されるねじりシャフト46(少なくとも1つ)により支持されたミラー40からの反射によって走査することができる。ねじりシャフト46/ミラー40アセンブリは、フレックスピボットデバイス(flex pivot device)としても知られており、駆動装置48により共振で駆動され、ミラーをある回転角度にわたって振動させ、例えば、駆動装置48への特定の駆動信号に対する固定の回転角度にわたって振動させる。関連する検知回路は、ミラー40が特定の振動限界に配置された場合の測度を、駆動装置48の信号または別のセンサからの信号のどちらかを用いて提供する。ミラー40の振動限界間の位置は、次に、関連する運動の推測的運動学から、時間に関連して推測することができる。フレックスピボットデバイスは、比較的高い信頼性および、関連する比較的長い寿命と平均故障間隔(MTBF)を、有利に有している。
光源ポジショナ28の他の態様を用いることもできる。例えば、光カーテン18は、ホログラフ、電気光学、または液晶に基づくシステムを用いて走査してもよい。他の例として、本明細書に参照として組み込まれる米国特許第6,598,139号には、可能性のある光源ポジショナ28の他の態様が例示されている。
【0018】
比較的高速で高い応答性のCMOSカメラ32は、車両12の助手席側の領域20のサンプリングを、例えば約500Hzまでのレートで連続して行う。1つの態様において、カメラ32は車両12のセンターラインに沿って、ヘッドライナーとフロントガラスの交点の数インチ後ろに配置され、この位置は、以下の理由から有利である:1)車両の助手席区画の最適な視界を提供する;2)カメラ32が直射日光によって照射されないことを保証し、これはそうでなければ、センサのブルーミングの原因となる;そして3)カメラ32の視野(FOV)が日よけによって遮られないことを保証する。カメラ32は、光カーテン18によって投射される光ストライプ22が観測できるように配置され、固定オフセット距離、例えば光源26のaft(Y方向)、例えば十分な精度で光ストライプ22内の点の位置を決定するのに十分な距離だけ、光源26から相対的に変位される。例えば、光源26とカメラ32の両方は、車両12のセンターラインに沿ったヘッドライナー、例えば頭上のコンソールに搭載されてもよい。
【0019】
光カーテン18は、車両12の乗員区画の領域20上に投射され、その領域にわたって走査されて、シート16上の乗員14または物体の表面に複数の光ストライプ22を形成する。代替的に、光カーテン18は連続して作動することができ、そしてカメラ32またはそれに動作可能に結合されたシャッターが間欠的に作動することができて、関連する複数の光ストライプ22の画像を生成する。光ストライプ22は、光カーテン18によって投射された比較的厚みのある光線を含み、この厚さは、光ストライプ22を妨害する可能性のある直射日光の下でも、光線が画像処理後に検出するのに十分な量の光束φを有していてもなお、光線の強度が眼に安全であるほど十分厚い。走査された光ストライプ22を解析して、シート16上の乗員14または物体の表面プロファイルに関する十分な情報を得、これによってシート16の表面に対する関連する深度情報を抽出して、乗員14または物体の表面をレンダリングすることを可能とし、そしてシート16の表面に対するその変位モデルを構成することを可能とする。光カーテン18を生成する光源26は、カメラ32からはオフセットすることにより、得られた関連する光ストライプ22の画像から、深度情報が得られる。図10aを参照すると、1つの態様において、光カーテン18は実質的に仰角方向に伸びる光ストライプ22を投射するように向けられており、方位角方向に走査される。図10bを参照すると、他の態様において、光カーテン18は実質的に方位角方向に伸びる光ストライプ22を投射するように向けられており、仰角方向に走査される。さらに他の態様において、光ストライプ22は斜めに向けることもでき、関連する光カーテン18の表面に対して直角方向の成分を有する方向に走査される。
【0020】
光源26とカメラ32の間の具体的なオフセットは、多くの考慮事項、例えば、精度、視野、およびパッケージングなどに影響される。例えば、光源26とカメラ32の間のオフセットを、特定の光ストライプ22内の特定点の位置の計算に対する、角度のずれおよびオフセットのずれの影響を最小化するように選択することが可能である。最大位置づけ誤差(回避ゾーン(avoidance zone)内で)を有する点を「最適化」点として選択することは、特定の精度基準、例えば±12.5mmを満たすような他の点において、誤差の大きな増加を引き起こす。さらに、特定のオフセット距離の選択は、他の基準、例えば、製造コスト、実装の容易さ、寸法等によって影響され得る。例えば、カメラ32と光源26の両方を1つの比較的小さな構造に実装することは、カメラ32と光源26をそれぞれ別の構造に収納するシステムと比較して、車両12内のパッケージングを改善し、関連するコストを低減し、そして、関連する並進運動および回転のずれのよりよい制御を可能にする。さらに、実質的に垂直の光カーテン18、すなわち、例えばZ軸など1つの軸に対して平行な面を提供するよう整列された光源26に対して、乗員検出システム10の関連する位置演算は、他の2つの軸に沿ったカメラ32/光源26のオフセットから実質的に独立しており、これによって2つの誤差源を実質的に排除し、関連する製造コストの低減を支援する。誤差源およびそれらの3次元位置計算精度への影響の解析によって、次のことが示された:特定車両においてカメラ32と光源26の間のオフセットが4インチであるシステムでは、関連するオフセット距離が±1.25mm以内で、光源26に対するカメラ32の関連する回転角度が±0.06度以内の場合、関連する計算位置誤差は±12.5mm以内である。
【0021】
走査中、光カーテン18はプロセッサ30の制御の下で一連の間隔で、カメラ32の画像取得開始および終了時と同期してストロボを作動され、プロセッサ30による個別セットの画像の取得が可能となり、ここでセットの各画像は、光カーテン18の異なる走査位置および、関連する投射された光カーテン18の異なる位置に対応する。光カーテン18オンで取得された各画像(「オン画像」)に対して、光カーテン18オフで第2画像(「オフ画像」)を取得する。得られた2つの画像は、次にその差を求めて、以下にさらに十分に記載するように直射日光の存在下での光ストライプ22を回復するために用いられる。代替的に、各オン画像に対応するオフ画像を取り込む代わりに、例えば走査の各セットに対して1つのオフ画像を取り込むことができ、これは各オン画像から差し引く共通の背景基準として用いられる。
【0022】
図11を参照すると、乗員検出処理500の1つの態様に従って、ステップ(502)において、例えば助手席区画内の着座位置は、シート上の乗員または物体を後にモデル化および分類するために、シート16の着座表面のモデルを提供するように特徴を明らかにする。次に、走査および画像化処理600に従って、ステップ(600)において光カーテン18を走査し、得られた光ストライプ22の画像セットを取得する。次にステップ(506)において、例えば、シート軌道位置およびシートバック角度を直接測ることにより、または、ステップ(600)の走査および画像化処理600からの画像の一部を処理することにより、シート位置を決定する。次にステップ(1600)において、光カーテン18の完全な走査にわたって全ての光ストライプ画像を取得した後、得られた画像からのデータをモデル化し、次に分類して、乗員14がシート16上に着座しているかどうかを決定し、もし着座している場合は、乗員14の種類、寸法および位置を決定する。次にステップ(510)において、安全拘束システム36(例えばエアバッグインフレータ36.1)を、この分類情報に応答して制御する。乗員検出処理500は次にステップ(600)から繰り返す。乗員検出処理500の上記の各ステップは、以下にさらに十分に記載される。
【0023】
図12を参照すると、走査および画像化処理600はステップ(602)から始まり、ここで、光カーテン18の走査位置を、例えば光源ポジショナ28により初期化する。例えば、モーター駆動の光源ポジショナ28.1を用いると、走査および画像化処理600は、ミラー40が走査開始に対応する位置にある場合に開始される。次に、ステップ(604)において光カーテン18をオフに切り換え、ステップ(604)においてカメラ32は背景のオフ画像を取得する。次に、以下にさらに十分に記載されるように、ステップ(608)において、周囲光(例えば日光)からの飽和を避け、一方で光ストライプ22の有用な画像を取得するのに十分なダイナミックレンジを提供するよう、カメラの露光時間を調節する。次にステップ(610)において、光カーテン18をオンとし、ステップ(612)においてカメラ32はオン画像を取得し、これには、光カーテン18をシート16およびその上に位置する乗員14または物体上に投射して得られる、光ストライプ22が含まれる。ステップ(614)においてカメラの露光をチェックし、以下にさらに十分に記載されるように、後に必要ならば露光を調節するために、対応するフラグをセットする。
【0024】
図13を参照すると、カメラ32の視点によれば、乗員14と交差する光カーテン18は、得られる光ストライプ22の一部を、乗員14の3次元プロファイルに応答して横に変位させる。従って、各光ストライプ22内の光のこの横変位は、これによって照射された物体の形状プロファイルに対応し、走査中の他の光ストライプ22のそれと組み合わさって、シート16を占めている乗員14または物体の全体の寸法および容量の測定値の決定を可能にする。
【0025】
ステップ(616)において、光ストライプ22の有用な情報を、関連する背景クラッターから減法画像化処理(subtractive imaging process)を用いて分離し、すなわちオフ画像をオン画像からピクセル毎に差し引いて、差分画像を生成する。差分画像の信号レベル、例えば8ビット値で表されるような信号レベルは、光ストライプ22の位置以外ではどこでもほぼゼロである。光ストライプ22のエネルギーを光カーテン18の厚さを拡張することによって分散し、眼の安全を提供する態様においては、画像における光ストライプ22の信号レベルは比較的低い。ステップ(618)において、この信号は次に、以下にさらに十分に記載されるように、差分画像中のピクセルをビニング(binning)することにより増幅する。ビニング処理は、差分画像中の信号の、空間的積分を含む。ステップ(620)において、ビニング画像を次に閾値アルゴリズムにより2値化し、これには例えば、ピクセル値が閾値以上の場合には関連するピクセルをオンの値とし、ピクセル値が閾値未満の場合には関連するピクセルをオフの値とする。図14は、上記の画像化処理を図13に示した画像に適用した場合に得られる、2値化画像50の例を示す。
【0026】
ステップ(622)において、光ストライプ22に関連する形状プロファイルの精度を、細線化処理(skeletonization process)を用いて、2進法物体の幅を狭めて単一ピクセル幅の物体とすることにより改善する。例えば、図15は、図14に示された画像の細線化により得られた、細線化画像52を示す。細線化処理は、シニング細線化処理(thinning process)としても知られており、物体の形状を表す線分のセットを含む2値画像を提供し、ここで関連する細線化ピクセルは物体の中心軸と考えることができる。例えば、細線化またはシニング細線化処理は、http://www.cee.hw.ac.uk/hipr/html/thin.htmlの文献に記載されており、これはインターネット上で入手可能であり、ここに参照として組み込まれる。
【0027】
シート16上の乗員14または物体の特徴により、光カーテン18が遮蔽されて、得られる光ストライプ22の画像中に隙間54を生じ得る。ステップ(624)において、これらの隙間54は補間処理により補充され、この処理により光カーテン22のセグメント56間の隙間54は、その間の3次スプライン補間によって補充される。得られる2値補間画像58は、物体の形状、すなわちプロファイルの、光ストライプ22の特定走査位置における表示である。例えば図16は、図15に示された画像の補間から得られる補間画像58を示す。ステップ(626)において、補間画像58をメモリ34に格納する。
【0028】
ステップ(628)において光カーテンの走査が完了していない場合は、ステップ(630)において、光カーテン18の位置を増加し(例えば、モーター42がミラー40の次の回転角に到達するまで待機することにより)、そして上記の処理をステップ(604)から繰り返す。上記の処理は光カーテン18のそれぞれの走査位置について繰り返される。全走査位置が画像化された後、次にステップ(628)からステップ(632)において走査および画像化処理600が完了し、これによって乗員検出処理500に戻り、ここでメモリ34には、それぞれの走査位置についての光ストライプ22の補間画像58の合成セットが格納されている。例えば、図17は、光源ポジショナ28による光カーテン18の完全な走査中に生成された全ての光ストライプ22に対する補間画像58の合成セットを示し、シート16上の乗員14の、関連するその基礎にある3次元形状プロファイルを明らかにしている。
【0029】
上記の走査および画像化処理600は本質的に、分割(segmentation)(信号分離)および信号増幅の操作を各処理サイクルの間に実行する。分割は、背景物体(窓の外の物体および車両内部に属する固定された領域)を重視しないようにしつつ、関連物体(光ストライプ22の領域)を分離および識別することである。信号増幅は、高い周囲日光レベルの存在下で、比較的低い照明レベルを回復するために必要である。上記の走査および画像化処理600は、本発明の範囲内で改変が可能であることが理解されるべきである。例えば、露光制御ステップ(608)は、1セットの走査に1度またはそれ以下の頻度で実施することができ、例えば、周囲光センサに応答して実施できる。さらに、ステップ(612)、(628)および(630)をまとめることにより、ステップ(616)〜(626)の画像処理に先立って全オン画像を取得および格納することが可能となり、それによって走査画像の処理が1セットの走査に1度づつ実施される。
【0030】
図18を参照すると、走査および画像化処理600の画像前処理プロセス600aは、ステップ(601)から、カメラ32の露光時間を初期化することにより開始される。露光時間は初期値として、光ストライプ22に対応する画像ピクセルがカメラ32のノイズ閾値より実質的に大きい値を有するように設定される。ステップ(604)および(606)において、k番目の背景画像を、光カーテン18をオフにしてカメラ32によりサンプリングする。ステップ(608.1)において、k番目の背景画像を、例えば図19に示すようなマスク領域M内で解析し、閾値より大きい対応するピクセル値を有するマスク領域M内の点のパーセンテージを決定するが、これは、カメラ32の露光時間を減少させて、カメラ32が例えば日光などの周囲光により飽和されることを防ぐ必要があるかどうかを決定するためである。光ストライプ22にわたる与えられたピクセルのセットが、光カーテンオフにて十分なマージンで飽和されていない限り、以下に記載のビニング技法により前処理画像における光ストライプ22を回復することができ、光ストライプ22を、乗員検出の目的で用いることができる。
【0031】
マスク領域Mは、画像内領域を囲むように適合され、ここで光ストライプ22の画像の少なくとも一部は、その中に配置されることが予想される。カメラ32からの画像中の各ピクセル値は、例えば0〜255の範囲の8ビット数で表される。図20は、光カーテン18をオフとした画像についての、マスク領域M内のピクセルに対するピクセル値のヒストグラムの例であり、ここで可能性のある256の異なるピクセル値の各々に対して、マスク領域M内におけるその値のピクセルの数を、ピクセルの関数として、関連ヒストグラムにプロットする。ステップ(608.2)において、閾ピクセル値(例えば248、図20の領域R2として定義)より大きい値を有するピクセルの閾値パーセンテージ(例えば2%)は、比較的高い周囲照明、例えば図19において示されたように、日光からのレベルを示唆し、次にステップ(608.3)において、カメラ32の露光時間を例えば係数によって減少させ、処理をステップ(604)から繰り返す。例えば閾ピクセル値は、少なくともカメラ32のノイズ閾値、例えば6〜8ピクセルと同じ量だけ、最大ピクセル値より低い値に適合される。図19が、マスク領域Mの位置を示す目的で光カーテン18をオンにしたカメラ32からの画像を示しているにも関わらず、ステップ(608.2)における決定は、光カーテン18をオフとしてなされる。さらに、ステップ(608.1)および図20がヒストグラムの使用を例示しているにも関わらず、次のことが理解されるべきである:すなわち、ステップ(608.1)および(608.2)におけるカメラ露光時間を減少させるかどうかの決定は、閾ピクセル値を超えるピクセル値を有するピクセルの数が、閾値パーセンテージに対応するピクセル数の閾値を超えるかどうかの決定と等価であり、なぜならば、マスク領域M内のピクセル総数は固定されているからである。
【0032】
ステップ(608.2)に続き露光時間が正しい場合、ステップ(610)および(612)において、(k+1)番目の画像を、光カーテン18をオンにしてカメラ32によりサンプリングし、ここでkおよびk+1はそれぞれ、任意の2つの連続画像である。ステップ(614.1)において、差分画像中の最大ピクセル値が閾値より小さい場合、次にステップ(614.2)においてフラグをセットし、これによって、次の画像をサンプリングするときにステップ(601)においてカメラ32の露光時間を増加させることになる。従って、ステップ(608.3)では、例えば日光などの高い周囲照明に応答して露光時間の減少を提供するが、ステップ(614.2)では、その後の周囲光の減少、例えば、晴れた日に開かれた道路からトンネルに入った場合などに応答して、露光時間のその後の増加を提供する。ステップ(614.1)における最大ピクセル値は、一般には、光ストライプ22内のピクセルに対応する。
【0033】
画像化システムは、光ストライプ22から反射または散乱された光を検出するように機能する。反射光または散乱光を検出する方法、またはこの光を関連する周囲照明から識別する方法は、高い周囲照明の条件下では、例えば周囲日光条件のために困難である。光カーテンからの反射光または散乱光の信号を関連する周囲照明のノイズから識別するには、光カーテン18をオンにした画像から、光カーテン18をオフにした画像(すなわち背景画像)を差し引くことによって、両方の画像に共通の画像成分、すなわち、連続する画像においてカメラ32または光カーテン18に関して比較的変化のない画像成分を実質的にキャンセルすることにより、識別することができる。差を求める操作により、直射日光で照射されることから生じる比較的高い輝度の共通モード信号を含む、オンおよびオフ画像に共通な信号の部分が、実質的に除去される。差分画像の信号は、光線が投射された領域以外のどの場所においても、実質的にゼロに近い。例示のシステムにおいて、2ミリ秒間の画像が、光源26オンおよび光源26オフの繰り返しにより連続的に取り込まれる。連続画像は互いに差し引かれて、関連する差分画像を形成し、これは次に、車両の内部、乗員14または物体、またはこれらの部分の上の、および従ってこれらと交差する光カーテン18の画像に対応するピクセルを検出するために用いられる。
【0034】
従って、ステップ(614.1)または(614.2)のどちらかに続き、ステップ(616)において、(k+1)番目の画像からk番目の画像を差し引くことにより、差分画像が形成され、両方の画像に共通な背景信号をキャンセルし、そこで交差する表面によって反射または散乱された光カーテン18の光ストライプ22からの光の画像を残す。減法画像化処理は共通モード信号をキャンセルし、差分画像の信号対雑音比は、光カーテン18がオンの画像のそれより高くなる。
【0035】
ステップ(610)〜ステップ(614.2)は、ステップ(604)〜ステップ(608.3)の前に実行することも可能であることが理解されるべきであるが、ただし、前に記載した順序の方が待ち時間の減少を可能とし、何故ならば、シート16上の乗員14または物体についての情報は光カーテン18がオンの画像中にあり、これは最後に、すなわち最も近時に取得されるためである。一般に差分画像は、光カーテン18がオフの画像を光カーテン18がオンの画像から差し引くことにより形成される。
【0036】
減法画像処理の1つの技法によれば、差分画像は、各新しいセットの連続画像が取り込まれた後に形成され、これによって差分画像は、画像がカメラ32により取得される速度の半分の速度で、以下のように形成され、ここでオンは光カーテン18がオンの画像信号を示し、オフは光カーテン18がオフの画像信号を示す:
差分画像1=画像1:光カーテンオン−画像2:光カーテンオフ
差分画像2=画像3:光カーテンオン−画像4:光カーテンオフ
差分画像3=画像5:光カーテンオン−画像6:光カーテンオフ
【0037】
上の処理においては、差分画像が光カーテン18オンの画像からの情報に影響される前に、1サンプリング期間の固有の待ち時間がある。この待ち時間は、以下に示すように、光カーテン18オフの画像が取り込まれた後ではなく、光カーテン18オンの画像が取り込まれた後に、差分画像を更新することにより、取り除くことができる:
差分画像1=画像2:光カーテンオン−画像1:光カーテンオフ
差分画像2=画像4:光カーテンオン−画像3:光カーテンオフ
差分画像3=画像6:光カーテンオン−画像5:光カーテンオフ
【0038】
光カーテン18を貫通する乗員14を検出する処理は、以下のように、動的条件の下で、連続画像の対を取得した後ではなく、新しい画像を取得した後に、新しい差分画像を形成することにより改善することができ、形成される差分画像の数は、取得される総画像数より1少なくなる:
差分画像1=画像1:光カーテンオン−画像2:光カーテンオフ
差分画像2=画像3:光カーテンオン−画像2:光カーテンオフ
差分画像3=画像3:光カーテンオン−画像4:光カーテンオフ
【0039】
図21を参照すると、減法画像化処理が、比較的高いレベルの周囲照明について示されている。16ピクセルの4×4アレイにおいて、光ストライプ22を含む画像領域において、光カーテン18オフの第1画像21aにおいて、アレイ21bのピクセル値は208〜228単位の範囲である;そして光カーテン18オンの第2画像21cにおいて、アレイ21dのピクセル値は214〜233単位の範囲である。差分画像の対応するピクセルのアレイ21eは、5〜7単位の範囲のピクセル値を有する。従って、光カーテン18が投射された領域において、8ビット差分信号の計測レベルは比較的小さい可能性がある。光カーテン18の光ストライプ22を通る差分画像の断面21fは、光ストライプ22に対応し、約8単位のピークを有するパルス形状の特徴21gを示す。
【0040】
再度図18を参照すると、ステップ(618)において、差分画像の信号をビニング処理により強調し、ここで、与えられたアレイ内の全ピクセルの値を合計して、このアレイの代表信号値を生成し、この大きさはビニング係数と呼ばれる。ビニング操作は、差分画像の信号を空間的にまとめて圧縮する。例えば、2×2、4×4および8×8領域のビニング係数が用いられた。さらにビニング係数は、差分画像または得られたビニング画像のどちらかの特徴に応答して適合的に制御することもでき、例えば、ビニング画像の値の範囲は閾値にわたる。一般にビニング処理において、差分画像中に大きさn×nの領域が識別され、続いて一緒に合計されて、より小さい画像を形成する。得られたビニング画像は次に、そのもとの大きさに拡張することができ、または、続く処理を、差分画像空間に対して圧縮されたビニング空間に適合させることができる。ビニング操作は画像の解像度を低下させるが、しかし高い周囲日光レベルの存在下において、比較的低い照明レベルを回復するのに非常に効果的である。例えば、8×8ビニングを用いて、光ストライプ22の放射照度が関連する波長バンド内の背景日光レベルの3%と低い場合でも、光ストライプ22を回復できる。例えば、光ストライプ22がオンとオフの画像のピクセルの間の、1.5カウントの平均の差により、96カウント(255のうち)のピクセル値を有する対応する8×8ビニングピクセルが生成可能である。説明のため、ビニングなしのシステムにおいて同じ信号レベルを達成するためには、光カーテン18は実質的により高い放射照度を必要とし、これは眼の安全に影響する可能性があり、および/またはカメラ32の露光時間を増加する必要があり、これは高い周囲照明の条件下でカメラ32の飽和をもたらす可能性がある。
【0041】
図21を再度参照すると、4×4ビニング係数を用いたビニング処理が示されており、ここで差分画像の4×4アレイ21eは合計されて、対応するビニング値21hとして96を生成する。ビニング値は次に、もとの画像空間に拡張され、ビニング画像21iを形成する。光カーテン18の光ストライプ22を通るビニング画像21iの断面21jは、光ストライプ22に対応する、約100単位のピークを有するパルス形状の特徴21kを示し、これは差分画像の対応するピークより8倍以上大きい。平均6カウントと低いピクセル値を有する差分画像に対して、4×4ビニングは、平均96カウントの合計信号を提供する。ビニング処理は、重ね合わせなしのピクセルのアレイ上で操作されるように適合される。差分画像が単一振幅の矩形パルス機能と共に畳み込まれる畳み込み処理は、差分信号の同様な増幅を提供するが、しかしよりゆっくりとである。
【0042】
図18を再度参照すると、次にステップ(610)において、ビニング画像をカメラ32のダイナミックレンジ内の適当な閾値において2値化し、これによって閾値未満の輝度値を有するピクセルをゼロの値にセットし、閾値より高い輝度値を有するピクセルを1の値にセットし、関連する2値のビニング画像信号51を生成する。
【0043】
フィールド・プログラマブル・ゲートアレイ(FPGA)を適合させて、本明細書に記載の差分化(616)、ビニング(618)、および2値化(620)の操作を実行することができ、これによりプロセッサ30のマイクロプロセッサの演算負荷、処理時間、電子パッケージ寸法、関連する電力消費、および単位コストが低減される。処理時間は、マイクロプロセッサにソフトウェアを実装するのと比較して低減することができ、これは、FPGAを用いたハードウェアにより、画像差分化およびビニング処理に適合された平行算術演算を実現できるためである。FPGAは、この処理用に特注設計および特注寸法とされ、寸法、電力消費および単位コストを減少させ、これがなければ汎用信号処理を支援するために必要とされる、余分な回路の必要性を除外する。FPGAゲートを、個別のRAM統合回路の代わりに一時的画像データストレージとして用いることにより、部品数がさらに減少される。FPGAはまた、CMOSカメラ32の制御にも、外部メモリチップまたは支援回路なしで用いることができる。さらに、FPGAは、製造容量によりASICに関連する復帰不可能エンジニアリング(non-recoverable engineering)(NRE)が正当化される場合には、特定用途向け集積回路(ASIC)中に実装してもよい。
【0044】
図22を参照すると、FPGA内の差分化およびビニング処理を、実質的に最小数のゲートを用いて実装するために用いることのできる、例示の処理アルゴリズムが示されており、ここでビニング処理は4×4ビニング係数を用いて示されている。カメラ32の画像センサ152からの画像信号は、画像バッファ154に、第1FIFO(先入れ先出し)バッファ156を介して格納される。任意の与えられた画像サイクルの開始において、例えば図18のステップ(606)または(612)において、画像バッファ154は前のサイクルからの完全な画像を格納している。例えば、ステップ(606)の開始時に、画像バッファ54は光カーテン18オンの画像を格納し、ステップ(612)の開始時に、画像バッファ54は光カーテン18オフの対応する画像を格納している。従って、ステップ(612)において画像化処理を開始すると、画像バッファ54はその中に光カーテン18オフの画像を有しており、画像センサ152からの画像データは光カーテン18オンのシーンのものであり、画像センサ152は、ピクセル毎に、光カーテン18オンの画像を提供する。与えられたピクセル位置について、古いピクセル値158は画像バッファ54から第2FIFOバッファ160へと取り込まれて、対応する新しいピクセル値162が、画像センサ152から第1FIFOバッファ156を介して、画像バッファ54の対応する位置へと取り込まれる。古いピクセル値158は、加算ジャンクション164において新しいピクセル値162から差し引かれて、差分ピクセル値166を形成し、連続数、例えば4つの差分ピクセル値166がアキュムレータ168で一緒に加算され、ここで加算される連続数は、ビニング係数によって与えられる。アキュムレータ168の値は、差分ピクセル値166の各群が加算された後にゼロにリセットされる。アキュムレータ168は、差分画像の特定列からの差分ピクセル値166の各セットについて、カラムビニング値170を出力する。カラムビニング値170.1の第1列は、差分画像の第1列に対応し、第1列バッファ172.1に格納される。画像の第1列が処理された後、差分画像の第2列に対応するカラムビニング値170.2の第2列が、第2列バッファ172.2に格納される。この処理は、4×4ビニング係数に対して、カラムビニング値170.4の第4列まで連続して続き(または一般に、K×Kビニング係数に対してはK番目の列まで)、ここで対応するカラムビニング値170.1、170.2、170.3および170.4は、加算器174によって一緒に合計され、画像の最初の4列についての対応するビニング値176を計算する。最初の4つ(または一般にK)の列が処理されると、上記の処理は次の4つ(または一般にK)の列について継続され、画像の全列がビニングされるまで続く。代替的に、1列バッファ172を、個別の列バッファ172.1、172.2等の代わりに用いることもでき、ここでカラムビニング値170.1の第1列は列バッファ172に最初に格納され、続くカラムビニング値170.2、170.3および170.4がこれに加算され、それによって最後のカラムビニング値170.4が処理された後に、最終ビニング値176を生成する。
【0045】
光ストライプ22と交差する物体の3次元プロファイルは、原点がカメラレンズ38の中心と一致すると仮定した基準座標系(XR、YR、ZR)に対する、カメラ32および光源26両方の既知の位置と回転角度を用いて計算できる。車両12の助手席区画内の基準座標系の1例を図23に示す。これらの計算方法の1例は次のように与えられる:
【0046】
3次元基準座標系において、平面光カーテン18に対し、光カーテン18を含む平面の式は以下のように表される。
仰角一次系(すなわち、実質的に仰角方向の光ストライプ22)に対して:
(x-a)・cos(β)+(y-b)・cos(α)・sin(β)+(z-c)・sin(α)・cos(β)=0;および (1a)
方位角一次系(すなわち、実質的に方位角方向の光ストライプ22)に対して:
(x-a)・sin(β)・sin(α)-(y-b)・cos(β)・sin(α)+(z-c)・cos(α)= 0 (1b)
ここでa、bおよびcは、基準座標系の原点に対して、それぞれX、YおよびZ軸に沿った、光源26の平行移動オフセットである。基準座標系(XR、YR、ZR)に対する光カーテン18の回転の仰角および方位角方向の角度は、それぞれαおよびβである。もしαおよびβが両方とも0の場合は、光カーテン18は、次で定義される平面上にある:
仰角一次系に対して、x=a、および (2a)
方位角一次系に対して、z=c (2b)
【0047】
図24を参照すると、仰角方向に伸びる光カーテン18がZRに平行な軸の周りにβの角度だけ回転された場合、光カーテン18を含む平面を定義する式は、次のように変形される:
(x-a)・cos(β)+(y-b)・sin(β)= 0 ; as α = 0 (3)
図24は、光源座標系(XM、YM、ZM)を示し、この原点は、光源ポジショナ28の回転軸に沿って、光カーテン18の中心と一致すると仮定され、ここで光源座標系(XM、YM、ZM)は、基準座標系(XR、YR、ZR)に対して平行移動されている。
【0048】
方位角一次系が、XRに平行な軸の周りにαの角度だけ回転された場合、光線ストライプを含む平面を定義する式は、次のように変形される:
-(y-b)・sin(α)+(z-c)・cos(α)= 0 ; as β = 0 (4)
光カーテン18と交差する物体から反射される光ストライプ22のエネルギーはカメラ32に入り、関連する焦点面アレイ(FPA)の関連する1つまたは2つ以上のピクセルに焦点を合わせて、関連するカメラ座標を有する対応する2次元ピクセル空間内に、カメラ32によって観測された物体のピクセルで構成された画像を提供する。光カーテン18を貫通する物体から反射されたエネルギーは、カメラレンズ38によって画像化され、FPAの関連するピクセルを照射する。各照射されたピクセルに対する、カメラ座標で表された方向余弦ic、jcおよびkcは、次の式によって表される:
ic = cos(δ)・h (5.1)
jc = [ ic2 + kc2]1/2 (5.2)
kc = sin(δ)・h (5.3)
式中、ic、jcおよびkcは方向余弦であり、そしてhおよびδは以下で与えられ、
h=[sin2{(m2+n2)1/2・Ψ/(2・mmax)}]1/2 (6)
δ=tan-1(n/m) (7)
この式中、Ψ≡カメラの視野(FOV)であり、そしてmおよびnは、照射されたピクセルの方位角および仰角方向の位置である。
【0049】
方向余弦ic、jcおよびkcは、関連する方向余弦ベクトルの成分を構成し、これは、カメラ座標系から基準座標系に、カメラ回転角度マトリクスによって次のように回転変換することにより変換可能である:
【数2】
式中、θおよびφは、それぞれカメラ32の方位角および仰角である。
【0050】
基準座標系の原点から、照射されたピクセルに対応する光カーテン18上の物体空間の点(xp、yp、zp)までの、長さλのベクトル[xp、yp、zp]の成分であって、照射されたピクセルが凝視する方向を示す前記ベクトルの成分は、次式によって与えられ、
xp =λ・ir (9.1)
yp =λ・jr (9.2)
zp =λ・kr (9.3)
式中λは、基準原点から光カーテン18の平面(xp、yp、zp)上の凝視点までのベクトルの長さである。
【0051】
光ストライプ22によって照射される物体の表面の3次元座標は、次に、1)式(9.1〜9.3)のxp、ypおよびzpを、式(1aまたは1b)に代入すること;2)λについて解くこと;および3)λの値を、光カーテン18によって照射され、従って光カーテンを貫通する物体の1つまたは2つ以上の関連する点の各々について、式(9.1〜9.3)に代入すること;により得ることができる。
【0052】
再度図11を参照すると、ステップ(502)において、シート位置を決定する処理の第1の態様に従って、上記の走査、処理、および座標変換処理を、着座表面の3次元表示を創出するために、空の助手席シートに適用する。このプロセスを、シートトラック位置およびシートバックの傾き角の可能性のある全ての組合せに対して繰り返す。対応する光ストライプ22の得られた画像全ての得られた(x、y、z)座標を、シートトラック位置およびシートバックの傾き角に従って索引付けし、メモリ34の参照表中に格納する。助手席シートの位置は、シートトラックセンサおよびシートバック角度センサを用いて決定する。ステップ(502)の処理は、特定の車両12/シート16の構成に対して、一般には1度実施される、システム較正ステップである。次に、ステップ(506)において、シートトラック位置およびシートバック角度の測定値は、関連する着座表面の関連する較正3次元表示を決定するために用いることができる。
【0053】
シート位置を決定する処理の第2の態様に従って、ステップ(506)において、シート16の位置は、カメラ32が取得した、シート16の少なくとも一部の画像のみから導くことができ、これによって、第1の態様の較正ステップ(502)の必要性を除外する。図25aおよび25bを参照すると、光カーテン18が実質的に方位角方向に伸び、仰角方向に走査される場合、シートボトムおよびシートバックの両方の、左端または右端のどちらかのある部分は、カメラ32の視野から観測することができる。シートの2次元形状プロファイルの左または右端点は結合され、シートボトムのy軸にそったシートバック角度と位置の計算に用いることができる。図26aおよび26bを参照すると、光カーテン18が実質的に仰角方向に伸び、方位角方向に走査される場合、シート16の上端および下端のある部分は、カメラ32の視野から観測することができる。シート16の2次元形状プロファイルの上端および下端点は、シートバック角度とシートボトム位置の計算に用いることができる。乗員が通常でない位置にいるために、左または右のシート端が瞬間的に遮蔽された場合は、前の既知のシート位置情報を用いることができる。
【0054】
シート位置を決定する処理の第3の態様に従うと、較正ステップ(502)は第1の態様に従って実行され、ステップ(506)において、第2の態様に従って、また、得られたシート位置が較正ステップ(502)において用いられた予め決定されたシート位置の1つに合致するとの、追加の拘束条件と組み合わせて、シート位置が決定される。
図11および図27を参照すると、モデル化および分類処理1600は、上記の走査および画像化処理600に従って光カーテンの完全走査から得られた光ストライプ22の合成画像に対応する表面のモデルを生成する。ステップ(1602)から開始して、上に定義した座標変換を用いて、(x、y、z)座標を、走査および画像化処理600からの補間画像58の非ゼロピクセルの各々について計算する。各走査線は、カメラ32の解像度および視野によって決められる固定の数の点を有する。ステップ(1604)において、個別の走査線の(x、y、z)座標を組み合わせて、例えば図28に示されるような3次元表面モデルを作製する。
【0055】
ステップ(1606)において、モーメント、質量中心、境界測度(bounding measure)、プロジェクションを含む3次元数理形状デスクリプタのセットを用いて、表面モデルをコンパクトに表示する。個々の3次元形状デスクリプタの選択は、トレーニングデータの代表的なセットに対して、それらの大きさが同クラスの物体に対しては同じ程度であり、他の全てのクラスの物体に対しては顕著に異なるようになされる。換言すれば、クラスは、クラス内の厳格なクラスタリングと、クラス間の大きな分離が生じるように、選択され充足される。本明細書に参照として組み込まれる出願959には、本発明に従って用いることができる、種々のデスクリプタおよび計量値、および関連する技法が記載されている。
【0056】
ステップ(1608)において、走査された物体の、空のシートの表示(例えばステップ(502)および(506))に対する3次元偏差またはオフセットを、シート16の現在位置に対して決定し、これは、ステップ(506)の処理に対して本明細書中に記載されたいくつかの態様の1つに従って決定する。例えば、空のシート表示に対する全走査線の(x、y、z)座標を、格納したルックアップ表から取得し、走査した物体の3次元オフセットを、物体の走査データの(x、y、z)座標と、対応する空のシートの走査データの(x、y、z)座標との間の、ユークリッド距離として算定する。
【0057】
ステップ(1610)において、次に、物体の容量表示を、ステップ(1608)からの(x、y、z)座標の上のような対の各々についての3次元偏差の全組合せから得る。例えば図29には、図28に対応する物体の容量表示を示し、ここで容量表示は、隣接する(x、y、z)座標対を結ぶことによって、図表的に表示される。ステップ(1612)において、ステップ(1610)からの容量表示を2つの特徴的な領域に区分し、これらはそれぞれ、シート上部およびシート下部に、例えば図30に示すように対応している。全体の、および区分された容量表示は、物体の大きさ全体の測定値として用いることができ、シートが空であるか、占有されているか、または一部占有されているかを決定することができる。
【0058】
図31を参照すると、乗員検出システム10の動作が、光カーテン18の11個の走査位置を有するシステムについて示されている。各走査位置に対して、関連する空のシート表示に対応する実質的な直線と、光カーテン18と乗員14または物体との交点から得られた、関連する光ストライプ22に対応する別の線とが描かれており、各線は、23個の関連する(x、y、z)座標を含む。図29に示された対応する容量表示は、23×11点のグリッドを含む表面モデルによって表示される。
【0059】
ステップ(1614)において、乗員14または物体を、訓練可能パターン認識システムにより、ステップ(1610)および(1612)の容量表示とステップ(1606)からの形状デスクリプタを用いて分類する。この訓練可能パターン認識システムは、多数の例から経験によって得られた知識ベースを用いて、可能性のあるクラスを識別するように訓練される。シート位置、シートバック角度、シート上部容量、シート下部容量、および各物体走査に関連する3次元形状デスクリプタは、この物体の特徴をコンパクトに表示する。例えば訓練セットは、乗員と乳児用シートの寸法、形状および位置の変化を正確に説明できるように、5つの主要クラスおよび6つのサブクラスの各々について、数千の物体走査を含むことができる。正確なパターンマッチにより、訓練されていない物体の走査特性が、訓練された物体の走査特性に厳密にマッチされる。実際には、一連の個別の逆伝播人工ニューラルネットワークが、個別の乗員シナリオ全てを正しく認識することが証明されたが、ここで各ニューラルネットワークは、1つの特定クラスの情報のみを認識するよう訓練されている。
【0060】
ルールベース・システムを加えて、パターン認識システムの決定を補完することができ、ここでルールは、例外なく、クラス内の可能性のある全ての変化に適用できるように設計される。このルールは、特定クラスを含めるまたは除外するように開発することもできる。例えば、シート上部容量とシート下部容量が両方とも0の場合、物体走査の分類は空のシートとすべきである。または、例えばシート上部容量が0の場合、分類は、正常に着座した成人乗員、FFIS、または小さな子供ではあり得ない。
【0061】
1つの態様によれば、車両12の前部助手席側4分の1に位置する乗員14は、次の5つの識別クラスの1つに分類される:(1)後ろ向き幼児用シート(RFIS)、(2)前向き幼児用シート(FFIS)または小さな子供、(3)正常着座成人乗員、(4)空のシート、および(5)正規位置外乗員(OOP)。正常着座乗員のクラスはさらに、次の3つの識別サブクラスの1つに分類される:(a)小さな子供、(b)5パーセンタイル女性、および(c)95パーセンタイル男性。OOPクラスはさらに、エアバッグインフレータ36.1近傍の既定の回避ゾーンにどの身体部分が入っているかによって、次の3つの識別サブクラスの1つに分類される:(a)「手が危険」、(b)「頭が危険」、および(c)「足が危険」。上の分類は、エアバッグ展開の決定および/または展開力の適合を可能とし、安全を最大化して傷害のリスクを最小化する。
【0062】
乗員検出システム10による分類は、安全拘束システム36/エアバッグインフレータ36.1を、例えばRFIS、FFIS、小さな子供、OOP、または空のシートなどの一定クラスの乗員およびシート占有シナリオに対して抑制する;または、物体の寸法のみに、またはこれと衝突センサ60からの衝突の程度の測定値と組み合わせたものに応答して、エアバッグインフレータ36.1の関連する膨張特性を適合させる。1つの態様において、乗員検出システム10は、エアバッグインフレータ36.1の予測される展開の直前に、乗員14による回避ゾーンの貫通を検出するのに十分速いように適合され、乗員14が回避ゾーンを十分に貫通した場合に、エアバッグインフレータ36.1の展開の動的抑制として知られているものを提供する。従って、この態様において、乗員検出システム10は、例えば、衝突前のブレーキまたは衝突事象の早期に起こる可能性のある、衝突が引き起こした動きの結果生じる乗員14の動きに応答するよう適合される。例えば図1を参照すると、エアバッグインフレータ36.1が、乗員検出システム10によってANDゲート62を介して動作可能にされると、次にエアバッグインフレータ36.1が、衝突センサ60によって検出された衝突に応答して作動される。
【0063】
本明細書に記載の構造化照明を用いた乗員検出システム10は、各クラスに対して形状情報を有利に提供する;例えば日光、影、または材料などにより引き起こされるようなグレースケール変化から生じる可能性のある誤分類を回避する;および、個別の分類の複雑さまたは高価な費用なしに、意図した標的を回復する。1つの態様において、乗員検出システム10はまた、レーザーに基づく照明を用いた場合に固有の規制上および安全の問題を克服する、LEDに基づく照明技術も用いる。乗員検出システム10は、単一のカメラ32のみを用いて、3次元位置を検出することを可能とし、これは、ステレオビジョンシステムと比べて、ハードウェアのコストおよびアルゴリズムの複雑さを低減するのに有利である。
【0064】
具体的な態様が詳細に記載されているが、当業者は、これらの詳細に対する種々の修飾および改変が、本開示の全体的な教示に照らして開発可能であることを理解する。従って、開示された特定の装置は例示のみを意味し、本発明の範囲について限定するものではなく、本発明の範囲は、添付のクレームおよびその任意の全ての等価物の全範囲を与えられるべきである。
【図面の簡単な説明】
【0065】
【図1】乗員検出システムを組み込んだ車両内に正常に着座する乗員を示す図である。
【図2a】レーザー光線の放射輝度を示す図である。
【図2b】LEDの放射輝度を示す図である。
【図3】光カーテンを生成するための光源を示す図である。
【図4】光源のシミュレーションを示す図である。
【図5】光源に組み込まれた円筒状ファンアウトレンズの斜視図である。
【図6】関連する円筒状ファンアウトレンズの断面図を含む、光源の側面図である。
【図7】図6に示す光源の末端プロファイルを示す図である。
【図8】光カーテンを走査するための、モーター駆動式回転ミラーを示す図である。
【図9】光カーテンを走査するための、振動ミラーを示す図である。
【図10a】仰角方向に伸びる光カーテンを有し方位角方向に走査される、乗員検出システムの動作を示す図である。
【図10b】方位角方向に伸びる光カーテンを有し仰角方向に走査される、乗員検出システムの動作を示す図である。
【図11】乗員検出処理のフローチャートである。
【図12】走査された光ストライプの画像セットを取得する処理のフローチャートである。
【図13】乗員および着座面にわたって実質的に方位角方向に伸びる光ストライプを投射する光カーテンにより照射される、助手席シート内の乗員の画像である。
【図14】減法画像処理により背景情報を除去し、ビニングにより信号レベルを強調し、2値化を行った後の、図13からの光ストライプの画像である。
【図15】細線化操作による画像処理後の、図14からの光ストライプの画像である。
【図16】光ストライプの隙間を埋める補間処理を用いた画像処理後の、図15からの光ストライプの画像である。
【図17】光カーテンの完全走査および関連する画像処理から得られた、複数の処理された光ストライプの合成の図である。
【図18】画像前処理プロセスのフローチャートである。
【図19】画像前処理プロセスによるカメラの自動露光制御用の演算に用いる、マスク領域の例の図である。
【図20】カメラの自動露光制御用のマスク領域のヒストグラムの1例の図である。
【図21】画像前処理プロセスにおける、画像差分化処理および画像ビニング処理の1例の図である。
【図22】画像差分化処理および画像ビニング処理の方法の1例の図である。
【図23】車両の助手席区画と、乗員検出システムの関連する基準座標システムの図である。
【図24】実質的に仰角方向に伸びる光カーテンを用いた乗員検出システムの態様の操作を示す図である。
【図25a】実質的に方位角方向に伸び仰角方向に走査される光カーテンから得られる複数の光ストライプの合成によって照射された、シート上の乗員を示す図である。
【図25b】図25aの画像に対応する、補間された光ストライプの合成の図である。
【図26a】実質的に仰角方向に伸び方位角方向に走査される光カーテンから得られる複数の光ストライプの合成によって照射された、シート上の乗員を示す図である。
【図26b】図26aの画像に対応する、補間された光ストライプの合成の図である。
【図27】モデル化および分類処理のフローチャートである。
【図28】シート上の乗員の3次元表面モデルである。
【図29】図28に対応する、シート上の乗員の容量表示を示す図である。
【図30】図29の容量表示を、それぞれシート上部およびシート下部に区分した図である。
【図31】物体からの走査線を、空のシート表示に対応する走査線に重ね合わせた図である。
【特許請求の範囲】
【請求項1】
物体を検出する方法であって、
a.画像信号を生成する処理のために露光時間を設定すること;
b.物体の第1画像を代表する画像信号を生成すること、ここで前記画像信号は第1位置のカメラにより生成され、そして前記画像信号は前記露光時間に応答して生成され;
c.少なくとも1つの光線を、第2位置から物体の少なくとも一部に投射することにより、物体上の複数の光ストライプの少なくとも1つの光ストライプの少なくとも1つの画像を生成すること、ここで第2位置は第1位置から変位しており、前記複数の光ストライプの各光ストライプの強度は第1閾値未満であり、そして第1閾値は、人の眼で直視しても安全な強度レベルに対応しており;
d.少なくとも1つの第2画像を代表する少なくとも1つの画像信号を、前記カメラで生成すること、ここで前記少なくとも1つの第2画像は、前記物体に投射された前記少なくとも1つの光線に応答するものであり;
e.第1画像を、前記少なくとも1つの第2画像から差し引くことにより、少なくとも1つの差分画像の少なくとも1つの差分画像信号を形成すること;
f.前記少なくとも1つの差分画像を処理することにより、対応する少なくとも1つの第4画像を生成すること、ここで前記少なくとも1つの第4画像における前記少なくとも1つの光ストライプに関連する、前記少なくとも1つの第4画像の少なくとも一部の信号レベルは、前記少なくとも1つの第1画像における対応する信号レベルに相関して強調され;および、
g.前記少なくとも1つの第4画像に応答して、前記物体の少なくとも1つのプロファイルを決定すること;
を含む、前記方法。
【請求項2】
第1位置が、車両のヘッドライナーに近接している、請求項1に記載の物体を検出する方法。
【請求項3】
第1位置が、車両の中心線に近接している、請求項1に記載の物体を検出する方法。
【請求項4】
第1画像が、物体に投射される少なくとも1つの光線がない状態で生成される、請求項1に記載の物体を検出する方法。
【請求項5】
露光時間を、第1画像の少なくとも一部に応答して調節することをさらに含み、それによって第1画像の少なくとも一部の飽和を減少させるか、またはそのダイナミックレンジを増加させる、請求項1に記載の物体を検出する方法。
【請求項6】
第2位置が、車両のヘッドライナーに近接している、請求項1に記載の物体を検出する方法。
【請求項7】
複数の光ストライプの少なくとも1つが、少なくとも1つの光線を走査することにより生成される、請求項1に記載の物体を検出する方法。
【請求項8】
少なくとも1つの光線が、複数の方向に走査される光のスポットを含む、請求項7に記載の物体を検出する方法。
【請求項9】
少なくとも1つの光線が、光カーテンを含む、請求項7に記載の物体を検出する方法。
【請求項10】
光カーテンが実質的に平面であり、前記光カーテンが、前記光カーテンに対して実質的に横断方向に走査される、請求項9に記載の物体を検出する方法。
【請求項11】
光カーテンが実質的に仰角方向に伸びており、実質的に方位角方向に走査される、請求項10に記載の物体を検出する方法。
【請求項12】
光カーテンが実質的に方位角方向に伸びており、実質的に仰角方向に走査される、請求項10に記載の物体を検出する方法。
【請求項13】
複数の光ストライプが、光源の間欠的作動に応答して生成される、請求項1に記載の物体を検出する方法。
【請求項14】
複数の光ストライプが、カメラまたは該カメラに付随するシャッターの間欠的作動に応答して生成される、請求項1に記載の物体を検出する方法。
【請求項15】
少なくとも1つの光線が近赤外線を含み、第1および第2画像を取り込む操作が、前記近赤外線の少なくとも1つの周波数を含む周波数範囲の光を取り込むことを含む、請求項1に記載の物体を検出する方法。
【請求項16】
対応する少なくとも1つの第4画像を生成するために少なくとも1つの差分画像を処理する操作が、
a.ビニング画像のビニング画像値を、前記差分画像の領域内の複数のピクセル値の加算により生成すること;および
b.前記差分画像の複数の隣接領域に対し、前記ビニング画像値を生成する操作を繰り返すこと;
を含む、請求項1に記載の物体を検出する方法。
【請求項17】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を2値化することをさらに含み、ここで前記2値化する操作が、閾値に応答するものである、請求項1に記載の物体を検出する方法。
【請求項18】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を細線化することをさらに含む、請求項1に記載の物体を検出する方法。
【請求項19】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を補間することをさらに含み、ここで前記少なくとも1つの第4画像を補間する操作が、前記少なくとも1つの第4画像内の少なくとも1つの光ストライプに存在する可能性のある隙間を補充する、請求項1に記載の物体を検出する方法。
【請求項20】
複数の光ストライプに対応する、複数の少なくとも1つの第4画像が、1つの合成第4画像として格納され、物体の少なくとも1つのプロファイルを決定する操作が、前記合成第4画像に応答する、請求項1に記載の物体を検出する方法。
【請求項21】
少なくとも1つのプロファイルを決定する操作が、少なくとも1つの第4画像の少なくとも1つの非ゼロピクセルの物体空間座標を決定することを含む、請求項1に記載の物体を検出する方法。
【請求項22】
物体の位置に近接する少なくとも1つの近接表面の特性値を生成することをさらに含む、請求項1に記載の物体を検出する方法。
【請求項23】
物体が車両のシート上に位置しており、物体の位置に近接する少なくとも1つの近接表面の特性値を生成する操作が、前記シートの位置を代表する少なくとも1つの信号に応答して、前記少なくとも1つの表面の少なくとも1つの表示を検索することを含む、請求項22に記載の物体を検出する方法。
【請求項24】
物体の位置に近接する少なくとも1つの近接表面の特性値を生成する操作が、少なくとも1つの第4画像の一部から決定されたプロファイルに応答するものであり、ここで前記少なくとも1つの第4画像の一部が、物体の位置に近接する前記少なくとも1つの近接表面の少なくとも一部を代表するものである、請求項22に記載の物体を検出する方法。
【請求項25】
a.プロファイルに応答して、物体の少なくとも1つの特徴を決定すること、および
b.前記少なくとも1つの特徴に応答して、前記物体を分類すること、
をさらに含む、請求項1に記載の物体を検出する方法。
【請求項26】
a.少なくとも1つの光線により照射された物体の表面の表示を生成すること、ここで前記表面の表示は、少なくとも1つの近接表面に相対的であり、および
b.前記物体の表面の表示に応答する、前記物体の容量表示を生成すること、ここで、前記物体を分類する操作は、前記物体の容量表示にさらに応答するものである、
をさらに含む、請求項25に記載の物体を検出する方法。
【請求項27】
容量表示が、物体の第1および第2部分に相当する第1および第2容量表示に分けられており、前記物体を分類する操作が、前記物体の第1および第2容量表示にさらに応答するものである、請求項26に記載の物体を検出する方法。
【請求項28】
物体が車両のシートに近接して位置しており、第1容量表示が、前記シートの上部に近接する前記物体の容量に応答し、第2容量表示が、前記シーの下部に近接する前記物体の容量に応答する、請求項27に記載の物体を検出する方法。
【請求項29】
物体を分類する操作が、複数の特徴に応答するものである、請求項1に記載の物体を検出する方法。
【請求項30】
物体を分類する操作が、少なくとも部分的に、訓練可能パターン認識システムによって実施される、請求項1に記載の物体を検出する方法。
【請求項31】
訓練可能パターン認識システムが、逆伝播ニューラルネットワークを含む、請求項30に記載の物体を検出する方法。
【請求項32】
訓練可能パターン認識システムが、後向き幼児用シート、前向き幼児用シート、小さな子供、正常着座乗員、および空のシートおよび正規位置外乗員から選択される2つの分類クラス間を識別するように訓練される、請求項30に記載の物体を検出する方法。
【請求項33】
訓練可能パターン認識システムが、正常着座した小さな子供、正常着座した5パ−センタイル女性、正常着座した50パ−センタイル男性、および正常着座した95パ−センタイル男性から選択される少なくとも2つの分類クラス間を識別するようにさらに訓練される、請求項30に記載の物体を検出する方法。
【請求項34】
訓練可能パターン認識システムが、少なくとも1つの手が既定の回避ゾーンにある正規位置外乗員、頭が既定の回避ゾーンにある正規位置外乗員、少なくとも1つの足が既定の回避ゾーンにある正規位置外乗員から選択される少なくとも2つの分類クラス間を識別するようにさらに訓練される、請求項30に記載の物体を検出する方法。
【請求項35】
物体を分類する操作に応答して、車両の安全拘束システムを制御することをさらに含む、請求項25に記載の物体を検出する方法。
【請求項36】
物体を検出することを提供する方法であって、
a.画像信号を生成する処理のために露光時間を設定することを提供すること;
b.物体の第1画像を代表する画像信号を生成することを提供すること、ここで前記画像信号は第1位置のカメラにより生成され、そして前記画像信号は前記露光時間に応答して生成され;
c.少なくとも1つの光線を、第2位置から物体の少なくとも一部に投射することを提供することにより、物体上の複数の光ストライプの少なくとも1つの光ストライプの少なくとも1つの画像を生成すること、ここで第2位置は第1位置から変位しており、前記複数の光ストライプの各光ストライプの強度は第1閾値未満であり、そして第1閾値は、人の眼で直視しても安全な強度レベルに対応しており;
d.少なくとも1つの第2画像を代表する少なくとも1つの画像信号を、前記カメラで生成することを提供すること、ここで前記少なくとも1つの第2画像は、前記物体に投射された前記少なくとも1つの光線に応答するものであり;
e.第1画像を、前記少なくとも1つの第2画像から差し引くことを提供することにより、少なくとも1つの差分画像の少なくとも1つの差分画像信号を形成すること;
f.前記少なくとも1つの差分画像を処理することを提供することにより、対応する少なくとも1つの第4画像を生成すること、ここで前記少なくとも1つの第4画像における前記少なくとも1つの光ストライプに関連する、前記少なくとも1つの第4画像の少なくとも一部の信号レベルは、前記少なくとも1つの第1画像における対応する信号レベルに相関して強調され;および
g.前記少なくとも1つの第4画像に応答して、前記物体の少なくとも1つのプロファイルを決定することを提供すること;
を含む、前記方法。
【請求項37】
露光時間を、第1画像の少なくとも一部に応答して調節することを提供することをさらに含み、それによって第1画像の少なくとも一部の飽和を減少させるか、またはそのダイナミックレンジを増加させる、請求項36に記載の物体を検出することを提供する方法。
【請求項38】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を2値化することを提供することをさらに含み、ここで前記2値化する操作が、閾値に応答するものである、請求項36に記載の物体を検出することを提供する方法。
【請求項39】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を細線化することを提供することをさらに含む、請求項36に記載の物体を検出することを提供する方法。
【請求項40】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を補間することを提供することをさらに含み、ここで前記少なくとも1つの第4画像を補間する操作が、前記少なくとも1つの第4画像内の少なくとも1つの光ストライプに存在する可能性のある隙間を補充する、請求項36に記載の物体を検出することを提供する方法。
【請求項41】
物体の位置に近接する少なくとも1つの近接表面の特性値を生成することを提供することをさらに含む、請求項36に記載の物体を検出することを提供する方法。
【請求項42】
a.プロファイルに応答して、物体の少なくとも1つの特徴を決定することを提供すること、および
b.前記少なくとも1つの特徴に応答して、前記物体を分類することを提供すること、
をさらに含む、請求項1に記載の物体を検出することを提供する方法。
【請求項43】
a.少なくとも1つの光線により照射された物体の表面の表示を生成することを提供すること、ここで前記表面の表示は、少なくとも1つの近接表面に相対的であり、および
b.前記物体の表面の表示に応答する、前記物体の容量表示を生成することを提供すること、ここで、前記物体を分類する操作は、前記物体の容量表示にさらに応答するものである、
をさらに含む、請求項42に記載の物体を検出することを提供する方法。
【請求項44】
物体を分類する操作に応答して、車両の安全拘束システムを制御することを提供することをさらに含む、請求項36に記載の物体を検出することを提供する方法。
【請求項1】
物体を検出する方法であって、
a.画像信号を生成する処理のために露光時間を設定すること;
b.物体の第1画像を代表する画像信号を生成すること、ここで前記画像信号は第1位置のカメラにより生成され、そして前記画像信号は前記露光時間に応答して生成され;
c.少なくとも1つの光線を、第2位置から物体の少なくとも一部に投射することにより、物体上の複数の光ストライプの少なくとも1つの光ストライプの少なくとも1つの画像を生成すること、ここで第2位置は第1位置から変位しており、前記複数の光ストライプの各光ストライプの強度は第1閾値未満であり、そして第1閾値は、人の眼で直視しても安全な強度レベルに対応しており;
d.少なくとも1つの第2画像を代表する少なくとも1つの画像信号を、前記カメラで生成すること、ここで前記少なくとも1つの第2画像は、前記物体に投射された前記少なくとも1つの光線に応答するものであり;
e.第1画像を、前記少なくとも1つの第2画像から差し引くことにより、少なくとも1つの差分画像の少なくとも1つの差分画像信号を形成すること;
f.前記少なくとも1つの差分画像を処理することにより、対応する少なくとも1つの第4画像を生成すること、ここで前記少なくとも1つの第4画像における前記少なくとも1つの光ストライプに関連する、前記少なくとも1つの第4画像の少なくとも一部の信号レベルは、前記少なくとも1つの第1画像における対応する信号レベルに相関して強調され;および、
g.前記少なくとも1つの第4画像に応答して、前記物体の少なくとも1つのプロファイルを決定すること;
を含む、前記方法。
【請求項2】
第1位置が、車両のヘッドライナーに近接している、請求項1に記載の物体を検出する方法。
【請求項3】
第1位置が、車両の中心線に近接している、請求項1に記載の物体を検出する方法。
【請求項4】
第1画像が、物体に投射される少なくとも1つの光線がない状態で生成される、請求項1に記載の物体を検出する方法。
【請求項5】
露光時間を、第1画像の少なくとも一部に応答して調節することをさらに含み、それによって第1画像の少なくとも一部の飽和を減少させるか、またはそのダイナミックレンジを増加させる、請求項1に記載の物体を検出する方法。
【請求項6】
第2位置が、車両のヘッドライナーに近接している、請求項1に記載の物体を検出する方法。
【請求項7】
複数の光ストライプの少なくとも1つが、少なくとも1つの光線を走査することにより生成される、請求項1に記載の物体を検出する方法。
【請求項8】
少なくとも1つの光線が、複数の方向に走査される光のスポットを含む、請求項7に記載の物体を検出する方法。
【請求項9】
少なくとも1つの光線が、光カーテンを含む、請求項7に記載の物体を検出する方法。
【請求項10】
光カーテンが実質的に平面であり、前記光カーテンが、前記光カーテンに対して実質的に横断方向に走査される、請求項9に記載の物体を検出する方法。
【請求項11】
光カーテンが実質的に仰角方向に伸びており、実質的に方位角方向に走査される、請求項10に記載の物体を検出する方法。
【請求項12】
光カーテンが実質的に方位角方向に伸びており、実質的に仰角方向に走査される、請求項10に記載の物体を検出する方法。
【請求項13】
複数の光ストライプが、光源の間欠的作動に応答して生成される、請求項1に記載の物体を検出する方法。
【請求項14】
複数の光ストライプが、カメラまたは該カメラに付随するシャッターの間欠的作動に応答して生成される、請求項1に記載の物体を検出する方法。
【請求項15】
少なくとも1つの光線が近赤外線を含み、第1および第2画像を取り込む操作が、前記近赤外線の少なくとも1つの周波数を含む周波数範囲の光を取り込むことを含む、請求項1に記載の物体を検出する方法。
【請求項16】
対応する少なくとも1つの第4画像を生成するために少なくとも1つの差分画像を処理する操作が、
a.ビニング画像のビニング画像値を、前記差分画像の領域内の複数のピクセル値の加算により生成すること;および
b.前記差分画像の複数の隣接領域に対し、前記ビニング画像値を生成する操作を繰り返すこと;
を含む、請求項1に記載の物体を検出する方法。
【請求項17】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を2値化することをさらに含み、ここで前記2値化する操作が、閾値に応答するものである、請求項1に記載の物体を検出する方法。
【請求項18】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を細線化することをさらに含む、請求項1に記載の物体を検出する方法。
【請求項19】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を補間することをさらに含み、ここで前記少なくとも1つの第4画像を補間する操作が、前記少なくとも1つの第4画像内の少なくとも1つの光ストライプに存在する可能性のある隙間を補充する、請求項1に記載の物体を検出する方法。
【請求項20】
複数の光ストライプに対応する、複数の少なくとも1つの第4画像が、1つの合成第4画像として格納され、物体の少なくとも1つのプロファイルを決定する操作が、前記合成第4画像に応答する、請求項1に記載の物体を検出する方法。
【請求項21】
少なくとも1つのプロファイルを決定する操作が、少なくとも1つの第4画像の少なくとも1つの非ゼロピクセルの物体空間座標を決定することを含む、請求項1に記載の物体を検出する方法。
【請求項22】
物体の位置に近接する少なくとも1つの近接表面の特性値を生成することをさらに含む、請求項1に記載の物体を検出する方法。
【請求項23】
物体が車両のシート上に位置しており、物体の位置に近接する少なくとも1つの近接表面の特性値を生成する操作が、前記シートの位置を代表する少なくとも1つの信号に応答して、前記少なくとも1つの表面の少なくとも1つの表示を検索することを含む、請求項22に記載の物体を検出する方法。
【請求項24】
物体の位置に近接する少なくとも1つの近接表面の特性値を生成する操作が、少なくとも1つの第4画像の一部から決定されたプロファイルに応答するものであり、ここで前記少なくとも1つの第4画像の一部が、物体の位置に近接する前記少なくとも1つの近接表面の少なくとも一部を代表するものである、請求項22に記載の物体を検出する方法。
【請求項25】
a.プロファイルに応答して、物体の少なくとも1つの特徴を決定すること、および
b.前記少なくとも1つの特徴に応答して、前記物体を分類すること、
をさらに含む、請求項1に記載の物体を検出する方法。
【請求項26】
a.少なくとも1つの光線により照射された物体の表面の表示を生成すること、ここで前記表面の表示は、少なくとも1つの近接表面に相対的であり、および
b.前記物体の表面の表示に応答する、前記物体の容量表示を生成すること、ここで、前記物体を分類する操作は、前記物体の容量表示にさらに応答するものである、
をさらに含む、請求項25に記載の物体を検出する方法。
【請求項27】
容量表示が、物体の第1および第2部分に相当する第1および第2容量表示に分けられており、前記物体を分類する操作が、前記物体の第1および第2容量表示にさらに応答するものである、請求項26に記載の物体を検出する方法。
【請求項28】
物体が車両のシートに近接して位置しており、第1容量表示が、前記シートの上部に近接する前記物体の容量に応答し、第2容量表示が、前記シーの下部に近接する前記物体の容量に応答する、請求項27に記載の物体を検出する方法。
【請求項29】
物体を分類する操作が、複数の特徴に応答するものである、請求項1に記載の物体を検出する方法。
【請求項30】
物体を分類する操作が、少なくとも部分的に、訓練可能パターン認識システムによって実施される、請求項1に記載の物体を検出する方法。
【請求項31】
訓練可能パターン認識システムが、逆伝播ニューラルネットワークを含む、請求項30に記載の物体を検出する方法。
【請求項32】
訓練可能パターン認識システムが、後向き幼児用シート、前向き幼児用シート、小さな子供、正常着座乗員、および空のシートおよび正規位置外乗員から選択される2つの分類クラス間を識別するように訓練される、請求項30に記載の物体を検出する方法。
【請求項33】
訓練可能パターン認識システムが、正常着座した小さな子供、正常着座した5パ−センタイル女性、正常着座した50パ−センタイル男性、および正常着座した95パ−センタイル男性から選択される少なくとも2つの分類クラス間を識別するようにさらに訓練される、請求項30に記載の物体を検出する方法。
【請求項34】
訓練可能パターン認識システムが、少なくとも1つの手が既定の回避ゾーンにある正規位置外乗員、頭が既定の回避ゾーンにある正規位置外乗員、少なくとも1つの足が既定の回避ゾーンにある正規位置外乗員から選択される少なくとも2つの分類クラス間を識別するようにさらに訓練される、請求項30に記載の物体を検出する方法。
【請求項35】
物体を分類する操作に応答して、車両の安全拘束システムを制御することをさらに含む、請求項25に記載の物体を検出する方法。
【請求項36】
物体を検出することを提供する方法であって、
a.画像信号を生成する処理のために露光時間を設定することを提供すること;
b.物体の第1画像を代表する画像信号を生成することを提供すること、ここで前記画像信号は第1位置のカメラにより生成され、そして前記画像信号は前記露光時間に応答して生成され;
c.少なくとも1つの光線を、第2位置から物体の少なくとも一部に投射することを提供することにより、物体上の複数の光ストライプの少なくとも1つの光ストライプの少なくとも1つの画像を生成すること、ここで第2位置は第1位置から変位しており、前記複数の光ストライプの各光ストライプの強度は第1閾値未満であり、そして第1閾値は、人の眼で直視しても安全な強度レベルに対応しており;
d.少なくとも1つの第2画像を代表する少なくとも1つの画像信号を、前記カメラで生成することを提供すること、ここで前記少なくとも1つの第2画像は、前記物体に投射された前記少なくとも1つの光線に応答するものであり;
e.第1画像を、前記少なくとも1つの第2画像から差し引くことを提供することにより、少なくとも1つの差分画像の少なくとも1つの差分画像信号を形成すること;
f.前記少なくとも1つの差分画像を処理することを提供することにより、対応する少なくとも1つの第4画像を生成すること、ここで前記少なくとも1つの第4画像における前記少なくとも1つの光ストライプに関連する、前記少なくとも1つの第4画像の少なくとも一部の信号レベルは、前記少なくとも1つの第1画像における対応する信号レベルに相関して強調され;および
g.前記少なくとも1つの第4画像に応答して、前記物体の少なくとも1つのプロファイルを決定することを提供すること;
を含む、前記方法。
【請求項37】
露光時間を、第1画像の少なくとも一部に応答して調節することを提供することをさらに含み、それによって第1画像の少なくとも一部の飽和を減少させるか、またはそのダイナミックレンジを増加させる、請求項36に記載の物体を検出することを提供する方法。
【請求項38】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を2値化することを提供することをさらに含み、ここで前記2値化する操作が、閾値に応答するものである、請求項36に記載の物体を検出することを提供する方法。
【請求項39】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を細線化することを提供することをさらに含む、請求項36に記載の物体を検出することを提供する方法。
【請求項40】
物体の少なくとも1つのプロファイルを決定する操作に先立って、少なくとも1つの第4画像を補間することを提供することをさらに含み、ここで前記少なくとも1つの第4画像を補間する操作が、前記少なくとも1つの第4画像内の少なくとも1つの光ストライプに存在する可能性のある隙間を補充する、請求項36に記載の物体を検出することを提供する方法。
【請求項41】
物体の位置に近接する少なくとも1つの近接表面の特性値を生成することを提供することをさらに含む、請求項36に記載の物体を検出することを提供する方法。
【請求項42】
a.プロファイルに応答して、物体の少なくとも1つの特徴を決定することを提供すること、および
b.前記少なくとも1つの特徴に応答して、前記物体を分類することを提供すること、
をさらに含む、請求項1に記載の物体を検出することを提供する方法。
【請求項43】
a.少なくとも1つの光線により照射された物体の表面の表示を生成することを提供すること、ここで前記表面の表示は、少なくとも1つの近接表面に相対的であり、および
b.前記物体の表面の表示に応答する、前記物体の容量表示を生成することを提供すること、ここで、前記物体を分類する操作は、前記物体の容量表示にさらに応答するものである、
をさらに含む、請求項42に記載の物体を検出することを提供する方法。
【請求項44】
物体を分類する操作に応答して、車両の安全拘束システムを制御することを提供することをさらに含む、請求項36に記載の物体を検出することを提供する方法。
【図1】
【図2a】
【図2b】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10a】
【図10b】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25a】
【図25b】
【図26a】
【図26b】
【図27】
【図28】
【図29】
【図30】
【図31】
【図2a】
【図2b】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10a】
【図10b】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25a】
【図25b】
【図26a】
【図26b】
【図27】
【図28】
【図29】
【図30】
【図31】
【公表番号】特表2008−518195(P2008−518195A)
【公表日】平成20年5月29日(2008.5.29)
【国際特許分類】
【出願番号】特願2006−534243(P2006−534243)
【出願日】平成16年10月4日(2004.10.4)
【国際出願番号】PCT/US2004/032711
【国際公開番号】WO2005/032887
【国際公開日】平成17年4月14日(2005.4.14)
【出願人】(399042247)オートモーティブ システムズ ラボラトリー インコーポレーテッド (28)
【Fターム(参考)】
【公表日】平成20年5月29日(2008.5.29)
【国際特許分類】
【出願日】平成16年10月4日(2004.10.4)
【国際出願番号】PCT/US2004/032711
【国際公開番号】WO2005/032887
【国際公開日】平成17年4月14日(2005.4.14)
【出願人】(399042247)オートモーティブ システムズ ラボラトリー インコーポレーテッド (28)
【Fターム(参考)】
[ Back to top ]