道路使用弱者保護システム
【課題】車両と道路使用弱者との衝突を回避する道路使用弱者保護システムを提供する。
【解決手段】視覚的場面の距離マップがステレオビジョンおよび協働する画像処理システムにより生成され、関心領域外および衝突が不可能の対象物がフィルターにより取り除かれ、また道路表面も取り除かれる。距離ビンにクラスター分けされた対象物がセグメンテーションにより分離される。主要コンポーネント解析によってコンポジット距離マップが生成され、連結コンポーネント篩い分けフィルタにより処理される。対象物は一つ又は複数のハーモニックプロファイルおよびほかの特性を用いて、インクルーシブ、エクスクルーシブ及びハーモニックネットワークの組み合わせで種類分けの基準を生成し、認識プロセッサを用いて判別される。
【解決手段】視覚的場面の距離マップがステレオビジョンおよび協働する画像処理システムにより生成され、関心領域外および衝突が不可能の対象物がフィルターにより取り除かれ、また道路表面も取り除かれる。距離ビンにクラスター分けされた対象物がセグメンテーションにより分離される。主要コンポーネント解析によってコンポジット距離マップが生成され、連結コンポーネント篩い分けフィルタにより処理される。対象物は一つ又は複数のハーモニックプロファイルおよびほかの特性を用いて、インクルーシブ、エクスクルーシブ及びハーモニックネットワークの組み合わせで種類分けの基準を生成し、認識プロセッサを用いて判別される。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の参照
本出願は、本願に参照して繰り入れられた2004年7月26日に出願された米国仮出願No.60/591564号の利益を主張するものである。
態様の説明
図1および図2によれば、車両12との衝突から道路使用弱者(vulnerable road user)(以下「VRU」という)を保護するための道路使用弱者保護装置10が車両12に組み込まれている。VRUの例としては歩行者14.1および自転車乗り14.2が含まれる。たとえば、欧州連合(EU)においては、毎年7000人の歩行者14.1および2000人の自転車乗りが死亡しており、数十万人が負傷している。合衆国における対応する値(1998年において)は、5220人の歩行者の死者(すべての交通事故死者の13%に相当する)および6900人の負傷者VRU14が発生した。この全交通事故死者に対する歩行者14.1の死者の割合は、国によって大きく異なっており、合衆国において13%であるが連合王国および日本においては28%と最も高い。従って、これらの死亡および負傷を減少させ、伴って発生する社会的コストも減少させるための道路使用弱者保護システム10への需要が存在している。
【0002】
道路使用弱者保護システム10には、メモリ20を含むか結合するかしており、例えば車両のバッテリー22.1のような動力源22により電源供給されるプロセッサ18と動作可能に結合したステレオビジョンシステム16が組み込まれている。ステレオビジョンシステム16の視界内に見えている場面24からの情報に応答して、プロセッサ18は一つまたは複数の協働する運転者警報デバイス28、VRU警報デバイス30、またはVRU保護デバイス32に対して、一つまたはそれ以上の次の方法で、一人または複数のVRU14の車両12との可能性のある衝突から保護するために、信号を発生する:
1)運転者34が衝突を避けるための回避動作をすることができるようにするために、運転者33に対し、音響的または視覚的警報シグナルにより音響的警報デバイス28.1または視覚的ディスプレイまたはランプ28.2によって十分なリードタイムを以って警報すること;
2)VRU14が停止するか回避動作をすることができるように、例えば車両の警音器30.1の吹鳴または前照灯30.2の点滅、という可聴的または可視的な警報信号によってVRUに警報を与えること;
3)もしVRUとの衝突が現実的になったならば、自動的にブレーキが掛かるように、ブレーキ制御装置34に送る信号26.1を発生させること;
4)もし衝突が不可避となったならば、衝突に先立って例えば外部エアバッグ32.1やエンジンフードアクチュエータ32.2のようなVRU保護デバイスを一つまたは複数動作させること。
【0003】
例えばエンジンフードアクチュエータ32.2は、エンジンフード35がVRUの衝突エネルギーを吸収するための距離を増加させるために、比較的抵抗しないフード35と連係動作をする。一態様においては、エンジンフードアクチュエータ32.2は花火装置型のアクチュエータを含み、他の態様においてはエンジンフードアクチュエータ32.2は液圧または電気アクチュエータを含み、後者は前者よりも相対的に動作するためにより長い時間がかかる――したがって相対的により早期の動作開始必要性の検出が必要である――が、有利なことに可逆的アクチュエータである。
【0004】
道路使用弱者保護システム10のブロックダイヤグラムが図3に示され、それに用いる道路弱者保護プロセス400が図4に示されている。図3および図4に示された道路使用弱者保護システム10の要素と道路使用弱者保護システムにおける動作が、ここに、図3および4ならびに他の図面を参照しつつ、要素ごとに、またステップごとに記載される。
【0005】
道路使用弱者保護システム10はVRU14を同定するために三次元物体認識を使用する。三次元物体認識の一つのアプローチは単眼鏡の画像強度分析をおこなうことである。一つの対象物の位置と方向は2次元的様相(画像から抽出した)と対象のモデルとのマッチングをとることによって推定される。しかしながら、対象物および/または状景が複雑であると、複合的な問題点が発生する。三次元物体認識のもう一つのアプローチは別々に検出した距離情報(range information)を対象物の三次元的様相の判定に用いることであるが、直接的な距離情報を得るためにはレーザー測距儀のような特別な装置が必要である。三次元物体認識への更にもう一つのアプローチは、ステレオビジョンシステム16から得られるステレオ強度画像から直接得られる3次元情報を再構築することである。撮影機とコンピュータは価格/性能閾値を越えたので、高価でないステレオ型の複数ベースライン視野システムが商業的に実現可能なものとなっており、コンピュータ視野画像応用機器のデフォルトの基礎設備となる潜在能力を有している。
【0006】
図3、4および5aを参照すると、一態様においてステレオビジョンシステム16は、ステップ(402)において、第1視点34.1および第2視点34.2を隔てるベースラインb距離だけ隔たった第一404および第二406ステレオイメージコンポーネントを取得する、少なくとも一つのステレオビジョンカメラ302を備えている。例えば、図2、5および6に示すように、第一302.1および第二302.2ステレオビジョンカメラが第一36.1および第二36.2レンズを有しており、それぞれ焦点距離fであって、第一36.1および第二36.2レンズの光軸間距離がベースラインbだけ隔たっている。それぞれのステレオビジョンカメラ302はピンホールカメラと想定され、第一404および第二406ステレオイメージコンポーネントは、同一平面上にある第一36.1および第二36.2レンズの焦点面40.1および40.2において電子的に記録される。第一302.1および第二302.2ステレオビジョンカメラには、例えば広域ダイナミックレンジを有する、焦点面CCD(charge coupled device)アレイ、付随する電子メモリおよび信号処理回路を備えた電子カメラが含まれる。
【0007】
対象物42が第一36.1および第二36.2レンズから距離rだけ隔たって置かれた場合、第一404および第二406ステレオイメージコンポーネントは、対応する第一34.1および第二34.2視点から撮像される。対象物42の特定の場所Pに対して、第一44.1および第二44.2のPの像が、対応する第一404および第二406ステレオイメージコンポーネント画像における第一46.1および第二46.2中心線から、第一ステレオイメージコンポーネント404(例えば左イメージ)については第一オフセットdlだけ、第二ステレオイメージコンポーネント406(例えば右イメージ)については第二オフセットdrだけ隔たったところに、ここにおいて第一dlおよび第二drオフセットはベースラインbおよび点Pが結像する面上であって、第一46.1および第二46.2センターラインから反対方向に、オフセットして結像する。第一オフセットdlと第二オフセットdrとの差はディスパリティ(disparity)dと称され、対象物42の距離rと次の方程式に従って直接関係する:
r=b・f/d, ここで、 d=dl−dr
図5(b)を参照すると、対象物42の高さHは、ピンホールカメラ38およびその結像幾何の仮定に基づき、対象物像48の高さhから求めることができる。
【0008】
図2および6を参照すると、一態様においては、第一302.1および第二302.2ステレオビジョンカメラは、車両12のウインドウシールド54を通して視界内に見えている場面24を見ることができるように、乗員室50の中、例えば後方視界ミラーの前に、実質的に水平なベースラインbに沿って位置する。もう一つの態様においては第一302.1’および第二302.2’のステレオビジョンカメラは車両の先端56に実質的に水平なベースラインbに沿って、例えば左58.1および右58.2ヘッドライトレンズの中またはその近傍にそれぞれ位置する。
【0009】
図7を参照すると、更にもう一つの態様においては、ステレオビジョンシステム16’は、互いに垂直方向に二つに分けられ、単一のカメラ60の視界の上部に対応して第一のステレオアパーチャ66.1から視界を見て、単一のカメラ60の視界の下部に対応して第二のステレオアパーチャ66.2から視界を見るようにしてあり、第一および第二ステレオアパーチャは、ベースライン距離bだけ隔たった第一視点64.1および第二視点64.2を与えるための、たとえば第一表面鏡のような複数の鏡62.1、62.2、62.3、62.4と協働する単一のカメラ60を備えている。単一のカメラ60の検出器68が正方形であれば、それぞれの対応する視界は、水平対垂直のアスペクト比が約2対1となり、このことは必要な視界が垂直方向よりも水平方向にずっと大きい道路使用弱者保護システム10にとって有利なことである。図7の態様では、単一カメラ60の視界は互いに実質的に直角をなし、ベースラインbに対しては45度をなす第一の鏡62.1および第3の鏡62.3によって上部視界と下部視界にそれぞれ分けられている。第一の鏡62.1は第三の鏡62.3の上に位置しており、相対的により大きい一番左の鏡62.2と協働して、単一のカメラ60の上部視界が第一の視点64.1(即ち左視点)からの第一ステレオイメージコンポーネント404を与えるようにされる。第三の鏡62.3は相対的により大きい一番右の第四の鏡62.4と協働して単一のカメラ60の下部視界が第二の視点64.2(即ち右視点)からの第二ステレオイメージコンポーネント406を与えるようにされる。
【0010】
図3によれば、自動利得制御(AGC)回路304が、例えば、ステレオビジョンカメラ302の視界中の太陽の故の比較的高い光レベルから、月のない夜の田舎道をドライブしているときの比較的低い光レベルまでであり、もっとも重要な悪影響としては、ステレオビジョンカメラが直接太陽を見た場合や、非常に明るい日に発生する、相当な数のカメラのピクセルが飽和してしまうという、予想されるシナリオのすべての範囲において、それぞれのステレオビジョンカメラからの出力レベルを比較的一定の値に保つために設けられる。
【0011】
図4および図8によれば、ステレオビジョンカメラ302の利得は、AGCプロセスのステップ(408)において、イメージ904の部分集合902の強度、例えばイメージ904の中央近くの3〜4個のピクセル列の強度、をモニタし、それに応答して全体のイメージ904の強度を制御するようにされる。例えば、一態様では、全体のイメージ904の強度はイメージ904の中心近傍のピクセル列部分集合902’の増幅率に応答して制御される。このアプローチは1)AGCプロセス(408)中の計算負荷を減らす、2)VRUが位置する可能性が最も確からしいイメージ904の中心部分の強度を最適化する、3)太陽は典型的にはイメージ904の上半分に含まれるであろうから、ステレオビジョンカメラ302の視界中の太陽の影響を減少させる、という点で有利である。第一ステレオイメージコンポーネント404または第二ステレオイメージコンポーネント406のどちらの特定のピクセルの信号レベルも、対応する第一ステレオビジョンカメラ302.1または第二ステレオビジョンカメラ302.2の露出時間および、対応する第一ステレオビジョンカメラ302.1または第二ステレオビジョンカメラ302.2の検出素子からの信号が増幅されて対応する第一ステレオイメージコンポーネント404または第二ステレオイメージコンポーネント406のピクセルの値を発生させるその増幅率に依存している。一態様においては、平均ピクセル振幅は、第一ステレオイメージコンポーネント404と第二ステレオイメージコンポーネント406のそれぞれのピクセル列の部分集合902’について算出される。この平均ピクセル振幅があらかじめ定めた最大平均振幅閾値よりも大きい場合、またはあらかじめ定めた最小ピクセル振幅よりも小さい場合は、平均ピクセル振幅が対応する最低および最高閾値の範囲内に収まる様にされ、第一302.1または第二302.2ステレオビジョンカメラのサチュレションが避けられるようにするために、露光時間または対応する第一ステレオビジョンカメラ302.1または第二ステレオビジョンカメラ302.2の対応する利得が調節される。
【0012】
図3、4および9を参照すると、ステップ(410)のステレオイメージ処理プロセスにおいて、ステレオビジョンプロセッサ306は、第一視点34.1および第二視点34.2のそれぞれのためのステレオビジョンカメラ302からのそれぞれのグレイスケール画像から、見えている場面24の距離マップイメージ412(距離イメージまたは不一致イメージ(disparity image)とも称される)を生成する。距離マップイメージ412はそれぞれのピクセルに、ステレオビジョンシステム16から対象物までの距離rを与える。その代わりに、またはそれに加えて、距離マップイメージ412は車両12に固定した対応する参照座標系による対象物の相対座標、例えばダウン距離(Z)、横距離(X)および高さ(Y)という対応する成分によるベクトルを与えても良い。
【0013】
もう一つの態様においては、ステレオイメージ処理プロセス410は、ステレオビジョンシステム16からの距離rに加えてステレオヒ゛ションシステム16に対する相対的な迎え角と方位角とをも与えるようにすることができる。例えば、ステレオビジョンプロセッサ306は、ここにおいて引用して取り込まれる、米国特許第6,456,737号に開示されているシステムおよび方法に従って動作しても良い。
【0014】
ステレオイメージングが、左と右の画像の組、即ち第一ステレオイメージコンポーネント404と第二ステレオイメージコンポーネント406の不一致dおよび比較的簡単な三角法計算を利用して、対象物の実空間における位置を再現することによって、単眼鏡視野システムにおける多数の制限を克服することができる。
【0015】
図9によれば、ステレオビジョンプロセッサ306の対応領域相関アルゴリズムにおいては、対応する領域の不一致dおよび対応する距離rを検出するために、第一ステレオイメージ404と第二ステレオイメージ406が突き合わされる。マッチする領域を探す作業量は、対応する第一ステレオビジョンカメラ302.1と第二ステレオビジョンカメラ302.2の対応する走査線に沿って対応する水平線(epipolar lines)を位置させるように入力イメージ(I)を修正することによって減少される。このことは、第一ステレオビジョンカメラ302.1と第二ステレオビジョンカメラ302.2をキャリブレートし、対応する入力イメージ(I)を歪めてレンズによる変形と、第一ステレオビジョンカメラ302.1と第二ステレオビジョンカメラ302.2の間の配列オフセットを取り除くことによってなされる。ある修正されたイメージ(C)に対して、マッチする領域の検索の数は、関心のある領域までの最小および最大の距離rによって最大数が規定される特定のオフセット(D)の数までに限る事が可能である。複数プロセッサや分担した計算を実施することによって、アルゴリズムの作動はスループットを向上させるためにパイプライン方式で実行可能である。最大の計算コストは、ピクセル数に不一致の数の積に比例するものであって、相関計算と最小値発見の実行において存在する。アルゴリズムは、領域の相関を取る際に使用するウインドウのサイズが演算コストに大きくは影響しない、演算対象領域の冗長性を利用したスライディング総和法(sliding sum method)を使用することができる。結果として得られる不一致マップ(M)は、さらに道路表面からの信号等の余分な対象を道路表面フィルタ(F)を用いて取り除くことによって、単純化することができる。
【0016】
ステレオイメージ処理プロセス(410)の距離分解能(Δr)は、次の式で表される、距離rの関数である。
Δr=(r2/(bf))Δd
距離分解能(Δr)は、或るステレオ配置における、認識可能な最小の距離rの変化量のことであり、不一致における最小の変化Δd(即ち不一致分解能Δd)に対応するものである。距離分解能(Δr)は、距離の二乗に比例して増加しベースラインb、および焦点距離fに逆比例するので、ベースラインb距離と焦点距離fを増加させること、および不一致分解能Δdの改善(減少)を意味するピクセルサイズを減少させることによって、改善(減少)する。
【0017】
図10aおよび図10bを参照して、ステレオビジョンシステム16の、距離rと視界の範囲の要請から境界パラメータを決めるために、単純なVRU14と車両12との間の力学プログラムがMATLAB(数値解析ソフトの名称)において適用された。遭遇配置(encounter geometry)の最悪のケースのシナリオが、必要なパラメータを決定する境界条件として選ばれた。このシナリオは、VRUが時速5マイルの一定速度で、車両12の速度ベクトルに直行する方向に車両の右方からバンパーの一番近い側の角に向かって歩行中/ジョギング中のもの(すべての車両12/歩行者14.1遭遇の90%以上に相当する)であって、衝撃点がエンジンフード35の右前となる位置で終了するものである(悪いシナリオは、車両12の左からものdのであって衝撃点がエンジンフード35の左側となる位置で終了するものも可能である)。これらのパラメータは時間の関数としての最大距離および最大の角度を与えるものである。
【0018】
これらのパラメータの時間変化の中には、バンパーに仕組まれた外部エアバッグ32.1の起動がなされる点が含まれる。これらについての予備的な結果の調査は、提案されたシステムがVRUを検出し認識することのできる最大距離が12フィートであったとすると、外部エアバッグ32.1または他のVRU保護装置32を作動させるに十分な時間が存在するための車両12の速度は時速40マイルを十分超える速度であることを示した。図10aおよび図10bは、パラメーターの解析についての図式的なまとめを示しており、車両のバンパー位置から、検出して意思決定するためのわずかな時間が存在する短距離の遭遇の境界位置を示している。
【0019】
図10aを参照すると、VRU保護デバイス32は概して作動に時間を要するので、そのための作動決定は衝突の発生する時点より十分前になされる必要性があり、それ故にVRU保護装置32が衝突に先立って作動することができるように、与えられた車両速度に対して、VRU14からの距離rが十分であるために必要な、作動決定地点がわかる。異なる動作時間を有する異なる種類のVRU保護デバイス32の場合は、有効に動作が開始されるべき距離も異なる。典型的な神経−筋肉反応は0.75〜1.5秒であるから、上記の条件であれば、衝突という遭遇の仕方が実現するのは実質的に確実であるといえるから、一つまたは複数のVRU保護デバイス32の自動起動が必要となる。
【0020】
図10bを参照すると、角度の要求条件が、最悪ケースの遭遇の配置をカバーするに十分なカメラの視界領域を規定している。比較的広い角度要求条件は、ステレオシステムによって補償することができないかもしれない光学的歪をもたらし、視界領域が水平方向に比較的広範囲となるので、或る大きさと距離の対象物が、より少ないピクセルにしか亘らないものとなってしまう。一般的に、車両12の速度が速ければ速いほど、それだけいっそう対応する角度要求条件は狭いものとなる。
【0021】
対象物は、反射率に依存して環境光の一部を反射するので、可視光/近赤外光撮像装置は見えている場面24のグレイスケール画像を供給できる。あいにく、グレイスケール画像の生データは処理するのが困難であり、リアルタイム認識/除外システムに利用するのは挑戦的事項である。一方、画像強度ヒストグラムデータは、十分に高度の情報内容を含み画像処理能力の要求は比較的低いものである。画像強度ヒストグラムデータは、それぞれの強度レベルを有するピクセルの数がどれだけあるかを表す指標である。
【0022】
しかしながら、対象物の実際の大きさと距離の指標も必要なのであるから、強度分布のみでは、VRU14と外の対象物とを適切に区別するためには十分でない。ステレオビジョンカメラ302は本来的に角度センサーであって、それぞれのピクセルがそのときの角度的視界(IFOV=angular field of view)を表している。対象物の表面質感の分布は距離rの変化に対しては不変であるが、距離rが減少してくるとそのサイズは大きくなる。ヒストグラム空間においては、ピクセルの数は対象物の大きさに依存する。したがって、もし通常の強度分布の十分なピクセル数があれば、そしてもしステレオビジョンシステム16からの角度情報が、対象物がある一つの角度範囲ゲートの中にあることを示していれば、潜在的VRU14は衝突範囲内において検出されるであろう。
【0023】
図11を参照すると、320x240ピクセルで視野角が40度x30度であって、乗員室50内に位置するステレオビジョンカメラ302による、ある特定の対象物、即ち6フィートの身長の歩行者14.1または3フィートの身長の歩行者14.1によって占められるピクセルのパーセンテージが、ステレオビジョンシステム16から歩行者14.1までの距離rの関数としてプロットされている。車両のバンパー68はステレオビジョンカメラ302の前方約5フィートに存在し、検出の確率が最も高く誤警報の確率が最も低い領域は、距離rが、ビジョンカメラ302から約20フィートである。比較的近い距離に対象物がステレオビジョンシステム16によって検出された場合に、人間および他の対象物がカメラの画像中に存在しているならば、最大の数のピクセルが表すものは環境または他の対象物であって、人間を表すピクセルの強度分布とは異なった分布を有するであろう。ステレオビジョンシステム16はそれぞれのピクセルについての距離データを提供し、興味のある領域以外のいかなる物体――背景自身も含むが――をも簡単に、排除および認識処理から除くことができる。
【0024】
図3および4を参照すると、ステップ(414)の距離フィルタリングプロセスに従って、距離フィルタ308はステレオビジョンプロセッサ306から生成された距離マップ画像412を受け、与えられた最大距離以上に離れた対象物、および与えられた最小距離よりも近い対象物を除外することによってバックグラウンドのクラッターを取り除き、それによりこのあとの対象物認識のためのプロセスを単純化することのできる、距離フィルタードイメージ416を生成する。図12bは、距離フィルタリングプロセス(414)により図12aに示されるグレイスケール画像から生成された距離フィルタードイメージ416の一例を示しており、ここにおいて距離フィルタ308は見えている画面24から遠距離対象物を除外している。例えば一態様においては、距離フィルタの最小および最大距離を、それぞれ6フィートおよび36フィートに設定している。
【0025】
ステップ(418)の道路表面フィルタリングプロセスに従って、道路表面フィルタ310は距離フィルタードイメージ416を処理して、そのようにしなかったならば車両12の経路上の「真の」対象物をセグメント化する作業を複雑化してしまう、多くの場合に距離データとして生成されてしまうだけの画像強度変化を生じさせる道路表面の不完全性、描かれたライン、縁石等が取り除かれたものとする。道路表面フィルタ310はこれらの「余分な」対象物を距離フィルタードイメージ416から取り除き、その後のイメージ処理のための道路表面フィルタードイメージ420を生成する。図12cは、図12aに示された見えている場面24の、図12bに示された距離フィルタードイメージ416から、道路表面フィルタリングプロセス(418)によって生成された道路表面フィルタードイメージ420の一例であり、道路表面フィルタ310は、距離フィルタードイメージ416に残っていた、最も目立った画像であった道路表面70の画像を十分に取り除いている。
【0026】
想定している、地球を平面とみなす配置においては、カメラに対しての対象物の高さは直ちに三次元空間データからステレオ計算で計算することができ、基地のカメラの配置(高さおよび迎角)と比較することができる。計測された道路からのカメラの高さから、例えば6インチの調節可能パラメータ分を減算した高さよりも低い位置にあるいかなるピクセルも、取り除いてよい。しかしながら、このやり方はいくつかの制御不可能で測定不可能な要素:迎角および地面からのカメラの高さは、激しいブレーキング/加速および/またはバンピーな道路表面、に対して敏感であり、それに加えて水平な道路表面という仮定は明らかに上り坂/下り坂および/またはバンクのついたカーブにおいては正しくない。これらの要素は、とりわけ遠距離から観察する道路表面については、成功裏にこのアプローチを実行することを困難にし、リアルタイムで車両12の態勢を確定するための追加的なセンサーおよび/またはプロセッシングを必要とするかもしれない。
【0027】
もう一つの様相に従えば、道路表面フィルタ310は車両12のリアルタイムな態勢の測定を必要としないで画像中の道路表面に対応するピクセルを決定し取り除く。図13を参照すると、図解する目的で、道路上に何も無い(即ち、点線で描いたような建物は無い状態)平らな道路を車両12が走行していくという理想的な条件において、道路表面からの反射についてのダウンレンジビン(down range bin)、即ちZ座標は、それぞれの焦点面列(FPA=focal plane array)内のそれぞれの個別のピクセルについて、カメラの高さ、仰角およびピクセルの視野(FOV)――これは誤差が無いかほとんど無いものが得られるものである――が与えられれば直ちに計算することができる。
【0028】
この理想的ケースにおいて、一つの焦点面列(FPA)におけるそれぞれのピクセルのそれぞれのレンジビン(range bin)は唯一つの反射を有している。有限の垂直高さを有する対象物がカメラの視野(FOV)に入ると、その対象物の遠近方向および横方向の距離に対応するレンジビンは一つ以上の反射を有することになるであろう:実際の数は対象物の高さおよびカメラからの距離に依存するものである。更に、道路がバンクを有したり、および/または傾いていたり(現実の世界における制限の範囲内で)すれば、道路からのダウンレンジビンに含まれる反射の数は一つのままであり、カメラの仰角と高さの推定における誤差は、最悪の場合(即ちプラスマイナス5度、およびプラスマイナス1フィート)にはビンのカウント値が1からゼロまたは2に変わってしまうかもしれない。
【0029】
従って、距離マップから道路表面からの反射を除外するために、2以下のカウントしかないビンに寄与するピクセルは、取り除くことができる。この技法は、垂直方向の広がりが例えば6インチ以下の対象物を、この垂直高さをカバーするであろうピクセルの数をその対象物の距離の関数として計算し、境界値ビンカウントをそれにしたがって調節することによって取り除くことに、直ちに拡張することができる。
【0030】
図14を参照すると、この道路フィルタリングプロセス1400は、ステップ(1402)でステレオビジョンシステムからステレオイメージデータ、より詳しく言えば、図15に示すように、少なくとも画像のそれぞれのピクセルのダウンレンジ推定値(Z)、を得ることによって開始する。ステレオイメージデータ即ち解析されるべきそれぞれのピクセルに対応するダウンレンジ(Z)、クロスレンジ(X)および高さ(Y)は、それぞれ、特定の道路使用弱者保護システム10についてあらかじめ定められる数字であるといえる、カメラ高さおよび仰角に依存するものである。ステップ(1402)においては、一つのビンカウントアレイは値ゼロに初期化される。図16を参照して、それぞれのゼロでないダウンレンジ推計値を有するピクセルについて、オプションのステップ(1406)および(1408)において、対応する処理要求を低下させておくために、最初にクロスレンジ(衝突不可避領域より外側の対象物)および高さ(あらかじめ定めた値を超える高さの対象物)に関してフィルタされる。ステップ(1401)から(1408)までの間に、それぞれの列のそれぞれのピクセルそして次に像についての列について、ビンカウント距離ヒストグラム列の対応するレンジビンが増加させられ、ここにおいてレンジビンはそのピクセルに伴うダウンレンジの推定値に相当する。この目的のためには、非線形のレンジビンをダウンレンジとクロスレンジの両方の測定のために使用するのとは異なり、ダウンレンジの推定値のみで十分である。このことは、精力的にテストを行い、それぞれの列のFPAをソートして比較した結果、クロスレンジの非線形性はほとんど改善とならないことが判明したことに基づいている。
【0031】
更に図17を参照して、ビンカウント距離ヒストグラム列においてすべてのピクセルが扱われた後に、ステップ(1420)から(1430)までの間で、それぞれの列のそれぞれのピクセルについて、そして次に画像のそれぞれの列について扱われ、もしあるピクセルについて対応するビンカウント距離ヒストグラムの要素が閾値すなわちThreshold(Z)に等しいかそれ以下である場合は、後者は距離に依存するので、そのピクセルについての対応する値――あらかじめ定めた閾値よりも低い高さ、例えば道路表面、についての値――はゼロにセットされる。
【0032】
図18a−cは道路の表面、ステレオ計算機(stereo engine)により生成されたそのダウンレンジマップおよび対応するステップ(1424)および(1426)の逆操作によって修正され、道路のみを含んだ画像を示す。従って、もし図18cにおいて残っているピクセルに対応するすべてのステレオ三次元空間データが除去されれば、距離マップは道路表面よりも上方に存在する三次元要素のみを含むこととなる。
【0033】
図19a−cによれば、道路フィルタリングプロセス1400が駐車中の車両12について行われるところを示すものであり、元となる距離マップは図19bに示され、修正結果の距離マップが図19cに示されている。
【0034】
衝突不可避領域は、車両12の経路空間が直接的に定義され、そこにおいては対象物に占有されると仮に最大の制動および操向操作が実行されても衝突が発生する。衝突可能領域は、仮に車両12の運動が変化することなく続いた場合に、対象物が想定された最大速度で車両12の経路に向かって移動すれば衝突が発生するような領域として定義される。衝突不可避領域は、衝突可能領域の部分集合である。
【0035】
ステップ(422)の衝突実現性フィルタリングプロセスに従えば、衝突実現性フィルタ312は、道路表面フィルタードイメージ420から、車両12と潜在的VRU14についての力学的および運動学的仮定の下で車両12との衝突が実現性無しであろうとされる対象物を、実質的に取り除く。衝突実現性フィルタ312は、車両12との衝突が実現可能である対象物のみを含む単純化拒理マップイメージ424を生成する。
【0036】
衝突実現性フィルタ310の一つの特徴に従えば、トラッキングされる対象物はそれらの速度に応じて除外される。衝突可能領域の形状は、車両12の速度に依存するものであり、一態様においては衝突可能領域の外にある対象物はトラッキングされない。もう一つの態様においては、道路表面フィルタ310がカーブの位置の検出もおこない、そのカーブの領域外の対象物もトラッキングされない。歩行者14.1および自転車乗り14.2は典型的には最大速度としてそれぞれ時速7マイルおよび14マイルを有し、車両12はそれらよりずっと高速であろう。衝突実現性フィルタ310は、道路表面フィルタードイメージ420から、VRU14の最高速度即ち時速14マイル以上の速度を有するいかなるトラッキングされた対象物――その対象物は必ずVRU14以外のものである――をも取り除き、後に続くVRU検出における移動対象物の数を大幅に減少させる。
【0037】
衝突実現性フィルタ310のもう一つの特徴に従えば、潜在的VRU14ターゲットは、ある速度と転回率を有する車両12との衝突に至るかもしれない方向に移動中のそれらVRU14が、ある速度――VRUの想定される最大速度までの――でも、車両12との衝突が予想されないならば、取り除かれる。図20を参照して、道路使用弱者保護システム10の検知領域72は、例えば一態様においては水平に40度の視野を有するという、ステレオビジョンシステム16の配置によって定まる。一態様においては、道路使用弱者保護システム10はVRUを車両12の前方36フィートまで検知し、VRU14のためにVRU保護装置32を車両12の前方10フィートまでの動作領域74において作動させるが、この距離は車両12の速度に応答するようにすることが可能である。一般的に、動作領域の最大距離は特定の運転者警告装置28、VRU警告装置30およびVRU保護装置32に依存するものであり、対応する動作距離または時間はOEMによって、または政府機関によって特定されるであろう。
【0038】
図21−23を参照して、検出領域72の中には実現不能領域76が存在し、その中ではVRU14は車両12と衝突するであろうことはできない。実現不能領域76の形と大きさは車両12の速度と旋回率とに依存する。図21は直線状を移動する車両12を表しており、対応する実現不能領域76は楔形で左右対称の実現不能領域76.1と76.2が検出領域72の左右の縁部に存在しているものである。検出領域72の実現不能領域76にはさまれた部分は関心領域78と呼ばれ、その中においてはVRU14が区別される必要がある。図22aと図22bを参照すると、車両の速度の増加に対して関心領域78.1の幅は減少し、実現不能領域76.1と76.2の幅は増加する。図23を参照して、旋回中の車両12に対して、対応する不可能領域76.3および76.4および対応する関心領域78.2の形状は車両12の予測される経路に従って決定される。
【0039】
ステップ(426)の対象物距離セグメンテーションプロセスに従って、対象物距離セグメンテーションプロセッサ314が、単純化距離マップイメージ424からの差分距離上方に応答して隣り合う対象物(静止していても運動中でも)を互いに分離し孤立させる。
【0040】
図24−26を参照すると、歩行中の歩行者14.1が静止している車両12からの距離を増加しつつあるところが撮像される。各図において、グレイスケールの最初の画像44.1(ステレオペアのうちの左画像)が上左に、対応する単純化距離マップイメージ424が上右に、対応する距離マップヒストグラム80が下半分に表示されている。距離マップヒストグラム80のx軸は距離rをフィートで表したものであり、距離マップヒストグラム80のy軸は、単純化距離マップイメージにおける特定の距離rにおけるピクセルの数である。レンジマップヒストグラム80は、単純化距離マップイメージ424における全てのピクセルについて、それぞれのレンジビンにおけるイメージピクセルの数を総和することによって作られている。一態様においては、全体の距離で65.5m(215フィート)分を提供するために、2の16乗のレンジビンが存在し、それぞれは1mmずつ離れているが、最大の実際的な距離(例えば一態様では150フィート)は、第一ステレオビジョンカメラ302.1および第二ステレオビジョンカメラ302.2の視野に依存し、それはイメージ空間における1ピクセル分の幅に相当する実空間における距離を決定する。
【0041】
図24はVRU14が車両12にもたれかかっているところを示し、ここにおいて2つの対象物の間には実質的に距離の差は無いのでVRU14と車両12は同一のレンジビンを占めている。図25は、VRU14が車両12から約6フィート離れて、衝突までの距離が約26フィートであるものを示している。図26は、VRU14が車両12から約8フィート離れて、衝突までの距離が約24フィートであるものを示している。両者の距離と衝突までの距離とは、レンジビンにおける中央値に対して測定されている。
【0042】
単純化距離マップイメージ424および対応する距離マップヒストグラム80は、リアルタイムでアップデートされる(例えば毎秒30フレーム)。距離マップヒストグラム80のみを使用して、予備的脅威調査が、場面中に存在する各対象物について、衝突までの距離、対象物の密度(ピクセル数)および距離範囲(最大距離のビンの距離と最小距離のビンの距離との差)に基づいて計算される。対象物の密度および距離範囲は、パターンに基づいた認識手法の必要なしに対象物の種類を判定する助けとなりうる。例えば、距離範囲が約4フィート以上であると、VRU14であると判定する可能性を低めるであろう。
【0043】
距離の差分に基づいてそれぞれの対象物を分離し孤立化すること(「セグメンテーション」)は、距離マップイメージの情報の質に従って、フレームごとに実行してもよいし、いくつかの逐次的画像フレームから導出してもよい。暗い状態や夜間という条件は、通常対象物の境界線において発生する、第一画像44.1と第二画像44.2(左右ステレオ画像ペア)とのグレイスケールの相違が無いことによる距離情報の喪失をもたらすことがある。
【0044】
例えば、図27a−cは、夜間に、時速約7マイルでVRU14に対してカメラが近づいていきながら撮影した、グレイスケール第一イメージ44.1の連続する3フレームを示し、左から右へ時間が経過している。図28a−cは、対応する3枚の単純化距離マップイメージ424を示す。それぞれの複数の(例えば3枚)連続する単純化距離マップイメージ424の組が、コンポジット距離マップイメージ(composite range map image)82を生成するために、主要コンポーネントアルゴリズムを用いて変換され、これによって複数の連続する単純化距離マップイメージ424における一意的差分が取り込まれ、また、例えば照明不足により失われたであろう対象物の像の領域が埋め合わされる。例えば図29は、図28a−cに示された連続する単純化距離マップイメージ424に対応する、コンポジット距離マップイメージ82を示す。複数の単純化距離マップイメージ424が変換された後に、次の連続する複数の単純化距離マップイメージ424が、主要コンポーネントアルゴリズムを用いて変換される。
【0045】
主要コンポーネントアルゴリズムは、一般に次のように動作するが、より詳細な説明は「Statistical Methods for Medical Investigations」 Brian S. Everitt、ISBN0−340−61431−5に記載されており、ここに引用して組み込まれる。
【0046】
L枚の連続した単純化距離マップイメージ424即ち単純化距離マップイメージアレイR1、R2、・・・RL、それぞれの単純化距離マップイメージアレイRiは、M行N列の距離ピクセルアレイを含み、それぞれの単純化距離マップイメージアレイR1、R2、・・・RLは、最初に対応するそれぞれの単純化距離マップイメージベクトルr1、r2、・・・rLに変換され、ここにおいてそれぞれの単純化距離マップイメージベクトルr1、r2、・・・rLは、順次対応する単純化距離マップイメージアレイRiの連続する行を結合して形成される。例えば、一態様ではL=3、M=228、N=308であり、それぞれの単純化距離マップイメージベクトルriの長さ(length)は、228x308=70224である。単純化距離マップイメージベクトルriの転置列ベクトルが集められて、アレイA=[r1T、r2T、・・・rLT]とされ、アレイAの対応するLxLのクロス相関マトリクスCが計算され、行列式 |C−λ・I|を解くことによって固有値λ1、λ2、・・・λLが決定され、ここにおいてIは固有マトリクスであり、|・・・|は行列式である。与えられた固有値λ1、λ2、・・・λLに対して対応する固有ベクトルがν1、ν2、・・・νLであるCは、方程式C・νi=λiを満たすものとして定められる。対応するLの主コンポーネントイメージPはP=S−1・A・S、ここにおいてS=[ν1T、ν2T、・・・νLT]、の式から見出される。Pの第一カラムベクトルp1TはMxNに逆変換され、関連する主コンポーネントイメージベクトルpiの最大の変化量を表すコンポジット距離マップイメージ82を作る。
【0047】
個々の単純化距離マップイメージ424またはコンポジット距離マップイメージ82のいずれかの距離マップヒストグラム80を計算するに先立って、密度が、例えば85以下のピクセルのクラスターは連結コンポーネント篩い分けフィルタを用いて取り除かれ、続いてオリジナルの16ビット距離スケールから10ビット距離スケールへの圧縮をするために、距離変換が単純化距離マップイメージ424またはコンポジット距離マップイメージ82に対して行われ、これは距離マップヒストグラムを計算する際に、空のまたは低密度のレンジビンが埋められる効果を有している。
【0048】
連結コンポーネント篩い分けフィルタは、特定の領域よりも小さい、即ち連結したピクセル数が特定の数より小さい領域を取り除く。これらの比較的小さい領域のクラスターは、距離マップ中においては、生成物(ジャンク)とみなすことができる。連結コンポーネントアルゴリズムは、それぞれのピクセルが直近の8個のピクセル――垂直、水平および斜め――と結合しているかどうかを決定し、結合ピクセルのグループを特定し、その後、それぞれの連結領域が特定の領域定数によって検査される。領域の制限条件より小さい連結領域は結果出力バッファ内において、ゼロにセットされる。図30は15列10行の距離マップイメージの例を示しておりピクセルのクラスターが4個の別々の距離に存在する:それらは7フィート、10フィート、19フィートおよび22フィートで、図30bは図30aの距離マップイメージに対し連結コンポーネント篩い分けフィルタを作用させた結果を示しており、連結コンポーネント篩い分けフィルタの領域の制限条件は5ピクセルである。4つの連結領域(1から4と番号を振ってある)と背景領域(0と番号を振ってある)とがあり、領域の制限条件として5ピクセルを設定すると、5ピクセルより少ない連結領域であるものに対応する距離データ――即ち図30bにおいては領域2および3である――は除外される、即ちゼロにセットされる。連結領域のピクセル数が、領域の制限条件以上であるものに対応する距離データ――即ち図30bにおいては領域1および4である――が、連結領域篩い分けフィルタを通過する。
【0049】
図31は距離変換前の最新の単純化距離マップイメージ424(即ち図29の右イメージ)の距離マップヒストグラム80を示し、図32は対応する距離変換後の同じ距離マップイメージ424のレンジマップヒストグラム80’である。距離変換は、実空間での距離を必ず保存する。これをフィートで示すとx軸上でゼロから36までである。
【0050】
対象距離セメンテーションプロセス(426)は2つの対象間の特性に依存している:1)対象物の距離は単純化距離マップイメージ424において高度に相関がある;2)対象物の一はグレイスケール初期イメージ44.1(即ちグレイスケールステレオイメージ対のうちの左イメージ)において高度に相関がある。
【0051】
対象物は、距離マップヒストグラム80、80’を調べることによって異なる距離に分離できるであろう。図33には、ステレオビジョンカメラ302の視野内における、VRU14の右方の背景部にあるゴミ箱と平行に分離した2つのVRU14の、グレイスケール初期イメージ44.1、対応する単純化距離マップイメージ424および対応する距離マップヒストグラム80’が示されている。距離マップヒストグラム80’を調べると、2つのVRU14は約18フィートである最初のレンジビンから約21フィートの最後のレンジビンまでを有するとわかる。ゴミ箱は約24フィートである最初のレンジビンから約27フィートである最後のレンジビンまでを有する。図34は、纏めおよび境界の明瞭化のためのいくつかの追加的な形態学的なフィルタリングのステップを経て図33から得られた、バイナリセグメンテーションイメージ84における境界に囲まれた(閉じた)領域内の「穴」は埋められ、小さな突起を取り去るためにバイナリセグメンテーションイメージ84から一つまたは複数の外側のピクセルを取り去るエロージョンフィルタ(erosion filter)によって境界がスムージングされた、最近接対象物即ち2つのVRUの、バイナリーセグメンテーションイメージ84を示している。バイナリセグメンテーションイメージ84は、グレイスケール初期イメージ44.1および単純化距離マップイメージ424におけるにおける対応する場所が非ゼロの値(通常は+1である)であるということが、その場所が適切なものであるということを示す、単なるバイナリの参照テーブルである。
【0052】
ステレオビジョンカメラ302の視野内で横に並んで、距離のずれが無視できるような、分離した対象物は、「逆インデックス」法を用いて個別分離可能であり、その際は、距離マップヒストグラム80’のそれぞれのビンに寄与を与えている、元となる単純化距離マップイメージ424における場所のリストが入っている記憶アレイが作られる。このリストは、一般にリバースインデクス(またはバックワードインデクス)リストと呼ばれるものであり、どの距離マップの要素がヒストグラムにおけるレンジビンに集積されているのかを、効果的に決定する。
【0053】
ステレオビジョンカメラ302の視界内で横に並んで、距離のずれが無視できるような、結合した対象物――即ち図33に示されるような――は、繰り返し法を用いて個別分離可能である。パターン認識の学習によって得た知識によれば、図34に示すバイナリセグメンテーションイメージ84の図形的特徴は、VRU14の種類に属するものの限界より大きいが、自転車乗り14.2または車両12の種類に確実に属するともいえない。学習の知識によれば、成人の歩行者の最適合矩形のアスペクト比(縦辺を横辺で除した商)は、11対5であるから、セグメントは分割して再分類することが可能であり、例えば、図35a−cは、11対5の比率を有する3種の異なる部分分割イメージ86と、結果として得られた最適合矩形88を図解している。
【0054】
これは「領域拡大法」とも称され、その場合、最適合矩形の縦辺がQ個に、例えばQ個の等しい長さに分割され、最適合矩形の特定の角にセグメントの角を合わせ、一番小さい分割部分から逐次Q個の分割をより大きいものへと増加させて、最適合矩形に重ねて比較し、セグメントの部分イメージ86が分離して種類分けされる。いずれかの結果としての部分イメージがVRU14と種類分けされれば、その部分イメージ86が道路使用弱者保護システム400のその後のステップにおいて対象となる。最適合矩形内の残りの部分も、部分イメージ86の処理結果に依存して、更に部分イメージ86を取り出した後に、対象とされるかもしれない。
【0055】
例えば、図35a−cにおいては、全体の最適合矩形88は部分矩形90によって分割され、11対5の比率(縦対横)を保って大きくされる。11対5の比は歩行者について有効であると判明したが、他の比がその後の学習の結果他の重要な対象物について有効であると判明するであろう。図35a−cに示す態様においては、Qの値は4であり、図35a−cが示す部分矩形90は、最適合矩形88の半分、4分の3および全部の高さを有しており、部分矩形90は右下の角を最適合矩形88のそれに合わせている。もう一つの態様においては、合わせる場所は左下の角であり、それは車両12に最も近い対象物についてより速い判別が行われるから、一般に車両12の右側に位置する対象物について有利である。例えば、仮に合わせる位置が、図35a−cに示される例の場合に左下であると、多分子供のVRU14が最初に図35aに示される部分図形86から判別されたであろう。
【0056】
対象距離セグメンテーションプロセス(426)は一組の対象物428即ちバイナリセグメンテーションイメージ84または部分イメージ86を、単純化距離マップイメージ424またはコンポジット距離マップイメージ82から抽出する。図3および4を参照して、ステップ(430)においては、最も近い対象物428が選択され、ステップ(432)においては、ハーモニックプロファイル抽出器(harmonic profile extractor)316が、対象物の形を二値化重心(binary center−of−mass)からの距離と角度の関数としてパラメータ化するために、距離に依存しないハーモニック形状デスクリプタ(harmonic shape descriptor)が用いられる。ハーモニック形状デスクリプタはそれぞれの対象物の種類ごとの細かい構造を内包するものであり、例えば:自転車のタイヤや歩行者14.1の頭や足といった構造である。ハーモニックは、従来の図形的なデスクリプタ(最適合楕円、最適合矩形)よりもより強力なものである。太陽光、影または部分閉塞に起因する中小規模の誤りは、ハーモニックプロファイルを局地的に歪ませる。これらの誤りは中央移動平均フィルタを用いて除去または減少される。対象物428のハーモニックプロファイルは、対象物の二値化重心(図36における「+」の記号)から、外側に向かって最後のアクティブなピクセルに至るまで、メモリー中を順次検索していくことによって決定される。検索は時計回りに行われ、対応する最適合矩形の境界線までに制限される。このハーモニックプロファイル抽出プロセス(432)は、図36に示されており、ハーモニックプロファイルは自転車乗り14.2対象物428について、36本の等角度に間隔をあけた「スポーク」によって決定されている。
【0057】
図37a−eは、5個の異なった対象物についてのグレイスケール画像と対応するハーモニックプロファイルを示しており、左から右に次のとおりであり、これらが生成される元になったそれぞれのグレイスケール画像がハーモニックプロファイル92の上に示されている:自転車乗り14.2(図37a)、ゴミ箱(図37b)、犬(図37c)、車両12(図37d)および歩行者14.1(図37e)である。図37fは図37a−eからのハーモニックプロファイル92の相互の相関についての、相互相関マトリクスを示し、これらからハーモニックプロファイル92が、種類の間の独自性を表すことがわかり、それによって自転車乗り14.2、歩行者14.1および車両12の認識と区別ができることがわかる。
【0058】
ハーモニックプロファイルの距離非依存性は図38a−iに示されている。図38aおよび38eは、比較的近い位置に居る自転車乗り14.2の、グレイスケール画像と対応するハーモニックプロファイルである。図38bおよび図38fは、比較的遠いところに居る、自転車乗り14.2の、グレイスケール画像と対応するハーモニックプロファイルである。図38cおよび38gは、比較的近い位置に居る歩行者14.1の、グレイスケール画像と対応するハーモニックプロファイルである。図38dおよび図38hは、比較的遠いところに居る、歩行者14.1の、グレイスケール画像と対応するハーモニックプロファイルである。図38iは図37d−hのハーモニックプロファイルについての相互相関マトリクスであり、これらは同じ対象物のハーモニックプロファイル92が、距離によらず比較的強い相関があることを示し、異なった対象対象物については比較的弱い相関があることを示している。
【0059】
ハーモニックプロファイルモデル94は判別すべきいろいろな種類のVRU14について、記憶されている。例えば、一態様においては、次の3種類のVRU14が判別される:自転車乗り14.2、静止している歩行者または中位の歩幅で歩行中の歩行者14.1’および最大歩幅で歩行中の歩行者14.1’’。VRUのそれぞれの種類について、そして距離rを1フィートずつ増加して7フィートから31フィートまでのハーモニックプロファイル92が、中位の歩幅の歩行者14.1’についておよび最大歩幅の歩行者14.1’’について、それぞれ図39および図40に白色で示されるように、例えば2度の間隔で、約300の異なった条件について収集された。自転車乗り14.2および静止しているまたは中位の歩幅のハーモニックプロファイル92が、図39の例では、黒で示されるフィルタードハーモニックプロファイル96を生成するために、19エレメントのセントラルムービングアベレッジフィルタによってフィルタされる。図40の例では黒で示される、対応するフィルタードハーモニックプロファイル96を生成するために、最大歩幅で歩行中の歩行者14.1’’のハーモニックプロファイル92は7エレメントのセントラルムービングアベレッジフィルタによってフィルタされる。更にその上、フィルタードハーモニックプロファイル96の「尻尾」は、338度から22度までの間即ち図40に表示された矢印の外側で、「切り落とされる」。最大歩幅で歩行中の歩行者の脚の特徴による40度から140度の間にある2つの山を過度にフィルタしないようにするために、最大歩幅で歩行中の歩行者14.1のハーモニックプロファイル92をフィルタするのには7エレメントのムービングアベレッジフィルタが使用される。結果としてのハーモニックプロファイルモデル94は、対応するハーモニックプロファイル96を例えばフィルタードハーモニックプロファイル96のそれぞれの角度位置における中央値、即ち図39および図40において太線で示される曲線を当てはめることによって得られる。
【0060】
ハーモニックプロファイル92、94、96は、対象物の形を、半径方向距離を角度の関数として表すことによってパラメータ化し、各対象物の種類についての比較的細かい構造を、比較的少ないデータポイント数で表すことを提供する。太陽光、影または閉塞――例えば道路表面フィルタ310による――により引き起こされる、セグメンテーションにおける比較的小さな誤りは、ハーモニックプロファイルを局所的に歪ませるかもしれないものであるが、セントラル移動平均フィルタを使用することによって除去または減少させられるであろう。
【0061】
図41aおよび41b、42aおよび42b、43aおよび43bを参照すると、ハーモニックプロファイルモデル94は元のトレーニングイメージとその鏡像イメージについてそれぞれ定められ、例が自転車乗り14.2、静止している歩行者または中位の歩幅で歩行中数rの歩行者14,1’および最大歩幅で歩行中の歩行者14.1’’に示される。
【0062】
図44は、最大歩幅で歩行中の歩行者14.1’’の、距離が7フィートから32フィートまでの1フィード毎のハーモニックプロファイルモデル94である。
【0063】
セントラルムービングアベレージフィルタ長さは、例えば19エレメントや7エレメントであるが、同一種類対象物内でのハーモニックプロファイルモデル94――すなわち、VRU14の一つの種類についての異なった距離rにおけるハーモニックプロファイルモデル――の相互相関が相対的に高く、例えば0.9以上になるように、調整される。
【0064】
二値化セグメンテーションイメージ84またはサブセクションイメージ86のハーモニックプロファイル92が、19エレメントのセントラルアベレージフィルタでフィルタされ、自転車乗り14.2、および静止しているまたは中位の歩幅で歩行中の歩行者14.1’についての記憶してあるハーモニックプロファイルモデルとの相関がとられ、また、ハーモニックプロファイル92は7エレメントのセントラルアベレージフィルタでフィルタされ、最大歩幅で歩行中の歩行者14.2’’についての記憶してあるハーモニックプロファイルモデルとの相関が取られる。対応する記憶についての最大の相関値が、ハーモニックプロファイル92がどの特定のハーモニックプロファイルモデル94とマッチするのか、および対象物の種類と距離rがいかなるものであるのかを知るために用いられる。
【0065】
ステップ(430)に従って、ステップ(432)の前に、判定された対象物428について数学的および形状的デスクリプタが計算される。これらのデスクリプタはその対象物428を簡潔に表すものであり、多くのサイズのVRUおよび自転車乗り14.2の種類を決定するのに適用されるものである。最良のデスクリプタは、同一の種類はひとまとめにし、異なった種類の間は区別し、画像平面上での位置や回転や大きさには影響を受けない。そのような2種類のデスクリプタとして、最適合矩形のアスペクト比と、最適合楕円の角度方向とが、約700の自転車乗り14.2、静止している歩行者14.1および歩行中の歩行者14.1について、図45aおよび図45bにそれぞれプロットして示されている。それぞれの中央値が、それぞれの種類について示されている。最適合矩形および最適合楕円は、矩形および楕円をそれぞれ二値化セグメンテーションイメージ84または対象距離セグメンテーションプロセッサ314によって決定されたサブセクションイメージ86と重ね合わせ(fit)て決められる。
【0066】
一般的に、結合した対象物の形状ディスクリプタは、結合が解かれたそれぞれの対象物のそれとは大変異なるものである。図46bは、図46aに示される場面についての、最適合矩形および最適合楕円――それぞれ値1.480および1.262を有する――を示している。図47は、同じデスクリプタ――それぞれ値2.425および1.633を有する――を分離後の最大の対象物について計算したものを示している。最大の分離した対象物は、学習した値の組のうち歩行者の種類(「Ped1」)に密接にマッチしており、このことは、最適合矩形および最適合楕円デスクリプタの、VRU識別における有効性を確認するものである。
【0067】
図3および4を参照して、ステップ(438)においては、フィーチャーベクトルプロセッサ320が、12要素のフィーチャーベクトル440の各要素の値を次のように定める:
1.セグメント化領域の大きさ
2.カメラ焦点面アレイのセグメント化領域の二値化重心を含む行
3.カメラ焦点面アレイのセグメント化領域の二値化重心を含む列
4.対象物の垂直方向の量
5.対象物の水平方向の量
6.最適合矩形のアスペクト比
7.最適合矩形の充填率(即ち、セグメントが存在している部分の割合)
8.最適合楕円の主軸の垂直線に対する角度
9.最適合楕円の主軸と副軸の比
10.19エレメントのセントラルムービングアベレージフィルタを記憶したハーモニックプロファイルについて実行した結果の最高相関
11.7エレメントのセントラルムービングアベレージフィルタを記憶したハーモニックプロファイルについて実行した結果の最高相関
12.最適合矩形の下半分における最大水平部分の量
【0068】
図3および4を参照して、ステップ(442)においては、フィーチャーベクトルが対象物認識プロセッサ322に入力され、その出力は対象物428がVRU14である確率P444である。図48および49を参照して、一態様においては、対象物認識プロセッサ322は一つのインクルーシブニューラルネットワーク98と、それぞれの対象物の種類について一つずつである複数のエクスクルーシブニューラルネットワーク100および対応する規則ベースの決定プロセス(rule−based decision process)を含んでおり、これらはプライマリーな種類についての何千もの写真についての学習を通じて習得したナレッジベースを用いて学習が行われるものである。パターンマッチングが成功するのは、未修得の対象物のフィーチャーが習得済みの対象物と強く一致する場合である。
【0069】
図48を参照して、インクルーシブニューラルネットワーク98は、VRU14および車両12を認識するために使用され、他の種類の対象物から一意的に異なるパターンを発見するとともに、同じ種類のもののなかでの他の対象物と区別できるパターンを発見する。このネットワークは、すべての種類についての性質を考慮するように訓練される。インクルーシブニューラルネットワーク98は、学習をしているそれぞれの種類――およびどれにも属さない種類――に対応する出力を発生する。例えば、3つの種類を有する態様は次の様である:自転車乗り14.2、静止している歩行者または中位の歩幅で歩行中の歩行者14.1’および最大歩幅で歩行中または走行中の歩行者14.1’’であり、インクルーシブニューラルネットワーク98は4つの出力Y1,Y2,Y3およびY4を有し、これらはインクルーシブニューラルネットワーク98に入力された特定のフィーチャーベクトル440に対応する対象物が、それぞれの種類である確率を示すものである。
【0070】
図49を参照して、エクスクルーシブニューラルネットワーク100は学習セットの中の3種の特定の種類のVRUについて認識するために用いられる:自転車乗り14.2、静止または中位の歩幅で歩行中の歩行者14.1’および最大歩幅で歩行中または走行中の歩行者14.1’’である。エクスクルーシブネットワークは自己相似的(self−similar)であり、特定の種類についてのフィーチャーベクトル440を、特定の種類の多くのベクトル中から認識できるものであり、他の種類のものがいかなるものであるのかは問わない。エクスクルーシブニューラルネットワーク100はVRU14のそれぞれの種類について一つ設けられ、それぞれのエクスクルーシブニューラルネットワーク100は、2個の出力y1およびy2を有しており、それぞれフィーチャーベクトル440を伴う対象物が、そのエクスクルーシブニューラルネットワーク100が基礎をおく種類のものであることの確からしさ、およびそうでないことの確からしさ、の指標を与えるものである。
【0071】
図48および49に示されるインクルーシブ98、およびエクスクルーシブ100ニューラルネットワークにおいては、値Xは入力フィーチャー、即ちフィーチャーベクトル440の要素(上記リスト中の要素10および要素11は除く)を表し;
最初の列のニューロンは出力hを有する隠れたレイヤー(hidden layer)と呼ばれ;
第二の列のニューロンは出力zを有する第二の隠れたレイヤーと呼ばれ、
最後の列のニューロンは出力yを有する出力レイヤーと呼ばれる。
u、vおよびwはそれぞれのノードの入力の重み付け値を表す。ニューラルネットワークの訓練の目的は、計算をしたフィーチャーが正しい出力値を示すようなこれらの重み付け値はいくつであるかを決定することである。インクルーシブ98およびエクスクルーシブ100ニューラルネットワークは、望ましい出力結果が特定されている多くの入力データを集め、このデータを対応するインクルーシブ98およびエクスクルーシブ100ニューラルネットワークにランさせ訓練される。新しい入力が適用されるたびに、全てのデータのセットに対しても非常に小さな誤差しか生じなくなるまで、重み付け値は修正される。
【0072】
インクルーシブニューラルネットワーク98およびエクスクルーシブニューラルネットワーク100の訓練の操作は次のようにまとめられる:
出力レイヤーに与えられる重み
【数1】
第二の隠れたレイヤーに与えられる重み
【数2】
第一の隠れたレイヤーに与えられる重み
【数3】
ρはトレーニングレートと呼ばれ、誤差関数が極小になるまでにどれだけ多くのステップが取られたかを表す。
αはモメンタムと呼ばれ、訓練の収束速度を増すための、前回の重みの変化に乗算されるものである。
【0073】
衝突可能空間(Collision Possible Space)に入ってくる対象物428の種類分けは、数学的、幾何学的およびハーモニック形状デスクリプタを用いる訓練可能なパターン認識システムを用いて行われる。このシステムに対しては、あらかじめ定めた種類の多数のサンプルに接することで習得したナレッジベースを用いて、可能性のある種類の選別をするように教育される。訓練セットは何千ものそれぞれの基本的種類についての画像が含まれている。成功裏のパターンマッチングは、訓練していない対象物についてのデスクリプタが、訓練済みの対象物のデスクリプタと良い一致をするときに生じる。そのアルゴリズムは、既存の種類についての特性とはっきり異なる特性を有するならば他の種類についての認識にも拡張可能である。規則ベースのシステムを、このパターン認識システムを補うために追加してもよく、そこにおいて規則は例外なしに、或る種類の中での全ての変形についても適用可能なように設計される。規則は、特定の種類を除外する、または含む、という形で設定されてもよい。
【0074】
一態様においては、ひとつの対象物はつぎのように種類判別される:
もしインクルーシブニューラルネットワーク98の出力が、車両という種類について0.80以上であれば、その対象物は車両12と種類分けされ;
そうでなければ、
もしインクルーシブニューラルネットワーク98の出力が、VRUという種類について0.9以上であれば、その対象物はVRU14と種類分けされ;
そうでなければ、
もしインクルーシブニューラルネットワーク98の出力が、VRUという種類であって、同じ種類のVRU14について、エクスクルーシブニューラルネットワーク100の出力と、ハーモニックプロファイルモデル94との相関が共に0.8以上であるならば、その対象物をVRU14と種類分けされ;
そうでなければ、
もしエクスクルーシブニューラルネットワーク100の出力またはハーモニックプロファイルモデル94との相関のどちらかが0.95以上であるならば、対象物をVRU14と種類分けされ;
そうでなければ、
対象物を種類分けしない。
【0075】
規則ベースは、全ての種類について当てはまる観測結果についてのものである。もしこの規則に合致しないのであれば、問題となっているその対象物は、その種類のものではない。例えば、Xフィート離れた位置にいる歩行者の垂直の大きさ(最適合矩形の縦)はYピクセルより大きいことはあり得ない。Xフィートの距離にある(未だ種類分けされていない)対象物がY+k(k>0)の縦方向大きさであるならば、その対象物は歩行者の種類に属するものではない。「誤警報」(保護デバイスの誤った作動)を排除するための規則ベースは、VRUの異なった複数の種類について開発される。
【0076】
例えば図50、51および52を参照すると、縦の大きさ、水平の大きさおよび最適合矩形88の下方境界フィーチャーが訓練セットに含まれる全てのVRU14の種類についてそれぞれモデル化される。最適合矩形88の縦の大きさのモデルは、訓練セットに含まれる全てのVRU14の上限と下限を表すものである。最適合矩形88の水平の大きさのモデルは、訓練セットに含まれる全てのVRU14の下限を表すものである。最適合矩形88の下方境界のモデルは、訓練セットに含まれる全てのVRU14の上限と下限を表すものである。
【0077】
これらのモデルは、VRU14の誤った肯定的検出、例えばごみ缶、街路灯支柱、覆いかかる木の枝などにあたるもの、を排除するためのものである。この反「誤警報」は、検出された危険が、訓練したVRU14パラメーターの範囲外である時に発動される。例えば、或るケースでは、約39フィートのところにあると検出された街路灯ポールは当初は静止している歩行者と種類分けされるが、最適合矩形の縦の大きさは132ピクセルであり、この距離における最大モデル値が69ピクセルであるので、VRU14であるとの種類分けは排除される。それぞれのモデルについて、最適合矩形88のある特性がモデルの閾値を越えると、VRUであるとの種類分けは排除される。
【0078】
もし、ステップ(446)において、確率P444が対応するVRU識別閾値P*324よりの大きくない場合には、ステップ(448)において、対象距離セグメンテーションプロセッサ314により識別されたもののうち、次に近い対象物428が選択され、ステップ(432)によるプロセスが再び行われる。
【0079】
そうでない場合は、ステップ(450)において、対象物トラッカ326が対象物認識プロセッサ322によってVRUであると識別された対象物428をトラッキングする。ひとたびVRUが識別されると、そのVRUに対応するひとつのトラックファイルが対象物トラッカによって作られる。そのトラックファイルの出力には、集積認識確実度(accumulated confidence of recognition)、VRU14の重心の距離および横方向位置の履歴、発火までの推定時間(time−to−fire)および衝撃までの推定時間が含まれる。対象物トラッカ326は、衝突可能領域にいまだ進入していないが既に潜在的脅威であると種類分けされている、ステレオビジョンカメラ302の視界内に存在する全ての対象物428についての情報を維持管理(メンテナンス)する。トラッキングされる対象物428についての、直近10秒間の一意的につけられたトラッキングID、種類分けコード、衝突までの距離、重心および縦方向の大きさがリニアバッファの中に維持管理される。P次の自動減算モデル(Pth order autoregressive model)が、この情報を対象物428の将来の位置を予測するために使用する。トラックファイルはまた、例えば歩行者14.1が屈んだり転倒したりするような、対象物の一時的な動作をトラッキングすることによって、限定的な「状況の認識」能力を提供する。
【0080】
トラックファイルは、リニアバッファの中に、最も最近識別された対象物の情報(特性および種類分け)を維持管理する。対象物は、衝撃までの距離に基づいて昇順でソートされる。このことは、最も重要な脅威(自身の車両に対して最も近い)について活発に維持管理されることを保障する。新しく種類分けされた対象物は既にトラックファイルに存在するものとの相関がとられる。そしてトラックファイルレコードはしかるべくアップデートされる。トラックファイルの中の情報は、限られた状況認識を与えるものである。例えば、或る特定のVRU14が、衝突までの距離に殆ど変化がなく、フレームが変わっても維持されることは、図53に示されるように、自身の車両がこのVRU14を追尾している状態にあるということを意味している。
【0081】
ステップ(452)において、発火までの時間プロセッサ328が、車両12はVRU14と衝突するかどうか、そしてもしそうなら衝突が発生するであろう時までに残された時間を推定する。もしステップ(454)において衝突が予想され、残り時間が十分ある(即ち、発火までの時間(TTF)は対応する発火までの時間閾値(TTF*)よりも短い)ならば、ステップ(456)において、運転者警告装置28またはVRU警告装置30が運転者33および/またはVRU14に警告を与えるために起動され、ブレーキ制御システム34に対し車両ブレーキシステム102を動作させるために信号が与えられ、または、VRU14の性質に応じて、衝突により発生するVRUの負傷を緩和するために、一つまたは複数の外部エアバッグ32.1やボンネットアクチュエータ32.2等のVRU保護装置32が作動される。
【0082】
たとえば、推定された発火までの時間(TTF)が道路使用弱者保護システム10のサイクルタイムより短い(即ち30ミリ秒以下)時には、VRU14を保護するために外部エアバッグ32.1を膨張させるに必要な適時に、信号26が発生される。道路使用弱者保護システム10は、歩行者14.1および他のVRU14を衝撃に先立って検出し識別し、また、一態様においては、VRU14との衝突がありうるときに運転者33および/またはVRU14に対し警告を行い、VRU14との衝突が多分起きるときにブレーキ作動を開始させ、そしてVRU14との衝突が確実なときに外部エアバッグ32.1またはボンネットアクチュエータ32.2の動作させる信号を起動させる。もし、ステップ(454)の後に、衝突が予想されないとき、または運転者警告装置28、VRU警告装置30、ブレーキ制御装置34、VRU保護装置32の次の作動までの時間または次のステップ(456)のための時間としては不十分なときには、プロセスはステップ(458)で次の画像フレームに進んで、ステップ(402)からプロセスを再開する。
【0083】
IBMT30(1.8GHzのP4と512MBのRAM)によるタイミングテストでは、郎路使用弱者保護システム10は、画像サイズが308x228ピクセルのもので、毎秒39から44回の知るインクルーシブニューラルネットワーク識別ができることがわかった。
【0084】
上記したそれぞれ独立のニューラルネットワーク:インクルーシブ、エクスクルーシブおよびハーモニックは、上記した道路使用弱者(VRU)の認識において一意的に認識判定に寄与するという基本的な強力さを有している一方、これらのネットワークの出力の普通の解釈は時に主観的で不正確なものとなる。しかしながら、これに変わる態様――それは4クラス統合ネットワーク(4−class consolidated network)(4ccネットワーク(4cc network))と呼ぶことができる――によれば、インクルーシブ、エクスクルーシブおよびハーモニックネットワークの出力は、3種類のVRU:自転車乗り、静止した歩行者および歩いている/走っている歩行者、のそれぞれについての、単一の、あいまいさのない種類分けの統計値を与えるために統合される。
【0085】
4ccネットワークは、元となる複数のニューラルネットワークを統合するための訓練した一つのニューラルネットワークを使用する。学習プロセスは、インクルーシブ、エクススルーシブおよびハーモニックの各ネットワークが3種類のVRUそれぞれに対して寄与する率の重み付けの最適値を決定するために用いられる。そのプロセスは、学習用セット(種類分けが既にされている、22000枚の画像)を多数のレベルのサポート(support)――この用語は、関係ない種類同士の分離および関係のある種類同士のグループ化の定量的指標を意味する用語として使用される――において、繰り返し行うことが要求される。この決定された重み付けは、ネットワークの出力を信頼性高く、正しい割合で統合し、図54の3階層プロセスに導く。階層は、種類間サポートおよび種類内サポートの増加する指標を表している。
【0086】
4ccネットワークの階層1は、種類分け統計の10要素ベクトルを、4要素のフィーチャーベクトル入力に再構成(reorder)し、小型車、自転車乗り、静止した歩行者および歩行中の歩行者についての単一の種類分け統計を返す。4ccネットワークの階層2は、静止した歩行者と歩行中の歩行者を単一の歩行者種類分け統計に統合する。4ccネットワークの階層3は自転車乗りと歩行者とを単一のVRU種類分け統計に統合する。この階層はオプションである。
【0087】
4ccネットワークにより返された5要素ベクトルが、元となる10要素ベクトルと共に図55に示される。
統合種類ベクトルおよび分離種類ベクトルの両者におけるデテクションフラグ(detection flag)NetStat[1]は、種類分けができなかった検出についてフィードバックを与えるためのものである。検出した対象物が自己の車両から約48フィート以内の距離にあり、いずれの学習した種類分けにも類似していない場合には、デテクションフラグは値1.0とされる。検出した対象物が自己の車両から約48フィート以内の距離にあり、学習したVRUの種類分けとのみ類似していない場合、デテクションフラグは、VRU誤警報コンフィデンスの値とされる。これは先ほどは反「誤警報」と称していたものである。これらのどちらの場合も、結合した領域に基づく潜在的脅威を呈している未認識の対象物の存在を表示している。検出された対象物が、自身の車両から約48フィートよりも遠いところにある場合、デテクションフラグは値1.0とされる。拡大距離対象物は形状特性が不十分にしか存在しないので種類分けされない。
【0088】
統合種類分け統計の小型車(Cvehi)は、小型車(ホンダアコードおよびボルボS40)の後方で軸から外れた位置からの画像で学習がなされる。統合種類分け統計の自転車乗り(VruB)は視野(FOV)の横を通る自転車乗りで学習がなされる。統合種類分け統計の歩行者(VruP)は、静止したおよび歩行中の歩行者が、小さな物体を運んでいるところによって学習がなされる。この種類については、接近してくる自転車乗りおよび離れ去る自転車乗りを含むように学習がなされる。
【0089】
図56に描かれた場面は、馴染みのグループ5のテストシークエンスを示し、ここにおいて、上のログは分離の種類分け統計であり、下のログは統合化種類分け統計である。
【0090】
図57を参照すると、4ccネットワーク種類分けコンフィデンスの値が10%の幅でプロットされている。5688枚の自転車乗りの種類の学習画像に対して、5514(97%)が、0.90以上のコンフィデンス値を示している。10316枚の静止した歩行者の種類の学習画像について、9611(93%)が、0.90以上のコンフィデンス値を示している。2738枚の歩行中の歩行者の種類の学習画像について、2715(99%)が0.90以上のコンフィデンス値をしめしている。
4ccネットワークのテストにおいては、22000枚の学習画像に対して、高いパーセンテージの高いコンフィデンス値を示すそれぞれのVRU種類についての検出を示した。
【0091】
図57の自転車乗りの濃度プロットのCvehiの列から判るように、5688枚の自転車乗りの種類の学習画像に対して、9(0.15%)の小型車と誤った種類分けがなされた。数字としては大きなものではないが、この種類のエラーは保護装置の不作動という最も酷い結果を潜在的に含むものである。しかしながら、図57に見られるこの高いコンフィデンス値を示した9個の自転車乗り種類分けエラーのそれぞれは、距離マップにおける異常に起因している。それぞれの場合で、頭部または上半身が、自転車乗りの下の部分から分離されているか失われているものであった。セグメンテーションアルゴリズムは分離した部分を検出していたが、それは寸法不足か別体の対象物と分類されたかのいずれかにより、捨てられていた。図58にこの9個のケースのうちの一つの例を示すが、分離した頭部がセグメンテーションの境界線を変化させ、そして種類分けプロセスの質を落としたものである。また、タイヤの間の空間が充填され、ハーモニックネットワークで必要とされる2個の山がなくされているのも見ることができる。
【0092】
図59を参照すると、群集2の20フレームの連続場面を使用した時間テストは、毎秒139回の種類分けを実行し、64ビットモードでHPxw4100(P4、2.8GHz、1GBRAM)を用いてテストした際に、先の態様の毎秒124と比較して12%の改善を示したことになる。
【0093】
特定の態様が詳細に説明されたが、この分野の通常の知識を有する者にとっては、これら詳細からの多数の変形または代替物がこの開示全体の教示に照らして開発可能であろう。したがって、開示された特定の態様は、説明の目的のみであって、発明の範囲を限定するものではなく、発明の範囲は付随する請求項およびその全ての均等物の完全な範囲について与えられるべきものである。
【図面の簡単な説明】
【0094】
【図1】複数の道路使用弱者(VRU)に直面した車両の立面図およびその車両に道路使用弱者を保護するシステムを適用した状態のブロックダイヤグラムである。
【図2】車両の平面図およびその道路使用弱者保護システムのブロックダイヤグラムである。
【図3】道路使用弱者保護システムのブロックダイヤグラムである。
【図4】道路使用弱者保護システムのプロセスのフローチャートである。
【図5a】ステレオビジョンシステムの配置の図解を示す図である。
【技術分野】
【0001】
関連出願の参照
本出願は、本願に参照して繰り入れられた2004年7月26日に出願された米国仮出願No.60/591564号の利益を主張するものである。
態様の説明
図1および図2によれば、車両12との衝突から道路使用弱者(vulnerable road user)(以下「VRU」という)を保護するための道路使用弱者保護装置10が車両12に組み込まれている。VRUの例としては歩行者14.1および自転車乗り14.2が含まれる。たとえば、欧州連合(EU)においては、毎年7000人の歩行者14.1および2000人の自転車乗りが死亡しており、数十万人が負傷している。合衆国における対応する値(1998年において)は、5220人の歩行者の死者(すべての交通事故死者の13%に相当する)および6900人の負傷者VRU14が発生した。この全交通事故死者に対する歩行者14.1の死者の割合は、国によって大きく異なっており、合衆国において13%であるが連合王国および日本においては28%と最も高い。従って、これらの死亡および負傷を減少させ、伴って発生する社会的コストも減少させるための道路使用弱者保護システム10への需要が存在している。
【0002】
道路使用弱者保護システム10には、メモリ20を含むか結合するかしており、例えば車両のバッテリー22.1のような動力源22により電源供給されるプロセッサ18と動作可能に結合したステレオビジョンシステム16が組み込まれている。ステレオビジョンシステム16の視界内に見えている場面24からの情報に応答して、プロセッサ18は一つまたは複数の協働する運転者警報デバイス28、VRU警報デバイス30、またはVRU保護デバイス32に対して、一つまたはそれ以上の次の方法で、一人または複数のVRU14の車両12との可能性のある衝突から保護するために、信号を発生する:
1)運転者34が衝突を避けるための回避動作をすることができるようにするために、運転者33に対し、音響的または視覚的警報シグナルにより音響的警報デバイス28.1または視覚的ディスプレイまたはランプ28.2によって十分なリードタイムを以って警報すること;
2)VRU14が停止するか回避動作をすることができるように、例えば車両の警音器30.1の吹鳴または前照灯30.2の点滅、という可聴的または可視的な警報信号によってVRUに警報を与えること;
3)もしVRUとの衝突が現実的になったならば、自動的にブレーキが掛かるように、ブレーキ制御装置34に送る信号26.1を発生させること;
4)もし衝突が不可避となったならば、衝突に先立って例えば外部エアバッグ32.1やエンジンフードアクチュエータ32.2のようなVRU保護デバイスを一つまたは複数動作させること。
【0003】
例えばエンジンフードアクチュエータ32.2は、エンジンフード35がVRUの衝突エネルギーを吸収するための距離を増加させるために、比較的抵抗しないフード35と連係動作をする。一態様においては、エンジンフードアクチュエータ32.2は花火装置型のアクチュエータを含み、他の態様においてはエンジンフードアクチュエータ32.2は液圧または電気アクチュエータを含み、後者は前者よりも相対的に動作するためにより長い時間がかかる――したがって相対的により早期の動作開始必要性の検出が必要である――が、有利なことに可逆的アクチュエータである。
【0004】
道路使用弱者保護システム10のブロックダイヤグラムが図3に示され、それに用いる道路弱者保護プロセス400が図4に示されている。図3および図4に示された道路使用弱者保護システム10の要素と道路使用弱者保護システムにおける動作が、ここに、図3および4ならびに他の図面を参照しつつ、要素ごとに、またステップごとに記載される。
【0005】
道路使用弱者保護システム10はVRU14を同定するために三次元物体認識を使用する。三次元物体認識の一つのアプローチは単眼鏡の画像強度分析をおこなうことである。一つの対象物の位置と方向は2次元的様相(画像から抽出した)と対象のモデルとのマッチングをとることによって推定される。しかしながら、対象物および/または状景が複雑であると、複合的な問題点が発生する。三次元物体認識のもう一つのアプローチは別々に検出した距離情報(range information)を対象物の三次元的様相の判定に用いることであるが、直接的な距離情報を得るためにはレーザー測距儀のような特別な装置が必要である。三次元物体認識への更にもう一つのアプローチは、ステレオビジョンシステム16から得られるステレオ強度画像から直接得られる3次元情報を再構築することである。撮影機とコンピュータは価格/性能閾値を越えたので、高価でないステレオ型の複数ベースライン視野システムが商業的に実現可能なものとなっており、コンピュータ視野画像応用機器のデフォルトの基礎設備となる潜在能力を有している。
【0006】
図3、4および5aを参照すると、一態様においてステレオビジョンシステム16は、ステップ(402)において、第1視点34.1および第2視点34.2を隔てるベースラインb距離だけ隔たった第一404および第二406ステレオイメージコンポーネントを取得する、少なくとも一つのステレオビジョンカメラ302を備えている。例えば、図2、5および6に示すように、第一302.1および第二302.2ステレオビジョンカメラが第一36.1および第二36.2レンズを有しており、それぞれ焦点距離fであって、第一36.1および第二36.2レンズの光軸間距離がベースラインbだけ隔たっている。それぞれのステレオビジョンカメラ302はピンホールカメラと想定され、第一404および第二406ステレオイメージコンポーネントは、同一平面上にある第一36.1および第二36.2レンズの焦点面40.1および40.2において電子的に記録される。第一302.1および第二302.2ステレオビジョンカメラには、例えば広域ダイナミックレンジを有する、焦点面CCD(charge coupled device)アレイ、付随する電子メモリおよび信号処理回路を備えた電子カメラが含まれる。
【0007】
対象物42が第一36.1および第二36.2レンズから距離rだけ隔たって置かれた場合、第一404および第二406ステレオイメージコンポーネントは、対応する第一34.1および第二34.2視点から撮像される。対象物42の特定の場所Pに対して、第一44.1および第二44.2のPの像が、対応する第一404および第二406ステレオイメージコンポーネント画像における第一46.1および第二46.2中心線から、第一ステレオイメージコンポーネント404(例えば左イメージ)については第一オフセットdlだけ、第二ステレオイメージコンポーネント406(例えば右イメージ)については第二オフセットdrだけ隔たったところに、ここにおいて第一dlおよび第二drオフセットはベースラインbおよび点Pが結像する面上であって、第一46.1および第二46.2センターラインから反対方向に、オフセットして結像する。第一オフセットdlと第二オフセットdrとの差はディスパリティ(disparity)dと称され、対象物42の距離rと次の方程式に従って直接関係する:
r=b・f/d, ここで、 d=dl−dr
図5(b)を参照すると、対象物42の高さHは、ピンホールカメラ38およびその結像幾何の仮定に基づき、対象物像48の高さhから求めることができる。
【0008】
図2および6を参照すると、一態様においては、第一302.1および第二302.2ステレオビジョンカメラは、車両12のウインドウシールド54を通して視界内に見えている場面24を見ることができるように、乗員室50の中、例えば後方視界ミラーの前に、実質的に水平なベースラインbに沿って位置する。もう一つの態様においては第一302.1’および第二302.2’のステレオビジョンカメラは車両の先端56に実質的に水平なベースラインbに沿って、例えば左58.1および右58.2ヘッドライトレンズの中またはその近傍にそれぞれ位置する。
【0009】
図7を参照すると、更にもう一つの態様においては、ステレオビジョンシステム16’は、互いに垂直方向に二つに分けられ、単一のカメラ60の視界の上部に対応して第一のステレオアパーチャ66.1から視界を見て、単一のカメラ60の視界の下部に対応して第二のステレオアパーチャ66.2から視界を見るようにしてあり、第一および第二ステレオアパーチャは、ベースライン距離bだけ隔たった第一視点64.1および第二視点64.2を与えるための、たとえば第一表面鏡のような複数の鏡62.1、62.2、62.3、62.4と協働する単一のカメラ60を備えている。単一のカメラ60の検出器68が正方形であれば、それぞれの対応する視界は、水平対垂直のアスペクト比が約2対1となり、このことは必要な視界が垂直方向よりも水平方向にずっと大きい道路使用弱者保護システム10にとって有利なことである。図7の態様では、単一カメラ60の視界は互いに実質的に直角をなし、ベースラインbに対しては45度をなす第一の鏡62.1および第3の鏡62.3によって上部視界と下部視界にそれぞれ分けられている。第一の鏡62.1は第三の鏡62.3の上に位置しており、相対的により大きい一番左の鏡62.2と協働して、単一のカメラ60の上部視界が第一の視点64.1(即ち左視点)からの第一ステレオイメージコンポーネント404を与えるようにされる。第三の鏡62.3は相対的により大きい一番右の第四の鏡62.4と協働して単一のカメラ60の下部視界が第二の視点64.2(即ち右視点)からの第二ステレオイメージコンポーネント406を与えるようにされる。
【0010】
図3によれば、自動利得制御(AGC)回路304が、例えば、ステレオビジョンカメラ302の視界中の太陽の故の比較的高い光レベルから、月のない夜の田舎道をドライブしているときの比較的低い光レベルまでであり、もっとも重要な悪影響としては、ステレオビジョンカメラが直接太陽を見た場合や、非常に明るい日に発生する、相当な数のカメラのピクセルが飽和してしまうという、予想されるシナリオのすべての範囲において、それぞれのステレオビジョンカメラからの出力レベルを比較的一定の値に保つために設けられる。
【0011】
図4および図8によれば、ステレオビジョンカメラ302の利得は、AGCプロセスのステップ(408)において、イメージ904の部分集合902の強度、例えばイメージ904の中央近くの3〜4個のピクセル列の強度、をモニタし、それに応答して全体のイメージ904の強度を制御するようにされる。例えば、一態様では、全体のイメージ904の強度はイメージ904の中心近傍のピクセル列部分集合902’の増幅率に応答して制御される。このアプローチは1)AGCプロセス(408)中の計算負荷を減らす、2)VRUが位置する可能性が最も確からしいイメージ904の中心部分の強度を最適化する、3)太陽は典型的にはイメージ904の上半分に含まれるであろうから、ステレオビジョンカメラ302の視界中の太陽の影響を減少させる、という点で有利である。第一ステレオイメージコンポーネント404または第二ステレオイメージコンポーネント406のどちらの特定のピクセルの信号レベルも、対応する第一ステレオビジョンカメラ302.1または第二ステレオビジョンカメラ302.2の露出時間および、対応する第一ステレオビジョンカメラ302.1または第二ステレオビジョンカメラ302.2の検出素子からの信号が増幅されて対応する第一ステレオイメージコンポーネント404または第二ステレオイメージコンポーネント406のピクセルの値を発生させるその増幅率に依存している。一態様においては、平均ピクセル振幅は、第一ステレオイメージコンポーネント404と第二ステレオイメージコンポーネント406のそれぞれのピクセル列の部分集合902’について算出される。この平均ピクセル振幅があらかじめ定めた最大平均振幅閾値よりも大きい場合、またはあらかじめ定めた最小ピクセル振幅よりも小さい場合は、平均ピクセル振幅が対応する最低および最高閾値の範囲内に収まる様にされ、第一302.1または第二302.2ステレオビジョンカメラのサチュレションが避けられるようにするために、露光時間または対応する第一ステレオビジョンカメラ302.1または第二ステレオビジョンカメラ302.2の対応する利得が調節される。
【0012】
図3、4および9を参照すると、ステップ(410)のステレオイメージ処理プロセスにおいて、ステレオビジョンプロセッサ306は、第一視点34.1および第二視点34.2のそれぞれのためのステレオビジョンカメラ302からのそれぞれのグレイスケール画像から、見えている場面24の距離マップイメージ412(距離イメージまたは不一致イメージ(disparity image)とも称される)を生成する。距離マップイメージ412はそれぞれのピクセルに、ステレオビジョンシステム16から対象物までの距離rを与える。その代わりに、またはそれに加えて、距離マップイメージ412は車両12に固定した対応する参照座標系による対象物の相対座標、例えばダウン距離(Z)、横距離(X)および高さ(Y)という対応する成分によるベクトルを与えても良い。
【0013】
もう一つの態様においては、ステレオイメージ処理プロセス410は、ステレオビジョンシステム16からの距離rに加えてステレオヒ゛ションシステム16に対する相対的な迎え角と方位角とをも与えるようにすることができる。例えば、ステレオビジョンプロセッサ306は、ここにおいて引用して取り込まれる、米国特許第6,456,737号に開示されているシステムおよび方法に従って動作しても良い。
【0014】
ステレオイメージングが、左と右の画像の組、即ち第一ステレオイメージコンポーネント404と第二ステレオイメージコンポーネント406の不一致dおよび比較的簡単な三角法計算を利用して、対象物の実空間における位置を再現することによって、単眼鏡視野システムにおける多数の制限を克服することができる。
【0015】
図9によれば、ステレオビジョンプロセッサ306の対応領域相関アルゴリズムにおいては、対応する領域の不一致dおよび対応する距離rを検出するために、第一ステレオイメージ404と第二ステレオイメージ406が突き合わされる。マッチする領域を探す作業量は、対応する第一ステレオビジョンカメラ302.1と第二ステレオビジョンカメラ302.2の対応する走査線に沿って対応する水平線(epipolar lines)を位置させるように入力イメージ(I)を修正することによって減少される。このことは、第一ステレオビジョンカメラ302.1と第二ステレオビジョンカメラ302.2をキャリブレートし、対応する入力イメージ(I)を歪めてレンズによる変形と、第一ステレオビジョンカメラ302.1と第二ステレオビジョンカメラ302.2の間の配列オフセットを取り除くことによってなされる。ある修正されたイメージ(C)に対して、マッチする領域の検索の数は、関心のある領域までの最小および最大の距離rによって最大数が規定される特定のオフセット(D)の数までに限る事が可能である。複数プロセッサや分担した計算を実施することによって、アルゴリズムの作動はスループットを向上させるためにパイプライン方式で実行可能である。最大の計算コストは、ピクセル数に不一致の数の積に比例するものであって、相関計算と最小値発見の実行において存在する。アルゴリズムは、領域の相関を取る際に使用するウインドウのサイズが演算コストに大きくは影響しない、演算対象領域の冗長性を利用したスライディング総和法(sliding sum method)を使用することができる。結果として得られる不一致マップ(M)は、さらに道路表面からの信号等の余分な対象を道路表面フィルタ(F)を用いて取り除くことによって、単純化することができる。
【0016】
ステレオイメージ処理プロセス(410)の距離分解能(Δr)は、次の式で表される、距離rの関数である。
Δr=(r2/(bf))Δd
距離分解能(Δr)は、或るステレオ配置における、認識可能な最小の距離rの変化量のことであり、不一致における最小の変化Δd(即ち不一致分解能Δd)に対応するものである。距離分解能(Δr)は、距離の二乗に比例して増加しベースラインb、および焦点距離fに逆比例するので、ベースラインb距離と焦点距離fを増加させること、および不一致分解能Δdの改善(減少)を意味するピクセルサイズを減少させることによって、改善(減少)する。
【0017】
図10aおよび図10bを参照して、ステレオビジョンシステム16の、距離rと視界の範囲の要請から境界パラメータを決めるために、単純なVRU14と車両12との間の力学プログラムがMATLAB(数値解析ソフトの名称)において適用された。遭遇配置(encounter geometry)の最悪のケースのシナリオが、必要なパラメータを決定する境界条件として選ばれた。このシナリオは、VRUが時速5マイルの一定速度で、車両12の速度ベクトルに直行する方向に車両の右方からバンパーの一番近い側の角に向かって歩行中/ジョギング中のもの(すべての車両12/歩行者14.1遭遇の90%以上に相当する)であって、衝撃点がエンジンフード35の右前となる位置で終了するものである(悪いシナリオは、車両12の左からものdのであって衝撃点がエンジンフード35の左側となる位置で終了するものも可能である)。これらのパラメータは時間の関数としての最大距離および最大の角度を与えるものである。
【0018】
これらのパラメータの時間変化の中には、バンパーに仕組まれた外部エアバッグ32.1の起動がなされる点が含まれる。これらについての予備的な結果の調査は、提案されたシステムがVRUを検出し認識することのできる最大距離が12フィートであったとすると、外部エアバッグ32.1または他のVRU保護装置32を作動させるに十分な時間が存在するための車両12の速度は時速40マイルを十分超える速度であることを示した。図10aおよび図10bは、パラメーターの解析についての図式的なまとめを示しており、車両のバンパー位置から、検出して意思決定するためのわずかな時間が存在する短距離の遭遇の境界位置を示している。
【0019】
図10aを参照すると、VRU保護デバイス32は概して作動に時間を要するので、そのための作動決定は衝突の発生する時点より十分前になされる必要性があり、それ故にVRU保護装置32が衝突に先立って作動することができるように、与えられた車両速度に対して、VRU14からの距離rが十分であるために必要な、作動決定地点がわかる。異なる動作時間を有する異なる種類のVRU保護デバイス32の場合は、有効に動作が開始されるべき距離も異なる。典型的な神経−筋肉反応は0.75〜1.5秒であるから、上記の条件であれば、衝突という遭遇の仕方が実現するのは実質的に確実であるといえるから、一つまたは複数のVRU保護デバイス32の自動起動が必要となる。
【0020】
図10bを参照すると、角度の要求条件が、最悪ケースの遭遇の配置をカバーするに十分なカメラの視界領域を規定している。比較的広い角度要求条件は、ステレオシステムによって補償することができないかもしれない光学的歪をもたらし、視界領域が水平方向に比較的広範囲となるので、或る大きさと距離の対象物が、より少ないピクセルにしか亘らないものとなってしまう。一般的に、車両12の速度が速ければ速いほど、それだけいっそう対応する角度要求条件は狭いものとなる。
【0021】
対象物は、反射率に依存して環境光の一部を反射するので、可視光/近赤外光撮像装置は見えている場面24のグレイスケール画像を供給できる。あいにく、グレイスケール画像の生データは処理するのが困難であり、リアルタイム認識/除外システムに利用するのは挑戦的事項である。一方、画像強度ヒストグラムデータは、十分に高度の情報内容を含み画像処理能力の要求は比較的低いものである。画像強度ヒストグラムデータは、それぞれの強度レベルを有するピクセルの数がどれだけあるかを表す指標である。
【0022】
しかしながら、対象物の実際の大きさと距離の指標も必要なのであるから、強度分布のみでは、VRU14と外の対象物とを適切に区別するためには十分でない。ステレオビジョンカメラ302は本来的に角度センサーであって、それぞれのピクセルがそのときの角度的視界(IFOV=angular field of view)を表している。対象物の表面質感の分布は距離rの変化に対しては不変であるが、距離rが減少してくるとそのサイズは大きくなる。ヒストグラム空間においては、ピクセルの数は対象物の大きさに依存する。したがって、もし通常の強度分布の十分なピクセル数があれば、そしてもしステレオビジョンシステム16からの角度情報が、対象物がある一つの角度範囲ゲートの中にあることを示していれば、潜在的VRU14は衝突範囲内において検出されるであろう。
【0023】
図11を参照すると、320x240ピクセルで視野角が40度x30度であって、乗員室50内に位置するステレオビジョンカメラ302による、ある特定の対象物、即ち6フィートの身長の歩行者14.1または3フィートの身長の歩行者14.1によって占められるピクセルのパーセンテージが、ステレオビジョンシステム16から歩行者14.1までの距離rの関数としてプロットされている。車両のバンパー68はステレオビジョンカメラ302の前方約5フィートに存在し、検出の確率が最も高く誤警報の確率が最も低い領域は、距離rが、ビジョンカメラ302から約20フィートである。比較的近い距離に対象物がステレオビジョンシステム16によって検出された場合に、人間および他の対象物がカメラの画像中に存在しているならば、最大の数のピクセルが表すものは環境または他の対象物であって、人間を表すピクセルの強度分布とは異なった分布を有するであろう。ステレオビジョンシステム16はそれぞれのピクセルについての距離データを提供し、興味のある領域以外のいかなる物体――背景自身も含むが――をも簡単に、排除および認識処理から除くことができる。
【0024】
図3および4を参照すると、ステップ(414)の距離フィルタリングプロセスに従って、距離フィルタ308はステレオビジョンプロセッサ306から生成された距離マップ画像412を受け、与えられた最大距離以上に離れた対象物、および与えられた最小距離よりも近い対象物を除外することによってバックグラウンドのクラッターを取り除き、それによりこのあとの対象物認識のためのプロセスを単純化することのできる、距離フィルタードイメージ416を生成する。図12bは、距離フィルタリングプロセス(414)により図12aに示されるグレイスケール画像から生成された距離フィルタードイメージ416の一例を示しており、ここにおいて距離フィルタ308は見えている画面24から遠距離対象物を除外している。例えば一態様においては、距離フィルタの最小および最大距離を、それぞれ6フィートおよび36フィートに設定している。
【0025】
ステップ(418)の道路表面フィルタリングプロセスに従って、道路表面フィルタ310は距離フィルタードイメージ416を処理して、そのようにしなかったならば車両12の経路上の「真の」対象物をセグメント化する作業を複雑化してしまう、多くの場合に距離データとして生成されてしまうだけの画像強度変化を生じさせる道路表面の不完全性、描かれたライン、縁石等が取り除かれたものとする。道路表面フィルタ310はこれらの「余分な」対象物を距離フィルタードイメージ416から取り除き、その後のイメージ処理のための道路表面フィルタードイメージ420を生成する。図12cは、図12aに示された見えている場面24の、図12bに示された距離フィルタードイメージ416から、道路表面フィルタリングプロセス(418)によって生成された道路表面フィルタードイメージ420の一例であり、道路表面フィルタ310は、距離フィルタードイメージ416に残っていた、最も目立った画像であった道路表面70の画像を十分に取り除いている。
【0026】
想定している、地球を平面とみなす配置においては、カメラに対しての対象物の高さは直ちに三次元空間データからステレオ計算で計算することができ、基地のカメラの配置(高さおよび迎角)と比較することができる。計測された道路からのカメラの高さから、例えば6インチの調節可能パラメータ分を減算した高さよりも低い位置にあるいかなるピクセルも、取り除いてよい。しかしながら、このやり方はいくつかの制御不可能で測定不可能な要素:迎角および地面からのカメラの高さは、激しいブレーキング/加速および/またはバンピーな道路表面、に対して敏感であり、それに加えて水平な道路表面という仮定は明らかに上り坂/下り坂および/またはバンクのついたカーブにおいては正しくない。これらの要素は、とりわけ遠距離から観察する道路表面については、成功裏にこのアプローチを実行することを困難にし、リアルタイムで車両12の態勢を確定するための追加的なセンサーおよび/またはプロセッシングを必要とするかもしれない。
【0027】
もう一つの様相に従えば、道路表面フィルタ310は車両12のリアルタイムな態勢の測定を必要としないで画像中の道路表面に対応するピクセルを決定し取り除く。図13を参照すると、図解する目的で、道路上に何も無い(即ち、点線で描いたような建物は無い状態)平らな道路を車両12が走行していくという理想的な条件において、道路表面からの反射についてのダウンレンジビン(down range bin)、即ちZ座標は、それぞれの焦点面列(FPA=focal plane array)内のそれぞれの個別のピクセルについて、カメラの高さ、仰角およびピクセルの視野(FOV)――これは誤差が無いかほとんど無いものが得られるものである――が与えられれば直ちに計算することができる。
【0028】
この理想的ケースにおいて、一つの焦点面列(FPA)におけるそれぞれのピクセルのそれぞれのレンジビン(range bin)は唯一つの反射を有している。有限の垂直高さを有する対象物がカメラの視野(FOV)に入ると、その対象物の遠近方向および横方向の距離に対応するレンジビンは一つ以上の反射を有することになるであろう:実際の数は対象物の高さおよびカメラからの距離に依存するものである。更に、道路がバンクを有したり、および/または傾いていたり(現実の世界における制限の範囲内で)すれば、道路からのダウンレンジビンに含まれる反射の数は一つのままであり、カメラの仰角と高さの推定における誤差は、最悪の場合(即ちプラスマイナス5度、およびプラスマイナス1フィート)にはビンのカウント値が1からゼロまたは2に変わってしまうかもしれない。
【0029】
従って、距離マップから道路表面からの反射を除外するために、2以下のカウントしかないビンに寄与するピクセルは、取り除くことができる。この技法は、垂直方向の広がりが例えば6インチ以下の対象物を、この垂直高さをカバーするであろうピクセルの数をその対象物の距離の関数として計算し、境界値ビンカウントをそれにしたがって調節することによって取り除くことに、直ちに拡張することができる。
【0030】
図14を参照すると、この道路フィルタリングプロセス1400は、ステップ(1402)でステレオビジョンシステムからステレオイメージデータ、より詳しく言えば、図15に示すように、少なくとも画像のそれぞれのピクセルのダウンレンジ推定値(Z)、を得ることによって開始する。ステレオイメージデータ即ち解析されるべきそれぞれのピクセルに対応するダウンレンジ(Z)、クロスレンジ(X)および高さ(Y)は、それぞれ、特定の道路使用弱者保護システム10についてあらかじめ定められる数字であるといえる、カメラ高さおよび仰角に依存するものである。ステップ(1402)においては、一つのビンカウントアレイは値ゼロに初期化される。図16を参照して、それぞれのゼロでないダウンレンジ推計値を有するピクセルについて、オプションのステップ(1406)および(1408)において、対応する処理要求を低下させておくために、最初にクロスレンジ(衝突不可避領域より外側の対象物)および高さ(あらかじめ定めた値を超える高さの対象物)に関してフィルタされる。ステップ(1401)から(1408)までの間に、それぞれの列のそれぞれのピクセルそして次に像についての列について、ビンカウント距離ヒストグラム列の対応するレンジビンが増加させられ、ここにおいてレンジビンはそのピクセルに伴うダウンレンジの推定値に相当する。この目的のためには、非線形のレンジビンをダウンレンジとクロスレンジの両方の測定のために使用するのとは異なり、ダウンレンジの推定値のみで十分である。このことは、精力的にテストを行い、それぞれの列のFPAをソートして比較した結果、クロスレンジの非線形性はほとんど改善とならないことが判明したことに基づいている。
【0031】
更に図17を参照して、ビンカウント距離ヒストグラム列においてすべてのピクセルが扱われた後に、ステップ(1420)から(1430)までの間で、それぞれの列のそれぞれのピクセルについて、そして次に画像のそれぞれの列について扱われ、もしあるピクセルについて対応するビンカウント距離ヒストグラムの要素が閾値すなわちThreshold(Z)に等しいかそれ以下である場合は、後者は距離に依存するので、そのピクセルについての対応する値――あらかじめ定めた閾値よりも低い高さ、例えば道路表面、についての値――はゼロにセットされる。
【0032】
図18a−cは道路の表面、ステレオ計算機(stereo engine)により生成されたそのダウンレンジマップおよび対応するステップ(1424)および(1426)の逆操作によって修正され、道路のみを含んだ画像を示す。従って、もし図18cにおいて残っているピクセルに対応するすべてのステレオ三次元空間データが除去されれば、距離マップは道路表面よりも上方に存在する三次元要素のみを含むこととなる。
【0033】
図19a−cによれば、道路フィルタリングプロセス1400が駐車中の車両12について行われるところを示すものであり、元となる距離マップは図19bに示され、修正結果の距離マップが図19cに示されている。
【0034】
衝突不可避領域は、車両12の経路空間が直接的に定義され、そこにおいては対象物に占有されると仮に最大の制動および操向操作が実行されても衝突が発生する。衝突可能領域は、仮に車両12の運動が変化することなく続いた場合に、対象物が想定された最大速度で車両12の経路に向かって移動すれば衝突が発生するような領域として定義される。衝突不可避領域は、衝突可能領域の部分集合である。
【0035】
ステップ(422)の衝突実現性フィルタリングプロセスに従えば、衝突実現性フィルタ312は、道路表面フィルタードイメージ420から、車両12と潜在的VRU14についての力学的および運動学的仮定の下で車両12との衝突が実現性無しであろうとされる対象物を、実質的に取り除く。衝突実現性フィルタ312は、車両12との衝突が実現可能である対象物のみを含む単純化拒理マップイメージ424を生成する。
【0036】
衝突実現性フィルタ310の一つの特徴に従えば、トラッキングされる対象物はそれらの速度に応じて除外される。衝突可能領域の形状は、車両12の速度に依存するものであり、一態様においては衝突可能領域の外にある対象物はトラッキングされない。もう一つの態様においては、道路表面フィルタ310がカーブの位置の検出もおこない、そのカーブの領域外の対象物もトラッキングされない。歩行者14.1および自転車乗り14.2は典型的には最大速度としてそれぞれ時速7マイルおよび14マイルを有し、車両12はそれらよりずっと高速であろう。衝突実現性フィルタ310は、道路表面フィルタードイメージ420から、VRU14の最高速度即ち時速14マイル以上の速度を有するいかなるトラッキングされた対象物――その対象物は必ずVRU14以外のものである――をも取り除き、後に続くVRU検出における移動対象物の数を大幅に減少させる。
【0037】
衝突実現性フィルタ310のもう一つの特徴に従えば、潜在的VRU14ターゲットは、ある速度と転回率を有する車両12との衝突に至るかもしれない方向に移動中のそれらVRU14が、ある速度――VRUの想定される最大速度までの――でも、車両12との衝突が予想されないならば、取り除かれる。図20を参照して、道路使用弱者保護システム10の検知領域72は、例えば一態様においては水平に40度の視野を有するという、ステレオビジョンシステム16の配置によって定まる。一態様においては、道路使用弱者保護システム10はVRUを車両12の前方36フィートまで検知し、VRU14のためにVRU保護装置32を車両12の前方10フィートまでの動作領域74において作動させるが、この距離は車両12の速度に応答するようにすることが可能である。一般的に、動作領域の最大距離は特定の運転者警告装置28、VRU警告装置30およびVRU保護装置32に依存するものであり、対応する動作距離または時間はOEMによって、または政府機関によって特定されるであろう。
【0038】
図21−23を参照して、検出領域72の中には実現不能領域76が存在し、その中ではVRU14は車両12と衝突するであろうことはできない。実現不能領域76の形と大きさは車両12の速度と旋回率とに依存する。図21は直線状を移動する車両12を表しており、対応する実現不能領域76は楔形で左右対称の実現不能領域76.1と76.2が検出領域72の左右の縁部に存在しているものである。検出領域72の実現不能領域76にはさまれた部分は関心領域78と呼ばれ、その中においてはVRU14が区別される必要がある。図22aと図22bを参照すると、車両の速度の増加に対して関心領域78.1の幅は減少し、実現不能領域76.1と76.2の幅は増加する。図23を参照して、旋回中の車両12に対して、対応する不可能領域76.3および76.4および対応する関心領域78.2の形状は車両12の予測される経路に従って決定される。
【0039】
ステップ(426)の対象物距離セグメンテーションプロセスに従って、対象物距離セグメンテーションプロセッサ314が、単純化距離マップイメージ424からの差分距離上方に応答して隣り合う対象物(静止していても運動中でも)を互いに分離し孤立させる。
【0040】
図24−26を参照すると、歩行中の歩行者14.1が静止している車両12からの距離を増加しつつあるところが撮像される。各図において、グレイスケールの最初の画像44.1(ステレオペアのうちの左画像)が上左に、対応する単純化距離マップイメージ424が上右に、対応する距離マップヒストグラム80が下半分に表示されている。距離マップヒストグラム80のx軸は距離rをフィートで表したものであり、距離マップヒストグラム80のy軸は、単純化距離マップイメージにおける特定の距離rにおけるピクセルの数である。レンジマップヒストグラム80は、単純化距離マップイメージ424における全てのピクセルについて、それぞれのレンジビンにおけるイメージピクセルの数を総和することによって作られている。一態様においては、全体の距離で65.5m(215フィート)分を提供するために、2の16乗のレンジビンが存在し、それぞれは1mmずつ離れているが、最大の実際的な距離(例えば一態様では150フィート)は、第一ステレオビジョンカメラ302.1および第二ステレオビジョンカメラ302.2の視野に依存し、それはイメージ空間における1ピクセル分の幅に相当する実空間における距離を決定する。
【0041】
図24はVRU14が車両12にもたれかかっているところを示し、ここにおいて2つの対象物の間には実質的に距離の差は無いのでVRU14と車両12は同一のレンジビンを占めている。図25は、VRU14が車両12から約6フィート離れて、衝突までの距離が約26フィートであるものを示している。図26は、VRU14が車両12から約8フィート離れて、衝突までの距離が約24フィートであるものを示している。両者の距離と衝突までの距離とは、レンジビンにおける中央値に対して測定されている。
【0042】
単純化距離マップイメージ424および対応する距離マップヒストグラム80は、リアルタイムでアップデートされる(例えば毎秒30フレーム)。距離マップヒストグラム80のみを使用して、予備的脅威調査が、場面中に存在する各対象物について、衝突までの距離、対象物の密度(ピクセル数)および距離範囲(最大距離のビンの距離と最小距離のビンの距離との差)に基づいて計算される。対象物の密度および距離範囲は、パターンに基づいた認識手法の必要なしに対象物の種類を判定する助けとなりうる。例えば、距離範囲が約4フィート以上であると、VRU14であると判定する可能性を低めるであろう。
【0043】
距離の差分に基づいてそれぞれの対象物を分離し孤立化すること(「セグメンテーション」)は、距離マップイメージの情報の質に従って、フレームごとに実行してもよいし、いくつかの逐次的画像フレームから導出してもよい。暗い状態や夜間という条件は、通常対象物の境界線において発生する、第一画像44.1と第二画像44.2(左右ステレオ画像ペア)とのグレイスケールの相違が無いことによる距離情報の喪失をもたらすことがある。
【0044】
例えば、図27a−cは、夜間に、時速約7マイルでVRU14に対してカメラが近づいていきながら撮影した、グレイスケール第一イメージ44.1の連続する3フレームを示し、左から右へ時間が経過している。図28a−cは、対応する3枚の単純化距離マップイメージ424を示す。それぞれの複数の(例えば3枚)連続する単純化距離マップイメージ424の組が、コンポジット距離マップイメージ(composite range map image)82を生成するために、主要コンポーネントアルゴリズムを用いて変換され、これによって複数の連続する単純化距離マップイメージ424における一意的差分が取り込まれ、また、例えば照明不足により失われたであろう対象物の像の領域が埋め合わされる。例えば図29は、図28a−cに示された連続する単純化距離マップイメージ424に対応する、コンポジット距離マップイメージ82を示す。複数の単純化距離マップイメージ424が変換された後に、次の連続する複数の単純化距離マップイメージ424が、主要コンポーネントアルゴリズムを用いて変換される。
【0045】
主要コンポーネントアルゴリズムは、一般に次のように動作するが、より詳細な説明は「Statistical Methods for Medical Investigations」 Brian S. Everitt、ISBN0−340−61431−5に記載されており、ここに引用して組み込まれる。
【0046】
L枚の連続した単純化距離マップイメージ424即ち単純化距離マップイメージアレイR1、R2、・・・RL、それぞれの単純化距離マップイメージアレイRiは、M行N列の距離ピクセルアレイを含み、それぞれの単純化距離マップイメージアレイR1、R2、・・・RLは、最初に対応するそれぞれの単純化距離マップイメージベクトルr1、r2、・・・rLに変換され、ここにおいてそれぞれの単純化距離マップイメージベクトルr1、r2、・・・rLは、順次対応する単純化距離マップイメージアレイRiの連続する行を結合して形成される。例えば、一態様ではL=3、M=228、N=308であり、それぞれの単純化距離マップイメージベクトルriの長さ(length)は、228x308=70224である。単純化距離マップイメージベクトルriの転置列ベクトルが集められて、アレイA=[r1T、r2T、・・・rLT]とされ、アレイAの対応するLxLのクロス相関マトリクスCが計算され、行列式 |C−λ・I|を解くことによって固有値λ1、λ2、・・・λLが決定され、ここにおいてIは固有マトリクスであり、|・・・|は行列式である。与えられた固有値λ1、λ2、・・・λLに対して対応する固有ベクトルがν1、ν2、・・・νLであるCは、方程式C・νi=λiを満たすものとして定められる。対応するLの主コンポーネントイメージPはP=S−1・A・S、ここにおいてS=[ν1T、ν2T、・・・νLT]、の式から見出される。Pの第一カラムベクトルp1TはMxNに逆変換され、関連する主コンポーネントイメージベクトルpiの最大の変化量を表すコンポジット距離マップイメージ82を作る。
【0047】
個々の単純化距離マップイメージ424またはコンポジット距離マップイメージ82のいずれかの距離マップヒストグラム80を計算するに先立って、密度が、例えば85以下のピクセルのクラスターは連結コンポーネント篩い分けフィルタを用いて取り除かれ、続いてオリジナルの16ビット距離スケールから10ビット距離スケールへの圧縮をするために、距離変換が単純化距離マップイメージ424またはコンポジット距離マップイメージ82に対して行われ、これは距離マップヒストグラムを計算する際に、空のまたは低密度のレンジビンが埋められる効果を有している。
【0048】
連結コンポーネント篩い分けフィルタは、特定の領域よりも小さい、即ち連結したピクセル数が特定の数より小さい領域を取り除く。これらの比較的小さい領域のクラスターは、距離マップ中においては、生成物(ジャンク)とみなすことができる。連結コンポーネントアルゴリズムは、それぞれのピクセルが直近の8個のピクセル――垂直、水平および斜め――と結合しているかどうかを決定し、結合ピクセルのグループを特定し、その後、それぞれの連結領域が特定の領域定数によって検査される。領域の制限条件より小さい連結領域は結果出力バッファ内において、ゼロにセットされる。図30は15列10行の距離マップイメージの例を示しておりピクセルのクラスターが4個の別々の距離に存在する:それらは7フィート、10フィート、19フィートおよび22フィートで、図30bは図30aの距離マップイメージに対し連結コンポーネント篩い分けフィルタを作用させた結果を示しており、連結コンポーネント篩い分けフィルタの領域の制限条件は5ピクセルである。4つの連結領域(1から4と番号を振ってある)と背景領域(0と番号を振ってある)とがあり、領域の制限条件として5ピクセルを設定すると、5ピクセルより少ない連結領域であるものに対応する距離データ――即ち図30bにおいては領域2および3である――は除外される、即ちゼロにセットされる。連結領域のピクセル数が、領域の制限条件以上であるものに対応する距離データ――即ち図30bにおいては領域1および4である――が、連結領域篩い分けフィルタを通過する。
【0049】
図31は距離変換前の最新の単純化距離マップイメージ424(即ち図29の右イメージ)の距離マップヒストグラム80を示し、図32は対応する距離変換後の同じ距離マップイメージ424のレンジマップヒストグラム80’である。距離変換は、実空間での距離を必ず保存する。これをフィートで示すとx軸上でゼロから36までである。
【0050】
対象距離セメンテーションプロセス(426)は2つの対象間の特性に依存している:1)対象物の距離は単純化距離マップイメージ424において高度に相関がある;2)対象物の一はグレイスケール初期イメージ44.1(即ちグレイスケールステレオイメージ対のうちの左イメージ)において高度に相関がある。
【0051】
対象物は、距離マップヒストグラム80、80’を調べることによって異なる距離に分離できるであろう。図33には、ステレオビジョンカメラ302の視野内における、VRU14の右方の背景部にあるゴミ箱と平行に分離した2つのVRU14の、グレイスケール初期イメージ44.1、対応する単純化距離マップイメージ424および対応する距離マップヒストグラム80’が示されている。距離マップヒストグラム80’を調べると、2つのVRU14は約18フィートである最初のレンジビンから約21フィートの最後のレンジビンまでを有するとわかる。ゴミ箱は約24フィートである最初のレンジビンから約27フィートである最後のレンジビンまでを有する。図34は、纏めおよび境界の明瞭化のためのいくつかの追加的な形態学的なフィルタリングのステップを経て図33から得られた、バイナリセグメンテーションイメージ84における境界に囲まれた(閉じた)領域内の「穴」は埋められ、小さな突起を取り去るためにバイナリセグメンテーションイメージ84から一つまたは複数の外側のピクセルを取り去るエロージョンフィルタ(erosion filter)によって境界がスムージングされた、最近接対象物即ち2つのVRUの、バイナリーセグメンテーションイメージ84を示している。バイナリセグメンテーションイメージ84は、グレイスケール初期イメージ44.1および単純化距離マップイメージ424におけるにおける対応する場所が非ゼロの値(通常は+1である)であるということが、その場所が適切なものであるということを示す、単なるバイナリの参照テーブルである。
【0052】
ステレオビジョンカメラ302の視野内で横に並んで、距離のずれが無視できるような、分離した対象物は、「逆インデックス」法を用いて個別分離可能であり、その際は、距離マップヒストグラム80’のそれぞれのビンに寄与を与えている、元となる単純化距離マップイメージ424における場所のリストが入っている記憶アレイが作られる。このリストは、一般にリバースインデクス(またはバックワードインデクス)リストと呼ばれるものであり、どの距離マップの要素がヒストグラムにおけるレンジビンに集積されているのかを、効果的に決定する。
【0053】
ステレオビジョンカメラ302の視界内で横に並んで、距離のずれが無視できるような、結合した対象物――即ち図33に示されるような――は、繰り返し法を用いて個別分離可能である。パターン認識の学習によって得た知識によれば、図34に示すバイナリセグメンテーションイメージ84の図形的特徴は、VRU14の種類に属するものの限界より大きいが、自転車乗り14.2または車両12の種類に確実に属するともいえない。学習の知識によれば、成人の歩行者の最適合矩形のアスペクト比(縦辺を横辺で除した商)は、11対5であるから、セグメントは分割して再分類することが可能であり、例えば、図35a−cは、11対5の比率を有する3種の異なる部分分割イメージ86と、結果として得られた最適合矩形88を図解している。
【0054】
これは「領域拡大法」とも称され、その場合、最適合矩形の縦辺がQ個に、例えばQ個の等しい長さに分割され、最適合矩形の特定の角にセグメントの角を合わせ、一番小さい分割部分から逐次Q個の分割をより大きいものへと増加させて、最適合矩形に重ねて比較し、セグメントの部分イメージ86が分離して種類分けされる。いずれかの結果としての部分イメージがVRU14と種類分けされれば、その部分イメージ86が道路使用弱者保護システム400のその後のステップにおいて対象となる。最適合矩形内の残りの部分も、部分イメージ86の処理結果に依存して、更に部分イメージ86を取り出した後に、対象とされるかもしれない。
【0055】
例えば、図35a−cにおいては、全体の最適合矩形88は部分矩形90によって分割され、11対5の比率(縦対横)を保って大きくされる。11対5の比は歩行者について有効であると判明したが、他の比がその後の学習の結果他の重要な対象物について有効であると判明するであろう。図35a−cに示す態様においては、Qの値は4であり、図35a−cが示す部分矩形90は、最適合矩形88の半分、4分の3および全部の高さを有しており、部分矩形90は右下の角を最適合矩形88のそれに合わせている。もう一つの態様においては、合わせる場所は左下の角であり、それは車両12に最も近い対象物についてより速い判別が行われるから、一般に車両12の右側に位置する対象物について有利である。例えば、仮に合わせる位置が、図35a−cに示される例の場合に左下であると、多分子供のVRU14が最初に図35aに示される部分図形86から判別されたであろう。
【0056】
対象距離セグメンテーションプロセス(426)は一組の対象物428即ちバイナリセグメンテーションイメージ84または部分イメージ86を、単純化距離マップイメージ424またはコンポジット距離マップイメージ82から抽出する。図3および4を参照して、ステップ(430)においては、最も近い対象物428が選択され、ステップ(432)においては、ハーモニックプロファイル抽出器(harmonic profile extractor)316が、対象物の形を二値化重心(binary center−of−mass)からの距離と角度の関数としてパラメータ化するために、距離に依存しないハーモニック形状デスクリプタ(harmonic shape descriptor)が用いられる。ハーモニック形状デスクリプタはそれぞれの対象物の種類ごとの細かい構造を内包するものであり、例えば:自転車のタイヤや歩行者14.1の頭や足といった構造である。ハーモニックは、従来の図形的なデスクリプタ(最適合楕円、最適合矩形)よりもより強力なものである。太陽光、影または部分閉塞に起因する中小規模の誤りは、ハーモニックプロファイルを局地的に歪ませる。これらの誤りは中央移動平均フィルタを用いて除去または減少される。対象物428のハーモニックプロファイルは、対象物の二値化重心(図36における「+」の記号)から、外側に向かって最後のアクティブなピクセルに至るまで、メモリー中を順次検索していくことによって決定される。検索は時計回りに行われ、対応する最適合矩形の境界線までに制限される。このハーモニックプロファイル抽出プロセス(432)は、図36に示されており、ハーモニックプロファイルは自転車乗り14.2対象物428について、36本の等角度に間隔をあけた「スポーク」によって決定されている。
【0057】
図37a−eは、5個の異なった対象物についてのグレイスケール画像と対応するハーモニックプロファイルを示しており、左から右に次のとおりであり、これらが生成される元になったそれぞれのグレイスケール画像がハーモニックプロファイル92の上に示されている:自転車乗り14.2(図37a)、ゴミ箱(図37b)、犬(図37c)、車両12(図37d)および歩行者14.1(図37e)である。図37fは図37a−eからのハーモニックプロファイル92の相互の相関についての、相互相関マトリクスを示し、これらからハーモニックプロファイル92が、種類の間の独自性を表すことがわかり、それによって自転車乗り14.2、歩行者14.1および車両12の認識と区別ができることがわかる。
【0058】
ハーモニックプロファイルの距離非依存性は図38a−iに示されている。図38aおよび38eは、比較的近い位置に居る自転車乗り14.2の、グレイスケール画像と対応するハーモニックプロファイルである。図38bおよび図38fは、比較的遠いところに居る、自転車乗り14.2の、グレイスケール画像と対応するハーモニックプロファイルである。図38cおよび38gは、比較的近い位置に居る歩行者14.1の、グレイスケール画像と対応するハーモニックプロファイルである。図38dおよび図38hは、比較的遠いところに居る、歩行者14.1の、グレイスケール画像と対応するハーモニックプロファイルである。図38iは図37d−hのハーモニックプロファイルについての相互相関マトリクスであり、これらは同じ対象物のハーモニックプロファイル92が、距離によらず比較的強い相関があることを示し、異なった対象対象物については比較的弱い相関があることを示している。
【0059】
ハーモニックプロファイルモデル94は判別すべきいろいろな種類のVRU14について、記憶されている。例えば、一態様においては、次の3種類のVRU14が判別される:自転車乗り14.2、静止している歩行者または中位の歩幅で歩行中の歩行者14.1’および最大歩幅で歩行中の歩行者14.1’’。VRUのそれぞれの種類について、そして距離rを1フィートずつ増加して7フィートから31フィートまでのハーモニックプロファイル92が、中位の歩幅の歩行者14.1’についておよび最大歩幅の歩行者14.1’’について、それぞれ図39および図40に白色で示されるように、例えば2度の間隔で、約300の異なった条件について収集された。自転車乗り14.2および静止しているまたは中位の歩幅のハーモニックプロファイル92が、図39の例では、黒で示されるフィルタードハーモニックプロファイル96を生成するために、19エレメントのセントラルムービングアベレッジフィルタによってフィルタされる。図40の例では黒で示される、対応するフィルタードハーモニックプロファイル96を生成するために、最大歩幅で歩行中の歩行者14.1’’のハーモニックプロファイル92は7エレメントのセントラルムービングアベレッジフィルタによってフィルタされる。更にその上、フィルタードハーモニックプロファイル96の「尻尾」は、338度から22度までの間即ち図40に表示された矢印の外側で、「切り落とされる」。最大歩幅で歩行中の歩行者の脚の特徴による40度から140度の間にある2つの山を過度にフィルタしないようにするために、最大歩幅で歩行中の歩行者14.1のハーモニックプロファイル92をフィルタするのには7エレメントのムービングアベレッジフィルタが使用される。結果としてのハーモニックプロファイルモデル94は、対応するハーモニックプロファイル96を例えばフィルタードハーモニックプロファイル96のそれぞれの角度位置における中央値、即ち図39および図40において太線で示される曲線を当てはめることによって得られる。
【0060】
ハーモニックプロファイル92、94、96は、対象物の形を、半径方向距離を角度の関数として表すことによってパラメータ化し、各対象物の種類についての比較的細かい構造を、比較的少ないデータポイント数で表すことを提供する。太陽光、影または閉塞――例えば道路表面フィルタ310による――により引き起こされる、セグメンテーションにおける比較的小さな誤りは、ハーモニックプロファイルを局所的に歪ませるかもしれないものであるが、セントラル移動平均フィルタを使用することによって除去または減少させられるであろう。
【0061】
図41aおよび41b、42aおよび42b、43aおよび43bを参照すると、ハーモニックプロファイルモデル94は元のトレーニングイメージとその鏡像イメージについてそれぞれ定められ、例が自転車乗り14.2、静止している歩行者または中位の歩幅で歩行中数rの歩行者14,1’および最大歩幅で歩行中の歩行者14.1’’に示される。
【0062】
図44は、最大歩幅で歩行中の歩行者14.1’’の、距離が7フィートから32フィートまでの1フィード毎のハーモニックプロファイルモデル94である。
【0063】
セントラルムービングアベレージフィルタ長さは、例えば19エレメントや7エレメントであるが、同一種類対象物内でのハーモニックプロファイルモデル94――すなわち、VRU14の一つの種類についての異なった距離rにおけるハーモニックプロファイルモデル――の相互相関が相対的に高く、例えば0.9以上になるように、調整される。
【0064】
二値化セグメンテーションイメージ84またはサブセクションイメージ86のハーモニックプロファイル92が、19エレメントのセントラルアベレージフィルタでフィルタされ、自転車乗り14.2、および静止しているまたは中位の歩幅で歩行中の歩行者14.1’についての記憶してあるハーモニックプロファイルモデルとの相関がとられ、また、ハーモニックプロファイル92は7エレメントのセントラルアベレージフィルタでフィルタされ、最大歩幅で歩行中の歩行者14.2’’についての記憶してあるハーモニックプロファイルモデルとの相関が取られる。対応する記憶についての最大の相関値が、ハーモニックプロファイル92がどの特定のハーモニックプロファイルモデル94とマッチするのか、および対象物の種類と距離rがいかなるものであるのかを知るために用いられる。
【0065】
ステップ(430)に従って、ステップ(432)の前に、判定された対象物428について数学的および形状的デスクリプタが計算される。これらのデスクリプタはその対象物428を簡潔に表すものであり、多くのサイズのVRUおよび自転車乗り14.2の種類を決定するのに適用されるものである。最良のデスクリプタは、同一の種類はひとまとめにし、異なった種類の間は区別し、画像平面上での位置や回転や大きさには影響を受けない。そのような2種類のデスクリプタとして、最適合矩形のアスペクト比と、最適合楕円の角度方向とが、約700の自転車乗り14.2、静止している歩行者14.1および歩行中の歩行者14.1について、図45aおよび図45bにそれぞれプロットして示されている。それぞれの中央値が、それぞれの種類について示されている。最適合矩形および最適合楕円は、矩形および楕円をそれぞれ二値化セグメンテーションイメージ84または対象距離セグメンテーションプロセッサ314によって決定されたサブセクションイメージ86と重ね合わせ(fit)て決められる。
【0066】
一般的に、結合した対象物の形状ディスクリプタは、結合が解かれたそれぞれの対象物のそれとは大変異なるものである。図46bは、図46aに示される場面についての、最適合矩形および最適合楕円――それぞれ値1.480および1.262を有する――を示している。図47は、同じデスクリプタ――それぞれ値2.425および1.633を有する――を分離後の最大の対象物について計算したものを示している。最大の分離した対象物は、学習した値の組のうち歩行者の種類(「Ped1」)に密接にマッチしており、このことは、最適合矩形および最適合楕円デスクリプタの、VRU識別における有効性を確認するものである。
【0067】
図3および4を参照して、ステップ(438)においては、フィーチャーベクトルプロセッサ320が、12要素のフィーチャーベクトル440の各要素の値を次のように定める:
1.セグメント化領域の大きさ
2.カメラ焦点面アレイのセグメント化領域の二値化重心を含む行
3.カメラ焦点面アレイのセグメント化領域の二値化重心を含む列
4.対象物の垂直方向の量
5.対象物の水平方向の量
6.最適合矩形のアスペクト比
7.最適合矩形の充填率(即ち、セグメントが存在している部分の割合)
8.最適合楕円の主軸の垂直線に対する角度
9.最適合楕円の主軸と副軸の比
10.19エレメントのセントラルムービングアベレージフィルタを記憶したハーモニックプロファイルについて実行した結果の最高相関
11.7エレメントのセントラルムービングアベレージフィルタを記憶したハーモニックプロファイルについて実行した結果の最高相関
12.最適合矩形の下半分における最大水平部分の量
【0068】
図3および4を参照して、ステップ(442)においては、フィーチャーベクトルが対象物認識プロセッサ322に入力され、その出力は対象物428がVRU14である確率P444である。図48および49を参照して、一態様においては、対象物認識プロセッサ322は一つのインクルーシブニューラルネットワーク98と、それぞれの対象物の種類について一つずつである複数のエクスクルーシブニューラルネットワーク100および対応する規則ベースの決定プロセス(rule−based decision process)を含んでおり、これらはプライマリーな種類についての何千もの写真についての学習を通じて習得したナレッジベースを用いて学習が行われるものである。パターンマッチングが成功するのは、未修得の対象物のフィーチャーが習得済みの対象物と強く一致する場合である。
【0069】
図48を参照して、インクルーシブニューラルネットワーク98は、VRU14および車両12を認識するために使用され、他の種類の対象物から一意的に異なるパターンを発見するとともに、同じ種類のもののなかでの他の対象物と区別できるパターンを発見する。このネットワークは、すべての種類についての性質を考慮するように訓練される。インクルーシブニューラルネットワーク98は、学習をしているそれぞれの種類――およびどれにも属さない種類――に対応する出力を発生する。例えば、3つの種類を有する態様は次の様である:自転車乗り14.2、静止している歩行者または中位の歩幅で歩行中の歩行者14.1’および最大歩幅で歩行中または走行中の歩行者14.1’’であり、インクルーシブニューラルネットワーク98は4つの出力Y1,Y2,Y3およびY4を有し、これらはインクルーシブニューラルネットワーク98に入力された特定のフィーチャーベクトル440に対応する対象物が、それぞれの種類である確率を示すものである。
【0070】
図49を参照して、エクスクルーシブニューラルネットワーク100は学習セットの中の3種の特定の種類のVRUについて認識するために用いられる:自転車乗り14.2、静止または中位の歩幅で歩行中の歩行者14.1’および最大歩幅で歩行中または走行中の歩行者14.1’’である。エクスクルーシブネットワークは自己相似的(self−similar)であり、特定の種類についてのフィーチャーベクトル440を、特定の種類の多くのベクトル中から認識できるものであり、他の種類のものがいかなるものであるのかは問わない。エクスクルーシブニューラルネットワーク100はVRU14のそれぞれの種類について一つ設けられ、それぞれのエクスクルーシブニューラルネットワーク100は、2個の出力y1およびy2を有しており、それぞれフィーチャーベクトル440を伴う対象物が、そのエクスクルーシブニューラルネットワーク100が基礎をおく種類のものであることの確からしさ、およびそうでないことの確からしさ、の指標を与えるものである。
【0071】
図48および49に示されるインクルーシブ98、およびエクスクルーシブ100ニューラルネットワークにおいては、値Xは入力フィーチャー、即ちフィーチャーベクトル440の要素(上記リスト中の要素10および要素11は除く)を表し;
最初の列のニューロンは出力hを有する隠れたレイヤー(hidden layer)と呼ばれ;
第二の列のニューロンは出力zを有する第二の隠れたレイヤーと呼ばれ、
最後の列のニューロンは出力yを有する出力レイヤーと呼ばれる。
u、vおよびwはそれぞれのノードの入力の重み付け値を表す。ニューラルネットワークの訓練の目的は、計算をしたフィーチャーが正しい出力値を示すようなこれらの重み付け値はいくつであるかを決定することである。インクルーシブ98およびエクスクルーシブ100ニューラルネットワークは、望ましい出力結果が特定されている多くの入力データを集め、このデータを対応するインクルーシブ98およびエクスクルーシブ100ニューラルネットワークにランさせ訓練される。新しい入力が適用されるたびに、全てのデータのセットに対しても非常に小さな誤差しか生じなくなるまで、重み付け値は修正される。
【0072】
インクルーシブニューラルネットワーク98およびエクスクルーシブニューラルネットワーク100の訓練の操作は次のようにまとめられる:
出力レイヤーに与えられる重み
【数1】
第二の隠れたレイヤーに与えられる重み
【数2】
第一の隠れたレイヤーに与えられる重み
【数3】
ρはトレーニングレートと呼ばれ、誤差関数が極小になるまでにどれだけ多くのステップが取られたかを表す。
αはモメンタムと呼ばれ、訓練の収束速度を増すための、前回の重みの変化に乗算されるものである。
【0073】
衝突可能空間(Collision Possible Space)に入ってくる対象物428の種類分けは、数学的、幾何学的およびハーモニック形状デスクリプタを用いる訓練可能なパターン認識システムを用いて行われる。このシステムに対しては、あらかじめ定めた種類の多数のサンプルに接することで習得したナレッジベースを用いて、可能性のある種類の選別をするように教育される。訓練セットは何千ものそれぞれの基本的種類についての画像が含まれている。成功裏のパターンマッチングは、訓練していない対象物についてのデスクリプタが、訓練済みの対象物のデスクリプタと良い一致をするときに生じる。そのアルゴリズムは、既存の種類についての特性とはっきり異なる特性を有するならば他の種類についての認識にも拡張可能である。規則ベースのシステムを、このパターン認識システムを補うために追加してもよく、そこにおいて規則は例外なしに、或る種類の中での全ての変形についても適用可能なように設計される。規則は、特定の種類を除外する、または含む、という形で設定されてもよい。
【0074】
一態様においては、ひとつの対象物はつぎのように種類判別される:
もしインクルーシブニューラルネットワーク98の出力が、車両という種類について0.80以上であれば、その対象物は車両12と種類分けされ;
そうでなければ、
もしインクルーシブニューラルネットワーク98の出力が、VRUという種類について0.9以上であれば、その対象物はVRU14と種類分けされ;
そうでなければ、
もしインクルーシブニューラルネットワーク98の出力が、VRUという種類であって、同じ種類のVRU14について、エクスクルーシブニューラルネットワーク100の出力と、ハーモニックプロファイルモデル94との相関が共に0.8以上であるならば、その対象物をVRU14と種類分けされ;
そうでなければ、
もしエクスクルーシブニューラルネットワーク100の出力またはハーモニックプロファイルモデル94との相関のどちらかが0.95以上であるならば、対象物をVRU14と種類分けされ;
そうでなければ、
対象物を種類分けしない。
【0075】
規則ベースは、全ての種類について当てはまる観測結果についてのものである。もしこの規則に合致しないのであれば、問題となっているその対象物は、その種類のものではない。例えば、Xフィート離れた位置にいる歩行者の垂直の大きさ(最適合矩形の縦)はYピクセルより大きいことはあり得ない。Xフィートの距離にある(未だ種類分けされていない)対象物がY+k(k>0)の縦方向大きさであるならば、その対象物は歩行者の種類に属するものではない。「誤警報」(保護デバイスの誤った作動)を排除するための規則ベースは、VRUの異なった複数の種類について開発される。
【0076】
例えば図50、51および52を参照すると、縦の大きさ、水平の大きさおよび最適合矩形88の下方境界フィーチャーが訓練セットに含まれる全てのVRU14の種類についてそれぞれモデル化される。最適合矩形88の縦の大きさのモデルは、訓練セットに含まれる全てのVRU14の上限と下限を表すものである。最適合矩形88の水平の大きさのモデルは、訓練セットに含まれる全てのVRU14の下限を表すものである。最適合矩形88の下方境界のモデルは、訓練セットに含まれる全てのVRU14の上限と下限を表すものである。
【0077】
これらのモデルは、VRU14の誤った肯定的検出、例えばごみ缶、街路灯支柱、覆いかかる木の枝などにあたるもの、を排除するためのものである。この反「誤警報」は、検出された危険が、訓練したVRU14パラメーターの範囲外である時に発動される。例えば、或るケースでは、約39フィートのところにあると検出された街路灯ポールは当初は静止している歩行者と種類分けされるが、最適合矩形の縦の大きさは132ピクセルであり、この距離における最大モデル値が69ピクセルであるので、VRU14であるとの種類分けは排除される。それぞれのモデルについて、最適合矩形88のある特性がモデルの閾値を越えると、VRUであるとの種類分けは排除される。
【0078】
もし、ステップ(446)において、確率P444が対応するVRU識別閾値P*324よりの大きくない場合には、ステップ(448)において、対象距離セグメンテーションプロセッサ314により識別されたもののうち、次に近い対象物428が選択され、ステップ(432)によるプロセスが再び行われる。
【0079】
そうでない場合は、ステップ(450)において、対象物トラッカ326が対象物認識プロセッサ322によってVRUであると識別された対象物428をトラッキングする。ひとたびVRUが識別されると、そのVRUに対応するひとつのトラックファイルが対象物トラッカによって作られる。そのトラックファイルの出力には、集積認識確実度(accumulated confidence of recognition)、VRU14の重心の距離および横方向位置の履歴、発火までの推定時間(time−to−fire)および衝撃までの推定時間が含まれる。対象物トラッカ326は、衝突可能領域にいまだ進入していないが既に潜在的脅威であると種類分けされている、ステレオビジョンカメラ302の視界内に存在する全ての対象物428についての情報を維持管理(メンテナンス)する。トラッキングされる対象物428についての、直近10秒間の一意的につけられたトラッキングID、種類分けコード、衝突までの距離、重心および縦方向の大きさがリニアバッファの中に維持管理される。P次の自動減算モデル(Pth order autoregressive model)が、この情報を対象物428の将来の位置を予測するために使用する。トラックファイルはまた、例えば歩行者14.1が屈んだり転倒したりするような、対象物の一時的な動作をトラッキングすることによって、限定的な「状況の認識」能力を提供する。
【0080】
トラックファイルは、リニアバッファの中に、最も最近識別された対象物の情報(特性および種類分け)を維持管理する。対象物は、衝撃までの距離に基づいて昇順でソートされる。このことは、最も重要な脅威(自身の車両に対して最も近い)について活発に維持管理されることを保障する。新しく種類分けされた対象物は既にトラックファイルに存在するものとの相関がとられる。そしてトラックファイルレコードはしかるべくアップデートされる。トラックファイルの中の情報は、限られた状況認識を与えるものである。例えば、或る特定のVRU14が、衝突までの距離に殆ど変化がなく、フレームが変わっても維持されることは、図53に示されるように、自身の車両がこのVRU14を追尾している状態にあるということを意味している。
【0081】
ステップ(452)において、発火までの時間プロセッサ328が、車両12はVRU14と衝突するかどうか、そしてもしそうなら衝突が発生するであろう時までに残された時間を推定する。もしステップ(454)において衝突が予想され、残り時間が十分ある(即ち、発火までの時間(TTF)は対応する発火までの時間閾値(TTF*)よりも短い)ならば、ステップ(456)において、運転者警告装置28またはVRU警告装置30が運転者33および/またはVRU14に警告を与えるために起動され、ブレーキ制御システム34に対し車両ブレーキシステム102を動作させるために信号が与えられ、または、VRU14の性質に応じて、衝突により発生するVRUの負傷を緩和するために、一つまたは複数の外部エアバッグ32.1やボンネットアクチュエータ32.2等のVRU保護装置32が作動される。
【0082】
たとえば、推定された発火までの時間(TTF)が道路使用弱者保護システム10のサイクルタイムより短い(即ち30ミリ秒以下)時には、VRU14を保護するために外部エアバッグ32.1を膨張させるに必要な適時に、信号26が発生される。道路使用弱者保護システム10は、歩行者14.1および他のVRU14を衝撃に先立って検出し識別し、また、一態様においては、VRU14との衝突がありうるときに運転者33および/またはVRU14に対し警告を行い、VRU14との衝突が多分起きるときにブレーキ作動を開始させ、そしてVRU14との衝突が確実なときに外部エアバッグ32.1またはボンネットアクチュエータ32.2の動作させる信号を起動させる。もし、ステップ(454)の後に、衝突が予想されないとき、または運転者警告装置28、VRU警告装置30、ブレーキ制御装置34、VRU保護装置32の次の作動までの時間または次のステップ(456)のための時間としては不十分なときには、プロセスはステップ(458)で次の画像フレームに進んで、ステップ(402)からプロセスを再開する。
【0083】
IBMT30(1.8GHzのP4と512MBのRAM)によるタイミングテストでは、郎路使用弱者保護システム10は、画像サイズが308x228ピクセルのもので、毎秒39から44回の知るインクルーシブニューラルネットワーク識別ができることがわかった。
【0084】
上記したそれぞれ独立のニューラルネットワーク:インクルーシブ、エクスクルーシブおよびハーモニックは、上記した道路使用弱者(VRU)の認識において一意的に認識判定に寄与するという基本的な強力さを有している一方、これらのネットワークの出力の普通の解釈は時に主観的で不正確なものとなる。しかしながら、これに変わる態様――それは4クラス統合ネットワーク(4−class consolidated network)(4ccネットワーク(4cc network))と呼ぶことができる――によれば、インクルーシブ、エクスクルーシブおよびハーモニックネットワークの出力は、3種類のVRU:自転車乗り、静止した歩行者および歩いている/走っている歩行者、のそれぞれについての、単一の、あいまいさのない種類分けの統計値を与えるために統合される。
【0085】
4ccネットワークは、元となる複数のニューラルネットワークを統合するための訓練した一つのニューラルネットワークを使用する。学習プロセスは、インクルーシブ、エクススルーシブおよびハーモニックの各ネットワークが3種類のVRUそれぞれに対して寄与する率の重み付けの最適値を決定するために用いられる。そのプロセスは、学習用セット(種類分けが既にされている、22000枚の画像)を多数のレベルのサポート(support)――この用語は、関係ない種類同士の分離および関係のある種類同士のグループ化の定量的指標を意味する用語として使用される――において、繰り返し行うことが要求される。この決定された重み付けは、ネットワークの出力を信頼性高く、正しい割合で統合し、図54の3階層プロセスに導く。階層は、種類間サポートおよび種類内サポートの増加する指標を表している。
【0086】
4ccネットワークの階層1は、種類分け統計の10要素ベクトルを、4要素のフィーチャーベクトル入力に再構成(reorder)し、小型車、自転車乗り、静止した歩行者および歩行中の歩行者についての単一の種類分け統計を返す。4ccネットワークの階層2は、静止した歩行者と歩行中の歩行者を単一の歩行者種類分け統計に統合する。4ccネットワークの階層3は自転車乗りと歩行者とを単一のVRU種類分け統計に統合する。この階層はオプションである。
【0087】
4ccネットワークにより返された5要素ベクトルが、元となる10要素ベクトルと共に図55に示される。
統合種類ベクトルおよび分離種類ベクトルの両者におけるデテクションフラグ(detection flag)NetStat[1]は、種類分けができなかった検出についてフィードバックを与えるためのものである。検出した対象物が自己の車両から約48フィート以内の距離にあり、いずれの学習した種類分けにも類似していない場合には、デテクションフラグは値1.0とされる。検出した対象物が自己の車両から約48フィート以内の距離にあり、学習したVRUの種類分けとのみ類似していない場合、デテクションフラグは、VRU誤警報コンフィデンスの値とされる。これは先ほどは反「誤警報」と称していたものである。これらのどちらの場合も、結合した領域に基づく潜在的脅威を呈している未認識の対象物の存在を表示している。検出された対象物が、自身の車両から約48フィートよりも遠いところにある場合、デテクションフラグは値1.0とされる。拡大距離対象物は形状特性が不十分にしか存在しないので種類分けされない。
【0088】
統合種類分け統計の小型車(Cvehi)は、小型車(ホンダアコードおよびボルボS40)の後方で軸から外れた位置からの画像で学習がなされる。統合種類分け統計の自転車乗り(VruB)は視野(FOV)の横を通る自転車乗りで学習がなされる。統合種類分け統計の歩行者(VruP)は、静止したおよび歩行中の歩行者が、小さな物体を運んでいるところによって学習がなされる。この種類については、接近してくる自転車乗りおよび離れ去る自転車乗りを含むように学習がなされる。
【0089】
図56に描かれた場面は、馴染みのグループ5のテストシークエンスを示し、ここにおいて、上のログは分離の種類分け統計であり、下のログは統合化種類分け統計である。
【0090】
図57を参照すると、4ccネットワーク種類分けコンフィデンスの値が10%の幅でプロットされている。5688枚の自転車乗りの種類の学習画像に対して、5514(97%)が、0.90以上のコンフィデンス値を示している。10316枚の静止した歩行者の種類の学習画像について、9611(93%)が、0.90以上のコンフィデンス値を示している。2738枚の歩行中の歩行者の種類の学習画像について、2715(99%)が0.90以上のコンフィデンス値をしめしている。
4ccネットワークのテストにおいては、22000枚の学習画像に対して、高いパーセンテージの高いコンフィデンス値を示すそれぞれのVRU種類についての検出を示した。
【0091】
図57の自転車乗りの濃度プロットのCvehiの列から判るように、5688枚の自転車乗りの種類の学習画像に対して、9(0.15%)の小型車と誤った種類分けがなされた。数字としては大きなものではないが、この種類のエラーは保護装置の不作動という最も酷い結果を潜在的に含むものである。しかしながら、図57に見られるこの高いコンフィデンス値を示した9個の自転車乗り種類分けエラーのそれぞれは、距離マップにおける異常に起因している。それぞれの場合で、頭部または上半身が、自転車乗りの下の部分から分離されているか失われているものであった。セグメンテーションアルゴリズムは分離した部分を検出していたが、それは寸法不足か別体の対象物と分類されたかのいずれかにより、捨てられていた。図58にこの9個のケースのうちの一つの例を示すが、分離した頭部がセグメンテーションの境界線を変化させ、そして種類分けプロセスの質を落としたものである。また、タイヤの間の空間が充填され、ハーモニックネットワークで必要とされる2個の山がなくされているのも見ることができる。
【0092】
図59を参照すると、群集2の20フレームの連続場面を使用した時間テストは、毎秒139回の種類分けを実行し、64ビットモードでHPxw4100(P4、2.8GHz、1GBRAM)を用いてテストした際に、先の態様の毎秒124と比較して12%の改善を示したことになる。
【0093】
特定の態様が詳細に説明されたが、この分野の通常の知識を有する者にとっては、これら詳細からの多数の変形または代替物がこの開示全体の教示に照らして開発可能であろう。したがって、開示された特定の態様は、説明の目的のみであって、発明の範囲を限定するものではなく、発明の範囲は付随する請求項およびその全ての均等物の完全な範囲について与えられるべきものである。
【図面の簡単な説明】
【0094】
【図1】複数の道路使用弱者(VRU)に直面した車両の立面図およびその車両に道路使用弱者を保護するシステムを適用した状態のブロックダイヤグラムである。
【図2】車両の平面図およびその道路使用弱者保護システムのブロックダイヤグラムである。
【図3】道路使用弱者保護システムのブロックダイヤグラムである。
【図4】道路使用弱者保護システムのプロセスのフローチャートである。
【図5a】ステレオビジョンシステムの配置の図解を示す図である。
【特許請求の範囲】
【請求項1】
道路使用弱者を識別する方法であって、
a.画像から対象物の輪郭を抽出すること、
b.その輪郭の重心を求めること、
c.前記重心を通る線の相対角度として複数の角度位置における該重心から輪郭までの複数の距離を含む測定ベクトルを決定し、
d.前記測定ベクトルを、少なくとも一つの参照対象物を表す少なくとも一つの記憶したベクトルと比較し、
e.前記測定ベクトルと前記少なくとも一つの記憶したベクトルとを比較することに応答して、前記対象物が前記参照対象物に一致するかどうかを決定する、
ことを含む方法。
【請求項1】
道路使用弱者を識別する方法であって、
a.画像から対象物の輪郭を抽出すること、
b.その輪郭の重心を求めること、
c.前記重心を通る線の相対角度として複数の角度位置における該重心から輪郭までの複数の距離を含む測定ベクトルを決定し、
d.前記測定ベクトルを、少なくとも一つの参照対象物を表す少なくとも一つの記憶したベクトルと比較し、
e.前記測定ベクトルと前記少なくとも一つの記憶したベクトルとを比較することに応答して、前記対象物が前記参照対象物に一致するかどうかを決定する、
ことを含む方法。
【図5a】ピンホールカメラの画像形成配置の図解を示す図である。
【0095】
【図6】車両の正面図および道路使用弱者保護システムにおけるステレオビジョンシステムのステレオビジョンカメラのいくつかの態様を示す図である。
【図7】単独カメラによるステレオビジョンシステムを示す図である。
【図8】自動利得調整プロセスの要素の図解である。
【図9】相関ダイヤグラムのブロックダイヤグラムである。
【図10a】最悪シナリオの場合の、複数の車両速度についての衝突までの時間の関数としての対象までの距離のプロットを示す図である。
【図10b】最悪シナリオの場合の、複数の車両速度についての衝突までの時間の関数としての対象までの角度のプロットを示す図である。
【0096】
【図11】2種の歩行者身長についての、使用する視界センサからの拒理の関数としての焦点面面積占有割合のプロットを示す図である。
【図12a】道路表面を含んだ場面のオリジナルグレイスケール画像を示す図である。
【図12b】遠方対象物を距離フィルターによって取り除いた、図12aに示された画像に対応する距離マップを示す図である。
【図12c】道路表面を道路表面フィルターによって取り除いた、図12bに示された画像に対応する距離マップを示す図である。
【図13】車両と3種の異なった相関ダウンレンジビンに対応した3種の視界を示す図である。
【図14】道路表面フィルタプロセスのフローチャートである。
【図15】図14に示される道路表面フィルタプロセスに用いられる、ステレオ画像に伴うダウンレンジデータアレイを示す図である。
【図16】図14に示される道路表面フィルタプロセスに用いられる、距離マップアレイを示す図である。
【0097】
【図17】図14に示される道路表面フィルタプロセスにより操作されるピクセル値のアレイを示す図である。
【図18a】ステレオビジョンシステムの左カメラから見た道路場面のグレイスケール画像を示す図である。
【図18b】図14aの画像についての、ステレオ装置により生成された距離マップを示す図である。
【図18c】図14bの画像を、実質的に相関道路表面のみを表示するように処理した画像を示す図である。
【図19a】ステレオビジョンシステムの左カメラからの、駐車中の車両のグレイスケールイメージを示す図である。
【図19b】図15aに示される場面のステレオ処理装置により生成された距離マップを示す図である。
【図19c】図15bに示される画像を、実質的に画像中の駐車中車両のみを表示するように処理した画像を示す図である。
【図20】道路使用弱者保護システムの配置を示す図である。
【0098】
【図21】直線上を走行する車両の衝突不可避領域と衝突可能領域の図である。
【図22a】第一速度で走行する車両のVRU危険領域の例を示す図である。
【図22b】第二速度で走行する車両のVRU危険領域の例を示す図である。
【図23】旋回中車両の衝突不可避領域と衝突可能領域の図である。
【図24】停止中の車両近傍にいる道路使用弱者についての対象距離セグメンテーションプロセスの結果の図である。
【図25】停止中の車両から約6フィート離れた道路使用弱者についての対象距離セグメンテーションプロセスの結果の図である。
【図26】停止中の車両から約8フィート離れた道路使用弱者についての対象距離セグメンテーションプロセスの結果の図である。
【0099】
【図27a−c】夜間イメージシークエンスにおける3枚の逐次的グレイスケール画像フレームを示す図である。
【図28a−c】図27a−cのグレイスケール画像に対応する3枚の逐次的距離マップ画像を示す図である。
【図29】合成距離マップ画像を示す図である。
【図30a−b】連結コンポーネント篩い分けフィルタの動作を示す図である。
【図31】図29における右端部に対応する16ビット距離マップヒストグラムである。
【図32】図24の16ビットヒストグラムを変換して生成した10ビット距離マップヒストグラムである。
【図33】視界中で横並びに離隔した2者の道路使用弱者の図である。
【図34】図23に示す距離マップ画像のヒストグラムサーチの結果得られるセグメンテーション画像である。
【図35a−c】図34に示すセグメンテーション画像の3つの異なったサブセクションの図である。
【0100】
【図36】自転車乗りのセグメント化画像にハーモニックプロファイルエクストラクションプロセスを施す様子を示す図である。
【図37a】自転車乗りが対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。
【図37b】ごみすて缶が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。
【図37c】犬が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。
【図37d】車両が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。
【図37e】歩行者が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。
【図37f】図30a〜eのハーモニックプロファイルのクロスコリレーションから生成されたクロスコリレーションマトリクスを示す図である。
【0101】
【図38a】ハーモニックプロファイルの距離不変性を示す図である。
【図38b】ハーモニックプロファイルの距離不変性を示す図である。
【図38c】ハーモニックプロファイルの距離不変性を示す図である。
【図38d】ハーモニックプロファイルの距離不変性を示す図である。
【図38e】ハーモニックプロファイルの距離不変性を示す図である。
【図38f】ハーモニックプロファイルの距離不変性を示す図である。
【図38g】ハーモニックプロファイルの距離不変性を示す図である。
【図38h】ハーモニックプロファイルの距離不変性を示す図である。
【図38i】ハーモニックプロファイルの距離不変性を示す図である。
【0102】
【図39】フィルターをかけない状態のハーモニックプロファイルを含む、中ぐらいの歩幅で歩行中の15フィート離れた多数の歩行者のハーモニックプロファイルのコンポジット、19エレメントの中央移動平均フィルタから得られたフィルタ後の対応するプロファイルおよび15フィートの距離からの歩行中の歩行者の組についての最適合ハーモニックプロファイルを示す図である。
【図40】フィルターをかけない状態のハーモニックプロファイルを含む、最大歩幅で歩行中の15フィート離れた多数の歩行者のハーモニックプロファイルのコンポジット、7エレメントの中央移動平均フィルタから得られたフィルタ後のプロファイルおよび対応する最適合ハーモニックプロファイルを示す図である。
【図41a−b】二値化イメージ、対応するハーモニックプロファイルおよび自転車乗りおよびその鏡像のそれぞれに対応する二値化画像の対応するハーモニックプロファイルモデルを示す図である。
【図42a−b】二値化イメージ、対応するハーモニックプロファイルおよび歩行者およびその鏡像のそれぞれに対応する二値化画像の対応するハーモニックプロファイルモデルを示す図である。
【0103】
【図43a−b】二値化イメージ、対応するハーモニックプロファイルおよび最大歩幅で歩行中の歩行者の二値化画像およびその鏡像のそれぞれに対応するハーモニックプロファイルモデルを示す図である。
【図44】最大歩幅で歩行中の歩行者のクラスについての、7フィートから32フィートまでの距離で、7エレメント中央移動平均フィルタによってフィルタされたデータから生成された最適合プロファイルの例である。
【図45a】自転車乗り、立ち止まっている歩行者および歩行中の歩行者を表す、最適合矩形デスクリプタが散らばって表示されている様子を示す図である。
【図45b】自転車乗り、立ち止まっている歩行者および歩行中の歩行者を表す、最適合楕円形デスクリプタが角度座標上に散らばって表示されている様子を示す図である。
【図46a】グレイスケールイメージである。
【図46b】図39aに表された画像から生成された結合した対象のセグメンテーションイメージについての最適合矩形デスクリプタおよび最適合楕円形デスクリプタを示す図である。
【0104】
【図47a】図46aに対応するグレイスケールイメージを表す図である。
【図47b】図47aに表された画像から生成されたセグメンテーションイメージにおける最大の対象ついての最適合矩形デスクリプタおよび最適合楕円形デスクリプタを示す図である。
【図48】インクルーシブニューラルネットワークの態様である。
【図49】エクスクルーシブニューラルネットワークの態様である。
【図50】VRUの誤検出を緩和するための垂直分量モデルである。
【図51】VRUの誤検出を緩和するための水平分量モデルである。
【図52】VRUの誤検出を緩和するための垂直位置モデルである。
【図53】自転車乗りVRUに追随する車両からみた場面の図である。
【図54】4段階統合ネットワークのフローチャートである。
【0105】
【図55】4段階統合ネットワークにおける、結合段階統計および分離段階統計である。
【図56】実際に見える場面、アソシエイテッド距離マップおよび特定のテストシークエンスにおけるアソシエイテッド分類統計を示す図である。
【図57】3区分の対象物の2万2千の訓練画像についての、4ccネットワーク分類密度から得られた分類密度を表す図である。
【図58】画像中での上半身分離により発生した9種の自転車乗りについての誤分類を示す図である。
【図59】第2バージョンのタイムテストを示す図である。
【図1】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図6】
【図7】
【図8】
【図9】
【図10a】
【図10b】
【図11】
【図12a】
【図12b】
【図12c】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18a】
【図18b】
【図18c】
【図19a】
【図19b】
【図19c】
【図20】
【図21】
【図22a】
【図22b】
【図23】
【図24】
【図25】
【図26】
【図27a−c】
【図28a−c】
【図29】
【図30a−b】
【図31】
【図32】
【図33】
【図34】
【図35a−c】
【図36】
【図37a】
【図37b】
【図37c】
【図37d】
【図37e】
【図37f】
【図38a】
【図38b】
【図38c】
【図38d】
【図38e】
【図38f】
【図38g】
【図38h】
【図38i】
【図39】
【図40】
【図41a−b】
【図42a−b】
【図43a−b】
【図44】
【図45a】
【図45b】
【図46a】
【図46b】
【図47a】
【図47b】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【0095】
【図6】車両の正面図および道路使用弱者保護システムにおけるステレオビジョンシステムのステレオビジョンカメラのいくつかの態様を示す図である。
【図7】単独カメラによるステレオビジョンシステムを示す図である。
【図8】自動利得調整プロセスの要素の図解である。
【図9】相関ダイヤグラムのブロックダイヤグラムである。
【図10a】最悪シナリオの場合の、複数の車両速度についての衝突までの時間の関数としての対象までの距離のプロットを示す図である。
【図10b】最悪シナリオの場合の、複数の車両速度についての衝突までの時間の関数としての対象までの角度のプロットを示す図である。
【0096】
【図11】2種の歩行者身長についての、使用する視界センサからの拒理の関数としての焦点面面積占有割合のプロットを示す図である。
【図12a】道路表面を含んだ場面のオリジナルグレイスケール画像を示す図である。
【図12b】遠方対象物を距離フィルターによって取り除いた、図12aに示された画像に対応する距離マップを示す図である。
【図12c】道路表面を道路表面フィルターによって取り除いた、図12bに示された画像に対応する距離マップを示す図である。
【図13】車両と3種の異なった相関ダウンレンジビンに対応した3種の視界を示す図である。
【図14】道路表面フィルタプロセスのフローチャートである。
【図15】図14に示される道路表面フィルタプロセスに用いられる、ステレオ画像に伴うダウンレンジデータアレイを示す図である。
【図16】図14に示される道路表面フィルタプロセスに用いられる、距離マップアレイを示す図である。
【0097】
【図17】図14に示される道路表面フィルタプロセスにより操作されるピクセル値のアレイを示す図である。
【図18a】ステレオビジョンシステムの左カメラから見た道路場面のグレイスケール画像を示す図である。
【図18b】図14aの画像についての、ステレオ装置により生成された距離マップを示す図である。
【図18c】図14bの画像を、実質的に相関道路表面のみを表示するように処理した画像を示す図である。
【図19a】ステレオビジョンシステムの左カメラからの、駐車中の車両のグレイスケールイメージを示す図である。
【図19b】図15aに示される場面のステレオ処理装置により生成された距離マップを示す図である。
【図19c】図15bに示される画像を、実質的に画像中の駐車中車両のみを表示するように処理した画像を示す図である。
【図20】道路使用弱者保護システムの配置を示す図である。
【0098】
【図21】直線上を走行する車両の衝突不可避領域と衝突可能領域の図である。
【図22a】第一速度で走行する車両のVRU危険領域の例を示す図である。
【図22b】第二速度で走行する車両のVRU危険領域の例を示す図である。
【図23】旋回中車両の衝突不可避領域と衝突可能領域の図である。
【図24】停止中の車両近傍にいる道路使用弱者についての対象距離セグメンテーションプロセスの結果の図である。
【図25】停止中の車両から約6フィート離れた道路使用弱者についての対象距離セグメンテーションプロセスの結果の図である。
【図26】停止中の車両から約8フィート離れた道路使用弱者についての対象距離セグメンテーションプロセスの結果の図である。
【0099】
【図27a−c】夜間イメージシークエンスにおける3枚の逐次的グレイスケール画像フレームを示す図である。
【図28a−c】図27a−cのグレイスケール画像に対応する3枚の逐次的距離マップ画像を示す図である。
【図29】合成距離マップ画像を示す図である。
【図30a−b】連結コンポーネント篩い分けフィルタの動作を示す図である。
【図31】図29における右端部に対応する16ビット距離マップヒストグラムである。
【図32】図24の16ビットヒストグラムを変換して生成した10ビット距離マップヒストグラムである。
【図33】視界中で横並びに離隔した2者の道路使用弱者の図である。
【図34】図23に示す距離マップ画像のヒストグラムサーチの結果得られるセグメンテーション画像である。
【図35a−c】図34に示すセグメンテーション画像の3つの異なったサブセクションの図である。
【0100】
【図36】自転車乗りのセグメント化画像にハーモニックプロファイルエクストラクションプロセスを施す様子を示す図である。
【図37a】自転車乗りが対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。
【図37b】ごみすて缶が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。
【図37c】犬が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。
【図37d】車両が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。
【図37e】歩行者が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。
【図37f】図30a〜eのハーモニックプロファイルのクロスコリレーションから生成されたクロスコリレーションマトリクスを示す図である。
【0101】
【図38a】ハーモニックプロファイルの距離不変性を示す図である。
【図38b】ハーモニックプロファイルの距離不変性を示す図である。
【図38c】ハーモニックプロファイルの距離不変性を示す図である。
【図38d】ハーモニックプロファイルの距離不変性を示す図である。
【図38e】ハーモニックプロファイルの距離不変性を示す図である。
【図38f】ハーモニックプロファイルの距離不変性を示す図である。
【図38g】ハーモニックプロファイルの距離不変性を示す図である。
【図38h】ハーモニックプロファイルの距離不変性を示す図である。
【図38i】ハーモニックプロファイルの距離不変性を示す図である。
【0102】
【図39】フィルターをかけない状態のハーモニックプロファイルを含む、中ぐらいの歩幅で歩行中の15フィート離れた多数の歩行者のハーモニックプロファイルのコンポジット、19エレメントの中央移動平均フィルタから得られたフィルタ後の対応するプロファイルおよび15フィートの距離からの歩行中の歩行者の組についての最適合ハーモニックプロファイルを示す図である。
【図40】フィルターをかけない状態のハーモニックプロファイルを含む、最大歩幅で歩行中の15フィート離れた多数の歩行者のハーモニックプロファイルのコンポジット、7エレメントの中央移動平均フィルタから得られたフィルタ後のプロファイルおよび対応する最適合ハーモニックプロファイルを示す図である。
【図41a−b】二値化イメージ、対応するハーモニックプロファイルおよび自転車乗りおよびその鏡像のそれぞれに対応する二値化画像の対応するハーモニックプロファイルモデルを示す図である。
【図42a−b】二値化イメージ、対応するハーモニックプロファイルおよび歩行者およびその鏡像のそれぞれに対応する二値化画像の対応するハーモニックプロファイルモデルを示す図である。
【0103】
【図43a−b】二値化イメージ、対応するハーモニックプロファイルおよび最大歩幅で歩行中の歩行者の二値化画像およびその鏡像のそれぞれに対応するハーモニックプロファイルモデルを示す図である。
【図44】最大歩幅で歩行中の歩行者のクラスについての、7フィートから32フィートまでの距離で、7エレメント中央移動平均フィルタによってフィルタされたデータから生成された最適合プロファイルの例である。
【図45a】自転車乗り、立ち止まっている歩行者および歩行中の歩行者を表す、最適合矩形デスクリプタが散らばって表示されている様子を示す図である。
【図45b】自転車乗り、立ち止まっている歩行者および歩行中の歩行者を表す、最適合楕円形デスクリプタが角度座標上に散らばって表示されている様子を示す図である。
【図46a】グレイスケールイメージである。
【図46b】図39aに表された画像から生成された結合した対象のセグメンテーションイメージについての最適合矩形デスクリプタおよび最適合楕円形デスクリプタを示す図である。
【0104】
【図47a】図46aに対応するグレイスケールイメージを表す図である。
【図47b】図47aに表された画像から生成されたセグメンテーションイメージにおける最大の対象ついての最適合矩形デスクリプタおよび最適合楕円形デスクリプタを示す図である。
【図48】インクルーシブニューラルネットワークの態様である。
【図49】エクスクルーシブニューラルネットワークの態様である。
【図50】VRUの誤検出を緩和するための垂直分量モデルである。
【図51】VRUの誤検出を緩和するための水平分量モデルである。
【図52】VRUの誤検出を緩和するための垂直位置モデルである。
【図53】自転車乗りVRUに追随する車両からみた場面の図である。
【図54】4段階統合ネットワークのフローチャートである。
【0105】
【図55】4段階統合ネットワークにおける、結合段階統計および分離段階統計である。
【図56】実際に見える場面、アソシエイテッド距離マップおよび特定のテストシークエンスにおけるアソシエイテッド分類統計を示す図である。
【図57】3区分の対象物の2万2千の訓練画像についての、4ccネットワーク分類密度から得られた分類密度を表す図である。
【図58】画像中での上半身分離により発生した9種の自転車乗りについての誤分類を示す図である。
【図59】第2バージョンのタイムテストを示す図である。
【図1】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図6】
【図7】
【図8】
【図9】
【図10a】
【図10b】
【図11】
【図12a】
【図12b】
【図12c】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18a】
【図18b】
【図18c】
【図19a】
【図19b】
【図19c】
【図20】
【図21】
【図22a】
【図22b】
【図23】
【図24】
【図25】
【図26】
【図27a−c】
【図28a−c】
【図29】
【図30a−b】
【図31】
【図32】
【図33】
【図34】
【図35a−c】
【図36】
【図37a】
【図37b】
【図37c】
【図37d】
【図37e】
【図37f】
【図38a】
【図38b】
【図38c】
【図38d】
【図38e】
【図38f】
【図38g】
【図38h】
【図38i】
【図39】
【図40】
【図41a−b】
【図42a−b】
【図43a−b】
【図44】
【図45a】
【図45b】
【図46a】
【図46b】
【図47a】
【図47b】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【公開番号】特開2012−69121(P2012−69121A)
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【外国語出願】
【出願番号】特願2011−221172(P2011−221172)
【出願日】平成23年10月5日(2011.10.5)
【分割の表示】特願2007−523736(P2007−523736)の分割
【原出願日】平成17年7月26日(2005.7.26)
【出願人】(399042247)オートモーティブ システムズ ラボラトリー インコーポレーテッド (28)
【Fターム(参考)】
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【出願番号】特願2011−221172(P2011−221172)
【出願日】平成23年10月5日(2011.10.5)
【分割の表示】特願2007−523736(P2007−523736)の分割
【原出願日】平成17年7月26日(2005.7.26)
【出願人】(399042247)オートモーティブ システムズ ラボラトリー インコーポレーテッド (28)
【Fターム(参考)】
[ Back to top ]