立体視に基づく差し迫った衝突の検知
場面の奥行きマップを生成するため処理される画像を生成する立体カメラを有する立体視に基づく衝突回避システム。潜在的な脅威を、奥行きマップにおいて検知する。そして、検知した潜在的な脅威の大きさ、位置、および速度を推定し、推定した位置および推定した速度を用いて、検知した潜在的な脅威の軌道解析を決定する。軌道解析に基づく衝突予測を決定し、衝突が差し迫ったものであるかどうかを、衝突予測および推定された潜在的な脅威の大きさに基づいて決定する。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
[0001]本願は、２００３年７月２日提出のチャン他（Ｃｈａｎｇ ｅｔ ａｌ）による「自動車の差し迫った衝突回避のための、立体視に基づくアルゴリズム（Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ Ｂａｓｅｄ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ａｕｔｏｍｏｔｉｖｅ Ｉｍｍｉｎｅｎｔ Ｃｏｌｌｉｓｉｏｎ Ａｖｏｉｄａｎｃｅ）」と題した米国特許出願番号第６０／４８４４６３号仮出願の利益を主張するものであり、これにより、その内容を本願明細書中に援用する。
【０００２】
[0002]本願は、２００３年６月１３日提出のカミュ他（Ｃａｍｕｓ ｅｔ ａｌ）による「車両視覚システム（ＶＥＨＩＣＵＬＡＲ ＶＩＳＩＯＮ ＳＹＳＴＥＭ）」と題した出願係属中の米国特許出願明細書第１０／４６１６９９号（代理人明細書番号ＳＡＲ１４８８５）の一部継続出願であり、これにより、その特許出願の内容を本願明細書中に援用する。
【発明の分野】
【０００３】
[0003]本発明は、例えば車両などに搭載される視覚システムに関する。本発明は、特に、立体視を用いて、差し迫った衝突を検知することに関する。
【関連技術の説明】
【０００４】
[0004]自動車業界は、差し迫った衝突を間に合うように検知し、衝突を回避したり、または衝突の衝撃を緩和したりするシステムに対して高い関心を示している。衝突回避システムは、一般的には潜在的な脅威の存在を検知し、その速度および軌道を決定し、衝突の脅威を評価しなければならない。従来技術の衝突回避システムでは、レーダを用いて潜在的な脅威の範囲および近づく速度を決定してきた。しかしながら、手頃な価格のレーダ・システムは、通常、潜在的な脅威の大きさ、および位置を確実かつ正確に決定するために必要とされる空間分解能に欠けている。
【０００５】
[0005]立体視は、潜在的な脅威を識別するために必要とされる高い空間分解能を提供することができ、衝突検知システムや衝突回避システム用に使用されることが提案されてきた。例えば、その特許出願の内容を本願明細書中に援用するものとする特許文献１には、視差画像、奥行きマップ、およびテンプレート照合法を用いて対象物（潜在的な脅威）を検知し、かつ分類する方法が開示されている。下記特許文献１が教示するものは非常に有効であるが、その潜在的な脅威の検知方法は全てのアプリケーションにおいて最適な方法であるという訳ではない。
【０００６】
[0006]そのため、当技術分野では、衝突を検知し回避するために、立体視を使用する新規の技術が必要とされている。
【発明の概要】
【０００７】
[0007]本発明の一実施形態によれば、立体視に基づく衝突検知方法が提供される。
【０００８】
[0008]本発明の別の実施形態によれば、本発明による立体視に基づく衝突回避システムには、視野内の車両を検知するために処理する画像を生成する立体カメラを含む。そのような処理には、潜在的な脅威の大きさ、速度、方向を決定すること、および検知した潜在的な脅威によって示された衝突の脅威を評価することを含む。
【０００９】
[0009]上述した本発明の特徴を達成し、詳細に理解できるように、添付の図面に図示した本発明の実施形態を参照すれば、上記に概要を要約した本発明のより詳細な説明が得られる。
【００１０】
[0010]なお、添付の図面は、本発明の典型的な実施形態を図示するものであり、それにより、本発明の範囲を制限するものではなく、本発明は、他の同等に有効な実施形態でもよい。
【詳細な説明】
【００１１】
[0019]衝突回避システムに必要な基本要件は、例えば、ホスト車両などのプラットホームに対する実際の衝突の脅威を検知することである。ホスト車両（プラットホーム）は、差し迫った衝突を一旦検知すると、その衝突を回避し、及び、又は衝突による損害を緩和するための動作をする。実施される特定の測定法が、与えられた条件下で適切なものであるかどうかを決定するために、潜在的な脅威の大きさ、位置、および動きに関する情報が有益である。
【００１２】
[0020]本発明の原則による衝突検知システムは、潜在的な脅威の大きさや動きを推定し、これら脅威の大きさ、高さ、幅などの様々な特性を決定し、潜在的な脅威を分類し、前回推定した位置、動き、および特性に基づいて差し迫った衝突を識別する。衝突の検知は、高速で走行する車両に関わることが多く、本発明の原則による衝突検知システムは、広範囲にわたる潜在的な脅威、照明条件、および他の状況に対応するために十分に頑強で効率的に完成されたアルゴリズムを組み込んでいる。
【００１３】
[0021]図１は、本発明の原則による衝突検知システム１０２を有するホスト車両１００の概略図を示す。本システムは、車両１００が隣接する場面１０４内における潜在的な脅威を検知する。この場面には、車両１１０のような図１に示す潜在的な脅威とともに、歩行者１０３などの脅威ではない対象物を含んでもよい。図１は、ホスト車両１００の正面の場面１０４を示しているが、他の衝突検知システムでは、ホスト車両１００の後方や、側面の場面を撮像することもできる。衝突検知システム１０２は、画像プロセッサ１０８に連結した立体視撮像装置１０６を使用する。立体視撮像装置１０６は、歩行者１０３および車両１１０を含む視野を有する。
【００１４】
[0022]図２は、衝突検知システム１０２を実行するために用いるハードウェアのブロック図を示す。立体視撮像装置１０６は、可視波長において作動する一対のカメラ２００および２０２を備える。これらのカメラは、情報源である場面１０４の立体画像を生成できるように、相互に既知の関係を有する。画像プロセッサ１０８は、画像プリプロセッサ２０６、中央処理装置（CPU）２１０、補助回路２０８、およびメモリ２１７を備える。画像プリプロセッサ２０６は、一般に、センサ・アレイ１０６からの立体像を取得し、デジタル化し、そして処理するための回路構成を備える。画像プリプロセッサ２０６は、ピラミッド・ビジョン・テクノロジー（プリンストン、ニュージャージー州）が製造するアカディア ITM（Ａｃａｄｉａ ITM）という型のプロセッサなどのシングル・チップ・ビデオ・プロセッサでもよい。
【００１５】
[0023]画像プリプロセッサ２０６からの処理済み画像は、ＣＰＵ２１０に連結される。ＣＰＵ２１０には、現在利用可能な多くの高速マイクロコントローラあるいはマイクロプロセッサの何れかを備えていてもよい。ＣＰＵ２１０は、一般に当業者には既知である支持回路２０８によって支えられている。これらの回路は、キャッシュ、電源、クロック回路、入出力回路などを含む。メモリ２１７もＣＰＵ２１０に連結される。メモリ２１７は、ＣＰＵ２１０および画像プリプロセッサ２０６に実行され、本発明の操作を容易にする、特定のソフトウェアのルーチンを保存する。また、メモリは、本発明で利用する情報の特定のデータベース２１４、およびセンサ・アレイ１０６からの画像の処理に用いる画像処理ソフトウェア２１６を保存する。本発明は、一連の方法の手順という文脈で説明されるが、その方法は、ハードウェア、ソフトウェア、あるいはハードウェアおよびソフトウェアの組み合わせで実行してもよい。
【００１６】
[0024]図３は、衝突が差し迫ったものであるかどうかを決定する機能モジュールのブロック図である。カメラ２００および２０２は、立体画像プリプロセッサ３００に立体画像を提供する。立体画像プリプロセッサ３００は、カメラ２００および２０２を補正し、立体像を撮像、デジタル化し、その画像をワープし整列させ、ピラミッド・ウェーブレット分解を行い、多重解像度の視差画像を生成する。カメラの補正によって、全ての距離および角度を決定する基準点および基準方向が提供されるため、カメラの補正は重要である。特に、各カメラを分けることが重要で、なぜならば、視差画像には、左の画像から右の画像へ点別の動きを含むためである。算出された潜在的な脅威の格差が大きければ大きいほど、カメラ２００および２０２に対して脅威がより近い。前処理を行った後、奥行きマップ生成部３０２は、奥行きマップを作成する。奥行きマップは、各画像点を表すデータを含み、それぞれの点は、カメラ２００および２０２から場面１０４内の点までの特定の距離を表す。奥行きマップは、以下に説明する手順を用いて衝突が差し迫ったものであるかどうかを検知する衝突検知部３０４に使用される。
【００１７】
[0025]図４は、衝突検知システム１０２の動作の流れ図を示す。ステップ３０２および２０４において、カメラ２００および２０２は、ステップ３０６において処理する左右の画像ストリーム入力を提供し、図３を参照して説明した方法を用いて立体奥行きマップを形成する。立体奥行きデータが利用可能な場合、ステップ３０８において、脅威検知および分割のアルゴリズムは、立体奥行きデータ中、そして場面１０４中の潜在的な脅威を検知する。（図１参照）。脅威検知および分割を行うステップ３０８は、立体奥行きデータにおける潜在的な脅威の「境界ボックス」に戻る。ステップ３０８で用いられる脅威検知および分割のアルゴリズムのより詳細な説明を以下に述べる。
【００１８】
[0026]一旦「境界ボックス」が取得されると、潜在的な脅威の特性が、立体奥行きデータから得られる。ステップ３１０において、潜在的な脅威の大きさおよび高さが決定され、ステップ３１２において、潜在的な脅威の相対的位置が決定される。そして、ステップ３１４および３１６において、潜在的な脅威に対する速度推定値を提供する速度推定アルゴリズムを実施する。これら特性を決定する詳細を以下に述べる。
【００１９】
[0027]ステップ３１０、３１２、および３１４乃至３１６において決定した全ての特性は、立体奥行きデータから得られた推定値であり、これらには、画像ノイズが含まれる。このノイズの影響を低減するために、これらの特性推定値は、タイム・フィルタにかけられる。より詳細には、ステップ３１８において、位置および速度の測定値は、カルマン・フィルタにかけられ、一方、ステップ３２０においては、ローパス・フィルタによって他の推定値からノイズを取り除く。フィルタリングのより詳細な説明は、以下に述べる。ローパス・フィルタにかけた後、ステップ３２２において、そのローパス・フィルタにかけた推定値は検出された閾値である。閾値検出では、潜在的な脅威の一覧から小さい対象物および大きい対象物を削除する。
【００２０】
[0028]フィルタにかかった大きさ、位置、および速度推定値が一旦分かると、ステップ３２４において、衝突回避システム１０２が、潜在的な脅威の軌道解析および衝突予測を実施する。この解析は、ステップ３２２からの閾値の決定と組み合わせて、ステップ３２６において、潜在的な脅威と共に差し迫った衝突が起こりそうであるかどうかの最終判断を行うために用いられる。
【００２１】
[0029]図５は、ホスト車両１００が潜在的な脅威１１０を差し迫った衝突の脅威として認識した場合の衝突シナリオの上面図を示す。接近する経路４０２は、直線Ｃ−Ｄで表されており、ＣおよびＤは、潜在的な脅威１１０およびホスト車両１００の衝突接触点をそれぞれ表す。点ＡおよびＢは、ステップ３１０および３２０において決定した潜在的な脅威１１０の縁を表す。点Ａ、Ｂ、Ｄの位置および横、縦の速度が一旦分かれば、Ｃの位置を算出することができる。
【００２２】
[0030]脅威検知および分割のステップ３０８に戻ると、このステップは、ステップ３０６で算出した立体奥行きマップを処理する手順を用いて（図６で図示）実施される。脅威検知および分割は、立体奥行きマップにおける各画素が、対象物を抽出することができる関連した３次元の位置を有するという原則に基づいている。しかしながら、立体奥行きマップは、ノイズが多く、低密度であることが多い。図６に示したフローチャートは、ステップ３０６で取得した立体奥行きマップデータから始まる。このデータは、ステップ６０２において、パッチ格子に碁盤目状にされる。ステップ６０４において、パッチ毎に、（以下の説明するような方法によって）特定のパッチ内のデータ点を通して平面を貼り合わせる。そして、各パッチを事前に規定したタイプに分類する。事前に規定したこれらのタイプは、各パッチの３次元の位置、および貼り合わせた平面の法線ベクトルに基づいている。事前に規定したタイプには、広くは、潜在的な脅威を表しているもの、潜在的な脅威を表す可能性がありそうなもの、潜在的な脅威を表していそうにないものの３つの一般的な種類がある。ステップ６０４につき、以下詳細に説明する。
【００２３】
[0031]また図６を参照すると、ステップ６０６において、グループ分けの手順は、分類に基づいてパッチをグループ化する。混同パッチ（以下に説明する分類タイプのひとつ）の影響を低減するために、グループ化の手順には、２つのグループ化がある。第１のグループ化では、車両側および車両上部（以下参照）として分類されたパッチがグループ化される。これらのパッチは、潜在的な脅威をカバーする。第１のグループ化の後、第２のグループ化で、混同パッチ（通常、脅威となる車両の境界にある追加パッチ）があれば、潜在的な脅威に追加する。グループ化の後は、ステップ６０８において、分類されたパッチが集合し、境界ボックスを形成する。なお、ステップ６０６の第２のグループ化は、潜在的な脅威の境界において、境界ボックスの集合化を向上させる。
【００２４】
[0032]図７は、面フィッティングおよびパッチ分類のステップ６０４をより詳細に説明する図である。面フィッティングは、パッチの分類に重要な平面法線を生成するために用いられる。ステップ７０２において、パッチを選択する。そして、立体データ中のデータ不足による問題を緩和するために、ステップ７０４において、パッチが局所的に動き、パッチの元の場所に近い最も立体密度の高い領域を探す。これにより、面フィッティングの際にエラー増加などの問題を引き起こす、立体データ中の孔の影響が低減する。有効な３次元の位置推定値を持たない画素を表す孔は、立体画像データにおける鏡面性、テクスチャ不足、または他の要因によって引き起こされる。また、画素の３次元位置には、時には深刻なノイズや異常値を含み、そのために問題を引き起こす可能性もある。容易に認識可能なノイズや異常値は、立体データから削除することもできる。そして、ステップ７０６において、パッチが十分に稠密であり、利用可能であるかどうかの決定が成される。もし、十分でなければ、ステップ７０８において、十分に稠密でないパッチを破棄する。このように、衝突回避システム１０２においては、全てのパッチを使用することはない。
【００２５】
[0033]また、図７を参照すると、ステップ７１０において、保持するパッチ毎に、そのパッチ用立体画像データ点の部分集合を、パッチの面フィッティングやパッチ法線の決定に用いる。例えば、全範囲の８０％台半ばの奥行き値を有する画素のみを使用することができる。これにより、結果を歪めてしまうのを防ぐ為、立体データにおける、起こりうる異常値を取り除くことができる。面フィッティングは、立体データからパッチの距離毎のオフセットを取り除くことから始まる。これにより、結果としてのパッチ平面は、パッチの中心に原点がある所望の平面方程式である方程式ａｘ＋ｂｙ＋ｃｚ＝０を、平面上の任意の点である３次元の位置（ｘ、ｙ、ｚ）が満たすような平面となる。そして、選択された各パッチの部分集合の３次元点を通して貼り合わせ、所望のパッチ平面を形成する。結果としてパッチ平面は、全ての点において、以下のとおりである。
[0034]Ａｘ＝０
[0035]ここで、ｘ＝（ａ、ｂ、ｃ）は、平面法線であり、Ａは、全ての行における点毎のパッチの中心軌跡に対する３次元座標を有する３行列によるＮである。Ａｘ＝０の最小平方解により、パッチの（表面の）法線ベクトルが求められる。表面の法線ベクトルを算出するために、計算的に有効な方法は、特異値分解（ＳＶＤ）を行列ＡＴＡに適用することによって行列ＡＴＡの第３固有ベクトルを算出する方法である。高速ＳＶＤアルゴリズムは、対象の行列である正半定値行列のためのものである。
【００２６】
[0036]一旦、平面法線が求められると、ステップ７１２において、衝突検知にパッチを使うかどうかの決定が成される。この決定は、以下のタイプのひとつとして分類されるパッチの分類に基づく。
[0037]パッチが負の高さを有する場合は、負のパッチ、
[0038]パッチの高さが閾値を下回り、かつ、垂直法線を有する場合は、基底パッチ、
[0039]パッチの距離が対象範囲外の場合、遠方パッチ、
[0040]パッチの高さが対象範囲外の場合、高いパッチ、
[0041]高さは基底に近いが垂直法線でない場合、または、高さは閾値より高いが垂直法線を有する場合は、境界パッチ、
[0042]高さが閾値より高く垂直法線を有さない場合は、車両側パッチ、あるいは、
[0043]高さが閾値より高く略垂直法線を有する場合は、車両上部パッチ
【００２７】
[0044]パッチの分類は、（平面法線によって決定される）パッチの方向、高さ制限、およびその位置に基づく。複数の基準を用いて分類することで、立体画像データ中のノイズの影響を緩和することができる。分類時に使用する正確な閾値は、カメラ２００および２０２の補正パラメータおよび場面１０４の潜在的な脅威によって決まる。多くの場合においては、車両側パッチあるいは車両上部パッチと分類されたパッチは、実際、潜在的な脅威からのものである。このように、車両側および車両上部という分類は、潜在的な脅威からのものであるという一般的な種類を意味する。混同パッチは、基底および潜在的な脅威の混在する部分を含む境界パッチである場合が多い。このように、混同パッチは、潜在的な脅威を表すかもしれない一般的な種類を表す。パッチが、車両側、車両上部、または混同パッチでない場合、そのパッチは、潜在的な脅威からのものではなさそうであり、そのため、ステップ７１４において破棄される。しかしながら、パッチが、車両側、車両上部、または混同パッチである場合は、ステップ７１６において、潜在的な脅威の一部であるとして印が付けられる。最終的には、ステップ７１６、７１４、または７０８の後、ステップ７１８において、さらに分類するパッチがあるかどうかの決定が成される。分類するパッチがある場合は、ステップ６０４は、ステップ７０２に戻り、他のパッチを選択する。そうでなければ、方法３００は、ステップ６０６に進む。
【００２８】
[0045]潜在的な脅威の高さ、大きさ、および位置は、境界ボックスから直接測定することができる。特に、潜在的な脅威の左右の境界は、よりよい推定値が得られるように経時的に決定される。
【００２９】
[0046]図８は、ステップ３１４および３１６における速度推定の方法をより詳細に示す図である。ステップ３０８において境界ボックスが求められると、潜在的な脅威の速度も推定することができる。まず、ステップ８０２において、異なった時間フレームにおける場面１０４の画像が得られる。このことは、図４に示した直線３１３によっても示されている。そして、ステップ８０２において、選択した潜在的な脅威の２次元の対応点を、異なった時間フレームの「特徴照合法」を用いて決定し、時間全体における２次元の対応点を確立する。Ｄ.ニスター（Ｄ．Ｎｉｓｔｅｒ）著、「動作アルゴリズムからの５点構造（Ｆｉｖｅ ｐｏｉｎｔ ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ ａｌｇｏｒｉｔｈｍ）」サーノフ社（Ｓａｒｎｏｆｆ Ｃｏｒｐｏｒａｔｉｏｎ）、公開発明番号１４８３１を参照されたい。２次元の対応点のみによって、潜在的な脅威の角速度を決定することができる。
【００３０】
[0047]２次元の対応点が利用可能になると、ステップ８０６において、同じ特徴の組みに対する３次元の対応点を、異なった時間フレームにおける特徴の同じ組みの奥行き変化を用いて比較的容易に求めることができる。これにより、２組のデータ点であるＰｉおよびＱｉを生成することができる。ここで、ｉ＝１．．．Ｎ、および
[0048]Ｑｉ＝ＲＰｉ＋Ｔ＋Ｖｉが成り立つ。
[0049]ここで、Ｎは、データ点の数、Ｒは、回転行列、Ｔは、３次元変換行列、およびＶｉは、ノイズである。
【００３１】
[0050]２組の対応するデータ点が得られると、ステップ８０８において、３次元の速度推定値が得られる。標準的な方法では、Ｎが２よりも大きい場合の最適な回転および平行移動の動きを解く。例えば、Ｋ．アルン、Ｔ．フアン、およびＳ．ボルスタイン（Ｋ．Ａｒｕｎ、Ｔ．Ｈｕａｎｇ、ａｎｄ Ｓ．Ｂｏｌｓｔｅｉｎ）著、「２組の３次元点の最小二乗フィッティング(Ｌｅａｓｔ−ｓｑｕａｒｅ Ｆｉｔｔｉｎｇ ｏｆ Ｔｗｏ ３Ｄ Ｐｏｉｎｔ Ｓｅｔｓ)」、ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌ． Ｍａｃｈｉｎｅ Ｉｎｔｅｌ．、１９８７年、第９巻、第５号、ｐ．６９８を参照されたい。自動車の衝突回避のために、平行移動だけを評価することが有効な場合が多い。その場合、平行移動だけを推定する必要がある。しかしながら、Ｋ．アルン、Ｔ．フアン、およびＳ．ボルスタインが教示する方法をそのまま実施すると、３次元の対応点データには、深刻なノイズおよび異常値を含むため、幾分粗悪な結果が導かれる。そのため、ステップ８０８では、より頑強な方法である、ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ）に基づいた速度推定法を用いる。その一般的なアルゴリズムは、
[0051]１．３次元の対応データセットからｋ点を選択する。
[0052]２．Ｔ（任意にＲ）を解く。
[0053]３．どのくらいの（Ｎ中の）点が許容内に収まるかを調べ、それをＭと呼ぶ。
[0054]４．Ｍ／Ｎが十分大きい場合、結果を受け付け、終了する。そうでなければ、
[0055]５．１から４までをＬ回繰り返すか、Ｍ／Ｎが十分大きくなるまで繰り返す。
[0056]６．失敗
【００３２】
[0057]ＩＣＰ（逐次最近点）などのアルゴリズムを用いて、直接、奥行き画像から３次元の対応点を導き出すことができる。しかし、直接、３次元の対応点を導くことは、計算上非効率であり、立体画像データ中のノイズの影響を受ける。３次元の対応点は、ホスト車両１００に対する潜在的な脅威の近づく速度を提供する。
【００３３】
[0058]上述したように、立体データにおけるノイズを低減するために、全ての測定値にフィルタリングを適用する。潜在的な脅威の大きさや高さなどの一定量の測定値は、標準的なローパス・フィルタを用いてフィルタにかける。位置や速度測定値などの変化するパラメータは、カルマン・フィルタを用いてフィルタにかける。カルマン・フィルタには、システム・モデルが必要となり、一定速度モデルを、ガウス・ホワイト・ノイズとしてモデル化した加速度に用いる。システムの動きは、以下の式のように書き表すことができる。
【数１】
【００３４】
[0059]全ての変数は（下記に説明するものを除いては）直接測定可能であり、そのため、観測方程式はそれ自身が変数であり、ガウス・ホワイト・ノイズとしてモデル化された不確実な測定値にすぎない。観測行列は、単に単位行列にすぎない。
【００３５】
[0060]問題は、潜在的な脅威の左境界または右境界、あるいはその両方がカメラ視野の外にある場合である。このような場合、潜在的な脅威の境界は、立体奥行きマップから直接測定することができない。そのような状況においては、非常に大きな分散値を観測ノイズに割り当て、測定における不確実さを反映させる。実験は、カルマン・フィルタリングが不確実さを非常にうまく伝えることを示している。カルマン・フィルタリングは、潜在的な脅威が非常に近く、視野全体を占める場合に特に有効である。境界位置および速度の観測が非常に不確実になった場合、衝突検知システム１０２は、前に推定したシステム・モデルに依存する。
【００３６】
[0061]上記は本発明の実施形態のために成されたが、本発明の他の実施形態およびさらなる実施形態が、本発明の基本範囲を逸脱することなく実施可能であり、本発明の範囲は、次に続く特許請求の範囲によって決定される。
【図面の簡単な説明】
【００３７】
【図１】本発明の原則による立体視システムを有する車両の概略図を示す。
【図２】図１の立体視システムの電気的サブシステムを示す。
【図３】奥行きマップの生成を示す。
【図４】図２の立体視システムで用いる潜在的な脅威の検知および分割処理のフローチャートを示す。
【図５】差し迫った衝突の上部図を示す。
【図６】図４の潜在的な脅威の検知および分割処理に用いる面フィッティングおよび標識付け処理のフローチャートを示す。
【図７】図３の視覚システムに用いる速度推定処理のフローチャートを示す。
【図８】速度の推定を行うフローチャートを示す。
【関連出願の相互参照】
【０００１】
[0001]本願は、２００３年７月２日提出のチャン他（Ｃｈａｎｇ ｅｔ ａｌ）による「自動車の差し迫った衝突回避のための、立体視に基づくアルゴリズム（Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ Ｂａｓｅｄ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ａｕｔｏｍｏｔｉｖｅ Ｉｍｍｉｎｅｎｔ Ｃｏｌｌｉｓｉｏｎ Ａｖｏｉｄａｎｃｅ）」と題した米国特許出願番号第６０／４８４４６３号仮出願の利益を主張するものであり、これにより、その内容を本願明細書中に援用する。
【０００２】
[0002]本願は、２００３年６月１３日提出のカミュ他（Ｃａｍｕｓ ｅｔ ａｌ）による「車両視覚システム（ＶＥＨＩＣＵＬＡＲ ＶＩＳＩＯＮ ＳＹＳＴＥＭ）」と題した出願係属中の米国特許出願明細書第１０／４６１６９９号（代理人明細書番号ＳＡＲ１４８８５）の一部継続出願であり、これにより、その特許出願の内容を本願明細書中に援用する。
【発明の分野】
【０００３】
[0003]本発明は、例えば車両などに搭載される視覚システムに関する。本発明は、特に、立体視を用いて、差し迫った衝突を検知することに関する。
【関連技術の説明】
【０００４】
[0004]自動車業界は、差し迫った衝突を間に合うように検知し、衝突を回避したり、または衝突の衝撃を緩和したりするシステムに対して高い関心を示している。衝突回避システムは、一般的には潜在的な脅威の存在を検知し、その速度および軌道を決定し、衝突の脅威を評価しなければならない。従来技術の衝突回避システムでは、レーダを用いて潜在的な脅威の範囲および近づく速度を決定してきた。しかしながら、手頃な価格のレーダ・システムは、通常、潜在的な脅威の大きさ、および位置を確実かつ正確に決定するために必要とされる空間分解能に欠けている。
【０００５】
[0005]立体視は、潜在的な脅威を識別するために必要とされる高い空間分解能を提供することができ、衝突検知システムや衝突回避システム用に使用されることが提案されてきた。例えば、その特許出願の内容を本願明細書中に援用するものとする特許文献１には、視差画像、奥行きマップ、およびテンプレート照合法を用いて対象物（潜在的な脅威）を検知し、かつ分類する方法が開示されている。下記特許文献１が教示するものは非常に有効であるが、その潜在的な脅威の検知方法は全てのアプリケーションにおいて最適な方法であるという訳ではない。
【０００６】
[0006]そのため、当技術分野では、衝突を検知し回避するために、立体視を使用する新規の技術が必要とされている。
【発明の概要】
【０００７】
[0007]本発明の一実施形態によれば、立体視に基づく衝突検知方法が提供される。
【０００８】
[0008]本発明の別の実施形態によれば、本発明による立体視に基づく衝突回避システムには、視野内の車両を検知するために処理する画像を生成する立体カメラを含む。そのような処理には、潜在的な脅威の大きさ、速度、方向を決定すること、および検知した潜在的な脅威によって示された衝突の脅威を評価することを含む。
【０００９】
[0009]上述した本発明の特徴を達成し、詳細に理解できるように、添付の図面に図示した本発明の実施形態を参照すれば、上記に概要を要約した本発明のより詳細な説明が得られる。
【００１０】
[0010]なお、添付の図面は、本発明の典型的な実施形態を図示するものであり、それにより、本発明の範囲を制限するものではなく、本発明は、他の同等に有効な実施形態でもよい。
【詳細な説明】
【００１１】
[0019]衝突回避システムに必要な基本要件は、例えば、ホスト車両などのプラットホームに対する実際の衝突の脅威を検知することである。ホスト車両（プラットホーム）は、差し迫った衝突を一旦検知すると、その衝突を回避し、及び、又は衝突による損害を緩和するための動作をする。実施される特定の測定法が、与えられた条件下で適切なものであるかどうかを決定するために、潜在的な脅威の大きさ、位置、および動きに関する情報が有益である。
【００１２】
[0020]本発明の原則による衝突検知システムは、潜在的な脅威の大きさや動きを推定し、これら脅威の大きさ、高さ、幅などの様々な特性を決定し、潜在的な脅威を分類し、前回推定した位置、動き、および特性に基づいて差し迫った衝突を識別する。衝突の検知は、高速で走行する車両に関わることが多く、本発明の原則による衝突検知システムは、広範囲にわたる潜在的な脅威、照明条件、および他の状況に対応するために十分に頑強で効率的に完成されたアルゴリズムを組み込んでいる。
【００１３】
[0021]図１は、本発明の原則による衝突検知システム１０２を有するホスト車両１００の概略図を示す。本システムは、車両１００が隣接する場面１０４内における潜在的な脅威を検知する。この場面には、車両１１０のような図１に示す潜在的な脅威とともに、歩行者１０３などの脅威ではない対象物を含んでもよい。図１は、ホスト車両１００の正面の場面１０４を示しているが、他の衝突検知システムでは、ホスト車両１００の後方や、側面の場面を撮像することもできる。衝突検知システム１０２は、画像プロセッサ１０８に連結した立体視撮像装置１０６を使用する。立体視撮像装置１０６は、歩行者１０３および車両１１０を含む視野を有する。
【００１４】
[0022]図２は、衝突検知システム１０２を実行するために用いるハードウェアのブロック図を示す。立体視撮像装置１０６は、可視波長において作動する一対のカメラ２００および２０２を備える。これらのカメラは、情報源である場面１０４の立体画像を生成できるように、相互に既知の関係を有する。画像プロセッサ１０８は、画像プリプロセッサ２０６、中央処理装置（CPU）２１０、補助回路２０８、およびメモリ２１７を備える。画像プリプロセッサ２０６は、一般に、センサ・アレイ１０６からの立体像を取得し、デジタル化し、そして処理するための回路構成を備える。画像プリプロセッサ２０６は、ピラミッド・ビジョン・テクノロジー（プリンストン、ニュージャージー州）が製造するアカディア ITM（Ａｃａｄｉａ ITM）という型のプロセッサなどのシングル・チップ・ビデオ・プロセッサでもよい。
【００１５】
[0023]画像プリプロセッサ２０６からの処理済み画像は、ＣＰＵ２１０に連結される。ＣＰＵ２１０には、現在利用可能な多くの高速マイクロコントローラあるいはマイクロプロセッサの何れかを備えていてもよい。ＣＰＵ２１０は、一般に当業者には既知である支持回路２０８によって支えられている。これらの回路は、キャッシュ、電源、クロック回路、入出力回路などを含む。メモリ２１７もＣＰＵ２１０に連結される。メモリ２１７は、ＣＰＵ２１０および画像プリプロセッサ２０６に実行され、本発明の操作を容易にする、特定のソフトウェアのルーチンを保存する。また、メモリは、本発明で利用する情報の特定のデータベース２１４、およびセンサ・アレイ１０６からの画像の処理に用いる画像処理ソフトウェア２１６を保存する。本発明は、一連の方法の手順という文脈で説明されるが、その方法は、ハードウェア、ソフトウェア、あるいはハードウェアおよびソフトウェアの組み合わせで実行してもよい。
【００１６】
[0024]図３は、衝突が差し迫ったものであるかどうかを決定する機能モジュールのブロック図である。カメラ２００および２０２は、立体画像プリプロセッサ３００に立体画像を提供する。立体画像プリプロセッサ３００は、カメラ２００および２０２を補正し、立体像を撮像、デジタル化し、その画像をワープし整列させ、ピラミッド・ウェーブレット分解を行い、多重解像度の視差画像を生成する。カメラの補正によって、全ての距離および角度を決定する基準点および基準方向が提供されるため、カメラの補正は重要である。特に、各カメラを分けることが重要で、なぜならば、視差画像には、左の画像から右の画像へ点別の動きを含むためである。算出された潜在的な脅威の格差が大きければ大きいほど、カメラ２００および２０２に対して脅威がより近い。前処理を行った後、奥行きマップ生成部３０２は、奥行きマップを作成する。奥行きマップは、各画像点を表すデータを含み、それぞれの点は、カメラ２００および２０２から場面１０４内の点までの特定の距離を表す。奥行きマップは、以下に説明する手順を用いて衝突が差し迫ったものであるかどうかを検知する衝突検知部３０４に使用される。
【００１７】
[0025]図４は、衝突検知システム１０２の動作の流れ図を示す。ステップ３０２および２０４において、カメラ２００および２０２は、ステップ３０６において処理する左右の画像ストリーム入力を提供し、図３を参照して説明した方法を用いて立体奥行きマップを形成する。立体奥行きデータが利用可能な場合、ステップ３０８において、脅威検知および分割のアルゴリズムは、立体奥行きデータ中、そして場面１０４中の潜在的な脅威を検知する。（図１参照）。脅威検知および分割を行うステップ３０８は、立体奥行きデータにおける潜在的な脅威の「境界ボックス」に戻る。ステップ３０８で用いられる脅威検知および分割のアルゴリズムのより詳細な説明を以下に述べる。
【００１８】
[0026]一旦「境界ボックス」が取得されると、潜在的な脅威の特性が、立体奥行きデータから得られる。ステップ３１０において、潜在的な脅威の大きさおよび高さが決定され、ステップ３１２において、潜在的な脅威の相対的位置が決定される。そして、ステップ３１４および３１６において、潜在的な脅威に対する速度推定値を提供する速度推定アルゴリズムを実施する。これら特性を決定する詳細を以下に述べる。
【００１９】
[0027]ステップ３１０、３１２、および３１４乃至３１６において決定した全ての特性は、立体奥行きデータから得られた推定値であり、これらには、画像ノイズが含まれる。このノイズの影響を低減するために、これらの特性推定値は、タイム・フィルタにかけられる。より詳細には、ステップ３１８において、位置および速度の測定値は、カルマン・フィルタにかけられ、一方、ステップ３２０においては、ローパス・フィルタによって他の推定値からノイズを取り除く。フィルタリングのより詳細な説明は、以下に述べる。ローパス・フィルタにかけた後、ステップ３２２において、そのローパス・フィルタにかけた推定値は検出された閾値である。閾値検出では、潜在的な脅威の一覧から小さい対象物および大きい対象物を削除する。
【００２０】
[0028]フィルタにかかった大きさ、位置、および速度推定値が一旦分かると、ステップ３２４において、衝突回避システム１０２が、潜在的な脅威の軌道解析および衝突予測を実施する。この解析は、ステップ３２２からの閾値の決定と組み合わせて、ステップ３２６において、潜在的な脅威と共に差し迫った衝突が起こりそうであるかどうかの最終判断を行うために用いられる。
【００２１】
[0029]図５は、ホスト車両１００が潜在的な脅威１１０を差し迫った衝突の脅威として認識した場合の衝突シナリオの上面図を示す。接近する経路４０２は、直線Ｃ−Ｄで表されており、ＣおよびＤは、潜在的な脅威１１０およびホスト車両１００の衝突接触点をそれぞれ表す。点ＡおよびＢは、ステップ３１０および３２０において決定した潜在的な脅威１１０の縁を表す。点Ａ、Ｂ、Ｄの位置および横、縦の速度が一旦分かれば、Ｃの位置を算出することができる。
【００２２】
[0030]脅威検知および分割のステップ３０８に戻ると、このステップは、ステップ３０６で算出した立体奥行きマップを処理する手順を用いて（図６で図示）実施される。脅威検知および分割は、立体奥行きマップにおける各画素が、対象物を抽出することができる関連した３次元の位置を有するという原則に基づいている。しかしながら、立体奥行きマップは、ノイズが多く、低密度であることが多い。図６に示したフローチャートは、ステップ３０６で取得した立体奥行きマップデータから始まる。このデータは、ステップ６０２において、パッチ格子に碁盤目状にされる。ステップ６０４において、パッチ毎に、（以下の説明するような方法によって）特定のパッチ内のデータ点を通して平面を貼り合わせる。そして、各パッチを事前に規定したタイプに分類する。事前に規定したこれらのタイプは、各パッチの３次元の位置、および貼り合わせた平面の法線ベクトルに基づいている。事前に規定したタイプには、広くは、潜在的な脅威を表しているもの、潜在的な脅威を表す可能性がありそうなもの、潜在的な脅威を表していそうにないものの３つの一般的な種類がある。ステップ６０４につき、以下詳細に説明する。
【００２３】
[0031]また図６を参照すると、ステップ６０６において、グループ分けの手順は、分類に基づいてパッチをグループ化する。混同パッチ（以下に説明する分類タイプのひとつ）の影響を低減するために、グループ化の手順には、２つのグループ化がある。第１のグループ化では、車両側および車両上部（以下参照）として分類されたパッチがグループ化される。これらのパッチは、潜在的な脅威をカバーする。第１のグループ化の後、第２のグループ化で、混同パッチ（通常、脅威となる車両の境界にある追加パッチ）があれば、潜在的な脅威に追加する。グループ化の後は、ステップ６０８において、分類されたパッチが集合し、境界ボックスを形成する。なお、ステップ６０６の第２のグループ化は、潜在的な脅威の境界において、境界ボックスの集合化を向上させる。
【００２４】
[0032]図７は、面フィッティングおよびパッチ分類のステップ６０４をより詳細に説明する図である。面フィッティングは、パッチの分類に重要な平面法線を生成するために用いられる。ステップ７０２において、パッチを選択する。そして、立体データ中のデータ不足による問題を緩和するために、ステップ７０４において、パッチが局所的に動き、パッチの元の場所に近い最も立体密度の高い領域を探す。これにより、面フィッティングの際にエラー増加などの問題を引き起こす、立体データ中の孔の影響が低減する。有効な３次元の位置推定値を持たない画素を表す孔は、立体画像データにおける鏡面性、テクスチャ不足、または他の要因によって引き起こされる。また、画素の３次元位置には、時には深刻なノイズや異常値を含み、そのために問題を引き起こす可能性もある。容易に認識可能なノイズや異常値は、立体データから削除することもできる。そして、ステップ７０６において、パッチが十分に稠密であり、利用可能であるかどうかの決定が成される。もし、十分でなければ、ステップ７０８において、十分に稠密でないパッチを破棄する。このように、衝突回避システム１０２においては、全てのパッチを使用することはない。
【００２５】
[0033]また、図７を参照すると、ステップ７１０において、保持するパッチ毎に、そのパッチ用立体画像データ点の部分集合を、パッチの面フィッティングやパッチ法線の決定に用いる。例えば、全範囲の８０％台半ばの奥行き値を有する画素のみを使用することができる。これにより、結果を歪めてしまうのを防ぐ為、立体データにおける、起こりうる異常値を取り除くことができる。面フィッティングは、立体データからパッチの距離毎のオフセットを取り除くことから始まる。これにより、結果としてのパッチ平面は、パッチの中心に原点がある所望の平面方程式である方程式ａｘ＋ｂｙ＋ｃｚ＝０を、平面上の任意の点である３次元の位置（ｘ、ｙ、ｚ）が満たすような平面となる。そして、選択された各パッチの部分集合の３次元点を通して貼り合わせ、所望のパッチ平面を形成する。結果としてパッチ平面は、全ての点において、以下のとおりである。
[0034]Ａｘ＝０
[0035]ここで、ｘ＝（ａ、ｂ、ｃ）は、平面法線であり、Ａは、全ての行における点毎のパッチの中心軌跡に対する３次元座標を有する３行列によるＮである。Ａｘ＝０の最小平方解により、パッチの（表面の）法線ベクトルが求められる。表面の法線ベクトルを算出するために、計算的に有効な方法は、特異値分解（ＳＶＤ）を行列ＡＴＡに適用することによって行列ＡＴＡの第３固有ベクトルを算出する方法である。高速ＳＶＤアルゴリズムは、対象の行列である正半定値行列のためのものである。
【００２６】
[0036]一旦、平面法線が求められると、ステップ７１２において、衝突検知にパッチを使うかどうかの決定が成される。この決定は、以下のタイプのひとつとして分類されるパッチの分類に基づく。
[0037]パッチが負の高さを有する場合は、負のパッチ、
[0038]パッチの高さが閾値を下回り、かつ、垂直法線を有する場合は、基底パッチ、
[0039]パッチの距離が対象範囲外の場合、遠方パッチ、
[0040]パッチの高さが対象範囲外の場合、高いパッチ、
[0041]高さは基底に近いが垂直法線でない場合、または、高さは閾値より高いが垂直法線を有する場合は、境界パッチ、
[0042]高さが閾値より高く垂直法線を有さない場合は、車両側パッチ、あるいは、
[0043]高さが閾値より高く略垂直法線を有する場合は、車両上部パッチ
【００２７】
[0044]パッチの分類は、（平面法線によって決定される）パッチの方向、高さ制限、およびその位置に基づく。複数の基準を用いて分類することで、立体画像データ中のノイズの影響を緩和することができる。分類時に使用する正確な閾値は、カメラ２００および２０２の補正パラメータおよび場面１０４の潜在的な脅威によって決まる。多くの場合においては、車両側パッチあるいは車両上部パッチと分類されたパッチは、実際、潜在的な脅威からのものである。このように、車両側および車両上部という分類は、潜在的な脅威からのものであるという一般的な種類を意味する。混同パッチは、基底および潜在的な脅威の混在する部分を含む境界パッチである場合が多い。このように、混同パッチは、潜在的な脅威を表すかもしれない一般的な種類を表す。パッチが、車両側、車両上部、または混同パッチでない場合、そのパッチは、潜在的な脅威からのものではなさそうであり、そのため、ステップ７１４において破棄される。しかしながら、パッチが、車両側、車両上部、または混同パッチである場合は、ステップ７１６において、潜在的な脅威の一部であるとして印が付けられる。最終的には、ステップ７１６、７１４、または７０８の後、ステップ７１８において、さらに分類するパッチがあるかどうかの決定が成される。分類するパッチがある場合は、ステップ６０４は、ステップ７０２に戻り、他のパッチを選択する。そうでなければ、方法３００は、ステップ６０６に進む。
【００２８】
[0045]潜在的な脅威の高さ、大きさ、および位置は、境界ボックスから直接測定することができる。特に、潜在的な脅威の左右の境界は、よりよい推定値が得られるように経時的に決定される。
【００２９】
[0046]図８は、ステップ３１４および３１６における速度推定の方法をより詳細に示す図である。ステップ３０８において境界ボックスが求められると、潜在的な脅威の速度も推定することができる。まず、ステップ８０２において、異なった時間フレームにおける場面１０４の画像が得られる。このことは、図４に示した直線３１３によっても示されている。そして、ステップ８０２において、選択した潜在的な脅威の２次元の対応点を、異なった時間フレームの「特徴照合法」を用いて決定し、時間全体における２次元の対応点を確立する。Ｄ.ニスター（Ｄ．Ｎｉｓｔｅｒ）著、「動作アルゴリズムからの５点構造（Ｆｉｖｅ ｐｏｉｎｔ ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ ａｌｇｏｒｉｔｈｍ）」サーノフ社（Ｓａｒｎｏｆｆ Ｃｏｒｐｏｒａｔｉｏｎ）、公開発明番号１４８３１を参照されたい。２次元の対応点のみによって、潜在的な脅威の角速度を決定することができる。
【００３０】
[0047]２次元の対応点が利用可能になると、ステップ８０６において、同じ特徴の組みに対する３次元の対応点を、異なった時間フレームにおける特徴の同じ組みの奥行き変化を用いて比較的容易に求めることができる。これにより、２組のデータ点であるＰｉおよびＱｉを生成することができる。ここで、ｉ＝１．．．Ｎ、および
[0048]Ｑｉ＝ＲＰｉ＋Ｔ＋Ｖｉが成り立つ。
[0049]ここで、Ｎは、データ点の数、Ｒは、回転行列、Ｔは、３次元変換行列、およびＶｉは、ノイズである。
【００３１】
[0050]２組の対応するデータ点が得られると、ステップ８０８において、３次元の速度推定値が得られる。標準的な方法では、Ｎが２よりも大きい場合の最適な回転および平行移動の動きを解く。例えば、Ｋ．アルン、Ｔ．フアン、およびＳ．ボルスタイン（Ｋ．Ａｒｕｎ、Ｔ．Ｈｕａｎｇ、ａｎｄ Ｓ．Ｂｏｌｓｔｅｉｎ）著、「２組の３次元点の最小二乗フィッティング(Ｌｅａｓｔ−ｓｑｕａｒｅ Ｆｉｔｔｉｎｇ ｏｆ Ｔｗｏ ３Ｄ Ｐｏｉｎｔ Ｓｅｔｓ)」、ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌ． Ｍａｃｈｉｎｅ Ｉｎｔｅｌ．、１９８７年、第９巻、第５号、ｐ．６９８を参照されたい。自動車の衝突回避のために、平行移動だけを評価することが有効な場合が多い。その場合、平行移動だけを推定する必要がある。しかしながら、Ｋ．アルン、Ｔ．フアン、およびＳ．ボルスタインが教示する方法をそのまま実施すると、３次元の対応点データには、深刻なノイズおよび異常値を含むため、幾分粗悪な結果が導かれる。そのため、ステップ８０８では、より頑強な方法である、ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ）に基づいた速度推定法を用いる。その一般的なアルゴリズムは、
[0051]１．３次元の対応データセットからｋ点を選択する。
[0052]２．Ｔ（任意にＲ）を解く。
[0053]３．どのくらいの（Ｎ中の）点が許容内に収まるかを調べ、それをＭと呼ぶ。
[0054]４．Ｍ／Ｎが十分大きい場合、結果を受け付け、終了する。そうでなければ、
[0055]５．１から４までをＬ回繰り返すか、Ｍ／Ｎが十分大きくなるまで繰り返す。
[0056]６．失敗
【００３２】
[0057]ＩＣＰ（逐次最近点）などのアルゴリズムを用いて、直接、奥行き画像から３次元の対応点を導き出すことができる。しかし、直接、３次元の対応点を導くことは、計算上非効率であり、立体画像データ中のノイズの影響を受ける。３次元の対応点は、ホスト車両１００に対する潜在的な脅威の近づく速度を提供する。
【００３３】
[0058]上述したように、立体データにおけるノイズを低減するために、全ての測定値にフィルタリングを適用する。潜在的な脅威の大きさや高さなどの一定量の測定値は、標準的なローパス・フィルタを用いてフィルタにかける。位置や速度測定値などの変化するパラメータは、カルマン・フィルタを用いてフィルタにかける。カルマン・フィルタには、システム・モデルが必要となり、一定速度モデルを、ガウス・ホワイト・ノイズとしてモデル化した加速度に用いる。システムの動きは、以下の式のように書き表すことができる。
【数１】
【００３４】
[0059]全ての変数は（下記に説明するものを除いては）直接測定可能であり、そのため、観測方程式はそれ自身が変数であり、ガウス・ホワイト・ノイズとしてモデル化された不確実な測定値にすぎない。観測行列は、単に単位行列にすぎない。
【００３５】
[0060]問題は、潜在的な脅威の左境界または右境界、あるいはその両方がカメラ視野の外にある場合である。このような場合、潜在的な脅威の境界は、立体奥行きマップから直接測定することができない。そのような状況においては、非常に大きな分散値を観測ノイズに割り当て、測定における不確実さを反映させる。実験は、カルマン・フィルタリングが不確実さを非常にうまく伝えることを示している。カルマン・フィルタリングは、潜在的な脅威が非常に近く、視野全体を占める場合に特に有効である。境界位置および速度の観測が非常に不確実になった場合、衝突検知システム１０２は、前に推定したシステム・モデルに依存する。
【００３６】
[0061]上記は本発明の実施形態のために成されたが、本発明の他の実施形態およびさらなる実施形態が、本発明の基本範囲を逸脱することなく実施可能であり、本発明の範囲は、次に続く特許請求の範囲によって決定される。
【図面の簡単な説明】
【００３７】
【図１】本発明の原則による立体視システムを有する車両の概略図を示す。
【図２】図１の立体視システムの電気的サブシステムを示す。
【図３】奥行きマップの生成を示す。
【図４】図２の立体視システムで用いる潜在的な脅威の検知および分割処理のフローチャートを示す。
【図５】差し迫った衝突の上部図を示す。
【図６】図４の潜在的な脅威の検知および分割処理に用いる面フィッティングおよび標識付け処理のフローチャートを示す。
【図７】図３の視覚システムに用いる速度推定処理のフローチャートを示す。
【図８】速度の推定を行うフローチャートを示す。
【特許請求の範囲】
【請求項１】
差し迫った衝突を検知する方法であって、
プラットホームに近接する場面の奥行きマップを画像から生成するステップと、
前記奥行きマップにおける潜在的な脅威を検知するステップと、
前記検知した潜在的な脅威の大きさを推定するステップと、
前記検知した潜在的な脅威の位置を推定するステップと、
前記検知した潜在的な脅威の速度を推定するステップと、
前記推定した位置および前記推定した速度を用いて前記検知した潜在的な脅威の軌道解析を行うステップと、
前記軌道解析に基づいて衝突予測を行うステップと、
を含む方法。
【請求項２】
前記衝突予測および前記潜在的な脅威の前記推定した大きさに基づいて、衝突が差し迫ったものであるかどうかを決定するステップをさらに含む請求項１に記載の方法。
【請求項３】
軌道解析を行う前に、前記推定した位置をフィルタにかけ、前記推定した速度をフィルタにかけるステップをさらに含む請求項１に記載の方法。
【請求項４】
前記検知した潜在的な脅威の前記速度を推定するステップは、異なった時間フレームにおいて生成した画像から２次元の特徴対応点を識別するステップを含む請求項１に記載の方法。
【請求項５】
前記検知した潜在的な脅威の前記速度を推定するステップは、前記２次元の特徴対応点および前記奥行きマップから３次元対応点を求めるステップをさらに含む請求項４に記載の方法。
【請求項６】
前記奥行きマップにおける潜在的な脅威を検知するステップは、
前記奥行きマップを多くのパッチへと碁盤目状にするステップと、
以下に続く処理用の複数のパッチを選択するステップと、
前記複数のパッチの各パッチに平面を貼り合わせるステップと、
各平面ごとに法線ベクトルを取得するステップと、
前記複数のパッチの各パッチを、各パッチの取得された前記法線ベクトルに基づいて、潜在的な脅威を表しそうなパッチを表す種類、潜在的な脅威を表す可能性のあるパッチを表す別の種類、および潜在的な脅威を表しそうにないパッチを表す別の種類に分類するステップと
を含む請求項１に記載の方法。
【請求項７】
潜在的な脅威を表しそうなパッチをグループ化するステップをさらに含む請求項６に記載の方法。
【請求項８】
場面の画像を生成する１対の立体カメラと、
前記画像を前処理する立体画像プリプロセッサと、
前処理した前記画像から奥行きマップを生成する奥行きマップ生成部と、
前記奥行きマップおよび前記画像から衝突が差し迫ったものであるかどうかを決定する衝突検知部とを備え、
前記衝突検知部は、前記奥行きマップにおける潜在的な脅威を検知し、
前記衝突検知部は、前記潜在的な脅威の大きさ、位置、および速度を推定し、
前記衝突検知部は、推定した前記位置および推定した前記速度を用いて検知した前記潜在的な脅威の軌道解析を行い、
前記衝突検知部は、前記軌道解析に基づいて衝突を予測し、
前記衝突検知部は、前記衝突予測および推定した前記大きさに基づいて衝突が差し迫ったものであるかどうかを決定する衝突検知システム。
【請求項９】
前記衝突検知部は、軌道解析を行う前に、前記推定した位置および前記推定した速度から画像ノイズおよび異常値を取り除くフィルタを含む請求項８に記載の衝突検知システム。
【請求項１０】
ホスト車両をさらに含み、前記１対のカメラが、前記ホスト車両に対し、定位置に搭載されている請求項８に記載の衝突検知システム。
【請求項１】
差し迫った衝突を検知する方法であって、
プラットホームに近接する場面の奥行きマップを画像から生成するステップと、
前記奥行きマップにおける潜在的な脅威を検知するステップと、
前記検知した潜在的な脅威の大きさを推定するステップと、
前記検知した潜在的な脅威の位置を推定するステップと、
前記検知した潜在的な脅威の速度を推定するステップと、
前記推定した位置および前記推定した速度を用いて前記検知した潜在的な脅威の軌道解析を行うステップと、
前記軌道解析に基づいて衝突予測を行うステップと、
を含む方法。
【請求項２】
前記衝突予測および前記潜在的な脅威の前記推定した大きさに基づいて、衝突が差し迫ったものであるかどうかを決定するステップをさらに含む請求項１に記載の方法。
【請求項３】
軌道解析を行う前に、前記推定した位置をフィルタにかけ、前記推定した速度をフィルタにかけるステップをさらに含む請求項１に記載の方法。
【請求項４】
前記検知した潜在的な脅威の前記速度を推定するステップは、異なった時間フレームにおいて生成した画像から２次元の特徴対応点を識別するステップを含む請求項１に記載の方法。
【請求項５】
前記検知した潜在的な脅威の前記速度を推定するステップは、前記２次元の特徴対応点および前記奥行きマップから３次元対応点を求めるステップをさらに含む請求項４に記載の方法。
【請求項６】
前記奥行きマップにおける潜在的な脅威を検知するステップは、
前記奥行きマップを多くのパッチへと碁盤目状にするステップと、
以下に続く処理用の複数のパッチを選択するステップと、
前記複数のパッチの各パッチに平面を貼り合わせるステップと、
各平面ごとに法線ベクトルを取得するステップと、
前記複数のパッチの各パッチを、各パッチの取得された前記法線ベクトルに基づいて、潜在的な脅威を表しそうなパッチを表す種類、潜在的な脅威を表す可能性のあるパッチを表す別の種類、および潜在的な脅威を表しそうにないパッチを表す別の種類に分類するステップと
を含む請求項１に記載の方法。
【請求項７】
潜在的な脅威を表しそうなパッチをグループ化するステップをさらに含む請求項６に記載の方法。
【請求項８】
場面の画像を生成する１対の立体カメラと、
前記画像を前処理する立体画像プリプロセッサと、
前処理した前記画像から奥行きマップを生成する奥行きマップ生成部と、
前記奥行きマップおよび前記画像から衝突が差し迫ったものであるかどうかを決定する衝突検知部とを備え、
前記衝突検知部は、前記奥行きマップにおける潜在的な脅威を検知し、
前記衝突検知部は、前記潜在的な脅威の大きさ、位置、および速度を推定し、
前記衝突検知部は、推定した前記位置および推定した前記速度を用いて検知した前記潜在的な脅威の軌道解析を行い、
前記衝突検知部は、前記軌道解析に基づいて衝突を予測し、
前記衝突検知部は、前記衝突予測および推定した前記大きさに基づいて衝突が差し迫ったものであるかどうかを決定する衝突検知システム。
【請求項９】
前記衝突検知部は、軌道解析を行う前に、前記推定した位置および前記推定した速度から画像ノイズおよび異常値を取り除くフィルタを含む請求項８に記載の衝突検知システム。
【請求項１０】
ホスト車両をさらに含み、前記１対のカメラが、前記ホスト車両に対し、定位置に搭載されている請求項８に記載の衝突検知システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２００７−５２７５６９（Ｐ２００７−５２７５６９Ａ）
【公表日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願番号】特願２００６−５１８８３５（Ｐ２００６−５１８８３５）
【出願日】平成１６年７月２日（２００４．７．２）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２１５４８
【国際公開番号】ＷＯ２００５／００４４６１
【国際公開日】平成１７年１月１３日（２００５．１．１３）
【出願人】（５９９１３４０１２）サーノフ コーポレーション (59)
【出願人】（５０６００６２３４）
【Ｆターム（参考）】
【公表日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願日】平成１６年７月２日（２００４．７．２）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２１５４８
【国際公開番号】ＷＯ２００５／００４４６１
【国際公開日】平成１７年１月１３日（２００５．１．１３）
【出願人】（５９９１３４０１２）サーノフ コーポレーション (59)
【出願人】（５０６００６２３４）
【Ｆターム（参考）】
[ Back to top ]