障害物検出装置および方法
【課題】 レーダと画像認識とを融合させて、精度良く先行車両を認識することを可能とした障害物検出装置および方法を提供する。
【解決手段】 前方カメラで取得した画像についてエッジ検出を行い、そのうち白線に対応するエッジを除去して障害物エッジとする。レーダによる検出結果を基にしてレーダで検出した障害物位置に応じて所定の幅の領域を所定数に等分して各領域の障害物エッジ数からヒストグラムＨ（ｔ）を算出する。Ｈ（ｔ）と前回のタイムステップのヒストグラムＨ（ｔ−Δｔ）を比較して、時間的連続性を満たすヒストグラム値を抽出して抽出ヒストグラムＨ’（ｔ）とし、これと前回のタイムステップにおける抽出ヒストグラムＨ’（ｔ−Δｔ）を比較して、時間的連続性を満たす領域から障害物を判定する。
【解決手段】 前方カメラで取得した画像についてエッジ検出を行い、そのうち白線に対応するエッジを除去して障害物エッジとする。レーダによる検出結果を基にしてレーダで検出した障害物位置に応じて所定の幅の領域を所定数に等分して各領域の障害物エッジ数からヒストグラムＨ（ｔ）を算出する。Ｈ（ｔ）と前回のタイムステップのヒストグラムＨ（ｔ−Δｔ）を比較して、時間的連続性を満たすヒストグラム値を抽出して抽出ヒストグラムＨ’（ｔ）とし、これと前回のタイムステップにおける抽出ヒストグラムＨ’（ｔ−Δｔ）を比較して、時間的連続性を満たす領域から障害物を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車両の進路上の障害物を検出する検出装置および方法に関し、特に、レーダとカメラで取得した画像を認識する画像認識装置とを併用して障害物を検出する障害物検出装置および方法に関する。
【背景技術】
【０００２】
レーダや画像センサを用いて車両前方の障害物、特に先行車両や対向車両を検知する技術が知られている。ところで、レーダを用いた障害物検出と、画像センサを用いた障害物検出にはそれぞれ一長一短があり、いずれか一方のみでは検出を精度良く安定して行うことが難しい。そこで、特許文献１に記載されているように両者を融合することで障害物を精度良く安定して検出する技術が知られている。
【０００３】
特許文献１に記載されている技術では、画像処理によって導出されるエッジヒストグラムに基づく照合パターンと、レーザレーダにより特定される反射点の分布パターンとを生データの段階で融合し、固有空間法により次元圧縮して融合パターンを生成する。生成した融合パターンと登録されている辞書パターンとを照合することにより、前方車両か否かを判別する。前方車両と判定された車両候補領域については、カルマンフィルタによる動き予測を行うことで、次回の照合処理に利用する。
【特許文献１】特開２００３−９９７６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような融合パターンを用いた手法では、路上の物体、例えば工事用路上鉄板等はエッジヒストグラムに基づく照合パターンと反射点の分布パターンとが近似しているために、その融合パターンが辞書パターンに一致しやすくなり、走行に支障のない物を障害物と誤認識する可能性がある。
【０００５】
そこで本発明は、レーダと画像認識とを融合させて、精度良く先行車両を認識することを可能とした障害物検出装置および方法を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明にかかる障害物検出装置は、レーダと画像認識を併用して進路上の障害物を検出する障害物検出装置において、（１）レーダで検出した障害物位置情報を基にして画像認識における処理対象領域を設定する手段と、（２）処理対象領域中の障害物エッジを抽出する手段と、（３）該処理対象領域を水平方向に等間隔で所定数に分割し、エリア内の抽出障害物エッジの配置状態から分割エリアに対する抽出障害物エッジのヒストグラムを作成する手段と、（４）作成したヒストグラムを記憶する手段と、（５）格納されている前回のヒストグラムと今回求めたヒストグラムとを比較して対応関係を満たすヒストグラムを抽出する手段と、（６）抽出後のヒストグラムを記憶する手段と、（７）格納されている前回の抽出後のヒストグラムと今回の抽出後のヒストグラムとを比較して所定の対応関係を満たす場合に障害物ありと判定する手段と、を備えていることを特徴とする。
【０００７】
一方、本発明にかかる障害物検出方法は、レーダと画像認識を併用して進路上の障害物を検出する障害物検出方法において、（１）レーダで障害物位置を検出する工程と、（２）検出した障害物位置情報を基にして画像認識における処理対象領域を設定する工程と、（３）設定した処理対象領域中の障害物エッジを抽出する工程と、（４）処理対象領域を水平方向に等間隔で所定数に分割し、エリア内の抽出障害物エッジの配置状態から分割エリアに対する抽出障害物エッジのヒストグラムを作成する工程と、（５）作成したヒストグラムを記憶手段に格納する工程と、（６）記憶手段に格納されている前回のヒストグラムと今回求めたヒストグラムとを比較して対応関係を満たすヒストグラムを抽出する工程と、（７）抽出後のヒストグラムを記憶手段に格納する工程と、（８）記憶手段に格納されている前回の抽出後のヒストグラムと今回の抽出後のヒストグラムとを比較して所定の対応関係を満たす場合に障害物ありと判定する工程と、を備えていることを特徴とする。
【０００８】
本発明にかかる障害物検出装置あるいは方法においては、レーダの検出結果を基にして画像認識において障害物エッジを抽出するエリアである処理対象領域を設定する。この処理対象領域内で障害物エッジを抽出し、領域を水平方向に複数の区画に分割して障害物エッジのヒストグラムを作成する。そしてヒストグラムの時間的変化からヒストグラム自体の妥当性を検証し、検証後（抽出後）のヒストグラムの時間変化が予想されている
障害物エッジが障害物を表しているか否かを判定する。
【０００９】
この処理対象領域中の障害物エッジを抽出する場合は、道路上の白線に起因すると予想されるエッジを除去することが好ましい。道路上の白線に起因すると予想されるエッジを予め除去することで、抽出障害物エッジは、白線情報を含まないものとなる。
【発明の効果】
【００１０】
本発明によれば、レーダ検出結果に基づいて画像処理の処理対象領域を設定し、対象領域内の障害物エッジを抽出して、そのヒストグラムの時間変化により、ヒストグラムの検証を行っているため、一時的に発生する画像ノイズ等を確実に除去することができる。さらに、このような検証によりノイズを除去したヒストグラムの時間的変化を追跡することで、レーダ検出結果から予想される時間変化の範囲内にとどまるか否かを検証することにより障害物に基づくエッジを抽出することができる。
【００１１】
例えば、車両に基づくヒストグラムは規則的な時間変化を示すが、路上鉄板等の障害物は、不規則な変化を示す。このため、路上鉄板等の影響を除去して、先行車両等を精度良く安定的に認識することができる。
【００１２】
また、白線（道路区画線）情報を予め除去しておくことで、道路区画線の影響を受けることなく、より精度良く先行車両等を認識することができる。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１４】
図１は、本発明にかかる障害物検出装置を備えた車両の制御系のブロック構成図であり、図２は、それを搭載した車両を示す斜視図である。この障害物検出装置１００は、障害物認識ＥＣＵ１と、車両前方の画像を取得する前方カメラ２と、車両前方を探索するレーダ３とを有する。障害物認識ＥＣＵ１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、前方カメラ２で取得した画像の画像処理を行う画像処理部１１と、レーダ３の探索結果を処理するレーダ処理部１２と、処理結果を基にして障害物の有無を判定する判定部１４と、判定に際して必要な情報を蓄積しておく記憶手段１３とを備えている。障害物認識ＥＣＵ１内の画像処理部１１、レーダ処理部１２、記憶手段１３、判定部１４は、完全に独立したハードウェアに限られるものではなく、その一部または全部が他の処理部、手段とハードウェアの一部または全部を共用していてもよい。つまり、同一のハードウェアを複数または一つのソフトウェアにより実現することが可能である。
【００１５】
障害物認識ＥＣＵ１は、車内ＬＡＮ４を介してモニター５１、スピーカー５２、車両挙動制御ＥＣＵ５３、エンジンＥＣＵ５４、プリクラッシュシステムＥＣＵ５５等が接続されている。
【００１６】
前方カメラ２は、図２に示されるように車両２００のフロントウィンドウ上部（例えば、バックミラーの裏側）に配置されており、車両２００前方の画像、つまり、車両前方の走行レーン３００の画像（区画線３０１を含む。）を取得するものである。また、レーダ３は、例えば、レーザレーダやミリ波レーダであって車両２００のフロントグリル部分に配置され、車両２００前方の所定の高さで、所定の角度の水平面内に存在する物体を検知するものである。
【００１７】
図３、図４は、前方カメラ２の撮像範囲Ｉ０とそのうちの画像処理領域ＩＰを説明する図である。前方カメラ２は車両の高さＸ１の位置に配置され、水平方向の画角が３０度程度、垂直方向の画角が２０度程度となるように配置されている。
【００１８】
画像処理の対象領域であるＩＰは、前方カメラ２の先端から所定距離Ｙ１手前で高さＸ３〜Ｘ２の領域であり、水平画角が３５度程度となるように設定されている。この場合、路上での対象領域ＩＰの位置はカメラ前方Ｙ３〜Ｙ２となる。そして、Ｙ２＝Ｘ１Ｙ１／（Ｘ１−Ｘ２）であり、Ｙ３＝Ｘ１Ｙ１／（Ｘ１−Ｘ３）である。
【００１９】
ここで、Ｙ２が３０ｍ程度、Ｙ３が１５ｍ程度となるよう設定するとよい。例えば、Ｘ１が地上１．５ｍに設定されている場合、Ｙ１が５ｍのときに、Ｘ２が１．２５ｍ、Ｘ３が１ｍに設定されているとよい。
【００２０】
次に、この障害物検出装置による障害物検出方法（本発明にかかる障害物検出方法）について具体的に説明する。図５は、この画像処理の処理フローである。以下に説明する処理は、特に記載のない限り、障害物認識ＥＣＵ１によって行われる。
【００２１】
まず、画像処理部１１が取得した画像からエッジ抽出処理を行う（ステップＳ１）。図６は、このエッジ抽出処理の状態遷移図である。ここで、ある画素の輝度をＶcurとし、この画素の左隣の画素の輝度をＶpreとする。エッジ抽出処理は、左端画素からではなく、その右隣の画素から右側へ行う。
【００２２】
初期状態では図６に示される状態０にある。これは、エッジ未検出状態であることを示す。この状態で、Ｖcur＝Ｖpreと判定した場合には、イの経路により、エッジ未検出状態を維持する。この状態からＶcur＞Ｖpreと判定した場合には、ロの経路を通って状態１に遷移する。この状態１は、立ち上がりエッジ検出状態を意味する。また、この遷移時点の画素位置を正のピーク位置（立ち上がりエッジ）とする。状態１において、Ｖcur≧Ｖpreと判定した場合には、ハまたはニの経路を通ることで状態１を維持する。ハ、つまり、Ｖcur＝Ｖpreの場合には、直前の正のピーク位置をそのまま維持する。一方、ニ、つまり、Ｖcur＞Ｖpreの場合には、正のピーク位置を現在の画素位置に更新する。
【００２３】
状態１からＶcur＜Ｖpreと判定した場合には、ホの経路を通って状態２に遷移する。この状態２は、下がりエッジ検出状態を意味する。このとき（状態1から状態２に遷移した時点）に保持されている正のピーク位置を立ち上がりエッジ位置として記憶する。また、この遷移時点での画素位置を負のピーク位置（立ち下がりエッジ）とする。
【００２４】
状態２から、Ｖcur≦Ｖpreと判定した場合には、ヘまたはトの経路を通ることで状態２を維持する。ヘ、つまり、Ｖcur＝Ｖpreの場合には、直前の負のピーク位置をそのまま維持する。一方、ト、つまり、Ｖcur＜Ｖpreの場合には、負のピーク位置を現在の画素位置に更新する。
【００２５】
状態２からＶcur＞Ｖpreと判定した場合には、チの経路を通って状態１に遷移する。このとき（状態２から状態１に遷移した時点）に保持されている負のピーク位置を立ち下がりエッジ位置として記憶する。また、この遷移時点での画素位置を正のピーク位置とする。また、状態０からＶcur＜Ｖpreと判定した場合には、リの経路を通って状態２に遷移し、この遷移時点の画素位置を負のピーク位置とする。これにより、画像中の正負のエッジを抽出することができる。
【００２６】
抽出したエッジから白線（道路区画線）に起因すると予想されるエッジを除外する（ステップＳ２）。
【００２７】
図７は、こうして判定したライン上の正負のピーク位置（エッジ）を示した図である。この図では、上に凸の部分が正のピーク位置を下に凸の部分が負のピーク位置を示している。白線に起因すると予想されるエッジは通常正−負のエッジが所定の間隔（区画線幅）で対になっている。そこで、立ち上がりエッジ（図中のｂまたはｇ）から想定される白線幅に対応する画素数の幅（図中のｃ、ｈ）内にある立ち下がりエッジ（図中のｄ、ｅ）については、立ち上がりエッジ（図中のｂまたはｇ）とともに、白線に起因すると予想されるエッジとする。これらのエッジからは別途白線位置情報が求められる。それ以外のエッジ情報を障害物エッジ情報として保持する。
【００２８】
一方、これと並列する形でレーダ処理部１２は、レーダ３の検出結果から障害物までの距離Ｄとその横位置Ｘ（自車両の前後車軸の中心線を結ぶ線分の延長線上からの距離であり、左側に位置する場合は負、右側に位置する場合は正の値をとる。）を算出する（ステップＳ３）。この距離Ｄ、横位置Ｘは、レーダ３の反射波のピーク点に対して算出される。ステップＳ４では、レーダ処理部１２の判定結果と画像処理部１１で抽出したエッジを基にして、処理対象領域Ｉｐ中のヒストグラム算出領域を設定する。図８、図９は、このヒストグラム算出領域の例を示している。
【００２９】
レーダ３で距離Ｄ、位置Ｘにあると判定した障害物Ｓは、前方カメラ２からみると、車両からＤ’前方に位置することになる。この距離Ｄ’は、前方カメラ２とレーダ３の位置関係から算出される。そして、障害物Ｓの左右にそれぞれＷ／２ずつをとった全幅Ｗの領域をヒストグラム算出領域とし、画像処理の処理対象領域Ｉｐ中でヒストグラム算出領域の両端に存在する領域をそれぞれオフセット領域とする。左側のオフセット領域の長さをＬofflで、右側のオフセット領域の長さをＬoffrでそれぞれ表す。ここで、Ｗは例えば一般的な車両幅を上回る２．６ｍに設定するとよい。
【００３０】
そして、処理対象領域Ｉｐの画素幅Ｗｐに合わせて、ヒストグラム算出領域と各オフセット領域の幅を画素数が単位となるよう変換することで、図９に示されるように、画素に対応して各領域を設定する。ここで、オフセット領域の幅をそれぞれoffset_l、offset_rとし、ヒストグラム算出領域の幅をｗｈとする。このとき、offset_l＋ｗｈ＋offset_r＝Ｗｐが成り立つ。
【００３１】
次に、このヒストグラム算出領域を図１０に示されるように等幅のｎ個の小領域（ｈ１〜ｈｎ）に分割する（ステップＳ５）。分割数としては１０程度が好ましい。ヒストグラム算出領域の幅ｗｈがｎの倍数とならない場合には、それぞれの画素数が異なっても略同一であればよい。
【００３２】
そして、各領域について、障害物エッジのヒストグラムを算出する（ステップＳ６）。例えば、ある小領域ｈｘ中の障害物エッジ位置が図１１に示されるようになったとする。ここで、障害物エッジに対応する画素を黒で、その他の画素を白で表す。このとき、縦方向の同一列内における障害物エッジの数を加算する。領域内におけるその最大値をヒストグラムにおけるその領域の値とすればよい。もちろん、領域内における障害物エッジの総数、平均、中央値等を用いてもよい。同一列内の最大値を用いることで、各小領域の幅が完全に同一でない場合にも演算が簡単になる。これを全小領域（ｈ１〜ｈｎ）について行うことで図１２に示されるようなヒストグラムを作成する。
【００３３】
次に、各小領域の値をしきい値ＴＨ０と比較し、しきい値ＴＨ０を超える値を有する小領域の値を１、しきい値ＴＨ０以下の値を有する小領域の値を０として、ヒストグラムを更新する（ステップＳ７）。図１３は、このしきい値による判定結果を説明する図である。このときの更新ヒストグラムの値を表す配列をＨ（ｔ）とする。
【００３４】
前回のタイムステップにおける更新ヒストグラム値の配列であるＨ（ｔ−Δｔ）を記憶手段１３から読み出し（ステップＳ８）、これと、Ｈ（ｔ）とを比較して前回の更新ヒストグラム値Ｈ（ｔ−Δｔ）とで時間的連続性に基づく対応関係が満たされている小領域のヒストグラム値のみを抽出する（ステップＳ９）。
【００３５】
図１４に示されるように、Ｈ（ｔ）とＨ（ｔ−Δｔ）とで値が１となる小領域の位置を比較する。Ｈ（ｔ）において値が１となる小領域の位置がｈｍであるとき、Ｈ（ｔ−Δｔ）においてｈｍを含む左右の所定の領域、つまり、ｈｍ−Ｎ０より右側でｈｍ＋Ｎ０より左側の領域に値が１となる小領域があれば、時間的な連続性が満たされているとしてｈｍのヒストグラム値を対応関係を満たすヒストグラム値として生かし、そのような領域が存在しない場合には、時間的な連続性が満たされていないとして、ｈｍのヒストグラム値を０にした抽出ヒストグラムＨ’（ｔ）を作成する。
【００３６】
走行中に前方カメラ２で取得している連続画像は、周囲の条件の変化等の影響により、輝度条件が変化する。このため、同一の対象物であってもタイムステップによってエッジとして検出されたり、されなかったりすることがある。上述したように時間的連続性を追跡することで、前回のタイムステップでも今回のタイムステップでも検出できたエッジによるヒストグラム領域を追跡することができ、ノイズを除去することができるので、精度が向上する。ここで、時間的連続性を満たすとする小領域の位置の差（しきい値Ｎ０）は、レーダ３で検出した障害物と自車両との相対速度に応じて調整してもよい。
【００３７】
次に、前回のタイムステップにおける抽出ヒストグラムＨ'（ｔ−Δｔ）を記憶手段１３から読み出し（ステップＳ１０）、これと、Ｈ'（ｔ）とを比較して前回の抽出ヒストグラム値Ｈ’（ｔ−Δｔ）とで時間的連続性に基づく対応関係が満たされている小領域のヒストグラム値を抽出することで障害物位置を判定する（ステップＳ１１）。比較の手法はＨ（ｔ）とＨ（ｔ−Δｔ）の比較の場合と同様に行う。
【００３８】
すなわち、図１４に示されるように、Ｈ’（ｔ）とＨ’（ｔ−Δｔ）とで値が１となる小領域の位置を比較する。Ｈ'（ｔ）において値が１となる小領域の位置がｈｍであるとき、Ｈ（ｔ−Δｔ）においてｈｍを含む左右の所定の領域、つまり、ｈｍ−Ｎ１より右側でｈｍ＋Ｎ１より左側の領域に値が１となる小領域があれば、時間的な連続性が満たされているとしてｈｍを障害物位置候補と判定する。そのような領域が存在しない場合には、時間的な連続性が満たされていないとして、ｈｍのヒストグラム値は障害物位置候補でないと判定する。
【００３９】
さらに、２番目の条件として、抽出ヒストグラムＨ’（ｔ）が１となる領域が閾値（例えば２箇所）以上あるか否かを判断する。このような閾値の条件を設けることで物体が存在する可能性を確実に判定することができる。そして、Ｈ’（ｔ）が１となる領域が閾値未満の場合には、抽出したヒストグラム中に障害物はないと判定し、当該ｈｍのヒストグラム値は障害物位置候補でないと判定する。
【００４０】
３番目の条件として抽出ヒストグラムＨ’（ｔ）が１となる領域の間隔が閾値（例えば４領域）以上離れているか否かを判断する。本実施形態では２．６ｍの領域を１２分割していることから、４領域以上離れていれば、少なくとも約０．９ｍの幅を有する障害物と推定される。したがって、閾値以上離れていないヒストグラム値は障害物位置候補でないと判定し、閾値以上離れているヒストグラム値組のみを障害物位置候補と判定する。これにより、ある程度の大きさを有する障害物のみを抽出することができる。
【００４１】
続いて、障害物位置候補の有無を判定する（ステップＳ１２）。障害物位置候補が存在する場合には、さらに、障害物位置候補となるヒストグラム領域ｈｍを所定のタイムステップ回数Ｎ２以上連続して追跡できているか否かを判定する（ステップＳ１３）。連続して追跡できている場合には、障害物位置と判定し（ステップＳ１４）、連続して追跡できていない場合には、障害物位置候補のままとする。
【００４２】
走行中の車両からみた路上障害物は、その位置関係の変化に応じて画像上の位置が変化する。逆に時間的変動が通常予想される範囲を超えて不規則に変化している領域については障害物に対応していないと推定される。図１５、図１６は、この時間的連続性判断の様子を説明する図である。
【００４３】
例えば、先行車両４００が図１５（ａ）から図１５（ｂ）に示されるように接近してくる場合には、通常、先行車両４００の左右端部がエッジとして検出される。そして、先行車両４００の幅は変化しないから検出されるエッジ間の小領域の位置の差は略一定に保たれる。この結果、障害物位置候補となるヒストグラム領域（小領域）の位置の変化はほとんどない。このため、小領域の位置自体の変化量は規則的である。
【００４４】
これに対して、図１６に示される工事用の路上鉄板４１０等の場合、図１６（ａ）から図１６（ｂ）に示されるように、レーダ物標が近づいたとしても、路上鉄板４１０自体の前方カメラ２への写り方には変化がないため、ヒストグラム検出範囲の変化に応じて、小領域の位置は不規則に変化することになる。このように、領域位置の時間的な変動から障害物に対応しているか否かを精度良く判定することができる。
【００４５】
障害物位置として判定した場合には、判定した障害物位置ｈｍや相対速度に関する情報（障害物情報）を出力して（ステップＳ１５）、さらに、Ｈ（ｔ）とＨ’（ｔ）を記憶手段１３に格納し（ステップＳ１６）、処理を終了する。一方、ステップＳ１２で障害物位置候補が存在しないと判定した場合や、ステップＳ１３で連続検出回数が閾値未満で障害物位置と判定しなかった場合には、直接ステップＳ１６へと移行して、Ｈ（ｔ）とＨ’（ｔ）を記憶手段１３に格納し、処理を終了する。
【００４６】
処理終了後は、最初のステップから再び処理を繰り返すことにより、次のタイムステップのヒストグラムＨ（ｔ＋Δｔ）と抽出ヒストグラムＨ’（ｔ＋Δｔ）の処理を行う。
【００４７】
障害物情報は車内ＬＡＮ４を介して各システムに送られ、モニター５１、スピーカー５２による運転者への障害物警報や車両挙動制御ＥＣＵ５３、エンジンＥＣＵ５４、プリクラッシュシステムＥＣＵ５５による衝突回避制御や衝突衝撃緩和制御に利用される。障害物への距離や相対速度に応じて、運転者に告知、警報を発したり、衝突回避、衝突衝撃緩和制御を行ったり、前方車両への追従走行制御を行うなど所定の車両制御を実施する。
【００４８】
本発明によれば、レーダ３による障害物検出と前方カメラ２の取得画像を画像処理することによる障害物検出とを融合させて前方車両等の障害物を精度良く検出することが可能となり、障害物を利用した車両挙動制御の制御精度も向上する。
【図面の簡単な説明】
【００４９】
【図１】本発明にかかる障害物検出装置を備えた車両の制御系のブロック構成図である。
【図２】図１の車両を示す斜視図である。
【図３】前方カメラ２の撮像範囲Ｉ０とそのうちの画像処理領域ＩＰを説明する側面図である。
【図４】前方カメラ２の撮像範囲Ｉ０とそのうちの画像処理領域ＩＰを説明する図である。
【図５】本発明にかかる障害物検出方法の処理フローである。
【図６】エッジ抽出処理の状態遷移図である。
【図７】ライン上の正負のピーク位置（エッジ）を示した図である。
【図８】ヒストグラム算出領域を説明する図である。
【図９】ヒストグラム算出領域の設定を示す図である。
【図１０】ヒストグラム算出領域の分割例を示す図である。
【図１１】ヒストグラム値の算出方法を説明する図である。
【図１２】算出したヒストグラムの例を説明する図である。
【図１３】ヒストグラムのしきい値判定を説明する図である。
【図１４】ヒストグラムの時間的連続性判断を説明する図である。
【図１５】先行車両検出時のヒストグラムの時間的連続性判断を説明する図である。
【図１６】工事用路上鉄板検出時のヒストグラムの時間的連続性判断を説明する図である。
【符号の説明】
【００５０】
１…障害物認識ＥＣＵ、２…前方カメラ、３…レーダ、４…車内ＬＡＮ、１１…画像処理部、１２…レーダ処理部、１３…記憶手段、１４…判定部、５１…モニター、５２…スピーカー、５３…車両挙動制御ＥＣＵ、５４…エンジンＥＣＵ、５５…プリクラッシュシステムＥＣＵ、１００…障害物検出装置、２００…車両、３００…走行レーン、３０１…区画線、４００…先行車両、４１０…路上鉄板。
【技術分野】
【０００１】
本発明は車両の進路上の障害物を検出する検出装置および方法に関し、特に、レーダとカメラで取得した画像を認識する画像認識装置とを併用して障害物を検出する障害物検出装置および方法に関する。
【背景技術】
【０００２】
レーダや画像センサを用いて車両前方の障害物、特に先行車両や対向車両を検知する技術が知られている。ところで、レーダを用いた障害物検出と、画像センサを用いた障害物検出にはそれぞれ一長一短があり、いずれか一方のみでは検出を精度良く安定して行うことが難しい。そこで、特許文献１に記載されているように両者を融合することで障害物を精度良く安定して検出する技術が知られている。
【０００３】
特許文献１に記載されている技術では、画像処理によって導出されるエッジヒストグラムに基づく照合パターンと、レーザレーダにより特定される反射点の分布パターンとを生データの段階で融合し、固有空間法により次元圧縮して融合パターンを生成する。生成した融合パターンと登録されている辞書パターンとを照合することにより、前方車両か否かを判別する。前方車両と判定された車両候補領域については、カルマンフィルタによる動き予測を行うことで、次回の照合処理に利用する。
【特許文献１】特開２００３−９９７６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような融合パターンを用いた手法では、路上の物体、例えば工事用路上鉄板等はエッジヒストグラムに基づく照合パターンと反射点の分布パターンとが近似しているために、その融合パターンが辞書パターンに一致しやすくなり、走行に支障のない物を障害物と誤認識する可能性がある。
【０００５】
そこで本発明は、レーダと画像認識とを融合させて、精度良く先行車両を認識することを可能とした障害物検出装置および方法を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明にかかる障害物検出装置は、レーダと画像認識を併用して進路上の障害物を検出する障害物検出装置において、（１）レーダで検出した障害物位置情報を基にして画像認識における処理対象領域を設定する手段と、（２）処理対象領域中の障害物エッジを抽出する手段と、（３）該処理対象領域を水平方向に等間隔で所定数に分割し、エリア内の抽出障害物エッジの配置状態から分割エリアに対する抽出障害物エッジのヒストグラムを作成する手段と、（４）作成したヒストグラムを記憶する手段と、（５）格納されている前回のヒストグラムと今回求めたヒストグラムとを比較して対応関係を満たすヒストグラムを抽出する手段と、（６）抽出後のヒストグラムを記憶する手段と、（７）格納されている前回の抽出後のヒストグラムと今回の抽出後のヒストグラムとを比較して所定の対応関係を満たす場合に障害物ありと判定する手段と、を備えていることを特徴とする。
【０００７】
一方、本発明にかかる障害物検出方法は、レーダと画像認識を併用して進路上の障害物を検出する障害物検出方法において、（１）レーダで障害物位置を検出する工程と、（２）検出した障害物位置情報を基にして画像認識における処理対象領域を設定する工程と、（３）設定した処理対象領域中の障害物エッジを抽出する工程と、（４）処理対象領域を水平方向に等間隔で所定数に分割し、エリア内の抽出障害物エッジの配置状態から分割エリアに対する抽出障害物エッジのヒストグラムを作成する工程と、（５）作成したヒストグラムを記憶手段に格納する工程と、（６）記憶手段に格納されている前回のヒストグラムと今回求めたヒストグラムとを比較して対応関係を満たすヒストグラムを抽出する工程と、（７）抽出後のヒストグラムを記憶手段に格納する工程と、（８）記憶手段に格納されている前回の抽出後のヒストグラムと今回の抽出後のヒストグラムとを比較して所定の対応関係を満たす場合に障害物ありと判定する工程と、を備えていることを特徴とする。
【０００８】
本発明にかかる障害物検出装置あるいは方法においては、レーダの検出結果を基にして画像認識において障害物エッジを抽出するエリアである処理対象領域を設定する。この処理対象領域内で障害物エッジを抽出し、領域を水平方向に複数の区画に分割して障害物エッジのヒストグラムを作成する。そしてヒストグラムの時間的変化からヒストグラム自体の妥当性を検証し、検証後（抽出後）のヒストグラムの時間変化が予想されている
障害物エッジが障害物を表しているか否かを判定する。
【０００９】
この処理対象領域中の障害物エッジを抽出する場合は、道路上の白線に起因すると予想されるエッジを除去することが好ましい。道路上の白線に起因すると予想されるエッジを予め除去することで、抽出障害物エッジは、白線情報を含まないものとなる。
【発明の効果】
【００１０】
本発明によれば、レーダ検出結果に基づいて画像処理の処理対象領域を設定し、対象領域内の障害物エッジを抽出して、そのヒストグラムの時間変化により、ヒストグラムの検証を行っているため、一時的に発生する画像ノイズ等を確実に除去することができる。さらに、このような検証によりノイズを除去したヒストグラムの時間的変化を追跡することで、レーダ検出結果から予想される時間変化の範囲内にとどまるか否かを検証することにより障害物に基づくエッジを抽出することができる。
【００１１】
例えば、車両に基づくヒストグラムは規則的な時間変化を示すが、路上鉄板等の障害物は、不規則な変化を示す。このため、路上鉄板等の影響を除去して、先行車両等を精度良く安定的に認識することができる。
【００１２】
また、白線（道路区画線）情報を予め除去しておくことで、道路区画線の影響を受けることなく、より精度良く先行車両等を認識することができる。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１４】
図１は、本発明にかかる障害物検出装置を備えた車両の制御系のブロック構成図であり、図２は、それを搭載した車両を示す斜視図である。この障害物検出装置１００は、障害物認識ＥＣＵ１と、車両前方の画像を取得する前方カメラ２と、車両前方を探索するレーダ３とを有する。障害物認識ＥＣＵ１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、前方カメラ２で取得した画像の画像処理を行う画像処理部１１と、レーダ３の探索結果を処理するレーダ処理部１２と、処理結果を基にして障害物の有無を判定する判定部１４と、判定に際して必要な情報を蓄積しておく記憶手段１３とを備えている。障害物認識ＥＣＵ１内の画像処理部１１、レーダ処理部１２、記憶手段１３、判定部１４は、完全に独立したハードウェアに限られるものではなく、その一部または全部が他の処理部、手段とハードウェアの一部または全部を共用していてもよい。つまり、同一のハードウェアを複数または一つのソフトウェアにより実現することが可能である。
【００１５】
障害物認識ＥＣＵ１は、車内ＬＡＮ４を介してモニター５１、スピーカー５２、車両挙動制御ＥＣＵ５３、エンジンＥＣＵ５４、プリクラッシュシステムＥＣＵ５５等が接続されている。
【００１６】
前方カメラ２は、図２に示されるように車両２００のフロントウィンドウ上部（例えば、バックミラーの裏側）に配置されており、車両２００前方の画像、つまり、車両前方の走行レーン３００の画像（区画線３０１を含む。）を取得するものである。また、レーダ３は、例えば、レーザレーダやミリ波レーダであって車両２００のフロントグリル部分に配置され、車両２００前方の所定の高さで、所定の角度の水平面内に存在する物体を検知するものである。
【００１７】
図３、図４は、前方カメラ２の撮像範囲Ｉ０とそのうちの画像処理領域ＩＰを説明する図である。前方カメラ２は車両の高さＸ１の位置に配置され、水平方向の画角が３０度程度、垂直方向の画角が２０度程度となるように配置されている。
【００１８】
画像処理の対象領域であるＩＰは、前方カメラ２の先端から所定距離Ｙ１手前で高さＸ３〜Ｘ２の領域であり、水平画角が３５度程度となるように設定されている。この場合、路上での対象領域ＩＰの位置はカメラ前方Ｙ３〜Ｙ２となる。そして、Ｙ２＝Ｘ１Ｙ１／（Ｘ１−Ｘ２）であり、Ｙ３＝Ｘ１Ｙ１／（Ｘ１−Ｘ３）である。
【００１９】
ここで、Ｙ２が３０ｍ程度、Ｙ３が１５ｍ程度となるよう設定するとよい。例えば、Ｘ１が地上１．５ｍに設定されている場合、Ｙ１が５ｍのときに、Ｘ２が１．２５ｍ、Ｘ３が１ｍに設定されているとよい。
【００２０】
次に、この障害物検出装置による障害物検出方法（本発明にかかる障害物検出方法）について具体的に説明する。図５は、この画像処理の処理フローである。以下に説明する処理は、特に記載のない限り、障害物認識ＥＣＵ１によって行われる。
【００２１】
まず、画像処理部１１が取得した画像からエッジ抽出処理を行う（ステップＳ１）。図６は、このエッジ抽出処理の状態遷移図である。ここで、ある画素の輝度をＶcurとし、この画素の左隣の画素の輝度をＶpreとする。エッジ抽出処理は、左端画素からではなく、その右隣の画素から右側へ行う。
【００２２】
初期状態では図６に示される状態０にある。これは、エッジ未検出状態であることを示す。この状態で、Ｖcur＝Ｖpreと判定した場合には、イの経路により、エッジ未検出状態を維持する。この状態からＶcur＞Ｖpreと判定した場合には、ロの経路を通って状態１に遷移する。この状態１は、立ち上がりエッジ検出状態を意味する。また、この遷移時点の画素位置を正のピーク位置（立ち上がりエッジ）とする。状態１において、Ｖcur≧Ｖpreと判定した場合には、ハまたはニの経路を通ることで状態１を維持する。ハ、つまり、Ｖcur＝Ｖpreの場合には、直前の正のピーク位置をそのまま維持する。一方、ニ、つまり、Ｖcur＞Ｖpreの場合には、正のピーク位置を現在の画素位置に更新する。
【００２３】
状態１からＶcur＜Ｖpreと判定した場合には、ホの経路を通って状態２に遷移する。この状態２は、下がりエッジ検出状態を意味する。このとき（状態1から状態２に遷移した時点）に保持されている正のピーク位置を立ち上がりエッジ位置として記憶する。また、この遷移時点での画素位置を負のピーク位置（立ち下がりエッジ）とする。
【００２４】
状態２から、Ｖcur≦Ｖpreと判定した場合には、ヘまたはトの経路を通ることで状態２を維持する。ヘ、つまり、Ｖcur＝Ｖpreの場合には、直前の負のピーク位置をそのまま維持する。一方、ト、つまり、Ｖcur＜Ｖpreの場合には、負のピーク位置を現在の画素位置に更新する。
【００２５】
状態２からＶcur＞Ｖpreと判定した場合には、チの経路を通って状態１に遷移する。このとき（状態２から状態１に遷移した時点）に保持されている負のピーク位置を立ち下がりエッジ位置として記憶する。また、この遷移時点での画素位置を正のピーク位置とする。また、状態０からＶcur＜Ｖpreと判定した場合には、リの経路を通って状態２に遷移し、この遷移時点の画素位置を負のピーク位置とする。これにより、画像中の正負のエッジを抽出することができる。
【００２６】
抽出したエッジから白線（道路区画線）に起因すると予想されるエッジを除外する（ステップＳ２）。
【００２７】
図７は、こうして判定したライン上の正負のピーク位置（エッジ）を示した図である。この図では、上に凸の部分が正のピーク位置を下に凸の部分が負のピーク位置を示している。白線に起因すると予想されるエッジは通常正−負のエッジが所定の間隔（区画線幅）で対になっている。そこで、立ち上がりエッジ（図中のｂまたはｇ）から想定される白線幅に対応する画素数の幅（図中のｃ、ｈ）内にある立ち下がりエッジ（図中のｄ、ｅ）については、立ち上がりエッジ（図中のｂまたはｇ）とともに、白線に起因すると予想されるエッジとする。これらのエッジからは別途白線位置情報が求められる。それ以外のエッジ情報を障害物エッジ情報として保持する。
【００２８】
一方、これと並列する形でレーダ処理部１２は、レーダ３の検出結果から障害物までの距離Ｄとその横位置Ｘ（自車両の前後車軸の中心線を結ぶ線分の延長線上からの距離であり、左側に位置する場合は負、右側に位置する場合は正の値をとる。）を算出する（ステップＳ３）。この距離Ｄ、横位置Ｘは、レーダ３の反射波のピーク点に対して算出される。ステップＳ４では、レーダ処理部１２の判定結果と画像処理部１１で抽出したエッジを基にして、処理対象領域Ｉｐ中のヒストグラム算出領域を設定する。図８、図９は、このヒストグラム算出領域の例を示している。
【００２９】
レーダ３で距離Ｄ、位置Ｘにあると判定した障害物Ｓは、前方カメラ２からみると、車両からＤ’前方に位置することになる。この距離Ｄ’は、前方カメラ２とレーダ３の位置関係から算出される。そして、障害物Ｓの左右にそれぞれＷ／２ずつをとった全幅Ｗの領域をヒストグラム算出領域とし、画像処理の処理対象領域Ｉｐ中でヒストグラム算出領域の両端に存在する領域をそれぞれオフセット領域とする。左側のオフセット領域の長さをＬofflで、右側のオフセット領域の長さをＬoffrでそれぞれ表す。ここで、Ｗは例えば一般的な車両幅を上回る２．６ｍに設定するとよい。
【００３０】
そして、処理対象領域Ｉｐの画素幅Ｗｐに合わせて、ヒストグラム算出領域と各オフセット領域の幅を画素数が単位となるよう変換することで、図９に示されるように、画素に対応して各領域を設定する。ここで、オフセット領域の幅をそれぞれoffset_l、offset_rとし、ヒストグラム算出領域の幅をｗｈとする。このとき、offset_l＋ｗｈ＋offset_r＝Ｗｐが成り立つ。
【００３１】
次に、このヒストグラム算出領域を図１０に示されるように等幅のｎ個の小領域（ｈ１〜ｈｎ）に分割する（ステップＳ５）。分割数としては１０程度が好ましい。ヒストグラム算出領域の幅ｗｈがｎの倍数とならない場合には、それぞれの画素数が異なっても略同一であればよい。
【００３２】
そして、各領域について、障害物エッジのヒストグラムを算出する（ステップＳ６）。例えば、ある小領域ｈｘ中の障害物エッジ位置が図１１に示されるようになったとする。ここで、障害物エッジに対応する画素を黒で、その他の画素を白で表す。このとき、縦方向の同一列内における障害物エッジの数を加算する。領域内におけるその最大値をヒストグラムにおけるその領域の値とすればよい。もちろん、領域内における障害物エッジの総数、平均、中央値等を用いてもよい。同一列内の最大値を用いることで、各小領域の幅が完全に同一でない場合にも演算が簡単になる。これを全小領域（ｈ１〜ｈｎ）について行うことで図１２に示されるようなヒストグラムを作成する。
【００３３】
次に、各小領域の値をしきい値ＴＨ０と比較し、しきい値ＴＨ０を超える値を有する小領域の値を１、しきい値ＴＨ０以下の値を有する小領域の値を０として、ヒストグラムを更新する（ステップＳ７）。図１３は、このしきい値による判定結果を説明する図である。このときの更新ヒストグラムの値を表す配列をＨ（ｔ）とする。
【００３４】
前回のタイムステップにおける更新ヒストグラム値の配列であるＨ（ｔ−Δｔ）を記憶手段１３から読み出し（ステップＳ８）、これと、Ｈ（ｔ）とを比較して前回の更新ヒストグラム値Ｈ（ｔ−Δｔ）とで時間的連続性に基づく対応関係が満たされている小領域のヒストグラム値のみを抽出する（ステップＳ９）。
【００３５】
図１４に示されるように、Ｈ（ｔ）とＨ（ｔ−Δｔ）とで値が１となる小領域の位置を比較する。Ｈ（ｔ）において値が１となる小領域の位置がｈｍであるとき、Ｈ（ｔ−Δｔ）においてｈｍを含む左右の所定の領域、つまり、ｈｍ−Ｎ０より右側でｈｍ＋Ｎ０より左側の領域に値が１となる小領域があれば、時間的な連続性が満たされているとしてｈｍのヒストグラム値を対応関係を満たすヒストグラム値として生かし、そのような領域が存在しない場合には、時間的な連続性が満たされていないとして、ｈｍのヒストグラム値を０にした抽出ヒストグラムＨ’（ｔ）を作成する。
【００３６】
走行中に前方カメラ２で取得している連続画像は、周囲の条件の変化等の影響により、輝度条件が変化する。このため、同一の対象物であってもタイムステップによってエッジとして検出されたり、されなかったりすることがある。上述したように時間的連続性を追跡することで、前回のタイムステップでも今回のタイムステップでも検出できたエッジによるヒストグラム領域を追跡することができ、ノイズを除去することができるので、精度が向上する。ここで、時間的連続性を満たすとする小領域の位置の差（しきい値Ｎ０）は、レーダ３で検出した障害物と自車両との相対速度に応じて調整してもよい。
【００３７】
次に、前回のタイムステップにおける抽出ヒストグラムＨ'（ｔ−Δｔ）を記憶手段１３から読み出し（ステップＳ１０）、これと、Ｈ'（ｔ）とを比較して前回の抽出ヒストグラム値Ｈ’（ｔ−Δｔ）とで時間的連続性に基づく対応関係が満たされている小領域のヒストグラム値を抽出することで障害物位置を判定する（ステップＳ１１）。比較の手法はＨ（ｔ）とＨ（ｔ−Δｔ）の比較の場合と同様に行う。
【００３８】
すなわち、図１４に示されるように、Ｈ’（ｔ）とＨ’（ｔ−Δｔ）とで値が１となる小領域の位置を比較する。Ｈ'（ｔ）において値が１となる小領域の位置がｈｍであるとき、Ｈ（ｔ−Δｔ）においてｈｍを含む左右の所定の領域、つまり、ｈｍ−Ｎ１より右側でｈｍ＋Ｎ１より左側の領域に値が１となる小領域があれば、時間的な連続性が満たされているとしてｈｍを障害物位置候補と判定する。そのような領域が存在しない場合には、時間的な連続性が満たされていないとして、ｈｍのヒストグラム値は障害物位置候補でないと判定する。
【００３９】
さらに、２番目の条件として、抽出ヒストグラムＨ’（ｔ）が１となる領域が閾値（例えば２箇所）以上あるか否かを判断する。このような閾値の条件を設けることで物体が存在する可能性を確実に判定することができる。そして、Ｈ’（ｔ）が１となる領域が閾値未満の場合には、抽出したヒストグラム中に障害物はないと判定し、当該ｈｍのヒストグラム値は障害物位置候補でないと判定する。
【００４０】
３番目の条件として抽出ヒストグラムＨ’（ｔ）が１となる領域の間隔が閾値（例えば４領域）以上離れているか否かを判断する。本実施形態では２．６ｍの領域を１２分割していることから、４領域以上離れていれば、少なくとも約０．９ｍの幅を有する障害物と推定される。したがって、閾値以上離れていないヒストグラム値は障害物位置候補でないと判定し、閾値以上離れているヒストグラム値組のみを障害物位置候補と判定する。これにより、ある程度の大きさを有する障害物のみを抽出することができる。
【００４１】
続いて、障害物位置候補の有無を判定する（ステップＳ１２）。障害物位置候補が存在する場合には、さらに、障害物位置候補となるヒストグラム領域ｈｍを所定のタイムステップ回数Ｎ２以上連続して追跡できているか否かを判定する（ステップＳ１３）。連続して追跡できている場合には、障害物位置と判定し（ステップＳ１４）、連続して追跡できていない場合には、障害物位置候補のままとする。
【００４２】
走行中の車両からみた路上障害物は、その位置関係の変化に応じて画像上の位置が変化する。逆に時間的変動が通常予想される範囲を超えて不規則に変化している領域については障害物に対応していないと推定される。図１５、図１６は、この時間的連続性判断の様子を説明する図である。
【００４３】
例えば、先行車両４００が図１５（ａ）から図１５（ｂ）に示されるように接近してくる場合には、通常、先行車両４００の左右端部がエッジとして検出される。そして、先行車両４００の幅は変化しないから検出されるエッジ間の小領域の位置の差は略一定に保たれる。この結果、障害物位置候補となるヒストグラム領域（小領域）の位置の変化はほとんどない。このため、小領域の位置自体の変化量は規則的である。
【００４４】
これに対して、図１６に示される工事用の路上鉄板４１０等の場合、図１６（ａ）から図１６（ｂ）に示されるように、レーダ物標が近づいたとしても、路上鉄板４１０自体の前方カメラ２への写り方には変化がないため、ヒストグラム検出範囲の変化に応じて、小領域の位置は不規則に変化することになる。このように、領域位置の時間的な変動から障害物に対応しているか否かを精度良く判定することができる。
【００４５】
障害物位置として判定した場合には、判定した障害物位置ｈｍや相対速度に関する情報（障害物情報）を出力して（ステップＳ１５）、さらに、Ｈ（ｔ）とＨ’（ｔ）を記憶手段１３に格納し（ステップＳ１６）、処理を終了する。一方、ステップＳ１２で障害物位置候補が存在しないと判定した場合や、ステップＳ１３で連続検出回数が閾値未満で障害物位置と判定しなかった場合には、直接ステップＳ１６へと移行して、Ｈ（ｔ）とＨ’（ｔ）を記憶手段１３に格納し、処理を終了する。
【００４６】
処理終了後は、最初のステップから再び処理を繰り返すことにより、次のタイムステップのヒストグラムＨ（ｔ＋Δｔ）と抽出ヒストグラムＨ’（ｔ＋Δｔ）の処理を行う。
【００４７】
障害物情報は車内ＬＡＮ４を介して各システムに送られ、モニター５１、スピーカー５２による運転者への障害物警報や車両挙動制御ＥＣＵ５３、エンジンＥＣＵ５４、プリクラッシュシステムＥＣＵ５５による衝突回避制御や衝突衝撃緩和制御に利用される。障害物への距離や相対速度に応じて、運転者に告知、警報を発したり、衝突回避、衝突衝撃緩和制御を行ったり、前方車両への追従走行制御を行うなど所定の車両制御を実施する。
【００４８】
本発明によれば、レーダ３による障害物検出と前方カメラ２の取得画像を画像処理することによる障害物検出とを融合させて前方車両等の障害物を精度良く検出することが可能となり、障害物を利用した車両挙動制御の制御精度も向上する。
【図面の簡単な説明】
【００４９】
【図１】本発明にかかる障害物検出装置を備えた車両の制御系のブロック構成図である。
【図２】図１の車両を示す斜視図である。
【図３】前方カメラ２の撮像範囲Ｉ０とそのうちの画像処理領域ＩＰを説明する側面図である。
【図４】前方カメラ２の撮像範囲Ｉ０とそのうちの画像処理領域ＩＰを説明する図である。
【図５】本発明にかかる障害物検出方法の処理フローである。
【図６】エッジ抽出処理の状態遷移図である。
【図７】ライン上の正負のピーク位置（エッジ）を示した図である。
【図８】ヒストグラム算出領域を説明する図である。
【図９】ヒストグラム算出領域の設定を示す図である。
【図１０】ヒストグラム算出領域の分割例を示す図である。
【図１１】ヒストグラム値の算出方法を説明する図である。
【図１２】算出したヒストグラムの例を説明する図である。
【図１３】ヒストグラムのしきい値判定を説明する図である。
【図１４】ヒストグラムの時間的連続性判断を説明する図である。
【図１５】先行車両検出時のヒストグラムの時間的連続性判断を説明する図である。
【図１６】工事用路上鉄板検出時のヒストグラムの時間的連続性判断を説明する図である。
【符号の説明】
【００５０】
１…障害物認識ＥＣＵ、２…前方カメラ、３…レーダ、４…車内ＬＡＮ、１１…画像処理部、１２…レーダ処理部、１３…記憶手段、１４…判定部、５１…モニター、５２…スピーカー、５３…車両挙動制御ＥＣＵ、５４…エンジンＥＣＵ、５５…プリクラッシュシステムＥＣＵ、１００…障害物検出装置、２００…車両、３００…走行レーン、３０１…区画線、４００…先行車両、４１０…路上鉄板。
【特許請求の範囲】
【請求項１】
レーダと画像認識を併用して進路上の障害物を検出する障害物検出装置において、
レーダで検出した障害物位置情報を基にして画像認識における処理対象領域を設定する手段と、
該処理対象領域中の障害物エッジを抽出する手段と、
該処理対象領域を水平方向に等間隔で所定数に分割し、エリア内の抽出障害物エッジの配置状態から分割エリアに対する抽出障害物エッジのヒストグラムを作成する手段と、
作成したヒストグラムを記憶する手段と、
格納されている前回のヒストグラムと今回求めたヒストグラムとを比較して対応関係を満たすヒストグラムを抽出する手段と、
抽出後のヒストグラムを記憶する手段と、
格納されている前回の抽出後のヒストグラムと今回の抽出後のヒストグラムとを比較して所定の対応関係を満たす場合に障害物ありと判定する手段と、
を備えていることを特徴とする障害物検出装置。
【請求項２】
前記処理対象領域中の障害物エッジを抽出する手段は、道路上の白線に起因すると予想されるエッジを除去することを特徴とする請求項１記載の障害物検出装置。
【請求項３】
レーダと画像認識を併用して進路上の障害物を検出する障害物検出方法において、
レーダで障害物位置を検出する工程と、
検出した障害物位置情報を基にして画像認識における処理対象領域を設定する工程と、
設定した処理対象領域中の障害物エッジを抽出する工程と、
処理対象領域を水平方向に等間隔で所定数に分割し、エリア内の抽出障害物エッジの配置状態から分割エリアに対する抽出障害物エッジのヒストグラムを作成する工程と、
作成したヒストグラムを記憶手段に格納する工程と、
記憶手段に格納されている前回のヒストグラムと今回求めたヒストグラムとを比較して対応関係を満たすヒストグラムを抽出する工程と、
抽出後のヒストグラムを記憶手段に格納する工程と、
記憶手段に格納されている前回の抽出後のヒストグラムと今回の抽出後のヒストグラムとを比較して所定の対応関係を満たす場合に障害物ありと判定する工程と、
を備えていることを特徴とする障害物検出方法。
【請求項４】
前記処理対象領域中の障害物エッジを抽出する工程においては、道路上の白線に起因すると予想されるエッジを除去することを特徴とする請求項３記載の障害物検出方法。
【請求項１】
レーダと画像認識を併用して進路上の障害物を検出する障害物検出装置において、
レーダで検出した障害物位置情報を基にして画像認識における処理対象領域を設定する手段と、
該処理対象領域中の障害物エッジを抽出する手段と、
該処理対象領域を水平方向に等間隔で所定数に分割し、エリア内の抽出障害物エッジの配置状態から分割エリアに対する抽出障害物エッジのヒストグラムを作成する手段と、
作成したヒストグラムを記憶する手段と、
格納されている前回のヒストグラムと今回求めたヒストグラムとを比較して対応関係を満たすヒストグラムを抽出する手段と、
抽出後のヒストグラムを記憶する手段と、
格納されている前回の抽出後のヒストグラムと今回の抽出後のヒストグラムとを比較して所定の対応関係を満たす場合に障害物ありと判定する手段と、
を備えていることを特徴とする障害物検出装置。
【請求項２】
前記処理対象領域中の障害物エッジを抽出する手段は、道路上の白線に起因すると予想されるエッジを除去することを特徴とする請求項１記載の障害物検出装置。
【請求項３】
レーダと画像認識を併用して進路上の障害物を検出する障害物検出方法において、
レーダで障害物位置を検出する工程と、
検出した障害物位置情報を基にして画像認識における処理対象領域を設定する工程と、
設定した処理対象領域中の障害物エッジを抽出する工程と、
処理対象領域を水平方向に等間隔で所定数に分割し、エリア内の抽出障害物エッジの配置状態から分割エリアに対する抽出障害物エッジのヒストグラムを作成する工程と、
作成したヒストグラムを記憶手段に格納する工程と、
記憶手段に格納されている前回のヒストグラムと今回求めたヒストグラムとを比較して対応関係を満たすヒストグラムを抽出する工程と、
抽出後のヒストグラムを記憶手段に格納する工程と、
記憶手段に格納されている前回の抽出後のヒストグラムと今回の抽出後のヒストグラムとを比較して所定の対応関係を満たす場合に障害物ありと判定する工程と、
を備えていることを特徴とする障害物検出方法。
【請求項４】
前記処理対象領域中の障害物エッジを抽出する工程においては、道路上の白線に起因すると予想されるエッジを除去することを特徴とする請求項３記載の障害物検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−１４０６３６（Ｐ２００６−１４０６３６Ａ）
【公開日】平成１８年６月１日（２００６．６．１）
【国際特許分類】
【出願番号】特願２００４−３２６９０４（Ｐ２００４−３２６９０４）
【出願日】平成１６年１１月１０日（２００４．１１．１０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１８年６月１日（２００６．６．１）
【国際特許分類】
【出願日】平成１６年１１月１０日（２００４．１１．１０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]