物体検出装置
【課題】ステレオマッチング処理を行い、外界の環境の変化と、ワイパや付着物等によるノイズとを的確に判別して物体を検出することができる物体検出装置を提供する。
【解決手段】物体検出装置１は、基準画像ＴOと比較画像ＴCとを出力するステレオ撮像手段２と、ステレオマッチング処理を行うステレオマッチング手段７と、基準画像ＴO上に物体Ｏを検出する物体検出手段１０と、前回フレームでの基準画像ＴO上の物体Ｏの距離Ｚ等とに基づいて、今回フレームにおける当該物体Ｏの予測領域ＲOest、ＲCestを基準画像ＴOと比較画像ＴCに設定する予測領域設定手段１１と、予測領域の輝度値の平均値ｐ１ij_ave、ｐ２ij_aveの差の絶対値が所定の閾値Δｐth以上である場合には基準画像ＴO上の予測領域ＲOestに検出された物体Ｏの情報または物体Ｏが検出されなかったという情報にノイズが含まれている旨の情報を対応付ける判断手段１２とを備える。
【解決手段】物体検出装置１は、基準画像ＴOと比較画像ＴCとを出力するステレオ撮像手段２と、ステレオマッチング処理を行うステレオマッチング手段７と、基準画像ＴO上に物体Ｏを検出する物体検出手段１０と、前回フレームでの基準画像ＴO上の物体Ｏの距離Ｚ等とに基づいて、今回フレームにおける当該物体Ｏの予測領域ＲOest、ＲCestを基準画像ＴOと比較画像ＴCに設定する予測領域設定手段１１と、予測領域の輝度値の平均値ｐ１ij_ave、ｐ２ij_aveの差の絶対値が所定の閾値Δｐth以上である場合には基準画像ＴO上の予測領域ＲOestに検出された物体Ｏの情報または物体Ｏが検出されなかったという情報にノイズが含まれている旨の情報を対応付ける判断手段１２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置に係り、特に、ステレオ撮像手段により撮像された一対の画像に対してステレオマッチング処理を行って物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
車両のフロントガラスの内側に取り付けられたステレオ撮像手段を用いて自車両の周囲の物体までの距離を測定する手法としては、一対のカメラで撮像された一対の撮像画像を用いて、一対の撮像画像のうち、基準となる一方の撮像画像（以下、基準画像という。）と他方の撮像画像（以下、比較画像という。）とを比較して、同じ物体が撮像されている各画像中の各位置の差すなわち視差を算出し、その視差に基づいて三角測量の原理によって物体までの距離を算出する手法が一般的である。そして、基準画像と比較画像で同じ物体が撮像されている位置を特定する手法としては、通常、ステレオマッチング処理が行われる（例えば特許文献１等参照）。
【０００３】
しかし、このようなステレオマッチング処理においては、例えば一対のカメラのうちいずれか一方のカメラの前方のフロントガラス上をワイパが通過し、他方のカメラで撮像されている物体が当該一方のカメラではワイパに隠されて撮像されていない場合、当該一方のカメラで撮像された画像上でその物体の位置を特定できず、物体までの距離を算出できないという問題があった。
【０００４】
そこで、単独のカメラを用いた場合であるが、特許文献２に記載の画像処理方法では、今回のフレームで撮像した自車両前方の画像と前回のフレームで撮像した自車両前方の画像との各画素の濃度について差分を算出し、差分処理の結果得られる差分画像の平均濃度や分散に基づいて今回のフレームでの画像にワイパが撮像されているか否かを判定する技術が提案されている。
【０００５】
また、同じく単独のカメラを用いた場合であるが、特許文献３に記載の画像処理装置等では、撮像画像内における物体の移動方向と移動速度とをベクトルで表したオプティカルフローを用いて画像内に撮像された物体の画像上の移動速度を算出して画像内に撮像されているワイパを検出し、画像内にワイパが検出された場合には、画像上のワイパによって自車両前方の画像が欠落した領域について過去に撮像したフレームから補間画像を得て補間する技術が提案されている。
【特許文献１】特開平１０−２８３４６１号公報
【特許文献２】特開２０００−１２３１５１号公報
【特許文献３】特開２００６−１０７３１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に記載された技術をステレオ撮像手段に応用し、一対のカメラのそれぞれのカメラに適用した場合、前回のフレームと今回のフレームとで外界の環境が急に変化する場合、例えば先行車両が街路樹の間を走行して木漏れ日が差し込んだり影になったりするような場合等にも今回のフレームで画像中にワイパが撮像されていると判定されてしまう可能性がある。
【０００７】
また、特許文献３に記載された技術をステレオ撮像手段に応用する場合、ワイパの移動速度を算出するためにはワイパの動きを連続して捉えることができる程度に速いシャッタ速度で各フレームを撮像する必要があり、また、数フレームにわたってワイパの動きが捉えられるように一対のカメラをフロントガラスから離れた位置に配置することが必要となる。しかし、実用上、ワイパ検出以外の状況ではそれほど速いシャッタ速度で撮像することは必要ではなく、また、車両のレイアウト上の制約等がありステレオ撮像手段をフロントガラスから離れた位置に配置することは困難であることが多い。さらに、通常、オプティカルフローの計算には時間が掛かり、処理の負担が大きくなる。
【０００８】
ステレオ撮像手段で撮像した画像に基づいて自車両の周囲の物体を検出する場合、ステレオ撮像手段はフロントガラスの内側に取り付けざるを得ず、フロントガラスに付着した雨粒や汚れ等の付着物により撮像画像にノイズが生じることは避けられない。また、降雨時等にはカメラの前方のフロントガラスに付着した雨粒や汚れをワイパで除去させざるを得ず、カメラで撮像した画像中にワイパが写り込むことは避けられない。そして、撮像画像にワイパや付着物等のノイズが含まれる場合には、それに基づくステレオマッチング処理で得られた物体までの距離の情報は信頼性が低くなる。
【０００９】
一方、前述した先行車両が街路樹の間を走行していて樹木の陰になったり木漏れ日が差し込んだりする場合等のように外界の環境が急に変化する場合には、その外界の環境が適切に撮像されている限り、撮像された画像に基づいて行われたステレオマッチング処理で得られた物体までの距離の情報の信頼性は高い。
【００１０】
従って、ステレオマッチング処理を行って物体を検出する物体検出装置においては、外界の環境の変化と、ワイパや付着物等によるノイズとを的確に判別して検出できるものであることが求められる。
【００１１】
本発明は、このような事情に鑑みてなされたものであり、ステレオマッチング処理を行い、外界の環境の変化と、ワイパや付着物等によるノイズとを的確に判別して物体を検出することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記の問題を解決するために、第１の発明は、物体検出装置において
フロントガラスの内側に取り付けられた一対の撮像手段を備え、自車両の周囲の物体を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
基準画像上に設定した所定の画素数の基準画素ブロックに対して比較画像上でステレオマッチング処理を行い、比較画像上に特定された比較画素ブロックと前記基準画素ブロックとの間の視差を算出して基準画素ブロックごとにそれぞれ視差を算出するステレオマッチング手段と、
前記基準画素ブロックごとの各視差に基づいてそれぞれ自車両との距離を算出し、当該各距離に基づいて基準画像上に物体を検出する物体検出手段と、
前回のフレームにおける基準画像上の物体の前記距離と、前記距離に基づいて算出される当該物体の自車両との相対速度とに基づいて、今回のフレームにおいて当該物体が撮像されると予測される予測領域を基準画像上と比較画像上にそれぞれ設定する予測領域設定手段と、
前記基準画像上の予測領域とそれに対応する前記比較画像上の予測領域との輝度値の平均値の差の絶対値が所定の閾値以上であるか否かを判断し、前記差の絶対値が前記閾値以上である場合には、前記基準画像上の予測領域に検出された物体の情報または物体が検出されなかったという情報にノイズが含まれている旨の情報を対応付ける判断手段と、
を備えることを特徴とする。
【００１３】
第２の発明は、第１の発明の物体検出装置において、前記判断手段は、前記基準画像上の予測領域に検出された物体について算出された前記視差または前記距離の情報の信頼度を低下させ、または、前記基準画像上の予測領域に物体が検出されなかった場合には当該予測領域に物体が検出されなかったという情報の信頼度を低下させることを特徴とする。
【００１４】
第３の発明は、第１または第２の発明の物体検出装置において、
前記物体検出手段は、検出した物体の前記距離に基づいて当該物体の自車両との相対位置を算出して前記相対位置を時系列的に記憶し、
前記予測領域設定手段は、前回のフレームにおける前記相対位置と当該物体の相対速度とに基づいて今回のフレームにおける当該物体の相対位置を予測して当該物体が撮像されると予測される予測領域を基準画像上に設定し、かつ、予測した当該物体の相対位置に基づいて今回のフレームにおける視差を予測して当該視差と前記基準画像上に設定した予測領域とに基づいて比較画像上に予測領域を設定することを特徴とする。
【００１５】
第４の発明は、第３の発明の物体検出装置において、今回のフレームで用いた前記物体の相対速度と、前回のフレームにおける前記物体の相対位置に対する今回のフレームにおける前記物体の相対位置の差分とを、加算割合により重み付け加算する平滑化フィルタ処理により、次回のフレームにおける前記相対速度を算出することを特徴とする。
【００１６】
第５の発明は、第４の発明の物体検出装置において、前記ノイズが含まれている旨の情報を対応付けた物体が前記基準画像上の予測領域に検出されている場合には、今回のフレームにおける前記平滑化フィルタ処理において、当該物体については前記差分の加算割合を低下させることを特徴とする。
【００１７】
第６の発明は、第４または第５の発明の物体検出装置において、前記ノイズが含まれている旨の情報を対応付けた物体が前記基準画像上の予測領域に検出されなかった場合には、当該物体については今回のフレームで用いた物体の相対速度を次回のフレームにおける前記相対速度とすることを特徴とする。
【００１８】
第７の発明は、第１から第５のいずれかの発明の物体検出装置において、前記判断手段は、設定された前記基準画像上の予測領域において物体が検出されなかった場合には、当該物体に関する情報を抹消することを特徴とする。
【００１９】
第８の発明は、第１から第７のいずれかの発明の物体検出装置において、前記判断手段は、前記基準画像上の予測領域に検出された物体の情報または物体が検出されなかったという情報に前記ノイズが含まれている旨の情報を対応付けた場合には、前記ステレオマッチング手段におけるステレオマッチング処理の基準をより厳しくなるように変更することを特徴とする。
【００２０】
第９の発明は、第１から第８のいずれかの発明の物体検出装置において、前記判断手段は、設定された前記基準画像上の予測領域または前記比較画像上の予測領域のいずれか一方の予測領域において、１フレーム程度の間のみ、前記輝度値の平均値が他方の予測領域の輝度値の平均値よりも前記閾値以上に小さい場合には、当該輝度値の平均値が小さい予測領域が属する前記基準画像または前記比較画像を撮像する前記撮像手段の前方をワイパが横切ったと判断することを特徴とする。
【００２１】
第１０の発明は、第１から第９のいずれかの発明の物体検出装置において、前記判断手段は、設定された前記基準画像上の予測領域または前記比較画像上の予測領域のいずれか一方の予測領域において、前記輝度値の平均値と他方の予測領域の輝度値の平均値との差の絶対値が前記閾値以上である状態が所定のフレーム数以上継続する場合には、前記基準画像または前記比較画像を撮像する前記撮像手段の前方のフロントガラスに付着物が付着したと判断することを特徴とする。
【発明の効果】
【００２２】
第１の発明によれば、今回のフレームで基準画像上に物体が検出されているか否かにかかわらず、前回のフレームの結果に基づいて今回のフレームにおいて当該物体が撮像されると予測される予測領域を基準画像上と比較画像上にそれぞれ設定し、それらの予測領域における輝度値の各平均値の差の絶対値に基づいて基準画像上の予測領域に検出されている物体の情報または物体が検出されなかったという情報にノイズが含まれているか否かを判断するため、一方の撮像手段の前方をワイパが横切ったり一方の撮像手段の前方のフロントガラスに付着物が付着したりして発生したノイズか、或いは外界の環境が変化したのかを的確に判別することが可能となる。
【００２３】
また、このようにノイズと外界の環境の変化とを的確に判別して物体を検出することが可能となるため、外界の環境が変化しただけであって検出された物体の情報や物体が検出されなかったという情報の信頼性が高い場合と、ノイズが生じていて検出された物体の情報や物体が検出されなかったという情報の信頼性が低い場合とを的確に区別して、情報の信頼性が低い場合にはその旨を物体の情報等に的確に対応付けて出力することが可能となる。
【００２４】
さらに、それにより、出力された情報に基づいて例えば自車両の自動走行制御等を行う場合、それらの情報の信頼性を認識したうえで情報を自動制御等に用いるように構成することが可能となり、自動制御等を的確に行うことが可能となる。
【００２５】
第２の発明によれば、物体の情報に例えば信頼度という情報を予め対応付けておき、通常に検出された物体ではその信頼度を大きな値とし、物体が検出された場合または検出されなかった場合にはそれらの情報の信頼度を小さな値に変更することをもって、それらの情報に前記ノイズが含まれている旨の情報を対応付けるように構成することで、信頼度の情報を認識するだけで基準画像上の予測領域に検出された物体の情報または物体が検出されなかったという情報の信頼性を評価することが可能となるため、前記発明の効果がより効果的に発揮される。
【００２６】
第３の発明によれば、検出した物体の距離に基づいて当該物体の自車両との相対位置を算出し、それに基づいて予測領域を基準画像上に設定し、また、基準画像上に設定した予測領域から視差を予測して比較画像上に予測領域を設定することで、基準画像上および比較画像上に容易かつ的確に予測領域を設定することが可能となり、前記各発明の効果がより的確に発揮される。
【００２７】
第４の発明によれば、次回のフレームで用いる物体の相対速度を、今回のフレームで用いた相対速度と今回のフレームでの物体の検出結果とを平滑化して算出することで、物体の検出結果にばらつきがある場合でも、ばらつきを抑制し、自車両に対する物体の相対速度をより現実に近い状態で取得することが可能となり、基準画像上および比較画像上の予測領域をより適切に設定することが可能となる。そのため、前記各発明の効果がより的確に発揮される。
【００２８】
第５の発明によれば、ノイズが含まれている旨の情報を対応付けた物体が基準画像上の予測領域に検出されている場合に、今回のフレームにおける平滑化フィルタ処理において検出結果の加算割合を低下させることで、算出される相対速度が、信頼性が低い検出結果によって現実の値と大きく異なる値となることを防止することが可能となり、適切な相対速度が算出されるため、前記各発明の効果がより的確に発揮される。
【００２９】
第６の発明によれば、サンプリング周期が短い場合には、次回のフレームでの物体の相対速度は今回のフレームの相対速度とさほど変わらない。そのため、ノイズが含まれている旨の情報を対応付けた物体が基準画像上の予測領域に検出されなかった場合には、次回のフレームで用いる物体の相対速度を無理に修正するよりは、今回のフレームで用いた相対速度をそのまま用いる方が現実に即していると言える。従って、上記のように構成することで、より現実的な相対速度に基づいて予測領域を設定することが可能となり、前記各発明の効果が適切に発揮される。
【００３０】
第７の発明によれば、前記各発明の効果に加え、基準画像上の予測領域に物体が検出されなかった場合に当該物体に関する情報を抹消することで、信頼性が低い物体の情報を出力することが防止されるため、物体検出装置の信頼性を向上させることが可能となる。
【００３１】
第８の発明によれば、前記各発明の効果に加え、物体の情報にノイズが含まれている旨の情報を対応付けた場合に、ステレオマッチング手段におけるステレオマッチング処理の基準をより厳しくなるように変更することで、基準画像上および比較画像上の予測領域における輝度値の各平均値の差の絶対値が大きくなり検出される物体の情報の信頼性が低くなるような場合でも、ステレオマッチング処理で、基準画像の基準画素ブロックと輝度パターンが非常に似かよった比較画像の比較画素ブロックしか特定されなくなるため、検出された物体の距離の情報等の信頼性をより向上させることが可能となる。
【００３２】
第９の発明によれば、前記各発明の効果に加え、基準画像上および比較画像上の予測領域における輝度値の各平均値の差の絶対値が大きくなるフレーム数が１フレーム程度だけであれば、輝度値の平均値が低下した方の撮像手段の前方をワイパが横切ったと判断することが可能となり、ワイパが横切ったことを検出することが可能となる。
【００３３】
第１０の発明によれば、前記各発明の効果に加え、基準画像上および比較画像上の予測領域における輝度値の各平均値の差の絶対値が大きくなるフレーム数が比較的大きいフレーム数である場合には、輝度値の平均値が低下した方の撮像手段の前方のフロントガラスに付着物が付着したと判断することが可能となり、撮像手段の前方のフロントガラスに付着物が付着したことを検出することが可能となる。
【発明を実施するための最良の形態】
【００３４】
以下、本発明に係る物体検出装置の実施の形態について、図面を参照して説明する。
【００３５】
本実施形態に係る物体検出装置１は、図１に示すように、ステレオ撮像手段２と、ステレオマッチング手段７等を備える画像処理手段６と、物体検出手段９等を備える検出手段９等で構成されている。
【００３６】
なお、ステレオ撮像手段２から検出手段９の物体検出手段９までの構成は本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【００３７】
ステレオ撮像手段２は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対の撮像手段であるメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。メインカメラ２ａとサブカメラ２ｂは、図示しない車両のフロントガラスの内側、例えばルームミラー近傍に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられている。
【００３８】
メインカメラ２ａとサブカメラ２ｂは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に車両の周囲、特に前方の物体を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ２ａは例えば図２に示される基準画像ＴOの画像データを出力し、運転者から遠い側に配置されたサブカメラ２ｂは図示しない比較画像の画像データを出力するようになっている。
【００３９】
メインカメラ２ａとサブカメラ２ｂから出力された画像データは、図１に示すように、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ５に送信されて格納されるとともに、画像処理手段６にも送信されるようになっている。
【００４０】
画像処理手段６は、イメージプロセッサ等からなるステレオマッチング手段７と距離データメモリ８とを備えている。ステレオマッチング手段７は、基準画像ＴOおよび比較画像に対してステレオマッチング処理を行うようになっている。
【００４１】
具体的には、ステレオマッチング手段７は、図３に示すように、基準画像ＴO上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢOを設定し、基準画素ブロックＰＢOに対応する比較画像ＴC中のエピポーララインＥＰＬ上の基準画素ブロックＰＢOと同形の各比較画素ブロックＰＢCについて下記（１）式に従って当該基準画素ブロックＰＢOとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢCを特定するようになっている。
【００４２】
【数１】
【００４３】
なお、ｐ１stは基準画素ブロックＰＢO中の各画素の輝度値を表し、ｐ２stは比較画素ブロックＰＢC中の各画素の輝度値を表す。また、上記の総和は、基準画素ブロックＰＢOや比較画素ブロックＰＢCが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。
【００４４】
ステレオマッチング手段７は、このようにして基準画像ＴOの各基準画素ブロックＰＢOについて、特定した比較画素ブロックＰＢCの比較画像ＴC上の位置と当該基準画素ブロックＰＢOの基準画像ＴO上の位置から視差ｄｐを算出するようになっている。また、本実施形態では、ステレオマッチング処理の基準としてＳＡＤ値に対して予め閾値が設定されており、ステレオマッチング手段７は、基準画像ＴO上のある基準画素ブロックＰＢOに対して特定された比較画素ブロックＰＢCとの間のＳＡＤ値が閾値より大きい場合には、マッチングが不成立として視差ｄｐとして０を算出するようになっている。
【００４５】
ステレオマッチング手段７は、このようにして各基準画素ブロックＰＢOについて算出した視差ｄｐの情報を距離データメモリ８に送信して格納させるようになっている。
【００４６】
ここで、一対のメインカメラ２ａとサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（左右方向）をＸ軸方向、車高方向（高さ方向）をＹ軸方向、車長方向（前後方向）をＺ軸方向とした場合の実空間上の点（Ｘ，Ｙ，Ｚ）と、上記の視差ｄｐ、距離画像ＴZ上の点（ｉ，ｊ）とは、三角測量の原理に基づき下記（２）〜（４）式で表される座標変換により一意に対応づけられる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）
【００４７】
上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像ＴZ上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。なお、視差ｄｐが０の場合は上記（２）〜（４）式の計算は行われない。
【００４８】
本実施形態では、上記のように基準画像ＴOの各基準画素ブロックＰＢOにそれぞれ視差ｄｐが割り当てられた距離画像ＴZ（図４参照）を用いて各処理が行われるように構成されているが、距離データメモリ８に格納させる段階で視差ｄｐを前記（４）式に従って距離Ｚに変換し、基準画像ＴOの各基準画素ブロックＰＢOにそれぞれ距離Ｚを割り当てた距離画像を用いて各処理を行うように構成することも可能である。
【００４９】
検出手段９は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。また、検出手段９には、自車両の車速Ｖやヨーレートγ、ステアリングホイールの操舵角δ等を測定して出力する車速センサやヨーレートセンサ、操舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【００５０】
検出手段９は、図１に示すように、物体検出手段１０と、予測領域設定手段１１と、判断手段１２とを備えており、さらに図示しないメモリを備えており、さらに図示しないメモリを備えている。また、検出手段１０の各手段には、センサ類Ｑから必要なデータが入力されるようになっている。
【００５１】
検出手段９においては、図５および図６に示すフローチャートに従って処理が行われるようになっていり、以下、このフローチャートに従って説明する。
【００５２】
物体検出手段１０は、本実施形態では、前述したように特開平１０−２８３４６１号公報等に記載された車外監視装置等をベースに構成されている。詳細な説明はそれらの公報に委ねる。以下、その構成と処理内容について説明する。
【００５３】
物体検出手段１０では、上記のように検出された視差ｄｐを距離Ｚの情報に変換し、互いに隣接する距離Ｚの情報がグループ化されて基準画像ＴO上に各物体が検出されるようになっている（図５のステップＳ１）。
【００５４】
具体的には、物体検出手段１０は、距離データメモリ８から前述した距離画像ＴZを読み出して、図７に示すように距離画像ＴZを所定の画素幅で垂直方向に延びる短冊状の区分Ｄｎに分割する。そして、短冊状の各区分Ｄｎに属する各基準画素ブロックＰＢOに割り当てられた視差ｄｐを前記（４）式に従ってそれぞれ距離Ｚに変換し、距離Ｚについて図８に示すようにヒストグラムＨｎを作成し、度数Ｆｎが最大の階級の階級値をその短冊状の区分Ｄｎにおける物体の距離Ｚｎとする。これを全区分Ｄｎについて行うようになっている。
【００５５】
物体検出手段１０は、続いて、各区分Ｄｎごとに得られた距離Ｚｎを実空間上にプロットすると、距離Ｚｎは図９に示すように並ぶ。そして、物体検出手段１０は、図１０に示すようにプロットされた各点間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化するようになっている。
【００５６】
本実施形態では、物体検出手段１０は、図１１に示すように各グループに属する各点をそれぞれ直線近似し、それぞれのグループ内の各点が自車両Ａの車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”Ｏとラベルし、各点が自車両Ａの車長方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”Ｓとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてＣをラベルするようになっている。
【００５７】
そして、物体検出手段１０は、図１１の例では、［側壁Ｓ１］、［物体Ｏ１］、［側壁Ｓ２］、［物体Ｏ２とコーナー点Ｃと側壁Ｓ３］、［側壁Ｓ４］、［物体Ｏ３］、［物体Ｏ４］、［側壁Ｓ５とコーナー点Ｃと物体Ｏ５］、［物体Ｏ６］、［側壁Ｓ６］をそれぞれ１つの物体として検出するようになっている。なお、上記のように便宜上ラベルとして“物体”と“側壁”とが用いられるが、“側壁”も物体として検出される。
【００５８】
また、物体検出手段１０は、図１２に示すように、検出した各物体の情報に基づいて、基準画像ＴO上に撮像された各物体を包囲する矩形状の枠線を設定して各物体が撮像されている各領域を設定することで、基準画像ＴO上に各物体を検出するようになっている。
【００５９】
物体検出手段１０は、このようにして検出した各物体を表す各近似直線の両端の自車両Ａに対する実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）を算出してメモリに保存するようになっている（図５のステップＳ２）。また、物体検出手段１０は、検出した各物体の枠線の情報や、今回のフレームにおいてセンサ類Ｑから送信されてきた自車両Ａのヨーレートγnewの情報もそれぞれメモリに保存するようになっている。
【００６０】
物体検出手段１０は、さらに、基準画像ＴO上に各物体を検出すると、検出した物体ごとに、当該物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）を、メモリに記憶されている前回のフレームにおける各物体の両端の相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）と照合するようになっている。
【００６１】
そして、物体検出手段１０は、後述する平滑化フィルタ処理（図６のステップＳ１３）により前回のフレームで算出されている自車両Ａに対する各物体の両端のＸ軸方向、Ｙ軸方向およびＺ軸方向の相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）との整合性の範囲内で当該物体に適合する物体が前回のフレームにおける各物体の中にあれば、今回のフレームで検出した当該物体に検出された前回のフレームにおける物体に付した符号等を対応付けて物体の情報を更新するようになっている。
【００６２】
予測領域設定手段１１は、前回のフレームにおいて物体検出手段１０により算出された各物体を表す各近似直線の両端の相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）と、前回のフレームで算出された自車両に対する各物体の両端の相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）と、前回のフレームにおける自車両Ａのヨーレートγoldに基づいて、今回のフレームにおいて当該物体が撮像されると予測される予測領域を基準画像ＴO上と比較画像ＴC上にそれぞれ設定するようになっている。
【００６３】
具体的には、図１３に示すように、予測領域設定手段１１は、メモリから読み出した前回のフレームにおける物体Ｏを表す各近似直線の両端の相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）を、前回のフレームの当該物体Ｏの両端のＸ軸方向、Ｙ軸方向およびＺ軸方向の相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）分だけ移動させた後、前回測定された自車両Ａのヨーレートγold分だけ自車両Ａを中心に回転させて、今回のフレームにおいて当該物体Ｏが存在すると予測される自車両Ａとの物体の両端の相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）を算出する。
【００６４】
そして、算出した相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）を前記（２）、（３）式にそれぞれ代入して、相対位置の基準画像ＴO上の座標（ｉ１est，ｊ１est）、（ｉ２est，ｊ２est）を算出する。そして、それらとメモリから読み出した当該物体Ｏの枠線の情報とに基づいて、図１４（Ａ）に示すように、基準画像ＴO上に当該物体Ｏが撮像されると予測される予測領域ＲOestを設定する（図５のステップＳ３）。
【００６５】
また、予測領域設定手段１１は、当該物体Ｏの相対位置のＺ座標Ｚ１est、Ｚ２estの平均Ｚest_aveを算出し、それを前記（４）式に代入して今回のフレームにおける視差ｄｐestを予測し、図１４（Ｂ）に示すように基準画像ＴO上に設定した予測領域ＲOestから視差ｄｐestだけずらした比較画像ＴC上の位置に予測領域ＲCestを設定するようになっている（図５のステップＳ４）。
【００６６】
また、予測領域設定手段１１は、前回のフレームで検出されなかった物体についても当該物体について後述する追跡（ステップＳ１０、Ｓ１１）が続行されている間は、後続のフレームにおいても基準画像ＴO上および比較画像ＴC上に予測領域ＲOest、ＲCestの設定を行うようになっている。
【００６７】
予測領域設定手段１１は、以上のようにして、ステップＳ３、Ｓ４の処理を、前回のフレームで検出されなかった物体も含めて全物体について行うようになっている。
【００６８】
判断手段１２は、物体ごとに、上記のようにして予測領域設定手段１１により基準画像ＴO上に設定された予測領域ＲOestにおける輝度値ｐ１ijの平均値ｐ１ij_aveを算出し、また、それに対応して比較画像ＴC上に設定された予測領域ＲCestにおける輝度値ｐ２ijの平均値ｐ２ij_aveを算出して、平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が所定の閾値以上であるか否かを判断するようになっている（ステップＳ５）。
【００６９】
平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が所定の閾値Δｐth未満であれば（ステップＳ５；ＮＯ）、判断手段１２は、続いて、基準画像ＴO上の予測領域ＲOestに物体が検出されているか否かを判断し（ステップＳ６）、物体が検出されていれば（ステップＳ６；ＹＥＳ）、メモリに記憶されている当該物体を表す近似直線の両端の自車両Ａに対する実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）等の当該物体の情報をそのまま維持する。
【００７０】
また、平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が所定の閾値Δｐth未満であって（ステップＳ５；ＮＯ）、基準画像ＴO上の予測領域ＲOestに物体が検出されていなければ（ステップＳ６；ＮＯ）、基準画像ＴO上の予測領域ＲOestの設定の基となった物体は基準画像ＴO上に存在しなくなった（いわゆるロストした）として、メモリに記憶されている当該物体の情報を抹消して（ステップＳ７）、当該物体の追跡を停止するようになっている。
【００７１】
一方、平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が所定の閾値Δｐth以上であれば（ステップＳ５；ＹＥＳ）、判断手段１２は、基準画像ＴO上の予測領域ＲOestに物体が検出されているか否かを判断する（ステップＳ８）。そして、物体が検出されていれば（ステップＳ８；ＹＥＳ）、検出された当該物体の情報は信頼性が低いため、メモリに保存されている今回のフレームで検出した当該物体の距離Ｚｎの情報や当該物体を表す近似直線の両端の自車両Ａに対する実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）の情報等にノイズが含まれている旨の情報を対応付けて、メモリに保存し直すようになっている（ステップＳ９）。
【００７２】
また、平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が所定の閾値Δｐth以上であって（ステップＳ５；ＹＥＳ）、基準画像ＴO上の予測領域ＲOestに物体が検出されていない場合には（ステップＳ８；ＮＯ）、当該物体を表す近似直線の両端の自車両Ａに対する実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）は算出されない。そこで、判断手段１２は、その代わりに当該物体が存在すると予測される自車両Ａとの当該物体の両端の相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）の情報を当該物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）とし（ステップＳ１０）、予測領域ＲOestの情報を物体の枠線の情報とするとともに、それらの情報に物体が検出されなかったという情報とノイズが含まれている旨の情報を対応付けてメモリに保存して（ステップＳ１１）、当該物体の追跡を続行するようになっている。
【００７３】
なお、上記の基準画像ＴO上の予測領域ＲOestに物体が検出されているか否かの判断（ステップＳ６、Ｓ８）については、本実施形態では、当該物体について基準画像ＴO上に設定された予測領域ＲOestと物体検出手段１０により基準画像ＴO上に設定された矩形状の枠線で示される領域とが重なるか否かを基準として判断され、両者が少なくとも接していることが条件とされている。また、両領域が基準画像ＴO上で重なる場合であっても、両領域の実空間上の位置が所定距離以上に離れている場合には、予測領域ＲOestには当該物体は検出されていないと判断するように構成されている。
【００７４】
また、本実施形態のように基準画像ＴO上の予測領域ＲOestに物体が検出されない場合に当該物体を追跡する場合（ステップＳ１０、Ｓ１１）においても、予め設定した所定のフレーム数を越えて予測領域ＲOestに当該物体が検出されない状態が継続された場合に、当該物体は基準画像ＴO上に存在しなくなったとして、メモリに記憶されている当該物体の情報を抹消して、当該物体の追跡を停止するように構成することも可能である。
【００７５】
判断手段１２は、以上の処理を、前回のフレームで検出されなかった物体も含めて予測領域ＲOest、ＲCestが設定された全物体について終了していなければ（ステップＳ１２；ＮＯ）、ステップＳ５以下の処理を繰り返す。そして、判断手段１２は、全物体について以上の処理を終了すると（ステップＳ１２；ＹＥＳ）、上記のようにして検出され或いは検出されなかった物体の情報を必要に応じてメモリから読み出して出力するようになっている。
【００７６】
判断手段１２は、続いて、次回のフレームにおける物体の両端の相対速度（ΔＸ１new，ΔＹ１new，ΔＺ１new）、（ΔＸ２new，ΔＹ２new，ΔＺ２new）の算出を行うようになっている。
【００７７】
本実施形態では、次回のフレームにおける物体の両端の相対速度（ΔＸ１new，ΔＹ１new，ΔＺ１new）、（ΔＸ２new，ΔＹ２new，ΔＺ２new）は、今回のフレームで用いた物体の両端の相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）と、前回のフレームにおける物体の両端の相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）に対する今回のフレームにおける物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）の差分とを、加算割合により重み付け加算する平滑化フィルタ処理により算出されるようになっている。
【００７８】
すなわち、加算割合をＰとした場合、判断手段１２は、次回のフレームにおける相対速度ΔＸ１new、ΔＹ１new、ΔＺ１new、ΔＸ２new、ΔＹ２new、ΔＺ２newを、
ΔＸ１new＝（１−Ｐ）×ΔＸ１old＋Ｐ×（Ｘ１new−Ｘ１old） …（５）
ΔＹ１new＝（１−Ｐ）×ΔＹ１old＋Ｐ×（Ｙ１new−Ｙ１old） …（６）
ΔＺ１new＝（１−Ｐ）×ΔＺ１old＋Ｐ×（Ｚ１new−Ｚ１old） …（７）
ΔＸ２new＝（１−Ｐ）×ΔＸ２old＋Ｐ×（Ｘ２new−Ｘ２old） …（８）
ΔＹ２new＝（１−Ｐ）×ΔＹ２old＋Ｐ×（Ｙ２new−Ｙ２old） …（９）
ΔＺ２new＝（１−Ｐ）×ΔＺ２old＋Ｐ×（Ｚ２new−Ｚ２old） …（１０）
で算出するようになっている（図６のステップＳ１３）。
【００７９】
なお、上記（５）〜（１０）式において、Ｘ１new、Ｙ１new、Ｚ１new、Ｘ２new、Ｙ２new、Ｚ２newには、今回のフレームで基準画像ＴO上の予測領域ＲOestに物体が検出されていれば物体を表す各近似直線の両端の実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）が用いられ、今回のフレームで基準画像ＴO上の予測領域ＲOestに物体が検出されていない場合には前述したステップＳ１０で物体が存在すると予測される物体の両端の相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）を相対位置とした場合の物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）が用いられる。また、Ｘ１old、Ｙ１old、Ｚ１old、Ｘ２old、Ｙ２old、Ｚ２oldには、前回のフレームにおける相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）が用いられる（後述するステップＳ１５参照）。
【００８０】
本実施形態では、判断手段１２は、上記（５）〜（１０）式に示される平滑化フィルタ処理を行う際、計算を行う物体の情報に前述したノイズが含まれている旨の情報を対応付けており、当該物体が基準画像ＴO上の予測領域ＲOestに検出されている場合には、当該物体については前記加算割合Ｐを低下させて、平滑化における差分Ｘ１new−Ｘ１old等の寄与を軽減させるようになっている。今回のフレームで算出された物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）の情報の信頼性が低いためである。
【００８１】
また、本実施形態では、判断手段１２は、物体が基準画像ＴO上の予測領域ＲOestに検出されていない場合、すなわちメモリ内にその物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）の情報は記憶されているがその情報に物体が検出されなかったという情報とノイズが含まれている旨の情報を対応付けられている場合は、上記（５）〜（１０）式における加算割合Ｐを０とし、今回のフレームで用いた物体の相対速度ΔＸ１old、ΔＹ１old、ΔＺ１old、ΔＸ２old、ΔＹ２old、ΔＺ２oldをそのまま次回のフレームにおける相対速度ΔＸ１new、ΔＹ１new、ΔＺ１new、ΔＸ２new、ΔＹ２new、ΔＺ２newとするように構成されている。
【００８２】
当該物体はそもそも基準画像ＴO上の予測領域ＲOestに検出されておらず、その相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）は当該物体の追跡のために予測される相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）を仮にその物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）としたものであるからである。
【００８３】
なお、上記（５）〜（１０）式における加算割合をそれぞれ異なる値とし、それぞれ独立にその数値を調整するように構成することも可能である。
【００８４】
続いて、判断手段１２は、次回のフレームで用いるために、算出した相対速度（ΔＸ１new，ΔＹ１new，ΔＺ１new）、（ΔＸ２new，ΔＹ２new，ΔＺ２new）をそれぞれ相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）とし（ステップＳ１４）、相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）をそれぞれ相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）として（ステップＳ１５）、次回のフレームの処理に移るようになっている。
【００８５】
次に、本実施形態に係る物体検出装置１の作用について説明する。
【００８６】
なお、以下に示す図１５（Ａ）、（Ｂ）等の基準画像ＴOや比較画像ＴCには中央付近の物体Ｏのほかに右側に他の物体（対向車両）が撮像されており、当該他の物体に対しても中央付近に撮像された物体Ｏと同様の処理が行われるが、以下では説明を省略する。
【００８７】
通常の状態の物体検出時においては、図１５（Ａ）、（Ｂ）に示すように、基準画像ＴO上および比較画像ＴC上に予測領域ＲOest、ＲCestが設定される。予測領域ＲOest、ＲCestには同一の物体Ｏが撮像されており、いずれの画像ＴO、ＴCにおいても同一の物体Ｏは同じような輝度値で撮像されるから、基準画像ＴO上の予測領域ＲOestにおける輝度値ｐ１ijの平均値ｐ１ij_aveと、比較画像ＴC上の予測領域ＲCestにおける輝度値ｐ２ijの平均値ｐ２ij_aveとは、ほぼ同じ値となる。
【００８８】
従って、通常の撮像状態ではそれらの平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜は小さな値となり、平均値の差の絶対値が閾値Δｐth未満であると判断されるため（図５のステップＳ５；ＮＯ）、判断手段１２は、基準画像ＴO上の予測領域ＲOestに物体Ｏが検出されているか否かの判断を行う（ステップＳ６）。
【００８９】
この場合、基準画像ＴO上に物体Ｏが検出されているため、物体検出手段１０により図１５（Ａ）に示すように基準画像ＴO上には物体Ｏを包囲するように枠線Ｆｒが設定される。そして、基準画像ＴO上で枠線Ｆｒと予測領域ＲOestとほぼ同じ位置に設定され、各領域が重なり、両領域の実空間上の位置が所定距離以上に離れていないため、判断手段１２は、基準画像ＴO上の予測領域ＲOestに物体Ｏが検出されていると判断して（図５のステップＳ６；ＹＥＳ）、その物体Ｏを表す近似直線の両端の自車両Ａに対する実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）等の当該物体Ｏの情報をメモリで更新（図６のステップＳ１５等）しながら維持して、物体Ｏを追跡する。
【００９０】
また、基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜は小さな値である（図５のステップＳ５；ＮＯ）にもかかわらず、基準画像ＴO上の予測領域ＲOestに物体Ｏが検出されなくなれば（図５のステップＳ６；ＮＯ）、判断手段１２は、予測領域ＲOest、ＲCestにともに物体Ｏが撮像されておらず、基準画像ＴO上には物体Ｏが存在しなくなったとして、メモリに記憶されている当該物体Ｏの情報を抹消して（ステップＳ７）、その物体の追跡を停止する。以上が、通常の撮像状態における判断手段１２の基本的な処理動作である。
【００９１】
しかし、例えば雨天時等にワイパが作動され、図１５（Ｂ）に示すように比較画像ＴC上に撮像されていた物体Ｏが、次のフレームで図１６（Ｂ）に示すようにワイパＷで隠されてしまったとする。その際、メインカメラ２ａとサブカメラ２ｂは、通常、比較画像ＴC上に撮像されている物体が運転席から見て左側のワイパで隠されるのと同じタイミングで基準画像ＴO上に撮像されている同一の物体が右側のワイパで隠されるような位置には配置されないから、図１６（Ａ）に示すように、撮像を妨害する他の要因がない限り、基準画像ＴOには物体Ｏが撮像される。
【００９２】
この状態では、ステレオマッチング手段７では正常なステレオマッチング処理が行えず、通常、物体検出手段１０では基準画像ＴO上に物体Ｏを検出することができない。従って、基準画像ＴO上に物体Ｏを包囲する枠線は設定されない。
【００９３】
しかし、前述したように今回のフレームにおける基準画像ＴOおよび比較画像ＴCの予測領域ＲOest、ＲCestは、図１５（Ａ）、（Ｂ）に示した前回のフレームの基準画像ＴOと比較画像ＴCに基づいて物体検出手段１０で検出された物体Ｏの両端の相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）と、前回のフレームで算出された自車両に対する物体Ｏの両端の相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）等に基づいてそれぞれ設定される。
【００９４】
従って、今回のフレームで比較画像ＴCの物体ＯがワイパＷで隠されてしまっても、図１６（Ａ）、（Ｂ）に示すように基準画像ＴO上および比較画像ＴC上に予測領域ＲOest、ＲCestが設定される。しかし、比較画像ＴCの予測領域ＲCestはワイパＷに隠されて輝度値ｐ２ijの平均値ｐ２ij_aveが図１７に示すように大きく低下する。それに対して基準画像ＴOの予測領域ＲOestの輝度値ｐ１ijの平均値ｐ１ij_aveはさほど大きく変化しない。そのため、予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜は大きな値となって閾値Δｐthを越える（図５のステップＳ５；ＹＥＳ）。
【００９５】
そして、この場合、基準画像ＴO上に物体Ｏを包囲する枠線は設定されず、基準画像ＴOの予測領域ＲOestに重なる枠線は存在しないから、判断手段１２は、基準画像ＴO上の予測領域ＲOestに物体Ｏが検出されていないと判断する（ステップＳ８；ＮＯ）。本実施形態の場合、この場合、基準画像ＴO上に物体Ｏを包囲する枠線が設定されていないが、物体Ｏを即座にロストさせず、基準画像ＴO上に予測領域ＲOestを設定する際に用いた予測される物体Ｏの両端の相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）の情報を当該物体Ｏの両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）としてメモリに保存して（ステップＳ１０）、物体Ｏを追跡する。
【００９６】
しかし、物体Ｏは、本来、物体検出手段１０で検出されていないため、それらの相対位置の情報に、物体が検出されなかったという情報とノイズが含まれている旨の情報を対応付ける（ステップＳ１１）。
【００９７】
ステレオ撮像手段２のサンプリング周期やワイパＷのフロントガラス上での移動速度等にもよるが、ワイパＷは、通常、１〜数フレームで画像上に存在しなくなるから、例えばワイパＷが撮像画像上を１フレームで通過するような条件の場合、基準画像ＴOと比較画像ＴCとは、図１６（Ａ）、（Ｂ）に示した状態から次のフレームでは図１５（Ａ）、（Ｂ）に示したような状態に戻る。そのため、図１８に示すように、比較画像ＴCの予測領域ＲCestにおける輝度値ｐ２ijの平均値ｐ２ij_aveは元の値程度まで回復し、基準画像ＴO上と比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜は小さな値に戻る（図５のステップＳ５；ＮＯ）。
【００９８】
そのため、それ以降は、通常の撮像状態における判断手段１２の基本的な処理動作（ステップＳ６、Ｓ７）に戻って、物体Ｏの追跡を続行することが可能となる。
【００９９】
なお、上記の予測領域の輝度値の平均値の増減は、基準画像ＴOを撮像するメインカメラ２ａの前方をワイパが横切った場合にも生じ、図１９に示すように、メインカメラ２ａやサブカメラ２ｂの前方をワイパＷが横切るたびに、それらのカメラ２ａ、２ｂで撮像される基準画像ＴOや比較画像ＴCの予測領域ＲOest、ＲCestにおける輝度値の各平均値ｐ１ij_ave、ｐ２ij_aveが、本実施形態では１フレームの間だけ大きく減少する。
【０１００】
上記の予測領域ＲOest、ＲCestにおける輝度値ｐ１ij、ｐ２ijの平均値ｐ１ij_ave、ｐ２ij_aveの変化特性を利用すると、メインカメラ２ａやサブカメラ２ｂの前方をワイパＷが横切ったことを検出することが可能となる。
【０１０１】
すなわち、設定された基準画像ＴO上の予測領域ＲOestまたは比較画像ＴC上の予測領域ＲCestのいずれか一方の予測領域で、１フレーム程度の間だけ、輝度値の平均値が他方の予測領域の輝度値の平均値よりも閾値Δｐth以上に小さくなった場合に、輝度値の平均値が小さい予測領域が属する画像を撮像するメインカメラ２ａまたはサブカメラ２ｂの前方をワイパＷが横切ったと判断手段１２で判断するように構成することで、メインカメラ２ａやサブカメラ２ｂの前方をワイパＷが横切ったことを検出することが可能となる。
【０１０２】
一方、メインカメラ２ａかサブカメラ２ｂの一方の前方のフロントガラスに雨粒や汚れ等の付着物が付着した場合、例えばサブカメラ２ｂの前方のフロントガラスに汚れが付着し、比較画像ＴC中の汚れに対応する部分に予測領域ＲCestが設定されると、その予測領域ＲCestでは、図２０に示すように、輝度値ｐ２ijの平均値ｐ２ij_aveが基準画像ＴOの対応する部分に設定された予測領域ＲOestにおける輝度値ｐ１ijの平均値ｐ１ij_aveより小さい状態が続く。
【０１０３】
また、例えばサブカメラ２ｂの前方のフロントガラスに雨粒が付着した場合、夜間に対向車両があると、雨粒が付着した部分では対向車両のヘッドライトが拡散されて輝度値が増大し、比較画像ＴC中の雨粒に対応する部分に予測領域ＲCestが設定されると、その予測領域ＲCestでは、図２１に示すように、図２０の場合とは逆に、輝度値ｐ２ijの平均値ｐ２ij_aveが基準画像ＴOの対応する部分に設定された予測領域ＲOestにおける輝度値ｐ１ijの平均値ｐ１ij_aveより大きい状態が続く。
【０１０４】
これらの場合、ステレオマッチング処理が正常に行われず、基準画像ＴO上に物体Ｏを検出することができなければ、上記のワイパの場合と同様に処理が行われる。
【０１０５】
しかし、ステレオマッチング手段７でステレオマッチング処理が行われて物体検出手段１０で基準画像ＴO上に物体を検出することができる場合もあり、その場合には基準画像ＴO上に物体を包囲する枠線が設定される。そして、付着物が付着した部分に対応する基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が閾値Δｐth未満の小さな値であれば（図５のステップＳ５；ＮＯ）、判断手段１２の通常の物体検出処理（ステップＳ６、Ｓ７）が行われる。
【０１０６】
また、ステレオマッチング処理が行われて基準画像ＴO上に物体を包囲する枠線が設定されたとしても、付着物が付着した部分に対応する基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が閾値Δｐth以上の大きな値であれば（図５のステップＳ５；ＮＯ）、その検出結果は信頼性が低い。そのため、判断手段１２は、このような場合には、物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）の情報等にノイズが含まれている旨の情報を対応付けてメモリに保存する（ステップＳ９）。また、相対位置の情報が出力される際にはノイズが含まれている旨の情報が対応付けられた状態で出力される。
【０１０７】
なお、前述したワイパの場合と異なり、付着物が付着した場合には基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が閾値Δｐth以上である状態が比較的長く継続する場合がある。そのような場合には、警報を鳴らす等してドライバに付着物の除去を指示するように構成することも可能である。
【０１０８】
上記の予測領域ＲOest、ＲCestにおける輝度値ｐ１ij、ｐ２ijの平均値ｐ１ij_ave、ｐ２ij_aveの変化特性を利用すると、今度は、メインカメラ２ａやサブカメラ２ｂの前方のフロントガラスに付着物が付着したことを検出することが可能となる。
【０１０９】
すなわち、設定された基準画像ＴO上の予測領域ＲOestまたは比較画像ＴC上の予測領域ＲCestのいずれか一方の予測領域で、輝度値の平均値と他方の予測領域の輝度値の平均値との差の絶対値が閾値Δｐth以上である状態が所定のフレーム数以上継続する場合には、メインカメラ２ａまたはサブカメラ２ｂの前方のフロントガラスに付着物が付着したと判断手段１２で判断するように構成することで、メインカメラ２ａやサブカメラ２ｂの前方のフロントガラスに付着物が付着したことを検出することが可能となる。
【０１１０】
一方、前述したように、先行車両等が街路樹の間を走行していて樹木の陰になったり木漏れ日が差し込んだりする場合等のように外界の環境が変化する場合、先行車両等の物体自体が明るくなったり暗くなったりするため、先行車両等が撮像された基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値ｐ１ij、ｐ２ijの平均値ｐ１ij_ave、ｐ２ij_aveは同時に低下し、或いは増加する。
【０１１１】
そのため、それらの輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜は小さな値のままとなり（図５のステップＳ５；ＮＯ）、判断手段１２は、このような場合には通常の撮像状態における基本的な処理動作（ステップＳ６、Ｓ７）で先行車両等の物体の検出を続行する。このように、本実施形態の物体検出装置１では、外界の環境が急に変化しても通常の物体検出処理を行うが、図１７〜図１９に示したように一方の予測領域の輝度値の平均値のみが低下したり増加したりする場合には通常の処理とは異なる処理を行う。
【０１１２】
以上のように、本実施形態に係る物体検出装置１によれば、今回のフレームで基準画像ＴO上に物体が検出されているか否かにかかわらず、前回のフレームの結果に基づいて今回のフレームにおいて当該物体が撮像されると予測される予測領域ＲOest、ＲCestを基準画像ＴO上と比較画像ＴC上にそれぞれ設定し、それらの予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜に基づいて予測領域ＲOestに検出されている物体の情報または物体が検出されなかったという情報にノイズが含まれているか否かを判断するため、メインカメラ２ａやサブカメラ２ｂの一方の前方をワイパＷが横切ったり一方の前方のフロントガラスに付着物が付着したりして発生したノイズか、或いは外界の環境が変化したのかを的確に判別することが可能となる。
【０１１３】
また、このようにノイズと外界の環境の変化とを的確に判別して物体を検出することが可能となるため、外界の環境が変化しただけであって検出された物体の情報や物体が検出されなかったという情報の信頼性が高い場合と、ノイズが生じていて検出された物体の情報や物体が検出されなかったという情報の信頼性が低い場合とを的確に区別して、情報の信頼性が低い場合にはその旨を物体の情報等に的確に対応付けて出力することが可能となる。
【０１１４】
さらに、それにより、出力された情報に基づいて例えば自車両の自動走行制御等を行う場合、それらの情報の信頼性を認識したうえで情報を自動制御等に用いるように構成することが可能となり、自動制御等を的確に行うことが可能となる。
【０１１５】
なお、本実施形態では、基準画像ＴO上の予測領域ＲOestに検出された物体の情報または物体が検出されなかったという情報にノイズが含まれている旨の情報を対応付ける場合について説明したが、物体の情報に例えば信頼度という情報を予め対応付けておき、通常に検出された物体ではその信頼度を大きな値とし、物体が検出された場合または検出されなかった場合にはそれらの情報の信頼度を小さな値に変更することをもって、それらの情報に前記ノイズが含まれている旨の情報を対応付けたこととするように構成することも可能である。
【０１１６】
また、基準画像ＴO上の予測領域ＲOestに検出された物体の情報または物体が検出されなかったという情報に前記ノイズが含まれている旨の情報を対応付けた場合に、図２２に示すように、判断手段１２からステレオマッチング手段７に信号を送信し、ステレオマッチング手段２におけるステレオマッチング処理の基準をより厳しくなるように変更するように構成することも可能である。
【０１１７】
具体的には、本実施形態ではステレオマッチング処理の基準であるＳＡＤ値に対する閾値をより小さな値に変更して、基準画像ＴOの基準画素ブロックＰＢOと比較画像ＴCの比較画素ブロックＰＢCの輝度パターンが非常に似かよったものである場合にだけ比較画像ＴC上に比較画素ブロックＰＢCを特定するように構成する。このように構成すれば、基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が大きい場合でも、検出された物体の距離の情報等の信頼性をより向上させることが可能となる。
【図面の簡単な説明】
【０１１８】
【図１】本実施形態に係る物体検出装置の構成を示すブロック図である。
【図２】基準画像の一例を示す図である。
【図３】イメージプロセッサにおけるステレオマッチング処理の手法を説明する図である。
【図４】図２の基準画像に基づいて形成された距離画像を示す図である。
【図５】検出手段における処理の手順を示すフローチャートである。
【図６】検出手段における処理の手順を示すフローチャートである。
【図７】距離画像を分割する各区分を示す図である。
【図８】図７の各区分における物体の距離を抽出するためのヒストグラムの一例を示す図である。
【図９】各区分における物体の距離を実空間上にプロットした図である。
【図１０】図９の各点のグループ化を説明する図である。
【図１１】図１０の各グループに属する各点を直線近似して得られる物体を表す図である。
【図１２】基準画像上で矩形状の枠線に包囲されて検出された各物体を表す図である。
【図１３】予測領域設定手段における前回のフレームの結果から今回のフレームにおいて物体が存在すると予測される相対位置を算出する手法を説明する図である。
【図１４】（Ａ）基準画像上に設定された予測領域、および（Ｂ）比較画像上に設定された予測領域を表す図である。
【図１５】（Ａ）基準画像上に設定された予測領域および物体を包囲する枠線、および（Ｂ）比較画像上に設定された予測領域を表す図である。
【図１６】（Ａ）物体が撮像された基準画像、および（Ｂ）撮像されていた物体がワイパに隠された比較画像を表す図である。
【図１７】図１６（Ａ）、（Ｂ）の状態で比較画像の予測領域の輝度値の平均値が大きく低下する状態を説明するグラフである。
【図１８】図１５（Ａ）、（Ｂ）の状態に戻ると比較画像の予測領域の輝度値の平均値が回復することを説明するグラフである。
【図１９】一対の撮像手段の前方をワイパが横切る状態での基準画像と比較画像の各予測領域における輝度値の各平均値を表すグラフである。
【図２０】一方の撮像手段の前方のフロントガラスに汚れが付着した場合の基準画像と比較画像の各予測領域における輝度値の各平均値の変化を表すグラフである。
【図２１】一方の撮像手段の前方のフロントガラスに雨粒が付着して光が拡散した場合の基準画像と比較画像の各予測領域における輝度値の各平均値の変化を表すグラフである。
【図２２】判断手段からステレオマッチング手段に信号を送信してステレオマッチング処理の基準を厳しくなるように変更する場合の構成例を示すブロック図である。
【符号の説明】
【０１１９】
１ 物体検出装置
２ ステレオ撮像手段
２ａ、２ｂ 一対の撮像手段（メインカメラ、サブカメラ）
７ ステレオマッチング手段
１０ 物体検出手段
１１ 予測領域設定手段
１２ 判断手段
Ａ 自車両
ｄｐ 視差
Ｏ 物体
Ｐ 加算割合
ｐ１ij、ｐ２ij 輝度値
ｐ１ij_ave、ｐ２ij_ave 輝度値の平均値
Δｐth 閾値
ＰＢO 基準画素ブロック
ＰＢC 比較画素ブロック
ＲOest、基準画像上の予測領域
ＲCest 比較画像上の予測領域
ＴO 基準画像
ＴC 比較画像
Ｗ ワイパ
（Ｘ１new，Ｙ１new，Ｚ１new） 今回のフレームにおける相対位置
（Ｘ２new，Ｙ２new，Ｚ２new） 今回のフレームにおける相対位置
（Ｘ１old，Ｙ１old，Ｚ１old） 前回のフレームにおける相対位置
（Ｘ２old，Ｙ２old，Ｚ２old） 前回のフレームにおける相対位置
（ΔＸ１old，ΔＹ１old，ΔＺ１old） 相対速度
（ΔＸ２old，ΔＹ２old，ΔＺ２old） 相対速度
Ｚ 距離
【技術分野】
【０００１】
本発明は、物体検出装置に係り、特に、ステレオ撮像手段により撮像された一対の画像に対してステレオマッチング処理を行って物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
車両のフロントガラスの内側に取り付けられたステレオ撮像手段を用いて自車両の周囲の物体までの距離を測定する手法としては、一対のカメラで撮像された一対の撮像画像を用いて、一対の撮像画像のうち、基準となる一方の撮像画像（以下、基準画像という。）と他方の撮像画像（以下、比較画像という。）とを比較して、同じ物体が撮像されている各画像中の各位置の差すなわち視差を算出し、その視差に基づいて三角測量の原理によって物体までの距離を算出する手法が一般的である。そして、基準画像と比較画像で同じ物体が撮像されている位置を特定する手法としては、通常、ステレオマッチング処理が行われる（例えば特許文献１等参照）。
【０００３】
しかし、このようなステレオマッチング処理においては、例えば一対のカメラのうちいずれか一方のカメラの前方のフロントガラス上をワイパが通過し、他方のカメラで撮像されている物体が当該一方のカメラではワイパに隠されて撮像されていない場合、当該一方のカメラで撮像された画像上でその物体の位置を特定できず、物体までの距離を算出できないという問題があった。
【０００４】
そこで、単独のカメラを用いた場合であるが、特許文献２に記載の画像処理方法では、今回のフレームで撮像した自車両前方の画像と前回のフレームで撮像した自車両前方の画像との各画素の濃度について差分を算出し、差分処理の結果得られる差分画像の平均濃度や分散に基づいて今回のフレームでの画像にワイパが撮像されているか否かを判定する技術が提案されている。
【０００５】
また、同じく単独のカメラを用いた場合であるが、特許文献３に記載の画像処理装置等では、撮像画像内における物体の移動方向と移動速度とをベクトルで表したオプティカルフローを用いて画像内に撮像された物体の画像上の移動速度を算出して画像内に撮像されているワイパを検出し、画像内にワイパが検出された場合には、画像上のワイパによって自車両前方の画像が欠落した領域について過去に撮像したフレームから補間画像を得て補間する技術が提案されている。
【特許文献１】特開平１０−２８３４６１号公報
【特許文献２】特開２０００−１２３１５１号公報
【特許文献３】特開２００６−１０７３１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に記載された技術をステレオ撮像手段に応用し、一対のカメラのそれぞれのカメラに適用した場合、前回のフレームと今回のフレームとで外界の環境が急に変化する場合、例えば先行車両が街路樹の間を走行して木漏れ日が差し込んだり影になったりするような場合等にも今回のフレームで画像中にワイパが撮像されていると判定されてしまう可能性がある。
【０００７】
また、特許文献３に記載された技術をステレオ撮像手段に応用する場合、ワイパの移動速度を算出するためにはワイパの動きを連続して捉えることができる程度に速いシャッタ速度で各フレームを撮像する必要があり、また、数フレームにわたってワイパの動きが捉えられるように一対のカメラをフロントガラスから離れた位置に配置することが必要となる。しかし、実用上、ワイパ検出以外の状況ではそれほど速いシャッタ速度で撮像することは必要ではなく、また、車両のレイアウト上の制約等がありステレオ撮像手段をフロントガラスから離れた位置に配置することは困難であることが多い。さらに、通常、オプティカルフローの計算には時間が掛かり、処理の負担が大きくなる。
【０００８】
ステレオ撮像手段で撮像した画像に基づいて自車両の周囲の物体を検出する場合、ステレオ撮像手段はフロントガラスの内側に取り付けざるを得ず、フロントガラスに付着した雨粒や汚れ等の付着物により撮像画像にノイズが生じることは避けられない。また、降雨時等にはカメラの前方のフロントガラスに付着した雨粒や汚れをワイパで除去させざるを得ず、カメラで撮像した画像中にワイパが写り込むことは避けられない。そして、撮像画像にワイパや付着物等のノイズが含まれる場合には、それに基づくステレオマッチング処理で得られた物体までの距離の情報は信頼性が低くなる。
【０００９】
一方、前述した先行車両が街路樹の間を走行していて樹木の陰になったり木漏れ日が差し込んだりする場合等のように外界の環境が急に変化する場合には、その外界の環境が適切に撮像されている限り、撮像された画像に基づいて行われたステレオマッチング処理で得られた物体までの距離の情報の信頼性は高い。
【００１０】
従って、ステレオマッチング処理を行って物体を検出する物体検出装置においては、外界の環境の変化と、ワイパや付着物等によるノイズとを的確に判別して検出できるものであることが求められる。
【００１１】
本発明は、このような事情に鑑みてなされたものであり、ステレオマッチング処理を行い、外界の環境の変化と、ワイパや付着物等によるノイズとを的確に判別して物体を検出することができる物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記の問題を解決するために、第１の発明は、物体検出装置において
フロントガラスの内側に取り付けられた一対の撮像手段を備え、自車両の周囲の物体を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
基準画像上に設定した所定の画素数の基準画素ブロックに対して比較画像上でステレオマッチング処理を行い、比較画像上に特定された比較画素ブロックと前記基準画素ブロックとの間の視差を算出して基準画素ブロックごとにそれぞれ視差を算出するステレオマッチング手段と、
前記基準画素ブロックごとの各視差に基づいてそれぞれ自車両との距離を算出し、当該各距離に基づいて基準画像上に物体を検出する物体検出手段と、
前回のフレームにおける基準画像上の物体の前記距離と、前記距離に基づいて算出される当該物体の自車両との相対速度とに基づいて、今回のフレームにおいて当該物体が撮像されると予測される予測領域を基準画像上と比較画像上にそれぞれ設定する予測領域設定手段と、
前記基準画像上の予測領域とそれに対応する前記比較画像上の予測領域との輝度値の平均値の差の絶対値が所定の閾値以上であるか否かを判断し、前記差の絶対値が前記閾値以上である場合には、前記基準画像上の予測領域に検出された物体の情報または物体が検出されなかったという情報にノイズが含まれている旨の情報を対応付ける判断手段と、
を備えることを特徴とする。
【００１３】
第２の発明は、第１の発明の物体検出装置において、前記判断手段は、前記基準画像上の予測領域に検出された物体について算出された前記視差または前記距離の情報の信頼度を低下させ、または、前記基準画像上の予測領域に物体が検出されなかった場合には当該予測領域に物体が検出されなかったという情報の信頼度を低下させることを特徴とする。
【００１４】
第３の発明は、第１または第２の発明の物体検出装置において、
前記物体検出手段は、検出した物体の前記距離に基づいて当該物体の自車両との相対位置を算出して前記相対位置を時系列的に記憶し、
前記予測領域設定手段は、前回のフレームにおける前記相対位置と当該物体の相対速度とに基づいて今回のフレームにおける当該物体の相対位置を予測して当該物体が撮像されると予測される予測領域を基準画像上に設定し、かつ、予測した当該物体の相対位置に基づいて今回のフレームにおける視差を予測して当該視差と前記基準画像上に設定した予測領域とに基づいて比較画像上に予測領域を設定することを特徴とする。
【００１５】
第４の発明は、第３の発明の物体検出装置において、今回のフレームで用いた前記物体の相対速度と、前回のフレームにおける前記物体の相対位置に対する今回のフレームにおける前記物体の相対位置の差分とを、加算割合により重み付け加算する平滑化フィルタ処理により、次回のフレームにおける前記相対速度を算出することを特徴とする。
【００１６】
第５の発明は、第４の発明の物体検出装置において、前記ノイズが含まれている旨の情報を対応付けた物体が前記基準画像上の予測領域に検出されている場合には、今回のフレームにおける前記平滑化フィルタ処理において、当該物体については前記差分の加算割合を低下させることを特徴とする。
【００１７】
第６の発明は、第４または第５の発明の物体検出装置において、前記ノイズが含まれている旨の情報を対応付けた物体が前記基準画像上の予測領域に検出されなかった場合には、当該物体については今回のフレームで用いた物体の相対速度を次回のフレームにおける前記相対速度とすることを特徴とする。
【００１８】
第７の発明は、第１から第５のいずれかの発明の物体検出装置において、前記判断手段は、設定された前記基準画像上の予測領域において物体が検出されなかった場合には、当該物体に関する情報を抹消することを特徴とする。
【００１９】
第８の発明は、第１から第７のいずれかの発明の物体検出装置において、前記判断手段は、前記基準画像上の予測領域に検出された物体の情報または物体が検出されなかったという情報に前記ノイズが含まれている旨の情報を対応付けた場合には、前記ステレオマッチング手段におけるステレオマッチング処理の基準をより厳しくなるように変更することを特徴とする。
【００２０】
第９の発明は、第１から第８のいずれかの発明の物体検出装置において、前記判断手段は、設定された前記基準画像上の予測領域または前記比較画像上の予測領域のいずれか一方の予測領域において、１フレーム程度の間のみ、前記輝度値の平均値が他方の予測領域の輝度値の平均値よりも前記閾値以上に小さい場合には、当該輝度値の平均値が小さい予測領域が属する前記基準画像または前記比較画像を撮像する前記撮像手段の前方をワイパが横切ったと判断することを特徴とする。
【００２１】
第１０の発明は、第１から第９のいずれかの発明の物体検出装置において、前記判断手段は、設定された前記基準画像上の予測領域または前記比較画像上の予測領域のいずれか一方の予測領域において、前記輝度値の平均値と他方の予測領域の輝度値の平均値との差の絶対値が前記閾値以上である状態が所定のフレーム数以上継続する場合には、前記基準画像または前記比較画像を撮像する前記撮像手段の前方のフロントガラスに付着物が付着したと判断することを特徴とする。
【発明の効果】
【００２２】
第１の発明によれば、今回のフレームで基準画像上に物体が検出されているか否かにかかわらず、前回のフレームの結果に基づいて今回のフレームにおいて当該物体が撮像されると予測される予測領域を基準画像上と比較画像上にそれぞれ設定し、それらの予測領域における輝度値の各平均値の差の絶対値に基づいて基準画像上の予測領域に検出されている物体の情報または物体が検出されなかったという情報にノイズが含まれているか否かを判断するため、一方の撮像手段の前方をワイパが横切ったり一方の撮像手段の前方のフロントガラスに付着物が付着したりして発生したノイズか、或いは外界の環境が変化したのかを的確に判別することが可能となる。
【００２３】
また、このようにノイズと外界の環境の変化とを的確に判別して物体を検出することが可能となるため、外界の環境が変化しただけであって検出された物体の情報や物体が検出されなかったという情報の信頼性が高い場合と、ノイズが生じていて検出された物体の情報や物体が検出されなかったという情報の信頼性が低い場合とを的確に区別して、情報の信頼性が低い場合にはその旨を物体の情報等に的確に対応付けて出力することが可能となる。
【００２４】
さらに、それにより、出力された情報に基づいて例えば自車両の自動走行制御等を行う場合、それらの情報の信頼性を認識したうえで情報を自動制御等に用いるように構成することが可能となり、自動制御等を的確に行うことが可能となる。
【００２５】
第２の発明によれば、物体の情報に例えば信頼度という情報を予め対応付けておき、通常に検出された物体ではその信頼度を大きな値とし、物体が検出された場合または検出されなかった場合にはそれらの情報の信頼度を小さな値に変更することをもって、それらの情報に前記ノイズが含まれている旨の情報を対応付けるように構成することで、信頼度の情報を認識するだけで基準画像上の予測領域に検出された物体の情報または物体が検出されなかったという情報の信頼性を評価することが可能となるため、前記発明の効果がより効果的に発揮される。
【００２６】
第３の発明によれば、検出した物体の距離に基づいて当該物体の自車両との相対位置を算出し、それに基づいて予測領域を基準画像上に設定し、また、基準画像上に設定した予測領域から視差を予測して比較画像上に予測領域を設定することで、基準画像上および比較画像上に容易かつ的確に予測領域を設定することが可能となり、前記各発明の効果がより的確に発揮される。
【００２７】
第４の発明によれば、次回のフレームで用いる物体の相対速度を、今回のフレームで用いた相対速度と今回のフレームでの物体の検出結果とを平滑化して算出することで、物体の検出結果にばらつきがある場合でも、ばらつきを抑制し、自車両に対する物体の相対速度をより現実に近い状態で取得することが可能となり、基準画像上および比較画像上の予測領域をより適切に設定することが可能となる。そのため、前記各発明の効果がより的確に発揮される。
【００２８】
第５の発明によれば、ノイズが含まれている旨の情報を対応付けた物体が基準画像上の予測領域に検出されている場合に、今回のフレームにおける平滑化フィルタ処理において検出結果の加算割合を低下させることで、算出される相対速度が、信頼性が低い検出結果によって現実の値と大きく異なる値となることを防止することが可能となり、適切な相対速度が算出されるため、前記各発明の効果がより的確に発揮される。
【００２９】
第６の発明によれば、サンプリング周期が短い場合には、次回のフレームでの物体の相対速度は今回のフレームの相対速度とさほど変わらない。そのため、ノイズが含まれている旨の情報を対応付けた物体が基準画像上の予測領域に検出されなかった場合には、次回のフレームで用いる物体の相対速度を無理に修正するよりは、今回のフレームで用いた相対速度をそのまま用いる方が現実に即していると言える。従って、上記のように構成することで、より現実的な相対速度に基づいて予測領域を設定することが可能となり、前記各発明の効果が適切に発揮される。
【００３０】
第７の発明によれば、前記各発明の効果に加え、基準画像上の予測領域に物体が検出されなかった場合に当該物体に関する情報を抹消することで、信頼性が低い物体の情報を出力することが防止されるため、物体検出装置の信頼性を向上させることが可能となる。
【００３１】
第８の発明によれば、前記各発明の効果に加え、物体の情報にノイズが含まれている旨の情報を対応付けた場合に、ステレオマッチング手段におけるステレオマッチング処理の基準をより厳しくなるように変更することで、基準画像上および比較画像上の予測領域における輝度値の各平均値の差の絶対値が大きくなり検出される物体の情報の信頼性が低くなるような場合でも、ステレオマッチング処理で、基準画像の基準画素ブロックと輝度パターンが非常に似かよった比較画像の比較画素ブロックしか特定されなくなるため、検出された物体の距離の情報等の信頼性をより向上させることが可能となる。
【００３２】
第９の発明によれば、前記各発明の効果に加え、基準画像上および比較画像上の予測領域における輝度値の各平均値の差の絶対値が大きくなるフレーム数が１フレーム程度だけであれば、輝度値の平均値が低下した方の撮像手段の前方をワイパが横切ったと判断することが可能となり、ワイパが横切ったことを検出することが可能となる。
【００３３】
第１０の発明によれば、前記各発明の効果に加え、基準画像上および比較画像上の予測領域における輝度値の各平均値の差の絶対値が大きくなるフレーム数が比較的大きいフレーム数である場合には、輝度値の平均値が低下した方の撮像手段の前方のフロントガラスに付着物が付着したと判断することが可能となり、撮像手段の前方のフロントガラスに付着物が付着したことを検出することが可能となる。
【発明を実施するための最良の形態】
【００３４】
以下、本発明に係る物体検出装置の実施の形態について、図面を参照して説明する。
【００３５】
本実施形態に係る物体検出装置１は、図１に示すように、ステレオ撮像手段２と、ステレオマッチング手段７等を備える画像処理手段６と、物体検出手段９等を備える検出手段９等で構成されている。
【００３６】
なお、ステレオ撮像手段２から検出手段９の物体検出手段９までの構成は本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【００３７】
ステレオ撮像手段２は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対の撮像手段であるメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。メインカメラ２ａとサブカメラ２ｂは、図示しない車両のフロントガラスの内側、例えばルームミラー近傍に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられている。
【００３８】
メインカメラ２ａとサブカメラ２ｂは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に車両の周囲、特に前方の物体を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ２ａは例えば図２に示される基準画像ＴOの画像データを出力し、運転者から遠い側に配置されたサブカメラ２ｂは図示しない比較画像の画像データを出力するようになっている。
【００３９】
メインカメラ２ａとサブカメラ２ｂから出力された画像データは、図１に示すように、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ５に送信されて格納されるとともに、画像処理手段６にも送信されるようになっている。
【００４０】
画像処理手段６は、イメージプロセッサ等からなるステレオマッチング手段７と距離データメモリ８とを備えている。ステレオマッチング手段７は、基準画像ＴOおよび比較画像に対してステレオマッチング処理を行うようになっている。
【００４１】
具体的には、ステレオマッチング手段７は、図３に示すように、基準画像ＴO上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢOを設定し、基準画素ブロックＰＢOに対応する比較画像ＴC中のエピポーララインＥＰＬ上の基準画素ブロックＰＢOと同形の各比較画素ブロックＰＢCについて下記（１）式に従って当該基準画素ブロックＰＢOとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢCを特定するようになっている。
【００４２】
【数１】
【００４３】
なお、ｐ１stは基準画素ブロックＰＢO中の各画素の輝度値を表し、ｐ２stは比較画素ブロックＰＢC中の各画素の輝度値を表す。また、上記の総和は、基準画素ブロックＰＢOや比較画素ブロックＰＢCが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。
【００４４】
ステレオマッチング手段７は、このようにして基準画像ＴOの各基準画素ブロックＰＢOについて、特定した比較画素ブロックＰＢCの比較画像ＴC上の位置と当該基準画素ブロックＰＢOの基準画像ＴO上の位置から視差ｄｐを算出するようになっている。また、本実施形態では、ステレオマッチング処理の基準としてＳＡＤ値に対して予め閾値が設定されており、ステレオマッチング手段７は、基準画像ＴO上のある基準画素ブロックＰＢOに対して特定された比較画素ブロックＰＢCとの間のＳＡＤ値が閾値より大きい場合には、マッチングが不成立として視差ｄｐとして０を算出するようになっている。
【００４５】
ステレオマッチング手段７は、このようにして各基準画素ブロックＰＢOについて算出した視差ｄｐの情報を距離データメモリ８に送信して格納させるようになっている。
【００４６】
ここで、一対のメインカメラ２ａとサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（左右方向）をＸ軸方向、車高方向（高さ方向）をＹ軸方向、車長方向（前後方向）をＺ軸方向とした場合の実空間上の点（Ｘ，Ｙ，Ｚ）と、上記の視差ｄｐ、距離画像ＴZ上の点（ｉ，ｊ）とは、三角測量の原理に基づき下記（２）〜（４）式で表される座標変換により一意に対応づけられる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）
【００４７】
上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像ＴZ上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。なお、視差ｄｐが０の場合は上記（２）〜（４）式の計算は行われない。
【００４８】
本実施形態では、上記のように基準画像ＴOの各基準画素ブロックＰＢOにそれぞれ視差ｄｐが割り当てられた距離画像ＴZ（図４参照）を用いて各処理が行われるように構成されているが、距離データメモリ８に格納させる段階で視差ｄｐを前記（４）式に従って距離Ｚに変換し、基準画像ＴOの各基準画素ブロックＰＢOにそれぞれ距離Ｚを割り当てた距離画像を用いて各処理を行うように構成することも可能である。
【００４９】
検出手段９は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。また、検出手段９には、自車両の車速Ｖやヨーレートγ、ステアリングホイールの操舵角δ等を測定して出力する車速センサやヨーレートセンサ、操舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【００５０】
検出手段９は、図１に示すように、物体検出手段１０と、予測領域設定手段１１と、判断手段１２とを備えており、さらに図示しないメモリを備えており、さらに図示しないメモリを備えている。また、検出手段１０の各手段には、センサ類Ｑから必要なデータが入力されるようになっている。
【００５１】
検出手段９においては、図５および図６に示すフローチャートに従って処理が行われるようになっていり、以下、このフローチャートに従って説明する。
【００５２】
物体検出手段１０は、本実施形態では、前述したように特開平１０−２８３４６１号公報等に記載された車外監視装置等をベースに構成されている。詳細な説明はそれらの公報に委ねる。以下、その構成と処理内容について説明する。
【００５３】
物体検出手段１０では、上記のように検出された視差ｄｐを距離Ｚの情報に変換し、互いに隣接する距離Ｚの情報がグループ化されて基準画像ＴO上に各物体が検出されるようになっている（図５のステップＳ１）。
【００５４】
具体的には、物体検出手段１０は、距離データメモリ８から前述した距離画像ＴZを読み出して、図７に示すように距離画像ＴZを所定の画素幅で垂直方向に延びる短冊状の区分Ｄｎに分割する。そして、短冊状の各区分Ｄｎに属する各基準画素ブロックＰＢOに割り当てられた視差ｄｐを前記（４）式に従ってそれぞれ距離Ｚに変換し、距離Ｚについて図８に示すようにヒストグラムＨｎを作成し、度数Ｆｎが最大の階級の階級値をその短冊状の区分Ｄｎにおける物体の距離Ｚｎとする。これを全区分Ｄｎについて行うようになっている。
【００５５】
物体検出手段１０は、続いて、各区分Ｄｎごとに得られた距離Ｚｎを実空間上にプロットすると、距離Ｚｎは図９に示すように並ぶ。そして、物体検出手段１０は、図１０に示すようにプロットされた各点間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化するようになっている。
【００５６】
本実施形態では、物体検出手段１０は、図１１に示すように各グループに属する各点をそれぞれ直線近似し、それぞれのグループ内の各点が自車両Ａの車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”Ｏとラベルし、各点が自車両Ａの車長方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”Ｓとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてＣをラベルするようになっている。
【００５７】
そして、物体検出手段１０は、図１１の例では、［側壁Ｓ１］、［物体Ｏ１］、［側壁Ｓ２］、［物体Ｏ２とコーナー点Ｃと側壁Ｓ３］、［側壁Ｓ４］、［物体Ｏ３］、［物体Ｏ４］、［側壁Ｓ５とコーナー点Ｃと物体Ｏ５］、［物体Ｏ６］、［側壁Ｓ６］をそれぞれ１つの物体として検出するようになっている。なお、上記のように便宜上ラベルとして“物体”と“側壁”とが用いられるが、“側壁”も物体として検出される。
【００５８】
また、物体検出手段１０は、図１２に示すように、検出した各物体の情報に基づいて、基準画像ＴO上に撮像された各物体を包囲する矩形状の枠線を設定して各物体が撮像されている各領域を設定することで、基準画像ＴO上に各物体を検出するようになっている。
【００５９】
物体検出手段１０は、このようにして検出した各物体を表す各近似直線の両端の自車両Ａに対する実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）を算出してメモリに保存するようになっている（図５のステップＳ２）。また、物体検出手段１０は、検出した各物体の枠線の情報や、今回のフレームにおいてセンサ類Ｑから送信されてきた自車両Ａのヨーレートγnewの情報もそれぞれメモリに保存するようになっている。
【００６０】
物体検出手段１０は、さらに、基準画像ＴO上に各物体を検出すると、検出した物体ごとに、当該物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）を、メモリに記憶されている前回のフレームにおける各物体の両端の相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）と照合するようになっている。
【００６１】
そして、物体検出手段１０は、後述する平滑化フィルタ処理（図６のステップＳ１３）により前回のフレームで算出されている自車両Ａに対する各物体の両端のＸ軸方向、Ｙ軸方向およびＺ軸方向の相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）との整合性の範囲内で当該物体に適合する物体が前回のフレームにおける各物体の中にあれば、今回のフレームで検出した当該物体に検出された前回のフレームにおける物体に付した符号等を対応付けて物体の情報を更新するようになっている。
【００６２】
予測領域設定手段１１は、前回のフレームにおいて物体検出手段１０により算出された各物体を表す各近似直線の両端の相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）と、前回のフレームで算出された自車両に対する各物体の両端の相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）と、前回のフレームにおける自車両Ａのヨーレートγoldに基づいて、今回のフレームにおいて当該物体が撮像されると予測される予測領域を基準画像ＴO上と比較画像ＴC上にそれぞれ設定するようになっている。
【００６３】
具体的には、図１３に示すように、予測領域設定手段１１は、メモリから読み出した前回のフレームにおける物体Ｏを表す各近似直線の両端の相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）を、前回のフレームの当該物体Ｏの両端のＸ軸方向、Ｙ軸方向およびＺ軸方向の相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）分だけ移動させた後、前回測定された自車両Ａのヨーレートγold分だけ自車両Ａを中心に回転させて、今回のフレームにおいて当該物体Ｏが存在すると予測される自車両Ａとの物体の両端の相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）を算出する。
【００６４】
そして、算出した相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）を前記（２）、（３）式にそれぞれ代入して、相対位置の基準画像ＴO上の座標（ｉ１est，ｊ１est）、（ｉ２est，ｊ２est）を算出する。そして、それらとメモリから読み出した当該物体Ｏの枠線の情報とに基づいて、図１４（Ａ）に示すように、基準画像ＴO上に当該物体Ｏが撮像されると予測される予測領域ＲOestを設定する（図５のステップＳ３）。
【００６５】
また、予測領域設定手段１１は、当該物体Ｏの相対位置のＺ座標Ｚ１est、Ｚ２estの平均Ｚest_aveを算出し、それを前記（４）式に代入して今回のフレームにおける視差ｄｐestを予測し、図１４（Ｂ）に示すように基準画像ＴO上に設定した予測領域ＲOestから視差ｄｐestだけずらした比較画像ＴC上の位置に予測領域ＲCestを設定するようになっている（図５のステップＳ４）。
【００６６】
また、予測領域設定手段１１は、前回のフレームで検出されなかった物体についても当該物体について後述する追跡（ステップＳ１０、Ｓ１１）が続行されている間は、後続のフレームにおいても基準画像ＴO上および比較画像ＴC上に予測領域ＲOest、ＲCestの設定を行うようになっている。
【００６７】
予測領域設定手段１１は、以上のようにして、ステップＳ３、Ｓ４の処理を、前回のフレームで検出されなかった物体も含めて全物体について行うようになっている。
【００６８】
判断手段１２は、物体ごとに、上記のようにして予測領域設定手段１１により基準画像ＴO上に設定された予測領域ＲOestにおける輝度値ｐ１ijの平均値ｐ１ij_aveを算出し、また、それに対応して比較画像ＴC上に設定された予測領域ＲCestにおける輝度値ｐ２ijの平均値ｐ２ij_aveを算出して、平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が所定の閾値以上であるか否かを判断するようになっている（ステップＳ５）。
【００６９】
平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が所定の閾値Δｐth未満であれば（ステップＳ５；ＮＯ）、判断手段１２は、続いて、基準画像ＴO上の予測領域ＲOestに物体が検出されているか否かを判断し（ステップＳ６）、物体が検出されていれば（ステップＳ６；ＹＥＳ）、メモリに記憶されている当該物体を表す近似直線の両端の自車両Ａに対する実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）等の当該物体の情報をそのまま維持する。
【００７０】
また、平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が所定の閾値Δｐth未満であって（ステップＳ５；ＮＯ）、基準画像ＴO上の予測領域ＲOestに物体が検出されていなければ（ステップＳ６；ＮＯ）、基準画像ＴO上の予測領域ＲOestの設定の基となった物体は基準画像ＴO上に存在しなくなった（いわゆるロストした）として、メモリに記憶されている当該物体の情報を抹消して（ステップＳ７）、当該物体の追跡を停止するようになっている。
【００７１】
一方、平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が所定の閾値Δｐth以上であれば（ステップＳ５；ＹＥＳ）、判断手段１２は、基準画像ＴO上の予測領域ＲOestに物体が検出されているか否かを判断する（ステップＳ８）。そして、物体が検出されていれば（ステップＳ８；ＹＥＳ）、検出された当該物体の情報は信頼性が低いため、メモリに保存されている今回のフレームで検出した当該物体の距離Ｚｎの情報や当該物体を表す近似直線の両端の自車両Ａに対する実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）の情報等にノイズが含まれている旨の情報を対応付けて、メモリに保存し直すようになっている（ステップＳ９）。
【００７２】
また、平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が所定の閾値Δｐth以上であって（ステップＳ５；ＹＥＳ）、基準画像ＴO上の予測領域ＲOestに物体が検出されていない場合には（ステップＳ８；ＮＯ）、当該物体を表す近似直線の両端の自車両Ａに対する実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）は算出されない。そこで、判断手段１２は、その代わりに当該物体が存在すると予測される自車両Ａとの当該物体の両端の相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）の情報を当該物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）とし（ステップＳ１０）、予測領域ＲOestの情報を物体の枠線の情報とするとともに、それらの情報に物体が検出されなかったという情報とノイズが含まれている旨の情報を対応付けてメモリに保存して（ステップＳ１１）、当該物体の追跡を続行するようになっている。
【００７３】
なお、上記の基準画像ＴO上の予測領域ＲOestに物体が検出されているか否かの判断（ステップＳ６、Ｓ８）については、本実施形態では、当該物体について基準画像ＴO上に設定された予測領域ＲOestと物体検出手段１０により基準画像ＴO上に設定された矩形状の枠線で示される領域とが重なるか否かを基準として判断され、両者が少なくとも接していることが条件とされている。また、両領域が基準画像ＴO上で重なる場合であっても、両領域の実空間上の位置が所定距離以上に離れている場合には、予測領域ＲOestには当該物体は検出されていないと判断するように構成されている。
【００７４】
また、本実施形態のように基準画像ＴO上の予測領域ＲOestに物体が検出されない場合に当該物体を追跡する場合（ステップＳ１０、Ｓ１１）においても、予め設定した所定のフレーム数を越えて予測領域ＲOestに当該物体が検出されない状態が継続された場合に、当該物体は基準画像ＴO上に存在しなくなったとして、メモリに記憶されている当該物体の情報を抹消して、当該物体の追跡を停止するように構成することも可能である。
【００７５】
判断手段１２は、以上の処理を、前回のフレームで検出されなかった物体も含めて予測領域ＲOest、ＲCestが設定された全物体について終了していなければ（ステップＳ１２；ＮＯ）、ステップＳ５以下の処理を繰り返す。そして、判断手段１２は、全物体について以上の処理を終了すると（ステップＳ１２；ＹＥＳ）、上記のようにして検出され或いは検出されなかった物体の情報を必要に応じてメモリから読み出して出力するようになっている。
【００７６】
判断手段１２は、続いて、次回のフレームにおける物体の両端の相対速度（ΔＸ１new，ΔＹ１new，ΔＺ１new）、（ΔＸ２new，ΔＹ２new，ΔＺ２new）の算出を行うようになっている。
【００７７】
本実施形態では、次回のフレームにおける物体の両端の相対速度（ΔＸ１new，ΔＹ１new，ΔＺ１new）、（ΔＸ２new，ΔＹ２new，ΔＺ２new）は、今回のフレームで用いた物体の両端の相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）と、前回のフレームにおける物体の両端の相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）に対する今回のフレームにおける物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）の差分とを、加算割合により重み付け加算する平滑化フィルタ処理により算出されるようになっている。
【００７８】
すなわち、加算割合をＰとした場合、判断手段１２は、次回のフレームにおける相対速度ΔＸ１new、ΔＹ１new、ΔＺ１new、ΔＸ２new、ΔＹ２new、ΔＺ２newを、
ΔＸ１new＝（１−Ｐ）×ΔＸ１old＋Ｐ×（Ｘ１new−Ｘ１old） …（５）
ΔＹ１new＝（１−Ｐ）×ΔＹ１old＋Ｐ×（Ｙ１new−Ｙ１old） …（６）
ΔＺ１new＝（１−Ｐ）×ΔＺ１old＋Ｐ×（Ｚ１new−Ｚ１old） …（７）
ΔＸ２new＝（１−Ｐ）×ΔＸ２old＋Ｐ×（Ｘ２new−Ｘ２old） …（８）
ΔＹ２new＝（１−Ｐ）×ΔＹ２old＋Ｐ×（Ｙ２new−Ｙ２old） …（９）
ΔＺ２new＝（１−Ｐ）×ΔＺ２old＋Ｐ×（Ｚ２new−Ｚ２old） …（１０）
で算出するようになっている（図６のステップＳ１３）。
【００７９】
なお、上記（５）〜（１０）式において、Ｘ１new、Ｙ１new、Ｚ１new、Ｘ２new、Ｙ２new、Ｚ２newには、今回のフレームで基準画像ＴO上の予測領域ＲOestに物体が検出されていれば物体を表す各近似直線の両端の実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）が用いられ、今回のフレームで基準画像ＴO上の予測領域ＲOestに物体が検出されていない場合には前述したステップＳ１０で物体が存在すると予測される物体の両端の相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）を相対位置とした場合の物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）が用いられる。また、Ｘ１old、Ｙ１old、Ｚ１old、Ｘ２old、Ｙ２old、Ｚ２oldには、前回のフレームにおける相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）が用いられる（後述するステップＳ１５参照）。
【００８０】
本実施形態では、判断手段１２は、上記（５）〜（１０）式に示される平滑化フィルタ処理を行う際、計算を行う物体の情報に前述したノイズが含まれている旨の情報を対応付けており、当該物体が基準画像ＴO上の予測領域ＲOestに検出されている場合には、当該物体については前記加算割合Ｐを低下させて、平滑化における差分Ｘ１new−Ｘ１old等の寄与を軽減させるようになっている。今回のフレームで算出された物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）の情報の信頼性が低いためである。
【００８１】
また、本実施形態では、判断手段１２は、物体が基準画像ＴO上の予測領域ＲOestに検出されていない場合、すなわちメモリ内にその物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）の情報は記憶されているがその情報に物体が検出されなかったという情報とノイズが含まれている旨の情報を対応付けられている場合は、上記（５）〜（１０）式における加算割合Ｐを０とし、今回のフレームで用いた物体の相対速度ΔＸ１old、ΔＹ１old、ΔＺ１old、ΔＸ２old、ΔＹ２old、ΔＺ２oldをそのまま次回のフレームにおける相対速度ΔＸ１new、ΔＹ１new、ΔＺ１new、ΔＸ２new、ΔＹ２new、ΔＺ２newとするように構成されている。
【００８２】
当該物体はそもそも基準画像ＴO上の予測領域ＲOestに検出されておらず、その相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）は当該物体の追跡のために予測される相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）を仮にその物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）としたものであるからである。
【００８３】
なお、上記（５）〜（１０）式における加算割合をそれぞれ異なる値とし、それぞれ独立にその数値を調整するように構成することも可能である。
【００８４】
続いて、判断手段１２は、次回のフレームで用いるために、算出した相対速度（ΔＸ１new，ΔＹ１new，ΔＺ１new）、（ΔＸ２new，ΔＹ２new，ΔＺ２new）をそれぞれ相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）とし（ステップＳ１４）、相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）をそれぞれ相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）として（ステップＳ１５）、次回のフレームの処理に移るようになっている。
【００８５】
次に、本実施形態に係る物体検出装置１の作用について説明する。
【００８６】
なお、以下に示す図１５（Ａ）、（Ｂ）等の基準画像ＴOや比較画像ＴCには中央付近の物体Ｏのほかに右側に他の物体（対向車両）が撮像されており、当該他の物体に対しても中央付近に撮像された物体Ｏと同様の処理が行われるが、以下では説明を省略する。
【００８７】
通常の状態の物体検出時においては、図１５（Ａ）、（Ｂ）に示すように、基準画像ＴO上および比較画像ＴC上に予測領域ＲOest、ＲCestが設定される。予測領域ＲOest、ＲCestには同一の物体Ｏが撮像されており、いずれの画像ＴO、ＴCにおいても同一の物体Ｏは同じような輝度値で撮像されるから、基準画像ＴO上の予測領域ＲOestにおける輝度値ｐ１ijの平均値ｐ１ij_aveと、比較画像ＴC上の予測領域ＲCestにおける輝度値ｐ２ijの平均値ｐ２ij_aveとは、ほぼ同じ値となる。
【００８８】
従って、通常の撮像状態ではそれらの平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜は小さな値となり、平均値の差の絶対値が閾値Δｐth未満であると判断されるため（図５のステップＳ５；ＮＯ）、判断手段１２は、基準画像ＴO上の予測領域ＲOestに物体Ｏが検出されているか否かの判断を行う（ステップＳ６）。
【００８９】
この場合、基準画像ＴO上に物体Ｏが検出されているため、物体検出手段１０により図１５（Ａ）に示すように基準画像ＴO上には物体Ｏを包囲するように枠線Ｆｒが設定される。そして、基準画像ＴO上で枠線Ｆｒと予測領域ＲOestとほぼ同じ位置に設定され、各領域が重なり、両領域の実空間上の位置が所定距離以上に離れていないため、判断手段１２は、基準画像ＴO上の予測領域ＲOestに物体Ｏが検出されていると判断して（図５のステップＳ６；ＹＥＳ）、その物体Ｏを表す近似直線の両端の自車両Ａに対する実空間上の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）等の当該物体Ｏの情報をメモリで更新（図６のステップＳ１５等）しながら維持して、物体Ｏを追跡する。
【００９０】
また、基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜は小さな値である（図５のステップＳ５；ＮＯ）にもかかわらず、基準画像ＴO上の予測領域ＲOestに物体Ｏが検出されなくなれば（図５のステップＳ６；ＮＯ）、判断手段１２は、予測領域ＲOest、ＲCestにともに物体Ｏが撮像されておらず、基準画像ＴO上には物体Ｏが存在しなくなったとして、メモリに記憶されている当該物体Ｏの情報を抹消して（ステップＳ７）、その物体の追跡を停止する。以上が、通常の撮像状態における判断手段１２の基本的な処理動作である。
【００９１】
しかし、例えば雨天時等にワイパが作動され、図１５（Ｂ）に示すように比較画像ＴC上に撮像されていた物体Ｏが、次のフレームで図１６（Ｂ）に示すようにワイパＷで隠されてしまったとする。その際、メインカメラ２ａとサブカメラ２ｂは、通常、比較画像ＴC上に撮像されている物体が運転席から見て左側のワイパで隠されるのと同じタイミングで基準画像ＴO上に撮像されている同一の物体が右側のワイパで隠されるような位置には配置されないから、図１６（Ａ）に示すように、撮像を妨害する他の要因がない限り、基準画像ＴOには物体Ｏが撮像される。
【００９２】
この状態では、ステレオマッチング手段７では正常なステレオマッチング処理が行えず、通常、物体検出手段１０では基準画像ＴO上に物体Ｏを検出することができない。従って、基準画像ＴO上に物体Ｏを包囲する枠線は設定されない。
【００９３】
しかし、前述したように今回のフレームにおける基準画像ＴOおよび比較画像ＴCの予測領域ＲOest、ＲCestは、図１５（Ａ）、（Ｂ）に示した前回のフレームの基準画像ＴOと比較画像ＴCに基づいて物体検出手段１０で検出された物体Ｏの両端の相対位置（Ｘ１old，Ｙ１old，Ｚ１old）、（Ｘ２old，Ｙ２old，Ｚ２old）と、前回のフレームで算出された自車両に対する物体Ｏの両端の相対速度（ΔＸ１old，ΔＹ１old，ΔＺ１old）、（ΔＸ２old，ΔＹ２old，ΔＺ２old）等に基づいてそれぞれ設定される。
【００９４】
従って、今回のフレームで比較画像ＴCの物体ＯがワイパＷで隠されてしまっても、図１６（Ａ）、（Ｂ）に示すように基準画像ＴO上および比較画像ＴC上に予測領域ＲOest、ＲCestが設定される。しかし、比較画像ＴCの予測領域ＲCestはワイパＷに隠されて輝度値ｐ２ijの平均値ｐ２ij_aveが図１７に示すように大きく低下する。それに対して基準画像ＴOの予測領域ＲOestの輝度値ｐ１ijの平均値ｐ１ij_aveはさほど大きく変化しない。そのため、予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜は大きな値となって閾値Δｐthを越える（図５のステップＳ５；ＹＥＳ）。
【００９５】
そして、この場合、基準画像ＴO上に物体Ｏを包囲する枠線は設定されず、基準画像ＴOの予測領域ＲOestに重なる枠線は存在しないから、判断手段１２は、基準画像ＴO上の予測領域ＲOestに物体Ｏが検出されていないと判断する（ステップＳ８；ＮＯ）。本実施形態の場合、この場合、基準画像ＴO上に物体Ｏを包囲する枠線が設定されていないが、物体Ｏを即座にロストさせず、基準画像ＴO上に予測領域ＲOestを設定する際に用いた予測される物体Ｏの両端の相対位置（Ｘ１est，Ｙ１est，Ｚ１est）、（Ｘ２est，Ｙ２est，Ｚ２est）の情報を当該物体Ｏの両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）としてメモリに保存して（ステップＳ１０）、物体Ｏを追跡する。
【００９６】
しかし、物体Ｏは、本来、物体検出手段１０で検出されていないため、それらの相対位置の情報に、物体が検出されなかったという情報とノイズが含まれている旨の情報を対応付ける（ステップＳ１１）。
【００９７】
ステレオ撮像手段２のサンプリング周期やワイパＷのフロントガラス上での移動速度等にもよるが、ワイパＷは、通常、１〜数フレームで画像上に存在しなくなるから、例えばワイパＷが撮像画像上を１フレームで通過するような条件の場合、基準画像ＴOと比較画像ＴCとは、図１６（Ａ）、（Ｂ）に示した状態から次のフレームでは図１５（Ａ）、（Ｂ）に示したような状態に戻る。そのため、図１８に示すように、比較画像ＴCの予測領域ＲCestにおける輝度値ｐ２ijの平均値ｐ２ij_aveは元の値程度まで回復し、基準画像ＴO上と比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜は小さな値に戻る（図５のステップＳ５；ＮＯ）。
【００９８】
そのため、それ以降は、通常の撮像状態における判断手段１２の基本的な処理動作（ステップＳ６、Ｓ７）に戻って、物体Ｏの追跡を続行することが可能となる。
【００９９】
なお、上記の予測領域の輝度値の平均値の増減は、基準画像ＴOを撮像するメインカメラ２ａの前方をワイパが横切った場合にも生じ、図１９に示すように、メインカメラ２ａやサブカメラ２ｂの前方をワイパＷが横切るたびに、それらのカメラ２ａ、２ｂで撮像される基準画像ＴOや比較画像ＴCの予測領域ＲOest、ＲCestにおける輝度値の各平均値ｐ１ij_ave、ｐ２ij_aveが、本実施形態では１フレームの間だけ大きく減少する。
【０１００】
上記の予測領域ＲOest、ＲCestにおける輝度値ｐ１ij、ｐ２ijの平均値ｐ１ij_ave、ｐ２ij_aveの変化特性を利用すると、メインカメラ２ａやサブカメラ２ｂの前方をワイパＷが横切ったことを検出することが可能となる。
【０１０１】
すなわち、設定された基準画像ＴO上の予測領域ＲOestまたは比較画像ＴC上の予測領域ＲCestのいずれか一方の予測領域で、１フレーム程度の間だけ、輝度値の平均値が他方の予測領域の輝度値の平均値よりも閾値Δｐth以上に小さくなった場合に、輝度値の平均値が小さい予測領域が属する画像を撮像するメインカメラ２ａまたはサブカメラ２ｂの前方をワイパＷが横切ったと判断手段１２で判断するように構成することで、メインカメラ２ａやサブカメラ２ｂの前方をワイパＷが横切ったことを検出することが可能となる。
【０１０２】
一方、メインカメラ２ａかサブカメラ２ｂの一方の前方のフロントガラスに雨粒や汚れ等の付着物が付着した場合、例えばサブカメラ２ｂの前方のフロントガラスに汚れが付着し、比較画像ＴC中の汚れに対応する部分に予測領域ＲCestが設定されると、その予測領域ＲCestでは、図２０に示すように、輝度値ｐ２ijの平均値ｐ２ij_aveが基準画像ＴOの対応する部分に設定された予測領域ＲOestにおける輝度値ｐ１ijの平均値ｐ１ij_aveより小さい状態が続く。
【０１０３】
また、例えばサブカメラ２ｂの前方のフロントガラスに雨粒が付着した場合、夜間に対向車両があると、雨粒が付着した部分では対向車両のヘッドライトが拡散されて輝度値が増大し、比較画像ＴC中の雨粒に対応する部分に予測領域ＲCestが設定されると、その予測領域ＲCestでは、図２１に示すように、図２０の場合とは逆に、輝度値ｐ２ijの平均値ｐ２ij_aveが基準画像ＴOの対応する部分に設定された予測領域ＲOestにおける輝度値ｐ１ijの平均値ｐ１ij_aveより大きい状態が続く。
【０１０４】
これらの場合、ステレオマッチング処理が正常に行われず、基準画像ＴO上に物体Ｏを検出することができなければ、上記のワイパの場合と同様に処理が行われる。
【０１０５】
しかし、ステレオマッチング手段７でステレオマッチング処理が行われて物体検出手段１０で基準画像ＴO上に物体を検出することができる場合もあり、その場合には基準画像ＴO上に物体を包囲する枠線が設定される。そして、付着物が付着した部分に対応する基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が閾値Δｐth未満の小さな値であれば（図５のステップＳ５；ＮＯ）、判断手段１２の通常の物体検出処理（ステップＳ６、Ｓ７）が行われる。
【０１０６】
また、ステレオマッチング処理が行われて基準画像ＴO上に物体を包囲する枠線が設定されたとしても、付着物が付着した部分に対応する基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が閾値Δｐth以上の大きな値であれば（図５のステップＳ５；ＮＯ）、その検出結果は信頼性が低い。そのため、判断手段１２は、このような場合には、物体の両端の相対位置（Ｘ１new，Ｙ１new，Ｚ１new）、（Ｘ２new，Ｙ２new，Ｚ２new）の情報等にノイズが含まれている旨の情報を対応付けてメモリに保存する（ステップＳ９）。また、相対位置の情報が出力される際にはノイズが含まれている旨の情報が対応付けられた状態で出力される。
【０１０７】
なお、前述したワイパの場合と異なり、付着物が付着した場合には基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が閾値Δｐth以上である状態が比較的長く継続する場合がある。そのような場合には、警報を鳴らす等してドライバに付着物の除去を指示するように構成することも可能である。
【０１０８】
上記の予測領域ＲOest、ＲCestにおける輝度値ｐ１ij、ｐ２ijの平均値ｐ１ij_ave、ｐ２ij_aveの変化特性を利用すると、今度は、メインカメラ２ａやサブカメラ２ｂの前方のフロントガラスに付着物が付着したことを検出することが可能となる。
【０１０９】
すなわち、設定された基準画像ＴO上の予測領域ＲOestまたは比較画像ＴC上の予測領域ＲCestのいずれか一方の予測領域で、輝度値の平均値と他方の予測領域の輝度値の平均値との差の絶対値が閾値Δｐth以上である状態が所定のフレーム数以上継続する場合には、メインカメラ２ａまたはサブカメラ２ｂの前方のフロントガラスに付着物が付着したと判断手段１２で判断するように構成することで、メインカメラ２ａやサブカメラ２ｂの前方のフロントガラスに付着物が付着したことを検出することが可能となる。
【０１１０】
一方、前述したように、先行車両等が街路樹の間を走行していて樹木の陰になったり木漏れ日が差し込んだりする場合等のように外界の環境が変化する場合、先行車両等の物体自体が明るくなったり暗くなったりするため、先行車両等が撮像された基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値ｐ１ij、ｐ２ijの平均値ｐ１ij_ave、ｐ２ij_aveは同時に低下し、或いは増加する。
【０１１１】
そのため、それらの輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜は小さな値のままとなり（図５のステップＳ５；ＮＯ）、判断手段１２は、このような場合には通常の撮像状態における基本的な処理動作（ステップＳ６、Ｓ７）で先行車両等の物体の検出を続行する。このように、本実施形態の物体検出装置１では、外界の環境が急に変化しても通常の物体検出処理を行うが、図１７〜図１９に示したように一方の予測領域の輝度値の平均値のみが低下したり増加したりする場合には通常の処理とは異なる処理を行う。
【０１１２】
以上のように、本実施形態に係る物体検出装置１によれば、今回のフレームで基準画像ＴO上に物体が検出されているか否かにかかわらず、前回のフレームの結果に基づいて今回のフレームにおいて当該物体が撮像されると予測される予測領域ＲOest、ＲCestを基準画像ＴO上と比較画像ＴC上にそれぞれ設定し、それらの予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜に基づいて予測領域ＲOestに検出されている物体の情報または物体が検出されなかったという情報にノイズが含まれているか否かを判断するため、メインカメラ２ａやサブカメラ２ｂの一方の前方をワイパＷが横切ったり一方の前方のフロントガラスに付着物が付着したりして発生したノイズか、或いは外界の環境が変化したのかを的確に判別することが可能となる。
【０１１３】
また、このようにノイズと外界の環境の変化とを的確に判別して物体を検出することが可能となるため、外界の環境が変化しただけであって検出された物体の情報や物体が検出されなかったという情報の信頼性が高い場合と、ノイズが生じていて検出された物体の情報や物体が検出されなかったという情報の信頼性が低い場合とを的確に区別して、情報の信頼性が低い場合にはその旨を物体の情報等に的確に対応付けて出力することが可能となる。
【０１１４】
さらに、それにより、出力された情報に基づいて例えば自車両の自動走行制御等を行う場合、それらの情報の信頼性を認識したうえで情報を自動制御等に用いるように構成することが可能となり、自動制御等を的確に行うことが可能となる。
【０１１５】
なお、本実施形態では、基準画像ＴO上の予測領域ＲOestに検出された物体の情報または物体が検出されなかったという情報にノイズが含まれている旨の情報を対応付ける場合について説明したが、物体の情報に例えば信頼度という情報を予め対応付けておき、通常に検出された物体ではその信頼度を大きな値とし、物体が検出された場合または検出されなかった場合にはそれらの情報の信頼度を小さな値に変更することをもって、それらの情報に前記ノイズが含まれている旨の情報を対応付けたこととするように構成することも可能である。
【０１１６】
また、基準画像ＴO上の予測領域ＲOestに検出された物体の情報または物体が検出されなかったという情報に前記ノイズが含まれている旨の情報を対応付けた場合に、図２２に示すように、判断手段１２からステレオマッチング手段７に信号を送信し、ステレオマッチング手段２におけるステレオマッチング処理の基準をより厳しくなるように変更するように構成することも可能である。
【０１１７】
具体的には、本実施形態ではステレオマッチング処理の基準であるＳＡＤ値に対する閾値をより小さな値に変更して、基準画像ＴOの基準画素ブロックＰＢOと比較画像ＴCの比較画素ブロックＰＢCの輝度パターンが非常に似かよったものである場合にだけ比較画像ＴC上に比較画素ブロックＰＢCを特定するように構成する。このように構成すれば、基準画像ＴO上および比較画像ＴC上の予測領域ＲOest、ＲCestにおける輝度値の各平均値の差の絶対値｜ｐ１ij_ave−ｐ２ij_ave｜が大きい場合でも、検出された物体の距離の情報等の信頼性をより向上させることが可能となる。
【図面の簡単な説明】
【０１１８】
【図１】本実施形態に係る物体検出装置の構成を示すブロック図である。
【図２】基準画像の一例を示す図である。
【図３】イメージプロセッサにおけるステレオマッチング処理の手法を説明する図である。
【図４】図２の基準画像に基づいて形成された距離画像を示す図である。
【図５】検出手段における処理の手順を示すフローチャートである。
【図６】検出手段における処理の手順を示すフローチャートである。
【図７】距離画像を分割する各区分を示す図である。
【図８】図７の各区分における物体の距離を抽出するためのヒストグラムの一例を示す図である。
【図９】各区分における物体の距離を実空間上にプロットした図である。
【図１０】図９の各点のグループ化を説明する図である。
【図１１】図１０の各グループに属する各点を直線近似して得られる物体を表す図である。
【図１２】基準画像上で矩形状の枠線に包囲されて検出された各物体を表す図である。
【図１３】予測領域設定手段における前回のフレームの結果から今回のフレームにおいて物体が存在すると予測される相対位置を算出する手法を説明する図である。
【図１４】（Ａ）基準画像上に設定された予測領域、および（Ｂ）比較画像上に設定された予測領域を表す図である。
【図１５】（Ａ）基準画像上に設定された予測領域および物体を包囲する枠線、および（Ｂ）比較画像上に設定された予測領域を表す図である。
【図１６】（Ａ）物体が撮像された基準画像、および（Ｂ）撮像されていた物体がワイパに隠された比較画像を表す図である。
【図１７】図１６（Ａ）、（Ｂ）の状態で比較画像の予測領域の輝度値の平均値が大きく低下する状態を説明するグラフである。
【図１８】図１５（Ａ）、（Ｂ）の状態に戻ると比較画像の予測領域の輝度値の平均値が回復することを説明するグラフである。
【図１９】一対の撮像手段の前方をワイパが横切る状態での基準画像と比較画像の各予測領域における輝度値の各平均値を表すグラフである。
【図２０】一方の撮像手段の前方のフロントガラスに汚れが付着した場合の基準画像と比較画像の各予測領域における輝度値の各平均値の変化を表すグラフである。
【図２１】一方の撮像手段の前方のフロントガラスに雨粒が付着して光が拡散した場合の基準画像と比較画像の各予測領域における輝度値の各平均値の変化を表すグラフである。
【図２２】判断手段からステレオマッチング手段に信号を送信してステレオマッチング処理の基準を厳しくなるように変更する場合の構成例を示すブロック図である。
【符号の説明】
【０１１９】
１ 物体検出装置
２ ステレオ撮像手段
２ａ、２ｂ 一対の撮像手段（メインカメラ、サブカメラ）
７ ステレオマッチング手段
１０ 物体検出手段
１１ 予測領域設定手段
１２ 判断手段
Ａ 自車両
ｄｐ 視差
Ｏ 物体
Ｐ 加算割合
ｐ１ij、ｐ２ij 輝度値
ｐ１ij_ave、ｐ２ij_ave 輝度値の平均値
Δｐth 閾値
ＰＢO 基準画素ブロック
ＰＢC 比較画素ブロック
ＲOest、基準画像上の予測領域
ＲCest 比較画像上の予測領域
ＴO 基準画像
ＴC 比較画像
Ｗ ワイパ
（Ｘ１new，Ｙ１new，Ｚ１new） 今回のフレームにおける相対位置
（Ｘ２new，Ｙ２new，Ｚ２new） 今回のフレームにおける相対位置
（Ｘ１old，Ｙ１old，Ｚ１old） 前回のフレームにおける相対位置
（Ｘ２old，Ｙ２old，Ｚ２old） 前回のフレームにおける相対位置
（ΔＸ１old，ΔＹ１old，ΔＺ１old） 相対速度
（ΔＸ２old，ΔＹ２old，ΔＺ２old） 相対速度
Ｚ 距離
【特許請求の範囲】
【請求項１】
フロントガラスの内側に取り付けられた一対の撮像手段を備え、自車両の周囲の物体を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
基準画像上に設定した所定の画素数の基準画素ブロックに対して比較画像上でステレオマッチング処理を行い、比較画像上に特定された比較画素ブロックと前記基準画素ブロックとの間の視差を算出して基準画素ブロックごとにそれぞれ視差を算出するステレオマッチング手段と、
前記基準画素ブロックごとの各視差に基づいてそれぞれ自車両との距離を算出し、当該各距離に基づいて基準画像上に物体を検出する物体検出手段と、
前回のフレームにおける基準画像上の物体の前記距離と、前記距離に基づいて算出される当該物体の自車両との相対速度とに基づいて、今回のフレームにおいて当該物体が撮像されると予測される予測領域を基準画像上と比較画像上にそれぞれ設定する予測領域設定手段と、
前記基準画像上の予測領域とそれに対応する前記比較画像上の予測領域との輝度値の平均値の差の絶対値が所定の閾値以上であるか否かを判断し、前記差の絶対値が前記閾値以上である場合には、前記基準画像上の予測領域に検出された物体の情報または物体が検出されなかったという情報にノイズが含まれている旨の情報を対応付ける判断手段と、
を備えることを特徴とする物体検出装置。
【請求項２】
前記判断手段は、前記基準画像上の予測領域に検出された物体について算出された前記視差または前記距離の情報の信頼度を低下させ、または、前記基準画像上の予測領域に物体が検出されなかった場合には当該予測領域に物体が検出されなかったという情報の信頼度を低下させることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記物体検出手段は、検出した物体の前記距離に基づいて当該物体の自車両との相対位置を算出して前記相対位置を時系列的に記憶し、
前記予測領域設定手段は、前回のフレームにおける前記相対位置と当該物体の相対速度とに基づいて今回のフレームにおける当該物体の相対位置を予測して当該物体が撮像されると予測される予測領域を基準画像上に設定し、かつ、予測した当該物体の相対位置に基づいて今回のフレームにおける視差を予測して当該視差と前記基準画像上に設定した予測領域とに基づいて比較画像上に予測領域を設定することを特徴とする請求項１または請求項２に記載の物体検出装置。
【請求項４】
今回のフレームで用いた前記物体の相対速度と、前回のフレームにおける前記物体の相対位置に対する今回のフレームにおける前記物体の相対位置の差分とを、加算割合により重み付け加算する平滑化フィルタ処理により、次回のフレームにおける前記相対速度を算出することを特徴とする請求項３に記載の物体検出装置。
【請求項５】
前記ノイズが含まれている旨の情報を対応付けた物体が前記基準画像上の予測領域に検出されている場合には、今回のフレームにおける前記平滑化フィルタ処理において、当該物体については前記差分の加算割合を低下させることを特徴とする請求項４に記載の物体検出装置。
【請求項６】
前記ノイズが含まれている旨の情報を対応付けた物体が前記基準画像上の予測領域に検出されなかった場合には、当該物体については今回のフレームで用いた物体の相対速度を次回のフレームにおける前記相対速度とすることを特徴とする請求項４または請求項５に記載の物体検出装置。
【請求項７】
前記判断手段は、設定された前記基準画像上の予測領域において物体が検出されなかった場合には、当該物体に関する情報を抹消することを特徴とする請求項１から請求項５のいずれか一項に記載の物体検出装置。
【請求項８】
前記判断手段は、前記基準画像上の予測領域に検出された物体の情報または物体が検出されなかったという情報に前記ノイズが含まれている旨の情報を対応付けた場合には、前記ステレオマッチング手段におけるステレオマッチング処理の基準をより厳しくなるように変更することを特徴とする請求項１から請求項７のいずれか一項に記載の物体検出装置。
【請求項９】
前記判断手段は、設定された前記基準画像上の予測領域または前記比較画像上の予測領域のいずれか一方の予測領域において、１フレーム程度の間のみ、前記輝度値の平均値が他方の予測領域の輝度値の平均値よりも前記閾値以上に小さい場合には、当該輝度値の平均値が小さい予測領域が属する前記基準画像または前記比較画像を撮像する前記撮像手段の前方をワイパが横切ったと判断することを特徴とする請求項１から請求項８のいずれか一項に記載の物体検出装置。
【請求項１０】
前記判断手段は、設定された前記基準画像上の予測領域または前記比較画像上の予測領域のいずれか一方の予測領域において、前記輝度値の平均値と他方の予測領域の輝度値の平均値との差の絶対値が前記閾値以上である状態が所定のフレーム数以上継続する場合には、前記基準画像または前記比較画像を撮像する前記撮像手段の前方のフロントガラスに付着物が付着したと判断することを特徴とする請求項１から請求項９のいずれか一項に記載の物体検出装置。
【請求項１】
フロントガラスの内側に取り付けられた一対の撮像手段を備え、自車両の周囲の物体を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
基準画像上に設定した所定の画素数の基準画素ブロックに対して比較画像上でステレオマッチング処理を行い、比較画像上に特定された比較画素ブロックと前記基準画素ブロックとの間の視差を算出して基準画素ブロックごとにそれぞれ視差を算出するステレオマッチング手段と、
前記基準画素ブロックごとの各視差に基づいてそれぞれ自車両との距離を算出し、当該各距離に基づいて基準画像上に物体を検出する物体検出手段と、
前回のフレームにおける基準画像上の物体の前記距離と、前記距離に基づいて算出される当該物体の自車両との相対速度とに基づいて、今回のフレームにおいて当該物体が撮像されると予測される予測領域を基準画像上と比較画像上にそれぞれ設定する予測領域設定手段と、
前記基準画像上の予測領域とそれに対応する前記比較画像上の予測領域との輝度値の平均値の差の絶対値が所定の閾値以上であるか否かを判断し、前記差の絶対値が前記閾値以上である場合には、前記基準画像上の予測領域に検出された物体の情報または物体が検出されなかったという情報にノイズが含まれている旨の情報を対応付ける判断手段と、
を備えることを特徴とする物体検出装置。
【請求項２】
前記判断手段は、前記基準画像上の予測領域に検出された物体について算出された前記視差または前記距離の情報の信頼度を低下させ、または、前記基準画像上の予測領域に物体が検出されなかった場合には当該予測領域に物体が検出されなかったという情報の信頼度を低下させることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記物体検出手段は、検出した物体の前記距離に基づいて当該物体の自車両との相対位置を算出して前記相対位置を時系列的に記憶し、
前記予測領域設定手段は、前回のフレームにおける前記相対位置と当該物体の相対速度とに基づいて今回のフレームにおける当該物体の相対位置を予測して当該物体が撮像されると予測される予測領域を基準画像上に設定し、かつ、予測した当該物体の相対位置に基づいて今回のフレームにおける視差を予測して当該視差と前記基準画像上に設定した予測領域とに基づいて比較画像上に予測領域を設定することを特徴とする請求項１または請求項２に記載の物体検出装置。
【請求項４】
今回のフレームで用いた前記物体の相対速度と、前回のフレームにおける前記物体の相対位置に対する今回のフレームにおける前記物体の相対位置の差分とを、加算割合により重み付け加算する平滑化フィルタ処理により、次回のフレームにおける前記相対速度を算出することを特徴とする請求項３に記載の物体検出装置。
【請求項５】
前記ノイズが含まれている旨の情報を対応付けた物体が前記基準画像上の予測領域に検出されている場合には、今回のフレームにおける前記平滑化フィルタ処理において、当該物体については前記差分の加算割合を低下させることを特徴とする請求項４に記載の物体検出装置。
【請求項６】
前記ノイズが含まれている旨の情報を対応付けた物体が前記基準画像上の予測領域に検出されなかった場合には、当該物体については今回のフレームで用いた物体の相対速度を次回のフレームにおける前記相対速度とすることを特徴とする請求項４または請求項５に記載の物体検出装置。
【請求項７】
前記判断手段は、設定された前記基準画像上の予測領域において物体が検出されなかった場合には、当該物体に関する情報を抹消することを特徴とする請求項１から請求項５のいずれか一項に記載の物体検出装置。
【請求項８】
前記判断手段は、前記基準画像上の予測領域に検出された物体の情報または物体が検出されなかったという情報に前記ノイズが含まれている旨の情報を対応付けた場合には、前記ステレオマッチング手段におけるステレオマッチング処理の基準をより厳しくなるように変更することを特徴とする請求項１から請求項７のいずれか一項に記載の物体検出装置。
【請求項９】
前記判断手段は、設定された前記基準画像上の予測領域または前記比較画像上の予測領域のいずれか一方の予測領域において、１フレーム程度の間のみ、前記輝度値の平均値が他方の予測領域の輝度値の平均値よりも前記閾値以上に小さい場合には、当該輝度値の平均値が小さい予測領域が属する前記基準画像または前記比較画像を撮像する前記撮像手段の前方をワイパが横切ったと判断することを特徴とする請求項１から請求項８のいずれか一項に記載の物体検出装置。
【請求項１０】
前記判断手段は、設定された前記基準画像上の予測領域または前記比較画像上の予測領域のいずれか一方の予測領域において、前記輝度値の平均値と他方の予測領域の輝度値の平均値との差の絶対値が前記閾値以上である状態が所定のフレーム数以上継続する場合には、前記基準画像または前記比較画像を撮像する前記撮像手段の前方のフロントガラスに付着物が付着したと判断することを特徴とする請求項１から請求項９のいずれか一項に記載の物体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００９−１１０１７３（Ｐ２００９−１１０１７３Ａ）
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願番号】特願２００７−２８０４８３（Ｐ２００７−２８０４８３）
【出願日】平成１９年１０月２９日（２００７．１０．２９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願日】平成１９年１０月２９日（２００７．１０．２９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]