車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム
【課題】車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラムを提供する。
【解決手段】車両周辺監視装置は、撮像手段２Ｒ，２Ｌにより撮像された画像から第１対象物を抽出する第１対象物抽出手段１１と、第１対象物との画像上での高さの差が所定値以下で、且つ第１対象物との画像上での形状に関する類似の度合が所定値以上である第２対象物を画像から抽出する第２対象物抽出手段１２と、第１対象物と第２対象物との間の領域を監視領域として設定する監視領域設定手段１４と、時系列の画像から監視領域における時系列の輝度変化量を算出する輝度変化量算出手段１５と、少なくとも輝度変化量が所定値以下である場合に、第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断手段１６とを備える。
【解決手段】車両周辺監視装置は、撮像手段２Ｒ，２Ｌにより撮像された画像から第１対象物を抽出する第１対象物抽出手段１１と、第１対象物との画像上での高さの差が所定値以下で、且つ第１対象物との画像上での形状に関する類似の度合が所定値以上である第２対象物を画像から抽出する第２対象物抽出手段１２と、第１対象物と第２対象物との間の領域を監視領域として設定する監視領域設定手段１４と、時系列の画像から監視領域における時系列の輝度変化量を算出する輝度変化量算出手段１５と、少なくとも輝度変化量が所定値以下である場合に、第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断手段１６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラ等の撮像手段を介して取得した画像から、車両の周辺を監視する装置及び方法に関する。さらに、その装置の処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、車両に赤外線カメラ等の撮像手段を搭載して周辺を撮像し、撮像された画像から車両の周辺に存在する歩行者等の対象物を検出し、運転者への情報の提示等を行う技術が知られている（例えば、特許文献１参照）。
【０００３】
特許文献１の領域推定装置では、車載された赤外線カメラにより撮影された車両前方の赤外線画像から、歩行者等の検出対象者を検出する。具体的には、前記領域推定装置は、赤外線画像上で検出対象者の頭部位置を判別し、この赤外線画像内の頭部位置の情報に基づき、赤外線画像上での検出対象者の身体に相当する領域を決定する。そして、前記領域推定装置は、検出対象者の身体に相当する領域を他の領域と区別できるように強調処理等し、この赤外線画像を表示モニタに表示する。このとき、前記領域推定装置は、赤外線画像の輝度分布から明部が集中している領域を抽出し、抽出した領域の重心位置、縦横比、充足率、実面積等の形状に関する特徴に基づいて、抽出した領域から検出対象者の頭部の領域を決定する。そして、頭部の検出位置と歩行者の一般的な身長とに基づいて、歩行者の身体に相当する領域を決定する。
【特許文献１】特開平１１−３２８３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一方、車両の周辺には、歩行者の他に、他車両や電柱等の道路周辺の人工構造物も存在する。そして、これらの歩行者以外のものが、画像上で、歩行者の頭部と同様の輝度分布や形状等の特徴を有する場合がある。例えば、前走車のテールライトやタイヤ、道路周辺の電柱等も、温度が比較的高いので赤外線画像上で明部が集中している領域となり得る。さらに、前走車のテールライトは、歩行者の頭部と同様の形状特徴となり得る。
【０００５】
しかしながら、特許文献１の領域推定装置では、単に赤外線画像上の輝度分布と形状とに基づいて歩行者の頭部に相当する領域を決定しているため、前走車のテールライト等と歩行者とを区別することができない。このため、前走車のテールライト等を歩行者の頭部と誤判断して歩行者の頭部に相当する領域が決定されてしまい、これにより、歩行者の身体に相当する領域が誤って決定されて画像モニタに表示されてしまう。
【０００６】
本発明は、かかる背景に鑑みてなされたものであり、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる車両周辺監視装置、車両周辺監視方法、及び該車両周辺監視装置の処理をコンピュータに実行させる車両周辺監視用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
かかる目的を達成するために、本発明の第１態様の車両周辺監視装置は、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視装置において、前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出手段と、前記第１対象物抽出手段により抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出手段と、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定手段と、前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出手段と、少なくとも前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断手段とを備えることを特徴とする（第１発明）。
【０００８】
この第１発明の車両周辺監視装置では、第１対象物抽出手段により、撮像手段により撮像された画像から、車両の周辺に存在する歩行者等の対象物が逐次抽出される。第１対象物抽出手段は、例えば、画像における輝度分布や形状に関する特徴に基づいて対象物を抽出する。このとき、抽出された第１対象物には、歩行者以外に、例えば前走車のテールライト等の、画像における輝度分布や形状に関する特徴が歩行者と類似する人工構造物が含まれている場合がある。
【０００９】
これに対して、第２対象物抽出手段により、第１対象物との画像上での高さの差が所定範囲内で、且つ第１対象物との画像上での形状に関する類似の度合が所定範囲内である第２対象物を画像から抽出する。すなわち、前走車のテールライトは、一般に、左右１対となっており、前走車は画像上で水平に撮像されることが想定される。このため、抽出された第２対象物は、第１対象物がテールライトの一方である場合の、テールライトの他方である可能性が高い。ただし、歩行者が２人並んでいる可能性も考えられる。
【００１０】
そこで、監視領域設定手段により、第１対象物と第２対象物との間の領域を監視領域として設定し、輝度変化量算出手段により、時系列の画像から監視領域における時系列の輝度変化量を算出する。すなわち、前走車のテールライトの間の領域は、一般に、前走車のトランク部分を含んでおり、このトランク部分は、逐次変化する歩行者の背景と比べて、時系列の輝度変化量が少ないと考えられる。よって、人工構造物判断手段により、輝度変化量が所定値以下である場合に、第１対象物及び第２対象物を人工構造物と判断することで、対象物が前走車のテールライト等の人工構造物であるか否かを適切に判断することができる。
【００１１】
従って、本発明によれば、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる。
【００１２】
この本発明によれば、第１対象物及び第２対象物の画像上での高さ及び形状や、画像上での輝度変化量といった、画像から得られる情報のみを用いて、対象物が人工構造物であるか否かを容易に判断することができる。
【００１３】
または、本発明の第２態様の車両周辺監視装置は、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視装置において、前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出手段と、前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出手段を用いて該第１対象物の実空間上の位置を検出する第１対象物抽出手段と、前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出手段を用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出手段と、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定手段と、前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出手段と、少なくとも前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断手段とを備えることを特徴とする（第２発明）。
【００１４】
この第２発明の車両周辺監視装置では、第１対象物抽出手段により、撮像手段により撮像された画像から、車両の周辺に存在する歩行者等の対象物が逐次抽出されると共に、この第１対象物の実空間上の位置が検出される。第１対象物抽出手段は、例えば、画像における輝度分布や形状に関する特徴に基づいて対象物を抽出する。そして、第１対象物の実空間上の位置が検出され、該第１対象物の実空間上の位置と画像における形状に関する特徴とから、該第１対象物の実空間上の形状が把握される。このとき、抽出された第１対象物には、歩行者以外に、例えば前走車のテールライト等の、画像における輝度分布や形状に関する特徴が歩行者と類似する人工構造物が含まれている場合がある。
【００１５】
これに対して、第２対象物抽出手段により、第１対象物との実空間上での高さの差が所定範囲内で、且つ第１対象物との実空間上での形状に関する類似の度合が所定範囲内である第２対象物を画像から抽出する。すなわち、前走車のテールライトは、一般に、左右１対となっており、また、前走車は路面に対して水平となっている。このため、抽出された第２対象物は、第１対象物がテールライトの一方である場合の、テールライトの他方である可能性が高い。
【００１６】
このとき、第２発明の車両周辺監視装置では、距離算出手段が備えられており、この距離算出手段を用いて、画像から抽出される対象物の実空間上の位置が検出される。これにより、第１対象物及び第２対象物の高さと形状を、実空間上で比較することができるので、１対のテールライトである可能性が高い第１対象物及び第２対象物が、第１対象物抽出手段及び第２対象物抽出手段によって、より確実に抽出される。
【００１７】
さらに、第１発明と同様に、監視領域設定手段により、第１対象物と第２対象物との間の領域を監視領域として設定し、輝度変化量算出手段により、時系列の画像から監視領域における時系列の輝度変化量を算出する。すなわち、前走車のテールライトの間の領域は、一般に、前走車のトランク部分を含んでおり、このトランク部分は、逐次変化する歩行者の背景と比べて、時系列の輝度変化量が少ないと考えられる。よって、人工構造物判断手段により、輝度変化量が所定値以下である場合に、第１対象物及び第２対象物を人工構造物と判断する。これにより、歩行者が２人並んでいる場合を排除して、対象物が前走車のテールライト等の人工構造物であるか否かを適切に判断することができる。
【００１８】
従って、本発明によれば、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる。
【００１９】
また、第１又は第２発明の車両周辺監視装置において、前記第１対象物及び前記第２対象物の、実空間上における前記車両に対する距離を算出する距離算出手段を備える場合には、前記第２対象物抽出手段は、前記第２対象物のうちの、前記第１対象物との実空間上の距離の差が所定値以下である第２対象物を抽出することが好ましい（第３発明）。
【００２０】
すなわち、前走車は撮像手段が搭載された車両と同じ方向に進むので、前走車の１対のテールライトは、いずれも車両からの距離が同程度と考えられる。よって、第１対象物及び第２対象物の車両に対する距離を算出する距離算出手段を備える場合には、第２対象物抽出手段は、第２対象物のうちの第１対象物との実空間上の距離の差が所定範囲内である第２対象物を抽出することで、前走車のテールライト等の人工構造物の可能性が高い対象物をより精度良く抽出することができる。
【００２１】
また、第２又は第３発明の車両周辺監視装置において、前記距離算出手段は、前記監視領域の実空間上における前記車両に対する距離をさらに算出し、前記人工構造物判断手段は、前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合において、前記距離算出手段によって算出された第１対象物又は第２対象物の距離と前記監視領域の距離との差が、所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断することが好ましい（第４発明）。
【００２２】
すなわち、抽出された第１対象物及び第２対象物が、２人並んだ歩行者である場合に、この歩行者の背景が、所定時間内で輝度が一様に低い場合もある。この場合、時系列の画像における輝度変化量が小さくなり、前走車のトランク部分の輝度変化量との区別が難しいことが想定される。一方、一般に、前走車のテールライトとテーライト間のトランク部分とはいずれも車両との距離がほぼ同じであるが、歩行者と背景とは、車両との距離が相違する。そこで、距離算出手段により、監視領域の車両に対する距離が算出される場合には、人工構造物判断手段により、第１対象物又は第２対象物の距離と監視領域の距離との差が所定値以下である場合に、第１対象物及び第２対象物が人工構造物である判断することで、対象物が前走車のテールライト等の人工構造物であるか否かをより適切に判断することができる。
【００２３】
また、第２〜第４発明の車両周辺監視装置において、前記距離算出手段は、２つの撮像手段により撮像された画像を用いた相関演算を行い、該相関演算の結果算出される視差を用いて前記距離を算出することが好ましい（第５発明）。すなわち、２つの撮像手段はいわゆるステレオカメラを構成しており、この２つの撮像手段により撮像された画像から得られる視差を用いることで、対象物の車両に対する距離が精度良く算出される。よって、人工構造物判断手段により、第１及び第２対象物が人工構造物であるか否かがより精度良く判断される。
【００２４】
または、第２〜第４発明の車両周辺監視装置において、前記距離算出手段は、前記車両に搭載されたレーダを用いて前記距離を算出することが好ましい（第６発明）。この場合、レーダを用いることで対象物の車両に対する距離が精度良く算出されるので、人工構造物判断手段により、第１及び第２対象物が人工構造物であるか否かがより精度良く判断される。
【００２５】
また、第１〜第６発明の車両周辺監視装置において、前記監視領域設定手段は、前記第１対象物と第２対象物との距離に応じて、前記監視領域の大きさが所定値となるように、前記監視領域を設定することが好ましい（第７発明）。
【００２６】
すなわち、撮像手段が搭載された車両と前走車との距離は変化するものであり、この距離に応じて、画像上の前走車の１対のテールライト間の距離とトランク部分の大きさとが変化する。よって、監視領域設定手段により、第１対象物と第２対象物との距離に対する監視領域の大きさが所定値となるように、該距離に応じて監視領域を可変に設定する。これにより、監視領域が前走車のテールライト間のトランク部分に相当する領域となるように、該監視領域を適切に設定することができる。
【００２７】
また、第１〜第７発明の車両周辺監視装置において、前記輝度変化量算出手段は、前記時系列の各画像の前記監視領域における、該各画像の各画素の有する輝度値のヒストグラムから前記輝度変化量を算出することが好ましい（第８発明）。この場合、輝度値のヒストグラムから、各時刻の監視領域における輝度値の分布の傾向が容易に把握される。よって、輝度変化量算出手段により、この輝度値のヒストグラムを用いて輝度変化量を算出することでに、時系列の輝度変化量が適切に得られる。
【００２８】
また、第８発明の車両周辺監視装置において、前記輝度変化量算出手段は、前記時系列の各画像の前記ヒストグラムから平均値を算出し、該平均値の該時系列での変化量を、前記輝度変化量として用いることが好ましい（第９発明）。この場合、輝度値のヒストグラムから算出される平均値は、局所的な輝度分布の変化が排除されているので、監視領域における輝度値の分布の傾向を顕著に示すものである。よって、輝度変化量算出手段により、この輝度値の平均値の変化量を輝度変化量として用いることで、時系列の輝度変化量が適切に把握される。
【００２９】
また、第１〜第９発明の車両周辺監視装置において、前記撮像手段は、赤外線カメラであることが好ましい（第１０発明）。この場合、赤外線カメラにより撮像される赤外線画像上では、温度の高い対象物に対応する領域が輝度の高い領域となるので、画像から、熱源である歩行者やテールライトを容易に抽出することができる。
【００３０】
次に、本発明の第１態様の車両周辺監視方法は、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視方法であって、前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出ステップと、前記第１対象物抽出ステップにより抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出ステップと、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定ステップと、前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出ステップと、少なくとも前記輝度変化量算出ステップにより算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断ステップとを備えたことを特徴とする（第１１発明）。
【００３１】
または、本発明の第２態様の車両周辺監視方法は、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視方法であって、前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出ステップと、前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出ステップを用いて該第１対象物の実空間上の位置を検出する第１対象物抽出ステップと、前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出ステップを用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出ステップと、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定ステップと、前記撮像手段により撮像された時系列の画像から、前記監視領域設定ステップにより設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出ステップと、少なくとも前記輝度変化量算出ステップにより算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断ステップとを備えたことを特徴とする（第１２発明）。
【００３２】
この第１１及び第１２発明の車両周辺監視方法によれば、第１発明及び第２発明の車両周辺監視装置に関して説明したように、第１対象物抽出手段と第２対象物抽出手段により、歩行者と特徴が類似した、前走車のテールライトの可能性の高い第１対象物及び第２対象物が抽出される。そして、人工構造物判断手段により、輝度変化量が所定値以下である場合に、第１対象物及び第２対象物を人工構造物と判断することで、第１対象物及び第２対象物が２人並んだ歩行者である場合を排除して、対象物が前走車のテールライト等の人工構造物であるか否かを適切に判断することができる。よって、本発明によれば、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる。
【００３３】
次に、本発明の第１態様の車両周辺監視用プログラムは、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する処理をコンピュータに実行させる車両周辺監視用プログラムであって、前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出処理と、前記第１対象物抽出処理により抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出処理と、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定処理と、前記撮像手段により撮像された時系列の画像から、前記監視領域設定処理により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出処理と、少なくとも前記輝度変化量算出処理により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断処理とを前記コンピュータに実行させる機能を有することを特徴とする（第１３発明）。
【００３４】
または、本発明の第２態様の車両周辺監視用プログラムは、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する処理をコンピュータに実行させる車両周辺監視用プログラムであって、前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出処理と、前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出処理を用いて該第１対象物の実空間上の位置を検出する第１対象物抽出処理と、前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出処理を用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出処理と、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定処理と、前記撮像手段により撮像された時系列の画像から、前記監視領域設定処理により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出処理と、少なくとも前記輝度変化量算出処理により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断処理とを前記コンピュータに実行させる機能を有することを特徴とする（第１４発明）。
【００３５】
この第１３及び第１４発明の対象物検出用プログラムによれば、第１及び第２発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
【発明を実施するための最良の形態】
【００３６】
［第１実施形態］
本発明の一実施形態を添付の図面を参照して説明する。まず、第１実施形態について、図１〜図１２を参照して説明する。図１は、本実施形態による車両周辺監視装置の機能ブロック図であり、図２は、図１に示した車両周辺監視装置の車両への取り付け態様の説明図である。また、図３は、図１の車両周辺監視装置における対象物検出・注意喚起動作を示すフローチャートであり、図４は、図３の対象物検出・注意喚起動作における回避判定処理のフローチャートであり、図５は、図４の回避判定処理における車両前方の領域区分を示す説明図である。また、図６は、図３の対象物検出・注意喚起動作における撮像画像の例示図であり、図７は、図３の対象物検出・注意喚起動作における対象物抽出処理の処理画像の例示図である。また、図８は、図４の回避判定処理の人工構造物判定処理における距離算出処理の説明図であり、図９は、図４の回避判定処理の人工構造物判定処理における監視領域設定処理の説明図であり、図１０は、図４の回避判定処理の人工構造物判定処理における輝度ヒストグラムを示すグラフである。また、図１１，図１２は、図４の回避判定処理の人工構造物判定処理における監視領域の距離算出処理の例示図である。なお、本実施形態は、本発明の第１態様の車両周辺監視装置に相当する。
【００３７】
図１，図２を参照して、本実施形態の車両周辺監視装置は、ＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。画像処理ユニット１には、２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを逐次検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を逐次検出する車速センサ４と、自車両１０のブレーキの操作を逐次検出するためのブレーキセンサ５とが接続されている。
【００３８】
また、画像処理ユニット１には、自車両１０に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。表示装置７は、例えば、自車両１０のフロントウィンドウに画像等の情報を表示するＨＵＤ（ヘッドアップディスプレイ）７ａ等を備えている。ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。
【００３９】
赤外線カメラ２Ｒ，２Ｌは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の撮像手段に相当する。
【００４０】
図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部に所定の間隔で取り付けられている。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両１０の前部に固定されている。
【００４１】
画像処理ユニット１は、詳細の図示は省略するが、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４、ブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル信号に変換されて入力される。そして、画像処理ユニット１は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ６や表示装置７を介して運転者に注意喚起（対象物に対する運転者の注意の喚起）を行う処理等を実行する。これらの処理は、画像処理ユニット１のＲＯＭに予め実装されたプログラムを画像処理ユニット１により実行することにより実現され、そのプログラムは、本発明の車両周辺監視用プログラムを含んでいる。
【００４２】
より詳しくは、画像処理ユニット１は、上記プログラムにより実現される機能として、画像から第１対象物を抽出する対象物抽出手段１１と、第１対象物との高さの差や形状に関する類似の度合が所定要件を満たす第２対象物を画像から抽出する第２対象物抽出手段１２と、第１対象物と第２対象物との間の領域を監視領域として設定する監視領域設定手段１４と、時系列の画像から監視領域における時系列の輝度変化量を算出する輝度変化量算出手段１５と、第１対象物及び第２対象物が人工構造物であるか否かを判断する人工構造物判断手段１６とを備える。さらに、画像から第１対象物、第２対象物、及び監視領域の実空間上における車両１０に対する距離を算出する距離算出手段１３を備える。
【００４３】
第１対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像から、自車両１０の周辺に存在する対象物を、第１対象物として抽出する。具体的には、対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの所定の基準画像（本実施形態では、赤外線カメラ２Ｒを介して取得された画像とする）に２値化処理等を施して、さらにラベリング処理等を施し、対象物の画像部分を抽出する。
【００４４】
第２対象物抽出手段１２は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像から、第１対象物抽出手段１２により抽出された第１対象物との、高さの差、形状に関する類似の度合、及び車両の対する距離の差が所定要件を満たす第２対象物を抽出する。具体的には、第２対象物抽出手段１２は、第１対象物抽出手段１１と同様に抽出された自車両１０の周辺に存在する対象物のうちから、第１対象物との画像上での高さの差が所定値以下で、且つ第１対象物との画像上での形状に関する類似の度合が所定値以上で、且つ該第１対象物との車両１０に対する距離の差が所定値以下である対象物を、第２対象物として抽出する。
【００４５】
距離算出手段１４は、基準画像上で抽出された第１対象物及び第２対象物に対応する対象物を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での対象物のずれ（視差）に基づいて、対象物の自車両１０に対する距離を検出する。また、距離算出手段１４は、対象物と同様に、監視領域に対応する領域を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での対象物のずれ（視差）に基づいて、対象物の自車両１０に対する距離を検出する。なお、画像に基づいて対象物の距離を検出する具体的な手法としては、例えば、本願出願人による特開２００３−２８４０５７号公報に記載したような手法を用いることができる。
【００４６】
監視領域設定手段１４は、第１対象物の車両に対する距離と、第２対象物の車両に対する距離との差に応じて、基準画像上で、第１対象物と第２対象物との間の領域に監視領域を設定する。このとき、監視領域設定手段１４は、第１対象物と第２対象物とが前走車のテールライトであるとした場合に、当該前走車のトランク部分に相当する所定の領域となるように（監視領域の大きさが所定値となるように）、監視領域を設定する。
【００４７】
輝度変化量算出手段１５は、赤外線カメラ２Ｒにより撮像された時系列の画像（基準画像）から、監視領域設定手段１４により設定された監視領域における時系列の輝度変化量を算出する。具体的には、輝度変化量算出手段１５は、時系列の各画像について、監視領域における該各画像の各画素の有する輝度値のヒストグラムを得る。そして、輝度変化量算出手段１５は、得られたヒストグラムから平均値を算出する。そして、輝度変化量算出手段１５は、この平均値の時系列での変化量（例えば、平均値の時系列データにおける最大値と最小値との差）を輝度変化量として用いる。
【００４８】
人工構造物判断手段１６は、輝度変化量算出手段１５により算出された輝度変化量に基づいて、第１対象物抽出手段１１により抽出された第１対象物及び第２対象物抽出手段１２により抽出された第２対象物が人工構造物であるか否を判断する。具体的には、人工構造物判断手段１６は、輝度変化量が所定値以下であり、且つ、距離算出手段１３により算出された第１対象物の距離又は第２対象物の距離と、距離算出手段１３により算出された監視領域の距離との差が、所定値以下である場合に、第１対象物及び第２対象物が人工構造物であると判断する。
【００４９】
次に、本実施形態の車両周辺監視装置の全体的な作動（対象物検出・注意喚起動作）を、図３に示したフローチャートに従って説明する。図３を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ１〜ＳＴＥＰ２０の処理を繰り返して、対象物検出・注意喚起動作を実行する。まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、グレースケール画像を画像メモリに格納する（ＳＴＥＰ３）。なお、赤外線カメラ２Ｒにより右画像ＩGRが得られ、赤外線カメラ２Ｌにより左画像ＩGLが得られる。図６（ａ），（ｂ）に、ある演算処理周期の時刻（離散系時刻）ｋにおいて赤外線カメラ２Ｒ，２Ｌによって得られるグレースケール画像ＩGR，ＩGLを例示する。なお、図６（ａ），（ｂ）に示した例は、自車両１０の前方に前走車が存在している場合の例である。このように、右画像ＩGRと左画像ＩGLとでは、同一の対象物の画像上での横方向（ｘ方向）の位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００５０】
次に、画像処理ユニット１は、グレースケール画像のうちの基準画像に対して、その画像信号を２値化する（ＳＴＥＰ４）。すなわち、基準画像の画像信号の輝度値が閾値Ｉthより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理が行われる。閾値Ｉthは、実験的に予め決定される値である。
【００５１】
図７（ａ）に、図６（ａ）に示した右画像ＩGRを２値化した画像ＩBRを例示する。図７（ａ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。太い実線で囲まれた領域は、赤外線カメラ２Ｒから得られる画像において、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域である。
【００５２】
次に、画像処理ユニット１は、２値化処理で「白」となった領域（以下、２値化領域という）からランレングスデータを作成する（ＳＴＥＰ５）。作成されるランレングスデータは、２値化領域を画像の横方向の１次元の連結画素であるラインの集合で表し、該２値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ（画素数）とで示したものである。
【００５３】
次に、画像処理ユニット１は、作成されたランレングスデータに基づいて、対象物のラベリングをする（ＳＴＥＰ６）ことにより、対象物を抽出する（ＳＴＥＰ７）。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向（ｙ方向）に重なる部分のあるラインを１つの対象物とみなしてラベル（識別子）を付すことにより、画像内の連結した領域を対象物として抽出する。
【００５４】
上述のＳＴＥＰ５〜７の処理により、２値化領域が対象物（２値化対象物）Ｔkとして抽出される。このとき、例えばラベルＴkの対象物は、ｎ個のランレングスデータＬ１〜Ｌｎで示される。図７（ａ）の例では、抽出される対象物のうちの１つとして、例えば、領域Ｒ１に含まれる２値化領域が対象物Ｔ１として抽出される。なお、抽出される対象物（２値化対象物）には、道路周辺の歩行者以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。図７（ａ）の例では、対象物Ｔ１は、自車両１０の前走車の左側のテールライトに対応する２値化対象物である。
【００５５】
次に、画像処理ユニット１は、抽出された対象物の面積Ｓ、重心位置Ｇｃ、対象物の外接四角形の高さＨｂ、幅Ｗｂ、重心位置Ｇｂ、縦横比ＡＳＰを算出する（ＳＴＥＰ８）。具体的には、対象物Ｔkの面積Ｓkは、各ランレングスデータＬｉ（ｉ＝１，．．．，ｎ）で示されるラインの長さを、対象物Ｔkのｎ個のランレングスデータについて積算することにより算出する。また、対象物Ｔkの重心Ｇｃkの座標は、各ランレングスデータＬｉで示されるラインの長さと、各ランレングスデータＬｉのラインの中点の座標（ｘ［ｉ］，ｙ［ｉ］）とをそれぞれ掛け合わせ、更にこれを対象物Ｔ１のｎ個のランレングスデータについて積算したものを、面積Ｓkで割ることにより算出する。また、対象物Ｔkの外接四角形の縦横比ＡＳＰkは、対象物Ｔkの外接四角形の高さ（縦方向の長さ）Ｈｂkと幅（横方向の長さ）Ｗｂkとの比Ｈｂk／Ｗｂkとして算出する。なお、対象物Ｔkの画像部分Ｒkは、対象物Ｔkを囲む外接四角形の領域全体とする。
【００５６】
次に、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎に同一対象物を認識する処理を行う（ＳＴＥＰ９）。同一対象物認識処理は、時刻ｋにおけるＳＴＥＰ７の処理により対象物Ｔkが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ７の処理により対象物Ｔk+1が抽出されたとしたとき、対象物Ｔk+1と対象物Ｔkとの同一性（対象物Ｔk+1が対象物Ｔkと同一の対象物であるか否か）を判定する処理である。そして、対象物Ｔkと対象物Ｔk+1とが同一の対象物であると判定された場合には、対象物Ｔk+1のラベルが対象物Ｔkのラベルと同じラベルに変更される。これにより、対象物Ｔkと対象物Ｔk+1とが同一の対象物であると認識されて、時刻間で追跡される。この同一対象物認識処理は、基準画像において実行される。
【００５７】
次に、画像処理ユニット１は、ヨーレートセンサ３により検出されるヨーレートＹＲと、車速センサ４により検出される車速ＶＣＡＲ（水平方向の速度）とを読み込む（ＳＴＥＰ１０）。なお、このＳＴＥＰ１０では、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒの算出も行われる。
【００５８】
一方、画像処理ユニット１は、ＳＴＥＰ９，１０の処理に並行して、ＳＴＥＰ１１〜１４の処理を実行する。ＳＴＥＰ１１〜１４の処理は、対象物と自車両１０との距離ｚ（自車両１０の前後方向の距離）を算出する処理である。
【００５９】
まず、画像処理ユニット１は、基準画像の２値化画像によって追跡される対象物の中の１つを選択して、基準画像から探索画像Ｒ１（選択した対象物を囲む外接四角形の領域全体を探索画像とする）を抽出する（ＳＴＥＰ１１）。
【００６０】
次に、画像処理ユニット１は、参照画像（赤外線カメラ２Ｒ，２Ｌから得られた右画像及び左画像のうちの基準画像でない画像）中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ＳＴＥＰ１２）。具体的には、図７（ａ）に示した対象物Ｔ１の例では、図８（ａ），（ｂ）に示すように、探索画像Ｒ１の各頂点座標に応じて、参照画像中に探索領域Ｒ１ａを設定し、探索領域Ｒ１ａ内に、座標（ｘ0，ｙ0）を基点（領域の左上の頂点）とした探索画像Ｒ１と同一形状の局所領域Ｒ１ｂ設定する。そして、基点の座標（ｘ0，ｙ0）を変化させて、探索領域Ｒ１ａ内で局所領域Ｒ１ｂを移動させながら、局所領域Ｒ１ｂと探索画像Ｒ１との相関の度合を示す輝度値の絶対差分和（SAD，Sum of Absolute Difference）Ｃ（ｘ0，ｙ0）を次式（１）により算出する。
【００６１】
【数１】
【００６２】
ここで、絶対差分和Ｃ（ｘ0，ｙ0）は、探索画像Ｒ１内の座標（ｍ，ｎ）の画素の輝度値ＩＲと、探索領域Ｒ１ａ内の座標（ｘ0，ｙ0）を基点とした局所領域Ｒ１ｂ内の座標（ｘ0＋ｍ，ｙ0＋ｎ）の画素の輝度値ＩＬとの差の絶対値を取り、この差の絶対値の探索画像Ｒ１及び局所領域Ｒ１ｂ内の全画素（ｍ＝０，．．．，M-1，ｎ＝０，．．．，N-1）についての総和値を求めたものである。なお、絶対差分和Ｃ（ｘ0，ｙ0）の値が小さいほど、探索画像Ｒ１と局所領域Ｒ１ｂとの相関の度合が高いことを示す。これにより、絶対差分和Ｃ（ｘ0，ｙ0）が最小となる基点の座標（ｘ0，ｙ0）を求め、この位置の局所領域Ｒ１ｂを対応画像Ｒ１ｃとして抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。ＳＴＥＰ１１〜１２の処理により、基準画像中の探索画像Ｒ１と、参照画像中の対応画像Ｒ１ｃとが抽出される。
【００６３】
次に、画像処理ユニット１は、探索画像Ｒ１の重心位置と、対応画像Ｒ１ｃの重心位置とに基づいて、視差Δｄ（画素数）を算出する（ＳＴＥＰ１３）。そして、画像処理ユニット１は、算出された視差Δｄを用いて、次式（２）により、自車両１０と対象物との距離ｚを算出する（ＳＴＥＰ１４）。
【００６４】
ｚ＝Ｂ×Ｆ／（Δｄ×ｐ） …（２）
なお、Ｂは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、Ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離Ｆ、ｐは画素間隔である。
【００６５】
ＳＴＥＰ１０及びＳＴＥＰ１４の処理の終了後、画像処理ユニット１は、次に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１５）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点（自車両１０に固定された位置）を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向及びＹ方向は、それぞれ自車両１０の左右方向（車幅方向）、上下方向であり、これらのＸ方向及びＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、実空間位置（Ｘ，Ｙ，Ｚ）は、次式（３）（４）（５）により算出される。
【００６６】
Ｘ＝ｘ×ｚ×ｐ／ｆ …（３）
Ｙ＝ｙ×ｚ×ｐ／ｆ …（４）
Ｚ＝ｚ …（５）
次に、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、ＳＴＥＰ１０で算出した回頭角θｒを用いて、対象物の実空間位置を補正する。（ＳＴＥＰ１６）。回頭角補正は、時刻ｋから時刻ｋ＋１までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像上では、画像の範囲がｘ方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。
【００６７】
次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ１７）。具体的には、同一対象物についての実空間位置の、所定期間ｄＴ（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（座標ＰvdT＝（ＸvdT，ＹvdT，ＺvdT））から、現在時刻における該直線上の対象物の位置（座標Ｐv0＝（Ｘv0，Ｙv0，Ｚv0））に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、前記した特開２００３−２８４０５７号公報に記載された手法を用いる。
【００６８】
次に、画像処理ユニット１は、検出した対象物と自車両１０とが接触する可能性を判定して、該対象物が回避対象（自車両１０との接触を回避すべき対象）であるか否かを判定する回避判定処理を行う（ＳＴＥＰ１８）。なお、回避判定処理については、詳細を後述する。ＳＴＥＰ１８において、検出した対象物が回避対象でないと判定された場合（ＳＴＥＰ１８の判定結果がＮＯ）には、ＳＴＥＰ１に戻り、上述の処理を繰り返す。また、ＳＴＥＰ１８において、検出した対象物が回避対象であると判定された場合（ＳＴＥＰ１８の判定結果がＹＥＳ）、ＳＴＥＰ１９へ進む。
【００６９】
ＳＴＥＰ１９では、画像処理ユニット１は、対象物に対する車両１０の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を行う。この注意喚起出力判定処理では、ブレーキセンサ５の出力ＢＲから、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行わないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行うべきと判定される。
【００７０】
そして、画像処理ユニット１は、注意喚起を行うべきと判定した場合（ＳＴＥＰ１９の判定結果がＹＥＳ）には、スピーカ６と表示装置７とによる注意喚起を自車両１０の運転者に対して行う注意喚起処理を実行し（ＳＴＥＰ２０）、ＳＴＥＰ１に戻り、上述の処理を繰り返す。この注意喚起処理では、例えば表示装置７に基準画像を表示すると共に、その基準画像中の回避対象である対象物の画像を強調的に表示する。さらに、回避対象である対象物が存在することをスピーカ６から運転者に音声案内する。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。
【００７１】
また、ＳＴＥＰ１９で注意喚起を行わないと判定した場合（全ての対象物について注意喚起を行わないと判定した場合）には、ＳＴＥＰ１９の判定結果がＮＯとなり、この場合には、そのままＳＴＥＰ１に戻り、上述の処理を繰り返す。
【００７２】
以上が、本実施形態の車両周辺監視装置の画像処理ユニット１における対象物検出・注意喚起動作である。これにより、自車両１０の周辺の赤外線画像と、自車両１０の走行状態を示す信号とから、自車両１０の前方の歩行者等の対象物が検出され、回避対象である対象物について運転者に注意喚起が行われる。
【００７３】
次に、図４に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ１８における回避判定処理について詳細に説明する。回避判定処理は、以下に示す第１接触判定処理、第２接触判定処理、進入接触判定処理、人工構造物判定処理、及び歩行者判定処理により、検出した対象物と自車両１０との接触の可能性及び対象物の種類を判定して、該対象物が回避対象であるか否かを判定する処理である。
【００７４】
図４を参照して、まず、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第１接触判定処理を行う（ＳＴＥＰ１０１）。第１接触判定処理は、対象物と自車両１０との接触を自車両１０の操舵やブレーキ操作によって余裕を持って回避できるか否かを判定するための処理である。具体的には、第１接触判定処理では、赤外線カメラ２Ｒ，２Ｌにより撮像される自車両１０の前方の領域（赤外線カメラ２Ｒ，２Ｌの視野角内の領域）ＡＲ０のうち、自車両１０からのＺ方向の距離（自車両１０の前後方向の距離）が、所定値以下となる領域ＡＲ１（以下、第１接触判定領域という）に対象物の現在の実空間位置が存在するか否かが判定される。
【００７５】
この場合、自車両１０からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物と自車両１０とのＺ方向の相対速度Ｖｓ（＝（Ｚv0−ＺvdT）/ｄＴ）を求め、この相対速度Ｖｓに所定の時間Ｔ１（例えば２〜５秒程度）を乗じた値Ｖｓ×Ｔ１が、第１接触判定領域ＡＲ１の、Ｚ方向の境界を規定する上記所定値として設定される。なお、相対速度Ｖｓが自車両１０から遠ざかる向きの相対速度である場合には、対象物は第１接触判定領域ＡＲ１に存在しないと判定される。
【００７６】
ここで、図５を参照して説明すると、図５は、自車両１０の走行する道路を上方から見た図であり、自車両１０の前方の領域区分が示されている。図５に示したように、領域ＡＲ０を太い実線で示す外側の三角形の領域とすると、第１接触判定領域ＡＲ１は、領域ＡＲ０内のＺ１（＝Ｖｓ×Ｔ１）より自車両１０に近い領域となる。なお、第１衝突判定領域ＡＲ１は、上下方向では、所定の高さＨ（例えば自車両１０の車高の２倍程度の高さ）を有する領域である。従って、対象物の現在のＺ方向の座標値（距離）Ｚv0がＶｓ×Ｔ１以下で、且つ、対象物の現在のＹ方向の座標値（高さ）Ｙv0がＨ以下である場合に、対象物が第１接触判定領域ＡＲ１に存在すると判定される。
【００７７】
ＳＴＥＰ１０１の判定結果がＮＯの場合（対象物が第１接触判定領域内ＡＲ１に存在しない）には、車両１０の操舵やブレーキ操作によって対象物と車両１０との接触を余裕を持って回避しうる状況である。この場合には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００７８】
ＳＴＥＰ１０１の判定結果がＹＥＳの場合（対象物が第１接触判定領域ＡＲ１内に存在している）には、ＳＴＥＰ１０２に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第２接触判定処理を行う。第２接触判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、対象物と車両１０との接触の可能性が高いか否かを判定するための処理である。具体的には、第２接触判定処理では、対象物が、図５に示したように、第１接触判定領域ＡＲ１のうちの、自車両１０の車幅αの両側に余裕βを加えた幅（α＋２β）を有する領域ＡＲ２（以下、第２接触判定領域という）内に存在するか否かを判定する。なお、第２接触判定領域ＡＲ２も所定高さＨを有する。
【００７９】
ＳＴＥＰ１０２の判定結果がＹＥＳの場合（対象物が第２接触判定領域ＡＲ２内に存在している）には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両１０と接触する可能性が高い。この場合には、ＳＴＥＰ１０３に進み、画像処理ユニット１は、例えば前走車等の、自車両１０と接触する可能性が比較的低い対象物を回避対象から除外するために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、回避対象から除外する処理である。なお、人工構造物判定処理については、詳細を後述する。
【００８０】
ＳＴＥＰ１０３の判定結果がＹＥＳの場合（対象物が人工構造物である）には、対象物が前走車等の人工構造物であり、自車両１０との接触の可能性が低い状況である。この場合には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００８１】
ＳＴＥＰ１０３の判定結果がＮＯの場合（対象物が人工構造物でない、すなわち、対象物は歩行者の可能性がある）には、ＳＴＥＰ１０４に進み、画像処理ユニット１は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。歩行者判定処理は、対象物の画像に、例えば予め登録された歩行者の形状と一致する等の、歩行者であると考えられる特徴が検出された場合に、該対象物を歩行者と判定する処理である。なお、歩行者判定処理には、具体的には、例えば前記した特開２００３−２８４０５７号公報に記載された手法が用いられる。
【００８２】
ＳＴＥＰ１０４の判定結果がＹＥＳの場合（対象物が歩行者である）には、ＳＴＥＰ１０６に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。従って、対象物が第１接触判定領域内の第２接触判定領域に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。
【００８３】
また、ＳＴＥＰ１０３の判定結果がＹＥＳの場合（対象物が人工構造物である）、あるいは、ＳＴＥＰ１０４の判定結果がＮＯの場合（対象物は歩行者の可能性がない）には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００８４】
一方、ＳＴＥＰ１０２の判定結果がＮＯの場合（対象物が第２接触判定領域ＡＲ２内に存在しない）には、ＳＴＥＰ１０５に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、進入接触判定処理を行う。進入接触判定処理は、対象物が第２接触判定領域ＡＲ２内へ進入し、且つ自車両１０との接触する可能性が高いか否かを判定する処理である。進入接触判定処理では、図６に示したように、第１接触判定領域ＡＲ１内で第２接触判定領域ＡＲ２よりＸ座標の絶対値が大きい（第２接触判定領域ＡＲ２の横方向外側の）領域ＡＲ３，ＡＲ４（以下、進入判定領域という）内にある対象物が、第２接触判定領域ＡＲ２に進入して自車両１０と接触するか否かを、対象物の移動ベクトルに基づいて判定する。なお、進入判定領域ＡＲ３，ＡＲ４も所定高さＨを有する。
【００８５】
具体的には、自車両１０の前面のＸＹ平面（自車両１０の前後方向に垂直な面）と、対象物の移動ベクトルを含む直線との交点のＸ座標（車幅方向の位置）が、自車両１０の車幅αよりも若干広い所定範囲内に存在する場合（対象物が相対的に自車両１０に向かってくる場合）に、第２接触判定領域ＡＲ２に進入して接触する可能性が高いと判定される。
【００８６】
ＳＴＥＰ１０５の判定結果がＹＥＳの場合には、対象物が将来、自車両１０と衝突する可能性が高い。そこで、この場合には、ＳＴＥＰ１０６に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。また、ＳＴＥＰ１０５の判定結果がＮＯの場合には、対象物が自車両１０と接触する可能性が低いので、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００８７】
以上が、回避判定処理の詳細である。
【００８８】
次に、図６〜図１２を参照して、図３に示したフローチャートのＳＴＥＰ１０３における人工構造物判定処理について詳細に説明する。以下の説明では、自車両１０の前方に前走車が存在している場合を例にして説明する。なお、時刻ｋにおける撮像画像は、図６（ａ），（ｂ）に例示したようになる。
【００８９】
まず、画像処理ユニット１は、所定期間内に取得された複数の時系列の画像から、輝度変化量を算出する。なお、本実施形態では、演算処理周期の各時刻において、ＳＴＥＰ１で画像が撮像されており、前記所定期間は、Ｎ回分の演算処理周期とする。例えば時刻ｋの演算処理周期では、時刻ｋ−Ｎ＋１〜時刻ｋの各演算処理周期に撮像されたＮ枚の時系列の画像から輝度変化量を算出する。以下では、時刻ｋの演算処理周期で輝度変化量をを算出する場合を例に説明する。
【００９０】
具体的には、まず、画像処理ユニット１は、時刻ｋ−Ｎ＋１〜時刻ｋの各演算処理周期の基準画像から、第１対象物を抽出する。この処理は、第１対象物抽出手段１１による処理に相当する。なお、本実施形態では、上述のＳＴＥＰ７で抽出された対象物が第１対象物としてそのまま用いられる。例えば、図６（ａ）に示した時刻ｋの演算処理周期の撮像画像から、図７（ａ）で示したように第１対象物Ｔ１が抽出される。
【００９１】
次に、画像処理ユニット１は、第１対象物との高さの差、形状に関する類似の度合、及び車両１０に対する距離の差が所定要件を満たす第２対象物を抽出する。この処理は、第２対象物抽出手段１２による処理に相当する。具体的には、画像処理ユニット１は、上述のＳＴＥＰ７で抽出された対象物のうちの所定の対象物を第１対象物としたときに、抽出された対象物のうちの第１対象物以外の対象物を第２対象物の候補とする。そして、第２対象物の候補のうちから、第１対象物との画像上での高さの差が所定値以下で、且つ第１対象物との画像上での形状に関する類似の度合が所定値以上で、且つ該第１対象物との車両１０に対する距離の差が所定値以下である対象物を、第２対象物として抽出する。なお、これらの所定値は、一般的な車両の構造的な特徴から、前走車の１対のテールライトが取り得る値として予め定められる値である。
【００９２】
詳細には、画像処理ユニット１は、第１対象物と第２対象物との類似の度合として、まず、グレースケール画像上で、第１対象物を左右反転した画像と、第２対象物の画像との相関の度合を示す、上述の式（１）で示した輝度値の絶対差分和を算出する。この絶対差分和が小さいほど、第１対象物と第２対象物の類似の度合が高い。よって、画像処理ユニット１は、算出された絶対差分和に基づいて、類似の度合を算出する。
【００９３】
さらに、画像処理ユニット１は、第１対象物及び第２対象物の、自車両１０に対する実空間上の距離を算出する。この処理は、距離算出手段１３による処理に相当する。なお、本実施形態では、上述のＳＴＥＰ１４で算出した対象物の距離が、第１対象物及び第２対象物の距離としてそのまま用いられる。これにより、対象物Ｔ１の実空間座標（Ｘ1，Ｙ1，Ｚ1）、対象物Ｔ２の実空間座標（Ｘ2，Ｙ2，Ｚ2）が得られる。そして、画像処理ユニット１は、対象物のうちの、第１対象物との車両１０に対する距離の差が所定値以下である対象物を、第２対象物として抽出する。
【００９４】
これにより、前走車のテールライトの可能性が高い第１対象物及び第２対象物が抽出される。例えば、図７（ａ）に示した第１対象物Ｔ１に対して、図７（ａ）に示した第２対象物Ｔ２が抽出される。
【００９５】
次に、画像処理ユニット１４は、第１対象物Ｔ１の車両１０に対する距離と、第２対象物Ｔ２の車両１０に対する距離との差に応じて、基準画像ＩGR上で、第１対象物Ｔ１と第２対象物Ｔ２との間の領域に監視領域Ｒ３を設定する。この処理は、監視領域設定手段１４による処理に相当する。このとき、画像処理ユニット１４は、一般的な車両の構造的な特徴から、第１対象物Ｔ１及び第２対象物Ｔ２が前走車の１対のテールライトであるとした場合に、監視領域Ｒ３が前走車のトランク部分に相当する領域となるように、監視領域Ｒ３を設定する。
【００９６】
具体的には、実空間上の監視領域Ｒ３の始点座標（自車両１０から見て左上端点座標）を（Ｘtp1，Ｙtp1）、終点座標（自車両１０から見て右下端点座標）を（Ｘtp2，Ｙtp2）とする。このとき、この実空間上の監視領域Ｒ３の始点座標（Ｘtp1，Ｙtp1）、終点座標（Ｘtp2，Ｙtp2）は、第１対象物Ｔ１の実空間座標（Ｘ1、Ｙ1，Ｚ1）と、第２対象物Ｔ２の実空間座標（Ｘ2，Ｙ2，Ｚ2）と、実空間上の監視領域Ｒ３のオフセット幅（Ｘoff ，Ｙoff ）とを用いて、下記の式（６）（７）で表される。
【００９７】
Ｘtp1＝Ｘ1＋Ｘoff ，Ｙtp1＝Ｙ1−Ｙoff …（６）
Ｘtp2＝Ｘ2−Ｘoff ，Ｙtp2＝Ｙ2＋Ｙoff …（７）
ここで、監視領域Ｒ３のオフセット幅（Ｘoff ，Ｙoff ）としては、第１対象物と第２対象物との距離の差に、一般的な車両の構造的な特徴（テールライトとトランクの位置関係）から、トランク部分に相当する領域が取り得る値として予め定められる、所定の係数を乗じた値が用いられる。
【００９８】
そして、実空間上の監視領域Ｒ３の始点座標（Ｘtp1，Ｙtp1）と終点座標（Ｘtp2，Ｙtp2）を、焦点距離Ｆ、画素間隔ｐを用いて、下記の式（８）（９）（１０）により画像上の座標系に変換して、画像上の監視領域Ｒ３の始点座標（ｘtp1，ｙtp1）と終点座標（ｘtp2，ｙtp2）を求める。
【００９９】
ｘtp1＝Ｆ×Ｘtp1／ｐ／Ｚt，ｙtp1＝F×Ｙtp1／ｐ／Ｚt …（８）
ｘtp2＝Ｆ×Ｘtp2／ｐ／Ｚt，ｙtp2＝F×Ｙtp2／ｐ／Ｚt …（９）
Ｚt＝（Ｚ1＋Ｚ2）／２ …（１０）
これにより、画像上で監視領域Ｒ３が設定される。
【０１００】
次に、設定された監視領域Ｒ３における各画素の有する輝度値のヒストグラムを算出する。図１０に、時刻ｋの演算処理周期において算出された輝度ヒストグラムを例示する。図１０において、横軸は輝度（各画素の輝度値）を示し、縦軸は頻度（画素数）を示す。そして、画像処理ユニット１は、輝度ヒストグラムから、平均輝度値ＡＶＥkを算出する。
【０１０１】
以上の処理を、時刻ｋ−Ｎ＋１〜時刻ｋの各演算処理周期に撮像された各画像について実行することにより、時系列の平均輝度値ＡＶＥk-N+1〜ＡＶＥkが算出される。
【０１０２】
次に、時刻ｋの演算処理周期で、画像処理ユニット１は、この平均輝度値ＡＶＥk-N+1〜ＡＶＥkの時系列での変化量（例えば、時系列の平均輝度値ＡＶＥk-N+1〜ＡＶＥkにおける最大値と最小値との差）を輝度変化量として算出する。この処理は、輝度変化量算出手段１５による処理に相当する。
【０１０３】
次に、画像処理ユニット１は、監視領域Ｒ３の車両１０に対する距離を算出する。この処理は、距離算出手段１３による処理に相当する。監視領域Ｒ３の距離は、図１１（ａ）（ｂ）に示すように、上述のＳＴＥＰ１４と同様の処理で算出される。
【０１０４】
次に、画像処理ユニット１は、算出された輝度変化量、監視領域Ｒ３の車両１０に対する距離に基づいて、第１対象物Ｔ１及び第２対象物Ｔ２が人工構造物であるか否を判断する。この処理は、人工構造物判断手段１６による処理に相当する。具体的には、画像処理ユニット１は、輝度変化量が所定値以下であり、且つ、第１対象物の距離又は第２対象物の距離と、監視領域の距離との差が、所定値以下である場合に、第１対象物及び第２対象物が人工構造物であると判断する。なお、これらの所定値は、一般的に画像上で前走車の１対のテールライト及びトランク部分に相当する領域が取り得る値として予め定められる値である。
【０１０５】
ここで、図１１（ａ）（ｂ）に、第１対象物Ｔ１（画像領域Ｒ１）及び第２対象物Ｔ２（画像領域Ｒ２）が前走車のテールライトで、監視領域Ｒ３が前走車のトランク部分に相当する例を示す。図１１（ａ）（ｂ）に示すように、監視領域Ｒ３が前走車のトランク部分に相当する領域であるので、時系列の画像において、この監視領域Ｒ３の輝度変化量は逐次変化する背景等に比べて小さく、該輝度変化量が所定値以下となる。また、トランクは前走車の後部に設けられており、このトランクの自車両１０に対する距離は、同様に前走車の後部に設けられたテールライトである第１対象物Ｔ１及び第２対象物Ｔ２の自車両１０に対する距離との差が小さく、該距離の差が所定値以下となる。
【０１０６】
一方、図１２（ａ）（ｂ）に、第１対象物Ｔ１及び第２対象物Ｔ３が２人並んだ歩行者の場合の画像例ＩGR’，ＩGL’を示す。この場合、図１２（ａ）（ｂ）に示すように、歩行者（歩行者の頭部）の間の監視領域Ｒ３’は背景である。このため、時系列の画像において、この監視領域Ｒ３’は逐次変化して輝度変化量が大きくなり、該輝度変化量が所定値以上となる可能性が高い。また、監視領域Ｒ３’は背景であるので、この監視領域Ｒ３’の自車両１０に対する距離は、無限遠となるか、歩行者の自車両１０に対する距離とは大きく相違するため、第１対象物又は第２対象物の距離と監視領域Ｒ３’の距離との差が所定値より大きくなる。
【０１０７】
したがって、歩行者である場合が排除され、第１対象物Ｔ１及び第２対象物Ｔ２が前走車のテールライトであることが的確に判断される。
【０１０８】
以上の処理により、本実施形態によれば、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。
［第２実施形態］
次に、本発明の第２実施形態について、図１３を参照して説明する。図１３は、本実施形態における車両周辺監視装置の機能ブロック図である。なお、本実施形態は、第１実施形態において、画像処理ユニット１に、２つの赤外線カメラ２Ｒ，２Ｌの代わりに、１つの赤外線カメラ２を備えると共に、車両１０の前方の対象物の車両１０に対する距離を検知するレーダ２０を備えるものである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。なお、本実施形態は、本発明の第２態様の車両周辺監視装置に相当する。
【０１０９】
本実施形態において、赤外線カメラ２は、自車両１０の前方を撮像するために、自車両１０の前部に取り付けられている。また、レーダ２０は、例えばミリ波レーダ等であり、自車両１０の前部に取り付けられている。なお、赤外線カメラ２は、本発明の撮像手段に相当する。
【０１１０】
そして、距離算出手段１４は、レーダ２０による検知結果を用いて、第１対象物、第２対象物、及び監視領域の車両１０に対する距離を算出する。具体的には、距離算出手段１４は、赤外線カメラ２で撮像された画像から抽出された対象物と、レーダ２０で検知された対象物とを、赤外線カメラ２及びレーダ２０の取り付け位置、赤外線カメラ２の撮像領域、及びレーダ２０の検知領域の位置関係に基づいて対応付ける。これにより、距離算出手段１４は、レーダ２０により検知される対象物の距離から、第１対象物、第２対象物、及び監視領域の車両１０に対する距離を算出する。他の構成は第１実施形態と同じである。
【０１１１】
次に、本実施形態の車両周辺監視装置の全体的な作動（対象物検出・注意喚起動作）を説明する。なお、本実施形態における車両周辺監視装置の対象物検出・注意喚起動作は、第１実施形態と、図３のＳＴＥＰ１１〜１４における対象物の距離を算出する処理、及び図４のＳＴＥＰ１０３の人工構造物判定処理における監視領域の距離を算出する処理のみが相違するものである。
【０１１２】
本実施形態では、画像処理ユニット１は、上述のようなＳＴＥＰ１１〜１４を実行する代わりに、レーダ２０による検知結果を用いて自車両１０と対象物との距離ｚを算出する。具体的には、まず、画像処理ユニット１は、レーダ２０から検知結果を取得する。次に、画像処理ユニット１は、レーダ２０による検知結果と、ＳＴＥＰ７で抽出された対象物とを対応付け、自車両１０と対象物との距離ｚを算出する。そして、この算出された距離ｚを用いて、画像処理ユニット１は、第１実施形態と同様に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１５）。また、この距離ｚが、図４の回避判定処理のＳＴＥＰ１０３の人工構造物判定処理において、第１対象物及び第２対象物の距離として用いられる。さらに、人工構造物判定処理において、レーダ２０による検知結果を用いて、監視領域の距離が算出される。以上説明した以外の作動は第１実施形態と同じである。
【０１１３】
以上の処理により、本実施形態によれば、第１実施形態と同様に、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。
【０１１４】
なお、本実施形態では、レーダ２０を用いて、赤外線カメラ２により撮像された画像から抽出された第１対象物、第２対象物、及び監視領域の自車両１０に対する距離を算出したが、他の実施形態として、例えば、１つの赤外線カメラ２により撮像された画像のみを用いて、第１対象物、第２対象物、及び監視領域の自車両１０に対する距離を算出するものとしてもよい。この場合、例えば、異なる時刻に撮像された複数の画像における、所定の対象物の大きさの変化量と、時刻と車速から算出される自車両１０の走行距離とに基づいて、該対象物の距離を算出することができる。
【０１１５】
また、第１及び第２実施形態において、輝度変化量算出手段１６は、輝度変化量として、輝度ヒストグラムの平均値（平均輝度値）の変化量を用いたが、他の実施形態として、輝度ヒストグラムの形状やピーク輝度値や分散値（輝度値バラツキ幅）の変化量を用いてもよい。
【０１１６】
また、第１及び第２実施形態において、第２対象物を抽出する際に、第１対象物及び第２対象物の画像上における高さの差及び形状の類似の度合を用いたが、他の実施形態として、第１対象物及び第２対象物の実空間上における高さの差及び形状の類似の度合を用いてもよい。
【０１１７】
また、第１及び第２実施形態において、距離算出手段１４を備え、第２対象物を抽出する際に、第１対象物及び第２対象物の実空間上における距離の差を用いたが、他の実施形態として、距離算出手段１４を備えず、第１対象物及び第２対象物の画像上における高さの差及び形状の類似の度合のみを用いてもよい。
【０１１８】
また、第１及び第２実施形態において、距離算出手段１４を備え、人工構造物判断手段１７は、第１対象物又は第２対象物の距離と、監視領域の距離との差を用いて、第１対象物及び第２対象物が人工構造物であるか否かを判断したが、距離算出手段１４を備えず、輝度変化量のみを用いて判断するようにしてもよい。
【０１１９】
また、第１及び第２実施形態において、画像処理ユニット１は、ＳＴＥＰ１８で回避対象であると判定された対象物について、自車両１０の運転者に注意喚起を行うものとしたが、他の実施形態として、例えば、自車両１０が、車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能（ひいては自車両１０の走行挙動を操作可能）なものである場合には、ＳＴＥＰ１８で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように自車両１０のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。また、上記のような自車両１０のステアリング装置等の制御と、表示装置７もしくはスピーカ６による注意喚起とは、並行して行うようにしてもよい。
【０１２０】
また、第１及び第２実施形態において、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なＣＣＤカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。
【図面の簡単な説明】
【０１２１】
【図１】本発明の第１実施形態による車両周辺監視装置の機能ブロック図。
【図２】図１に示した車両周辺監視装置の車両への取り付け態様の説明図。
【図３】図１の車両周辺監視装置の画像処理ユニットにおける対象物検出・注意喚起動作を示すフローチャート。
【図４】図３の対象物検出・注意喚起動作における回避判定処理のフローチャート。
【図５】図４の回避判定処理における車両前方の領域区分を示す説明図。
【図６】図３の対象物検出・注意喚起動作における撮像画像の例示図。
【図７】図３の対象物検出・注意喚起動作における対象物抽出処理の処理画像の例示図。
【図８】図４の回避判定処理の人工構造物判定処理における距離算出処理の説明図。
【図９】図４の回避判定処理の人工構造物判定処理における監視領域設定処理の説明図。
【図１０】図４の回避判定処理の人工構造物判定処理における輝度ヒストグラムを示すグラフ。
【図１１】図４の回避判定処理の人工構造物判定処理における監視領域の距離算出処理の例示図。
【図１２】図４の回避判定処理の車両除外処理における監視領域の距離算出処理の他の例示図。
【図１３】本発明の第２実施形態による車両周辺監視装置の機能ブロック図。
【符号の説明】
【０１２２】
２，２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、１０…車両、１１…第１対象物抽出手段、１２…第２対象物抽出手段、１３…距離算出手段、１４…監視領域設定手段、１５…輝度変化量算出手段、１６…人工構造物判断手段、２０…レーダ。
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラ等の撮像手段を介して取得した画像から、車両の周辺を監視する装置及び方法に関する。さらに、その装置の処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、車両に赤外線カメラ等の撮像手段を搭載して周辺を撮像し、撮像された画像から車両の周辺に存在する歩行者等の対象物を検出し、運転者への情報の提示等を行う技術が知られている（例えば、特許文献１参照）。
【０００３】
特許文献１の領域推定装置では、車載された赤外線カメラにより撮影された車両前方の赤外線画像から、歩行者等の検出対象者を検出する。具体的には、前記領域推定装置は、赤外線画像上で検出対象者の頭部位置を判別し、この赤外線画像内の頭部位置の情報に基づき、赤外線画像上での検出対象者の身体に相当する領域を決定する。そして、前記領域推定装置は、検出対象者の身体に相当する領域を他の領域と区別できるように強調処理等し、この赤外線画像を表示モニタに表示する。このとき、前記領域推定装置は、赤外線画像の輝度分布から明部が集中している領域を抽出し、抽出した領域の重心位置、縦横比、充足率、実面積等の形状に関する特徴に基づいて、抽出した領域から検出対象者の頭部の領域を決定する。そして、頭部の検出位置と歩行者の一般的な身長とに基づいて、歩行者の身体に相当する領域を決定する。
【特許文献１】特開平１１−３２８３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一方、車両の周辺には、歩行者の他に、他車両や電柱等の道路周辺の人工構造物も存在する。そして、これらの歩行者以外のものが、画像上で、歩行者の頭部と同様の輝度分布や形状等の特徴を有する場合がある。例えば、前走車のテールライトやタイヤ、道路周辺の電柱等も、温度が比較的高いので赤外線画像上で明部が集中している領域となり得る。さらに、前走車のテールライトは、歩行者の頭部と同様の形状特徴となり得る。
【０００５】
しかしながら、特許文献１の領域推定装置では、単に赤外線画像上の輝度分布と形状とに基づいて歩行者の頭部に相当する領域を決定しているため、前走車のテールライト等と歩行者とを区別することができない。このため、前走車のテールライト等を歩行者の頭部と誤判断して歩行者の頭部に相当する領域が決定されてしまい、これにより、歩行者の身体に相当する領域が誤って決定されて画像モニタに表示されてしまう。
【０００６】
本発明は、かかる背景に鑑みてなされたものであり、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる車両周辺監視装置、車両周辺監視方法、及び該車両周辺監視装置の処理をコンピュータに実行させる車両周辺監視用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
かかる目的を達成するために、本発明の第１態様の車両周辺監視装置は、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視装置において、前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出手段と、前記第１対象物抽出手段により抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出手段と、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定手段と、前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出手段と、少なくとも前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断手段とを備えることを特徴とする（第１発明）。
【０００８】
この第１発明の車両周辺監視装置では、第１対象物抽出手段により、撮像手段により撮像された画像から、車両の周辺に存在する歩行者等の対象物が逐次抽出される。第１対象物抽出手段は、例えば、画像における輝度分布や形状に関する特徴に基づいて対象物を抽出する。このとき、抽出された第１対象物には、歩行者以外に、例えば前走車のテールライト等の、画像における輝度分布や形状に関する特徴が歩行者と類似する人工構造物が含まれている場合がある。
【０００９】
これに対して、第２対象物抽出手段により、第１対象物との画像上での高さの差が所定範囲内で、且つ第１対象物との画像上での形状に関する類似の度合が所定範囲内である第２対象物を画像から抽出する。すなわち、前走車のテールライトは、一般に、左右１対となっており、前走車は画像上で水平に撮像されることが想定される。このため、抽出された第２対象物は、第１対象物がテールライトの一方である場合の、テールライトの他方である可能性が高い。ただし、歩行者が２人並んでいる可能性も考えられる。
【００１０】
そこで、監視領域設定手段により、第１対象物と第２対象物との間の領域を監視領域として設定し、輝度変化量算出手段により、時系列の画像から監視領域における時系列の輝度変化量を算出する。すなわち、前走車のテールライトの間の領域は、一般に、前走車のトランク部分を含んでおり、このトランク部分は、逐次変化する歩行者の背景と比べて、時系列の輝度変化量が少ないと考えられる。よって、人工構造物判断手段により、輝度変化量が所定値以下である場合に、第１対象物及び第２対象物を人工構造物と判断することで、対象物が前走車のテールライト等の人工構造物であるか否かを適切に判断することができる。
【００１１】
従って、本発明によれば、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる。
【００１２】
この本発明によれば、第１対象物及び第２対象物の画像上での高さ及び形状や、画像上での輝度変化量といった、画像から得られる情報のみを用いて、対象物が人工構造物であるか否かを容易に判断することができる。
【００１３】
または、本発明の第２態様の車両周辺監視装置は、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視装置において、前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出手段と、前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出手段を用いて該第１対象物の実空間上の位置を検出する第１対象物抽出手段と、前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出手段を用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出手段と、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定手段と、前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出手段と、少なくとも前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断手段とを備えることを特徴とする（第２発明）。
【００１４】
この第２発明の車両周辺監視装置では、第１対象物抽出手段により、撮像手段により撮像された画像から、車両の周辺に存在する歩行者等の対象物が逐次抽出されると共に、この第１対象物の実空間上の位置が検出される。第１対象物抽出手段は、例えば、画像における輝度分布や形状に関する特徴に基づいて対象物を抽出する。そして、第１対象物の実空間上の位置が検出され、該第１対象物の実空間上の位置と画像における形状に関する特徴とから、該第１対象物の実空間上の形状が把握される。このとき、抽出された第１対象物には、歩行者以外に、例えば前走車のテールライト等の、画像における輝度分布や形状に関する特徴が歩行者と類似する人工構造物が含まれている場合がある。
【００１５】
これに対して、第２対象物抽出手段により、第１対象物との実空間上での高さの差が所定範囲内で、且つ第１対象物との実空間上での形状に関する類似の度合が所定範囲内である第２対象物を画像から抽出する。すなわち、前走車のテールライトは、一般に、左右１対となっており、また、前走車は路面に対して水平となっている。このため、抽出された第２対象物は、第１対象物がテールライトの一方である場合の、テールライトの他方である可能性が高い。
【００１６】
このとき、第２発明の車両周辺監視装置では、距離算出手段が備えられており、この距離算出手段を用いて、画像から抽出される対象物の実空間上の位置が検出される。これにより、第１対象物及び第２対象物の高さと形状を、実空間上で比較することができるので、１対のテールライトである可能性が高い第１対象物及び第２対象物が、第１対象物抽出手段及び第２対象物抽出手段によって、より確実に抽出される。
【００１７】
さらに、第１発明と同様に、監視領域設定手段により、第１対象物と第２対象物との間の領域を監視領域として設定し、輝度変化量算出手段により、時系列の画像から監視領域における時系列の輝度変化量を算出する。すなわち、前走車のテールライトの間の領域は、一般に、前走車のトランク部分を含んでおり、このトランク部分は、逐次変化する歩行者の背景と比べて、時系列の輝度変化量が少ないと考えられる。よって、人工構造物判断手段により、輝度変化量が所定値以下である場合に、第１対象物及び第２対象物を人工構造物と判断する。これにより、歩行者が２人並んでいる場合を排除して、対象物が前走車のテールライト等の人工構造物であるか否かを適切に判断することができる。
【００１８】
従って、本発明によれば、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる。
【００１９】
また、第１又は第２発明の車両周辺監視装置において、前記第１対象物及び前記第２対象物の、実空間上における前記車両に対する距離を算出する距離算出手段を備える場合には、前記第２対象物抽出手段は、前記第２対象物のうちの、前記第１対象物との実空間上の距離の差が所定値以下である第２対象物を抽出することが好ましい（第３発明）。
【００２０】
すなわち、前走車は撮像手段が搭載された車両と同じ方向に進むので、前走車の１対のテールライトは、いずれも車両からの距離が同程度と考えられる。よって、第１対象物及び第２対象物の車両に対する距離を算出する距離算出手段を備える場合には、第２対象物抽出手段は、第２対象物のうちの第１対象物との実空間上の距離の差が所定範囲内である第２対象物を抽出することで、前走車のテールライト等の人工構造物の可能性が高い対象物をより精度良く抽出することができる。
【００２１】
また、第２又は第３発明の車両周辺監視装置において、前記距離算出手段は、前記監視領域の実空間上における前記車両に対する距離をさらに算出し、前記人工構造物判断手段は、前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合において、前記距離算出手段によって算出された第１対象物又は第２対象物の距離と前記監視領域の距離との差が、所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断することが好ましい（第４発明）。
【００２２】
すなわち、抽出された第１対象物及び第２対象物が、２人並んだ歩行者である場合に、この歩行者の背景が、所定時間内で輝度が一様に低い場合もある。この場合、時系列の画像における輝度変化量が小さくなり、前走車のトランク部分の輝度変化量との区別が難しいことが想定される。一方、一般に、前走車のテールライトとテーライト間のトランク部分とはいずれも車両との距離がほぼ同じであるが、歩行者と背景とは、車両との距離が相違する。そこで、距離算出手段により、監視領域の車両に対する距離が算出される場合には、人工構造物判断手段により、第１対象物又は第２対象物の距離と監視領域の距離との差が所定値以下である場合に、第１対象物及び第２対象物が人工構造物である判断することで、対象物が前走車のテールライト等の人工構造物であるか否かをより適切に判断することができる。
【００２３】
また、第２〜第４発明の車両周辺監視装置において、前記距離算出手段は、２つの撮像手段により撮像された画像を用いた相関演算を行い、該相関演算の結果算出される視差を用いて前記距離を算出することが好ましい（第５発明）。すなわち、２つの撮像手段はいわゆるステレオカメラを構成しており、この２つの撮像手段により撮像された画像から得られる視差を用いることで、対象物の車両に対する距離が精度良く算出される。よって、人工構造物判断手段により、第１及び第２対象物が人工構造物であるか否かがより精度良く判断される。
【００２４】
または、第２〜第４発明の車両周辺監視装置において、前記距離算出手段は、前記車両に搭載されたレーダを用いて前記距離を算出することが好ましい（第６発明）。この場合、レーダを用いることで対象物の車両に対する距離が精度良く算出されるので、人工構造物判断手段により、第１及び第２対象物が人工構造物であるか否かがより精度良く判断される。
【００２５】
また、第１〜第６発明の車両周辺監視装置において、前記監視領域設定手段は、前記第１対象物と第２対象物との距離に応じて、前記監視領域の大きさが所定値となるように、前記監視領域を設定することが好ましい（第７発明）。
【００２６】
すなわち、撮像手段が搭載された車両と前走車との距離は変化するものであり、この距離に応じて、画像上の前走車の１対のテールライト間の距離とトランク部分の大きさとが変化する。よって、監視領域設定手段により、第１対象物と第２対象物との距離に対する監視領域の大きさが所定値となるように、該距離に応じて監視領域を可変に設定する。これにより、監視領域が前走車のテールライト間のトランク部分に相当する領域となるように、該監視領域を適切に設定することができる。
【００２７】
また、第１〜第７発明の車両周辺監視装置において、前記輝度変化量算出手段は、前記時系列の各画像の前記監視領域における、該各画像の各画素の有する輝度値のヒストグラムから前記輝度変化量を算出することが好ましい（第８発明）。この場合、輝度値のヒストグラムから、各時刻の監視領域における輝度値の分布の傾向が容易に把握される。よって、輝度変化量算出手段により、この輝度値のヒストグラムを用いて輝度変化量を算出することでに、時系列の輝度変化量が適切に得られる。
【００２８】
また、第８発明の車両周辺監視装置において、前記輝度変化量算出手段は、前記時系列の各画像の前記ヒストグラムから平均値を算出し、該平均値の該時系列での変化量を、前記輝度変化量として用いることが好ましい（第９発明）。この場合、輝度値のヒストグラムから算出される平均値は、局所的な輝度分布の変化が排除されているので、監視領域における輝度値の分布の傾向を顕著に示すものである。よって、輝度変化量算出手段により、この輝度値の平均値の変化量を輝度変化量として用いることで、時系列の輝度変化量が適切に把握される。
【００２９】
また、第１〜第９発明の車両周辺監視装置において、前記撮像手段は、赤外線カメラであることが好ましい（第１０発明）。この場合、赤外線カメラにより撮像される赤外線画像上では、温度の高い対象物に対応する領域が輝度の高い領域となるので、画像から、熱源である歩行者やテールライトを容易に抽出することができる。
【００３０】
次に、本発明の第１態様の車両周辺監視方法は、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視方法であって、前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出ステップと、前記第１対象物抽出ステップにより抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出ステップと、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定ステップと、前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出ステップと、少なくとも前記輝度変化量算出ステップにより算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断ステップとを備えたことを特徴とする（第１１発明）。
【００３１】
または、本発明の第２態様の車両周辺監視方法は、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視方法であって、前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出ステップと、前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出ステップを用いて該第１対象物の実空間上の位置を検出する第１対象物抽出ステップと、前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出ステップを用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出ステップと、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定ステップと、前記撮像手段により撮像された時系列の画像から、前記監視領域設定ステップにより設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出ステップと、少なくとも前記輝度変化量算出ステップにより算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断ステップとを備えたことを特徴とする（第１２発明）。
【００３２】
この第１１及び第１２発明の車両周辺監視方法によれば、第１発明及び第２発明の車両周辺監視装置に関して説明したように、第１対象物抽出手段と第２対象物抽出手段により、歩行者と特徴が類似した、前走車のテールライトの可能性の高い第１対象物及び第２対象物が抽出される。そして、人工構造物判断手段により、輝度変化量が所定値以下である場合に、第１対象物及び第２対象物を人工構造物と判断することで、第１対象物及び第２対象物が２人並んだ歩行者である場合を排除して、対象物が前走車のテールライト等の人工構造物であるか否かを適切に判断することができる。よって、本発明によれば、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる。
【００３３】
次に、本発明の第１態様の車両周辺監視用プログラムは、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する処理をコンピュータに実行させる車両周辺監視用プログラムであって、前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出処理と、前記第１対象物抽出処理により抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出処理と、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定処理と、前記撮像手段により撮像された時系列の画像から、前記監視領域設定処理により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出処理と、少なくとも前記輝度変化量算出処理により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断処理とを前記コンピュータに実行させる機能を有することを特徴とする（第１３発明）。
【００３４】
または、本発明の第２態様の車両周辺監視用プログラムは、車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する処理をコンピュータに実行させる車両周辺監視用プログラムであって、前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出処理と、前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出処理を用いて該第１対象物の実空間上の位置を検出する第１対象物抽出処理と、前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出処理を用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出処理と、前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定処理と、前記撮像手段により撮像された時系列の画像から、前記監視領域設定処理により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出処理と、少なくとも前記輝度変化量算出処理により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断処理とを前記コンピュータに実行させる機能を有することを特徴とする（第１４発明）。
【００３５】
この第１３及び第１４発明の対象物検出用プログラムによれば、第１及び第２発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
【発明を実施するための最良の形態】
【００３６】
［第１実施形態］
本発明の一実施形態を添付の図面を参照して説明する。まず、第１実施形態について、図１〜図１２を参照して説明する。図１は、本実施形態による車両周辺監視装置の機能ブロック図であり、図２は、図１に示した車両周辺監視装置の車両への取り付け態様の説明図である。また、図３は、図１の車両周辺監視装置における対象物検出・注意喚起動作を示すフローチャートであり、図４は、図３の対象物検出・注意喚起動作における回避判定処理のフローチャートであり、図５は、図４の回避判定処理における車両前方の領域区分を示す説明図である。また、図６は、図３の対象物検出・注意喚起動作における撮像画像の例示図であり、図７は、図３の対象物検出・注意喚起動作における対象物抽出処理の処理画像の例示図である。また、図８は、図４の回避判定処理の人工構造物判定処理における距離算出処理の説明図であり、図９は、図４の回避判定処理の人工構造物判定処理における監視領域設定処理の説明図であり、図１０は、図４の回避判定処理の人工構造物判定処理における輝度ヒストグラムを示すグラフである。また、図１１，図１２は、図４の回避判定処理の人工構造物判定処理における監視領域の距離算出処理の例示図である。なお、本実施形態は、本発明の第１態様の車両周辺監視装置に相当する。
【００３７】
図１，図２を参照して、本実施形態の車両周辺監視装置は、ＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。画像処理ユニット１には、２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを逐次検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を逐次検出する車速センサ４と、自車両１０のブレーキの操作を逐次検出するためのブレーキセンサ５とが接続されている。
【００３８】
また、画像処理ユニット１には、自車両１０に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。表示装置７は、例えば、自車両１０のフロントウィンドウに画像等の情報を表示するＨＵＤ（ヘッドアップディスプレイ）７ａ等を備えている。ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。
【００３９】
赤外線カメラ２Ｒ，２Ｌは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の撮像手段に相当する。
【００４０】
図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部に所定の間隔で取り付けられている。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両１０の前部に固定されている。
【００４１】
画像処理ユニット１は、詳細の図示は省略するが、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４、ブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル信号に変換されて入力される。そして、画像処理ユニット１は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ６や表示装置７を介して運転者に注意喚起（対象物に対する運転者の注意の喚起）を行う処理等を実行する。これらの処理は、画像処理ユニット１のＲＯＭに予め実装されたプログラムを画像処理ユニット１により実行することにより実現され、そのプログラムは、本発明の車両周辺監視用プログラムを含んでいる。
【００４２】
より詳しくは、画像処理ユニット１は、上記プログラムにより実現される機能として、画像から第１対象物を抽出する対象物抽出手段１１と、第１対象物との高さの差や形状に関する類似の度合が所定要件を満たす第２対象物を画像から抽出する第２対象物抽出手段１２と、第１対象物と第２対象物との間の領域を監視領域として設定する監視領域設定手段１４と、時系列の画像から監視領域における時系列の輝度変化量を算出する輝度変化量算出手段１５と、第１対象物及び第２対象物が人工構造物であるか否かを判断する人工構造物判断手段１６とを備える。さらに、画像から第１対象物、第２対象物、及び監視領域の実空間上における車両１０に対する距離を算出する距離算出手段１３を備える。
【００４３】
第１対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像から、自車両１０の周辺に存在する対象物を、第１対象物として抽出する。具体的には、対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの所定の基準画像（本実施形態では、赤外線カメラ２Ｒを介して取得された画像とする）に２値化処理等を施して、さらにラベリング処理等を施し、対象物の画像部分を抽出する。
【００４４】
第２対象物抽出手段１２は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像から、第１対象物抽出手段１２により抽出された第１対象物との、高さの差、形状に関する類似の度合、及び車両の対する距離の差が所定要件を満たす第２対象物を抽出する。具体的には、第２対象物抽出手段１２は、第１対象物抽出手段１１と同様に抽出された自車両１０の周辺に存在する対象物のうちから、第１対象物との画像上での高さの差が所定値以下で、且つ第１対象物との画像上での形状に関する類似の度合が所定値以上で、且つ該第１対象物との車両１０に対する距離の差が所定値以下である対象物を、第２対象物として抽出する。
【００４５】
距離算出手段１４は、基準画像上で抽出された第１対象物及び第２対象物に対応する対象物を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での対象物のずれ（視差）に基づいて、対象物の自車両１０に対する距離を検出する。また、距離算出手段１４は、対象物と同様に、監視領域に対応する領域を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での対象物のずれ（視差）に基づいて、対象物の自車両１０に対する距離を検出する。なお、画像に基づいて対象物の距離を検出する具体的な手法としては、例えば、本願出願人による特開２００３−２８４０５７号公報に記載したような手法を用いることができる。
【００４６】
監視領域設定手段１４は、第１対象物の車両に対する距離と、第２対象物の車両に対する距離との差に応じて、基準画像上で、第１対象物と第２対象物との間の領域に監視領域を設定する。このとき、監視領域設定手段１４は、第１対象物と第２対象物とが前走車のテールライトであるとした場合に、当該前走車のトランク部分に相当する所定の領域となるように（監視領域の大きさが所定値となるように）、監視領域を設定する。
【００４７】
輝度変化量算出手段１５は、赤外線カメラ２Ｒにより撮像された時系列の画像（基準画像）から、監視領域設定手段１４により設定された監視領域における時系列の輝度変化量を算出する。具体的には、輝度変化量算出手段１５は、時系列の各画像について、監視領域における該各画像の各画素の有する輝度値のヒストグラムを得る。そして、輝度変化量算出手段１５は、得られたヒストグラムから平均値を算出する。そして、輝度変化量算出手段１５は、この平均値の時系列での変化量（例えば、平均値の時系列データにおける最大値と最小値との差）を輝度変化量として用いる。
【００４８】
人工構造物判断手段１６は、輝度変化量算出手段１５により算出された輝度変化量に基づいて、第１対象物抽出手段１１により抽出された第１対象物及び第２対象物抽出手段１２により抽出された第２対象物が人工構造物であるか否を判断する。具体的には、人工構造物判断手段１６は、輝度変化量が所定値以下であり、且つ、距離算出手段１３により算出された第１対象物の距離又は第２対象物の距離と、距離算出手段１３により算出された監視領域の距離との差が、所定値以下である場合に、第１対象物及び第２対象物が人工構造物であると判断する。
【００４９】
次に、本実施形態の車両周辺監視装置の全体的な作動（対象物検出・注意喚起動作）を、図３に示したフローチャートに従って説明する。図３を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ１〜ＳＴＥＰ２０の処理を繰り返して、対象物検出・注意喚起動作を実行する。まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、グレースケール画像を画像メモリに格納する（ＳＴＥＰ３）。なお、赤外線カメラ２Ｒにより右画像ＩGRが得られ、赤外線カメラ２Ｌにより左画像ＩGLが得られる。図６（ａ），（ｂ）に、ある演算処理周期の時刻（離散系時刻）ｋにおいて赤外線カメラ２Ｒ，２Ｌによって得られるグレースケール画像ＩGR，ＩGLを例示する。なお、図６（ａ），（ｂ）に示した例は、自車両１０の前方に前走車が存在している場合の例である。このように、右画像ＩGRと左画像ＩGLとでは、同一の対象物の画像上での横方向（ｘ方向）の位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００５０】
次に、画像処理ユニット１は、グレースケール画像のうちの基準画像に対して、その画像信号を２値化する（ＳＴＥＰ４）。すなわち、基準画像の画像信号の輝度値が閾値Ｉthより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理が行われる。閾値Ｉthは、実験的に予め決定される値である。
【００５１】
図７（ａ）に、図６（ａ）に示した右画像ＩGRを２値化した画像ＩBRを例示する。図７（ａ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。太い実線で囲まれた領域は、赤外線カメラ２Ｒから得られる画像において、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域である。
【００５２】
次に、画像処理ユニット１は、２値化処理で「白」となった領域（以下、２値化領域という）からランレングスデータを作成する（ＳＴＥＰ５）。作成されるランレングスデータは、２値化領域を画像の横方向の１次元の連結画素であるラインの集合で表し、該２値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ（画素数）とで示したものである。
【００５３】
次に、画像処理ユニット１は、作成されたランレングスデータに基づいて、対象物のラベリングをする（ＳＴＥＰ６）ことにより、対象物を抽出する（ＳＴＥＰ７）。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向（ｙ方向）に重なる部分のあるラインを１つの対象物とみなしてラベル（識別子）を付すことにより、画像内の連結した領域を対象物として抽出する。
【００５４】
上述のＳＴＥＰ５〜７の処理により、２値化領域が対象物（２値化対象物）Ｔkとして抽出される。このとき、例えばラベルＴkの対象物は、ｎ個のランレングスデータＬ１〜Ｌｎで示される。図７（ａ）の例では、抽出される対象物のうちの１つとして、例えば、領域Ｒ１に含まれる２値化領域が対象物Ｔ１として抽出される。なお、抽出される対象物（２値化対象物）には、道路周辺の歩行者以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。図７（ａ）の例では、対象物Ｔ１は、自車両１０の前走車の左側のテールライトに対応する２値化対象物である。
【００５５】
次に、画像処理ユニット１は、抽出された対象物の面積Ｓ、重心位置Ｇｃ、対象物の外接四角形の高さＨｂ、幅Ｗｂ、重心位置Ｇｂ、縦横比ＡＳＰを算出する（ＳＴＥＰ８）。具体的には、対象物Ｔkの面積Ｓkは、各ランレングスデータＬｉ（ｉ＝１，．．．，ｎ）で示されるラインの長さを、対象物Ｔkのｎ個のランレングスデータについて積算することにより算出する。また、対象物Ｔkの重心Ｇｃkの座標は、各ランレングスデータＬｉで示されるラインの長さと、各ランレングスデータＬｉのラインの中点の座標（ｘ［ｉ］，ｙ［ｉ］）とをそれぞれ掛け合わせ、更にこれを対象物Ｔ１のｎ個のランレングスデータについて積算したものを、面積Ｓkで割ることにより算出する。また、対象物Ｔkの外接四角形の縦横比ＡＳＰkは、対象物Ｔkの外接四角形の高さ（縦方向の長さ）Ｈｂkと幅（横方向の長さ）Ｗｂkとの比Ｈｂk／Ｗｂkとして算出する。なお、対象物Ｔkの画像部分Ｒkは、対象物Ｔkを囲む外接四角形の領域全体とする。
【００５６】
次に、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎に同一対象物を認識する処理を行う（ＳＴＥＰ９）。同一対象物認識処理は、時刻ｋにおけるＳＴＥＰ７の処理により対象物Ｔkが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ７の処理により対象物Ｔk+1が抽出されたとしたとき、対象物Ｔk+1と対象物Ｔkとの同一性（対象物Ｔk+1が対象物Ｔkと同一の対象物であるか否か）を判定する処理である。そして、対象物Ｔkと対象物Ｔk+1とが同一の対象物であると判定された場合には、対象物Ｔk+1のラベルが対象物Ｔkのラベルと同じラベルに変更される。これにより、対象物Ｔkと対象物Ｔk+1とが同一の対象物であると認識されて、時刻間で追跡される。この同一対象物認識処理は、基準画像において実行される。
【００５７】
次に、画像処理ユニット１は、ヨーレートセンサ３により検出されるヨーレートＹＲと、車速センサ４により検出される車速ＶＣＡＲ（水平方向の速度）とを読み込む（ＳＴＥＰ１０）。なお、このＳＴＥＰ１０では、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒの算出も行われる。
【００５８】
一方、画像処理ユニット１は、ＳＴＥＰ９，１０の処理に並行して、ＳＴＥＰ１１〜１４の処理を実行する。ＳＴＥＰ１１〜１４の処理は、対象物と自車両１０との距離ｚ（自車両１０の前後方向の距離）を算出する処理である。
【００５９】
まず、画像処理ユニット１は、基準画像の２値化画像によって追跡される対象物の中の１つを選択して、基準画像から探索画像Ｒ１（選択した対象物を囲む外接四角形の領域全体を探索画像とする）を抽出する（ＳＴＥＰ１１）。
【００６０】
次に、画像処理ユニット１は、参照画像（赤外線カメラ２Ｒ，２Ｌから得られた右画像及び左画像のうちの基準画像でない画像）中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ＳＴＥＰ１２）。具体的には、図７（ａ）に示した対象物Ｔ１の例では、図８（ａ），（ｂ）に示すように、探索画像Ｒ１の各頂点座標に応じて、参照画像中に探索領域Ｒ１ａを設定し、探索領域Ｒ１ａ内に、座標（ｘ0，ｙ0）を基点（領域の左上の頂点）とした探索画像Ｒ１と同一形状の局所領域Ｒ１ｂ設定する。そして、基点の座標（ｘ0，ｙ0）を変化させて、探索領域Ｒ１ａ内で局所領域Ｒ１ｂを移動させながら、局所領域Ｒ１ｂと探索画像Ｒ１との相関の度合を示す輝度値の絶対差分和（SAD，Sum of Absolute Difference）Ｃ（ｘ0，ｙ0）を次式（１）により算出する。
【００６１】
【数１】
【００６２】
ここで、絶対差分和Ｃ（ｘ0，ｙ0）は、探索画像Ｒ１内の座標（ｍ，ｎ）の画素の輝度値ＩＲと、探索領域Ｒ１ａ内の座標（ｘ0，ｙ0）を基点とした局所領域Ｒ１ｂ内の座標（ｘ0＋ｍ，ｙ0＋ｎ）の画素の輝度値ＩＬとの差の絶対値を取り、この差の絶対値の探索画像Ｒ１及び局所領域Ｒ１ｂ内の全画素（ｍ＝０，．．．，M-1，ｎ＝０，．．．，N-1）についての総和値を求めたものである。なお、絶対差分和Ｃ（ｘ0，ｙ0）の値が小さいほど、探索画像Ｒ１と局所領域Ｒ１ｂとの相関の度合が高いことを示す。これにより、絶対差分和Ｃ（ｘ0，ｙ0）が最小となる基点の座標（ｘ0，ｙ0）を求め、この位置の局所領域Ｒ１ｂを対応画像Ｒ１ｃとして抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。ＳＴＥＰ１１〜１２の処理により、基準画像中の探索画像Ｒ１と、参照画像中の対応画像Ｒ１ｃとが抽出される。
【００６３】
次に、画像処理ユニット１は、探索画像Ｒ１の重心位置と、対応画像Ｒ１ｃの重心位置とに基づいて、視差Δｄ（画素数）を算出する（ＳＴＥＰ１３）。そして、画像処理ユニット１は、算出された視差Δｄを用いて、次式（２）により、自車両１０と対象物との距離ｚを算出する（ＳＴＥＰ１４）。
【００６４】
ｚ＝Ｂ×Ｆ／（Δｄ×ｐ） …（２）
なお、Ｂは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、Ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離Ｆ、ｐは画素間隔である。
【００６５】
ＳＴＥＰ１０及びＳＴＥＰ１４の処理の終了後、画像処理ユニット１は、次に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１５）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点（自車両１０に固定された位置）を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向及びＹ方向は、それぞれ自車両１０の左右方向（車幅方向）、上下方向であり、これらのＸ方向及びＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、実空間位置（Ｘ，Ｙ，Ｚ）は、次式（３）（４）（５）により算出される。
【００６６】
Ｘ＝ｘ×ｚ×ｐ／ｆ …（３）
Ｙ＝ｙ×ｚ×ｐ／ｆ …（４）
Ｚ＝ｚ …（５）
次に、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、ＳＴＥＰ１０で算出した回頭角θｒを用いて、対象物の実空間位置を補正する。（ＳＴＥＰ１６）。回頭角補正は、時刻ｋから時刻ｋ＋１までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像上では、画像の範囲がｘ方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。
【００６７】
次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ１７）。具体的には、同一対象物についての実空間位置の、所定期間ｄＴ（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（座標ＰvdT＝（ＸvdT，ＹvdT，ＺvdT））から、現在時刻における該直線上の対象物の位置（座標Ｐv0＝（Ｘv0，Ｙv0，Ｚv0））に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、前記した特開２００３−２８４０５７号公報に記載された手法を用いる。
【００６８】
次に、画像処理ユニット１は、検出した対象物と自車両１０とが接触する可能性を判定して、該対象物が回避対象（自車両１０との接触を回避すべき対象）であるか否かを判定する回避判定処理を行う（ＳＴＥＰ１８）。なお、回避判定処理については、詳細を後述する。ＳＴＥＰ１８において、検出した対象物が回避対象でないと判定された場合（ＳＴＥＰ１８の判定結果がＮＯ）には、ＳＴＥＰ１に戻り、上述の処理を繰り返す。また、ＳＴＥＰ１８において、検出した対象物が回避対象であると判定された場合（ＳＴＥＰ１８の判定結果がＹＥＳ）、ＳＴＥＰ１９へ進む。
【００６９】
ＳＴＥＰ１９では、画像処理ユニット１は、対象物に対する車両１０の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を行う。この注意喚起出力判定処理では、ブレーキセンサ５の出力ＢＲから、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行わないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行うべきと判定される。
【００７０】
そして、画像処理ユニット１は、注意喚起を行うべきと判定した場合（ＳＴＥＰ１９の判定結果がＹＥＳ）には、スピーカ６と表示装置７とによる注意喚起を自車両１０の運転者に対して行う注意喚起処理を実行し（ＳＴＥＰ２０）、ＳＴＥＰ１に戻り、上述の処理を繰り返す。この注意喚起処理では、例えば表示装置７に基準画像を表示すると共に、その基準画像中の回避対象である対象物の画像を強調的に表示する。さらに、回避対象である対象物が存在することをスピーカ６から運転者に音声案内する。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。
【００７１】
また、ＳＴＥＰ１９で注意喚起を行わないと判定した場合（全ての対象物について注意喚起を行わないと判定した場合）には、ＳＴＥＰ１９の判定結果がＮＯとなり、この場合には、そのままＳＴＥＰ１に戻り、上述の処理を繰り返す。
【００７２】
以上が、本実施形態の車両周辺監視装置の画像処理ユニット１における対象物検出・注意喚起動作である。これにより、自車両１０の周辺の赤外線画像と、自車両１０の走行状態を示す信号とから、自車両１０の前方の歩行者等の対象物が検出され、回避対象である対象物について運転者に注意喚起が行われる。
【００７３】
次に、図４に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ１８における回避判定処理について詳細に説明する。回避判定処理は、以下に示す第１接触判定処理、第２接触判定処理、進入接触判定処理、人工構造物判定処理、及び歩行者判定処理により、検出した対象物と自車両１０との接触の可能性及び対象物の種類を判定して、該対象物が回避対象であるか否かを判定する処理である。
【００７４】
図４を参照して、まず、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第１接触判定処理を行う（ＳＴＥＰ１０１）。第１接触判定処理は、対象物と自車両１０との接触を自車両１０の操舵やブレーキ操作によって余裕を持って回避できるか否かを判定するための処理である。具体的には、第１接触判定処理では、赤外線カメラ２Ｒ，２Ｌにより撮像される自車両１０の前方の領域（赤外線カメラ２Ｒ，２Ｌの視野角内の領域）ＡＲ０のうち、自車両１０からのＺ方向の距離（自車両１０の前後方向の距離）が、所定値以下となる領域ＡＲ１（以下、第１接触判定領域という）に対象物の現在の実空間位置が存在するか否かが判定される。
【００７５】
この場合、自車両１０からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物と自車両１０とのＺ方向の相対速度Ｖｓ（＝（Ｚv0−ＺvdT）/ｄＴ）を求め、この相対速度Ｖｓに所定の時間Ｔ１（例えば２〜５秒程度）を乗じた値Ｖｓ×Ｔ１が、第１接触判定領域ＡＲ１の、Ｚ方向の境界を規定する上記所定値として設定される。なお、相対速度Ｖｓが自車両１０から遠ざかる向きの相対速度である場合には、対象物は第１接触判定領域ＡＲ１に存在しないと判定される。
【００７６】
ここで、図５を参照して説明すると、図５は、自車両１０の走行する道路を上方から見た図であり、自車両１０の前方の領域区分が示されている。図５に示したように、領域ＡＲ０を太い実線で示す外側の三角形の領域とすると、第１接触判定領域ＡＲ１は、領域ＡＲ０内のＺ１（＝Ｖｓ×Ｔ１）より自車両１０に近い領域となる。なお、第１衝突判定領域ＡＲ１は、上下方向では、所定の高さＨ（例えば自車両１０の車高の２倍程度の高さ）を有する領域である。従って、対象物の現在のＺ方向の座標値（距離）Ｚv0がＶｓ×Ｔ１以下で、且つ、対象物の現在のＹ方向の座標値（高さ）Ｙv0がＨ以下である場合に、対象物が第１接触判定領域ＡＲ１に存在すると判定される。
【００７７】
ＳＴＥＰ１０１の判定結果がＮＯの場合（対象物が第１接触判定領域内ＡＲ１に存在しない）には、車両１０の操舵やブレーキ操作によって対象物と車両１０との接触を余裕を持って回避しうる状況である。この場合には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００７８】
ＳＴＥＰ１０１の判定結果がＹＥＳの場合（対象物が第１接触判定領域ＡＲ１内に存在している）には、ＳＴＥＰ１０２に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第２接触判定処理を行う。第２接触判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、対象物と車両１０との接触の可能性が高いか否かを判定するための処理である。具体的には、第２接触判定処理では、対象物が、図５に示したように、第１接触判定領域ＡＲ１のうちの、自車両１０の車幅αの両側に余裕βを加えた幅（α＋２β）を有する領域ＡＲ２（以下、第２接触判定領域という）内に存在するか否かを判定する。なお、第２接触判定領域ＡＲ２も所定高さＨを有する。
【００７９】
ＳＴＥＰ１０２の判定結果がＹＥＳの場合（対象物が第２接触判定領域ＡＲ２内に存在している）には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両１０と接触する可能性が高い。この場合には、ＳＴＥＰ１０３に進み、画像処理ユニット１は、例えば前走車等の、自車両１０と接触する可能性が比較的低い対象物を回避対象から除外するために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、回避対象から除外する処理である。なお、人工構造物判定処理については、詳細を後述する。
【００８０】
ＳＴＥＰ１０３の判定結果がＹＥＳの場合（対象物が人工構造物である）には、対象物が前走車等の人工構造物であり、自車両１０との接触の可能性が低い状況である。この場合には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００８１】
ＳＴＥＰ１０３の判定結果がＮＯの場合（対象物が人工構造物でない、すなわち、対象物は歩行者の可能性がある）には、ＳＴＥＰ１０４に進み、画像処理ユニット１は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。歩行者判定処理は、対象物の画像に、例えば予め登録された歩行者の形状と一致する等の、歩行者であると考えられる特徴が検出された場合に、該対象物を歩行者と判定する処理である。なお、歩行者判定処理には、具体的には、例えば前記した特開２００３−２８４０５７号公報に記載された手法が用いられる。
【００８２】
ＳＴＥＰ１０４の判定結果がＹＥＳの場合（対象物が歩行者である）には、ＳＴＥＰ１０６に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。従って、対象物が第１接触判定領域内の第２接触判定領域に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。
【００８３】
また、ＳＴＥＰ１０３の判定結果がＹＥＳの場合（対象物が人工構造物である）、あるいは、ＳＴＥＰ１０４の判定結果がＮＯの場合（対象物は歩行者の可能性がない）には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００８４】
一方、ＳＴＥＰ１０２の判定結果がＮＯの場合（対象物が第２接触判定領域ＡＲ２内に存在しない）には、ＳＴＥＰ１０５に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、進入接触判定処理を行う。進入接触判定処理は、対象物が第２接触判定領域ＡＲ２内へ進入し、且つ自車両１０との接触する可能性が高いか否かを判定する処理である。進入接触判定処理では、図６に示したように、第１接触判定領域ＡＲ１内で第２接触判定領域ＡＲ２よりＸ座標の絶対値が大きい（第２接触判定領域ＡＲ２の横方向外側の）領域ＡＲ３，ＡＲ４（以下、進入判定領域という）内にある対象物が、第２接触判定領域ＡＲ２に進入して自車両１０と接触するか否かを、対象物の移動ベクトルに基づいて判定する。なお、進入判定領域ＡＲ３，ＡＲ４も所定高さＨを有する。
【００８５】
具体的には、自車両１０の前面のＸＹ平面（自車両１０の前後方向に垂直な面）と、対象物の移動ベクトルを含む直線との交点のＸ座標（車幅方向の位置）が、自車両１０の車幅αよりも若干広い所定範囲内に存在する場合（対象物が相対的に自車両１０に向かってくる場合）に、第２接触判定領域ＡＲ２に進入して接触する可能性が高いと判定される。
【００８６】
ＳＴＥＰ１０５の判定結果がＹＥＳの場合には、対象物が将来、自車両１０と衝突する可能性が高い。そこで、この場合には、ＳＴＥＰ１０６に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。また、ＳＴＥＰ１０５の判定結果がＮＯの場合には、対象物が自車両１０と接触する可能性が低いので、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００８７】
以上が、回避判定処理の詳細である。
【００８８】
次に、図６〜図１２を参照して、図３に示したフローチャートのＳＴＥＰ１０３における人工構造物判定処理について詳細に説明する。以下の説明では、自車両１０の前方に前走車が存在している場合を例にして説明する。なお、時刻ｋにおける撮像画像は、図６（ａ），（ｂ）に例示したようになる。
【００８９】
まず、画像処理ユニット１は、所定期間内に取得された複数の時系列の画像から、輝度変化量を算出する。なお、本実施形態では、演算処理周期の各時刻において、ＳＴＥＰ１で画像が撮像されており、前記所定期間は、Ｎ回分の演算処理周期とする。例えば時刻ｋの演算処理周期では、時刻ｋ−Ｎ＋１〜時刻ｋの各演算処理周期に撮像されたＮ枚の時系列の画像から輝度変化量を算出する。以下では、時刻ｋの演算処理周期で輝度変化量をを算出する場合を例に説明する。
【００９０】
具体的には、まず、画像処理ユニット１は、時刻ｋ−Ｎ＋１〜時刻ｋの各演算処理周期の基準画像から、第１対象物を抽出する。この処理は、第１対象物抽出手段１１による処理に相当する。なお、本実施形態では、上述のＳＴＥＰ７で抽出された対象物が第１対象物としてそのまま用いられる。例えば、図６（ａ）に示した時刻ｋの演算処理周期の撮像画像から、図７（ａ）で示したように第１対象物Ｔ１が抽出される。
【００９１】
次に、画像処理ユニット１は、第１対象物との高さの差、形状に関する類似の度合、及び車両１０に対する距離の差が所定要件を満たす第２対象物を抽出する。この処理は、第２対象物抽出手段１２による処理に相当する。具体的には、画像処理ユニット１は、上述のＳＴＥＰ７で抽出された対象物のうちの所定の対象物を第１対象物としたときに、抽出された対象物のうちの第１対象物以外の対象物を第２対象物の候補とする。そして、第２対象物の候補のうちから、第１対象物との画像上での高さの差が所定値以下で、且つ第１対象物との画像上での形状に関する類似の度合が所定値以上で、且つ該第１対象物との車両１０に対する距離の差が所定値以下である対象物を、第２対象物として抽出する。なお、これらの所定値は、一般的な車両の構造的な特徴から、前走車の１対のテールライトが取り得る値として予め定められる値である。
【００９２】
詳細には、画像処理ユニット１は、第１対象物と第２対象物との類似の度合として、まず、グレースケール画像上で、第１対象物を左右反転した画像と、第２対象物の画像との相関の度合を示す、上述の式（１）で示した輝度値の絶対差分和を算出する。この絶対差分和が小さいほど、第１対象物と第２対象物の類似の度合が高い。よって、画像処理ユニット１は、算出された絶対差分和に基づいて、類似の度合を算出する。
【００９３】
さらに、画像処理ユニット１は、第１対象物及び第２対象物の、自車両１０に対する実空間上の距離を算出する。この処理は、距離算出手段１３による処理に相当する。なお、本実施形態では、上述のＳＴＥＰ１４で算出した対象物の距離が、第１対象物及び第２対象物の距離としてそのまま用いられる。これにより、対象物Ｔ１の実空間座標（Ｘ1，Ｙ1，Ｚ1）、対象物Ｔ２の実空間座標（Ｘ2，Ｙ2，Ｚ2）が得られる。そして、画像処理ユニット１は、対象物のうちの、第１対象物との車両１０に対する距離の差が所定値以下である対象物を、第２対象物として抽出する。
【００９４】
これにより、前走車のテールライトの可能性が高い第１対象物及び第２対象物が抽出される。例えば、図７（ａ）に示した第１対象物Ｔ１に対して、図７（ａ）に示した第２対象物Ｔ２が抽出される。
【００９５】
次に、画像処理ユニット１４は、第１対象物Ｔ１の車両１０に対する距離と、第２対象物Ｔ２の車両１０に対する距離との差に応じて、基準画像ＩGR上で、第１対象物Ｔ１と第２対象物Ｔ２との間の領域に監視領域Ｒ３を設定する。この処理は、監視領域設定手段１４による処理に相当する。このとき、画像処理ユニット１４は、一般的な車両の構造的な特徴から、第１対象物Ｔ１及び第２対象物Ｔ２が前走車の１対のテールライトであるとした場合に、監視領域Ｒ３が前走車のトランク部分に相当する領域となるように、監視領域Ｒ３を設定する。
【００９６】
具体的には、実空間上の監視領域Ｒ３の始点座標（自車両１０から見て左上端点座標）を（Ｘtp1，Ｙtp1）、終点座標（自車両１０から見て右下端点座標）を（Ｘtp2，Ｙtp2）とする。このとき、この実空間上の監視領域Ｒ３の始点座標（Ｘtp1，Ｙtp1）、終点座標（Ｘtp2，Ｙtp2）は、第１対象物Ｔ１の実空間座標（Ｘ1、Ｙ1，Ｚ1）と、第２対象物Ｔ２の実空間座標（Ｘ2，Ｙ2，Ｚ2）と、実空間上の監視領域Ｒ３のオフセット幅（Ｘoff ，Ｙoff ）とを用いて、下記の式（６）（７）で表される。
【００９７】
Ｘtp1＝Ｘ1＋Ｘoff ，Ｙtp1＝Ｙ1−Ｙoff …（６）
Ｘtp2＝Ｘ2−Ｘoff ，Ｙtp2＝Ｙ2＋Ｙoff …（７）
ここで、監視領域Ｒ３のオフセット幅（Ｘoff ，Ｙoff ）としては、第１対象物と第２対象物との距離の差に、一般的な車両の構造的な特徴（テールライトとトランクの位置関係）から、トランク部分に相当する領域が取り得る値として予め定められる、所定の係数を乗じた値が用いられる。
【００９８】
そして、実空間上の監視領域Ｒ３の始点座標（Ｘtp1，Ｙtp1）と終点座標（Ｘtp2，Ｙtp2）を、焦点距離Ｆ、画素間隔ｐを用いて、下記の式（８）（９）（１０）により画像上の座標系に変換して、画像上の監視領域Ｒ３の始点座標（ｘtp1，ｙtp1）と終点座標（ｘtp2，ｙtp2）を求める。
【００９９】
ｘtp1＝Ｆ×Ｘtp1／ｐ／Ｚt，ｙtp1＝F×Ｙtp1／ｐ／Ｚt …（８）
ｘtp2＝Ｆ×Ｘtp2／ｐ／Ｚt，ｙtp2＝F×Ｙtp2／ｐ／Ｚt …（９）
Ｚt＝（Ｚ1＋Ｚ2）／２ …（１０）
これにより、画像上で監視領域Ｒ３が設定される。
【０１００】
次に、設定された監視領域Ｒ３における各画素の有する輝度値のヒストグラムを算出する。図１０に、時刻ｋの演算処理周期において算出された輝度ヒストグラムを例示する。図１０において、横軸は輝度（各画素の輝度値）を示し、縦軸は頻度（画素数）を示す。そして、画像処理ユニット１は、輝度ヒストグラムから、平均輝度値ＡＶＥkを算出する。
【０１０１】
以上の処理を、時刻ｋ−Ｎ＋１〜時刻ｋの各演算処理周期に撮像された各画像について実行することにより、時系列の平均輝度値ＡＶＥk-N+1〜ＡＶＥkが算出される。
【０１０２】
次に、時刻ｋの演算処理周期で、画像処理ユニット１は、この平均輝度値ＡＶＥk-N+1〜ＡＶＥkの時系列での変化量（例えば、時系列の平均輝度値ＡＶＥk-N+1〜ＡＶＥkにおける最大値と最小値との差）を輝度変化量として算出する。この処理は、輝度変化量算出手段１５による処理に相当する。
【０１０３】
次に、画像処理ユニット１は、監視領域Ｒ３の車両１０に対する距離を算出する。この処理は、距離算出手段１３による処理に相当する。監視領域Ｒ３の距離は、図１１（ａ）（ｂ）に示すように、上述のＳＴＥＰ１４と同様の処理で算出される。
【０１０４】
次に、画像処理ユニット１は、算出された輝度変化量、監視領域Ｒ３の車両１０に対する距離に基づいて、第１対象物Ｔ１及び第２対象物Ｔ２が人工構造物であるか否を判断する。この処理は、人工構造物判断手段１６による処理に相当する。具体的には、画像処理ユニット１は、輝度変化量が所定値以下であり、且つ、第１対象物の距離又は第２対象物の距離と、監視領域の距離との差が、所定値以下である場合に、第１対象物及び第２対象物が人工構造物であると判断する。なお、これらの所定値は、一般的に画像上で前走車の１対のテールライト及びトランク部分に相当する領域が取り得る値として予め定められる値である。
【０１０５】
ここで、図１１（ａ）（ｂ）に、第１対象物Ｔ１（画像領域Ｒ１）及び第２対象物Ｔ２（画像領域Ｒ２）が前走車のテールライトで、監視領域Ｒ３が前走車のトランク部分に相当する例を示す。図１１（ａ）（ｂ）に示すように、監視領域Ｒ３が前走車のトランク部分に相当する領域であるので、時系列の画像において、この監視領域Ｒ３の輝度変化量は逐次変化する背景等に比べて小さく、該輝度変化量が所定値以下となる。また、トランクは前走車の後部に設けられており、このトランクの自車両１０に対する距離は、同様に前走車の後部に設けられたテールライトである第１対象物Ｔ１及び第２対象物Ｔ２の自車両１０に対する距離との差が小さく、該距離の差が所定値以下となる。
【０１０６】
一方、図１２（ａ）（ｂ）に、第１対象物Ｔ１及び第２対象物Ｔ３が２人並んだ歩行者の場合の画像例ＩGR’，ＩGL’を示す。この場合、図１２（ａ）（ｂ）に示すように、歩行者（歩行者の頭部）の間の監視領域Ｒ３’は背景である。このため、時系列の画像において、この監視領域Ｒ３’は逐次変化して輝度変化量が大きくなり、該輝度変化量が所定値以上となる可能性が高い。また、監視領域Ｒ３’は背景であるので、この監視領域Ｒ３’の自車両１０に対する距離は、無限遠となるか、歩行者の自車両１０に対する距離とは大きく相違するため、第１対象物又は第２対象物の距離と監視領域Ｒ３’の距離との差が所定値より大きくなる。
【０１０７】
したがって、歩行者である場合が排除され、第１対象物Ｔ１及び第２対象物Ｔ２が前走車のテールライトであることが的確に判断される。
【０１０８】
以上の処理により、本実施形態によれば、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。
［第２実施形態］
次に、本発明の第２実施形態について、図１３を参照して説明する。図１３は、本実施形態における車両周辺監視装置の機能ブロック図である。なお、本実施形態は、第１実施形態において、画像処理ユニット１に、２つの赤外線カメラ２Ｒ，２Ｌの代わりに、１つの赤外線カメラ２を備えると共に、車両１０の前方の対象物の車両１０に対する距離を検知するレーダ２０を備えるものである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。なお、本実施形態は、本発明の第２態様の車両周辺監視装置に相当する。
【０１０９】
本実施形態において、赤外線カメラ２は、自車両１０の前方を撮像するために、自車両１０の前部に取り付けられている。また、レーダ２０は、例えばミリ波レーダ等であり、自車両１０の前部に取り付けられている。なお、赤外線カメラ２は、本発明の撮像手段に相当する。
【０１１０】
そして、距離算出手段１４は、レーダ２０による検知結果を用いて、第１対象物、第２対象物、及び監視領域の車両１０に対する距離を算出する。具体的には、距離算出手段１４は、赤外線カメラ２で撮像された画像から抽出された対象物と、レーダ２０で検知された対象物とを、赤外線カメラ２及びレーダ２０の取り付け位置、赤外線カメラ２の撮像領域、及びレーダ２０の検知領域の位置関係に基づいて対応付ける。これにより、距離算出手段１４は、レーダ２０により検知される対象物の距離から、第１対象物、第２対象物、及び監視領域の車両１０に対する距離を算出する。他の構成は第１実施形態と同じである。
【０１１１】
次に、本実施形態の車両周辺監視装置の全体的な作動（対象物検出・注意喚起動作）を説明する。なお、本実施形態における車両周辺監視装置の対象物検出・注意喚起動作は、第１実施形態と、図３のＳＴＥＰ１１〜１４における対象物の距離を算出する処理、及び図４のＳＴＥＰ１０３の人工構造物判定処理における監視領域の距離を算出する処理のみが相違するものである。
【０１１２】
本実施形態では、画像処理ユニット１は、上述のようなＳＴＥＰ１１〜１４を実行する代わりに、レーダ２０による検知結果を用いて自車両１０と対象物との距離ｚを算出する。具体的には、まず、画像処理ユニット１は、レーダ２０から検知結果を取得する。次に、画像処理ユニット１は、レーダ２０による検知結果と、ＳＴＥＰ７で抽出された対象物とを対応付け、自車両１０と対象物との距離ｚを算出する。そして、この算出された距離ｚを用いて、画像処理ユニット１は、第１実施形態と同様に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１５）。また、この距離ｚが、図４の回避判定処理のＳＴＥＰ１０３の人工構造物判定処理において、第１対象物及び第２対象物の距離として用いられる。さらに、人工構造物判定処理において、レーダ２０による検知結果を用いて、監視領域の距離が算出される。以上説明した以外の作動は第１実施形態と同じである。
【０１１３】
以上の処理により、本実施形態によれば、第１実施形態と同様に、車両周辺を撮像した画像により抽出された対象物から、該対象物が歩行者以外の人工構造物であるか否かを適切に判断することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。
【０１１４】
なお、本実施形態では、レーダ２０を用いて、赤外線カメラ２により撮像された画像から抽出された第１対象物、第２対象物、及び監視領域の自車両１０に対する距離を算出したが、他の実施形態として、例えば、１つの赤外線カメラ２により撮像された画像のみを用いて、第１対象物、第２対象物、及び監視領域の自車両１０に対する距離を算出するものとしてもよい。この場合、例えば、異なる時刻に撮像された複数の画像における、所定の対象物の大きさの変化量と、時刻と車速から算出される自車両１０の走行距離とに基づいて、該対象物の距離を算出することができる。
【０１１５】
また、第１及び第２実施形態において、輝度変化量算出手段１６は、輝度変化量として、輝度ヒストグラムの平均値（平均輝度値）の変化量を用いたが、他の実施形態として、輝度ヒストグラムの形状やピーク輝度値や分散値（輝度値バラツキ幅）の変化量を用いてもよい。
【０１１６】
また、第１及び第２実施形態において、第２対象物を抽出する際に、第１対象物及び第２対象物の画像上における高さの差及び形状の類似の度合を用いたが、他の実施形態として、第１対象物及び第２対象物の実空間上における高さの差及び形状の類似の度合を用いてもよい。
【０１１７】
また、第１及び第２実施形態において、距離算出手段１４を備え、第２対象物を抽出する際に、第１対象物及び第２対象物の実空間上における距離の差を用いたが、他の実施形態として、距離算出手段１４を備えず、第１対象物及び第２対象物の画像上における高さの差及び形状の類似の度合のみを用いてもよい。
【０１１８】
また、第１及び第２実施形態において、距離算出手段１４を備え、人工構造物判断手段１７は、第１対象物又は第２対象物の距離と、監視領域の距離との差を用いて、第１対象物及び第２対象物が人工構造物であるか否かを判断したが、距離算出手段１４を備えず、輝度変化量のみを用いて判断するようにしてもよい。
【０１１９】
また、第１及び第２実施形態において、画像処理ユニット１は、ＳＴＥＰ１８で回避対象であると判定された対象物について、自車両１０の運転者に注意喚起を行うものとしたが、他の実施形態として、例えば、自車両１０が、車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能（ひいては自車両１０の走行挙動を操作可能）なものである場合には、ＳＴＥＰ１８で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように自車両１０のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。また、上記のような自車両１０のステアリング装置等の制御と、表示装置７もしくはスピーカ６による注意喚起とは、並行して行うようにしてもよい。
【０１２０】
また、第１及び第２実施形態において、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なＣＣＤカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。
【図面の簡単な説明】
【０１２１】
【図１】本発明の第１実施形態による車両周辺監視装置の機能ブロック図。
【図２】図１に示した車両周辺監視装置の車両への取り付け態様の説明図。
【図３】図１の車両周辺監視装置の画像処理ユニットにおける対象物検出・注意喚起動作を示すフローチャート。
【図４】図３の対象物検出・注意喚起動作における回避判定処理のフローチャート。
【図５】図４の回避判定処理における車両前方の領域区分を示す説明図。
【図６】図３の対象物検出・注意喚起動作における撮像画像の例示図。
【図７】図３の対象物検出・注意喚起動作における対象物抽出処理の処理画像の例示図。
【図８】図４の回避判定処理の人工構造物判定処理における距離算出処理の説明図。
【図９】図４の回避判定処理の人工構造物判定処理における監視領域設定処理の説明図。
【図１０】図４の回避判定処理の人工構造物判定処理における輝度ヒストグラムを示すグラフ。
【図１１】図４の回避判定処理の人工構造物判定処理における監視領域の距離算出処理の例示図。
【図１２】図４の回避判定処理の車両除外処理における監視領域の距離算出処理の他の例示図。
【図１３】本発明の第２実施形態による車両周辺監視装置の機能ブロック図。
【符号の説明】
【０１２２】
２，２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、１０…車両、１１…第１対象物抽出手段、１２…第２対象物抽出手段、１３…距離算出手段、１４…監視領域設定手段、１５…輝度変化量算出手段、１６…人工構造物判断手段、２０…レーダ。
【特許請求の範囲】
【請求項１】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視装置において、
前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出手段と、
前記第１対象物抽出手段により抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出手段と、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定手段と、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出手段と、
少なくとも前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断手段と
を備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記第１対象物及び前記第２対象物の、実空間上における前記車両に対する距離を算出する距離算出手段を備え、
前記第２対象物抽出手段は、前記第２対象物のうちの、前記第１対象物との実空間上の距離の差が所定値以下である第２対象物を抽出することを特徴とする車両周辺監視装置。
【請求項３】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視装置において、
前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出手段と、
前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出手段を用いて該第１対象物の実空間上の位置を検出する第１対象物抽出手段と、
前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出手段を用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出手段と、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定手段と、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出手段と、
少なくとも前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断手段と
を備えることを特徴とする車両周辺監視装置。
【請求項４】
請求項３記載の車両周辺監視装置において、
前記第２対象物抽出手段は、前記第２対象物のうちの、前記第１対象物との実空間上の距離の差が所定値以下である第２対象物を抽出することを特徴とする車両周辺監視装置。
【請求項５】
請求項２〜４のうちいずれか記載の車両周辺監視装置において、
前記距離算出手段は、前記監視領域の実空間上における前記車両に対する距離をさらに算出し、
前記人工構造物判断手段は、前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合において、前記距離算出手段によって算出された第１対象物の距離又は第２対象物の距離と前記監視領域の距離との差が、所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断することを特徴とする車両周辺監視装置。
【請求項６】
請求項２〜５のうちいずれか記載の車両周辺監視装置において、
前記距離算出手段は、２つの撮像手段により撮像された画像を用いた相関演算を行い、該相関演算の結果算出される視差を用いて前記距離を算出することを特徴とする車両周辺監視装置。
【請求項７】
請求項２〜５のうちいずれか記載の車両周辺監視装置において、
前記距離算出手段は、前記車両に搭載されたレーダを用いて前記距離を算出することを特徴とする車両周辺監視装置。
【請求項８】
請求項１〜７のいずれか記載の車両周辺監視装置において、
前記監視領域設定手段は、前記第１対象物と第２対象物との距離に応じて、前記監視領域の大きさが所定値となるように、該監視領域を設定することを特徴とする車両周辺監視装置。
【請求項９】
請求項１〜８のいずれか記載の車両周辺監視装置において、
前記輝度変化量算出手段は、前記時系列の各画像の前記監視領域における、該各画像の各画素の有する輝度値のヒストグラムから前記輝度変化量を算出することを特徴とする車両周辺監視装置。
【請求項１０】
請求項９記載の車両周辺監視装置において、
前記輝度変化量算出手段は、前記時系列の各画像の前記ヒストグラムから平均値を算出し、該平均値の該時系列での変化量を、前記輝度変化量として用いることを特徴とする車両周辺監視装置。
【請求項１１】
請求項１〜１０記載の車両周辺監視装置において、
前記撮像手段は、赤外線カメラであることを特徴とする車両周辺監視装置。
【請求項１２】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視方法であって、
前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出ステップと、
前記第１対象物抽出ステップにより抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出ステップと、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定ステップと、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出ステップと、
少なくとも前記輝度変化量算出ステップにより算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断ステップと
を備えたことを特徴とする車両周辺監視方法。
【請求項１３】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視方法であって、
前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出ステップと、
前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出ステップを用いて該第１対象物の実空間上の位置を検出する第１対象物抽出ステップと、
前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出ステップを用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出ステップと、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定ステップと、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定ステップにより設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出ステップと、
少なくとも前記輝度変化量算出ステップにより算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断ステップと
を備えたことを特徴とする車両周辺監視方法。
【請求項１４】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する処理をコンピュータに実行させる車両周辺監視用プログラムであって、
前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出処理と、
前記第１対象物抽出処理により抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出処理と、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定処理と、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定処理により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出処理と、
少なくとも前記輝度変化量算出処理により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断処理と
を前記コンピュータに実行させる機能を有することを特徴とする車両周辺監視用プログラム。
【請求項１５】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する処理をコンピュータに実行させる車両周辺監視用プログラムであって、
前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出処理と、
前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出処理を用いて該第１対象物の実空間上の位置を検出する第１対象物抽出処理と、
前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出処理を用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出処理と、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定処理と、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定処理により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出処理と、
少なくとも前記輝度変化量算出処理により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断処理と
を前記コンピュータに実行させる機能を有することを特徴とする車両周辺監視用プログラム。
【請求項１】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視装置において、
前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出手段と、
前記第１対象物抽出手段により抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出手段と、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定手段と、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出手段と、
少なくとも前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断手段と
を備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記第１対象物及び前記第２対象物の、実空間上における前記車両に対する距離を算出する距離算出手段を備え、
前記第２対象物抽出手段は、前記第２対象物のうちの、前記第１対象物との実空間上の距離の差が所定値以下である第２対象物を抽出することを特徴とする車両周辺監視装置。
【請求項３】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視装置において、
前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出手段と、
前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出手段を用いて該第１対象物の実空間上の位置を検出する第１対象物抽出手段と、
前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出手段を用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出手段と、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定手段と、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出手段と、
少なくとも前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断手段と
を備えることを特徴とする車両周辺監視装置。
【請求項４】
請求項３記載の車両周辺監視装置において、
前記第２対象物抽出手段は、前記第２対象物のうちの、前記第１対象物との実空間上の距離の差が所定値以下である第２対象物を抽出することを特徴とする車両周辺監視装置。
【請求項５】
請求項２〜４のうちいずれか記載の車両周辺監視装置において、
前記距離算出手段は、前記監視領域の実空間上における前記車両に対する距離をさらに算出し、
前記人工構造物判断手段は、前記輝度変化量算出手段により算出された輝度変化量が所定値以下である場合において、前記距離算出手段によって算出された第１対象物の距離又は第２対象物の距離と前記監視領域の距離との差が、所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断することを特徴とする車両周辺監視装置。
【請求項６】
請求項２〜５のうちいずれか記載の車両周辺監視装置において、
前記距離算出手段は、２つの撮像手段により撮像された画像を用いた相関演算を行い、該相関演算の結果算出される視差を用いて前記距離を算出することを特徴とする車両周辺監視装置。
【請求項７】
請求項２〜５のうちいずれか記載の車両周辺監視装置において、
前記距離算出手段は、前記車両に搭載されたレーダを用いて前記距離を算出することを特徴とする車両周辺監視装置。
【請求項８】
請求項１〜７のいずれか記載の車両周辺監視装置において、
前記監視領域設定手段は、前記第１対象物と第２対象物との距離に応じて、前記監視領域の大きさが所定値となるように、該監視領域を設定することを特徴とする車両周辺監視装置。
【請求項９】
請求項１〜８のいずれか記載の車両周辺監視装置において、
前記輝度変化量算出手段は、前記時系列の各画像の前記監視領域における、該各画像の各画素の有する輝度値のヒストグラムから前記輝度変化量を算出することを特徴とする車両周辺監視装置。
【請求項１０】
請求項９記載の車両周辺監視装置において、
前記輝度変化量算出手段は、前記時系列の各画像の前記ヒストグラムから平均値を算出し、該平均値の該時系列での変化量を、前記輝度変化量として用いることを特徴とする車両周辺監視装置。
【請求項１１】
請求項１〜１０記載の車両周辺監視装置において、
前記撮像手段は、赤外線カメラであることを特徴とする車両周辺監視装置。
【請求項１２】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視方法であって、
前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出ステップと、
前記第１対象物抽出ステップにより抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出ステップと、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定ステップと、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定手段により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出ステップと、
少なくとも前記輝度変化量算出ステップにより算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断ステップと
を備えたことを特徴とする車両周辺監視方法。
【請求項１３】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する車両周辺監視方法であって、
前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出ステップと、
前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出ステップを用いて該第１対象物の実空間上の位置を検出する第１対象物抽出ステップと、
前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出ステップを用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出ステップと、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定ステップと、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定ステップにより設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出ステップと、
少なくとも前記輝度変化量算出ステップにより算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断ステップと
を備えたことを特徴とする車両周辺監視方法。
【請求項１４】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する処理をコンピュータに実行させる車両周辺監視用プログラムであって、
前記撮像手段により撮像された画像から、第１対象物を抽出する第１対象物抽出処理と、
前記第１対象物抽出処理により抽出された第１対象物と、該第１対象物との前記画像上での高さの差が所定値以下で、且つ該第１対象物との該画像上での形状に関する類似の度合が所定値以上である第２対象物を、前記撮像手段により撮像された画像から抽出する第２対象物抽出処理と、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定処理と、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定処理により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出処理と、
少なくとも前記輝度変化量算出処理により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断処理と
を前記コンピュータに実行させる機能を有することを特徴とする車両周辺監視用プログラム。
【請求項１５】
車両に搭載された少なくとも１つの撮像手段により撮像された画像から、該車両の周辺を監視する処理をコンピュータに実行させる車両周辺監視用プログラムであって、
前記車両の周辺に存在する対象物の前記車両に対する距離を算出する距離算出処理と、
前記撮像手段により撮像された画像から第１対象物を抽出すると共に、前記距離算出処理を用いて該第１対象物の実空間上の位置を検出する第１対象物抽出処理と、
前記撮像手段により撮像された画像から第２対象物の候補を抽出すると共に、前記距離算出処理を用いて該第２対象物の候補の実空間上の位置を検出し、該第２対象物の候補のうちの該第１対象物との実空間上の高さの差が所定値以下で、且つ該第１対象物との該実空間上の形状に関する類似の度合が所定値以上である第２対象物を抽出する第２対象物抽出処理と、
前記第１対象物と前記第２対象物との間の領域を監視領域として設定する監視領域設定処理と、
前記撮像手段により撮像された時系列の画像から、前記監視領域設定処理により設定された監視領域における時系列の輝度変化量を算出する輝度変化量算出処理と、
少なくとも前記輝度変化量算出処理により算出された輝度変化量が所定値以下である場合に、前記第１対象物及び第２対象物が人工構造物であると判断する人工構造物判断処理と
を前記コンピュータに実行させる機能を有することを特徴とする車両周辺監視用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−２３６０２９（Ｐ２００８−２３６０２９Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−６９０５９（Ｐ２００７−６９０５９）
【出願日】平成１９年３月１６日（２００７．３．１６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年３月１６日（２００７．３．１６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]