車両周辺監視装置
【課題】車両周辺の画像から該車両との接触を回避すべき対象となる歩行者等の対象物を迅速に判定して、運転者への情報提示や車両挙動の制御を行うことができる車両周辺監視装置を提供する。
【解決手段】撮像手段２Ｒ，２Ｌを介して取得した画像から、車両１０の周辺に存在する対象物を抽出する対象物抽出手段１１と、抽出された対象物のうちから歩行者を抽出する歩行者抽出手段１２と、抽出された歩行者の姿勢を判別する姿勢判別手段１３と、少なくとも姿勢判別手段１３により判別された歩行者の姿勢に関する第１判定処理を含む判定アルゴリズムを実行することにより、抽出された対象物が車両１０との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段１４と、少なくとも回避対象判定手段１４の判定結果に応じて、車両１０の機器を制御する車両機器制御手段１５とを備える。
【解決手段】撮像手段２Ｒ，２Ｌを介して取得した画像から、車両１０の周辺に存在する対象物を抽出する対象物抽出手段１１と、抽出された対象物のうちから歩行者を抽出する歩行者抽出手段１２と、抽出された歩行者の姿勢を判別する姿勢判別手段１３と、少なくとも姿勢判別手段１３により判別された歩行者の姿勢に関する第１判定処理を含む判定アルゴリズムを実行することにより、抽出された対象物が車両１０との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段１４と、少なくとも回避対象判定手段１４の判定結果に応じて、車両１０の機器を制御する車両機器制御手段１５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラ等の撮像手段を介して取得した画像から、車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
近年、車両にＣＣＤカメラ等の撮像手段を搭載して周辺を撮像し、撮像された画像から車両の周辺に存在する歩行者等の対象物の位置を検出して衝突の可能性の高い歩行者等の対象物を判定し、運転者への情報の提示等を行う技術が知られている（例えば特許文献１参照）。
【０００３】
特許文献１の車両の周辺監視装置においては、２つの赤外線カメラで構成されたステレオカメラが車両に搭載され、２つの赤外線カメラから得られる画像のずれ（視差）に基づいて、車両の周辺に存在する対象物の該車両に対する相対位置が位置データとして検出される。そして、対象物についての位置の時系列データに基づいて該対象物の該車両に対する移動ベクトルが算出され、対象物の位置データと移動ベクトルとに基づいて該車両と衝突する可能性の高い対象物が判定される。
【０００４】
このとき、前記車両の周辺監視装置では、車両前方の所定距離（対象物の車両に対する相対速度に応じて定まる領域）内である警報判定領域のうち、車両の走行する車道部分に相当する接近判定領域ＡＲ１と、接近判定領域ＡＲ１の横方向外側の領域である進入判定領域ＡＲ２，ＡＲ３とが設定される。そして、接近判定領域ＡＲ１に対象物が存在する場合には、該対象物は車道上の歩行者等であり、車両と衝突の可能性が高いと判定される。さらに、進入判定領域ＡＲ２，ＡＲ３に対象物が存在する場合には、該対象物は路側の歩行者等であり、該対象物の移動ベクトルに基づいて進入衝突判定が行われ、該対象物と車両との衝突の可能性が判定される。これにより、路側を通常に歩行している歩行者については衝突の可能性が低いと判定され、路側から道路を横断しようと移動する歩行者については衝突の可能性が高いと判定されて、運転者への適切な情報提示が行われる。
【０００５】
一方、例えば、路側の歩行者が急に車道へ飛び出すことがある。このような場合には、可能な限り迅速に運転者への情報提示や車両挙動の制御が行われることが望ましい。しかしながら、特許文献１の車両の周辺監視装置では、複数の時系列の位置データから算出した移動ベクトルに基づいて、進入判定領域に存在する対象物の衝突の可能性が判定されため、衝突の可能性が高いと判定されるまでに時間を要する。よって、路側の歩行者が急に車道へ飛び出すような場合に、運転者への情報提示や車両挙動の制御を迅速に行うことができないという不都合があった。
【特許文献１】特開２００１−６０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、かかる不都合を解消し、車両周辺の画像から該車両との接触を回避すべき対象となる歩行者を迅速に判定して、運転者への情報提示や車両挙動の制御を行うことができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
かかる目的を達成するために、本発明の車両周辺監視装置は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺を監視する車両周辺監視装置において、前記撮像手段を介して取得した画像から、前記車両の周辺に存在する対象物を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された対象物のうちから歩行者を抽出する歩行者抽出手段と、前記歩行者抽出手段により抽出された歩行者の姿勢を判別する姿勢判別手段と、少なくとも前記姿勢判別手段により判別された歩行者の姿勢に関する第１判定処理を含む判定アルゴリズムを実行することにより、前記対象物抽出手段により抽出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、少なくとも前記回避対象判定手段の判定結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする（第１発明）。
【０００８】
前記本発明の車両周辺監視装置において、前記対象物抽出手段により、前記撮像手段を介して取得した画像から前記車両の周辺に存在する対象物が抽出され、前記歩行者抽出手段により、該対象物のうちの歩行者が抽出される。ここで、例えば、路側の歩行者が急に車道へ飛び出すような場合には、運転者への警報等の情報提示や車両挙動の制御等が、可能な限り迅速に行われる必要がある。このため、歩行者の道路の横断を事前に迅速に予測することが望まれる。このとき、一般に、道路を横断しようとする歩行者とそれ以外の歩行者とでは、路側に存在する時点で、体の向きや傾き等に関する姿勢が相違すると考えられる。例えば、歩行者が移動を開始するときや車道に飛び出してくるようなときには、その体幹軸は進行方向に対して傾いており、これに対して、歩行者が停止しているときや道路に沿って移動を継続しているときには、その体幹軸の傾きは十分に小さい。
【０００９】
そこで、前記姿勢判定手段は、前記撮像手段を介して取得した画像から、前記歩行者の姿勢を判別する。このように判別された歩行者の姿勢により、例えば道路の横断等の歩行者の挙動を事前に迅速に予測することができる。そして、前記回避対象判定手段の実行する判定アルゴリズムは、前記歩行者の姿勢に関する第１判定処理を含むので、該回避対象判定手段は、対象物が車両との接触を回避すべき回避対象であるか否かを判定する際に、迅速に判定結果を決定することが可能となる。よって、前記車両機器制御手段により、前記回避対象判定手段の判定結果に応じて前記車両の機器を制御することで、前記回避対象に対応して該車両の機器の制御を迅速に行うことができる。
【００１０】
具体的には、前記本発明の車両周辺監視装置において、前記車両機器制御手段の制御する機器は、前記車両の運転者に警報を発することが可能な機器を含むことが好ましい（第２発明）。
【００１１】
これによれば、前記回避対象判定手段により、前記対象物が回避対象であるか否かが迅速に判定可能なので、前記車両機器制御手段により、該回避対象に対応して、運転者への警報を迅速に発することができる。
【００１２】
または、前記本発明の車両周辺監視装置において、前記車両機器制御手段の制御する機器は、前記車両の走行挙動を操作可能な機器を含むことが好ましい（第３発明）。
【００１３】
これによれば、前記回避対象判定手段により、前記対象物が回避対象であるか否かが迅速に判定可能なので、前記車両機器制御手段により、該回避対象に対応して、車両の走行挙動を迅速に操作することができる。
【００１４】
さらに、前記第１〜第３発明の車両周辺監視装置において、前記対象物抽出手段により抽出された対象物の、前記車両に対する相対位置を逐次検出する相対位置検出手段と、前記姿勢判別手段の判別処理の実行周期よりも長い時間間隔において、前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づいて、該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段とを備える場合には、前記回避対象判定手段の実行する判定アルゴリズムは、前記第１判定処理と共に、前記移動方向特徴量算出手段により算出された前記対象物の移動方向特徴量に関する第２判定処理を含み、該第１判定処理は、前記歩行者の姿勢が所定の第１要件を満たすか否かを判定する処理であり、該第２判定処理は、該対象物の移動方向特徴量が所定の第２要件を満たすか否かを判定する処理であり、前記回避対象判定手段は、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第２要件を満たす場合と、該第２判定処理の判定結果が該第２要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第１要件を満たす場合とに、前記対象物が回避対象であると判定することが好ましい（第４発明）。
【００１５】
これによれば、前記回避対象判定手段が実行する判定アルゴリズムは、前記移動方向特徴量に関する第２判定処理を含むので、信頼性の高い判定結果を決定することが可能となる。ただし、前記移動方向特徴量の算出は、前記姿勢判別手段の判別処理の実行周期よりも長い時間間隔で行われるので、回避対象判定手段の判定結果の決定に時間を要する。一方、前記回避対象判定手段の実行する判定アルゴリズムは、前記歩行者の姿勢に関する第１判定処理も含むので、迅速に判定結果を決定することが可能である。そこで、前記回避対象判定手段は、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第２要件を満たす場合と、該第２判定処理の判定結果が該第２要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第１要件を満たす場合とに、前記対象物が回避対象であると判定する。
【００１６】
これにより、前記回避対象判定手段は、移動方向特徴量に基づく信頼性の高い判定結果が得られた場合には、該判定結果に基づいて対象物が回避対象であるか否かを判定すると共に、例えば移動方向特徴量を算出するための十分な時間がない場合でも、歩行者の姿勢に基づく迅速な判定結果に基づいて、対象物が回避対象であるか否かを判定することが可能である。よって、対象物が車両との接触を回避すべき回避対象であるか否かをより確実に判定することができる。
【００１７】
なお、前記第１要件は、例えば、対象物の移動する方向が自車両に向かってくる方向であるというような要件である。また、前記第２要件は、例えば、対象物が歩行者であり、且つ、該歩行者の姿勢が、自車両の走行する車線の中心側への前傾姿勢であるというような要件である。
【００１８】
さらに、前記第４発明の車両周辺監視装置において、前記車両機器制御手段は、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第１要件を満たす場合と、該第２判定処理の判定結果が該第１要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第２要件を満たす場合とで、前記車両の機器を互いに異なる形態で制御することが好ましい（第５発明）。
【００１９】
すなわち、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第１要件を満たす場合と、該第２判定処理の判定結果が該第１要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第２要件を満たす場合とでは、前記回避対象判定手段による最終的な判定結果の信頼性や回避の緊急性等が異なる。よって、前記車両機器制御手段により、各場合毎に前記車両の機器を互いに異なる形態で制御することで、運転者への情報提示や車両挙動の制御をより適切に行うことができる。
【００２０】
例えば、前記車両機器制御手段の制御する機器が、前記車両の運転者に警報を発することが可能な機器である場合には、該車両機器制御手段は、各場合毎に異なる警報の仕方で、運転者に警報を発すればよい。
【００２１】
また、前記第１〜第５発明の車両周辺監視装置において、前記姿勢判別手段は、前記画像上での前記歩行者の、前記車両の左右方向における対称性を、該歩行者の姿勢を表す特徴量とし、その対称性の度合を判別する手段であることが好ましい（第６発明）。
【００２２】
すなわち、一般に、道路を横断しようとする歩行者の姿勢は、車両の走行する車線の中心側への前傾姿勢となる。このとき、車両に搭載された撮像手段を介して取得された画像上において、前記歩行者の頭部を中心として、該歩行者に相当する領域のうちの車線の中心側に近い部分と反対側の部分とでは、対称性の度合が低くなると考えられる。すなわち、前記画像上での前記歩行者の、前記車両の左右方向における対称性は、該歩行者が道路を横断しようとする姿勢であるか否か（前傾姿勢であるか否か）に密接に関わる特徴量である。よって、前記対称性の度合を用いることで、例えば歩行者の姿勢が車両の走行する車線の中心側への前傾姿勢であるか否か等が判るので、道路の横断等の歩行者の挙動が迅速に予測される。従って、前記回避対象判定手段により、前記第１判定処理において、前記姿勢判別手段により判別された前記対称性の度合に基づいて、該歩行者が回避すべき対象であるか否かを判定することで、道路の横断等の歩行者の挙動を迅速に予測して、該歩行者が車両との接触を回避すべき対象であるか否かを迅速に判定することができる。
【００２３】
または、前記第１〜第５発明の車両周辺監視装置において、前記姿勢判別手段は、前記歩行者の体幹軸の傾きを、該歩行者の姿勢を表す特徴量とし、その傾きの度合を判別する手段であることが好ましい（第７発明）。
【００２４】
すなわち、前記歩行者の体幹軸の傾き（体幹軸の方向や角度）は、該歩行者の体幹軸の傾きに関する姿勢を表す特徴量であり、その傾きの度合から、例えば歩行者の姿勢が車両の走行する車線の中心側への前傾姿勢であるか否か等が判る。このとき、一般に、道路を横断しようとする歩行者の姿勢は、車両の走行する車線の中心側への前傾姿勢（その体幹軸を車両の走行する車線の中心側へ前傾させた姿勢）となるので、前記体幹軸の傾きの度合から、道路の横断等の歩行者の挙動が迅速に予測される。従って、前記回避対象判定手段により、前記第１判定処理において、前記姿勢判別手段により判別された前記体幹軸の傾きの度合に基づいて、該歩行者が回避対象であるか否かを判定することで、道路の横断等の歩行者の挙動を迅速に予測して、該歩行者が車両との接触を回避すべき対象であるか否かを迅速に判定することができる。
【発明を実施するための最良の形態】
【００２５】
本発明の一実施形態を添付の図面を参照して説明する。図１は、本実施形態による車両周辺監視装置の機能ブロック図であり、図２は、図１に示した車両周辺監視装置の車両への取り付け態様の説明図であり、図３は、図１の車両周辺監視装置における対象物検出・警報動作を示すフローチャートである。また、図４は、図３の対象物検出・警報動作における処理画像の例示図である。
【００２６】
図１，２を参照して、本実施形態の車両周辺監視装置は、ＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。画像処理ユニット１には、自車両１０に搭載された、２つの赤外線カメラ２Ｒ，２Ｌと、自車両１０のヨーレートを検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を検出する車速センサ４と、自車両１０のブレーキの操作を検出するためのブレーキセンサ５とが接続されている。
【００２７】
また、画像処理ユニット１には、車両周辺監視装置に備えられた、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌを介して取得される画像を表示し、衝突の可能性が高い対象物を運転者に認識させるための表示装置７とが接続されている。表示装置７は、例えば、自車両１０のフロントウィンドウに画像等の情報を表示するＨＵＤ（ヘッドアップディスプレイ）７ａ等を備えている。ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。
【００２８】
赤外線カメラ２Ｒ，２Ｌは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の撮像手段に相当する。
【００２９】
図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前部の右側及び左側に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されている。赤外線カメラ２Ｒ，２Ｌは、２つの２つの赤外線カメラ２Ｒ，２Ｌの光軸が互いに平行であって、且つ、両者の路面からの高さが等しくなるように自車両１０に固定されている。
【００３０】
画像処理ユニット１は、詳細の図示は省略するが、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４及びブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル信号に変換されて入力される。そして、画像処理ユニット１は、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ６や表示装置７を介して運転者に警報を発する処理等を実行する。
【００３１】
より詳しくは、画像処理ユニット１は、その機能として、取得された画像から自車両１０の周辺に存在する対象物を抽出する対象物抽出手段１１と、抽出された対象物のうちから歩行者を抽出する歩行者抽出手段１２と、抽出された歩行者の姿勢を判別する姿勢判別手段１３と、対象物が自車両１０との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段１４と、回避対象判定手段１４の判定結果に応じて自車両１０の機器を制御する車両機器制御手段１５とを備えている。また、画像処理ユニット１は、その機能として、対象物の自車両１０に対する相対位置を逐次検出する相対位置検出手段１６と、対象物の移動方向特徴量を算出する移動方向特徴量算出手段１７とを備える。
【００３２】
対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像から、自車両１０の周辺に存在する対象物を抽出する。具体的には、対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの所定の基準画像（本実施形態では、赤外線カメラ２Ｒを介して取得された画像とする）に２値化処理を施して、基準画像内の画素の輝度値が所定閾値以上である２値化領域が抽出する。さらに、対象物抽出手段１１は、２値化領域からランレングスデータを作成し、ランレングスデータに基づいてラベリング処理等により対象物を抽出する。
【００３３】
相対位置検出手段１６は、基準画像上で対象物抽出手段１１により抽出された対象物に対応する対象物を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での対象物のずれ（視差）に基づいて、対象物の自車両１０に対する距離を検出し、実空間座標に変換して、対象物の車両１０に対する相対位置を検出する。なお、画像に基づいて対象物の相対位置を検出する具体的な手法としては、例えば、上述の特許文献１に記載したような手法を用いることができる。
【００３４】
移動方向特徴量算出手段１７は、相対位置検出手段１６により検出された対象物の相対位置の時系列に基づいて、対象物の自車両１０に対する移動方向を表す移動方向特徴量を算出する。具体的には、移動方向特徴量算出手段１７は、移動方向特徴量として、対象物の自車両１０に対する相対位置の時系列データから、対象物の自車両１０に対する移動ベクトルを算出する。なお、移動ベクトルの算出には、所定期間分の時系列データを要する。
【００３５】
歩行者抽出手段１２は、対象物抽出手段１１により抽出された対象物のうちから歩行者を抽出する。歩行者を抽出する手法としては、例えば、対象物の縦横比や、対象物の面積と該対象物の外接四角形の面積との比等の、対象物の形状を示す特徴や、対象物の大きさ、グレースケール画像上での輝度分散等の特徴に基づいて、対象物が歩行者であるか否かを判定する手法が用いられる。
【００３６】
姿勢判別手段１３は、歩行者抽出手段１２により抽出された歩行者の体幹軸の傾きを、該歩行者の姿勢を表す特徴量とし、その傾きの度合を判別する。なお、歩行者の体幹軸を算出する手法としては、例えば、まず、取得された画像内の画素の輝度値が所定閾値以上である２値化領域からランレングスデータを作成する。そして、作成されたランレングスデータの各ラインの中点の画素の座標で構成される点列データを算出し、点列データを近似する近似直線を歩行者の体幹軸とする手法を用いる。なお、姿勢判別手段１３による判別処理は、逐次（演算処理周期毎に）実行される。
【００３７】
回避対象判定手段１４は、対象物抽出手段１１により抽出された対象物が自車両１０との接触を回避すべき回避対象であるか否かを判定する。このとき、回避対象判定手段１４の実行する判定アルゴリズムには、姿勢判別手段１３により判別された歩行者の姿勢に関する第１判定処理と、移動方向特徴量算出手段１７により算出された対象物の移動方向特徴量に関する第２判定処理とが含まれる。
【００３８】
車両機器制御手段１５は、回避対象判定手段１４により回避対象であると判定された対象物について、自車両１０の運転者に警報を発する。具体的には、車両機器制御手段１５は、スピーカ６を介して音声案内を出力したり、表示装置７に対して例えば赤外線カメラ２Ｒにより得られる画像を出力し、その画像上で回避対象である歩行者等の対象物を強調して自車両１０の運転者に表示する。なお、スピーカ６、表示装置７が、本発明による車両機器制御手段の制御する機器に相当する。
【００３９】
次に、本実施形態の車両周辺監視装置の全体的な作動（対象物検出・警報動作）を、図３に示したフローチャートに従って説明する。図３を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ００１〜ＳＴＥＰ０２０の処理を繰り返して、対象物検出・警報動作を実行する。まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得して（ＳＴＥＰ００１）、Ａ／Ｄ変換し（ＳＴＥＰ００２）、グレースケール画像を画像メモリに格納する（ＳＴＥＰ００３）。なお、赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。右画像と左画像とでは、同一の対象物の画像上での横方向（ｘ方向）の位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００４０】
次に、画像処理ユニット１は、グレースケール画像のうちの基準画像（本実施形態では赤外線カメラ２Ｒにより得られた画像とする）に対して、その画像信号を２値化する（ＳＴＥＰ００４）。すなわち、基準画像の画像信号の輝度値が閾値Ｉthより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理が行われる。閾値Ｉthは、実験的に予め決定される値である。
【００４１】
図４（ａ）に、赤外線カメラ２Ｒによって得られる画像を２値化した画像を例示する。図４（ａ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。太い実線で囲まれた領域は、赤外線カメラ２から得られる画像において、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域である。なお、図４（ａ）に示した例は、自車両１０の前方の左側に歩行者が存在し、自車両１０の前方に他車両が存在しており、歩行者が道路を横断しようとしている例である。
【００４２】
次に、画像処理ユニット１は、２値化処理で「白」となった領域（２値化領域）からランレングスデータを作成する（ＳＴＥＰ００５）。作成されるランレングスデータは、２値化領域を画像の横方向の１次元の連結画素であるラインの集合で表し、該２値化領域を構成する各ランをその始点の座標と、始点から終点までの長さ（画素数）とで示したものである。
【００４３】
次に、画像処理ユニット１は、作成されたランレングスデータに基づいて、対象物のラベリングをする（ＳＴＥＰ００６）ことにより、対象物を抽出する（ＳＴＥＰ００７）。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向（ｙ方向）に重なる部分のあるランを１つの対象物とみなしてラベル（識別子）を付すことにより、画像内の連結した領域を対象物として抽出する。
【００４４】
上述のＳＴＥＰ００５〜００７の処理により、図４（ａ）に示す２値化領域が、図４（ｂ）に例示するように、対象物（２値化対象物）Ｔ１〜Ｔ６として抽出される。このとき、例えばラベルＴ１の対象物は、ｎ個のランレングスデータＬ１〜Ｌｎで示される。なお、抽出される対象物（２値化対象物）には、道路周辺の歩行者以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。図４（ｂ）の例では、対象物Ｔ１は、自車両１０の前方の左側に存在する歩行者に対応する２値化対象物であり、対象物Ｔ２〜Ｔ６は、自車両１０の前方に存在する他車両に対応する２値化対象物である。
【００４５】
次に、画像処理ユニット１は、抽出された対象物の面積Ｓ、重心Ｇ、対象物の外接四角形の縦横比ＡＳＰＥＣＴを算出する（ＳＴＥＰ００８）。具体的には、対象物Ｔ１の面積Ｓは、各ランレングスデータＬｉ（ｉ＝１，．．．，ｎ）で示されるラインの長さを、対象物Ｔ１のｎ個のランレングスデータについて積算することにより算出する。また、対象物Ｔ１の重心Ｇの座標は、各ランレングスデータＬｉで示されるラインの長さと、各ランレングスデータＬｉのラインの中点の座標（ｘ［ｉ］，ｙ［ｉ］）とをそれぞれ掛け合わせ、更にこれを対象物Ｔ１のｎ個のランレングスデータについて積算したものを、面積Ｓで割ることにより算出する。また、対象物Ｔ１の縦横比ＡＳＰＥＣＴは、対象物Ｔ１の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
【００４６】
次に、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算周期毎の同一対象物の認識を行う（ＳＴＥＰ００９）。時刻間追跡処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ００７の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ００７の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの重心Ｇ、面積Ｓ、縦横比ＡＳＰＥＣＴ等に基づいて行われる。そして、それらの対象物Ａ，Ｂが互いに同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベルが対象物Ａのラベルと同じラベルに変更される。なお、この時刻間追跡処理は、２値化した基準画像について実行される。
【００４７】
次に、画像処理ユニット１は、車速センサ４により検出される車速ＶＣＡＲと、ヨーレートセンサ３により検出されるヨーレートＹＲとを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ＳＴＥＰ０１０）。
【００４８】
一方、ＳＴＥＰ００９，０１０の処理に平行して、ＳＴＥＰ０１１〜０１４では、対象物と自車両１０との距離ｚ（自車両１０の前後方向の距離）を算出する処理が行われる。この演算はＳＴＥＰ００９，０１０より長い時間を要するため、ＳＴＥＰ００９，０１０より長い周期（例えばＳＴＥＰ００１〜０１０の実行周期の３倍程度の周期）で実行される。
【００４９】
まず、画像処理ユニット１は、基準画像の２値化画像によって追跡される対象物の中の１つを選択してすることにより、基準画像から探索画像Ｒ１（対象物を囲む外接四角形の領域全体を探索画像とする）を抽出する（ＳＴＥＰ０１１）。
【００５０】
次に、画像処理ユニット１は、参照画像（赤外線カメラ２Ｒ，２Ｌから得られた右画像及び左画像のうちの基準画像でない画像）中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ＳＴＥＰ０１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、参照画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内に、座標（ｘ0，ｙ0）を基点（領域の左上の頂点）とした探索画像Ｒ１と同一形状の局所領域Ｒ３を設定する。そして、基点の座標（ｘ0，ｙ0）を変化させて、探索領域Ｒ２内で局所領域Ｒ３を移動させながら、局所領域Ｒ３と探索画像Ｒ１との相関の度合を示す輝度値の絶対差分和（SAD，Sum of Absolute Difference）Ｃ（ｘ0，ｙ0）を下記式（１）により算出する。
【００５１】
【数１】
ここで、絶対差分和Ｃ（ｘ0，ｙ0）は、探索画像Ｒ１内の座標（ｍ，ｎ）の画素の輝度値ＩＲと、探索領域Ｒ２内の座標（ｘ0，ｙ0）を基点とした局所領域Ｒ３内の座標（ｘ0＋ｍ，ｙ0＋ｎ）の画素の輝度値ＩＬとの差の絶対値を取り、この差の絶対値の探索画像Ｒ１及び局所領域Ｒ３内の全画素（ｍ＝０，．．．，M-1，ｎ＝０，．．．，N-1）についての総和値を求めたものである。なお、絶対差分和Ｃ（ｘ0，ｙ0）の値が小さいほど、探索画像Ｒ１と局所領域Ｒ３との相関の度合が高いことを示す。これにより、絶対差分和Ｃ（ｘ0，ｙ0）が最小となる基点の座標（ｘ0，ｙ0）を求め、この位置の局所領域Ｒ３を対応画像Ｒ４として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。ＳＴＥＰ０１１〜０１２の処理により、基準画像中の探索画像Ｒ１と、参照画像中の対応画像Ｒ４とが抽出される。
【００５２】
次に、画像処理ユニット１は、探索画像Ｒ１の重心位置と、対応画像Ｒ４の重心位置とに基づいて、視差Δｄ（画素数）を算出する（ＳＴＥＰ０１３）。そして、画像処理ユニット１は、算出された視差Δｄを用いて、次式（２）により、自車両１０と対象物との距離ｚを算出する（ＳＴＥＰ０１４）。
【００５３】
ｚ＝Ｂ×Ｆ／（Δｄ×ｐ） …（２）
なお、Ｂは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、Ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離Ｆ、ｐは画素間隔である。
【００５４】
ＳＴＥＰ０１０及びＳＴＥＰ０１４の処理の終了後、画像処理ユニット１は、次に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ０１５）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点（自車両１０に固定された位置）を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向及びＹ方向は、それぞれ自車両１０の左右方向（車幅方向）、上下方向であり、これらのＸ方向及びＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、実空間位置（Ｘ，Ｙ，Ｚ）は、次式（３）（４）（５）により算出される。
【００５５】
Ｘ＝ｘ×ｚ×ｐ／ｆ …（３）
Ｙ＝ｙ×ｚ×ｐ／ｆ …（４）
Ｚ＝ｚ …（５）
次に、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、ＳＴＥＰ０１０で算出した回頭角θｒを用いて、対象物の実空間位置を補正する。（ＳＴＥＰ０１６）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像上では、画像の範囲がｘ方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。
【００５６】
次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ０１７）。具体的には、同一対象物についての実空間位置の、所定期間（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（座標Ｐv1＝（Ｘv1，Ｙv1，Ｚv1））から、現在時刻における該直線上の対象物の位置（座標Ｐv0＝（Ｘv0，Ｙv0，Ｚv0））に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、上述の特許文献１に記載された手法を用いる。また、この処理において、対象物が検出されてから所定期間分の演算処理周期が経過していないために、対象物の実空間位置の時系列データが不足して移動ベクトルを算出することができない場合には、そのままＳＴＥＰ０１８に進む。
【００５７】
次に、画像処理ユニット１は、検出した対象物が回避対象（自車両１０との接触を回避すべき対象）であるか否かを判定する回避判定処理を行う（ＳＴＥＰ０１８）。なお、回避判定処理については、詳細を後述する。ＳＴＥＰ０１８において、検出した対象物が回避対象でないと判定された場合（ＳＴＥＰ０１８の判定結果がＮＯ）には、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。また、ＳＴＥＰ０１８において、検出した対象物が回避対象であると判定された場合（ＳＴＥＰ０１８の判定結果がＹＥＳ）、ＳＴＥＰ０１９の警報出力判定処理へ進む。
【００５８】
ＳＴＥＰ０１９では、画像処理ユニット１は、対象物に関する実際の警報を出力するか否かの判定を行なう警報出力判定処理を行う。この警報出力判定処理では、ブレーキセンサ５の出力ＢＲから、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、警報を出力しないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、警報を出力すると判定される。
【００５９】
そして、画像処理ユニット１は、警報を出力すると判定した場合（ＳＴＥＰ０１９の判定結果がＹＥＳ）には、スピーカ６と表示装置７とによる警報を自車両１０の運転者に対して発する警報出力処理を実行し（ＳＴＥＰ０２０）、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。なお、警報出力処理については、詳細を後述する。また、ＳＴＥＰ０１９で警報を出力しないと判定した場合（全ての対象物について警報を出力しないと判定した場合）には、ＳＴＥＰ０１９の判定結果がＮＯとなり、この場合には、そのままＳＴＥＰ００１に戻り、上述の処理を繰り返す。
【００６０】
以上が、本実施形態の車両周辺監視装置の画像処理ユニット１における対象物検出・警報動作である。これにより、自車両１０の周辺の赤外線画像と、自車両１０の走行状態を示す信号とから、自車両１０の前方の歩行者等の対象物が検出され、回避対象である対象物について運転者に警報が発せられる。
【００６１】
次に、図５に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ０１８における回避判定処理について詳細に説明する。図５は、本実施形態の回避判定処理を示すフローチャートである。回避判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理（移動ベクトル又は姿勢による）、歩行者判定処理、及び人工構造物判定処理により、検出した対象物と自車両１０との衝突の可能性及び対象物の種類を判定して、該対象物が回避対象であるか否かを判定する処理である。
【００６２】
図５を参照して、まず、画像処理ユニット１は、対象物が自車両１０に衝突する可能性の度合を判定する処理の１つとして、衝突判定処理を行う（ＳＴＥＰ１０１）。衝突判定処理は、対象物と自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突する可能性があるか否かを判定する処理である。具体的には、対象物の現在のＺ方向の座標値（距離）Ｚv0がＶｓ×Ｔ以下で、且つ、対象物の現在のＹ方向の座標値（高さ）Ｙv0がＨ以下である場合に、対象物と自車両１０とが衝突する可能性があると判定される。
【００６３】
ここで、図６を参照して説明すると、図６は、自車両１０の走行する道路を上方から見た図であり、自車両１０の前方の領域区分が示されている。図６に示したように、赤外線カメラ２Ｒ，２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内のＺ１（＝Ｖｓ×Ｔ）より自車両１０に近い領域が、対象物と自車両１０との衝突の可能性がある領域である。なお、高さＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００６４】
ＳＴＥＰ１０１の判定結果がＮＯの場合（余裕時間Ｔ内に対象物と自車両１０とが衝突する可能性がない）には、車両１０の操舵やブレーキ操作によって対象物と車両１０との衝突を余裕を持って回避しうる状況である。この場合には、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００６５】
ＳＴＥＰ１０１の判定結果がＹＥＳの場合（余裕時間Ｔ内に対象物と自車両１０とが衝突する可能性がある）には、ＳＴＥＰ１０２に進み、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、画像処理ユニット１は、対象物が接近判定領域ＡＲ１内に存在するか否かの判定処理を行う。接近判定領域ＡＲ１は、図６に示したように、上述の領域ＡＲ０内のＺ１より自車両１０に近い領域のうちの、自車両１０の車幅αの両側に余裕βを加えた幅（α＋２β）を有する領域ＡＲ１である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００６６】
ＳＴＥＰ１０２の判定結果がＹＥＳの場合（対象物が接近判定領域ＡＲ１内に存在している）には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両１０と衝突する可能性が高い。この場合には、ＳＴＥＰ１０３に進み、画像処理ユニット１は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。歩行者判定処理は、対象物の形状、大きさ、グレースケール画像上での輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。なお、歩行者判定処理の具体的な手法としては、例えば、本出願人による特開２００３−２８４０５７号公報に記載されているような手法を用いることができる。
【００６７】
ＳＴＥＰ１０３の判定結果がＹＥＳの場合（対象物は歩行者の可能性がある）には、ＳＴＥＰ１０４に進み、更に対象物が歩行者である可能性の判定の信頼性を上げるために、画像処理ユニット１は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、警報の対象から除外する処理である。
【００６８】
ＳＴＥＰ１０４の判定結果がＮＯの場合（対象物が人工構造物でない）には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。従って、対象物が接近判定領域ＡＲ１に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。
【００６９】
また、ＳＴＥＰ１０３の判定結果がＮＯの場合（対象物は歩行者の可能性がない）、あるいは、ＳＴＥＰ１０４の判定結果がＹＥＳの場合（対象物が人工構造物である）には、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００７０】
一方、ＳＴＥＰ１０２の判定結果がＮＯの場合（対象物が接近判定領域ＡＲ１内に存在しない）には、ＳＴＥＰ１０５に進み、画像処理ユニット１は、対象物が接近判定領域ＡＲ１内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ＳＴＥＰ１０５〜１０６）。ここで、図６に示したように、領域ＡＲ０内で上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域ＡＲ１の横方向外側の）領域ＡＲ２，ＡＲ３を進入判定領域とする。進入衝突判定処理は、進入判定領域ＡＲ２，ＡＲ３内にある対象物が、移動することにより接近判定領域ＡＲ１に進入して自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２，ＡＲ３も所定高さＨを有する。
【００７１】
まず、ＳＴＥＰ１０５で、対象物の移動ベクトルに基づく進入衝突判定処理が行われる。この移動ベクトルに基づく進入衝突判定処理は、本発明の回避対象判定手段の実行する判定アルゴリズムの第２判定処理に相当する。また、対象物が回避対象である（衝突の可能性が高い）と判定する第２要件は、対象物の移動する方向が自車両に向かってくる方向であるという要件である。具体的には、自車両１０の前面のＸＹ平面（自車両１０の前後方向に垂直な面）と、対象物の移動ベクトルを含む直線との交点のＸ座標（車幅方向の位置）が、自車両１０の車幅αよりも若干広い所定範囲内に存在する場合（対象物が相対的に自車両１０に向かってくる場合）に、衝突の可能性が高いと判定される。なお、上述のＳＴＥＰ０１７で移動ベクトルが算出できなかった場合には、ＳＴＥＰ１０５の判定結果はＮＯとする。
【００７２】
ＳＴＥＰ１０５の判定結果がＹＥＳの場合には、対象物が将来、自車両１０と衝突する可能性が高い。そこで、この場合には、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。
【００７３】
ＳＴＥＰ１０５の判定結果がＮＯの場合には、ＳＴＥＰ１０６に進み、姿勢による進入衝突判定処理が行われる。この姿勢による進入衝突判定処理は、本発明の回避対象判定手段の実行する判定アルゴリズムの第１判定処理に相当する。また、対象物が回避対象である（衝突の可能性が高い）と判定する第１要件は、対象物が歩行者であり、且つ、該歩行者の姿勢が、自車両１０の走行する車線の中心側への前傾姿勢であるという要件である。なお、姿勢による進入衝突判定処理については、詳細を後述する。ＳＴＥＰ１０６の判定結果がＹＥＳの場合には、対象物が将来、自車両１０と衝突する可能性が高い。そこで、この場合には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。また、ＳＴＥＰ１０６の判定結果がＮＯの場合には、対象物が自車両１０と衝突する可能性が低いので、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００７４】
以上が、回避判定処理の詳細である。
【００７５】
次に、図３に示したフローチャートのＳＴＥＰ０２０における警報出力処理について詳細に説明する。この警報出力処理では、表示装置７に基準画像を表示すると共に、その基準画像中の回避対象である対象物の画像を強調的に表示する。さらに、回避対象である対象物が存在することをスピーカ６から運転者に音声案内する。これにより、回避対象である対象物に対する運転者の注意が喚起される。なお、運転者に対する警報は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。
【００７６】
このとき、画像処理ユニット１は、上述のＳＴＥＰ０１８の回避判定処理において、ＳＴＥＰ１０５の判定結果がＹＥＳとなって対象物が回避対象であると判定された場合（以下、ＣＡＳＥ１とする）と、ＳＴＥＰ１０６の判定結果がＹＥＳとなって対象物が回避対象であると判定された場合（以下、ＣＡＳＥ２とする）とで、運転者に対して異なる形態の警報を発する。具体的には、例えば、表示装置７の画像上で回避対象に枠を付けて強調表示する際に、ＣＡＳＥ１とＣＡＳＥ２とで異なる色を用いたり、ＣＡＳＥ２ではＣＡＳＥ１よりも色を薄くしたり、ＣＡＳＥ２ではＣＡＳＥ１より枠を細くする。もしくは、スピーカ６で音声案内する際に、ＣＡＳＥ１とＣＡＳＥ２とで音声案内の案内文のパターンを異ならせたり、音声案内の音声の種類（例えば周波数）を異ならせる。もしくは、ＣＡＳＥ１ではスピーカ６による音声案内と表示装置７による強調表示との両方を行い、ＣＡＳＥ２では表示装置７による強調表示のみを行う。これにより、回避対象の判定結果の信頼性や回避の緊急性等が異なることが運転者に把握されるように、より適切に警報が発せられる。
【００７７】
以上が、警報出力処理の詳細である。
【００７８】
次に、図５に示したフローチャートのＳＴＥＰ１０６における姿勢による進入衝突判定処理について詳細に説明する。姿勢による進入衝突判定処理は、進入判定領域ＡＲ２、ＡＲ３内にある対象物が歩行者である場合に、該歩行者の姿勢（歩行者の体幹軸の傾きに関する姿勢）に基づいて該歩行者の挙動を予測して、該歩行者が回避対象であるか否か（自車両１０との衝突の可能性があるか否か）を判定する処理である。なお、以下の説明では、図４（ａ）に示した例（自車両１０の前方の左側に歩行者が存在し、自車両１０の前方に他車両が存在しており、歩行者が道路を横断しようとしている場合）を用いて説明する。
【００７９】
ＳＴＥＰ１０６において、まず、歩行者抽出手段１２により、検出された対象物のうちから歩行者を抽出する処理が行われる。このとき、対象物の縦横比ＡＳＰＥＣＴと、対象物の面積ＳＡと該対象物の外接四角形の面積ＳＢとの比ＳＡ／ＳＢとが、所定範囲にある場合に、対象物が歩行者であると判定され、該対象物が歩行者として抽出される。なお、前記所定範囲は、対象物が歩行者の上半身や全身に相当する値として予め定められる範囲である。これにより、図４（ｂ）に例示するように、対象物Ｔ１〜Ｔ６のうちから、枠Ｒ１で囲われた対象物Ｔ１が歩行者として抽出される。なお、歩行者が抽出されなかった場合には、ＳＴＥＰ１０６の判定結果はＮＯとなる。また、歩行者を抽出する処理では、例えば、ＳＴＥＰ１０３の歩行者判定処理等で用いられるような他の手法を用いてもよい。
【００８０】
次に、歩行者が抽出された場合には、姿勢判別手段１３により、抽出された歩行者Ｔ１の姿勢を判別する処理が行われる。以下では、図７（ａ）（ｂ）を参照して説明する。図７（ａ）（ｂ）には、それぞれ、図４（ｂ）に例示した枠Ｒ１で囲まれた領域（歩行者Ｔ１が含まれる）が示されている。
【００８１】
まず、姿勢判別手段１３は、歩行者Ｔ１の体幹軸を算出する。具体的には、まず、姿勢判別手段１３は、抽出された歩行者Ｔ１のランレングスデータＬ１〜Ｌｎから、各ランレングスデータＬｉで示されるラインの中点の画素の座標で構成される点列データＰ_T1を算出する。図７（ａ）を参照して、歩行者Ｔ１として抽出された対象物に相当する２値化領域は、図示のように、ｎ個のランレングスデータＬ１〜Ｌｎで表される。図７（ｂ）には、ランレングスデータＬ１〜Ｌｎが示されており、その中点Ｍ１〜Ｍｎは、図示のようになる。そして、点列データＰ_T1は、中点Ｍ１〜Ｍｎの座標データ｛（Ｘ１,Ｙ１），（Ｘ２,Ｙ２），．．．，（Ｘｎ,Ｙｎ）｝で構成される。なお、図７（ｂ）において、座標軸Ｘ，Ｙは図示のように設定されている。このとき、Ｘ軸は自車両１０の左右方向に平行な軸であり、Ｙ軸は上下方向軸である。
【００８２】
次に、姿勢判別手段１３は、算出された点列データＰ_T1を近似する近似直線Ｓ１を算出する。このとき、近似法としては、最小二乗法が用いられる。これにより、図７（ｂ）に示したように、近似直線Ｓ１＝ａＸ＋ｂが算出される。この近似直線Ｓ１は、歩行者Ｔ１の体幹軸に相当するものである。
【００８３】
次に、姿勢判別手段１３は、算出された近似直線Ｓ１に基づいて、歩行者Ｔ１の体幹軸の傾きの度合を判別する。具体的には、本実施形態では、歩行者Ｔ１の体幹軸が自車両１０の走行する車線の中心側へ前傾しているか否か（歩行者Ｔ１の姿勢が自車両１０の走行する車線に向かう前傾姿勢であるか否か）が判別される。まず、姿勢判別手段１３は、図７（ｂ）に示したように、近似直線Ｓ１と上下方向軸Ｙとのなす角度θ＝tan-1ａを算出する。次に、姿勢判別手段１３は、角度θに基づいて、歩行者Ｔ１の体幹軸が自車両１０の走行する車線の中心側へ前傾しているか否かを判別する。なお、本実施形態では、角度θは、上下方向軸Ｙ方向を０度とし、上下方向軸Ｙから自車両１０の走行する車線の中心側へ向かう方向を正（図７（ｂ）に示した例では時計回りを正）とするように設定されている。
【００８４】
このとき、角度θが閾値θ１以上で閾値θ２以下（０＜θ１＜θ２）の場合に、自車両１０の走行する車線側へ前傾していると判別される。なお、閾値θ１，θ２は、歩行者が移動しているときに、その体幹軸が進行方向に対して一般的に取る角度の範囲を示す値として予め定められる値である。この歩行者Ｔ１の姿勢の判別結果に基づいて、道路の横断等の歩行者Ｔ１の挙動が事前に迅速に予測される。図７（ｂ）の例では、θ１≦θ≦θ２となり、歩行者Ｔ１が自車両１０の走行する車線に向かう前傾姿勢であると判別される。これにより、歩行者Ｔ１が道路を横断しようとしていることが予測される。
【００８５】
次に、回避対象判定手段１４により、姿勢判別手段１３の歩行者Ｔ１の姿勢の判別結果に基づいて、歩行者Ｔ１が回避対象であるか否かが判定される。このとき、例えば、歩行者Ｔ１が自車両１０の走行する車線に向かう前傾姿勢である場合（ＳＴＥＰ１０６の判定結果がＹＥＳ）には、歩行者Ｔ１が道路を横断しようとしていることが予測されることから、ＳＴＥＰ１０７で、対象物が回避対象であると判定される。これにより、例えば、進入判定領域ＡＲ２，ＡＲ３に存在する歩行者Ｔ１が急に車道に飛び出すような場合に、図３のＳＴＥＰ０１９〜０２０の警報出力判定及び警報出力が迅速に行われる。
【００８６】
以上の処理により、本実施形態によれば、赤外線カメラ２Ｒ，２Ｌを介して取得される画像から、自車両１０の周辺の歩行者のうちの回避対象となる歩行者を迅速に判定して、自車両１０の運転者に情報提示を行うことができる。
【００８７】
なお、本実施形態では、前述したように、画像処理ユニット１が、その機能として、本発明の対象物抽出手段１１と、歩行者抽出手段１２と、姿勢判別手段１３と、回避対象判定手段１４と、車両機器制御手段１５と、相対位置検出段１６と、移動方向特徴量算出手段１７とを含んでいる。より具体的には、図３のＳＴＥＰ００４〜００８が対象物抽出手段１１に相当し、ＳＴＥＰ０１１〜０１６が相対位置検出段１６に相当し、ＳＴＥＰ０１７が移動方向特徴量算出手段１７に相当し、ＳＴＥＰ０１８が回避対象判定手段１４に相当し、ＳＴＥＰ０１９〜０２０が車両機器制御手段１５に相当する。さらに、図５のＳＴＥＰ１０６における対象物のうちから歩行者を抽出する処理が歩行者抽出手段１２に相当し、ＳＴＥＰ１０６における歩行者の姿勢を判別する処理が姿勢判別手段１３に相当する。
【００８８】
次に、本発明の第２実施形態について説明する。なお、本実施形態は、第１実施形態において、画像処理ユニット１の機能である姿勢判別手段１３と回避対象判定手段１４との作動のみが相違するものであり、本実施形態における車両周辺監視装置の機能ブロック図は図１と同じである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。
【００８９】
本実施形態の車両周辺監視装置において、画像処理ユニット１の機能である姿勢判別手段１３は、歩行者抽出手段１２により抽出された歩行者の画像上での、自車両１０の左右方向における対称性を、該歩行者の姿勢を表す特徴量とし、その対称性の度合を判別する。なお、歩行者の画像上での自車両１０の左右方向における対称性を算出する手法としては、例えば、グレースケール画像上で輝度分布に基づいて歩行者の頭部領域を設定し、頭部領域を基準として右領域と左領域とを設定して、右領域と左領域との相関演算により対称性を算出する手法が用いられる。以上説明した以外の構成は、第１実施形態と同じである。
【００９０】
次に、本実施形態の車両周辺監視装置の全体的な作動（対象物検出・警報動作）を説明する。なお、本実施形態における車両周辺監視処理の対象物検出・警報動作は、第１実施形態と、回避判定処理における歩行者の姿勢を判別して進入衝突判定を行う処理（図５のＳＴＥＰ１０６）のみが相違するものである。本実施形態における回避判定処理のフローチャートは図５と同じであるので、以下の説明では、図５に示したフローチャートを参照して説明する。なお、以下の説明では、第１実施形態と同様に、図４（ａ）に示した例（自車両１０の前方の左側に歩行者が存在し、自車両１０の前方に他車両が存在しており、歩行者が道路を横断しようとしている場合）を用いて説明する。
【００９１】
ＳＴＥＰ１０６において、まず、第１実施形態と同様に、歩行者抽出手段１２により、検出された対象物のうちから歩行者を抽出する処理が行われる。これにより、図４（ｂ）に例示するように、対象物Ｔ１〜Ｔ６のうちから、枠Ｒ１で囲われた対象物Ｔ１が歩行者として抽出される。なお、歩行者が抽出されなかった場合には、ＳＴＥＰ１０６の判定結果はＮＯとなる。
【００９２】
次に、歩行者が抽出された場合には、姿勢判別手段１３により、抽出された歩行者Ｔ１の姿勢を判別する処理が行われる。以下では、図８を参照して説明する。図８には、グレースケール画像上の、図４（ｂ）に例示した枠Ｒ１で囲まれた領域（歩行者Ｔ１が含まれる）に対応する領域が示されている。
【００９３】
まず、姿勢判別手段１３は、歩行者Ｔ１の画像上での自車両１０の左右方向における対称性を算出する。このとき、まず、姿勢判別手段１３は、グレースケール画像上で、抽出された歩行者Ｔ１の頭部領域ＴＨ１を設定する。具体的には、姿勢判別手段１３は、グレースケール画像上において、抽出された歩行者Ｔ１に対応する領域にプロジェクションエリアを設定し、縦方向の輝度プロジョクション（画素毎の輝度を縦方向に積算した積算輝度の横方向の分布）を算出して、積算輝度が最大ピークを示す横方向座標を検出する。そして、姿勢判別手段１３は、検出した横方向座標を中心にして、歩行者Ｔ１の頭部位置に相当すると推定される領域を、図８に示したように、頭部領域ＴＨ１として設定する。
【００９４】
次に、姿勢判別手段１３は、図８に示したように、枠Ｒ１で囲まれた領域内の頭部領域ＴＨ１の下側のうちの左右両側の部分に、右領域ＴＲ１と左領域ＴＬ１とを設定する。右領域ＴＲ１、左領域ＴＬ１は、自車両１０の前後方向と歩行者の前後方向とが同じである場合（自車両１０の進行方向と歩行者の移動方向とがほぼ同じ場合）に、それぞれ、歩行者の右肩、左肩が含まれるように設定される。図８に示した例では、歩行者Ｔ１の移動方向は右側（車線の中心側）であり、右領域ＴＲ１が車線の中心側に近い部分である。
【００９５】
次に、姿勢判別手段１３は、右領域ＴＲ１を左右反転した画像と、左領域ＴＬ１との相関の度合を示す輝度値の絶対差分和を算出する。この絶対差分和は、歩行者Ｔ１の画像上での自車両１０の左右方向における対称性の度合を表す。
【００９６】
次に、姿勢判別手段１３は、算出された絶対差分和に基づいて、歩行者Ｔ１の画像上での自車両１０の左右方向における対称性の度合を判別する。具体的には、本実施形態では、対称性の度合が低いか否か（歩行者Ｔ１の姿勢が前傾姿勢であるか否か）が判別される。このとき、算出された絶対差分和が所定値以上（相関の度合が低い）である場合に、対称性の度合が低いと判別する。図８の例では、算出された絶対差分和が所定値以上となり、対称性の度合が低いと判別される。これにより、歩行者Ｔ１が車線の中心側又は反対側への前傾姿勢であることが判る。
【００９７】
さらに、対称性の度合が低いと判別された場合に、姿勢判別手段１３は、右領域ＴＲ１と左領域ＴＬ１とにおける輝度分布に基づいて、歩行者Ｔ１が車線の中心側への前傾姿勢であるか否かを判別する。例えば、姿勢判別手段１３は、領域ＴＲ１，ＴＬ１における輝度の平均値を算出し、車線の中心側の領域における平均値が、反対側の領域における平均値より小さい場合には、歩行者Ｔ１が車線の中心側への前傾姿勢であると判別する。図８の例では、車線の中心側の領域は右領域ＴＲ１であり、算出された右領域ＴＲ１の平均値は左領域ＴＬ１の平均値より小さくなり、歩行者Ｔ１が自車両１０の走行している車線の中心側に向かう前傾姿勢と判別される。これにより、歩行者Ｔ１が道路を横断しようとしていることが予測される。
【００９８】
次に、回避対象判定手段１４により、姿勢判別手段１３の歩行者Ｔ１の姿勢の判別結果に基づいて、歩行者Ｔ１が回避対象であるか否かが判定される。このとき、例えば、歩行者Ｔ１が自車両１０の走行する車線の中心側への前傾姿勢である場合（ＳＴＥＰ１０６の判定結果がＹＥＳ）には、歩行者Ｔ１が道路を横断しようとしていることが予測されることから、ＳＴＥＰ１０７で、対象物が回避対象であると判定される。これにより、例えば、進入判定領域ＡＲ２，ＡＲ３に存在する歩行者Ｔ１が急に車道に飛び出すような場合に、図３のＳＴＥＰ０１９〜ＳＴＥＰ０２０の警報出力判定及び及び警報出力が迅速に行われる。以上説明した以外の作動は、第１実施形態と同じである。
【００９９】
以上の処理により、本実施形態によれば、第１実施形態と同様に、赤外線カメラ２Ｒ，２Ｌを介して取得される画像から、自車両１０の周辺の歩行者のうちの回避対象となる歩行者を迅速に判定して、自車両１０の運転者に情報提示を行うことができる。
【０１００】
なお、前記第１及び第２実施形態では、画像処理ユニット１は、ＳＴＥＰ０１８の回避判定処理で、進入衝突判定処理として、対象物の移動ベクトルによる進入衝突判定処理（ＳＴＥＰ１０５）と、歩行者の姿勢による進入衝突判定処理（ＳＴＥＰ１０６）とのいずれもを実行するものとしたが、他の実施形態として、例えば、進入衝突判定処理として、歩行者の姿勢による進入衝突判定処理（ＳＴＥＰ１０６）のみを実行するようにしてもよい。
【０１０１】
また、前記第１及び第２実施形態では、画像処理ユニット１は、ＳＴＥＰ０１８で回避対象であると判定された対象物について、自車両１０の運転者に警報を発するものとしたが、他の実施形態として、例えば、車両１０が、車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能（ひいては車両１０の走行挙動を操作可能）なものである場合には、ＳＴＥＰ０１８で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように自車両１０のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。
【０１０２】
例えば、運転者によるアクセルペダルの必要踏力が、回避対象の対象物が存在しない場合（通常の場合）よりも大きくなるようにアクセル装置を制御して、加速しにくくする。あるいは、回避対象と車両１０との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行い得るようにする。あるいは、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両１０の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、回避対象との接触を避けるための車両１０の運転が容易になる。
【０１０３】
なお、このような自車両１０のステアリング装置や、アクセル装置、ブレーキ装置を制御する場合、これらの装置が本発明における車両機器制御手段が制御する機器に相当するものとなる。また、上記のようなステアリング装置の制御と、表示装置７もしくはスピーカ６による警報とは、並行して行うようにしてもよい。
【０１０４】
また、第１及び第２実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なＣＣＤカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。
【図面の簡単な説明】
【０１０５】
【図１】本発明の第１実施形態による車両周辺監視装置の機能ブロック図。
【図２】図１に示した車両周辺監視装置の車両への取り付け態様の説明図。
【図３】図１の車両周辺監視装置における対象物検出・警報動作を示すフローチャート。
【図４】図３の対象物検出・警報動作における処理画像の例示図。
【図５】図３の対象物検出・警報動作における回避判定処理のフローチャート。
【図６】図５の回避判定処理における車両前方の領域区分を示す説明図。
【図７】図５の回避判定処理における歩行者の姿勢を判別する処理に関する説明図。
【図８】本発明の第２実施形態の回避判定処理における歩行者の姿勢を判別する処理に関する説明図。
【符号の説明】
【０１０６】
２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、１０…車両、１１…対象物抽出手段、１２…歩行者抽出手段、１３…姿勢判別手段、１４…回避対象判定手段、１５…車両機器制御手段、１６…相対位置検出段、１７…移動方向特徴量算出手段。
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラ等の撮像手段を介して取得した画像から、車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
近年、車両にＣＣＤカメラ等の撮像手段を搭載して周辺を撮像し、撮像された画像から車両の周辺に存在する歩行者等の対象物の位置を検出して衝突の可能性の高い歩行者等の対象物を判定し、運転者への情報の提示等を行う技術が知られている（例えば特許文献１参照）。
【０００３】
特許文献１の車両の周辺監視装置においては、２つの赤外線カメラで構成されたステレオカメラが車両に搭載され、２つの赤外線カメラから得られる画像のずれ（視差）に基づいて、車両の周辺に存在する対象物の該車両に対する相対位置が位置データとして検出される。そして、対象物についての位置の時系列データに基づいて該対象物の該車両に対する移動ベクトルが算出され、対象物の位置データと移動ベクトルとに基づいて該車両と衝突する可能性の高い対象物が判定される。
【０００４】
このとき、前記車両の周辺監視装置では、車両前方の所定距離（対象物の車両に対する相対速度に応じて定まる領域）内である警報判定領域のうち、車両の走行する車道部分に相当する接近判定領域ＡＲ１と、接近判定領域ＡＲ１の横方向外側の領域である進入判定領域ＡＲ２，ＡＲ３とが設定される。そして、接近判定領域ＡＲ１に対象物が存在する場合には、該対象物は車道上の歩行者等であり、車両と衝突の可能性が高いと判定される。さらに、進入判定領域ＡＲ２，ＡＲ３に対象物が存在する場合には、該対象物は路側の歩行者等であり、該対象物の移動ベクトルに基づいて進入衝突判定が行われ、該対象物と車両との衝突の可能性が判定される。これにより、路側を通常に歩行している歩行者については衝突の可能性が低いと判定され、路側から道路を横断しようと移動する歩行者については衝突の可能性が高いと判定されて、運転者への適切な情報提示が行われる。
【０００５】
一方、例えば、路側の歩行者が急に車道へ飛び出すことがある。このような場合には、可能な限り迅速に運転者への情報提示や車両挙動の制御が行われることが望ましい。しかしながら、特許文献１の車両の周辺監視装置では、複数の時系列の位置データから算出した移動ベクトルに基づいて、進入判定領域に存在する対象物の衝突の可能性が判定されため、衝突の可能性が高いと判定されるまでに時間を要する。よって、路側の歩行者が急に車道へ飛び出すような場合に、運転者への情報提示や車両挙動の制御を迅速に行うことができないという不都合があった。
【特許文献１】特開２００１−６０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、かかる不都合を解消し、車両周辺の画像から該車両との接触を回避すべき対象となる歩行者を迅速に判定して、運転者への情報提示や車両挙動の制御を行うことができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
かかる目的を達成するために、本発明の車両周辺監視装置は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺を監視する車両周辺監視装置において、前記撮像手段を介して取得した画像から、前記車両の周辺に存在する対象物を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された対象物のうちから歩行者を抽出する歩行者抽出手段と、前記歩行者抽出手段により抽出された歩行者の姿勢を判別する姿勢判別手段と、少なくとも前記姿勢判別手段により判別された歩行者の姿勢に関する第１判定処理を含む判定アルゴリズムを実行することにより、前記対象物抽出手段により抽出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、少なくとも前記回避対象判定手段の判定結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする（第１発明）。
【０００８】
前記本発明の車両周辺監視装置において、前記対象物抽出手段により、前記撮像手段を介して取得した画像から前記車両の周辺に存在する対象物が抽出され、前記歩行者抽出手段により、該対象物のうちの歩行者が抽出される。ここで、例えば、路側の歩行者が急に車道へ飛び出すような場合には、運転者への警報等の情報提示や車両挙動の制御等が、可能な限り迅速に行われる必要がある。このため、歩行者の道路の横断を事前に迅速に予測することが望まれる。このとき、一般に、道路を横断しようとする歩行者とそれ以外の歩行者とでは、路側に存在する時点で、体の向きや傾き等に関する姿勢が相違すると考えられる。例えば、歩行者が移動を開始するときや車道に飛び出してくるようなときには、その体幹軸は進行方向に対して傾いており、これに対して、歩行者が停止しているときや道路に沿って移動を継続しているときには、その体幹軸の傾きは十分に小さい。
【０００９】
そこで、前記姿勢判定手段は、前記撮像手段を介して取得した画像から、前記歩行者の姿勢を判別する。このように判別された歩行者の姿勢により、例えば道路の横断等の歩行者の挙動を事前に迅速に予測することができる。そして、前記回避対象判定手段の実行する判定アルゴリズムは、前記歩行者の姿勢に関する第１判定処理を含むので、該回避対象判定手段は、対象物が車両との接触を回避すべき回避対象であるか否かを判定する際に、迅速に判定結果を決定することが可能となる。よって、前記車両機器制御手段により、前記回避対象判定手段の判定結果に応じて前記車両の機器を制御することで、前記回避対象に対応して該車両の機器の制御を迅速に行うことができる。
【００１０】
具体的には、前記本発明の車両周辺監視装置において、前記車両機器制御手段の制御する機器は、前記車両の運転者に警報を発することが可能な機器を含むことが好ましい（第２発明）。
【００１１】
これによれば、前記回避対象判定手段により、前記対象物が回避対象であるか否かが迅速に判定可能なので、前記車両機器制御手段により、該回避対象に対応して、運転者への警報を迅速に発することができる。
【００１２】
または、前記本発明の車両周辺監視装置において、前記車両機器制御手段の制御する機器は、前記車両の走行挙動を操作可能な機器を含むことが好ましい（第３発明）。
【００１３】
これによれば、前記回避対象判定手段により、前記対象物が回避対象であるか否かが迅速に判定可能なので、前記車両機器制御手段により、該回避対象に対応して、車両の走行挙動を迅速に操作することができる。
【００１４】
さらに、前記第１〜第３発明の車両周辺監視装置において、前記対象物抽出手段により抽出された対象物の、前記車両に対する相対位置を逐次検出する相対位置検出手段と、前記姿勢判別手段の判別処理の実行周期よりも長い時間間隔において、前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づいて、該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段とを備える場合には、前記回避対象判定手段の実行する判定アルゴリズムは、前記第１判定処理と共に、前記移動方向特徴量算出手段により算出された前記対象物の移動方向特徴量に関する第２判定処理を含み、該第１判定処理は、前記歩行者の姿勢が所定の第１要件を満たすか否かを判定する処理であり、該第２判定処理は、該対象物の移動方向特徴量が所定の第２要件を満たすか否かを判定する処理であり、前記回避対象判定手段は、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第２要件を満たす場合と、該第２判定処理の判定結果が該第２要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第１要件を満たす場合とに、前記対象物が回避対象であると判定することが好ましい（第４発明）。
【００１５】
これによれば、前記回避対象判定手段が実行する判定アルゴリズムは、前記移動方向特徴量に関する第２判定処理を含むので、信頼性の高い判定結果を決定することが可能となる。ただし、前記移動方向特徴量の算出は、前記姿勢判別手段の判別処理の実行周期よりも長い時間間隔で行われるので、回避対象判定手段の判定結果の決定に時間を要する。一方、前記回避対象判定手段の実行する判定アルゴリズムは、前記歩行者の姿勢に関する第１判定処理も含むので、迅速に判定結果を決定することが可能である。そこで、前記回避対象判定手段は、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第２要件を満たす場合と、該第２判定処理の判定結果が該第２要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第１要件を満たす場合とに、前記対象物が回避対象であると判定する。
【００１６】
これにより、前記回避対象判定手段は、移動方向特徴量に基づく信頼性の高い判定結果が得られた場合には、該判定結果に基づいて対象物が回避対象であるか否かを判定すると共に、例えば移動方向特徴量を算出するための十分な時間がない場合でも、歩行者の姿勢に基づく迅速な判定結果に基づいて、対象物が回避対象であるか否かを判定することが可能である。よって、対象物が車両との接触を回避すべき回避対象であるか否かをより確実に判定することができる。
【００１７】
なお、前記第１要件は、例えば、対象物の移動する方向が自車両に向かってくる方向であるというような要件である。また、前記第２要件は、例えば、対象物が歩行者であり、且つ、該歩行者の姿勢が、自車両の走行する車線の中心側への前傾姿勢であるというような要件である。
【００１８】
さらに、前記第４発明の車両周辺監視装置において、前記車両機器制御手段は、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第１要件を満たす場合と、該第２判定処理の判定結果が該第１要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第２要件を満たす場合とで、前記車両の機器を互いに異なる形態で制御することが好ましい（第５発明）。
【００１９】
すなわち、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第１要件を満たす場合と、該第２判定処理の判定結果が該第１要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第２要件を満たす場合とでは、前記回避対象判定手段による最終的な判定結果の信頼性や回避の緊急性等が異なる。よって、前記車両機器制御手段により、各場合毎に前記車両の機器を互いに異なる形態で制御することで、運転者への情報提示や車両挙動の制御をより適切に行うことができる。
【００２０】
例えば、前記車両機器制御手段の制御する機器が、前記車両の運転者に警報を発することが可能な機器である場合には、該車両機器制御手段は、各場合毎に異なる警報の仕方で、運転者に警報を発すればよい。
【００２１】
また、前記第１〜第５発明の車両周辺監視装置において、前記姿勢判別手段は、前記画像上での前記歩行者の、前記車両の左右方向における対称性を、該歩行者の姿勢を表す特徴量とし、その対称性の度合を判別する手段であることが好ましい（第６発明）。
【００２２】
すなわち、一般に、道路を横断しようとする歩行者の姿勢は、車両の走行する車線の中心側への前傾姿勢となる。このとき、車両に搭載された撮像手段を介して取得された画像上において、前記歩行者の頭部を中心として、該歩行者に相当する領域のうちの車線の中心側に近い部分と反対側の部分とでは、対称性の度合が低くなると考えられる。すなわち、前記画像上での前記歩行者の、前記車両の左右方向における対称性は、該歩行者が道路を横断しようとする姿勢であるか否か（前傾姿勢であるか否か）に密接に関わる特徴量である。よって、前記対称性の度合を用いることで、例えば歩行者の姿勢が車両の走行する車線の中心側への前傾姿勢であるか否か等が判るので、道路の横断等の歩行者の挙動が迅速に予測される。従って、前記回避対象判定手段により、前記第１判定処理において、前記姿勢判別手段により判別された前記対称性の度合に基づいて、該歩行者が回避すべき対象であるか否かを判定することで、道路の横断等の歩行者の挙動を迅速に予測して、該歩行者が車両との接触を回避すべき対象であるか否かを迅速に判定することができる。
【００２３】
または、前記第１〜第５発明の車両周辺監視装置において、前記姿勢判別手段は、前記歩行者の体幹軸の傾きを、該歩行者の姿勢を表す特徴量とし、その傾きの度合を判別する手段であることが好ましい（第７発明）。
【００２４】
すなわち、前記歩行者の体幹軸の傾き（体幹軸の方向や角度）は、該歩行者の体幹軸の傾きに関する姿勢を表す特徴量であり、その傾きの度合から、例えば歩行者の姿勢が車両の走行する車線の中心側への前傾姿勢であるか否か等が判る。このとき、一般に、道路を横断しようとする歩行者の姿勢は、車両の走行する車線の中心側への前傾姿勢（その体幹軸を車両の走行する車線の中心側へ前傾させた姿勢）となるので、前記体幹軸の傾きの度合から、道路の横断等の歩行者の挙動が迅速に予測される。従って、前記回避対象判定手段により、前記第１判定処理において、前記姿勢判別手段により判別された前記体幹軸の傾きの度合に基づいて、該歩行者が回避対象であるか否かを判定することで、道路の横断等の歩行者の挙動を迅速に予測して、該歩行者が車両との接触を回避すべき対象であるか否かを迅速に判定することができる。
【発明を実施するための最良の形態】
【００２５】
本発明の一実施形態を添付の図面を参照して説明する。図１は、本実施形態による車両周辺監視装置の機能ブロック図であり、図２は、図１に示した車両周辺監視装置の車両への取り付け態様の説明図であり、図３は、図１の車両周辺監視装置における対象物検出・警報動作を示すフローチャートである。また、図４は、図３の対象物検出・警報動作における処理画像の例示図である。
【００２６】
図１，２を参照して、本実施形態の車両周辺監視装置は、ＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。画像処理ユニット１には、自車両１０に搭載された、２つの赤外線カメラ２Ｒ，２Ｌと、自車両１０のヨーレートを検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を検出する車速センサ４と、自車両１０のブレーキの操作を検出するためのブレーキセンサ５とが接続されている。
【００２７】
また、画像処理ユニット１には、車両周辺監視装置に備えられた、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌを介して取得される画像を表示し、衝突の可能性が高い対象物を運転者に認識させるための表示装置７とが接続されている。表示装置７は、例えば、自車両１０のフロントウィンドウに画像等の情報を表示するＨＵＤ（ヘッドアップディスプレイ）７ａ等を備えている。ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。
【００２８】
赤外線カメラ２Ｒ，２Ｌは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の撮像手段に相当する。
【００２９】
図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前部の右側及び左側に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されている。赤外線カメラ２Ｒ，２Ｌは、２つの２つの赤外線カメラ２Ｒ，２Ｌの光軸が互いに平行であって、且つ、両者の路面からの高さが等しくなるように自車両１０に固定されている。
【００３０】
画像処理ユニット１は、詳細の図示は省略するが、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４及びブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル信号に変換されて入力される。そして、画像処理ユニット１は、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ６や表示装置７を介して運転者に警報を発する処理等を実行する。
【００３１】
より詳しくは、画像処理ユニット１は、その機能として、取得された画像から自車両１０の周辺に存在する対象物を抽出する対象物抽出手段１１と、抽出された対象物のうちから歩行者を抽出する歩行者抽出手段１２と、抽出された歩行者の姿勢を判別する姿勢判別手段１３と、対象物が自車両１０との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段１４と、回避対象判定手段１４の判定結果に応じて自車両１０の機器を制御する車両機器制御手段１５とを備えている。また、画像処理ユニット１は、その機能として、対象物の自車両１０に対する相対位置を逐次検出する相対位置検出手段１６と、対象物の移動方向特徴量を算出する移動方向特徴量算出手段１７とを備える。
【００３２】
対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像から、自車両１０の周辺に存在する対象物を抽出する。具体的には、対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの所定の基準画像（本実施形態では、赤外線カメラ２Ｒを介して取得された画像とする）に２値化処理を施して、基準画像内の画素の輝度値が所定閾値以上である２値化領域が抽出する。さらに、対象物抽出手段１１は、２値化領域からランレングスデータを作成し、ランレングスデータに基づいてラベリング処理等により対象物を抽出する。
【００３３】
相対位置検出手段１６は、基準画像上で対象物抽出手段１１により抽出された対象物に対応する対象物を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での対象物のずれ（視差）に基づいて、対象物の自車両１０に対する距離を検出し、実空間座標に変換して、対象物の車両１０に対する相対位置を検出する。なお、画像に基づいて対象物の相対位置を検出する具体的な手法としては、例えば、上述の特許文献１に記載したような手法を用いることができる。
【００３４】
移動方向特徴量算出手段１７は、相対位置検出手段１６により検出された対象物の相対位置の時系列に基づいて、対象物の自車両１０に対する移動方向を表す移動方向特徴量を算出する。具体的には、移動方向特徴量算出手段１７は、移動方向特徴量として、対象物の自車両１０に対する相対位置の時系列データから、対象物の自車両１０に対する移動ベクトルを算出する。なお、移動ベクトルの算出には、所定期間分の時系列データを要する。
【００３５】
歩行者抽出手段１２は、対象物抽出手段１１により抽出された対象物のうちから歩行者を抽出する。歩行者を抽出する手法としては、例えば、対象物の縦横比や、対象物の面積と該対象物の外接四角形の面積との比等の、対象物の形状を示す特徴や、対象物の大きさ、グレースケール画像上での輝度分散等の特徴に基づいて、対象物が歩行者であるか否かを判定する手法が用いられる。
【００３６】
姿勢判別手段１３は、歩行者抽出手段１２により抽出された歩行者の体幹軸の傾きを、該歩行者の姿勢を表す特徴量とし、その傾きの度合を判別する。なお、歩行者の体幹軸を算出する手法としては、例えば、まず、取得された画像内の画素の輝度値が所定閾値以上である２値化領域からランレングスデータを作成する。そして、作成されたランレングスデータの各ラインの中点の画素の座標で構成される点列データを算出し、点列データを近似する近似直線を歩行者の体幹軸とする手法を用いる。なお、姿勢判別手段１３による判別処理は、逐次（演算処理周期毎に）実行される。
【００３７】
回避対象判定手段１４は、対象物抽出手段１１により抽出された対象物が自車両１０との接触を回避すべき回避対象であるか否かを判定する。このとき、回避対象判定手段１４の実行する判定アルゴリズムには、姿勢判別手段１３により判別された歩行者の姿勢に関する第１判定処理と、移動方向特徴量算出手段１７により算出された対象物の移動方向特徴量に関する第２判定処理とが含まれる。
【００３８】
車両機器制御手段１５は、回避対象判定手段１４により回避対象であると判定された対象物について、自車両１０の運転者に警報を発する。具体的には、車両機器制御手段１５は、スピーカ６を介して音声案内を出力したり、表示装置７に対して例えば赤外線カメラ２Ｒにより得られる画像を出力し、その画像上で回避対象である歩行者等の対象物を強調して自車両１０の運転者に表示する。なお、スピーカ６、表示装置７が、本発明による車両機器制御手段の制御する機器に相当する。
【００３９】
次に、本実施形態の車両周辺監視装置の全体的な作動（対象物検出・警報動作）を、図３に示したフローチャートに従って説明する。図３を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ００１〜ＳＴＥＰ０２０の処理を繰り返して、対象物検出・警報動作を実行する。まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得して（ＳＴＥＰ００１）、Ａ／Ｄ変換し（ＳＴＥＰ００２）、グレースケール画像を画像メモリに格納する（ＳＴＥＰ００３）。なお、赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。右画像と左画像とでは、同一の対象物の画像上での横方向（ｘ方向）の位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００４０】
次に、画像処理ユニット１は、グレースケール画像のうちの基準画像（本実施形態では赤外線カメラ２Ｒにより得られた画像とする）に対して、その画像信号を２値化する（ＳＴＥＰ００４）。すなわち、基準画像の画像信号の輝度値が閾値Ｉthより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理が行われる。閾値Ｉthは、実験的に予め決定される値である。
【００４１】
図４（ａ）に、赤外線カメラ２Ｒによって得られる画像を２値化した画像を例示する。図４（ａ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。太い実線で囲まれた領域は、赤外線カメラ２から得られる画像において、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域である。なお、図４（ａ）に示した例は、自車両１０の前方の左側に歩行者が存在し、自車両１０の前方に他車両が存在しており、歩行者が道路を横断しようとしている例である。
【００４２】
次に、画像処理ユニット１は、２値化処理で「白」となった領域（２値化領域）からランレングスデータを作成する（ＳＴＥＰ００５）。作成されるランレングスデータは、２値化領域を画像の横方向の１次元の連結画素であるラインの集合で表し、該２値化領域を構成する各ランをその始点の座標と、始点から終点までの長さ（画素数）とで示したものである。
【００４３】
次に、画像処理ユニット１は、作成されたランレングスデータに基づいて、対象物のラベリングをする（ＳＴＥＰ００６）ことにより、対象物を抽出する（ＳＴＥＰ００７）。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向（ｙ方向）に重なる部分のあるランを１つの対象物とみなしてラベル（識別子）を付すことにより、画像内の連結した領域を対象物として抽出する。
【００４４】
上述のＳＴＥＰ００５〜００７の処理により、図４（ａ）に示す２値化領域が、図４（ｂ）に例示するように、対象物（２値化対象物）Ｔ１〜Ｔ６として抽出される。このとき、例えばラベルＴ１の対象物は、ｎ個のランレングスデータＬ１〜Ｌｎで示される。なお、抽出される対象物（２値化対象物）には、道路周辺の歩行者以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。図４（ｂ）の例では、対象物Ｔ１は、自車両１０の前方の左側に存在する歩行者に対応する２値化対象物であり、対象物Ｔ２〜Ｔ６は、自車両１０の前方に存在する他車両に対応する２値化対象物である。
【００４５】
次に、画像処理ユニット１は、抽出された対象物の面積Ｓ、重心Ｇ、対象物の外接四角形の縦横比ＡＳＰＥＣＴを算出する（ＳＴＥＰ００８）。具体的には、対象物Ｔ１の面積Ｓは、各ランレングスデータＬｉ（ｉ＝１，．．．，ｎ）で示されるラインの長さを、対象物Ｔ１のｎ個のランレングスデータについて積算することにより算出する。また、対象物Ｔ１の重心Ｇの座標は、各ランレングスデータＬｉで示されるラインの長さと、各ランレングスデータＬｉのラインの中点の座標（ｘ［ｉ］，ｙ［ｉ］）とをそれぞれ掛け合わせ、更にこれを対象物Ｔ１のｎ個のランレングスデータについて積算したものを、面積Ｓで割ることにより算出する。また、対象物Ｔ１の縦横比ＡＳＰＥＣＴは、対象物Ｔ１の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
【００４６】
次に、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算周期毎の同一対象物の認識を行う（ＳＴＥＰ００９）。時刻間追跡処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ００７の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ００７の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの重心Ｇ、面積Ｓ、縦横比ＡＳＰＥＣＴ等に基づいて行われる。そして、それらの対象物Ａ，Ｂが互いに同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベルが対象物Ａのラベルと同じラベルに変更される。なお、この時刻間追跡処理は、２値化した基準画像について実行される。
【００４７】
次に、画像処理ユニット１は、車速センサ４により検出される車速ＶＣＡＲと、ヨーレートセンサ３により検出されるヨーレートＹＲとを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ＳＴＥＰ０１０）。
【００４８】
一方、ＳＴＥＰ００９，０１０の処理に平行して、ＳＴＥＰ０１１〜０１４では、対象物と自車両１０との距離ｚ（自車両１０の前後方向の距離）を算出する処理が行われる。この演算はＳＴＥＰ００９，０１０より長い時間を要するため、ＳＴＥＰ００９，０１０より長い周期（例えばＳＴＥＰ００１〜０１０の実行周期の３倍程度の周期）で実行される。
【００４９】
まず、画像処理ユニット１は、基準画像の２値化画像によって追跡される対象物の中の１つを選択してすることにより、基準画像から探索画像Ｒ１（対象物を囲む外接四角形の領域全体を探索画像とする）を抽出する（ＳＴＥＰ０１１）。
【００５０】
次に、画像処理ユニット１は、参照画像（赤外線カメラ２Ｒ，２Ｌから得られた右画像及び左画像のうちの基準画像でない画像）中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ＳＴＥＰ０１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、参照画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内に、座標（ｘ0，ｙ0）を基点（領域の左上の頂点）とした探索画像Ｒ１と同一形状の局所領域Ｒ３を設定する。そして、基点の座標（ｘ0，ｙ0）を変化させて、探索領域Ｒ２内で局所領域Ｒ３を移動させながら、局所領域Ｒ３と探索画像Ｒ１との相関の度合を示す輝度値の絶対差分和（SAD，Sum of Absolute Difference）Ｃ（ｘ0，ｙ0）を下記式（１）により算出する。
【００５１】
【数１】
ここで、絶対差分和Ｃ（ｘ0，ｙ0）は、探索画像Ｒ１内の座標（ｍ，ｎ）の画素の輝度値ＩＲと、探索領域Ｒ２内の座標（ｘ0，ｙ0）を基点とした局所領域Ｒ３内の座標（ｘ0＋ｍ，ｙ0＋ｎ）の画素の輝度値ＩＬとの差の絶対値を取り、この差の絶対値の探索画像Ｒ１及び局所領域Ｒ３内の全画素（ｍ＝０，．．．，M-1，ｎ＝０，．．．，N-1）についての総和値を求めたものである。なお、絶対差分和Ｃ（ｘ0，ｙ0）の値が小さいほど、探索画像Ｒ１と局所領域Ｒ３との相関の度合が高いことを示す。これにより、絶対差分和Ｃ（ｘ0，ｙ0）が最小となる基点の座標（ｘ0，ｙ0）を求め、この位置の局所領域Ｒ３を対応画像Ｒ４として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。ＳＴＥＰ０１１〜０１２の処理により、基準画像中の探索画像Ｒ１と、参照画像中の対応画像Ｒ４とが抽出される。
【００５２】
次に、画像処理ユニット１は、探索画像Ｒ１の重心位置と、対応画像Ｒ４の重心位置とに基づいて、視差Δｄ（画素数）を算出する（ＳＴＥＰ０１３）。そして、画像処理ユニット１は、算出された視差Δｄを用いて、次式（２）により、自車両１０と対象物との距離ｚを算出する（ＳＴＥＰ０１４）。
【００５３】
ｚ＝Ｂ×Ｆ／（Δｄ×ｐ） …（２）
なお、Ｂは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、Ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離Ｆ、ｐは画素間隔である。
【００５４】
ＳＴＥＰ０１０及びＳＴＥＰ０１４の処理の終了後、画像処理ユニット１は、次に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ０１５）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点（自車両１０に固定された位置）を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向及びＹ方向は、それぞれ自車両１０の左右方向（車幅方向）、上下方向であり、これらのＸ方向及びＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、実空間位置（Ｘ，Ｙ，Ｚ）は、次式（３）（４）（５）により算出される。
【００５５】
Ｘ＝ｘ×ｚ×ｐ／ｆ …（３）
Ｙ＝ｙ×ｚ×ｐ／ｆ …（４）
Ｚ＝ｚ …（５）
次に、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、ＳＴＥＰ０１０で算出した回頭角θｒを用いて、対象物の実空間位置を補正する。（ＳＴＥＰ０１６）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像上では、画像の範囲がｘ方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。
【００５６】
次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ０１７）。具体的には、同一対象物についての実空間位置の、所定期間（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（座標Ｐv1＝（Ｘv1，Ｙv1，Ｚv1））から、現在時刻における該直線上の対象物の位置（座標Ｐv0＝（Ｘv0，Ｙv0，Ｚv0））に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、上述の特許文献１に記載された手法を用いる。また、この処理において、対象物が検出されてから所定期間分の演算処理周期が経過していないために、対象物の実空間位置の時系列データが不足して移動ベクトルを算出することができない場合には、そのままＳＴＥＰ０１８に進む。
【００５７】
次に、画像処理ユニット１は、検出した対象物が回避対象（自車両１０との接触を回避すべき対象）であるか否かを判定する回避判定処理を行う（ＳＴＥＰ０１８）。なお、回避判定処理については、詳細を後述する。ＳＴＥＰ０１８において、検出した対象物が回避対象でないと判定された場合（ＳＴＥＰ０１８の判定結果がＮＯ）には、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。また、ＳＴＥＰ０１８において、検出した対象物が回避対象であると判定された場合（ＳＴＥＰ０１８の判定結果がＹＥＳ）、ＳＴＥＰ０１９の警報出力判定処理へ進む。
【００５８】
ＳＴＥＰ０１９では、画像処理ユニット１は、対象物に関する実際の警報を出力するか否かの判定を行なう警報出力判定処理を行う。この警報出力判定処理では、ブレーキセンサ５の出力ＢＲから、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、警報を出力しないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、警報を出力すると判定される。
【００５９】
そして、画像処理ユニット１は、警報を出力すると判定した場合（ＳＴＥＰ０１９の判定結果がＹＥＳ）には、スピーカ６と表示装置７とによる警報を自車両１０の運転者に対して発する警報出力処理を実行し（ＳＴＥＰ０２０）、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。なお、警報出力処理については、詳細を後述する。また、ＳＴＥＰ０１９で警報を出力しないと判定した場合（全ての対象物について警報を出力しないと判定した場合）には、ＳＴＥＰ０１９の判定結果がＮＯとなり、この場合には、そのままＳＴＥＰ００１に戻り、上述の処理を繰り返す。
【００６０】
以上が、本実施形態の車両周辺監視装置の画像処理ユニット１における対象物検出・警報動作である。これにより、自車両１０の周辺の赤外線画像と、自車両１０の走行状態を示す信号とから、自車両１０の前方の歩行者等の対象物が検出され、回避対象である対象物について運転者に警報が発せられる。
【００６１】
次に、図５に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ０１８における回避判定処理について詳細に説明する。図５は、本実施形態の回避判定処理を示すフローチャートである。回避判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理（移動ベクトル又は姿勢による）、歩行者判定処理、及び人工構造物判定処理により、検出した対象物と自車両１０との衝突の可能性及び対象物の種類を判定して、該対象物が回避対象であるか否かを判定する処理である。
【００６２】
図５を参照して、まず、画像処理ユニット１は、対象物が自車両１０に衝突する可能性の度合を判定する処理の１つとして、衝突判定処理を行う（ＳＴＥＰ１０１）。衝突判定処理は、対象物と自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突する可能性があるか否かを判定する処理である。具体的には、対象物の現在のＺ方向の座標値（距離）Ｚv0がＶｓ×Ｔ以下で、且つ、対象物の現在のＹ方向の座標値（高さ）Ｙv0がＨ以下である場合に、対象物と自車両１０とが衝突する可能性があると判定される。
【００６３】
ここで、図６を参照して説明すると、図６は、自車両１０の走行する道路を上方から見た図であり、自車両１０の前方の領域区分が示されている。図６に示したように、赤外線カメラ２Ｒ，２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内のＺ１（＝Ｖｓ×Ｔ）より自車両１０に近い領域が、対象物と自車両１０との衝突の可能性がある領域である。なお、高さＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００６４】
ＳＴＥＰ１０１の判定結果がＮＯの場合（余裕時間Ｔ内に対象物と自車両１０とが衝突する可能性がない）には、車両１０の操舵やブレーキ操作によって対象物と車両１０との衝突を余裕を持って回避しうる状況である。この場合には、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００６５】
ＳＴＥＰ１０１の判定結果がＹＥＳの場合（余裕時間Ｔ内に対象物と自車両１０とが衝突する可能性がある）には、ＳＴＥＰ１０２に進み、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、画像処理ユニット１は、対象物が接近判定領域ＡＲ１内に存在するか否かの判定処理を行う。接近判定領域ＡＲ１は、図６に示したように、上述の領域ＡＲ０内のＺ１より自車両１０に近い領域のうちの、自車両１０の車幅αの両側に余裕βを加えた幅（α＋２β）を有する領域ＡＲ１である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００６６】
ＳＴＥＰ１０２の判定結果がＹＥＳの場合（対象物が接近判定領域ＡＲ１内に存在している）には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両１０と衝突する可能性が高い。この場合には、ＳＴＥＰ１０３に進み、画像処理ユニット１は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。歩行者判定処理は、対象物の形状、大きさ、グレースケール画像上での輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。なお、歩行者判定処理の具体的な手法としては、例えば、本出願人による特開２００３−２８４０５７号公報に記載されているような手法を用いることができる。
【００６７】
ＳＴＥＰ１０３の判定結果がＹＥＳの場合（対象物は歩行者の可能性がある）には、ＳＴＥＰ１０４に進み、更に対象物が歩行者である可能性の判定の信頼性を上げるために、画像処理ユニット１は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、警報の対象から除外する処理である。
【００６８】
ＳＴＥＰ１０４の判定結果がＮＯの場合（対象物が人工構造物でない）には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。従って、対象物が接近判定領域ＡＲ１に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。
【００６９】
また、ＳＴＥＰ１０３の判定結果がＮＯの場合（対象物は歩行者の可能性がない）、あるいは、ＳＴＥＰ１０４の判定結果がＹＥＳの場合（対象物が人工構造物である）には、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００７０】
一方、ＳＴＥＰ１０２の判定結果がＮＯの場合（対象物が接近判定領域ＡＲ１内に存在しない）には、ＳＴＥＰ１０５に進み、画像処理ユニット１は、対象物が接近判定領域ＡＲ１内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ＳＴＥＰ１０５〜１０６）。ここで、図６に示したように、領域ＡＲ０内で上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域ＡＲ１の横方向外側の）領域ＡＲ２，ＡＲ３を進入判定領域とする。進入衝突判定処理は、進入判定領域ＡＲ２，ＡＲ３内にある対象物が、移動することにより接近判定領域ＡＲ１に進入して自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２，ＡＲ３も所定高さＨを有する。
【００７１】
まず、ＳＴＥＰ１０５で、対象物の移動ベクトルに基づく進入衝突判定処理が行われる。この移動ベクトルに基づく進入衝突判定処理は、本発明の回避対象判定手段の実行する判定アルゴリズムの第２判定処理に相当する。また、対象物が回避対象である（衝突の可能性が高い）と判定する第２要件は、対象物の移動する方向が自車両に向かってくる方向であるという要件である。具体的には、自車両１０の前面のＸＹ平面（自車両１０の前後方向に垂直な面）と、対象物の移動ベクトルを含む直線との交点のＸ座標（車幅方向の位置）が、自車両１０の車幅αよりも若干広い所定範囲内に存在する場合（対象物が相対的に自車両１０に向かってくる場合）に、衝突の可能性が高いと判定される。なお、上述のＳＴＥＰ０１７で移動ベクトルが算出できなかった場合には、ＳＴＥＰ１０５の判定結果はＮＯとする。
【００７２】
ＳＴＥＰ１０５の判定結果がＹＥＳの場合には、対象物が将来、自車両１０と衝突する可能性が高い。そこで、この場合には、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。
【００７３】
ＳＴＥＰ１０５の判定結果がＮＯの場合には、ＳＴＥＰ１０６に進み、姿勢による進入衝突判定処理が行われる。この姿勢による進入衝突判定処理は、本発明の回避対象判定手段の実行する判定アルゴリズムの第１判定処理に相当する。また、対象物が回避対象である（衝突の可能性が高い）と判定する第１要件は、対象物が歩行者であり、且つ、該歩行者の姿勢が、自車両１０の走行する車線の中心側への前傾姿勢であるという要件である。なお、姿勢による進入衝突判定処理については、詳細を後述する。ＳＴＥＰ１０６の判定結果がＹＥＳの場合には、対象物が将来、自車両１０と衝突する可能性が高い。そこで、この場合には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。また、ＳＴＥＰ１０６の判定結果がＮＯの場合には、対象物が自車両１０と衝突する可能性が低いので、ＳＴＥＰ１０８に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。
【００７４】
以上が、回避判定処理の詳細である。
【００７５】
次に、図３に示したフローチャートのＳＴＥＰ０２０における警報出力処理について詳細に説明する。この警報出力処理では、表示装置７に基準画像を表示すると共に、その基準画像中の回避対象である対象物の画像を強調的に表示する。さらに、回避対象である対象物が存在することをスピーカ６から運転者に音声案内する。これにより、回避対象である対象物に対する運転者の注意が喚起される。なお、運転者に対する警報は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。
【００７６】
このとき、画像処理ユニット１は、上述のＳＴＥＰ０１８の回避判定処理において、ＳＴＥＰ１０５の判定結果がＹＥＳとなって対象物が回避対象であると判定された場合（以下、ＣＡＳＥ１とする）と、ＳＴＥＰ１０６の判定結果がＹＥＳとなって対象物が回避対象であると判定された場合（以下、ＣＡＳＥ２とする）とで、運転者に対して異なる形態の警報を発する。具体的には、例えば、表示装置７の画像上で回避対象に枠を付けて強調表示する際に、ＣＡＳＥ１とＣＡＳＥ２とで異なる色を用いたり、ＣＡＳＥ２ではＣＡＳＥ１よりも色を薄くしたり、ＣＡＳＥ２ではＣＡＳＥ１より枠を細くする。もしくは、スピーカ６で音声案内する際に、ＣＡＳＥ１とＣＡＳＥ２とで音声案内の案内文のパターンを異ならせたり、音声案内の音声の種類（例えば周波数）を異ならせる。もしくは、ＣＡＳＥ１ではスピーカ６による音声案内と表示装置７による強調表示との両方を行い、ＣＡＳＥ２では表示装置７による強調表示のみを行う。これにより、回避対象の判定結果の信頼性や回避の緊急性等が異なることが運転者に把握されるように、より適切に警報が発せられる。
【００７７】
以上が、警報出力処理の詳細である。
【００７８】
次に、図５に示したフローチャートのＳＴＥＰ１０６における姿勢による進入衝突判定処理について詳細に説明する。姿勢による進入衝突判定処理は、進入判定領域ＡＲ２、ＡＲ３内にある対象物が歩行者である場合に、該歩行者の姿勢（歩行者の体幹軸の傾きに関する姿勢）に基づいて該歩行者の挙動を予測して、該歩行者が回避対象であるか否か（自車両１０との衝突の可能性があるか否か）を判定する処理である。なお、以下の説明では、図４（ａ）に示した例（自車両１０の前方の左側に歩行者が存在し、自車両１０の前方に他車両が存在しており、歩行者が道路を横断しようとしている場合）を用いて説明する。
【００７９】
ＳＴＥＰ１０６において、まず、歩行者抽出手段１２により、検出された対象物のうちから歩行者を抽出する処理が行われる。このとき、対象物の縦横比ＡＳＰＥＣＴと、対象物の面積ＳＡと該対象物の外接四角形の面積ＳＢとの比ＳＡ／ＳＢとが、所定範囲にある場合に、対象物が歩行者であると判定され、該対象物が歩行者として抽出される。なお、前記所定範囲は、対象物が歩行者の上半身や全身に相当する値として予め定められる範囲である。これにより、図４（ｂ）に例示するように、対象物Ｔ１〜Ｔ６のうちから、枠Ｒ１で囲われた対象物Ｔ１が歩行者として抽出される。なお、歩行者が抽出されなかった場合には、ＳＴＥＰ１０６の判定結果はＮＯとなる。また、歩行者を抽出する処理では、例えば、ＳＴＥＰ１０３の歩行者判定処理等で用いられるような他の手法を用いてもよい。
【００８０】
次に、歩行者が抽出された場合には、姿勢判別手段１３により、抽出された歩行者Ｔ１の姿勢を判別する処理が行われる。以下では、図７（ａ）（ｂ）を参照して説明する。図７（ａ）（ｂ）には、それぞれ、図４（ｂ）に例示した枠Ｒ１で囲まれた領域（歩行者Ｔ１が含まれる）が示されている。
【００８１】
まず、姿勢判別手段１３は、歩行者Ｔ１の体幹軸を算出する。具体的には、まず、姿勢判別手段１３は、抽出された歩行者Ｔ１のランレングスデータＬ１〜Ｌｎから、各ランレングスデータＬｉで示されるラインの中点の画素の座標で構成される点列データＰ_T1を算出する。図７（ａ）を参照して、歩行者Ｔ１として抽出された対象物に相当する２値化領域は、図示のように、ｎ個のランレングスデータＬ１〜Ｌｎで表される。図７（ｂ）には、ランレングスデータＬ１〜Ｌｎが示されており、その中点Ｍ１〜Ｍｎは、図示のようになる。そして、点列データＰ_T1は、中点Ｍ１〜Ｍｎの座標データ｛（Ｘ１,Ｙ１），（Ｘ２,Ｙ２），．．．，（Ｘｎ,Ｙｎ）｝で構成される。なお、図７（ｂ）において、座標軸Ｘ，Ｙは図示のように設定されている。このとき、Ｘ軸は自車両１０の左右方向に平行な軸であり、Ｙ軸は上下方向軸である。
【００８２】
次に、姿勢判別手段１３は、算出された点列データＰ_T1を近似する近似直線Ｓ１を算出する。このとき、近似法としては、最小二乗法が用いられる。これにより、図７（ｂ）に示したように、近似直線Ｓ１＝ａＸ＋ｂが算出される。この近似直線Ｓ１は、歩行者Ｔ１の体幹軸に相当するものである。
【００８３】
次に、姿勢判別手段１３は、算出された近似直線Ｓ１に基づいて、歩行者Ｔ１の体幹軸の傾きの度合を判別する。具体的には、本実施形態では、歩行者Ｔ１の体幹軸が自車両１０の走行する車線の中心側へ前傾しているか否か（歩行者Ｔ１の姿勢が自車両１０の走行する車線に向かう前傾姿勢であるか否か）が判別される。まず、姿勢判別手段１３は、図７（ｂ）に示したように、近似直線Ｓ１と上下方向軸Ｙとのなす角度θ＝tan-1ａを算出する。次に、姿勢判別手段１３は、角度θに基づいて、歩行者Ｔ１の体幹軸が自車両１０の走行する車線の中心側へ前傾しているか否かを判別する。なお、本実施形態では、角度θは、上下方向軸Ｙ方向を０度とし、上下方向軸Ｙから自車両１０の走行する車線の中心側へ向かう方向を正（図７（ｂ）に示した例では時計回りを正）とするように設定されている。
【００８４】
このとき、角度θが閾値θ１以上で閾値θ２以下（０＜θ１＜θ２）の場合に、自車両１０の走行する車線側へ前傾していると判別される。なお、閾値θ１，θ２は、歩行者が移動しているときに、その体幹軸が進行方向に対して一般的に取る角度の範囲を示す値として予め定められる値である。この歩行者Ｔ１の姿勢の判別結果に基づいて、道路の横断等の歩行者Ｔ１の挙動が事前に迅速に予測される。図７（ｂ）の例では、θ１≦θ≦θ２となり、歩行者Ｔ１が自車両１０の走行する車線に向かう前傾姿勢であると判別される。これにより、歩行者Ｔ１が道路を横断しようとしていることが予測される。
【００８５】
次に、回避対象判定手段１４により、姿勢判別手段１３の歩行者Ｔ１の姿勢の判別結果に基づいて、歩行者Ｔ１が回避対象であるか否かが判定される。このとき、例えば、歩行者Ｔ１が自車両１０の走行する車線に向かう前傾姿勢である場合（ＳＴＥＰ１０６の判定結果がＹＥＳ）には、歩行者Ｔ１が道路を横断しようとしていることが予測されることから、ＳＴＥＰ１０７で、対象物が回避対象であると判定される。これにより、例えば、進入判定領域ＡＲ２，ＡＲ３に存在する歩行者Ｔ１が急に車道に飛び出すような場合に、図３のＳＴＥＰ０１９〜０２０の警報出力判定及び警報出力が迅速に行われる。
【００８６】
以上の処理により、本実施形態によれば、赤外線カメラ２Ｒ，２Ｌを介して取得される画像から、自車両１０の周辺の歩行者のうちの回避対象となる歩行者を迅速に判定して、自車両１０の運転者に情報提示を行うことができる。
【００８７】
なお、本実施形態では、前述したように、画像処理ユニット１が、その機能として、本発明の対象物抽出手段１１と、歩行者抽出手段１２と、姿勢判別手段１３と、回避対象判定手段１４と、車両機器制御手段１５と、相対位置検出段１６と、移動方向特徴量算出手段１７とを含んでいる。より具体的には、図３のＳＴＥＰ００４〜００８が対象物抽出手段１１に相当し、ＳＴＥＰ０１１〜０１６が相対位置検出段１６に相当し、ＳＴＥＰ０１７が移動方向特徴量算出手段１７に相当し、ＳＴＥＰ０１８が回避対象判定手段１４に相当し、ＳＴＥＰ０１９〜０２０が車両機器制御手段１５に相当する。さらに、図５のＳＴＥＰ１０６における対象物のうちから歩行者を抽出する処理が歩行者抽出手段１２に相当し、ＳＴＥＰ１０６における歩行者の姿勢を判別する処理が姿勢判別手段１３に相当する。
【００８８】
次に、本発明の第２実施形態について説明する。なお、本実施形態は、第１実施形態において、画像処理ユニット１の機能である姿勢判別手段１３と回避対象判定手段１４との作動のみが相違するものであり、本実施形態における車両周辺監視装置の機能ブロック図は図１と同じである。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。
【００８９】
本実施形態の車両周辺監視装置において、画像処理ユニット１の機能である姿勢判別手段１３は、歩行者抽出手段１２により抽出された歩行者の画像上での、自車両１０の左右方向における対称性を、該歩行者の姿勢を表す特徴量とし、その対称性の度合を判別する。なお、歩行者の画像上での自車両１０の左右方向における対称性を算出する手法としては、例えば、グレースケール画像上で輝度分布に基づいて歩行者の頭部領域を設定し、頭部領域を基準として右領域と左領域とを設定して、右領域と左領域との相関演算により対称性を算出する手法が用いられる。以上説明した以外の構成は、第１実施形態と同じである。
【００９０】
次に、本実施形態の車両周辺監視装置の全体的な作動（対象物検出・警報動作）を説明する。なお、本実施形態における車両周辺監視処理の対象物検出・警報動作は、第１実施形態と、回避判定処理における歩行者の姿勢を判別して進入衝突判定を行う処理（図５のＳＴＥＰ１０６）のみが相違するものである。本実施形態における回避判定処理のフローチャートは図５と同じであるので、以下の説明では、図５に示したフローチャートを参照して説明する。なお、以下の説明では、第１実施形態と同様に、図４（ａ）に示した例（自車両１０の前方の左側に歩行者が存在し、自車両１０の前方に他車両が存在しており、歩行者が道路を横断しようとしている場合）を用いて説明する。
【００９１】
ＳＴＥＰ１０６において、まず、第１実施形態と同様に、歩行者抽出手段１２により、検出された対象物のうちから歩行者を抽出する処理が行われる。これにより、図４（ｂ）に例示するように、対象物Ｔ１〜Ｔ６のうちから、枠Ｒ１で囲われた対象物Ｔ１が歩行者として抽出される。なお、歩行者が抽出されなかった場合には、ＳＴＥＰ１０６の判定結果はＮＯとなる。
【００９２】
次に、歩行者が抽出された場合には、姿勢判別手段１３により、抽出された歩行者Ｔ１の姿勢を判別する処理が行われる。以下では、図８を参照して説明する。図８には、グレースケール画像上の、図４（ｂ）に例示した枠Ｒ１で囲まれた領域（歩行者Ｔ１が含まれる）に対応する領域が示されている。
【００９３】
まず、姿勢判別手段１３は、歩行者Ｔ１の画像上での自車両１０の左右方向における対称性を算出する。このとき、まず、姿勢判別手段１３は、グレースケール画像上で、抽出された歩行者Ｔ１の頭部領域ＴＨ１を設定する。具体的には、姿勢判別手段１３は、グレースケール画像上において、抽出された歩行者Ｔ１に対応する領域にプロジェクションエリアを設定し、縦方向の輝度プロジョクション（画素毎の輝度を縦方向に積算した積算輝度の横方向の分布）を算出して、積算輝度が最大ピークを示す横方向座標を検出する。そして、姿勢判別手段１３は、検出した横方向座標を中心にして、歩行者Ｔ１の頭部位置に相当すると推定される領域を、図８に示したように、頭部領域ＴＨ１として設定する。
【００９４】
次に、姿勢判別手段１３は、図８に示したように、枠Ｒ１で囲まれた領域内の頭部領域ＴＨ１の下側のうちの左右両側の部分に、右領域ＴＲ１と左領域ＴＬ１とを設定する。右領域ＴＲ１、左領域ＴＬ１は、自車両１０の前後方向と歩行者の前後方向とが同じである場合（自車両１０の進行方向と歩行者の移動方向とがほぼ同じ場合）に、それぞれ、歩行者の右肩、左肩が含まれるように設定される。図８に示した例では、歩行者Ｔ１の移動方向は右側（車線の中心側）であり、右領域ＴＲ１が車線の中心側に近い部分である。
【００９５】
次に、姿勢判別手段１３は、右領域ＴＲ１を左右反転した画像と、左領域ＴＬ１との相関の度合を示す輝度値の絶対差分和を算出する。この絶対差分和は、歩行者Ｔ１の画像上での自車両１０の左右方向における対称性の度合を表す。
【００９６】
次に、姿勢判別手段１３は、算出された絶対差分和に基づいて、歩行者Ｔ１の画像上での自車両１０の左右方向における対称性の度合を判別する。具体的には、本実施形態では、対称性の度合が低いか否か（歩行者Ｔ１の姿勢が前傾姿勢であるか否か）が判別される。このとき、算出された絶対差分和が所定値以上（相関の度合が低い）である場合に、対称性の度合が低いと判別する。図８の例では、算出された絶対差分和が所定値以上となり、対称性の度合が低いと判別される。これにより、歩行者Ｔ１が車線の中心側又は反対側への前傾姿勢であることが判る。
【００９７】
さらに、対称性の度合が低いと判別された場合に、姿勢判別手段１３は、右領域ＴＲ１と左領域ＴＬ１とにおける輝度分布に基づいて、歩行者Ｔ１が車線の中心側への前傾姿勢であるか否かを判別する。例えば、姿勢判別手段１３は、領域ＴＲ１，ＴＬ１における輝度の平均値を算出し、車線の中心側の領域における平均値が、反対側の領域における平均値より小さい場合には、歩行者Ｔ１が車線の中心側への前傾姿勢であると判別する。図８の例では、車線の中心側の領域は右領域ＴＲ１であり、算出された右領域ＴＲ１の平均値は左領域ＴＬ１の平均値より小さくなり、歩行者Ｔ１が自車両１０の走行している車線の中心側に向かう前傾姿勢と判別される。これにより、歩行者Ｔ１が道路を横断しようとしていることが予測される。
【００９８】
次に、回避対象判定手段１４により、姿勢判別手段１３の歩行者Ｔ１の姿勢の判別結果に基づいて、歩行者Ｔ１が回避対象であるか否かが判定される。このとき、例えば、歩行者Ｔ１が自車両１０の走行する車線の中心側への前傾姿勢である場合（ＳＴＥＰ１０６の判定結果がＹＥＳ）には、歩行者Ｔ１が道路を横断しようとしていることが予測されることから、ＳＴＥＰ１０７で、対象物が回避対象であると判定される。これにより、例えば、進入判定領域ＡＲ２，ＡＲ３に存在する歩行者Ｔ１が急に車道に飛び出すような場合に、図３のＳＴＥＰ０１９〜ＳＴＥＰ０２０の警報出力判定及び及び警報出力が迅速に行われる。以上説明した以外の作動は、第１実施形態と同じである。
【００９９】
以上の処理により、本実施形態によれば、第１実施形態と同様に、赤外線カメラ２Ｒ，２Ｌを介して取得される画像から、自車両１０の周辺の歩行者のうちの回避対象となる歩行者を迅速に判定して、自車両１０の運転者に情報提示を行うことができる。
【０１００】
なお、前記第１及び第２実施形態では、画像処理ユニット１は、ＳＴＥＰ０１８の回避判定処理で、進入衝突判定処理として、対象物の移動ベクトルによる進入衝突判定処理（ＳＴＥＰ１０５）と、歩行者の姿勢による進入衝突判定処理（ＳＴＥＰ１０６）とのいずれもを実行するものとしたが、他の実施形態として、例えば、進入衝突判定処理として、歩行者の姿勢による進入衝突判定処理（ＳＴＥＰ１０６）のみを実行するようにしてもよい。
【０１０１】
また、前記第１及び第２実施形態では、画像処理ユニット１は、ＳＴＥＰ０１８で回避対象であると判定された対象物について、自車両１０の運転者に警報を発するものとしたが、他の実施形態として、例えば、車両１０が、車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能（ひいては車両１０の走行挙動を操作可能）なものである場合には、ＳＴＥＰ０１８で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように自車両１０のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。
【０１０２】
例えば、運転者によるアクセルペダルの必要踏力が、回避対象の対象物が存在しない場合（通常の場合）よりも大きくなるようにアクセル装置を制御して、加速しにくくする。あるいは、回避対象と車両１０との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行い得るようにする。あるいは、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両１０の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、回避対象との接触を避けるための車両１０の運転が容易になる。
【０１０３】
なお、このような自車両１０のステアリング装置や、アクセル装置、ブレーキ装置を制御する場合、これらの装置が本発明における車両機器制御手段が制御する機器に相当するものとなる。また、上記のようなステアリング装置の制御と、表示装置７もしくはスピーカ６による警報とは、並行して行うようにしてもよい。
【０１０４】
また、第１及び第２実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なＣＣＤカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。
【図面の簡単な説明】
【０１０５】
【図１】本発明の第１実施形態による車両周辺監視装置の機能ブロック図。
【図２】図１に示した車両周辺監視装置の車両への取り付け態様の説明図。
【図３】図１の車両周辺監視装置における対象物検出・警報動作を示すフローチャート。
【図４】図３の対象物検出・警報動作における処理画像の例示図。
【図５】図３の対象物検出・警報動作における回避判定処理のフローチャート。
【図６】図５の回避判定処理における車両前方の領域区分を示す説明図。
【図７】図５の回避判定処理における歩行者の姿勢を判別する処理に関する説明図。
【図８】本発明の第２実施形態の回避判定処理における歩行者の姿勢を判別する処理に関する説明図。
【符号の説明】
【０１０６】
２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、１０…車両、１１…対象物抽出手段、１２…歩行者抽出手段、１３…姿勢判別手段、１４…回避対象判定手段、１５…車両機器制御手段、１６…相対位置検出段、１７…移動方向特徴量算出手段。
【特許請求の範囲】
【請求項１】
車両に搭載された撮像手段を介して取得した画像から、該車両の周辺を監視する車両周辺監視装置において、
前記撮像手段を介して取得した画像から、前記車両の周辺に存在する対象物を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された対象物のうちから歩行者を抽出する歩行者抽出手段と、
前記歩行者抽出手段により抽出された歩行者の姿勢を判別する姿勢判別手段と、
少なくとも前記姿勢判別手段により判別された歩行者の姿勢に関する第１判定処理を含む判定アルゴリズムを実行することにより、前記対象物抽出手段により抽出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、
少なくとも前記回避対象判定手段の判定結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする車両周辺監視装置。
【請求項２】
前記車両機器制御手段の制御する機器は、前記車両の運転者に警報を発することが可能な機器を含むことを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】
前記車両機器制御手段の制御する機器は、前記車両の走行挙動を操作可能な機器を含むことを特徴とする請求項１又は請求項２記載の車両周辺監視装置。
【請求項４】
前記対象物抽出手段により抽出された対象物の、前記車両に対する相対位置を逐次検出する相対位置検出手段と、
前記姿勢判別手段の判別処理の実行周期よりも長い時間間隔において、前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づいて、該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段とを備え、
前記回避対象判定手段の実行する判定アルゴリズムは、前記第１判定処理と共に、前記移動方向特徴量算出手段により算出された前記対象物の移動方向特徴量に関する第２判定処理を含み、該第１判定処理は、前記歩行者の姿勢が所定の第１要件を満たすか否かを判定する処理であり、該第２判定処理は、該対象物の移動方向特徴量が所定の第２要件を満たすか否かを判定する処理であり、
前記回避対象判定手段は、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第２要件を満たす場合と、該第２判定処理の判定結果が該第２要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第１要件を満たす場合とに、前記対象物が回避対象であると判定することを特徴とする請求項１〜請求項３のうちいずれか１項記載の車両周辺監視装置。
【請求項５】
前記車両機器制御手段は、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第２要件を満たす場合と、該第２判定処理の判定結果が該第２要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第１要件を満たす場合とで、前記車両の機器を互いに異なる形態で制御することを特徴とする請求項４記載の車両周辺監視装置。
【請求項６】
前記姿勢判別手段は、前記画像上での前記歩行者の、前記車両の左右方向における対称性を、該歩行者の姿勢を表す特徴量とし、その対称性の度合を判別する手段であることを特徴とする請求項１〜請求項５のうちいずれか１項記載の車両周辺監視装置。
【請求項７】
前記姿勢判別手段は、前記歩行者の体幹軸の傾きを、該歩行者の姿勢を表す特徴量とし、その傾きの度合を判別する手段であることを特徴とする請求項１〜請求項５のうちいずれか１項記載の車両周辺監視装置。
【請求項１】
車両に搭載された撮像手段を介して取得した画像から、該車両の周辺を監視する車両周辺監視装置において、
前記撮像手段を介して取得した画像から、前記車両の周辺に存在する対象物を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された対象物のうちから歩行者を抽出する歩行者抽出手段と、
前記歩行者抽出手段により抽出された歩行者の姿勢を判別する姿勢判別手段と、
少なくとも前記姿勢判別手段により判別された歩行者の姿勢に関する第１判定処理を含む判定アルゴリズムを実行することにより、前記対象物抽出手段により抽出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、
少なくとも前記回避対象判定手段の判定結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする車両周辺監視装置。
【請求項２】
前記車両機器制御手段の制御する機器は、前記車両の運転者に警報を発することが可能な機器を含むことを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】
前記車両機器制御手段の制御する機器は、前記車両の走行挙動を操作可能な機器を含むことを特徴とする請求項１又は請求項２記載の車両周辺監視装置。
【請求項４】
前記対象物抽出手段により抽出された対象物の、前記車両に対する相対位置を逐次検出する相対位置検出手段と、
前記姿勢判別手段の判別処理の実行周期よりも長い時間間隔において、前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づいて、該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段とを備え、
前記回避対象判定手段の実行する判定アルゴリズムは、前記第１判定処理と共に、前記移動方向特徴量算出手段により算出された前記対象物の移動方向特徴量に関する第２判定処理を含み、該第１判定処理は、前記歩行者の姿勢が所定の第１要件を満たすか否かを判定する処理であり、該第２判定処理は、該対象物の移動方向特徴量が所定の第２要件を満たすか否かを判定する処理であり、
前記回避対象判定手段は、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第２要件を満たす場合と、該第２判定処理の判定結果が該第２要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第１要件を満たす場合とに、前記対象物が回避対象であると判定することを特徴とする請求項１〜請求項３のうちいずれか１項記載の車両周辺監視装置。
【請求項５】
前記車両機器制御手段は、前記対象物の移動方向特徴量に関する第２判定処理の判定結果が前記第２要件を満たす場合と、該第２判定処理の判定結果が該第２要件を満たさず、且つ、前記歩行者の姿勢に関する第１判定処理の判定結果が前記第１要件を満たす場合とで、前記車両の機器を互いに異なる形態で制御することを特徴とする請求項４記載の車両周辺監視装置。
【請求項６】
前記姿勢判別手段は、前記画像上での前記歩行者の、前記車両の左右方向における対称性を、該歩行者の姿勢を表す特徴量とし、その対称性の度合を判別する手段であることを特徴とする請求項１〜請求項５のうちいずれか１項記載の車両周辺監視装置。
【請求項７】
前記姿勢判別手段は、前記歩行者の体幹軸の傾きを、該歩行者の姿勢を表す特徴量とし、その傾きの度合を判別する手段であることを特徴とする請求項１〜請求項５のうちいずれか１項記載の車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−２７９８０８（Ｐ２００７−２７９８０８Ａ）
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願番号】特願２００６−１０１８３８（Ｐ２００６−１０１８３８）
【出願日】平成１８年４月３日（２００６．４．３）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願日】平成１８年４月３日（２００６．４．３）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]