車両の周辺監視装置、車両、車両の周辺監視方法、並びに車両の周辺監視用プログラム
【課題】歩行者などの対象物が車両の前方を横断しようとしているような状況で、該対象物と車両との接触を回避し得る状態をできるだけ迅速に確立することが可能な車両の周辺監視装置を提供する。
【解決手段】車両１０の前方で検出された対象物の車両１０に対する相対速度が、車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定手段（ＳＴＥＰ１６）と、対象物が車両１０との接触を回避すべき回避対象であるか否かの判定を行なうための判定アルゴリズム（ＳＴＥＰ１９または２０）を、少なくとも速度成分判定手段の判定結果に応じて選択して、その選択した判定アルゴリズム（ＳＴＥＰ１９または２０）を実行することにより対象物が回避対象であるか否かの判定を行なう回避対象判定手段（ＳＴＥＰ１６〜２０）とを備える。
【解決手段】車両１０の前方で検出された対象物の車両１０に対する相対速度が、車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定手段（ＳＴＥＰ１６）と、対象物が車両１０との接触を回避すべき回避対象であるか否かの判定を行なうための判定アルゴリズム（ＳＴＥＰ１９または２０）を、少なくとも速度成分判定手段の判定結果に応じて選択して、その選択した判定アルゴリズム（ＳＴＥＰ１９または２０）を実行することにより対象物が回避対象であるか否かの判定を行なう回避対象判定手段（ＳＴＥＰ１６〜２０）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置などにより車両の周辺に存在する対象物を監視する装置および方法に関する。さらに、その装置を搭載した車両と、その装置の処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
この種の装置としては、例えば特許文献１に見られるものが本願出願人により提案されている。
【０００３】
この技術では、２台の赤外線カメラにより車両の前方を撮像して、その撮像画像から、歩行者、車両などの対象物を検出する。そして、２台の赤外線カメラの撮像画像における対象物の視差などに基づいて、車両に対する対象物の相対位置（実空間位置）を逐次検出し、その相対位置の、ある時間間隔（相対位置の検出周期よりも長い時間間隔）における時系列を基に、対象物の車両に対する相対的な移動方向を表す移動ベクトルを求める。そして、この移動ベクトルの算出後、その移動ベクトルが表す対象物の移動方向に関する判定などを含む判定処理によって、対象物が、運転者に対する警報の対象とすべき警報対象（車両との接触を回避すべき対象）であるか否かを判定する。さらに、対象物が警報対象であると判定した場合には、車両のブレーキ操作などの状態を基に、実際の警報を発するか否かの判定を行い、警報を発すべきと判定した場合には、スピーカや画像による警報を車両の運転者に対し行うようにしている。これにより、車両の運転者に、警報対象の対象物に対する注意を喚起し、該対象物と車両との接触を回避するための処置を運転者が実行し得るようにしている。
【特許文献１】特開２００１−６０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記特許文献１に見られる技術では、前記移動ベクトルを対象物の相対位置の時系列を基に算出しているので、該移動ベクトルは、対象物の車両に対する相対的な移動方向を表すものとしての信頼性は高い。
【０００５】
一方、歩行者や動物等の対象物が車両の前方を横断しようとしているときには、迅速に該対象物の存在を車両の運転者に認識させたりして、該対象物と車両との接触を回避し得る状態を確立することが望ましい。特に、歩行者が車両の前方に飛び出すような横断をしようとしているときには、対象物と車両との接触を回避し得る状態をできるだけ早急に確立することが望まれる。
【０００６】
しかるに、前記特許文献１に見られる技術では、前記移動ベクトルを算出するために時間を要する。そして、前記特許文献１のものでは、前記対象物が警報対象であるか否かを判定する処理において、この移動ベクトルが表す対象物の移動方向に関する判定を行なうため、その判定結果が得られるまでに時間を要する。このため、特に、歩行者の急な飛び出しが行なわれたような場合に、より迅速に、対象物が車両との接触を回避すべき対象であるのか否かを判定し得る技術が望まれていた。
【０００７】
本発明はかかる背景に鑑みてなされたものであり、歩行者などの対象物が車両の前方を横断しようとしているような状況で、該対象物と車両との接触を回避し得る状態をできるだけ迅速に確立することが可能な車両の周辺監視装置および周辺監視方法、並びに車両を提供することを目的とする。さらに、該周辺監視装置の処理をコンピュータに実行させる車両の周辺監視用プログラムに関する。
【課題を解決するための手段】
【０００８】
本発明の車両の周辺監視装置は、かかる目的を達成するために、少なくとも車両の前方側に存在する対象物を検出する対象物検出手段と、前記検出された対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段とを備えた車両の周辺監視装置において、前記対象物検出手段により検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定手段を備え、前記回避対象判定手段は、前記対象物が回避対象であるか否かの判定を行なうための複数種類の判定アルゴリズムを選択的に実行可能な手段であり、少なくとも前記速度成分判定手段の判定結果に応じて前記複数種類の判定アルゴリズムのうちの１つの判定アルゴリズムを選択して、該判定アルゴリズムを実行することにより前記対象物が回避対象であるか否かの判定を行なうことを特徴とする（第１発明）。
【０００９】
かかる本発明（第１発明）によれば、前記速度成分判定手段により、対象物の車両に対する相対速度が前記横方向速度成分を有すると判定されたときには、該対象物が車両の前方を横断しようとしている可能性が高い。これに対して前記相対速度が横方向速度成分を有しないと判定されたときには、該対象物が、停止しているかもしくは、車両と同方向に移動している状況であるので、前記対象物が車両の前方を横断しようとしている可能性は低い。従って、速度成分判定手段の判定結果は、前記対象物検出手段により検出された対象物の、車両の前方での横断の可能性の度合いを表す。このため、速度成分判定手段の判定処理を逐次行いつつ、少なくともその判定結果に応じて、前記回避対象判定手段が実行する判定アルゴリズムを選択することにより、対象物が車両の前方を横断しようとしている状況とそうでない状況とでそれぞれに適した判定アルゴリズムで回避対象判定手段の判定処理を実行できる。例えば前者の状況（速度成分判定手段の判定結果が肯定的となる状況）では、後者の状況（速度成分判定手段の判定結果が否定的となる状況）よりも、より短時間で判定結果を決定し得る１つの判定アルゴリズムを前記複数の判定アルゴリズムから選択して、実行するようにすればよい。逆に後者の状況では、例えば前者の状況よりも、より信頼性の高い判定結果を決定し得る１つの判定アルゴリズムを前記複数の判定アルゴリズムから選択して、実行するようにすればよい。
【００１０】
よって、本発明によれば、歩行者などの対象物が車両の前方を横断しようとしているような状況で、できるだけ迅速に該対象物が回避対象であるか否かの判定を行なうことが可能となる。ひいては、その判定結果に応じた注意喚起（回避対象に対する運転者の注意の喚起）などの処置を適切に実行することが可能となる。また、当該状況以外の状況では、対象物が回避対象であるか否かの判定の信頼性を高めることが可能となる。
【００１１】
かかる本発明では、前記横方向速度成分は、その大きさが前記下限値よりも大きい所定の上限値以下となる速度成分であることが好ましい（第２発明）。
【００１２】
これによれば、横方向速度成分の大きさが前記下限値以上であることに加えて、前記上限値以下であることが、前記速度成分判定手段の判定結果が肯定的となる（横方向速度成分を有すると判定される）ための必要要件となる。ここで、運転者の注意を迅速に喚起することは、特に、人や動物のような特定種類の対象物が車両の前方を横断しようとしている場合にその必要性が高い。また、人や動物のような注意喚起の対象とする必要性の高い対象物は、他車両などの人工的な移動物体に比べて、一般に、道路を横断しようとするときの速度の大きさの上限が比較的低い。従って、横方向速度成分の大きさが前記上限値以下であることが、前記速度成分判定手段の判定結果が肯定的となるための必要要件とすることにより、該判定結果が肯定的となり得る対象物の種類が人や動物などの特定の種類に限定される可能性が高まる。ひいては、その特定種類の対象物が回避対象であるか否かの判定を迅速に行なうことが可能となる。
【００１３】
なお、前記上限値は、例えば前記回避対象判定手段の判定処理で回避対象であると判定され得る特定種類の対象物が一般的に採り得る速度の大きさの最大値付近の値に設定しておけばよい。
【００１４】
また、前記第１発明あるいは第２発明では、前記対象物検出手段により検出された対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段を備え、前記横方向速度成分を、その向きが前記相対位置検出手段により検出された相対位置に応じて定まる所定の要件を満たす向きとなる速度成分としてもよい（第３発明）。
【００１５】
すなわち、対象物が横方向速度成分の大きさが前記下限値以上であっても、その横方向速度成分の向きと該対象物の車両に対する相対位置との組み合わせによっては、対象物が回避対象であるか否かの迅速な判定の必要性が低い場合がある。例えば車両の前方正面の車幅相当の領域の外側（右側もしくは左側）の領域に存在する対象物は、その横方向速度成分の向きが、車両に接近する向き（車両の前方正面の車幅内の領域に向かう向き）である場合には、回避対象の迅速な判定の必要性が高いが、該横方向速度成分の向きは、車両から離れる向きである場合には、回避対象の迅速な判定の必要性は低い。従って、前記横方向速度成分を、その向きが対象物の相対位置に応じて定まる所定の要件を満たす向きとなる速度成分とすることにより、速度成分判定手段の判定処理を、回避対象の迅速な判定の必要性の程度に適合させて行なうことが可能となる。
【００１６】
なお、上記所定の要件としては、例えば、対象物の相対位置が、車両の前方正面の車幅相当の領域（車幅と同等かもしくはそれよりも若干広い幅の領域）の外側の領域に存在するときには、横方向速度成分の向きが車両に接近する向きであること、該相対位置が、車両の前方正面の車幅相当の領域内に存在するときには、横方向速度成分の向きが、左右いずれかの向きであること、などの要件が挙げられる。
【００１７】
また、前記第１発明では、前記対象物検出手段により検出された対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段と、その相対位置が前記車両の前方の所定の領域に存在するか否かを判定する相対位置判定手段とを備え、前記回避対象判定手段は、前記速度成分判定手段の判定結果と前記相対位置判定手段の判定結果との組に応じて前記複数の判定アルゴリズムのうちの１つの判定アルゴリズムを選択して実行するようにしてもよい（第４発明）。
【００１８】
すなわち、対象物の相対位置が、車両から前後方向、あるいは、車幅方向で十分に離れているような場合には、前記速度成分判定手段の判定結果が肯定的であっても、その対象物に関する回避対象の判定を迅速に行なう必要性は一般には低い。従って、前記速度成分判定手段の判定結果と前記相対位置判定手段の判定結果との組に応じて前記複数の判定アルゴリズムのうちの１つの判定アルゴリズムを選択して実行することにより、回避対象判定手段の判定処理をより適切に行なうことが可能となる。
【００１９】
補足すると、この第４発明における前記所定の領域は、前記対象物検出手段により対象物を検出可能な領域のうち、前記車両の前後方向に距離が所定値以下となる領域（以下、第Ａ領域ということがある）、あるいは、前記検出可能な領域のうち、車両の両側で前後方向に延在するように設定された一対の境界線の間の領域（以下、第Ｂ領域ということがある）、あるいは、上記第Ａ領域と第Ｂ領域との合成領域などが挙げられる。そして、この場合、速度成分判定手段の判定結果が肯定的で、且つ、相対位置判定手段の判定結果が肯定的である場合に、速度成分判定手段の判定結果が否定的あるか、または相対位置判定手段の判定結果が否定的である場合に、前記複数の判定アルゴリズムのうち、より短時間で判定結果を決定し得る１つの判定アルゴリズムを選択して実行することが好ましい。
【００２０】
なお、上記第４発明は、前記第２発明または第３発明と組み合わせてもよい。
【００２１】
また、前記第１発明では、前記対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段と、前記速度成分判定手段の判定処理の実行周期よりも長い時間間隔において前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づき該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段を備え、前記速度成分判定手段の判定結果が否定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含むアルゴリズムにより構成され、前記速度成分判定手段の判定結果が肯定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含まないアルゴリズムにより構成されていることが好ましい（第５発明）。
【００２２】
これによれば、前記速度成分判定手段の判定結果が否定的である場合に、前記回避対象判定手段が実行する判定アルゴリズムは、前記移動方向特徴量に関する判定処理を含むので、信頼性の高い判定結果を決定することが可能となる。ただし、前記移動方向特徴量の算出は、速度成分判定手段の判定処理の実行周期よりも長い時間間隔で行なわれるので、回避対象判定手段による判定結果の決定に時間を要する。一方、前記速度成分判定手段の判定結果が肯定的である場合に、前記回避対象判定手段が実行する判定アルゴリズムは、前記移動方向特徴量に関する判定処理を含まないので、該回避対象判定手段による判定結果の決定を短時間で行なうことが可能となる。ひいては、横方向速度成分を有する対象物に関する注意喚起などの処置を迅速に行なうことができる。
【００２３】
同様に、前記第４発明では、前記速度成分判定手段の判定処理の実行周期よりも長い時間間隔において前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づき該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段を備え、前記速度成分判定手段の判定結果または前記相対位置判定手段の判定結果が否定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含むアルゴリズムにより構成され、前記速度成分判定手段の判定結果および前記相対位置判定手段の判定結果が肯定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含まないアルゴリズムにより構成されていることが好ましい（第６発明）。
【００２４】
これによれば、前記速度成分判定手段の判定結果または前記相対位置判定手段の判定結果が否定的である場合に、前記回避対象判定手段が実行する判定アルゴリズムは、前記移動方向特徴量に関する判定処理を含むので、信頼性の高い判定結果を決定することが可能となる。一方、前記速度成分判定手段の判定結果および相対位置判定手段の判定結果が肯定的である場合に、前記回避対象判定手段が実行する判定アルゴリズムは、前記移動方向特徴量に関する判定処理を含まないので、該回避対象判定手段による判定結果の決定を短時間で行なうことが可能となる。ひいては、横方向速度成分を有する対象物に関する注意喚起などの処置を迅速に行なうことができる。
【００２５】
補足すると、上記第５発明または第６発明において、移動方向特徴量に関する判定処理としては、該移動方向特徴量により表される対象物の移動方向が、前記車両の正面に向かってくる方向であるか否かなどの判定処理が挙げられる。また、上記第５発明は、前記第１〜第３発明と組み合わせてもよい。
【００２６】
なお、前記回避対象判定手段が実行する判定アルゴリズムのそれぞれは、特に、対象物の種類の判定処理を含むことが好ましい。さらに、各判定アルゴリズムには、対象物の相対位置または前記横方向速度成分に関する判定処理が含まれていてもよい。
【００２７】
また、本発明の車両は、前記した本発明の周辺監視装置を搭載したことを特徴とする（第７発明）。この車両によれば、本発明の周辺監視装置と同等の効果を奏する車両を実現できる。
【００２８】
また、本発明の車両の周辺監視方法は、少なくとも車両の前方側に存在する対象物を検出し、その検出した対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する車両の周辺監視方法において、前記検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定ステップと、前記対象物が回避対象であるか否かの判定を行なうための判定アルゴリズムを、あらかじめ用意された複数種類の判定アルゴリズムの中から、少なくとも前記速度成分判定ステップの判定結果に応じて選択し、その選択した判定アルゴリズムを実行することにより前記対象物が回避対象であるか否かの判定を行なう回避対象判定ステップとを備えたことを特徴とする（第８発明）。
【００２９】
この第８発明によれば、速度成分判定ステップの判定結果は、本発明の車両の周辺監視装置と同様に、検出された対象物の、車両の前方での横断の可能性の度合いを表すものとなるので、速度成分判定ステップの判定処理を逐次行いつつ、少なくともその判定結果に応じて、前記回避対象判定ステップで実行する判定アルゴリズムを選択することにより、対象物が車両の前方を横断しようとしている状況とそうでない状況とでそれぞれに適した判定アルゴリズムで回避対象判定ステップの判定処理を実行できる。
【００３０】
よって、本発明によれば、歩行者などの対象物が車両の前方を横断しようとしているような状況で、できるだけ迅速に該対象物が回避対象であるか否かの判定を行なうことが可能となる。ひいては、その判定結果に応じた適切な注意喚起などの処置を実行することが可能となる。また、当該状況以外の状況では、対象物が回避対象であるか否かの判定の信頼性を高めることが可能となる。
【００３１】
また、本発明の車両の周辺監視用プログラムは、少なくとも車両の前方側に存在することが検出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する処理をコンピュータに実行させる車両の周辺監視用プログラムであって、前記検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定処理と、前記対象物が回避対象であるか否かの判定を行なうための判定用アルゴリズムを、あらかじめ定められた複数の判定用アルゴリズムの中から、少なくとも前記速度成分判定処理の判定結果に応じて選択し、その選択した判定アルゴリズムにより前記対象物が前記回避対象であるか否かを判定する回避対象判定処理とを前記コンピュータに実行させる機能を備えることを特徴とする（第９発明）。
【００３２】
この第９発明のプログラムによれば、前記第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
【発明を実施するための最良の形態】
【００３３】
本発明の第１実施形態を図１〜図７を参照して以下に説明する。
【００３４】
まず、図１および図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両の外観を示す斜視図である。なお、図２では、周辺監視装置の一部の構成要素の図示を省略している。
【００３５】
図１および図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。この画像処理ユニット１には、車両１の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、車両１０の走行状態を検出するセンサとして、車両１０のヨーレートを検出するヨーレートセンサ３と、車両１０の走行速度（車速）を検出する車速センサ４と、車両１０のブレーキ操作（詳しくはブレーキペダルが操作されているか否か）を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ６と、前記赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。
【００３６】
画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ）、画像メモリなどを含む電子回路により構成され、前記赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル化されて入力される。そして、画像処理ユニット１は、入力されたデータを基に、人（歩行者）などの対象物を検出する処理や、その検出した対象物が車両との接触を回避すべき回避対象であるか否かを判定する処理、回避対象と判定された対象物に対する運転者の注意を喚起する処理などをマイクロコンピュータにより実行する。これらの処理は、マイクロコンピュータのＲＯＭにあらかじめ実装されたプログラムを該マイクロコンピュータにより実行することにより実現され、そのプログラムは、本発明の車両の周辺監視用プログラムを含んでいる。
【００３７】
なお、画像処理ユニット１は、上記プログラムにより実現される機能として、本発明における対象物検出手段、速度成分判定手段、回避対象判定手段、相対位置検出手段を含んでいる。
【００３８】
図２に示すように、前記赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために、車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それらの位置は、自車両１０の車幅方向の中心に対して左右対称である。そして、該赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように車両１０の前部に固定されている。なお、各赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有する撮像装置であり、それにより撮像される物体の温度が高いほど、その物体の画像の出力信号のレベルが高くなる（該物体の画像の輝度が高くなる）特性を有している。
【００３９】
また、前記表示装置７は、本実施形態では、例えば車両１０のフロントウィンドウに画像などの情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７は、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを含んでもよい。
【００４０】
次に、本実施形態の周辺監視装置の全体的動作を図３および図４のフローチャートを参照して説明する。なお、図３のフローチャートの処理のうちの多くの処理は、例えば前記特許文献１に記載されている処理と同じであるので、その同じ処理については、本明細書での詳細な説明は省略する。補足すると、図３のフローチャートの処理は、画像処理ユニット１のマイクロコンピュータが実行するプログラムにより実現される処理である。
【００４１】
まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌのそれぞれの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、それぞれの画像を画像メモリに格納する（ＳＴＥＰ３）。これにより、各赤外線カメラ２Ｒ，２Ｌにより撮像された画像が画像処理ユニット１に取り込まれる。以降、赤外線カメラ２Ｒから得られた画像を右画像、赤外線カメラ２Ｌから得られた画像を左画像という。これらの右画像および左画像は、いずれもグレースケール画像である。
【００４２】
次いで、画像処理ユニット１は、前記右画像および左画像のうちの一方を基準画像とし、この基準画像を２値化する（ＳＴＥＰ４）。基準画像は、本実施形態では右画像である。この２値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域（比較的明るい領域）を「１」（白）とし、該輝度閾値よりも低い輝度値を有する領域（比較的暗い領域）を「０」（黒）とする処理である。以降、この２値化処理により得られる画像（白黒画像）を２値化画像という。そして、この２値化画像のうちの、「１」とされる領域を高輝度領域という。なお、この２値化画像は、グレースケール画像（右画像および左画像）とは別に画像メモリに記憶される。
【００４３】
補足すると、ＳＴＥＰ１〜４の処理は、前記特許文献１の図３のＳ１１〜Ｓ１４の処理と同じである。
【００４４】
次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ５〜７の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像部分）を抽出する。すなわち、前記２値化画像の高輝度領域を構成する画素群を、基準画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類し、その各ラインを、その位置（基準画像上での２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換する（ＳＴＥＰ５）。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付し（ＳＴＥＰ６）、そのライン群のそれぞれを対象物として抽出する（ＳＴＥＰ７）。
【００４５】
なお、ＳＴＥＰ５〜７の処理により抽出される対象物には、一般には、人（歩行者）だけでなく、他車両などの人口構造物なども含まれる。また、同一の物体の複数の局所部分が対象物として抽出される場合もある。
【００４６】
次いで、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（ＳＴＥＰ８）。なお、各対象物の重心の位置は、該対象物に含まれるランレングスデータの各ラインの位置（各ラインの中心位置）の座標に該ラインの長さを乗じたものを、該対象物に含まれるランレングスデータの全てのラインについて加算し、その加算結果を該対象物の面積により除算することにより求められる。また、各対象物の重心の代わりに、該対象物の外接四角形の重心（中心）の位置を求めてもよい。
【００４７】
次いで、画像処理ユニット１は、前記ＳＴＥＰ７で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（ＳＴＥＰ９）。この処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ７の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ７の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの２値化画像上での形状やサイズ、基準画像（グレースケール画像）上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの対象物Ａ，Ｂが互いに同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベル（ＳＴＥＰ６で付したラベル）が対象物Ａのラベルと同じラベルに変更される。
【００４８】
なお、前記したＳＴＥＰ５〜９の処理は、前記特許文献３の図３のＳ１５〜Ｓ１９の処理と同じである。また、ＳＴＥＰ１〜９の処理により、本発明における対象物検出手段が構成される。
【００４９】
次いで、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読み込む（ＳＴＥＰ１０）。なお、このＳＴＥＰ１０では、読込んだヨーレートの検出値を積分することにより、自車両１０の回頭角（方位角）の算出も行なわれる。
【００５０】
一方、画像処理ユニット１は、ＳＴＥＰ９，１０の処理と並行して、ＳＴＥＰ１１〜１３の処理を実行する。このＳＴＥＰ１１〜１３の処理は、ＳＴＥＰ７で抽出した各対象物の自車両１０からの距離を求める処理であり、前記特許文献１の図３のＳ３１〜Ｓ３３の処理と同じである。その処理を概略的に説明すると、まず、右画像（基準画像）のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像Ｒ１として抽出する（ＳＴＥＰ１１）。
【００５１】
次いで、左画像中で、右画像の探索画像Ｒ１に含まれる対象物と同じ対象物を探索するための領域である探索領域Ｒ２が設定され、その探索領域Ｒ２内で、探索画像Ｒ１との相関性が最も高い領域が、探索画像Ｒ１に対応する画像（探索画像Ｒ１と同等の画像）である対応画像Ｒ３として抽出される（ＳＴＥＰ１２）。この場合、左画像の探索領域Ｒ２のうち、右画像の探索画像Ｒ１の輝度分布に最も一致する輝度分布を有する領域が対応画像Ｒ３として抽出される。なお、ＳＴＥＰ１２の処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。
【００５２】
次いで、右画像における前記探索画像Ｒ１の重心の横方向位置（ｘ方向位置）と、左画像における前記対応画像Ｒ３の重心の横方向位置（ｘ方向位置）との差分の画素数を視差Δｄとして算出し、その視差Δｄを用いて、対象物の自車両１０からの距離ｚ（自車両１０の前後方向における距離）が算出される（ＳＴＥＰ１３）。距離ｚは、次式（１）により算出される。
【００５３】
ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ……（１）
なお、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｐは画素ピッチ（１画素分の長さ）である。
【００５４】
以上がＳＴＥＰ１１〜１３の処理の概要である。なお、ＳＴＥＰ１１〜１３の処理は、前記ＳＴＥＰ７で抽出された各対象物に対して実行される。
【００５５】
前記ＳＴＥＰ１０およびＳＴＥＰ１３の処理の終了後、画像処理ユニット１は、次に、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１４）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向およびＹ方向は、それぞれ自車両１０の車幅方向、上下方向であり、これらのＸ方向およびＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、対象物の実空間位置（Ｘ，Ｙ，Ｚ）は次式（２）、（３）、（４）により算出される。
【００５６】
Ｘ＝ｘ×ｚ×ｐ／ｆ ……（２）
Ｙ＝ｙ×ｚ×ｐ／ｆ ……（３）
Ｚ＝ｚ ……（４）
なお、ｘ、ｙは基準画像上での対象物のｘ座標、ｙ座標である。
【００５７】
次いで、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを上記式（２）により求めた値から、前記ＳＴＥＰ１０で求めた回頭角の時系列データに応じて補正する（ＳＴＥＰ１５）。これにより、最終的に対象物の実空間位置が求められる。以降の説明では、「対象物の実空間位置」は、この補正を施した対象物の実空間位置を意味する。なお、対象物の実空間位置は、所定の演算処理周期で逐次算出される。
【００５８】
なお、ＳＴＥＰ１４，１５の処理は、前記特許文献１の図３のＳ２１、Ｓ２２の処理と同じである。以降の説明では、対象物の現在の（今回の演算処理周期での）実空間位置のＸ方向成分（Ｘ方向位置）、Ｙ方向成分（Ｙ方向位置）、Ｚ方向成分（Ｚ方向位置）をそれぞれＸ0，Ｙ0，Ｚ0で表す。
【００５９】
補足すると、ＳＴＥＰ１４，１５の処理は、本発明における相対位置検出手段を構成するものである。
【００６０】
次いで、画像処理ユニット１は、各対象物（同一ラベルの各対象物）について、該対象物が横方向速度成分を有するか否かの判定を行なう（ＳＴＥＰ１６）。補足すると、このＳＴＥＰ１６以降の処理（ＳＴＥＰ１６の処理を含む）は、前記特許文献１の図３の処理とは相違する。
【００６１】
ＳＴＥＰ１６の判定処理は、本実施形態では次のように行なわれる。
【００６２】
すなわち、まず、対象物の実空間位置の前回値（前回の演算処理周期で求めた実空間位置）におけるＸ方向成分（Ｘ方向位置）と、該対象物の実空間位置の今回値（今回の（現在の）演算処理周期で求めた実空間位置）におけるＸ方向成分Ｘ0との差ΔＸが求められる。そして、このΔＸを、演算処理周期の時間で除算してなる値Ｖxが、該対象物の現在の相対速度（車両１０に対する相対速度）の、車幅方向の速度成分として求められる。さらに、この速度成分Ｖxの大きさ（絶対値）が、所定の下限値ＶxL（＞０）以上で、且つ所定の上限値ＶxH（＞下限値）以下である場合（ＶxL≦｜Ｖx｜≦ＶxHである場合）に、該対象物が車両１０に対して横方向速度成分を有すると判定する。また、ＶxL＞｜Ｖx｜、またはＶxH＜｜Ｖx｜である場合には、対象物が横方向速度成分を有しないと判定する。なお、現在の演算処理周期で初めて抽出された対象物（前回の演算処理周期で抽出されていない対象物）については、横方向速度成分を有しないと判定される。また、本実施形態では、対象物の実空間位置の前回値と今回値との２つの値からＶxを求めるようにしたが、例えば前々回値、前回値および今回値など、今回値を含めた最新の３つ以上の実空間位置からＶxを求めるようにしてもよい。その場合、逐次型の移動平均処理によりＶxを求めるようにしてもよい。
【００６３】
ここで、上記下限値ＶxLおよび上限値ＶxHは、本実施形態では、人が道路を横断する場合に一般的にとり得る速度の大きさが該下限値ＶxLと上限値ＶxHとの間に収まるようにあらかじめ設定されている。なお、上限値ＶxHよりも大きい車幅方向の速度成分を有する対象物は、他車両など、歩行者以外の移動物体である可能性が高く、そのような対象物は、ＳＴＥＰ１６において、横方向速度成分を有しないと判定される。従って、ＳＴＥＰ１６で横方向速度成分を有すると判定される対象物は、歩行者（人）である可能性が高い対象物である。また、前記下限値ＶxLは０よりも若干大きい値に設定されるので、対象物の実空間位置の検出誤差などに起因して、車両１０とほぼ同方向もしくは逆方向に移動しているような歩行者、あるいは、静止している物体（例えば電柱や自動販売機など）が、横方向速度成分を有すると判定されるのが回避される。
【００６４】
補足すると、上記下限値ＶxLおよび上限値ＶxHは、人の移動速度だけでなく、人以外の動物の移動速度も考慮して設定するようにしてもよい。また、ＳＴＥＰ１６の判定処理は、本発明における速度成分判定手段、速度成分判定ステップを構成するものであり、速度成分判定用プログラムによって、画像処理ユニット１のマイクロコンピュータが実行する処理である。
【００６５】
ＳＴＥＰ１６の判定結果がＹＥＳである場合（横方向速度成分を有すると判定された対象物が存在する場合）には、画像処理ユニット１は、その横方向速度成分を有すると判定された各対象物についての後述する第１回避対象判定処理（第１回避対象判定アルゴリズム）を実行する（ＳＴＥＰ１９）。また、ＳＴＥＰ１６の判定結果がＮＯである場合（横方向速度成分を有しないと判定された対象物が存在する場合）には、画像処理ユニット１は、その対象物についての実空間位置の時系列データの個数が所定数Ｎ（ＮはＳＴＥＰ１６で横方向速度成分を求めるときのサンプル数よりも大きい個数で、例えば１０個）に達したか否かを判断する（ＳＴＥＰ１７）。そして、該対象物の実空間位置の時系列データが所定数Ｎに満たない場合には、ＳＴＥＰ１からの処理を繰り返す。これにより、実空間位置を算出する演算処理周期のＮ−１倍の時間間隔（これは実空間位置の演算処理周期よりも長い）を対象物の実空間位置のモニタ期間（観測期間）とし、このモニタ期間での対象物の実空間位置の時系列データが得られる。なお、ＳＴＥＰ１７の処理では、時系列データの個数を判断する代わりに、各対象物について、それが初めて抽出された時からの経過時間が所定時間（上記所定数Ｎに対応する時間）に達したか否かを判断するようにしてもよい。
【００６６】
補足すると、各演算処理周期において、ＳＴＥＰ１６の判定結果がＹＥＳとなる対象物と、ＮＯとなる対象物とが混在する場合には、ＹＥＳとなる対象物についての第１回避対象判定処理の実行が優先され、その実行後に、ＳＴＥＰ１７からの処理が行なわれる。
【００６７】
また、ＳＴＥＰ１６の判定結果がＮＯとなった対象物（横方向速度成分を有しないと判定された対象物）についての実空間位置の時系列データの個数が所定数Ｎに達した場合には、画像処理ユニット１は、該対象物の車両１０に対する相対的な移動方向を表す移動方向特徴量としての移動ベクトルを求める（ＳＴＥＰ１８）。具体的には、該対象物についての実空間位置のＮ個の時系列データを近似する直線を最小２乗法などの近似手法により求め、（Ｎ−１）周期前の演算処理周期の時刻での該直線上の対象物の位置（点）から、現在時刻（今回の演算処理周期の時刻）における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。この移動ベクトルは、対象物の車両１０に対する相対速度ベクトルに比例する。なお、移動ベクトルの代わりに、例えば、車両１０の前後方向もしくは車幅方向に対する上記直線の方位角などを対象物の移動方向特徴量として算出するようにしてもよい。
【００６８】
補足するとＳＴＥＰ１８の処理は、本発明における移動方向特徴量算出手段を構成するものである。
【００６９】
そして、画像処理ユニット１は、上記のように移動ベクトルを算出した後、その移動ベクトルを算出した対象物についての後述する第２回避対象判定処理（第２回避対象判定アルゴリズム）を実行する（ＳＴＥＰ２０）。なお、各演算処理周期において、ＳＴＥＰ１６の判定結果がＹＥＳとなる対象物と、ＮＯとなる対象物とが混在し、且つ、その判定結果がＮＯとなる対象物についての実空間位置の時系列データの個数がＮ個に達した場合には、ＳＴＥＰ１６の判定結果がＹＥＳとなる対象物（横方向速度成分を有すると判定された対象物）についての第１回避対象判定処理の実行が優先され、その実行後に、ＳＴＥＰ１６の判定結果がＮＯとなる対象物（横方向速度成分を有しないと判定された対象物）についての第２回避対象判定処理が実行される。
【００７０】
前記第１回避対象判定処理および第２回避対象判定処理は、詳細は後述するが、対象物が、車両１０との接触を回避すべき回避対象であるか否かを判定する処理であり、基本的には対象物が車両１０に接触する可能性の度合いや対象物の種類に関する判定処理によって、該対象物が回避対象であるか否かを判定する。なお、これらの回避対象判定処理は、マイクロコンピュータのＲＯＭに実装されたサブルーチンプログラムを該マイクロコンピュータが実行することにより実現される。
【００７１】
そして、ＳＴＥＰ１９の判定結果がＹＥＳである場合、あるいは、ＳＴＥＰ２０の判定結果がＹＥＳである場合、すなわち、ＳＴＥＰ１９または２０で対象物が回避対象であると判定された場合には、ＳＴＥＰ２１に進んで、画像処理ユニット１は、該対象物に対する車両１０の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を実行する。
【００７２】
この注意喚起出力判定処理では、前記ブレーキセンサ５の出力から、運転者による車両１０のブレーキ操作がなされていることが確認され、且つ、車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行なわないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行なうべきと判定される。
【００７３】
そして、画像処理ユニット１は、注意喚起を行なうべきと判定した場合（ＳＴＥＰ２１の判定結果がＹＥＳとなる場合）には、前記スピーカ６と表示装置７とによる注意喚起を車両１０の運転者に対して行なう注意喚起処理を実行し（ＳＴＥＰ２１）、さらにＳＴＥＰ１からの処理を繰り返す。この注意喚起処理では、例えば表示装置７に前記基準画像を表示すると共に、その基準画像中の対象物（ＳＴＥＰ１９または２０で回避対象であると判定された対象物）の画像を強調的に表示する。さらに、そのような回避対象の対象物が存在することをスピーカ６から運転者に音声案内する。これにより、該対象物に対する運転者の注意が喚起され、該運転者は、該対象物と車両１０との接触を回避するための体制を整えることができる。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。また、車両１０が自動操舵を行い得る車両である場合には、ＳＴＥＰ１９または２０で回避対象であると判定された対象物との接触を回避するように車両１０の操舵制御を実行するようにしてもよい。
【００７４】
また、ＳＴＥＰ２１で注意喚起を行なわないと判断したとき（全ての回避対象の対象物について注意喚起を行なわないと判断したとき）には、ＳＴＥＰ２１の判断結果がＮＯとなり、この場合には、そのままＳＴＥＰ１からの処理が再開される。
【００７５】
補足すると、ＳＴＥＰ１６〜ＳＴＥＰ２０の処理は、本発明における回避対象判定手段、回避対象判定ステップを構成するものである。この場合、本実施形態では、対象物が回避対象であるか否かを判定する判定アルゴリズムとして、ＳＴＥＰ１９，２０の２つのアルゴリズムを備えている。
【００７６】
以上が本実施形態の周辺監視装置の全体的作動である。
【００７７】
次に、説明を後回しにした前記ＳＴＥＰ１９および２０の判定処理を図５〜図７を参照して以下に詳説する。図５はＳＴＥＰ１９の第１回避対象判定処理を示すフローチャート、図６はＳＴＥＰ２０の第２回避対象判定処理を示すフローチャート、図７は後述する第１領域ＡＲ１、第２領域ＡＲ２、第３領域ＡＲ３などを平面視で示す図である。
【００７８】
まず、ＳＴＥＰ１９の判定処理を図５および図７を参照して説明する。ＳＴＥＰ１９の第１回避対象判定処理は、前記ＳＴＥＰ１６で横方向速度成分を有すると判定された対象物のそれぞれについて実行される判定処理（判定アルゴリズム）であり、図５のフローチャートで示す如く実行される。
【００７９】
まず、対象物の実空間位置（車両１０に対する相対位置）に関する１つの判定処理としての第１対象物位置判定処理が実行される（ＳＴＥＰ３１）。この第１対象物位置判定処理は、車両１０と対象物との接触を車両１０の操舵やブレーキ操作によって余裕をもって回避できるか否かを判定するための処理である。具体的には、該第１対象物位置判定処理では、赤外線カメラ２Ｒ，２Ｌにより撮像される車両１０の前方の領域（赤外線カメラ２Ｒ，２Ｌの視野角内の領域。以下、撮像領域という）のうち、車両１０からのＺ方向の距離（車両１０の前後方向の距離）が、所定値以下となる領域ＡＲ１（以下、第１領域ＡＲ１という）に対象物の現在の実空間位置（実空間位置の今回値）が存在するか否かが判定される。
【００８０】
この場合、車両１０からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物の実空間位置の前回値におけるＺ方向成分（Ｚ方向位置）と該対象物の実空間位置の今回値におけるＺ方向成分（Ｚ方向位置）との差を演算処理周期の時間で除算することにより、車両１０の前後方向（Ｚ方向）における該対象物の相対速度Ｖz1が求められ、この相対速度Ｖz1に所定の定数Ｔ（時間の次元の定数）を乗じてなる値Ｖz1・Ｔが前記第１領域ＡＲ１の、Ｚ方向の境界を規定する上記所定値として設定される。このように、該所定値は、車両１０の前後方向（Ｚ方向）における対象物の相対速度Ｖz1に応じて設定される。なお、該所定値は固定値でもよく、あるいは、相対速度Ｖz1と車両１０の走行速度（対地速度）とに応じて設定してもよい。
【００８１】
ここで、図７に示すように、前記撮像領域を、平面視で図中の直線Ｌ１，Ｌ２の間の領域とすると（直線Ｌ１，Ｌ２は赤外線カメラ２Ｒ，２Ｌの視野角の左右の境界線に相当する）、前記第１領域ＡＲ１は、平面視で、図７の三角形ａｂｃで囲まれた領域となる。また、第１領域ＡＲ１は、上下方向では、所定の高さ（例えば車両１０の高さの２倍程度の高さ）を有する領域である。従って、対象物の現在の実空間位置のＺ方向位置Ｚ0がＶz1・Ｔ以下で、且つ、Ｙ方向位置Ｙ0が所定の高さ以下の位置であるときに、該対象物が第１領域ＡＲ１に存在すると判定される。なお、車両１０の前後方向における対象物の相対速度Ｖz1が車両１０から遠ざかる向きの相対速度である場合には、該対象物は第１領域ＡＲ１に存在しないと判定される。
【００８２】
ＳＴＥＰ３１において、対象物が第１領域ＡＲ１内に存在しないと判定された場合（ＳＴＥＰ３１の判定結果がＮＯとなる場合）は、車両１０の操舵やブレーキ操作によって該対象物と車両１０との接触を余裕をもって回避し得る状況である。そして、この場合には、画像処理ユニット１は、ＳＴＥＰ３６において、該対象物が回避対象で無いと判定し、該対象物についての第１回避対象判定処理を終了する。
【００８３】
一方、ＳＴＥＰ３１において、対象物が第１領域ＡＲ１内に存在すると判定された場合（ＳＴＥＰ３１の判断結果がＹＥＳとなる場合）は、対象物の実空間位置、あるいは該対象物の移動形態によっては、該対象物と車両１０とが将来、接触する可能性がある。そこで、この場合には、画像処理ユニット１はさらに、対象物の実空間位置に関する判定処理としての第２対象物位置判定処理を実行する（ＳＴＥＰ３２）。この第２対象物位置判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、車両１０と対象物との接触の可能性が高いか否かを判定するための処理である。具体的には、該第２対象物位置判定処理では、対象物が、図７に示すように車両１０の両側で前後方向に延在する（車両１０の車幅中心線Ｌ０と平行に延在する）ように設定された一対の境界線Ｌ３，Ｌ４の間の領域ＡＲ２（以下、第２領域ＡＲ２という）に存在するか否かが判定される。
【００８４】
この場合、第２領域ＡＲ２の左右の境界線Ｌ３，Ｌ４は、それらの間隔をＷとしたとき、図７に示すように、車両１０の車幅中心線Ｌ０から左右に同じ間隔Ｗ／２を有する位置に設定される。そして、境界線Ｌ３，Ｌ４の間隔Ｗは、車両１０の車幅αよりも若干広い間隔に設定される。なお、対象物が第２領域ＡＲ２に存在するか否かは、対象物の現在の実空間位置のＸ方向成分Ｘ0の値が、境界線Ｌ３のＸ方向位置と境界線Ｌ４のＸ方向位置との間の値であるか否によって判定される。
【００８５】
ＳＴＥＰ３２において、対象物の実空間位置が第２領域ＡＲ２に存在すると判定された場合（ＳＴＥＰ３２の判定結果がＹＥＳとなる場合）は、対象物が現在の実空間位置に留まったとした場合に、該対象物が車両１０と接触する可能性が高い。この場合には、画像処理ユニット１は、次に、対象物が歩行者（人）であるか（より正確には人である可能性が高いか否か）の判定処理を行なう（ＳＴＥＰ３３）。対象物が歩行者であるか否かの判定は、公知の手法（例えば特開２００３−２８４０５７号公報に記載されている手法）を使用すればよく、グレースケール画像上での対象物の形状や大きさ、輝度分布等の特徴に基づいて行なうことができる。
【００８６】
このＳＴＥＰ３３の歩行者判定処理で、対象物が歩行者である可能性が高いと判断した場合には、対象物が歩行者であるとの判定の信頼性を高めるために、ＳＴＥＰ３４に進み、該対象物が他車両であるか否かの判定処理（車両判定処理）が行なわれる。対象物が他車両であるか否かの判定は、公知の手法（例えば特開２００３−２３０１３４号公報に記載されている手法）を使用すればよく、対象物の画像（グレースケール画像または２値化画像）における、他車両のウィンドウシールド部分の有無などに基づいて行なうことができる。あるいは、パターンマッチングの手法により対象物が他車両であるか否かの判定を行なうようにしてもよい。
【００８７】
補足すると、第１回避対象判定処理は、前記ＳＴＥＰ１６で横方向速度成分を有すると判定された対象物に関して実行される処理であるので、電柱や自動販売機などの静止物体は、除外されている。一方、車両１０の前方で比較的ゆっくり曲がろうとしている他車両や進路変更中の他車両は、第１回避対象判定処理の対象となる場合がある。このため、本実施形態では、ＳＴＥＰ３４の車両判定処理を実行する。
【００８８】
そして、ＳＴＥＰ３４で、対象物が他車両でないと判定された場合（ＳＴＥＰ３４の判定結果がＮＯとなる場合）には、画像処理ユニット１は、ＳＴＥＰ３５において、対象物が回避対象であると判定し、第１回避対象判定処理を終了する。従って、対象物が前記第１領域ＡＲ１内の第２領域ＡＲ２に存在し、且つ、対象物が歩行者である可能性が高く、且つ、他車両でないと判定された場合には、対象物が回避対象であると判定される。
【００８９】
また、ＳＴＥＰ３３で対象物が歩行者でないと判定され、あるいは、ＳＴＥＰ３４で対象物が人工構造物であると判定された場合には、前記ＳＴＥＰ３６に進んで、対象物が回避対象で無いと判定され、第１回避対象判定処理が終了する。
【００９０】
一方、前記ＳＴＥＰ３２において、対象物が第２領域ＡＲ２に存在しないと判定された場合（ＳＴＥＰ３２の判定結果がＮＯとなる場合）には、画像処理ユニット１は、次に、対象物の実空間位置と該対象物の横方向速度成分Ｖxの向きとに関する第１進入判定処理を実行する（ＳＴＥＰ３７）。この第１進入判定処理は、対象物が前記第２領域ＡＲ２に進入しようとしている可能性が高い（対象物が車両１０の前方で道路を横断しようとしている可能性が高い）か否かを判定する処理である。具体的には、該第１進入判定処理では、前記第２領域ＡＲ２の左右の両側で前後方向に延在して設定された左右一対の第３領域ＡＲ３，ＡＲ３（図７参照）に対象物が存在し、且つ、該対象物の横方向速度成分Ｖxの向き（符号）が、第２領域ＡＲ２に向かう向きであるという要件が満たされるか否かが判定される。
【００９１】
ここで、図７を参照して、左側の第３領域ＡＲ３は、第２領域ＡＲ２の左側の境界線Ｌ３と、該第２領域ＡＲ２の外側で境界線Ｌ３と平行に延在する境界線Ｌ５との間の領域であり、右側の第３領域は、第２領域の右側の境界線Ｌ４と、該第２領域の外側の境界線Ｌ４と平行に延在する境界線Ｌ６との間の領域である。換言すれば、これらの第３領域ＡＲ３，ＡＲ３は、前記撮像領域のうち、第２領域ＡＲ２の外側で、該第２領域ＡＲ２に隣接して、前後方向に延在する領域である。左右の第３領域ＡＲ３，ＡＲ３の幅は、互いに同一である。なお、第３領域ＡＲ３の幅は、固定値でもよいが、対象物の横方向速度成分Ｖxの大きさ（絶対値）に応じて変化させる（横方向速度成分の大きさが大きいほど、第３領域ＡＲ３の幅を大きくする）ようにしてもよい。また、第３領域ＡＲ３の幅は、Ｚ方向で車両１０に近づくほど、広くなるようにしてもよい。
【００９２】
補足すると、対象物が第３領域ＡＲ３に存在するか否かは、対象物の現在のＸ方向位置Ｘ0が境界線Ｌ３のＸ方向位置と境界線Ｌ５のＸ方向位置との間、または、境界線Ｌ４のＸ方向位置と境界線Ｌ６のＸ方向位置との間の値であるか否かによって判定される。また、対象物の横方向速度成分Ｖxの向きは、Ｖxの符号によって判定される。この場合、対象物が第２領域ＡＲ２の左側に存在する場合には、横方向速度成分Ｖxの向きが右向きであるときに、その向きが第２領域ＡＲ２に接近する向きであり、対象物が第３領域ＡＲ２の右側に存在する場合には、横方向速度成分Ｖxの向きが左向きであるときに、その向きが第２領域ＡＲ２に接近する向きである。
【００９３】
ＳＴＥＰ３２において、対象物が前記第３領域ＡＲ３，ＡＲ３のいずれか一方に存在し、且つ、該対象物の横方向速度成分Ｖxの向き（符号）が、第２領域ＡＲ２に向かう向きであるという要件が満たされる場合（ＳＴＥＰ３２の判定結果がＹＥＳとなる場合）には、対象物が車両１０の前方を横断しようとしており、近い将来に該対象物が第２領域ＡＲ２に進入する可能性が高い。そこで、この場合には、画像処理ユニット１は、ＳＴＥＰ３５において、該対象物が回避対象である判定し、第１回避対象判定処理を終了する。
【００９４】
また、ＳＴＥＰ３２において、対象物の実空間位置が前記第３領域ＡＲ３，ＡＲ３に存在し、且つ、該対象物の横方向速度成分Ｖxの向き（符号）が、第２領域ＡＲ２に向かう向きであるという要件が満たされない場合（ＳＴＥＰ３２の判定結果がＮＯとなる場合）、すなわち、対象物が、前記撮像領域内で、第３領域ＡＲ３の外側の領域（前記境界線Ｌ５よりも左側の領域または前記境界線Ｌ６よりも右側の領域）に存在するか、もしくは、対象物の横方向速度成分Ｖxの向きが、第２領域ＡＲ２から離れる向きである場合には、画像処理ユニット１は、ＳＴＥＰ３６において、該対象物が回避対象で無いと判定し、第１回避対象判定処理を終了する。
【００９５】
以上が、第１回避対象判定処理の詳細である。なお、撮像領域のうちの、第２領域を除く領域を第３領域ＡＲ３として設定するようにしてもよい。
【００９６】
次に、前記ＳＴＥＰ２０の第２回避対象判定処理を説明する。この第２回避対象判定処理は、図６のフローチャートに示す如く実行される。
【００９７】
第２回避対象判定処理では、まず、前記ＳＴＥＰ１８で移動ベクトルを求めた対象物の実空間位置（車両１０に対する相対位置）に関する第３対象物位置判定処理が実行される（ＳＴＥＰ４１）。本実施形態では、この第３対象物位置判定処理では、前記第１対象物位置判定処理と同様に、前記撮像領域のうち、車両１０からのＺ方向の距離（車両１０の前後方向の距離）が、所定値以下となる第１領域ＡＲ１に対象物が存在するか否かが判定される。ただし、この第３対象物位置判定処理において、第１領域ＡＲ１のＺ方向の境界を規定する上記所定値は、前記ＳＴＥＰ１８で移動ベクトルを求めるための前記モニタ期間における対象物の相対速度（Ｚ方向の速度成分）の平均値Ｖz2に前記定数Ｔを乗じてなる値Ｖz2・Ｔ（図７参照）に設定される。この場合、Ｚ方向における対象物の相対速度の平均値Ｖz2は、前記ＳＴＥＰ１８で算出した移動ベクトルのＺ方向成分を前記モニタ期間の時間で除算することにより算出される。なお、第１領域ＡＲ１の上下方向の高さは、第１対象物位置判定処理の場合と同じに設定される。
【００９８】
ＳＴＥＰ４１において、対象物が第１領域ＡＲ１に存在しない場合（ＳＴＥＰ４１の判定結果がＮＯとなる場合）は、車両１０の操舵やブレーキ操作によって対象物と車両１０との接触を余裕をもって回避し得る。このため、この場合には、画像処理ユニット１は、ＳＴＥＰ４６において、対象物が回避対象で無いと判定し、第２回避対象判定処理を終了する。
【００９９】
また、ＳＴＥＰ４１において、対象物が第１領域ＡＲ１に存在する場合（ＳＴＥＰ４１の判定結果がＹＥＳとなる場合）には、画像処理ユニット１は次に、対象物の実空間位置に関する第４対象物位置判定処理を実行する（ＳＴＥＰ４２）。この第４対象物位置判定処理は、前記第２対象物位置判定処理と同じであり、対象物が前記第２領域ＡＲ２（図７参照）に存在するか否かが判定される。
【０１００】
そして、ＳＴＥＰ４１において、対象物が第２領域ＡＲ２に存在する場合には、前記ＳＴＥＰ３３と同じ歩行者判定処理（対象物が歩行者である可能性が高いか否かの判定処理）がＳＴＥＰ４３で実行され、該ＳＴＥＰ４４の判定結果がＹＥＳである場合には、さらに、対象物が電柱や他車両などの人工構造物であるか否かの判定処理（人工構造物判定処理）がＳＴＥＰ４４で実行される。対象物が人工構造物であるか否かの判定は、公知の手法（例えば特開２００３−１６４２９号公報や特開２００３−２３０１３４号公報に記載されている手法）を使用すればよく、対象物の画像（グレースケール画像または２値化画像）における直線部分や直角部分の有無、他車両のウィンドウシールド部分の有無などの基づいて行なうことができる。あるいは、パターンマッチングの手法により対象物が人工構造物であるか否かの判定を行なうようにしてもよい。
【０１０１】
補足すると、第２回避対象判定処理は、前記ＳＴＥＰ１６で横方向速度成分を有しないと判定された対象物に関して実行される処理であるので、前記第１回避対象判定処理の対象とならない電柱や自動販売機などの静止物体、あるいは、車両１０と同方向もしくは逆方向に移動している他車両が、第２回避対象判定処理の対象となる場合がある。このため、本実施形態では、ＳＴＥＰ４４の人工構造物判定処理を実行する。
【０１０２】
このとき、ＳＴＥＰ４４の判定結果がＮＯである場合には、ＳＴＥＰ４５において、対象物が回避対象であると判定され、第２回避対象判定処理が終了する。また、ＳＴＥＰ４３の判定結果がＮＯである場合、あるいは、ＳＴＥＰ４４の判定結果がＹＥＳである場合には、前記ＳＴＥＰ４６において、対象物が回避対象で無いと判定され、第２回避対象判定処理が終了する。
【０１０３】
一方、ＳＴＥＰ４２において、対象物が第２領域ＡＲ２に存在しないと判定された場合（ＳＴＥＰ４２の判定結果がＮＯとなる場合）、すなわち、対象物が、撮像領域のうちの第２領域ＡＲ２の外側の領域に存在する場合には、画像処理ユニット１は、次に、対象物の移動方向に関する第２進入判定処理を実行する（ＳＴＥＰ４７）。この第２進入判定処理は、対象物が前記第２領域ＡＲ２に進入し、且つ、車両１０との接触する可能性が高いか否かを判定する処理である。具体的には、対象物の移動ベクトルが現状に維持されると仮定し、この移動ベクトルを含む直線と、車両１０の前端位置における実空間座標系のＸＹ平面との交点のＸ方向位置が求められる。そして、この求めたＸ方向位置が、自車両１０の車幅中心線Ｌ０のＸ方向位置を中心とする所定範囲（自車両１０の車幅よりも若干広い範囲）に存在することを要件（以下、進入接触要件という）として、この進入接触要件が満たされるか否かが判定される。
【０１０４】
ＳＴＥＰ４７において、対象物が前記進入接触要件を満たす場合（ＳＴＥＰ４７の判定結果がＹＥＳとなる場合）には、対象物が将来、車両１０と接触する可能性が高い。そこで、この場合には、画像処理ユニット１は、前記ＳＴＥＰ４５において、該対象物が回避対象であると判定し、第２回避対象判定処理を終了する。
【０１０５】
また、ＳＴＥＰ４７において、対象物が前記進入接触要件を満たさない場合（ＳＴＥＰの判定結果がＮＯとなる場合）には、対象物が車両１０と接触する可能性が低いので、画像処理ユニット１は、前記ＳＴＥＰ４６において、該対象物が回避対象で無いと判定し、第２回避対象判定処理を終了する。
【０１０６】
以上が第２回避対象判定処理の詳細である。
【０１０７】
以上説明した第１実施形態では、ＳＴＥＰ１６で対象物が横方向速度成分を有すると判定された場合には、画像処理ユニット１（詳しくは画像処理ユニット１のマイクロコンピュータ）により前記第１回避対象判定処理が実行され、前記モニタ期間において横方向速度成分を有しないと判定された場合には、画像処理ユニット１により前記第２回避対象判定処理が実行される。この場合、第１回避対象判定処理は、モニタ期間における対象物の時系列データを基に決定される移動ベクトルに関する判定処理を含まないので、歩行者が車両１０の前方の道路を横断しつつあるとき、あるいは、横断しようとしているとき（もしくはその可能性が高いとき）には、速やかに該歩行者を回避対象であると判定し、ひいては、その歩行者に関する車両１０の運転者の注意を喚起することができる。また、第２回避対象判定処理は、前記移動ベクトルに関する判定処理である前記ＳＴＥＰ４７の第２進入判定処理を含むため、該移動ベクトルが算出された後でなければ、実行されない。ただし、該第２進入判定処理によって、対象物が車両１０に接触する可能性を高い信頼性で判定できるので、適切な注意喚起を車両１０の運転者に対して行なうことができる。
【０１０８】
次に、本発明の第２実施形態を図８を参照して説明する。本実施形態は、ＳＴＥＰ１６の判定処理（横方向速度成分を有するか否かの判定処理）のみが、第１実施形態と相違するものであり、図８はその判定処理を示している。
【０１０９】
以下説明すると、本実施形態では、ＳＴＥＰ１６の判定処理では、まず、前記第１実施形態で説明した如く、車両１０の車幅方向における対象物の速度成分Ｖxが算出され（ＳＴＥＰ５１）、さらに、この速度成分Ｖxの大きさが所定の下限値ＶxL以上で、且つ上限値ＶxH以下であるか否かが判定される（ＳＴＥＰ５２）。このとき、ＳＴＥＰ５２の判定結果がＮＯである場合（ＶxL＞｜Ｖx｜、またはＶxH＜｜Ｖx｜である場合）には、ＳＴＥＰ５６において、対象物は横方向速度成分を有しないと判定される。
【０１１０】
一方、ＳＴＥＰ５２の判定結果がＹＥＳである場合（ＶxL≦｜Ｖx｜≦ＶxHである場合）には、対象物の現在の実空間位置と前記第２領域ＡＲ２と比較に基づいて、該対象物が第２領域ＡＲ２に存在するか否かが判定される（ＳＴＥＰ５３）。このとき、対象物が第２領域ＡＲ２に存在し、ＳＴＥＰ５３の判定結果がＹＥＳとなる場合には、対象物の速度成分Ｖxの向き（符号）によらずに、ＳＴＥＰ５５において、対象物が横方向速度成分を有すると判定される。
【０１１１】
一方、ＳＴＥＰ５３の判定結果がＮＯとなる場合、すなわち、対象物が撮像領域内で、第２領域ＡＲ２の外側（第２領域ＡＲ２の左側の領域または右側の領域）に存在する場合には、対象物の速度成分Ｖxの向きが、第２領域ＡＲ２に接近する向きであるか否かがＶxの符号を基に判定される（ＳＴＥＰ５４）。この場合、対象物が第２領域ＡＲ２の左側の領域に存在する場合には、第２領域ＡＲ２に接近する向きは、右向きであり、対象物が第２領域ＡＲ２の右側の領域に存在する場合には、第２領域ＡＲ２に接近する向きは、左向きである。
【０１１２】
そして、ＳＴＥＰ５４の判定結果がＹＥＳとなる場合（Ｖxの向きが第２領域ＡＲ２に接近する向きである場合）には、ＳＴＥＰ５５において、対象物が横方向速度成分を有すると判定される。また、ＳＴＥＰ５４の判定結果がＮＯとなる場合（Ｖxの向きが第２領域ＡＲ２から離れる向きである場合）には、ＳＴＥＰ５６において、対象物が横方向速度成分を有しないと判定される。
【０１１３】
以上のように、本実施形態では、ＶxL≦｜Ｖx｜≦ＶxHという要件に加えて、Ｖxの向きが、対象物の実空間位置（車両１０に対する相対位置）に応じて定まる要件を満たす場合に、対象物が横方向速度成分を有すると判定される。この場合、Ｖxの向きに関する要件は、対象物が第２領域ＡＲ２に存在する場合には、Ｖxが左右いずれかの向きであるという要件となり、対象物が第２領域ＡＲ２に存在しない場合には、Ｖxが第２領域ＡＲ２に接近する向きであるという要件となる。
【０１１４】
このように横方向速度成分を有するか否かの判定を行なうことにより、横方向速度成分を有すると判定される対象物は、第１実施形態の場合よりも、車両１０の前方を横断する可能性が高い対象物となる。
【０１１５】
補足すると、本実施形態において、前記第３領域を第２領域ＡＲ２の外側の領域に設定した場合には、前記第１回避対象判定処理におけるＳＴＥＰ３７の判定結果は常にＹＥＳとなる。従って、この場合には、前記図５のＳＴＥＰ３２の判定結果がＮＯとなる場合に、ＳＴＥＰ３７の判定処理（第１進入判定処理）を省略して、対象物が回避対象であると判定するようにしてもよい。
【０１１６】
次に、本発明の第３実施形態を図９を参照して説明する。本実施形態は、第１実施形態における図４のＳＴＥＰ１６からＳＴＥＰ１７にかけての処理を変更したものであり、図９はその変更後の処理を部分的に示すフローチャートである。これ以外は、第１実施形態と同じである。
【０１１７】
図９を参照して、本実施形態では、ＳＴＥＰ１６で横方向速度成分を有すると判定された対象物については、さらに、ＳＴＥＰ６０において、対象物の実空間位置に関する判定処理が実行される。具体的には、ＳＴＥＰ６０においては、対象物の現在のＺ方向位置Ｚ0、すなわち、車両１０の前後方向における対象物の車両１０からの距離が所定値以下であるか否かが判定される。この場合、該所定値は、Ｚ方向における対象物の現在の相対速度Ｖz1に応じて設定され、例えば前記第１領域ＡＲ１のＺ方向の境界を規定する所定値（＝Ｖz1・Ｔ）と同じ値に設定される。ただし、ＳＴＥＰ６０の判定処理における所定値と、第１領域ＡＲ１のＺ方向の境界を規定する所定値（＝Ｖz1・Ｔ）とを同じ値にする必要はなく、例えば前者の値を後者の値と異なる値に設定してもよく、あるいは、前者の値を固定値に設定してもよい。
【０１１８】
そして、ＳＴＥＰ６０の判定結果がＹＥＳとなる場合（Ｚ0≦所定値となる場合）には、その対象物ついては、前記図４のＳＴＥＰ１９に進んで、前記第１回避対象判定処理が実行される。また、ＳＴＥＰ６０の判定結果がＮＯとなる場合には、前記ＳＴＥＰ１７からの処理が実行され、最終的に、実空間位置の時系列データの個数がＮ個に達したときに、前記図４のＳＴＥＰ２０に進んで、前記第２回避対象判定処理が実行される。
【０１１９】
以上のように、本実施形態では、ＳＴＥＰ１６における横方向速度成分の有無の判定結果と、ＳＴＥＰ６０における対象物の実空間位置に関する判定結果との組に応じて、第１回避対象判定処理と、第２回避対象判定処理とが選択的に実行されることとなる。
【０１２０】
この場合、本実施形態では、対象物が横方向速度成分を有するだけでなく、Ｚ方向における対象物の相対位置が、車両１０に比較的近い場合にのみ、第１回避対象判定処理が実行されることとなる。つまり、移動ベクトルを使用しない簡易的な回避対象判定処理である第１回避対象判定処理は、対象物を回避対象とすべきか否かの判定をより早急に行なうべき状況でのみ実行され、それ以外の状況では、第２回避対象判定処理が実行されて、対象物を回避対象とすべきか否かの判定の信頼性を高めて、注意喚起をより適切に行なうことができる。
【０１２１】
補足すると、本実施形態において、ＳＴＥＰ６０の判定処理を前記第１回避対象判定処理における前記ＳＴＥＰ３１の判定処理（第１対象物位置判定処理）と同じにしてよい。その場合には、第１回避対象判定処理における前記ＳＴＥＰ３１の判定結果は常にＹＥＳとなるので、該ＳＴＥＰ３１の判定処理を省略してもよい。
【０１２２】
また、本実施形態では、ＳＴＥＰ６０において、対象物のＺ方向位置だけを判定するようにしたが、これに加えて、あるいは、これの代わりに、対象物のＸ方向位置を判定するようにしてもよい。例えば、対象物のＸ方向位置が第３領域ＡＲ３の左側境界線Ｌ５の左側の領域、あるいは、右側境界線Ｌ６の右側の領域に存在する場合には、ＳＴＥＰ１９の第１回避対象判定処理を実行せずに、ＳＴＥＰ１７からの処理を実行するようにしてもよい。
【０１２３】
また、前記第１〜第３実施形態では、赤外線カメラ２Ｒ，２Ｌの撮像画像を基に対象物を検出するようにしたが、可視光カメラの撮像画像を基に対象物を検出するようにしてもよく、あるいは、レーダなどにより対象物を検出するようにしてもよい。また、対象物の車両１０に対する相対位置や相対速度をレーダを使用して検出するようにしてもよい。
【図面の簡単な説明】
【０１２４】
【図１】本発明の第１実施形態の装置の全体構成を示す図。
【図２】図１の周辺監視装置を備えた車両の斜視図。
【図３】図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。
【図４】図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。
【図５】図４のＳＴＥＰ１９の処理を示すフローチャート。
【図６】図４のＳＴＥＰ２０の処理を示すフローチャート。
【図７】図４のＳＴＥＰ１９、２０の処理で使用する領域を説明するための図。
【図８】本発明の第２実施形態におけるＳＴＥＰ１６の判定処理を示すフローチャート。
【図９】本発明の第３実施形態おける画像処理ユニットの処理の一部を示すフローチャート。
【符号の説明】
【０１２５】
１…画像処理ユニット（対象物検出手段、速度成分判定手段、回避対象判定手段、相対位置検出手段、移動方向特徴量算出手段）、ＳＴＥＰ１〜９…対象物検出手段、ＳＴＥＰ１４，１５…相対位置検出手段、ＳＴＥＰ１６…速度成分判定手段、ＳＴＥＰ１６〜ＳＴＥＰ２０…回避対象判定手段、ＳＴＥＰ１８…移動方向特徴量算出手段。
【技術分野】
【０００１】
本発明は、撮像装置などにより車両の周辺に存在する対象物を監視する装置および方法に関する。さらに、その装置を搭載した車両と、その装置の処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
この種の装置としては、例えば特許文献１に見られるものが本願出願人により提案されている。
【０００３】
この技術では、２台の赤外線カメラにより車両の前方を撮像して、その撮像画像から、歩行者、車両などの対象物を検出する。そして、２台の赤外線カメラの撮像画像における対象物の視差などに基づいて、車両に対する対象物の相対位置（実空間位置）を逐次検出し、その相対位置の、ある時間間隔（相対位置の検出周期よりも長い時間間隔）における時系列を基に、対象物の車両に対する相対的な移動方向を表す移動ベクトルを求める。そして、この移動ベクトルの算出後、その移動ベクトルが表す対象物の移動方向に関する判定などを含む判定処理によって、対象物が、運転者に対する警報の対象とすべき警報対象（車両との接触を回避すべき対象）であるか否かを判定する。さらに、対象物が警報対象であると判定した場合には、車両のブレーキ操作などの状態を基に、実際の警報を発するか否かの判定を行い、警報を発すべきと判定した場合には、スピーカや画像による警報を車両の運転者に対し行うようにしている。これにより、車両の運転者に、警報対象の対象物に対する注意を喚起し、該対象物と車両との接触を回避するための処置を運転者が実行し得るようにしている。
【特許文献１】特開２００１−６０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記特許文献１に見られる技術では、前記移動ベクトルを対象物の相対位置の時系列を基に算出しているので、該移動ベクトルは、対象物の車両に対する相対的な移動方向を表すものとしての信頼性は高い。
【０００５】
一方、歩行者や動物等の対象物が車両の前方を横断しようとしているときには、迅速に該対象物の存在を車両の運転者に認識させたりして、該対象物と車両との接触を回避し得る状態を確立することが望ましい。特に、歩行者が車両の前方に飛び出すような横断をしようとしているときには、対象物と車両との接触を回避し得る状態をできるだけ早急に確立することが望まれる。
【０００６】
しかるに、前記特許文献１に見られる技術では、前記移動ベクトルを算出するために時間を要する。そして、前記特許文献１のものでは、前記対象物が警報対象であるか否かを判定する処理において、この移動ベクトルが表す対象物の移動方向に関する判定を行なうため、その判定結果が得られるまでに時間を要する。このため、特に、歩行者の急な飛び出しが行なわれたような場合に、より迅速に、対象物が車両との接触を回避すべき対象であるのか否かを判定し得る技術が望まれていた。
【０００７】
本発明はかかる背景に鑑みてなされたものであり、歩行者などの対象物が車両の前方を横断しようとしているような状況で、該対象物と車両との接触を回避し得る状態をできるだけ迅速に確立することが可能な車両の周辺監視装置および周辺監視方法、並びに車両を提供することを目的とする。さらに、該周辺監視装置の処理をコンピュータに実行させる車両の周辺監視用プログラムに関する。
【課題を解決するための手段】
【０００８】
本発明の車両の周辺監視装置は、かかる目的を達成するために、少なくとも車両の前方側に存在する対象物を検出する対象物検出手段と、前記検出された対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段とを備えた車両の周辺監視装置において、前記対象物検出手段により検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定手段を備え、前記回避対象判定手段は、前記対象物が回避対象であるか否かの判定を行なうための複数種類の判定アルゴリズムを選択的に実行可能な手段であり、少なくとも前記速度成分判定手段の判定結果に応じて前記複数種類の判定アルゴリズムのうちの１つの判定アルゴリズムを選択して、該判定アルゴリズムを実行することにより前記対象物が回避対象であるか否かの判定を行なうことを特徴とする（第１発明）。
【０００９】
かかる本発明（第１発明）によれば、前記速度成分判定手段により、対象物の車両に対する相対速度が前記横方向速度成分を有すると判定されたときには、該対象物が車両の前方を横断しようとしている可能性が高い。これに対して前記相対速度が横方向速度成分を有しないと判定されたときには、該対象物が、停止しているかもしくは、車両と同方向に移動している状況であるので、前記対象物が車両の前方を横断しようとしている可能性は低い。従って、速度成分判定手段の判定結果は、前記対象物検出手段により検出された対象物の、車両の前方での横断の可能性の度合いを表す。このため、速度成分判定手段の判定処理を逐次行いつつ、少なくともその判定結果に応じて、前記回避対象判定手段が実行する判定アルゴリズムを選択することにより、対象物が車両の前方を横断しようとしている状況とそうでない状況とでそれぞれに適した判定アルゴリズムで回避対象判定手段の判定処理を実行できる。例えば前者の状況（速度成分判定手段の判定結果が肯定的となる状況）では、後者の状況（速度成分判定手段の判定結果が否定的となる状況）よりも、より短時間で判定結果を決定し得る１つの判定アルゴリズムを前記複数の判定アルゴリズムから選択して、実行するようにすればよい。逆に後者の状況では、例えば前者の状況よりも、より信頼性の高い判定結果を決定し得る１つの判定アルゴリズムを前記複数の判定アルゴリズムから選択して、実行するようにすればよい。
【００１０】
よって、本発明によれば、歩行者などの対象物が車両の前方を横断しようとしているような状況で、できるだけ迅速に該対象物が回避対象であるか否かの判定を行なうことが可能となる。ひいては、その判定結果に応じた注意喚起（回避対象に対する運転者の注意の喚起）などの処置を適切に実行することが可能となる。また、当該状況以外の状況では、対象物が回避対象であるか否かの判定の信頼性を高めることが可能となる。
【００１１】
かかる本発明では、前記横方向速度成分は、その大きさが前記下限値よりも大きい所定の上限値以下となる速度成分であることが好ましい（第２発明）。
【００１２】
これによれば、横方向速度成分の大きさが前記下限値以上であることに加えて、前記上限値以下であることが、前記速度成分判定手段の判定結果が肯定的となる（横方向速度成分を有すると判定される）ための必要要件となる。ここで、運転者の注意を迅速に喚起することは、特に、人や動物のような特定種類の対象物が車両の前方を横断しようとしている場合にその必要性が高い。また、人や動物のような注意喚起の対象とする必要性の高い対象物は、他車両などの人工的な移動物体に比べて、一般に、道路を横断しようとするときの速度の大きさの上限が比較的低い。従って、横方向速度成分の大きさが前記上限値以下であることが、前記速度成分判定手段の判定結果が肯定的となるための必要要件とすることにより、該判定結果が肯定的となり得る対象物の種類が人や動物などの特定の種類に限定される可能性が高まる。ひいては、その特定種類の対象物が回避対象であるか否かの判定を迅速に行なうことが可能となる。
【００１３】
なお、前記上限値は、例えば前記回避対象判定手段の判定処理で回避対象であると判定され得る特定種類の対象物が一般的に採り得る速度の大きさの最大値付近の値に設定しておけばよい。
【００１４】
また、前記第１発明あるいは第２発明では、前記対象物検出手段により検出された対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段を備え、前記横方向速度成分を、その向きが前記相対位置検出手段により検出された相対位置に応じて定まる所定の要件を満たす向きとなる速度成分としてもよい（第３発明）。
【００１５】
すなわち、対象物が横方向速度成分の大きさが前記下限値以上であっても、その横方向速度成分の向きと該対象物の車両に対する相対位置との組み合わせによっては、対象物が回避対象であるか否かの迅速な判定の必要性が低い場合がある。例えば車両の前方正面の車幅相当の領域の外側（右側もしくは左側）の領域に存在する対象物は、その横方向速度成分の向きが、車両に接近する向き（車両の前方正面の車幅内の領域に向かう向き）である場合には、回避対象の迅速な判定の必要性が高いが、該横方向速度成分の向きは、車両から離れる向きである場合には、回避対象の迅速な判定の必要性は低い。従って、前記横方向速度成分を、その向きが対象物の相対位置に応じて定まる所定の要件を満たす向きとなる速度成分とすることにより、速度成分判定手段の判定処理を、回避対象の迅速な判定の必要性の程度に適合させて行なうことが可能となる。
【００１６】
なお、上記所定の要件としては、例えば、対象物の相対位置が、車両の前方正面の車幅相当の領域（車幅と同等かもしくはそれよりも若干広い幅の領域）の外側の領域に存在するときには、横方向速度成分の向きが車両に接近する向きであること、該相対位置が、車両の前方正面の車幅相当の領域内に存在するときには、横方向速度成分の向きが、左右いずれかの向きであること、などの要件が挙げられる。
【００１７】
また、前記第１発明では、前記対象物検出手段により検出された対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段と、その相対位置が前記車両の前方の所定の領域に存在するか否かを判定する相対位置判定手段とを備え、前記回避対象判定手段は、前記速度成分判定手段の判定結果と前記相対位置判定手段の判定結果との組に応じて前記複数の判定アルゴリズムのうちの１つの判定アルゴリズムを選択して実行するようにしてもよい（第４発明）。
【００１８】
すなわち、対象物の相対位置が、車両から前後方向、あるいは、車幅方向で十分に離れているような場合には、前記速度成分判定手段の判定結果が肯定的であっても、その対象物に関する回避対象の判定を迅速に行なう必要性は一般には低い。従って、前記速度成分判定手段の判定結果と前記相対位置判定手段の判定結果との組に応じて前記複数の判定アルゴリズムのうちの１つの判定アルゴリズムを選択して実行することにより、回避対象判定手段の判定処理をより適切に行なうことが可能となる。
【００１９】
補足すると、この第４発明における前記所定の領域は、前記対象物検出手段により対象物を検出可能な領域のうち、前記車両の前後方向に距離が所定値以下となる領域（以下、第Ａ領域ということがある）、あるいは、前記検出可能な領域のうち、車両の両側で前後方向に延在するように設定された一対の境界線の間の領域（以下、第Ｂ領域ということがある）、あるいは、上記第Ａ領域と第Ｂ領域との合成領域などが挙げられる。そして、この場合、速度成分判定手段の判定結果が肯定的で、且つ、相対位置判定手段の判定結果が肯定的である場合に、速度成分判定手段の判定結果が否定的あるか、または相対位置判定手段の判定結果が否定的である場合に、前記複数の判定アルゴリズムのうち、より短時間で判定結果を決定し得る１つの判定アルゴリズムを選択して実行することが好ましい。
【００２０】
なお、上記第４発明は、前記第２発明または第３発明と組み合わせてもよい。
【００２１】
また、前記第１発明では、前記対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段と、前記速度成分判定手段の判定処理の実行周期よりも長い時間間隔において前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づき該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段を備え、前記速度成分判定手段の判定結果が否定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含むアルゴリズムにより構成され、前記速度成分判定手段の判定結果が肯定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含まないアルゴリズムにより構成されていることが好ましい（第５発明）。
【００２２】
これによれば、前記速度成分判定手段の判定結果が否定的である場合に、前記回避対象判定手段が実行する判定アルゴリズムは、前記移動方向特徴量に関する判定処理を含むので、信頼性の高い判定結果を決定することが可能となる。ただし、前記移動方向特徴量の算出は、速度成分判定手段の判定処理の実行周期よりも長い時間間隔で行なわれるので、回避対象判定手段による判定結果の決定に時間を要する。一方、前記速度成分判定手段の判定結果が肯定的である場合に、前記回避対象判定手段が実行する判定アルゴリズムは、前記移動方向特徴量に関する判定処理を含まないので、該回避対象判定手段による判定結果の決定を短時間で行なうことが可能となる。ひいては、横方向速度成分を有する対象物に関する注意喚起などの処置を迅速に行なうことができる。
【００２３】
同様に、前記第４発明では、前記速度成分判定手段の判定処理の実行周期よりも長い時間間隔において前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づき該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段を備え、前記速度成分判定手段の判定結果または前記相対位置判定手段の判定結果が否定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含むアルゴリズムにより構成され、前記速度成分判定手段の判定結果および前記相対位置判定手段の判定結果が肯定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含まないアルゴリズムにより構成されていることが好ましい（第６発明）。
【００２４】
これによれば、前記速度成分判定手段の判定結果または前記相対位置判定手段の判定結果が否定的である場合に、前記回避対象判定手段が実行する判定アルゴリズムは、前記移動方向特徴量に関する判定処理を含むので、信頼性の高い判定結果を決定することが可能となる。一方、前記速度成分判定手段の判定結果および相対位置判定手段の判定結果が肯定的である場合に、前記回避対象判定手段が実行する判定アルゴリズムは、前記移動方向特徴量に関する判定処理を含まないので、該回避対象判定手段による判定結果の決定を短時間で行なうことが可能となる。ひいては、横方向速度成分を有する対象物に関する注意喚起などの処置を迅速に行なうことができる。
【００２５】
補足すると、上記第５発明または第６発明において、移動方向特徴量に関する判定処理としては、該移動方向特徴量により表される対象物の移動方向が、前記車両の正面に向かってくる方向であるか否かなどの判定処理が挙げられる。また、上記第５発明は、前記第１〜第３発明と組み合わせてもよい。
【００２６】
なお、前記回避対象判定手段が実行する判定アルゴリズムのそれぞれは、特に、対象物の種類の判定処理を含むことが好ましい。さらに、各判定アルゴリズムには、対象物の相対位置または前記横方向速度成分に関する判定処理が含まれていてもよい。
【００２７】
また、本発明の車両は、前記した本発明の周辺監視装置を搭載したことを特徴とする（第７発明）。この車両によれば、本発明の周辺監視装置と同等の効果を奏する車両を実現できる。
【００２８】
また、本発明の車両の周辺監視方法は、少なくとも車両の前方側に存在する対象物を検出し、その検出した対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する車両の周辺監視方法において、前記検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定ステップと、前記対象物が回避対象であるか否かの判定を行なうための判定アルゴリズムを、あらかじめ用意された複数種類の判定アルゴリズムの中から、少なくとも前記速度成分判定ステップの判定結果に応じて選択し、その選択した判定アルゴリズムを実行することにより前記対象物が回避対象であるか否かの判定を行なう回避対象判定ステップとを備えたことを特徴とする（第８発明）。
【００２９】
この第８発明によれば、速度成分判定ステップの判定結果は、本発明の車両の周辺監視装置と同様に、検出された対象物の、車両の前方での横断の可能性の度合いを表すものとなるので、速度成分判定ステップの判定処理を逐次行いつつ、少なくともその判定結果に応じて、前記回避対象判定ステップで実行する判定アルゴリズムを選択することにより、対象物が車両の前方を横断しようとしている状況とそうでない状況とでそれぞれに適した判定アルゴリズムで回避対象判定ステップの判定処理を実行できる。
【００３０】
よって、本発明によれば、歩行者などの対象物が車両の前方を横断しようとしているような状況で、できるだけ迅速に該対象物が回避対象であるか否かの判定を行なうことが可能となる。ひいては、その判定結果に応じた適切な注意喚起などの処置を実行することが可能となる。また、当該状況以外の状況では、対象物が回避対象であるか否かの判定の信頼性を高めることが可能となる。
【００３１】
また、本発明の車両の周辺監視用プログラムは、少なくとも車両の前方側に存在することが検出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する処理をコンピュータに実行させる車両の周辺監視用プログラムであって、前記検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定処理と、前記対象物が回避対象であるか否かの判定を行なうための判定用アルゴリズムを、あらかじめ定められた複数の判定用アルゴリズムの中から、少なくとも前記速度成分判定処理の判定結果に応じて選択し、その選択した判定アルゴリズムにより前記対象物が前記回避対象であるか否かを判定する回避対象判定処理とを前記コンピュータに実行させる機能を備えることを特徴とする（第９発明）。
【００３２】
この第９発明のプログラムによれば、前記第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
【発明を実施するための最良の形態】
【００３３】
本発明の第１実施形態を図１〜図７を参照して以下に説明する。
【００３４】
まず、図１および図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両の外観を示す斜視図である。なお、図２では、周辺監視装置の一部の構成要素の図示を省略している。
【００３５】
図１および図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。この画像処理ユニット１には、車両１の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、車両１０の走行状態を検出するセンサとして、車両１０のヨーレートを検出するヨーレートセンサ３と、車両１０の走行速度（車速）を検出する車速センサ４と、車両１０のブレーキ操作（詳しくはブレーキペダルが操作されているか否か）を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ６と、前記赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。
【００３６】
画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ）、画像メモリなどを含む電子回路により構成され、前記赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル化されて入力される。そして、画像処理ユニット１は、入力されたデータを基に、人（歩行者）などの対象物を検出する処理や、その検出した対象物が車両との接触を回避すべき回避対象であるか否かを判定する処理、回避対象と判定された対象物に対する運転者の注意を喚起する処理などをマイクロコンピュータにより実行する。これらの処理は、マイクロコンピュータのＲＯＭにあらかじめ実装されたプログラムを該マイクロコンピュータにより実行することにより実現され、そのプログラムは、本発明の車両の周辺監視用プログラムを含んでいる。
【００３７】
なお、画像処理ユニット１は、上記プログラムにより実現される機能として、本発明における対象物検出手段、速度成分判定手段、回避対象判定手段、相対位置検出手段を含んでいる。
【００３８】
図２に示すように、前記赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために、車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それらの位置は、自車両１０の車幅方向の中心に対して左右対称である。そして、該赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように車両１０の前部に固定されている。なお、各赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有する撮像装置であり、それにより撮像される物体の温度が高いほど、その物体の画像の出力信号のレベルが高くなる（該物体の画像の輝度が高くなる）特性を有している。
【００３９】
また、前記表示装置７は、本実施形態では、例えば車両１０のフロントウィンドウに画像などの情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７は、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを含んでもよい。
【００４０】
次に、本実施形態の周辺監視装置の全体的動作を図３および図４のフローチャートを参照して説明する。なお、図３のフローチャートの処理のうちの多くの処理は、例えば前記特許文献１に記載されている処理と同じであるので、その同じ処理については、本明細書での詳細な説明は省略する。補足すると、図３のフローチャートの処理は、画像処理ユニット１のマイクロコンピュータが実行するプログラムにより実現される処理である。
【００４１】
まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌのそれぞれの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、それぞれの画像を画像メモリに格納する（ＳＴＥＰ３）。これにより、各赤外線カメラ２Ｒ，２Ｌにより撮像された画像が画像処理ユニット１に取り込まれる。以降、赤外線カメラ２Ｒから得られた画像を右画像、赤外線カメラ２Ｌから得られた画像を左画像という。これらの右画像および左画像は、いずれもグレースケール画像である。
【００４２】
次いで、画像処理ユニット１は、前記右画像および左画像のうちの一方を基準画像とし、この基準画像を２値化する（ＳＴＥＰ４）。基準画像は、本実施形態では右画像である。この２値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域（比較的明るい領域）を「１」（白）とし、該輝度閾値よりも低い輝度値を有する領域（比較的暗い領域）を「０」（黒）とする処理である。以降、この２値化処理により得られる画像（白黒画像）を２値化画像という。そして、この２値化画像のうちの、「１」とされる領域を高輝度領域という。なお、この２値化画像は、グレースケール画像（右画像および左画像）とは別に画像メモリに記憶される。
【００４３】
補足すると、ＳＴＥＰ１〜４の処理は、前記特許文献１の図３のＳ１１〜Ｓ１４の処理と同じである。
【００４４】
次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ５〜７の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像部分）を抽出する。すなわち、前記２値化画像の高輝度領域を構成する画素群を、基準画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類し、その各ラインを、その位置（基準画像上での２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換する（ＳＴＥＰ５）。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付し（ＳＴＥＰ６）、そのライン群のそれぞれを対象物として抽出する（ＳＴＥＰ７）。
【００４５】
なお、ＳＴＥＰ５〜７の処理により抽出される対象物には、一般には、人（歩行者）だけでなく、他車両などの人口構造物なども含まれる。また、同一の物体の複数の局所部分が対象物として抽出される場合もある。
【００４６】
次いで、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（ＳＴＥＰ８）。なお、各対象物の重心の位置は、該対象物に含まれるランレングスデータの各ラインの位置（各ラインの中心位置）の座標に該ラインの長さを乗じたものを、該対象物に含まれるランレングスデータの全てのラインについて加算し、その加算結果を該対象物の面積により除算することにより求められる。また、各対象物の重心の代わりに、該対象物の外接四角形の重心（中心）の位置を求めてもよい。
【００４７】
次いで、画像処理ユニット１は、前記ＳＴＥＰ７で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（ＳＴＥＰ９）。この処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ７の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ７の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの２値化画像上での形状やサイズ、基準画像（グレースケール画像）上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの対象物Ａ，Ｂが互いに同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベル（ＳＴＥＰ６で付したラベル）が対象物Ａのラベルと同じラベルに変更される。
【００４８】
なお、前記したＳＴＥＰ５〜９の処理は、前記特許文献３の図３のＳ１５〜Ｓ１９の処理と同じである。また、ＳＴＥＰ１〜９の処理により、本発明における対象物検出手段が構成される。
【００４９】
次いで、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読み込む（ＳＴＥＰ１０）。なお、このＳＴＥＰ１０では、読込んだヨーレートの検出値を積分することにより、自車両１０の回頭角（方位角）の算出も行なわれる。
【００５０】
一方、画像処理ユニット１は、ＳＴＥＰ９，１０の処理と並行して、ＳＴＥＰ１１〜１３の処理を実行する。このＳＴＥＰ１１〜１３の処理は、ＳＴＥＰ７で抽出した各対象物の自車両１０からの距離を求める処理であり、前記特許文献１の図３のＳ３１〜Ｓ３３の処理と同じである。その処理を概略的に説明すると、まず、右画像（基準画像）のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像Ｒ１として抽出する（ＳＴＥＰ１１）。
【００５１】
次いで、左画像中で、右画像の探索画像Ｒ１に含まれる対象物と同じ対象物を探索するための領域である探索領域Ｒ２が設定され、その探索領域Ｒ２内で、探索画像Ｒ１との相関性が最も高い領域が、探索画像Ｒ１に対応する画像（探索画像Ｒ１と同等の画像）である対応画像Ｒ３として抽出される（ＳＴＥＰ１２）。この場合、左画像の探索領域Ｒ２のうち、右画像の探索画像Ｒ１の輝度分布に最も一致する輝度分布を有する領域が対応画像Ｒ３として抽出される。なお、ＳＴＥＰ１２の処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。
【００５２】
次いで、右画像における前記探索画像Ｒ１の重心の横方向位置（ｘ方向位置）と、左画像における前記対応画像Ｒ３の重心の横方向位置（ｘ方向位置）との差分の画素数を視差Δｄとして算出し、その視差Δｄを用いて、対象物の自車両１０からの距離ｚ（自車両１０の前後方向における距離）が算出される（ＳＴＥＰ１３）。距離ｚは、次式（１）により算出される。
【００５３】
ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ……（１）
なお、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｐは画素ピッチ（１画素分の長さ）である。
【００５４】
以上がＳＴＥＰ１１〜１３の処理の概要である。なお、ＳＴＥＰ１１〜１３の処理は、前記ＳＴＥＰ７で抽出された各対象物に対して実行される。
【００５５】
前記ＳＴＥＰ１０およびＳＴＥＰ１３の処理の終了後、画像処理ユニット１は、次に、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１４）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向およびＹ方向は、それぞれ自車両１０の車幅方向、上下方向であり、これらのＸ方向およびＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、対象物の実空間位置（Ｘ，Ｙ，Ｚ）は次式（２）、（３）、（４）により算出される。
【００５６】
Ｘ＝ｘ×ｚ×ｐ／ｆ ……（２）
Ｙ＝ｙ×ｚ×ｐ／ｆ ……（３）
Ｚ＝ｚ ……（４）
なお、ｘ、ｙは基準画像上での対象物のｘ座標、ｙ座標である。
【００５７】
次いで、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを上記式（２）により求めた値から、前記ＳＴＥＰ１０で求めた回頭角の時系列データに応じて補正する（ＳＴＥＰ１５）。これにより、最終的に対象物の実空間位置が求められる。以降の説明では、「対象物の実空間位置」は、この補正を施した対象物の実空間位置を意味する。なお、対象物の実空間位置は、所定の演算処理周期で逐次算出される。
【００５８】
なお、ＳＴＥＰ１４，１５の処理は、前記特許文献１の図３のＳ２１、Ｓ２２の処理と同じである。以降の説明では、対象物の現在の（今回の演算処理周期での）実空間位置のＸ方向成分（Ｘ方向位置）、Ｙ方向成分（Ｙ方向位置）、Ｚ方向成分（Ｚ方向位置）をそれぞれＸ0，Ｙ0，Ｚ0で表す。
【００５９】
補足すると、ＳＴＥＰ１４，１５の処理は、本発明における相対位置検出手段を構成するものである。
【００６０】
次いで、画像処理ユニット１は、各対象物（同一ラベルの各対象物）について、該対象物が横方向速度成分を有するか否かの判定を行なう（ＳＴＥＰ１６）。補足すると、このＳＴＥＰ１６以降の処理（ＳＴＥＰ１６の処理を含む）は、前記特許文献１の図３の処理とは相違する。
【００６１】
ＳＴＥＰ１６の判定処理は、本実施形態では次のように行なわれる。
【００６２】
すなわち、まず、対象物の実空間位置の前回値（前回の演算処理周期で求めた実空間位置）におけるＸ方向成分（Ｘ方向位置）と、該対象物の実空間位置の今回値（今回の（現在の）演算処理周期で求めた実空間位置）におけるＸ方向成分Ｘ0との差ΔＸが求められる。そして、このΔＸを、演算処理周期の時間で除算してなる値Ｖxが、該対象物の現在の相対速度（車両１０に対する相対速度）の、車幅方向の速度成分として求められる。さらに、この速度成分Ｖxの大きさ（絶対値）が、所定の下限値ＶxL（＞０）以上で、且つ所定の上限値ＶxH（＞下限値）以下である場合（ＶxL≦｜Ｖx｜≦ＶxHである場合）に、該対象物が車両１０に対して横方向速度成分を有すると判定する。また、ＶxL＞｜Ｖx｜、またはＶxH＜｜Ｖx｜である場合には、対象物が横方向速度成分を有しないと判定する。なお、現在の演算処理周期で初めて抽出された対象物（前回の演算処理周期で抽出されていない対象物）については、横方向速度成分を有しないと判定される。また、本実施形態では、対象物の実空間位置の前回値と今回値との２つの値からＶxを求めるようにしたが、例えば前々回値、前回値および今回値など、今回値を含めた最新の３つ以上の実空間位置からＶxを求めるようにしてもよい。その場合、逐次型の移動平均処理によりＶxを求めるようにしてもよい。
【００６３】
ここで、上記下限値ＶxLおよび上限値ＶxHは、本実施形態では、人が道路を横断する場合に一般的にとり得る速度の大きさが該下限値ＶxLと上限値ＶxHとの間に収まるようにあらかじめ設定されている。なお、上限値ＶxHよりも大きい車幅方向の速度成分を有する対象物は、他車両など、歩行者以外の移動物体である可能性が高く、そのような対象物は、ＳＴＥＰ１６において、横方向速度成分を有しないと判定される。従って、ＳＴＥＰ１６で横方向速度成分を有すると判定される対象物は、歩行者（人）である可能性が高い対象物である。また、前記下限値ＶxLは０よりも若干大きい値に設定されるので、対象物の実空間位置の検出誤差などに起因して、車両１０とほぼ同方向もしくは逆方向に移動しているような歩行者、あるいは、静止している物体（例えば電柱や自動販売機など）が、横方向速度成分を有すると判定されるのが回避される。
【００６４】
補足すると、上記下限値ＶxLおよび上限値ＶxHは、人の移動速度だけでなく、人以外の動物の移動速度も考慮して設定するようにしてもよい。また、ＳＴＥＰ１６の判定処理は、本発明における速度成分判定手段、速度成分判定ステップを構成するものであり、速度成分判定用プログラムによって、画像処理ユニット１のマイクロコンピュータが実行する処理である。
【００６５】
ＳＴＥＰ１６の判定結果がＹＥＳである場合（横方向速度成分を有すると判定された対象物が存在する場合）には、画像処理ユニット１は、その横方向速度成分を有すると判定された各対象物についての後述する第１回避対象判定処理（第１回避対象判定アルゴリズム）を実行する（ＳＴＥＰ１９）。また、ＳＴＥＰ１６の判定結果がＮＯである場合（横方向速度成分を有しないと判定された対象物が存在する場合）には、画像処理ユニット１は、その対象物についての実空間位置の時系列データの個数が所定数Ｎ（ＮはＳＴＥＰ１６で横方向速度成分を求めるときのサンプル数よりも大きい個数で、例えば１０個）に達したか否かを判断する（ＳＴＥＰ１７）。そして、該対象物の実空間位置の時系列データが所定数Ｎに満たない場合には、ＳＴＥＰ１からの処理を繰り返す。これにより、実空間位置を算出する演算処理周期のＮ−１倍の時間間隔（これは実空間位置の演算処理周期よりも長い）を対象物の実空間位置のモニタ期間（観測期間）とし、このモニタ期間での対象物の実空間位置の時系列データが得られる。なお、ＳＴＥＰ１７の処理では、時系列データの個数を判断する代わりに、各対象物について、それが初めて抽出された時からの経過時間が所定時間（上記所定数Ｎに対応する時間）に達したか否かを判断するようにしてもよい。
【００６６】
補足すると、各演算処理周期において、ＳＴＥＰ１６の判定結果がＹＥＳとなる対象物と、ＮＯとなる対象物とが混在する場合には、ＹＥＳとなる対象物についての第１回避対象判定処理の実行が優先され、その実行後に、ＳＴＥＰ１７からの処理が行なわれる。
【００６７】
また、ＳＴＥＰ１６の判定結果がＮＯとなった対象物（横方向速度成分を有しないと判定された対象物）についての実空間位置の時系列データの個数が所定数Ｎに達した場合には、画像処理ユニット１は、該対象物の車両１０に対する相対的な移動方向を表す移動方向特徴量としての移動ベクトルを求める（ＳＴＥＰ１８）。具体的には、該対象物についての実空間位置のＮ個の時系列データを近似する直線を最小２乗法などの近似手法により求め、（Ｎ−１）周期前の演算処理周期の時刻での該直線上の対象物の位置（点）から、現在時刻（今回の演算処理周期の時刻）における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。この移動ベクトルは、対象物の車両１０に対する相対速度ベクトルに比例する。なお、移動ベクトルの代わりに、例えば、車両１０の前後方向もしくは車幅方向に対する上記直線の方位角などを対象物の移動方向特徴量として算出するようにしてもよい。
【００６８】
補足するとＳＴＥＰ１８の処理は、本発明における移動方向特徴量算出手段を構成するものである。
【００６９】
そして、画像処理ユニット１は、上記のように移動ベクトルを算出した後、その移動ベクトルを算出した対象物についての後述する第２回避対象判定処理（第２回避対象判定アルゴリズム）を実行する（ＳＴＥＰ２０）。なお、各演算処理周期において、ＳＴＥＰ１６の判定結果がＹＥＳとなる対象物と、ＮＯとなる対象物とが混在し、且つ、その判定結果がＮＯとなる対象物についての実空間位置の時系列データの個数がＮ個に達した場合には、ＳＴＥＰ１６の判定結果がＹＥＳとなる対象物（横方向速度成分を有すると判定された対象物）についての第１回避対象判定処理の実行が優先され、その実行後に、ＳＴＥＰ１６の判定結果がＮＯとなる対象物（横方向速度成分を有しないと判定された対象物）についての第２回避対象判定処理が実行される。
【００７０】
前記第１回避対象判定処理および第２回避対象判定処理は、詳細は後述するが、対象物が、車両１０との接触を回避すべき回避対象であるか否かを判定する処理であり、基本的には対象物が車両１０に接触する可能性の度合いや対象物の種類に関する判定処理によって、該対象物が回避対象であるか否かを判定する。なお、これらの回避対象判定処理は、マイクロコンピュータのＲＯＭに実装されたサブルーチンプログラムを該マイクロコンピュータが実行することにより実現される。
【００７１】
そして、ＳＴＥＰ１９の判定結果がＹＥＳである場合、あるいは、ＳＴＥＰ２０の判定結果がＹＥＳである場合、すなわち、ＳＴＥＰ１９または２０で対象物が回避対象であると判定された場合には、ＳＴＥＰ２１に進んで、画像処理ユニット１は、該対象物に対する車両１０の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を実行する。
【００７２】
この注意喚起出力判定処理では、前記ブレーキセンサ５の出力から、運転者による車両１０のブレーキ操作がなされていることが確認され、且つ、車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行なわないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行なうべきと判定される。
【００７３】
そして、画像処理ユニット１は、注意喚起を行なうべきと判定した場合（ＳＴＥＰ２１の判定結果がＹＥＳとなる場合）には、前記スピーカ６と表示装置７とによる注意喚起を車両１０の運転者に対して行なう注意喚起処理を実行し（ＳＴＥＰ２１）、さらにＳＴＥＰ１からの処理を繰り返す。この注意喚起処理では、例えば表示装置７に前記基準画像を表示すると共に、その基準画像中の対象物（ＳＴＥＰ１９または２０で回避対象であると判定された対象物）の画像を強調的に表示する。さらに、そのような回避対象の対象物が存在することをスピーカ６から運転者に音声案内する。これにより、該対象物に対する運転者の注意が喚起され、該運転者は、該対象物と車両１０との接触を回避するための体制を整えることができる。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。また、車両１０が自動操舵を行い得る車両である場合には、ＳＴＥＰ１９または２０で回避対象であると判定された対象物との接触を回避するように車両１０の操舵制御を実行するようにしてもよい。
【００７４】
また、ＳＴＥＰ２１で注意喚起を行なわないと判断したとき（全ての回避対象の対象物について注意喚起を行なわないと判断したとき）には、ＳＴＥＰ２１の判断結果がＮＯとなり、この場合には、そのままＳＴＥＰ１からの処理が再開される。
【００７５】
補足すると、ＳＴＥＰ１６〜ＳＴＥＰ２０の処理は、本発明における回避対象判定手段、回避対象判定ステップを構成するものである。この場合、本実施形態では、対象物が回避対象であるか否かを判定する判定アルゴリズムとして、ＳＴＥＰ１９，２０の２つのアルゴリズムを備えている。
【００７６】
以上が本実施形態の周辺監視装置の全体的作動である。
【００７７】
次に、説明を後回しにした前記ＳＴＥＰ１９および２０の判定処理を図５〜図７を参照して以下に詳説する。図５はＳＴＥＰ１９の第１回避対象判定処理を示すフローチャート、図６はＳＴＥＰ２０の第２回避対象判定処理を示すフローチャート、図７は後述する第１領域ＡＲ１、第２領域ＡＲ２、第３領域ＡＲ３などを平面視で示す図である。
【００７８】
まず、ＳＴＥＰ１９の判定処理を図５および図７を参照して説明する。ＳＴＥＰ１９の第１回避対象判定処理は、前記ＳＴＥＰ１６で横方向速度成分を有すると判定された対象物のそれぞれについて実行される判定処理（判定アルゴリズム）であり、図５のフローチャートで示す如く実行される。
【００７９】
まず、対象物の実空間位置（車両１０に対する相対位置）に関する１つの判定処理としての第１対象物位置判定処理が実行される（ＳＴＥＰ３１）。この第１対象物位置判定処理は、車両１０と対象物との接触を車両１０の操舵やブレーキ操作によって余裕をもって回避できるか否かを判定するための処理である。具体的には、該第１対象物位置判定処理では、赤外線カメラ２Ｒ，２Ｌにより撮像される車両１０の前方の領域（赤外線カメラ２Ｒ，２Ｌの視野角内の領域。以下、撮像領域という）のうち、車両１０からのＺ方向の距離（車両１０の前後方向の距離）が、所定値以下となる領域ＡＲ１（以下、第１領域ＡＲ１という）に対象物の現在の実空間位置（実空間位置の今回値）が存在するか否かが判定される。
【００８０】
この場合、車両１０からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物の実空間位置の前回値におけるＺ方向成分（Ｚ方向位置）と該対象物の実空間位置の今回値におけるＺ方向成分（Ｚ方向位置）との差を演算処理周期の時間で除算することにより、車両１０の前後方向（Ｚ方向）における該対象物の相対速度Ｖz1が求められ、この相対速度Ｖz1に所定の定数Ｔ（時間の次元の定数）を乗じてなる値Ｖz1・Ｔが前記第１領域ＡＲ１の、Ｚ方向の境界を規定する上記所定値として設定される。このように、該所定値は、車両１０の前後方向（Ｚ方向）における対象物の相対速度Ｖz1に応じて設定される。なお、該所定値は固定値でもよく、あるいは、相対速度Ｖz1と車両１０の走行速度（対地速度）とに応じて設定してもよい。
【００８１】
ここで、図７に示すように、前記撮像領域を、平面視で図中の直線Ｌ１，Ｌ２の間の領域とすると（直線Ｌ１，Ｌ２は赤外線カメラ２Ｒ，２Ｌの視野角の左右の境界線に相当する）、前記第１領域ＡＲ１は、平面視で、図７の三角形ａｂｃで囲まれた領域となる。また、第１領域ＡＲ１は、上下方向では、所定の高さ（例えば車両１０の高さの２倍程度の高さ）を有する領域である。従って、対象物の現在の実空間位置のＺ方向位置Ｚ0がＶz1・Ｔ以下で、且つ、Ｙ方向位置Ｙ0が所定の高さ以下の位置であるときに、該対象物が第１領域ＡＲ１に存在すると判定される。なお、車両１０の前後方向における対象物の相対速度Ｖz1が車両１０から遠ざかる向きの相対速度である場合には、該対象物は第１領域ＡＲ１に存在しないと判定される。
【００８２】
ＳＴＥＰ３１において、対象物が第１領域ＡＲ１内に存在しないと判定された場合（ＳＴＥＰ３１の判定結果がＮＯとなる場合）は、車両１０の操舵やブレーキ操作によって該対象物と車両１０との接触を余裕をもって回避し得る状況である。そして、この場合には、画像処理ユニット１は、ＳＴＥＰ３６において、該対象物が回避対象で無いと判定し、該対象物についての第１回避対象判定処理を終了する。
【００８３】
一方、ＳＴＥＰ３１において、対象物が第１領域ＡＲ１内に存在すると判定された場合（ＳＴＥＰ３１の判断結果がＹＥＳとなる場合）は、対象物の実空間位置、あるいは該対象物の移動形態によっては、該対象物と車両１０とが将来、接触する可能性がある。そこで、この場合には、画像処理ユニット１はさらに、対象物の実空間位置に関する判定処理としての第２対象物位置判定処理を実行する（ＳＴＥＰ３２）。この第２対象物位置判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、車両１０と対象物との接触の可能性が高いか否かを判定するための処理である。具体的には、該第２対象物位置判定処理では、対象物が、図７に示すように車両１０の両側で前後方向に延在する（車両１０の車幅中心線Ｌ０と平行に延在する）ように設定された一対の境界線Ｌ３，Ｌ４の間の領域ＡＲ２（以下、第２領域ＡＲ２という）に存在するか否かが判定される。
【００８４】
この場合、第２領域ＡＲ２の左右の境界線Ｌ３，Ｌ４は、それらの間隔をＷとしたとき、図７に示すように、車両１０の車幅中心線Ｌ０から左右に同じ間隔Ｗ／２を有する位置に設定される。そして、境界線Ｌ３，Ｌ４の間隔Ｗは、車両１０の車幅αよりも若干広い間隔に設定される。なお、対象物が第２領域ＡＲ２に存在するか否かは、対象物の現在の実空間位置のＸ方向成分Ｘ0の値が、境界線Ｌ３のＸ方向位置と境界線Ｌ４のＸ方向位置との間の値であるか否によって判定される。
【００８５】
ＳＴＥＰ３２において、対象物の実空間位置が第２領域ＡＲ２に存在すると判定された場合（ＳＴＥＰ３２の判定結果がＹＥＳとなる場合）は、対象物が現在の実空間位置に留まったとした場合に、該対象物が車両１０と接触する可能性が高い。この場合には、画像処理ユニット１は、次に、対象物が歩行者（人）であるか（より正確には人である可能性が高いか否か）の判定処理を行なう（ＳＴＥＰ３３）。対象物が歩行者であるか否かの判定は、公知の手法（例えば特開２００３−２８４０５７号公報に記載されている手法）を使用すればよく、グレースケール画像上での対象物の形状や大きさ、輝度分布等の特徴に基づいて行なうことができる。
【００８６】
このＳＴＥＰ３３の歩行者判定処理で、対象物が歩行者である可能性が高いと判断した場合には、対象物が歩行者であるとの判定の信頼性を高めるために、ＳＴＥＰ３４に進み、該対象物が他車両であるか否かの判定処理（車両判定処理）が行なわれる。対象物が他車両であるか否かの判定は、公知の手法（例えば特開２００３−２３０１３４号公報に記載されている手法）を使用すればよく、対象物の画像（グレースケール画像または２値化画像）における、他車両のウィンドウシールド部分の有無などに基づいて行なうことができる。あるいは、パターンマッチングの手法により対象物が他車両であるか否かの判定を行なうようにしてもよい。
【００８７】
補足すると、第１回避対象判定処理は、前記ＳＴＥＰ１６で横方向速度成分を有すると判定された対象物に関して実行される処理であるので、電柱や自動販売機などの静止物体は、除外されている。一方、車両１０の前方で比較的ゆっくり曲がろうとしている他車両や進路変更中の他車両は、第１回避対象判定処理の対象となる場合がある。このため、本実施形態では、ＳＴＥＰ３４の車両判定処理を実行する。
【００８８】
そして、ＳＴＥＰ３４で、対象物が他車両でないと判定された場合（ＳＴＥＰ３４の判定結果がＮＯとなる場合）には、画像処理ユニット１は、ＳＴＥＰ３５において、対象物が回避対象であると判定し、第１回避対象判定処理を終了する。従って、対象物が前記第１領域ＡＲ１内の第２領域ＡＲ２に存在し、且つ、対象物が歩行者である可能性が高く、且つ、他車両でないと判定された場合には、対象物が回避対象であると判定される。
【００８９】
また、ＳＴＥＰ３３で対象物が歩行者でないと判定され、あるいは、ＳＴＥＰ３４で対象物が人工構造物であると判定された場合には、前記ＳＴＥＰ３６に進んで、対象物が回避対象で無いと判定され、第１回避対象判定処理が終了する。
【００９０】
一方、前記ＳＴＥＰ３２において、対象物が第２領域ＡＲ２に存在しないと判定された場合（ＳＴＥＰ３２の判定結果がＮＯとなる場合）には、画像処理ユニット１は、次に、対象物の実空間位置と該対象物の横方向速度成分Ｖxの向きとに関する第１進入判定処理を実行する（ＳＴＥＰ３７）。この第１進入判定処理は、対象物が前記第２領域ＡＲ２に進入しようとしている可能性が高い（対象物が車両１０の前方で道路を横断しようとしている可能性が高い）か否かを判定する処理である。具体的には、該第１進入判定処理では、前記第２領域ＡＲ２の左右の両側で前後方向に延在して設定された左右一対の第３領域ＡＲ３，ＡＲ３（図７参照）に対象物が存在し、且つ、該対象物の横方向速度成分Ｖxの向き（符号）が、第２領域ＡＲ２に向かう向きであるという要件が満たされるか否かが判定される。
【００９１】
ここで、図７を参照して、左側の第３領域ＡＲ３は、第２領域ＡＲ２の左側の境界線Ｌ３と、該第２領域ＡＲ２の外側で境界線Ｌ３と平行に延在する境界線Ｌ５との間の領域であり、右側の第３領域は、第２領域の右側の境界線Ｌ４と、該第２領域の外側の境界線Ｌ４と平行に延在する境界線Ｌ６との間の領域である。換言すれば、これらの第３領域ＡＲ３，ＡＲ３は、前記撮像領域のうち、第２領域ＡＲ２の外側で、該第２領域ＡＲ２に隣接して、前後方向に延在する領域である。左右の第３領域ＡＲ３，ＡＲ３の幅は、互いに同一である。なお、第３領域ＡＲ３の幅は、固定値でもよいが、対象物の横方向速度成分Ｖxの大きさ（絶対値）に応じて変化させる（横方向速度成分の大きさが大きいほど、第３領域ＡＲ３の幅を大きくする）ようにしてもよい。また、第３領域ＡＲ３の幅は、Ｚ方向で車両１０に近づくほど、広くなるようにしてもよい。
【００９２】
補足すると、対象物が第３領域ＡＲ３に存在するか否かは、対象物の現在のＸ方向位置Ｘ0が境界線Ｌ３のＸ方向位置と境界線Ｌ５のＸ方向位置との間、または、境界線Ｌ４のＸ方向位置と境界線Ｌ６のＸ方向位置との間の値であるか否かによって判定される。また、対象物の横方向速度成分Ｖxの向きは、Ｖxの符号によって判定される。この場合、対象物が第２領域ＡＲ２の左側に存在する場合には、横方向速度成分Ｖxの向きが右向きであるときに、その向きが第２領域ＡＲ２に接近する向きであり、対象物が第３領域ＡＲ２の右側に存在する場合には、横方向速度成分Ｖxの向きが左向きであるときに、その向きが第２領域ＡＲ２に接近する向きである。
【００９３】
ＳＴＥＰ３２において、対象物が前記第３領域ＡＲ３，ＡＲ３のいずれか一方に存在し、且つ、該対象物の横方向速度成分Ｖxの向き（符号）が、第２領域ＡＲ２に向かう向きであるという要件が満たされる場合（ＳＴＥＰ３２の判定結果がＹＥＳとなる場合）には、対象物が車両１０の前方を横断しようとしており、近い将来に該対象物が第２領域ＡＲ２に進入する可能性が高い。そこで、この場合には、画像処理ユニット１は、ＳＴＥＰ３５において、該対象物が回避対象である判定し、第１回避対象判定処理を終了する。
【００９４】
また、ＳＴＥＰ３２において、対象物の実空間位置が前記第３領域ＡＲ３，ＡＲ３に存在し、且つ、該対象物の横方向速度成分Ｖxの向き（符号）が、第２領域ＡＲ２に向かう向きであるという要件が満たされない場合（ＳＴＥＰ３２の判定結果がＮＯとなる場合）、すなわち、対象物が、前記撮像領域内で、第３領域ＡＲ３の外側の領域（前記境界線Ｌ５よりも左側の領域または前記境界線Ｌ６よりも右側の領域）に存在するか、もしくは、対象物の横方向速度成分Ｖxの向きが、第２領域ＡＲ２から離れる向きである場合には、画像処理ユニット１は、ＳＴＥＰ３６において、該対象物が回避対象で無いと判定し、第１回避対象判定処理を終了する。
【００９５】
以上が、第１回避対象判定処理の詳細である。なお、撮像領域のうちの、第２領域を除く領域を第３領域ＡＲ３として設定するようにしてもよい。
【００９６】
次に、前記ＳＴＥＰ２０の第２回避対象判定処理を説明する。この第２回避対象判定処理は、図６のフローチャートに示す如く実行される。
【００９７】
第２回避対象判定処理では、まず、前記ＳＴＥＰ１８で移動ベクトルを求めた対象物の実空間位置（車両１０に対する相対位置）に関する第３対象物位置判定処理が実行される（ＳＴＥＰ４１）。本実施形態では、この第３対象物位置判定処理では、前記第１対象物位置判定処理と同様に、前記撮像領域のうち、車両１０からのＺ方向の距離（車両１０の前後方向の距離）が、所定値以下となる第１領域ＡＲ１に対象物が存在するか否かが判定される。ただし、この第３対象物位置判定処理において、第１領域ＡＲ１のＺ方向の境界を規定する上記所定値は、前記ＳＴＥＰ１８で移動ベクトルを求めるための前記モニタ期間における対象物の相対速度（Ｚ方向の速度成分）の平均値Ｖz2に前記定数Ｔを乗じてなる値Ｖz2・Ｔ（図７参照）に設定される。この場合、Ｚ方向における対象物の相対速度の平均値Ｖz2は、前記ＳＴＥＰ１８で算出した移動ベクトルのＺ方向成分を前記モニタ期間の時間で除算することにより算出される。なお、第１領域ＡＲ１の上下方向の高さは、第１対象物位置判定処理の場合と同じに設定される。
【００９８】
ＳＴＥＰ４１において、対象物が第１領域ＡＲ１に存在しない場合（ＳＴＥＰ４１の判定結果がＮＯとなる場合）は、車両１０の操舵やブレーキ操作によって対象物と車両１０との接触を余裕をもって回避し得る。このため、この場合には、画像処理ユニット１は、ＳＴＥＰ４６において、対象物が回避対象で無いと判定し、第２回避対象判定処理を終了する。
【００９９】
また、ＳＴＥＰ４１において、対象物が第１領域ＡＲ１に存在する場合（ＳＴＥＰ４１の判定結果がＹＥＳとなる場合）には、画像処理ユニット１は次に、対象物の実空間位置に関する第４対象物位置判定処理を実行する（ＳＴＥＰ４２）。この第４対象物位置判定処理は、前記第２対象物位置判定処理と同じであり、対象物が前記第２領域ＡＲ２（図７参照）に存在するか否かが判定される。
【０１００】
そして、ＳＴＥＰ４１において、対象物が第２領域ＡＲ２に存在する場合には、前記ＳＴＥＰ３３と同じ歩行者判定処理（対象物が歩行者である可能性が高いか否かの判定処理）がＳＴＥＰ４３で実行され、該ＳＴＥＰ４４の判定結果がＹＥＳである場合には、さらに、対象物が電柱や他車両などの人工構造物であるか否かの判定処理（人工構造物判定処理）がＳＴＥＰ４４で実行される。対象物が人工構造物であるか否かの判定は、公知の手法（例えば特開２００３−１６４２９号公報や特開２００３−２３０１３４号公報に記載されている手法）を使用すればよく、対象物の画像（グレースケール画像または２値化画像）における直線部分や直角部分の有無、他車両のウィンドウシールド部分の有無などの基づいて行なうことができる。あるいは、パターンマッチングの手法により対象物が人工構造物であるか否かの判定を行なうようにしてもよい。
【０１０１】
補足すると、第２回避対象判定処理は、前記ＳＴＥＰ１６で横方向速度成分を有しないと判定された対象物に関して実行される処理であるので、前記第１回避対象判定処理の対象とならない電柱や自動販売機などの静止物体、あるいは、車両１０と同方向もしくは逆方向に移動している他車両が、第２回避対象判定処理の対象となる場合がある。このため、本実施形態では、ＳＴＥＰ４４の人工構造物判定処理を実行する。
【０１０２】
このとき、ＳＴＥＰ４４の判定結果がＮＯである場合には、ＳＴＥＰ４５において、対象物が回避対象であると判定され、第２回避対象判定処理が終了する。また、ＳＴＥＰ４３の判定結果がＮＯである場合、あるいは、ＳＴＥＰ４４の判定結果がＹＥＳである場合には、前記ＳＴＥＰ４６において、対象物が回避対象で無いと判定され、第２回避対象判定処理が終了する。
【０１０３】
一方、ＳＴＥＰ４２において、対象物が第２領域ＡＲ２に存在しないと判定された場合（ＳＴＥＰ４２の判定結果がＮＯとなる場合）、すなわち、対象物が、撮像領域のうちの第２領域ＡＲ２の外側の領域に存在する場合には、画像処理ユニット１は、次に、対象物の移動方向に関する第２進入判定処理を実行する（ＳＴＥＰ４７）。この第２進入判定処理は、対象物が前記第２領域ＡＲ２に進入し、且つ、車両１０との接触する可能性が高いか否かを判定する処理である。具体的には、対象物の移動ベクトルが現状に維持されると仮定し、この移動ベクトルを含む直線と、車両１０の前端位置における実空間座標系のＸＹ平面との交点のＸ方向位置が求められる。そして、この求めたＸ方向位置が、自車両１０の車幅中心線Ｌ０のＸ方向位置を中心とする所定範囲（自車両１０の車幅よりも若干広い範囲）に存在することを要件（以下、進入接触要件という）として、この進入接触要件が満たされるか否かが判定される。
【０１０４】
ＳＴＥＰ４７において、対象物が前記進入接触要件を満たす場合（ＳＴＥＰ４７の判定結果がＹＥＳとなる場合）には、対象物が将来、車両１０と接触する可能性が高い。そこで、この場合には、画像処理ユニット１は、前記ＳＴＥＰ４５において、該対象物が回避対象であると判定し、第２回避対象判定処理を終了する。
【０１０５】
また、ＳＴＥＰ４７において、対象物が前記進入接触要件を満たさない場合（ＳＴＥＰの判定結果がＮＯとなる場合）には、対象物が車両１０と接触する可能性が低いので、画像処理ユニット１は、前記ＳＴＥＰ４６において、該対象物が回避対象で無いと判定し、第２回避対象判定処理を終了する。
【０１０６】
以上が第２回避対象判定処理の詳細である。
【０１０７】
以上説明した第１実施形態では、ＳＴＥＰ１６で対象物が横方向速度成分を有すると判定された場合には、画像処理ユニット１（詳しくは画像処理ユニット１のマイクロコンピュータ）により前記第１回避対象判定処理が実行され、前記モニタ期間において横方向速度成分を有しないと判定された場合には、画像処理ユニット１により前記第２回避対象判定処理が実行される。この場合、第１回避対象判定処理は、モニタ期間における対象物の時系列データを基に決定される移動ベクトルに関する判定処理を含まないので、歩行者が車両１０の前方の道路を横断しつつあるとき、あるいは、横断しようとしているとき（もしくはその可能性が高いとき）には、速やかに該歩行者を回避対象であると判定し、ひいては、その歩行者に関する車両１０の運転者の注意を喚起することができる。また、第２回避対象判定処理は、前記移動ベクトルに関する判定処理である前記ＳＴＥＰ４７の第２進入判定処理を含むため、該移動ベクトルが算出された後でなければ、実行されない。ただし、該第２進入判定処理によって、対象物が車両１０に接触する可能性を高い信頼性で判定できるので、適切な注意喚起を車両１０の運転者に対して行なうことができる。
【０１０８】
次に、本発明の第２実施形態を図８を参照して説明する。本実施形態は、ＳＴＥＰ１６の判定処理（横方向速度成分を有するか否かの判定処理）のみが、第１実施形態と相違するものであり、図８はその判定処理を示している。
【０１０９】
以下説明すると、本実施形態では、ＳＴＥＰ１６の判定処理では、まず、前記第１実施形態で説明した如く、車両１０の車幅方向における対象物の速度成分Ｖxが算出され（ＳＴＥＰ５１）、さらに、この速度成分Ｖxの大きさが所定の下限値ＶxL以上で、且つ上限値ＶxH以下であるか否かが判定される（ＳＴＥＰ５２）。このとき、ＳＴＥＰ５２の判定結果がＮＯである場合（ＶxL＞｜Ｖx｜、またはＶxH＜｜Ｖx｜である場合）には、ＳＴＥＰ５６において、対象物は横方向速度成分を有しないと判定される。
【０１１０】
一方、ＳＴＥＰ５２の判定結果がＹＥＳである場合（ＶxL≦｜Ｖx｜≦ＶxHである場合）には、対象物の現在の実空間位置と前記第２領域ＡＲ２と比較に基づいて、該対象物が第２領域ＡＲ２に存在するか否かが判定される（ＳＴＥＰ５３）。このとき、対象物が第２領域ＡＲ２に存在し、ＳＴＥＰ５３の判定結果がＹＥＳとなる場合には、対象物の速度成分Ｖxの向き（符号）によらずに、ＳＴＥＰ５５において、対象物が横方向速度成分を有すると判定される。
【０１１１】
一方、ＳＴＥＰ５３の判定結果がＮＯとなる場合、すなわち、対象物が撮像領域内で、第２領域ＡＲ２の外側（第２領域ＡＲ２の左側の領域または右側の領域）に存在する場合には、対象物の速度成分Ｖxの向きが、第２領域ＡＲ２に接近する向きであるか否かがＶxの符号を基に判定される（ＳＴＥＰ５４）。この場合、対象物が第２領域ＡＲ２の左側の領域に存在する場合には、第２領域ＡＲ２に接近する向きは、右向きであり、対象物が第２領域ＡＲ２の右側の領域に存在する場合には、第２領域ＡＲ２に接近する向きは、左向きである。
【０１１２】
そして、ＳＴＥＰ５４の判定結果がＹＥＳとなる場合（Ｖxの向きが第２領域ＡＲ２に接近する向きである場合）には、ＳＴＥＰ５５において、対象物が横方向速度成分を有すると判定される。また、ＳＴＥＰ５４の判定結果がＮＯとなる場合（Ｖxの向きが第２領域ＡＲ２から離れる向きである場合）には、ＳＴＥＰ５６において、対象物が横方向速度成分を有しないと判定される。
【０１１３】
以上のように、本実施形態では、ＶxL≦｜Ｖx｜≦ＶxHという要件に加えて、Ｖxの向きが、対象物の実空間位置（車両１０に対する相対位置）に応じて定まる要件を満たす場合に、対象物が横方向速度成分を有すると判定される。この場合、Ｖxの向きに関する要件は、対象物が第２領域ＡＲ２に存在する場合には、Ｖxが左右いずれかの向きであるという要件となり、対象物が第２領域ＡＲ２に存在しない場合には、Ｖxが第２領域ＡＲ２に接近する向きであるという要件となる。
【０１１４】
このように横方向速度成分を有するか否かの判定を行なうことにより、横方向速度成分を有すると判定される対象物は、第１実施形態の場合よりも、車両１０の前方を横断する可能性が高い対象物となる。
【０１１５】
補足すると、本実施形態において、前記第３領域を第２領域ＡＲ２の外側の領域に設定した場合には、前記第１回避対象判定処理におけるＳＴＥＰ３７の判定結果は常にＹＥＳとなる。従って、この場合には、前記図５のＳＴＥＰ３２の判定結果がＮＯとなる場合に、ＳＴＥＰ３７の判定処理（第１進入判定処理）を省略して、対象物が回避対象であると判定するようにしてもよい。
【０１１６】
次に、本発明の第３実施形態を図９を参照して説明する。本実施形態は、第１実施形態における図４のＳＴＥＰ１６からＳＴＥＰ１７にかけての処理を変更したものであり、図９はその変更後の処理を部分的に示すフローチャートである。これ以外は、第１実施形態と同じである。
【０１１７】
図９を参照して、本実施形態では、ＳＴＥＰ１６で横方向速度成分を有すると判定された対象物については、さらに、ＳＴＥＰ６０において、対象物の実空間位置に関する判定処理が実行される。具体的には、ＳＴＥＰ６０においては、対象物の現在のＺ方向位置Ｚ0、すなわち、車両１０の前後方向における対象物の車両１０からの距離が所定値以下であるか否かが判定される。この場合、該所定値は、Ｚ方向における対象物の現在の相対速度Ｖz1に応じて設定され、例えば前記第１領域ＡＲ１のＺ方向の境界を規定する所定値（＝Ｖz1・Ｔ）と同じ値に設定される。ただし、ＳＴＥＰ６０の判定処理における所定値と、第１領域ＡＲ１のＺ方向の境界を規定する所定値（＝Ｖz1・Ｔ）とを同じ値にする必要はなく、例えば前者の値を後者の値と異なる値に設定してもよく、あるいは、前者の値を固定値に設定してもよい。
【０１１８】
そして、ＳＴＥＰ６０の判定結果がＹＥＳとなる場合（Ｚ0≦所定値となる場合）には、その対象物ついては、前記図４のＳＴＥＰ１９に進んで、前記第１回避対象判定処理が実行される。また、ＳＴＥＰ６０の判定結果がＮＯとなる場合には、前記ＳＴＥＰ１７からの処理が実行され、最終的に、実空間位置の時系列データの個数がＮ個に達したときに、前記図４のＳＴＥＰ２０に進んで、前記第２回避対象判定処理が実行される。
【０１１９】
以上のように、本実施形態では、ＳＴＥＰ１６における横方向速度成分の有無の判定結果と、ＳＴＥＰ６０における対象物の実空間位置に関する判定結果との組に応じて、第１回避対象判定処理と、第２回避対象判定処理とが選択的に実行されることとなる。
【０１２０】
この場合、本実施形態では、対象物が横方向速度成分を有するだけでなく、Ｚ方向における対象物の相対位置が、車両１０に比較的近い場合にのみ、第１回避対象判定処理が実行されることとなる。つまり、移動ベクトルを使用しない簡易的な回避対象判定処理である第１回避対象判定処理は、対象物を回避対象とすべきか否かの判定をより早急に行なうべき状況でのみ実行され、それ以外の状況では、第２回避対象判定処理が実行されて、対象物を回避対象とすべきか否かの判定の信頼性を高めて、注意喚起をより適切に行なうことができる。
【０１２１】
補足すると、本実施形態において、ＳＴＥＰ６０の判定処理を前記第１回避対象判定処理における前記ＳＴＥＰ３１の判定処理（第１対象物位置判定処理）と同じにしてよい。その場合には、第１回避対象判定処理における前記ＳＴＥＰ３１の判定結果は常にＹＥＳとなるので、該ＳＴＥＰ３１の判定処理を省略してもよい。
【０１２２】
また、本実施形態では、ＳＴＥＰ６０において、対象物のＺ方向位置だけを判定するようにしたが、これに加えて、あるいは、これの代わりに、対象物のＸ方向位置を判定するようにしてもよい。例えば、対象物のＸ方向位置が第３領域ＡＲ３の左側境界線Ｌ５の左側の領域、あるいは、右側境界線Ｌ６の右側の領域に存在する場合には、ＳＴＥＰ１９の第１回避対象判定処理を実行せずに、ＳＴＥＰ１７からの処理を実行するようにしてもよい。
【０１２３】
また、前記第１〜第３実施形態では、赤外線カメラ２Ｒ，２Ｌの撮像画像を基に対象物を検出するようにしたが、可視光カメラの撮像画像を基に対象物を検出するようにしてもよく、あるいは、レーダなどにより対象物を検出するようにしてもよい。また、対象物の車両１０に対する相対位置や相対速度をレーダを使用して検出するようにしてもよい。
【図面の簡単な説明】
【０１２４】
【図１】本発明の第１実施形態の装置の全体構成を示す図。
【図２】図１の周辺監視装置を備えた車両の斜視図。
【図３】図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。
【図４】図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。
【図５】図４のＳＴＥＰ１９の処理を示すフローチャート。
【図６】図４のＳＴＥＰ２０の処理を示すフローチャート。
【図７】図４のＳＴＥＰ１９、２０の処理で使用する領域を説明するための図。
【図８】本発明の第２実施形態におけるＳＴＥＰ１６の判定処理を示すフローチャート。
【図９】本発明の第３実施形態おける画像処理ユニットの処理の一部を示すフローチャート。
【符号の説明】
【０１２５】
１…画像処理ユニット（対象物検出手段、速度成分判定手段、回避対象判定手段、相対位置検出手段、移動方向特徴量算出手段）、ＳＴＥＰ１〜９…対象物検出手段、ＳＴＥＰ１４，１５…相対位置検出手段、ＳＴＥＰ１６…速度成分判定手段、ＳＴＥＰ１６〜ＳＴＥＰ２０…回避対象判定手段、ＳＴＥＰ１８…移動方向特徴量算出手段。
【特許請求の範囲】
【請求項１】
少なくとも車両の前方側に存在する対象物を検出する対象物検出手段と、前記検出された対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段とを備えた車両の周辺監視装置において、
前記対象物検出手段により検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定手段を備え、
前記回避対象判定手段は、前記対象物が回避対象であるか否かの判定を行なうための複数種類の判定アルゴリズムを選択的に実行可能な手段であり、少なくとも前記速度成分判定手段の判定結果に応じて前記複数種類の判定アルゴリズムのうちの１つの判定アルゴリズムを選択して、該判定アルゴリズムを実行することにより前記対象物が回避対象であるか否かの判定を行なうことを特徴とする車両の周辺監視装置。
【請求項２】
前記横方向速度成分は、その大きさが前記下限値よりも大きい所定の上限値以下となる速度成分であることを特徴とする請求項１記載の車両の周辺監視装置。
【請求項３】
前記対象物検出手段により検出された対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段を備え、前記横方向速度成分は、その向きが前記相対位置検出手段により検出された相対位置に応じて定まる所定の要件を満たす向きとなる速度成分であることを特徴とする請求項１または２記載の車両の周辺監視装置。
【請求項４】
前記対象物検出手段により検出された対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段と、その相対位置が前記車両の前方の所定の領域に存在するか否かを判定する相対位置判定手段とを備え、前記回避対象判定手段は、前記速度成分判定手段の判定結果と前記相対位置判定手段の判定結果との組に応じて前記複数の判定アルゴリズムのうちの１つの判定アルゴリズムを選択して実行することを特徴とする請求項１記載の車両の周辺監視装置。
【請求項５】
前記対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段と、
前記速度成分判定手段の判定処理の実行周期よりも長い時間間隔において前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づき該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段を備え、
前記速度成分判定手段の判定結果が否定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含むアルゴリズムにより構成され、前記速度成分判定手段の判定結果が肯定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含まないアルゴリズムにより構成されていることを特徴とする請求項１記載の車両の周辺監視装置。
【請求項６】
前記速度成分判定手段の判定処理の実行周期よりも長い時間間隔において前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づき該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段を備え、
前記速度成分判定手段の判定結果または前記相対位置判定手段の判定結果が否定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含むアルゴリズムにより構成され、前記速度成分判定手段の判定結果および前記相対位置判定手段の判定結果が肯定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含まないアルゴリズムにより構成されていることを特徴とする請求項４記載の車両の周辺監視装置。
【請求項７】
請求項１〜６のいずれか１項に記載の車両の周辺監視装置を搭載したことを特徴とする車両。
【請求項８】
少なくとも車両の前方側に存在する対象物を検出し、その検出した対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する車両の周辺監視方法において、
前記検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定ステップと、
前記対象物が回避対象であるか否かの判定を行なうための判定アルゴリズムを、あらかじめ用意された複数種類の判定アルゴリズムの中から、少なくとも前記速度成分判定ステップの判定結果に応じて選択し、その選択した判定アルゴリズムを実行することにより前記対象物が回避対象であるか否かの判定を行なう回避対象判定ステップとを備えたことを特徴とする車両の周辺監視方法。
【請求項９】
少なくとも車両の前方側に存在することが検出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する処理をコンピュータに実行させる車両の周辺監視用プログラムであって、
前記検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定処理と、
前記対象物が回避対象であるか否かの判定を行なうための判定用アルゴリズムを、あらかじめ定められた複数の判定用アルゴリズムの中から、少なくとも前記速度成分判定処理の判定結果に応じて選択し、その選択した判定アルゴリズムにより前記対象物が前記回避対象であるか否かを判定する回避対象判定処理とを前記コンピュータに実行させる機能を備えることを特徴とする車両の周辺監視用プログラム。
【請求項１】
少なくとも車両の前方側に存在する対象物を検出する対象物検出手段と、前記検出された対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段とを備えた車両の周辺監視装置において、
前記対象物検出手段により検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定手段を備え、
前記回避対象判定手段は、前記対象物が回避対象であるか否かの判定を行なうための複数種類の判定アルゴリズムを選択的に実行可能な手段であり、少なくとも前記速度成分判定手段の判定結果に応じて前記複数種類の判定アルゴリズムのうちの１つの判定アルゴリズムを選択して、該判定アルゴリズムを実行することにより前記対象物が回避対象であるか否かの判定を行なうことを特徴とする車両の周辺監視装置。
【請求項２】
前記横方向速度成分は、その大きさが前記下限値よりも大きい所定の上限値以下となる速度成分であることを特徴とする請求項１記載の車両の周辺監視装置。
【請求項３】
前記対象物検出手段により検出された対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段を備え、前記横方向速度成分は、その向きが前記相対位置検出手段により検出された相対位置に応じて定まる所定の要件を満たす向きとなる速度成分であることを特徴とする請求項１または２記載の車両の周辺監視装置。
【請求項４】
前記対象物検出手段により検出された対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段と、その相対位置が前記車両の前方の所定の領域に存在するか否かを判定する相対位置判定手段とを備え、前記回避対象判定手段は、前記速度成分判定手段の判定結果と前記相対位置判定手段の判定結果との組に応じて前記複数の判定アルゴリズムのうちの１つの判定アルゴリズムを選択して実行することを特徴とする請求項１記載の車両の周辺監視装置。
【請求項５】
前記対象物の前記車両に対する相対位置を逐次検出する相対位置検出手段と、
前記速度成分判定手段の判定処理の実行周期よりも長い時間間隔において前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づき該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段を備え、
前記速度成分判定手段の判定結果が否定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含むアルゴリズムにより構成され、前記速度成分判定手段の判定結果が肯定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含まないアルゴリズムにより構成されていることを特徴とする請求項１記載の車両の周辺監視装置。
【請求項６】
前記速度成分判定手段の判定処理の実行周期よりも長い時間間隔において前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づき該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段を備え、
前記速度成分判定手段の判定結果または前記相対位置判定手段の判定結果が否定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含むアルゴリズムにより構成され、前記速度成分判定手段の判定結果および前記相対位置判定手段の判定結果が肯定的である場合に前記回避対象判定手段が選択する判定アルゴリズムは、少なくとも前記移動方向特徴量に関する判定処理を含まないアルゴリズムにより構成されていることを特徴とする請求項４記載の車両の周辺監視装置。
【請求項７】
請求項１〜６のいずれか１項に記載の車両の周辺監視装置を搭載したことを特徴とする車両。
【請求項８】
少なくとも車両の前方側に存在する対象物を検出し、その検出した対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する車両の周辺監視方法において、
前記検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定ステップと、
前記対象物が回避対象であるか否かの判定を行なうための判定アルゴリズムを、あらかじめ用意された複数種類の判定アルゴリズムの中から、少なくとも前記速度成分判定ステップの判定結果に応じて選択し、その選択した判定アルゴリズムを実行することにより前記対象物が回避対象であるか否かの判定を行なう回避対象判定ステップとを備えたことを特徴とする車両の周辺監視方法。
【請求項９】
少なくとも車両の前方側に存在することが検出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する処理をコンピュータに実行させる車両の周辺監視用プログラムであって、
前記検出された対象物の前記車両に対する相対速度が、該車両の車幅方向の速度成分であって、その大きさが所定の正の下限値以上となる横方向速度成分を有するか否かを逐次判定する速度成分判定処理と、
前記対象物が回避対象であるか否かの判定を行なうための判定用アルゴリズムを、あらかじめ定められた複数の判定用アルゴリズムの中から、少なくとも前記速度成分判定処理の判定結果に応じて選択し、その選択した判定アルゴリズムにより前記対象物が前記回避対象であるか否かを判定する回避対象判定処理とを前記コンピュータに実行させる機能を備えることを特徴とする車両の周辺監視用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−２９３４８７（Ｐ２００７−２９３４８７Ａ）
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願番号】特願２００６−１１８９９８（Ｐ２００６−１１８９９８）
【出願日】平成１８年４月２４日（２００６．４．２４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願日】平成１８年４月２４日（２００６．４．２４）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]