車両周辺監視装置
【課題】車両に備えた撮像手段により撮影された赤外線画像から、基準画像を用いた形状判定により人工構造物を除外し、残された対象物を歩行者や動物等の動く物体として検出する車両周辺監視装置を提供する。
【解決手段】車両に備える赤外線カメラ２Ｒ、２Ｌにより撮影した赤外線画像から、該車両の周辺に存在する物体を検出する車両周辺監視装置であって、画像処理ユニット１は、赤外線画像から赤外線を発する対象物画像を抽出する対象物抽出手段と、対象物抽出手段の抽出した対象物画像と直線パタン、あるいは直角パタンからなる基準画像との照合により、該対象物が人工構造物であるか否かを判定する人工構造物判定手段とを含む。
【解決手段】車両に備える赤外線カメラ２Ｒ、２Ｌにより撮影した赤外線画像から、該車両の周辺に存在する物体を検出する車両周辺監視装置であって、画像処理ユニット１は、赤外線画像から赤外線を発する対象物画像を抽出する対象物抽出手段と、対象物抽出手段の抽出した対象物画像と直線パタン、あるいは直角パタンからなる基準画像との照合により、該対象物が人工構造物であるか否かを判定する人工構造物判定手段とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の周辺に存在する他車両や歩行者、更に動物等の物体を検出する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、車両に備えた撮像手段により撮影された赤外線画像から、車両の周辺に存在する歩行者や動物等の動く物体を検出する周辺監視装置が知られている（例えば、特許文献１参照）。この周辺監視装置は、２つの赤外線カメラにより得られる画像から、車両周辺の対象物と該車両との距離を算出し、更に、時系列に求められる対象物の位置データから該対象物の移動ベクトルを算出している。そして、車両の進行方向と対象物の移動ベクトルの関係から、該車両と衝突する可能性の高い対象物を検出する。
【０００３】
また、車両に備えた撮像手段により撮影された赤外線画像から、歩行者の体温とは明らかに異なる温度を示す領域を除外して対象物を検出する技術が開示されている（例えば、特許文献２参照）。この技術では、歩行者の体温とは明らかに異なる温度を示す領域を除外した部分から抽出された対象物に対し、更にその対象物の縦横比を判定することで、該対象物が歩行者であるか否かを決定している。
【特許文献１】特開２００１−６０９６号公報
【特許文献２】特開２００１−１０８７５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述のような従来の周辺監視装置においては、赤外線を発する対象物を検出することはできるものの、自動販売機のように自ら熱を発生しているものや、日中の太陽の日差しによって暖められた電柱や街灯のポール等、自車両の走行上において重要度の低い、歩行者や動物以外の物体を検出してしまうという問題があった。
特に、歩行者の体温と同程度の温度を持ち、歩行者と同じように縦長の形状をしているような物体は、全く歩行者との見分けがつかないという問題があった。
更に、不確定な形状を持つ歩行者や動物を、それ自身の形状判別により対象物の中から抽出しようとすると、検出精度の向上が難しいという問題があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、車両に備えた撮像手段により撮影された赤外線画像から、基準画像を用いた形状判定により人工構造物を除外し、残された対象物を歩行者や動物等の動く物体として検出する車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、撮像手段により撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、前記赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段（例えば実施の形態のステップＳ１〜Ｓ７）と、前記対象物抽出手段により抽出された対象物近傍の探索範囲画像を、人工構造物を特定する要素となる予め用意されている登録された人工の道路構造物の形状を示す基準画像と照合し、該対象物近傍の探索範囲に前記基準画像と相関が高い部分が存在すると判定した場合、前記車両から前記相関が高い部分と前記対象物の距離が等しい場合、人工の道路構造物であると判定する人工構造物判定手段（例えば実施の形態のステップＳ２５〜Ｓ２８）とを設けたことを特徴とする。
以上の構成により、撮像手段により撮影した赤外線画像中に存在する複数の熱を発生する物体について、その物体の画像と基準画像との照合を行い、その物体が決まった形状を持つ人工構造物であるか、それ以外の歩行者や動物等の動く物体であるかを区別することが可能となる。
【０００７】
請求項２に記載の発明は、請求項１に記載の車両周辺監視装置において、前記人工構造物判定手段により人工構造物であると判定された対象物を、前記対象物抽出手段により抽出された対象物から除外する人工構造物除外手段（例えば実施の形態のステップＳ３０）を含むことを特徴とする。
以上の構成により、より注意を払うべき人工構造物以外の対象物を抽出するために、赤外線画像から抽出した対象物の中から人工構造物を除外し、残った対象物を動く物体として認識することが可能となる。
【０００８】
請求項３に記載の発明は、請求項１、または請求項２に記載の車両周辺監視装置において、前記基準画像は、垂直直線部位または直角部位を表す画像を含み、前記人工構造物判定手段は、垂直直線部位または直角部位を含む対象物を人工構造物と判定することを特徴とする。
以上の構成により、対象物の中に人工構造物の特徴となりやすい直線部位があるか否かを判定することで、直線部位を持つ対象物を人工構造物として除外し、人工構造物以外の対象物を認識することが可能となる。
【０００９】
請求項４に記載の発明は、請求項１から請求項３のいずれかに記載の車両周辺監視装置において、前記人工構造物判定手段は、前記基準画像の大きさを前記車両と前記対象物との距離に合わせて変更する基準画像寸法変更手段（例えば実施の形態のステップＳ３２、Ｓ５２、Ｓ７２）を含むことを特徴とする。
以上の構成により、対象物と車両との距離により発生する対象物画像と基準画像との大きさのずれを補正し、適切な大きさによって両者を照合することで、対象物が人工構造物であるか否かの検出精度を向上させることが可能となる。
【発明の効果】
【００１０】
以上の如く、請求項１に記載の発明によれば、撮像手段により撮影した赤外線画像中に存在する複数の熱を発生する物体について、その物体の画像と基準画像との照合を行い、その物体が決まった形状を持つ人工構造物であるか、それ以外の歩行者や動物等の動く物体であるかを区別することが可能となる。
従って、赤外線画像から抽出した対象物を、人工構造物とそれ以外に区別して扱うことで、車両の走行との関係で重要、かつ細心の注意を払うべき物体を、的確に把握することができるようになるという効果が得られる。
また、不確定な形状を持つ歩行者や動物を、それ自身の形状判別により対象物の中から抽出する場合に比較して、決まった形状を持つ物体を検出するので、より少ない演算量で高い検出精度による対象物の識別ができるようになるという効果が得られる。
【００１１】
請求項２に記載の発明によれば、更に注意を払うべき人工構造物以外の対象物を抽出するために、赤外線画像から抽出した対象物の中から人工構造物を除外し、残った対象物を動く物体として認識することを可能とする。
従って、人工構造物を除外し、赤外線画像から抽出した人工構造物以外の対象物のみを扱うことで、更に重要な物体の認識度を向上させることが可能となるという効果が得られる。
また、請求項３に記載の発明によれば、対象物の中に人工構造物の特徴となりやすい直線部位があるか否かを判定することで、直線部位を持つ対象物を人工構造物として除外し、人工構造物以外の対象物を認識することが可能となる。
従って、比較的簡単に赤外線画像の中から道路構造物を除外し、不確定な形状を持つ歩行者や動物の検出精度を向上させることができるという効果が得られる。
【００１２】
更に、請求項４に記載の発明によれば、対象物と車両との距離により発生する対象物画像と基準画像との大きさのずれを補正し、適切な大きさによって両者を照合することで、対象物が人工構造物であるか否かの検出精度を向上させることが可能となる。
従って、車両と対象物との距離による検出誤動作を回避し、広範囲における車両周辺の環境監視を行うことができるという効果が得られる。
このように、歩行者や動物等の動く物体と人工の道路構造物とを区別して認識することは、例えば、これらの物体の情報を車両制御に用いたり、自車両の運転者に対して情報提供や警報として表示する場合に、物体の内容や重要度によって、情報・警報の表示方法や車両の制御方法を変更する判断材料として利用でき、かつ大変有効である。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の車両周辺監視装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両の車体の傾きを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１４】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１５】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１６】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対象な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１７】
次に、本実施の形態の動作について図面を用いて説明する。
図３は、本実施の形態の車両周辺監視装置の画像処理ユニット１における処理手順を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１８】
次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。
【００１９】
図５（ａ）は、これを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００２０】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、図５（ｂ）に示すように、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１、２を付加する。この処理により、例えば図４（ｂ）に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００２１】
対象物の抽出が完了したら、次に、図５（ｃ）に示すように、抽出した対象物の重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
ここで、面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出する。また、重心Ｇの座標は、面積Ｓをｘ方向に２等分する線のｘ座標と、ｙ方向に２等分する線のｙ座標として算出する。更に、縦横比ＡＰＥＣＴは、図５（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２２】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図６（ａ）に示すように時刻ｋで対象物Ａ、Ｂを抽出した場合、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと、対象物Ａ、Ｂとの同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物Ａ、Ｂと対象物Ｃ、Ｄとは同一であると判定し、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
【００２３】
１）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝Ｃ，Ｄ）の画像上での重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙであること。ただし、Δｘ、Δｙは、それぞれｘ方向及びｙ方向の画像上の移動量の許容値である。
２）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝Ｃ，Ｄ）の画像上での面積をＳｊ（ｋ＋１）としたとき、Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳであること。ただし、ΔＳは面積変化の許容値である。
３）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝Ｃ，Ｄ）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴであること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２４】
例えば、図６（ａ）と（ｂ）とを対比すると、各対象物は画像上での大きさが大きくなっているが、対象物Ａと対象物Ｃとが上記同一性判定条件を満たし、対象物Ｂと対象物Ｄとが上記同一性判定条件を満たすので、対象物Ｃ、Ｄはそれぞれ対象物Ａ、Ｂと認識される。このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、図７に示すように自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２５】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、図８（ａ）に示すように右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００２６】
次に、左画像中から探索画像に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、図８（ｂ）に示すように、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａ（図８（ｂ）に破線で示す）を探索領域として設定する。
【００２７】
【数１】
【００２８】
ここで、ＩＲ（ｍ，ｎ）は、図９に示す探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。
【００２９】
ステップＳ１２の処理により、図１０に示すように探索画像Ｒ１と、この対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と、画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及び対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、下記式（２）に適用して、自車両１０と、対象物との距離ｚを算出する（ステップＳ１３）。
【００３０】
【数２】
【００３１】
ここで、Ｂは基線長、赤外線カメラ２Ｒの撮像素子の中心位置と、赤外線カメラ２Ｌの撮像素子の中心位置との水平方向の距離（両赤外線カメラの光軸の間隔）、Ｆは赤外線カメラ２Ｒ、２Ｌのレンズの焦点距離、ｐは赤外線カメラ２Ｒ、２Ｌの撮像素子内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。
【００３２】
ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び式（２）により算出した距離ｚを下記式（３）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００３３】
【数３】
【００３４】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、赤外線カメラ２Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００３５】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。
回頭角補正は、図７に示すように、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１１に示すようにΔｘだけｘ方向にずれるので、これを補正する処理である。具体的には、下記式（４）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００３６】
【数４】
【００３７】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個の実空間位置データ（例えばＮ＝１０程度）、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める（ステップＳ１６）。
具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（５）で表される直線を求める。
【００３８】
【数５】
【００３９】
ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ、Ｙａｖ、及びＺａｖは、それぞれ実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値、及びＺ座標の平均値である。
なお、式（５）は媒介変数ｕを消去すれば下記式（５ａ）のようになる。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ・・・（５ａ）
【００４０】
また、例えばＰ（０），Ｐ（１），Ｐ（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系列データを示す場合、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ＝（Ｘａｖ，Ｙａｖ，Ｚａｖ）を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。
ここで、各データ点の座標を示すＰに付した（）内の数値はその値が増加するほど過去のデータであることを示す。例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。
【００４１】
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正する。具体的には、前記式（５ａ）にＺ座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、すなわち下記式（６）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００４２】
【数６】
【００４３】
式（８）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定し、その可能性が高いときに警報を発する警報判定処理を実行する（ステップＳ１７）。
なお、警報判定処理を終了したら、ステップＳ１へ戻り、上述の処理を繰り返す。
【００４４】
次に、図１２に示すフローチャートを用いて、図３に示したフローチャートのステップＳ１７における警報判定処理について説明する。
ここでは、図１４に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる動物２０がいる場合を例に取って説明する。
まず、画像処理ユニット１は、動物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近したことにより、下記式（７）を用いてＺ方向の相対速度Ｖｓを算出し、衝突判定処理を行う（ステップＳ２１）。衝突判定処理は、下記式（８）及び（９）が成立するとき、衝突の可能性があると判定する処理である。
ステップＳ２１において、動物２０との衝突の可能性があると判定した場合（ステップＳ２１のＹＥＳ）、次のステップＳ２２に進む。
【００４５】
また、ステップＳ２１において、式（８）及び／または式（９）が不成立のときは、動物２０との衝突の可能性がないと判定し（ステップＳ２１のＮＯ）、警報判定処理を終了する。
Ｖｓ＝（Ｚｖ（Ｎ−１）−Ｚｖ（０））／ΔＴ ・・・（７）
Ｚｖ（０）／Ｖｓ≦Ｔ ・・・（８）
｜Ｙｖ（０）｜≦Ｈ ・・・（９）
【００４６】
ここで、Ｚｖ（０）は最新の距離検出値（ｖは近似直線ＬＭＶによる補正後のデータであることを示すために付しているが、Ｚ座標は補正前と同一の値である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値である。またＴは、余裕時間であり、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものであり、例えば２〜５秒程度に設定される。またＨは、Ｙ方向、すなわち高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００４７】
衝突判定処理が完了したら、次に、対象物が接近領域判定内か否かを判定する（ステップＳ２２）。例えば、図１３は、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０で示し、更に領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域ＡＲ１、ＡＲ２、ＡＲ３を、警報判定領域としている。
ここで、領域ＡＲ１は、自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域、換言すれば自車両１０の車幅方向中心部の軸の両側に（α／２＋β）の幅を有する領域であって、対象物がそのまま存在し続ければ衝突の可能性がきわめて高いので、接近判定領域と呼ぶ。領域ＡＲ２、ＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域内にある対象物については、後述する侵入衝突判定を行うので、侵入判定領域と呼ぶ。なおこれらの領域は、前記式（９）に示したようにＹ方向には、所定高さＨを有する。
【００４８】
前記ステップＳ２１の答が肯定（ＹＥＳ）となるのは、対象物が接近判定領域ＡＲ１または侵入判定領域ＡＲ２，ＡＲ３のいずれかに存在する場合である。
続くステップＳ２２では、対象物が接近判定領域ＡＲ１内にあるか否かを判別し、対象物が接近判定領域ＡＲ１内にあると判定された場合（ステップＳ２２のＹＥＳ）、直ちにステップＳ２４に進む。一方、対象物が接近判定領域ＡＲ１内にないと判定された場合（ステップＳ２２のＮＯ）、侵入衝突判定処理を行う（ステップＳ２３）。
【００４９】
ステップＳ２３の侵入衝突判定処理は、具体的には、画像上での最新のｘ座標であるｘｃ（０）（文字ｃは前述したように画像の中心位置を実空間原点Ｏに一致させる補正を行った座標であることを示すために付している）と、時間ΔＴ前のｘ座標であるｘｃ（Ｎ−１）との差が下記式（１０）を満たすか否かを判別し、満たす場合に衝突の可能性が高いと判定する。
【００５０】
【数７】
【００５１】
なお、図１４に示すように、自車両１０の進行方向に対してほぼ９０°の方向から進行してくる動物２０がいた場合、Ｘｖ（Ｎー１）／Ｚｖ（Ｎ−１）＝Ｘｖ（０）／Ｚｒ（０）であるとき、換言すれば動物の速度Ｖｐと相対速度Ｖｓの比Ｖｐ／Ｖｓ＝Ｘｒ（Ｎー１）／Ｚｒ（Ｎ−１）であるとき、自車両１０から動物２０を見る方位角θｄは一定となり、衝突の可能性が高い。式（１０）は、この可能性を自車両１０の車幅αを考慮して判定するものである。
ステップＳ２３において、衝突の可能性が高いと判定した場合（ステップＳ２３のＹＥＳ）、ステップＳ２４に進む。一方、衝突の可能性が低いと判定した場合（ステップＳ２３のＮＯ）、警報判定処理を終了する。
【００５２】
ステップＳ２４では、以下のようにして警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ２４）。
警報出力判定処理は、まずブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別する。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報判定処理を終了する。これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ２５以降の処理に進んで、対象物の形状判定を行う。
なお、所定閾値ＧＴＨは、下記式（１１）のように定める。これは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００５３】
【数８】
【００５４】
ステップＳ２５以降の対象物の形状判定には、対象物の画像に直線部位を示す部分が含まれるか否か（ステップＳ２５）、対象物の画像の角が直角であるか否か（ステップＳ２６）、対象物の画像が予め登録された人工構造物の形状と一致するか否か（ステップＳ２７）、対象物の画像に同じ形状のものが複数含まれているか否か（ステップＳ２８）がある。
最初に、対象物の画像に直線部位を示す部分が含まれるか否かを判定する（ステップＳ２５）。
ステップＳ２５において、対象物の画像に直線部位を示す部分が含まれない場合（ステップＳ２５のＮＯ）、対象物の画像の角が直角であるか否かを判定する（ステップＳ２６）。
【００５５】
ステップＳ２６において、対象物の画像の角が直角でない場合（ステップＳ２６のＮＯ）、対象物の画像が予め登録された人工構造物の形状と一致するか否かを判定する（ステップＳ２７）。
ステップＳ２７において、対象物の画像が予め登録された人工構造物の形状と一致しない場合（ステップＳ２７のＮＯ）、対象物の画像に同じ形状のものが複数含まれているか否かを判定する（ステップＳ２８）。
また、ステップＳ２８において、対象物の画像に同じ形状のものが複数含まれていない場合（ステップＳ２８のＮＯ）、対象物が歩行者や動物である可能性が高いので、スピーカ３を介して音声による警報を発するとともに、画像表示装置７により、例えば赤外線カメラ２Ｒにより得られる画像を表示し、接近してくる対象物を強調表示（例えば枠で囲んで強調する）する（ステップＳ２９）。
【００５６】
一方、ステップＳ２５において対象物の画像に直線部位を示す部分が含まれる場合（ステップＳ２５のＹＥＳ）、あるいはステップＳ２６において対象物の画像の角が直角である場合（ステップＳ２６のＹＥＳ）、あるいはステップＳ２７において対象物の画像が予め登録された人工構造物の形状と一致する場合（ステップＳ２７のＹＥＳ）、更にステップＳ２８において対象物の画像に同じ形状のものが複数含まれている場合（ステップＳ２８のＹＥＳ）のいずれかである場合は、対象物が人工構造物であるとして、図３のステップＳ７において抽出した対象物から除外し（ステップＳ３０）、警報を発することなく警報判定処理を終了する。
【００５７】
次に、上述の図１２における対象物の形状判定、特にステップＳ２５とステップＳ２６、ステップＳ２８、更にステップＳ３０における直線部位、及び直角部位の探索処理について、その方法を図面を用いて詳細に説明する。
図１５と図１６、及び図１７、更に図２３は、図１２におけるステップＳ２５、ステップＳ２６、ステップＳ２８の処理とステップＳ３０の一部の処理を、更に詳細に示すフローチャートである。
直線部位の探索において、画像処理ユニット１は、垂直直線部位の検出（垂直直線部位判定）から開始する。図１５は、垂直直線部位判定を示すフローチャートである。
従って、まず垂直直線部位を探索するために、対象物の画像と相関演算を行うための基準画像である右直線部映像パタンを選択し（ステップＳ３１）、図３に示したフローチャートのステップＳ１３において求めた自車両１０と対象物との距離に応じて、表示画面上に投影された実空間の画像の大きさと釣り合うように、基準画像のパタンサイズを決定する（ステップＳ３２）。
【００５８】
ここで、基準画像のパタンサイズの決定は、以下のように行う。すなわち、自車両１０と対象物との距離が前記式（２）よりｚ＝Ｌ［ｍ］と算出された場合、実空間で距離Ｌ［ｍ］の位置にある高さＡ［ｍ」、幅Ｂ［ｍ］の対象物は、表示画面上でａ×ｂ［ｐｉｘｅｌ］の大きさで投影される。
ａ＝ｆ×Ａ／Ｌ ・・・（１２）ｂ＝ｆ×Ｂ／Ｌ ・・・（１３）
従って、図１８（ａ）に示すように、例えば予め用意されている右直線部映像パタンから、ａ×ｂ［ｐｉｘｅｌ］の直線部位パタンを切り出し、右直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」を基準パタンとする。同様に、予め用意されている左直線部映像パタンから切り出した、ａ×ｂ［ｐｉｘｅｌ］の左直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｌ」を図１８（ｂ）に示す。
【００５９】
相関演算のための基準パタンサイズが求められたら、次に、対象物近傍に探索領域を設定する（ステップＳ３３）
ここで、探索領域の設定は、以下のように行う。すなわち、図１９に示すように、２値化で抽出された対象物の輪郭（２値化対象物画像１００）は、対象物１０１の輪郭を正確に表現しているとは限らない。従って、２値化対象物画像（ＯＢＪ）１００の外接四角形の中心１０２に対して、幅と高さが２値化対象物画像１００の幅と高さの上下にそれぞれａ［ｐｉｘｅｌ］の範囲を設定し、これを相関演算による探索範囲１０３とする。
【００６０】
次に、対象物近傍の探索範囲１０３内から、相関演算により、右直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）１０４を探索する（ステップＳ３４）。
そして、右直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」と相関度が高い部分が存在するか否かを判定する（ステップＳ３５）。
ステップＳ３５において、右直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」と相関度が高い部分が存在する場合（ステップＳ３５のＹＥＳ）、相関度が高い部分と対象物１０１とが同一物体であるか否かを判定するために、前記式（２）による対象物の距離算出と同様に、ＯＢＪ＿Ｐａｔ１０４の距離を算出する（ステップＳ３６）。
【００６１】
なお、実際は、自車両１０と対象物１０１との距離が、自車両１０と相関度が高い部分ＯＢＪ＿Ｐａｔ１０４との距離に等しい場合、対象物１０１とＯＢＪ＿Ｐａｔ１０４は同一の物体であると判定できるので、距離を比較する代わりに算出された視差ΔｄとΔｄ＿Ｐを比較することで、対象物１０１とＯＢＪ＿Ｐａｔ１０４が同一の物体であるか否かを判定する（ステップＳ３７）。具体的には下記式（１４）を用いて、視差誤差が許容値ＴＨより小さいか否かを判定する。｜Δｄ−Δｄ＿Ｐ｜＜ＴＨ ・・・（１４）
ステップＳ３７において、対象物１０１とＯＢＪ＿Ｐａｔ１０４が同一の物体であると判定された場合（ステップＳ３７のＹＥＳ）、対象物１０１には垂直直線部位有りと判定し（ステップＳ３８）、垂直直線部位を持つということは人工の道路構造物であるとして（ステップＳ３９）、垂直直線部位判定を終了する。
【００６２】
一方、ステップＳ３５において、右直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」と相関度が高い部分が存在しない場合（ステップＳ３５のＮＯ）、あるいはステップＳ３７において、対象物１０１とＯＢＪ＿Ｐａｔ１０４が同一の物体であると判定されなかった場合（ステップＳ３７のＮＯ）、ステップＳ４０へ進み、相関演算に用いた基準パタンが左直線部映像パタンであるか否かを判定する（ステップＳ４０）。
ステップＳ４０において、相関演算に用いた基準パタンが左直線部映像パタンでなかった場合（ステップＳ４０のＮＯ）、予め用意されている左直線部映像パタンを選択し（ステップＳ４１）、ステップＳ３２へ戻る。
【００６３】
そして、上述のステップＳ３２とステップＳ３３において、右直線部映像パタンに対して行った操作と同じことを左直線部映像パタンに対して行い、図１８（ｂ）に示す左直線部映像パタンから切り出した、ａ×ｂ［ｐｉｘｅｌ］の左直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｌ」を基準パタンとする。更に、ステップＳ３４において、対象物近傍の探索範囲１０３内から、相関演算により、左直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｌ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）１０４を探索する。
左直線部切り出しパタンによる相関演算の結果、上述のステップＳ３５からステップＳ３９までの動作を行い、対象物１０１に垂直直線部位有りと判定されると、対象物１０１は人工の道路構造物であるとして、垂直直線部位判定を終了する。
また、左直線部切り出しパタンによる相関演算の結果、再度ステップＳ４０の判定へ進むと、既に右直線部切り出しパタンと左直線部切り出しパタンの両方による垂直直線部位の探索が終了しているので（ステップＳ４０のＹＥＳ）、垂直直線部位無しと判定し（ステップＳ４２）、水平直線部位判定へ進む。
【００６４】
なお、上述の垂直直線部位判定において、右直線部切り出しパタンと左直線部切り出しパタンの両方によって相関演算を行い、それぞれの相関度の高い部分の自車両１０との距離を、対象物の自車両１０との距離と比較するのは、対象物が複数重なって１つの対象物として認識されている場合、垂直直線部位判定において検出された対象物の右、あるいは左の直線部位は、衝突判定された対象物の部位ではない可能性があるためである。従って、対象物の自車両１０との距離を、検出された対象物の右、あるいは左の直線部位の自車両１０との距離と比較して、両者が同一の物体であるか否かを判断する。
【００６５】
次に、図１６に示すフローチャートを用いて、水平直線部位判定について説明する。
水平直線部位判定では、まず水平直線部位を探索するために、対象物の画像と相関演算を行うための基準画像である上端直線部映像パタンを選択し（ステップＳ５１）、図３に示したフローチャートのステップＳ１３において求めた自車両１０と対象物との距離に応じて、表示画面上に投影された実空間の画像の大きさと釣り合うように、基準画像のパタンサイズを決定する（ステップＳ５２）。
ここで、基準画像のパタンサイズの決定は、上述の垂直直線部位判定と同じように行う。すなわち、自車両１０と対象物との距離が前記式（２）よりｚ＝Ｌ［ｍ］と算出された場合、実空間で距離Ｌ［ｍ］の位置にある高さＢ［ｍ」、幅Ａ［ｍ］の対象物は、表示画面上でｂ×ａ［ｐｉｘｅｌ］の大きさで投影される。
ｂ＝ｆ×Ｂ／Ｌ ・・・（１５）ａ＝ｆ×Ａ／Ｌ ・・・（１６）
【００６６】
従って、図２０（ａ）に示すように、例えば予め用意されている上端直線部映像パタンから、ｂ×ａ［ｐｉｘｅｌ］の直線部位パタンを切り出し、上端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」を基準パタンとする。同様に、予め用意されている下端直線部映像パタンから切り出した、ｂ×ａ［ｐｉｘｅｌ］の下端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｄ」を図２０（ｂ）に示す。
相関演算のための基準パタンサイズが求められたら、次に、対象物近傍に探索領域を設定する（ステップＳ５３）
なお、探索領域の設定も、上述の垂直直線部位判定と同じように行う。すなわち、２値化対象物画像（ＯＢＪ）の外接四角形の中心に対して、幅と高さが２値化対象物画像の幅と高さの上下にそれぞれａ［ｐｉｘｅｌ］の範囲を設定し、これを相関演算による探索範囲とする。
【００６７】
次に、対象物近傍の探索範囲内から、相関演算により、上端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）を探索する（ステップＳ５４）。
そして、上端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」と相関度が高い部分が存在するか否かを判定する（ステップＳ５５）。
ステップＳ５５において、上端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」と相関度が高い部分が存在する場合（ステップＳ５５のＹＥＳ）、対象物には水平直線部位有りと判定し（ステップＳ５６）、水平直線部位を持つということは人工の道路構造物であるとして（ステップＳ５７）、水平直線部位判定を終了する。
【００６８】
一方、ステップＳ５５において、上端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」と相関度が高い部分が存在しない場合（ステップＳ５５のＮＯ）、相関演算に用いた基準パタンが下端直線部映像パタンであるか否かを判定する（ステップＳ５８）。
ステップＳ５８において、相関演算に用いた基準パタンが下端直線部映像パタンでなかった場合（ステップＳ５８のＮＯ）、予め用意されている下端直線部映像パタンを選択し（ステップＳ５９）、ステップＳ５２へ戻る。
【００６９】
そして、上述のステップＳ５２とステップＳ５３において、上端直線部映像パタンに対して行った操作と同じことを下端直線部映像パタンに対して行い、図２０（ｂ）に示す下端直線部映像パタンから切り出した、ｂ×ａ［ｐｉｘｅｌ］の下端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｄ」を基準パタンとする。更に、ステップＳ５４において、対象物近傍の探索範囲内から、相関演算により、下端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｄ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）を探索する。
下端直線部切り出しパタンによる相関演算の結果、上述のステップＳ５５からステップＳ５７までの動作を行い、対象物に水平直線部位有りと判定されると、対象物は人工の道路構造物であるとして、水平直線部位判定を終了する。
また、下端直線部切り出しパタンによる相関演算の結果、再度ステップＳ５８の判定へ進むと、既に上端直線部切り出しパタンと下端直線部切り出しパタンの両方による水平直線部位の探索が終了しているので（ステップＳ５８のＹＥＳ）、水平直線部位無しと判定し（ステップＳ６０）、直角部位判定へ進む。
【００７０】
なお、上述の水平直線部位判定において、上端線部切り出しパタンと下端直線部切り出しパタンの両方によって相関演算を行った後、それぞれの相関度の高い部分と自車両１０との距離を求めないのは、左右のカメラを用いた２眼立体視の原理から、水平直線部位の距離は算出できないからである。従って、垂直直線部位判定と場合と違い、水平直線部位判定では、直線のパタンの相関度のみから判定を行うものとする。
【００７１】
次に、図１７に示すフローチャートを用いて、直角部位判定について説明する。
直角部位判定では、まず直角部位を探索するために、対象物の画像と相関演算を行うための基準画像である右上直角部映像パタンを選択し（ステップＳ７１）、図３に示したフローチャートのステップＳ１３において求めた自車両１０と対象物との距離に応じて、表示画面上に投影された実空間の画像の大きさと釣り合うように、基準画像のパタンサイズを決定する（ステップＳ７２）。
ここで、基準画像のパタンサイズの決定は、上述の垂直直線部位判定や水平直線部位判定と同じように行う。すなわち、自車両１０と対象物との距離が前記式（２）よりｚ＝Ｌ［ｍ］と算出された場合、実空間で距離Ｌ［ｍ］の位置にある高さＡ［ｍ」、幅Ａ［ｍ］の対象物は、表示画面上でａ×ａ［ｐｉｘｅｌ］の大きさで投影される。
ａ＝ｆ×Ａ／Ｌ ・・・（１７）
【００７２】
従って、図２１（ａ）に示すように、例えば予め用意されている右上直角部映像パタンから、ａ×ａ［ｐｉｘｅｌ］の直角部位パタンを切り出し、右上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」を基準パタンとする。同様に、予め用意されている左上直角部映像パタンから切り出した、ａ×ａ［ｐｉｘｅｌ］の左上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｌ」を図２１（ｂ）に示す。
相関演算のための基準パタンサイズが求められたら、次に、対象物近傍に探索領域を設定する（ステップＳ７３）。
なお、探索領域の設定も、上述の垂直直線部位判定や水平直線部位判定と同じように行う。すなわち、２値化対象物画像（ＯＢＪ）の外接四角形の中心に対して、幅と高さが２値化対象物画像の幅と高さの上下にそれぞれａ［ｐｉｘｅｌ］の範囲を設定し、これを相関演算による探索範囲とする。
【００７３】
次に、対象物近傍の探索範囲内から、相関演算により、右上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）を探索する（ステップＳ７４）。
そして、右上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」と相関度が高い部分が存在するか否かを判定する（ステップＳ７５）。
ステップＳ７５において、右上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」と相関度が高い部分が存在する場合（ステップＳ７５のＹＥＳ）、相関度が高い部分と対象物とが同一物体であるか否かを判定するために、前記式（２）による対象物の距離算出と同様に、ＯＢＪ＿Ｐａｔの距離を算出する（ステップＳ７６）。
【００７４】
なお、実際は、自車両１０と対象物との距離が、自車両１０と相関度が高い部分ＯＢＪ＿Ｐａｔとの距離に等しい場合、対象物とＯＢＪ＿Ｐａｔは同一の物体であると判定できるので、距離を比較する代わりに算出された視差ΔｄとΔｄ＿Ｐを比較することで、対象物とＯＢＪ＿Ｐａｔが同一の物体であるか否かを判定する（ステップＳ７７）。具体的には前記式（１４）を用いて、視差誤差が許容値ＴＨより小さいか否かを判定する。
ステップＳ７７において、対象物とＯＢＪ＿Ｐａｔが同一の物体であると判定された場合（ステップＳ７７のＹＥＳ）、対象物には直角部位有りと判定し（ステップＳ７８）、直角部位を持つということは人工の道路構造物であるとして（ステップＳ７９）、直角部位判定を終了する。
【００７５】
一方、ステップＳ７５において、右上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」と相関度が高い部分が存在しない場合（ステップＳ７５のＮＯ）、あるいはステップＳ７７において、対象物とＯＢＪ＿Ｐａｔが同一の物体であると判定されなかった場合（ステップＳ７７のＮＯ）、ステップＳ８０へ進み、相関演算に用いた基準パタンが左上直角部映像パタンであるか否かを判定する（ステップＳ８０）。
ステップＳ８０において、相関演算に用いた基準パタンが左上直角部映像パタンでなかった場合（ステップＳ８０のＮＯ）、予め用意されている左上直角部映像パタンを選択し（ステップＳ８１）、ステップＳ７２へ戻る。
【００７６】
そして、上述のステップＳ７２とステップＳ７３において、右上直角部映像パタンに対して行った操作と同じことを左上直角部映像パタンに対して行い、図２１（ｂ）に示す左上直角部映像パタンから切り出した、ａ×ａ［ｐｉｘｅｌ］の左上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｌ」を基準パタンとする。
更に、ステップＳ７４において、対象物近傍の探索範囲内から、相関演算により、左直線部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｌ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）を探索する。
【００７７】
左上直角部切り出しパタンによる相関演算の結果、上述のステップＳ７５からステップＳ７９までの動作を行い、対象物に直角部位有りと判定されると、対象物１０１は人工の道路構造物であるとして、直角部位判定を終了する。
また、左上直角部切り出しパタンによる相関演算の結果、再度ステップＳ８０の判定へ進むと、既に右上直角部切り出しパタンと左上直角部切り出しパタンの両方による直角部位の探索が終了しているので（ステップＳ８０のＹＥＳ）、直角部位無しと判定する（ステップＳ８２）。
従って、対象物は人工の道路構造物ではないと判定して（ステップＳ８３）、直角部位判定を終了し、上述の図１２における対象物の形状判定のステップＳ２７の処理を実行する。
【００７８】
なお、上述の直角部位判定において、右上直角部切り出しパタンと左上直角部切り出しパタンの両方によって相関演算を行い、それぞれの相関度の高い部分の自車両１０との距離を、対象物の自車両１０との距離と比較する理由は、垂直直線部位判定の場合と同様である。
【００７９】
次に、図面を用いて、同一形状判定について説明する。
同一形状判定は、例えば図２２に示すように、同一の形状を持つ複数の物体から構成される道路構造物５０（この例では、丸いレンズが上下に配置された信号機）を、赤外線カメラにより得られた赤外線画像の中から探索する処理である。
図２３に示すフローチャートを用いて説明すると、まず同一形状を探索するために、対象物の画像と相関演算を行うための基準画像である対象物パタン「Ｐａｔ」を設定する（ステップＳ９１）。
ここで、対象物パタン「Ｐａｔ」は、図２４（ａ）に示すように、例えば熱を持った道路構造物５０のレンズの部分が、２値化対象物画像（ＯＢＪ）２００として抽出されている場合、図２４（ｂ）に示すように、２値化対象物画像（ＯＢＪ）２００よりひとまわり大きい領域を設定した基準画像である。
【００８０】
相関演算のための対象物パタンが求められたら、次に、対象物近傍に探索領域を設定する（ステップＳ９２）。
ここで、探索領域の設定は、以下のように行う。すなわち、図２４（ａ）に示すように、高さが２値化対象物画像２００の高さの上下にそれぞれａ［ｐｉｘｅｌ］、幅が２値化対象物画像２００の中心に対して左右にｂ／２［ｐｉｘｅｌ］の範囲を設定し、これをそれぞれ相関演算による上部探索範囲２０２、下部探索範囲２０３とする。
【００８１】
次に、対象物近傍の上部探索範囲２０２、及び下部探索範囲２０３内から、相関演算により、対象物パタン「Ｐａｔ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）２０４を探索する（ステップＳ９３）。
そして、対象物パタン「Ｐａｔ」と相関度が高い部分が存在するか否かを判定する（ステップＳ９４）。
ステップＳ９４において、対象物パタン「Ｐａｔ」と相関度が高い部分が存在する場合（ステップＳ９４のＹＥＳ）、対象物には同一形状物有りと判定し（ステップＳ９５）、同一形状を持つということは人工の道路構造物であるとして（ステップＳ９６）、同一形状判定を終了する。なお、図２２に示した例では、赤外線画像の中から、同一の物体（丸いレンズ）を複数（２個）持っている道路構造物（信号機）が検出されることになる。
【００８２】
一方、ステップＳ９４において、対象物パタン「Ｐａｔ」と相関度が高い部分が存在しない場合（ステップＳ９４のＮＯ）、対象物には同一形状物無しと判定し（ステップＳ９７）、同一形状を持たないということは人工の道路構造物でないとして（ステップＳ９８）、同一形状判定を終了する。
【００８３】
なお、上述の同一形状判定において、対象物パタンを探索する探索領域の設定は、２値化対象物画像（ＯＢＪ）２００の上下方向としたが、同一形状の物体が左右に並んでいる場合もあるので、上下方向を探索した後、探索領域を左右に設定して対象物パタンを探索しても良い。
【００８４】
また、本実施の形態では、画像処理ユニット１が、対象物抽出手段と、人工構造物判定手段と、人工構造物除外手段と、基準画像寸法変更手段とを構成する。
より具体的には、図３のＳ１〜Ｓ７が対象物抽出手段に相当し、図１２のＳ２５〜Ｓ２８が人工構造物判定手段に相当し、図１２のＳ３０が人工構造物除外手段に相当する。更に、図１５のＳ３２、図１６のＳ５２、図１７のＳ７２が基準画像寸法変更手段に相当する。
【００８５】
また、上述の実施の形態では、撮像手段として赤外線カメラ２Ｒ、２Ｌを用いた場合を説明したが、例えば特開平９−２２６４９０号公報に示されるように通常の可視光線のみ検出可能なテレビカメラを使用してもよい。ただし、赤外線カメラを用いることにより、動物あるいは走行中の他車両などの抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現できる。また上述した実施の形態では、自車両の前方を監視する例を示したが、自車両の後方など、いずれの方向を監視するようにしてもよい。
【００８６】
以上説明したように、自車両の周辺の環境を監視した結果を、歩行者や動物等の動く物体と人工の道路構造物とに分類して扱うことで、例えば自車両の運転者に自車両の周辺の環境を表示するような場合、例えばこれらの物体の表示方法を区別し、より細心の注意を払うべき物体に関して、運転者に適切に通知できるようになる。
また、例えばこれらの物体の情報を車両制御に用いる場合、物体の種類や重要度によって、車両制御の順序を変更する等の判断材料として利用できる。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施の形態による車両周辺監視装置の構成を示すブロック図である。
【図２】車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】同実施の形態の車両周辺監視装置の画像処理ユニットにおける全体動作の処理手順を示すフローチャートである。
【図４】赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】ランレングスデータへの変換処理及びラベリングを示す図である。
【図６】対象物の時刻間追跡を示す図である。
【図７】対象物画像の回頭角補正を示す図である。
【図８】右画像中の探索画像と、左画像に設定する探索領域を示す図である。
【図９】探索領域を対象とした相関演算処理を示す図である。
【図１０】対象物の距離算出における対象物視差の算出方法を示す図である。
【図１１】車両の回頭により発生する画像上の対象物位置のずれを示す図である。
【図１２】同実施の形態の車両周辺監視装置の画像処理ユニットにおける警報判定処理の詳細を示すフローチャートである。
【図１３】車両前方の領域区分を示す図である。
【図１４】衝突が発生しやすい場合を示す図である。
【図１５】同実施の形態の車両周辺監視装置の画像処理ユニットにおける垂直直線部位の検出処理の詳細を示すフローチャートである。
【図１６】同実施の形態の車両周辺監視装置の画像処理ユニットにおける水平直線部位の検出処理の詳細を示すフローチャートである。
【図１７】同実施の形態の車両周辺監視装置の画像処理ユニットにおける直角部位の検出処理の詳細を示すフローチャートである。
【図１８】画像の探索における垂直直線部切り出しパタンの詳細を示す図である。
【図１９】垂直直線部位検出のための基準パタンの探索を示す図である。
【図２０】画像の探索における水平直線部切り出しパタンの詳細を示す図である。
【図２１】画像の探索における直角部切り出しパタンの詳細を示す図である。
【図２２】赤外線カメラにより得られる道路構造物の一例を示す図である。
【図２３】同実施の形態の車両周辺監視装置の画像処理ユニットにおける同一形状の検出処理の詳細を示すフローチャートである。
【図２４】同一形状検出のための対象物パタンの探索を示す図である。
【符号の説明】
【００８８】
１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ１〜Ｓ７ 対象物抽出手段
Ｓ２５〜Ｓ２８ 人工構造物判定手段
Ｓ３０ 人工構造物除外手段
Ｓ３２、Ｓ５２、Ｓ７２ 基準画像寸法変更手段
【技術分野】
【０００１】
この発明は、車両の周辺に存在する他車両や歩行者、更に動物等の物体を検出する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、車両に備えた撮像手段により撮影された赤外線画像から、車両の周辺に存在する歩行者や動物等の動く物体を検出する周辺監視装置が知られている（例えば、特許文献１参照）。この周辺監視装置は、２つの赤外線カメラにより得られる画像から、車両周辺の対象物と該車両との距離を算出し、更に、時系列に求められる対象物の位置データから該対象物の移動ベクトルを算出している。そして、車両の進行方向と対象物の移動ベクトルの関係から、該車両と衝突する可能性の高い対象物を検出する。
【０００３】
また、車両に備えた撮像手段により撮影された赤外線画像から、歩行者の体温とは明らかに異なる温度を示す領域を除外して対象物を検出する技術が開示されている（例えば、特許文献２参照）。この技術では、歩行者の体温とは明らかに異なる温度を示す領域を除外した部分から抽出された対象物に対し、更にその対象物の縦横比を判定することで、該対象物が歩行者であるか否かを決定している。
【特許文献１】特開２００１−６０９６号公報
【特許文献２】特開２００１−１０８７５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述のような従来の周辺監視装置においては、赤外線を発する対象物を検出することはできるものの、自動販売機のように自ら熱を発生しているものや、日中の太陽の日差しによって暖められた電柱や街灯のポール等、自車両の走行上において重要度の低い、歩行者や動物以外の物体を検出してしまうという問題があった。
特に、歩行者の体温と同程度の温度を持ち、歩行者と同じように縦長の形状をしているような物体は、全く歩行者との見分けがつかないという問題があった。
更に、不確定な形状を持つ歩行者や動物を、それ自身の形状判別により対象物の中から抽出しようとすると、検出精度の向上が難しいという問題があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、車両に備えた撮像手段により撮影された赤外線画像から、基準画像を用いた形状判定により人工構造物を除外し、残された対象物を歩行者や動物等の動く物体として検出する車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、撮像手段により撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、前記赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段（例えば実施の形態のステップＳ１〜Ｓ７）と、前記対象物抽出手段により抽出された対象物近傍の探索範囲画像を、人工構造物を特定する要素となる予め用意されている登録された人工の道路構造物の形状を示す基準画像と照合し、該対象物近傍の探索範囲に前記基準画像と相関が高い部分が存在すると判定した場合、前記車両から前記相関が高い部分と前記対象物の距離が等しい場合、人工の道路構造物であると判定する人工構造物判定手段（例えば実施の形態のステップＳ２５〜Ｓ２８）とを設けたことを特徴とする。
以上の構成により、撮像手段により撮影した赤外線画像中に存在する複数の熱を発生する物体について、その物体の画像と基準画像との照合を行い、その物体が決まった形状を持つ人工構造物であるか、それ以外の歩行者や動物等の動く物体であるかを区別することが可能となる。
【０００７】
請求項２に記載の発明は、請求項１に記載の車両周辺監視装置において、前記人工構造物判定手段により人工構造物であると判定された対象物を、前記対象物抽出手段により抽出された対象物から除外する人工構造物除外手段（例えば実施の形態のステップＳ３０）を含むことを特徴とする。
以上の構成により、より注意を払うべき人工構造物以外の対象物を抽出するために、赤外線画像から抽出した対象物の中から人工構造物を除外し、残った対象物を動く物体として認識することが可能となる。
【０００８】
請求項３に記載の発明は、請求項１、または請求項２に記載の車両周辺監視装置において、前記基準画像は、垂直直線部位または直角部位を表す画像を含み、前記人工構造物判定手段は、垂直直線部位または直角部位を含む対象物を人工構造物と判定することを特徴とする。
以上の構成により、対象物の中に人工構造物の特徴となりやすい直線部位があるか否かを判定することで、直線部位を持つ対象物を人工構造物として除外し、人工構造物以外の対象物を認識することが可能となる。
【０００９】
請求項４に記載の発明は、請求項１から請求項３のいずれかに記載の車両周辺監視装置において、前記人工構造物判定手段は、前記基準画像の大きさを前記車両と前記対象物との距離に合わせて変更する基準画像寸法変更手段（例えば実施の形態のステップＳ３２、Ｓ５２、Ｓ７２）を含むことを特徴とする。
以上の構成により、対象物と車両との距離により発生する対象物画像と基準画像との大きさのずれを補正し、適切な大きさによって両者を照合することで、対象物が人工構造物であるか否かの検出精度を向上させることが可能となる。
【発明の効果】
【００１０】
以上の如く、請求項１に記載の発明によれば、撮像手段により撮影した赤外線画像中に存在する複数の熱を発生する物体について、その物体の画像と基準画像との照合を行い、その物体が決まった形状を持つ人工構造物であるか、それ以外の歩行者や動物等の動く物体であるかを区別することが可能となる。
従って、赤外線画像から抽出した対象物を、人工構造物とそれ以外に区別して扱うことで、車両の走行との関係で重要、かつ細心の注意を払うべき物体を、的確に把握することができるようになるという効果が得られる。
また、不確定な形状を持つ歩行者や動物を、それ自身の形状判別により対象物の中から抽出する場合に比較して、決まった形状を持つ物体を検出するので、より少ない演算量で高い検出精度による対象物の識別ができるようになるという効果が得られる。
【００１１】
請求項２に記載の発明によれば、更に注意を払うべき人工構造物以外の対象物を抽出するために、赤外線画像から抽出した対象物の中から人工構造物を除外し、残った対象物を動く物体として認識することを可能とする。
従って、人工構造物を除外し、赤外線画像から抽出した人工構造物以外の対象物のみを扱うことで、更に重要な物体の認識度を向上させることが可能となるという効果が得られる。
また、請求項３に記載の発明によれば、対象物の中に人工構造物の特徴となりやすい直線部位があるか否かを判定することで、直線部位を持つ対象物を人工構造物として除外し、人工構造物以外の対象物を認識することが可能となる。
従って、比較的簡単に赤外線画像の中から道路構造物を除外し、不確定な形状を持つ歩行者や動物の検出精度を向上させることができるという効果が得られる。
【００１２】
更に、請求項４に記載の発明によれば、対象物と車両との距離により発生する対象物画像と基準画像との大きさのずれを補正し、適切な大きさによって両者を照合することで、対象物が人工構造物であるか否かの検出精度を向上させることが可能となる。
従って、車両と対象物との距離による検出誤動作を回避し、広範囲における車両周辺の環境監視を行うことができるという効果が得られる。
このように、歩行者や動物等の動く物体と人工の道路構造物とを区別して認識することは、例えば、これらの物体の情報を車両制御に用いたり、自車両の運転者に対して情報提供や警報として表示する場合に、物体の内容や重要度によって、情報・警報の表示方法や車両の制御方法を変更する判断材料として利用でき、かつ大変有効である。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の車両周辺監視装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両の車体の傾きを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１４】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１５】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１６】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対象な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１７】
次に、本実施の形態の動作について図面を用いて説明する。
図３は、本実施の形態の車両周辺監視装置の画像処理ユニット１における処理手順を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１８】
次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。
【００１９】
図５（ａ）は、これを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００２０】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、図５（ｂ）に示すように、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１、２を付加する。この処理により、例えば図４（ｂ）に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００２１】
対象物の抽出が完了したら、次に、図５（ｃ）に示すように、抽出した対象物の重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
ここで、面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出する。また、重心Ｇの座標は、面積Ｓをｘ方向に２等分する線のｘ座標と、ｙ方向に２等分する線のｙ座標として算出する。更に、縦横比ＡＰＥＣＴは、図５（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２２】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図６（ａ）に示すように時刻ｋで対象物Ａ、Ｂを抽出した場合、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと、対象物Ａ、Ｂとの同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物Ａ、Ｂと対象物Ｃ、Ｄとは同一であると判定し、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
【００２３】
１）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝Ｃ，Ｄ）の画像上での重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙであること。ただし、Δｘ、Δｙは、それぞれｘ方向及びｙ方向の画像上の移動量の許容値である。
２）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝Ｃ，Ｄ）の画像上での面積をＳｊ（ｋ＋１）としたとき、Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳであること。ただし、ΔＳは面積変化の許容値である。
３）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝Ｃ，Ｄ）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴであること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２４】
例えば、図６（ａ）と（ｂ）とを対比すると、各対象物は画像上での大きさが大きくなっているが、対象物Ａと対象物Ｃとが上記同一性判定条件を満たし、対象物Ｂと対象物Ｄとが上記同一性判定条件を満たすので、対象物Ｃ、Ｄはそれぞれ対象物Ａ、Ｂと認識される。このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、図７に示すように自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２５】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、図８（ａ）に示すように右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１１）。
【００２６】
次に、左画像中から探索画像に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１２）。具体的には、図８（ｂ）に示すように、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａ（図８（ｂ）に破線で示す）を探索領域として設定する。
【００２７】
【数１】
【００２８】
ここで、ＩＲ（ｍ，ｎ）は、図９に示す探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。
【００２９】
ステップＳ１２の処理により、図１０に示すように探索画像Ｒ１と、この対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と、画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及び対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、下記式（２）に適用して、自車両１０と、対象物との距離ｚを算出する（ステップＳ１３）。
【００３０】
【数２】
【００３１】
ここで、Ｂは基線長、赤外線カメラ２Ｒの撮像素子の中心位置と、赤外線カメラ２Ｌの撮像素子の中心位置との水平方向の距離（両赤外線カメラの光軸の間隔）、Ｆは赤外線カメラ２Ｒ、２Ｌのレンズの焦点距離、ｐは赤外線カメラ２Ｒ、２Ｌの撮像素子内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。
【００３２】
ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び式（２）により算出した距離ｚを下記式（３）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００３３】
【数３】
【００３４】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、赤外線カメラ２Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００３５】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１５）。
回頭角補正は、図７に示すように、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１１に示すようにΔｘだけｘ方向にずれるので、これを補正する処理である。具体的には、下記式（４）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００３６】
【数４】
【００３７】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個の実空間位置データ（例えばＮ＝１０程度）、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める（ステップＳ１６）。
具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（５）で表される直線を求める。
【００３８】
【数５】
【００３９】
ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ、Ｙａｖ、及びＺａｖは、それぞれ実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値、及びＺ座標の平均値である。
なお、式（５）は媒介変数ｕを消去すれば下記式（５ａ）のようになる。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ・・・（５ａ）
【００４０】
また、例えばＰ（０），Ｐ（１），Ｐ（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系列データを示す場合、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ＝（Ｘａｖ，Ｙａｖ，Ｚａｖ）を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。
ここで、各データ点の座標を示すＰに付した（）内の数値はその値が増加するほど過去のデータであることを示す。例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。
【００４１】
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正する。具体的には、前記式（５ａ）にＺ座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、すなわち下記式（６）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００４２】
【数６】
【００４３】
式（８）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定し、その可能性が高いときに警報を発する警報判定処理を実行する（ステップＳ１７）。
なお、警報判定処理を終了したら、ステップＳ１へ戻り、上述の処理を繰り返す。
【００４４】
次に、図１２に示すフローチャートを用いて、図３に示したフローチャートのステップＳ１７における警報判定処理について説明する。
ここでは、図１４に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる動物２０がいる場合を例に取って説明する。
まず、画像処理ユニット１は、動物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近したことにより、下記式（７）を用いてＺ方向の相対速度Ｖｓを算出し、衝突判定処理を行う（ステップＳ２１）。衝突判定処理は、下記式（８）及び（９）が成立するとき、衝突の可能性があると判定する処理である。
ステップＳ２１において、動物２０との衝突の可能性があると判定した場合（ステップＳ２１のＹＥＳ）、次のステップＳ２２に進む。
【００４５】
また、ステップＳ２１において、式（８）及び／または式（９）が不成立のときは、動物２０との衝突の可能性がないと判定し（ステップＳ２１のＮＯ）、警報判定処理を終了する。
Ｖｓ＝（Ｚｖ（Ｎ−１）−Ｚｖ（０））／ΔＴ ・・・（７）
Ｚｖ（０）／Ｖｓ≦Ｔ ・・・（８）
｜Ｙｖ（０）｜≦Ｈ ・・・（９）
【００４６】
ここで、Ｚｖ（０）は最新の距離検出値（ｖは近似直線ＬＭＶによる補正後のデータであることを示すために付しているが、Ｚ座標は補正前と同一の値である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値である。またＴは、余裕時間であり、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものであり、例えば２〜５秒程度に設定される。またＨは、Ｙ方向、すなわち高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００４７】
衝突判定処理が完了したら、次に、対象物が接近領域判定内か否かを判定する（ステップＳ２２）。例えば、図１３は、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０で示し、更に領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域ＡＲ１、ＡＲ２、ＡＲ３を、警報判定領域としている。
ここで、領域ＡＲ１は、自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域、換言すれば自車両１０の車幅方向中心部の軸の両側に（α／２＋β）の幅を有する領域であって、対象物がそのまま存在し続ければ衝突の可能性がきわめて高いので、接近判定領域と呼ぶ。領域ＡＲ２、ＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域内にある対象物については、後述する侵入衝突判定を行うので、侵入判定領域と呼ぶ。なおこれらの領域は、前記式（９）に示したようにＹ方向には、所定高さＨを有する。
【００４８】
前記ステップＳ２１の答が肯定（ＹＥＳ）となるのは、対象物が接近判定領域ＡＲ１または侵入判定領域ＡＲ２，ＡＲ３のいずれかに存在する場合である。
続くステップＳ２２では、対象物が接近判定領域ＡＲ１内にあるか否かを判別し、対象物が接近判定領域ＡＲ１内にあると判定された場合（ステップＳ２２のＹＥＳ）、直ちにステップＳ２４に進む。一方、対象物が接近判定領域ＡＲ１内にないと判定された場合（ステップＳ２２のＮＯ）、侵入衝突判定処理を行う（ステップＳ２３）。
【００４９】
ステップＳ２３の侵入衝突判定処理は、具体的には、画像上での最新のｘ座標であるｘｃ（０）（文字ｃは前述したように画像の中心位置を実空間原点Ｏに一致させる補正を行った座標であることを示すために付している）と、時間ΔＴ前のｘ座標であるｘｃ（Ｎ−１）との差が下記式（１０）を満たすか否かを判別し、満たす場合に衝突の可能性が高いと判定する。
【００５０】
【数７】
【００５１】
なお、図１４に示すように、自車両１０の進行方向に対してほぼ９０°の方向から進行してくる動物２０がいた場合、Ｘｖ（Ｎー１）／Ｚｖ（Ｎ−１）＝Ｘｖ（０）／Ｚｒ（０）であるとき、換言すれば動物の速度Ｖｐと相対速度Ｖｓの比Ｖｐ／Ｖｓ＝Ｘｒ（Ｎー１）／Ｚｒ（Ｎ−１）であるとき、自車両１０から動物２０を見る方位角θｄは一定となり、衝突の可能性が高い。式（１０）は、この可能性を自車両１０の車幅αを考慮して判定するものである。
ステップＳ２３において、衝突の可能性が高いと判定した場合（ステップＳ２３のＹＥＳ）、ステップＳ２４に進む。一方、衝突の可能性が低いと判定した場合（ステップＳ２３のＮＯ）、警報判定処理を終了する。
【００５２】
ステップＳ２４では、以下のようにして警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ２４）。
警報出力判定処理は、まずブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別する。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報判定処理を終了する。これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ２５以降の処理に進んで、対象物の形状判定を行う。
なお、所定閾値ＧＴＨは、下記式（１１）のように定める。これは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００５３】
【数８】
【００５４】
ステップＳ２５以降の対象物の形状判定には、対象物の画像に直線部位を示す部分が含まれるか否か（ステップＳ２５）、対象物の画像の角が直角であるか否か（ステップＳ２６）、対象物の画像が予め登録された人工構造物の形状と一致するか否か（ステップＳ２７）、対象物の画像に同じ形状のものが複数含まれているか否か（ステップＳ２８）がある。
最初に、対象物の画像に直線部位を示す部分が含まれるか否かを判定する（ステップＳ２５）。
ステップＳ２５において、対象物の画像に直線部位を示す部分が含まれない場合（ステップＳ２５のＮＯ）、対象物の画像の角が直角であるか否かを判定する（ステップＳ２６）。
【００５５】
ステップＳ２６において、対象物の画像の角が直角でない場合（ステップＳ２６のＮＯ）、対象物の画像が予め登録された人工構造物の形状と一致するか否かを判定する（ステップＳ２７）。
ステップＳ２７において、対象物の画像が予め登録された人工構造物の形状と一致しない場合（ステップＳ２７のＮＯ）、対象物の画像に同じ形状のものが複数含まれているか否かを判定する（ステップＳ２８）。
また、ステップＳ２８において、対象物の画像に同じ形状のものが複数含まれていない場合（ステップＳ２８のＮＯ）、対象物が歩行者や動物である可能性が高いので、スピーカ３を介して音声による警報を発するとともに、画像表示装置７により、例えば赤外線カメラ２Ｒにより得られる画像を表示し、接近してくる対象物を強調表示（例えば枠で囲んで強調する）する（ステップＳ２９）。
【００５６】
一方、ステップＳ２５において対象物の画像に直線部位を示す部分が含まれる場合（ステップＳ２５のＹＥＳ）、あるいはステップＳ２６において対象物の画像の角が直角である場合（ステップＳ２６のＹＥＳ）、あるいはステップＳ２７において対象物の画像が予め登録された人工構造物の形状と一致する場合（ステップＳ２７のＹＥＳ）、更にステップＳ２８において対象物の画像に同じ形状のものが複数含まれている場合（ステップＳ２８のＹＥＳ）のいずれかである場合は、対象物が人工構造物であるとして、図３のステップＳ７において抽出した対象物から除外し（ステップＳ３０）、警報を発することなく警報判定処理を終了する。
【００５７】
次に、上述の図１２における対象物の形状判定、特にステップＳ２５とステップＳ２６、ステップＳ２８、更にステップＳ３０における直線部位、及び直角部位の探索処理について、その方法を図面を用いて詳細に説明する。
図１５と図１６、及び図１７、更に図２３は、図１２におけるステップＳ２５、ステップＳ２６、ステップＳ２８の処理とステップＳ３０の一部の処理を、更に詳細に示すフローチャートである。
直線部位の探索において、画像処理ユニット１は、垂直直線部位の検出（垂直直線部位判定）から開始する。図１５は、垂直直線部位判定を示すフローチャートである。
従って、まず垂直直線部位を探索するために、対象物の画像と相関演算を行うための基準画像である右直線部映像パタンを選択し（ステップＳ３１）、図３に示したフローチャートのステップＳ１３において求めた自車両１０と対象物との距離に応じて、表示画面上に投影された実空間の画像の大きさと釣り合うように、基準画像のパタンサイズを決定する（ステップＳ３２）。
【００５８】
ここで、基準画像のパタンサイズの決定は、以下のように行う。すなわち、自車両１０と対象物との距離が前記式（２）よりｚ＝Ｌ［ｍ］と算出された場合、実空間で距離Ｌ［ｍ］の位置にある高さＡ［ｍ」、幅Ｂ［ｍ］の対象物は、表示画面上でａ×ｂ［ｐｉｘｅｌ］の大きさで投影される。
ａ＝ｆ×Ａ／Ｌ ・・・（１２）ｂ＝ｆ×Ｂ／Ｌ ・・・（１３）
従って、図１８（ａ）に示すように、例えば予め用意されている右直線部映像パタンから、ａ×ｂ［ｐｉｘｅｌ］の直線部位パタンを切り出し、右直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」を基準パタンとする。同様に、予め用意されている左直線部映像パタンから切り出した、ａ×ｂ［ｐｉｘｅｌ］の左直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｌ」を図１８（ｂ）に示す。
【００５９】
相関演算のための基準パタンサイズが求められたら、次に、対象物近傍に探索領域を設定する（ステップＳ３３）
ここで、探索領域の設定は、以下のように行う。すなわち、図１９に示すように、２値化で抽出された対象物の輪郭（２値化対象物画像１００）は、対象物１０１の輪郭を正確に表現しているとは限らない。従って、２値化対象物画像（ＯＢＪ）１００の外接四角形の中心１０２に対して、幅と高さが２値化対象物画像１００の幅と高さの上下にそれぞれａ［ｐｉｘｅｌ］の範囲を設定し、これを相関演算による探索範囲１０３とする。
【００６０】
次に、対象物近傍の探索範囲１０３内から、相関演算により、右直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）１０４を探索する（ステップＳ３４）。
そして、右直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」と相関度が高い部分が存在するか否かを判定する（ステップＳ３５）。
ステップＳ３５において、右直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」と相関度が高い部分が存在する場合（ステップＳ３５のＹＥＳ）、相関度が高い部分と対象物１０１とが同一物体であるか否かを判定するために、前記式（２）による対象物の距離算出と同様に、ＯＢＪ＿Ｐａｔ１０４の距離を算出する（ステップＳ３６）。
【００６１】
なお、実際は、自車両１０と対象物１０１との距離が、自車両１０と相関度が高い部分ＯＢＪ＿Ｐａｔ１０４との距離に等しい場合、対象物１０１とＯＢＪ＿Ｐａｔ１０４は同一の物体であると判定できるので、距離を比較する代わりに算出された視差ΔｄとΔｄ＿Ｐを比較することで、対象物１０１とＯＢＪ＿Ｐａｔ１０４が同一の物体であるか否かを判定する（ステップＳ３７）。具体的には下記式（１４）を用いて、視差誤差が許容値ＴＨより小さいか否かを判定する。｜Δｄ−Δｄ＿Ｐ｜＜ＴＨ ・・・（１４）
ステップＳ３７において、対象物１０１とＯＢＪ＿Ｐａｔ１０４が同一の物体であると判定された場合（ステップＳ３７のＹＥＳ）、対象物１０１には垂直直線部位有りと判定し（ステップＳ３８）、垂直直線部位を持つということは人工の道路構造物であるとして（ステップＳ３９）、垂直直線部位判定を終了する。
【００６２】
一方、ステップＳ３５において、右直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」と相関度が高い部分が存在しない場合（ステップＳ３５のＮＯ）、あるいはステップＳ３７において、対象物１０１とＯＢＪ＿Ｐａｔ１０４が同一の物体であると判定されなかった場合（ステップＳ３７のＮＯ）、ステップＳ４０へ進み、相関演算に用いた基準パタンが左直線部映像パタンであるか否かを判定する（ステップＳ４０）。
ステップＳ４０において、相関演算に用いた基準パタンが左直線部映像パタンでなかった場合（ステップＳ４０のＮＯ）、予め用意されている左直線部映像パタンを選択し（ステップＳ４１）、ステップＳ３２へ戻る。
【００６３】
そして、上述のステップＳ３２とステップＳ３３において、右直線部映像パタンに対して行った操作と同じことを左直線部映像パタンに対して行い、図１８（ｂ）に示す左直線部映像パタンから切り出した、ａ×ｂ［ｐｉｘｅｌ］の左直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｌ」を基準パタンとする。更に、ステップＳ３４において、対象物近傍の探索範囲１０３内から、相関演算により、左直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｌ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）１０４を探索する。
左直線部切り出しパタンによる相関演算の結果、上述のステップＳ３５からステップＳ３９までの動作を行い、対象物１０１に垂直直線部位有りと判定されると、対象物１０１は人工の道路構造物であるとして、垂直直線部位判定を終了する。
また、左直線部切り出しパタンによる相関演算の結果、再度ステップＳ４０の判定へ進むと、既に右直線部切り出しパタンと左直線部切り出しパタンの両方による垂直直線部位の探索が終了しているので（ステップＳ４０のＹＥＳ）、垂直直線部位無しと判定し（ステップＳ４２）、水平直線部位判定へ進む。
【００６４】
なお、上述の垂直直線部位判定において、右直線部切り出しパタンと左直線部切り出しパタンの両方によって相関演算を行い、それぞれの相関度の高い部分の自車両１０との距離を、対象物の自車両１０との距離と比較するのは、対象物が複数重なって１つの対象物として認識されている場合、垂直直線部位判定において検出された対象物の右、あるいは左の直線部位は、衝突判定された対象物の部位ではない可能性があるためである。従って、対象物の自車両１０との距離を、検出された対象物の右、あるいは左の直線部位の自車両１０との距離と比較して、両者が同一の物体であるか否かを判断する。
【００６５】
次に、図１６に示すフローチャートを用いて、水平直線部位判定について説明する。
水平直線部位判定では、まず水平直線部位を探索するために、対象物の画像と相関演算を行うための基準画像である上端直線部映像パタンを選択し（ステップＳ５１）、図３に示したフローチャートのステップＳ１３において求めた自車両１０と対象物との距離に応じて、表示画面上に投影された実空間の画像の大きさと釣り合うように、基準画像のパタンサイズを決定する（ステップＳ５２）。
ここで、基準画像のパタンサイズの決定は、上述の垂直直線部位判定と同じように行う。すなわち、自車両１０と対象物との距離が前記式（２）よりｚ＝Ｌ［ｍ］と算出された場合、実空間で距離Ｌ［ｍ］の位置にある高さＢ［ｍ」、幅Ａ［ｍ］の対象物は、表示画面上でｂ×ａ［ｐｉｘｅｌ］の大きさで投影される。
ｂ＝ｆ×Ｂ／Ｌ ・・・（１５）ａ＝ｆ×Ａ／Ｌ ・・・（１６）
【００６６】
従って、図２０（ａ）に示すように、例えば予め用意されている上端直線部映像パタンから、ｂ×ａ［ｐｉｘｅｌ］の直線部位パタンを切り出し、上端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」を基準パタンとする。同様に、予め用意されている下端直線部映像パタンから切り出した、ｂ×ａ［ｐｉｘｅｌ］の下端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｄ」を図２０（ｂ）に示す。
相関演算のための基準パタンサイズが求められたら、次に、対象物近傍に探索領域を設定する（ステップＳ５３）
なお、探索領域の設定も、上述の垂直直線部位判定と同じように行う。すなわち、２値化対象物画像（ＯＢＪ）の外接四角形の中心に対して、幅と高さが２値化対象物画像の幅と高さの上下にそれぞれａ［ｐｉｘｅｌ］の範囲を設定し、これを相関演算による探索範囲とする。
【００６７】
次に、対象物近傍の探索範囲内から、相関演算により、上端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）を探索する（ステップＳ５４）。
そして、上端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」と相関度が高い部分が存在するか否かを判定する（ステップＳ５５）。
ステップＳ５５において、上端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」と相関度が高い部分が存在する場合（ステップＳ５５のＹＥＳ）、対象物には水平直線部位有りと判定し（ステップＳ５６）、水平直線部位を持つということは人工の道路構造物であるとして（ステップＳ５７）、水平直線部位判定を終了する。
【００６８】
一方、ステップＳ５５において、上端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」と相関度が高い部分が存在しない場合（ステップＳ５５のＮＯ）、相関演算に用いた基準パタンが下端直線部映像パタンであるか否かを判定する（ステップＳ５８）。
ステップＳ５８において、相関演算に用いた基準パタンが下端直線部映像パタンでなかった場合（ステップＳ５８のＮＯ）、予め用意されている下端直線部映像パタンを選択し（ステップＳ５９）、ステップＳ５２へ戻る。
【００６９】
そして、上述のステップＳ５２とステップＳ５３において、上端直線部映像パタンに対して行った操作と同じことを下端直線部映像パタンに対して行い、図２０（ｂ）に示す下端直線部映像パタンから切り出した、ｂ×ａ［ｐｉｘｅｌ］の下端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｄ」を基準パタンとする。更に、ステップＳ５４において、対象物近傍の探索範囲内から、相関演算により、下端直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｄ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）を探索する。
下端直線部切り出しパタンによる相関演算の結果、上述のステップＳ５５からステップＳ５７までの動作を行い、対象物に水平直線部位有りと判定されると、対象物は人工の道路構造物であるとして、水平直線部位判定を終了する。
また、下端直線部切り出しパタンによる相関演算の結果、再度ステップＳ５８の判定へ進むと、既に上端直線部切り出しパタンと下端直線部切り出しパタンの両方による水平直線部位の探索が終了しているので（ステップＳ５８のＹＥＳ）、水平直線部位無しと判定し（ステップＳ６０）、直角部位判定へ進む。
【００７０】
なお、上述の水平直線部位判定において、上端線部切り出しパタンと下端直線部切り出しパタンの両方によって相関演算を行った後、それぞれの相関度の高い部分と自車両１０との距離を求めないのは、左右のカメラを用いた２眼立体視の原理から、水平直線部位の距離は算出できないからである。従って、垂直直線部位判定と場合と違い、水平直線部位判定では、直線のパタンの相関度のみから判定を行うものとする。
【００７１】
次に、図１７に示すフローチャートを用いて、直角部位判定について説明する。
直角部位判定では、まず直角部位を探索するために、対象物の画像と相関演算を行うための基準画像である右上直角部映像パタンを選択し（ステップＳ７１）、図３に示したフローチャートのステップＳ１３において求めた自車両１０と対象物との距離に応じて、表示画面上に投影された実空間の画像の大きさと釣り合うように、基準画像のパタンサイズを決定する（ステップＳ７２）。
ここで、基準画像のパタンサイズの決定は、上述の垂直直線部位判定や水平直線部位判定と同じように行う。すなわち、自車両１０と対象物との距離が前記式（２）よりｚ＝Ｌ［ｍ］と算出された場合、実空間で距離Ｌ［ｍ］の位置にある高さＡ［ｍ」、幅Ａ［ｍ］の対象物は、表示画面上でａ×ａ［ｐｉｘｅｌ］の大きさで投影される。
ａ＝ｆ×Ａ／Ｌ ・・・（１７）
【００７２】
従って、図２１（ａ）に示すように、例えば予め用意されている右上直角部映像パタンから、ａ×ａ［ｐｉｘｅｌ］の直角部位パタンを切り出し、右上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」を基準パタンとする。同様に、予め用意されている左上直角部映像パタンから切り出した、ａ×ａ［ｐｉｘｅｌ］の左上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｌ」を図２１（ｂ）に示す。
相関演算のための基準パタンサイズが求められたら、次に、対象物近傍に探索領域を設定する（ステップＳ７３）。
なお、探索領域の設定も、上述の垂直直線部位判定や水平直線部位判定と同じように行う。すなわち、２値化対象物画像（ＯＢＪ）の外接四角形の中心に対して、幅と高さが２値化対象物画像の幅と高さの上下にそれぞれａ［ｐｉｘｅｌ］の範囲を設定し、これを相関演算による探索範囲とする。
【００７３】
次に、対象物近傍の探索範囲内から、相関演算により、右上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）を探索する（ステップＳ７４）。
そして、右上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」と相関度が高い部分が存在するか否かを判定する（ステップＳ７５）。
ステップＳ７５において、右上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」と相関度が高い部分が存在する場合（ステップＳ７５のＹＥＳ）、相関度が高い部分と対象物とが同一物体であるか否かを判定するために、前記式（２）による対象物の距離算出と同様に、ＯＢＪ＿Ｐａｔの距離を算出する（ステップＳ７６）。
【００７４】
なお、実際は、自車両１０と対象物との距離が、自車両１０と相関度が高い部分ＯＢＪ＿Ｐａｔとの距離に等しい場合、対象物とＯＢＪ＿Ｐａｔは同一の物体であると判定できるので、距離を比較する代わりに算出された視差ΔｄとΔｄ＿Ｐを比較することで、対象物とＯＢＪ＿Ｐａｔが同一の物体であるか否かを判定する（ステップＳ７７）。具体的には前記式（１４）を用いて、視差誤差が許容値ＴＨより小さいか否かを判定する。
ステップＳ７７において、対象物とＯＢＪ＿Ｐａｔが同一の物体であると判定された場合（ステップＳ７７のＹＥＳ）、対象物には直角部位有りと判定し（ステップＳ７８）、直角部位を持つということは人工の道路構造物であるとして（ステップＳ７９）、直角部位判定を終了する。
【００７５】
一方、ステップＳ７５において、右上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」と相関度が高い部分が存在しない場合（ステップＳ７５のＮＯ）、あるいはステップＳ７７において、対象物とＯＢＪ＿Ｐａｔが同一の物体であると判定されなかった場合（ステップＳ７７のＮＯ）、ステップＳ８０へ進み、相関演算に用いた基準パタンが左上直角部映像パタンであるか否かを判定する（ステップＳ８０）。
ステップＳ８０において、相関演算に用いた基準パタンが左上直角部映像パタンでなかった場合（ステップＳ８０のＮＯ）、予め用意されている左上直角部映像パタンを選択し（ステップＳ８１）、ステップＳ７２へ戻る。
【００７６】
そして、上述のステップＳ７２とステップＳ７３において、右上直角部映像パタンに対して行った操作と同じことを左上直角部映像パタンに対して行い、図２１（ｂ）に示す左上直角部映像パタンから切り出した、ａ×ａ［ｐｉｘｅｌ］の左上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｌ」を基準パタンとする。
更に、ステップＳ７４において、対象物近傍の探索範囲内から、相関演算により、左直線部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｌ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）を探索する。
【００７７】
左上直角部切り出しパタンによる相関演算の結果、上述のステップＳ７５からステップＳ７９までの動作を行い、対象物に直角部位有りと判定されると、対象物１０１は人工の道路構造物であるとして、直角部位判定を終了する。
また、左上直角部切り出しパタンによる相関演算の結果、再度ステップＳ８０の判定へ進むと、既に右上直角部切り出しパタンと左上直角部切り出しパタンの両方による直角部位の探索が終了しているので（ステップＳ８０のＹＥＳ）、直角部位無しと判定する（ステップＳ８２）。
従って、対象物は人工の道路構造物ではないと判定して（ステップＳ８３）、直角部位判定を終了し、上述の図１２における対象物の形状判定のステップＳ２７の処理を実行する。
【００７８】
なお、上述の直角部位判定において、右上直角部切り出しパタンと左上直角部切り出しパタンの両方によって相関演算を行い、それぞれの相関度の高い部分の自車両１０との距離を、対象物の自車両１０との距離と比較する理由は、垂直直線部位判定の場合と同様である。
【００７９】
次に、図面を用いて、同一形状判定について説明する。
同一形状判定は、例えば図２２に示すように、同一の形状を持つ複数の物体から構成される道路構造物５０（この例では、丸いレンズが上下に配置された信号機）を、赤外線カメラにより得られた赤外線画像の中から探索する処理である。
図２３に示すフローチャートを用いて説明すると、まず同一形状を探索するために、対象物の画像と相関演算を行うための基準画像である対象物パタン「Ｐａｔ」を設定する（ステップＳ９１）。
ここで、対象物パタン「Ｐａｔ」は、図２４（ａ）に示すように、例えば熱を持った道路構造物５０のレンズの部分が、２値化対象物画像（ＯＢＪ）２００として抽出されている場合、図２４（ｂ）に示すように、２値化対象物画像（ＯＢＪ）２００よりひとまわり大きい領域を設定した基準画像である。
【００８０】
相関演算のための対象物パタンが求められたら、次に、対象物近傍に探索領域を設定する（ステップＳ９２）。
ここで、探索領域の設定は、以下のように行う。すなわち、図２４（ａ）に示すように、高さが２値化対象物画像２００の高さの上下にそれぞれａ［ｐｉｘｅｌ］、幅が２値化対象物画像２００の中心に対して左右にｂ／２［ｐｉｘｅｌ］の範囲を設定し、これをそれぞれ相関演算による上部探索範囲２０２、下部探索範囲２０３とする。
【００８１】
次に、対象物近傍の上部探索範囲２０２、及び下部探索範囲２０３内から、相関演算により、対象物パタン「Ｐａｔ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）２０４を探索する（ステップＳ９３）。
そして、対象物パタン「Ｐａｔ」と相関度が高い部分が存在するか否かを判定する（ステップＳ９４）。
ステップＳ９４において、対象物パタン「Ｐａｔ」と相関度が高い部分が存在する場合（ステップＳ９４のＹＥＳ）、対象物には同一形状物有りと判定し（ステップＳ９５）、同一形状を持つということは人工の道路構造物であるとして（ステップＳ９６）、同一形状判定を終了する。なお、図２２に示した例では、赤外線画像の中から、同一の物体（丸いレンズ）を複数（２個）持っている道路構造物（信号機）が検出されることになる。
【００８２】
一方、ステップＳ９４において、対象物パタン「Ｐａｔ」と相関度が高い部分が存在しない場合（ステップＳ９４のＮＯ）、対象物には同一形状物無しと判定し（ステップＳ９７）、同一形状を持たないということは人工の道路構造物でないとして（ステップＳ９８）、同一形状判定を終了する。
【００８３】
なお、上述の同一形状判定において、対象物パタンを探索する探索領域の設定は、２値化対象物画像（ＯＢＪ）２００の上下方向としたが、同一形状の物体が左右に並んでいる場合もあるので、上下方向を探索した後、探索領域を左右に設定して対象物パタンを探索しても良い。
【００８４】
また、本実施の形態では、画像処理ユニット１が、対象物抽出手段と、人工構造物判定手段と、人工構造物除外手段と、基準画像寸法変更手段とを構成する。
より具体的には、図３のＳ１〜Ｓ７が対象物抽出手段に相当し、図１２のＳ２５〜Ｓ２８が人工構造物判定手段に相当し、図１２のＳ３０が人工構造物除外手段に相当する。更に、図１５のＳ３２、図１６のＳ５２、図１７のＳ７２が基準画像寸法変更手段に相当する。
【００８５】
また、上述の実施の形態では、撮像手段として赤外線カメラ２Ｒ、２Ｌを用いた場合を説明したが、例えば特開平９−２２６４９０号公報に示されるように通常の可視光線のみ検出可能なテレビカメラを使用してもよい。ただし、赤外線カメラを用いることにより、動物あるいは走行中の他車両などの抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現できる。また上述した実施の形態では、自車両の前方を監視する例を示したが、自車両の後方など、いずれの方向を監視するようにしてもよい。
【００８６】
以上説明したように、自車両の周辺の環境を監視した結果を、歩行者や動物等の動く物体と人工の道路構造物とに分類して扱うことで、例えば自車両の運転者に自車両の周辺の環境を表示するような場合、例えばこれらの物体の表示方法を区別し、より細心の注意を払うべき物体に関して、運転者に適切に通知できるようになる。
また、例えばこれらの物体の情報を車両制御に用いる場合、物体の種類や重要度によって、車両制御の順序を変更する等の判断材料として利用できる。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施の形態による車両周辺監視装置の構成を示すブロック図である。
【図２】車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】同実施の形態の車両周辺監視装置の画像処理ユニットにおける全体動作の処理手順を示すフローチャートである。
【図４】赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】ランレングスデータへの変換処理及びラベリングを示す図である。
【図６】対象物の時刻間追跡を示す図である。
【図７】対象物画像の回頭角補正を示す図である。
【図８】右画像中の探索画像と、左画像に設定する探索領域を示す図である。
【図９】探索領域を対象とした相関演算処理を示す図である。
【図１０】対象物の距離算出における対象物視差の算出方法を示す図である。
【図１１】車両の回頭により発生する画像上の対象物位置のずれを示す図である。
【図１２】同実施の形態の車両周辺監視装置の画像処理ユニットにおける警報判定処理の詳細を示すフローチャートである。
【図１３】車両前方の領域区分を示す図である。
【図１４】衝突が発生しやすい場合を示す図である。
【図１５】同実施の形態の車両周辺監視装置の画像処理ユニットにおける垂直直線部位の検出処理の詳細を示すフローチャートである。
【図１６】同実施の形態の車両周辺監視装置の画像処理ユニットにおける水平直線部位の検出処理の詳細を示すフローチャートである。
【図１７】同実施の形態の車両周辺監視装置の画像処理ユニットにおける直角部位の検出処理の詳細を示すフローチャートである。
【図１８】画像の探索における垂直直線部切り出しパタンの詳細を示す図である。
【図１９】垂直直線部位検出のための基準パタンの探索を示す図である。
【図２０】画像の探索における水平直線部切り出しパタンの詳細を示す図である。
【図２１】画像の探索における直角部切り出しパタンの詳細を示す図である。
【図２２】赤外線カメラにより得られる道路構造物の一例を示す図である。
【図２３】同実施の形態の車両周辺監視装置の画像処理ユニットにおける同一形状の検出処理の詳細を示すフローチャートである。
【図２４】同一形状検出のための対象物パタンの探索を示す図である。
【符号の説明】
【００８８】
１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 画像表示装置
１０ 自車両
Ｓ１〜Ｓ７ 対象物抽出手段
Ｓ２５〜Ｓ２８ 人工構造物判定手段
Ｓ３０ 人工構造物除外手段
Ｓ３２、Ｓ５２、Ｓ７２ 基準画像寸法変更手段
【特許請求の範囲】
【請求項１】
撮像手段により撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、
前記赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された対象物近傍の探索範囲画像を、人工構造物を特定する要素となる予め用意されている登録された人工の道路構造物の形状を示す基準画像と照合し、該対象物近傍の探索範囲に前記基準画像と相関が高い部分が存在すると判定した場合、前記車両から前記相関が高い部分と前記対象物の距離が等しい場合、人工の道路構造物であると判定する人工構造物判定手段と、
を設けたことを特徴とする車両周辺監視装置。
【請求項２】
前記人工構造物判定手段により人工構造物であると判定された対象物を、前記対象物抽出手段により抽出された対象物から除外する人工構造物除外手段
を含むことを特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
前記基準画像は、直線部位を表す画像を含み、
前記人工構造物判定手段は、垂直直線部位または直角部位を含む対象物を人工構造物と判定する
ことを特徴とする請求項１、または請求項２に記載の車両周辺監視装置。
【請求項４】
前記人工構造物判定手段は、
前記基準画像の大きさを前記車両と前記対象物との距離に合わせて変更する基準画像寸法変更手段
を含むことを特徴とする請求項１から請求項３のいずれかに記載の車両周辺監視装置。
【請求項１】
撮像手段により撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、
前記赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された対象物近傍の探索範囲画像を、人工構造物を特定する要素となる予め用意されている登録された人工の道路構造物の形状を示す基準画像と照合し、該対象物近傍の探索範囲に前記基準画像と相関が高い部分が存在すると判定した場合、前記車両から前記相関が高い部分と前記対象物の距離が等しい場合、人工の道路構造物であると判定する人工構造物判定手段と、
を設けたことを特徴とする車両周辺監視装置。
【請求項２】
前記人工構造物判定手段により人工構造物であると判定された対象物を、前記対象物抽出手段により抽出された対象物から除外する人工構造物除外手段
を含むことを特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
前記基準画像は、直線部位を表す画像を含み、
前記人工構造物判定手段は、垂直直線部位または直角部位を含む対象物を人工構造物と判定する
ことを特徴とする請求項１、または請求項２に記載の車両周辺監視装置。
【請求項４】
前記人工構造物判定手段は、
前記基準画像の大きさを前記車両と前記対象物との距離に合わせて変更する基準画像寸法変更手段
を含むことを特徴とする請求項１から請求項３のいずれかに記載の車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００８−２７６７８７（Ｐ２００８−２７６７８７Ａ）
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願番号】特願２００８−１２７７１８（Ｐ２００８−１２７７１８）
【出願日】平成２０年５月１４日（２００８．５．１４）
【分割の表示】特願２００１−１９７３１２（Ｐ２００１−１９７３１２）の分割
【原出願日】平成１３年６月２８日（２００１．６．２８）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願日】平成２０年５月１４日（２００８．５．１４）
【分割の表示】特願２００１−１９７３１２（Ｐ２００１−１９７３１２）の分割
【原出願日】平成１３年６月２８日（２００１．６．２８）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]