車両周辺監視装置
【課題】 車両に搭載された赤外線カメラにより撮像した画像から監視しようとする対象物を認識し、認識した対象物を車両の運転者に提供する車両周辺監視装置の処理負荷を軽減する。
【解決手段】認識処理部１０２は、画像に含まれる複数種別の物体（車両、人工構造物、又は歩行者等の対象物）毎に個別認識処理｛車両形状認識処理（ステップＳ１３）、人工構造物形状認識処理（ステップＳ１９）、対象物認識処理（ステップＳ２５）｝を実行する。除外継続時間設定部１０６は、前記個別認識処理の結果、認識された物体の画像領域に対して、前記物体の種別に応じて、前記認識処理の効果を継続する除外継続時間Ｔ１、Ｔ２、Ｔ３を設定する。除外継続時間Ｔ１、Ｔ２、Ｔ３が設定された前記画像領域については、解除残時間Ｔ１′、Ｔ２′、Ｔ３′となるまで、当該物体の個別認識処理を行わないようにしたので、処理負荷を軽減することができる。
【解決手段】認識処理部１０２は、画像に含まれる複数種別の物体（車両、人工構造物、又は歩行者等の対象物）毎に個別認識処理｛車両形状認識処理（ステップＳ１３）、人工構造物形状認識処理（ステップＳ１９）、対象物認識処理（ステップＳ２５）｝を実行する。除外継続時間設定部１０６は、前記個別認識処理の結果、認識された物体の画像領域に対して、前記物体の種別に応じて、前記認識処理の効果を継続する除外継続時間Ｔ１、Ｔ２、Ｔ３を設定する。除外継続時間Ｔ１、Ｔ２、Ｔ３が設定された前記画像領域については、解除残時間Ｔ１′、Ｔ２′、Ｔ３′となるまで、当該物体の個別認識処理を行わないようにしたので、処理負荷を軽減することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両に搭載された撮像装置により撮像した画像から監視しようとする対象物を認識し、認識した対象物を車両の運転者に提供する車両周辺監視装置に関し、特に夜間や暗所等での走行時に適用して好適な車両周辺監視装置に関する。
【背景技術】
【０００２】
従来から、例えば特許文献１に示すように、車両周辺監視装置では、赤外線カメラにより捉えられた自車両周辺の画像（グレースケール画像とその２値化画像）から、自車両との接触の可能性がある歩行者等の対象物を認識し、認識した対象物を自車両の運転者に提供する。
【０００３】
この車両周辺監視装置では、左右一組の赤外線カメラ（ステレオカメラ）が撮影した自車両周辺の画像において温度が高い部分を前記対象物として認識すると共に、左右画像中の対象物の視差を求めることにより該対象物までの距離を算出し、対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな（接触の可能性のある）歩行者等の対象物を検出して警報を出力する（特許文献１の［００１４］、［００１８］）。
【０００４】
特許文献２及び特許文献３には、車両周辺監視装置において、運転者が視認し難い歩行者等の対象物（監視対象物）を検出する際に、同一画像内に撮像される電柱等の人工構造物、及び運転者がその灯体等により視認可能な車両等の非監視対象物（非対象物）の除外処理が実行されることが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２８４０５７号公報
【特許文献２】特許第３８９８１５７号公報（［０００８］、［０００９］）
【特許文献３】特許第３８３９３２９号公報（［０００７］）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１〜３に係る車両周辺監視装置は、夜間走行時等に、対象物として検出した見えにくい前方の歩行者を映像で表示器上に表示し、例えば、スピーカ等による音と前記表示器上の歩行者映像の強調枠表示により、運転者に注意喚起することができる優れたシステムである。
【０００７】
しかしながら、特許文献１〜３に係る車両周辺監視装置においては、例えば、画像処理周期（撮像周期）が数十ミリ秒程度のフレームクロックの発生周期（フレームクロック周期又はサンプリング周期ともいう。）毎に前記赤外線カメラにより捉えられた（撮像された）画像（グレースケール画像）毎に、前記グレースケール画像中の全ての画素について、輝度の明るい部分（温度の高い部分）を対象物候補とするために２値化処理を行って前記グレースケール画像中の前記対象物候補の領域を認識し、認識した対象物候補領域を、所定形状の探索領域（マスク領域）で分割して探索領域毎に輝度平均値と輝度分散を算出し、前記探索領域毎に算出した前記輝度平均値と前記輝度分散に基づいて、前記グレースケール画像中の対象物、すなわち歩行者や動物の検出処理を行うように構成されている（特許文献１の［００４４］等）ので、ＣＰＵ（中央演算装置）の演算負荷（処理量、処理負荷）が大きいという課題がある。
【０００８】
この発明はこのような課題を考慮してなされたものであり、ＣＰＵの演算負荷を低減することを可能とする車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る車両周辺監視装置は、車両に搭載された撮像装置により撮像した画像から監視しようとする対象物を認識する車両周辺監視装置において、前記画像に対して前記対象物を含む複数種別の物体毎に個別認識処理を行う認識処理部と、前記個別認識処理の結果、認識された前記物体の画像領域に対して、前記物体の種別に応じて、前記認識処理の効果を継続する除外継続時間を設定する除外継続時間設定部と、を備え、前記認識処理部は、前記除外継続時間が設定された前記画像領域については、前記物体の種別に応じて設定される前記除外継続時間未満の所定残時間となるまで、当該物体の個別認識処理を行わないことを特徴とする。
【００１０】
この発明によれば、撮像装置により撮像した画像から監視しようとする対象物を認識する際に、前記画像中に物体を認識したとき、認識された画像領域については、物体の種別に応じて、前記認識処理の効果を継続する除外継続時間を設定し、前記除外継続時間が設定された前記画像領域については、前記物体の種別に応じて設定される前記除外継続時間未満の所定残時間となるまで、当該物体の個別認識処理を行わないようにしたので、画像全体の認識処理の時間を短縮することができる。これにより認識処理部の処理負荷を軽減することができる。すなわち、ＣＰＵの演算負荷を低減することができる。
【００１１】
この場合、前記認識処理部は、前記画像に含まれる前記複数種別の物体毎に前記個別認識処理を実行する際、前記除外継続時間が長く設定された前記物体の前記個別認識処理から先に行うように構成することで、前記処理負荷の軽減量を早期に大きくすることができる。
【００１２】
また、前記除外継続時間を更新する除外継続時間更新部を備え、前記除外継続時間更新部は、前記認識処理部により認識される頻度の高い種別の前記物体の前記除外継続時間をより長い時間に更新するように構成することで、処理負荷の軽減量を一層大きくすることができる。
【００１３】
なお、前記対象物の前記除外継続時間をゼロ値に設定し、前記対象物に対する前記個別認識処理は、画像全体（全画像領域）に対して、必ず行うようにしてもよい。
【発明の効果】
【００１４】
この発明によれば、撮像装置により撮像した画像中に物体を認識したとき、物体が認識された画像領域については、物体の種別に応じて、前記認識処理の効果を継続する除外継続時間を設定し、前記除外継続時間が設定された前記画像領域については、前記物体の種別に応じて設定される前記除外継続時間未満の所定残時間となるまで、当該物体の個別認識処理を行わないようにしたので、画像全体の認識処理の時間を短縮することができる。これにより認識処理部の処理負荷を軽減することができる。すなわち、ＣＰＵの演算負荷を低減することができる。
【００１５】
換言すれば、認識処理の判定が有効である期間では、規定した種別の認識処理を、既認識領域では実行しない（スキップする）ようにしたので、演算負荷を低減することができる。よって、必要に応じて、優先度の高い対象物に対しては認識処理時間を長くしつつ演算量を低減することができる。
【図面の簡単な説明】
【００１６】
【図１】この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】図１に示す車両周辺監視装置が搭載された車両の模式図である。
【図３】画像処理ユニットによる対象物の対象物検出・判定動作を示すフローチャートである。
【図４】記憶部に記憶されるタイマ設定テーブルの説明図である。
【図５】実施形態の動作説明に供されるフローチャートである。
【図６】実施形態の一例の動作説明に供されるタイムチャートである。
【図７】他の実施形態の処理を示すフローチャートである。
【図８】変形例の車両周辺監視装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、この発明の実施形態について図面を参照して説明する。
【００１８】
図１は、この発明の一実施形態に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示す車両周辺監視装置１０が搭載された車両（自車両ともいう。）１２の模式図である。
【００１９】
図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４と、この画像処理ユニット１４に接続される左右の赤外線カメラ１６Ｒ、１６Ｌと、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４と、赤外線カメラ１６Ｒ、１６Ｌにより撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物）を車両の運転者に認識させるためのＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｌａｙ）２６ａ等を含む画像表示装置２６と、を備える。
【００２０】
画像表示装置２６としては、ＨＵＤ（ヘッドアップディスプレイ）２６ａに限らず、車両１２に搭載されたナビゲーションシステムの地図等を表示するディスプレイや、メータユニット内等に設けられた燃費等を表示するディスプレイ（マルチインフォメーションディスプレイ）を利用することができる。
【００２１】
画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者や動物等の監視対象物を検出し、当該監視対象物との接触の可能性が高いと判断したときにスピーカ２４から警報（例えば、ピッ、ピッ、…となる音）を発するとともに、ＨＵＤ２６ａ上にグレースケール表示される撮像画像の中の監視対象物を黄色や赤色等の目立つ色枠で囲って表示する。このようにして、運転者の注意を喚起する。
【００２２】
ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路等の入力回路と、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）と、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃと、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップ及びテンプレート｛歩行者（人体）形状テンプレート：右向き、左向き、正面（背面）向き、動物形状テンプレート：鹿や犬等の右向き、左向き、正面（背面）向き、車両形状テンプレート：灯体の位置、人工構造物形状テンプレート：電柱の形状等｝等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部１４ｍと、クロック（時計部）及びタイマ（計時部）と、スピーカ２４の駆動信号と画像表示装置２６の表示信号等を出力する出力回路等を備えており、赤外線カメラ１６Ｒ、１６Ｌ、ヨーレートセンサ２２、車速センサ１８、及びブレーキセンサ２０の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。
【００２３】
画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込み、テーブル、マップ、及びテンプレート等を参照しながらプログラムを実行することで、各種機能手段（機能部ともいう。）として機能し、スピーカ２４及び画像表示装置２６に駆動信号（音声信号や表示信号）を送出する。これらの機能は、ハードウエアにより実現することもできる。
【００２４】
この実施形態において、画像処理ユニット１４は、それぞれ詳細を後述する認識処理部１０２、計時部１０４、除外継続時間設定部１０６及び除外継続時間更新部１０８等の前記機能部を有する。
【００２５】
なお、画像処理ユニット１４（認識処理部１０２）は、基本的には、赤外線カメラ１６Ｒ、１６Ｌにより取得した画像と、記憶部１４ｍに記憶されている車両形状、人工構造物形状、及び対象物（監視対象物）としての人体形状等の模式的なテンプレートとを比較して物体を個別的に認識する物体認識処理（物体検知処理）プログラムを実行する。
【００２６】
図２に示すように、いわゆるステレオカメラとして機能する赤外線カメラ１６Ｒ、１６Ｌは、車両１２の前部バンパー部に、車両１２の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ１６Ｒ、１６Ｌの光軸が互いに平行であって、且つ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ１６Ｒ、１６Ｌは、撮像対象（物体）の温度が高いほど、その出力信号（撮像信号）レベルが高くなる（輝度が増加する）特性を有している。
【００２７】
また、ＨＵＤ２６ａは、車両１２のフロントウインドシールド上、運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００２８】
図１において、上記した認識処理部１０２は、車両形状認識処理部１０２ａ、人工構造物形状認識処理部１０２ｂ、及び監視しようとする対象物である歩行者や動物等の対象物認識処理部１０２ｃを備える。
【００２９】
ここで、この明細書の内容の理解の便宜のために、画像処理ユニット１４中、対象物認識処理部１０２ｃの公知の処理内容について、歩行者等の対象物の認識（検出）処理から注意喚起（警報）出力処理までの処理を図３のフローチャートを参照しながら説明する。
【００３０】
まず、ステップＳ１において、画像処理ユニット１４は、車速センサ１８により検出される車速Ｖｓ等から車両１２の走行状態（走行中か停車中）を判定し、停車中（ステップＳ１：ＮＯ）である場合には、処理を停止する。
【００３１】
走行中（ステップＳ１：ＹＥＳ）である場合には、ステップＳ２において、画像処理ユニット１４は、赤外線カメラ１６Ｒ、１６Ｌによりフレーム毎に撮像された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換し、ステップＳ３にて、グレースケール画像を画像メモリ（記憶部１４ｍ）に格納する。
【００３２】
なお、赤外線カメラ１６Ｒによりグレースケール右画像が得られ、赤外線カメラ１６Ｌによりグレースケール左画像が得られる。また、グレースケール右画像とグレースケール左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）等を用いて三角測量の原理により対象物までの距離を算出することができる。以下、基準画像をグレースケール右画像として、単にグレースケール画像という。
【００３３】
次いで、ステップＳ４において、赤外線カメラ１６Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする２値化処理を行い２値化画像を得る。この２値化処理では、人体では、比較的に高温の頭部、肩、胴体等の塊（人体上半身部という。）が、「１」の塊（集合体）として検出される。実際上、画像処理ユニット１４は、フレーム（画像）毎に２値化画像の「１」(白)をｘ方向（水平方向）の走査ライン毎にランレングスデータに変換し、ｙ方向（垂直方向）に重なる部分のあるラインを１つの対象物とみなし、当該対象物の外接四角形にそれぞれラベルを付ける、いわゆるラベリング処理を行う。
【００３４】
次いで、ステップＳ５において、対象物認識処理部１０２ｃは、グレースケール画像を参照して、前記ラベルが付けられた前記人体上半身部が検出された検出対象物（この場合、歩行者等）の下部に存在する人体下半身部（脚部）（前記人体上半身部より輝度は低いが背景よりは輝度が高い部分）までを検出し、検出した人体（歩行者）を外接四角形で囲んだ人体対象物候補（前記人体上半身部と前記人体下半身部とからなる。）を算出する。
【００３５】
次に、ステップＳ６において、対象物認識処理部１０２ｃは、算出した前記人体対象物候補の前記外接四角形より僅かに大きい領域にマスク領域を設定し、記憶部１４ｍに記憶されているテンプレートとのマッチングを行い、いわゆる相関度判定を行い、赤外線画像より抽出した前記人体対象物候補の前記テンプレートとの相関度が閾値より大きいと推定したとき、前記人体対象物候補を人体対象物と認識する。
【００３６】
次に、ステップＳ７において、画像処理ユニット１４は、フレーム毎に取得されている前記人体対象物のグレースケール画像及びその２値化画像から、動体（動いている人体対象物）の移動ベクトル（速度と方向）を検出する。
【００３７】
次に、ステップＳ８において、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒと、前記人体対象物までの距離・方向とに基づき、自車両１２が前記人体対象物に接触の可能性があるかどうかを判定し、接触の可能性があると判定した場合（ステップＳ８：ＹＥＳ）には、ステップＳ９において、運転者の注意を喚起する（運転者に情報を提供する）。具体的には、当該歩行者のグレースケール画像をＨＵＤ２６ａに表示するとともに、スピーカ２４を通じて警報を発生し、車両１２の運転者に接触の回避操作を促す。
【００３８】
以上のステップＳ１〜Ｓ９までの処理内容の説明が、画像処理ユニット１４中、対象物認識処理部１０２ｃの公知の処理内容の説明である。
【００３９】
次に、図１に示す認識処理部１０２中、車両形状認識処理部１０２ａ及び人工構造物形状認識処理部１０２ｂについての公知の処理内容についても説明する。
【００４０】
車両形状認識処理部１０２ａは、例えば、特許文献３に開示されているように、赤外線カメラ１６Ｒ、１６Ｌにより撮像された画像から抽出される不定形な２値化対象物の位置や発せられる赤外線量により、歩行者等の対象物（監視対象物）の安定した抽出を妨げる車両（非監視対象物）を対象物から排除する。
【００４１】
このため、２つの赤外線カメラ１６Ｒ、１６Ｌにより捉えられた画像を利用して、物体（対向車両又は先行車両）を認識する際に、前記画像のグレースケール画像を２値化処理することにより、前記グレースケール画像から、少なくとも１つの灯体（例えば、一方の前照灯や一方の車幅灯）と思われる第１の非監視対象物を熱源として抽出する灯体抽出部と、前記第１の非監視対象物の周囲の領域と、前記第１の非監視対象物との距離を比較して、自車両１２からの距離が前記第１の非監視対象物と同一距離の第２の非監視対象物（従って、他方の前照灯や他方の車幅灯）を抽出する同一距離非監視対象物抽出部と、前記第２の非監視対象物の位置及び当該第２の非監視対象物から発せられる赤外線量と、予め設定された車両構造物の位置及び当該車両構造物から発せられる赤外線量との比較により、前記画像中の車両を認識する車両判別部と、を備える。
【００４２】
すなわち、車両形状認識処理部１０２ａでは、まず前記灯体抽出部により、例えば車両の灯体と思われる第１の非監視対象物を認識する。次に、前記同一距離非監視対象物抽出部により、第１の非監視対象物の周囲を探索して、第１の非監視対象物と同一距離の第２の非監視対象物を抽出する。そして、前記車両判別部により、第１の非監視対象物と第２の非監視対象物との関係が、記憶部１４ｍにテンプレートとして記憶されている車両の特徴に当てはまるか否かをテンプレートマッチングにより判断し、且つ第２の対象物の位置及び該第２の対象物から発せられる赤外線量を判断することで、目的の第１及び第２の非監視対象物を含む物体が車両か否かを判断することができる。
【００４３】
次いで、人工構造物形状認識処理部１０２ｂは、例えば、特許文献２に開示されているように、例えば道路上の端部には自動販売機や看板、壁等があり、それらより道路側に電柱や標識がある道路環境下においては、発熱体である自動販売機又は太陽光により高温となった看板等が、温度が低く赤外線の放出量の少ない状態の電柱や標識の柱により遮蔽され、２つに分割されて検出された場合、歩行者が二人存在すると判定する可能性があるので、歩行者等の対象物の安定した抽出を妨げる電柱等の人工構造物（非監視対象物）を対象物から排除する。
【００４４】
このため、２つの赤外線カメラ１６Ｒ、１６Ｌにより撮像された画像に基づいて、物体を認識する際に、１つの人工構造物（例えば、前記自動販売機）が他の人工構造物（例えば、前記電柱）により遮蔽され分離されて複数の人工構造物（二分された前記自動販売機）として検出されたと推測する人工構造物分離推測部を備える。前記人工構造物分離推測部は、前記画像から検出された前記複数の人工構造物（前記二分された前記自動販売機）を、１つの人工構造物（前記自動販売機）が１つの人工構造物（前記電柱）により分離されて検出された物体と推測することで、１つの人工構造物（前記自動販売機）とそれを遮蔽する人工構造物（前記電柱）の両方の存在を一度に認識することができ、歩行者が二人存在すると判定する可能性のある前記複数の人工構造物（前記二分された前記自動販売機）及びそれを遮蔽する人工構造物（前記電柱）を対象物から排除することができる。
【００４５】
前記記憶部１４ｍには、撮像画像（画像）に対する前記個別認識処理（車両形状認識処理、人工構造物形状認識処理、及び対象物認識処理）の結果、画像（画面）中、認識された前記物体の画像領域（例えば、その外接四角形の領域）を記憶する認識領域記憶部１４ｍｒが設けられる。また、記憶部１４ｍには、タイマ設定テーブル１４ｍｔが設けられる。
【００４６】
前記計時部１０４には、３種の除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃが設けられるとともに、３種の解除残時間設定部Ｔｒａ、Ｔｒｂ、Ｔｒｃが設けられる。
【００４７】
画像中に、車両（車両形状）を認識した時に、図４に示すタイマ設定テーブル１４ｍｔの「認識車両領域（車両を認識した領域の意）」の項の「車：車両の略」欄が参照され、現在残時間Ｔａ（車両が認識されていない時には、Ｔａ＝０）を計時する除外継続時間タイマ１０４ａに、除外継続時間Ｔ１（Ｔ１は、この実施形態では、Ｔ１＝５［ｓ］）が設定される（Ｔａ←Ｔ１）とともに、解除残時間設定部Ｔｒａに解除残時間Ｔ１′（Ｔ１′は、この実施形態では、Ｔ１´＝４［ｓ］）が設定される（Ｔｒａ←Ｔ１′）。
【００４８】
除外継続時間タイマ１０４ａ及び後述する除外継続時間タイマ１０４ｂ、１０４ｃは、例えば、プリセットダウンカウンタにより構成され、それぞれ除外継続時間Ｔ１、Ｔ２、Ｔ３が設定されると直ちにダウンカウント（減算計時）を開始する。なお、解除残時間Ｔ１´及び後述する解除残時間Ｔ２´、Ｔ３´は、閾値であり、それぞれの解除残時間Ｔ１´、Ｔ２´、Ｔ３´になると、対応する除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃがリセットされる（Ｔ１＝０、Ｔ２＝０、Ｔ３＝０）。
【００４９】
画像中に、車両（車両形状）を認識した時に、同時に、タイマ設定テーブル１４ｍｔの「認識車両領域」の項の「構：人工構造物の略」欄が参照され、前記認識車両領域に対し、現在残時間Ｔｂ（車両が認識されていない時には、Ｔｂ＝０）の除外継続時間タイマ１０４ｂに、同じ除外継続時間Ｔ１が設定される（Ｔｂ←Ｔ１＝５［ｓ］）とともに、解除残時間設定部Ｔｒｂに解除残時間Ｔ２′（Ｔ２′は、この実施形態では、Ｔ２´＝２［ｓ］）が設定される（Ｔｒｂ←Ｔ２′）。
【００５０】
さらに、画像中に、車両（車両形状）を認識した時に、同時に、タイマ設定テーブル１４ｍｔの「認識車両領域」の項の「対：対象物の略」欄が参照され、前記認識車両領域に対し、現在残時間Ｔｃ（車両が認識されていない時には、Ｔｃ＝０）の除外継続時間タイマ１０４ｃに、同じ除外継続時間Ｔ１が設定される（Ｔｃ←Ｔ１）とともに、解除残時間設定部Ｔｒｃに解除残時間Ｔ３′（Ｔ３′は、この実施形態では、Ｔ３´＝０［ｓ］）が設定される（Ｔｒｃ←Ｔ３′）。
【００５１】
同様に、画像中に、人工構造物（人工構造物形状）を認識した時にも、タイマ設定テーブル１４ｍｔが参照され、前記人工構造物を認識した領域（認識人工構造物領域という。）に対し、現在残時間Ｔｂ（人工構造物が認識されていない時には、Ｔｂ＝０）の除外継続時間タイマ１０４ｂに、除外継続時間Ｔ２（Ｔ２は、この実施形態では、Ｔ２＝３［ｓ］）が設定される（Ｔｂ←Ｔ２）とともに、解除残時間設定部Ｔｒｂに解除残時間Ｔ２′が設定される（Ｔｒｂ←Ｔ２′＝２［ｓ］）。
【００５２】
また、画像中に、人工構造物（人工構造物形状）を認識した時に、同時に、前記認識人工構造物領域に対し、現在残時間Ｔｃ（人工構造物が認識されていない時には、Ｔｃ＝０）の除外継続時間タイマ１０４ｃに、同じ除外継続時間Ｔ２が設定される（Ｔｃ←Ｔ２＝３［ｓ］）とともに、解除残時間設定部Ｔｒｃに解除残時間Ｔ３′（Ｔ３′は、この実施形態では、Ｔ３´＝０［ｓ］）が設定される（Ｔｒｃ←Ｔ３′）。
【００５３】
画像中に、対象物（対象物形状）を認識した時に、タイマ設定テーブル１４ｍｔが参照され、前記対象物を認識した領域（認識対象物領域という。）に対し、現在残時間Ｔｃ（対象物が認識されていない時には、Ｔｃ＝０）の除外継続時間タイマ１０４ｃに、除外継続時間Ｔ３（Ｔ３は、この実施形態では、Ｔ３＝１［ｓ］）が設定される（Ｔｃ←Ｔ３）とともに、解除残時間設定部Ｔｒｃに解除残時間Ｔ３′が設定される（Ｔｒｂ←Ｔ３′＝０［ｓ］）。
【００５４】
上記のように、車両形状を認識したとき、当該認識車両領域には、除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃに除外継続時間Ｔ１が設定されるとともに、解除残時間Ｔ１′、Ｔ２′、Ｔ３′が設定され、人工構造物形状を認識したとき、当該認識人工構造物領域には、除外継続時間タイマ１０４ｂ、１０４ｃに除外継続時間Ｔ２が設定されるとともに、解除残時間Ｔ２′、Ｔ３′が設定され、対象物を認識したとき、当該認識対象物領域には、除外継続時間タイマ１０４ｃに除外継続時間Ｔ３が設定されるとともに、解除残時間Ｔ３′が設定される。
【００５５】
ここで、除外継続時間Ｔ１は、前記車両形状認識処理部１０２ａが前記物体の種別として他車両（対向車あるいは前走車等）を認識したときに、全画像（画面）中、認識車両領域（例えば、その外接四角形の領域）については、車両形状認識処理部１０２ａによる上述した車両形状認識処理の効果を継続させるために設定される継続時間である。
【００５６】
除外継続時間Ｔ２は、前記人工構造物形状認識処理部１０２ｂが前記物体の種別として人工構造物を認識したときに、全画像（画面）中、認識人工構造物領域（例えば、その外接四角形の領域）については、人工構造物形状認識処理部１０２ｂによる上述した人工構造物形状認識処理の効果を継続させるために設定される継続時間である。
【００５７】
除外継続時間Ｔ３は、前記対象物認識処理部１０２ｃが前記物体の種別として対象物を認識したときに、全画像（画面）中、認識対象物領域（例えば、その外接四角形の領域）については、対象物認識処理部１０２ｃによる上述した対象物認識処理の効果を継続させるために設定される継続時間である。
【００５８】
実際上、法規等により規定された一定形状（２つの前照灯、前後それぞれ２つの車幅灯）を有する車両形状の車両形状認識処理は、人工構造物形状認識処理よりも信頼度を高く認識することができ、また、人工構造物形状の人工構造物形状認識処理は通常静止物体であり歩行者等の対象物よりも信頼度を高く認識することができるので、除外継続時間Ｔ１〜Ｔ３は、Ｔ１＞Ｔ２＞Ｔ３に設定することが好ましい。
【００５９】
さらに、図１中の除外継続時間更新部１０８は、認識処理部１０２により認識される頻度の高い種別の前記物体の除外継続時間Ｔ１〜Ｔ３を、より長い時間に更新するようにする。この場合、除外継続時間更新部１０８は、例えば、道路の混雑状況を無線通信によりセンタより入手し、あるいは都市部と郊外の棲み分け情報をナビゲーション装置から入手して除外継続時間Ｔ１〜Ｔ３を更新するようにしてもよい。
【００６０】
次に、基本的には以上のように構成される車両周辺監視装置１０の特徴的な動作［対象物｛人体（歩行者）等｝の検知性能は維持しつつ、処理効率を向上（処理負荷を低減）する。］について、図５のフローチャート及び図６のタイムチャート２００を参照して説明する。なお、図５のフローチャートは、赤外線カメラ１６Ｒ、１６Ｌによる撮像（グレースケール画像の取得）周期、ここでは３３［ｍｓ］毎に実行される。
【００６１】
図６において、時点ｔ０−１から時点ｔ０の直前までの１秒間の間では、個別認識処理の全てが、撮像周期毎に実行された（○：認識処理有）が、何らの物体形状が認識されなかったものとしている。
【００６２】
そこで、時点ｔ０のステップＳ１１にて、画像処理ユニット１４のＣＰＵ１４ｃは、図３を参照して説明したステップＳ１（走行判定）、ステップＳ２（撮像）、及びステップＳ３（グレースケール画像取得）の前段処理を行う。
【００６３】
次いで、図５のステップＳ１２にて、認識領域記憶部１４ｍｒ及び計時部１０４を参照し、除外継続時間タイマ１０４ａの現在残時間Ｔａが解除残時間設定部Ｔｒａに設定されている解除残時間Ｔ１′を上回る時間（Ｔａ＞Ｔ１′）残っている認識車両領域ＣＲが存在するか否か（Ｔａ≦Ｔ１′）を判定する。
【００６４】
ここでは、認識車両領域ＣＲが残っていない（ステップＳ１２：ＮＯ）ものとしているので、次に、ステップＳ１３にて、画像の全領域（全画像領域）について、車両形状認識処理部１０２ａによる上述した車両形状認識処理を実行し、車両形状を認識した場合には、当該車両形状の外接四角形にラベルを付ける。
【００６５】
この車両形状認識処理の結果がステップＳ１４で判定される。車両が認識されていた場合（ステップＳ１４：ＹＥＳ）には、、ステップＳ１３にてラベルが付けられている（図５のタイムテーブル２００中、時点ｔ０及びステップＳ１３で特定される枠に認識されてラベルが付けられていることを示す「＊」を付けている。）当該車両形状の前記外接四角形を、ステップＳ１５にて認識車両領域ＣＲ１に設定し、時点ｔ０で認識領域記憶部１４ｍｒに認識車両領域ＣＲ１としてメモリアドレス領域を記憶し、ステップＳ１６にて、その認識車両領域ＣＲ１に対し、除外継続時間タイマ１０４ａの現在残時間Ｔａ、除外継続時間タイマ１０４ｂの現在残時間Ｔｂ、及び除外継続時間タイマ１０４ｃの現在残時間Ｔｃを、それぞれ除外継続時間Ｔ１に設定する（Ｔａ，Ｔｂ，Ｔｃ←Ｔ１＝５）。
【００６６】
除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃに除外継続時間Ｔ１が設定されると、ステップＳ１７にて、除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃは、直ちにダウン計時が開始される。
【００６７】
なお、車両が複数認識された場合、複数の認識車両領域ＣＲのそれぞれに対し除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃが設定される。
【００６８】
次いで、画像処理ユニット１４（のＣＰＵ１４ｃ）は、ステップＳ１８にて、認識領域記憶部１４ｍｒ（図６参照）及び計時部１０４を参照し、除外継続時間タイマ１０４ｂの現在残時間Ｔｂが、解除残時間設定部Ｔｒｂに設定されている解除残時間Ｔ２′を上回る時間（Ｔｂ＞Ｔ２′）残っている認識領域が存在するか否か（Ｔｂ≦Ｔ２′）を判定する。
【００６９】
ここでは（時点ｔ０では）、認識車両領域ＣＲ１でＴｂ＞Ｔ２′となっているので、認識車両領域ＣＲ１に対するステップＳ１９の人工構造物形状認識処理がスキップされ｛図６のタイムチャート２００中、（ｔ０，Ｓ１９）の座標で指定される枠内を「−」と描き、スキップすることを意味させている。｝、残りの全領域において、ステップＳ１９での人工構造物形状認識処理が実行される。
【００７０】
ステップＳ１９の人工構造物形状認識処理にて、人工構造物形状を認識した場合には、当該人工構造物形状の外接四角形にラベルを付ける。
【００７１】
この人工構造物形状認識処理の結果がステップＳ２０で判定される。電柱等の人工構造物が認識されていた場合（ステップＳ２０：ＹＥＳ）には、ステップＳ２１にて、ラベルが付けられている当該人工構造物形状の前記外接四角形をステップＳ２１にて認識人工構造物領域ＡＲに設定し、ステップＳ２２にて、その認識人工構造物領域ＡＲに対し、除外継続時間タイマ１０４ｂの現在残時間Ｔｂ及び除外継続時間タイマ１０４ｃの現在残時間Ｔｃをそれぞれ除外継続時間Ｔ２に設定する（Ｔｂ、Ｔｃ←Ｔ２＝３）。
【００７２】
除外継続時間タイマ１０４ｂ、１０４ｃに除外継続時間Ｔ２が設定されると、ステップＳ２３にて、除外継続時間タイマ１０４ｂ、１０４ｃは、直ちにダウン計時を開始する。
【００７３】
この場合にも、人工構造物が複数認識された場合、複数の認識人工構造物領域のそれぞれに対し除外継続時間タイマ１０４ｂ及び除外継続時間タイマ１０４ｃが設定される。
【００７４】
この実施形態では、時点ｔ０のステップＳ１９にて人工構造物形状が認識されていないものとしているので（図６参照）、ステップＳ２０の判定は否定的となる。
【００７５】
次いで、ステップＳ２４にて、認識領域記憶部１４ｍｒ及び計時部１０４を参照し、除外継続時間タイマ１０４ｃの現在残時間Ｔｃが解除残時間設定部Ｔｒｃに設定されている解除残時間Ｔ３′を上回る時間（Ｔｃ＞Ｔ３′）残っている認識領域が存在するか否か（Ｔｃ＝Ｔ３′）を判定する。
【００７６】
ここでは、認識車両領域ＣＲ１でＴｃ＞Ｔ３′となっているので、その領域に対するステップＳ２５の対象物認識処理がスキップされ、残りの全領域において、ステップＳ２５での対象物認識処理が実行される。
【００７７】
ステップＳ２５の対象物認識処理にて、対象物を認識した場合には、当該対象物形状の外接四角形にラベルを付ける。
【００７８】
この対象物認識処理の結果がステップＳ２６で判定される。歩行者等の対象物が認識されていた場合（ステップＳ２６：ＹＥＳ）には、ステップＳ２７にて、ラベルが付けられている当該対象物形状の前記外接四角形をステップＳ２７にて認識対象物領域ＯＲに設定し、ステップＳ２９にて、その認識対象物領域ＯＲに対し、除外継続時間タイマ１０４ｃの現在残時間Ｔｃを除外継続時間Ｔ３に設定する（Ｔｃ←Ｔ３＝１）。
【００７９】
除外継続時間タイマ１０４ｃに除外継続時間Ｔ３が設定されると、ステップＳ２９にて、除外継続時間タイマ１０４ｃは、直ちにダウン計時を開始する。
【００８０】
この場合にも、対象物が複数認識された場合、複数の認識対象物領域ＯＲのそれぞれに対し除外継続時間タイマ１０４ｃが設定される。
【００８１】
この実施形態では、ステップＳ２５にて対象物形状が認識されていないものとしているので、ステップＳ２６の判定は否定的となる。
【００８２】
次に、ステップＳ３０において、認識領域記憶部１４ｍｒが参照され、認識対象物領域ＯＲの有無（存在しているか否か）を判定し、認識対象物領域ＯＲが存在する場合（ステップＳ３０：ＹＥＳ）、ステップＳ３１にて、図３を参照して説明したステップＳ７（動体検出）、ステップＳ８（接触の可能性判定）、及びステップＳ９（注意喚起出力）までの後段処理を実行して、ステップＳ１に戻る。認識対象物領域ＯＲが存在していない場合にも（ステップＳ３０：ＮＯ）、ステップＳ１１に戻る。
【００８３】
時点ｔ０後、時点ｔ０＋１までの間では、認識車両領域ＣＲ１については、ステップＳ１２の判定（Ｔａ＞Ｔ１′）、ステップＳ１８の判定（Ｔｂ＞Ｔ２′）及びステップＳ２４の判定（Ｔｃ＞Ｔ３′）が肯定的となるので、車両形状認識処理（ステップＳ１３）、人工構造物形状認識処理（ステップＳ１９）、対象物認識処理（ステップＳ２５）の各処理が行われない、すなわちスキップされる（図６のタイムチャート中、時点ｔ０と時点ｔ０＋１との間のＳ１３、Ｓ１９、Ｓ２５の枠に「−」を記入している。）。
【００８４】
時点ｔ０＋１になると、除外継続時間タイマ１０４ａの現在残時間ＴａがＴａ＝Ｔ１′＝４[ｓ]となるので、認識車両領域ＣＲ１については、ステップＳ１２の判定（Ｔａ＞Ｔ１′）が否定的となり（ステップＳ１２：ＮＯ、Ｔａ≦Ｔ１´）、ステップＳ１３の車両形状認識処理が再び実行される（図６の時点ｔ０＋１及びステップＳ１３で特定される枠がステップＳ１３の処理の実行を示す「○」に変わる。）。この場合においても、ステップＳ１８の判定（Ｔｂ＝４＞Ｔ２′＝２）及びステップＳ２４の判定（Ｔｃ＝４＞Ｔ３′＝０）が肯定的となるので、人工構造物形状認識処理（ステップＳ１９）及び対象物認識処理（ステップＳ２５）がスキップされる。
【００８５】
時点ｔ０＋３になると、除外継続時間タイマ１０４ｂの現在残時間ＴｂがＴｂ＝Ｔ２′＝２[ｓ]となるので、認識車両領域ＣＲ１について、ステップＳ１８の判定（Ｔｂ＞Ｔ２′）が否定的となり、ステップＳ１９の人工構造物形状認識処理が実行される（図６の時点ｔ０＋３及びステップＳ１９で特定される枠がステップＳ１９の処理の実行を示す「○」に変わる。）。この場合においても、ステップＳ２４の判定（Ｔｃ＝２＞Ｔ３′＝０）が肯定的となるので、対象物認識処理（ステップＳ２５）がスキップされる。
【００８６】
時点ｔ０＋５になると、除外継続時間タイマ１０４ｃの現在残時間ＴｃがＴｃ＝Ｔ３′＝０[ｓ]となるので、認識車両領域ＣＲ１での除外継続時間Ｔ１の効果が消滅するので、ステップＳ２４の判定（Ｔｃ＞Ｔ３′）が否定的となり（Ｔｃ＝Ｔ３′）、ステップＳ２５の対象物認識処理が実行される（図６の時点ｔ０＋５及びステップＳ２５で特定される枠がステップＳ２５の処理の実行を示す「○」に変わる。）。
【００８７】
このように、図６のタイムチャート２００中、「−」で示す枠に対応する時間では、ステップＳ１３、Ｓ１９、Ｓ２５の各個別認識処理が行われずにスキップされるので、認識処理時間を短くすることができる。これにより画像処理ユニット１４（ＣＰＵ１４ｃ）の処理負荷（演算負荷、演算量）を軽減することができる。実際上、撮影間隔（フレームクロック間隔）は数十ミリ秒程度であり、スキップ時間の長さは、秒オーダーであるので、画像処理ユニット１４（ＣＰＵ１４ｃ）の処理負荷（演算負荷、演算量）を大幅に軽減することができる。
【００８８】
［実施形態の概要］
以上説明したように、上述した実施形態に係る車両周辺監視装置１０は、車両１２に搭載された赤外線カメラ１６Ｒ、１６Ｌにより撮像した画像から監視しようとする対象物（歩行者等の監視対象物）を認識する。
【００８９】
この場合、車両周辺監視装置１０の認識処理部１０２は、前記画像に含まれる複数種別の物体（車両、人工構造物、又は歩行者等の対象物）毎に個別認識処理｛車両形状認識処理（ステップＳ１３）、人工構造物形状認識処理（ステップＳ１９）、対象物認識処理（ステップＳ２５）｝を実行する。除外継続時間設定部１０６は、前記個別認識処理の結果、認識された物体の画像領域に対して、前記物体の種別に応じて、前記認識処理の効果を継続する除外継続時間Ｔ１、Ｔ２、Ｔ３を設定する。そして、さらに前記認識処理部１０２は、除外継続時間Ｔ１、Ｔ２、Ｔ３が設定された前記画像領域については、除外継続時間Ｔ１、Ｔ２、Ｔ３未満の前記物体の種別に応じて設定される所定残時間である解除残時間Ｔ１′、Ｔ２′、Ｔ３′となるまで、当該物体の個別認識処理を行わない（スキップする）ようにしている。このため、画像全体の認識処理の時間を短縮することができる。これにより認識処理部１０２の処理負荷を軽減することができる。すなわち、ＣＰＵ１４ｃの演算負荷を低減することができる。
【００９０】
この場合、認識処理部１０２は、前記画像に含まれる前記複数種別の物体毎に前記個別認識処理を実行する際、除外継続時間Ｔ１、Ｔ２、Ｔ３が長く設定された物体の前記個別認識処理から先に行うように構成しているので、すなわち車両形状（除外継続時間Ｔ１）の認識処理（ステップＳ１３）を、人工構造物形状（除外継続時間Ｔ２）の認識処理（ステップＳ１９）よりも先に行うようにし、人工構造物形状（除外継続時間Ｔ２）の認識処理（ステップＳ１９）を、対象物（除外継続時間Ｔ３）の認識処理（ステップＳ２５）よりも先に行うように構成しているので、前記処理負荷の軽減量を早期に大きくすることができる。
【００９１】
上述した実施形態では、除外継続時間Ｔ１、Ｔ２、Ｔ３を、固定時間としているが、前記認識処理部（車両形状認識処理部１０２ａ、人工構造物形状認識処理部１０２ｂ、又は対象物認識処理部１０２ｃ）により認識される頻度の高い種別の前記物体の前記除外継続時間Ｔ１、Ｔ２、Ｔ３を、除外継続時間更新部１０８により、より長い時間に更新することにより、処理負荷の軽減量を一層大きくすることができる。
【００９２】
他の実施形態として、対象物形状に対しては、除外継続時間Ｔ３を設けない（Ｔ３＝０）ように構成を変更してもよい。
【００９３】
この場合のフローチャートを図７に示す。図７のフローチャートにおいては、図５のフローチャート中、ステップＳ２４、Ｓ２７、Ｓ２８、Ｓ２９、Ｓ３０の処理が省略され、ステップＳ２５の対象物認識処理の実行後に、ステップＳ２６で対象物が認識されたか否かが判定され、対象物が認識されていた場合（ステップＳ２６：ＹＥＳ）には、ステップＳ３１の後段処理が実行される。また、図７のフローチャートのステップＳ１６、Ｓ１７、Ｓ２２、Ｓ２３では、それぞれ、現在残時間Ｔｃの設定、除外継続時間タイマ１０４ｃのダウン計時開始の各処理が省略される。同様に、図示はしないが、図１例の車両周辺監視装置１０においては、除外継続時間タイマ１０４ｃ及び解除残時間設定部Ｔｒｃが省略され、図４のタイマ設定テーブル１４ｍｔの内容から除外継続時間タイマ１０４ｃ及び解除残時間設定部Ｔｒｃの各行に記載した時間設定が省略される。
【００９４】
この図７例のフローチャートを実行する他の実施形態に係る車両周辺監視装置によれば、対象物に対する個別認識処理である対象物認識処理部１０２ｃによる処理が必ず行われるようになる。
【００９５】
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
【００９６】
例えば、図８に示すように、車両１２Ａの前部バンパー部に、車両１２Ａの車幅方向中心部に配置された単一の赤外線カメラ（赤外線カメラ単眼ともいう。）１６を用いて、所定時間（既知時間）間隔（例えば、上述したフレームクロック間隔）で車両周辺の対象物を少なくとも２回（２フレーム）連続して撮像し、２個の撮像画像を得る。２個の撮像画像中、前回の撮像画像における対象物の大きさ（サイズ）に比較して今回の撮像画像における同一対象物の画像の大きさ（サイズ）の変化は、対象物と車両周辺監視装置搭載車両との相対速度が高いほど大きくなる。そして、車両の前方に存在する対象物は、該対象物と車両との相対速度が高いほど、車両への到達時間が短くなる。このように、所定時間間隔間での同一の対象物の画像部分の大きさの変化率から、車両１２Ａへの到達時間、いわゆる接触余裕時間（ＴＴＣ：Ｔｉｍｅ Ｔｏ Ｃｏｎｔａｃｔ ｏｒ Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）を推定することで車両１２Ａの周辺を監視することができる。
【００９７】
監視対象物が車両１２Ａに到達するまでの接触余裕時間ＴＴＣは、前記変化率Ｒａｔｅ（画像から求める。）と、所定時間間隔である撮像間隔（フレームクロック周期）ｄＴ（既知）とから、公知の要領にて、次の（１）式により求めることができる。
ＴＴＣ＝ｄＴ×Ｒａｔｅ／（１−Ｒａｔｅ） …（１）
【００９８】
なお、変化率Ｒａｔｅは、監視対象物の前回の撮像時の画像中の監視対象物の幅又は長さＷ０（それぞれ画素数で記憶しておけばよい。）と、今回の撮像時の画像中の同一監視対象物の幅又は長さＷ１（画素数）との比（Ｒａｔｅ＝Ｗ０／Ｗ１）で求めることができる。
【００９９】
また、監視対象物までの距離Ｚは、次の（２）式により求めることができる。なお、（２）式において、Ｖｓは、より正確には、監視対象物と車両１２間の相対速度とされる。監視対象物が停止している場合には、相対速度は、車速Ｖｓに等しい。
Ｚ＝Ｒａｔｅ×Ｖｓ×ｄＴ／（１−Ｒａｔｅ） …（２）
【０１００】
さらに、画像処理ユニット１４は、算出した前記接触余裕時間ＴＴＣと、所定時間間隔をもって撮像された前記画像間における同一の監視対象物の画像部分の位置変化量Δｘ（水平方向），Δｙ（垂直方向）を算出し、算出した位置変化量（移動ベクトル）Δｘ，Δｙと、に基づいて監視対象物と車両１２との接触可能性を判定する。
【０１０１】
図８例の場合には、単一の赤外線カメラ１６を用いているので２台の赤外線カメラ１６Ｒ、１６Ｌを用いる場合に比較して装置のコストダウンを図ることができるし、車両１２Ａへの据え付けコストも低減できる。さらに、画像処理ユニット１４の処理負荷も軽減する。
【０１０２】
なお、赤外線カメラを用いることなく、自然光下で撮像可能な一般的なデジタルビデオカメラを実施形態と同様にステレオカメラとして用いる、あるいは単一の前記デジタルビデオカメラとして用いるようにすることもできる。
【符号の説明】
【０１０３】
１０…車両周辺監視装置 １２、１２Ａ…車両
１４…画像処理ユニット １４ｃ…ＣＰＵ
１４ｍ…記憶部 １６、１６Ｒ、１６Ｌ…赤外線カメラ
１０２…認識処理部 １０２ａ…車両形状認識処理部
１０２ｂ…人工構造物形状認識処理部 １０２ｃ…対象物認識処理部
１０４…計時部
【技術分野】
【０００１】
この発明は、車両に搭載された撮像装置により撮像した画像から監視しようとする対象物を認識し、認識した対象物を車両の運転者に提供する車両周辺監視装置に関し、特に夜間や暗所等での走行時に適用して好適な車両周辺監視装置に関する。
【背景技術】
【０００２】
従来から、例えば特許文献１に示すように、車両周辺監視装置では、赤外線カメラにより捉えられた自車両周辺の画像（グレースケール画像とその２値化画像）から、自車両との接触の可能性がある歩行者等の対象物を認識し、認識した対象物を自車両の運転者に提供する。
【０００３】
この車両周辺監視装置では、左右一組の赤外線カメラ（ステレオカメラ）が撮影した自車両周辺の画像において温度が高い部分を前記対象物として認識すると共に、左右画像中の対象物の視差を求めることにより該対象物までの距離を算出し、対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな（接触の可能性のある）歩行者等の対象物を検出して警報を出力する（特許文献１の［００１４］、［００１８］）。
【０００４】
特許文献２及び特許文献３には、車両周辺監視装置において、運転者が視認し難い歩行者等の対象物（監視対象物）を検出する際に、同一画像内に撮像される電柱等の人工構造物、及び運転者がその灯体等により視認可能な車両等の非監視対象物（非対象物）の除外処理が実行されることが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２８４０５７号公報
【特許文献２】特許第３８９８１５７号公報（［０００８］、［０００９］）
【特許文献３】特許第３８３９３２９号公報（［０００７］）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１〜３に係る車両周辺監視装置は、夜間走行時等に、対象物として検出した見えにくい前方の歩行者を映像で表示器上に表示し、例えば、スピーカ等による音と前記表示器上の歩行者映像の強調枠表示により、運転者に注意喚起することができる優れたシステムである。
【０００７】
しかしながら、特許文献１〜３に係る車両周辺監視装置においては、例えば、画像処理周期（撮像周期）が数十ミリ秒程度のフレームクロックの発生周期（フレームクロック周期又はサンプリング周期ともいう。）毎に前記赤外線カメラにより捉えられた（撮像された）画像（グレースケール画像）毎に、前記グレースケール画像中の全ての画素について、輝度の明るい部分（温度の高い部分）を対象物候補とするために２値化処理を行って前記グレースケール画像中の前記対象物候補の領域を認識し、認識した対象物候補領域を、所定形状の探索領域（マスク領域）で分割して探索領域毎に輝度平均値と輝度分散を算出し、前記探索領域毎に算出した前記輝度平均値と前記輝度分散に基づいて、前記グレースケール画像中の対象物、すなわち歩行者や動物の検出処理を行うように構成されている（特許文献１の［００４４］等）ので、ＣＰＵ（中央演算装置）の演算負荷（処理量、処理負荷）が大きいという課題がある。
【０００８】
この発明はこのような課題を考慮してなされたものであり、ＣＰＵの演算負荷を低減することを可能とする車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る車両周辺監視装置は、車両に搭載された撮像装置により撮像した画像から監視しようとする対象物を認識する車両周辺監視装置において、前記画像に対して前記対象物を含む複数種別の物体毎に個別認識処理を行う認識処理部と、前記個別認識処理の結果、認識された前記物体の画像領域に対して、前記物体の種別に応じて、前記認識処理の効果を継続する除外継続時間を設定する除外継続時間設定部と、を備え、前記認識処理部は、前記除外継続時間が設定された前記画像領域については、前記物体の種別に応じて設定される前記除外継続時間未満の所定残時間となるまで、当該物体の個別認識処理を行わないことを特徴とする。
【００１０】
この発明によれば、撮像装置により撮像した画像から監視しようとする対象物を認識する際に、前記画像中に物体を認識したとき、認識された画像領域については、物体の種別に応じて、前記認識処理の効果を継続する除外継続時間を設定し、前記除外継続時間が設定された前記画像領域については、前記物体の種別に応じて設定される前記除外継続時間未満の所定残時間となるまで、当該物体の個別認識処理を行わないようにしたので、画像全体の認識処理の時間を短縮することができる。これにより認識処理部の処理負荷を軽減することができる。すなわち、ＣＰＵの演算負荷を低減することができる。
【００１１】
この場合、前記認識処理部は、前記画像に含まれる前記複数種別の物体毎に前記個別認識処理を実行する際、前記除外継続時間が長く設定された前記物体の前記個別認識処理から先に行うように構成することで、前記処理負荷の軽減量を早期に大きくすることができる。
【００１２】
また、前記除外継続時間を更新する除外継続時間更新部を備え、前記除外継続時間更新部は、前記認識処理部により認識される頻度の高い種別の前記物体の前記除外継続時間をより長い時間に更新するように構成することで、処理負荷の軽減量を一層大きくすることができる。
【００１３】
なお、前記対象物の前記除外継続時間をゼロ値に設定し、前記対象物に対する前記個別認識処理は、画像全体（全画像領域）に対して、必ず行うようにしてもよい。
【発明の効果】
【００１４】
この発明によれば、撮像装置により撮像した画像中に物体を認識したとき、物体が認識された画像領域については、物体の種別に応じて、前記認識処理の効果を継続する除外継続時間を設定し、前記除外継続時間が設定された前記画像領域については、前記物体の種別に応じて設定される前記除外継続時間未満の所定残時間となるまで、当該物体の個別認識処理を行わないようにしたので、画像全体の認識処理の時間を短縮することができる。これにより認識処理部の処理負荷を軽減することができる。すなわち、ＣＰＵの演算負荷を低減することができる。
【００１５】
換言すれば、認識処理の判定が有効である期間では、規定した種別の認識処理を、既認識領域では実行しない（スキップする）ようにしたので、演算負荷を低減することができる。よって、必要に応じて、優先度の高い対象物に対しては認識処理時間を長くしつつ演算量を低減することができる。
【図面の簡単な説明】
【００１６】
【図１】この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】図１に示す車両周辺監視装置が搭載された車両の模式図である。
【図３】画像処理ユニットによる対象物の対象物検出・判定動作を示すフローチャートである。
【図４】記憶部に記憶されるタイマ設定テーブルの説明図である。
【図５】実施形態の動作説明に供されるフローチャートである。
【図６】実施形態の一例の動作説明に供されるタイムチャートである。
【図７】他の実施形態の処理を示すフローチャートである。
【図８】変形例の車両周辺監視装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、この発明の実施形態について図面を参照して説明する。
【００１８】
図１は、この発明の一実施形態に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示す車両周辺監視装置１０が搭載された車両（自車両ともいう。）１２の模式図である。
【００１９】
図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４と、この画像処理ユニット１４に接続される左右の赤外線カメラ１６Ｒ、１６Ｌと、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４と、赤外線カメラ１６Ｒ、１６Ｌにより撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物）を車両の運転者に認識させるためのＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｌａｙ）２６ａ等を含む画像表示装置２６と、を備える。
【００２０】
画像表示装置２６としては、ＨＵＤ（ヘッドアップディスプレイ）２６ａに限らず、車両１２に搭載されたナビゲーションシステムの地図等を表示するディスプレイや、メータユニット内等に設けられた燃費等を表示するディスプレイ（マルチインフォメーションディスプレイ）を利用することができる。
【００２１】
画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者や動物等の監視対象物を検出し、当該監視対象物との接触の可能性が高いと判断したときにスピーカ２４から警報（例えば、ピッ、ピッ、…となる音）を発するとともに、ＨＵＤ２６ａ上にグレースケール表示される撮像画像の中の監視対象物を黄色や赤色等の目立つ色枠で囲って表示する。このようにして、運転者の注意を喚起する。
【００２２】
ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路等の入力回路と、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）と、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃと、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップ及びテンプレート｛歩行者（人体）形状テンプレート：右向き、左向き、正面（背面）向き、動物形状テンプレート：鹿や犬等の右向き、左向き、正面（背面）向き、車両形状テンプレート：灯体の位置、人工構造物形状テンプレート：電柱の形状等｝等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部１４ｍと、クロック（時計部）及びタイマ（計時部）と、スピーカ２４の駆動信号と画像表示装置２６の表示信号等を出力する出力回路等を備えており、赤外線カメラ１６Ｒ、１６Ｌ、ヨーレートセンサ２２、車速センサ１８、及びブレーキセンサ２０の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。
【００２３】
画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込み、テーブル、マップ、及びテンプレート等を参照しながらプログラムを実行することで、各種機能手段（機能部ともいう。）として機能し、スピーカ２４及び画像表示装置２６に駆動信号（音声信号や表示信号）を送出する。これらの機能は、ハードウエアにより実現することもできる。
【００２４】
この実施形態において、画像処理ユニット１４は、それぞれ詳細を後述する認識処理部１０２、計時部１０４、除外継続時間設定部１０６及び除外継続時間更新部１０８等の前記機能部を有する。
【００２５】
なお、画像処理ユニット１４（認識処理部１０２）は、基本的には、赤外線カメラ１６Ｒ、１６Ｌにより取得した画像と、記憶部１４ｍに記憶されている車両形状、人工構造物形状、及び対象物（監視対象物）としての人体形状等の模式的なテンプレートとを比較して物体を個別的に認識する物体認識処理（物体検知処理）プログラムを実行する。
【００２６】
図２に示すように、いわゆるステレオカメラとして機能する赤外線カメラ１６Ｒ、１６Ｌは、車両１２の前部バンパー部に、車両１２の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ１６Ｒ、１６Ｌの光軸が互いに平行であって、且つ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ１６Ｒ、１６Ｌは、撮像対象（物体）の温度が高いほど、その出力信号（撮像信号）レベルが高くなる（輝度が増加する）特性を有している。
【００２７】
また、ＨＵＤ２６ａは、車両１２のフロントウインドシールド上、運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００２８】
図１において、上記した認識処理部１０２は、車両形状認識処理部１０２ａ、人工構造物形状認識処理部１０２ｂ、及び監視しようとする対象物である歩行者や動物等の対象物認識処理部１０２ｃを備える。
【００２９】
ここで、この明細書の内容の理解の便宜のために、画像処理ユニット１４中、対象物認識処理部１０２ｃの公知の処理内容について、歩行者等の対象物の認識（検出）処理から注意喚起（警報）出力処理までの処理を図３のフローチャートを参照しながら説明する。
【００３０】
まず、ステップＳ１において、画像処理ユニット１４は、車速センサ１８により検出される車速Ｖｓ等から車両１２の走行状態（走行中か停車中）を判定し、停車中（ステップＳ１：ＮＯ）である場合には、処理を停止する。
【００３１】
走行中（ステップＳ１：ＹＥＳ）である場合には、ステップＳ２において、画像処理ユニット１４は、赤外線カメラ１６Ｒ、１６Ｌによりフレーム毎に撮像された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換し、ステップＳ３にて、グレースケール画像を画像メモリ（記憶部１４ｍ）に格納する。
【００３２】
なお、赤外線カメラ１６Ｒによりグレースケール右画像が得られ、赤外線カメラ１６Ｌによりグレースケール左画像が得られる。また、グレースケール右画像とグレースケール左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）等を用いて三角測量の原理により対象物までの距離を算出することができる。以下、基準画像をグレースケール右画像として、単にグレースケール画像という。
【００３３】
次いで、ステップＳ４において、赤外線カメラ１６Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする２値化処理を行い２値化画像を得る。この２値化処理では、人体では、比較的に高温の頭部、肩、胴体等の塊（人体上半身部という。）が、「１」の塊（集合体）として検出される。実際上、画像処理ユニット１４は、フレーム（画像）毎に２値化画像の「１」(白)をｘ方向（水平方向）の走査ライン毎にランレングスデータに変換し、ｙ方向（垂直方向）に重なる部分のあるラインを１つの対象物とみなし、当該対象物の外接四角形にそれぞれラベルを付ける、いわゆるラベリング処理を行う。
【００３４】
次いで、ステップＳ５において、対象物認識処理部１０２ｃは、グレースケール画像を参照して、前記ラベルが付けられた前記人体上半身部が検出された検出対象物（この場合、歩行者等）の下部に存在する人体下半身部（脚部）（前記人体上半身部より輝度は低いが背景よりは輝度が高い部分）までを検出し、検出した人体（歩行者）を外接四角形で囲んだ人体対象物候補（前記人体上半身部と前記人体下半身部とからなる。）を算出する。
【００３５】
次に、ステップＳ６において、対象物認識処理部１０２ｃは、算出した前記人体対象物候補の前記外接四角形より僅かに大きい領域にマスク領域を設定し、記憶部１４ｍに記憶されているテンプレートとのマッチングを行い、いわゆる相関度判定を行い、赤外線画像より抽出した前記人体対象物候補の前記テンプレートとの相関度が閾値より大きいと推定したとき、前記人体対象物候補を人体対象物と認識する。
【００３６】
次に、ステップＳ７において、画像処理ユニット１４は、フレーム毎に取得されている前記人体対象物のグレースケール画像及びその２値化画像から、動体（動いている人体対象物）の移動ベクトル（速度と方向）を検出する。
【００３７】
次に、ステップＳ８において、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒと、前記人体対象物までの距離・方向とに基づき、自車両１２が前記人体対象物に接触の可能性があるかどうかを判定し、接触の可能性があると判定した場合（ステップＳ８：ＹＥＳ）には、ステップＳ９において、運転者の注意を喚起する（運転者に情報を提供する）。具体的には、当該歩行者のグレースケール画像をＨＵＤ２６ａに表示するとともに、スピーカ２４を通じて警報を発生し、車両１２の運転者に接触の回避操作を促す。
【００３８】
以上のステップＳ１〜Ｓ９までの処理内容の説明が、画像処理ユニット１４中、対象物認識処理部１０２ｃの公知の処理内容の説明である。
【００３９】
次に、図１に示す認識処理部１０２中、車両形状認識処理部１０２ａ及び人工構造物形状認識処理部１０２ｂについての公知の処理内容についても説明する。
【００４０】
車両形状認識処理部１０２ａは、例えば、特許文献３に開示されているように、赤外線カメラ１６Ｒ、１６Ｌにより撮像された画像から抽出される不定形な２値化対象物の位置や発せられる赤外線量により、歩行者等の対象物（監視対象物）の安定した抽出を妨げる車両（非監視対象物）を対象物から排除する。
【００４１】
このため、２つの赤外線カメラ１６Ｒ、１６Ｌにより捉えられた画像を利用して、物体（対向車両又は先行車両）を認識する際に、前記画像のグレースケール画像を２値化処理することにより、前記グレースケール画像から、少なくとも１つの灯体（例えば、一方の前照灯や一方の車幅灯）と思われる第１の非監視対象物を熱源として抽出する灯体抽出部と、前記第１の非監視対象物の周囲の領域と、前記第１の非監視対象物との距離を比較して、自車両１２からの距離が前記第１の非監視対象物と同一距離の第２の非監視対象物（従って、他方の前照灯や他方の車幅灯）を抽出する同一距離非監視対象物抽出部と、前記第２の非監視対象物の位置及び当該第２の非監視対象物から発せられる赤外線量と、予め設定された車両構造物の位置及び当該車両構造物から発せられる赤外線量との比較により、前記画像中の車両を認識する車両判別部と、を備える。
【００４２】
すなわち、車両形状認識処理部１０２ａでは、まず前記灯体抽出部により、例えば車両の灯体と思われる第１の非監視対象物を認識する。次に、前記同一距離非監視対象物抽出部により、第１の非監視対象物の周囲を探索して、第１の非監視対象物と同一距離の第２の非監視対象物を抽出する。そして、前記車両判別部により、第１の非監視対象物と第２の非監視対象物との関係が、記憶部１４ｍにテンプレートとして記憶されている車両の特徴に当てはまるか否かをテンプレートマッチングにより判断し、且つ第２の対象物の位置及び該第２の対象物から発せられる赤外線量を判断することで、目的の第１及び第２の非監視対象物を含む物体が車両か否かを判断することができる。
【００４３】
次いで、人工構造物形状認識処理部１０２ｂは、例えば、特許文献２に開示されているように、例えば道路上の端部には自動販売機や看板、壁等があり、それらより道路側に電柱や標識がある道路環境下においては、発熱体である自動販売機又は太陽光により高温となった看板等が、温度が低く赤外線の放出量の少ない状態の電柱や標識の柱により遮蔽され、２つに分割されて検出された場合、歩行者が二人存在すると判定する可能性があるので、歩行者等の対象物の安定した抽出を妨げる電柱等の人工構造物（非監視対象物）を対象物から排除する。
【００４４】
このため、２つの赤外線カメラ１６Ｒ、１６Ｌにより撮像された画像に基づいて、物体を認識する際に、１つの人工構造物（例えば、前記自動販売機）が他の人工構造物（例えば、前記電柱）により遮蔽され分離されて複数の人工構造物（二分された前記自動販売機）として検出されたと推測する人工構造物分離推測部を備える。前記人工構造物分離推測部は、前記画像から検出された前記複数の人工構造物（前記二分された前記自動販売機）を、１つの人工構造物（前記自動販売機）が１つの人工構造物（前記電柱）により分離されて検出された物体と推測することで、１つの人工構造物（前記自動販売機）とそれを遮蔽する人工構造物（前記電柱）の両方の存在を一度に認識することができ、歩行者が二人存在すると判定する可能性のある前記複数の人工構造物（前記二分された前記自動販売機）及びそれを遮蔽する人工構造物（前記電柱）を対象物から排除することができる。
【００４５】
前記記憶部１４ｍには、撮像画像（画像）に対する前記個別認識処理（車両形状認識処理、人工構造物形状認識処理、及び対象物認識処理）の結果、画像（画面）中、認識された前記物体の画像領域（例えば、その外接四角形の領域）を記憶する認識領域記憶部１４ｍｒが設けられる。また、記憶部１４ｍには、タイマ設定テーブル１４ｍｔが設けられる。
【００４６】
前記計時部１０４には、３種の除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃが設けられるとともに、３種の解除残時間設定部Ｔｒａ、Ｔｒｂ、Ｔｒｃが設けられる。
【００４７】
画像中に、車両（車両形状）を認識した時に、図４に示すタイマ設定テーブル１４ｍｔの「認識車両領域（車両を認識した領域の意）」の項の「車：車両の略」欄が参照され、現在残時間Ｔａ（車両が認識されていない時には、Ｔａ＝０）を計時する除外継続時間タイマ１０４ａに、除外継続時間Ｔ１（Ｔ１は、この実施形態では、Ｔ１＝５［ｓ］）が設定される（Ｔａ←Ｔ１）とともに、解除残時間設定部Ｔｒａに解除残時間Ｔ１′（Ｔ１′は、この実施形態では、Ｔ１´＝４［ｓ］）が設定される（Ｔｒａ←Ｔ１′）。
【００４８】
除外継続時間タイマ１０４ａ及び後述する除外継続時間タイマ１０４ｂ、１０４ｃは、例えば、プリセットダウンカウンタにより構成され、それぞれ除外継続時間Ｔ１、Ｔ２、Ｔ３が設定されると直ちにダウンカウント（減算計時）を開始する。なお、解除残時間Ｔ１´及び後述する解除残時間Ｔ２´、Ｔ３´は、閾値であり、それぞれの解除残時間Ｔ１´、Ｔ２´、Ｔ３´になると、対応する除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃがリセットされる（Ｔ１＝０、Ｔ２＝０、Ｔ３＝０）。
【００４９】
画像中に、車両（車両形状）を認識した時に、同時に、タイマ設定テーブル１４ｍｔの「認識車両領域」の項の「構：人工構造物の略」欄が参照され、前記認識車両領域に対し、現在残時間Ｔｂ（車両が認識されていない時には、Ｔｂ＝０）の除外継続時間タイマ１０４ｂに、同じ除外継続時間Ｔ１が設定される（Ｔｂ←Ｔ１＝５［ｓ］）とともに、解除残時間設定部Ｔｒｂに解除残時間Ｔ２′（Ｔ２′は、この実施形態では、Ｔ２´＝２［ｓ］）が設定される（Ｔｒｂ←Ｔ２′）。
【００５０】
さらに、画像中に、車両（車両形状）を認識した時に、同時に、タイマ設定テーブル１４ｍｔの「認識車両領域」の項の「対：対象物の略」欄が参照され、前記認識車両領域に対し、現在残時間Ｔｃ（車両が認識されていない時には、Ｔｃ＝０）の除外継続時間タイマ１０４ｃに、同じ除外継続時間Ｔ１が設定される（Ｔｃ←Ｔ１）とともに、解除残時間設定部Ｔｒｃに解除残時間Ｔ３′（Ｔ３′は、この実施形態では、Ｔ３´＝０［ｓ］）が設定される（Ｔｒｃ←Ｔ３′）。
【００５１】
同様に、画像中に、人工構造物（人工構造物形状）を認識した時にも、タイマ設定テーブル１４ｍｔが参照され、前記人工構造物を認識した領域（認識人工構造物領域という。）に対し、現在残時間Ｔｂ（人工構造物が認識されていない時には、Ｔｂ＝０）の除外継続時間タイマ１０４ｂに、除外継続時間Ｔ２（Ｔ２は、この実施形態では、Ｔ２＝３［ｓ］）が設定される（Ｔｂ←Ｔ２）とともに、解除残時間設定部Ｔｒｂに解除残時間Ｔ２′が設定される（Ｔｒｂ←Ｔ２′＝２［ｓ］）。
【００５２】
また、画像中に、人工構造物（人工構造物形状）を認識した時に、同時に、前記認識人工構造物領域に対し、現在残時間Ｔｃ（人工構造物が認識されていない時には、Ｔｃ＝０）の除外継続時間タイマ１０４ｃに、同じ除外継続時間Ｔ２が設定される（Ｔｃ←Ｔ２＝３［ｓ］）とともに、解除残時間設定部Ｔｒｃに解除残時間Ｔ３′（Ｔ３′は、この実施形態では、Ｔ３´＝０［ｓ］）が設定される（Ｔｒｃ←Ｔ３′）。
【００５３】
画像中に、対象物（対象物形状）を認識した時に、タイマ設定テーブル１４ｍｔが参照され、前記対象物を認識した領域（認識対象物領域という。）に対し、現在残時間Ｔｃ（対象物が認識されていない時には、Ｔｃ＝０）の除外継続時間タイマ１０４ｃに、除外継続時間Ｔ３（Ｔ３は、この実施形態では、Ｔ３＝１［ｓ］）が設定される（Ｔｃ←Ｔ３）とともに、解除残時間設定部Ｔｒｃに解除残時間Ｔ３′が設定される（Ｔｒｂ←Ｔ３′＝０［ｓ］）。
【００５４】
上記のように、車両形状を認識したとき、当該認識車両領域には、除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃに除外継続時間Ｔ１が設定されるとともに、解除残時間Ｔ１′、Ｔ２′、Ｔ３′が設定され、人工構造物形状を認識したとき、当該認識人工構造物領域には、除外継続時間タイマ１０４ｂ、１０４ｃに除外継続時間Ｔ２が設定されるとともに、解除残時間Ｔ２′、Ｔ３′が設定され、対象物を認識したとき、当該認識対象物領域には、除外継続時間タイマ１０４ｃに除外継続時間Ｔ３が設定されるとともに、解除残時間Ｔ３′が設定される。
【００５５】
ここで、除外継続時間Ｔ１は、前記車両形状認識処理部１０２ａが前記物体の種別として他車両（対向車あるいは前走車等）を認識したときに、全画像（画面）中、認識車両領域（例えば、その外接四角形の領域）については、車両形状認識処理部１０２ａによる上述した車両形状認識処理の効果を継続させるために設定される継続時間である。
【００５６】
除外継続時間Ｔ２は、前記人工構造物形状認識処理部１０２ｂが前記物体の種別として人工構造物を認識したときに、全画像（画面）中、認識人工構造物領域（例えば、その外接四角形の領域）については、人工構造物形状認識処理部１０２ｂによる上述した人工構造物形状認識処理の効果を継続させるために設定される継続時間である。
【００５７】
除外継続時間Ｔ３は、前記対象物認識処理部１０２ｃが前記物体の種別として対象物を認識したときに、全画像（画面）中、認識対象物領域（例えば、その外接四角形の領域）については、対象物認識処理部１０２ｃによる上述した対象物認識処理の効果を継続させるために設定される継続時間である。
【００５８】
実際上、法規等により規定された一定形状（２つの前照灯、前後それぞれ２つの車幅灯）を有する車両形状の車両形状認識処理は、人工構造物形状認識処理よりも信頼度を高く認識することができ、また、人工構造物形状の人工構造物形状認識処理は通常静止物体であり歩行者等の対象物よりも信頼度を高く認識することができるので、除外継続時間Ｔ１〜Ｔ３は、Ｔ１＞Ｔ２＞Ｔ３に設定することが好ましい。
【００５９】
さらに、図１中の除外継続時間更新部１０８は、認識処理部１０２により認識される頻度の高い種別の前記物体の除外継続時間Ｔ１〜Ｔ３を、より長い時間に更新するようにする。この場合、除外継続時間更新部１０８は、例えば、道路の混雑状況を無線通信によりセンタより入手し、あるいは都市部と郊外の棲み分け情報をナビゲーション装置から入手して除外継続時間Ｔ１〜Ｔ３を更新するようにしてもよい。
【００６０】
次に、基本的には以上のように構成される車両周辺監視装置１０の特徴的な動作［対象物｛人体（歩行者）等｝の検知性能は維持しつつ、処理効率を向上（処理負荷を低減）する。］について、図５のフローチャート及び図６のタイムチャート２００を参照して説明する。なお、図５のフローチャートは、赤外線カメラ１６Ｒ、１６Ｌによる撮像（グレースケール画像の取得）周期、ここでは３３［ｍｓ］毎に実行される。
【００６１】
図６において、時点ｔ０−１から時点ｔ０の直前までの１秒間の間では、個別認識処理の全てが、撮像周期毎に実行された（○：認識処理有）が、何らの物体形状が認識されなかったものとしている。
【００６２】
そこで、時点ｔ０のステップＳ１１にて、画像処理ユニット１４のＣＰＵ１４ｃは、図３を参照して説明したステップＳ１（走行判定）、ステップＳ２（撮像）、及びステップＳ３（グレースケール画像取得）の前段処理を行う。
【００６３】
次いで、図５のステップＳ１２にて、認識領域記憶部１４ｍｒ及び計時部１０４を参照し、除外継続時間タイマ１０４ａの現在残時間Ｔａが解除残時間設定部Ｔｒａに設定されている解除残時間Ｔ１′を上回る時間（Ｔａ＞Ｔ１′）残っている認識車両領域ＣＲが存在するか否か（Ｔａ≦Ｔ１′）を判定する。
【００６４】
ここでは、認識車両領域ＣＲが残っていない（ステップＳ１２：ＮＯ）ものとしているので、次に、ステップＳ１３にて、画像の全領域（全画像領域）について、車両形状認識処理部１０２ａによる上述した車両形状認識処理を実行し、車両形状を認識した場合には、当該車両形状の外接四角形にラベルを付ける。
【００６５】
この車両形状認識処理の結果がステップＳ１４で判定される。車両が認識されていた場合（ステップＳ１４：ＹＥＳ）には、、ステップＳ１３にてラベルが付けられている（図５のタイムテーブル２００中、時点ｔ０及びステップＳ１３で特定される枠に認識されてラベルが付けられていることを示す「＊」を付けている。）当該車両形状の前記外接四角形を、ステップＳ１５にて認識車両領域ＣＲ１に設定し、時点ｔ０で認識領域記憶部１４ｍｒに認識車両領域ＣＲ１としてメモリアドレス領域を記憶し、ステップＳ１６にて、その認識車両領域ＣＲ１に対し、除外継続時間タイマ１０４ａの現在残時間Ｔａ、除外継続時間タイマ１０４ｂの現在残時間Ｔｂ、及び除外継続時間タイマ１０４ｃの現在残時間Ｔｃを、それぞれ除外継続時間Ｔ１に設定する（Ｔａ，Ｔｂ，Ｔｃ←Ｔ１＝５）。
【００６６】
除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃに除外継続時間Ｔ１が設定されると、ステップＳ１７にて、除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃは、直ちにダウン計時が開始される。
【００６７】
なお、車両が複数認識された場合、複数の認識車両領域ＣＲのそれぞれに対し除外継続時間タイマ１０４ａ、１０４ｂ、１０４ｃが設定される。
【００６８】
次いで、画像処理ユニット１４（のＣＰＵ１４ｃ）は、ステップＳ１８にて、認識領域記憶部１４ｍｒ（図６参照）及び計時部１０４を参照し、除外継続時間タイマ１０４ｂの現在残時間Ｔｂが、解除残時間設定部Ｔｒｂに設定されている解除残時間Ｔ２′を上回る時間（Ｔｂ＞Ｔ２′）残っている認識領域が存在するか否か（Ｔｂ≦Ｔ２′）を判定する。
【００６９】
ここでは（時点ｔ０では）、認識車両領域ＣＲ１でＴｂ＞Ｔ２′となっているので、認識車両領域ＣＲ１に対するステップＳ１９の人工構造物形状認識処理がスキップされ｛図６のタイムチャート２００中、（ｔ０，Ｓ１９）の座標で指定される枠内を「−」と描き、スキップすることを意味させている。｝、残りの全領域において、ステップＳ１９での人工構造物形状認識処理が実行される。
【００７０】
ステップＳ１９の人工構造物形状認識処理にて、人工構造物形状を認識した場合には、当該人工構造物形状の外接四角形にラベルを付ける。
【００７１】
この人工構造物形状認識処理の結果がステップＳ２０で判定される。電柱等の人工構造物が認識されていた場合（ステップＳ２０：ＹＥＳ）には、ステップＳ２１にて、ラベルが付けられている当該人工構造物形状の前記外接四角形をステップＳ２１にて認識人工構造物領域ＡＲに設定し、ステップＳ２２にて、その認識人工構造物領域ＡＲに対し、除外継続時間タイマ１０４ｂの現在残時間Ｔｂ及び除外継続時間タイマ１０４ｃの現在残時間Ｔｃをそれぞれ除外継続時間Ｔ２に設定する（Ｔｂ、Ｔｃ←Ｔ２＝３）。
【００７２】
除外継続時間タイマ１０４ｂ、１０４ｃに除外継続時間Ｔ２が設定されると、ステップＳ２３にて、除外継続時間タイマ１０４ｂ、１０４ｃは、直ちにダウン計時を開始する。
【００７３】
この場合にも、人工構造物が複数認識された場合、複数の認識人工構造物領域のそれぞれに対し除外継続時間タイマ１０４ｂ及び除外継続時間タイマ１０４ｃが設定される。
【００７４】
この実施形態では、時点ｔ０のステップＳ１９にて人工構造物形状が認識されていないものとしているので（図６参照）、ステップＳ２０の判定は否定的となる。
【００７５】
次いで、ステップＳ２４にて、認識領域記憶部１４ｍｒ及び計時部１０４を参照し、除外継続時間タイマ１０４ｃの現在残時間Ｔｃが解除残時間設定部Ｔｒｃに設定されている解除残時間Ｔ３′を上回る時間（Ｔｃ＞Ｔ３′）残っている認識領域が存在するか否か（Ｔｃ＝Ｔ３′）を判定する。
【００７６】
ここでは、認識車両領域ＣＲ１でＴｃ＞Ｔ３′となっているので、その領域に対するステップＳ２５の対象物認識処理がスキップされ、残りの全領域において、ステップＳ２５での対象物認識処理が実行される。
【００７７】
ステップＳ２５の対象物認識処理にて、対象物を認識した場合には、当該対象物形状の外接四角形にラベルを付ける。
【００７８】
この対象物認識処理の結果がステップＳ２６で判定される。歩行者等の対象物が認識されていた場合（ステップＳ２６：ＹＥＳ）には、ステップＳ２７にて、ラベルが付けられている当該対象物形状の前記外接四角形をステップＳ２７にて認識対象物領域ＯＲに設定し、ステップＳ２９にて、その認識対象物領域ＯＲに対し、除外継続時間タイマ１０４ｃの現在残時間Ｔｃを除外継続時間Ｔ３に設定する（Ｔｃ←Ｔ３＝１）。
【００７９】
除外継続時間タイマ１０４ｃに除外継続時間Ｔ３が設定されると、ステップＳ２９にて、除外継続時間タイマ１０４ｃは、直ちにダウン計時を開始する。
【００８０】
この場合にも、対象物が複数認識された場合、複数の認識対象物領域ＯＲのそれぞれに対し除外継続時間タイマ１０４ｃが設定される。
【００８１】
この実施形態では、ステップＳ２５にて対象物形状が認識されていないものとしているので、ステップＳ２６の判定は否定的となる。
【００８２】
次に、ステップＳ３０において、認識領域記憶部１４ｍｒが参照され、認識対象物領域ＯＲの有無（存在しているか否か）を判定し、認識対象物領域ＯＲが存在する場合（ステップＳ３０：ＹＥＳ）、ステップＳ３１にて、図３を参照して説明したステップＳ７（動体検出）、ステップＳ８（接触の可能性判定）、及びステップＳ９（注意喚起出力）までの後段処理を実行して、ステップＳ１に戻る。認識対象物領域ＯＲが存在していない場合にも（ステップＳ３０：ＮＯ）、ステップＳ１１に戻る。
【００８３】
時点ｔ０後、時点ｔ０＋１までの間では、認識車両領域ＣＲ１については、ステップＳ１２の判定（Ｔａ＞Ｔ１′）、ステップＳ１８の判定（Ｔｂ＞Ｔ２′）及びステップＳ２４の判定（Ｔｃ＞Ｔ３′）が肯定的となるので、車両形状認識処理（ステップＳ１３）、人工構造物形状認識処理（ステップＳ１９）、対象物認識処理（ステップＳ２５）の各処理が行われない、すなわちスキップされる（図６のタイムチャート中、時点ｔ０と時点ｔ０＋１との間のＳ１３、Ｓ１９、Ｓ２５の枠に「−」を記入している。）。
【００８４】
時点ｔ０＋１になると、除外継続時間タイマ１０４ａの現在残時間ＴａがＴａ＝Ｔ１′＝４[ｓ]となるので、認識車両領域ＣＲ１については、ステップＳ１２の判定（Ｔａ＞Ｔ１′）が否定的となり（ステップＳ１２：ＮＯ、Ｔａ≦Ｔ１´）、ステップＳ１３の車両形状認識処理が再び実行される（図６の時点ｔ０＋１及びステップＳ１３で特定される枠がステップＳ１３の処理の実行を示す「○」に変わる。）。この場合においても、ステップＳ１８の判定（Ｔｂ＝４＞Ｔ２′＝２）及びステップＳ２４の判定（Ｔｃ＝４＞Ｔ３′＝０）が肯定的となるので、人工構造物形状認識処理（ステップＳ１９）及び対象物認識処理（ステップＳ２５）がスキップされる。
【００８５】
時点ｔ０＋３になると、除外継続時間タイマ１０４ｂの現在残時間ＴｂがＴｂ＝Ｔ２′＝２[ｓ]となるので、認識車両領域ＣＲ１について、ステップＳ１８の判定（Ｔｂ＞Ｔ２′）が否定的となり、ステップＳ１９の人工構造物形状認識処理が実行される（図６の時点ｔ０＋３及びステップＳ１９で特定される枠がステップＳ１９の処理の実行を示す「○」に変わる。）。この場合においても、ステップＳ２４の判定（Ｔｃ＝２＞Ｔ３′＝０）が肯定的となるので、対象物認識処理（ステップＳ２５）がスキップされる。
【００８６】
時点ｔ０＋５になると、除外継続時間タイマ１０４ｃの現在残時間ＴｃがＴｃ＝Ｔ３′＝０[ｓ]となるので、認識車両領域ＣＲ１での除外継続時間Ｔ１の効果が消滅するので、ステップＳ２４の判定（Ｔｃ＞Ｔ３′）が否定的となり（Ｔｃ＝Ｔ３′）、ステップＳ２５の対象物認識処理が実行される（図６の時点ｔ０＋５及びステップＳ２５で特定される枠がステップＳ２５の処理の実行を示す「○」に変わる。）。
【００８７】
このように、図６のタイムチャート２００中、「−」で示す枠に対応する時間では、ステップＳ１３、Ｓ１９、Ｓ２５の各個別認識処理が行われずにスキップされるので、認識処理時間を短くすることができる。これにより画像処理ユニット１４（ＣＰＵ１４ｃ）の処理負荷（演算負荷、演算量）を軽減することができる。実際上、撮影間隔（フレームクロック間隔）は数十ミリ秒程度であり、スキップ時間の長さは、秒オーダーであるので、画像処理ユニット１４（ＣＰＵ１４ｃ）の処理負荷（演算負荷、演算量）を大幅に軽減することができる。
【００８８】
［実施形態の概要］
以上説明したように、上述した実施形態に係る車両周辺監視装置１０は、車両１２に搭載された赤外線カメラ１６Ｒ、１６Ｌにより撮像した画像から監視しようとする対象物（歩行者等の監視対象物）を認識する。
【００８９】
この場合、車両周辺監視装置１０の認識処理部１０２は、前記画像に含まれる複数種別の物体（車両、人工構造物、又は歩行者等の対象物）毎に個別認識処理｛車両形状認識処理（ステップＳ１３）、人工構造物形状認識処理（ステップＳ１９）、対象物認識処理（ステップＳ２５）｝を実行する。除外継続時間設定部１０６は、前記個別認識処理の結果、認識された物体の画像領域に対して、前記物体の種別に応じて、前記認識処理の効果を継続する除外継続時間Ｔ１、Ｔ２、Ｔ３を設定する。そして、さらに前記認識処理部１０２は、除外継続時間Ｔ１、Ｔ２、Ｔ３が設定された前記画像領域については、除外継続時間Ｔ１、Ｔ２、Ｔ３未満の前記物体の種別に応じて設定される所定残時間である解除残時間Ｔ１′、Ｔ２′、Ｔ３′となるまで、当該物体の個別認識処理を行わない（スキップする）ようにしている。このため、画像全体の認識処理の時間を短縮することができる。これにより認識処理部１０２の処理負荷を軽減することができる。すなわち、ＣＰＵ１４ｃの演算負荷を低減することができる。
【００９０】
この場合、認識処理部１０２は、前記画像に含まれる前記複数種別の物体毎に前記個別認識処理を実行する際、除外継続時間Ｔ１、Ｔ２、Ｔ３が長く設定された物体の前記個別認識処理から先に行うように構成しているので、すなわち車両形状（除外継続時間Ｔ１）の認識処理（ステップＳ１３）を、人工構造物形状（除外継続時間Ｔ２）の認識処理（ステップＳ１９）よりも先に行うようにし、人工構造物形状（除外継続時間Ｔ２）の認識処理（ステップＳ１９）を、対象物（除外継続時間Ｔ３）の認識処理（ステップＳ２５）よりも先に行うように構成しているので、前記処理負荷の軽減量を早期に大きくすることができる。
【００９１】
上述した実施形態では、除外継続時間Ｔ１、Ｔ２、Ｔ３を、固定時間としているが、前記認識処理部（車両形状認識処理部１０２ａ、人工構造物形状認識処理部１０２ｂ、又は対象物認識処理部１０２ｃ）により認識される頻度の高い種別の前記物体の前記除外継続時間Ｔ１、Ｔ２、Ｔ３を、除外継続時間更新部１０８により、より長い時間に更新することにより、処理負荷の軽減量を一層大きくすることができる。
【００９２】
他の実施形態として、対象物形状に対しては、除外継続時間Ｔ３を設けない（Ｔ３＝０）ように構成を変更してもよい。
【００９３】
この場合のフローチャートを図７に示す。図７のフローチャートにおいては、図５のフローチャート中、ステップＳ２４、Ｓ２７、Ｓ２８、Ｓ２９、Ｓ３０の処理が省略され、ステップＳ２５の対象物認識処理の実行後に、ステップＳ２６で対象物が認識されたか否かが判定され、対象物が認識されていた場合（ステップＳ２６：ＹＥＳ）には、ステップＳ３１の後段処理が実行される。また、図７のフローチャートのステップＳ１６、Ｓ１７、Ｓ２２、Ｓ２３では、それぞれ、現在残時間Ｔｃの設定、除外継続時間タイマ１０４ｃのダウン計時開始の各処理が省略される。同様に、図示はしないが、図１例の車両周辺監視装置１０においては、除外継続時間タイマ１０４ｃ及び解除残時間設定部Ｔｒｃが省略され、図４のタイマ設定テーブル１４ｍｔの内容から除外継続時間タイマ１０４ｃ及び解除残時間設定部Ｔｒｃの各行に記載した時間設定が省略される。
【００９４】
この図７例のフローチャートを実行する他の実施形態に係る車両周辺監視装置によれば、対象物に対する個別認識処理である対象物認識処理部１０２ｃによる処理が必ず行われるようになる。
【００９５】
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
【００９６】
例えば、図８に示すように、車両１２Ａの前部バンパー部に、車両１２Ａの車幅方向中心部に配置された単一の赤外線カメラ（赤外線カメラ単眼ともいう。）１６を用いて、所定時間（既知時間）間隔（例えば、上述したフレームクロック間隔）で車両周辺の対象物を少なくとも２回（２フレーム）連続して撮像し、２個の撮像画像を得る。２個の撮像画像中、前回の撮像画像における対象物の大きさ（サイズ）に比較して今回の撮像画像における同一対象物の画像の大きさ（サイズ）の変化は、対象物と車両周辺監視装置搭載車両との相対速度が高いほど大きくなる。そして、車両の前方に存在する対象物は、該対象物と車両との相対速度が高いほど、車両への到達時間が短くなる。このように、所定時間間隔間での同一の対象物の画像部分の大きさの変化率から、車両１２Ａへの到達時間、いわゆる接触余裕時間（ＴＴＣ：Ｔｉｍｅ Ｔｏ Ｃｏｎｔａｃｔ ｏｒ Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）を推定することで車両１２Ａの周辺を監視することができる。
【００９７】
監視対象物が車両１２Ａに到達するまでの接触余裕時間ＴＴＣは、前記変化率Ｒａｔｅ（画像から求める。）と、所定時間間隔である撮像間隔（フレームクロック周期）ｄＴ（既知）とから、公知の要領にて、次の（１）式により求めることができる。
ＴＴＣ＝ｄＴ×Ｒａｔｅ／（１−Ｒａｔｅ） …（１）
【００９８】
なお、変化率Ｒａｔｅは、監視対象物の前回の撮像時の画像中の監視対象物の幅又は長さＷ０（それぞれ画素数で記憶しておけばよい。）と、今回の撮像時の画像中の同一監視対象物の幅又は長さＷ１（画素数）との比（Ｒａｔｅ＝Ｗ０／Ｗ１）で求めることができる。
【００９９】
また、監視対象物までの距離Ｚは、次の（２）式により求めることができる。なお、（２）式において、Ｖｓは、より正確には、監視対象物と車両１２間の相対速度とされる。監視対象物が停止している場合には、相対速度は、車速Ｖｓに等しい。
Ｚ＝Ｒａｔｅ×Ｖｓ×ｄＴ／（１−Ｒａｔｅ） …（２）
【０１００】
さらに、画像処理ユニット１４は、算出した前記接触余裕時間ＴＴＣと、所定時間間隔をもって撮像された前記画像間における同一の監視対象物の画像部分の位置変化量Δｘ（水平方向），Δｙ（垂直方向）を算出し、算出した位置変化量（移動ベクトル）Δｘ，Δｙと、に基づいて監視対象物と車両１２との接触可能性を判定する。
【０１０１】
図８例の場合には、単一の赤外線カメラ１６を用いているので２台の赤外線カメラ１６Ｒ、１６Ｌを用いる場合に比較して装置のコストダウンを図ることができるし、車両１２Ａへの据え付けコストも低減できる。さらに、画像処理ユニット１４の処理負荷も軽減する。
【０１０２】
なお、赤外線カメラを用いることなく、自然光下で撮像可能な一般的なデジタルビデオカメラを実施形態と同様にステレオカメラとして用いる、あるいは単一の前記デジタルビデオカメラとして用いるようにすることもできる。
【符号の説明】
【０１０３】
１０…車両周辺監視装置 １２、１２Ａ…車両
１４…画像処理ユニット １４ｃ…ＣＰＵ
１４ｍ…記憶部 １６、１６Ｒ、１６Ｌ…赤外線カメラ
１０２…認識処理部 １０２ａ…車両形状認識処理部
１０２ｂ…人工構造物形状認識処理部 １０２ｃ…対象物認識処理部
１０４…計時部
【特許請求の範囲】
【請求項１】
車両に搭載された撮像装置により撮像した画像から監視しようとする対象物を認識する車両周辺監視装置において、
前記画像に対して前記対象物を含む複数種別の物体毎に個別認識処理を行う認識処理部と、
前記個別認識処理の結果、認識された前記物体の画像領域に対して、前記物体の種別に応じて、前記認識処理の効果を継続する除外継続時間を設定する除外継続時間設定部と、を備え、
前記認識処理部は、
前記除外継続時間が設定された前記画像領域については、前記物体の種別に応じて設定される前記除外継続時間未満の所定残時間となるまで、当該物体の個別認識処理を行わない
ことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記認識処理部は、
前記画像に含まれる前記複数種別の物体毎に前記個別認識処理を実行する際、前記除外継続時間が長く設定された前記物体の前記個別認識処理から先に行う
ことを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は２記載の車両周辺監視装置において、
さらに、前記除外継続時間を更新する除外継続時間更新部を備え、
前記除外継続時間更新部は、
前記認識処理部により認識される頻度の高い種別の前記物体の前記除外継続時間をより長い時間に更新する
ことを特徴とする車両周辺監視装置。
【請求項４】
請求項１〜３のいずれか１項に記載の車両周辺監視装置において、
前記対象物の前記除外継続時間をゼロ値に設定する
ことを特徴とする車両周辺監視装置。
【請求項１】
車両に搭載された撮像装置により撮像した画像から監視しようとする対象物を認識する車両周辺監視装置において、
前記画像に対して前記対象物を含む複数種別の物体毎に個別認識処理を行う認識処理部と、
前記個別認識処理の結果、認識された前記物体の画像領域に対して、前記物体の種別に応じて、前記認識処理の効果を継続する除外継続時間を設定する除外継続時間設定部と、を備え、
前記認識処理部は、
前記除外継続時間が設定された前記画像領域については、前記物体の種別に応じて設定される前記除外継続時間未満の所定残時間となるまで、当該物体の個別認識処理を行わない
ことを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記認識処理部は、
前記画像に含まれる前記複数種別の物体毎に前記個別認識処理を実行する際、前記除外継続時間が長く設定された前記物体の前記個別認識処理から先に行う
ことを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は２記載の車両周辺監視装置において、
さらに、前記除外継続時間を更新する除外継続時間更新部を備え、
前記除外継続時間更新部は、
前記認識処理部により認識される頻度の高い種別の前記物体の前記除外継続時間をより長い時間に更新する
ことを特徴とする車両周辺監視装置。
【請求項４】
請求項１〜３のいずれか１項に記載の車両周辺監視装置において、
前記対象物の前記除外継続時間をゼロ値に設定する
ことを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−１０５４１９（Ｐ２０１３−１０５４１９Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２５０６１４（Ｐ２０１１−２５０６１４）
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]