車両周辺監視装置
【課題】歩行者と動物に対する接触可能性の注意レベルが同等である場合に、デフォルトでは歩行者を優先して警報対象にするが、状況に応じて動物を警報対象にする車両周辺監視装置を提供する。
【解決手段】自車両の周辺環境状況として、赤外線カメラにより撮像されたグレースケール画像202Aを構成する画素値の分散値を算出する分散値算出部で算出された前記画像の分散値が閾値分散値以下である場合、自車両の走行中の道路Rdが、市街地の道路ではなく、田舎道、又は山道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。
【解決手段】自車両の周辺環境状況として、赤外線カメラにより撮像されたグレースケール画像202Aを構成する画素値の分散値を算出する分散値算出部で算出された前記画像の分散値が閾値分散値以下である場合、自車両の走行中の道路Rdが、市街地の道路ではなく、田舎道、又は山道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、車両に搭載された撮像装置から出力される撮像信号に基づいて、前記車両の周辺における監視対象物を検知し、前記監視対象物との接触可能性の注意レベルに応じて警報対象とするか否かを判定する車両周辺監視装置に関し、特に夜間や暗所等での走行時に適用して好適な車両周辺監視装置に関する。
【背景技術】
【0002】
従来から、特許文献1に示すように、赤外線カメラにより捉えられた自車両周辺の画像(グレースケール画像とその2値画像)から、自車両との接触の可能性がある歩行者等の対象物を検知し、検知した対象物を自車両の運転者に提供する車両周辺監視装置が知られている。
【0003】
特許文献1に係る車両周辺監視装置では、左右一組の赤外線カメラ(ステレオカメラ)が撮像した自車両周辺の画像において温度が高い部分を前記対象物として検知すると共に、左右画像中の対象物の視差を求めることにより当該対象物までの距離を算出し、当該対象物の移動方向や当該対象物の位置から、自車両の走行に影響を与えそうな(接触可能性のある)歩行者等の対象物を検出し、前記対象物が撮像されている車両前方の画像を運転席前方のHUD(Head Up Display:ヘッドアップディスプレイ)に表示すると共に、前記画像から検出された前記対象物の画像部位を強調表示し、且つ警報を出力するように構成されている(特許文献1の[0014]、[0015]、[0018]、[0032])。
【0004】
さらに、前記HUDに、歩行者検出機能の動作状態の有無を知らせるアイコンの表示を行う装置も知られている{特許文献2の図6の(a)、(b)}。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−284057号公報
【特許文献2】特開2004−364112号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記従来の車両周辺監視装置では、画像中、接触可能性の注意レベルが最も高い歩行者や動物等の対象物を判定し、他の対象物より強調して、例えば、対象物の画像部位に枠を描画し、運転者に注意喚起情報を提供している。
【0007】
この場合において、歩行者と動物とが同程度の注意レベルであると判定した場合、従来は、常時、歩行者を優先して注意喚起を行うようにしている。
【0008】
ところで、例えば、高速道路や田舎道、山道のような周辺環境状況下の場所では、たとえ歩行者が存在していても、走行している車両の速度が比較的高いため、歩行者が車両の直前を横断するような行動をとることはなく、又、歩行者が存在する頻度も低い。これに対して、上述した周辺環境状況下の場所では、動物の出現頻度が高い場合があり、且つ、動物は、不規則な行動をするため、接触可能性の注意レベル(危険度)が高くなる。
【0009】
しかしながら、同程度の注意レベルの場合に、従来技術のように、歩行者を優先させて注意喚起情報の提供を行うと、例えば、高速道路や田舎道、山道のような周辺環境状況下の場所で、より注意が必要な動物の存在を見落とすこと、もしくは発見することが遅れるという不都合がある。
【0010】
この発明は、このような課題を考慮してなされたものであって、歩行者と動物に対する接触可能性の注意レベルが同等である場合に、状況に応じて動物を警報対象とすることを可能とする車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
この発明に係る車両周辺監視装置は、車両に搭載された撮像装置により撮像した画像を用いて、歩行者と動物に対する接触可能性を検出し、検出した前記接触可能性の注意レベルに応じて警報対象とするか否かを判定する車両周辺監視装置において、前記歩行者と前記動物とが前記警報対象と判定する同等の注意レベルを有していた場合に、デフォルト(初期設定)では、前記歩行者を前記警報対象に設定する警報対象設定部と、前記警報対象と判定する同等の注意レベルを有している前記歩行者と前記動物とに対し、自車両の状況及び自車両の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を前記歩行者から前記動物に変更する警報対象変更部と、を備えることを特徴とする。
【0012】
この発明によれば、警報対象と判定する同等の注意レベルを有している歩行者と動物とに対し、自車両の状況及び自車両の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を前記歩行者から前記動物に変更するようにしたので、前記動物の出現頻度が前記歩行者の出現頻度よりも相対的に高い状況下等において、前記動物を優先的に警報対象とすることができるので、危険度の実状に応じた警報対象の設定ができる。
【0013】
この場合、前記自車両の状況として、車速センサにより検出された車速が閾値車速以上である場合、前記警報対象変更部は、高速道路、田舎道、山道等を走行中であるとみなし、このような状況下では、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を前記歩行者から前記動物に変更することが好ましい。
【0014】
また、前記撮像装置が赤外線カメラであり、前記自車両の周辺環境状況として、前記画像の分散値を算出する分散値算出部を備え、前記警報対象変更部は、算出された前記画像の分散値が閾値分散値以下である場合には、前記警報対象の設定を前記歩行者から前記動物に変更することが好ましい。すなわち、赤外線画像の分散値は、通常、田舎道及び山道等走行時が、市街地の道路走行時よりも低いという知見に基づく。よって、田舎道、山道等では、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を前記歩行者から前記動物に変更することが好ましい。
【0015】
さらに前記自車両の周辺環境状況として、前記撮像装置により撮像した画像から検出される、前記歩行者及び前記動物以外の対象物の所定時間内の検出回数が所定回数以下である場合には、前記警報対象の設定を前記歩行者から前記動物に変更するようにしてもよい。
【0016】
さらにまた、前記自車両の周辺環境状況として、検出された前記画像中の前記歩行者と前記動物との合計数を参酌し、前記合計数が閾値以下と少ない場合には、市街地の道路走行時ではなく、田舎道、山道等の道路走行時であって、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を前記歩行者から前記動物に変更することが好ましい。
【0017】
さらにまた、前記自車両の周辺環境情報を検出するナビゲーション装置を備え、前記警報対象変更部は、前記ナビゲーション装置の情報、例えば、高速道路、幹線道路、山道等の道路種別情報、又は動物飛び出し注意情報により、現在走行中の周辺環境が歩行者の少ない環境であると判定した場合には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を前記歩行者から前記動物に変更することが好ましい。
【0018】
なお、前記撮像装置が、可視領域撮像装置である場合には、前記警報対象変更部は、前記自車両の周辺環境情報として、前記可視領域撮像装置の画像から、動物が飛び出すおそれがあるとの警戒標識を検出した場合には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を前記歩行者から前記動物に変更することが好ましい。
【0019】
なお、撮像装置が赤外線撮像装置であっても、前記警戒標識に形成されている動物の輪郭が発光素子等で発光している場合には、前記警戒標識を検出することができる。
【0020】
さらにまた、前記警報対象の設定を前記歩行者から前記動物に変更した前記判定の成立時点からの継続時間の計時を行う継続時間計時部をさらに備え、前記判定の成立時点からの前記継続時間が閾値時間以上継続した場合には、その後に、前記判定の成立が一定時間中断した場合であっても、前記中断時には(前記中断は無視して)、前記警報対象の設定を変更後の前記動物に保持しておくことが好ましい。
【発明の効果】
【0021】
この発明によれば、警報対象と判定する同等の注意レベルを有している歩行者と動物とに対し、自車両の状況及び自車両の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を前記歩行者から前記動物に変更するようにしたので、前記動物の出現頻度が前記歩行者の出現頻度よりも相対的に高い状況下等において、前記動物を優先的に警報対象と推定することができるので、危険度の実状に応じた警報対象の設定ができるという効果が達成される。
【図面の簡単な説明】
【0022】
【図1】この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図2】図1に示す車両周辺監視装置が搭載された車両の概略斜視図である。
【図3】図2に示す車両の、運転者側から視た内観図である。
【図4】図4Aは、汎用ディスプレイの第1パネル部の正面図である。図4Bは、MIDの第2パネル部の正面図である。
【図5】図1に示す車両周辺監視装置の動作説明に供されるフローチャートである。
【図6】歩行者検知処理の説明に供される歩行者の画像の模式図である。
【図7】動物検知処理の説明に供される動物の画像の模式図である。
【図8】メモリに記憶された市街地走行時におけるグレースケール画像の模式図である。
【図9】第2パネルへの歩行者アイコンの表示例の説明図である。
【図10】第1パネルへの図8に示したグレースケール画像の表示例の説明図である。
【図11】メモリに記憶された田舎道走行時におけるグレースケール画像の模式図である。
【図12】第2パネルへの動物アイコンの表示例の説明図である。
【図13】第1パネルへの図11に示したグレースケール画像の表示例の説明図である。
【発明を実施するための形態】
【0023】
以下、この発明の実施形態について添付の図面を参照して説明する。
【0024】
図1は、この発明の一実施形態に係る車両周辺監視装置10の構成を示すブロック図である。図2は、図1に示す車両周辺監視装置10が搭載された車両(自車両ともいう。)12の概略斜視図である。図3は、図2に示す車両12の、運転者側から視た内観図である。なお、この車両12は、自動車が右側走行することを取り極められている国の道路を走行している状況を示しており、車両12は左ハンドル車として図示されている。
【0025】
図1及び図2に示すように、車両周辺監視装置10は、この車両周辺監視装置10を制御する画像処理ユニット14と、画像処理ユニット14に接続される左右の赤外線カメラ16R、16L(撮像装置)と、車両12の車速Vsを検出する車速センサ18と、運転者によるブレーキペダルの操作量(以下、単にブレーキ操作量Brという。)を検出するブレーキセンサ20と、車両12のヨーレートYrを検出するヨーレートセンサ22と、音声で警報等を発するためのスピーカ24と、赤外線カメラ16R、16Lから出力された撮像信号に基づく画像を表示する汎用ディスプレイ26(第1表示部;第1パネル部26p等を含む。)と、車両12の運転の際の付随情報を可視化して表示するMID(Multi−Information Display)28(第2表示部;第2パネル部28p等を含む。)を備える。赤外線カメラ16R、16Lから出力された撮像信号に基づく画像(映像)を表示する汎用ディスプレイ26としては、車両12のフロントウインドシールド上、運転者の前方視界を妨げない位置に表示画面が設けられるHUDに代替してもよい。HUDを汎用ディスプレイ26と併設してもよい。
【0026】
画像処理ユニット14は、車両12の周辺の赤外線画像と車両の走行状態(車両の状況)を示す信号(ここでは、車速Vs、ブレーキ操作量Br及びヨーレートYr)とから、車両前方の歩行者や動物等の監視対象物を検出し、当該監視対象物との接触の可能性(の注意レベル)が高いと判断したときにスピーカ24から警報(例えば、ピッ、ピッ、…となる音)を発すると共に、MID28上に接触の可能性の注意レベルが高いと判断した前記監視対象物を表すアイコン(この実施形態では後述するように歩行者アイコン又は動物アイコン)を表示し、且つ汎用ディスプレイ26上にグレースケール表示される撮像画像の中の前記監視対象物を黄色や赤色等の目立つ色枠で囲って表示する。このようにして、運転者の注意を喚起し、運転を支援する。
【0027】
ここで、画像処理ユニット14は、入力されたアナログ信号をデジタル信号に変換する図示しないA/D変換回路等の入力回路と、各種演算処理を実行するCPU14c(中央処理装置)と、画像処理に供される各種データを記憶するための記憶部14mと、クロック(時計部)及びタイマ(計時部)と、スピーカ24の駆動信号、汎用ディスプレイ26及びMID28の表示信号をそれぞれ出力する図示しない出力回路と、をさらに備える。
【0028】
記憶部14mは、デジタル信号に変換された撮像信号(グレースケール画像信号及びその2値化信号)、各種演算処理に供される一時データ等を記憶するRAM(Random Access Memory)、あるいは、実行プログラム、テーブル、マップ、及びテンプレート{歩行者(人体)形状テンプレート:右向き、左向き、正面(背面)向き、動物形状テンプレート:鹿や犬等の右向き、左向き、正面(背面)向き、警戒標識中の動物の輪郭等、人工構造物形状テンプレート:車両形状特徴、電柱形状特徴、道路灯・街灯特徴、壁特徴等}等を記憶するROM(Read Only Memory)等で構成されている。
【0029】
赤外線カメラ16R、16L、車速センサ18、ブレーキセンサ20及びヨーレートセンサ22の各出力信号は、デジタル信号としてCPU14cに供給可能に構成されている。
【0030】
CPU14cは、これらデジタル信号を取り込み、テーブル、マップ、及びテンプレート等を参照しながらプログラムを実行することで、各種機能手段(機能部ともいう。)として機能し、スピーカ24、MID28及び汎用ディスプレイ26に駆動信号(音声信号や表示信号)を送出する。これらの機能は、ハードウエアにより実現することもできる。
【0031】
この実施形態において、画像処理ユニット14は、前記各種機能手段として、それぞれ詳細を後述する対象物検知処理部38、接触可能性の注意レベル判定部(接触可能性判定部又は注意レベル判定部ともいう。)42、警報対象設定部44、警報対象変更部46等を備える。なお、対象物検知処理部38は、歩行者検知処理部39と動物検知処理部40と人工構造物検知処理部41とを有する。また、警報対象変更部46は、画像を構成する画素値の分散値を算出する分散値算出部47と、動物警戒標識検出部48と、後述する判定条件の判定成立継続時間と中断時間を計時する判定成立継続時間計時部49を有する。
【0032】
図2に示すように、撮像装置でありステレオカメラとして機能する赤外線カメラ16R、16Lは、車両12の前部バンパー部に、車両12の車幅方向中心部に対して略対称な位置に配置されている。2つの赤外線カメラ16R、16Lの光軸が互いに平行であって、且つ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ16R、16Lは、監視対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。
【0033】
撮像装置は、図2に示す構成例に限られることなく、種々の構成を採り得る。例えば、撮像手段は、複眼カメラ(ステレオカメラ)であっても単眼カメラ(1つのカメラ)であってもよい。単眼カメラの場合、別の測距手段(レーダ装置)を併せて備えることが好ましい。また、赤外線カメラと共に、あるいは代替して、図1に2点鎖線のブロックで示すように、主に可視光領域の波長を有する光を利用するデジタルカラーカメラ(以下、カラーカメラという。)16Cを用いてもよい。
【0034】
図2及び図3に示すように、ダッシュボード30には、その下部から図示しない運転席の方へ突出するハンドル32が配設されている。ハンドル32の中心位置に揃えた位置であり、且つ、計器盤34の上側近傍のダッシュボード30(あるいは、計器盤34内)の部位には、MID28の第2パネル部28pが配設されている。これにより、運転者は、車両12の前方へ顔を向けた状態のまま、MID28の第2パネル部28pを正視することができる。なお、汎用ディスプレイ26の第1パネル部26pは、ダッシュボード30の所定部位(具体的には、第1パネル部26pの配設位置に対して右方の部位)に配設されている。
【0035】
図4Aは第1パネル部26pの正面図であり、図4Bは第2パネル部28pの正面図である。
【0036】
図4Aに示す第1パネル部26pの略全面には、横方向に長尺な矩形状の第1表示領域70が設けられている。図4Aでは、赤外線カメラ16Lから出力された撮像信号に基づく第1画像72を、第1表示領域70内に表示した状態を表している。第1パネル部26pは、カラー画像又はモノクロ画像が表示可能なモジュールであり、例えば液晶パネル、有機EL(Electro-Luminescence)、無機ELパネル等で構成されてもよい。この場合、汎用ディスプレイ26は、第1パネル部26pを介して、任意の画像、例えば、車両12周辺の第1画像72のみならず、カーナビゲーション用の各種画像(道路地図、サービス情報等)、動画コンテンツ等を表示可能である。
【0037】
図4Bに示す第2パネル部28pの略全面には、横方向に長尺な矩形状の第2表示領域74が設けられている。本図では、第1画像72における所定の特徴部位のみを抽出し適宜変形した第2画像76を、第2表示領域74内に表示した状態を表している。具体例として、第2表示領域74の下方部には、道路アイコン78が表示されている。道路アイコン78は、3本のライン、左から順に、ライン77L、77C、77Rで構成されている。ライン77L、77R間の幅は、遠方位置を想起させる第2表示領域74の上側ほど狭くなっている。すなわち、道路アイコン78の表示により、運転席から前方の直線道路を眺めたときの道路形状に係る左側路側(ライン77L)、中央線(ライン77C)、及び右側路側(ライン77R)を、運転者に観念させることができる。
【0038】
第2パネル部28pは、第1パネル部26pよりも構成が簡便で、且つ、安価な表示モジュールである。MID28は、後述する第2画像76(図9、図12参照)の他、燃費、現在時刻、計器盤34に関する情報等を表示可能である。
【0039】
この実施形態に係る車両周辺監視装置10は、基本的には以上のように構成される。続いて、この車両周辺監視装置10の動作について、図5のフローチャートに沿って、他の図面を適宜参照しながら説明する。
【0040】
まず、ステップS1において、画像処理ユニット14は、車速センサ18により検出される車速Vs等から車両12の走行状態(走行中か停車中)を判定し、停車中(ステップS1:NO)である場合には、処理を停止する。
【0041】
走行中(ステップS1:YES)である場合、ステップS2において、画像処理ユニット14は、赤外線カメラ16R、16Lによりフレーム毎に撮像された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像(グレースケール右画像とグレースケール左画像)を取得し、A/D変換し、各グレースケール画像を画像メモリ(記憶部14m)に格納すると共に、格納したグレースケール画像の2値化処理、すなわち、輝度閾値より明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする2値画像への変換処理を行い、変換した2値画像も前記フレームに対応させてフレーム毎に記憶部14mに格納する。この2値化処理では、人体では、頭部、肩、胴体、及び2本の脚等からなる塊(人体対象物候補)が、「1」の塊(集合体)として検出される。また、犬(小型動物)、鹿(大型動物)等の動物(この実施形態では四つ足動物)でも同様に、頭部、胴体、尾、及び4本の脚等の塊(動物対象物候補)が、「1」の塊(集合体)として検出される。なお、グレースケール右画像とグレースケール左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)等を用いて三角測量の原理により対象物までの距離を算出することができる。
【0042】
次いで、ステップS3において、画像処理ユニット14によりラベリング処理を実施する。このラベリング処理では、上記の人体対象物候補を構成する「1」の塊及び動物対象候補を構成する「1」の塊を、x方向(水平方向)の走査ライン毎にランレングスデータに変換し、y方向(垂直方向)に重なる部分のあるラインを1つの対象物とみなし、当該対象物の外接四角形にそれぞれラベルを付ける、いわゆるラベリング処理を行う。なお、ステップS2及びステップS3の処理後では、未だ、人体であるか動物であるかの識別(検知)はなされていない。
【0043】
次いで、ステップS4にて、対象物検知処理部38を構成する歩行者検知処理部39は、対象物としての歩行者検知処理を実行する。
【0044】
歩行者検知処理部39は、フレームの画像中、ラベルが付けられた図6に示す対象物候補領域52より若干大きいマスク領域53(図6中、一点鎖線で囲んだ領域)に対してマスク領域53内の画素の上側から下側に且つ左側から右側に対して画素値を走査しながら探索していき、暗い領域の「0」画素が連続して続いた場合、その走査部分が画像中の歩行者候補62(頭部54と胴体部60と脚部59とから構成される。)と路面51との境界と判定し、対象物の下端OBbmとする。
【0045】
また、ステップS4にて、歩行者検知処理部39は、対象物の下端OBbmから逆に上側にマスク領域53内の画像に対して左側から右側に画素毎に走査しながら探索していき、垂直方向で輝度の水平エッジ54の変化区間(2値画像では、「1」と「0」の対が概ね連続する区間)を検出した場合、その変化区間の走査部分が歩行者候補62と背景との境界のエッジである対象物の上端OBtmとする。この場合、歩行者候補62であるか否かは、頭部があること、頭部下に胴体部があること、胴体部下に2本足があること、背丈Hmが所定範囲内にあること等、公知の要領にて判定される。
【0046】
ここで、理解の便宜のために、ステップS7の動物検知処理部40により実行される動物検知処理について説明する。
【0047】
動物検知処理部40は、フレームの画像中、図7に示すラベルが付けられた対象物候補領域152より若干大きいマスク領域153(図7中、一点鎖線で囲んだ領域)に対してマスク領域153内の画素の上側から下側に且つ左側から右側に対して画素値を走査しながら探索していき、暗い領域の「0」画素が連続して続いた場合、その走査部分が画像中の動物候補162(頭部154と胴体部160と脚部159とから構成される)と路面51との境界と判定し、対象物の下端OBbaとする。
【0048】
また、同様に、ステップS7にて、動物検知処理部40は、対象物の下端OBbaから逆に上側にマスク領域153内の画像に対して左側から右側に画素毎に走査しながら探索していき、垂直方向で輝度の水平エッジ154の変化区間(2値画像では、「1」と「0」の対が概ね連続する区間)を検出した場合、その変化区間の走査部分が動物候補162と背景との境界のエッジである対象物の上端OBtaとする。
【0049】
なお、歩行者候補62(図6)とするか動物候補162(図7)とするかは、種々の判定の仕方があるが、例えば、背丈について、歩行者の背丈Hm(Hm=OBtm−OBbm:単位は、例えば、画素数)が動物(特に、犬の場合)の背丈Ha(Ha=OBta−OBba:単位は、同様に、画素数)より高い場合には、歩行者候補62と判定する。また、胴体高さbhm、bhaと頭部高さhhm、hhaの比により各閾値と比較して判定することができる。通常、歩行者(人体)の比hhm/bhm(=頭部高さ/胴体高さ)が、犬等の動物の比hha/bha(=頭部高さ/胴体高さ)より小さい。また、4本の足(脚159)を検知したときには動物候補162とし、2本の足(脚59)を検知したときには歩行者候補62とすることができる。横向きが確定できれば頭幅hwm、hwaと全幅Wm、Waの比(hwm/Wm=頭幅/胴体幅又はhwa/Wa=頭幅/全体幅)で判定することもできる。
【0050】
ステップS4の歩行者検知処理に続く、ステップS5において、歩行者候補62が前記ステップS4で検知されたか否かが判定され、検知されていなかった場合には、上述したステップS7の動物検知処理に移行するが、検知されていた場合には、ステップS6にて、接触可能性の注意レベル判定部42が、歩行者優先度判定処理を行う。この歩行者優先度判定処理では、検知された歩行者候補62の中で最も注意レベルの高い歩行者候補62を特定する。
【0051】
具体的には、例えば、各歩行者候補62に対する距離、各歩行者候補62の移動ベクトルを算出し、さらに、ブレーキセンサ20、車速センサ18、及びヨーレートセンサ22の各出力であるブレーキ操作量Br、車速Vs、ヨーレートYrと、に基づき、接触余裕時間TTC(Time To Contact or Time To Collision )を算出し、車両12が各歩行者候補62中、最も接触の可能性の高い歩行者候補62(接触余裕時間TTCの最も短い歩行者候補62)を最も注意レベルの高い(最も優先度の高い)歩行者候補62に決定する。なお、自車両12と歩行者候補62との接触余裕時間TTCを、接触余裕時間TTCpという。
【0052】
次いで、ステップS7にて、上述した動物検知処理を実行し、ステップS8にて、動物候補162がステップS7で検知されたか否かが判定され、検知されていなかった場合には、後述するステップS10の判定処理に移行し、検知されていた場合には、ステップS9にて、接触可能性の注意レベル判定部42が、動物優先度判定処理を行う。この動物優先度判定処理では、ステップS6と同様に、検知された動物候補162の中で最も注意レベルの高い動物候補162を特定する。
【0053】
具体的には、例えば、各動物候補162に対する距離、各動物候補162の移動ベクトルを算出し、さらに、ブレーキセンサ20、車速センサ18、及びヨーレートセンサ22の各出力であるブレーキ操作量Br、車速Vs、ヨーレートYrと、に基づき、接触余裕時間TTC(動物候補162との接触余裕時間TTCを接触余裕時間TTCaという。)を算出し、車両12が各動物候補162中、最も接触の可能性の高い動物候補162(接触余裕時間TTCaの最も短い動物候補162)を最も注意レベルの高い(最も優先度の高い)動物候補162に決定する。
【0054】
次いで、ステップS10において、警報対象設定部44は、ステップS6で検出された最も接触可能性の高い(注意レベルの高い)歩行者候補62と、ステップS9で検出された最も接触可能性の高い(注意レベルの高い)動物候補162とを選択し、注意(優先度)レベルが同じ(同等)であるか否かを判定する。具体的には、最も注意レベルの高い歩行者候補62の接触余裕時間TTCpと最も注意レベルの高い動物候補162の接触余裕時間TTCaとの差が閾値時間ΔTth以内である場合(|TTCp−TTCa|≦ΔTth)には、同じ注意(優先度)レベルにあると判定する。
【0055】
同じ注意レベルの歩行者候補62と動物候補162とが存在する(ステップS10:YES)場合、ステップS11にて、警報対象変更部46は、同じ注意レベルの歩行者候補62と動物候補162に対する優先度判定処理(歩行者・動物優先度判定処理)を行う。この優先度判定処理は、同じ注意レベルの歩行者候補62と動物候補162のうち、いずれの候補を、画像の強調化処理等を行う警報対象{この明細書において、警報には、スピーカ24による警報出力及び(又は)画像強調表示による画像出力が含まれる。}とするかを判定する処理である。
【0056】
警報対象変更部46で実行される優先度判定処理では、警報対象と判定する同等の注意レベルを有する歩行者候補62と動物候補162とに対し、自車両12の状況及び自車両12の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を、デフォルト(初期設定)の歩行者候補62から動物候補162に変更するか否かの判定処理が実施される。
【0057】
具体的には、以下に説明する第1〜第7判定条件のうち、いずれか1つの判定条件に合致した場合には、同一の注意レベルにある前記警報対象の設定を、デフォルトの歩行者候補62から動物候補162変更する。
【0058】
第1判定条件は、自車両12の状況として、車速センサ18により検出された車速Vsが閾値車速Vsth以上である(Vs≧Vsth)場合、自車両12の走行中の道路が、高速道路、田舎道、又は山道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。
【0059】
第2判定条件は、自車両12の周辺環境状況として、赤外線カメラ16Lにより撮像された画像(グレースケール画像)を構成する画素値の分散値Varを算出する分散値算出部47で算出された前記画像の分散値Varが閾値分散値Varth以下である(Var≦Varth)場合、自車両12の走行中の道路が、市街地の道路ではなく、田舎道、又は山道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。
【0060】
第3判定条件は、自車両12の周辺環境状況として、赤外線カメラ16Lにより撮像された画像から前記歩行者候補62及び前記動物候補162以外の特定対象物、例えば、車両、壁、道路灯・街灯、電柱等の人工構造物に対する所定時間内の検出回数が所定回数以下である場合には、自車両12の走行中の道路が、市街地の道路ではなく、田舎道、又は山道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。なお、人工構造物検知処理部41による人工構造物検知処理は、例えば、ステップS10処理の直前に実施すればよい。
【0061】
第4判定条件は、自車両12の周辺環境状況として、歩行者検知処理部39及び動物検知処理部40により検知された前記画像中の歩行者候補62と動物候補162との合計数σを参酌し、合計数σが閾値σth以下(σ≦σth)と少ない場合には、自車両12の走行中の道路が市街地の道路ではなく、田舎道、又は山道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。
【0062】
第5判定条件は、自車両12の当該位置あるいは進行方向の周辺環境情報を提供するナビゲーション装置25からの情報、例えば、高速道路、幹線道路、山道等の道路種別情報、又は動物飛び出し注意情報が検出されたとき、現在走行中の周辺環境が歩行者の少ない環境であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。
【0063】
第6判定条件は、動物警戒標識検出部48により、赤外線カメラ16Lにより撮像した前記画像から、テンプレートマッチング等により動物が飛び出すおそれがあるとの警戒標識を検出した場合には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を警報対象の設定を歩行者候補62から動物候補162に変更する。なお、撮像装置として、可視領域撮像装置としてのカラーカメラ16Cが搭載されている場合には、動物警戒標識検出部48は、カラーカメラ16Cによるカラーの可視画像から、エッジ抽出及びテンプレートマッチング等により動物が飛び出すおそれがあるとの警戒標識を検出した場合には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更するようにしてもよい。
【0064】
第7判定条件は、上記第5判定条件を除く、第1〜第4判定条件、又は第6判定条件の成立時間(継続時間)が閾値継続時間以上継続したことが判定成立継続時間計時部49により計時された場合には、閾値中断時間未満の時間、第1〜第4判定条件、又は第6判定条件の連続成立時間(継続時間)が中断した場合であっても、警報対象を歩行者候補62から動物候補162に変更した状態に保持するようにすることが好ましい。例えば、第1判定条件に係る車速Vsは、田舎道や山道等では、通常は(基本的には)、Vs≧Vsthと高車速で走行しているが道路のアップダウンやカーブ等で一時的に車速VsがVs<Vsthと閾値車速を下回る低車速となることがあるが、このような状況下においては、田舎道や山道等を走行中であることに変わりがないので、警報対象を動物候補162に優先しておくことが好ましいからである。
【0065】
上述したステップS11の歩行者・動物優先度判定処理の後、又はステップS10の判定が否定的であるとき、ステップS12にて、検出された最優先度警報対象(最優先度対象物)の強調処理を行う。
【0066】
ここで、同等の注意レベルを有する歩行者候補62と動物候補162が画像中に存在する場合の最優先度警報対象の強調処理の具体例について説明する。
【0067】
図8は、記憶部14mにデジタル信号として取り込まれた、赤外線カメラ16Lで「市街地」を撮像したグレースケール画像200の表示を示している。
【0068】
この市街地のグレースケール画像200中には、道路Rdを横断中の動物候補162と、この動物候補162を散歩させて横断中の歩行者候補62が存在している。
【0069】
この場合、道路Rdの略中央に存在する歩行者候補62と動物候補162に対する接触可能性の注意レベルは同等と判定されるが、警報対象の設定をデフォルトの歩行者候補62から動物候補162に変更する上述した第1〜第6判定条件のいずれにも当てはまらないので、警報対象は、デフォルトの歩行者候補62に設定される。すなわち、市街地では、比較的に大きな犬等の動物は、野良犬ではなく、散歩されている動物が多く、このような散歩動物は、リード等により歩行者に行動を抑制されているので、接触可能性(危険度)が、歩行者に比較して低いといえるので、警報対象の設定を歩行者候補62とする。
【0070】
この場合、MID28の第2パネル部28pの表示を、燃費等の通常表示から、図9に示す警報表示の第2画像76に切り換える。この場合、画像処理ユニット14(最優先度対象物の強調化処理部を兼用する。)は、グレースケール画像200中、道路Rdの中央領域(グレースケール画像200の中央1/3の領域)に存在する歩行者候補62(図8)の位置に対応させて、ライン77Cの位置(中央位置)に、目立つ色(ここでは黄色)で歩行者アイコンHiを表示させると共に、スピーカ24を通じて警報を発生し、運転者に注意を促す。なお、ライン77L、77C、77Rの色は白色である。第2画像76の背景色は、黒色になっている。
【0071】
歩行者候補62の位置が、道路Rdの中央領域ではなく、道路Rdの右側領域(グレースケール画像200の右側1/3の領域)に存在する場合には、ライン77Rの上部に歩行者アイコンHiを表示させ、また、グレースケール画像200中、歩行者候補62の位置が道路Rdの左側領域(グレースケール画像200の左側1/3の領域)に存在する場合には、ライン77Lの上部に歩行者アイコンHiを表示させる。
【0072】
さらに、MID28上への歩行者アイコンHiの警報表示と同時に、ナビゲーション装置25の汎用ディスプレイ26を構成する第1パネル部26pの第1画像72を、地図等の通常表示から、図10に示すように、図8に示したグレースケール画像200に対応するグレースケール画像(赤外線映像)200Aの警報表示(強調化表示)に切り換える。このとき、歩行者候補62は、最も危険度の高いことを運転者に注意喚起する目立つ色である赤色枠80で囲って表示し、動物候補162は注意を喚起する目立つ色である黄色枠82で囲って表示する。
【0073】
次に、図11に示すように、記憶部14mにデジタル信号として取り込まれた、グレースケール画像202が、赤外線カメラ16Lで「田舎道」を撮像したグレースケール画像である場合について説明する。
【0074】
この田舎道のグレースケール画像202中には、道路Rdを横断中の動物候補162と、歩行者候補62が存在している。
【0075】
この場合、道路Rdの略中央に存在する動物候補162と道路Rdの右側に存在する歩行者候補62に対する接触可能性の注意レベルは、同等と判定されるが、上述した第1〜第6判定条件の少なくとも1つの条件に合致するので、警報対象変更部46により、警報対象の設定がデフォルトの歩行者候補62から動物候補162に変更される。上述したように、田舎道や高速道路等では、動物は大小様々で野良動物(野生動物)が多いため、行動が読めずに、接触可能性の注意レベル、換言すれば危険度が高い。これに対して、歩行者は、走行している車両12の車速が比較的に高いために行動が規制され、接触可能性の注意レベル、換言すれば危険度は低いといえるので、警報対象の設定を動物候補162とする。
【0076】
この場合、MID28の第2パネル部28pの表示を、燃費等の通常表示から、図12に示す警報表示の第2画像76に切り換える。画像処理ユニット14(最優先度対象物の強調化処理部を兼用する。)は、グレースケール画像202中、道路Rdの中央領域(グレースケール画像200の中央1/3の領域)に存在する動物候補162(図11)の位置に対応させて、ライン77Cの位置(中央位置)に、目立つ色(ここでは黄色)で動物アイコンAiを表示させると共に、スピーカ24を通じて警報を発生し、運転者を注意喚起する。
【0077】
また、MID28上への動物アイコンAiの警報表示と同時に、ナビゲーション装置25の汎用ディスプレイ26を構成する第1パネル部26pの第1画像72を、地図等の通常表示から、図13に示すように、図11に示したグレースケール画像202に対応するグレースケール画像(赤外線映像)202Aの警報表示(強調表示)に切り換える。このとき、動物候補162は、危険度の高いことを運転者に注意喚起する目立つ色である赤色枠80で囲って表示し、歩行者候補62は注意を促す目立つ色である黄色枠82で囲って表示する。
【0078】
[実施形態の概要]
以上説明したように、上述した実施形態に係る車両周辺監視装置10は、車両12に搭載された撮像装置である赤外線カメラ16R、16L等により撮像した画像を用いて、歩行者と動物に対する接触可能性を検出し、検出した前記接触可能性の注意レベルに応じて警報対象とするか否かを判定する。
【0079】
この場合、車両周辺監視装置10は、記憶部14mに記憶されたグレースケール画像200、202中の歩行者候補62と動物候補162とが前記警報対象と判定する同等の注意レベルを有していた場合に、デフォルトでは、歩行者候補62を前記警報対象に設定する警報対象設定部44と、前記警報対象と判定する同等の注意レベルを有している歩行者候補62と動物候補162とに対し、自車両12の状況及び自車両12の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を歩行者候補62から動物候補162に変更する警報対象変更部46と、を備える。
【0080】
このように、警報対象と判定する同等の注意レベルを有している歩行者候補62と動物候補162とに対し、自車両12の状況及び自車両12の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を歩行者候補62から動物候補162に変更するようにしたので、動物の出現頻度が歩行者の出現頻度よりも相対的に高い状況下等において、動物を優先的に警報対象とすることができ、危険度の実状に応じた警報対象の設定が可能となる。
【0081】
この場合、前記の自車両12の状況としては、車速センサ18により検出された車速Vsが閾値車速Vsth以上である場合、高速道路、田舎道、山道等を走行中であると見なし(上述した第1判定条件の成立)、このような状況下では、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。なお、閾値車速Vsthは、ナビゲーション装置25や路側放送等の情報により道路の種別(高速道路あるいは田舎道等)が判然とする場合には、判然とした道路の種別に応じて、例えば、高速道路では田舎道より閾値車速Vsthを高くする等、変更してもよい。
【0082】
また、自車両12の周辺環境状況としては、赤外線カメラ16Lで撮像されたグレースケール画像200、202の分散値Varを算出する分散値算出部47を備え、警報対象変更部46は、算出された分散値Varが閾値分散値Varth以下である場合(上述した第2判定条件の成立時)には、前記警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。すなわち、赤外線画像であるグレースケール画像200、202の分散値Varは、田舎道走行時(図11参照)及び山道等走行時が、市街地の道路走行時(図8参照)よりも低い。田舎道、山道等では、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。閾値分散値Varthも例えば夕暮れ時と真夜中時等とで変更してもよい。
【0083】
さらに、自車両12の周辺環境状況としては、赤外線カメラ16Lで撮像されたグレースケール画像200、202から歩行者候補62及び動物候補162以外の特定対象物、例えば、道路灯・街灯等の人工構造物に対する所定時間内の検出回数が所定回数以下である場合には、田舎道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。
【0084】
さらにまた、自車両12の周辺環境状況として、検出されたグレースケール画像200、202中の歩行者候補62と動物候補162との合計数σを参酌し、合計数σが閾値σth以下と少ない場合(上述した第3判定条件の成立時)には、市街地の道路走行時ではなく、田舎道、山道等の道路走行時であって、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。合計数σの閾値σthも、例えば道路混雑状況に応じて変更してもよい。
【0085】
さらに、自車両12の周辺環境情報を検出するナビゲーション装置25からの情報、例えば、高速道路、幹線道路、山道等の道路種別情報、又は動物飛び出し注意情報により、現在走行中の周辺環境が歩行者の少ない環境であると判定した場合(上述した第4判定条件の成立時)には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。
【0086】
なお、道路前方を撮像する可視領域撮像装置としてのカラーカメラ16Cを搭載している場合には、自車両12の周辺環境情報として、カラーカメラ16Cで撮像したカラー画像から、動物が飛び出すおそれがあるとの警戒標識をエッジ抽出処理及びパターンマッチング処理等により検出した場合(上述した第5判定条件の成立時)には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。なお、一定条件下では、赤外線カメラ16Lにより動物が飛び出すおそれがあるとの警戒標識を検出することができる。
【0087】
さらにまた、上記した第1〜第4判定条件、第6判定条件、又は第7判定条件が成立した時点から成立している時間の継続時間(連続成立時間)を計時する判定成立継続時間計時部49を備え、継続時間が閾値継続時間以上継続していた場合には、連続継続フラグを立て、この連続継続フラグを降ろす際には、所定のヒステリシス時間(一定時間)を設け、ヒステリシス時間以上、第1〜第3判定条件、又は第5判定条件が非成立とならない限り、連続成立時間が中断した場合であっても、前記中断時には、警報対象の設定を歩行者候補62から動物候補162に変更した状態に保持するようにしておくことが好ましい。なお、上記のヒステリシス時間も、道路の種別情報等に応じて変更してもよい。
【0088】
また、上述した実施形態においては、警報と共に、運転者の注意が平均的に長い時間払われる計器盤34中のMID28に、接触可能性の注意レベルの最も高い(最優先度の)監視対象物をアイコン(歩行者アイコンHi又は動物アイコンAi)により、走行路中の左側に存在するのか、中央に存在するのか、又は右側に存在するのかを表示するようにしたので、運転者は、一目で監視対象物の存在、ならびに監視対象物が歩行者であるのか動物であるのかを把握することができる。MID28中へのアイコンによる表示と共に、汎用ディスプレイ26のグレースケール画像200、202中に監視対象物を強調枠(赤色枠80等)で囲って表示するようにしたので、運転者は、必要に応じてグレースケール画像200、202を参照して、実際の歩行者あるいは実際の動物を視認することができる。
【0089】
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
【符号の説明】
【0090】
10…車両周辺監視装置 12…車両(自車両)
14…画像処理ユニット 16L、16R…赤外線カメラ
16C…カラーカメラ 26…汎用ディスプレイ
28…MID 44…警報対象設定部
46…警報対象変更部
【技術分野】
【0001】
この発明は、車両に搭載された撮像装置から出力される撮像信号に基づいて、前記車両の周辺における監視対象物を検知し、前記監視対象物との接触可能性の注意レベルに応じて警報対象とするか否かを判定する車両周辺監視装置に関し、特に夜間や暗所等での走行時に適用して好適な車両周辺監視装置に関する。
【背景技術】
【0002】
従来から、特許文献1に示すように、赤外線カメラにより捉えられた自車両周辺の画像(グレースケール画像とその2値画像)から、自車両との接触の可能性がある歩行者等の対象物を検知し、検知した対象物を自車両の運転者に提供する車両周辺監視装置が知られている。
【0003】
特許文献1に係る車両周辺監視装置では、左右一組の赤外線カメラ(ステレオカメラ)が撮像した自車両周辺の画像において温度が高い部分を前記対象物として検知すると共に、左右画像中の対象物の視差を求めることにより当該対象物までの距離を算出し、当該対象物の移動方向や当該対象物の位置から、自車両の走行に影響を与えそうな(接触可能性のある)歩行者等の対象物を検出し、前記対象物が撮像されている車両前方の画像を運転席前方のHUD(Head Up Display:ヘッドアップディスプレイ)に表示すると共に、前記画像から検出された前記対象物の画像部位を強調表示し、且つ警報を出力するように構成されている(特許文献1の[0014]、[0015]、[0018]、[0032])。
【0004】
さらに、前記HUDに、歩行者検出機能の動作状態の有無を知らせるアイコンの表示を行う装置も知られている{特許文献2の図6の(a)、(b)}。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−284057号公報
【特許文献2】特開2004−364112号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記従来の車両周辺監視装置では、画像中、接触可能性の注意レベルが最も高い歩行者や動物等の対象物を判定し、他の対象物より強調して、例えば、対象物の画像部位に枠を描画し、運転者に注意喚起情報を提供している。
【0007】
この場合において、歩行者と動物とが同程度の注意レベルであると判定した場合、従来は、常時、歩行者を優先して注意喚起を行うようにしている。
【0008】
ところで、例えば、高速道路や田舎道、山道のような周辺環境状況下の場所では、たとえ歩行者が存在していても、走行している車両の速度が比較的高いため、歩行者が車両の直前を横断するような行動をとることはなく、又、歩行者が存在する頻度も低い。これに対して、上述した周辺環境状況下の場所では、動物の出現頻度が高い場合があり、且つ、動物は、不規則な行動をするため、接触可能性の注意レベル(危険度)が高くなる。
【0009】
しかしながら、同程度の注意レベルの場合に、従来技術のように、歩行者を優先させて注意喚起情報の提供を行うと、例えば、高速道路や田舎道、山道のような周辺環境状況下の場所で、より注意が必要な動物の存在を見落とすこと、もしくは発見することが遅れるという不都合がある。
【0010】
この発明は、このような課題を考慮してなされたものであって、歩行者と動物に対する接触可能性の注意レベルが同等である場合に、状況に応じて動物を警報対象とすることを可能とする車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
この発明に係る車両周辺監視装置は、車両に搭載された撮像装置により撮像した画像を用いて、歩行者と動物に対する接触可能性を検出し、検出した前記接触可能性の注意レベルに応じて警報対象とするか否かを判定する車両周辺監視装置において、前記歩行者と前記動物とが前記警報対象と判定する同等の注意レベルを有していた場合に、デフォルト(初期設定)では、前記歩行者を前記警報対象に設定する警報対象設定部と、前記警報対象と判定する同等の注意レベルを有している前記歩行者と前記動物とに対し、自車両の状況及び自車両の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を前記歩行者から前記動物に変更する警報対象変更部と、を備えることを特徴とする。
【0012】
この発明によれば、警報対象と判定する同等の注意レベルを有している歩行者と動物とに対し、自車両の状況及び自車両の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を前記歩行者から前記動物に変更するようにしたので、前記動物の出現頻度が前記歩行者の出現頻度よりも相対的に高い状況下等において、前記動物を優先的に警報対象とすることができるので、危険度の実状に応じた警報対象の設定ができる。
【0013】
この場合、前記自車両の状況として、車速センサにより検出された車速が閾値車速以上である場合、前記警報対象変更部は、高速道路、田舎道、山道等を走行中であるとみなし、このような状況下では、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を前記歩行者から前記動物に変更することが好ましい。
【0014】
また、前記撮像装置が赤外線カメラであり、前記自車両の周辺環境状況として、前記画像の分散値を算出する分散値算出部を備え、前記警報対象変更部は、算出された前記画像の分散値が閾値分散値以下である場合には、前記警報対象の設定を前記歩行者から前記動物に変更することが好ましい。すなわち、赤外線画像の分散値は、通常、田舎道及び山道等走行時が、市街地の道路走行時よりも低いという知見に基づく。よって、田舎道、山道等では、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を前記歩行者から前記動物に変更することが好ましい。
【0015】
さらに前記自車両の周辺環境状況として、前記撮像装置により撮像した画像から検出される、前記歩行者及び前記動物以外の対象物の所定時間内の検出回数が所定回数以下である場合には、前記警報対象の設定を前記歩行者から前記動物に変更するようにしてもよい。
【0016】
さらにまた、前記自車両の周辺環境状況として、検出された前記画像中の前記歩行者と前記動物との合計数を参酌し、前記合計数が閾値以下と少ない場合には、市街地の道路走行時ではなく、田舎道、山道等の道路走行時であって、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を前記歩行者から前記動物に変更することが好ましい。
【0017】
さらにまた、前記自車両の周辺環境情報を検出するナビゲーション装置を備え、前記警報対象変更部は、前記ナビゲーション装置の情報、例えば、高速道路、幹線道路、山道等の道路種別情報、又は動物飛び出し注意情報により、現在走行中の周辺環境が歩行者の少ない環境であると判定した場合には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を前記歩行者から前記動物に変更することが好ましい。
【0018】
なお、前記撮像装置が、可視領域撮像装置である場合には、前記警報対象変更部は、前記自車両の周辺環境情報として、前記可視領域撮像装置の画像から、動物が飛び出すおそれがあるとの警戒標識を検出した場合には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を前記歩行者から前記動物に変更することが好ましい。
【0019】
なお、撮像装置が赤外線撮像装置であっても、前記警戒標識に形成されている動物の輪郭が発光素子等で発光している場合には、前記警戒標識を検出することができる。
【0020】
さらにまた、前記警報対象の設定を前記歩行者から前記動物に変更した前記判定の成立時点からの継続時間の計時を行う継続時間計時部をさらに備え、前記判定の成立時点からの前記継続時間が閾値時間以上継続した場合には、その後に、前記判定の成立が一定時間中断した場合であっても、前記中断時には(前記中断は無視して)、前記警報対象の設定を変更後の前記動物に保持しておくことが好ましい。
【発明の効果】
【0021】
この発明によれば、警報対象と判定する同等の注意レベルを有している歩行者と動物とに対し、自車両の状況及び自車両の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を前記歩行者から前記動物に変更するようにしたので、前記動物の出現頻度が前記歩行者の出現頻度よりも相対的に高い状況下等において、前記動物を優先的に警報対象と推定することができるので、危険度の実状に応じた警報対象の設定ができるという効果が達成される。
【図面の簡単な説明】
【0022】
【図1】この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図2】図1に示す車両周辺監視装置が搭載された車両の概略斜視図である。
【図3】図2に示す車両の、運転者側から視た内観図である。
【図4】図4Aは、汎用ディスプレイの第1パネル部の正面図である。図4Bは、MIDの第2パネル部の正面図である。
【図5】図1に示す車両周辺監視装置の動作説明に供されるフローチャートである。
【図6】歩行者検知処理の説明に供される歩行者の画像の模式図である。
【図7】動物検知処理の説明に供される動物の画像の模式図である。
【図8】メモリに記憶された市街地走行時におけるグレースケール画像の模式図である。
【図9】第2パネルへの歩行者アイコンの表示例の説明図である。
【図10】第1パネルへの図8に示したグレースケール画像の表示例の説明図である。
【図11】メモリに記憶された田舎道走行時におけるグレースケール画像の模式図である。
【図12】第2パネルへの動物アイコンの表示例の説明図である。
【図13】第1パネルへの図11に示したグレースケール画像の表示例の説明図である。
【発明を実施するための形態】
【0023】
以下、この発明の実施形態について添付の図面を参照して説明する。
【0024】
図1は、この発明の一実施形態に係る車両周辺監視装置10の構成を示すブロック図である。図2は、図1に示す車両周辺監視装置10が搭載された車両(自車両ともいう。)12の概略斜視図である。図3は、図2に示す車両12の、運転者側から視た内観図である。なお、この車両12は、自動車が右側走行することを取り極められている国の道路を走行している状況を示しており、車両12は左ハンドル車として図示されている。
【0025】
図1及び図2に示すように、車両周辺監視装置10は、この車両周辺監視装置10を制御する画像処理ユニット14と、画像処理ユニット14に接続される左右の赤外線カメラ16R、16L(撮像装置)と、車両12の車速Vsを検出する車速センサ18と、運転者によるブレーキペダルの操作量(以下、単にブレーキ操作量Brという。)を検出するブレーキセンサ20と、車両12のヨーレートYrを検出するヨーレートセンサ22と、音声で警報等を発するためのスピーカ24と、赤外線カメラ16R、16Lから出力された撮像信号に基づく画像を表示する汎用ディスプレイ26(第1表示部;第1パネル部26p等を含む。)と、車両12の運転の際の付随情報を可視化して表示するMID(Multi−Information Display)28(第2表示部;第2パネル部28p等を含む。)を備える。赤外線カメラ16R、16Lから出力された撮像信号に基づく画像(映像)を表示する汎用ディスプレイ26としては、車両12のフロントウインドシールド上、運転者の前方視界を妨げない位置に表示画面が設けられるHUDに代替してもよい。HUDを汎用ディスプレイ26と併設してもよい。
【0026】
画像処理ユニット14は、車両12の周辺の赤外線画像と車両の走行状態(車両の状況)を示す信号(ここでは、車速Vs、ブレーキ操作量Br及びヨーレートYr)とから、車両前方の歩行者や動物等の監視対象物を検出し、当該監視対象物との接触の可能性(の注意レベル)が高いと判断したときにスピーカ24から警報(例えば、ピッ、ピッ、…となる音)を発すると共に、MID28上に接触の可能性の注意レベルが高いと判断した前記監視対象物を表すアイコン(この実施形態では後述するように歩行者アイコン又は動物アイコン)を表示し、且つ汎用ディスプレイ26上にグレースケール表示される撮像画像の中の前記監視対象物を黄色や赤色等の目立つ色枠で囲って表示する。このようにして、運転者の注意を喚起し、運転を支援する。
【0027】
ここで、画像処理ユニット14は、入力されたアナログ信号をデジタル信号に変換する図示しないA/D変換回路等の入力回路と、各種演算処理を実行するCPU14c(中央処理装置)と、画像処理に供される各種データを記憶するための記憶部14mと、クロック(時計部)及びタイマ(計時部)と、スピーカ24の駆動信号、汎用ディスプレイ26及びMID28の表示信号をそれぞれ出力する図示しない出力回路と、をさらに備える。
【0028】
記憶部14mは、デジタル信号に変換された撮像信号(グレースケール画像信号及びその2値化信号)、各種演算処理に供される一時データ等を記憶するRAM(Random Access Memory)、あるいは、実行プログラム、テーブル、マップ、及びテンプレート{歩行者(人体)形状テンプレート:右向き、左向き、正面(背面)向き、動物形状テンプレート:鹿や犬等の右向き、左向き、正面(背面)向き、警戒標識中の動物の輪郭等、人工構造物形状テンプレート:車両形状特徴、電柱形状特徴、道路灯・街灯特徴、壁特徴等}等を記憶するROM(Read Only Memory)等で構成されている。
【0029】
赤外線カメラ16R、16L、車速センサ18、ブレーキセンサ20及びヨーレートセンサ22の各出力信号は、デジタル信号としてCPU14cに供給可能に構成されている。
【0030】
CPU14cは、これらデジタル信号を取り込み、テーブル、マップ、及びテンプレート等を参照しながらプログラムを実行することで、各種機能手段(機能部ともいう。)として機能し、スピーカ24、MID28及び汎用ディスプレイ26に駆動信号(音声信号や表示信号)を送出する。これらの機能は、ハードウエアにより実現することもできる。
【0031】
この実施形態において、画像処理ユニット14は、前記各種機能手段として、それぞれ詳細を後述する対象物検知処理部38、接触可能性の注意レベル判定部(接触可能性判定部又は注意レベル判定部ともいう。)42、警報対象設定部44、警報対象変更部46等を備える。なお、対象物検知処理部38は、歩行者検知処理部39と動物検知処理部40と人工構造物検知処理部41とを有する。また、警報対象変更部46は、画像を構成する画素値の分散値を算出する分散値算出部47と、動物警戒標識検出部48と、後述する判定条件の判定成立継続時間と中断時間を計時する判定成立継続時間計時部49を有する。
【0032】
図2に示すように、撮像装置でありステレオカメラとして機能する赤外線カメラ16R、16Lは、車両12の前部バンパー部に、車両12の車幅方向中心部に対して略対称な位置に配置されている。2つの赤外線カメラ16R、16Lの光軸が互いに平行であって、且つ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ16R、16Lは、監視対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。
【0033】
撮像装置は、図2に示す構成例に限られることなく、種々の構成を採り得る。例えば、撮像手段は、複眼カメラ(ステレオカメラ)であっても単眼カメラ(1つのカメラ)であってもよい。単眼カメラの場合、別の測距手段(レーダ装置)を併せて備えることが好ましい。また、赤外線カメラと共に、あるいは代替して、図1に2点鎖線のブロックで示すように、主に可視光領域の波長を有する光を利用するデジタルカラーカメラ(以下、カラーカメラという。)16Cを用いてもよい。
【0034】
図2及び図3に示すように、ダッシュボード30には、その下部から図示しない運転席の方へ突出するハンドル32が配設されている。ハンドル32の中心位置に揃えた位置であり、且つ、計器盤34の上側近傍のダッシュボード30(あるいは、計器盤34内)の部位には、MID28の第2パネル部28pが配設されている。これにより、運転者は、車両12の前方へ顔を向けた状態のまま、MID28の第2パネル部28pを正視することができる。なお、汎用ディスプレイ26の第1パネル部26pは、ダッシュボード30の所定部位(具体的には、第1パネル部26pの配設位置に対して右方の部位)に配設されている。
【0035】
図4Aは第1パネル部26pの正面図であり、図4Bは第2パネル部28pの正面図である。
【0036】
図4Aに示す第1パネル部26pの略全面には、横方向に長尺な矩形状の第1表示領域70が設けられている。図4Aでは、赤外線カメラ16Lから出力された撮像信号に基づく第1画像72を、第1表示領域70内に表示した状態を表している。第1パネル部26pは、カラー画像又はモノクロ画像が表示可能なモジュールであり、例えば液晶パネル、有機EL(Electro-Luminescence)、無機ELパネル等で構成されてもよい。この場合、汎用ディスプレイ26は、第1パネル部26pを介して、任意の画像、例えば、車両12周辺の第1画像72のみならず、カーナビゲーション用の各種画像(道路地図、サービス情報等)、動画コンテンツ等を表示可能である。
【0037】
図4Bに示す第2パネル部28pの略全面には、横方向に長尺な矩形状の第2表示領域74が設けられている。本図では、第1画像72における所定の特徴部位のみを抽出し適宜変形した第2画像76を、第2表示領域74内に表示した状態を表している。具体例として、第2表示領域74の下方部には、道路アイコン78が表示されている。道路アイコン78は、3本のライン、左から順に、ライン77L、77C、77Rで構成されている。ライン77L、77R間の幅は、遠方位置を想起させる第2表示領域74の上側ほど狭くなっている。すなわち、道路アイコン78の表示により、運転席から前方の直線道路を眺めたときの道路形状に係る左側路側(ライン77L)、中央線(ライン77C)、及び右側路側(ライン77R)を、運転者に観念させることができる。
【0038】
第2パネル部28pは、第1パネル部26pよりも構成が簡便で、且つ、安価な表示モジュールである。MID28は、後述する第2画像76(図9、図12参照)の他、燃費、現在時刻、計器盤34に関する情報等を表示可能である。
【0039】
この実施形態に係る車両周辺監視装置10は、基本的には以上のように構成される。続いて、この車両周辺監視装置10の動作について、図5のフローチャートに沿って、他の図面を適宜参照しながら説明する。
【0040】
まず、ステップS1において、画像処理ユニット14は、車速センサ18により検出される車速Vs等から車両12の走行状態(走行中か停車中)を判定し、停車中(ステップS1:NO)である場合には、処理を停止する。
【0041】
走行中(ステップS1:YES)である場合、ステップS2において、画像処理ユニット14は、赤外線カメラ16R、16Lによりフレーム毎に撮像された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像(グレースケール右画像とグレースケール左画像)を取得し、A/D変換し、各グレースケール画像を画像メモリ(記憶部14m)に格納すると共に、格納したグレースケール画像の2値化処理、すなわち、輝度閾値より明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする2値画像への変換処理を行い、変換した2値画像も前記フレームに対応させてフレーム毎に記憶部14mに格納する。この2値化処理では、人体では、頭部、肩、胴体、及び2本の脚等からなる塊(人体対象物候補)が、「1」の塊(集合体)として検出される。また、犬(小型動物)、鹿(大型動物)等の動物(この実施形態では四つ足動物)でも同様に、頭部、胴体、尾、及び4本の脚等の塊(動物対象物候補)が、「1」の塊(集合体)として検出される。なお、グレースケール右画像とグレースケール左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)等を用いて三角測量の原理により対象物までの距離を算出することができる。
【0042】
次いで、ステップS3において、画像処理ユニット14によりラベリング処理を実施する。このラベリング処理では、上記の人体対象物候補を構成する「1」の塊及び動物対象候補を構成する「1」の塊を、x方向(水平方向)の走査ライン毎にランレングスデータに変換し、y方向(垂直方向)に重なる部分のあるラインを1つの対象物とみなし、当該対象物の外接四角形にそれぞれラベルを付ける、いわゆるラベリング処理を行う。なお、ステップS2及びステップS3の処理後では、未だ、人体であるか動物であるかの識別(検知)はなされていない。
【0043】
次いで、ステップS4にて、対象物検知処理部38を構成する歩行者検知処理部39は、対象物としての歩行者検知処理を実行する。
【0044】
歩行者検知処理部39は、フレームの画像中、ラベルが付けられた図6に示す対象物候補領域52より若干大きいマスク領域53(図6中、一点鎖線で囲んだ領域)に対してマスク領域53内の画素の上側から下側に且つ左側から右側に対して画素値を走査しながら探索していき、暗い領域の「0」画素が連続して続いた場合、その走査部分が画像中の歩行者候補62(頭部54と胴体部60と脚部59とから構成される。)と路面51との境界と判定し、対象物の下端OBbmとする。
【0045】
また、ステップS4にて、歩行者検知処理部39は、対象物の下端OBbmから逆に上側にマスク領域53内の画像に対して左側から右側に画素毎に走査しながら探索していき、垂直方向で輝度の水平エッジ54の変化区間(2値画像では、「1」と「0」の対が概ね連続する区間)を検出した場合、その変化区間の走査部分が歩行者候補62と背景との境界のエッジである対象物の上端OBtmとする。この場合、歩行者候補62であるか否かは、頭部があること、頭部下に胴体部があること、胴体部下に2本足があること、背丈Hmが所定範囲内にあること等、公知の要領にて判定される。
【0046】
ここで、理解の便宜のために、ステップS7の動物検知処理部40により実行される動物検知処理について説明する。
【0047】
動物検知処理部40は、フレームの画像中、図7に示すラベルが付けられた対象物候補領域152より若干大きいマスク領域153(図7中、一点鎖線で囲んだ領域)に対してマスク領域153内の画素の上側から下側に且つ左側から右側に対して画素値を走査しながら探索していき、暗い領域の「0」画素が連続して続いた場合、その走査部分が画像中の動物候補162(頭部154と胴体部160と脚部159とから構成される)と路面51との境界と判定し、対象物の下端OBbaとする。
【0048】
また、同様に、ステップS7にて、動物検知処理部40は、対象物の下端OBbaから逆に上側にマスク領域153内の画像に対して左側から右側に画素毎に走査しながら探索していき、垂直方向で輝度の水平エッジ154の変化区間(2値画像では、「1」と「0」の対が概ね連続する区間)を検出した場合、その変化区間の走査部分が動物候補162と背景との境界のエッジである対象物の上端OBtaとする。
【0049】
なお、歩行者候補62(図6)とするか動物候補162(図7)とするかは、種々の判定の仕方があるが、例えば、背丈について、歩行者の背丈Hm(Hm=OBtm−OBbm:単位は、例えば、画素数)が動物(特に、犬の場合)の背丈Ha(Ha=OBta−OBba:単位は、同様に、画素数)より高い場合には、歩行者候補62と判定する。また、胴体高さbhm、bhaと頭部高さhhm、hhaの比により各閾値と比較して判定することができる。通常、歩行者(人体)の比hhm/bhm(=頭部高さ/胴体高さ)が、犬等の動物の比hha/bha(=頭部高さ/胴体高さ)より小さい。また、4本の足(脚159)を検知したときには動物候補162とし、2本の足(脚59)を検知したときには歩行者候補62とすることができる。横向きが確定できれば頭幅hwm、hwaと全幅Wm、Waの比(hwm/Wm=頭幅/胴体幅又はhwa/Wa=頭幅/全体幅)で判定することもできる。
【0050】
ステップS4の歩行者検知処理に続く、ステップS5において、歩行者候補62が前記ステップS4で検知されたか否かが判定され、検知されていなかった場合には、上述したステップS7の動物検知処理に移行するが、検知されていた場合には、ステップS6にて、接触可能性の注意レベル判定部42が、歩行者優先度判定処理を行う。この歩行者優先度判定処理では、検知された歩行者候補62の中で最も注意レベルの高い歩行者候補62を特定する。
【0051】
具体的には、例えば、各歩行者候補62に対する距離、各歩行者候補62の移動ベクトルを算出し、さらに、ブレーキセンサ20、車速センサ18、及びヨーレートセンサ22の各出力であるブレーキ操作量Br、車速Vs、ヨーレートYrと、に基づき、接触余裕時間TTC(Time To Contact or Time To Collision )を算出し、車両12が各歩行者候補62中、最も接触の可能性の高い歩行者候補62(接触余裕時間TTCの最も短い歩行者候補62)を最も注意レベルの高い(最も優先度の高い)歩行者候補62に決定する。なお、自車両12と歩行者候補62との接触余裕時間TTCを、接触余裕時間TTCpという。
【0052】
次いで、ステップS7にて、上述した動物検知処理を実行し、ステップS8にて、動物候補162がステップS7で検知されたか否かが判定され、検知されていなかった場合には、後述するステップS10の判定処理に移行し、検知されていた場合には、ステップS9にて、接触可能性の注意レベル判定部42が、動物優先度判定処理を行う。この動物優先度判定処理では、ステップS6と同様に、検知された動物候補162の中で最も注意レベルの高い動物候補162を特定する。
【0053】
具体的には、例えば、各動物候補162に対する距離、各動物候補162の移動ベクトルを算出し、さらに、ブレーキセンサ20、車速センサ18、及びヨーレートセンサ22の各出力であるブレーキ操作量Br、車速Vs、ヨーレートYrと、に基づき、接触余裕時間TTC(動物候補162との接触余裕時間TTCを接触余裕時間TTCaという。)を算出し、車両12が各動物候補162中、最も接触の可能性の高い動物候補162(接触余裕時間TTCaの最も短い動物候補162)を最も注意レベルの高い(最も優先度の高い)動物候補162に決定する。
【0054】
次いで、ステップS10において、警報対象設定部44は、ステップS6で検出された最も接触可能性の高い(注意レベルの高い)歩行者候補62と、ステップS9で検出された最も接触可能性の高い(注意レベルの高い)動物候補162とを選択し、注意(優先度)レベルが同じ(同等)であるか否かを判定する。具体的には、最も注意レベルの高い歩行者候補62の接触余裕時間TTCpと最も注意レベルの高い動物候補162の接触余裕時間TTCaとの差が閾値時間ΔTth以内である場合(|TTCp−TTCa|≦ΔTth)には、同じ注意(優先度)レベルにあると判定する。
【0055】
同じ注意レベルの歩行者候補62と動物候補162とが存在する(ステップS10:YES)場合、ステップS11にて、警報対象変更部46は、同じ注意レベルの歩行者候補62と動物候補162に対する優先度判定処理(歩行者・動物優先度判定処理)を行う。この優先度判定処理は、同じ注意レベルの歩行者候補62と動物候補162のうち、いずれの候補を、画像の強調化処理等を行う警報対象{この明細書において、警報には、スピーカ24による警報出力及び(又は)画像強調表示による画像出力が含まれる。}とするかを判定する処理である。
【0056】
警報対象変更部46で実行される優先度判定処理では、警報対象と判定する同等の注意レベルを有する歩行者候補62と動物候補162とに対し、自車両12の状況及び自車両12の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を、デフォルト(初期設定)の歩行者候補62から動物候補162に変更するか否かの判定処理が実施される。
【0057】
具体的には、以下に説明する第1〜第7判定条件のうち、いずれか1つの判定条件に合致した場合には、同一の注意レベルにある前記警報対象の設定を、デフォルトの歩行者候補62から動物候補162変更する。
【0058】
第1判定条件は、自車両12の状況として、車速センサ18により検出された車速Vsが閾値車速Vsth以上である(Vs≧Vsth)場合、自車両12の走行中の道路が、高速道路、田舎道、又は山道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。
【0059】
第2判定条件は、自車両12の周辺環境状況として、赤外線カメラ16Lにより撮像された画像(グレースケール画像)を構成する画素値の分散値Varを算出する分散値算出部47で算出された前記画像の分散値Varが閾値分散値Varth以下である(Var≦Varth)場合、自車両12の走行中の道路が、市街地の道路ではなく、田舎道、又は山道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。
【0060】
第3判定条件は、自車両12の周辺環境状況として、赤外線カメラ16Lにより撮像された画像から前記歩行者候補62及び前記動物候補162以外の特定対象物、例えば、車両、壁、道路灯・街灯、電柱等の人工構造物に対する所定時間内の検出回数が所定回数以下である場合には、自車両12の走行中の道路が、市街地の道路ではなく、田舎道、又は山道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。なお、人工構造物検知処理部41による人工構造物検知処理は、例えば、ステップS10処理の直前に実施すればよい。
【0061】
第4判定条件は、自車両12の周辺環境状況として、歩行者検知処理部39及び動物検知処理部40により検知された前記画像中の歩行者候補62と動物候補162との合計数σを参酌し、合計数σが閾値σth以下(σ≦σth)と少ない場合には、自車両12の走行中の道路が市街地の道路ではなく、田舎道、又は山道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。
【0062】
第5判定条件は、自車両12の当該位置あるいは進行方向の周辺環境情報を提供するナビゲーション装置25からの情報、例えば、高速道路、幹線道路、山道等の道路種別情報、又は動物飛び出し注意情報が検出されたとき、現在走行中の周辺環境が歩行者の少ない環境であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更する。
【0063】
第6判定条件は、動物警戒標識検出部48により、赤外線カメラ16Lにより撮像した前記画像から、テンプレートマッチング等により動物が飛び出すおそれがあるとの警戒標識を検出した場合には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を警報対象の設定を歩行者候補62から動物候補162に変更する。なお、撮像装置として、可視領域撮像装置としてのカラーカメラ16Cが搭載されている場合には、動物警戒標識検出部48は、カラーカメラ16Cによるカラーの可視画像から、エッジ抽出及びテンプレートマッチング等により動物が飛び出すおそれがあるとの警戒標識を検出した場合には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定して、同等の注意レベルを有する歩行者候補62と動物候補162に対する警報対象の設定を歩行者候補62から動物候補162に変更するようにしてもよい。
【0064】
第7判定条件は、上記第5判定条件を除く、第1〜第4判定条件、又は第6判定条件の成立時間(継続時間)が閾値継続時間以上継続したことが判定成立継続時間計時部49により計時された場合には、閾値中断時間未満の時間、第1〜第4判定条件、又は第6判定条件の連続成立時間(継続時間)が中断した場合であっても、警報対象を歩行者候補62から動物候補162に変更した状態に保持するようにすることが好ましい。例えば、第1判定条件に係る車速Vsは、田舎道や山道等では、通常は(基本的には)、Vs≧Vsthと高車速で走行しているが道路のアップダウンやカーブ等で一時的に車速VsがVs<Vsthと閾値車速を下回る低車速となることがあるが、このような状況下においては、田舎道や山道等を走行中であることに変わりがないので、警報対象を動物候補162に優先しておくことが好ましいからである。
【0065】
上述したステップS11の歩行者・動物優先度判定処理の後、又はステップS10の判定が否定的であるとき、ステップS12にて、検出された最優先度警報対象(最優先度対象物)の強調処理を行う。
【0066】
ここで、同等の注意レベルを有する歩行者候補62と動物候補162が画像中に存在する場合の最優先度警報対象の強調処理の具体例について説明する。
【0067】
図8は、記憶部14mにデジタル信号として取り込まれた、赤外線カメラ16Lで「市街地」を撮像したグレースケール画像200の表示を示している。
【0068】
この市街地のグレースケール画像200中には、道路Rdを横断中の動物候補162と、この動物候補162を散歩させて横断中の歩行者候補62が存在している。
【0069】
この場合、道路Rdの略中央に存在する歩行者候補62と動物候補162に対する接触可能性の注意レベルは同等と判定されるが、警報対象の設定をデフォルトの歩行者候補62から動物候補162に変更する上述した第1〜第6判定条件のいずれにも当てはまらないので、警報対象は、デフォルトの歩行者候補62に設定される。すなわち、市街地では、比較的に大きな犬等の動物は、野良犬ではなく、散歩されている動物が多く、このような散歩動物は、リード等により歩行者に行動を抑制されているので、接触可能性(危険度)が、歩行者に比較して低いといえるので、警報対象の設定を歩行者候補62とする。
【0070】
この場合、MID28の第2パネル部28pの表示を、燃費等の通常表示から、図9に示す警報表示の第2画像76に切り換える。この場合、画像処理ユニット14(最優先度対象物の強調化処理部を兼用する。)は、グレースケール画像200中、道路Rdの中央領域(グレースケール画像200の中央1/3の領域)に存在する歩行者候補62(図8)の位置に対応させて、ライン77Cの位置(中央位置)に、目立つ色(ここでは黄色)で歩行者アイコンHiを表示させると共に、スピーカ24を通じて警報を発生し、運転者に注意を促す。なお、ライン77L、77C、77Rの色は白色である。第2画像76の背景色は、黒色になっている。
【0071】
歩行者候補62の位置が、道路Rdの中央領域ではなく、道路Rdの右側領域(グレースケール画像200の右側1/3の領域)に存在する場合には、ライン77Rの上部に歩行者アイコンHiを表示させ、また、グレースケール画像200中、歩行者候補62の位置が道路Rdの左側領域(グレースケール画像200の左側1/3の領域)に存在する場合には、ライン77Lの上部に歩行者アイコンHiを表示させる。
【0072】
さらに、MID28上への歩行者アイコンHiの警報表示と同時に、ナビゲーション装置25の汎用ディスプレイ26を構成する第1パネル部26pの第1画像72を、地図等の通常表示から、図10に示すように、図8に示したグレースケール画像200に対応するグレースケール画像(赤外線映像)200Aの警報表示(強調化表示)に切り換える。このとき、歩行者候補62は、最も危険度の高いことを運転者に注意喚起する目立つ色である赤色枠80で囲って表示し、動物候補162は注意を喚起する目立つ色である黄色枠82で囲って表示する。
【0073】
次に、図11に示すように、記憶部14mにデジタル信号として取り込まれた、グレースケール画像202が、赤外線カメラ16Lで「田舎道」を撮像したグレースケール画像である場合について説明する。
【0074】
この田舎道のグレースケール画像202中には、道路Rdを横断中の動物候補162と、歩行者候補62が存在している。
【0075】
この場合、道路Rdの略中央に存在する動物候補162と道路Rdの右側に存在する歩行者候補62に対する接触可能性の注意レベルは、同等と判定されるが、上述した第1〜第6判定条件の少なくとも1つの条件に合致するので、警報対象変更部46により、警報対象の設定がデフォルトの歩行者候補62から動物候補162に変更される。上述したように、田舎道や高速道路等では、動物は大小様々で野良動物(野生動物)が多いため、行動が読めずに、接触可能性の注意レベル、換言すれば危険度が高い。これに対して、歩行者は、走行している車両12の車速が比較的に高いために行動が規制され、接触可能性の注意レベル、換言すれば危険度は低いといえるので、警報対象の設定を動物候補162とする。
【0076】
この場合、MID28の第2パネル部28pの表示を、燃費等の通常表示から、図12に示す警報表示の第2画像76に切り換える。画像処理ユニット14(最優先度対象物の強調化処理部を兼用する。)は、グレースケール画像202中、道路Rdの中央領域(グレースケール画像200の中央1/3の領域)に存在する動物候補162(図11)の位置に対応させて、ライン77Cの位置(中央位置)に、目立つ色(ここでは黄色)で動物アイコンAiを表示させると共に、スピーカ24を通じて警報を発生し、運転者を注意喚起する。
【0077】
また、MID28上への動物アイコンAiの警報表示と同時に、ナビゲーション装置25の汎用ディスプレイ26を構成する第1パネル部26pの第1画像72を、地図等の通常表示から、図13に示すように、図11に示したグレースケール画像202に対応するグレースケール画像(赤外線映像)202Aの警報表示(強調表示)に切り換える。このとき、動物候補162は、危険度の高いことを運転者に注意喚起する目立つ色である赤色枠80で囲って表示し、歩行者候補62は注意を促す目立つ色である黄色枠82で囲って表示する。
【0078】
[実施形態の概要]
以上説明したように、上述した実施形態に係る車両周辺監視装置10は、車両12に搭載された撮像装置である赤外線カメラ16R、16L等により撮像した画像を用いて、歩行者と動物に対する接触可能性を検出し、検出した前記接触可能性の注意レベルに応じて警報対象とするか否かを判定する。
【0079】
この場合、車両周辺監視装置10は、記憶部14mに記憶されたグレースケール画像200、202中の歩行者候補62と動物候補162とが前記警報対象と判定する同等の注意レベルを有していた場合に、デフォルトでは、歩行者候補62を前記警報対象に設定する警報対象設定部44と、前記警報対象と判定する同等の注意レベルを有している歩行者候補62と動物候補162とに対し、自車両12の状況及び自車両12の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を歩行者候補62から動物候補162に変更する警報対象変更部46と、を備える。
【0080】
このように、警報対象と判定する同等の注意レベルを有している歩行者候補62と動物候補162とに対し、自車両12の状況及び自車両12の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を歩行者候補62から動物候補162に変更するようにしたので、動物の出現頻度が歩行者の出現頻度よりも相対的に高い状況下等において、動物を優先的に警報対象とすることができ、危険度の実状に応じた警報対象の設定が可能となる。
【0081】
この場合、前記の自車両12の状況としては、車速センサ18により検出された車速Vsが閾値車速Vsth以上である場合、高速道路、田舎道、山道等を走行中であると見なし(上述した第1判定条件の成立)、このような状況下では、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。なお、閾値車速Vsthは、ナビゲーション装置25や路側放送等の情報により道路の種別(高速道路あるいは田舎道等)が判然とする場合には、判然とした道路の種別に応じて、例えば、高速道路では田舎道より閾値車速Vsthを高くする等、変更してもよい。
【0082】
また、自車両12の周辺環境状況としては、赤外線カメラ16Lで撮像されたグレースケール画像200、202の分散値Varを算出する分散値算出部47を備え、警報対象変更部46は、算出された分散値Varが閾値分散値Varth以下である場合(上述した第2判定条件の成立時)には、前記警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。すなわち、赤外線画像であるグレースケール画像200、202の分散値Varは、田舎道走行時(図11参照)及び山道等走行時が、市街地の道路走行時(図8参照)よりも低い。田舎道、山道等では、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。閾値分散値Varthも例えば夕暮れ時と真夜中時等とで変更してもよい。
【0083】
さらに、自車両12の周辺環境状況としては、赤外線カメラ16Lで撮像されたグレースケール画像200、202から歩行者候補62及び動物候補162以外の特定対象物、例えば、道路灯・街灯等の人工構造物に対する所定時間内の検出回数が所定回数以下である場合には、田舎道等であるとみなし、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。
【0084】
さらにまた、自車両12の周辺環境状況として、検出されたグレースケール画像200、202中の歩行者候補62と動物候補162との合計数σを参酌し、合計数σが閾値σth以下と少ない場合(上述した第3判定条件の成立時)には、市街地の道路走行時ではなく、田舎道、山道等の道路走行時であって、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。合計数σの閾値σthも、例えば道路混雑状況に応じて変更してもよい。
【0085】
さらに、自車両12の周辺環境情報を検出するナビゲーション装置25からの情報、例えば、高速道路、幹線道路、山道等の道路種別情報、又は動物飛び出し注意情報により、現在走行中の周辺環境が歩行者の少ない環境であると判定した場合(上述した第4判定条件の成立時)には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。
【0086】
なお、道路前方を撮像する可視領域撮像装置としてのカラーカメラ16Cを搭載している場合には、自車両12の周辺環境情報として、カラーカメラ16Cで撮像したカラー画像から、動物が飛び出すおそれがあるとの警戒標識をエッジ抽出処理及びパターンマッチング処理等により検出した場合(上述した第5判定条件の成立時)には、歩行者が飛び出してくる可能性より動物が飛び出してくる可能性が高いと推定し、警報対象の設定を歩行者候補62から動物候補162に変更することが好ましい。なお、一定条件下では、赤外線カメラ16Lにより動物が飛び出すおそれがあるとの警戒標識を検出することができる。
【0087】
さらにまた、上記した第1〜第4判定条件、第6判定条件、又は第7判定条件が成立した時点から成立している時間の継続時間(連続成立時間)を計時する判定成立継続時間計時部49を備え、継続時間が閾値継続時間以上継続していた場合には、連続継続フラグを立て、この連続継続フラグを降ろす際には、所定のヒステリシス時間(一定時間)を設け、ヒステリシス時間以上、第1〜第3判定条件、又は第5判定条件が非成立とならない限り、連続成立時間が中断した場合であっても、前記中断時には、警報対象の設定を歩行者候補62から動物候補162に変更した状態に保持するようにしておくことが好ましい。なお、上記のヒステリシス時間も、道路の種別情報等に応じて変更してもよい。
【0088】
また、上述した実施形態においては、警報と共に、運転者の注意が平均的に長い時間払われる計器盤34中のMID28に、接触可能性の注意レベルの最も高い(最優先度の)監視対象物をアイコン(歩行者アイコンHi又は動物アイコンAi)により、走行路中の左側に存在するのか、中央に存在するのか、又は右側に存在するのかを表示するようにしたので、運転者は、一目で監視対象物の存在、ならびに監視対象物が歩行者であるのか動物であるのかを把握することができる。MID28中へのアイコンによる表示と共に、汎用ディスプレイ26のグレースケール画像200、202中に監視対象物を強調枠(赤色枠80等)で囲って表示するようにしたので、運転者は、必要に応じてグレースケール画像200、202を参照して、実際の歩行者あるいは実際の動物を視認することができる。
【0089】
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
【符号の説明】
【0090】
10…車両周辺監視装置 12…車両(自車両)
14…画像処理ユニット 16L、16R…赤外線カメラ
16C…カラーカメラ 26…汎用ディスプレイ
28…MID 44…警報対象設定部
46…警報対象変更部
【特許請求の範囲】
【請求項1】
車両に搭載された撮像装置により撮像した画像を用いて、歩行者と動物に対する接触可能性を検出し、検出した前記接触可能性の注意レベルに応じて警報対象とするか否かを判定する車両周辺監視装置において、
前記歩行者と前記動物とが前記警報対象と判定する同等の注意レベルを有していた場合に、デフォルトでは、前記歩行者を前記警報対象に設定する警報対象設定部と、
前記警報対象と判定する同等の注意レベルを有している前記歩行者と前記動物とに対し、自車両の状況及び自車両の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を前記歩行者から前記動物に変更する警報対象変更部と、
を備えることを特徴とする車両周辺監視装置。
【請求項2】
請求項1記載の車両周辺監視装置において、
前記自車両の状況として、当該自車両の車速を検出する車速センサを備え、
前記警報対象変更部は、前記車速センサにより検出された前記車速が閾値車速以上である場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項3】
請求項1記載の車両周辺監視装置において、
前記撮像装置が赤外線カメラであり、
前記自車両の周辺環境状況として、前記画像の分散値を算出する分散値算出部を備え、
前記警報対象変更部は、
算出された前記画像の分散値が閾値分散値以下である場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項4】
請求項1記載の車両周辺監視装置において、
前記警報対象変更部は、
前記自車両の周辺環境状況として、前記撮像装置により撮像した画像から検出される、前記歩行者及び前記動物以外の対象物の所定時間内の検出回数が所定回数以下である場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項5】
請求項1記載の車両周辺監視装置において、
前記警報対象変更部は、
前記自車両の周辺環境状況として、検出された前記画像中の前記歩行者と前記動物との合計数を参酌し、前記合計数が閾値以下である場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項6】
請求項1記載の車両周辺監視装置において、
さらに、前記自車両の周辺環境情報を検出するナビゲーション装置を備え、
前記警報対象変更部は、
前記ナビゲーション装置の情報から現在走行中の周辺環境が歩行者の少ない環境であると判定した場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項7】
請求項1記載の車両周辺監視装置において、
前記警報対象変更部は、前記自車両の周辺環境情報として、前記撮像装置により撮像した前記画像から、動物が飛び出すおそれがあるとの警戒標識を検出した場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項8】
請求項1〜4、6、7のいずれか1項に記載の車両周辺監視装置において、
前記警報対象の設定を前記歩行者から前記動物に変更した前記判定の成立時点からの継続時間の計時を行う継続時間計時部をさらに備え、前記判定の成立時点からの前記継続時間が閾値時間以上である場合には、その後に、前記判定の成立が一定時間中断した場合であっても、前記中断時には前記警報対象の設定を変更後の前記動物に保持しておく
ことを特徴とする車両周辺監視装置。
【請求項1】
車両に搭載された撮像装置により撮像した画像を用いて、歩行者と動物に対する接触可能性を検出し、検出した前記接触可能性の注意レベルに応じて警報対象とするか否かを判定する車両周辺監視装置において、
前記歩行者と前記動物とが前記警報対象と判定する同等の注意レベルを有していた場合に、デフォルトでは、前記歩行者を前記警報対象に設定する警報対象設定部と、
前記警報対象と判定する同等の注意レベルを有している前記歩行者と前記動物とに対し、自車両の状況及び自車両の周辺環境状況の少なくとも1つを参酌して、前記警報対象の設定を前記歩行者から前記動物に変更する警報対象変更部と、
を備えることを特徴とする車両周辺監視装置。
【請求項2】
請求項1記載の車両周辺監視装置において、
前記自車両の状況として、当該自車両の車速を検出する車速センサを備え、
前記警報対象変更部は、前記車速センサにより検出された前記車速が閾値車速以上である場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項3】
請求項1記載の車両周辺監視装置において、
前記撮像装置が赤外線カメラであり、
前記自車両の周辺環境状況として、前記画像の分散値を算出する分散値算出部を備え、
前記警報対象変更部は、
算出された前記画像の分散値が閾値分散値以下である場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項4】
請求項1記載の車両周辺監視装置において、
前記警報対象変更部は、
前記自車両の周辺環境状況として、前記撮像装置により撮像した画像から検出される、前記歩行者及び前記動物以外の対象物の所定時間内の検出回数が所定回数以下である場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項5】
請求項1記載の車両周辺監視装置において、
前記警報対象変更部は、
前記自車両の周辺環境状況として、検出された前記画像中の前記歩行者と前記動物との合計数を参酌し、前記合計数が閾値以下である場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項6】
請求項1記載の車両周辺監視装置において、
さらに、前記自車両の周辺環境情報を検出するナビゲーション装置を備え、
前記警報対象変更部は、
前記ナビゲーション装置の情報から現在走行中の周辺環境が歩行者の少ない環境であると判定した場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項7】
請求項1記載の車両周辺監視装置において、
前記警報対象変更部は、前記自車両の周辺環境情報として、前記撮像装置により撮像した前記画像から、動物が飛び出すおそれがあるとの警戒標識を検出した場合には、前記警報対象の設定を前記歩行者から前記動物に変更する
ことを特徴とする車両周辺監視装置。
【請求項8】
請求項1〜4、6、7のいずれか1項に記載の車両周辺監視装置において、
前記警報対象の設定を前記歩行者から前記動物に変更した前記判定の成立時点からの継続時間の計時を行う継続時間計時部をさらに備え、前記判定の成立時点からの前記継続時間が閾値時間以上である場合には、その後に、前記判定の成立が一定時間中断した場合であっても、前記中断時には前記警報対象の設定を変更後の前記動物に保持しておく
ことを特徴とする車両周辺監視装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−92992(P2013−92992A)
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願番号】特願2011−236219(P2011−236219)
【出願日】平成23年10月27日(2011.10.27)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願日】平成23年10月27日(2011.10.27)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
[ Back to top ]