車両周辺監視装置
【課題】人体等の生体(哺乳動物)の温度に近いコンクリート等の壁等が電柱等により遮られた場合に発生する非生体(前記コンクリート等の壁)を生体と誤検知してしまうことを防止する車両周辺監視装置を提供する。
【解決手段】探索マスク領域101内に含まれる生体候補の形状の時間変化が所定以下であるとみなしたとき、生体候補を生体として認識するようにしたので、人体等の生体(哺乳動物)の温度に近いコンクリート等の壁等が電柱等により遮られた場合に遮られなかった人体サイズに近似する領域を生体と誤検知してしまうという不都合を防止できる。電柱等のオクルージョン物体に遮られた壁等で遮られなかった領域は、画像上、実空間上の形状が時間変化するのに対して、人体等の生体は、時間変化がないという知見も基づき誤検知を防止する。
【解決手段】探索マスク領域101内に含まれる生体候補の形状の時間変化が所定以下であるとみなしたとき、生体候補を生体として認識するようにしたので、人体等の生体(哺乳動物)の温度に近いコンクリート等の壁等が電柱等により遮られた場合に遮られなかった人体サイズに近似する領域を生体と誤検知してしまうという不都合を防止できる。電柱等のオクルージョン物体に遮られた壁等で遮られなかった領域は、画像上、実空間上の形状が時間変化するのに対して、人体等の生体は、時間変化がないという知見も基づき誤検知を防止する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、カメラ画像(赤外線カメラの画像又は通常の可視領域を撮像するビデオカメラの画像)及びレーダによって対象物の抽出を行う車両周辺監視装置に関する。
【背景技術】
【0002】
従来から、例えば車両前部の車幅方向中央付近の上下位置(バンパーやフロントグリル部)にレーダと赤外線カメラを取り付け、レーダにより車両前方に位置する物体(他車両、電柱、塀、人等)の距離と方位を検出するとともに、赤外線カメラによる赤外線画像によりテールランプやヘッドランプの温度の高い部分を結んだ点列データの特徴から物体が車両であるとの種別を判別する物体種別判別装置が提案されている(特許文献1)。
【0003】
特許文献1によれば、物体には、例えば、人、車両、建築物等の様々な種別のものが含まれる。このとき、人等の生体は、一般に複雑な曲面体形状で構成されるのに対して、車両等の人工構造物は、複数の頂点を結ぶ直線の線と、その辺に囲まれた面によって構成される多面体形状(特に、直方体形状)で構成されることが多いと記載されている。
【0004】
また、車両周辺監視装置では、赤外線カメラにより捉えられた自車両周辺の画像(グレースケール画像とその2値化画像)から、自車両との接触の可能性がある歩行者等の対象物の情報を抽出し、その情報を自車両の運転者に提供することが公知である(特許文献2)。
【0005】
特許文献2に係る車両周辺監視装置では、左右一組の赤外線カメラ(ステレオカメラ)により撮影した自車両周辺の画像において温度が高い部分を対象物にすると共に、左右画像中の対象物の視差を求めることにより対象物までの距離を算出し、対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな歩行者等の対象物を検出して警報を出力するとともに、赤外線カメラによる得られる対象物の画像を運転者が見られるようにHUD(Head−Up Display)に表示している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−192430号公報([0008]、[0053])
【特許文献2】特許第3934119号公報([0051]、[0064]、[0107]、[0108])
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記した特許文献2に係る車両周辺監視装置は、夜間走行時に、対象物として検出した見えにくい前方の歩行者を映像で表示することができる。
【0008】
特に、特許文献2に係る車両周辺監視装置では、車両周囲が降雨状態ではない場合は、従来通り歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴についての形状判定により対象物から歩行者を認識する一方、車両周囲が降雨状態であるために、歩行者が傘を差していて、歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴が赤外線カメラにより捉えられていない場合には、グレースケール画像中の歩行者の脚部の存在か、あるいは歩行者が差している傘の存在を確かめて、歩行者を認識する。
【0009】
この特許文献2に係る技術において、グレースケール画像中の歩行者の脚部の存在を確かめて歩行者を認識する場合は、具体的には、図9に示すように、目的とする検出対象物100の実空間での横幅Wreal(不図示)が歩行者(図9中、点線で囲った領域)の脚部として適当な横幅wbであるという条件と、目的の検出対象物100が縦長形状(wb<hb=縦幅)であるという条件と、目的の検出対象物100の下端位置が探索マスク領域101の下部(下半分)側に存在するという条件と、目的の検出対象物100に時系列的な輝度変化があるという条件とを全て満足する場合に、目的の検出対象物100が歩行者の脚部であり、検出された対象物が歩行者であると認識する。
【0010】
なお、探索マスク領域101の大きさは、検出対象物100の外接四角形200の大きさより縦方向及び横方向で若干大きくした大きさ{縦幅(hg)×横幅(wg)}に設定される。
【0011】
ところで、特許文献2のように、赤外線カメラ搭載位置と対象物との間の距離を視差に基づいて、検出対象物を検出する場合には、2台の赤外線カメラを搭載することによるコストアップを伴い、さらに、両カメラの光軸調整を厳密に行わなければならない等の煩雑な据え付け作業が必要になるという不都合がある。
【0012】
そこで、特許文献1のように、レーダと赤外線カメラを搭載して、特許文献2のように、歩行者等の人体対象物を検出することができれば、コストの低減された車両周辺監視装置を製造することができると考えられる。
【0013】
この場合、図10のイメージ図に示すように、図示しない車両の先端部に取り付けられたレーダは、道路104の路側に沿って配置される電柱、街路樹、標識のポール等の柱状構造物106、108の位置方位を計測することができる。
【0014】
ところが、柱状構造物106、108の間に、周囲温度の影響により人体の温度に近い温度になり、かつ冷めにくいコンクリート製の塀110等が存在する場合、この塀110は、レーダにも捉えられるが、赤外線カメラによるグレースケール画像上で、柱状構造物106、108の表面間の距離wxが、オクルージョン(occlusion)物体である柱状構造物106、108により遮られて人体の脚幅と同等程度となったとき、図9に示した探索マスク領域101が設定され、コンクリートの塀110の壁面116を歩行者であると誤検知(誤判定)してしまう可能性があり、誤検知してしまうと、スピーカやHUDを利用して警報や映像表示を行うことから運転者に不必要で過剰な注意喚起を行ってしまうという不都合が発生し、改善の余地がある。
【0015】
この発明はこのような課題を考慮してなされたものであり、人体等の生体(哺乳動物)の温度に近いコンクリート等の壁等が、電柱、街路樹、標識のポール等のオクルージョン物体により遮られた場合に、前記壁等の遮られなかった領域に発生する生体のサイズに近似する領域(非生体)を生体として誤検知してしまうという不都合を防止することを可能とする車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【0016】
この発明に係る車両周辺監視装置は、車両に搭載される車両周辺監視装置において、車両周辺の画像を取得する撮像部と、車両周辺に存在する物体の位置を検出するレーダと、前記撮像部が取得した前記画像に前記レーダが検出した前記物体の位置を反映させ、当該物体の位置に検出対象物である生体のサイズよりも高さ又は幅の少なくとも一方が大きく設定された探索マスク領域を設定するマスク設定部と、前記探索マスク領域内に含まれる生体候補を抽出する生体候補抽出部と、を備える車両周辺監視装置であって、前記生体候補の形状の時間変化を検出する時間変化検出部と、検出している前記生体候補の形状の時間変化があるか否かを判定し、時間変化が所定以下であるとき、前記生体候補を生体として認識する生体認識部と、を備えることを特徴とする。
【0017】
この発明によれば、探索マスク領域内に含まれる生体候補の形状の時間変化が所定以下であるとき、前記生体候補を生体として認識するようにしたので、人体等の生体(哺乳動物)の温度に近いコンクリート等の壁等が電柱等柱状構造物等のオクルージョン物体により遮られた場合に、前記壁等の遮られなかった領域に発生する生体のサイズに近似する領域(非生体)を生体として誤検知してしまうという不都合を防止することができる。
【0018】
この発明では、電柱等のオクルージョン物体に遮られた壁等の遮られなかった領域は、車両の移動に伴い、実空間上の形状が時間変化するのに対して、人体等の生体は、車両が移動しても時間変化がないという知見を利用して誤検知を回避している。
【0019】
この場合、さらに、検出対象物のサイズを検出するサイズ検出・判別部を設け、前記レーダが検出した前記物体の位置に存在する前記撮像部により検出された検出対象物のサイズが、下限閾値以下のサイズ又は上限閾値以上のサイズであると判別した場合には、前記マスク設定部、前記生体候補抽出部、時間変化検出部、及び生体認識部による各処理を行わないようにすることで、車両周辺監視装置の処理量を低減させることができる。
【0020】
また、前記生体候補抽出部は、前記探索マスク領域内に含まれる歩行者の脚の特徴を前記生体候補として抽出することで、前記生体候補を容易に抽出することができる。
【0021】
なお、さらに、人工構造物を検出する人工構造物検出部を備え、当該人工構造物検出部が、閾値高さ以上の高さを有する物体を、前記探索マスク領域内またはその近傍に検出した場合、前記生体認識部が前記生体候補を前記生体として認識する信頼性を変更することで、生体を精度よく認識することができる可能性が高くなる。
【0022】
また、前記レーダが、前記探索マスク領域を実空間上に反映させた場合の高さ又は幅方向の少なくとも一方よりも大きなサイズの物体を検出した場合には、前記生体候補の抽出を中断することで、車両周辺監視装置の処理量を低減することができる。
【0023】
また、前記時間変化検出部は、前記画像により前記マスク領域内の左右に対称性を持つ2つの生体候補を抽出し、時間の経過に伴い、画面中で一方の生体候補の面積が増大し、他方の生体候補の面積が減少した場合、当該生体候補が生体ではないと判定することで、より精度よく生体を認識することができる。
【0024】
前記撮像部は、グレースケール画像を取得する赤外線カメラとすることが好ましい。
【発明の効果】
【0025】
この発明によれば、探索マスク領域内に含まれる生体候補の形状の大きさの時間変化が所定以下であるとき、前記生体候補を生体として認識するようにしたので、人体等の生体(哺乳動物)の温度に近いコンクリート等の壁等が電柱等のオクルージョン物体により遮られた場合に、前記壁等の遮られなかった領域に発生する生体のサイズに近似する領域(非生体)を生体と誤検知してしまうという不都合を防止することができる。これにより、スピーカ等で運転者に対して不必要で過剰な注意喚起を行ってしまう不都合を未然に防止することができる。
【図面の簡単な説明】
【0026】
【図1】この発明の実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図2】図1例の車両周辺監視装置が搭載された車両の模式的斜視図である。
【図3】図1例の車両周辺監視装置の動作説明に供されるフローチャートである。
【図4】オクルージョン物体で遮られた塀と車両との関係を示す平面的模式図である。
【図5】壁の一部を歩行者脚部と誤判定してしまう処理の説明図である。
【図6】図6Aは、非生体を含むグレースケール画像の時間変化の説明図、図6Bは、検出対象物の横幅に時間変化があること示す説明図である。
【図7】図7Aは、生体を含むグレースケール画像の時間変化の説明図、図7Bは、検出対象物の横幅に時間変化がないことを示す説明図である。
【図8】2つの柱状構造物間に存在する壁面を歩行者ではないと判定する処理の説明図である。
【図9】歩行者の脚検知の説明図である。
【図10】2つの柱状構造物間に存在する壁面を歩行者であると誤判定する処理の説明図である。
【発明を実施するための形態】
【0027】
以下、この発明の実施形態について図面を参照して説明する。なお、図8、図9もこの実施形態の図面として利用する。
【0028】
図1は、この発明の実施形態に係る車両周辺監視装置10の構成を示すブロック図である。図2は、図1に示した車両周辺監視装置10が搭載された車両12の模式図である。
【0029】
図1及び図2において、車両周辺監視装置10は、該車両周辺監視装置10を制御する画像処理ユニット14(処理装置)と、この画像処理ユニット14に接続される赤外線カメラ16(撮像装置)及びレーダ装置30(レーダ)と、車両12の車速Vsを検出する車速センサ18と、運転者によるブレーキペダルの操作量(ブレーキ操作量)Brを検出するブレーキセンサ20と、車両12のヨーレートYrを検出するヨーレートセンサ22と、音声で警報等を発するためのスピーカ24(通知部)と、赤外線カメラ16により撮影された画像を表示し、接触の危険性が高い歩行者等の対象物(移動対象物)を車両の運転者に認識させるためのHUD26a等を含む画像表示装置26(通知部)と、を備える。
【0030】
画像表示装置26としては、HUD26aに限らず、ナビゲーションシステムのディスプレイを利用することができる。
【0031】
画像処理ユニット14は、車両12の周辺の赤外線画像と車両の走行状態を示す信号(ここでは、車速Vs、ブレーキ操作量Br及びヨーレートYr)とから、車両前方の歩行者等の動く物体を検出し、接触の可能性が高いと判断したときにスピーカ24を通じて警報を発する。
【0032】
ここで、画像処理ユニット14は、入力アナログ信号をデジタル信号に変換するA/D変換回路、デジタル化した画像信号を記憶する画像メモリ(記憶部14m)、各種演算処理を行うCPU(中央処理装置)14c、CPU14cが演算途中のデータを記憶するために使用するRAM(Random Access Memory)やCPU14cが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Memory)等の記憶部14m、スピーカ24の駆動信号と画像表示装置26の表示信号などを出力する出力回路等を備えており、赤外線カメラ16、レーダ装置30、ヨーレートセンサ22、車速センサ18、及びブレーキセンサ20の各出力信号は、デジタル信号に変換されてCPU14cに入力されるように構成されている。
【0033】
画像処理ユニット14のCPU14cは、これらデジタル信号を取り込んでプログラムを実行することで、後述する各種機能部(機能手段ともいう。)として機能し、スピーカ24及び画像表示装置26に警告に係る駆動信号(音声信号や表示信号)を送出する。
【0034】
赤外線カメラ16は、図2に示すように、自車両12の前部バンパー部の車幅方向中心部に配置される。レーダ装置30は、赤外線カメラ16の略鉛直上方であって、車両12のフロントグリルに配置される。なお、赤外線カメラ16は、遠赤外線を多量に発する人を含む生体を対象物とし、かつその対象物を高輝度部分とするグレースケール画像を出力する。すなわち、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。
【0035】
レーダ装置30は、赤外線カメラ16の水平画角(撮影領域)よりも狭いビーム幅の電波を車両12の前方に送信し、かつ左右方向所定範囲(上記水平画角程度)に走査する。そして、車両前方の物体からの反射波を受信し、反射強度、反射方向と受信時間とから物体の大きさと位置(距離と方向)を検出する。なお、検出対象物である人体対象物の精度の確保された大きさは赤外線カメラ16の画像から検出するように構成されている。
【0036】
HUD26aは、自車両12のフロントウインドシールドの内側で運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【0037】
この実施形態において、CPU14cは、サイズ検出判別部31、マスク設定部32、生体候補抽出部34、時間変化検出部36、生体認識部38、及び人工構造物検出部40等として動作(機能)する。
【0038】
次に、基本的には以上のように構成される車両周辺監視装置10の動作について図面を参照して説明する。
【0039】
図3は、画像処理ユニット14による、人体等の生体(哺乳動物)の温度に近いコンクリート等の壁等が電柱等のオクルージョン物体により遮られた場合に前記壁等の遮られなかった領域(非生体)を生体と誤検知してしまう不都合を防止する等の機能の動作説明に供されるフローチャートである。
【0040】
図3のステップS1において、レーダ装置30は、100[ms]毎に、車両前方の所定範囲を走査し、物体からの反射波を受信し、反射強度、反射方向と受信時間とから物体の大きさ及び位置(レーダ装置30の取り付け位置からの方位と距離)を検出する。また、そのステップS1において、画像処理ユニット14は、100[ms]毎に、赤外線カメラ16によりフレーム毎に撮影した車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、A/D変換し、グレースケール画像をレーダ装置30の検出情報に同期して対応付けて100[ms]毎に画像メモリに格納する。この処理により対象を100[ms]毎に時間追跡することができる。そして、100[ms]以内で、フローチャートのステップS1〜S6の処理を繰り返す。
【0041】
次いで、ステップS2において、赤外線カメラ16により取得したグレースケール画像に、レーダ装置30により検出した物体の位置を反映させ(対照させ)、当該物体の位置に、検出対象物で生体のサイズよりも高さ又は幅の少なくとも一方が高さ閾値範囲外又は幅閾値範囲外の大きさであり、かつグレースケール画像上で生体と検出される閾値輝度以上の輝度を有する物体が存在するかどうかを判定する。
【0042】
この実施形態においては、生体の横幅のサイズの横幅閾値の上限値THwu(上限閾値)と下限値THwl(下限閾値)が、人体を想定し20〜60[cm]程度に設定される。
【0043】
なお、実空間上の対象物の横幅Wrealは、対象物までの実空間上の距離(測距距離)Zrealがレーダ装置30の計測値により分かっているので、グレースケール画像中の横幅をWimage、焦点距離をFとすると、次の(1)式により計算することができる。
Wreal=Wimage×Zreal/F …(1)
【0044】
したがって、ステップS2の判定において、対象物の横幅Wreal(物体の大きさ)が幅閾値の下限値THwl(=20[cm])より小さい又は幅閾値の上限値THwu(=60[cm])より大きい場合には、ステップS3以降の処理を行うことなく、ステップS1の処理に戻る。これにより、車両周辺監視装置10を構成する画像処理ユニット14のCPU14cによる不必要な処理を省略することができ、CPU14cの処理負荷を低減することができる。
【0045】
その一方、ステップS2の判定において、対象物の横幅Wreal(物体の大きさ)が、幅閾値の下限値THwl(=20[cm])より大きく又は幅閾値の上限値THwu(=60[cm])より小さい場合には、次のステップS3において、グレースケール画像上に探索マスク領域101(図9参照)を設定する。
【0046】
探索マスク領域101(hg×wg)は、検出対象物である生体のサイズ(生体のサイズを外接四角形200で近似したサイズ)よりも高さ又は幅の少なくとも一方が大きく設定されている(この実施形態では、高さ×幅=hg×wgと、両方大きく設定している)。
【0047】
次いで、ステップS4において、探索マスク領域101内で、画素の輝度の平均値、輝度分散を求め、探索マスク領域101内での輝度の変化、輝度分散の変化から検出対象物100を検出し、検出対象物100の輝度領域(hb×wb)(この輝度領域は、グレースケール画像の2値化画像から求めてもよい。)が人体の脚領域に相当する大きさの範囲内であるかどうかを判断し(この実施形態では、輝度領域の縦幅hbと横幅wb中、横幅wbが人体の脚に相当する大きさの範囲内であるかどうかを判断し)、人体の脚領域に相当する大きさの範囲内であると判別した場合には、その輝度領域(hb×wb)を生体候補として抽出する。
【0048】
より具体的には、上述した特許文献2に開示されているように、グレースケール画像中の歩行者の脚部の存在を確かめて歩行者を認識する場合は、図9に示すように、目的とする検出対象物100の実空間での幅Wrealが歩行者の脚部として適当な幅であるという条件と、目的の検出対象物100が縦長形状(縦幅hb>横幅wb)であるという条件と、目的の検出対象物100の下端位置が探索マスク領域101の下部(下半分)側に存在するという条件と、目的の検出対象物100に時系列的な輝度変化があるという条件とを全て満足する場合に、目的の検出対象物100が歩行者の脚部であり、検出された対象物が歩行者であると認識する。
【0049】
次に、ステップS5において、探索マスク領域101内の画像中の生体候補の横幅wbと、レーダ装置30による測距距離Zrealと、焦点距離Fとから、上記(1)式に代入した次の(2)式により実空間上の生体候補の横幅WRealを求める。
Wreal=Wimage×Zreal/F …(1)
=wb×Zreal/F …(2)
【0050】
次に、ステップS6において、時間変化検出部36により生体候補の横幅Wrealの時間変化があるか否かを判定する。
【0051】
このステップS6では、生体認識部38は、生体候補の横幅Wrealの時間変化が、所定以下、例えば、数cm程度以内である場合には、時間変化がないとみなし(ステップS6:否定)、生体候補である検出対象物100を生体として認識する。
【0052】
次に、認識した生体候補について、ステップS7において、経時的にフレーム毎に得られるグレースケール画像及びその2値化画像から、当該生体の移動ベクトル(速度と方向)を検出する。また、このステップS7において、ブレーキセンサ20、車速センサ18、及びヨーレートセンサ22の各出力であるブレーキ操作量Br、車速Vs、ヨーレートYrと、ステップS7で認識した対象物である生体との距離Zrealとに基づき、当該車両12の生体認識部38が認識した生体に接触の可能性があるかどうかを判定し、接触の可能性があると判定した場合には、ステップS8において、運転者に情報を提供する。具体的には、当該生体を含むグレースケール画像をHUD26aに表示するとともに、スピーカ24を通じて警報を発生し、車両12の運転者に接触の回避操作を促す。
【0053】
次に、上述した実施形態の作用効果について、模式図及び具体的映像に基づいて説明する。
【0054】
図4に示すように、矢印方向に進行する車両12が時点t0の地点に位置するとき、車両12から概ね距離Z0の位置に存在する柱状構造物112の後方に、例えば、人体の脚長に近似した高さのコンクリート製の塀114があるとき、レーダビームは、角度θ1に対応する分、手前の柱状構造物112により反射され、塀114の壁面116には、角度θ1に対応する分、当たらないので、赤外線カメラ16によるグレースケール画像上の輝度領域部分は、横幅で、右側の横幅wpと左側の横幅wplとが検出される。
【0055】
この場合、時点t0で生体候補の検出処理及び生体の認識処理を行うとすると、時点t0での右側の横幅wpが、ステップS2の判定に係る、幅閾値の下限値THwl(=20[cm])より小さいか、幅閾値の上限値THwu(=60[cm])より大きいか、あるいは、下限閾値THwl〜上限閾値THwu内であるかを判定する。
【0056】
このとき、左側の横幅wplが、wpl>THwuであると、これは生体候補とは検出されない。その一方、右側の横幅wpが、THwl<wp<THwuであると、これは生体候補と検出される。
【0057】
時点t0で生体候補と検出されると、図5のグレースケール画像50に示すように、レーダ装置30により手前の柱状構造物112が測距されているので、距離に応じて、生体のサイズより若干大きめの探索マスク領域101が設定される。このとき、後方の壁面116の右側が横幅wpの脚サイズの対象物118に分断され、生体候補である対象物118が生体として誤認識(誤判定)されてしまう。
【0058】
この誤判定を防止するために、さらに、対象物118の時間変化を時間変化検出部36により検出する。そのため、車両12が、図4に示すように、一定時間経過後の、時点t1の地点に位置するとき、車両12から概ね距離Z1(Z1<Z0)の位置に存在する柱状構造物112の後方にコンクリート製の塀114があるとき、レーダビームは、角度θ2に対応する分、手前の柱状構造物112により反射され、塀114の壁面116には、角度θ2に対応する分、レーダビームが当たらないので、赤外線カメラ16によるグレースケール画像上の輝度領域部分は、時点t0での右側の横幅wpから時点t1の右側の横幅wqに示すように見える領域が変化する。
【0059】
ところが、横幅wqが、生体の横幅相当範囲を上回る大きさ(wq>THwu=幅閾値の上限値)となっていたとすると、生体候補から除外することができる。
【0060】
図5に関連する、実際のシーンデータである赤外線画像並びにレーダ装置30を用いて非生体と生体の検出例(判別例)の作用につき、非生体の場合の図6A、図6B及び生体の場合の図7A、図7Bを参照してさらに説明する。
【0061】
それぞれ、時点t0、t1、t2での探索マスク領域101が設定されたグレースケール画像50、60、52、62、54、64を左側に示す。
【0062】
図6A及び図7Aのグレースケール画像50、60、52、62、54、64の右側に、理解の便宜のために、各画像中の探索マスク領域101(不図示)を含み、より領域の大きい2値化画像50b、60b、52b、62b、54b、64bをそれぞれ表示している。
【0063】
この場合、図6Aのように柱状構造物112に遮られたコンクリートの塀114の壁面が写っている場合には、柱状構造物112に視野が遮られていない右側の領域の横幅wp、wq、wrが、図6Bに示すように、時点t0(0.2[sec])、t1(0.6[sec])、t2(1.0[cm])において、34[cm]、60[cm]、80[cm]と実空間幅が拡大しているので、生体ではなく、非生体であると認識することができる。
【0064】
その一方、図7Aに示すように、人体等の生体が生体候補として検出された場合には、生体の横幅が、車両12が時点t0、t1、t2と接近するに従い、画像上では、横幅w0、w1、w2と変化するが、実空間上の横幅は、44[cm]、45[cm]、46[cm]と殆ど変化せず、数cm以内であるので、生体候補が生体であると認識することができる。
【0065】
さらに、他の実施例を、図8を参照して説明する。
【0066】
この図8例では、矢印方向に車両12が走行する道路脇に沿って、2つの柱状構造物106、108が存在し、その柱状構造物106、108の配置方向に平行に、すなわち、道路に平行にコンクリートの塀110が存在している。この場合、時点t0において赤外線カメラ16で見える壁面の横幅は、角度θ3に係る横幅wt0となり、車両12が進行した時点t1での赤外線カメラで見える壁面の横幅は、角度θ4に係る横幅wt1となり、略倍に変化するので、時点t0で生体候補であると検出しても時点t1で非生体であると認識することができる。
【0067】
以上説明したように上述した実施形態によれば、車両周辺監視装置10は、撮像部としての赤外線カメラ16(可視領域を検出するビデオカメラでも代替できる。)により車両周辺のグレースケール画像を取得する。レーダであるレーダ装置30により車両周辺に存在する物体の位置(距離と方位)を検出する。なお、レーダ装置30では物体の大きさも検出する。
【0068】
マスク設定部32は、赤外線カメラ16が取得したグレースケール画像にレーダ装置30により検出した前記物体の位置を反映させ、当該物体の位置に検出対象物である生体のサイズよりも高さ又は幅の少なくとも一方(上述した好適な実施形態では横幅wg)が大きく設定された探索マスク領域101を設定する。
【0069】
生体候補抽出部34は、探索マスク領域101内に含まれる生体候補を抽出する。
【0070】
さらに、時間変化検出部36は、生体候補の形状の時間変化、例えば、縦横比の時間変化を検出する。
【0071】
生体認識部38は、検出している前記生体候補の形状の時間変化があるか否かを判定し、時間変化が所定以下、例えば、上述したように数cm程度以下であるとき、前記生体候補を生体として認識する。具体例としては、図6Aの時点t0での生体候補の横幅wpの実空間上の幅34[cm]が、時点t1の同一の生体候補の横幅wqの実空間上の幅60[cm]に変化し、実空間上の幅の時間変化が所定以上(この場合、時間変化は60[cm]−34[cm]>数cm程度)であるので非生体と認識する一方、図7Aの時点t0の生体候補の横幅w0の実空間上の幅44[cm]は、時点t1の同一の生体候補の横幅w1の実空間上の幅45[cm]に対して時間変化が所定以下(この場合、時間変化は45[cm]−44[cm]=1[cm]<数cm程度)なので、時間変化しないとみなされ、生体と認識することができる。
【0072】
このように、探索マスク領域101内に含まれる生体候補の形状の実空間上での横幅等の大きさの時間変化が所定以下であるとき、前記生体候補を生体として認識するようにしたので、人体等の生体(哺乳動物)の温度に近いコンクリート等の塀110の壁等が電柱等のオクルージョン物体により遮られた場合に、塀110の壁等の遮られなかった領域に発生する生体のサイズに近似する領域(非生体)を生体と誤検知してしまう不都合を防止することができる。
【0073】
この実施形態では、電柱等の柱状構造物106、108、112等のオクルージョン物体に遮られた塀110の壁等の遮られなかった領域は、実空間上の形状が時間変化するのに対して、人体等の生体は、その大きさについて、時間変化がないという知見に基づいて生体と判定している。
【0074】
この場合、さらに、検出対象物のサイズを検出するサイズ検出判別部31を設けているので、レーダ装置30により検出した前記物体の位置に存在する赤外線カメラ16により検出された検出対象物のサイズが、上限閾値THwu以上のサイズであると判別した場合には、マスク設定部32、生体候補抽出部34、時間変化検出部36、及び生体認識部38による処理を行わないようにすることで、車両周辺監視装置10の画像処理ユニット14のCPU14cの処理量を低減させることができる。
【0075】
この実施形態において、生体候補抽出部34は、探索マスク領域101内に含まれる歩行者の脚の特徴を生体候補として抽出するので、脚に形状が近似する物体の誤検知を回避することができる。
【0076】
上述した実施形態においては、オクルージョン物体である柱状構造物自体については、その存在を前提として、処理を継続しているが、柱状構造物112や塀114等の人工構造物を検出する人工構造物検出部40(図1参照)を備え、人工構造物検出部40が、レーダ装置30による反射波から高さ方向に人体に比較して高い、例えば、2.5[m]程度を閾値高さとして、この閾値以上の高さを有する物体を、例えば、図4、図5の柱状構造物112に示すように、探索マスク領域101内またはその近傍に検出した場合、前記生体認識部38が前記生体候補を前記生体として認識する信頼性を変更する、例えば、低くするようにすることが好ましい。
【0077】
レーダ装置30が、車両12からの距離が略等距離(図4例では、距離≒Z2)であって、縦幅又は横幅の少なくとも一方が、探索マスク領域101(hg×wg:図9参照)を実空間上に反映させた場合のサイズより大きな物体、例えば、図4に示す、横幅が、探索マスク領域101の横幅wgを実空間上に反映させた場合のサイズより大きな物体である壁面を有する塀114を検出した場合には、前記生体候補の抽出を中断することが好ましい。
【0078】
また、時間変化検出部36が、図4及びこれに対応する図6Aの上段に示すグレースケール画像50において、探索マスク領域101内の検出対象物で左右に対称性を持つ2つの生体候補{図6A(図4)中、柱状構造物112で塀114等が遮られた場合に、塀114の遮られなかった領域で赤外線カメラ16によって捉えられた左側の生体候補(横幅wpl)と右側の生体候補(横幅wp):図4中、時点t0参照}を抽出し、グレースケール画像50、52の画面中で一方の生体候補の面積が増大(縦幅が同一で横幅が横幅wpから横幅wqに増大:図4中、時点t1参照)し、他方の生体候補の面積が減少(縦幅が同一で横幅が横幅wplから横幅wqlに減少:図4中、時点t1参照)した場合、当該生体候補が生体ではないと判定する。これにより、オクルージョン物体である柱状構造物112等により遮られた高さが人体の身長あるいは人体の脚長に略対応し、横幅が人体の横幅に対して広い横幅を持つ横長人工構造物であるコンクリートの塀114等を、生体候補から除外することができる。すなわち生体として誤認識することを回避することができる。
【0079】
なお、道路を横断している物体(歩行者、自転車運転者)は、形状や輝度の周期的な変動が発生しやすく、この発明による検出対象(生体)であるにも拘わらず、車両12側から見て、形状に閾値以上の幅変化が生じて除外されてしまう可能性がある。これを防止するために、ステップS1とステップS2との間に、レーダ装置30又は赤外線カメラ16によって道路を横断している可能性が高い物体(生体である歩行者又は自転車運転者)の経時変化を検出し、かつ大きさが生体候補であるか否かを認識する処理を挿入し、その検出・認識処理により道路を横断している可能性が高い物体が生体候補として認識された場合には、その物体(生体候補)に対しては、ステップS2〜S6の処理をキャンセルし、ステップS7の処理に繋げることが好ましい。
【0080】
この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
【符号の説明】
【0081】
10…車両周辺監視装置 12…車両
14…画像処理ユニット 16…赤外線カメラ
26a…HUD 30…レーダ装置
31…サイズ検出判別部 32…マスク設定部
34…生体候補抽出部 36…時間変化検出部
38…生体認識部 40…人工構造物検出部
50、52、54、60、62、64…グレースケール画像
50b、52b、54b、60b、62b、64b…2値化画像
100…検出対象物 101…検索マスク領域
106、108、112…柱状構造物 110、114…塀
【技術分野】
【0001】
この発明は、カメラ画像(赤外線カメラの画像又は通常の可視領域を撮像するビデオカメラの画像)及びレーダによって対象物の抽出を行う車両周辺監視装置に関する。
【背景技術】
【0002】
従来から、例えば車両前部の車幅方向中央付近の上下位置(バンパーやフロントグリル部)にレーダと赤外線カメラを取り付け、レーダにより車両前方に位置する物体(他車両、電柱、塀、人等)の距離と方位を検出するとともに、赤外線カメラによる赤外線画像によりテールランプやヘッドランプの温度の高い部分を結んだ点列データの特徴から物体が車両であるとの種別を判別する物体種別判別装置が提案されている(特許文献1)。
【0003】
特許文献1によれば、物体には、例えば、人、車両、建築物等の様々な種別のものが含まれる。このとき、人等の生体は、一般に複雑な曲面体形状で構成されるのに対して、車両等の人工構造物は、複数の頂点を結ぶ直線の線と、その辺に囲まれた面によって構成される多面体形状(特に、直方体形状)で構成されることが多いと記載されている。
【0004】
また、車両周辺監視装置では、赤外線カメラにより捉えられた自車両周辺の画像(グレースケール画像とその2値化画像)から、自車両との接触の可能性がある歩行者等の対象物の情報を抽出し、その情報を自車両の運転者に提供することが公知である(特許文献2)。
【0005】
特許文献2に係る車両周辺監視装置では、左右一組の赤外線カメラ(ステレオカメラ)により撮影した自車両周辺の画像において温度が高い部分を対象物にすると共に、左右画像中の対象物の視差を求めることにより対象物までの距離を算出し、対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな歩行者等の対象物を検出して警報を出力するとともに、赤外線カメラによる得られる対象物の画像を運転者が見られるようにHUD(Head−Up Display)に表示している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−192430号公報([0008]、[0053])
【特許文献2】特許第3934119号公報([0051]、[0064]、[0107]、[0108])
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記した特許文献2に係る車両周辺監視装置は、夜間走行時に、対象物として検出した見えにくい前方の歩行者を映像で表示することができる。
【0008】
特に、特許文献2に係る車両周辺監視装置では、車両周囲が降雨状態ではない場合は、従来通り歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴についての形状判定により対象物から歩行者を認識する一方、車両周囲が降雨状態であるために、歩行者が傘を差していて、歩行者の頭部等、路上に存在する歩行者の比較的判別しやすい身体的特徴が赤外線カメラにより捉えられていない場合には、グレースケール画像中の歩行者の脚部の存在か、あるいは歩行者が差している傘の存在を確かめて、歩行者を認識する。
【0009】
この特許文献2に係る技術において、グレースケール画像中の歩行者の脚部の存在を確かめて歩行者を認識する場合は、具体的には、図9に示すように、目的とする検出対象物100の実空間での横幅Wreal(不図示)が歩行者(図9中、点線で囲った領域)の脚部として適当な横幅wbであるという条件と、目的の検出対象物100が縦長形状(wb<hb=縦幅)であるという条件と、目的の検出対象物100の下端位置が探索マスク領域101の下部(下半分)側に存在するという条件と、目的の検出対象物100に時系列的な輝度変化があるという条件とを全て満足する場合に、目的の検出対象物100が歩行者の脚部であり、検出された対象物が歩行者であると認識する。
【0010】
なお、探索マスク領域101の大きさは、検出対象物100の外接四角形200の大きさより縦方向及び横方向で若干大きくした大きさ{縦幅(hg)×横幅(wg)}に設定される。
【0011】
ところで、特許文献2のように、赤外線カメラ搭載位置と対象物との間の距離を視差に基づいて、検出対象物を検出する場合には、2台の赤外線カメラを搭載することによるコストアップを伴い、さらに、両カメラの光軸調整を厳密に行わなければならない等の煩雑な据え付け作業が必要になるという不都合がある。
【0012】
そこで、特許文献1のように、レーダと赤外線カメラを搭載して、特許文献2のように、歩行者等の人体対象物を検出することができれば、コストの低減された車両周辺監視装置を製造することができると考えられる。
【0013】
この場合、図10のイメージ図に示すように、図示しない車両の先端部に取り付けられたレーダは、道路104の路側に沿って配置される電柱、街路樹、標識のポール等の柱状構造物106、108の位置方位を計測することができる。
【0014】
ところが、柱状構造物106、108の間に、周囲温度の影響により人体の温度に近い温度になり、かつ冷めにくいコンクリート製の塀110等が存在する場合、この塀110は、レーダにも捉えられるが、赤外線カメラによるグレースケール画像上で、柱状構造物106、108の表面間の距離wxが、オクルージョン(occlusion)物体である柱状構造物106、108により遮られて人体の脚幅と同等程度となったとき、図9に示した探索マスク領域101が設定され、コンクリートの塀110の壁面116を歩行者であると誤検知(誤判定)してしまう可能性があり、誤検知してしまうと、スピーカやHUDを利用して警報や映像表示を行うことから運転者に不必要で過剰な注意喚起を行ってしまうという不都合が発生し、改善の余地がある。
【0015】
この発明はこのような課題を考慮してなされたものであり、人体等の生体(哺乳動物)の温度に近いコンクリート等の壁等が、電柱、街路樹、標識のポール等のオクルージョン物体により遮られた場合に、前記壁等の遮られなかった領域に発生する生体のサイズに近似する領域(非生体)を生体として誤検知してしまうという不都合を防止することを可能とする車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【0016】
この発明に係る車両周辺監視装置は、車両に搭載される車両周辺監視装置において、車両周辺の画像を取得する撮像部と、車両周辺に存在する物体の位置を検出するレーダと、前記撮像部が取得した前記画像に前記レーダが検出した前記物体の位置を反映させ、当該物体の位置に検出対象物である生体のサイズよりも高さ又は幅の少なくとも一方が大きく設定された探索マスク領域を設定するマスク設定部と、前記探索マスク領域内に含まれる生体候補を抽出する生体候補抽出部と、を備える車両周辺監視装置であって、前記生体候補の形状の時間変化を検出する時間変化検出部と、検出している前記生体候補の形状の時間変化があるか否かを判定し、時間変化が所定以下であるとき、前記生体候補を生体として認識する生体認識部と、を備えることを特徴とする。
【0017】
この発明によれば、探索マスク領域内に含まれる生体候補の形状の時間変化が所定以下であるとき、前記生体候補を生体として認識するようにしたので、人体等の生体(哺乳動物)の温度に近いコンクリート等の壁等が電柱等柱状構造物等のオクルージョン物体により遮られた場合に、前記壁等の遮られなかった領域に発生する生体のサイズに近似する領域(非生体)を生体として誤検知してしまうという不都合を防止することができる。
【0018】
この発明では、電柱等のオクルージョン物体に遮られた壁等の遮られなかった領域は、車両の移動に伴い、実空間上の形状が時間変化するのに対して、人体等の生体は、車両が移動しても時間変化がないという知見を利用して誤検知を回避している。
【0019】
この場合、さらに、検出対象物のサイズを検出するサイズ検出・判別部を設け、前記レーダが検出した前記物体の位置に存在する前記撮像部により検出された検出対象物のサイズが、下限閾値以下のサイズ又は上限閾値以上のサイズであると判別した場合には、前記マスク設定部、前記生体候補抽出部、時間変化検出部、及び生体認識部による各処理を行わないようにすることで、車両周辺監視装置の処理量を低減させることができる。
【0020】
また、前記生体候補抽出部は、前記探索マスク領域内に含まれる歩行者の脚の特徴を前記生体候補として抽出することで、前記生体候補を容易に抽出することができる。
【0021】
なお、さらに、人工構造物を検出する人工構造物検出部を備え、当該人工構造物検出部が、閾値高さ以上の高さを有する物体を、前記探索マスク領域内またはその近傍に検出した場合、前記生体認識部が前記生体候補を前記生体として認識する信頼性を変更することで、生体を精度よく認識することができる可能性が高くなる。
【0022】
また、前記レーダが、前記探索マスク領域を実空間上に反映させた場合の高さ又は幅方向の少なくとも一方よりも大きなサイズの物体を検出した場合には、前記生体候補の抽出を中断することで、車両周辺監視装置の処理量を低減することができる。
【0023】
また、前記時間変化検出部は、前記画像により前記マスク領域内の左右に対称性を持つ2つの生体候補を抽出し、時間の経過に伴い、画面中で一方の生体候補の面積が増大し、他方の生体候補の面積が減少した場合、当該生体候補が生体ではないと判定することで、より精度よく生体を認識することができる。
【0024】
前記撮像部は、グレースケール画像を取得する赤外線カメラとすることが好ましい。
【発明の効果】
【0025】
この発明によれば、探索マスク領域内に含まれる生体候補の形状の大きさの時間変化が所定以下であるとき、前記生体候補を生体として認識するようにしたので、人体等の生体(哺乳動物)の温度に近いコンクリート等の壁等が電柱等のオクルージョン物体により遮られた場合に、前記壁等の遮られなかった領域に発生する生体のサイズに近似する領域(非生体)を生体と誤検知してしまうという不都合を防止することができる。これにより、スピーカ等で運転者に対して不必要で過剰な注意喚起を行ってしまう不都合を未然に防止することができる。
【図面の簡単な説明】
【0026】
【図1】この発明の実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図2】図1例の車両周辺監視装置が搭載された車両の模式的斜視図である。
【図3】図1例の車両周辺監視装置の動作説明に供されるフローチャートである。
【図4】オクルージョン物体で遮られた塀と車両との関係を示す平面的模式図である。
【図5】壁の一部を歩行者脚部と誤判定してしまう処理の説明図である。
【図6】図6Aは、非生体を含むグレースケール画像の時間変化の説明図、図6Bは、検出対象物の横幅に時間変化があること示す説明図である。
【図7】図7Aは、生体を含むグレースケール画像の時間変化の説明図、図7Bは、検出対象物の横幅に時間変化がないことを示す説明図である。
【図8】2つの柱状構造物間に存在する壁面を歩行者ではないと判定する処理の説明図である。
【図9】歩行者の脚検知の説明図である。
【図10】2つの柱状構造物間に存在する壁面を歩行者であると誤判定する処理の説明図である。
【発明を実施するための形態】
【0027】
以下、この発明の実施形態について図面を参照して説明する。なお、図8、図9もこの実施形態の図面として利用する。
【0028】
図1は、この発明の実施形態に係る車両周辺監視装置10の構成を示すブロック図である。図2は、図1に示した車両周辺監視装置10が搭載された車両12の模式図である。
【0029】
図1及び図2において、車両周辺監視装置10は、該車両周辺監視装置10を制御する画像処理ユニット14(処理装置)と、この画像処理ユニット14に接続される赤外線カメラ16(撮像装置)及びレーダ装置30(レーダ)と、車両12の車速Vsを検出する車速センサ18と、運転者によるブレーキペダルの操作量(ブレーキ操作量)Brを検出するブレーキセンサ20と、車両12のヨーレートYrを検出するヨーレートセンサ22と、音声で警報等を発するためのスピーカ24(通知部)と、赤外線カメラ16により撮影された画像を表示し、接触の危険性が高い歩行者等の対象物(移動対象物)を車両の運転者に認識させるためのHUD26a等を含む画像表示装置26(通知部)と、を備える。
【0030】
画像表示装置26としては、HUD26aに限らず、ナビゲーションシステムのディスプレイを利用することができる。
【0031】
画像処理ユニット14は、車両12の周辺の赤外線画像と車両の走行状態を示す信号(ここでは、車速Vs、ブレーキ操作量Br及びヨーレートYr)とから、車両前方の歩行者等の動く物体を検出し、接触の可能性が高いと判断したときにスピーカ24を通じて警報を発する。
【0032】
ここで、画像処理ユニット14は、入力アナログ信号をデジタル信号に変換するA/D変換回路、デジタル化した画像信号を記憶する画像メモリ(記憶部14m)、各種演算処理を行うCPU(中央処理装置)14c、CPU14cが演算途中のデータを記憶するために使用するRAM(Random Access Memory)やCPU14cが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Memory)等の記憶部14m、スピーカ24の駆動信号と画像表示装置26の表示信号などを出力する出力回路等を備えており、赤外線カメラ16、レーダ装置30、ヨーレートセンサ22、車速センサ18、及びブレーキセンサ20の各出力信号は、デジタル信号に変換されてCPU14cに入力されるように構成されている。
【0033】
画像処理ユニット14のCPU14cは、これらデジタル信号を取り込んでプログラムを実行することで、後述する各種機能部(機能手段ともいう。)として機能し、スピーカ24及び画像表示装置26に警告に係る駆動信号(音声信号や表示信号)を送出する。
【0034】
赤外線カメラ16は、図2に示すように、自車両12の前部バンパー部の車幅方向中心部に配置される。レーダ装置30は、赤外線カメラ16の略鉛直上方であって、車両12のフロントグリルに配置される。なお、赤外線カメラ16は、遠赤外線を多量に発する人を含む生体を対象物とし、かつその対象物を高輝度部分とするグレースケール画像を出力する。すなわち、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。
【0035】
レーダ装置30は、赤外線カメラ16の水平画角(撮影領域)よりも狭いビーム幅の電波を車両12の前方に送信し、かつ左右方向所定範囲(上記水平画角程度)に走査する。そして、車両前方の物体からの反射波を受信し、反射強度、反射方向と受信時間とから物体の大きさと位置(距離と方向)を検出する。なお、検出対象物である人体対象物の精度の確保された大きさは赤外線カメラ16の画像から検出するように構成されている。
【0036】
HUD26aは、自車両12のフロントウインドシールドの内側で運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【0037】
この実施形態において、CPU14cは、サイズ検出判別部31、マスク設定部32、生体候補抽出部34、時間変化検出部36、生体認識部38、及び人工構造物検出部40等として動作(機能)する。
【0038】
次に、基本的には以上のように構成される車両周辺監視装置10の動作について図面を参照して説明する。
【0039】
図3は、画像処理ユニット14による、人体等の生体(哺乳動物)の温度に近いコンクリート等の壁等が電柱等のオクルージョン物体により遮られた場合に前記壁等の遮られなかった領域(非生体)を生体と誤検知してしまう不都合を防止する等の機能の動作説明に供されるフローチャートである。
【0040】
図3のステップS1において、レーダ装置30は、100[ms]毎に、車両前方の所定範囲を走査し、物体からの反射波を受信し、反射強度、反射方向と受信時間とから物体の大きさ及び位置(レーダ装置30の取り付け位置からの方位と距離)を検出する。また、そのステップS1において、画像処理ユニット14は、100[ms]毎に、赤外線カメラ16によりフレーム毎に撮影した車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、A/D変換し、グレースケール画像をレーダ装置30の検出情報に同期して対応付けて100[ms]毎に画像メモリに格納する。この処理により対象を100[ms]毎に時間追跡することができる。そして、100[ms]以内で、フローチャートのステップS1〜S6の処理を繰り返す。
【0041】
次いで、ステップS2において、赤外線カメラ16により取得したグレースケール画像に、レーダ装置30により検出した物体の位置を反映させ(対照させ)、当該物体の位置に、検出対象物で生体のサイズよりも高さ又は幅の少なくとも一方が高さ閾値範囲外又は幅閾値範囲外の大きさであり、かつグレースケール画像上で生体と検出される閾値輝度以上の輝度を有する物体が存在するかどうかを判定する。
【0042】
この実施形態においては、生体の横幅のサイズの横幅閾値の上限値THwu(上限閾値)と下限値THwl(下限閾値)が、人体を想定し20〜60[cm]程度に設定される。
【0043】
なお、実空間上の対象物の横幅Wrealは、対象物までの実空間上の距離(測距距離)Zrealがレーダ装置30の計測値により分かっているので、グレースケール画像中の横幅をWimage、焦点距離をFとすると、次の(1)式により計算することができる。
Wreal=Wimage×Zreal/F …(1)
【0044】
したがって、ステップS2の判定において、対象物の横幅Wreal(物体の大きさ)が幅閾値の下限値THwl(=20[cm])より小さい又は幅閾値の上限値THwu(=60[cm])より大きい場合には、ステップS3以降の処理を行うことなく、ステップS1の処理に戻る。これにより、車両周辺監視装置10を構成する画像処理ユニット14のCPU14cによる不必要な処理を省略することができ、CPU14cの処理負荷を低減することができる。
【0045】
その一方、ステップS2の判定において、対象物の横幅Wreal(物体の大きさ)が、幅閾値の下限値THwl(=20[cm])より大きく又は幅閾値の上限値THwu(=60[cm])より小さい場合には、次のステップS3において、グレースケール画像上に探索マスク領域101(図9参照)を設定する。
【0046】
探索マスク領域101(hg×wg)は、検出対象物である生体のサイズ(生体のサイズを外接四角形200で近似したサイズ)よりも高さ又は幅の少なくとも一方が大きく設定されている(この実施形態では、高さ×幅=hg×wgと、両方大きく設定している)。
【0047】
次いで、ステップS4において、探索マスク領域101内で、画素の輝度の平均値、輝度分散を求め、探索マスク領域101内での輝度の変化、輝度分散の変化から検出対象物100を検出し、検出対象物100の輝度領域(hb×wb)(この輝度領域は、グレースケール画像の2値化画像から求めてもよい。)が人体の脚領域に相当する大きさの範囲内であるかどうかを判断し(この実施形態では、輝度領域の縦幅hbと横幅wb中、横幅wbが人体の脚に相当する大きさの範囲内であるかどうかを判断し)、人体の脚領域に相当する大きさの範囲内であると判別した場合には、その輝度領域(hb×wb)を生体候補として抽出する。
【0048】
より具体的には、上述した特許文献2に開示されているように、グレースケール画像中の歩行者の脚部の存在を確かめて歩行者を認識する場合は、図9に示すように、目的とする検出対象物100の実空間での幅Wrealが歩行者の脚部として適当な幅であるという条件と、目的の検出対象物100が縦長形状(縦幅hb>横幅wb)であるという条件と、目的の検出対象物100の下端位置が探索マスク領域101の下部(下半分)側に存在するという条件と、目的の検出対象物100に時系列的な輝度変化があるという条件とを全て満足する場合に、目的の検出対象物100が歩行者の脚部であり、検出された対象物が歩行者であると認識する。
【0049】
次に、ステップS5において、探索マスク領域101内の画像中の生体候補の横幅wbと、レーダ装置30による測距距離Zrealと、焦点距離Fとから、上記(1)式に代入した次の(2)式により実空間上の生体候補の横幅WRealを求める。
Wreal=Wimage×Zreal/F …(1)
=wb×Zreal/F …(2)
【0050】
次に、ステップS6において、時間変化検出部36により生体候補の横幅Wrealの時間変化があるか否かを判定する。
【0051】
このステップS6では、生体認識部38は、生体候補の横幅Wrealの時間変化が、所定以下、例えば、数cm程度以内である場合には、時間変化がないとみなし(ステップS6:否定)、生体候補である検出対象物100を生体として認識する。
【0052】
次に、認識した生体候補について、ステップS7において、経時的にフレーム毎に得られるグレースケール画像及びその2値化画像から、当該生体の移動ベクトル(速度と方向)を検出する。また、このステップS7において、ブレーキセンサ20、車速センサ18、及びヨーレートセンサ22の各出力であるブレーキ操作量Br、車速Vs、ヨーレートYrと、ステップS7で認識した対象物である生体との距離Zrealとに基づき、当該車両12の生体認識部38が認識した生体に接触の可能性があるかどうかを判定し、接触の可能性があると判定した場合には、ステップS8において、運転者に情報を提供する。具体的には、当該生体を含むグレースケール画像をHUD26aに表示するとともに、スピーカ24を通じて警報を発生し、車両12の運転者に接触の回避操作を促す。
【0053】
次に、上述した実施形態の作用効果について、模式図及び具体的映像に基づいて説明する。
【0054】
図4に示すように、矢印方向に進行する車両12が時点t0の地点に位置するとき、車両12から概ね距離Z0の位置に存在する柱状構造物112の後方に、例えば、人体の脚長に近似した高さのコンクリート製の塀114があるとき、レーダビームは、角度θ1に対応する分、手前の柱状構造物112により反射され、塀114の壁面116には、角度θ1に対応する分、当たらないので、赤外線カメラ16によるグレースケール画像上の輝度領域部分は、横幅で、右側の横幅wpと左側の横幅wplとが検出される。
【0055】
この場合、時点t0で生体候補の検出処理及び生体の認識処理を行うとすると、時点t0での右側の横幅wpが、ステップS2の判定に係る、幅閾値の下限値THwl(=20[cm])より小さいか、幅閾値の上限値THwu(=60[cm])より大きいか、あるいは、下限閾値THwl〜上限閾値THwu内であるかを判定する。
【0056】
このとき、左側の横幅wplが、wpl>THwuであると、これは生体候補とは検出されない。その一方、右側の横幅wpが、THwl<wp<THwuであると、これは生体候補と検出される。
【0057】
時点t0で生体候補と検出されると、図5のグレースケール画像50に示すように、レーダ装置30により手前の柱状構造物112が測距されているので、距離に応じて、生体のサイズより若干大きめの探索マスク領域101が設定される。このとき、後方の壁面116の右側が横幅wpの脚サイズの対象物118に分断され、生体候補である対象物118が生体として誤認識(誤判定)されてしまう。
【0058】
この誤判定を防止するために、さらに、対象物118の時間変化を時間変化検出部36により検出する。そのため、車両12が、図4に示すように、一定時間経過後の、時点t1の地点に位置するとき、車両12から概ね距離Z1(Z1<Z0)の位置に存在する柱状構造物112の後方にコンクリート製の塀114があるとき、レーダビームは、角度θ2に対応する分、手前の柱状構造物112により反射され、塀114の壁面116には、角度θ2に対応する分、レーダビームが当たらないので、赤外線カメラ16によるグレースケール画像上の輝度領域部分は、時点t0での右側の横幅wpから時点t1の右側の横幅wqに示すように見える領域が変化する。
【0059】
ところが、横幅wqが、生体の横幅相当範囲を上回る大きさ(wq>THwu=幅閾値の上限値)となっていたとすると、生体候補から除外することができる。
【0060】
図5に関連する、実際のシーンデータである赤外線画像並びにレーダ装置30を用いて非生体と生体の検出例(判別例)の作用につき、非生体の場合の図6A、図6B及び生体の場合の図7A、図7Bを参照してさらに説明する。
【0061】
それぞれ、時点t0、t1、t2での探索マスク領域101が設定されたグレースケール画像50、60、52、62、54、64を左側に示す。
【0062】
図6A及び図7Aのグレースケール画像50、60、52、62、54、64の右側に、理解の便宜のために、各画像中の探索マスク領域101(不図示)を含み、より領域の大きい2値化画像50b、60b、52b、62b、54b、64bをそれぞれ表示している。
【0063】
この場合、図6Aのように柱状構造物112に遮られたコンクリートの塀114の壁面が写っている場合には、柱状構造物112に視野が遮られていない右側の領域の横幅wp、wq、wrが、図6Bに示すように、時点t0(0.2[sec])、t1(0.6[sec])、t2(1.0[cm])において、34[cm]、60[cm]、80[cm]と実空間幅が拡大しているので、生体ではなく、非生体であると認識することができる。
【0064】
その一方、図7Aに示すように、人体等の生体が生体候補として検出された場合には、生体の横幅が、車両12が時点t0、t1、t2と接近するに従い、画像上では、横幅w0、w1、w2と変化するが、実空間上の横幅は、44[cm]、45[cm]、46[cm]と殆ど変化せず、数cm以内であるので、生体候補が生体であると認識することができる。
【0065】
さらに、他の実施例を、図8を参照して説明する。
【0066】
この図8例では、矢印方向に車両12が走行する道路脇に沿って、2つの柱状構造物106、108が存在し、その柱状構造物106、108の配置方向に平行に、すなわち、道路に平行にコンクリートの塀110が存在している。この場合、時点t0において赤外線カメラ16で見える壁面の横幅は、角度θ3に係る横幅wt0となり、車両12が進行した時点t1での赤外線カメラで見える壁面の横幅は、角度θ4に係る横幅wt1となり、略倍に変化するので、時点t0で生体候補であると検出しても時点t1で非生体であると認識することができる。
【0067】
以上説明したように上述した実施形態によれば、車両周辺監視装置10は、撮像部としての赤外線カメラ16(可視領域を検出するビデオカメラでも代替できる。)により車両周辺のグレースケール画像を取得する。レーダであるレーダ装置30により車両周辺に存在する物体の位置(距離と方位)を検出する。なお、レーダ装置30では物体の大きさも検出する。
【0068】
マスク設定部32は、赤外線カメラ16が取得したグレースケール画像にレーダ装置30により検出した前記物体の位置を反映させ、当該物体の位置に検出対象物である生体のサイズよりも高さ又は幅の少なくとも一方(上述した好適な実施形態では横幅wg)が大きく設定された探索マスク領域101を設定する。
【0069】
生体候補抽出部34は、探索マスク領域101内に含まれる生体候補を抽出する。
【0070】
さらに、時間変化検出部36は、生体候補の形状の時間変化、例えば、縦横比の時間変化を検出する。
【0071】
生体認識部38は、検出している前記生体候補の形状の時間変化があるか否かを判定し、時間変化が所定以下、例えば、上述したように数cm程度以下であるとき、前記生体候補を生体として認識する。具体例としては、図6Aの時点t0での生体候補の横幅wpの実空間上の幅34[cm]が、時点t1の同一の生体候補の横幅wqの実空間上の幅60[cm]に変化し、実空間上の幅の時間変化が所定以上(この場合、時間変化は60[cm]−34[cm]>数cm程度)であるので非生体と認識する一方、図7Aの時点t0の生体候補の横幅w0の実空間上の幅44[cm]は、時点t1の同一の生体候補の横幅w1の実空間上の幅45[cm]に対して時間変化が所定以下(この場合、時間変化は45[cm]−44[cm]=1[cm]<数cm程度)なので、時間変化しないとみなされ、生体と認識することができる。
【0072】
このように、探索マスク領域101内に含まれる生体候補の形状の実空間上での横幅等の大きさの時間変化が所定以下であるとき、前記生体候補を生体として認識するようにしたので、人体等の生体(哺乳動物)の温度に近いコンクリート等の塀110の壁等が電柱等のオクルージョン物体により遮られた場合に、塀110の壁等の遮られなかった領域に発生する生体のサイズに近似する領域(非生体)を生体と誤検知してしまう不都合を防止することができる。
【0073】
この実施形態では、電柱等の柱状構造物106、108、112等のオクルージョン物体に遮られた塀110の壁等の遮られなかった領域は、実空間上の形状が時間変化するのに対して、人体等の生体は、その大きさについて、時間変化がないという知見に基づいて生体と判定している。
【0074】
この場合、さらに、検出対象物のサイズを検出するサイズ検出判別部31を設けているので、レーダ装置30により検出した前記物体の位置に存在する赤外線カメラ16により検出された検出対象物のサイズが、上限閾値THwu以上のサイズであると判別した場合には、マスク設定部32、生体候補抽出部34、時間変化検出部36、及び生体認識部38による処理を行わないようにすることで、車両周辺監視装置10の画像処理ユニット14のCPU14cの処理量を低減させることができる。
【0075】
この実施形態において、生体候補抽出部34は、探索マスク領域101内に含まれる歩行者の脚の特徴を生体候補として抽出するので、脚に形状が近似する物体の誤検知を回避することができる。
【0076】
上述した実施形態においては、オクルージョン物体である柱状構造物自体については、その存在を前提として、処理を継続しているが、柱状構造物112や塀114等の人工構造物を検出する人工構造物検出部40(図1参照)を備え、人工構造物検出部40が、レーダ装置30による反射波から高さ方向に人体に比較して高い、例えば、2.5[m]程度を閾値高さとして、この閾値以上の高さを有する物体を、例えば、図4、図5の柱状構造物112に示すように、探索マスク領域101内またはその近傍に検出した場合、前記生体認識部38が前記生体候補を前記生体として認識する信頼性を変更する、例えば、低くするようにすることが好ましい。
【0077】
レーダ装置30が、車両12からの距離が略等距離(図4例では、距離≒Z2)であって、縦幅又は横幅の少なくとも一方が、探索マスク領域101(hg×wg:図9参照)を実空間上に反映させた場合のサイズより大きな物体、例えば、図4に示す、横幅が、探索マスク領域101の横幅wgを実空間上に反映させた場合のサイズより大きな物体である壁面を有する塀114を検出した場合には、前記生体候補の抽出を中断することが好ましい。
【0078】
また、時間変化検出部36が、図4及びこれに対応する図6Aの上段に示すグレースケール画像50において、探索マスク領域101内の検出対象物で左右に対称性を持つ2つの生体候補{図6A(図4)中、柱状構造物112で塀114等が遮られた場合に、塀114の遮られなかった領域で赤外線カメラ16によって捉えられた左側の生体候補(横幅wpl)と右側の生体候補(横幅wp):図4中、時点t0参照}を抽出し、グレースケール画像50、52の画面中で一方の生体候補の面積が増大(縦幅が同一で横幅が横幅wpから横幅wqに増大:図4中、時点t1参照)し、他方の生体候補の面積が減少(縦幅が同一で横幅が横幅wplから横幅wqlに減少:図4中、時点t1参照)した場合、当該生体候補が生体ではないと判定する。これにより、オクルージョン物体である柱状構造物112等により遮られた高さが人体の身長あるいは人体の脚長に略対応し、横幅が人体の横幅に対して広い横幅を持つ横長人工構造物であるコンクリートの塀114等を、生体候補から除外することができる。すなわち生体として誤認識することを回避することができる。
【0079】
なお、道路を横断している物体(歩行者、自転車運転者)は、形状や輝度の周期的な変動が発生しやすく、この発明による検出対象(生体)であるにも拘わらず、車両12側から見て、形状に閾値以上の幅変化が生じて除外されてしまう可能性がある。これを防止するために、ステップS1とステップS2との間に、レーダ装置30又は赤外線カメラ16によって道路を横断している可能性が高い物体(生体である歩行者又は自転車運転者)の経時変化を検出し、かつ大きさが生体候補であるか否かを認識する処理を挿入し、その検出・認識処理により道路を横断している可能性が高い物体が生体候補として認識された場合には、その物体(生体候補)に対しては、ステップS2〜S6の処理をキャンセルし、ステップS7の処理に繋げることが好ましい。
【0080】
この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
【符号の説明】
【0081】
10…車両周辺監視装置 12…車両
14…画像処理ユニット 16…赤外線カメラ
26a…HUD 30…レーダ装置
31…サイズ検出判別部 32…マスク設定部
34…生体候補抽出部 36…時間変化検出部
38…生体認識部 40…人工構造物検出部
50、52、54、60、62、64…グレースケール画像
50b、52b、54b、60b、62b、64b…2値化画像
100…検出対象物 101…検索マスク領域
106、108、112…柱状構造物 110、114…塀
【特許請求の範囲】
【請求項1】
車両に搭載される車両周辺監視装置において、
車両周辺の画像を取得する撮像部と、
車両周辺に存在する物体の位置を検出するレーダと、
前記撮像部が取得した前記画像に前記レーダが検出した前記物体の位置を反映させ、当該物体の位置に検出対象物である生体のサイズよりも高さ又は幅の少なくとも一方が大きく設定された探索マスク領域を設定するマスク設定部と、
前記探索マスク領域内に含まれる生体候補を抽出する生体候補抽出部と、
を備える車両周辺監視装置であって、
前記生体候補の形状の時間変化を検出する時間変化検出部と、
検出している前記生体候補の形状の時間変化があるか否かを判定し、時間変化が所定以下であるとき、前記生体候補を生体として認識する生体認識部と、
を備えることを特徴とする車両周辺監視装置。
【請求項2】
請求項1記載の車両周辺監視装置において、
さらに、検出対象物のサイズを検出するサイズ検出・判別部を設け、前記レーダが検出した前記物体の位置に存在する前記撮像部により検出された検出対象物のサイズが、下限閾値以下のサイズ又は上限閾値以上のサイズであると判別した場合には、前記マスク設定部、前記生体候補抽出部、時間変化検出部、及び生体認識部による各処理を行わないようする
ことを特徴とする車両周辺監視装置。
【請求項3】
請求項1又は2に記載の車両周辺監視装置において、
前記生体候補抽出部は、
前記探索マスク領域内に含まれる歩行者の脚の特徴を前記生体候補として抽出する
ことを特徴とする車両周辺監視装置。
【請求項4】
請求項1〜3のいずれか1項に記載の車両周辺監視装置において、
さらに、人工構造物を検出する人工構造物検出部を備え、
当該人工構造物検出部が、閾値高さ以上の高さを有する物体を、前記探索マスク領域内またはその近傍に検出した場合、前記生体認識部が前記生体候補を前記生体として認識する信頼性を変更する
ことを特徴とする車両周辺監視装置。
【請求項5】
請求項1〜4のいずれか1項に記載の車両周辺監視装置において、
前記レーダが、前記探索マスク領域を実空間上に反映させた場合の高さ又は幅方向の少なくとも一方よりも大きなサイズの物体を検出した場合には、前記生体候補の抽出を中断する
ことを特徴とする車両周辺監視装置。
【請求項6】
請求項1〜5のいずれか1項に記載の車両周辺監視装置において、
前記時間変化検出部は、前記画像により前記マスク領域内の左右に対称性を持つ2つの生体候補を抽出し、時間の経過に伴い、画面中で一方の生体候補の面積が増大し、他方の生体候補の面積が減少した場合、当該生体候補が生体ではないと判定する
ことを特徴とする車両周辺監視装置。
【請求項7】
請求項1〜6のいずれか1項に記載の車両周辺監視装置において、
前記撮像部が赤外線カメラである
ことを特徴とする車両周辺監視装置。
【請求項1】
車両に搭載される車両周辺監視装置において、
車両周辺の画像を取得する撮像部と、
車両周辺に存在する物体の位置を検出するレーダと、
前記撮像部が取得した前記画像に前記レーダが検出した前記物体の位置を反映させ、当該物体の位置に検出対象物である生体のサイズよりも高さ又は幅の少なくとも一方が大きく設定された探索マスク領域を設定するマスク設定部と、
前記探索マスク領域内に含まれる生体候補を抽出する生体候補抽出部と、
を備える車両周辺監視装置であって、
前記生体候補の形状の時間変化を検出する時間変化検出部と、
検出している前記生体候補の形状の時間変化があるか否かを判定し、時間変化が所定以下であるとき、前記生体候補を生体として認識する生体認識部と、
を備えることを特徴とする車両周辺監視装置。
【請求項2】
請求項1記載の車両周辺監視装置において、
さらに、検出対象物のサイズを検出するサイズ検出・判別部を設け、前記レーダが検出した前記物体の位置に存在する前記撮像部により検出された検出対象物のサイズが、下限閾値以下のサイズ又は上限閾値以上のサイズであると判別した場合には、前記マスク設定部、前記生体候補抽出部、時間変化検出部、及び生体認識部による各処理を行わないようする
ことを特徴とする車両周辺監視装置。
【請求項3】
請求項1又は2に記載の車両周辺監視装置において、
前記生体候補抽出部は、
前記探索マスク領域内に含まれる歩行者の脚の特徴を前記生体候補として抽出する
ことを特徴とする車両周辺監視装置。
【請求項4】
請求項1〜3のいずれか1項に記載の車両周辺監視装置において、
さらに、人工構造物を検出する人工構造物検出部を備え、
当該人工構造物検出部が、閾値高さ以上の高さを有する物体を、前記探索マスク領域内またはその近傍に検出した場合、前記生体認識部が前記生体候補を前記生体として認識する信頼性を変更する
ことを特徴とする車両周辺監視装置。
【請求項5】
請求項1〜4のいずれか1項に記載の車両周辺監視装置において、
前記レーダが、前記探索マスク領域を実空間上に反映させた場合の高さ又は幅方向の少なくとも一方よりも大きなサイズの物体を検出した場合には、前記生体候補の抽出を中断する
ことを特徴とする車両周辺監視装置。
【請求項6】
請求項1〜5のいずれか1項に記載の車両周辺監視装置において、
前記時間変化検出部は、前記画像により前記マスク領域内の左右に対称性を持つ2つの生体候補を抽出し、時間の経過に伴い、画面中で一方の生体候補の面積が増大し、他方の生体候補の面積が減少した場合、当該生体候補が生体ではないと判定する
ことを特徴とする車両周辺監視装置。
【請求項7】
請求項1〜6のいずれか1項に記載の車両周辺監視装置において、
前記撮像部が赤外線カメラである
ことを特徴とする車両周辺監視装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2011−108046(P2011−108046A)
【公開日】平成23年6月2日(2011.6.2)
【国際特許分類】
【出願番号】特願2009−263323(P2009−263323)
【出願日】平成21年11月18日(2009.11.18)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
【公開日】平成23年6月2日(2011.6.2)
【国際特許分類】
【出願日】平成21年11月18日(2009.11.18)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】
[ Back to top ]