説明

車両用外界認識装置

【課題】パターンマッチにより歩行者を検知する際に、電柱,ガードレール,路面ペイント等の人工物に対する誤検知を、少ない処理負荷で低減することができる車両用外界認識装置を提供する。
【解決手段】自車前方を撮像した画像を取得する画像取得部(1011)と、その画像から歩行者を検出する処理領域を設定する処理領域設定部(1021)と、その画像から歩行者の有無を判定する歩行者候補領域を設定する歩行者候補設定部(1031)と、歩行者候補領域内の所定方向の濃淡変化量の割合に応じて歩行者候補領域が歩行者であるか人工物であるかを判定する歩行者判定部(1041)と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載カメラ等の撮像素子で撮像された情報に基づいて歩行者を検知する車両用外界認識装置に関する。
【背景技術】
【0002】
交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。日本国内においては、歩行者が死亡する事故が交通事故死亡者数全体の約30%を占めており、このような歩行者事故を減少させるために、自車前方の歩行者を検知する予防安全システムが有効である。
【0003】
予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
【0004】
自車前方の歩行者を検知する方法として、カメラで自車前方を撮像し、撮像された画像から、歩行者の形状パターンを用いて検出するパターンマッチ手法が用いられる。パターンマッチによる検出方法は様々なものが存在するが、歩行者以外の物体を歩行者と間違える誤検知と、歩行者を検知しない未検知はトレードオフの関係にある。
【0005】
よって、画像上で様々な見え方をする歩行者を検出しようとすると誤検知が増加する。誤検知により歩行者が存在しない場所で警報や自動ブレーキが作動すると、ドライバにとってわずらわしいシステムとなり、信頼度が低下してしまう。
【0006】
特に、自車にとって衝突の危険がない物体(非立体物)で自動ブレーキが作動すると、自車を危険な状態にしてしまい、システムの安全性を損ねてしまう。
【0007】
よって、このような誤検知を低減するため、例えば、特許文献1には、複数の処理周期の間連続してパターンマッチを行い、パターンの周期性から歩行者を検出する方法が記載されている。
【0008】
また、特許文献2には、人の頭をパターンマッチにより検出し、胴体を方式の異なるパターンマッチにより歩行者を検出する方法が記載されている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2009−42941号公報
【特許文献2】特開2008−181423号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、上記方法においては、時間とのトレードオフが考慮されていない。特に、歩行者検知においては、歩行者が自車前方に飛び出してから検知するまでの初期補足を早くすることが重要である。
【0011】
特許文献1に記載の方式においては、画像を複数回撮影し、毎回パターンマッチを行うため検知開始が遅い。また、特許文献2に記載の方式においては、複数種類のパターンマッチの手法毎に専用の処理が必要となるため、大きな記憶容量が必要であり、また1回のパターンマッチの処理負荷が大きい。
【0012】
一方、公道において、パターンマッチによる手法で歩行者と誤検知しやすい物体は、電柱,ガードレールや、路面ペイント等の人工物に対するものが多い。よって、これらに対する誤検知を低減することができれば、システムの安全性やドライバからの信頼を高めることができる。
【0013】
本発明は、上記の点に鑑みてなされたものであり、その目的は、処理速度と誤検知低減の両立を図ることができる車両用外界認識装置を提供することである。
【課題を解決するための手段】
【0014】
本発明は、自車前方を撮像した画像を取得する画像取得部と、その画像から歩行者を検出する処理領域を設定する処理領域設定部と、その画像から歩行者の有無を判定する歩行者候補領域を設定する歩行者候補設定部と、歩行者候補領域内の所定方向の濃淡変化量の割合に応じて歩行者候補領域が歩行者であるか人工物であるかを判定する歩行者判定部と、を有する構成とする。
【発明の効果】
【0015】
本発明によれば、処理速度と誤検知低減の両立を図ることができる車両用外界認識装置を提供できる。
【図面の簡単な説明】
【0016】
【図1】本発明に係る車両用外界認識装置の第1の実施形態を示すブロック図である。
【図2】本発明の画像とパラメータを表す模式図である。
【図3】本発明の処理領域設定部における処理の一例を示す模式図である。
【図4】本発明の歩行者候補設定部の処理の一例を示すフローチャートである。
【図5】本発明の歩行者候補設定部で用いるソーベルフィルタの重みを示す図である。
【図6】本発明の歩行者候補設定部における局所エッジ判定器を示す図である。
【図7】本発明の歩行者候補設定部における識別器を用いた歩行者の判定方法を示すブロック図である。
【図8】本発明の歩行者判定部の処理の一例を示すフローチャートである。
【図9】本発明の歩行者判定部で用いる方向別濃淡変化量算出フィルタの重みを示す図である。
【図10】本発明の歩行者判定部で用いる縦方向・横方向の濃淡変化量の割合の一例を示す図である。
【図11】本発明の第一の衝突判定部の動作方法の一例を示すフローチャートである。
【図12】本発明の第一の衝突判定部の危険度算出方法を示す図である。
【図13】本発明の第二の衝突判定部の動作方法の一例を示すフローチャートである。
【図14】本発明に係る車両用外界認識装置の他の実施形態を示すブロック図である。
【図15】本発明に係る車両用外界認識装置の第2の実施形態を示すブロック図である。
【図16】本発明に係る車両用外界認識装置の第3の実施形態を示すブロック図である。
【図17】本発明の第3の実施形態における第二の歩行者判定部の動作方法を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の第一の実施形態について図面を用いて詳細に説明する。図1は、第一の実施の形態における車両用外界認識装置1000のブロック図である。
【0018】
車両用外界認識装置1000は、自動車に搭載されるカメラ1010内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から予め設定された物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から歩行者を検知するように構成されている。
【0019】
車両用外界認識装置1000は、CPUやメモリ,I/O等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。車両用外界認識装置1000は、図1に示すように、画像取得部1011と、処理領域設定部1021と、歩行者候補設定部1031と、歩行者判定部1041とを有し、さらに実施の形態によって、物体位置検出部1111と、第一の衝突判定部1211と、第二の衝突判定部1221とを有する。
【0020】
画像取得部1011は、自車の前方を撮像可能な位置に取り付けられたカメラ1010から、自車前方を撮影したデータを取り込み、画像IMGSRC[x][y]として記憶装置であるRAM上に書き込む。なお、画像IMGSRC[x][y]は2次元配列であり、x,yはそれぞれ画像の座標を示す。
【0021】
処理領域設定部1021は、画像IMGSRC[x][y]内から歩行者を検出する領域(SX,SY,EX,EY)を設定する。処理の詳細については後述する。
【0022】
歩行者候補設定部1031は、まず、画像IMGSRC[x][y]から濃淡勾配値を算出し、2値のエッジ画像EDGE[x][y]、およびエッジの方向の情報を持つ、勾配方向画像DIRC[x][y]を生成する。つぎに、エッジ画像EDGE[x][y]内に歩行者判定を行うマッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])を設定し、マッチング判定領域内のエッジ画像EDGE[x][y]、および対応する位置の領域内の勾配方向画像DIRC[x][y]を用いて、歩行者を認識する。ここで、gは複数の領域を設定した場合のID番号である。認識処理の詳細は後述する。また、マッチング判定領域のうち、歩行者と認識された領域は、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])として、また、歩行者候補物体情報(相対距離PYF1[d],横位置PXF1[d],横幅WDF1[d])として、後段の処理で用いられる。ここで、dは複数の物体を設定した場合のID番号である。
【0023】
歩行者判定部1041は、まず、画像IMGSRC[x][y]から、0度方向、45度方向,90度方向,135度方向の4種類の濃淡変化量を算出し、方向別濃淡変化量画像(GRAD000[x][y],GRAD045[x][y],GRAD090[x][y],GRAD135[x][y])を生成する。つぎに、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])における、方向別濃淡変化量画像(GRAD000[x][y],GRAD045[x][y],GRAD090[x][y],GRAD135[x][y])から、縦方向の濃淡変化量の割合RATE_V、および、横方向の濃淡変化量の割合RATE_Hを算出し、これらがそれぞれ閾値cTH_RATE_V,cTH_RATE_Hより小さい場合に、歩行者であると判定する。歩行者と判定された歩行者候補領域は、歩行者物体情報(相対距離PYF2[p],横位置PXF2[p],横幅WDF2[p])として格納される。判定の詳細は後述する。
【0024】
物体位置検出部1111は、自車に搭載されたミリ波レーダやレーザレーダ等の自車周辺の物体を検出するレーダからの検出信号を取得して、自車前方に存在する物体の物体位置を検出する。例えば図3に示すように、レーダから自車周辺の歩行者32等の物体の物体位置(相対距離PYR[b],横位置PXR[b],横幅WDR[b])を取得する。ここで、bは複数の物体を検知している場合のID番号である。これらの物体の位置情報は、レーダの信号を車両用外界認識装置1000に直接入力することによって取得してもよいし、レーダとLAN(Local Area Network)を用いた通信を行うことによって取得してもよい。物体位置検出部1111で検出した物体位置は、処理領域設定部1021にて用いられる。
【0025】
第一の衝突判定部1211は、歩行者候補設定部1031で検知した歩行者候補物体情報(相対距離PYF1[d],横位置PXF1[d],横幅WDF1[d])に応じて危険度を算出し、危険度に応じて警報・制動の要否の判断を行う。処理の詳細は後述する。
【0026】
第二の衝突判定部1221は、歩行者判定部1041で検知した歩行者物体情報(相対距離PYF2[p],横位置PXF2[p],横幅WDF2[p])に応じて危険度を算出し、危険度に応じて警報・制動の要否の判断を行う。処理の詳細は後述する。
【0027】
図2は、以上の説明に用いた画像、および領域を、例を用いて図示したものである。図に示すとおり、処理領域設定部1021において、画像IMGSRC[x][y]内に処理領域SX,SY,EX,EYが設定され、歩行者候補設定部1031において、画像IMGSRC[x][y]からエッジ画像EDGE[x][y]および勾配方向画像DIRC[x][y]が生成される。さらに、歩行者判定部1041において、画像IMGSRC[x][y]から、方向別濃淡変化量画像(GRAD000[x][y],GRAD045[x][y],GRAD090[x][y],GRAD135[x][y])が生成される。また、マッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])はエッジ画像EDGE[x][y]および勾配方向画像DIRC[x][y]の中に設定され、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])は、マッチング判定領域のうち、歩行者候補設定部1031において歩行者候補と認識された領域である。
【0028】
つぎに、図3を用いて、処理領域設定部1021における処理の内容について説明する。図3は、処理領域設定部1021の処理の例を示す。
【0029】
処理領域設定部1021は、画像IMGSRC[x][y]内で歩行者検知処理を行う領域を選定し、その座標の範囲、x座標(横方向)の始点SXおよび終点EX、y座標上(縦方向)の始点SYおよび終点EYを求める。
【0030】
処理領域設定部1021は、物体位置検出部1111を用いても、用いなくてもよい。まず、物体位置検出部1111を用いる場合について説明する。
【0031】
図3(a)は、物体位置検出部1111を用いた場合における処理領域設定部1021の処理の例である。
【0032】
物体位置検出部1111が検出した物体の相対距離PYR[b],横位置PXR[b]および横幅WDR[b]から、検出した物体の画像上位置(x座標(横方向)の始点SXB,終点EXB,y座標(縦方向)の始点SYB,終点EYB)を算出する。なお、カメラ画像上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体の高さを、例えば180[cm]などあらかじめ仮定しておくことにより、画像上での位置は一意に決まる。
【0033】
また、カメラ1010の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置検出部1111で検出した物体の画像上での位置と、カメラ画像に写っている同じ物体の画像上での位置に違いが生じる場合がある。よって、画像上での物体位置(SXB,EXB,SYB,EYB)に、補正を加えた物体位置(SX,EX,SY,EY)を算出する。補正は、領域を所定の量拡大したり、移動させたりする。例えば、SXB,EXB,SYB,EYBを上下左右に所定の画素拡張したりなどである。こうして、処理領域(SX,EX,SY,EY)を得ることができる。
【0034】
なお、複数の領域に対して処理する場合、処理領域(SX,EX,SY,EY)をそれぞれ生成し、以下の処理をそれぞれの処理領域に対して個別に実施する。
【0035】
つぎに、処理領域設定部1021において、物体位置検出部1111を用いずに処理領域(SX,EX,SY,EY)を設定する処理について説明する。
【0036】
物体位置検出部1111を用いない場合の領域設定の方法は、例えば、領域の大きさを変化させながら画像全体を探索するように複数の領域を設定する方法や、特定の位置、特定の大きさのみに限定して領域を設定する方法がある。特定の位置に限定する場合は、例えば自車速を用いて、自車がT秒後に進んでいる位置に限定する方法がある。
【0037】
図3(b)は、自車速を用いて,自車が2秒後に進んでいる位置を探索する場合の例である。処理領域の位置、および大きさは、自車が2秒後に進んでいる位置までの相対距離における路面高さ(0cm)、および想定する歩行者の高さ(本実施例では180cm)から、カメラ幾何パラメータを用いて画像IMGSRC[x][y]上のy方向の範囲(SYP,EYP)を求める。なお、x方向の範囲(SXP,EXP)は、制限しなくてもよいし、自車の予測進路等により制限してもよい。こうして、処理領域(SX,EX,SY,EY)を得ることができる。
【0038】
つぎに、歩行者候補設定部1031の処理の内容について説明する。図4は、歩行者候補設定部1031の処理のフローチャートである。
【0039】
まず、ステップS41にて、画像IMGSRC[x][y]から、エッジを抽出する。以下、微分フィルタとしてソーベルフィルタを適用する場合におけるエッジ画像EDGE[x][y]、および、勾配方向画像DIRC[x][y]の算出方法について説明する。
【0040】
ソーベルフィルタは図5に示すように3×3の大きさで、x方向の勾配を求めるx方向フィルタ51とy方向の勾配を求めるy方向フィルタ52の2種類が存在する。画像IMGSRC[x][y]からx方向の勾配を求める場合、画像IMGSRC[x][y]の1画素ごとに、その画素と周囲8画素の計9画素の画素値と、対応する位置のx方向フィルタ51の重みの積和演算を行う。積和演算の結果がその画素におけるx方向の勾配となる。y方向の勾配の算出も同様である。画像IMGSRC[x][y]のある位置(x,y)におけるx方向の勾配の算出結果をdx,y方向の勾配の算出結果をdyとすると、勾配強さ画像DMAG[x][y]および勾配方向画像DIRC[x][y]は以下の式(1)(2)により算出される。
【0041】
(数1)
DMAG[x][y]=|dx|+|dy| (1)
(数2)
DIRC[x][y]=arctan(dy/dx) (2)
なお、DMAG[x][y]およびDIRC[x][y]は画像IMGSRC[x][y]と同じ大きさの2次元配列であり、DMAG[x][y]およびDIRC[x][y]の座標(x,y)はIMGSRC[x][y]の座標(x,y)に対応する。
【0042】
算出したDMAG[x][y]の値とエッジ閾値THR_EDGEを比較し、DMAG[x][y]>THR_EDGEであれば1、それ以外であれば0をエッジ画像EDGE[x][y]に記憶する。
【0043】
なお、エッジ画像EDGE[x][y]は画像IMGSRC[x][y]と同じ大きさの2次元配列であり、EDGE[x][y]の座標(x,y)は画像IMGSRC[x][y]の座標(x,y)に対応する。
【0044】
なお、エッジ抽出前に、画像IMGSRC[x][y]を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小してもよい。本実施例では、処理領域設定部1021にて用いた距離情報とカメラ幾何を用い、画像IMGSRC[x][y]内の高さ180[cm],幅60[cm]の物体が全て16ドット×12ドットの大きさになるように画像を拡大・縮小し、上記エッジを算出する。
【0045】
また、エッジ画像EDGE[x][y],勾配方向画像DIRC[x][y]の算出は、処理領域(SX,EX,SY,EY)の範囲内のみに限定し、範囲外は全てゼロとしてもよい。
【0046】
つぎに、ステップS42にて、エッジ画像EDGE[x][y]内に歩行者判定を行うマッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])を設定する。ステップS41にて述べたように、本実施例では、カメラ幾何を用い、画像IMGSRC[x][y]内の高さ180[cm],幅60[cm]の物体が全て16ドット×12ドットの大きさになるように画像を拡大・縮小してエッジ画像を生成している。
【0047】
よって、マッチング判定領域の大きさを16ドット×12ドットとし、エッジ画像EDGE[x][y]が16ドット×12ドットより大きい場合は、エッジ画像EDGE[x][y]内に一定の間隔で敷き詰めるように複数設定する。
【0048】
そして、ステップS43にて、検出した物体数d=0に設定し、以下の処理をマッチング判定領域それぞれについて実行する。
【0049】
まず、ステップS44にて、あるマッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])について、以下で詳述する識別器71を用いて判定を行う。識別器71が歩行者と判定した場合には、ステップ45に移り、その画像上での位置を歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])として、また、歩行者候補物体情報(相対距離PYF1[d],横位置PXF1[d],横幅WDF1[d])を算出し、dをインクリメントする。
【0050】
なお、歩行者候補物体情報(相対距離PYF1[d],横位置PXF1[d],横幅WDF1[d])は、画像上での検出位置と、カメラ幾何モデルを用いて算出する。もしくは、物体位置検出部1111を備える場合には、相対距離PYF1[d]は物体位置検出部1111より得られる相対距離PYR[b]の値を用いてもよい。
【0051】
つぎに、識別器71を用いて歩行者か否かを判定する方法について説明する。
【0052】
画像処理によって歩行者を検知する方法として、歩行者パターンの代表となるテンプレートを複数用意しておき、差分累積演算あるいは正規化相関係演算を行って一致度を求めるテンプレートマッチングによる方法や、ニューラルネットワークなどの識別器を用いてパターン認識を行う方法が挙げられる。
【0053】
いずれの方法をとるとしても、あらかじめ歩行者か否かを決定する指標となるソースのデータベースが必要となる。様々な歩行者のパターンをデータベースとして蓄えておき、そこから代表となるテンプレートを作成したり識別器を生成したりする。実環境では様々な服装,姿勢,体型の歩行者が存在し、さらにそれぞれ照明や天候などの条件が異なったりするため大量のデータベースを用意して、誤判定を少なくすることが必要となってくる。
【0054】
このとき、前者のテンプレートマッチングによる方法の場合、判定漏れを防ぐようにするとテンプレートの数が膨大となるため現実的でない。そこで、本実施形態では後者の識別器を用いて判定する方法を採用する。識別器の大きさはソースのデータベースの大きさに依存しない。なお、識別器を生成するためのデータベースを教師データと呼ぶ。
【0055】
本実施例で使用する識別器71は、複数の局所エッジ判定器に基づいて歩行者か否かを判定する。
【0056】
まず、局所エッジ判定器について、図6の例を用いて説明する。局所エッジ判定器61はエッジ画像EDGE[x][y],勾配方向画像DIRC[x][y]、およびマッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])を入力とし、0か1かの2値を出力する判定器であり、局所エッジ頻度算出部611、および閾値処理部612から構成される。
【0057】
局所エッジ頻度算出部611は、マッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])と同じ大きさのウィンドウ6111内に局所エッジ頻度算出領域6112を持ち、マッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])とウィンドウ6111の位置関係から、エッジ画像EDGE[x][y]および勾配方向画像DIRC[x][y]内の局所エッジ頻度を算出する位置を設定し、局所エッジ頻度MWCを算出する。
【0058】
局所エッジ頻度MWCは、勾配方向画像DIRC[x][y]の角度値が角度条件6113を満たしており、かつ、対応する位置のエッジ画像EDGE[x][y]が1である画素の総数である。
【0059】
角度条件6113は、図5の例の場合、67.5度から112.5度の間、もしくは、267.5度から292.5度の間であることであり、勾配方向画像DIRC[x][y]の値が一定の範囲であるか否かを判定するものである。
【0060】
閾値処理部612は、あらかじめ定められた閾値THWC#を持ち、局所エッジ頻度算出部611にて算出された局所エッジ頻度MWCが閾値THWC#以上であれば1、それ以外であれば0を出力する。なお、閾値処理部612は、局所エッジ頻度算出部611にて算出された局所エッジ頻度MWCが閾値THWC#以下であれば1、それ以外であれば0を出力してもよい。
【0061】
つぎに、図7を用いて、識別器について説明する。
【0062】
識別器71は、エッジ画像EDGE[x][y],勾配方向画像DIRC[x][y]、およびマッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])を入力とし、領域内が歩行者であれば1、歩行者でなければ0を出力する。識別器71は40個の局所エッジ頻度判定器7101〜7140,合計部712,閾値処理部713から構成される。
【0063】
局所エッジ頻度判定器7101〜7140は、一つ一つの処理は前述した局所エッジ判定器61と同様であるが、局所エッジ頻度算出領域6112,角度条件6113,閾値THWC#はそれぞれ異なっている。
【0064】
合計部712は、局所エッジ頻度判定器7101〜7140からの出力に、対応する重みWWC1#〜WWC40#を乗じ、その合計を出力する。
【0065】
閾値処理部713は、閾値THSC#を持ち、合計部712の出力が閾値THSC#より大きければ1を、それ以外であれば0を出力する。
【0066】
識別器71の各局所エッジ頻度判定器のパラメータである局所エッジ頻度算出領域6112,角度条件6113,閾値THWC、また、重みWWC1#〜WWC40#,最終閾値THSC#は、識別器への入力画像が歩行者であった場合には1を、歩行者ではなかった場合には0を出力するように、教師データを用いて調整される。調整には、例えばAdaBoostなどの機械学習の手段を用いてもよいし、手動で行ってもよい。
【0067】
例えば、NPD個の歩行者の教師データ、およびNBG個非歩行者の教師データから、AdaBoostを用いてパラメータを決定する手順は以下の通りとなる。なお、以下、局所エッジ頻度判定器をcWC[m]と表す。ここで、mは局所エッジ頻度判定器のID番号である。
【0068】
まず、局所エッジ頻度算出領域6112および角度条件6113が異なる局所エッジ頻度判定器cWC[m]を複数(例えば、100万通り)用意し、それぞれにおいて、局所エッジ頻度MWCの値を全ての教師データから算出し、閾値THWCをそれぞれ決定する。閾値THWCは、歩行者の教師データと非歩行者の教師データを最も分類することができる値を選択する。
【0069】
つぎに、歩行者の教師データひとつひとつにwPD[nPD]=1/2NPDの重みを与える。同様に、非歩行者の教師データひとつひとつにwBG[nBG]=1/2NBGの重みを与える。ここで、nPDは歩行者の教師データのID番号、nBGは非歩行者の教師データのID番号である。
【0070】
そして、k=1として、以下、繰り返し処理を行う。
【0071】
まず、歩行者・非歩行者全ての教師データの重みの合計が1となるように、重みを正規化する。つぎに、各局所エッジ頻度判定器の誤検知率cER[m]を算出する。誤検知率cER[m]は、局所エッジ頻度判定器cWC[m]において、歩行者の教師データを局所エッジ頻度判定器cWC[m]に入力した場合の出力が0となったもの、もしくは非歩行者の教師データを局所エッジ頻度判定器cWC[m]に入力した場合の出力が1となったもの、すなわち出力が間違っている教師データの重みの合計である。
【0072】
全ての局所エッジ頻度判定器の誤検知率cER[m]を算出後、誤検知率が最小となる局所エッジ頻度判定器のID mMin を選択し、最終局所エッジ頻度判定器WC[k]=cWC[mMin]とする。
【0073】
つぎに、各教師データの重みを更新する。更新は、歩行者の教師データのうち、最終局所エッジ頻度判定器WC[k]を適用した結果が1となったもの、および、非歩行者の教師データのうち最終局所エッジ頻度判定器WC[k]を適用した結果が0となったもの、すなわち出力が正しい教師データの重みに、係数BT[k]=cER[mMin]/(1−cER[mMin])を乗じる。
【0074】
k=k+1とし、kが予め設定した値(例えば、40)になるまで繰り返す。繰り返し処理の終了後に得られる最終局所エッジ頻度判定器WCがAdaBoostにより自動調整された識別器71となる。なお、重みWWC1〜WWC40は1/BT[k]から算出され、閾値THSCは0.5とする。
【0075】
以上説明したように、歩行者候補設定部1031は、まず歩行者の輪郭のエッジを抽出し、識別器71を用いて歩行者を検出する。
【0076】
なお、歩行者の検知に用いる識別器71は、本実施例で取り上げた方法に限定されない。正規化相関を用いたテンプレートマッチング,ニューラルネットワーク識別器,サポートベクターマシン識別器,ベイズ識別器などを用いてもよい。
【0077】
また、歩行者候補設定部では、エッジを抽出せずに、濃淡画像やカラー画像をそのまま用いて、識別器71により判定してもよい。
【0078】
なお、識別器71は、様々な歩行者の画像データと、自車にとって衝突の危険がない領域の画像データを教師データとして、AdaBoostなどの機械学習の手段を用いて調整してもよい。特に、実施形態として物体位置検出部1111を備える場合には、様々な歩行者の画像データと、横断歩道,マンホールやキャッツアイ等、ミリ波レーダやレーザレーダが衝突の危険がないにも関わらず誤検知する領域の画像データを教師データとしてもよい。
【0079】
また、本実施例では、ステップS41にて、画像IMGSRC[x][y]を、処理領域(SX,SY,EX,EY)内の物体が所定の大きさに移るように拡大・縮小しているが、画像を拡大・縮小せずに、識別器71を拡大・縮小してもよい。
【0080】
つぎに、歩行者判定部1041の処理内容について説明する。図8は、歩行者判定部1041の処理のフローチャートである。
【0081】
まず、ステップ81にて、画像IMGSRC[x][y]に所定方向の濃淡変化量を算出するフィルタを適用し所定方向の画像の濃淡変化量の大きさを求める。以下、図9に示すフィルタを例として、4方向の濃淡変化量を算出する場合について説明する。
【0082】
図9に示す3×3のフィルタは、上から順番に、0[°]方向の濃淡変化量を求めるフィルタ91,45[°]方向の濃淡変化量を求めるフィルタ92,90[°]方向の濃淡変化量を求めるフィルタ93,135[°]方向の濃淡変化量を求めるフィルタ94、の4種類がある。例えば、0[°]方向の濃淡変化量を求めるフィルタ91を画像IMGSRC[x][y]に適用する場合、図5のソーベルフィルタの場合と同様に、画像IMGSRC[x][y]の1画素ごとに、その画素と周囲8画素の計9画素の画素値と、対応する位置の0[°]方向の濃淡変化量を求めるフィルタ91の重みの積和演算を行い、絶対値を算出する。その値が画素(x,y)における0[°]方向の濃淡変化量であり、GRAD000[x][y]に格納する。他の3つのフィルタも同様の演算により算出し、それぞれGRAD045[x][y],GRAD090[x][y],GRAD135[x][y]に格納する。
【0083】
なお、方向別濃淡変化量GRAD000[x][y],GRAD045[x][y],GRAD090[x][y],GRAD135[x][y]は画像IMGSRC[x][y]と同じ大きさの2次元配列であり、GRAD000[x][y],GRAD045[x][y],GRAD090[x][y],GRAD135[x][y]の座標(x,y)はIMGSRC[x][y]の座標(x,y)に対応する。
【0084】
なお、方向別濃淡変化量の算出前に、画像IMGSRC[x][y]を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小してもよい。本実施例では、画像の拡大・縮小はせずに、上記向別濃淡変化量を算出する。
【0085】
また、方向別濃淡変化量GRAD000[x][y],GRAD045[x][y],GRAD090[x][y],GRAD135[x][y]の算出は、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])の範囲内や、処理領域(SX,SY,EX,EY)の範囲内のみに限定し、範囲外は全てゼロとしてもよい。
【0086】
つぎに、ステップS82にて、歩行者数p=0に設定し、以下ステップS83からS89を、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])それぞれについて実行する。
【0087】
まず、ステップS83において、縦方向の濃淡変化量合計VSUM,横方向の濃淡変化量合計HSUM,最大値の濃淡変化量合計MAXSUMに全てゼロを代入し、初期化する。
【0088】
つぎに、ステップS84からS86について、現在の歩行者候補領域内の各画素(x,y)について処理を行う。
【0089】
まず、ステップS84にて、方向別濃淡変化量GRAD000[x][y],GRAD045[x][y],GRAD090[x][y],GRAD135[x][y]の非最大値を抑制するため、直交する成分で差分を行う。非最大値抑制後の方向別濃淡変化量GRAD000_S,GRAD045_S,GRAD090_S,GRAD135_Sは以下の式(3)〜(6)より算出する。
【0090】
(数3)
GRAD000_S=GRAD000[x][y]−GRAD090[x][y]
(3)
(数4)
GRAD045_S=GRAD045[x][y]−GRAD135[x][y]
(4)
(数5)
GRAD090_S=GRAD090[x][y]−GRAD000[x][y]
(5)
(数6)
GRAD135_S=GRAD135[x][y]−GRAD045[x][y]
(6)
ここで、値がマイナスとなったものにはゼロを代入する。
【0091】
つぎに、ステップS85にて、非最大値抑制後の方向別濃淡変化量GRAD000_S、GRAD045_S,GRAD090_S,GRAD135_Sから最大値GRADMAX_Sを求め、GRAD000_S,GRAD045_S、GRAD090_S,GRAD135_Sにおいて、GRADMAX_Sより小さい値をすべてゼロとする。
【0092】
そして、ステップS86にて、以下の式(7)(8)(9)により、縦方向の濃淡変化量合計VSUM,横方向の濃淡変化量合計HSUM,最大値の濃淡変化量合計MAXSUMに該当する値を加算する。
【0093】
(数7)
VSUM=VSUM+GRAD000_S (7)
(数8)
HSUM=HSUM+GRAD090_S (8)
(数9)
MAXSUM=MAXSUM+GRADMAX_S (9)
以上、現在の歩行者候補領域内のすべての画素についてステップS84からS86を実行後、ステップS87にて、縦方向の濃淡変化量の割合VRATE,横方向の濃淡変化量の割合HRATEを、以下の式(10)(11)により算出する。
【0094】
(数10)
VRATE=VSUM/MAXSUM (10)
(数11)
HRATE=HSUM/MAXSUM (11)
そして、ステップS88にて、算出した縦方向の濃淡変化量の割合VRATEがあらかじめ設定された閾値TH_VRATE#未満であり、かつ、横方向の濃淡変化量の割合HRATEがあらかじめ設定された閾値TH_HRATE#未満であるか否かという判定を行い、どちらも閾値未満である場合にはステップS89へ移る。
【0095】
ステップS89では、歩行者候補領域を歩行者であると判断し、歩行者候補設定部にて算出した歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d]),歩行者候補物体情報(相対距離PYF1[d],横位置PXF1[d],横幅WDF1[d])を、歩行者領域(SXP[p],SYP[p],EXP[p],EYP[p]),歩行者物体情報(相対距離PYF2[p],横位置PXF2[p],横幅WDF2[p])へ代入し、pをインクリメントする。なお、ステップS88にて人工物であると判断した場合には、処理をしない。
【0096】
以上、ステップS82からS89を、歩行者候補設定部1031で検知した歩行者候補数d=0,1,・・・だけ繰り返し、歩行者判定部1041の処理を終了する。
【0097】
なお、本実施例においては、縦方向の濃淡変化量の割合VRATE、および、横方向の濃淡変化量の割合HRATEを歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])から算出したが、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])内の所定の領域に限定してもよい。
【0098】
例えば、電柱の縦方向の濃淡変化は歩行者候補領域の中心より外側に見られるため、縦方向の濃淡変化量の合計VSUMを、歩行者候補領域の左右外側の境界近くの領域に限定して算出する。
【0099】
また、ガードレールの横方向の濃淡変化は歩行者候補領域の中心より下側に見られるため、横方向の濃淡変化量の合計HSUMを、歩行者候補領域の下側の領域に限定して算出する。
【0100】
また、図9に示す方向別濃淡変化量算出フィルタの重みは、図9に示す重み以外のフィルタを用いてもよい。
【0101】
例えば、0[°]方向,90[°]方向は図5に示すようなソーベルフィルタの重みを用い、45[°]方向,135[°]方向はソーベルフィルタの重みを回転させた値を用いてもよい。
【0102】
また、縦方向の濃淡変化量の割合VRATE,横方向の濃淡変化量の割合HRATEの算出方法は、上記以外の方法を用いてもよい。非最大値抑制の処理をいれなくてもよいし、最大値以外をゼロにする処理を入れなくてもよい。
【0103】
閾値TH_VRATE#,TH_HRATE#は、事前に歩行者候補設定部1031で検知する歩行者、および人工物から、縦方向の濃淡変化量の割合VRATE、および、横方向の濃淡変化量の割合HRATEを算出することにより決定できる。
【0104】
図10に、縦方向の濃淡変化量の割合VRATE、および、横方向の濃淡変化量の割合HRATEを、歩行者候補設定部1031で検出した複数種類の物体から算出した例を示す。
【0105】
図に示すように、縦方向の濃淡変化量の割合VRATEでは電柱の分布が歩行者の分布と離れており、横方向の濃淡変化量の割合HRATEではガードレールや路面ペイント等の非立体物の分布が歩行者の分布と離れている。よって、これらの分布の間に閾値を設定することにより、縦方向の濃淡変化量の割合VRATEにより電柱を歩行者とする誤判定を減らすことができ、横方向の濃淡変化量の割合HRATEによりガードレールや路面ペイント等の非立体物を歩行者とする誤判定を減らすことができる。
【0106】
なお、縦方向,横方向の濃淡変化量の割合の判定は、閾値処理以外の方法を用いてもよい。例えば、0[°]方向,45[°]方向,90[°]方向,135[°]方向それぞれの濃淡変化量の割合を算出し、4次元のベクトルとして、様々な電柱から算出した代表ベクトル(例えば、平均ベクトル)との距離に応じて電柱と判定する、同様にガードレールの代表ベクトルとの距離に応じてガードレールと判定する、等の方法を用いてもよい。
【0107】
以上説明したように、パターンマッチにより歩行者候補を認識する歩行者候補設定部1031と、濃淡変化量の割合で歩行者か人工物かを判定する歩行者判定部1041を設けることにより、直線的な濃淡変化が多い電柱,ガードレール,路面ペイント等の人工物に対する誤検知を減少させることができる。
【0108】
また、歩行者判定部1041は濃淡変化量の割合を用いているため処理負荷が小さく、短い処理周期で判定を行うことができるため、自車前方に飛び出してきた歩行者の初期補足が早い。
【0109】
つぎに、第一の衝突判定部1211の処理について、図11,図12を用いて説明する。
【0110】
第一の衝突判定部1211は、歩行者候補設定部1031にて検知した歩行者候補物体情報(PYF1[d],PXF1[d],WDF1[d])に応じて、警報を発動させるための警報フラグ、あるいは衝突被害軽減のための自動ブレーキ制御を発動させるためのブレーキ制御フラグをセットする。
【0111】
図11は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。
【0112】
最初に、ステップS111において、歩行者候補設定部1031にて検知した歩行者候補物体情報(PYF1[d],PXF1[d],WDF1[d])を読み込む。
【0113】
つぎに、ステップS112において、検知された各物体の衝突予測時間TTCF1[i]を式(12)を用いて演算する。ここで、相対速度VYF1[d]は、物体の相対距離PYF1[d]を擬似微分することによって求める。
【0114】
(数12)
TTCF1[d]=PYF1[d]÷VYF1[d] (12)
さらに、ステップS113において、各障害物に対する危険度DRECIF1[d]を演算する。
【0115】
以下、検知された物体X[d]に対する危険度DRECI[d]の演算方法の例を、図12を用いて説明する。
【0116】
まず、予測進路の推定方法について説明する。図12に示すように、自車位置を原点Oとすると、予測進路は原点Oを通る旋回半径Rの円弧で近似できる。ここで、旋回半径Rは、自車の操舵角α,速度Vsp,スタビリティファクタA,ホイールベースLおよびステアリングギア比Gsを用いて式(13)で表される。
【0117】
(数13)
R=(1+AV2)×(L・Gs/α) (13)
スタビリティファクタとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。式(13)からわかるように、旋回半径Rは、スタビリティファクタAを係数として、自車の速度Vspの2乗に比例して変化する。また、旋回半径Rは車速Vspおよびヨーレートγを用いて式(14)で表すことができる。
【0118】
(数14)
R=V/γ (14)
つぎに、物体X[d]から、旋回半径Rの円弧で近似した予測進路の中心へ垂線を引き、距離L[d]を求める。
【0119】
さらに、自車幅Hから距離L[d]を引き、これが負値の場合には危険度DRECI[d]=0とし、正値の場合には以下の式(15)によって危険度DRECI[d]を演算する。
【0120】
(数15)
DRECI[d]=(H−L[b])/H (15)
なお、ステップS111〜S113の処理は、検知した物体数に応じてループ処理を行う構成としている。
【0121】
ステップS114において、ステップS113で演算した危険度DRECI[d]に応じて式(16)の条件が成立している物体を選択し、選択された物体の中で衝突予測時間TTCF1[d]が最小となる物体dMinを選択する。
【0122】
(数16)
DRECI[d]≧cDRECIF1# (16)
ここで、所定値cDRECIF1#は、自車に衝突するか否かを判定するための閾値である。
【0123】
つぎに、ステップS115において、選択された物体の衝突予測時間TTCF1[dMin]に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。式(17)が成立している場合にはステップS116に進み、ブレーキ制御フラグをONにセットして処理を終了する。また、式(17)が非成立の場合にはステップS117に進む。
【0124】
(数17)
TTCF1[dMin]≦cTTCBRKF1# (17)
ステップS117において、選択された物体dMinの衝突予測時間TTCF1[dMin]に応じて警報を出力する範囲であるか否かの判定を行う。
【0125】
以下式(18)が成立している場合にはステップS118に進み、警報フラグをONにセットして処理を終了する。また、式(18)が非成立の場合には、ブレーキ制御フラグ、警報フラグともにセットせずに処理を終了する。
【0126】
(数18)
TTCF1[dMin]≦cTTCALMF1# (18)
つぎに、第二の衝突判定部1221の処理について、図13を用いて説明する。
【0127】
第二の衝突判定部1221は、歩行者判定部1041にて歩行者であると判定した歩行者物体情報(PYF2[p],PXF2[p],WDF2[p])に応じて、警報を発動させるための警報フラグ、あるいは衝突被害軽減のための自動ブレーキ制御を発動させるためのブレーキ制御フラグをセットする。
【0128】
図13は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。
【0129】
最初に、ステップS131において、歩行者判定部1041にて歩行者であると判定した歩行者物体情報(PYF2[p],PXF2[p],WDF2[p])を読み込む。
【0130】
つぎに、ステップS132において、検知された各物体の衝突予測時間TTCF2[p]を以下式(19)を用いて演算する。ここで、相対速度VYF2[p]は、物体の相対距離PYF2[p]を擬似微分することによって求める。
【0131】
(数19)
TTCF2[p]=PYF2[p]÷VYF2[p] (19)
さらに、ステップS133において、各障害物に対する危険度DRECI[p]を演算する。危険度DRECI[p]の算出は、前述の第一の衝突判定部での説明と同様であるため、割愛する。
【0132】
なお、ステップS131〜S133の処理は、検知した物体数に応じてループ処理を行う構成としている。
【0133】
ステップS134において、ステップS133で演算した危険度DRECI[p]に応じて以下式(20)の条件が成立している物体を選択し、選択された物体の中で衝突予測時間TTCF2[p]が最小となる物体pMinを選択する。
【0134】
(数20)
DRECI[p]≧cDRECIF2# (20)
ここで、所定値cDRECIF2#は、自車に衝突するか否かを判定するための閾値である。
【0135】
つぎに、ステップS135において、選択された物体の衝突予測時間TTCF2[pMin]に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。以下式(21)が成立している場合にはステップS136に進み、ブレーキ制御フラグをONにセットして処理を終了する。また、式(21)が非成立の場合にはステップS137に進む。
【0136】
(数21)
TTCF2[pMin]≦cTTCBRKF2# (21)
ステップS137において、選択された物体pMinの衝突予測時間TTCF2[pMin]に応じて警報を出力する範囲であるか否かの判定を行う。以下式(22)が成立している場合にはステップS138に進み、警報フラグをONにセットして処理を終了する。
【0137】
また、式(22)が非成立の場合には、ブレーキ制御フラグ,警報フラグともにセットせずに処理を終了する。
【0138】
(数22)
TTCF2[pMin]≦cTTCALMF2# (22)
以上説明したように、第一の衝突判定部1211、および、第二の衝突判定部1221を設け、cTTCBRKF1#<cTTCBRKF2#、かつ、cTTCALMF1#<cTTCALMF2#と設定することにより、歩行者候補設定部1031で検知した歩行者に類似した物体に対しては近傍のみで警報,ブレーキ制御を行い、歩行者判定部1041で歩行者と判定した物体に対しては遠方から警報,ブレーキ制御を行うことができる。
【0139】
特に、前述したように、歩行者候補設定部1031の識別器71が、歩行者の画像データと、自車にとって衝突の危険がない領域の画像データを用いて調整されている場合は、歩行者候補設定部1031で検知される物体は歩行者を含む立体物であるため、自車にとって衝突の危険がある。よって、歩行者判定部1041にて歩行者ではないと判定されていても、近傍のみで制御を行うことにより事故低減に寄与することができる。
【0140】
よって、歩行者のダミー人形を準備し、車両用外界認識装置1000を車両に搭載し、歩行者ダミー人形に向かって車両を前進させると、あるタイミングにて警報,制御が発動する。一方、ダミー人形の前に柵を設置して同様に前進すると、カメラ画像上にて縦方向の濃淡変化量が多くなっているため、最初のタイミングより遅いタイミングにて警報,制御が発動する。
【0141】
また、本発明の車両用外界認識装置1000においては、図14に示すように、第一の衝突判定部1211、および、第二の衝突判定部1221が無く、衝突判定1231を有する実施形態も存在する。
【0142】
衝突判定部1231は、歩行者判定部1041で検知した歩行者物体情報(相対距離PYF2[p],横位置PXF2[p],横幅WDF2[p])に応じて危険度を算出し、危険度に応じて警報・制動の要否の判断を行う。なお、判定の処理内容は前述の車両用外界認識装置1000の第二の衝突判定部1221と同様であるため、説明は割愛する。
【0143】
図14に示す車両用外界認識装置1000の実施形態は、歩行者判定部にて、路面ペイントに対する誤検知を排除することを想定している。歩行者候補設定部1031にて排除できなかった路面ペイントに対する誤検知を、歩行者判定部1041において排除し、その結果を用いて衝突判定部1231で警報・自動ブレーキの制御を行う。
【0144】
以上説明したように、歩行者判定部1041は、縦方向、および、横方向の濃淡変化量を用いて、電柱,ガードレール,路面ペイントといった人工物に対する誤検知を低減することができる。
【0145】
路面ペイントは、自車にとって衝突の危険がないため、路面ペイントを歩行者と判定すると、自車にとって衝突の危険が無い場所で自動ブレーキ等が作動し、自車の安全性を損ねるといった問題がある。
【0146】
また、電柱,ガードレールは、自車にとって衝突の危険があるものの、前後左右へ移動できる歩行者と異なり、静止物体である。よって、これら静止物に対して歩行者を回避するタイミングで警報を作動させると、ドライバにとって早めの警報となってしまい、ドライバにわずらわしさを感じさせてしまう。
【0147】
本発明を用いることにより、上記のように安全性を損ねてしまったり、ドライバにわずらわしさを感じさせたりといった課題を解決することができる。
【0148】
本発明によれば、パターンマッチにより、歩行者を含む候補を検知し、さらに検知した領域における所定方向の濃淡変化量の割合を用いて歩行者か否かを判定するため、後段の処理負荷が小さく、高速に歩行者を検知することができる。その結果、処理周期を高速化することができ、自車前方に飛び出した歩行者の初期補足が早くなる。
【0149】
つぎに、本発明の車両用外界認識装置2000の第二の実施形態について、以下図面を用いて説明する。
【0150】
図15は、車両用外界認識装置2000の実施形態を表すブロック図である。なお、以下の説明では、上述の車両用外界認識装置1000と異なる箇所のみ詳述し、同様の箇所には同一の番号を付し説明を省略する。
【0151】
車両用外界認識装置2000は、自動車に搭載されるカメラ内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から予め設定された物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から歩行者を検知するように構成されている。
【0152】
車両用外界認識装置2000は、CPUやメモリ,I/O等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。車両用外界認識装置2000は、図15に示すように、画像取得部1011と、処理領域設定部1021と、歩行者候補設定部2031と、歩行者判定部2041と、歩行者確定部2051とを有し、さらに実施の形態によって、物体位置検出部1111を有する。
【0153】
歩行者候補設定部2031は、処理領域設定部1021にて設定された処理領域(SX,SY,EX,EY)から、歩行者の有無を判定する歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])を設定する。処理の詳細については後述する。
【0154】
歩行者判定部2041は、まず、画像IMGSRC[x][y]から、0度方向,45度方向,90度方向,135度方向の4種類の濃淡変化量を算出し、方向別濃淡変化量画像(GRAD000[x][y],GRAD045[x][y],GRAD090[x][y],GRAD135[x][y])を生成する。
【0155】
つぎに、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])における、方向別濃淡変化量画像(GRAD000[x][y],GRAD045[x][y],GRAD090[x][y],GRAD135[x][y])から、縦方向の濃淡変化量の割合RATE_V、および、横方向の濃淡変化量の割合RATE_Hを算出し、これらがそれぞれ閾値cTH_RATE_V,cTH_RATE_Hより小さい場合に、歩行者であると判定する。歩行者と判定された歩行者候補領域は、歩行者判定領域(SXD2[e],SYD2[e],EXD2[e],EYD2[e])とする。判定の詳細は後述する。
【0156】
歩行者確定部2051は、まず、画像IMGSRC[x][y]から濃淡勾配値を算出し、2値のエッジ画像EDGE[x][y]、およびエッジの方向の情報を持つ、勾配方向画像DIRC[x][y]を生成する。
【0157】
つぎに、歩行者判定領域(SXD2[e],SYD2[e],EXD2[e],EYD2[e])から、エッジ画像EDGE[x][y]内に歩行者判定を行うマッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])を設定し、マッチング判定領域内のエッジ画像EDGE[x][y]、および対応する位置の領域内の勾配方向画像DIRC[x][y]を用いて、歩行者を認識する。ここで、gは複数の領域を設定した場合のID番号である。認識処理の詳細は後述する。
【0158】
また、マッチング判定領域のうち、歩行者と認識された領域は、歩行者領域(SXD[d],SYD[d],EXD[d],EYD[d])として、また、歩行者物体情報(相対距離PYF2[d],横位置PXF2[d],横幅WDF2[d])として格納する。ここで、dは複数の物体を設定した場合のID番号である。
【0159】
つぎに、歩行者候補設定部2031の処理について説明する。
【0160】
歩行者候補設定部2031は、処理領域(SX,EX,SY,EY)から、歩行者判定部2041、および、歩行者確定部2051で処理する領域を設定する。
【0161】
まず、処理領域設定部1021にて設定した、処理領域(SX,EX,SY,EY)の距離とカメラ幾何パラメータを用いて、想定する歩行者の高さ(本実施例では180cm)、および、幅(本実施例では60cm)の画像上での大きさを算出する。
【0162】
つぎに、算出した画像上での歩行者の高さ、および、幅を、処理領域(SX,EX,SY,EY)に、1画素ずつずらしながら設定し、それぞれの領域を歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])とする。
【0163】
なお、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])は、数画素飛ばして設定してもよいし、例えば、領域内の画像IMGSRC[x][y]の画素値の合計がゼロの場合には設定しないなど、前処理により制限してもよい。
【0164】
つぎに、歩行者判定部2041について説明する。
【0165】
歩行者判定部2041は、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])それぞれに対して、前述の車両用外界認識装置1000における歩行者判定部1041と同様の判定を行い、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])が歩行者であると判定された場合には、歩行者判定領域(SXD2[e],SYD2[e],EXD2[e],EYD2[e])へ代入し、後段の処理へ出力する。処理の詳細は、前述の車両用外界認識装置1000における歩行者判定部1041と同様であるため、割愛する。
【0166】
つぎに、歩行者確定部2051について説明する。
【0167】
歩行者確定部2051は、歩行者判定領域(SXD2[e],SYD2[e],EXD2[e],EYD2[e])それぞれに対して、前述の車両用外界認識装置1000における歩行者候補設定部1031と同様の処理を行い、歩行者判定領域(SXD2[e],SYD2[e],EXD2[e],EYD2[e])が歩行者であると認識された場合には、歩行者物体情報(相対距離PYF2[p],横位置PXF2[p],横幅WDF2[p])を出力する。つまり、歩行者確定部2051は、歩行者判定部2041で歩行者と判定された歩行者判定領域(SXD2[e],SYD2[e],EXD2[e],EYD2[e])に対して、オフライン学習により生成される識別器を用いて歩行者の存在を確定する。
【0168】
処理内容について、図4のフローチャートを用いて説明する。
【0169】
まず、ステップS41にて、画像IMGSRC[x][y]から、エッジを抽出する。エッジ画像EDGE[x][y]、および、勾配方向画像DIRC[x][y]の算出方法については、前述の車両用外界認識装置1000における歩行者候補設定部1031と同様であるため、説明は割愛する。
【0170】
なお、エッジ抽出前に、画像IMGSRC[x][y]を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小してもよい。本実施例では、処理領域設定部1021にて用いた距離情報とカメラ幾何を用い、画像IMGSRC[x][y]内の高さ180[cm],幅60[cm]の物体が全て16ドット×12ドットの大きさになるように画像を拡大・縮小し、上記エッジを算出する。
【0171】
また、エッジ画像EDGE[x][y],勾配方向画像DIRC[x][y]の算出は、処理領域(SX,EX,SY,EY)の範囲内、もしくは、歩行者判定領域(SXD2[e],SYD2[e],EXD2[e],EYD2[e])のみに限定し、範囲外は全てゼロとしてもよい。
【0172】
つぎに、ステップS42にて、エッジ画像EDGE[x][y]内に歩行者判定を行うマッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])を設定する。
【0173】
マッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])は、ステップS41にてエッジ抽出時に、あらかじめ画像を拡大・縮小している場合には、歩行者判定領域(SXD2[e],SYD2[e],EXD2[e],EYD2[e])を、縮小画像中の座標へ変換し、その一つ一つの領域をマッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])とする。
【0174】
本実施例では、カメラ幾何を用い、画像IMGSRC[x][y]内の高さ180[cm],幅60[cm]の物体が全て16ドット×12ドットの大きさになるように画像を拡大・縮小してエッジ画像を生成している。
【0175】
よって、歩行者判定領域(SXD2[e],SYD2[e],EXD2[e],EYD2[e])の座標を画像の拡大・縮小と同じ比率にて拡大・縮小し、マッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])とする。
【0176】
ステップS41にてエッジ抽出時に、あらかじめ画像を拡大・縮小していない場合には、歩行者判定領域(SXD2[e],SYD2[e],EXD2[e],EYD2[e])を、そのままマッチング判定領域(SXG[g],SYG[g],EXG[g],EYG[g])とする。
【0177】
なお、ステップS43以降の処理は、前述の車両用外界認識装置1000における歩行者候補設定部1031と同様であるため、説明は割愛する。
【0178】
さらに、本発明の車両用外界認識装置3000の第三の実施形態について、以下図面を用いて説明する。
【0179】
図16は、車両用外界認識装置3000の実施形態を表すブロック図である。
【0180】
なお、以下の説明では、上述の車両用外界認識装置1000、および、車両用外界認識装置2000と異なる箇所のみ詳述し、同様の箇所には同一の番号を付し説明を省略する。
【0181】
車両用外界認識装置3000は、自動車に搭載されるカメラ内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から予め設定された物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から歩行者を検知するように構成されている。
【0182】
車両用外界認識装置3000は、CPUやメモリ,I/O等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
【0183】
車両用外界認識装置3000は、図16に示すように、画像取得部1011と、処理領域設定部1021と、歩行者候補設定部1031と、第一の歩行者判定部3041と、第二の歩行者判定部3051と、衝突判定部1231とを有し、さらに実施の形態によって、物体位置検出部1111を有する。
【0184】
第一の歩行者判定部3041は、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])それぞれに対して、前述の車両用外界認識装置1000における歩行者判定部1041と同様の判定を行い、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])が歩行者であると判定された場合には、第一の歩行者判定領域(SXJ1[j],SYJ1[j],EXJ1[j],EYJ[j])へ代入し、後段の処理へ出力する。処理の詳細は、前述の車両用外界認識装置1000における歩行者判定部1041と同様であるため、割愛する。
【0185】
第二の歩行者判定部3051は、第一の歩行者判定領域(SXJ1[j],SYJ1[j],EXJ1[j],EYJ[j])それぞれに対して、領域の位置に対応する画像IMGSRC[x][y]の画素が所定の輝度閾値以上の画素の画素数をカウントし、その合計が所定の面積閾値以下であった場合には、その領域を歩行者と判定する。歩行者と判定された領域は、歩行者物体情報(相対距離PYF2[p],横位置PXF2[p],横幅WDF2[p])として格納し、後段の衝突判定部1231にて用いられる。
【0186】
つまり、第一の歩行者判定部3041は、歩行者候補領域(SXD[d],SYD[d],EXD[d],EYD[d])内の所定方向の濃淡変化量の割合に応じて歩行者候補領域が歩行者であるか人工物であるかを判定し、第二の歩行者判定部3051は、第一の歩行者判定部3041で歩行者と判定された歩行者判定領域(SXJ1[j],SYJ1[j],EXJ1[j],EYJ[j])において所定の輝度値以上である画素数に基づいて歩行者判定領域が歩行者であるか人工物であるかを判定するものである。
【0187】
第二の歩行者判定部3051の処理について説明する。図17は、第二の歩行者判定部3051のフローチャートである。
【0188】
まず、ステップS171にて、歩行者数p=0として、S172以下を、第一の歩行者判定領域(SXJ1[j],SYJ1[j],EXJ1[j],EYJ[j])の数だけ繰り返す。
【0189】
まず、ステップS172にて、第一の歩行者判定領域(SXJ1[j],SYJ1[j],EXJ1[j],EYJ[j])内における、光源判定領域(SXL[j],SYL[j],EXL[j],EYL[j])を設定する。この領域は、カメラ幾何モデルを用いて、光源となるヘッドライト取り付け位置の規定から算出することができ、日本国内であれば、50[cm]以上,120[cm]以下である。また、幅は、歩行者の幅の半分等に設定する。
【0190】
つぎに、ステップS173にて、所定輝度以上の画素数BRCNT=0とし、光源判定領域(SXL[j],SYL[j],EXL[j],EYL[j])内の画像IMGSRC[x][y]画素一つ一つにつき、ステップS174,S175を繰り返す。
【0191】
まず、ステップS174にて、座標(x,y)の画像IMGSRC[x][y]の輝度値が所定の輝度閾値TH_cLIGHTBRIGHT#以上であるかを判定する。閾値以上であると判定された場合には、ステップS175へ移り、所定輝度以上の画素数BRCNTを1つインクリメントする。また、閾値より小さいと判定された場合には、何もしない。
【0192】
以上を光源判定領域(SXL[j],SYL[j],EXL[j],EYL[j])内の全ての画素について実施した後、ステップS176にて、所定輝度以上の画素数BRCNTが、所定の面積閾値TH_cLIGHTAREA#以上であるかを判定し、歩行者であるか光源であるかを判定する。
【0193】
閾値以上であると判定された場合には、ステップ177へ移り、歩行者領域(SXP[p],SYP[p],EXP[p],EYP[p])、歩行者物体情報(相対距離PYF2[p],横位置PXF2[p],横幅WDF2[p])を算出して、pをインクリメントする。また、ステップS176にて光源であると判断した場合には、処理をしない。
【0194】
以上を、第一の歩行者判定領域(SXJ1[j],SYJ1[j],EXJ1[j],EYJ[j])内の全ての物体に対して実行し、処理を終了する。
【0195】
輝度閾値TH_cLIGHTBRIGHT#、および、面積閾値TH_cLIGHTAREA#は、事前に歩行者候補設定部1031,第一の歩行者判定部3041で検知する歩行者、および、歩行者候補設定部1031,第一の歩行者判定部3041で誤検知するヘッドライトのデータを用いて決定する。
【0196】
また、面積閾値TH_cLIGHTAREA#は、光源の面積の条件から決定してもよい。
【0197】
以上説明したように、第二の歩行者判定部3051を設けることによって、第一の歩行者判定部3041にて、電柱,ガードレール,路面ペイント等の人工物に対する誤検知を排除し、さらに、ヘッドライト等の光源に対する誤検知を排除することができる。本構成とすることにより、パターンマッチにより歩行者と誤判定してしまう、公道で遭遇する物体の多くをカバーすることができ、誤検知低減に寄与することができる。
【0198】
なお、本実施の形態では可視カメラで撮像した可視画像に基づく歩行者検知システムに適用したが、可視画像以外にも、近赤外線カメラや遠赤外線カメラで撮影した赤外線画像に基づく歩行者検知システムにも適用可能である。
【0199】
本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【0200】
1000 車両用外界認識装置
1011 画像取得部
1021 処理画像生成部
1031 歩行者候補設定部
1041 歩行者判定部
1111 物体位置検出部
1211 第一の衝突判定部
1221 第二の衝突判定部
1231 衝突判定部
2000 車両用外界認識装置
2031 歩行者候補設定部
2041 歩行者判定部
2051 歩行者確定部
3000 車両用外界認識装置
3041 第一の歩行者判定部
3051 第二の歩行者判定部

【特許請求の範囲】
【請求項1】
自車前方を撮像した画像を取得する画像取得部と、
前記画像から歩行者を検出する処理領域を設定する処理領域設定部と、
前記画像から歩行者の有無を判定する歩行者候補領域を設定する歩行者候補設定部と、
前記歩行者候補領域内の所定方向の濃淡変化量の割合に応じて前記歩行者候補領域が歩行者であるか人工物であるかを判定する歩行者判定部と、
を有する車両用外界認識装置。
【請求項2】
請求項1記載の車両用外界認識装置において、
前記歩行者候補設定部は、前記処理領域内の前記画像からオフライン学習により生成される識別器を用いて前記歩行者に類似した歩行者候補領域を抽出する車両用外界認識装置。
【請求項3】
請求項1記載の車両用外界認識装置において、
自車前方に存在する物体を検出した物体情報を取得する物体検出部を有し、
前記処理領域設定部は、取得した前記物体情報に基づいて前記画像内の処理領域を設定する車両用外界認識装置。
【請求項4】
請求項1記載の車両用外界認識装置において、
前記人工物とは、電柱,ガードレール,路面ペイントのいずれかを有する車両用外界認識装置。
【請求項5】
請求項1記載の車両用外界認識装置において、
前記歩行者候補設定部は、
前記画像からエッジを抽出してエッジ画像を生成し、
前記エッジ画像から歩行者判定をするためのマッチング判定領域を設定し、
前記マッチング判定領域が歩行者と判定された場合に歩行者候補領域として設定する車両用外界認識装置。
【請求項6】
請求項1記載の車両用外界認識装置において、
前記歩行者判定手段は、
前記画像から複数方向の方向別の濃淡変化量を算出し、
前記歩行者候補領域内から、算出された濃淡変化量から縦方向の濃淡変化量の割合及び横方向の濃淡変化量の割合を算出し、
算出された前記縦方向の濃淡変化量の割合が、予め定めた縦方向の閾値未満、且つ算出された前記横方向の濃淡変化量の割合が、予め定めた横方向の閾値未満の場合、歩行者であると判定する車両用外界認識装置。
【請求項7】
請求項1記載の車両用外界認識装置において、
前記歩行者候補設定部は、前記歩行者候補領域から歩行者候補物体情報を算出する車両用外界認識装置。
【請求項8】
請求項7記載の車両用外界認識装置において、
前記歩行者候補物体情報に基づいて、検知された物体に自車両が衝突する危険があるか否かを判定し、判定した結果に基づいて警報信号又はブレーキ制御信号を生成する第一の衝突判定部を有する車両用外界認識装置。
【請求項9】
請求項8記載の車両用外界認識装置において、
前記第一の衝突判定部は、
前記歩行者候補物体情報を取得し、
前記歩行者候補物体情報から検知された物体と自車両の相対距離及び相対速度に基づいて自車両が前記物体に衝突する衝突予測時間を算出し、
前記歩行者候補物体情報から検知された物体と自車両との距離に基づいて衝突危険度を算出し、
前記衝突予測時間及び前記衝突危険度に基づいて衝突の危険があるか否かを判定する車両用外界認識装置。
【請求項10】
請求項9記載の車両用外界認識装置において、
前記第一の衝突判定部は、
前記衝突危険度が最も高い物体を選択し、
選択された物体に対して前記衝突予測時間が予め定めた閾値以下の場合、警報信号又はブレーキ制御信号を生成する車両用外界認識装置。
【請求項11】
請求項6記載の車両用外界認識装置において、
前記歩行者判定部で判定された歩行者の歩行者情報に基づいて自車両が歩行者に衝突する危険があるか否かを判定し、判定した結果に基づいて警報信号又はブレーキ制御信号を生成する第二の衝突判定部を有する車両用外界認識装置。
【請求項12】
請求項11記載の車両用外界認識装置において、
前記第二の衝突判定部は、
前記歩行者情報を取得し、
前記歩行者情報から検知された物体と自車両の相対距離及び相対速度に基づいて自車両が前記歩行者に衝突する衝突予測時間を算出し、
前記歩行者情報から検知された歩行者と自車両との距離に基づいて衝突危険度を算出し、
前記衝突予測時間及び前記衝突危険度に基づいて衝突の危険があるか否かを判定する車両用外界認識装置。
【請求項13】
請求項12記載の車両用外界認識装置において、
前記第二の衝突判定部は、
前記衝突危険度が最も高い歩行者を選択し、
選択された歩行者に対して前記衝突予測時間が予め定めた閾値以下の場合、警報信号又はブレーキ制御信号を生成する車両用外界認識装置。
【請求項14】
請求項1記載の車両用外界認識装置において、
前記歩行者判定部で歩行者と判定された領域に対して、オフライン学習により生成される識別器を用いて歩行者の存在を確定する歩行者確定部を有する車両用外界認識装置。
【請求項15】
請求項1記載の車両用外界認識装置において、
前記歩行者判定部は、第一の歩行者判定部と、第二の歩行者判定部と、を有し、
前記第一の歩行者判定部は、前記歩行者候補領域内の所定方向の濃淡変化量の割合に応じて前記歩行者候補領域が歩行者であるか人工物であるかを判定し、
前記第二の歩行者判定部は、前記第一の歩行者判定部で歩行者と判定された歩行者判定領域において所定の輝度値以上である画素数に基づいて前記歩行者判定領域が歩行者であるか人工物であるかを判定する車両用外界認識装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2011−154580(P2011−154580A)
【公開日】平成23年8月11日(2011.8.11)
【国際特許分類】
【出願番号】特願2010−16154(P2010−16154)
【出願日】平成22年1月28日(2010.1.28)
【出願人】(509186579)日立オートモティブシステムズ株式会社 (2,205)
【Fターム(参考)】