車両用外界認識装置およびそれを用いた車両システム
【課題】例えば雨天時の傘をさしている歩行者と持っていない歩行者のように、類似した２種類の物体を少ない処理負荷で検出することができる車両用外界認識装置を提供する。
【解決手段】車両用外界認識装置１０００は、画像から第一の物体と第二の物体で互いに共通する部分の類似度ＭＴ０と、第一の物体の特有な部分の類似度である第一の特有類似度ＭＴ１と、第二の物体の特有な部分の類似度である第二の特有類似度ＭＴ２を算出して、共通類似度ＭＴ０と第一の特有類似度ＭＴ１を用いて第一の物体の有無を判定するとともに、共通類似度ＭＴ０と第二の特有類似度ＭＴ２を用いて第二の物体の有無を判定し、装置全体の処理負荷を軽減する。
【解決手段】車両用外界認識装置１０００は、画像から第一の物体と第二の物体で互いに共通する部分の類似度ＭＴ０と、第一の物体の特有な部分の類似度である第一の特有類似度ＭＴ１と、第二の物体の特有な部分の類似度である第二の特有類似度ＭＴ２を算出して、共通類似度ＭＴ０と第一の特有類似度ＭＴ１を用いて第一の物体の有無を判定するとともに、共通類似度ＭＴ０と第二の特有類似度ＭＴ２を用いて第二の物体の有無を判定し、装置全体の処理負荷を軽減する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等の画像センサからの情報に基づいて自車周囲の歩行者等の物体を検知する車両用外界認識装置およびそれを用いた車両システムに関する。
【背景技術】
【０００２】
交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。日本国内においては、歩行者が死亡する事故が交通事故死亡者数全体の約３０％を占めており、このような歩行者事故を減少させるために、自車前方の歩行者を検知する予防安全システムが有効である。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
【０００３】
自車前方の歩行者を検知する方法として、カメラで自車前方を撮像し、撮像された画像から、歩行者の形状パターンを用いて検出するパターンマッチ手法が用いられる。歩行者は様々な服装、形状のパターンが考えられるが、自車の環境を測定することによって歩行者の形状を推定し検出を変える方法が提案されている。
【０００４】
例えば、特許文献１には、夜間、雨天といった走行環境を判定し、環境に応じて歩行者テンプレートを変える方式が記載されている。
【０００５】
また、特許文献２には、自動車専用道を走行中か否か、あるいは、昼か夜か等の判定結果に応じて、歩行者テンプレートとのマッチング率の閾値を変化させる方法が記載されている。
【０００６】
さらに、特許文献３には、歩行者の形状を検出しやすい環境であるかを判定し、その判定結果に基づいて検出判定用閾値を決定する方法が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１２２８５９号公報
【特許文献２】特開２０１０−０６６８１５号公報
【特許文献３】特開２００９−０２６２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記方法においては、環境によって検出できない歩行者が存在する。例えば、特許文献１に記載のテンプレートを切り替える方式においては、雨天時であるとして、通常の歩行者用のテンプレートから、傘をさしている歩行者用のテンプレートに切り替えると、雨天時に傘をさしていない歩行者を検出することができないという問題がある。
【０００９】
特許文献２、３に記載の環境を認識して検出用閾値を変化させる方式においても、検出用閾値を低下させて検出漏れを減らすと、誤検出が増加してしまうという問題がある。
【００１０】
また、様々な歩行者を同時に検出するために複数のテンプレートとのマッチングを常時すべて実行する方法が考えられるが、処理負荷の観点から、現実的でない。
【００１１】
上記した問題は、歩行者に限定されるものではなく、車両にとって障害物となりうる物体の全てについて生ずるものである。
【００１２】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、一部の形状が互いに共通している複数種類の物体を、より小さな処理負荷でそれぞれ検出可能な車両用外界認識装置およびそれを用いた車両システムを提供することである。
【課題を解決するための手段】
【００１３】
上記課題を解決する本発明の車両用外界認識装置は、自車周辺を撮影した画像から第一の物体と第二の物体の共通部分の類似度である共通類似度を算出し、画像から第一の物体の特有な部分の類似度である第一の特有類似度を算出し、画像から第二の物体の特有な部分の類似度である第二の特有類似度を算出し、該算出した共通類似度と第一の特有類似度を用いて第一の物体の有無を判定し、該算出した共通類似度と第二の特有類似度を用いて第二の物体の有無を判定することを特徴としている。
【発明の効果】
【００１４】
本発明によれば、画像から第一の物体と第二の物体で互いに共通する部分の類似度と、第一の物体の特有な部分の類似度である第一の特有類似度と、第二の物体の特有な部分の類似度である第二の特有類似度を算出して、共通類似度と第一の特有類似度を用いて第一の物体の有無を判定するとともに、共通類似度と第二の特有類似度を用いて第二の物体の有無を判定するので、例えば、第一の物体全体の類似度を算出して第一の物体の有無を判定しかつ第二の物体全体の類似度を算出して第二の物体の有無を判定する処理を行う場合と比較して、第一の物体と第二の物体で互いに共通する部分については、それぞれ類似度を判断する処理を重複して行う必要がなく、かかる共通部分については類似度を判断する処理を一度だけ実行すればよく、装置全体の処理負荷を軽減することができる。
【図面の簡単な説明】
【００１５】
【図１】第一実施の形態における車両用外界認識装置のブロック図。
【図２】図１の処理領域設定部における処理の例を示す模式図。
【図３】図１の共通類似度算出部から物体位置算出部までの処理を示すフローチャート。
【図４】図３のエッジ抽出で用いるソーベルフィルタの重みを示す図。
【図５】図１の共通類似度算出部で用いられる局所エッジ判定器の模式図。
【図６】図１の共通類似度算出部による類似度の算出方法を示すブロック図。
【図７】図１の第一の特有類似度算出部および第二の特有類似度算出部における類似度の算出方法を示すブロック図。
【図８】第二実施の形態における車両用外界認識装置のブロック図。
【図９】第二実施の形態における環境推定部の処理を表すフローチャート。
【図１０】第二実施の形態における環境推定部の処理を表すフローチャート。
【図１１】第三実施の形態における車両用外界認識装置のブロック図。
【図１２】第三実施の形態における環境推定部の処理を表すフローチャート。
【図１３】第四実施の形態における車両用外界認識装置のブロック図。
【図１４】本発明の車両用外界認識装置を用いた車両システムの処理を表すフローチャート。
【図１５】本発明の車両用外界認識装置を用いた車両システムの危険度の算出の例を示す模式図。
【発明を実施するための形態】
【００１６】
＜第一実施の形態＞
以下、本発明の第一実施の形態について図面を用いて詳細に説明する。図１は、第一実施の形態における車両用外界認識装置１０００のブロック図である。
【００１７】
車両用外界認識装置１０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ１０１０で撮影した画像内から、一部の形状が互いに共通している複数種類の物体を検出するためのものであり、本実施の形態では、自車の前方を撮像した画像内から傘をさしていない歩行者、および、傘をさしている歩行者を検知するように構成されている。傘をさしていない歩行者、および、傘をさしている歩行者は、その一部である下半身の形状が互いに共通している。
【００１８】
車両用外界認識装置１０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
【００１９】
車両用外界認識装置１０００は、図１に示すように、画像取得部１０１１と、処理領域設定部１０２１と、共通類似度算出部１０３０と、第一の特有類似度算出部１０３１と、第二の特有類似度算出部１０３２と、第一の物体判定部１０４１と、第二の物体判定部１０４２と、物体位置算出部１０５１とを有し、さらに実施例によっては、更に物体位置取得部１１１１を有する場合がある。
【００２０】
画像取得部１０１１は、自車の前方を撮像可能な位置に取り付けられたカメラ１０１０から、自車前方を撮影したデータを取り込み、画像ＩＭＧＳＲＣ［ｘ］［ｙ］としてＲＡＭ上に書き込む。なお、画像ＩＭＧＳＲＣ［ｘ］［ｙ］は２次元配列であり、ｘ、ｙはそれぞれ画像の座標を示す。
【００２１】
処理領域設定部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内から歩行者を検出する処理領域２３（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を設定する。処理の詳細については後述する。
【００２２】
以下、共通類似度算出部１０３０、第一の特有類似度算出部１０３１、第二の特有類似度算出部１０３２、第一の物体判定部１０４１、第二の物体判定部１０４２は、歩行者を検出する処理領域２３（ＳＸ，ＳＹ，ＥＸ，ＥＹ）内を探索するように、判定領域３１（図５を参照）（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定し、第一の物体である傘をさしていない歩行者と第２の物体である傘をさしている歩行者を検出する処理を、繰り返し実行する。ここで、ｇは複数の領域を設定した場合のＩＤ番号である。
【００２３】
共通類似度算出部１０３０は、傘をさしていない歩行者、および、傘をさしている歩行者の共通なパターンである、歩行者の下半身のテンプレートＴＰ０との類似度を算出する。共通類似度算出部１０３０は、歩行者の下半身のテンプレートＴＰ０を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）との類似度ＭＴ０を算出する。処理の詳細については後述する。
【００２４】
第一の特有類似度算出部１０３１は、傘をさしていない歩行者の特有のパターンである、歩行者の上半身のテンプレートＴＰ１との類似度を算出する。第一の特有類似度算出部１０３１は、歩行者の上半身のテンプレートＴＰ１を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）との類似度ＭＴ１を算出する。処理の詳細については後述する。
【００２５】
第二の特有類似度算出部１０３２は、傘をさしている歩行者の特有のパターンである、傘を含む歩行者の上半身のテンプレートＴＰ２との類似度を算出する。第二の特有類似度算出部１０３２は、テンプレートＴＰ２を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）との類似度ＭＴ２を算出する。処理の詳細については後述する。
【００２６】
第一の物体判定部１０４１は、共通部分のテンプレートＴＰ０との共通類似度ＭＴ０と、傘をさしていない歩行者特有のテンプレートＴＰ１との第一の特有類似度ＭＴ１を用いて、傘をさしていない歩行者の有無を判定する。判定は、例えば閾値ＴＨ１＿ＭＴを用いて、共通類似度ＭＴ０と第一の特有類似度ＭＴ１とを加算した値が閾値ＴＨ１＿ＭＴよりも大きいという条件を満たす場合、すなわち、
（ＭＴ０＋ＭＴ１）＞ＴＨ１＿ＭＴ
であれば存在すると判定してもよいし、共通類似度の閾値ＴＨ１＿ＭＴ０と第一の特有類似度の閾値ＴＨ１＿ＭＴ１を用いて、共通類似度ＭＴ０が閾値ＴＨ１＿ＭＴ０よりも大きくかつ第一の特有類似度ＭＴ１が閾値ＴＨ１＿ＭＴ１よりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ１＿ＭＴ０、かつ、ＭＴ１＞ＴＨ１＿ＭＴ１
であれば物体が存在すると判定してもよい。
【００２７】
第二の物体判定部１０４２は、共通部分のテンプレートＴＰ０との共通類似度ＭＴ０と、傘をさしている歩行者特有のテンプレートとの第二の特有類似度ＭＴ２を用いて、傘をさしている歩行者の有無を判定する。判定は、例えば閾値ＴＨ２＿ＭＴを用いて、共通類似度ＭＴ０と第二の特有類似度ＭＴ２とを加算した値が閾値ＴＨ２＿ＭＴよりも大きいという条件を満たす場合、すなわち、
（ＭＴ０＋ＭＴ２）＞ＴＨ２＿ＭＴ
であれば存在すると判定してもよいし、共通類似度の閾値ＴＨ２＿ＭＴ０と第二の特有類似度の閾値ＴＨ２＿ＭＴ２を用いて、共通類似度ＭＴ０が閾値ＴＨ２＿ＭＴ０よりも大きくかつ第二の特有類似度ＭＴ２が閾値ＴＨ２＿ＭＴ２よりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ２＿ＭＴ０、かつ、ＭＴ２＞ＴＨ２＿ＭＴ２
であれば物体が存在すると判定してもよい。
【００２８】
物体位置算出部１０５１は、第一の物体判定部１０４１、第二の物体判定部１０４２にて検出した物体の位置を算出する。物体位置取得部１１１１を有する場合、物体位置は物体位置取得部１１１１より取得した物体位置情報を用いる。処理の詳細は後述する。
【００２９】
物体位置取得部１１１１は、自車に搭載されたミリ波レーダやレーザレーダ等の自車周辺の物体を検出するレーダからの検出信号を取得して、自車前方に存在する物体の物体位置（相対距離ＰＹＲ［ｂ］、横位置ＰＸＲ［ｂ］、横幅ＷＤＲ［ｂ］）を取得する。ここで、ｂは複数の物体を検知している場合の各物体のＩＤ番号である。これらの物体の位置情報は、レーダの信号を車両用外界認識装置１０００に直接入力することによって取得してもよいし、レーダとＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得してもよい。物体位置取得部１１１１で検出した物体位置は、処理領域設定部１０２１にて用いられる。
【００３０】
［処理領域設定部］
つぎに、図２を用いて、処理領域設定部１０２１における処理の内容について説明する。
【００３１】
図２は、処理領域設定部の処理の例を示す図である。処理領域設定部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内で歩行者検知処理を行う処理領域２３を選定し、その座標の範囲である、ｘ座標（横方向）の始点ＳＸおよび終点ＥＸ、ｙ座標上（縦方向）の始点ＳＹおよび終点ＥＹを求める（ＳＸ，ＳＹ，ＥＸ，ＥＹ）。処理領域設定部１０２１は、物体位置取得部１１１１からの位置情報を用いてもよく、用いなくてもよい。
【００３２】
まず、物体位置取得部１１１１からの位置情報を用いる場合について説明する。図２（ａ）は、物体位置取得部１１１１からの位置情報を用いた場合における処理領域設定部１０２１の処理の例を示す図である。
【００３３】
処理領域設定部１０２１は、物体位置取得部１１１１が検出した物体２１の相対距離ＰＹＲ［ｂ］、横位置ＰＸＲ［ｂ］および横幅ＷＤＲ［ｂ］から、検出した物体２１の画像上での位置を示す物体位置領域２２（ｘ座標（横方向）の始点ＳＸＢ、終点ＥＸＢ、ｙ座標（縦方向）の始点ＳＹＢ、終点ＥＹＢ）を算出する。なお、カメラ画像上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体の高さを、例えば１８０［ｃｍ］などあらかじめ仮定しておくことにより、画像上での位置は一意に決まる。
【００３４】
また、カメラ１０１０の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置取得部１１１１で検出した物体２１の画像上での位置と、カメラ画像に写っている同じ物体２１の画像上での位置に違いが生じる場合がある。よって、画像上での物体２１の位置を示す物体位置領域２２（ＳＸＢ、ＥＸＢ、ＳＹＢ、ＥＹＢ）に、補正を加えた領域を処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）として算出する。補正は、画像上での物体２１の位置を示す物体位置領域２２を所定の量だけ拡大したり、移動させたりすることによって行われ、例えば、物体位置領域２２の各点ＳＸＢ、ＥＸＢ、ＳＹＢ、ＥＹＢの位置を上下左右に所定の画素だけ拡張してもよい。こうして、処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）を得ることができる。なお、複数の領域に対して処理する場合、処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）をそれぞれ生成し、後述する物体検出処理をそれぞれの処理領域２３に対して個別に実施する。
【００３５】
つぎに、処理領域設定部１０２１において、物体位置取得部１１１１からの位置情報を用いずに処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）を設定する処理について説明する。物体位置取得部１１１１を用いない場合の処理領域２３の設定方法は、例えば、領域の大きさを変化させながら画像全体を探索するように複数の領域を設定する方法や、特定の位置、特定の大きさのみに限定して領域を設定する方法がある。特定の位置に限定する場合は、例えば自車速を用いて、自車がＴ秒後に進んでいる位置に限定する方法がある。
【００３６】
図２（ｂ）は、自車速を用いて，自車が２秒後に進んでいる位置を探索する場合の例である。処理領域２３の位置、および大きさは、自車が２秒後に進んでいる位置までの相対距離における路面高さ（０ｃｍ）、および想定する歩行者２１の高さ（本実施の形態では１８０ｃｍ）から、カメラ幾何パラメータを用いて画像ＩＭＧＳＲＣ［ｘ］［ｙ］上のｙ方向の範囲（ＳＹＰ、ＥＹＰ）を求める。なお、ｘ方向の範囲（ＳＸＰ、ＥＸＰ）は、制限しなくてもよいし、自車の予測進路等により制限してもよい。こうして、処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）を得ることができる。
【００３７】
［類似度算出部］
つぎに、図３、４を用いて、共通類似度算出部１０３０、第一の特有類似度算出部１０３１、第二の特有類似度算出部１０３２、第一の物体判定部１０４１、第二の物体判定部１０４２、物体位置算出部１０５１における処理の流れについて説明する。図３は、車両用外界認識装置の処理を説明するフローチャートである。
【００３８】
まず、ステップＳ３０１にて、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の処理領域２３（ＳＸ，ＳＹ，ＥＸ，ＥＹ）から、エッジを抽出する。以下、微分フィルタとしてソーベルフィルタを適用する場合におけるエッジ画像ＥＤＧＥ［ｘ］［ｙ］、および、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の算出方法について説明する。
【００３９】
ソーベルフィルタは、図４に示すように３×３画素の大きさで、ｘ方向の勾配を求めるｘ方向フィルタ４１とｙ方向の勾配を求めるｙ方向フィルタ４２の２種類が存在する。画像ＩＭＧＳＲＣ［ｘ］［ｙ］からｘ方向の勾配を求める場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の１画素ごとに、その画素と周囲８画素の計９画素の画素値と、対応する位置のｘ方向フィルタ４１の重みの積和演算を行う。積和演算の結果がその画素におけるｘ方向の勾配となる。ｙ方向の勾配の算出も同様である。
【００４０】
画像ＩＭＧＳＲＣ［ｘ］［ｙ］のある位置（ｘ、ｙ）におけるｘ方向の勾配の算出結果をｄｘ、ｙ方向の勾配の算出結果をｄｙとすると、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は以下の式（１）（２）により算出される。
【００４１】
ＤＭＡＧ［ｘ］［ｙ］＝｜ｄｘ｜＋｜ｄｙ｜ ・・・（１）
ＤＩＲＣ［ｘ］［ｙ］＝ａｒｃｔａｎ（ｄｙ／ｄｘ） ・・・（２）
【００４２】
なお、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の座標（ｘ、ｙ）は画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標（ｘ、ｙ）に対応する。
【００４３】
算出した勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］の値とエッジ閾値ＴＨＲ＿ＥＤＧＥを比較し、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］がエッジ閾値ＴＨＲ＿ＥＤＧＥよりも大きい（ＤＭＡＧ［ｘ］［ｙ］＞ＴＨＲ＿ＥＤＧＥ）のであれば１、それ以外、すなわち、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］がエッジ閾値ＴＨＲ＿ＥＤＧＥ以下であれば０を、エッジ画像ＥＤＧＥ［ｘ］［ｙ］に記憶する。
【００４４】
エッジ画像ＥＤＧＥ［ｘ］［ｙ］は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、エッジ画像ＥＤＧＥ［ｘ］［ｙ］の座標（ｘ、ｙ）は画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標（ｘ、ｙ）に対応する。
【００４５】
なお、エッジ抽出前に、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）に該当する画像を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小してもよい。本実施の形態では、処理領域設定部１０２１にて用いた距離情報とカメラ幾何を用い、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の高さ１８０［ｃｍ］、幅６０［ｃｍ］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小し、上記エッジを算出する。
【００４６】
また、エッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の算出は、処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）の範囲外は全てゼロとしてもよい。
【００４７】
つぎに、ステップＳ３０１１にて、エッジ画像ＥＤＧＥ［ｘ］［ｙ］，およびエッジ方向画像ＤＩＲＣ［ｘ］［ｙ］内に歩行者判定を行う判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。
【００４８】
ステップＳ３０１で述べたように，本実施の形態では、カメラ幾何を用い、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の高さ１８０［ｃｍ］、幅６０［ｃｍ］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小してエッジ画像ＥＤＧＥ［ｘ］［ｙ］を生成している。よって、判定領域３１の大きさを１６ドット×１２ドットとし、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内の処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）が１６ドット×１２ドットより大きい場合は、判定領域３１をエッジ画像ＥＤＧＥ［ｘ］［ｙ］内に一定の間隔で敷き詰めるように複数設定する。
【００４９】
つぎに、ｇ＝０として、処理領域設定部１０２１にて設定された全ての判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＸＧ［ｇ］）について、以下ステップＳ３０２からＳ３０６の処理を実行する。
【００５０】
まず、ステップＳ３０２にて、判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＸＧ［ｇ］）内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、複数種類の物体で互いに共通している部分の類似度である共通類似度を算出する。ここでは、共通類似度算出部１０３０で、傘をさしていない歩行者と傘をさしている歩行者との共通部分である、歩行者の下半身のパターンとの類似度を求める処理を行い、共通類似度ＭＴ０を算出する。処理詳細は後述する。
【００５１】
つぎに、ステップＳ３０３にて、判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＸＧ［ｇ］）内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、所定の種類の物体が有する物体特有の特徴部分のパターンとの類似度である第一の特有類似度を算出する。ここでは、第一の特有類似度算出部１０３１で、傘をさしていない歩行者特有の特徴部分である、歩行者の上半身のパターンとの類似度を求める処理を行い、傘をさしていない歩行者の特有な部分の類似度である第一の特有類似度ＭＴ１を算出する。処理詳細は後述する。
【００５２】
つぎに、ステップＳ３０４にて、判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＸＧ［ｇ］）内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、他の種類の物体が有する物体特有の特徴部分のパターンとの類似度である第二の特有類似度を算出する。ここでは、第二の特有類似度算出部１０３２で、傘をさしている歩行者特有の特徴部分である、歩行者の上半身の形状のパターンとの類似度を求める処理を行い、傘をさしている歩行者特有の特有な部分の類似度である第二の特有類似度ＭＴ２を算出する。処理詳細は後述する。
【００５３】
つぎに、ステップＳ３０５にて、第一の物体判定部１０４１の処理を行い、第一の判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］の座標（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］）に、物体が存在すると判定された場合には「１」を、そうでない場合には「０」を格納する。
【００５４】
さらに、ステップＳ３０６も同様に、第二の物体判定部１０４２の処理を行い、第二の判定結果格納用配列ＤＴＣ２［ｘ］［ｙ］の座標（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］）に、物体が存在すると判定された場合には「１」を、そうでない場合には「０」を格納する。
【００５５】
以上の処理を、全ての判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＸＧ［ｇ］）に対し実行し、最後にステップＳ３０７にて、第一の判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］、および、第二の判定結果格納用配列ＤＴＣ２［ｘ］［ｙ］の結果を統合し、物体位置を算出する。処理詳細は後述する。
【００５６】
［類似度算出部］
つぎに、図５、６を用いて、共通類似度算出部１０３０における処理の流れについて説明する。図５は、図１の共通類似度算出部で用いられる局所エッジ判定器の模式図、図６は、図１の共通類似度算出部による類似度の算出方法を示すブロック図である。
【００５７】
共通類似度算出部１０３０の処理を行うステップＳ３０２にて、ある判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、以下で詳述する識別器６１の処理結果で得られる出力を類似度として取り扱う。
【００５８】
まず、識別器６１を用いて類似度を算出する方法について説明する。
【００５９】
画像処理によって所定のパターンとの類似度を算出する方法として、パターンの代表となるテンプレートを複数用意しておき、差分累積演算あるいは正規化相関係演算を行って一致度を求めるテンプレートマッチングによる方法や、ニューラルネットワークなどの識別器を用いてパターン認識を行う方法が挙げられる。
【００６０】
いずれの方法を選択するとしても、あらかじめ所定のパターンか否かを決定する指標となるソースのデータベースが必要となる。パターンの様々な状態をデータベースとして蓄えておき、そこから代表となるテンプレートを作成したり識別器を生成したりする。実環境ではパターンに様々な状態が予想されるため、大量のデータベースを用意して、誤判定を少なくすることが必要となってくる。このとき、前者のテンプレートマッチングによる方法の場合、判定漏れを防ぐようにするとテンプレートの数が膨大となるため現実的でない。
【００６１】
そこで、本実施の形態では後者の識別器を用いて類似度を算出する方法を採用する。識別器の大きさはソースのデータベースの大きさに依存しない。なお、識別器を生成するためのデータベースを教師データと呼ぶ。
【００６２】
本実施の形態で使用する識別器６１は、複数の局所エッジ判定器に基づいて、傘をさしていない歩行者と傘をさしている歩行者の共通の特徴部分である、歩行者の下半身の類似度を算出する。
【００６３】
まず、局所エッジ判定器５１について、図５の例を用いて説明する。局所エッジ判定器５１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、およびマッチング判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、０か１かの２値を出力する判定器であり、局所エッジ頻度算出部５１１、および閾値処理部５１２から構成される。
【００６４】
局所エッジ頻度算出部５１１は、マッチング判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）と同じ大きさのウィンドウ５１１１内に、局所エッジ頻度算出領域５１１２を持ち、マッチング判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とウィンドウ５１１１の位置関係から、エッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］内の局所エッジ頻度を算出する位置を設定し、局所エッジ頻度ＭＷＣを算出する。
【００６５】
局所エッジ頻度ＭＷＣは、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の角度値が角度条件５１１３を満たしており、かつ、対応する位置のエッジ画像ＥＤＧＥ［ｘ］［ｙ］が１である画素の総数である。角度条件５１１３は、図４の例の場合、６７．５度から１１２．５度の間、もしくは、２６７．５度から２９２．５度の間であることであり、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値が一定の範囲であるか否かを判定するものである。
【００６６】
閾値処理部５１２は、あらかじめ定められた閾値ＴＨＷＣ＃を持ち、局所エッジ頻度算出部５１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ＃以上であれば１、それ以外であれば０を出力する。なお、閾値処理部５１２は、局所エッジ頻度算出部５１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ＃以下であれば１、それ以外であれば０を出力してもよい。
【００６７】
つぎに、図６を用いて、識別器について説明する。識別器６１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、および判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、判定領域３１内が歩行者の下半身に類似していれば正の値を、類似していなければ負の値を出力する。識別器６１は、４０個の局所エッジ頻度判定器６１０１〜６１４０と、合計部６１２とから構成される。
【００６８】
局所エッジ頻度判定器６１０１〜６１４０は、一つ一つの処理は、前述した局所エッジ判定器５１と同様であるが、局所エッジ頻度算出領域５１１２、角度条件５１１３、閾値ＴＨＷＣ＃は、それぞれ異なっている。合計部６１２０は、局所エッジ頻度判定器６１０１〜６１４０からの出力に、対応する重みＷＷＣ１＃〜ＷＷＣ４０＃を乗じ、その合計値ＳＣを出力する。
【００６９】
識別器６１の各局所エッジ頻度判定器６１０１〜６１４０のパラメータである局所エッジ頻度算出領域５１１２、角度条件５１１３、閾値ＴＨＷＣ、また、重みＷＷＣ１＃〜ＷＷＣ４０＃は、識別器６１への入力画像が歩行者の下半身であった場合には、合計部６１２から出力される合計値ＳＣが正の値、歩行者の下半身ではなかった場合には合計値ＳＣが負の値となるように、教師データを用いて調整される。調整には、例えばＡｄａＢｏｏｓｔなどの機械学習の手段を用いてもよいし、手動で行ってもよい。
【００７０】
例えば、ＮＰＤ個の歩行者の下半身の教師データ、およびＮＢＧ個の非歩行者の教師データから、ＡｄａＢｏｏｓｔを用いてパラメータを決定する手順は以下の通りとなる。なお、以下、局所エッジ頻度判定器をｃＷＣ［ｍ］と表す。ここで、ｍは局所エッジ頻度判定器のＩＤ番号である。
【００７１】
まず、局所エッジ頻度算出領域５１１２および角度条件５１１３が異なる局所エッジ頻度判定器ｃＷＣ［ｍ］を複数（例えば、１００万通り）用意し、それぞれにおいて、局所エッジ頻度ＭＷＣの値を全ての教師データから算出し、閾値ＴＨＷＣをそれぞれ決定する。閾値ＴＨＷＣは、歩行者の下半身の教師データと非歩行者の教師データを最も分類することができる値を選択する。
【００７２】
つぎに、歩行者の下半身の教師データひとつひとつにｗＰＤ［ｎＰＤ］＝１／２ＮＰＤの重みを与える。同様に、非歩行者の教師データひとつひとつにｗＢＧ［ｎＢＧ］＝１／２ＮＢＧの重みを与える。ここで、ｎＰＤは歩行者の下半身の教師データのＩＤ番号、ｎＢＧは非歩行者の教師データのＩＤ番号である。そして、ｋ＝１として、以下、繰り返し処理を行う。
【００７３】
まず、歩行者の下半身・非歩行者全ての教師データの重みの合計が１となるように、重みを正規化する。つぎに、各局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出する。誤検知率ｃＥＲ［ｍ］は、局所エッジ頻度判定器ｃＷＣ［ｍ］において、歩行者の下半身の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が０となったもの、もしくは非歩行者の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が１となったもの、すなわち出力が間違っている教師データの重みの合計である。
全ての局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出後、誤検知率が最小となる局所エッジ頻度判定器のＩＤ ｍＭｉｎ を選択し、最終局所エッジ頻度判定器ＷＣ［ｋ］＝ｃＷＣ［ｍＭｉｎ］とする。
【００７４】
つぎに、各教師データの重みを更新する。更新は、歩行者の下半身の教師データのうち、最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が１となったもの、および、非歩行者の教師データのうち最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が０となったもの、すなわち出力が正しい教師データの重みに、係数ＢＴ［ｋ］＝ｃＥＲ［ｍＭｉｎ］／（１−ｃＥＲ［ｍＭｉｎ］）を乗じる。
【００７５】
ｋ＝ｋ＋１とし、ｋが予め設定した値（例えば、４０）になるまで繰り返す。繰り返し処理の終了後に得られる最終局所エッジ頻度判定器ＷＣがＡｄａＢｏｏｓｔにより自動調整された識別器６１となる。なお、重みＷＷＣ１〜ＷＷＣ４０は１／ＢＴ［ｋ］から算出される。
【００７６】
つぎに、図７を用いて、第一の特有類似度算出部１０３１、第二の特有類似度算出部１０３２における処理の流れについて説明する。図７は、図１の第一の特有類似度算出部および第二の特有類似度算出部における類似度の算出方法を示すブロック図である。
【００７７】
第一の特有類似度算出部１０３１の処理を行うステップＳ３０３にて、ある判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、識別器６１１の処理結果得られる出力を第一の特有類似度ＭＴ１として取り扱う。識別器６１１は、識別器６１と同じように設計された識別器であるが、教師データとして、傘をさしていない歩行者の上半身を用いている。
【００７８】
同様に、第二の特有類似度算出部１０３２の処理を行うステップＳ３０４にて、ある判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、識別器６１２の処理結果得られる出力を第二の特有類似度ＭＴ２として取り扱う。識別器６１２は、識別器６１と同じように設計された識別器であるが、教師データとして、傘をさしている歩行者の上半身を用いている。
【００７９】
つぎに、物体位置算出部１０５１の処理について説明する。物体位置算出部１０５１は、判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］において、「１」が入っている場所をグルーピングし、その中心位置に歩行者が存在すると判定する。グルーピングには、ラベリングなど、公知の技術を用いる。
【００８０】
グルーピングされた領域のＹ座標と、カメラ幾何を用いて、歩行者の身長を１８０ｃｍと仮定すると、歩行者までの距離を算出することができる。また、グルーピングされた領域のＸ座標と、カメラ幾何を用いて、歩行者の幅を６０ｃｍと仮定すると、自車中央から歩行者がどれだけ横（車幅方向外側）に存在しているかを算出することができる。
【００８１】
また、物体位置取得部１１１１が存在する場合は、上記の方式により算出した位置の周辺に物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）が存在する場合は、情報を置き換える。もしくは、物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）を、カメラ幾何を用いて判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］へ投影し、各グループの中心位置と投影した物体情報の配列上の距離が所定値以下である場合、物体であると判定し、物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）を歩行者の位置とする。判定結果格納用配列ＤＴＣ２［ｘ］［ｙ］についても同様の処理を行う。
【００８２】
以上説明したように、車両用外界認識装置１０００は、一回に傘をさしていない歩行者と傘をさしている歩行者を同時に検出することができる。さらに、共通類似度算出部１０３０を有しているため、単純に２種類の歩行者パターンマッチを実行するよりも、処理負荷を低減することができる。
【００８３】
例えば、傘をさしていない歩行者の全身用のテンプレートと、傘をさしている歩行者の全身用のテンプレートとを用いてパターンマッチングを行った場合、共通する部分である歩行者の下半身については、重複してマッチング判定が行われ、処理の無駄が発生することとなる。
【００８４】
これに対して、車両用外界認識装置１０００は、傘をさしていない歩行者と傘をさしている歩行者で共通する特徴部分である歩行者の下半身については、共通する下半身用のテンプレートを用いて類似度を算出し、各歩行者の上半身については、それぞれ傘ありと傘なしの上半身用のテンプレートを用いて類似度を算出しているので、下半身について重複してマッチング判定が行われるのを防ぎ、装置全体の処理負荷を軽減することができる。
【００８５】
なお、歩行者の検知に用いる識別器６１、６１１，６１２は、本実施の形態で説明した方法の例に限定されない。正規化相関を用いたテンプレートマッチング、ニューラルネットワーク識別器、サポートベクターマシン識別器、ベイズ識別器などを用いてもよい。また、エッジを抽出せずに、濃淡画像やカラー画像をそのまま用いて、識別器６１，６１１，６１２により判定してもよい。
【００８６】
また、識別器６１，６１１，６１２は、様々な歩行者の画像データと、自車にとって衝突の危険がない領域の画像データを教師データとして、ＡｄａＢｏｏｓｔなどの機械学習の手段を用いて調整してもよい。特に、実施の形態として車両用外界認識装置１０００が物体位置取得部１１１１を備える場合には、様々な歩行者の画像データと、横断歩道、マンホールやキャッツアイ等、ミリ波レーダやレーザレーダが衝突の危険がないにも関わらず誤検知する領域の画像データを教師データとしてもよい。
【００８７】
＜第二実施の形態＞
つぎに、本発明の車両用外界認識装置の第二実施の形態について、以下に図面を用いて説明する。
【００８８】
図８は、第二実施の形態における車両用外界認識装置の構成を示すブロック図である。なお、以下の説明では、上述の第一実施の形態における車両用外界認識装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
【００８９】
本実施の形態において特徴的なことは、自車周辺の環境を推定し、該推定した車両環境に応じて、第一の物体判定手段の判定結果に対する第一の信頼度と第二の物体判定手段の判定結果に対する第二の信頼度を調整する構成としたことである。
【００９０】
車両用外界認識装置２０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から予め設定された２種類の物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から傘をさしていない歩行者、および、傘をさしている歩行者を検知するように構成されている。
【００９１】
車両用外界認識装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
【００９２】
車両用外界認識装置２０００は、図８に示すように、画像取得部１０１１と、処理領域設定部１０２１と、共通類似度算出部１０３０と、第一の特有類似度算出部１０３１と、第二の特有類似度算出部１０３２と、第一の物体判定部１０４１と、第二の物体判定部１０４２と、環境推定部２０６０と、第一の信頼度２０６１と、第二の信頼度２０６２と、物体位置算出部２０７１とを有し、さらに実施の形態によって、ワイパ操作取得部２１６１と、物体位置取得部１１１１とを有する。
【００９３】
ワイパ操作取得部２１６１は、運転者による車両のワイパ操作の開始／終了の情報を取得する。この操作情報は、ワイパのＯＮ／ＯＦＦ信号を車両用外界認識装置２０００に直接入力することによって取得してもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得してもよい。
【００９４】
環境推定部２０６０は、ワイパ操作取得部２１６１、第一の物体判定部１０４１、第二の物体判定部１０４２、さらに物体位置取得部１１１１の情報のいずれか１つ以上を用いて、第一の信頼度２０６１、および、第二の信頼度２０６２の値を変更する。処理の詳細については後述する。
【００９５】
第一の信頼度２０６１、および、第二の信頼度２０６２は、値が高いほど信頼度が高いことを表す数値である。これらの値は、環境推定部２０６０によって変更され、物体位置算出部２０７１にて用いられる。
【００９６】
物体位置算出部２０７１は、第一の物体判定部１０４１、第二の物体判定部１０４２、第一の信頼度２０６１、第二の信頼度２０６２を用いて物体位置を算出する。物体位置取得部１１１１を有する場合、物体位置は物体位置取得部１１１１より取得した物体位置情報を用いる。処理の詳細は後述する。
【００９７】
［環境推定部］
つぎに、図９，１０を用いて、環境推定部２０６０における処理の内容について説明する。図９、１０は環境推定部２０６０の処理の流れを示すフローチャートである。ここでは、２通りの調整方法について説明する。
【００９８】
第一に、図９を用いて、ワイパ操作取得部２１６１の情報を用いた方法について説明する。まず、ステップＳ９１にて、ワイパ操作取得部２１６１からワイパのＯＮ／ＯＦＦ状態を取得する。つぎに、ステップＳ９２にて、ワイパのＯＮ／ＯＦＦ状態に応じて、図９（ｂ）のテーブル９２１を参照して第一の信頼度２０６１、第二の信頼度２０６２を設定する。
【００９９】
このように、ワイパのＯＮ／ＯＦＦ状態に応じて第一の信頼度２０６１、第二の信頼度２０６２を変えることにより、例えばワイパがＯＮのときは雨が降っていると予想されるので、第一の信頼度２０６１よりも第二の信頼度２０６２を大きく設定し（第一の信頼度２０６１＜第二の信頼度２０６２）、逆にワイパがＯＦＦのときは雨が降っていないと予想されるので、第一の信頼度２０６１よりも第二の信頼度２０６２を小さく設定する（第一の信頼度２０６１＞第二の信頼度２０６２）。
【０１００】
第二に、図１０を用いて、第一の物体判定部１０４１、第二の物体判定部１０４２を用いた方法について説明する。
【０１０１】
まず、ステップＳ１０１にて、第一の物体判定部１０４１による第一の物体の過去Ｔ秒における検出回数Ｎ１をカウントする。ここでは、Ｔ＝１秒とする。つぎに、ステップＳ１０２にて、第二の物体判定部１０４２による第２の物体の過去Ｔ秒における検出回数Ｎ２をカウントする。ここでは、Ｔ＝１秒とする。つぎに、ステップＳ１０３にて、以下の条件を満たすかを判定する。ここで、ＴＨＮはあらかじめ定められた値である。
【０１０２】
（Ｎ１−Ｎ２）／（Ｎ１＋Ｎ２）＞ＴＨＮ
【０１０３】
上記条件を満たす場合は、ステップＳ１０５へ移行し、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１１、ｒ２１（ｒ１１＞ｒ２１）と設定する。これにより、傘をさしている歩行者の方が、傘をさしていない歩行者よりも十分に多い場合には、傘をさしている歩行者の信頼度を、傘をさしていない歩行者の信頼度よりも大きく設定される。
【０１０４】
そして、ステップＳ１０３の条件を満たさない場合は、ステップＳ１０４へ移行し、以下の条件を満たすかを判定する。ここで、ＴＨＮはあらかじめ定められた値である。
【０１０５】
（Ｎ２−Ｎ１）／（Ｎ１＋Ｎ２）＞ＴＨＮ
【０１０６】
上記条件を満たす場合は、ステップＳ１０６へ行き、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１２、ｒ２２（ｒ１２＜ｒ２２）と設定する。これにより、傘をさしていない歩行者の方が、傘をさしている歩行者よりも十分に多い場合には、傘をさしていない歩行者の信頼度を、傘をさしている歩行者の信頼度よりも大きく設定される。
【０１０７】
そして、ステップＳ１０４の条件を満たさない場合は、ステップＳ１０７へ移行し、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１３、ｒ２３（ｒ１３＝ｒ２３）と設定する。これにより、傘をさしていない歩行者と、傘をさしている歩行者の人数がほぼ等しい場合には、傘をさしていない歩行者の信頼度と傘をさしている歩行者の信頼度が同じに設定される。このように、過去の検出回数を参照することによって、一方の検出頻度が他方に比べ高い場合、信頼度を高める処理を行う。
【０１０８】
つぎに、物体位置算出部２０７１における処理の内容について説明する。
【０１０９】
物体位置算出部２０７１は、判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］において、「１」が入っている場所をグルーピングし、その中心位置に歩行者が存在すると判定する。グルーピングには、ラベリングなど、公知の技術を用いる。
【０１１０】
つぎに、過去Ｔ秒の検出結果を参照し、各グループが過去に存在した回数ＤＴをカウントする。そして、回数ＤＴと第一の信頼度２０６１を乗じた値ＪＧを算出し、値ＪＧが所定の閾値ＴＨＪＧ以上であれば、そこに歩行者が存在すると判定する。
【０１１１】
グルーピングされた領域のＹ座標と、カメラ幾何を用いて、歩行者の身長を１８０ｃｍと仮定すると、歩行者までの距離を算出することができる。また、グルーピングされた領域のＸ座標と、カメラ幾何を用いて、歩行者の幅を６０ｃｍと仮定すると、自車中央から歩行者がどれだけ横の位置（車幅方向）に存在しているかを算出することができる。
【０１１２】
また、物体位置取得部１１１１が存在する場合は、上記の方式により算出した位置の周辺に物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）が存在する場合は、情報を置き換える。
【０１１３】
もしくは、物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）を、カメラ幾何を用いて判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］へ投影し、各グループの中心位置と投影した物体情報の配列上の距離が所定値以下である場合、物体であると判定し、物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）を歩行者の位置とする。判定結果格納用配列ＤＴＣ２［ｘ］［ｙ］についても同様の処理を行う。
【０１１４】
以上説明したように、信頼度と過去の検出回数を用いることにより、第一の信頼度、もしくは第二の信頼度が高い場合は対応する物体をすぐに検出することができ、低い場合は検出まで時間を要して、しばらくの間待つこととなる。
【０１１５】
環境推定部２０６０が図９に示す第一の形式の場合、ワイパのＯＮ／ＯＦＦによって傘をさしている歩行者の信頼度を変化させている。よって、傘をさしていない歩行者も、傘をさしている歩行者も物体判定は実行しているが、ワイパがＯＦＦの場合は傘をさしている歩行者が、ワイパがＯＮの場合は傘をさしていない歩行者が、それぞれ最終結果として検出されにくくなる。したがって、誤判定を減らすことができ、歩行者の検出精度を向上させることができる。
【０１１６】
また、環境推定部２０６０が図１０に示す第二の形式の場合、過去の判定結果の頻度によって傘をさしていない歩行者、および、傘をさしている歩行者のそれぞれの信頼度を変化させている。よって、傘をさしていない歩行者も、傘をさしている歩行者も物体判定は実行しているが、一方の検出回数が十分多くなると、検出回数が少ない方は最終結果として検出されにくくなる。したがって、誤判定を減らすことができ、歩行者の検出精度を向上させることができる。
【０１１７】
＜第三実施の形態＞
つぎに、本発明の車両用外界認識装置の第三の実施の形態について、以下に図面を用いて説明する。
【０１１８】
図１１は、車両用外界認識装置３０００の実施形態を表すブロック図である。なお、以下の説明では、上述の第一実施の形態の車両用外界認識装置１０００、および、第二十子の形態の車両用外界認識装置２０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付し説明を省略する。
【０１１９】
車両用外界認識装置３０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から予め設定された２種類の物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から自車の車幅方向に向いている横向きの歩行者、および、自車の前後方向に向いている縦向きの歩行者を検知するように構成されている。
【０１２０】
車両用外界認識装置３０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。車両用外界認識装置３０００は、図１１に示すように、画像取得部１０１１と、処理領域設定部１０２１と、共通類似度算出部３０３０と、第一の特有類似度算出部３０３１と、第二の特有類似度算出部３０３２と、第一の物体判定部３０４１と、第二の物体判定部３０４２と、環境推定部３０６０と、第一の信頼度２０６１と、第二の信頼度２０６２と、物体位置算出部３０７１と、物体位置取得部１１１１とを有する。
【０１２１】
共通類似度算出部３０３０は、横向きの歩行者、および、縦向きの歩行者の共通なパターンである、歩行者の頭から肩にかけての輪郭テンプレートとの類似度を算出する。共通類似度算出部３０３０は、歩行者の頭のテンプレートＴＰ０を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とテンプレートＴＰ０との類似度ＭＴ０を算出する。なお、処理の詳細は、テンプレートＴＰ０が歩行者の頭から肩にかけての輪郭であること以外は上述の共通類似度算出部１０３０と同様であるため、割愛する。
【０１２２】
第一の特有類似度算出部３０３１は、横向きの歩行者の特有のパターンである、横向きの歩行者の肩から下のテンプレートとの類似度を算出する。第一の特有類似度算出部３０３１は、横向きの歩行者の肩から下の輪郭テンプレートＴＰ１を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とテンプレートＴＰ１との類似度ＭＴ１を算出する。なお、処理の詳細は、テンプレートＴＰ１が横向きの歩行者の肩から下の輪郭であること以外は上述の第一の特有類似度算出部１０３１と同様であるため、割愛する。
【０１２３】
第二の特有類似度算出部３０３２は、縦向きの歩行者の特有のパターンである、縦向きの歩行者の肩から下の輪郭テンプレートとの類似度を算出する。第二の特有類似度算出部３０３２は、縦向きの歩行者の肩から下のテンプレートＴＰ２を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とテンプレートＴＰ２との類似度ＭＴ２を算出する。なお、処理の詳細は、テンプレートＴＰ２が縦向きの歩行者の肩から下の輪郭であること以外は上述の第二の特有類似度算出部１０３２と同様であるため、割愛する。
【０１２４】
第一の物体判定部３０４１は、共通部分のテンプレートＴＰ０との共通類似度ＭＴ０、および、横向きの歩行者特有のテンプレートＴＰ１との第一の特有類似度ＭＴ１を用いて、横向きの歩行者の有無を判定する。判定は、例えば閾値ＴＨ１＿ＭＴを用いて、共通類似度ＭＴ０と第一の特有類似度ＭＴ１とを加算した値が閾値ＴＨ１＿ＭＴよりも大きいという条件を満たす場合、すなわち、
（ＭＴ０＋ＭＴ１）＞ＴＨ１＿ＭＴ
であれば存在すると判定してもよいし、共通類似度の閾値ＴＨ１＿ＭＴ０と第一の特有類似度の閾値ＴＨ１＿ＭＴ１を用いて、共通類似度ＭＴ０が閾値ＴＨ１＿ＭＴ０よりも大きくかつ第一の特有類似度ＭＴ１が閾値ＴＨ１＿ＭＴ１よりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ１＿ＭＴ０、かつ、ＭＴ１＞ＴＨ１＿ＭＴ１
であれば物体が存在すると判定してもよい。
【０１２５】
第二の物体判定部３０４２は、共通部分のテンプレートＴＰ０との共通類似度ＭＴ０と、縦向きの歩行者特有のテンプレートＴＰ２との第二の特有類似度ＭＴ２を用いて、縦向きの歩行者の有無を判定する。判定は、例えば閾値ＴＨ２＿ＭＴを用いて、共通類似度ＭＴ０と第二の特有類似度ＭＴ２とを加算した値が閾値ＴＨ２＿ＭＴよりも大きいという条件を満たす場合、すなわち、
（ＭＴ０＋ＭＴ２）＞ＴＨ２＿ＭＴ
であれば存在すると判定してもよいし、共通類似度の閾値ＴＨ２＿ＭＴ０と第二の特有類似度の閾値ＴＨ２＿ＭＴ２を用いて、共通類似度ＭＴ０が閾値ＴＨ２＿ＭＴ０よりも大きくかつ第二の特有類似度ＭＴ２が閾値ＴＨ２＿ＭＴ２よりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ２＿ＭＴ０、かつ、ＭＴ２＞ＴＨ２＿ＭＴ２
であれば物体が存在すると判定してもよい。
【０１２６】
環境推定部３０６０は、物体位置取得部１１１１からの情報を用いて、物体位置の履歴に基づいて、第一の信頼度２０６１、および、第二の信頼度２０６２を調整する処理を行う。この処理について、図１２を用いて説明する。
【０１２７】
まず、ステップＳ１２１にて、処理領域設定部１０２１で選択されている処理対象となった物体の情報（相対距離ＰＹＲ［ｂ］，ＰＸＲ［ｂ］）を取得する。つぎに、ステップＳ１２２にて、過去の物体の位置情報の差分、および、自車速から、物体の縦方向の移動速度ＶＹ［ｂ］、および、横方向の移動速度ＶＸ［ｂ］を算出する。
【０１２８】
そして、ステップＳ１２３にて、以下の条件を満たすかを判定する。ここで、Ａｂｓ（Ｘ）は絶対値算出の演算であり、ＴＨＶＸはあらかじめ定められた所定の値である。例えば、０．５［ｍ／ｓ］と設定する。
【０１２９】
Ａｂｓ（ＶＸ［ｂ］）＞Ａｂｓ（ＶＹ［ｂ］）
かつ Ａｂｓ（ＶＸ［ｂ］）＞ＴＨＶＸ
【０１３０】
すなわち、横移動速度が縦移動速度よりも大きく、かつ、絶対値が十分に大きいという条件を満たすか否かが判断される。そして、この条件を満たす場合は、ステップＳ２１５へ進み、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１１、ｒ２１（ｒ１１＞ｒ２１）と設定する。これにより、横向きの歩行者の方が、縦向きの歩行者よりも十分に多い場合には、横向きの歩行者の信頼度が、縦向き歩行者の信頼度よりも大きく設定される。
【０１３１】
そして、ステップＳ１２３の条件を満たさない場合は、ステップＳ１２４へ行き、以下の条件を満たすかを判定する。ここで、ＴＨＶＹはあらかじめ定められた所定の値であり、例えば、０．５［ｍ／ｓ］と設定する。
【０１３２】
Ａｂｓ（ＶＹ［ｂ］）＞Ａｂｓ（ＶＸ［ｂ］）
かつ Ａｂｓ（ＶＹ［ｂ］）＞ＴＨＶＹ
【０１３３】
すなわち、縦移動速度が横移動速度よりも大きく、かつ、絶対値が十分に大きいという条件を満たすか否かが判断される。そして、この条件を満たす場合は、ステップＳ１２６へ移行し、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１２、ｒ２２（ｒ１２＜ｒ２２）と設定する。これにより、縦向きの歩行者の方が、横向きの歩行者よりも十分に多い場合には、縦向きの歩行者の信頼度が、横向き歩行者の信頼度よりも大きく設定される。
【０１３４】
そして、ステップＳ１２４の条件を満たさない場合は、ステップＳ１２７へ移行し、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１３、ｒ２３（ｒ１３＝ｒ２３）と設定する。これにより、横向きの歩行者と、縦向きの歩行者の人数に大きな差がない場合には、横向きの歩行者の信頼度と縦向きの歩行者の信頼度が同じに設定される。
【０１３５】
以上説明したように、物体位置情報に基づいて縦向きの歩行者と横向きの歩行者の信頼度を変化させることによって、横方向に移動している物体に対する画像処理では、横向きの歩行者を判定しやすく、縦方向に移動している物体に対する画像処理では、縦向きの歩行者を判定しやすくすることができる。
【０１３６】
なお、本実施の形態では、環境推定部３０６０、第一の信頼度２０６１、第二の信頼度２０６２、物体位置算出部３０７１を用いた場合を例に説明したが、これらを用いずに、代わりに上述の第一実施の形態における物体位置算出部１０５１（図１を参照）を用いてもよい。また、本実施の形態では、環境推定部３０６０を用いる場合を例に説明したが、代わりに上述の第二の実施形態における環境推定部２０６０の図１０に示す第二の形式を用いることもできる。
【０１３７】
さらに、コンピュータの処理能力が低い場合、所定の自車速から白線認識などを並列処理する場合、全てのパターンマッチ処理を実行することができないことがある。したがって、例えば、図８に記載の車両用外界認識装置の第二の実施形態、または、図１１に記載の車両用外界認識装置の第三の実施形態において、第一の信頼度２０６１、第二の信頼度２０６２を参照し、信頼度が高いほうの判定部、および、判定部が参照している共通類似度算出部、特有類似度算出部の処理を優先させ、処理に余裕があるときに、残りの信頼度が低い方の物体判定部、および、判定部が参照している特有類似度算出部の処理を実行するようにしてもよい。
【０１３８】
以上説明したように、信頼度を設けることによって、処理負荷が大きく全ての処理が実行できない場合に、信頼度に基づいて処理の優先順位を変更し、信頼度が高い物体の判定処理を優先させることができる。
【０１３９】
＜第四実施の形態＞
つぎに、本発明の車両用外界認識装置の第四実施の形態について、以下に図面を用いて説明する。図１３は、車両用外界認識装置４０００の実施形態を表すブロック図である。なお、以下の説明では、上述の第一実施の形態〜第三実施の形態の車両用外界認識装置１０００〜３０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
【０１４０】
車両用外界認識装置４０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から予め設定された２種類の物体を検知するためのものであり、本実施の形態では、例えば夜間にヘッドライトのロービームによって、自車の前方を撮像した画像内から全身が見えている歩行者と、下半身のみ見えている歩行者の両方を検知するように構成されている。
【０１４１】
車両用外界認識装置４０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
【０１４２】
車両用外界認識装置４０００は、図１３に示すように、画像取得部１０１１と、処理領域設定部１０２１と、共通類似度算出部４０３０と、第一の特有類似度算出部４０３１と、第一の物体判定部４０４１と、第二の物体判定部４０４２と、物体位置算出部１０５１とを有し、実施例によっては物体位置取得部１１１１を有する。
【０１４３】
共通類似度算出部４０３０は、全身が見えている歩行者、および、下半身のみ見えている歩行者の共通なパターンである、歩行者の下半身のテンプレートＴＰ０との類似度を算出する。共通類似度算出部４０３０は、歩行者の下半身のテンプレートＴＰ０を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とテンプレートＴＰ０との類似度ＭＴ０を算出する。なお、歩行者の下半身のテンプレートは図５に示すものであり、類似度ＭＴ０の算出処理は、上述の第一実施の形態における共通類似度算出部１０３０と同様であるため、説明は割愛する。
【０１４４】
第一の特有類似度算出部４０３１は、全身が見えている歩行者の特有のパターンである、歩行者の上半身のテンプレートＴＰ１との類似度を算出する。第一の特有類似度算出部４０３１は、歩行者の上半身のテンプレートＴＰ１を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とテンプレートＴＰ１との類似度ＭＴ１を算出する。なお、歩行者の上半身のテンプレートＴＰ１は、図７（ａ）に示すものであり、類似度ＭＴ１の算出処理は、上述の第一実施の形態における第一の特有類似度算出部１０３１と同様であるため、説明は割愛する。
【０１４５】
第一の物体判定部４０４１は、共通部分のテンプレートＴＰ０との共通類似度ＭＴ０と、全身が見えている歩行者特有のテンプレートＴＰ１との第一の特有類似度ＭＴ１を用いて、全身が見えている歩行者の有無を判定する。判定は、例えば閾値ＴＨ１＿ＭＴを用いて、共通類似度ＭＴ０と第一の特有類似度ＭＴ１とを加算した値が閾値ＴＨ１＿ＭＴよりも大きいという条件を満たす場合、すなわち、
（ＭＴ０＋ＭＴ１）＞ＴＨ１＿ＭＴ
であれば存在すると判定してもよいし、共通類似度の閾値ＴＨ１＿ＭＴ０と第一の特有類似度の閾値ＴＨ１＿ＭＴ１を用いて、共通類似度ＭＴ０が閾値ＴＨ１＿ＭＴ０よりも大きくかつ第一の特有類似度ＭＴ１が閾値ＴＨ１＿ＭＴ１よりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ１＿ＭＴ０、かつ、ＭＴ１＞ＴＨ１＿ＭＴ１
であれば物体が存在すると判定してもよい。
【０１４６】
第二の物体判定部３０４２は、共通部分のテンプレートとの共通類似度ＭＴ０を用いて、下半身のみ見えている歩行者の有無を判定する。判定は、例えば閾値ＴＨ２＿ＭＴを用いて、共通類似度ＭＴ０が閾値ＴＨ２＿ＭＴよりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ２＿ＭＴ
であれば、歩行者が存在すると判定する。
【０１４７】
なお、本実施の形態では、図１３に示すように、物体位置算出部１０５１を用いる場合を例に説明しているが、これを用いずに、代わりに上述の第三の実施の形態における環境推定部３０６０、第一の信頼度２０６１、第二の信頼度２０６２、物体位置算出部３０７１を用いてもよい。
【０１４８】
本実施の形態によれば、自車の前方を撮像した画像内から全身が見えている歩行者と、下半身のみ見えている歩行者の両方を、より少ない処理負荷で検知することができる。
【０１４９】
＜第五実施の形態＞
つぎに、図１４を用いて、プリクラッシュ・セーフティ・システムを例にとり、上述の各実施の形態の車両用外界認識装置によって判定した歩行者に応じて警報を出力する、あるいは自動的にブレーキを制御するといったシステムの動作方法について説明する。
【０１５０】
図１４は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。
【０１５１】
最初に、ステップＳ１４１において、上記いずれかの車両用外界認識装置によって検知された歩行者の位置情報を、障害物情報（ＰＹＯ［ｂ］、ＰＸＯ［ｂ］、ＷＤＯ［ｂ］）として読み込む。
【０１５２】
つぎに、ステップＳ１４２において、検知された各物体の衝突予測時間ＴＴＣ［ｉ］を、下記の式（３）を用いて演算する。ここで、相対速度ＶＹＯ［ｂ］は、物体の相対距離ＰＹＯ［ｂ］を擬似微分することによって求める。
【０１５３】
ＴＴＣ［ｂ］＝ＰＹ［ｂ］÷ＶＹ［ｂ］ ・・・（３）
【０１５４】
さらに、ステップＳ１４３において、各障害物に対する危険度ＤＲＥＣＩ［ｂ］を演算する。
【０１５５】
以下、上述のいずれかの車両用外界認識装置で検知された物体Ｘ［ｂ］に対する危険度ＤＲＥＣＩ［ｂ］の演算方法の例を、図１５を用いて説明する。
【０１５６】
まず、予測進路の推定方法について説明する。図１５に示すように、自車位置を原点Ｏとすると、予測進路は原点Ｏを通る旋回半径Ｒの円弧で近似できる。ここで、旋回半径Ｒは、自車の操舵角α、速度Ｖｓｐ、スタビリティファクタＡ、ホイールベースＬおよびステアリングギア比Ｇｓを用いて以下の式（４）で表される。
【０１５７】
Ｒ＝（１＋ＡＶ２）×（Ｌ・Ｇｓ／α） ・・・（４）
【０１５８】
ここで、スタビリティファクタＡとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。上記式（２）からわかるように、旋回半径Ｒは、スタビリティファクタＡを係数として、自車の速度Ｖｓｐの２乗に比例して変化する。また、旋回半径Ｒは車速Ｖｓｐおよびヨーレートγを用いて式（５）で表すことができる。
【０１５９】
Ｒ＝Ｖ／γ ・・・（５）
【０１６０】
つぎに、物体Ｘ［ｂ］から、旋回半径Ｒの円弧で近似した予測進路の中心へ垂線を引き、距離Ｌ［ｂ］を求める。
【０１６１】
さらに、自車幅Ｈから距離Ｌ［ｂ］を引き、これが負値の場合には危険度ＤＲＥＣＩ［ｂ］＝０とし、正値の場合には以下の式（６）によって危険度ＤＲＥＣＩ［ｂ］を演算する。
【０１６２】
ＤＲＥＣＩ［ｂ］＝ （Ｈ−Ｌ［ｂ］）／Ｈ ・・・（６）
【０１６３】
なお、ステップＳ１４１〜Ｓ１４３の処理は、検知した物体数に応じてループ処理を行う構成としている。
【０１６４】
ステップＳ１４４において、ステップＳ１４３で演算した危険度ＤＲＥＣＩ［ｂ］に応じて式（７）の条件が成立している物体を選択し、選択された物体の中で衝突予測時間ＴＴＣ［ｂ］が最小となる物体ｂＭｉｎを選択する。
【０１６５】
ＤＲＥＣＩ［ｂ］≧ ｃＤＲＥＣＩ＃ ・・・（７）
【０１６６】
ここで、所定値ｃＤＲＥＣＩ＃は、自車に衝突するか否かを判定するための閾値である。
【０１６７】
つぎに、ステップＳ１４５において、選択された物体ｋの衝突予測時間ＴＴＣ［ｂＭｉｎ］に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。式（８）が成立している場合にはステップＳ１４６に進み、ブレーキ制御を実行して処理を終了する。また、式（８）が非成立の場合にはステップＳ１４７に進む。
【０１６８】
ＴＴＣ［ｂＭｉｎ］≦ｃＴＴＣＢＲＫ＃ ・・・（８）
【０１６９】
ステップＳ１４７において、選択された物体ｂＭｉｎの衝突予測時間ＴＴＣ［ｂＭｉｎ］に応じて警報を出力する範囲であるか否かの判定を行う。式（９）が成立している場合にはステップＳ１４８に進み、警報を出力して処理を終了する。また、式（９）が非成立の場合には、ブレーキ制御、警報ともに実行せずに処理を終了する。
【０１７０】
ＴＴＣ［ｂＭｉｎ］≦ｃＴＴＣＡＬＭ＃ ・・・（９）
【０１７１】
以上説明したように、本発明である上述のいずれかの車両用外界認識装置において歩行者と判定された物体に対して、その危険度に応じて上記警報やブレーキ制御を発動させることができる。
【０１７２】
なお、本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１７３】
１０００ 車両用外界認識装置
１０１１ 画像取得部
１０２１ 処理領域設定部
１０３０ 共通類似度算出部
１０３１ 第一の特有類似度算出部
１０３２ 第二の特有類似度算出部
１０４１ 第一の物体判定部
１０４２ 第二の物体判定部
１０５１ 物体位置算出部
１１１１ 物体位置取得部
２０００ 車両用外界認識装置
２１６１ ワイパ操作取得部
２０６０ 環境推定部
２０６１ 第一の信頼度
２０６２ 第二の信頼度
２０７１ 物体位置算出部
３０００ 車両用外界認識装置
３０３０ 共通類似度算出部
３０３１ 第一の特有類似度算出部
３０３２ 第二の特有類似度算出部
３０４１ 第一の物体判定部
３０４２ 第二の物体判定部
３０６０ 環境推定部
４０００ 車両用外界認識装置
４０３０ 共通類似度算出部
４０３１ 第一の特有類似度算出部
４０４１ 第一の物体判定部
４０４２ 第二の物体判定部
【技術分野】
【０００１】
本発明は、カメラ等の画像センサからの情報に基づいて自車周囲の歩行者等の物体を検知する車両用外界認識装置およびそれを用いた車両システムに関する。
【背景技術】
【０００２】
交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。日本国内においては、歩行者が死亡する事故が交通事故死亡者数全体の約３０％を占めており、このような歩行者事故を減少させるために、自車前方の歩行者を検知する予防安全システムが有効である。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
【０００３】
自車前方の歩行者を検知する方法として、カメラで自車前方を撮像し、撮像された画像から、歩行者の形状パターンを用いて検出するパターンマッチ手法が用いられる。歩行者は様々な服装、形状のパターンが考えられるが、自車の環境を測定することによって歩行者の形状を推定し検出を変える方法が提案されている。
【０００４】
例えば、特許文献１には、夜間、雨天といった走行環境を判定し、環境に応じて歩行者テンプレートを変える方式が記載されている。
【０００５】
また、特許文献２には、自動車専用道を走行中か否か、あるいは、昼か夜か等の判定結果に応じて、歩行者テンプレートとのマッチング率の閾値を変化させる方法が記載されている。
【０００６】
さらに、特許文献３には、歩行者の形状を検出しやすい環境であるかを判定し、その判定結果に基づいて検出判定用閾値を決定する方法が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１２２８５９号公報
【特許文献２】特開２０１０−０６６８１５号公報
【特許文献３】特開２００９−０２６２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記方法においては、環境によって検出できない歩行者が存在する。例えば、特許文献１に記載のテンプレートを切り替える方式においては、雨天時であるとして、通常の歩行者用のテンプレートから、傘をさしている歩行者用のテンプレートに切り替えると、雨天時に傘をさしていない歩行者を検出することができないという問題がある。
【０００９】
特許文献２、３に記載の環境を認識して検出用閾値を変化させる方式においても、検出用閾値を低下させて検出漏れを減らすと、誤検出が増加してしまうという問題がある。
【００１０】
また、様々な歩行者を同時に検出するために複数のテンプレートとのマッチングを常時すべて実行する方法が考えられるが、処理負荷の観点から、現実的でない。
【００１１】
上記した問題は、歩行者に限定されるものではなく、車両にとって障害物となりうる物体の全てについて生ずるものである。
【００１２】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、一部の形状が互いに共通している複数種類の物体を、より小さな処理負荷でそれぞれ検出可能な車両用外界認識装置およびそれを用いた車両システムを提供することである。
【課題を解決するための手段】
【００１３】
上記課題を解決する本発明の車両用外界認識装置は、自車周辺を撮影した画像から第一の物体と第二の物体の共通部分の類似度である共通類似度を算出し、画像から第一の物体の特有な部分の類似度である第一の特有類似度を算出し、画像から第二の物体の特有な部分の類似度である第二の特有類似度を算出し、該算出した共通類似度と第一の特有類似度を用いて第一の物体の有無を判定し、該算出した共通類似度と第二の特有類似度を用いて第二の物体の有無を判定することを特徴としている。
【発明の効果】
【００１４】
本発明によれば、画像から第一の物体と第二の物体で互いに共通する部分の類似度と、第一の物体の特有な部分の類似度である第一の特有類似度と、第二の物体の特有な部分の類似度である第二の特有類似度を算出して、共通類似度と第一の特有類似度を用いて第一の物体の有無を判定するとともに、共通類似度と第二の特有類似度を用いて第二の物体の有無を判定するので、例えば、第一の物体全体の類似度を算出して第一の物体の有無を判定しかつ第二の物体全体の類似度を算出して第二の物体の有無を判定する処理を行う場合と比較して、第一の物体と第二の物体で互いに共通する部分については、それぞれ類似度を判断する処理を重複して行う必要がなく、かかる共通部分については類似度を判断する処理を一度だけ実行すればよく、装置全体の処理負荷を軽減することができる。
【図面の簡単な説明】
【００１５】
【図１】第一実施の形態における車両用外界認識装置のブロック図。
【図２】図１の処理領域設定部における処理の例を示す模式図。
【図３】図１の共通類似度算出部から物体位置算出部までの処理を示すフローチャート。
【図４】図３のエッジ抽出で用いるソーベルフィルタの重みを示す図。
【図５】図１の共通類似度算出部で用いられる局所エッジ判定器の模式図。
【図６】図１の共通類似度算出部による類似度の算出方法を示すブロック図。
【図７】図１の第一の特有類似度算出部および第二の特有類似度算出部における類似度の算出方法を示すブロック図。
【図８】第二実施の形態における車両用外界認識装置のブロック図。
【図９】第二実施の形態における環境推定部の処理を表すフローチャート。
【図１０】第二実施の形態における環境推定部の処理を表すフローチャート。
【図１１】第三実施の形態における車両用外界認識装置のブロック図。
【図１２】第三実施の形態における環境推定部の処理を表すフローチャート。
【図１３】第四実施の形態における車両用外界認識装置のブロック図。
【図１４】本発明の車両用外界認識装置を用いた車両システムの処理を表すフローチャート。
【図１５】本発明の車両用外界認識装置を用いた車両システムの危険度の算出の例を示す模式図。
【発明を実施するための形態】
【００１６】
＜第一実施の形態＞
以下、本発明の第一実施の形態について図面を用いて詳細に説明する。図１は、第一実施の形態における車両用外界認識装置１０００のブロック図である。
【００１７】
車両用外界認識装置１０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ１０１０で撮影した画像内から、一部の形状が互いに共通している複数種類の物体を検出するためのものであり、本実施の形態では、自車の前方を撮像した画像内から傘をさしていない歩行者、および、傘をさしている歩行者を検知するように構成されている。傘をさしていない歩行者、および、傘をさしている歩行者は、その一部である下半身の形状が互いに共通している。
【００１８】
車両用外界認識装置１０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
【００１９】
車両用外界認識装置１０００は、図１に示すように、画像取得部１０１１と、処理領域設定部１０２１と、共通類似度算出部１０３０と、第一の特有類似度算出部１０３１と、第二の特有類似度算出部１０３２と、第一の物体判定部１０４１と、第二の物体判定部１０４２と、物体位置算出部１０５１とを有し、さらに実施例によっては、更に物体位置取得部１１１１を有する場合がある。
【００２０】
画像取得部１０１１は、自車の前方を撮像可能な位置に取り付けられたカメラ１０１０から、自車前方を撮影したデータを取り込み、画像ＩＭＧＳＲＣ［ｘ］［ｙ］としてＲＡＭ上に書き込む。なお、画像ＩＭＧＳＲＣ［ｘ］［ｙ］は２次元配列であり、ｘ、ｙはそれぞれ画像の座標を示す。
【００２１】
処理領域設定部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内から歩行者を検出する処理領域２３（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を設定する。処理の詳細については後述する。
【００２２】
以下、共通類似度算出部１０３０、第一の特有類似度算出部１０３１、第二の特有類似度算出部１０３２、第一の物体判定部１０４１、第二の物体判定部１０４２は、歩行者を検出する処理領域２３（ＳＸ，ＳＹ，ＥＸ，ＥＹ）内を探索するように、判定領域３１（図５を参照）（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定し、第一の物体である傘をさしていない歩行者と第２の物体である傘をさしている歩行者を検出する処理を、繰り返し実行する。ここで、ｇは複数の領域を設定した場合のＩＤ番号である。
【００２３】
共通類似度算出部１０３０は、傘をさしていない歩行者、および、傘をさしている歩行者の共通なパターンである、歩行者の下半身のテンプレートＴＰ０との類似度を算出する。共通類似度算出部１０３０は、歩行者の下半身のテンプレートＴＰ０を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）との類似度ＭＴ０を算出する。処理の詳細については後述する。
【００２４】
第一の特有類似度算出部１０３１は、傘をさしていない歩行者の特有のパターンである、歩行者の上半身のテンプレートＴＰ１との類似度を算出する。第一の特有類似度算出部１０３１は、歩行者の上半身のテンプレートＴＰ１を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）との類似度ＭＴ１を算出する。処理の詳細については後述する。
【００２５】
第二の特有類似度算出部１０３２は、傘をさしている歩行者の特有のパターンである、傘を含む歩行者の上半身のテンプレートＴＰ２との類似度を算出する。第二の特有類似度算出部１０３２は、テンプレートＴＰ２を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）との類似度ＭＴ２を算出する。処理の詳細については後述する。
【００２６】
第一の物体判定部１０４１は、共通部分のテンプレートＴＰ０との共通類似度ＭＴ０と、傘をさしていない歩行者特有のテンプレートＴＰ１との第一の特有類似度ＭＴ１を用いて、傘をさしていない歩行者の有無を判定する。判定は、例えば閾値ＴＨ１＿ＭＴを用いて、共通類似度ＭＴ０と第一の特有類似度ＭＴ１とを加算した値が閾値ＴＨ１＿ＭＴよりも大きいという条件を満たす場合、すなわち、
（ＭＴ０＋ＭＴ１）＞ＴＨ１＿ＭＴ
であれば存在すると判定してもよいし、共通類似度の閾値ＴＨ１＿ＭＴ０と第一の特有類似度の閾値ＴＨ１＿ＭＴ１を用いて、共通類似度ＭＴ０が閾値ＴＨ１＿ＭＴ０よりも大きくかつ第一の特有類似度ＭＴ１が閾値ＴＨ１＿ＭＴ１よりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ１＿ＭＴ０、かつ、ＭＴ１＞ＴＨ１＿ＭＴ１
であれば物体が存在すると判定してもよい。
【００２７】
第二の物体判定部１０４２は、共通部分のテンプレートＴＰ０との共通類似度ＭＴ０と、傘をさしている歩行者特有のテンプレートとの第二の特有類似度ＭＴ２を用いて、傘をさしている歩行者の有無を判定する。判定は、例えば閾値ＴＨ２＿ＭＴを用いて、共通類似度ＭＴ０と第二の特有類似度ＭＴ２とを加算した値が閾値ＴＨ２＿ＭＴよりも大きいという条件を満たす場合、すなわち、
（ＭＴ０＋ＭＴ２）＞ＴＨ２＿ＭＴ
であれば存在すると判定してもよいし、共通類似度の閾値ＴＨ２＿ＭＴ０と第二の特有類似度の閾値ＴＨ２＿ＭＴ２を用いて、共通類似度ＭＴ０が閾値ＴＨ２＿ＭＴ０よりも大きくかつ第二の特有類似度ＭＴ２が閾値ＴＨ２＿ＭＴ２よりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ２＿ＭＴ０、かつ、ＭＴ２＞ＴＨ２＿ＭＴ２
であれば物体が存在すると判定してもよい。
【００２８】
物体位置算出部１０５１は、第一の物体判定部１０４１、第二の物体判定部１０４２にて検出した物体の位置を算出する。物体位置取得部１１１１を有する場合、物体位置は物体位置取得部１１１１より取得した物体位置情報を用いる。処理の詳細は後述する。
【００２９】
物体位置取得部１１１１は、自車に搭載されたミリ波レーダやレーザレーダ等の自車周辺の物体を検出するレーダからの検出信号を取得して、自車前方に存在する物体の物体位置（相対距離ＰＹＲ［ｂ］、横位置ＰＸＲ［ｂ］、横幅ＷＤＲ［ｂ］）を取得する。ここで、ｂは複数の物体を検知している場合の各物体のＩＤ番号である。これらの物体の位置情報は、レーダの信号を車両用外界認識装置１０００に直接入力することによって取得してもよいし、レーダとＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得してもよい。物体位置取得部１１１１で検出した物体位置は、処理領域設定部１０２１にて用いられる。
【００３０】
［処理領域設定部］
つぎに、図２を用いて、処理領域設定部１０２１における処理の内容について説明する。
【００３１】
図２は、処理領域設定部の処理の例を示す図である。処理領域設定部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内で歩行者検知処理を行う処理領域２３を選定し、その座標の範囲である、ｘ座標（横方向）の始点ＳＸおよび終点ＥＸ、ｙ座標上（縦方向）の始点ＳＹおよび終点ＥＹを求める（ＳＸ，ＳＹ，ＥＸ，ＥＹ）。処理領域設定部１０２１は、物体位置取得部１１１１からの位置情報を用いてもよく、用いなくてもよい。
【００３２】
まず、物体位置取得部１１１１からの位置情報を用いる場合について説明する。図２（ａ）は、物体位置取得部１１１１からの位置情報を用いた場合における処理領域設定部１０２１の処理の例を示す図である。
【００３３】
処理領域設定部１０２１は、物体位置取得部１１１１が検出した物体２１の相対距離ＰＹＲ［ｂ］、横位置ＰＸＲ［ｂ］および横幅ＷＤＲ［ｂ］から、検出した物体２１の画像上での位置を示す物体位置領域２２（ｘ座標（横方向）の始点ＳＸＢ、終点ＥＸＢ、ｙ座標（縦方向）の始点ＳＹＢ、終点ＥＹＢ）を算出する。なお、カメラ画像上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体の高さを、例えば１８０［ｃｍ］などあらかじめ仮定しておくことにより、画像上での位置は一意に決まる。
【００３４】
また、カメラ１０１０の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置取得部１１１１で検出した物体２１の画像上での位置と、カメラ画像に写っている同じ物体２１の画像上での位置に違いが生じる場合がある。よって、画像上での物体２１の位置を示す物体位置領域２２（ＳＸＢ、ＥＸＢ、ＳＹＢ、ＥＹＢ）に、補正を加えた領域を処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）として算出する。補正は、画像上での物体２１の位置を示す物体位置領域２２を所定の量だけ拡大したり、移動させたりすることによって行われ、例えば、物体位置領域２２の各点ＳＸＢ、ＥＸＢ、ＳＹＢ、ＥＹＢの位置を上下左右に所定の画素だけ拡張してもよい。こうして、処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）を得ることができる。なお、複数の領域に対して処理する場合、処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）をそれぞれ生成し、後述する物体検出処理をそれぞれの処理領域２３に対して個別に実施する。
【００３５】
つぎに、処理領域設定部１０２１において、物体位置取得部１１１１からの位置情報を用いずに処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）を設定する処理について説明する。物体位置取得部１１１１を用いない場合の処理領域２３の設定方法は、例えば、領域の大きさを変化させながら画像全体を探索するように複数の領域を設定する方法や、特定の位置、特定の大きさのみに限定して領域を設定する方法がある。特定の位置に限定する場合は、例えば自車速を用いて、自車がＴ秒後に進んでいる位置に限定する方法がある。
【００３６】
図２（ｂ）は、自車速を用いて，自車が２秒後に進んでいる位置を探索する場合の例である。処理領域２３の位置、および大きさは、自車が２秒後に進んでいる位置までの相対距離における路面高さ（０ｃｍ）、および想定する歩行者２１の高さ（本実施の形態では１８０ｃｍ）から、カメラ幾何パラメータを用いて画像ＩＭＧＳＲＣ［ｘ］［ｙ］上のｙ方向の範囲（ＳＹＰ、ＥＹＰ）を求める。なお、ｘ方向の範囲（ＳＸＰ、ＥＸＰ）は、制限しなくてもよいし、自車の予測進路等により制限してもよい。こうして、処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）を得ることができる。
【００３７】
［類似度算出部］
つぎに、図３、４を用いて、共通類似度算出部１０３０、第一の特有類似度算出部１０３１、第二の特有類似度算出部１０３２、第一の物体判定部１０４１、第二の物体判定部１０４２、物体位置算出部１０５１における処理の流れについて説明する。図３は、車両用外界認識装置の処理を説明するフローチャートである。
【００３８】
まず、ステップＳ３０１にて、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の処理領域２３（ＳＸ，ＳＹ，ＥＸ，ＥＹ）から、エッジを抽出する。以下、微分フィルタとしてソーベルフィルタを適用する場合におけるエッジ画像ＥＤＧＥ［ｘ］［ｙ］、および、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の算出方法について説明する。
【００３９】
ソーベルフィルタは、図４に示すように３×３画素の大きさで、ｘ方向の勾配を求めるｘ方向フィルタ４１とｙ方向の勾配を求めるｙ方向フィルタ４２の２種類が存在する。画像ＩＭＧＳＲＣ［ｘ］［ｙ］からｘ方向の勾配を求める場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の１画素ごとに、その画素と周囲８画素の計９画素の画素値と、対応する位置のｘ方向フィルタ４１の重みの積和演算を行う。積和演算の結果がその画素におけるｘ方向の勾配となる。ｙ方向の勾配の算出も同様である。
【００４０】
画像ＩＭＧＳＲＣ［ｘ］［ｙ］のある位置（ｘ、ｙ）におけるｘ方向の勾配の算出結果をｄｘ、ｙ方向の勾配の算出結果をｄｙとすると、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は以下の式（１）（２）により算出される。
【００４１】
ＤＭＡＧ［ｘ］［ｙ］＝｜ｄｘ｜＋｜ｄｙ｜ ・・・（１）
ＤＩＲＣ［ｘ］［ｙ］＝ａｒｃｔａｎ（ｄｙ／ｄｘ） ・・・（２）
【００４２】
なお、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の座標（ｘ、ｙ）は画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標（ｘ、ｙ）に対応する。
【００４３】
算出した勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］の値とエッジ閾値ＴＨＲ＿ＥＤＧＥを比較し、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］がエッジ閾値ＴＨＲ＿ＥＤＧＥよりも大きい（ＤＭＡＧ［ｘ］［ｙ］＞ＴＨＲ＿ＥＤＧＥ）のであれば１、それ以外、すなわち、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］がエッジ閾値ＴＨＲ＿ＥＤＧＥ以下であれば０を、エッジ画像ＥＤＧＥ［ｘ］［ｙ］に記憶する。
【００４４】
エッジ画像ＥＤＧＥ［ｘ］［ｙ］は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、エッジ画像ＥＤＧＥ［ｘ］［ｙ］の座標（ｘ、ｙ）は画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標（ｘ、ｙ）に対応する。
【００４５】
なお、エッジ抽出前に、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）に該当する画像を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小してもよい。本実施の形態では、処理領域設定部１０２１にて用いた距離情報とカメラ幾何を用い、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の高さ１８０［ｃｍ］、幅６０［ｃｍ］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小し、上記エッジを算出する。
【００４６】
また、エッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の算出は、処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）の範囲外は全てゼロとしてもよい。
【００４７】
つぎに、ステップＳ３０１１にて、エッジ画像ＥＤＧＥ［ｘ］［ｙ］，およびエッジ方向画像ＤＩＲＣ［ｘ］［ｙ］内に歩行者判定を行う判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。
【００４８】
ステップＳ３０１で述べたように，本実施の形態では、カメラ幾何を用い、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の高さ１８０［ｃｍ］、幅６０［ｃｍ］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小してエッジ画像ＥＤＧＥ［ｘ］［ｙ］を生成している。よって、判定領域３１の大きさを１６ドット×１２ドットとし、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内の処理領域２３（ＳＸ、ＥＸ、ＳＹ、ＥＹ）が１６ドット×１２ドットより大きい場合は、判定領域３１をエッジ画像ＥＤＧＥ［ｘ］［ｙ］内に一定の間隔で敷き詰めるように複数設定する。
【００４９】
つぎに、ｇ＝０として、処理領域設定部１０２１にて設定された全ての判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＸＧ［ｇ］）について、以下ステップＳ３０２からＳ３０６の処理を実行する。
【００５０】
まず、ステップＳ３０２にて、判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＸＧ［ｇ］）内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、複数種類の物体で互いに共通している部分の類似度である共通類似度を算出する。ここでは、共通類似度算出部１０３０で、傘をさしていない歩行者と傘をさしている歩行者との共通部分である、歩行者の下半身のパターンとの類似度を求める処理を行い、共通類似度ＭＴ０を算出する。処理詳細は後述する。
【００５１】
つぎに、ステップＳ３０３にて、判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＸＧ［ｇ］）内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、所定の種類の物体が有する物体特有の特徴部分のパターンとの類似度である第一の特有類似度を算出する。ここでは、第一の特有類似度算出部１０３１で、傘をさしていない歩行者特有の特徴部分である、歩行者の上半身のパターンとの類似度を求める処理を行い、傘をさしていない歩行者の特有な部分の類似度である第一の特有類似度ＭＴ１を算出する。処理詳細は後述する。
【００５２】
つぎに、ステップＳ３０４にて、判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＸＧ［ｇ］）内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、他の種類の物体が有する物体特有の特徴部分のパターンとの類似度である第二の特有類似度を算出する。ここでは、第二の特有類似度算出部１０３２で、傘をさしている歩行者特有の特徴部分である、歩行者の上半身の形状のパターンとの類似度を求める処理を行い、傘をさしている歩行者特有の特有な部分の類似度である第二の特有類似度ＭＴ２を算出する。処理詳細は後述する。
【００５３】
つぎに、ステップＳ３０５にて、第一の物体判定部１０４１の処理を行い、第一の判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］の座標（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］）に、物体が存在すると判定された場合には「１」を、そうでない場合には「０」を格納する。
【００５４】
さらに、ステップＳ３０６も同様に、第二の物体判定部１０４２の処理を行い、第二の判定結果格納用配列ＤＴＣ２［ｘ］［ｙ］の座標（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］）に、物体が存在すると判定された場合には「１」を、そうでない場合には「０」を格納する。
【００５５】
以上の処理を、全ての判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＸＧ［ｇ］）に対し実行し、最後にステップＳ３０７にて、第一の判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］、および、第二の判定結果格納用配列ＤＴＣ２［ｘ］［ｙ］の結果を統合し、物体位置を算出する。処理詳細は後述する。
【００５６】
［類似度算出部］
つぎに、図５、６を用いて、共通類似度算出部１０３０における処理の流れについて説明する。図５は、図１の共通類似度算出部で用いられる局所エッジ判定器の模式図、図６は、図１の共通類似度算出部による類似度の算出方法を示すブロック図である。
【００５７】
共通類似度算出部１０３０の処理を行うステップＳ３０２にて、ある判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、以下で詳述する識別器６１の処理結果で得られる出力を類似度として取り扱う。
【００５８】
まず、識別器６１を用いて類似度を算出する方法について説明する。
【００５９】
画像処理によって所定のパターンとの類似度を算出する方法として、パターンの代表となるテンプレートを複数用意しておき、差分累積演算あるいは正規化相関係演算を行って一致度を求めるテンプレートマッチングによる方法や、ニューラルネットワークなどの識別器を用いてパターン認識を行う方法が挙げられる。
【００６０】
いずれの方法を選択するとしても、あらかじめ所定のパターンか否かを決定する指標となるソースのデータベースが必要となる。パターンの様々な状態をデータベースとして蓄えておき、そこから代表となるテンプレートを作成したり識別器を生成したりする。実環境ではパターンに様々な状態が予想されるため、大量のデータベースを用意して、誤判定を少なくすることが必要となってくる。このとき、前者のテンプレートマッチングによる方法の場合、判定漏れを防ぐようにするとテンプレートの数が膨大となるため現実的でない。
【００６１】
そこで、本実施の形態では後者の識別器を用いて類似度を算出する方法を採用する。識別器の大きさはソースのデータベースの大きさに依存しない。なお、識別器を生成するためのデータベースを教師データと呼ぶ。
【００６２】
本実施の形態で使用する識別器６１は、複数の局所エッジ判定器に基づいて、傘をさしていない歩行者と傘をさしている歩行者の共通の特徴部分である、歩行者の下半身の類似度を算出する。
【００６３】
まず、局所エッジ判定器５１について、図５の例を用いて説明する。局所エッジ判定器５１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、およびマッチング判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、０か１かの２値を出力する判定器であり、局所エッジ頻度算出部５１１、および閾値処理部５１２から構成される。
【００６４】
局所エッジ頻度算出部５１１は、マッチング判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）と同じ大きさのウィンドウ５１１１内に、局所エッジ頻度算出領域５１１２を持ち、マッチング判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とウィンドウ５１１１の位置関係から、エッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］内の局所エッジ頻度を算出する位置を設定し、局所エッジ頻度ＭＷＣを算出する。
【００６５】
局所エッジ頻度ＭＷＣは、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の角度値が角度条件５１１３を満たしており、かつ、対応する位置のエッジ画像ＥＤＧＥ［ｘ］［ｙ］が１である画素の総数である。角度条件５１１３は、図４の例の場合、６７．５度から１１２．５度の間、もしくは、２６７．５度から２９２．５度の間であることであり、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値が一定の範囲であるか否かを判定するものである。
【００６６】
閾値処理部５１２は、あらかじめ定められた閾値ＴＨＷＣ＃を持ち、局所エッジ頻度算出部５１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ＃以上であれば１、それ以外であれば０を出力する。なお、閾値処理部５１２は、局所エッジ頻度算出部５１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ＃以下であれば１、それ以外であれば０を出力してもよい。
【００６７】
つぎに、図６を用いて、識別器について説明する。識別器６１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、および判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、判定領域３１内が歩行者の下半身に類似していれば正の値を、類似していなければ負の値を出力する。識別器６１は、４０個の局所エッジ頻度判定器６１０１〜６１４０と、合計部６１２とから構成される。
【００６８】
局所エッジ頻度判定器６１０１〜６１４０は、一つ一つの処理は、前述した局所エッジ判定器５１と同様であるが、局所エッジ頻度算出領域５１１２、角度条件５１１３、閾値ＴＨＷＣ＃は、それぞれ異なっている。合計部６１２０は、局所エッジ頻度判定器６１０１〜６１４０からの出力に、対応する重みＷＷＣ１＃〜ＷＷＣ４０＃を乗じ、その合計値ＳＣを出力する。
【００６９】
識別器６１の各局所エッジ頻度判定器６１０１〜６１４０のパラメータである局所エッジ頻度算出領域５１１２、角度条件５１１３、閾値ＴＨＷＣ、また、重みＷＷＣ１＃〜ＷＷＣ４０＃は、識別器６１への入力画像が歩行者の下半身であった場合には、合計部６１２から出力される合計値ＳＣが正の値、歩行者の下半身ではなかった場合には合計値ＳＣが負の値となるように、教師データを用いて調整される。調整には、例えばＡｄａＢｏｏｓｔなどの機械学習の手段を用いてもよいし、手動で行ってもよい。
【００７０】
例えば、ＮＰＤ個の歩行者の下半身の教師データ、およびＮＢＧ個の非歩行者の教師データから、ＡｄａＢｏｏｓｔを用いてパラメータを決定する手順は以下の通りとなる。なお、以下、局所エッジ頻度判定器をｃＷＣ［ｍ］と表す。ここで、ｍは局所エッジ頻度判定器のＩＤ番号である。
【００７１】
まず、局所エッジ頻度算出領域５１１２および角度条件５１１３が異なる局所エッジ頻度判定器ｃＷＣ［ｍ］を複数（例えば、１００万通り）用意し、それぞれにおいて、局所エッジ頻度ＭＷＣの値を全ての教師データから算出し、閾値ＴＨＷＣをそれぞれ決定する。閾値ＴＨＷＣは、歩行者の下半身の教師データと非歩行者の教師データを最も分類することができる値を選択する。
【００７２】
つぎに、歩行者の下半身の教師データひとつひとつにｗＰＤ［ｎＰＤ］＝１／２ＮＰＤの重みを与える。同様に、非歩行者の教師データひとつひとつにｗＢＧ［ｎＢＧ］＝１／２ＮＢＧの重みを与える。ここで、ｎＰＤは歩行者の下半身の教師データのＩＤ番号、ｎＢＧは非歩行者の教師データのＩＤ番号である。そして、ｋ＝１として、以下、繰り返し処理を行う。
【００７３】
まず、歩行者の下半身・非歩行者全ての教師データの重みの合計が１となるように、重みを正規化する。つぎに、各局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出する。誤検知率ｃＥＲ［ｍ］は、局所エッジ頻度判定器ｃＷＣ［ｍ］において、歩行者の下半身の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が０となったもの、もしくは非歩行者の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が１となったもの、すなわち出力が間違っている教師データの重みの合計である。
全ての局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出後、誤検知率が最小となる局所エッジ頻度判定器のＩＤ ｍＭｉｎ を選択し、最終局所エッジ頻度判定器ＷＣ［ｋ］＝ｃＷＣ［ｍＭｉｎ］とする。
【００７４】
つぎに、各教師データの重みを更新する。更新は、歩行者の下半身の教師データのうち、最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が１となったもの、および、非歩行者の教師データのうち最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が０となったもの、すなわち出力が正しい教師データの重みに、係数ＢＴ［ｋ］＝ｃＥＲ［ｍＭｉｎ］／（１−ｃＥＲ［ｍＭｉｎ］）を乗じる。
【００７５】
ｋ＝ｋ＋１とし、ｋが予め設定した値（例えば、４０）になるまで繰り返す。繰り返し処理の終了後に得られる最終局所エッジ頻度判定器ＷＣがＡｄａＢｏｏｓｔにより自動調整された識別器６１となる。なお、重みＷＷＣ１〜ＷＷＣ４０は１／ＢＴ［ｋ］から算出される。
【００７６】
つぎに、図７を用いて、第一の特有類似度算出部１０３１、第二の特有類似度算出部１０３２における処理の流れについて説明する。図７は、図１の第一の特有類似度算出部および第二の特有類似度算出部における類似度の算出方法を示すブロック図である。
【００７７】
第一の特有類似度算出部１０３１の処理を行うステップＳ３０３にて、ある判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、識別器６１１の処理結果得られる出力を第一の特有類似度ＭＴ１として取り扱う。識別器６１１は、識別器６１と同じように設計された識別器であるが、教師データとして、傘をさしていない歩行者の上半身を用いている。
【００７８】
同様に、第二の特有類似度算出部１０３２の処理を行うステップＳ３０４にて、ある判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、識別器６１２の処理結果得られる出力を第二の特有類似度ＭＴ２として取り扱う。識別器６１２は、識別器６１と同じように設計された識別器であるが、教師データとして、傘をさしている歩行者の上半身を用いている。
【００７９】
つぎに、物体位置算出部１０５１の処理について説明する。物体位置算出部１０５１は、判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］において、「１」が入っている場所をグルーピングし、その中心位置に歩行者が存在すると判定する。グルーピングには、ラベリングなど、公知の技術を用いる。
【００８０】
グルーピングされた領域のＹ座標と、カメラ幾何を用いて、歩行者の身長を１８０ｃｍと仮定すると、歩行者までの距離を算出することができる。また、グルーピングされた領域のＸ座標と、カメラ幾何を用いて、歩行者の幅を６０ｃｍと仮定すると、自車中央から歩行者がどれだけ横（車幅方向外側）に存在しているかを算出することができる。
【００８１】
また、物体位置取得部１１１１が存在する場合は、上記の方式により算出した位置の周辺に物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）が存在する場合は、情報を置き換える。もしくは、物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）を、カメラ幾何を用いて判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］へ投影し、各グループの中心位置と投影した物体情報の配列上の距離が所定値以下である場合、物体であると判定し、物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）を歩行者の位置とする。判定結果格納用配列ＤＴＣ２［ｘ］［ｙ］についても同様の処理を行う。
【００８２】
以上説明したように、車両用外界認識装置１０００は、一回に傘をさしていない歩行者と傘をさしている歩行者を同時に検出することができる。さらに、共通類似度算出部１０３０を有しているため、単純に２種類の歩行者パターンマッチを実行するよりも、処理負荷を低減することができる。
【００８３】
例えば、傘をさしていない歩行者の全身用のテンプレートと、傘をさしている歩行者の全身用のテンプレートとを用いてパターンマッチングを行った場合、共通する部分である歩行者の下半身については、重複してマッチング判定が行われ、処理の無駄が発生することとなる。
【００８４】
これに対して、車両用外界認識装置１０００は、傘をさしていない歩行者と傘をさしている歩行者で共通する特徴部分である歩行者の下半身については、共通する下半身用のテンプレートを用いて類似度を算出し、各歩行者の上半身については、それぞれ傘ありと傘なしの上半身用のテンプレートを用いて類似度を算出しているので、下半身について重複してマッチング判定が行われるのを防ぎ、装置全体の処理負荷を軽減することができる。
【００８５】
なお、歩行者の検知に用いる識別器６１、６１１，６１２は、本実施の形態で説明した方法の例に限定されない。正規化相関を用いたテンプレートマッチング、ニューラルネットワーク識別器、サポートベクターマシン識別器、ベイズ識別器などを用いてもよい。また、エッジを抽出せずに、濃淡画像やカラー画像をそのまま用いて、識別器６１，６１１，６１２により判定してもよい。
【００８６】
また、識別器６１，６１１，６１２は、様々な歩行者の画像データと、自車にとって衝突の危険がない領域の画像データを教師データとして、ＡｄａＢｏｏｓｔなどの機械学習の手段を用いて調整してもよい。特に、実施の形態として車両用外界認識装置１０００が物体位置取得部１１１１を備える場合には、様々な歩行者の画像データと、横断歩道、マンホールやキャッツアイ等、ミリ波レーダやレーザレーダが衝突の危険がないにも関わらず誤検知する領域の画像データを教師データとしてもよい。
【００８７】
＜第二実施の形態＞
つぎに、本発明の車両用外界認識装置の第二実施の形態について、以下に図面を用いて説明する。
【００８８】
図８は、第二実施の形態における車両用外界認識装置の構成を示すブロック図である。なお、以下の説明では、上述の第一実施の形態における車両用外界認識装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
【００８９】
本実施の形態において特徴的なことは、自車周辺の環境を推定し、該推定した車両環境に応じて、第一の物体判定手段の判定結果に対する第一の信頼度と第二の物体判定手段の判定結果に対する第二の信頼度を調整する構成としたことである。
【００９０】
車両用外界認識装置２０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から予め設定された２種類の物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から傘をさしていない歩行者、および、傘をさしている歩行者を検知するように構成されている。
【００９１】
車両用外界認識装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
【００９２】
車両用外界認識装置２０００は、図８に示すように、画像取得部１０１１と、処理領域設定部１０２１と、共通類似度算出部１０３０と、第一の特有類似度算出部１０３１と、第二の特有類似度算出部１０３２と、第一の物体判定部１０４１と、第二の物体判定部１０４２と、環境推定部２０６０と、第一の信頼度２０６１と、第二の信頼度２０６２と、物体位置算出部２０７１とを有し、さらに実施の形態によって、ワイパ操作取得部２１６１と、物体位置取得部１１１１とを有する。
【００９３】
ワイパ操作取得部２１６１は、運転者による車両のワイパ操作の開始／終了の情報を取得する。この操作情報は、ワイパのＯＮ／ＯＦＦ信号を車両用外界認識装置２０００に直接入力することによって取得してもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得してもよい。
【００９４】
環境推定部２０６０は、ワイパ操作取得部２１６１、第一の物体判定部１０４１、第二の物体判定部１０４２、さらに物体位置取得部１１１１の情報のいずれか１つ以上を用いて、第一の信頼度２０６１、および、第二の信頼度２０６２の値を変更する。処理の詳細については後述する。
【００９５】
第一の信頼度２０６１、および、第二の信頼度２０６２は、値が高いほど信頼度が高いことを表す数値である。これらの値は、環境推定部２０６０によって変更され、物体位置算出部２０７１にて用いられる。
【００９６】
物体位置算出部２０７１は、第一の物体判定部１０４１、第二の物体判定部１０４２、第一の信頼度２０６１、第二の信頼度２０６２を用いて物体位置を算出する。物体位置取得部１１１１を有する場合、物体位置は物体位置取得部１１１１より取得した物体位置情報を用いる。処理の詳細は後述する。
【００９７】
［環境推定部］
つぎに、図９，１０を用いて、環境推定部２０６０における処理の内容について説明する。図９、１０は環境推定部２０６０の処理の流れを示すフローチャートである。ここでは、２通りの調整方法について説明する。
【００９８】
第一に、図９を用いて、ワイパ操作取得部２１６１の情報を用いた方法について説明する。まず、ステップＳ９１にて、ワイパ操作取得部２１６１からワイパのＯＮ／ＯＦＦ状態を取得する。つぎに、ステップＳ９２にて、ワイパのＯＮ／ＯＦＦ状態に応じて、図９（ｂ）のテーブル９２１を参照して第一の信頼度２０６１、第二の信頼度２０６２を設定する。
【００９９】
このように、ワイパのＯＮ／ＯＦＦ状態に応じて第一の信頼度２０６１、第二の信頼度２０６２を変えることにより、例えばワイパがＯＮのときは雨が降っていると予想されるので、第一の信頼度２０６１よりも第二の信頼度２０６２を大きく設定し（第一の信頼度２０６１＜第二の信頼度２０６２）、逆にワイパがＯＦＦのときは雨が降っていないと予想されるので、第一の信頼度２０６１よりも第二の信頼度２０６２を小さく設定する（第一の信頼度２０６１＞第二の信頼度２０６２）。
【０１００】
第二に、図１０を用いて、第一の物体判定部１０４１、第二の物体判定部１０４２を用いた方法について説明する。
【０１０１】
まず、ステップＳ１０１にて、第一の物体判定部１０４１による第一の物体の過去Ｔ秒における検出回数Ｎ１をカウントする。ここでは、Ｔ＝１秒とする。つぎに、ステップＳ１０２にて、第二の物体判定部１０４２による第２の物体の過去Ｔ秒における検出回数Ｎ２をカウントする。ここでは、Ｔ＝１秒とする。つぎに、ステップＳ１０３にて、以下の条件を満たすかを判定する。ここで、ＴＨＮはあらかじめ定められた値である。
【０１０２】
（Ｎ１−Ｎ２）／（Ｎ１＋Ｎ２）＞ＴＨＮ
【０１０３】
上記条件を満たす場合は、ステップＳ１０５へ移行し、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１１、ｒ２１（ｒ１１＞ｒ２１）と設定する。これにより、傘をさしている歩行者の方が、傘をさしていない歩行者よりも十分に多い場合には、傘をさしている歩行者の信頼度を、傘をさしていない歩行者の信頼度よりも大きく設定される。
【０１０４】
そして、ステップＳ１０３の条件を満たさない場合は、ステップＳ１０４へ移行し、以下の条件を満たすかを判定する。ここで、ＴＨＮはあらかじめ定められた値である。
【０１０５】
（Ｎ２−Ｎ１）／（Ｎ１＋Ｎ２）＞ＴＨＮ
【０１０６】
上記条件を満たす場合は、ステップＳ１０６へ行き、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１２、ｒ２２（ｒ１２＜ｒ２２）と設定する。これにより、傘をさしていない歩行者の方が、傘をさしている歩行者よりも十分に多い場合には、傘をさしていない歩行者の信頼度を、傘をさしている歩行者の信頼度よりも大きく設定される。
【０１０７】
そして、ステップＳ１０４の条件を満たさない場合は、ステップＳ１０７へ移行し、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１３、ｒ２３（ｒ１３＝ｒ２３）と設定する。これにより、傘をさしていない歩行者と、傘をさしている歩行者の人数がほぼ等しい場合には、傘をさしていない歩行者の信頼度と傘をさしている歩行者の信頼度が同じに設定される。このように、過去の検出回数を参照することによって、一方の検出頻度が他方に比べ高い場合、信頼度を高める処理を行う。
【０１０８】
つぎに、物体位置算出部２０７１における処理の内容について説明する。
【０１０９】
物体位置算出部２０７１は、判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］において、「１」が入っている場所をグルーピングし、その中心位置に歩行者が存在すると判定する。グルーピングには、ラベリングなど、公知の技術を用いる。
【０１１０】
つぎに、過去Ｔ秒の検出結果を参照し、各グループが過去に存在した回数ＤＴをカウントする。そして、回数ＤＴと第一の信頼度２０６１を乗じた値ＪＧを算出し、値ＪＧが所定の閾値ＴＨＪＧ以上であれば、そこに歩行者が存在すると判定する。
【０１１１】
グルーピングされた領域のＹ座標と、カメラ幾何を用いて、歩行者の身長を１８０ｃｍと仮定すると、歩行者までの距離を算出することができる。また、グルーピングされた領域のＸ座標と、カメラ幾何を用いて、歩行者の幅を６０ｃｍと仮定すると、自車中央から歩行者がどれだけ横の位置（車幅方向）に存在しているかを算出することができる。
【０１１２】
また、物体位置取得部１１１１が存在する場合は、上記の方式により算出した位置の周辺に物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）が存在する場合は、情報を置き換える。
【０１１３】
もしくは、物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）を、カメラ幾何を用いて判定結果格納用配列ＤＴＣ１［ｘ］［ｙ］へ投影し、各グループの中心位置と投影した物体情報の配列上の距離が所定値以下である場合、物体であると判定し、物体情報（ＰＸＲ［ｂ］，ＰＹＲ［ｂ］）を歩行者の位置とする。判定結果格納用配列ＤＴＣ２［ｘ］［ｙ］についても同様の処理を行う。
【０１１４】
以上説明したように、信頼度と過去の検出回数を用いることにより、第一の信頼度、もしくは第二の信頼度が高い場合は対応する物体をすぐに検出することができ、低い場合は検出まで時間を要して、しばらくの間待つこととなる。
【０１１５】
環境推定部２０６０が図９に示す第一の形式の場合、ワイパのＯＮ／ＯＦＦによって傘をさしている歩行者の信頼度を変化させている。よって、傘をさしていない歩行者も、傘をさしている歩行者も物体判定は実行しているが、ワイパがＯＦＦの場合は傘をさしている歩行者が、ワイパがＯＮの場合は傘をさしていない歩行者が、それぞれ最終結果として検出されにくくなる。したがって、誤判定を減らすことができ、歩行者の検出精度を向上させることができる。
【０１１６】
また、環境推定部２０６０が図１０に示す第二の形式の場合、過去の判定結果の頻度によって傘をさしていない歩行者、および、傘をさしている歩行者のそれぞれの信頼度を変化させている。よって、傘をさしていない歩行者も、傘をさしている歩行者も物体判定は実行しているが、一方の検出回数が十分多くなると、検出回数が少ない方は最終結果として検出されにくくなる。したがって、誤判定を減らすことができ、歩行者の検出精度を向上させることができる。
【０１１７】
＜第三実施の形態＞
つぎに、本発明の車両用外界認識装置の第三の実施の形態について、以下に図面を用いて説明する。
【０１１８】
図１１は、車両用外界認識装置３０００の実施形態を表すブロック図である。なお、以下の説明では、上述の第一実施の形態の車両用外界認識装置１０００、および、第二十子の形態の車両用外界認識装置２０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付し説明を省略する。
【０１１９】
車両用外界認識装置３０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から予め設定された２種類の物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から自車の車幅方向に向いている横向きの歩行者、および、自車の前後方向に向いている縦向きの歩行者を検知するように構成されている。
【０１２０】
車両用外界認識装置３０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。車両用外界認識装置３０００は、図１１に示すように、画像取得部１０１１と、処理領域設定部１０２１と、共通類似度算出部３０３０と、第一の特有類似度算出部３０３１と、第二の特有類似度算出部３０３２と、第一の物体判定部３０４１と、第二の物体判定部３０４２と、環境推定部３０６０と、第一の信頼度２０６１と、第二の信頼度２０６２と、物体位置算出部３０７１と、物体位置取得部１１１１とを有する。
【０１２１】
共通類似度算出部３０３０は、横向きの歩行者、および、縦向きの歩行者の共通なパターンである、歩行者の頭から肩にかけての輪郭テンプレートとの類似度を算出する。共通類似度算出部３０３０は、歩行者の頭のテンプレートＴＰ０を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域３１（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とテンプレートＴＰ０との類似度ＭＴ０を算出する。なお、処理の詳細は、テンプレートＴＰ０が歩行者の頭から肩にかけての輪郭であること以外は上述の共通類似度算出部１０３０と同様であるため、割愛する。
【０１２２】
第一の特有類似度算出部３０３１は、横向きの歩行者の特有のパターンである、横向きの歩行者の肩から下のテンプレートとの類似度を算出する。第一の特有類似度算出部３０３１は、横向きの歩行者の肩から下の輪郭テンプレートＴＰ１を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とテンプレートＴＰ１との類似度ＭＴ１を算出する。なお、処理の詳細は、テンプレートＴＰ１が横向きの歩行者の肩から下の輪郭であること以外は上述の第一の特有類似度算出部１０３１と同様であるため、割愛する。
【０１２３】
第二の特有類似度算出部３０３２は、縦向きの歩行者の特有のパターンである、縦向きの歩行者の肩から下の輪郭テンプレートとの類似度を算出する。第二の特有類似度算出部３０３２は、縦向きの歩行者の肩から下のテンプレートＴＰ２を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とテンプレートＴＰ２との類似度ＭＴ２を算出する。なお、処理の詳細は、テンプレートＴＰ２が縦向きの歩行者の肩から下の輪郭であること以外は上述の第二の特有類似度算出部１０３２と同様であるため、割愛する。
【０１２４】
第一の物体判定部３０４１は、共通部分のテンプレートＴＰ０との共通類似度ＭＴ０、および、横向きの歩行者特有のテンプレートＴＰ１との第一の特有類似度ＭＴ１を用いて、横向きの歩行者の有無を判定する。判定は、例えば閾値ＴＨ１＿ＭＴを用いて、共通類似度ＭＴ０と第一の特有類似度ＭＴ１とを加算した値が閾値ＴＨ１＿ＭＴよりも大きいという条件を満たす場合、すなわち、
（ＭＴ０＋ＭＴ１）＞ＴＨ１＿ＭＴ
であれば存在すると判定してもよいし、共通類似度の閾値ＴＨ１＿ＭＴ０と第一の特有類似度の閾値ＴＨ１＿ＭＴ１を用いて、共通類似度ＭＴ０が閾値ＴＨ１＿ＭＴ０よりも大きくかつ第一の特有類似度ＭＴ１が閾値ＴＨ１＿ＭＴ１よりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ１＿ＭＴ０、かつ、ＭＴ１＞ＴＨ１＿ＭＴ１
であれば物体が存在すると判定してもよい。
【０１２５】
第二の物体判定部３０４２は、共通部分のテンプレートＴＰ０との共通類似度ＭＴ０と、縦向きの歩行者特有のテンプレートＴＰ２との第二の特有類似度ＭＴ２を用いて、縦向きの歩行者の有無を判定する。判定は、例えば閾値ＴＨ２＿ＭＴを用いて、共通類似度ＭＴ０と第二の特有類似度ＭＴ２とを加算した値が閾値ＴＨ２＿ＭＴよりも大きいという条件を満たす場合、すなわち、
（ＭＴ０＋ＭＴ２）＞ＴＨ２＿ＭＴ
であれば存在すると判定してもよいし、共通類似度の閾値ＴＨ２＿ＭＴ０と第二の特有類似度の閾値ＴＨ２＿ＭＴ２を用いて、共通類似度ＭＴ０が閾値ＴＨ２＿ＭＴ０よりも大きくかつ第二の特有類似度ＭＴ２が閾値ＴＨ２＿ＭＴ２よりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ２＿ＭＴ０、かつ、ＭＴ２＞ＴＨ２＿ＭＴ２
であれば物体が存在すると判定してもよい。
【０１２６】
環境推定部３０６０は、物体位置取得部１１１１からの情報を用いて、物体位置の履歴に基づいて、第一の信頼度２０６１、および、第二の信頼度２０６２を調整する処理を行う。この処理について、図１２を用いて説明する。
【０１２７】
まず、ステップＳ１２１にて、処理領域設定部１０２１で選択されている処理対象となった物体の情報（相対距離ＰＹＲ［ｂ］，ＰＸＲ［ｂ］）を取得する。つぎに、ステップＳ１２２にて、過去の物体の位置情報の差分、および、自車速から、物体の縦方向の移動速度ＶＹ［ｂ］、および、横方向の移動速度ＶＸ［ｂ］を算出する。
【０１２８】
そして、ステップＳ１２３にて、以下の条件を満たすかを判定する。ここで、Ａｂｓ（Ｘ）は絶対値算出の演算であり、ＴＨＶＸはあらかじめ定められた所定の値である。例えば、０．５［ｍ／ｓ］と設定する。
【０１２９】
Ａｂｓ（ＶＸ［ｂ］）＞Ａｂｓ（ＶＹ［ｂ］）
かつ Ａｂｓ（ＶＸ［ｂ］）＞ＴＨＶＸ
【０１３０】
すなわち、横移動速度が縦移動速度よりも大きく、かつ、絶対値が十分に大きいという条件を満たすか否かが判断される。そして、この条件を満たす場合は、ステップＳ２１５へ進み、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１１、ｒ２１（ｒ１１＞ｒ２１）と設定する。これにより、横向きの歩行者の方が、縦向きの歩行者よりも十分に多い場合には、横向きの歩行者の信頼度が、縦向き歩行者の信頼度よりも大きく設定される。
【０１３１】
そして、ステップＳ１２３の条件を満たさない場合は、ステップＳ１２４へ行き、以下の条件を満たすかを判定する。ここで、ＴＨＶＹはあらかじめ定められた所定の値であり、例えば、０．５［ｍ／ｓ］と設定する。
【０１３２】
Ａｂｓ（ＶＹ［ｂ］）＞Ａｂｓ（ＶＸ［ｂ］）
かつ Ａｂｓ（ＶＹ［ｂ］）＞ＴＨＶＹ
【０１３３】
すなわち、縦移動速度が横移動速度よりも大きく、かつ、絶対値が十分に大きいという条件を満たすか否かが判断される。そして、この条件を満たす場合は、ステップＳ１２６へ移行し、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１２、ｒ２２（ｒ１２＜ｒ２２）と設定する。これにより、縦向きの歩行者の方が、横向きの歩行者よりも十分に多い場合には、縦向きの歩行者の信頼度が、横向き歩行者の信頼度よりも大きく設定される。
【０１３４】
そして、ステップＳ１２４の条件を満たさない場合は、ステップＳ１２７へ移行し、第一の信頼度２０６１、および、第二の信頼度２０６２をそれぞれｒ１３、ｒ２３（ｒ１３＝ｒ２３）と設定する。これにより、横向きの歩行者と、縦向きの歩行者の人数に大きな差がない場合には、横向きの歩行者の信頼度と縦向きの歩行者の信頼度が同じに設定される。
【０１３５】
以上説明したように、物体位置情報に基づいて縦向きの歩行者と横向きの歩行者の信頼度を変化させることによって、横方向に移動している物体に対する画像処理では、横向きの歩行者を判定しやすく、縦方向に移動している物体に対する画像処理では、縦向きの歩行者を判定しやすくすることができる。
【０１３６】
なお、本実施の形態では、環境推定部３０６０、第一の信頼度２０６１、第二の信頼度２０６２、物体位置算出部３０７１を用いた場合を例に説明したが、これらを用いずに、代わりに上述の第一実施の形態における物体位置算出部１０５１（図１を参照）を用いてもよい。また、本実施の形態では、環境推定部３０６０を用いる場合を例に説明したが、代わりに上述の第二の実施形態における環境推定部２０６０の図１０に示す第二の形式を用いることもできる。
【０１３７】
さらに、コンピュータの処理能力が低い場合、所定の自車速から白線認識などを並列処理する場合、全てのパターンマッチ処理を実行することができないことがある。したがって、例えば、図８に記載の車両用外界認識装置の第二の実施形態、または、図１１に記載の車両用外界認識装置の第三の実施形態において、第一の信頼度２０６１、第二の信頼度２０６２を参照し、信頼度が高いほうの判定部、および、判定部が参照している共通類似度算出部、特有類似度算出部の処理を優先させ、処理に余裕があるときに、残りの信頼度が低い方の物体判定部、および、判定部が参照している特有類似度算出部の処理を実行するようにしてもよい。
【０１３８】
以上説明したように、信頼度を設けることによって、処理負荷が大きく全ての処理が実行できない場合に、信頼度に基づいて処理の優先順位を変更し、信頼度が高い物体の判定処理を優先させることができる。
【０１３９】
＜第四実施の形態＞
つぎに、本発明の車両用外界認識装置の第四実施の形態について、以下に図面を用いて説明する。図１３は、車両用外界認識装置４０００の実施形態を表すブロック図である。なお、以下の説明では、上述の第一実施の形態〜第三実施の形態の車両用外界認識装置１０００〜３０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
【０１４０】
車両用外界認識装置４０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から予め設定された２種類の物体を検知するためのものであり、本実施の形態では、例えば夜間にヘッドライトのロービームによって、自車の前方を撮像した画像内から全身が見えている歩行者と、下半身のみ見えている歩行者の両方を検知するように構成されている。
【０１４１】
車両用外界認識装置４０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
【０１４２】
車両用外界認識装置４０００は、図１３に示すように、画像取得部１０１１と、処理領域設定部１０２１と、共通類似度算出部４０３０と、第一の特有類似度算出部４０３１と、第一の物体判定部４０４１と、第二の物体判定部４０４２と、物体位置算出部１０５１とを有し、実施例によっては物体位置取得部１１１１を有する。
【０１４３】
共通類似度算出部４０３０は、全身が見えている歩行者、および、下半身のみ見えている歩行者の共通なパターンである、歩行者の下半身のテンプレートＴＰ０との類似度を算出する。共通類似度算出部４０３０は、歩行者の下半身のテンプレートＴＰ０を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とテンプレートＴＰ０との類似度ＭＴ０を算出する。なお、歩行者の下半身のテンプレートは図５に示すものであり、類似度ＭＴ０の算出処理は、上述の第一実施の形態における共通類似度算出部１０３０と同様であるため、説明は割愛する。
【０１４４】
第一の特有類似度算出部４０３１は、全身が見えている歩行者の特有のパターンである、歩行者の上半身のテンプレートＴＰ１との類似度を算出する。第一の特有類似度算出部４０３１は、歩行者の上半身のテンプレートＴＰ１を有し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とテンプレートＴＰ１との類似度ＭＴ１を算出する。なお、歩行者の上半身のテンプレートＴＰ１は、図７（ａ）に示すものであり、類似度ＭＴ１の算出処理は、上述の第一実施の形態における第一の特有類似度算出部１０３１と同様であるため、説明は割愛する。
【０１４５】
第一の物体判定部４０４１は、共通部分のテンプレートＴＰ０との共通類似度ＭＴ０と、全身が見えている歩行者特有のテンプレートＴＰ１との第一の特有類似度ＭＴ１を用いて、全身が見えている歩行者の有無を判定する。判定は、例えば閾値ＴＨ１＿ＭＴを用いて、共通類似度ＭＴ０と第一の特有類似度ＭＴ１とを加算した値が閾値ＴＨ１＿ＭＴよりも大きいという条件を満たす場合、すなわち、
（ＭＴ０＋ＭＴ１）＞ＴＨ１＿ＭＴ
であれば存在すると判定してもよいし、共通類似度の閾値ＴＨ１＿ＭＴ０と第一の特有類似度の閾値ＴＨ１＿ＭＴ１を用いて、共通類似度ＭＴ０が閾値ＴＨ１＿ＭＴ０よりも大きくかつ第一の特有類似度ＭＴ１が閾値ＴＨ１＿ＭＴ１よりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ１＿ＭＴ０、かつ、ＭＴ１＞ＴＨ１＿ＭＴ１
であれば物体が存在すると判定してもよい。
【０１４６】
第二の物体判定部３０４２は、共通部分のテンプレートとの共通類似度ＭＴ０を用いて、下半身のみ見えている歩行者の有無を判定する。判定は、例えば閾値ＴＨ２＿ＭＴを用いて、共通類似度ＭＴ０が閾値ＴＨ２＿ＭＴよりも大きいという条件を満たす場合、すなわち、
ＭＴ０＞ＴＨ２＿ＭＴ
であれば、歩行者が存在すると判定する。
【０１４７】
なお、本実施の形態では、図１３に示すように、物体位置算出部１０５１を用いる場合を例に説明しているが、これを用いずに、代わりに上述の第三の実施の形態における環境推定部３０６０、第一の信頼度２０６１、第二の信頼度２０６２、物体位置算出部３０７１を用いてもよい。
【０１４８】
本実施の形態によれば、自車の前方を撮像した画像内から全身が見えている歩行者と、下半身のみ見えている歩行者の両方を、より少ない処理負荷で検知することができる。
【０１４９】
＜第五実施の形態＞
つぎに、図１４を用いて、プリクラッシュ・セーフティ・システムを例にとり、上述の各実施の形態の車両用外界認識装置によって判定した歩行者に応じて警報を出力する、あるいは自動的にブレーキを制御するといったシステムの動作方法について説明する。
【０１５０】
図１４は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。
【０１５１】
最初に、ステップＳ１４１において、上記いずれかの車両用外界認識装置によって検知された歩行者の位置情報を、障害物情報（ＰＹＯ［ｂ］、ＰＸＯ［ｂ］、ＷＤＯ［ｂ］）として読み込む。
【０１５２】
つぎに、ステップＳ１４２において、検知された各物体の衝突予測時間ＴＴＣ［ｉ］を、下記の式（３）を用いて演算する。ここで、相対速度ＶＹＯ［ｂ］は、物体の相対距離ＰＹＯ［ｂ］を擬似微分することによって求める。
【０１５３】
ＴＴＣ［ｂ］＝ＰＹ［ｂ］÷ＶＹ［ｂ］ ・・・（３）
【０１５４】
さらに、ステップＳ１４３において、各障害物に対する危険度ＤＲＥＣＩ［ｂ］を演算する。
【０１５５】
以下、上述のいずれかの車両用外界認識装置で検知された物体Ｘ［ｂ］に対する危険度ＤＲＥＣＩ［ｂ］の演算方法の例を、図１５を用いて説明する。
【０１５６】
まず、予測進路の推定方法について説明する。図１５に示すように、自車位置を原点Ｏとすると、予測進路は原点Ｏを通る旋回半径Ｒの円弧で近似できる。ここで、旋回半径Ｒは、自車の操舵角α、速度Ｖｓｐ、スタビリティファクタＡ、ホイールベースＬおよびステアリングギア比Ｇｓを用いて以下の式（４）で表される。
【０１５７】
Ｒ＝（１＋ＡＶ２）×（Ｌ・Ｇｓ／α） ・・・（４）
【０１５８】
ここで、スタビリティファクタＡとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。上記式（２）からわかるように、旋回半径Ｒは、スタビリティファクタＡを係数として、自車の速度Ｖｓｐの２乗に比例して変化する。また、旋回半径Ｒは車速Ｖｓｐおよびヨーレートγを用いて式（５）で表すことができる。
【０１５９】
Ｒ＝Ｖ／γ ・・・（５）
【０１６０】
つぎに、物体Ｘ［ｂ］から、旋回半径Ｒの円弧で近似した予測進路の中心へ垂線を引き、距離Ｌ［ｂ］を求める。
【０１６１】
さらに、自車幅Ｈから距離Ｌ［ｂ］を引き、これが負値の場合には危険度ＤＲＥＣＩ［ｂ］＝０とし、正値の場合には以下の式（６）によって危険度ＤＲＥＣＩ［ｂ］を演算する。
【０１６２】
ＤＲＥＣＩ［ｂ］＝ （Ｈ−Ｌ［ｂ］）／Ｈ ・・・（６）
【０１６３】
なお、ステップＳ１４１〜Ｓ１４３の処理は、検知した物体数に応じてループ処理を行う構成としている。
【０１６４】
ステップＳ１４４において、ステップＳ１４３で演算した危険度ＤＲＥＣＩ［ｂ］に応じて式（７）の条件が成立している物体を選択し、選択された物体の中で衝突予測時間ＴＴＣ［ｂ］が最小となる物体ｂＭｉｎを選択する。
【０１６５】
ＤＲＥＣＩ［ｂ］≧ ｃＤＲＥＣＩ＃ ・・・（７）
【０１６６】
ここで、所定値ｃＤＲＥＣＩ＃は、自車に衝突するか否かを判定するための閾値である。
【０１６７】
つぎに、ステップＳ１４５において、選択された物体ｋの衝突予測時間ＴＴＣ［ｂＭｉｎ］に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。式（８）が成立している場合にはステップＳ１４６に進み、ブレーキ制御を実行して処理を終了する。また、式（８）が非成立の場合にはステップＳ１４７に進む。
【０１６８】
ＴＴＣ［ｂＭｉｎ］≦ｃＴＴＣＢＲＫ＃ ・・・（８）
【０１６９】
ステップＳ１４７において、選択された物体ｂＭｉｎの衝突予測時間ＴＴＣ［ｂＭｉｎ］に応じて警報を出力する範囲であるか否かの判定を行う。式（９）が成立している場合にはステップＳ１４８に進み、警報を出力して処理を終了する。また、式（９）が非成立の場合には、ブレーキ制御、警報ともに実行せずに処理を終了する。
【０１７０】
ＴＴＣ［ｂＭｉｎ］≦ｃＴＴＣＡＬＭ＃ ・・・（９）
【０１７１】
以上説明したように、本発明である上述のいずれかの車両用外界認識装置において歩行者と判定された物体に対して、その危険度に応じて上記警報やブレーキ制御を発動させることができる。
【０１７２】
なお、本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１７３】
１０００ 車両用外界認識装置
１０１１ 画像取得部
１０２１ 処理領域設定部
１０３０ 共通類似度算出部
１０３１ 第一の特有類似度算出部
１０３２ 第二の特有類似度算出部
１０４１ 第一の物体判定部
１０４２ 第二の物体判定部
１０５１ 物体位置算出部
１１１１ 物体位置取得部
２０００ 車両用外界認識装置
２１６１ ワイパ操作取得部
２０６０ 環境推定部
２０６１ 第一の信頼度
２０６２ 第二の信頼度
２０７１ 物体位置算出部
３０００ 車両用外界認識装置
３０３０ 共通類似度算出部
３０３１ 第一の特有類似度算出部
３０３２ 第二の特有類似度算出部
３０４１ 第一の物体判定部
３０４２ 第二の物体判定部
３０６０ 環境推定部
４０００ 車両用外界認識装置
４０３０ 共通類似度算出部
４０３１ 第一の特有類似度算出部
４０４１ 第一の物体判定部
４０４２ 第二の物体判定部
【特許請求の範囲】
【請求項１】
自車周辺から所定の第一の物体と第二の物体を検出する車両用外界認識装置であって、
自車周辺を撮影した画像を取得する画像取得手段と、
前記画像から前記第一の物体と前記第二の物体の共通部分の類似度である共通類似度を算出する共通類似度算出手段と、
前記画像から前記第一の物体の特有な部分の類似度である第一の特有類似度を算出する第一の特有類似度算出手段と、
前記画像から前記第二の物体の特有な部分の類似度である第二の特有類似度を算出する第二の特有類似度算出手段と、
前記共通類似度と前記第一の特有類似度を用いて前記第一の物体の有無を判定する第一の物体判定手段と、
前記共通類似度と前記第二の特有類似度を用いて前記第二の物体の有無を判定する第二の物体判定手段と、
を有することを特徴とする車両用外界認識装置。
【請求項２】
自車周辺の環境を推定し、該推定した環境に応じて、前記第一の物体判定手段の判定結果に対する第一の信頼度と前記第二の物体判定手段の判定結果に対する第二の信頼度を調整する環境推定手段を有することを特徴とする請求項１に記載の車両用外界認識装置。
【請求項３】
前記環境推定手段は、予め設定された期間に一定周期で繰り返し実行された前記第一の物体判定手段と前記第二の物体判定手段の判定処理の判定結果に基づいて前記第一の信頼度と前記第二の信頼度を調整することを特徴とする請求項２に記載の車両用外界認識装置。
【請求項４】
前記環境推定手段は、前記第一の物体判定手段と前記第二の物体判定手段のうち、物体の検出回数の多い方の信頼度が検出回数の少ない方の信頼度よりも高くなるように、前記第一の信頼度と前記第二の信頼度を調整することを特徴とする請求項３に記載の車両用外界認識装置。
【請求項５】
自車前方に存在する物体の物体位置を取得する物体位置取得手段を備え、
前記環境推定手段は、前記物体位置取得手段で取得した物体位置の履歴により前記第一の信頼度と前記第二の信頼度を調整することを特徴とする請求項２に記載の車両用外界認識装置。
【請求項６】
前記第一の信頼度の方が前記第二の信頼度よりも高い場合に、前記第一の特有類似度算出手段と前記第一の物体判定手段の処理を、前記第二の特有類似度算出手段と前記第二の物体判定手段の処理よりも優先し、
前記第二の信頼度の方が前記第一の信頼度よりも高い場合に、前記第二の特有類似度算出手段と前記第二の物体判定手段の処理を、前記第一の特有類似度算出手段と前記第一の物体判定手段の処理よりも優先することを特徴とする請求項２から請求項５のいずれか一項に記載の車両用外界認識装置。
【請求項７】
前記第一の物体判定手段により前記第一の物体が存在すると判定された場合に前記第一の物体の位置を算出し、前記第二の物体判定手段により前記第二の物体が存在すると判定された場合に前記第二の物体の位置を算出する物体位置算出手段を有することを特徴とする請求項１から請求項６のいずれか一項に記載の車両用外界認識装置。
【請求項８】
自車周辺から所定の第一の物体と第二の物体を検出する車両用外界認識装置であって、
自車周辺を撮影した画像を取得する画像取得手段と、
前記画像から前記第一の物体と前記第二の物体の共通部分の類似度である共通類似度を算出する共通類似度算出手段と、
前記画像から前記第一の物体の特有な部分の類似度である第一の特有類似度を算出する第一の特有類似度算出手段と、
前記共通類似度と前記第一の特有類似度を用いて前記第一の物体の有無を判定する第一の物体判定手段と、
前記共通類似度を用いて前記第二の物体の有無を判定する第二の物体判定手段と、
を有する車両用外界認識装置。
【請求項９】
請求項２から請求項８のいずれか一項に記載の車両用外界認識装置を備えた車両システムであって、
前記物体位置検出手段により検出した前記第一の物体の位置および前記第二の物体の位置に応じて前記自車が衝突する危険度を算出する衝突危険度算出手段と、
該衝突危険度算出手段により算出した衝突危険度に応じて自車の衝突を回避する制御を行う制御手段と、
を有することを特徴とする車両システム。
【請求項１０】
前記制御手段は、前記第一の物体の位置および第二の物体の位置に基づいて、前記自車が前記第一の物体または前記第２の物体と衝突する衝突予想時間を算出し、該算出した衝突予測時間と予め設定された制動用閾値とを比較して、前記衝突予測時間が前記制動用閾値以下であるときは、前記自車に対する制動制御を行うことを特徴とする請求項９に記載の車両システム。
【請求項１１】
前記制御手段は、前記第一の物体の位置および第二の物体の位置に基づいて、前記自車が前記物体と衝突する衝突予想時間を算出し、該算出した衝突予測時間と予め設定された警報用閾値とを比較して、前記衝突予測時間が前記警報用閾値以下であるときは、前記自車の運転者に対する警報制御を行うことを特徴とする請求項９に記載の車両システム。
【請求項１】
自車周辺から所定の第一の物体と第二の物体を検出する車両用外界認識装置であって、
自車周辺を撮影した画像を取得する画像取得手段と、
前記画像から前記第一の物体と前記第二の物体の共通部分の類似度である共通類似度を算出する共通類似度算出手段と、
前記画像から前記第一の物体の特有な部分の類似度である第一の特有類似度を算出する第一の特有類似度算出手段と、
前記画像から前記第二の物体の特有な部分の類似度である第二の特有類似度を算出する第二の特有類似度算出手段と、
前記共通類似度と前記第一の特有類似度を用いて前記第一の物体の有無を判定する第一の物体判定手段と、
前記共通類似度と前記第二の特有類似度を用いて前記第二の物体の有無を判定する第二の物体判定手段と、
を有することを特徴とする車両用外界認識装置。
【請求項２】
自車周辺の環境を推定し、該推定した環境に応じて、前記第一の物体判定手段の判定結果に対する第一の信頼度と前記第二の物体判定手段の判定結果に対する第二の信頼度を調整する環境推定手段を有することを特徴とする請求項１に記載の車両用外界認識装置。
【請求項３】
前記環境推定手段は、予め設定された期間に一定周期で繰り返し実行された前記第一の物体判定手段と前記第二の物体判定手段の判定処理の判定結果に基づいて前記第一の信頼度と前記第二の信頼度を調整することを特徴とする請求項２に記載の車両用外界認識装置。
【請求項４】
前記環境推定手段は、前記第一の物体判定手段と前記第二の物体判定手段のうち、物体の検出回数の多い方の信頼度が検出回数の少ない方の信頼度よりも高くなるように、前記第一の信頼度と前記第二の信頼度を調整することを特徴とする請求項３に記載の車両用外界認識装置。
【請求項５】
自車前方に存在する物体の物体位置を取得する物体位置取得手段を備え、
前記環境推定手段は、前記物体位置取得手段で取得した物体位置の履歴により前記第一の信頼度と前記第二の信頼度を調整することを特徴とする請求項２に記載の車両用外界認識装置。
【請求項６】
前記第一の信頼度の方が前記第二の信頼度よりも高い場合に、前記第一の特有類似度算出手段と前記第一の物体判定手段の処理を、前記第二の特有類似度算出手段と前記第二の物体判定手段の処理よりも優先し、
前記第二の信頼度の方が前記第一の信頼度よりも高い場合に、前記第二の特有類似度算出手段と前記第二の物体判定手段の処理を、前記第一の特有類似度算出手段と前記第一の物体判定手段の処理よりも優先することを特徴とする請求項２から請求項５のいずれか一項に記載の車両用外界認識装置。
【請求項７】
前記第一の物体判定手段により前記第一の物体が存在すると判定された場合に前記第一の物体の位置を算出し、前記第二の物体判定手段により前記第二の物体が存在すると判定された場合に前記第二の物体の位置を算出する物体位置算出手段を有することを特徴とする請求項１から請求項６のいずれか一項に記載の車両用外界認識装置。
【請求項８】
自車周辺から所定の第一の物体と第二の物体を検出する車両用外界認識装置であって、
自車周辺を撮影した画像を取得する画像取得手段と、
前記画像から前記第一の物体と前記第二の物体の共通部分の類似度である共通類似度を算出する共通類似度算出手段と、
前記画像から前記第一の物体の特有な部分の類似度である第一の特有類似度を算出する第一の特有類似度算出手段と、
前記共通類似度と前記第一の特有類似度を用いて前記第一の物体の有無を判定する第一の物体判定手段と、
前記共通類似度を用いて前記第二の物体の有無を判定する第二の物体判定手段と、
を有する車両用外界認識装置。
【請求項９】
請求項２から請求項８のいずれか一項に記載の車両用外界認識装置を備えた車両システムであって、
前記物体位置検出手段により検出した前記第一の物体の位置および前記第二の物体の位置に応じて前記自車が衝突する危険度を算出する衝突危険度算出手段と、
該衝突危険度算出手段により算出した衝突危険度に応じて自車の衝突を回避する制御を行う制御手段と、
を有することを特徴とする車両システム。
【請求項１０】
前記制御手段は、前記第一の物体の位置および第二の物体の位置に基づいて、前記自車が前記第一の物体または前記第２の物体と衝突する衝突予想時間を算出し、該算出した衝突予測時間と予め設定された制動用閾値とを比較して、前記衝突予測時間が前記制動用閾値以下であるときは、前記自車に対する制動制御を行うことを特徴とする請求項９に記載の車両システム。
【請求項１１】
前記制御手段は、前記第一の物体の位置および第二の物体の位置に基づいて、前記自車が前記物体と衝突する衝突予想時間を算出し、該算出した衝突予測時間と予め設定された警報用閾値とを比較して、前記衝突予測時間が前記警報用閾値以下であるときは、前記自車の運転者に対する警報制御を行うことを特徴とする請求項９に記載の車両システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１４１７４０（Ｐ２０１２−１４１７４０Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９３４７１（Ｐ２０１０−２９３４７１）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]