障害物検知装置
【課題】障害物に明部と暗部が存在し、障害物の連続する輪郭が明部と暗部にまたがって存在する場合でも誤検知の少ない安定した障害物検知を可能とする障害物検知装置を提供する。
【解決手段】撮像画像から障害物検知のための処理画像を生成する処理画像生成部と、処理画像を複数の小領域に分割する小領域分割部と、複数の小領域と処理画像の画素値から小領域毎のエッジ閾値を設定するエッジ閾値設定部と、複数の小領域と処理画像から小領域毎の濃淡勾配値を算出し、算出された濃淡勾配値に対応する小領域のエッジ閾値を用いて、エッジ画像と勾配方向画像とを生成するエッジ抽出部と、エッジ画像内で設定されたマッチング判定領域内のエッジ画像及びエッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、を有し、小領域分割部は、自車外の照明状態に基づいて処理画像を複数の小領域に分割する障害物検知装置。
【解決手段】撮像画像から障害物検知のための処理画像を生成する処理画像生成部と、処理画像を複数の小領域に分割する小領域分割部と、複数の小領域と処理画像の画素値から小領域毎のエッジ閾値を設定するエッジ閾値設定部と、複数の小領域と処理画像から小領域毎の濃淡勾配値を算出し、算出された濃淡勾配値に対応する小領域のエッジ閾値を用いて、エッジ画像と勾配方向画像とを生成するエッジ抽出部と、エッジ画像内で設定されたマッチング判定領域内のエッジ画像及びエッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、を有し、小領域分割部は、自車外の照明状態に基づいて処理画像を複数の小領域に分割する障害物検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
自車前方の障害物を検知する障害物検知装置に関する。
【背景技術】
【０００２】
交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
【０００３】
上記システムにおいて、車，歩行者等の障害物を検知する方法として、カメラで自車前方を撮像し、撮像した画像から障害物を検出する方法がある。この場合、障害物や背景の色の影響を受けにくくするため、撮像された画像から濃淡値の変化量を求め、変化量が所定の閾値以上である部分のみを抽出したエッジ画像を生成し、エッジ画像上の障害物の輪郭と、あらかじめ記憶している障害物の輪郭のテンプレートとの類似度を算出することによって障害物を検出する方法が用いられる。
【０００４】
例えば特許文献１には、自車前方の物体をレーザレーダにより検出し、レーザレーダによって検出した物体を含む画像領域の濃淡値のコントラストを改善し、エッジを抽出する方法が記載されている。この方法によれば、障害物がトンネル内，日陰などの暗い場所に存在し、障害物と背景との濃淡値の変化が小さい場合であっても、その物体を含む画像領域のコントラストを改善するため濃淡値の変化が大きくなり、エッジを抽出することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−９６５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、自車がヘッドライトを点灯しており歩行者等の障害物の一部に光が当たっている場合や、逆光時に路面が反射して足元だけが明るい場合など、障害物の連続する輪郭が明部と暗部にまたがって存在する場合には、障害物を含む画像領域でコントラストを改善しても、暗部のコントラストは改善されず、エッジが抽出できない。その結果、障害物の輪郭のうち、暗部に存在する輪郭が抽出できず、障害物が認識されない。
【０００７】
また、濃淡値の変化が小さい暗部で輪郭が抽出できるようにエッジの閾値をチューニングすると、明部でのわずかな変化に反応するようになり、誤検知が多発する。特に、自車正面に何も存在しない場所で本現象が発生すると、何もない場所で警報や自動ブレーキが発動し、自車の安全性を損ねてしまう。
【０００８】
本発明は上記問題に着目してなされたもので、その目的とするところは、障害物に明部と暗部が存在し、その障害物の連続する輪郭が明部と暗部にまたがって存在する場合においても、誤検知の少ない安定した障害物検知を可能とする障害物検知装置を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明の障害物検知装置は、自車外を撮像した画像を取り込む画像取得部と、取り込まれた画像から障害物を検知するための処理画像を生成する処理画像生成部と、処理画像を複数の小領域に分割する小領域分割部と、複数の小領域と処理画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、複数の小領域と処理画像から小領域毎の濃淡勾配値を算出し、算出された濃淡勾配値に対応する小領域の前記エッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、マッチング判定領域内のエッジ画像及びエッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、障害物の判定結果を出力する認識結果出力部と、を有し、小領域分割部は、自車外の照明状態に基づいて処理画像を複数の小領域に分割する構成とする。
【００１０】
また、自車外を撮像した画像を取り込む画像取得部と、取り込まれた画像から障害物を検知するための処理領域を設定する処理領域設定部と、処理領域を複数の小領域に分割する小領域分割部と、複数の小領域と画像取得部で取り込まれた画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、複数の小領域と画像取得部で取り込まれた画像から小領域毎の濃淡勾配値を算出し、算出された濃淡勾配値に対応する小領域のエッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、マッチング判定領域内のエッジ画像及びエッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、障害物の判定結果を出力する認識結果出力部と、を有し、小領域分割部は、自車外の照明状態に基づいて処理領域を複数の小領域に分割する構成とする。
【発明の効果】
【００１１】
障害物に明部と暗部が存在し、その障害物の連続する輪郭が明部と暗部にまたがって存在する場合においても、誤検知の少ない安定した障害物検知を可能とする障害物検知装置を提供できる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る障害物検知装置の第１の実施形態を示す図である。
【図２】本発明に係る障害物検知装置で用いられる画像とパラメータを表す模式図である。
【図３】本発明の処理画像生成部における処理の一例を示す図である。
【図４】本発明の小領域分割部の分割例を示す図である。
【図５】本発明の小領域分割部のフローチャートを示す図である。
【図６】本発明のエッジ抽出部で用いるソーベルフィルタの重みを示す図である。
【図７】本発明の障害物認識部における局所エッジ判定器の一例を示す図である。
【図８】本発明の障害物認識部における識別器を用いた歩行者判定の一例を示す図である。
【図９】本発明に係る障害物検知装置の第２の実施形態を示す図である。
【図１０】本発明の障害物認識結果を説明するための模式図である。
【図１１】本発明の障害物認識部の他の実施形態のフローチャートを示す図である。
【図１２】本発明の障害物認識部におけるエッジのペア判定を説明する図である。
【図１３】本発明の障害物認識結果を説明するための模式図である。
【図１４】本発明の障害物検知装置を適用したプリクラッシュ・セーフティ・システムの動作フローチャートを示す図である。
【図１５】本発明のプリクラッシュ・セーフティ・システムの危険度算出方法を示す図である。
【図１６】本発明の障害物検知装置を適用する実施例を説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係る障害物検知装置の第一の実施形態について図面を用いて詳細に説明する。図１は、第一の実施の形態における車載用物体検知装置１０００のブロック図である。
【００１４】
障害物検知装置である車載用物体検知装置１０００は、自動車に搭載される撮像素子であるカメラ１０１０内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した自車外の画像内から予め設定された歩行者等の障害物を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から歩行者を検知するように構成されている。
【００１５】
車載用物体検知装置１０００は、ＣＰＵやメモリ，Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
【００１６】
車載用物体検知装置１０００は、図１に示すように、画像取得部１０１１と、処理画像生成部１０２１と、小領域分割部１０３１と、エッジ閾値設定部１０４１と、エッジ抽出部１０５１と、障害物認識部１０６１と、認識結果出力部１０７１とを有し、さらに実施の形態によって、物体位置検出部１１１１と、自車ライト点灯検出部１２１１と、路面ペイント検出部１３１１とを有する。
【００１７】
画像取得部１０１１は、自車の前方を含む自車外を撮像可能な位置に取り付けられたカメラ１０１０から、自車外を撮影した画像を取り込み、画像ＩＭＧＳＲＣ［ｘ］［ｙ］としてＲＡＭ上に書き込む。なお、画像ＩＭＧＳＲＣ［ｘ］［ｙ］は２次元配列であり、ｘ，ｙはそれぞれ画像の座標を示す。
【００１８】
処理画像生成部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内から障害物である歩行者を検出するための処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の一部を、所定の係数で拡大・縮小した画像である。処理の詳細については後述する。
【００１９】
小領域分割部１０３１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を、複数の小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割する。ここで、ｒは小領域のＩＤ番号である。分割の詳細については後述するが、自車外の照明状態に基づいて複数の小領域に分割する。
【００２０】
エッジ閾値設定部１０４１は、各小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）内の処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］の画素値から、小領域毎のエッジ閾値ＴＨＲ［ｒ］を決定する。閾値の設定の詳細については後述する。
【００２１】
エッジ抽出部１０５１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］の各小領域内で濃淡勾配値を算出し、対応する小領域のエッジ閾値ＴＨＲ［ｒ］を用いて、２値のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、およびエッジの方向の情報を持つ、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を生成する。処理の詳細は後述する。
【００２２】
障害物認識部１０６１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に障害物判定（例えば歩行者判定）を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定し、マッチング判定領域内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、および対応する位置の領域内の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、歩行者等の障害物の有無を判定する。ここで、ｇは複数の領域を設定した場合のＩＤ番号である。認識処理の詳細は後述する。
【００２３】
認識結果出力部１０７１は、障害物認識部１０６１の判定結果に基づいて、少なくとも認識した歩行者等の障害物との相対距離ＰＹＯ［ｂ］を含む障害物情報に応じて車両の機能を変化させる出力を行う。例えば、認識した歩行者の位置（相対距離ＰＹＯ［ｂ］，横位置ＰＸＯ［ｂ］，横幅ＷＤＯ［ｂ］）を出力する。ここで、ｂは複数の物体を検知している場合のＩＤ番号である。これらの出力は、車載用物体検知装置１０００から直接出力しても良いし、ＬＡＮ（Local Area Network）を用いた通信を行っても良い。
【００２４】
物体位置検出部１１１１は、自車に搭載されたミリ波レーダやレーザレーダ等の自車周辺の物体を検出する障害物検出部であるレーダからの検出信号を取得して、自車前方に存在する障害物の位置を検出する。例えば図３に示すように、レーダから自車周辺の歩行者３２等の障害物の位置（相対距離ＰＹ［ｂ］，横位置ＰＸ［ｂ］，横幅ＷＤ［ｂ］）を取得する。ここで、ｂは複数の物体を検知している場合のＩＤ番号である。これらの物体の位置情報は、レーダの信号を車載用物体検知装置１０００に直接入力することによって取得しても良いし、レーダとＬＡＮ（Local Area Network）を用いた通信を行うことによって取得しても良い。物体位置検出部１１１１で検出した物体位置は、処理画像生成部１０２１や小領域分割部１０３１にて用いられる。
【００２５】
自車ライト点灯検出部１２１１は、自車がライトを点灯している状態か否かを判定し、ライトが点灯している状態ならば「１」、それ以外であれば「０」を出力する。ライトの点灯判定には、ライトスイッチの信号を直接入力することによって判定しても良いし、ＬＡＮ（Local Area Network）を用いた通信を行うことによってライトスイッチの信号を取得し判定しても良い。また、画像取得部１０１１で取得した画像の濃淡を用いて判定しても良い。例えば、ライトを点灯している状態では、ライトが当たっている範囲内は明るく、範囲外は暗く写る。よって、例えばカメラ画像とカメラ幾何モデルを用いて、路面のライト照射範囲を画像上で算出し、ライト照射範囲の平均輝度値とライト照射範囲外の平均輝度値との差が、一定の閾値以上であるか否かを用いて判定することができる。自車ライト点灯検出部１２１１の出力は、小領域分割部１０３１にて用いられる。
【００２６】
路面ペイント検出部１３１１は、自車前方に存在する横断歩道等の路面ペイントを検出する。路面ペイントの検出には、ＬＡＮ（Local Area Network）を用いた通信によってナビゲーションの情報を取得し、例えば信号のある交差点の情報を取得し、自車から横断歩道までの距離を取得する方法がある。また、画像取得部１０１１で取得した画像の濃淡を用いて判定しても良い。例えば、横断歩道等の路面ペイントは白いため、画像上で明るく撮像される。よって、路面ペイントは以下の手段により検出できる。まず、カメラ画像とカメラ幾何モデルを用いて、画像の路面領域を画像上で算出し、路面領域の輝度値が閾値ＴＨ＿ＧＢｒｉｇｈｔ以上である画素を抽出する。つぎに、抽出された画素を、隣接する画素同士でグルーピングし、グルーピングされた各領域のうち面積が閾値ＴＨ＿ＧＡｒｅａである領域から、画像上で最も高い位置にある領域の画像上における上端のｙ座標Ｙ＿Ｇｍｉｎを取得する。さらに、カメラ幾何を用いて、自車からＹ＿Ｇｍｉｎの位置までの距離を算出する。以上の処理によって、自車から路面ペイントまでの距離を算出することができる。路面ペイント検出部１３１１の出力は、小領域分割部１０３１にて用いられる。
【００２７】
図２は、以上の説明に用いた画像、および領域を、例を用いて図示したものである。図に示すとおり、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］が生成され、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］からエッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］が生成される。また、小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）は処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を分割するように設定され、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）はエッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の中の、決められた大きさの領域である。
【００２８】
つぎに、図３を用いて、処理画像生成部１０２１における処理の内容について説明する。図３は、処理画像生成部の処理の例を示す。
【００２９】
処理画像生成部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内で歩行者検出処理を行う領域を選定し、その座標の範囲，ｘ座標（横方向）の始点ＳＸＰおよび終点ＥＸＰ，ｙ座標上（縦方向）の始点ＳＹＰおよび終点ＥＹＰを求め、その領域から処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。
【００３０】
処理画像生成部１０２１は、物体位置検出部１１１１を用いても、用いなくてもよい。まず、処理画像生成部１０２１において、物体位置検出部１１１１を用いる場合について説明する。図３（ａ）は、物体位置検出部１１１１を用いた場合における処理画像生成部の処理の例である。
【００３１】
物体位置検出部１１１１が検出した障害物の相対距離ＰＹ［ｂ］，横位置ＰＸ［ｂ］および横幅ＷＤ［ｂ］から、検出した障害物の画像上位置（ｘ座標（横方向）の始点ＳＸＢ，終点ＥＸＢ，ｙ座標（縦方向）の始点ＳＹＢ，終点ＥＹＢ）を算出する。なお、カメラ画像上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体の高さを、例えば１８０［cm］などあらかじめ仮定しておくことにより、画像上での位置は一意に決まる。
【００３２】
また、カメラ１０１０の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置検出部１１１１で検出した物体の画像上での位置と、カメラ画像に写っている同じ物体の画像上での位置の違いが生じる場合がある。よって、画像上での物体位置（ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢ）に、補正を加えた物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を算出する。補正は、領域を所定の量拡大したり、移動させたりする。例えば、ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢを上下左右に所定の画素拡張したりなどである。
【００３３】
さらに、補正した物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）で囲まれた画像ＩＭＧＳＲＣ［ｘ］［ｙ］を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小することにより、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。本実施例では、カメラ幾何を用い、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］内において、高さ１８０［cm］，幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小する。
【００３４】
つまり、物体位置検出部１１１１を用いた場合、処理画像生成部１０２１は、画像取得部１０１１から取得した画像ＩＭＧＳＲＣ［ｘ］［ｙ］と、物体位置検出部１１１１で検出した障害物の位置に基づいて、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。
【００３５】
なお、複数の領域に対して処理する場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］をそれぞれ生成し、以下の分割境界設定部から障害物認識部までの処理をそれぞれの処理画像に対して個別に実施する。
【００３６】
つぎに、処理画像生成部１０２１において、物体位置検出部１１１１を用いずに処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する処理について説明する。
【００３７】
物体位置検出部１１１１を用いない場合の領域選定の方法は、例えば、領域の大きさを変化させながら画像全体を探索するように領域を設定する方法や、特定の位置，特定の大きさのみに限定して領域を設定する方法がある。特定の位置に限定する場合は、例えば自車速を用いて、自車がＴ秒後に進んでいる位置に限定する方法がある。
【００３８】
図３（ｂ）は、自車速を用いて，自車が２.３秒後に進んでいる位置を探索する場合の例である。処理領域の位置、および大きさは、自車が２.３秒後に進んでいる位置までの相対距離における路面高さ（０cm）、および想定する歩行者の高さ（本実施例では１８０cm）から、カメラ幾何パラメータを用いて画像ＩＭＧＳＲＣ［ｘ］［ｙ］上のｙ方向の範囲（ＳＹＰ２，ＥＹＰ２）を求める。なお、ｘ方向の範囲（ＳＸＰ２，ＥＸＰ２）は、制限しなくてもよいし、自車の予測進路等により制限してもよい。
【００３９】
さらに、補正した物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）で囲まれた画像ＩＭＧＳＲＣ［ｘ］［ｙ］を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小することにより、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。本実施例では、カメラ幾何を用い、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］内において、高さ１８０［cm］，幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小する。
【００４０】
つぎに、図４，図５を用いて、小領域分割部１０３１における処理の内容について説明する。図４は、小領域分割部１０３１の分割例であり、図５は小領域分割部１０３１の本実施例におけるフローチャートである。
【００４１】
本実施例では、小領域への分割方式として、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる方式、路面ペイント検出部１３１１を用いる方式、また物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない方式の３種類の分割方法について説明し、つぎに、車外の照明状態に応じて上記３方式を選択する方法について説明する。
【００４２】
まず、物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない、第一の分割方式について説明する。この場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を、画像の消失点のｙ座標ＶＰＹを境として上下の領域、小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＶＰＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＶＰＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＶＰＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【００４３】
つぎに、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる第二の分割方式について説明する。図４（ｃ）に示すように、物体位置検出部１１１１により検出された障害物を含む画像が処理画像生成部１０２１にて生成され、かつ、自車ライト点灯検出部１２１１により自車がライトを照射していると判定された場合、物体位置検出部１１１１が検出した障害物の相対距離ＰＹ［ｂ］，自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴから、物体のライト照射高さＬＺを以下の式（１）により算出する。
【００４４】
ＬＺ＝ＬＨＥＩＧＨＴ−ＰＹ［ｂ］tan（ＬＡＮＧＬ） （１）
なお、自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴは、あらかじめ車両の種類に応じて定められた値である。
【００４５】
そして、カメラ幾何を用いてＬＺを画像上での座標ＬＺＹに変換し、ＬＺＹを境として、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＬＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＬＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＬＺＹを境に、例えば５画素程度のヒステリシスを設け、ライトによるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【００４６】
さらに、路面ペイント検出部１３１１を用いる第三の分割方式について説明する。この場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を、検出した路面ペイントの位置を境として上下に分割する。路面ペイントまでの距離をＰＺとすると、カメラ幾何モデルを用いて、画像上での路面ペイントのｙ座標位置ＰＺＹに変換し、ＰＺＹを境として、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＰＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＰＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＰＺＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【００４７】
つぎに、上記３つの分割方式を、車外の照明状況に応じて選択する方法について、図５を用いて説明する。図５は、上記３つの分割方式の切り替え条件を記したフローチャートである。
【００４８】
まず、ステップ５１にて、自車ライト点灯検出部１２１１の出力を用いて、自車がライトを点灯しているかを判定する。自車がライトを点灯していると判定された場合は、第二の分割手段を選択する。自車がライトを点灯していない場合は、次のステップへ写る。
【００４９】
つぎに、ステップ５２にて、路面ペイント検出部１３１１の出力を用いて、自車前方に路面ペイントが存在するかを判定する。自車前方に路面ペイントが存在すると判定された場合は、第三の分割手段を選択する。また、路面ペイントが存在しないと判定された場合は、第一の分割手段を選択する。
【００５０】
以上説明したように、自車ライト点灯検出部１２１１により自車のヘッドライトが照射されていると判定された場合、自車のヘッドライトにより歩行者の一部が明るくなっていると判断し、第二の分割手段が選択され、ヘッドライトが当たっている領域と、暗い領域に分割することができる。また、路面ペイント検出部１３１１により自車前方に路面ペイントが検出された場合、路面ペイント上に立っている歩行者の下半身が明るく写っていると判断し、第三の分割手段が選択され、路面ペイントを含む明るい領域と、路面ペイントがない領域に分割することができる。さらに、自車のヘッドライトは点灯しておらず、路面ペイントも検出されなかった場合は、第一の分割手段が選択される。第一の分割手段は、逆光により路面が反射し明るく写っている場合においても、逆光で明るい領域と、路面が写っていない領域に分割することができる。
【００５１】
なお、本実施例においては、上記３つの分割手段は少なくとも第一の分割手段を備えていればよく、３つ全てを備えている必要はない。いずれかの分割手段を有さない場合、図５の条件分岐はＮＯのルートを辿る。
【００５２】
つぎに、エッジ閾値設定部１０４１の処理の内容について説明する。
エッジ閾値設定部１０４１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］のそれぞれの小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の濃淡値の平均ＡＶＥ［ｒ］や分散ＶＡＲ［ｒ］に応じてエッジの閾値ＴＨＲ［ｒ］を決定する。ここでｒは小領域のＩＤ番号である。
【００５３】
エッジの閾値は、例えば濃淡値の平均ＡＶＥ［ｒ］を引数とするテーブルを用いる方法や、濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とする２次元のマップを用いる方法等で決定する。
【００５４】
平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とするマップを用いる方法は、あらかじめ様々な明るさの画像における最適なエッジの閾値を手動で決定し、そのときの平均および分散をマップ化したものを用いる。このことにより、小領域の濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］から、最適な閾値を決定することができる。
【００５５】
なお、エッジの閾値ＴＨＲ［ｒ］の決定には、濃淡値ではなく、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］に、例えばソーベルフィルタなどを適用した結果得られる画像の画素値の平均および分散を用いて決定してもよい。なお、ソーベルフィルタの演算については後述する。
【００５６】
つぎに、エッジ抽出部１０５１の処理の内容について説明する。
エッジ抽出部１０５１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］にソーベルフィルタなどの微分フィルタを適用し画像の勾配の強さおよび方向を求め、勾配の強さを閾値処理することによりエッジを抽出する。以下、微分フィルタとしてソーベルフィルタを適用する場合について説明する。
【００５７】
ソーベルフィルタは図６に示すように３×３の大きさで、ｘ方向の勾配を求めるｘ方向フィルタ６１とｙ方向の勾配を求めるｙ方向フィルタ６２の２種類が存在する。処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］からｘ方向の勾配を求める場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］の１画素ごとに、その画素と周囲８画素の計９画素の画素値と、対応する位置のｘ方向フィルタ６１の重みの積和演算を行う。積和演算の結果がその画素におけるｘ方向の勾配となる。ｙ方向の勾配の算出も同様である。処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］のある位置（ｘ、ｙ）におけるｘ方向の勾配の算出結果をｄｘ、ｙ方向の勾配の算出結果をｄｙとすると、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は以下の式（２）（３）により算出される。
【００５８】
ＤＭＡＧ［ｘ］［ｙ］＝｜ｄｘ｜＋｜ｄｙ｜ （２）
ＤＩＲＣ［ｘ］［ｙ］＝ａｒｃtan（ｄｙ／ｄｘ） （３）
なお、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］は処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］の座標ｘ，ｙはＩＭＧＰＲＯＣ［ｘ］［ｙ］の座標に対応する。
【００５９】
エッジ抽出部１０５１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］中の小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の全画素について勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を算出する。つぎに、算出したＤＭＡＧ［ｘ］［ｙ］の属する小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］に応じて、エッジ閾値ＴＨＲ［ｒ］とＤＭＡＧ［ｘ］［ｙ］を比較し、ＤＭＡＧ［ｘ］［ｙ］＞ＴＨＲ［ｒ］であれば１、それ以外であれば０をエッジ画像ＥＤＧＥ［ｘ］［ｙ］に記憶する。なお、エッジ画像ＥＤＧＥ［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＥＤＧＥ［ｘ］［ｙ］の座標ｘ，ｙは画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標に対応する。
【００６０】
以上説明したように、小領域分割部１０３１において、車外の照明状態に応じて物体を含む処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割し、エッジ閾値設定部１０４１において小領域ごとにエッジの閾値ＴＨＲ［ｒ］を設定し、エッジ抽出部１０５１にて小領域ごとのエッジの閾値ＴＨＲ［ｒ］を用いてエッジを抽出することにより、歩行者の一部が明るく写っているようなシーンにおいても、明るい領域と暗い領域で歩行者の輪郭のエッジを正しく抽出することができる。
【００６１】
つぎに、歩行者を検知する場合を例にとり、障害物認識部１０６１の処理内容について説明する。
【００６２】
障害物認識部１０６１は、まず、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。処理画像生成部１０２１にて述べたように、本実施例では、カメラ幾何を用い、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］内において、高さ１８０［cm］、幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小している。よって、マッチング判定領域の大きさを１６ドット×１２ドットとし、エッジ画像ＥＤＧＥ［ｘ］［ｙ］が１６ドット×１２ドットより大きい場合は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に一定の間隔で敷き詰めるように複数設定する。そして、それぞれのマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、以下詳述する識別器８１を用いて判定を行い、識別器８１の出力が１となる箇所があれば、その位置に歩行者がいると判定する。
【００６３】
つぎに、識別器８１を用いて歩行者か否かを判定する方法について説明する。
画像処理によって歩行者を検知する方法として、歩行者パターンの代表となるテンプレートを複数用意しておき、差分累積演算あるいは正規化相関係演算を行って一致度を求めるテンプレートマッチングによる方法や、ニューラルネットワークなどの識別器を用いてパターン認識を行う方法が挙げられる。いずれの方法をとるとしても、あらかじめ歩行者か否かを決定する指標となるソースのデータベースが必要となる。様々な歩行者のパターンをデータベースとして蓄えておき、そこから代表となるテンプレートを作成したり識別器を生成したりする。実環境では様々な服装，姿勢，体型の歩行者が存在し、さらにそれぞれ照明や天候などの条件が異なったりするため大量のデータベースを用意して、誤判定を少なくすることが必要となってくる。このとき、前者のテンプレートマッチングによる方法の場合、判定漏れを防ぐようにするとテンプレートの数が膨大となるため現実的でない。
【００６４】
そこで、本実施形態では後者の識別器を用いて判定する方法を採用する。識別器の大きさはソースのデータベースの大きさに依存しない。なお、識別器を生成するためのデータベースを教師データと呼ぶ。
【００６５】
本実施例で使用する識別器８１は、複数の局所エッジ判定器に基づいて歩行者か否かを判定する。まず、局所エッジ判定器について、図７の例を用いて説明する。局所エッジ判定器７１はエッジ画像ＥＤＧＥ［ｘ］［ｙ］，勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、およびマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、０か１かの２値を出力する判定器であり、局所エッジ頻度算出部７１１、および閾値処理部７１２から構成される。
【００６６】
局所エッジ頻度算出部７１１は、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）と同じ大きさのウィンドウ７１１１内に局所エッジ頻度算出領域７１１２を持ち、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とウィンドウ７１１１の位置関係から、エッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］内の局所エッジ頻度を算出する位置を設定し、局所エッジ頻度ＭＷＣを算出する。局所エッジ頻度ＭＷＣは、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の角度値が角度条件７１１３を満たしており、かつ、対応する位置のエッジ画像ＥＤＧＥ［ｘ］［ｙ］が１である画素の総数である。
【００６７】
ここで、角度条件７１１３は、図６の例の場合、６７.５度から１１２.５度の間、もしくは、２６７.５度から２９２.５度の間であることであり、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値が一定の範囲であるか否かを判定するものである。
【００６８】
閾値処理部７１２は、あらかじめ定められた閾値ＴＨＷＣを持ち、局所エッジ頻度算出部７１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ以上であれば１、それ以外であれば０を出力する。なお、閾値処理部７１２は、局所エッジ頻度算出部７１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ以下であれば１、それ以外であれば０を出力してもよい。
【００６９】
つぎに、図８を用いて、識別器について説明する。識別器８１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］，勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、およびマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、領域内が歩行者であれば１、歩行者でなければ０を出力する。識別器８１は４０個の局所エッジ頻度判定器８１０１〜８１４０，合計部８１２，閾値処理部８１３から構成される。
【００７０】
局所エッジ頻度判定器８１０１〜８１４０は、一つ一つの処理は前述した局所エッジ判定器７１と同様であるが、局所エッジ頻度算出領域７１１２，角度条件７１１３，閾値ＴＨＷＣはそれぞれ異なっている。
【００７１】
合計部８１２は、局所エッジ頻度判定器８１０１〜８１４０からの出力に、対応する重みＷＷＣ１〜４０を乗じ、その合計を出力する。
【００７２】
閾値処理部８１３は、閾値ＴＨＳＣを持ち、合計部８１２の出力が閾値ＴＨＳＣより大きければ１を、それ以外であれば０を出力する。
【００７３】
識別器８１の各局所エッジ頻度判定器のパラメータである局所エッジ頻度算出領域７１１２，角度条件７１１３，閾値ＴＨＷＣ、また、重みＷＷＣ１〜ＷＷＣ４０、最終閾値ＴＨＳＣは、識別器への入力画像が歩行者であった場合には１を、歩行者ではなかった場合には０を出力するように、教師データを用いて調整される。調整には、例えばAdaBoostなどの機械学習の手段を用いてもよいし、手動で行ってもよい。
【００７４】
例えば、ＮＰＤ個の歩行者の教師データ、およびＮＢＧ個非歩行者の教師データから、AdaBoostを用いてパラメータを決定する手順は以下の通りとなる。なお、以下、局所エッジ頻度判定器をｃＷＣ［ｍ］と表す。ここで、ｍは局所エッジ頻度判定器のＩＤ番号である。
【００７５】
まず、局所エッジ頻度算出領域７１１２および角度条件７１１３が異なる局所エッジ頻度判定器ｃＷＣ［ｍ］を複数（例えば、１００万通り）用意し、それぞれにおいて、局所エッジ頻度ＭＷＣの値を全ての教師データから算出し、閾値ＴＨＷＣをそれぞれ決定する。閾値ＴＨＷＣは、歩行者の教師データと非歩行者の教師データを最も分類することができる値を選択する。
【００７６】
つぎに、歩行者の教師データひとつひとつにｗＰＤ［ｎＰＤ］＝１／２ＮＰＤの重みを与える。同様に、非歩行者の教師データひとつひとつにｗＢＧ［ｎＢＧ］＝１／２ＮＢＧの重みを与える。ここで、ｎＰＤは歩行者の教師データのＩＤ番号、ｎＢＧは非歩行者の教師データのＩＤ番号である。
【００７７】
そして、ｋ＝１として、以下、繰り返し処理を行う。
まず、歩行者・非歩行者全ての教師データの重みの合計が１となるように、重みを正規化する。つぎに、各局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出する。誤検知率ｃＥＲ［ｍ］は、局所エッジ頻度判定器ｃＷＣ［ｍ］において、歩行者の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が０となったもの、もしくは非歩行者の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が１となったもの、すなわち出力が間違っている教師データの重みの合計である。
【００７８】
全ての局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出後、誤検知率が最小となる局所エッジ頻度判定器のＩＤ ｍＭｉｎを選択し、最終局所エッジ頻度判定器ＷＣ［ｋ］＝ｃＷＣ［ｍＭｉｎ］とする。
【００７９】
つぎに、各教師データの重みを更新する。更新は、歩行者の教師データのうち、最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が１となったもの、および、非歩行者の教師データのうち最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が０となったもの、すなわち出力が正しい教師データの重みに、係数ＢＴ［ｋ］＝ｃＥＲ［ｍＭｉｎ］／（１−ｃＥＲ［ｍＭｉｎ］）を乗じる。
【００８０】
ｋ＝ｋ＋１とし、ｋが予め設定した値（例えば、４０）になるまで繰り返す。繰り返し処理の終了後に得られる最終局所エッジ頻度判定器ＷＣがAdaBoostにより自動調整された識別器８１となる。なお、重みＷＷＣ１〜ＷＷＣ４０は１／ＢＴ［ｋ］から算出され、閾値ＴＨＳＣは０.５とする。
【００８１】
以上説明したように、エッジ抽出部１０５１にて抽出された歩行者の輪郭のエッジを用いて、障害物認識部１０６１にて歩行者を検出することができる。
【００８２】
なお、歩行者の検知に用いる識別器８１は、本実施例で取り上げた方法に限定されない。正規化相関を用いたテンプレートマッチング，ニューラルネットワーク識別器，サポートベクターマシン識別器，ベイズ識別器などを用いてもよい。
【００８３】
また、小領域分割部１０３１の分割手段は本実施例の３つに限定されず、２つ以下でも、４つ以上でもよい。
【００８４】
つぎに、本発明に係る障害物検知装置である車載用物体検知装置２０００の第二の実施形態について、以下図面を用いて説明する。
【００８５】
図９は、車載用物体検知装置２０００の実施形態を表すブロック図である。なお、以下の説明では、上述の車載用物体検知装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付し説明を省略する。
【００８６】
車載用物体検知装置２０００は、自動車に搭載されるカメラ内、もしくは統合コントローラ内等に組み込まれ、カメラで撮影した画像内から障害物を検知するためのものであり、本実施の形態では、自車の周囲を撮像した画像内から歩行者を検知するように構成されている。
【００８７】
車載用物体検知装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。車載用物体検知装置２０００は、図９に示すように、画像取得部１０１１と、処理領域設定部２０２１と、小領域分割部２０３１と、エッジ閾値設定部２０４１と、エッジ抽出部２０５１と、障害物認識部２０６１と、認識結果出力部１０７１とを有し、さらに実施の形態によっては、物体位置検出部１１１１と、自車ライト点灯検出部１２１１と、路面ペイント検出部１３１１とを有する。
【００８８】
処理領域設定部２０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内から障害物である歩行者を検出する処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）を設定する。設定の詳細については後述する。
【００８９】
小領域分割部２０３１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）を、複数の小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割する。ここで、ｒは小領域のＩＤ番号である。分割の詳細については後述するが、自車外の照明状態に基づいて複数の小領域に分割する。
【００９０】
エッジ閾値設定部２０４１は、各小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）内の画像ＩＭＧＳＲＣ［ｘ］［ｙ］の画素値から、エッジ閾値ＴＨＲ［ｒ］を決定する。閾値の設定の詳細については後述する。
【００９１】
エッジ抽出部２０５１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の各小領域内で濃淡勾配値を算出し、対応する小領域のエッジ閾値ＴＨＲ［ｒ］を用いて、２値のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、およびエッジの方向の情報を持つ、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を生成する。処理の詳細は後述する。
【００９２】
障害物認識度２０６１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定し、マッチング判定領域内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、および対応する位置の領域内の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、歩行者の有無を判定する。ここで、ｇは複数の領域を設定した場合のＩＤ番号である。認識処理の詳細は後述する。
【００９３】
つぎに、図３を用いて、処理領域設定部２０２１における処理の内容について説明する。
処理領域設定部２０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内で歩行者検出処理を行う領域を選定し、その座標の範囲，ｘ座標（横方向）の始点ＳＸＰおよび終点ＥＸＰ，ｙ座標上（縦方向）の始点ＳＹＰおよび終点ＥＹＰを求める。
【００９４】
処理領域設定部２０２１は、物体位置検出部１１１１を用いても、用いなくてもよい。まず、処理領域設定部２０２１において、物体位置検出部１１１１を用いる場合について説明する。
【００９５】
物体位置検出部１１１１が検出した物体の相対距離ＰＹ［ｂ］，横位置ＰＸ［ｂ］および横幅ＷＤ［ｂ］から、検出した物体の画像上位置（ｘ座標（横方向）の始点ＳＸＢ，終点ＥＸＢ，ｙ座標（縦方向）の始点ＳＹＢ，終点ＥＹＢ）を算出する。なお、カメラ画像上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体の高さを、例えば１８０［cm］などあらかじめ仮定しておくことにより、画像上での位置は一意に決まる。
【００９６】
また、カメラ１０１０の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置検出部１１１１で検出した物体の画像上での位置と、カメラ画像に写っている同じ物体の画像上での位置の違いが生じる場合がある。よって、画像上での物体位置（ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢ）に、補正を加えた物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を算出する。補正は、領域を所定の量拡大したり、移動させたりする。例えば、ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢを上下左右に所定の画素拡張したりなどである。この結果得られた物体位置を処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）とする。
【００９７】
なお、複数の領域に対して処理する場合、処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）をそれぞれ設定し、以下の小領域分割部から障害物認識部までの処理をそれぞれの処理画像に対して個別に実施する。
【００９８】
つぎに、処理領域設定部２０２１において、物体位置検出部１１１１を用いずに処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を設定する処理について説明する。
【００９９】
物体位置検出部１１１１を用いない場合の領域選定の方法は、例えば、領域の大きさを変化させながら画像全体を探索するように領域を設定する方法や、特定の位置，特定の大きさのみに限定して領域を設定する方法がある。特定の位置に限定する場合は、例えば自車速を用いて、自車がＴ秒後に進んでいる位置に限定する方法がある。
【０１００】
図３（ｂ）は、自車速を用いて，自車が２.３秒後に進んでいる位置を探索する場合の例である。処理領域の位置、および大きさは、自車が２.３秒後に進んでいる位置までの相対距離における路面高さ（０cm）、および想定する歩行者の高さ（本実施例では１８０cm）から、カメラ幾何パラメータを用いて画像ＩＭＧＳＲＣ［ｘ］［ｙ］上のｙ方向の範囲（ＳＹＰ２，ＥＹＰ２）を求める。なお、ｘ方向の範囲（ＳＸＰ２，ＥＸＰ２）は、制限しなくてもよいし、自車の予測進路等により制限してもよい。この結果得られた領域（ＳＸＰ２，ＳＹＰ２，ＥＸＰ２，ＥＹＰ２）を、処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）とする。
【０１０１】
つぎに、図４，図５を用いて、小領域分割部２０３１における処理の内容について説明する。
本実施例では、小領域への分割方式として、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる方式、路面ペイント検出部１３１１を用いる方式、また物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない方式の３種類の分割方法について説明し、つぎに、車外の照明状態に応じて上記３方式を選択する方法について説明する。
【０１０２】
まず、物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない、第一の分割方式について説明する。この場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を、画像の消失点のｙ座標ＶＰＹを境として上下の領域、小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＶＰＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＶＰＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＶＰＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【０１０３】
つぎに、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる第二の分割方式について説明する。図４（ｃ）に示すように、物体位置検出部１１１１により検出された物体を含む画像が処理領域設定部２０２１にて設定され、かつ、自車ライト点灯検出部１２１１により自車がライトを照射していると判断された場合、物体位置検出部１１１１が検出した物体の相対距離ＰＹ［ｂ］，自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴから、物体のライト照射高さＬＺを上述の式（１）より算出する。なお、自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴは、あらかじめ車両の種類に応じて定められた値である。
【０１０４】
そして、カメラ幾何を用いてＬＺを画像上での座標ＬＺＹに変換し、ＬＺＹを境として、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＬＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＬＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＬＺＹを境に、例えば５画素程度のヒステリシスを設け、ライトによるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【０１０５】
さらに、路面ペイント検出部１３１１を用いる第三の分割方式について説明する。この場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を、検出した路面ペイントの位置を境として上下に分割する。路面ペイントまでの距離をＰＺとすると、カメラ幾何モデルを用いて、画像上での路面ペイントのｙ座標位置ＰＺＹに変換し、ＰＺＹを境として、画像ＩＭＧＳＲＣ［ｘ］［ｙ］を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＰＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＰＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＰＺＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【０１０６】
つぎに、上記３つの分割方式を、車外の照明状況に応じて選択する方法について、図５を用いて説明する。図５は、上記３つの分割方式の切り替え条件を記したフローチャートである。
【０１０７】
まず、ステップ５１にて、自車ライト点灯検出部１２１１の出力を用いて、自車がライトを点灯しているかを判定する。自車がライトを点灯していると判定された場合は、第二の分割手段を選択する。自車がライトを点灯していない場合は、次のステップへ写る。
【０１０８】
つぎに、ステップ５２にて、路面ペイント検出部１３１１の出力を用いて、自車前方に路面ペイントが存在するかを判定する。自車前方に路面ペイントが存在すると判定された場合は、第三の分割手段を選択する。また、路面ペイントが存在しないと判定された場合は、第一の分割手段を選択する。
【０１０９】
以上説明したように、自車ライト点灯検出部１２１１により自車のヘッドライトが照射されていると判定された場合、自車のヘッドライトにより歩行者の一部が明るくなっていると判断し、第二の分割手段が選択され、ヘッドライトが当たっている領域と、暗い領域に分割することができる。また、路面ペイント検出部１３１１により自車前方に路面ペイントが検出された場合、路面ペイント上に立っている歩行者の下半身が明るく写っていると判断し、第三の分割手段が選択され、路面ペイントを含む明るい領域と、路面ペイントがない領域に分割することができる。さらに、自車のヘッドライトは点灯しておらず、路面ペイントも検出されなかった場合は、第一の分割手段が選択される。第一の分割手段は、逆光により路面が反射し明るく写っている場合においても、逆光で明るい領域と、路面が写っていない領域に分割することができる。
【０１１０】
なお、上記３つの分割手段は少なくとも第一の分割手段を備えていればよく、３つ全てを備えている必要はない。いずれかの分割手段を有さない場合、図５の条件分岐はＮＯのルートを辿る。
【０１１１】
つぎに、エッジ閾値設定部２０４１の処理の内容について説明する。
エッジ閾値設定部２０４１は、画像取得部１０１１で取得した画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の各小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の濃淡値の平均ＡＶＥ［ｒ］や分散ＶＡＲ［ｒ］に応じてエッジの閾値ＴＨＲ［ｒ］を決定する。ここでｒは小領域のＩＤ番号である。
【０１１２】
エッジの閾値は、例えば濃淡値の平均ＡＶＥ［ｒ］を引数とするテーブルを用いる方法や、濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とする２次元のマップを用いる方法等で決定する。
【０１１３】
平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とするマップを用いる方法は、あらかじめ様々な明るさの画像における最適なエッジの閾値を手動で決定し、そのときの平均および分散をマップ化したものを用いる。このことにより、小領域の濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］から、最適な閾値を決定することができる。
【０１１４】
なお、エッジの閾値ＴＨＲ［ｒ］の決定には、濃淡値ではなく、画像ＩＭＧＳＲＣ［ｘ］［ｙ］に、例えばソーベルフィルタなどを適用した結果得られる画像の画素値の平均および分散を用いて決定してもよい。なお、ソーベルフィルタの演算については後述する。
【０１１５】
つぎに、エッジ抽出部２０５１の処理の内容について説明する。
エッジ抽出部２０５１は、画像取得部１０１１で取得した画像ＩＭＧＳＲＣ［ｘ］［ｙ］にソーベルフィルタなどの微分フィルタを適用し画像の勾配の強さおよび方向を求め、勾配の強さを閾値処理することによりエッジを抽出する。以下、微分フィルタとしてソーベルフィルタを適用する場合について説明する。
【０１１６】
ソーベルフィルタは図６に示すように３×３の大きさで、ｘ方向の勾配を求めるｘ方向フィルタ６１とｙ方向の勾配を求めるｙ方向フィルタ６２の２種類が存在する。画像ＩＭＧＳＲＣ［ｘ］［ｙ］からｘ方向の勾配を求める場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の１画素ごとに、その画素と周囲８画素の計９画素の画素値と、対応する位置のｘ方向フィルタ６１の重みの積和演算を行う。積和演算の結果がその画素におけるｘ方向の勾配となる。ｙ方向の勾配の算出も同様である。画像ＩＭＧＳＲＣ［ｘ］［ｙ］のある位置（ｘ、ｙ）におけるｘ方向の勾配の算出結果をｄｘ、ｙ方向の勾配の算出結果をｄｙとすると、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は上述の式（２）（３）により算出される。
【０１１７】
なお、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］の座標ｘ、ｙは画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標に対応する。
【０１１８】
エッジ抽出部２０５１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］中の小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の全画素について勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を算出する。つぎに、算出したＤＭＡＧ［ｘ］［ｙ］の属する小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］に応じて、エッジ閾値ＴＨＲ［ｒ］とＤＭＡＧ［ｘ］［ｙ］を比較し、ＤＭＡＧ［ｘ］［ｙ］＞ＴＨＲ［ｒ］であれば１、それ以外であれば０をエッジ画像ＥＤＧＥ［ｘ］［ｙ］に記憶する。なお、エッジ画像ＥＤＧＥ［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＥＤＧＥ［ｘ］［ｙ］の座標ｘ、ｙは画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標に対応する。
【０１１９】
以上説明したように、小領域分割部２０３１において、車外の照明状態に応じて物体を含む画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）を小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割し、エッジ閾値設定部２０４１において小領域ごとにエッジの閾値ＴＨＲ［ｒ］を設定し、エッジ抽出部２０５１にて小領域ごとのエッジの閾値ＴＨＲ［ｒ］を用いてエッジを抽出することにより、歩行者の一部が明るく写っているようなシーンにおいても、明るい領域と暗い領域で歩行者の輪郭のエッジを正しく抽出することができる。
【０１２０】
つぎに、歩行者を検知する場合を例にとり、障害物認識部２０６１の処理内容について説明する。
障害物認識部２０６１は、まず、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。
【０１２１】
なお、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）の幅ＷＧ＝ＥＸＧ［ｇ］―ＳＸＧ［ｇ］、および、高さＨＧ＝ＥＹＧ［ｇ］―ＳＹＧ［ｇ］は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内において、高さ１８０［cm］，幅６０［cm］の物体の画像上での大きさから決定される。幅ＷＧ，高さＨＧを決める方法は、物体位置検出部１１１１を有している場合や、物体までの距離を仮決めしている場合、物体までの距離と消失点を用いて、カメラ幾何により一意に決定できる。
【０１２２】
また、処理領域内でマッチング判定領域の大きさを変えながら歩行者を検出する場合など、距離が不明の場合は、マッチング判定領域の縦横の比率を一定として、大きさを変更しながら設定する。処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）がマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）より大きい場合は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に一定の間隔で敷き詰めるように複数設定する。
【０１２３】
そして、それぞれのマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、識別器８２を用いて判定を行い、識別器８２の出力が１となる箇所があれば、その位置に歩行者がいると判定する。
【０１２４】
つぎに、識別器８２を用いて歩行者か否かを判定する方法について説明する。本実施例で使用する識別器８２は、複数の局所エッジ判定器に基づいて歩行者か否かを判定する。
【０１２５】
本実施例の識別器８２は、前述の識別器８１と同じ構成である。ただし、前述の識別器８１は、局所エッジ頻度判定器８１０１〜８１４０内のウィンドウ７１１１の大きさが幅１２ドット、高さ１６ドットであったのに対し、識別器８２は、ウィンドウ７１１１の大きさを、マッチング判定領域の幅ＷＧ，高さＨＧと同じになるように拡大・縮小する。ウィンドウ７１１１の拡大・縮小に伴い、ウィンドウ７１１１内の局所エッジ頻度算出領域７１１２も同じ比率で拡大・縮小する。なお、以降の処理は識別器８１と同様であるため、詳細な説明は省略する。
【０１２６】
以上説明したように、車載用物体検知装置１０００（もしくは車載用物体検知装置２０００）を用いることによって、例えば図１０のようなシーンにおいて、歩行者の有無を正確に判断することができる。
【０１２７】
図１０（ａ）（ｂ）は自車のヘッドライトによって一部に光が当たっている物体の例であり、（ａ）は歩行者、（ｂ）は看板である。このような場合、自車のヘッドライト照射高さの上下で分割せずにエッジを抽出すると、それぞれ図１０（ｃ）（ｄ）のようなエッジが得られ、区別することができない。しかし、本発明を用いることにより、抽出されるエッジは図１０（ｅ）（ｆ）となり、歩行者の輪郭のエッジが正しく抽出され、図１０（ａ）の歩行者を認識することができる。
【０１２８】
また、車載用物体検知装置１０００（もしくは車載用物体検知装置２０００）における障害物認識部１０６１（２０６１）は、上述したような識別器８１（８２）を用いた形式でなくてもよい。例として、連続する縦エッジの長さによって障害物を判定する障害物認識部の別の実施形態について、図１１を用いて説明する。
【０１２９】
図１１は、障害物認識部の他の実施形態の処理の流れを表すフローチャートである。
【０１３０】
まず、ステップ１０１にて、障害物認識部１０６１，２０６１と同様に、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。
【０１３１】
つぎに、ステップ１０２にて、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］のうち、縦方向のエッジを抽出する。
【０１３２】
ここで、まずエッジの有無は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］の値を用いて判定する。エッジ画像ＥＤＧＥ［ｘ］［ｙ］は２値画像であり、エッジ画像ＥＤＧＥ［ｘ］［ｙ］の座標（ｘ，ｙ）の値が１である場合、対応する画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標（ｘ，ｙ）にエッジ、すなわち物体の輪郭が存在することを表す。
【０１３３】
また、エッジの方向は勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて判定する。勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は０〜３５９の値を持ち、濃淡変化の角度を表す。よって、エッジ画像ＥＤＧＥ［ｘ］［ｙ］の座標（ｘ，ｙ）の値が１である場合に、対応する座標（ｘ，ｙ）の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値を参照することにより、物体の輪郭の画像上での方向を知ることができる。
【０１３４】
よって、ステップ１０２は、例えば、エッジ画像ＥＤＧＥ［ｘ］［ｙ］が１であり、かつ、対応する座標（ｘ，ｙ）の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値が９０±２２.５［°］、もしくは２７０±２２.５［°］の範囲である部分を抽出することで実現できる。
【０１３５】
抽出した結果は、例えば縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］に保存する。縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］はエッジ画像ＥＤＧＥ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＶＥＤＧＥ［ｘ］［ｙ］の座標ｘ，ｙはＥＤＧＥ［ｘ］［ｙ］の座標に対応する。縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］には、例えば、上記条件を満たす座標の画素に「１」を、そうでない座標に「０」を代入する。
【０１３６】
さらに、ステップ１０３にて、縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］のうち画素値が「１」となっている部分のグルーピングを行う。グルーピングは、例えばラベリング処理を用いる。
【０１３７】
ラベリング処理は、まず縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］中で画素値が１である場所を探索し、ラベル番号１をその画素に与える。つぎに、その画素に隣接する画素値が１であれば、その画素にもラベル番号１を与える。この処理を、ラベル番号１の画素に隣接する画素がすべて０になるまで繰り返す。
【０１３８】
つぎに、ラベル番号がまだ与えられていない画素があれば、そのうちの一つの画素にラベル番号２を与え、ラベル番号１のときと同様の処理を行う。以上の処理を、画素値が１であり、ラベル番号が与えられていない画素がなくなるまで繰り返す。
【０１３９】
以上のラベリング処理の結果、縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］のエッジはいずれかのラベル番号を与えられ、グルーピングされることになる。
【０１４０】
つぎに、ステップ１０４にて、グルーピングされたエッジの中から、画像上でｙ方向に長い縦エッジを２本抽出する。
【０１４１】
さらに、ステップ１０５にて、抽出されたエッジがペアであるかを判定する。ペアであるかの判定には、縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］、および、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いる。図１２は、エッジのペア判定の例である。
【０１４２】
まず、縦エッジ画像中で抽出された２本のエッジのうち、画像上のｙ方向の重複範囲（ＳＹ＿ＰＡＩＲ，ＥＹ＿ＰＡＩＲ）を求める。
【０１４３】
つぎに、抽出された２本のエッジそれぞれについて、ＳＹ＿ＰＡＩＲ，ＥＹ＿ＰＡＩＲの範囲内で、対応する位置の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］から、勾配方向の平均ＤＩＲ＿ＰＡＩＲ１，ＤＩＲ＿ＰＡＩＲ２を算出する。
【０１４４】
そして、ＤＩＲ＿ＰＡＩＲ１，ＤＩＲ＿ＰＡＩＲ２の方向がペアになっているかを判定する。判定は、例えば、
（１）ＤＩＲ＿ＰＡＩＲ１＞ＤＩＲ＿ＰＡＩＲ２の場合、
ＡＢＳ（ＤＩＲ＿ＰＡＩＲ１―ＤＩＲ＿ＰＡＩＲ２―１８０）＜ＴＨ＿ＰＡＩＲ
（２）それ以外の場合
ＡＢＳ（ＤＩＲ＿ＰＡＩＲ２―ＤＩＲ＿ＰＡＩＲ１―１８０）＜ＴＨ＿ＰＡＩＲ
が成立するか否かで行う。ここで、ＴＨ＿ＰＡＩＲはエッジがペアになっているかを判定する角度の許容量であり、本実施例では２２.５とする。また、ＡＢＳ（）は絶対値である。判定の結果、ペアであると判定された場合は、ステップ１０６へ進み、そうでない場合はステップ１０８へと進む。
【０１４５】
ステップ１０６は、画像上のｙ方向の重複範囲（ＳＹ＿ＰＡＩＲ，ＥＹ＿ＰＡＩＲ）の長さが所定値ＴＨ＿ＬＥＮＧＴＨＰＡＩＲ以上であるかを判定する。所定値以上であると判定された場合は、ステップ１０７へ進み、そうでない場合、つまり所定値未満であると判定された場合は、ステップ１０８へと進む。
【０１４６】
ステップ１０７は、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）に障害物が存在するとし、障害物認識部１０６１（２０６１）へ情報を伝える。
【０１４７】
また、ステップ１０８は、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）に障害物は存在しないとし、障害物認識部１０６１（２０６１）へ情報を伝えない。
【０１４８】
以上説明したように、本実施形態を用いることによって、例えば図１３のようなシーンにおいて障害物の有無を正しく判断することができる。
【０１４９】
図１３（ａ）（ｂ）は自車のヘッドライトによって一部に光が当たっている物体の例であり、（ａ）は高さのある障害物、（ｂ）は高さのない障害物である。このような場合、自車のヘッドライト照射高さの上下で分割せずにエッジを抽出すると、それぞれ図１３（ｃ）（ｄ）のようなエッジが得られ、区別することができない。
【０１５０】
しかし、本発明を用いることにより、抽出されるエッジは図１３（ｅ）（ｆ）となり、暗い領域のエッジが正しく抽出され、（ａ）は高さがあるため衝突の危険がある障害物、（ｂ）は高さがないため衝突の危険がない障害物であると認識することができる。
【０１５１】
つぎに、図１４を用いて、プリクラッシュ・セーフティ・システムを例にとり、前記の実施例に記載のように車載用物体検知装置の認識結果出力部より出力される障害物情報（相対距離ＰＹＯ［ｂ］，横位置ＰＸＯ［ｂ］，横幅ＷＤＯ［ｂ］）に応じて警報を出力する、あるいは自動的にブレーキを制御するといったシステムの動作方法について説明する。
【０１５２】
図１４は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。
【０１５３】
最初に、ステップ１４１において、上記いずれかの障害物検知装置の認識結果出力部で出力された障害物情報（相対距離ＰＹＯ［ｂ］，横位置ＰＸＯ［ｂ］，横幅ＷＤＯ［ｂ］）を読み込む。
【０１５４】
つぎに、ステップ１４２において、検知された各物体の衝突予測時間ＴＴＣ［ｉ］を式（４）を用いて演算する。ここで、相対速度ＶＹＯ［ｂ］は、物体の相対距離ＰＹＯ［ｂ］を擬似微分することによって求める。
【０１５５】
ＴＴＣ［ｂ］＝ＰＹ［ｂ］÷ＶＹ［ｂ］ （４）
さらに、ステップ１４３において、各障害物に対する危険度ＤＲＥＣＩ［ｂ］を演算する。
【０１５６】
以下、車載用物体検知装置１０００（もしくは車載用物体検知装置２０００）で検知された物体Ｘ［ｂ］に対する危険度ＤＲＥＣＩ［ｂ］の演算方法の例を、図１５を用いて説明する。
【０１５７】
まず、予測進路の推定方法について説明する。図１５に示すように、自車位置を原点Ｏとすると、予測進路は原点Ｏを通る旋回半径Ｒの円弧で近似できる。ここで、旋回半径Ｒは、自車の操舵角α，速度Ｖｓｐ，スタビリティファクタＡ，ホイールベースＬおよびステアリングギア比Ｇｓを用いて式（５）で表される。
【０１５８】
Ｒ＝（１＋Ａ・Ｖｓｐ・Ｖｓｐ）×（Ｌ・Ｇｓ／α） （５）
スタビリティファクタとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。式（５）からわかるように、旋回半径Ｒは、スタビリティファクタＡを係数として、自車の速度Ｖｓｐの２乗に比例して変化する。また、旋回半径Ｒは車速Ｖｓｐおよびヨーレートγを用いて式（６）で表すことができる。
【０１５９】
Ｒ＝Ｖ／γ （６）
つぎに、物体Ｘ［ｂ］から、旋回半径Ｒの円弧で近似した予測進路の中心へ垂線を引き、距離Ｌ［ｂ］を求める。
【０１６０】
さらに、自車幅Ｈから距離Ｌ［ｂ］を引き、これが負値の場合には危険度ＤＲＥＣＩ［ｂ］＝０とし、正値の場合には以下の式（７）によって危険度ＤＲＥＣＩ［ｂ］を演算する。
【０１６１】
ＤＲＥＣＩ［ｂ］＝（Ｈ−Ｌ［ｂ］）／Ｈ （７）
なお、ステップ１４１〜１４３の処理は、検知した物体数に応じてループ処理を行う構成としている。
【０１６２】
ステップ１４４において、ステップ１４３で演算した危険度ＤＲＥＣＩ［ｂ］に応じて式（８）の条件が成立している物体を選択し、選択された物体の中で衝突予測時間ＴＴＣ［ｂ］が最小となる物体ｂＭｉｎを選択する。
【０１６３】
ＤＲＥＣＩ［ｂ］≧ｃＤＲＥＣＩ＃ （８）
ここで、所定値ｃＤＲＥＣＩ＃は、自車に衝突するか否かを判定するための閾値である。
【０１６４】
つぎに、ステップ１４５において、選択された物体ｋの衝突予測時間ＴＴＣ［ｂＭｉｎ］に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。式（９）が成立している場合にはステップ１４６に進み、ブレーキ制御を実行して処理を終了する。また、式（９）が非成立の場合にはステップ１４７に進む。
【０１６５】
ＴＴＣ［ｂＭｉｎ］≦ｃＴＴＣＢＲＫ＃ （９）
ステップ１４７において、選択された物体ｂＭｉｎの衝突予測時間ＴＴＣ［ｂＭｉｎ］に応じて警報を出力する範囲であるか否かの判定を行う。式（１０）が成立している場合にはステップ１４８に進み、警報を出力して処理を終了する。また、式（１０）が非成立の場合には、ブレーキ制御，警報ともに実行せずに処理を終了する。
【０１６６】
ＴＴＣ［ｂＭｉｎ］≦ｃＴＴＣＡＬＭ＃ （１０）
以上説明したように、本発明である車載用物体検知装置１０００もしくは２０００を用いることによって、図１０のようなシーンにおいて、歩行者の足元のみに光が当たっており、足元のみでは歩行者か判定できない場合においても、光が当たっていない領域のエッジを抽出できるため、自車前方の歩行者を認識でき、上記警報やブレーキ制御を発動させることができる。
【０１６７】
また、図１３のようなシーンにおいて、物体の一部のみに光が当たっており、一部では自車にとって衝突の危険がある物体か判定することができない場合においても、光が当たっていない領域のエッジを抽出できるため、自車にとって衝突の危険がある物体に対してのみ上記警報やブレーキ制御を発動させることができる。
【０１６８】
また、図１６の例に対して本発明を適用した場合について説明する。
まず、自車のヘッドライトと同程度の光を発する外部照明がＯＮの状態で、路面の凹凸により生じる、路面の濃淡差をＤＩＦ１＿Ｒとする。そして、外部照明ＯＮ時に、同程度の濃淡差を持つ、淡い物体Ｂを用意する。物体Ｂの、外部照明ＯＮの状態での輪郭の内外の濃淡差をＤＩＦ１＿Ｂ、外部照明ＯＦＦの状態での輪郭の内外の濃淡差をＤＩＦ０＿Ｂとすると、ＤＩＦ１＿Ｂ＝ＤＩＦ１＿Ｒである。図１６の例では、ＤＩＦ１＿Ｂ＝１０，ＤＩＦ０＿Ｂ＝５である。
【０１６９】
また、物体Ｂと全く同じ形状であるが濃淡差が物体Ｂより大きく、外部照明ＯＮの状態では輪郭の内外の濃淡差がＤＩＦ１＿Ａ、外部照明がＯＦＦの状態では輪郭の内外の濃淡差がＤＩＦ０＿Ａとなり、かつＤＩＦ０＿Ａ＝ＤＩＦ１＿Ｂとなる物体Ａを用意する。図１６の例では、ＤＩＦ１＿Ａ＝２０，ＤＩＦ０＿Ａ＝１０である。
【０１７０】
物体Ｂの輪郭の濃淡差は路面の凹凸により生じる濃淡差と同じであるため、路面の凹凸による誤検知を発生させないためには、物体Ａを認識し、物体Ｂを認識しないことが必要である。しかし、ＤＩＦ０＿Ａ＝ＤＩＦ１＿Ｂであるため、外部照明ＯＦＦ時に物体Ａを認識するためには、照明状況に応じてエッジの閾値を変化させる必要がある。
【０１７１】
本発明は、照明状況に応じてエッジの閾値を変化させるため、外部照明ＯＮ時、および、外部照明ＯＦＦ時どちらにおいても、物体Ａを認識し、物体Ｂを認識しない。さらに、本発明は、物体を含む画像領域を小領域に分割し、各小領域の照明状態に応じてエッジの閾値を設定するため、外部照明ＯＦＦ時にヘッドライトを照射した場合においても、物体Ａを認識し、物体Ｂを認識しない。
【０１７２】
なお、本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１７３】
７１ 局所エッジ判定器
８１ 識別器
７１１ 局所エッジ頻度算出部
７１２ 閾値処理部
８１２ 合計部
８１３ 閾値処理部
１０００，２０００ 車載用物体検知装置
１０１０ カメラ
１０１１ 画像取得部
１０２１ 処理画像生成部
１０３１，２０３１ 小領域分割部
１０４１，２０４１ エッジ閾値設定部
１０５１，２０５１ エッジ抽出部
１０６１，２０６１ 障害物認識部
１０７１ 認識結果出力部
１１１１ 物体位置検出部
１２１１ 自車ライト点灯検出部
１３１１ 路面ペイント検出部
２０２１ 処理領域設定部
７１１１ ウィンドウ
７１１２ 局所エッジ頻度算出領域
７１１３ 角度条件
８１０１〜８１４０ 局所エッジ頻度判定器
【技術分野】
【０００１】
自車前方の障害物を検知する障害物検知装置に関する。
【背景技術】
【０００２】
交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
【０００３】
上記システムにおいて、車，歩行者等の障害物を検知する方法として、カメラで自車前方を撮像し、撮像した画像から障害物を検出する方法がある。この場合、障害物や背景の色の影響を受けにくくするため、撮像された画像から濃淡値の変化量を求め、変化量が所定の閾値以上である部分のみを抽出したエッジ画像を生成し、エッジ画像上の障害物の輪郭と、あらかじめ記憶している障害物の輪郭のテンプレートとの類似度を算出することによって障害物を検出する方法が用いられる。
【０００４】
例えば特許文献１には、自車前方の物体をレーザレーダにより検出し、レーザレーダによって検出した物体を含む画像領域の濃淡値のコントラストを改善し、エッジを抽出する方法が記載されている。この方法によれば、障害物がトンネル内，日陰などの暗い場所に存在し、障害物と背景との濃淡値の変化が小さい場合であっても、その物体を含む画像領域のコントラストを改善するため濃淡値の変化が大きくなり、エッジを抽出することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−９６５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、自車がヘッドライトを点灯しており歩行者等の障害物の一部に光が当たっている場合や、逆光時に路面が反射して足元だけが明るい場合など、障害物の連続する輪郭が明部と暗部にまたがって存在する場合には、障害物を含む画像領域でコントラストを改善しても、暗部のコントラストは改善されず、エッジが抽出できない。その結果、障害物の輪郭のうち、暗部に存在する輪郭が抽出できず、障害物が認識されない。
【０００７】
また、濃淡値の変化が小さい暗部で輪郭が抽出できるようにエッジの閾値をチューニングすると、明部でのわずかな変化に反応するようになり、誤検知が多発する。特に、自車正面に何も存在しない場所で本現象が発生すると、何もない場所で警報や自動ブレーキが発動し、自車の安全性を損ねてしまう。
【０００８】
本発明は上記問題に着目してなされたもので、その目的とするところは、障害物に明部と暗部が存在し、その障害物の連続する輪郭が明部と暗部にまたがって存在する場合においても、誤検知の少ない安定した障害物検知を可能とする障害物検知装置を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明の障害物検知装置は、自車外を撮像した画像を取り込む画像取得部と、取り込まれた画像から障害物を検知するための処理画像を生成する処理画像生成部と、処理画像を複数の小領域に分割する小領域分割部と、複数の小領域と処理画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、複数の小領域と処理画像から小領域毎の濃淡勾配値を算出し、算出された濃淡勾配値に対応する小領域の前記エッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、マッチング判定領域内のエッジ画像及びエッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、障害物の判定結果を出力する認識結果出力部と、を有し、小領域分割部は、自車外の照明状態に基づいて処理画像を複数の小領域に分割する構成とする。
【００１０】
また、自車外を撮像した画像を取り込む画像取得部と、取り込まれた画像から障害物を検知するための処理領域を設定する処理領域設定部と、処理領域を複数の小領域に分割する小領域分割部と、複数の小領域と画像取得部で取り込まれた画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、複数の小領域と画像取得部で取り込まれた画像から小領域毎の濃淡勾配値を算出し、算出された濃淡勾配値に対応する小領域のエッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、マッチング判定領域内のエッジ画像及びエッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、障害物の判定結果を出力する認識結果出力部と、を有し、小領域分割部は、自車外の照明状態に基づいて処理領域を複数の小領域に分割する構成とする。
【発明の効果】
【００１１】
障害物に明部と暗部が存在し、その障害物の連続する輪郭が明部と暗部にまたがって存在する場合においても、誤検知の少ない安定した障害物検知を可能とする障害物検知装置を提供できる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る障害物検知装置の第１の実施形態を示す図である。
【図２】本発明に係る障害物検知装置で用いられる画像とパラメータを表す模式図である。
【図３】本発明の処理画像生成部における処理の一例を示す図である。
【図４】本発明の小領域分割部の分割例を示す図である。
【図５】本発明の小領域分割部のフローチャートを示す図である。
【図６】本発明のエッジ抽出部で用いるソーベルフィルタの重みを示す図である。
【図７】本発明の障害物認識部における局所エッジ判定器の一例を示す図である。
【図８】本発明の障害物認識部における識別器を用いた歩行者判定の一例を示す図である。
【図９】本発明に係る障害物検知装置の第２の実施形態を示す図である。
【図１０】本発明の障害物認識結果を説明するための模式図である。
【図１１】本発明の障害物認識部の他の実施形態のフローチャートを示す図である。
【図１２】本発明の障害物認識部におけるエッジのペア判定を説明する図である。
【図１３】本発明の障害物認識結果を説明するための模式図である。
【図１４】本発明の障害物検知装置を適用したプリクラッシュ・セーフティ・システムの動作フローチャートを示す図である。
【図１５】本発明のプリクラッシュ・セーフティ・システムの危険度算出方法を示す図である。
【図１６】本発明の障害物検知装置を適用する実施例を説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係る障害物検知装置の第一の実施形態について図面を用いて詳細に説明する。図１は、第一の実施の形態における車載用物体検知装置１０００のブロック図である。
【００１４】
障害物検知装置である車載用物体検知装置１０００は、自動車に搭載される撮像素子であるカメラ１０１０内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した自車外の画像内から予め設定された歩行者等の障害物を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から歩行者を検知するように構成されている。
【００１５】
車載用物体検知装置１０００は、ＣＰＵやメモリ，Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
【００１６】
車載用物体検知装置１０００は、図１に示すように、画像取得部１０１１と、処理画像生成部１０２１と、小領域分割部１０３１と、エッジ閾値設定部１０４１と、エッジ抽出部１０５１と、障害物認識部１０６１と、認識結果出力部１０７１とを有し、さらに実施の形態によって、物体位置検出部１１１１と、自車ライト点灯検出部１２１１と、路面ペイント検出部１３１１とを有する。
【００１７】
画像取得部１０１１は、自車の前方を含む自車外を撮像可能な位置に取り付けられたカメラ１０１０から、自車外を撮影した画像を取り込み、画像ＩＭＧＳＲＣ［ｘ］［ｙ］としてＲＡＭ上に書き込む。なお、画像ＩＭＧＳＲＣ［ｘ］［ｙ］は２次元配列であり、ｘ，ｙはそれぞれ画像の座標を示す。
【００１８】
処理画像生成部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内から障害物である歩行者を検出するための処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の一部を、所定の係数で拡大・縮小した画像である。処理の詳細については後述する。
【００１９】
小領域分割部１０３１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を、複数の小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割する。ここで、ｒは小領域のＩＤ番号である。分割の詳細については後述するが、自車外の照明状態に基づいて複数の小領域に分割する。
【００２０】
エッジ閾値設定部１０４１は、各小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）内の処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］の画素値から、小領域毎のエッジ閾値ＴＨＲ［ｒ］を決定する。閾値の設定の詳細については後述する。
【００２１】
エッジ抽出部１０５１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］の各小領域内で濃淡勾配値を算出し、対応する小領域のエッジ閾値ＴＨＲ［ｒ］を用いて、２値のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、およびエッジの方向の情報を持つ、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を生成する。処理の詳細は後述する。
【００２２】
障害物認識部１０６１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に障害物判定（例えば歩行者判定）を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定し、マッチング判定領域内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、および対応する位置の領域内の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、歩行者等の障害物の有無を判定する。ここで、ｇは複数の領域を設定した場合のＩＤ番号である。認識処理の詳細は後述する。
【００２３】
認識結果出力部１０７１は、障害物認識部１０６１の判定結果に基づいて、少なくとも認識した歩行者等の障害物との相対距離ＰＹＯ［ｂ］を含む障害物情報に応じて車両の機能を変化させる出力を行う。例えば、認識した歩行者の位置（相対距離ＰＹＯ［ｂ］，横位置ＰＸＯ［ｂ］，横幅ＷＤＯ［ｂ］）を出力する。ここで、ｂは複数の物体を検知している場合のＩＤ番号である。これらの出力は、車載用物体検知装置１０００から直接出力しても良いし、ＬＡＮ（Local Area Network）を用いた通信を行っても良い。
【００２４】
物体位置検出部１１１１は、自車に搭載されたミリ波レーダやレーザレーダ等の自車周辺の物体を検出する障害物検出部であるレーダからの検出信号を取得して、自車前方に存在する障害物の位置を検出する。例えば図３に示すように、レーダから自車周辺の歩行者３２等の障害物の位置（相対距離ＰＹ［ｂ］，横位置ＰＸ［ｂ］，横幅ＷＤ［ｂ］）を取得する。ここで、ｂは複数の物体を検知している場合のＩＤ番号である。これらの物体の位置情報は、レーダの信号を車載用物体検知装置１０００に直接入力することによって取得しても良いし、レーダとＬＡＮ（Local Area Network）を用いた通信を行うことによって取得しても良い。物体位置検出部１１１１で検出した物体位置は、処理画像生成部１０２１や小領域分割部１０３１にて用いられる。
【００２５】
自車ライト点灯検出部１２１１は、自車がライトを点灯している状態か否かを判定し、ライトが点灯している状態ならば「１」、それ以外であれば「０」を出力する。ライトの点灯判定には、ライトスイッチの信号を直接入力することによって判定しても良いし、ＬＡＮ（Local Area Network）を用いた通信を行うことによってライトスイッチの信号を取得し判定しても良い。また、画像取得部１０１１で取得した画像の濃淡を用いて判定しても良い。例えば、ライトを点灯している状態では、ライトが当たっている範囲内は明るく、範囲外は暗く写る。よって、例えばカメラ画像とカメラ幾何モデルを用いて、路面のライト照射範囲を画像上で算出し、ライト照射範囲の平均輝度値とライト照射範囲外の平均輝度値との差が、一定の閾値以上であるか否かを用いて判定することができる。自車ライト点灯検出部１２１１の出力は、小領域分割部１０３１にて用いられる。
【００２６】
路面ペイント検出部１３１１は、自車前方に存在する横断歩道等の路面ペイントを検出する。路面ペイントの検出には、ＬＡＮ（Local Area Network）を用いた通信によってナビゲーションの情報を取得し、例えば信号のある交差点の情報を取得し、自車から横断歩道までの距離を取得する方法がある。また、画像取得部１０１１で取得した画像の濃淡を用いて判定しても良い。例えば、横断歩道等の路面ペイントは白いため、画像上で明るく撮像される。よって、路面ペイントは以下の手段により検出できる。まず、カメラ画像とカメラ幾何モデルを用いて、画像の路面領域を画像上で算出し、路面領域の輝度値が閾値ＴＨ＿ＧＢｒｉｇｈｔ以上である画素を抽出する。つぎに、抽出された画素を、隣接する画素同士でグルーピングし、グルーピングされた各領域のうち面積が閾値ＴＨ＿ＧＡｒｅａである領域から、画像上で最も高い位置にある領域の画像上における上端のｙ座標Ｙ＿Ｇｍｉｎを取得する。さらに、カメラ幾何を用いて、自車からＹ＿Ｇｍｉｎの位置までの距離を算出する。以上の処理によって、自車から路面ペイントまでの距離を算出することができる。路面ペイント検出部１３１１の出力は、小領域分割部１０３１にて用いられる。
【００２７】
図２は、以上の説明に用いた画像、および領域を、例を用いて図示したものである。図に示すとおり、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］が生成され、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］からエッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］が生成される。また、小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）は処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を分割するように設定され、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）はエッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の中の、決められた大きさの領域である。
【００２８】
つぎに、図３を用いて、処理画像生成部１０２１における処理の内容について説明する。図３は、処理画像生成部の処理の例を示す。
【００２９】
処理画像生成部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内で歩行者検出処理を行う領域を選定し、その座標の範囲，ｘ座標（横方向）の始点ＳＸＰおよび終点ＥＸＰ，ｙ座標上（縦方向）の始点ＳＹＰおよび終点ＥＹＰを求め、その領域から処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。
【００３０】
処理画像生成部１０２１は、物体位置検出部１１１１を用いても、用いなくてもよい。まず、処理画像生成部１０２１において、物体位置検出部１１１１を用いる場合について説明する。図３（ａ）は、物体位置検出部１１１１を用いた場合における処理画像生成部の処理の例である。
【００３１】
物体位置検出部１１１１が検出した障害物の相対距離ＰＹ［ｂ］，横位置ＰＸ［ｂ］および横幅ＷＤ［ｂ］から、検出した障害物の画像上位置（ｘ座標（横方向）の始点ＳＸＢ，終点ＥＸＢ，ｙ座標（縦方向）の始点ＳＹＢ，終点ＥＹＢ）を算出する。なお、カメラ画像上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体の高さを、例えば１８０［cm］などあらかじめ仮定しておくことにより、画像上での位置は一意に決まる。
【００３２】
また、カメラ１０１０の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置検出部１１１１で検出した物体の画像上での位置と、カメラ画像に写っている同じ物体の画像上での位置の違いが生じる場合がある。よって、画像上での物体位置（ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢ）に、補正を加えた物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を算出する。補正は、領域を所定の量拡大したり、移動させたりする。例えば、ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢを上下左右に所定の画素拡張したりなどである。
【００３３】
さらに、補正した物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）で囲まれた画像ＩＭＧＳＲＣ［ｘ］［ｙ］を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小することにより、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。本実施例では、カメラ幾何を用い、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］内において、高さ１８０［cm］，幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小する。
【００３４】
つまり、物体位置検出部１１１１を用いた場合、処理画像生成部１０２１は、画像取得部１０１１から取得した画像ＩＭＧＳＲＣ［ｘ］［ｙ］と、物体位置検出部１１１１で検出した障害物の位置に基づいて、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。
【００３５】
なお、複数の領域に対して処理する場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］をそれぞれ生成し、以下の分割境界設定部から障害物認識部までの処理をそれぞれの処理画像に対して個別に実施する。
【００３６】
つぎに、処理画像生成部１０２１において、物体位置検出部１１１１を用いずに処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する処理について説明する。
【００３７】
物体位置検出部１１１１を用いない場合の領域選定の方法は、例えば、領域の大きさを変化させながら画像全体を探索するように領域を設定する方法や、特定の位置，特定の大きさのみに限定して領域を設定する方法がある。特定の位置に限定する場合は、例えば自車速を用いて、自車がＴ秒後に進んでいる位置に限定する方法がある。
【００３８】
図３（ｂ）は、自車速を用いて，自車が２.３秒後に進んでいる位置を探索する場合の例である。処理領域の位置、および大きさは、自車が２.３秒後に進んでいる位置までの相対距離における路面高さ（０cm）、および想定する歩行者の高さ（本実施例では１８０cm）から、カメラ幾何パラメータを用いて画像ＩＭＧＳＲＣ［ｘ］［ｙ］上のｙ方向の範囲（ＳＹＰ２，ＥＹＰ２）を求める。なお、ｘ方向の範囲（ＳＸＰ２，ＥＸＰ２）は、制限しなくてもよいし、自車の予測進路等により制限してもよい。
【００３９】
さらに、補正した物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）で囲まれた画像ＩＭＧＳＲＣ［ｘ］［ｙ］を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小することにより、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。本実施例では、カメラ幾何を用い、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］内において、高さ１８０［cm］，幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小する。
【００４０】
つぎに、図４，図５を用いて、小領域分割部１０３１における処理の内容について説明する。図４は、小領域分割部１０３１の分割例であり、図５は小領域分割部１０３１の本実施例におけるフローチャートである。
【００４１】
本実施例では、小領域への分割方式として、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる方式、路面ペイント検出部１３１１を用いる方式、また物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない方式の３種類の分割方法について説明し、つぎに、車外の照明状態に応じて上記３方式を選択する方法について説明する。
【００４２】
まず、物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない、第一の分割方式について説明する。この場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を、画像の消失点のｙ座標ＶＰＹを境として上下の領域、小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＶＰＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＶＰＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＶＰＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【００４３】
つぎに、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる第二の分割方式について説明する。図４（ｃ）に示すように、物体位置検出部１１１１により検出された障害物を含む画像が処理画像生成部１０２１にて生成され、かつ、自車ライト点灯検出部１２１１により自車がライトを照射していると判定された場合、物体位置検出部１１１１が検出した障害物の相対距離ＰＹ［ｂ］，自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴから、物体のライト照射高さＬＺを以下の式（１）により算出する。
【００４４】
ＬＺ＝ＬＨＥＩＧＨＴ−ＰＹ［ｂ］tan（ＬＡＮＧＬ） （１）
なお、自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴは、あらかじめ車両の種類に応じて定められた値である。
【００４５】
そして、カメラ幾何を用いてＬＺを画像上での座標ＬＺＹに変換し、ＬＺＹを境として、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＬＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＬＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＬＺＹを境に、例えば５画素程度のヒステリシスを設け、ライトによるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【００４６】
さらに、路面ペイント検出部１３１１を用いる第三の分割方式について説明する。この場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を、検出した路面ペイントの位置を境として上下に分割する。路面ペイントまでの距離をＰＺとすると、カメラ幾何モデルを用いて、画像上での路面ペイントのｙ座標位置ＰＺＹに変換し、ＰＺＹを境として、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＰＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＰＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＰＺＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【００４７】
つぎに、上記３つの分割方式を、車外の照明状況に応じて選択する方法について、図５を用いて説明する。図５は、上記３つの分割方式の切り替え条件を記したフローチャートである。
【００４８】
まず、ステップ５１にて、自車ライト点灯検出部１２１１の出力を用いて、自車がライトを点灯しているかを判定する。自車がライトを点灯していると判定された場合は、第二の分割手段を選択する。自車がライトを点灯していない場合は、次のステップへ写る。
【００４９】
つぎに、ステップ５２にて、路面ペイント検出部１３１１の出力を用いて、自車前方に路面ペイントが存在するかを判定する。自車前方に路面ペイントが存在すると判定された場合は、第三の分割手段を選択する。また、路面ペイントが存在しないと判定された場合は、第一の分割手段を選択する。
【００５０】
以上説明したように、自車ライト点灯検出部１２１１により自車のヘッドライトが照射されていると判定された場合、自車のヘッドライトにより歩行者の一部が明るくなっていると判断し、第二の分割手段が選択され、ヘッドライトが当たっている領域と、暗い領域に分割することができる。また、路面ペイント検出部１３１１により自車前方に路面ペイントが検出された場合、路面ペイント上に立っている歩行者の下半身が明るく写っていると判断し、第三の分割手段が選択され、路面ペイントを含む明るい領域と、路面ペイントがない領域に分割することができる。さらに、自車のヘッドライトは点灯しておらず、路面ペイントも検出されなかった場合は、第一の分割手段が選択される。第一の分割手段は、逆光により路面が反射し明るく写っている場合においても、逆光で明るい領域と、路面が写っていない領域に分割することができる。
【００５１】
なお、本実施例においては、上記３つの分割手段は少なくとも第一の分割手段を備えていればよく、３つ全てを備えている必要はない。いずれかの分割手段を有さない場合、図５の条件分岐はＮＯのルートを辿る。
【００５２】
つぎに、エッジ閾値設定部１０４１の処理の内容について説明する。
エッジ閾値設定部１０４１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］のそれぞれの小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の濃淡値の平均ＡＶＥ［ｒ］や分散ＶＡＲ［ｒ］に応じてエッジの閾値ＴＨＲ［ｒ］を決定する。ここでｒは小領域のＩＤ番号である。
【００５３】
エッジの閾値は、例えば濃淡値の平均ＡＶＥ［ｒ］を引数とするテーブルを用いる方法や、濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とする２次元のマップを用いる方法等で決定する。
【００５４】
平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とするマップを用いる方法は、あらかじめ様々な明るさの画像における最適なエッジの閾値を手動で決定し、そのときの平均および分散をマップ化したものを用いる。このことにより、小領域の濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］から、最適な閾値を決定することができる。
【００５５】
なお、エッジの閾値ＴＨＲ［ｒ］の決定には、濃淡値ではなく、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］に、例えばソーベルフィルタなどを適用した結果得られる画像の画素値の平均および分散を用いて決定してもよい。なお、ソーベルフィルタの演算については後述する。
【００５６】
つぎに、エッジ抽出部１０５１の処理の内容について説明する。
エッジ抽出部１０５１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］にソーベルフィルタなどの微分フィルタを適用し画像の勾配の強さおよび方向を求め、勾配の強さを閾値処理することによりエッジを抽出する。以下、微分フィルタとしてソーベルフィルタを適用する場合について説明する。
【００５７】
ソーベルフィルタは図６に示すように３×３の大きさで、ｘ方向の勾配を求めるｘ方向フィルタ６１とｙ方向の勾配を求めるｙ方向フィルタ６２の２種類が存在する。処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］からｘ方向の勾配を求める場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］の１画素ごとに、その画素と周囲８画素の計９画素の画素値と、対応する位置のｘ方向フィルタ６１の重みの積和演算を行う。積和演算の結果がその画素におけるｘ方向の勾配となる。ｙ方向の勾配の算出も同様である。処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］のある位置（ｘ、ｙ）におけるｘ方向の勾配の算出結果をｄｘ、ｙ方向の勾配の算出結果をｄｙとすると、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は以下の式（２）（３）により算出される。
【００５８】
ＤＭＡＧ［ｘ］［ｙ］＝｜ｄｘ｜＋｜ｄｙ｜ （２）
ＤＩＲＣ［ｘ］［ｙ］＝ａｒｃtan（ｄｙ／ｄｘ） （３）
なお、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］は処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］の座標ｘ，ｙはＩＭＧＰＲＯＣ［ｘ］［ｙ］の座標に対応する。
【００５９】
エッジ抽出部１０５１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］中の小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の全画素について勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を算出する。つぎに、算出したＤＭＡＧ［ｘ］［ｙ］の属する小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］に応じて、エッジ閾値ＴＨＲ［ｒ］とＤＭＡＧ［ｘ］［ｙ］を比較し、ＤＭＡＧ［ｘ］［ｙ］＞ＴＨＲ［ｒ］であれば１、それ以外であれば０をエッジ画像ＥＤＧＥ［ｘ］［ｙ］に記憶する。なお、エッジ画像ＥＤＧＥ［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＥＤＧＥ［ｘ］［ｙ］の座標ｘ，ｙは画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標に対応する。
【００６０】
以上説明したように、小領域分割部１０３１において、車外の照明状態に応じて物体を含む処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割し、エッジ閾値設定部１０４１において小領域ごとにエッジの閾値ＴＨＲ［ｒ］を設定し、エッジ抽出部１０５１にて小領域ごとのエッジの閾値ＴＨＲ［ｒ］を用いてエッジを抽出することにより、歩行者の一部が明るく写っているようなシーンにおいても、明るい領域と暗い領域で歩行者の輪郭のエッジを正しく抽出することができる。
【００６１】
つぎに、歩行者を検知する場合を例にとり、障害物認識部１０６１の処理内容について説明する。
【００６２】
障害物認識部１０６１は、まず、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。処理画像生成部１０２１にて述べたように、本実施例では、カメラ幾何を用い、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］内において、高さ１８０［cm］、幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小している。よって、マッチング判定領域の大きさを１６ドット×１２ドットとし、エッジ画像ＥＤＧＥ［ｘ］［ｙ］が１６ドット×１２ドットより大きい場合は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に一定の間隔で敷き詰めるように複数設定する。そして、それぞれのマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、以下詳述する識別器８１を用いて判定を行い、識別器８１の出力が１となる箇所があれば、その位置に歩行者がいると判定する。
【００６３】
つぎに、識別器８１を用いて歩行者か否かを判定する方法について説明する。
画像処理によって歩行者を検知する方法として、歩行者パターンの代表となるテンプレートを複数用意しておき、差分累積演算あるいは正規化相関係演算を行って一致度を求めるテンプレートマッチングによる方法や、ニューラルネットワークなどの識別器を用いてパターン認識を行う方法が挙げられる。いずれの方法をとるとしても、あらかじめ歩行者か否かを決定する指標となるソースのデータベースが必要となる。様々な歩行者のパターンをデータベースとして蓄えておき、そこから代表となるテンプレートを作成したり識別器を生成したりする。実環境では様々な服装，姿勢，体型の歩行者が存在し、さらにそれぞれ照明や天候などの条件が異なったりするため大量のデータベースを用意して、誤判定を少なくすることが必要となってくる。このとき、前者のテンプレートマッチングによる方法の場合、判定漏れを防ぐようにするとテンプレートの数が膨大となるため現実的でない。
【００６４】
そこで、本実施形態では後者の識別器を用いて判定する方法を採用する。識別器の大きさはソースのデータベースの大きさに依存しない。なお、識別器を生成するためのデータベースを教師データと呼ぶ。
【００６５】
本実施例で使用する識別器８１は、複数の局所エッジ判定器に基づいて歩行者か否かを判定する。まず、局所エッジ判定器について、図７の例を用いて説明する。局所エッジ判定器７１はエッジ画像ＥＤＧＥ［ｘ］［ｙ］，勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、およびマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、０か１かの２値を出力する判定器であり、局所エッジ頻度算出部７１１、および閾値処理部７１２から構成される。
【００６６】
局所エッジ頻度算出部７１１は、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）と同じ大きさのウィンドウ７１１１内に局所エッジ頻度算出領域７１１２を持ち、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とウィンドウ７１１１の位置関係から、エッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］内の局所エッジ頻度を算出する位置を設定し、局所エッジ頻度ＭＷＣを算出する。局所エッジ頻度ＭＷＣは、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の角度値が角度条件７１１３を満たしており、かつ、対応する位置のエッジ画像ＥＤＧＥ［ｘ］［ｙ］が１である画素の総数である。
【００６７】
ここで、角度条件７１１３は、図６の例の場合、６７.５度から１１２.５度の間、もしくは、２６７.５度から２９２.５度の間であることであり、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値が一定の範囲であるか否かを判定するものである。
【００６８】
閾値処理部７１２は、あらかじめ定められた閾値ＴＨＷＣを持ち、局所エッジ頻度算出部７１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ以上であれば１、それ以外であれば０を出力する。なお、閾値処理部７１２は、局所エッジ頻度算出部７１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ以下であれば１、それ以外であれば０を出力してもよい。
【００６９】
つぎに、図８を用いて、識別器について説明する。識別器８１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］，勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、およびマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、領域内が歩行者であれば１、歩行者でなければ０を出力する。識別器８１は４０個の局所エッジ頻度判定器８１０１〜８１４０，合計部８１２，閾値処理部８１３から構成される。
【００７０】
局所エッジ頻度判定器８１０１〜８１４０は、一つ一つの処理は前述した局所エッジ判定器７１と同様であるが、局所エッジ頻度算出領域７１１２，角度条件７１１３，閾値ＴＨＷＣはそれぞれ異なっている。
【００７１】
合計部８１２は、局所エッジ頻度判定器８１０１〜８１４０からの出力に、対応する重みＷＷＣ１〜４０を乗じ、その合計を出力する。
【００７２】
閾値処理部８１３は、閾値ＴＨＳＣを持ち、合計部８１２の出力が閾値ＴＨＳＣより大きければ１を、それ以外であれば０を出力する。
【００７３】
識別器８１の各局所エッジ頻度判定器のパラメータである局所エッジ頻度算出領域７１１２，角度条件７１１３，閾値ＴＨＷＣ、また、重みＷＷＣ１〜ＷＷＣ４０、最終閾値ＴＨＳＣは、識別器への入力画像が歩行者であった場合には１を、歩行者ではなかった場合には０を出力するように、教師データを用いて調整される。調整には、例えばAdaBoostなどの機械学習の手段を用いてもよいし、手動で行ってもよい。
【００７４】
例えば、ＮＰＤ個の歩行者の教師データ、およびＮＢＧ個非歩行者の教師データから、AdaBoostを用いてパラメータを決定する手順は以下の通りとなる。なお、以下、局所エッジ頻度判定器をｃＷＣ［ｍ］と表す。ここで、ｍは局所エッジ頻度判定器のＩＤ番号である。
【００７５】
まず、局所エッジ頻度算出領域７１１２および角度条件７１１３が異なる局所エッジ頻度判定器ｃＷＣ［ｍ］を複数（例えば、１００万通り）用意し、それぞれにおいて、局所エッジ頻度ＭＷＣの値を全ての教師データから算出し、閾値ＴＨＷＣをそれぞれ決定する。閾値ＴＨＷＣは、歩行者の教師データと非歩行者の教師データを最も分類することができる値を選択する。
【００７６】
つぎに、歩行者の教師データひとつひとつにｗＰＤ［ｎＰＤ］＝１／２ＮＰＤの重みを与える。同様に、非歩行者の教師データひとつひとつにｗＢＧ［ｎＢＧ］＝１／２ＮＢＧの重みを与える。ここで、ｎＰＤは歩行者の教師データのＩＤ番号、ｎＢＧは非歩行者の教師データのＩＤ番号である。
【００７７】
そして、ｋ＝１として、以下、繰り返し処理を行う。
まず、歩行者・非歩行者全ての教師データの重みの合計が１となるように、重みを正規化する。つぎに、各局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出する。誤検知率ｃＥＲ［ｍ］は、局所エッジ頻度判定器ｃＷＣ［ｍ］において、歩行者の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が０となったもの、もしくは非歩行者の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が１となったもの、すなわち出力が間違っている教師データの重みの合計である。
【００７８】
全ての局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出後、誤検知率が最小となる局所エッジ頻度判定器のＩＤ ｍＭｉｎを選択し、最終局所エッジ頻度判定器ＷＣ［ｋ］＝ｃＷＣ［ｍＭｉｎ］とする。
【００７９】
つぎに、各教師データの重みを更新する。更新は、歩行者の教師データのうち、最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が１となったもの、および、非歩行者の教師データのうち最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が０となったもの、すなわち出力が正しい教師データの重みに、係数ＢＴ［ｋ］＝ｃＥＲ［ｍＭｉｎ］／（１−ｃＥＲ［ｍＭｉｎ］）を乗じる。
【００８０】
ｋ＝ｋ＋１とし、ｋが予め設定した値（例えば、４０）になるまで繰り返す。繰り返し処理の終了後に得られる最終局所エッジ頻度判定器ＷＣがAdaBoostにより自動調整された識別器８１となる。なお、重みＷＷＣ１〜ＷＷＣ４０は１／ＢＴ［ｋ］から算出され、閾値ＴＨＳＣは０.５とする。
【００８１】
以上説明したように、エッジ抽出部１０５１にて抽出された歩行者の輪郭のエッジを用いて、障害物認識部１０６１にて歩行者を検出することができる。
【００８２】
なお、歩行者の検知に用いる識別器８１は、本実施例で取り上げた方法に限定されない。正規化相関を用いたテンプレートマッチング，ニューラルネットワーク識別器，サポートベクターマシン識別器，ベイズ識別器などを用いてもよい。
【００８３】
また、小領域分割部１０３１の分割手段は本実施例の３つに限定されず、２つ以下でも、４つ以上でもよい。
【００８４】
つぎに、本発明に係る障害物検知装置である車載用物体検知装置２０００の第二の実施形態について、以下図面を用いて説明する。
【００８５】
図９は、車載用物体検知装置２０００の実施形態を表すブロック図である。なお、以下の説明では、上述の車載用物体検知装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付し説明を省略する。
【００８６】
車載用物体検知装置２０００は、自動車に搭載されるカメラ内、もしくは統合コントローラ内等に組み込まれ、カメラで撮影した画像内から障害物を検知するためのものであり、本実施の形態では、自車の周囲を撮像した画像内から歩行者を検知するように構成されている。
【００８７】
車載用物体検知装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。車載用物体検知装置２０００は、図９に示すように、画像取得部１０１１と、処理領域設定部２０２１と、小領域分割部２０３１と、エッジ閾値設定部２０４１と、エッジ抽出部２０５１と、障害物認識部２０６１と、認識結果出力部１０７１とを有し、さらに実施の形態によっては、物体位置検出部１１１１と、自車ライト点灯検出部１２１１と、路面ペイント検出部１３１１とを有する。
【００８８】
処理領域設定部２０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内から障害物である歩行者を検出する処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）を設定する。設定の詳細については後述する。
【００８９】
小領域分割部２０３１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）を、複数の小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割する。ここで、ｒは小領域のＩＤ番号である。分割の詳細については後述するが、自車外の照明状態に基づいて複数の小領域に分割する。
【００９０】
エッジ閾値設定部２０４１は、各小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）内の画像ＩＭＧＳＲＣ［ｘ］［ｙ］の画素値から、エッジ閾値ＴＨＲ［ｒ］を決定する。閾値の設定の詳細については後述する。
【００９１】
エッジ抽出部２０５１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の各小領域内で濃淡勾配値を算出し、対応する小領域のエッジ閾値ＴＨＲ［ｒ］を用いて、２値のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、およびエッジの方向の情報を持つ、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を生成する。処理の詳細は後述する。
【００９２】
障害物認識度２０６１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定し、マッチング判定領域内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、および対応する位置の領域内の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、歩行者の有無を判定する。ここで、ｇは複数の領域を設定した場合のＩＤ番号である。認識処理の詳細は後述する。
【００９３】
つぎに、図３を用いて、処理領域設定部２０２１における処理の内容について説明する。
処理領域設定部２０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内で歩行者検出処理を行う領域を選定し、その座標の範囲，ｘ座標（横方向）の始点ＳＸＰおよび終点ＥＸＰ，ｙ座標上（縦方向）の始点ＳＹＰおよび終点ＥＹＰを求める。
【００９４】
処理領域設定部２０２１は、物体位置検出部１１１１を用いても、用いなくてもよい。まず、処理領域設定部２０２１において、物体位置検出部１１１１を用いる場合について説明する。
【００９５】
物体位置検出部１１１１が検出した物体の相対距離ＰＹ［ｂ］，横位置ＰＸ［ｂ］および横幅ＷＤ［ｂ］から、検出した物体の画像上位置（ｘ座標（横方向）の始点ＳＸＢ，終点ＥＸＢ，ｙ座標（縦方向）の始点ＳＹＢ，終点ＥＹＢ）を算出する。なお、カメラ画像上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体の高さを、例えば１８０［cm］などあらかじめ仮定しておくことにより、画像上での位置は一意に決まる。
【００９６】
また、カメラ１０１０の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置検出部１１１１で検出した物体の画像上での位置と、カメラ画像に写っている同じ物体の画像上での位置の違いが生じる場合がある。よって、画像上での物体位置（ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢ）に、補正を加えた物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を算出する。補正は、領域を所定の量拡大したり、移動させたりする。例えば、ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢを上下左右に所定の画素拡張したりなどである。この結果得られた物体位置を処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）とする。
【００９７】
なお、複数の領域に対して処理する場合、処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）をそれぞれ設定し、以下の小領域分割部から障害物認識部までの処理をそれぞれの処理画像に対して個別に実施する。
【００９８】
つぎに、処理領域設定部２０２１において、物体位置検出部１１１１を用いずに処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を設定する処理について説明する。
【００９９】
物体位置検出部１１１１を用いない場合の領域選定の方法は、例えば、領域の大きさを変化させながら画像全体を探索するように領域を設定する方法や、特定の位置，特定の大きさのみに限定して領域を設定する方法がある。特定の位置に限定する場合は、例えば自車速を用いて、自車がＴ秒後に進んでいる位置に限定する方法がある。
【０１００】
図３（ｂ）は、自車速を用いて，自車が２.３秒後に進んでいる位置を探索する場合の例である。処理領域の位置、および大きさは、自車が２.３秒後に進んでいる位置までの相対距離における路面高さ（０cm）、および想定する歩行者の高さ（本実施例では１８０cm）から、カメラ幾何パラメータを用いて画像ＩＭＧＳＲＣ［ｘ］［ｙ］上のｙ方向の範囲（ＳＹＰ２，ＥＹＰ２）を求める。なお、ｘ方向の範囲（ＳＸＰ２，ＥＸＰ２）は、制限しなくてもよいし、自車の予測進路等により制限してもよい。この結果得られた領域（ＳＸＰ２，ＳＹＰ２，ＥＸＰ２，ＥＹＰ２）を、処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）とする。
【０１０１】
つぎに、図４，図５を用いて、小領域分割部２０３１における処理の内容について説明する。
本実施例では、小領域への分割方式として、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる方式、路面ペイント検出部１３１１を用いる方式、また物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない方式の３種類の分割方法について説明し、つぎに、車外の照明状態に応じて上記３方式を選択する方法について説明する。
【０１０２】
まず、物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない、第一の分割方式について説明する。この場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を、画像の消失点のｙ座標ＶＰＹを境として上下の領域、小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＶＰＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＶＰＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＶＰＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【０１０３】
つぎに、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる第二の分割方式について説明する。図４（ｃ）に示すように、物体位置検出部１１１１により検出された物体を含む画像が処理領域設定部２０２１にて設定され、かつ、自車ライト点灯検出部１２１１により自車がライトを照射していると判断された場合、物体位置検出部１１１１が検出した物体の相対距離ＰＹ［ｂ］，自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴから、物体のライト照射高さＬＺを上述の式（１）より算出する。なお、自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴは、あらかじめ車両の種類に応じて定められた値である。
【０１０４】
そして、カメラ幾何を用いてＬＺを画像上での座標ＬＺＹに変換し、ＬＺＹを境として、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＬＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＬＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＬＺＹを境に、例えば５画素程度のヒステリシスを設け、ライトによるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【０１０５】
さらに、路面ペイント検出部１３１１を用いる第三の分割方式について説明する。この場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を、検出した路面ペイントの位置を境として上下に分割する。路面ペイントまでの距離をＰＺとすると、カメラ幾何モデルを用いて、画像上での路面ペイントのｙ座標位置ＰＺＹに変換し、ＰＺＹを境として、画像ＩＭＧＳＲＣ［ｘ］［ｙ］を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＰＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＰＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＰＺＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
【０１０６】
つぎに、上記３つの分割方式を、車外の照明状況に応じて選択する方法について、図５を用いて説明する。図５は、上記３つの分割方式の切り替え条件を記したフローチャートである。
【０１０７】
まず、ステップ５１にて、自車ライト点灯検出部１２１１の出力を用いて、自車がライトを点灯しているかを判定する。自車がライトを点灯していると判定された場合は、第二の分割手段を選択する。自車がライトを点灯していない場合は、次のステップへ写る。
【０１０８】
つぎに、ステップ５２にて、路面ペイント検出部１３１１の出力を用いて、自車前方に路面ペイントが存在するかを判定する。自車前方に路面ペイントが存在すると判定された場合は、第三の分割手段を選択する。また、路面ペイントが存在しないと判定された場合は、第一の分割手段を選択する。
【０１０９】
以上説明したように、自車ライト点灯検出部１２１１により自車のヘッドライトが照射されていると判定された場合、自車のヘッドライトにより歩行者の一部が明るくなっていると判断し、第二の分割手段が選択され、ヘッドライトが当たっている領域と、暗い領域に分割することができる。また、路面ペイント検出部１３１１により自車前方に路面ペイントが検出された場合、路面ペイント上に立っている歩行者の下半身が明るく写っていると判断し、第三の分割手段が選択され、路面ペイントを含む明るい領域と、路面ペイントがない領域に分割することができる。さらに、自車のヘッドライトは点灯しておらず、路面ペイントも検出されなかった場合は、第一の分割手段が選択される。第一の分割手段は、逆光により路面が反射し明るく写っている場合においても、逆光で明るい領域と、路面が写っていない領域に分割することができる。
【０１１０】
なお、上記３つの分割手段は少なくとも第一の分割手段を備えていればよく、３つ全てを備えている必要はない。いずれかの分割手段を有さない場合、図５の条件分岐はＮＯのルートを辿る。
【０１１１】
つぎに、エッジ閾値設定部２０４１の処理の内容について説明する。
エッジ閾値設定部２０４１は、画像取得部１０１１で取得した画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の各小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の濃淡値の平均ＡＶＥ［ｒ］や分散ＶＡＲ［ｒ］に応じてエッジの閾値ＴＨＲ［ｒ］を決定する。ここでｒは小領域のＩＤ番号である。
【０１１２】
エッジの閾値は、例えば濃淡値の平均ＡＶＥ［ｒ］を引数とするテーブルを用いる方法や、濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とする２次元のマップを用いる方法等で決定する。
【０１１３】
平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とするマップを用いる方法は、あらかじめ様々な明るさの画像における最適なエッジの閾値を手動で決定し、そのときの平均および分散をマップ化したものを用いる。このことにより、小領域の濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］から、最適な閾値を決定することができる。
【０１１４】
なお、エッジの閾値ＴＨＲ［ｒ］の決定には、濃淡値ではなく、画像ＩＭＧＳＲＣ［ｘ］［ｙ］に、例えばソーベルフィルタなどを適用した結果得られる画像の画素値の平均および分散を用いて決定してもよい。なお、ソーベルフィルタの演算については後述する。
【０１１５】
つぎに、エッジ抽出部２０５１の処理の内容について説明する。
エッジ抽出部２０５１は、画像取得部１０１１で取得した画像ＩＭＧＳＲＣ［ｘ］［ｙ］にソーベルフィルタなどの微分フィルタを適用し画像の勾配の強さおよび方向を求め、勾配の強さを閾値処理することによりエッジを抽出する。以下、微分フィルタとしてソーベルフィルタを適用する場合について説明する。
【０１１６】
ソーベルフィルタは図６に示すように３×３の大きさで、ｘ方向の勾配を求めるｘ方向フィルタ６１とｙ方向の勾配を求めるｙ方向フィルタ６２の２種類が存在する。画像ＩＭＧＳＲＣ［ｘ］［ｙ］からｘ方向の勾配を求める場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の１画素ごとに、その画素と周囲８画素の計９画素の画素値と、対応する位置のｘ方向フィルタ６１の重みの積和演算を行う。積和演算の結果がその画素におけるｘ方向の勾配となる。ｙ方向の勾配の算出も同様である。画像ＩＭＧＳＲＣ［ｘ］［ｙ］のある位置（ｘ、ｙ）におけるｘ方向の勾配の算出結果をｄｘ、ｙ方向の勾配の算出結果をｄｙとすると、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は上述の式（２）（３）により算出される。
【０１１７】
なお、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］の座標ｘ、ｙは画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標に対応する。
【０１１８】
エッジ抽出部２０５１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］中の小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の全画素について勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を算出する。つぎに、算出したＤＭＡＧ［ｘ］［ｙ］の属する小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］に応じて、エッジ閾値ＴＨＲ［ｒ］とＤＭＡＧ［ｘ］［ｙ］を比較し、ＤＭＡＧ［ｘ］［ｙ］＞ＴＨＲ［ｒ］であれば１、それ以外であれば０をエッジ画像ＥＤＧＥ［ｘ］［ｙ］に記憶する。なお、エッジ画像ＥＤＧＥ［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＥＤＧＥ［ｘ］［ｙ］の座標ｘ、ｙは画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標に対応する。
【０１１９】
以上説明したように、小領域分割部２０３１において、車外の照明状態に応じて物体を含む画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）を小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割し、エッジ閾値設定部２０４１において小領域ごとにエッジの閾値ＴＨＲ［ｒ］を設定し、エッジ抽出部２０５１にて小領域ごとのエッジの閾値ＴＨＲ［ｒ］を用いてエッジを抽出することにより、歩行者の一部が明るく写っているようなシーンにおいても、明るい領域と暗い領域で歩行者の輪郭のエッジを正しく抽出することができる。
【０１２０】
つぎに、歩行者を検知する場合を例にとり、障害物認識部２０６１の処理内容について説明する。
障害物認識部２０６１は、まず、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。
【０１２１】
なお、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）の幅ＷＧ＝ＥＸＧ［ｇ］―ＳＸＧ［ｇ］、および、高さＨＧ＝ＥＹＧ［ｇ］―ＳＹＧ［ｇ］は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内において、高さ１８０［cm］，幅６０［cm］の物体の画像上での大きさから決定される。幅ＷＧ，高さＨＧを決める方法は、物体位置検出部１１１１を有している場合や、物体までの距離を仮決めしている場合、物体までの距離と消失点を用いて、カメラ幾何により一意に決定できる。
【０１２２】
また、処理領域内でマッチング判定領域の大きさを変えながら歩行者を検出する場合など、距離が不明の場合は、マッチング判定領域の縦横の比率を一定として、大きさを変更しながら設定する。処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）がマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）より大きい場合は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に一定の間隔で敷き詰めるように複数設定する。
【０１２３】
そして、それぞれのマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、識別器８２を用いて判定を行い、識別器８２の出力が１となる箇所があれば、その位置に歩行者がいると判定する。
【０１２４】
つぎに、識別器８２を用いて歩行者か否かを判定する方法について説明する。本実施例で使用する識別器８２は、複数の局所エッジ判定器に基づいて歩行者か否かを判定する。
【０１２５】
本実施例の識別器８２は、前述の識別器８１と同じ構成である。ただし、前述の識別器８１は、局所エッジ頻度判定器８１０１〜８１４０内のウィンドウ７１１１の大きさが幅１２ドット、高さ１６ドットであったのに対し、識別器８２は、ウィンドウ７１１１の大きさを、マッチング判定領域の幅ＷＧ，高さＨＧと同じになるように拡大・縮小する。ウィンドウ７１１１の拡大・縮小に伴い、ウィンドウ７１１１内の局所エッジ頻度算出領域７１１２も同じ比率で拡大・縮小する。なお、以降の処理は識別器８１と同様であるため、詳細な説明は省略する。
【０１２６】
以上説明したように、車載用物体検知装置１０００（もしくは車載用物体検知装置２０００）を用いることによって、例えば図１０のようなシーンにおいて、歩行者の有無を正確に判断することができる。
【０１２７】
図１０（ａ）（ｂ）は自車のヘッドライトによって一部に光が当たっている物体の例であり、（ａ）は歩行者、（ｂ）は看板である。このような場合、自車のヘッドライト照射高さの上下で分割せずにエッジを抽出すると、それぞれ図１０（ｃ）（ｄ）のようなエッジが得られ、区別することができない。しかし、本発明を用いることにより、抽出されるエッジは図１０（ｅ）（ｆ）となり、歩行者の輪郭のエッジが正しく抽出され、図１０（ａ）の歩行者を認識することができる。
【０１２８】
また、車載用物体検知装置１０００（もしくは車載用物体検知装置２０００）における障害物認識部１０６１（２０６１）は、上述したような識別器８１（８２）を用いた形式でなくてもよい。例として、連続する縦エッジの長さによって障害物を判定する障害物認識部の別の実施形態について、図１１を用いて説明する。
【０１２９】
図１１は、障害物認識部の他の実施形態の処理の流れを表すフローチャートである。
【０１３０】
まず、ステップ１０１にて、障害物認識部１０６１，２０６１と同様に、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。
【０１３１】
つぎに、ステップ１０２にて、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］のうち、縦方向のエッジを抽出する。
【０１３２】
ここで、まずエッジの有無は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］の値を用いて判定する。エッジ画像ＥＤＧＥ［ｘ］［ｙ］は２値画像であり、エッジ画像ＥＤＧＥ［ｘ］［ｙ］の座標（ｘ，ｙ）の値が１である場合、対応する画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標（ｘ，ｙ）にエッジ、すなわち物体の輪郭が存在することを表す。
【０１３３】
また、エッジの方向は勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて判定する。勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は０〜３５９の値を持ち、濃淡変化の角度を表す。よって、エッジ画像ＥＤＧＥ［ｘ］［ｙ］の座標（ｘ，ｙ）の値が１である場合に、対応する座標（ｘ，ｙ）の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値を参照することにより、物体の輪郭の画像上での方向を知ることができる。
【０１３４】
よって、ステップ１０２は、例えば、エッジ画像ＥＤＧＥ［ｘ］［ｙ］が１であり、かつ、対応する座標（ｘ，ｙ）の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値が９０±２２.５［°］、もしくは２７０±２２.５［°］の範囲である部分を抽出することで実現できる。
【０１３５】
抽出した結果は、例えば縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］に保存する。縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］はエッジ画像ＥＤＧＥ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＶＥＤＧＥ［ｘ］［ｙ］の座標ｘ，ｙはＥＤＧＥ［ｘ］［ｙ］の座標に対応する。縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］には、例えば、上記条件を満たす座標の画素に「１」を、そうでない座標に「０」を代入する。
【０１３６】
さらに、ステップ１０３にて、縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］のうち画素値が「１」となっている部分のグルーピングを行う。グルーピングは、例えばラベリング処理を用いる。
【０１３７】
ラベリング処理は、まず縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］中で画素値が１である場所を探索し、ラベル番号１をその画素に与える。つぎに、その画素に隣接する画素値が１であれば、その画素にもラベル番号１を与える。この処理を、ラベル番号１の画素に隣接する画素がすべて０になるまで繰り返す。
【０１３８】
つぎに、ラベル番号がまだ与えられていない画素があれば、そのうちの一つの画素にラベル番号２を与え、ラベル番号１のときと同様の処理を行う。以上の処理を、画素値が１であり、ラベル番号が与えられていない画素がなくなるまで繰り返す。
【０１３９】
以上のラベリング処理の結果、縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］のエッジはいずれかのラベル番号を与えられ、グルーピングされることになる。
【０１４０】
つぎに、ステップ１０４にて、グルーピングされたエッジの中から、画像上でｙ方向に長い縦エッジを２本抽出する。
【０１４１】
さらに、ステップ１０５にて、抽出されたエッジがペアであるかを判定する。ペアであるかの判定には、縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］、および、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いる。図１２は、エッジのペア判定の例である。
【０１４２】
まず、縦エッジ画像中で抽出された２本のエッジのうち、画像上のｙ方向の重複範囲（ＳＹ＿ＰＡＩＲ，ＥＹ＿ＰＡＩＲ）を求める。
【０１４３】
つぎに、抽出された２本のエッジそれぞれについて、ＳＹ＿ＰＡＩＲ，ＥＹ＿ＰＡＩＲの範囲内で、対応する位置の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］から、勾配方向の平均ＤＩＲ＿ＰＡＩＲ１，ＤＩＲ＿ＰＡＩＲ２を算出する。
【０１４４】
そして、ＤＩＲ＿ＰＡＩＲ１，ＤＩＲ＿ＰＡＩＲ２の方向がペアになっているかを判定する。判定は、例えば、
（１）ＤＩＲ＿ＰＡＩＲ１＞ＤＩＲ＿ＰＡＩＲ２の場合、
ＡＢＳ（ＤＩＲ＿ＰＡＩＲ１―ＤＩＲ＿ＰＡＩＲ２―１８０）＜ＴＨ＿ＰＡＩＲ
（２）それ以外の場合
ＡＢＳ（ＤＩＲ＿ＰＡＩＲ２―ＤＩＲ＿ＰＡＩＲ１―１８０）＜ＴＨ＿ＰＡＩＲ
が成立するか否かで行う。ここで、ＴＨ＿ＰＡＩＲはエッジがペアになっているかを判定する角度の許容量であり、本実施例では２２.５とする。また、ＡＢＳ（）は絶対値である。判定の結果、ペアであると判定された場合は、ステップ１０６へ進み、そうでない場合はステップ１０８へと進む。
【０１４５】
ステップ１０６は、画像上のｙ方向の重複範囲（ＳＹ＿ＰＡＩＲ，ＥＹ＿ＰＡＩＲ）の長さが所定値ＴＨ＿ＬＥＮＧＴＨＰＡＩＲ以上であるかを判定する。所定値以上であると判定された場合は、ステップ１０７へ進み、そうでない場合、つまり所定値未満であると判定された場合は、ステップ１０８へと進む。
【０１４６】
ステップ１０７は、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）に障害物が存在するとし、障害物認識部１０６１（２０６１）へ情報を伝える。
【０１４７】
また、ステップ１０８は、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）に障害物は存在しないとし、障害物認識部１０６１（２０６１）へ情報を伝えない。
【０１４８】
以上説明したように、本実施形態を用いることによって、例えば図１３のようなシーンにおいて障害物の有無を正しく判断することができる。
【０１４９】
図１３（ａ）（ｂ）は自車のヘッドライトによって一部に光が当たっている物体の例であり、（ａ）は高さのある障害物、（ｂ）は高さのない障害物である。このような場合、自車のヘッドライト照射高さの上下で分割せずにエッジを抽出すると、それぞれ図１３（ｃ）（ｄ）のようなエッジが得られ、区別することができない。
【０１５０】
しかし、本発明を用いることにより、抽出されるエッジは図１３（ｅ）（ｆ）となり、暗い領域のエッジが正しく抽出され、（ａ）は高さがあるため衝突の危険がある障害物、（ｂ）は高さがないため衝突の危険がない障害物であると認識することができる。
【０１５１】
つぎに、図１４を用いて、プリクラッシュ・セーフティ・システムを例にとり、前記の実施例に記載のように車載用物体検知装置の認識結果出力部より出力される障害物情報（相対距離ＰＹＯ［ｂ］，横位置ＰＸＯ［ｂ］，横幅ＷＤＯ［ｂ］）に応じて警報を出力する、あるいは自動的にブレーキを制御するといったシステムの動作方法について説明する。
【０１５２】
図１４は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。
【０１５３】
最初に、ステップ１４１において、上記いずれかの障害物検知装置の認識結果出力部で出力された障害物情報（相対距離ＰＹＯ［ｂ］，横位置ＰＸＯ［ｂ］，横幅ＷＤＯ［ｂ］）を読み込む。
【０１５４】
つぎに、ステップ１４２において、検知された各物体の衝突予測時間ＴＴＣ［ｉ］を式（４）を用いて演算する。ここで、相対速度ＶＹＯ［ｂ］は、物体の相対距離ＰＹＯ［ｂ］を擬似微分することによって求める。
【０１５５】
ＴＴＣ［ｂ］＝ＰＹ［ｂ］÷ＶＹ［ｂ］ （４）
さらに、ステップ１４３において、各障害物に対する危険度ＤＲＥＣＩ［ｂ］を演算する。
【０１５６】
以下、車載用物体検知装置１０００（もしくは車載用物体検知装置２０００）で検知された物体Ｘ［ｂ］に対する危険度ＤＲＥＣＩ［ｂ］の演算方法の例を、図１５を用いて説明する。
【０１５７】
まず、予測進路の推定方法について説明する。図１５に示すように、自車位置を原点Ｏとすると、予測進路は原点Ｏを通る旋回半径Ｒの円弧で近似できる。ここで、旋回半径Ｒは、自車の操舵角α，速度Ｖｓｐ，スタビリティファクタＡ，ホイールベースＬおよびステアリングギア比Ｇｓを用いて式（５）で表される。
【０１５８】
Ｒ＝（１＋Ａ・Ｖｓｐ・Ｖｓｐ）×（Ｌ・Ｇｓ／α） （５）
スタビリティファクタとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。式（５）からわかるように、旋回半径Ｒは、スタビリティファクタＡを係数として、自車の速度Ｖｓｐの２乗に比例して変化する。また、旋回半径Ｒは車速Ｖｓｐおよびヨーレートγを用いて式（６）で表すことができる。
【０１５９】
Ｒ＝Ｖ／γ （６）
つぎに、物体Ｘ［ｂ］から、旋回半径Ｒの円弧で近似した予測進路の中心へ垂線を引き、距離Ｌ［ｂ］を求める。
【０１６０】
さらに、自車幅Ｈから距離Ｌ［ｂ］を引き、これが負値の場合には危険度ＤＲＥＣＩ［ｂ］＝０とし、正値の場合には以下の式（７）によって危険度ＤＲＥＣＩ［ｂ］を演算する。
【０１６１】
ＤＲＥＣＩ［ｂ］＝（Ｈ−Ｌ［ｂ］）／Ｈ （７）
なお、ステップ１４１〜１４３の処理は、検知した物体数に応じてループ処理を行う構成としている。
【０１６２】
ステップ１４４において、ステップ１４３で演算した危険度ＤＲＥＣＩ［ｂ］に応じて式（８）の条件が成立している物体を選択し、選択された物体の中で衝突予測時間ＴＴＣ［ｂ］が最小となる物体ｂＭｉｎを選択する。
【０１６３】
ＤＲＥＣＩ［ｂ］≧ｃＤＲＥＣＩ＃ （８）
ここで、所定値ｃＤＲＥＣＩ＃は、自車に衝突するか否かを判定するための閾値である。
【０１６４】
つぎに、ステップ１４５において、選択された物体ｋの衝突予測時間ＴＴＣ［ｂＭｉｎ］に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。式（９）が成立している場合にはステップ１４６に進み、ブレーキ制御を実行して処理を終了する。また、式（９）が非成立の場合にはステップ１４７に進む。
【０１６５】
ＴＴＣ［ｂＭｉｎ］≦ｃＴＴＣＢＲＫ＃ （９）
ステップ１４７において、選択された物体ｂＭｉｎの衝突予測時間ＴＴＣ［ｂＭｉｎ］に応じて警報を出力する範囲であるか否かの判定を行う。式（１０）が成立している場合にはステップ１４８に進み、警報を出力して処理を終了する。また、式（１０）が非成立の場合には、ブレーキ制御，警報ともに実行せずに処理を終了する。
【０１６６】
ＴＴＣ［ｂＭｉｎ］≦ｃＴＴＣＡＬＭ＃ （１０）
以上説明したように、本発明である車載用物体検知装置１０００もしくは２０００を用いることによって、図１０のようなシーンにおいて、歩行者の足元のみに光が当たっており、足元のみでは歩行者か判定できない場合においても、光が当たっていない領域のエッジを抽出できるため、自車前方の歩行者を認識でき、上記警報やブレーキ制御を発動させることができる。
【０１６７】
また、図１３のようなシーンにおいて、物体の一部のみに光が当たっており、一部では自車にとって衝突の危険がある物体か判定することができない場合においても、光が当たっていない領域のエッジを抽出できるため、自車にとって衝突の危険がある物体に対してのみ上記警報やブレーキ制御を発動させることができる。
【０１６８】
また、図１６の例に対して本発明を適用した場合について説明する。
まず、自車のヘッドライトと同程度の光を発する外部照明がＯＮの状態で、路面の凹凸により生じる、路面の濃淡差をＤＩＦ１＿Ｒとする。そして、外部照明ＯＮ時に、同程度の濃淡差を持つ、淡い物体Ｂを用意する。物体Ｂの、外部照明ＯＮの状態での輪郭の内外の濃淡差をＤＩＦ１＿Ｂ、外部照明ＯＦＦの状態での輪郭の内外の濃淡差をＤＩＦ０＿Ｂとすると、ＤＩＦ１＿Ｂ＝ＤＩＦ１＿Ｒである。図１６の例では、ＤＩＦ１＿Ｂ＝１０，ＤＩＦ０＿Ｂ＝５である。
【０１６９】
また、物体Ｂと全く同じ形状であるが濃淡差が物体Ｂより大きく、外部照明ＯＮの状態では輪郭の内外の濃淡差がＤＩＦ１＿Ａ、外部照明がＯＦＦの状態では輪郭の内外の濃淡差がＤＩＦ０＿Ａとなり、かつＤＩＦ０＿Ａ＝ＤＩＦ１＿Ｂとなる物体Ａを用意する。図１６の例では、ＤＩＦ１＿Ａ＝２０，ＤＩＦ０＿Ａ＝１０である。
【０１７０】
物体Ｂの輪郭の濃淡差は路面の凹凸により生じる濃淡差と同じであるため、路面の凹凸による誤検知を発生させないためには、物体Ａを認識し、物体Ｂを認識しないことが必要である。しかし、ＤＩＦ０＿Ａ＝ＤＩＦ１＿Ｂであるため、外部照明ＯＦＦ時に物体Ａを認識するためには、照明状況に応じてエッジの閾値を変化させる必要がある。
【０１７１】
本発明は、照明状況に応じてエッジの閾値を変化させるため、外部照明ＯＮ時、および、外部照明ＯＦＦ時どちらにおいても、物体Ａを認識し、物体Ｂを認識しない。さらに、本発明は、物体を含む画像領域を小領域に分割し、各小領域の照明状態に応じてエッジの閾値を設定するため、外部照明ＯＦＦ時にヘッドライトを照射した場合においても、物体Ａを認識し、物体Ｂを認識しない。
【０１７２】
なお、本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１７３】
７１ 局所エッジ判定器
８１ 識別器
７１１ 局所エッジ頻度算出部
７１２ 閾値処理部
８１２ 合計部
８１３ 閾値処理部
１０００，２０００ 車載用物体検知装置
１０１０ カメラ
１０１１ 画像取得部
１０２１ 処理画像生成部
１０３１，２０３１ 小領域分割部
１０４１，２０４１ エッジ閾値設定部
１０５１，２０５１ エッジ抽出部
１０６１，２０６１ 障害物認識部
１０７１ 認識結果出力部
１１１１ 物体位置検出部
１２１１ 自車ライト点灯検出部
１３１１ 路面ペイント検出部
２０２１ 処理領域設定部
７１１１ ウィンドウ
７１１２ 局所エッジ頻度算出領域
７１１３ 角度条件
８１０１〜８１４０ 局所エッジ頻度判定器
【特許請求の範囲】
【請求項１】
自車外を撮像した画像を取り込む画像取得部と、
取り込まれた前記画像から障害物を検知するための処理画像を生成する処理画像生成部と、
前記処理画像を複数の小領域に分割する小領域分割部と、
前記複数の小領域と前記処理画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、
前記複数の小領域と前記処理画像から小領域毎の濃淡勾配値を算出し、算出された前記濃淡勾配値に対応する小領域の前記エッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、
前記エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、前記マッチング判定領域内のエッジ画像及び前記エッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、
障害物の判定結果を出力する認識結果出力部と、を有し、
前記小領域分割部は、自車外の照明状態に基づいて前記処理画像を複数の小領域に分割する障害物検知装置。
【請求項２】
請求項１記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部を有し、
前記処理画像生成部は、前記画像と前記障害物の位置に基づいて、処理画像を生成する障害物検知装置。
【請求項３】
請求項１記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
自車のライトの点灯状態を検出する自車ライト点灯検出部と、を有し、
前記小領域分割部は、前記自車ライト点灯検出部でライトが点灯していると検出された場合、前記物体位置検出部からの障害物の位置と、予め定められた自車ライトの照射角度及び自車ライトの路面からの高さ、に基づいて、障害物へ照射される高さを算出し、算出された前記障害物へ照射される高さに対する画像上の座標を境にして前記処理画像から複数の小領域に分割する障害物検知装置。
【請求項４】
請求項１記載の障害物検知装置において、
自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部を有し、
前記小領域分割部は、前記路面ペイント検出部で検出された路面ペイントの距離から前記路面ペイントの位置を算出し、前記路面ペイントの位置を境にして前記処理画像から複数の小領域に分割する障害物検知装置。
【請求項５】
請求項１記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
自車のライトの点灯状態を検出する自車ライト点灯検出部と、
自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部と、を有し、
前記小領域分割部は、
前記自車ライト点灯検出部で自車がライトを点灯している場合は、前記物体位置検出部の検出結果と前記自車ライト点灯検出部の検出結果で得られる位置を境にして前記処理画像を複数の小領域に分割し、
前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出された場合は、検出された前記路面ペイントの位置を境にして前記処理画像を複数の小領域に分割し、
前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出されない場合は、前記画像の消失点を境にして前記処理画像を複数の小領域に分割する障害物検知装置。
【請求項６】
請求項１記載の記載の障害物検知装置において、
前記障害物認識部は、前記エッジ画像と前記勾配方向画像から複数の縦エッジ画像を生成し、前記複数の縦エッジ画像から予め定めた条件を満たす縦エッジ画像をグルーピングし、前記グルーピングされた縦エッジ画像の中から縦エッジを２本抽出し、前記２本の縦エッジが前記縦エッジ画像及び前記勾配方向画像に基づいてペアか否か判定し、判定結果としてペアでない場合は、障害物ではないと判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ以上の場合は、障害物と判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ未満の場合は、障害物ではないと判定する障害物検知装置。
【請求項７】
請求項１記載の障害物検知装置において、
前記認識結果出力部は、前記障害物認識部で認識した障害物の位置に応じて、車両の警報、ブレーキ制御の少なくともいずれか１つを作動させる障害物体検知装置。
【請求項８】
請求項１記載の障害物検知装置において、
前記小領域分割手段にて分割する小領域の境界部分には、ヒステリシスを持つ車載用物体検知装置。
【請求項９】
自車外を撮像した画像を取り込む画像取得部と、
取り込まれた前記画像から障害物を検知するための処理領域を設定する処理領域設定部と、
前記処理領域を複数の小領域に分割する小領域分割部と、
前記複数の小領域と前記画像取得部で取り込まれた前記画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、
前記複数の小領域と前記画像取得部で取り込まれた前記画像から小領域毎の濃淡勾配値を算出し、算出された前記濃淡勾配値に対応する小領域の前記エッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、
前記エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、前記マッチング判定領域内のエッジ画像及び前記エッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、
障害物の判定結果を出力する認識結果出力部と、を有し、
前記小領域分割部は、自車外の照明状態に基づいて前記処理領域を複数の小領域に分割する障害物検知装置。
【請求項１０】
請求項９記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部を有し、
前記処理領域設定部は、前記画像と前記障害物の位置に基づいて、処理領域を設定する障害物検知装置。
【請求項１１】
請求項９記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
自車のライトの点灯状態を検出する自車ライト点灯検出部と、を有し、
前記小領域分割部は、前記自車ライト点灯検出部でライトが点灯していると検出された場合、前記物体位置検出部からの障害物の位置と、予め定められた自車ライトの照射角度及び自車ライトの路面からの高さ、に基づいて、障害物へ照射される高さを算出し、算出された前記障害物へ照射される高さに対する画像上の座標を境にして前記処理領域から複数の小領域に分割する障害物検知装置。
【請求項１２】
請求項９記載の障害物検知装置において、
自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部を有し、
前記小領域分割部は、前記路面ペイント検出部で検出された路面ペイントの距離から前記路面ペイントの位置を算出し、前記路面ペイントの位置を境にして前記処理領域から複数の小領域に分割する障害物検知装置。
【請求項１３】
請求項９記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
自車のライトの点灯状態を検出する自車ライト点灯検出部と、
自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部と、を有し、
前記小領域分割部は、
前記自車ライト点灯検出部で自車がライトを点灯している場合は、前記物体位置検出部の検出結果と前記自車ライト点灯検出部の検出結果で得られる位置を境にして前記処理領域を複数の小領域に分割し、
前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出された場合は、検出された前記路面ペイントの位置を境にして前記処理領域を複数の小領域に分割し、
前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出されない場合は、前記画像の消失点を境にして前記処理領域を複数の小領域に分割する障害物検知装置。
【請求項１４】
請求項９記載の記載の障害物検知装置において、
前記障害物認識部は、前記エッジ画像と前記勾配方向画像から複数の縦エッジ画像を生成し、前記複数の縦エッジ画像から予め定めた条件を満たす縦エッジ画像をグルーピングし、前記グルーピングされた縦エッジ画像の中から縦エッジを２本抽出し、前記２本の縦エッジが前記縦エッジ画像及び前記勾配方向画像に基づいてペアか否か判定し、判定結果としてペアでない場合は、障害物ではないと判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ以上の場合は、障害物と判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ未満の場合は、障害物ではないと判定する障害物検知装置。
【請求項１５】
請求項９記載の障害物検知装置において、
前記認識結果出力部は、前記障害物認識部で認識した障害物の位置に応じて、車両の警報，ブレーキ制御の少なくともいずれか１つを作動させる障害物体検知装置。
【請求項１６】
請求項９記載の障害物検知装置において、
前記小領域分割手段にて分割する小領域の境界部分には、ヒステリシスを持つ車載用物体検知装置。
【請求項１】
自車外を撮像した画像を取り込む画像取得部と、
取り込まれた前記画像から障害物を検知するための処理画像を生成する処理画像生成部と、
前記処理画像を複数の小領域に分割する小領域分割部と、
前記複数の小領域と前記処理画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、
前記複数の小領域と前記処理画像から小領域毎の濃淡勾配値を算出し、算出された前記濃淡勾配値に対応する小領域の前記エッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、
前記エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、前記マッチング判定領域内のエッジ画像及び前記エッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、
障害物の判定結果を出力する認識結果出力部と、を有し、
前記小領域分割部は、自車外の照明状態に基づいて前記処理画像を複数の小領域に分割する障害物検知装置。
【請求項２】
請求項１記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部を有し、
前記処理画像生成部は、前記画像と前記障害物の位置に基づいて、処理画像を生成する障害物検知装置。
【請求項３】
請求項１記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
自車のライトの点灯状態を検出する自車ライト点灯検出部と、を有し、
前記小領域分割部は、前記自車ライト点灯検出部でライトが点灯していると検出された場合、前記物体位置検出部からの障害物の位置と、予め定められた自車ライトの照射角度及び自車ライトの路面からの高さ、に基づいて、障害物へ照射される高さを算出し、算出された前記障害物へ照射される高さに対する画像上の座標を境にして前記処理画像から複数の小領域に分割する障害物検知装置。
【請求項４】
請求項１記載の障害物検知装置において、
自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部を有し、
前記小領域分割部は、前記路面ペイント検出部で検出された路面ペイントの距離から前記路面ペイントの位置を算出し、前記路面ペイントの位置を境にして前記処理画像から複数の小領域に分割する障害物検知装置。
【請求項５】
請求項１記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
自車のライトの点灯状態を検出する自車ライト点灯検出部と、
自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部と、を有し、
前記小領域分割部は、
前記自車ライト点灯検出部で自車がライトを点灯している場合は、前記物体位置検出部の検出結果と前記自車ライト点灯検出部の検出結果で得られる位置を境にして前記処理画像を複数の小領域に分割し、
前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出された場合は、検出された前記路面ペイントの位置を境にして前記処理画像を複数の小領域に分割し、
前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出されない場合は、前記画像の消失点を境にして前記処理画像を複数の小領域に分割する障害物検知装置。
【請求項６】
請求項１記載の記載の障害物検知装置において、
前記障害物認識部は、前記エッジ画像と前記勾配方向画像から複数の縦エッジ画像を生成し、前記複数の縦エッジ画像から予め定めた条件を満たす縦エッジ画像をグルーピングし、前記グルーピングされた縦エッジ画像の中から縦エッジを２本抽出し、前記２本の縦エッジが前記縦エッジ画像及び前記勾配方向画像に基づいてペアか否か判定し、判定結果としてペアでない場合は、障害物ではないと判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ以上の場合は、障害物と判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ未満の場合は、障害物ではないと判定する障害物検知装置。
【請求項７】
請求項１記載の障害物検知装置において、
前記認識結果出力部は、前記障害物認識部で認識した障害物の位置に応じて、車両の警報、ブレーキ制御の少なくともいずれか１つを作動させる障害物体検知装置。
【請求項８】
請求項１記載の障害物検知装置において、
前記小領域分割手段にて分割する小領域の境界部分には、ヒステリシスを持つ車載用物体検知装置。
【請求項９】
自車外を撮像した画像を取り込む画像取得部と、
取り込まれた前記画像から障害物を検知するための処理領域を設定する処理領域設定部と、
前記処理領域を複数の小領域に分割する小領域分割部と、
前記複数の小領域と前記画像取得部で取り込まれた前記画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、
前記複数の小領域と前記画像取得部で取り込まれた前記画像から小領域毎の濃淡勾配値を算出し、算出された前記濃淡勾配値に対応する小領域の前記エッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、
前記エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、前記マッチング判定領域内のエッジ画像及び前記エッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、
障害物の判定結果を出力する認識結果出力部と、を有し、
前記小領域分割部は、自車外の照明状態に基づいて前記処理領域を複数の小領域に分割する障害物検知装置。
【請求項１０】
請求項９記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部を有し、
前記処理領域設定部は、前記画像と前記障害物の位置に基づいて、処理領域を設定する障害物検知装置。
【請求項１１】
請求項９記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
自車のライトの点灯状態を検出する自車ライト点灯検出部と、を有し、
前記小領域分割部は、前記自車ライト点灯検出部でライトが点灯していると検出された場合、前記物体位置検出部からの障害物の位置と、予め定められた自車ライトの照射角度及び自車ライトの路面からの高さ、に基づいて、障害物へ照射される高さを算出し、算出された前記障害物へ照射される高さに対する画像上の座標を境にして前記処理領域から複数の小領域に分割する障害物検知装置。
【請求項１２】
請求項９記載の障害物検知装置において、
自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部を有し、
前記小領域分割部は、前記路面ペイント検出部で検出された路面ペイントの距離から前記路面ペイントの位置を算出し、前記路面ペイントの位置を境にして前記処理領域から複数の小領域に分割する障害物検知装置。
【請求項１３】
請求項９記載の障害物検知装置において、
障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
自車のライトの点灯状態を検出する自車ライト点灯検出部と、
自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部と、を有し、
前記小領域分割部は、
前記自車ライト点灯検出部で自車がライトを点灯している場合は、前記物体位置検出部の検出結果と前記自車ライト点灯検出部の検出結果で得られる位置を境にして前記処理領域を複数の小領域に分割し、
前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出された場合は、検出された前記路面ペイントの位置を境にして前記処理領域を複数の小領域に分割し、
前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出されない場合は、前記画像の消失点を境にして前記処理領域を複数の小領域に分割する障害物検知装置。
【請求項１４】
請求項９記載の記載の障害物検知装置において、
前記障害物認識部は、前記エッジ画像と前記勾配方向画像から複数の縦エッジ画像を生成し、前記複数の縦エッジ画像から予め定めた条件を満たす縦エッジ画像をグルーピングし、前記グルーピングされた縦エッジ画像の中から縦エッジを２本抽出し、前記２本の縦エッジが前記縦エッジ画像及び前記勾配方向画像に基づいてペアか否か判定し、判定結果としてペアでない場合は、障害物ではないと判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ以上の場合は、障害物と判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ未満の場合は、障害物ではないと判定する障害物検知装置。
【請求項１５】
請求項９記載の障害物検知装置において、
前記認識結果出力部は、前記障害物認識部で認識した障害物の位置に応じて、車両の警報，ブレーキ制御の少なくともいずれか１つを作動させる障害物体検知装置。
【請求項１６】
請求項９記載の障害物検知装置において、
前記小領域分割手段にて分割する小領域の境界部分には、ヒステリシスを持つ車載用物体検知装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−６９６２６（Ｐ２０１１−６９６２６Ａ）
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２００９−２１８４０５（Ｐ２００９−２１８４０５）
【出願日】平成２１年９月２４日（２００９．９．２４）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
【公開日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年９月２４日（２００９．９．２４）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
[ Back to top ]