車両用歩行者検出装置
【課題】歩行者の服の柄や皺等形状以外の情報に影響を受けることなく、歩行者を効率的に判定可能な車両用歩行者検出装置を提供する。
【解決手段】距離画像作成手段１２は輝度変化に関わる解析不要な情報を除去した距離画像Ｆ３を作成し、正規化手段１３と判定用セル設定手段１５は距離画像Ｆ３よりも小範囲の判定用セルＳ（ｎ，ｍ）を設定する。また、第１距離勾配ベクトル算出手段１６と第１ヒストグラム作成手段１７は、対象物Ｏの形状に対応した特定領域としての判定用セルＳ（ｎ，ｍ）の距離勾配ベクトルＶＫについて、歩行者検出に必要なヒストグラムデータＨ１を作成する。このヒストグラムデータＨ１をヒストグラム基準データＨ０と比較するため、形状判定に解析不要な情報を除去した状態で歩行者を判定でき、歩行者判定処理の高速化と誤検出防止を図ることができる。
【解決手段】距離画像作成手段１２は輝度変化に関わる解析不要な情報を除去した距離画像Ｆ３を作成し、正規化手段１３と判定用セル設定手段１５は距離画像Ｆ３よりも小範囲の判定用セルＳ（ｎ，ｍ）を設定する。また、第１距離勾配ベクトル算出手段１６と第１ヒストグラム作成手段１７は、対象物Ｏの形状に対応した特定領域としての判定用セルＳ（ｎ，ｍ）の距離勾配ベクトルＶＫについて、歩行者検出に必要なヒストグラムデータＨ１を作成する。このヒストグラムデータＨ１をヒストグラム基準データＨ０と比較するため、形状判定に解析不要な情報を除去した状態で歩行者を判定でき、歩行者判定処理の高速化と誤検出防止を図ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に少なくとも１つのＣＣＤカメラ等の撮像手段を搭載し、撮像された画像から距離に関するヒストグラムデータを算出し、車両の前方に存在する歩行者を検出する車両用歩行者検出装置に関する。
【背景技術】
【０００２】
従来、自車両の周囲に存在する車両や歩行者等の障害物を検出するため、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像手段を備え、この撮像画像を処理して車両の運転や走行に用いる情報を得る技術は公知である。
【０００３】
この種の障害物検出装置では、撮像された画像から輝度変化に関する画素の濃淡情報を抽出し、対象物の輪郭線に相当するエッジを検出する手法や、対象物となる歩行者や構造物等について、予め照合用のテンプレート（参照画像）を多数取得し、このテンプレートと照合する手法が採用されている。前者のエッジ検出法は、完全な閉輪郭線が抽出されない場合、対象物の切り出しが難しく、後者のテンプレート照合法は、テンプレートを多数取得しておく必要があり、照合時間が長時間必要とされる。
【０００４】
一方、車両における歩行者検出の領域では、歩行者検出精度の向上もさることながら、車両が高速走行を行っているため、現実の走行では判定処理の高速化が必要とされる。つまり、撮像された画像に対して、歩行者判定処理を行う解析処理領域を最小にし、更に、この処理時間を最小にしなければ実用に用いることが困難である。
【０００５】
特許文献１に記載された監視装置は、２つの撮像手段によって撮像された画像から輝度分布と形状に関する特徴を抽出し、第１対象物抽出手段が、歩行者や、その特徴が歩行者に類似する人工構造物等の第１対象物を抽出する。また、第２対象物抽出手段が、第１対象物と高さ及び形状が類似する第２対象物を抽出し、この抽出された第１，第２対象物と背景の輝度とを比較し、その輝度変化量が所定値以下のとき、第１，第２対象物を人工構造物と判断するものである。特許文献１によれば、撮像画像から得られた情報のみを用いて、対象物が人工構造物であるか否かを容易に判断できる。
【０００６】
特許文献２に記載された物体検出装置は、撮像した画像を探索ウインドウで探索し、探索ウインドウ内の輝度画像とテンプレートとの比較によって道路平面に対する水平方向のヒストグラムを作成して、このヒストグラムの形状から単峰性の分布を検出している。このヒストグラム形状を判定することで、演算量の低減を図ることができ、高速で物体検出を行うことが可能となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２３６０２９号公報
【特許文献２】特開２００８−２０９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１では、人工構造物の判定を輝度変化量の演算で行い、歩行者を検出する処理時間の短縮化を図っている。また、特許文献２では、ヒストグラムを用いることで、背景に含まれ、歩行者検出に対しては解析不要である構造物等の情報を取り除き、歩行者判定の効率化を図っている。つまり、特許文献１，２は、対象物を撮像する撮像画像の検出精度を高めて、対象物である歩行者の検出精度を増すのではなく、数学的手法を用いて歩行者検出において解析不要な情報を撮像画像の背景から除去し、検出対象である歩行者を効率的に抽出している。
【０００９】
しかしながら、前記何れの文献も、歩行者判定処理を行うにあたり、撮像された画像から輝度に関する画素の濃淡情報を抽出して作成された輝度画像を判定用画像として用いている。この輝度画像は、歩行者の服の柄や皺による影響が画像上に反映されるため、画像上に形状以外の輝度変化を生じさせる。特に、処理の高速化を狙いとしてヒストグラムのような数学的手法と併用する場合には、判定用画像の背景から数値処理によって多くの情報を除去するため、画像上に形状以外の情報が多数存在する場合、誤検出の原因となり得る。
【００１０】
本発明の目的は、歩行者の服の柄や皺等形状以外の情報に影響を受けることなく、歩行者を効率的に判定可能な車両用歩行者検出装置を提供することである。
【課題を解決するための手段】
【００１１】
請求項１の車両用歩行者検出装置は、車両に搭載された少なくとも１つの撮像手段を備え、この撮像手段により撮像された車両前方の画像を処理して歩行者を検出する車両用歩行者検出装置において、前記撮像画像から距離画像を作成する距離画像作成手段と、前記距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段と、前記サブウインドウから、前記対象物の特定領域に対応するセルを設定するセル設定手段と、前記セルを構成するマトリックス状の複数の小領域内における距離勾配ベクトル、又は隣接する画素間の距離勾配ベクトルを算出する距離勾配ベクトル算出手段と、前記距離勾配ベクトルに基づきヒストグラムデータを作成するヒストグラム作成手段と、前記ヒストグラムデータを予め設定して記憶しているヒストグラム基準データと比較することにより、歩行者を判定する歩行者判定手段を備えたことを特徴としている。
【００１２】
この車両用歩行者検出装置においては、撮像画像から距離画像を作成する距離画像作成手段を備えるため、形状以外の輝度変化を生じさせる歩行者の服の柄や皺による影響を受けない距離画像を得ることができる。この距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段を備えるため、広範囲の撮像画像全体ではなく、撮像画像の一部を処理して歩行者判定を行うことができ、歩行者判定を効率よく短時間で行うことができる。
【００１３】
請求項２の発明は、請求項１の発明において、前記距離勾配ベクトル算出手段は、更に、距離勾配変化率ベクトルを算出することを特徴としている。
【００１４】
請求項３の発明は、請求項２の発明において、前記ヒストグラム作成手段は、前記ベクトルが有する角度毎に、距離勾配ベクトルが有する距離変化量、または距離勾配変化率ベクトルが有する距離勾配変化率量を累積加算することによってヒストグラムデータを作成することを特徴としている。
【００１５】
請求項４の発明は、請求項１〜３の何れか１つの発明において、前記歩行者判定手段は、前記ヒストグラムデータの特定の峰形状を前記ヒストグラム基準データにおける特定の峰形状と比較することによって歩行者を判定することを特徴としている。
【００１６】
請求項５の発明は、請求項１〜４の何れか１つの発明において、前記ヒストグラム作成手段は、所定の車両運転状態のとき、前記サブウインドウの全領域についてセル毎のヒストグラムデータを作成し、前記全ヒストグラムデータのうち、前記ヒストグラム基準データに対して一致度が高いセルを新たな判定用セルに設定することを特徴としている。
【００１７】
請求項６の発明は、請求項３の発明において、前記歩行者判定手段は、前記角度の特定の角度における前記累積加算量を前記ヒストグラム基準データの特定の角度における累積加算量と比較することによって歩行者を判定することを特徴としている。
【００１８】
請求項７の発明は、請求項１の発明において、前記ヒストグラム基準データは、歩行者が判定されたヒストグラムデータに基づいて設定されることを特徴としている。
【００１９】
請求項８の発明は、請求項１〜７の何れか１つの発明において、前記サブウインドウ設定手段は、前記対象物までの距離に依存せずに、前記サブウインドウの大きさを正規化することを特徴としている。
【００２０】
請求項９の発明は、請求項１〜８の何れか１つの発明において、前記サブウインドウ設定手段は、前記距離画像から所定のテンプレートを用いて前記対象物が含まれるサブウインドウを設定したことを特徴としている。
【００２１】
請求項１０の発明は、請求項１〜９の何れか１つの発明において、前記距離画像作成手段は、距離画像をモーションステレオ処理によって作成したことを特徴としている。
【発明の効果】
【００２２】
請求項１の発明によれば、撮像画像から距離画像を作成する距離画像作成手段と、距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段と、サブウインドウから、対象物の特定領域に対応するセルを設定するセル設定手段と、セルを構成するマトリックス状の複数の小領域内における距離勾配ベクトル、又はセルを構成する画素間の距離勾配ベクトルを算出する距離勾配ベクトル算出手段と、距離勾配ベクトルに基づきヒストグラムデータを作成するヒストグラム作成手段と、ヒストグラムデータを予め設定して記憶しているヒストグラム基準データと比較することにより、歩行者を判定する歩行者判定手段を備えたため、歩行者の服の柄や皺等形状以外の情報に影響を受けることなく、歩行者を効率的に検出できる。
【００２３】
つまり、距離画像作成手段を備えたため、歩行者検出において解析不要な情報を除去した距離画像を得ることができる。また、サブウインドウ設定手段とセル設定手段とを備えたため、作成した距離画像よりも小範囲のサブウインドウと、このサブウインドウよりも小範囲とされ、対象物の形状に対応した特定領域としてのセルを設定することができ、判定処理時間の短縮化を図れる。更に、距離勾配ベクトル算出手段とヒストグラム作成手段とを備えたため、対象物の形状に対応した特定領域としてのセルの距離勾配ベクトルについて、歩行者検出に必要なヒストグラムデータを得ることができる。しかも、このヒストグラムデータを予め記憶しているヒストグラム基準データと比較して歩行者を判定するため、歩行者の形状判定に解析不要な情報を除去した状態で判定でき、歩行者判定処理の高速化と誤検出防止を図ることができる。
【００２４】
請求項２の発明によれば、距離勾配ベクトル算出手段が、距離勾配変化率ベクトルを算出するため、幾何学的に曲率が一定とされる人工構造物を処理負荷を増すことなく背景画像から除去することができ、更に、歩行者判定処理の高速化と誤検出防止を図ることができる。
【００２５】
請求項３の発明によれば、ヒストグラム作成手段は、距離勾配ベクトルが有する角度毎に、距離勾配ベクトルが有する距離変化量を累積加算することによってヒストグラムデータを作成するため、形状に付随する角度毎の特徴を処理負荷を増すことなく抽出でき、歩行者の比較判定処理の高速化が図れる。また、距離勾配変化率ベクトルの角度毎に、距離勾配変化率ベクトルが有する距離勾配変化率量を累積加算してヒストグラムデータを作成するため、距離勾配ベクトルによる判定と同様に、形状に付随する角度毎の特徴を処理負荷を増すことなく抽出でき、歩行者の比較判定処理の一層の高速化が図れる。
【００２６】
請求項４の発明によれば、歩行者判定手段は、ヒストグラムデータの特定の峰形状をヒストグラム基準データにおける特定の峰形状と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に且つ精度よく検出できる。
【００２７】
請求項５の発明によれば、ヒストグラム作成手段は、所定の車両運転状態のとき、サブウインドウの全領域についてセル毎のヒストグラムデータを作成するため、車両走行中の歩行者判定を阻害することなく、サブウインドウの全領域についてセル毎のヒストグラムデータを得ることができる。更に、全ヒストグラムデータのうち、ヒストグラム基準データに対して一致度が高いセルを新たな判定用セルに設定するため、歩行者検出の容易化と検出精度向上が共に図れ、一層誤検出防止と処理負荷低減が図れる。
【００２８】
請求項６の発明によれば、歩行者判定手段は、前記角度の特定の角度における累積加算量をヒストグラム基準データの特定の角度における累積加算量と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に検出できる。
【００２９】
請求項７の発明によれば、ヒストグラム基準データは、歩行者が実際に判定されたヒストグラムデータに基づいて設定されるため、ヒストグラム基準データを適正化でき、歩行者検出精度を高めることができる。
【００３０】
請求項８の発明によれば、サブウインドウ設定手段は、対象物までの距離に依存せずに、サブウインドウの大きさを正規化するため、対象物までの距離に拘わらず、同じ大きさのサブウインドウによって比較判定でき、検出精度向上と処理の高速化が図れる。
【００３１】
請求項９の発明によれば、サブウインドウ設定手段は、距離画像から所定のテンプレートを用いて対象物が含まれるサブウインドウを設定したため、サブウインドウの設定が容易になり、処理の高速化が図れる。
【００３２】
請求項１０の発明によれば、距離画像作成手段は、距離画像をモーションステレオ処理によって作成したため、単一カメラで距離画像を作成できる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施例に係る歩行者検出装置の全体概略構成図である。
【図２】歩行者検出装置の機能ブロック図である。
【図３】距離画像の作成方法についての説明図である。
【図４】セルの作成方法についての説明図である。
【図５】距離勾配ベクトルの算出方法を示し、（ａ）は小領域を用いた算出方法の説明図、（ｂ）は別の算出方法の説明図である。
【図６】ヒストグラムデータを示す図である。
【図７】ヒストグラム基準データを示す図である。
【図８】歩行者検出装置における歩行者検出制御のフローチャートである。
【図９】距離勾配変化率ベクトルの説明図である。
【発明を実施するための形態】
【００３４】
以下、本発明を実施するための形態について実施例に基づいて説明する。
【実施例】
【００３５】
以下、この発明の実施例について、図１〜図９に基づいて説明する。
【００３６】
図１、図２に示すように、車両用歩行者検出装置１は、ＣＣＤカメラ２、車両の走行速度を検出する車速センサ３、乗員によるブレーキ操作を検出可能なブレーキスイッチ４、ＧＰＳ手段５（Global Positioning System）、インスツルメントパネルに配置される警報装置６、車両用歩行者検出装置１のコントロールユニット９を備えている。また、このコントロールユニット９は、ブレーキ装置７、操舵制御装置８と電気的に接続されている。
【００３７】
ＣＣＤカメラ２は、車両の進行方向前方を撮像する撮像手段であり、例えば、フロントガラスの上部後側に前方へ向けて取付けられ、コントロールユニット９からの指示によってＣＣＤカメラ２の撮像方向を変更可能に構成されている。ＣＣＤカメラ２は自車両前方の歩行者等を含む前方視界を撮像した後、このＣＣＤカメラ２で撮像された輝度画像情報はコントロールユニット９に送られる。この歩行者検出装置１では、単一のＣＣＤカメラ２によって、異なる地点から２枚の輝度画像を撮像し、この２枚の輝度画像から三角測量法を用いて距離画像を作成するモーションステレオ処理を採用している。尚、複眼のステレオカメラを設け、同時に２枚の輝度画像を撮像することも可能である。
【００３８】
ＧＰＳ手段５は、自車両の現在走行位置（緯度・経度）を検出する。このＧＰＳ手段５は、例えば、人工衛星や地磁気を利用して位置を検出するもの、或いは車速と舵角との関係から自車両Ｖの走行位置を追跡して現在走行位置を検出するもの等、既知の位置検出手段を適宜選択可能である。
【００３９】
警報装置６は、検出した歩行者の自車両に対する危険度に応じて、コントロールユニット９からの指示により乗員の注意を喚起するための警報を行う。この警報装置６は、図示しないスピーカ、ブザー、ランプ、ディスプレイを有しており、これらスピーカ等の少なくとも１つを残して省略可能である。
【００４０】
ブレーキ装置７は、検出した歩行者の自車両に対する危険度に応じて、コントロールユニット９からの指示により車両の制動制御を行う。このブレーキ装置７は、危険度が中のとき、比較的弱い、乗員に注意を促すための一次ブレーキを作動するよう構成している。また、危険度が高のとき、歩行者との衝突を回避するための強い二次ブレーキを作動するよう構成している。
【００４１】
操舵制御装置８は、検出した歩行者の自車両に対する危険度に応じて、コントロールユニット９からの指示により車両の操舵力を付与する。この操舵制御装置８は、危険度が高のとき、ナックルアーム、タイロッド、駆動機構からなる操舵機構（図示略）によって歩行者との衝突を回避するための操舵力を付与するよう構成している。
【００４２】
図２に示すように、コントロールユニット９は、画像記憶手段１０、モーションステレオ手段１１、距離画像作成手段１２、正規化手段１３（サブウインドウ設定手段）、セル作成手段１４、判定用セル設定手段１５、第１距離勾配ベクトル算出手段１６、第１ヒストグラム作成手段１７、歩行者判定手段１８、歩行者危険度判定手段１９を備えている。更に、コントロールユニット９は、学習条件判定手段２０、第２距離勾配ベクトル算出手段２１、第２ヒストグラム作成手段２２、一致度判定手段２３、ヒストグラム保存判定手段２４、判定用データ作成手段２５、第１メモリ手段２６、第２メモリ手段２７を備えている。
【００４３】
図３に示すように、画像記憶手段１０は、ＣＣＤカメラ２で撮像された車両前方の対象物Ｏが含まれる実空間である対象領域Ｆ０の輝度画像をメモリ（図示略）に記憶している。
この歩行者検出装置１は単一のＣＣＤカメラ２によるモーションステレオ処理を行うため、画像記憶手段１０は、対象領域Ｆ０の第１輝度画像Ｆ１と、所定時間後、異なる位置から撮像した第１輝度画像Ｆ１と同じ対象領域Ｆ０の第２輝度画像Ｆ２を記憶している。
【００４４】
モーションステレオ手段１１は、第１，第２輝度画像Ｆ１，Ｆ２に基づいて、対象領域Ｆ０の夫々の画素と自車両との距離を算出する。このモーションステレオ手段１１は、ＧＰＳ手段５から得られた自車両の位置（緯度・経度）と第１輝度画像Ｆ１中の特徴点と，これに対応する第２輝度画像Ｆ２中の対応点の視差量を用いて、三角測量法により各画素の距離情報を求める。尚、この三角測量法は公知の技術のため、詳細は説明を省略する。
【００４５】
図３に示すように、距離画像作成手段１２は、モーションステレオ手段１１によって算出された各画素の距離情報に基づき、対象物Ｏが含まれる距離画像Ｆ３を作成する。ＣＣＤカメラ２で撮像された第１，第２輝度画像Ｆ１，Ｆ２は、輝度変化に関する各画素の濃淡情報で表現されるため、歩行者の服の柄や皺による影響が画像に現れる。一方、距離画像作成手段１２で作成された距離画像Ｆ３は、歩行者判定に解析不要な輝度情報を除去した形状及び距離情報のみで構成されている。
【００４６】
図４に示すように、正規化手段１３は、距離画像Ｆ３内に歩行者らしき対象物が存在する探索領域Ｔ１を設定し、この探索領域Ｔ１を予め規定された所定サイズのサブウインドウＷに正規化する。まず始めに、正規化手段１３は、所定の対象物Ｏを判定する場合、対象物Ｏと略同距離に存在する他の対象物に基づいて設定されるテンプレート（参照画像）を用いて対象物Ｏが歩行者らしき対象物か否か判定している。このテンプレートは、歩行者に相当する高さと領域を有しており、対象物Ｏと略同距離に存在する他の対象物（例えばガードレール等）の高さ、又は対象物Ｏの画素が有する距離データに比例して拡大縮小可能とされている。
【００４７】
次に、正規化手段１３は、テンプレートを用いた照合によって、所定の対象物Ｏが歩行者らしき対象物と判定された場合、歩行者らしき対象物の存在する領域を探索領域Ｔ１として設定する。しかも、正規化手段１３は、設定された探索領域Ｔ１を距離に依存しない一定のサイズのサブウインドウＷとなるよう領域の大きさを調整している。
つまり、図４に示すように、歩行者らしき対象物が近距離に存在する場合は探索領域Ｔ１を縮小し、距離画像Ｆ４のように、歩行者らしき対象物が遠距離に存在する場合は探索領域Ｔ２を拡大することで、常に一定サイズのサブウインドウＷとなるように正規化している。
【００４８】
図４に示すように、セル作成手段１４は、サブウインドウＷ内をＮ×Ｍの複数のセルＳに分割する。分割数Ｎ，Ｍは、予め設定された値であり、歩行者検出精度と判定処理速度とを両立可能な値を実験値によって求めている。また、分割数Ｎ，Ｍについて、歩行者検出結果に基づく学習によって自動更新するように構成することも可能である。尚、この歩行者検出装置１では、サブウインドウＷ内を４×２に分割した例を説明する。
【００４９】
判定用セル設定手段１５は、セル作成手段１４で設定された２×４の複数セルのうち、歩行者判定処理を行う特定の判定用セルＳ（ｎ，ｍ）を設定する。第１メモリ手段２６に記憶された歩行者検出精度の高い部位（例えば歩行者の腰部）の判定用セル番号（例えば腰部相当のセルＳ（３，２））に基づいて、判定用セルＳ（３，２）をサブウインドウＷ内から抽出する。尚、第１メモリ手段２６には、過去の歩行者判定処理で得られたデータがセルＳ毎に記憶されている。更に、このセルＳの夫々に歩行者検出の判定精度、所謂確からしさが記憶されており、その中で最も検出精度の高いセル番号（ｎ，ｍ）が判定用セル番号として判定用セル設定手段１５に送られるよう構成されている。
【００５０】
判定用セルＳ（ｎ，ｍ）の選択部位は、通常走行時の歩行者検出結果に基づき、学習によって自動更新されるよう構成されている。また、判定用セルＳ（ｎ，ｍ）の学習開始前の初期値は、ディーラや出荷時において工場で予め設定された値が記憶されている。尚、以後、説明の便宜上、腰部に相当するセルＳ（３，２）を予め設定された判定用セルＳ（ｎ，ｍ）の例として説明を行う。
【００５１】
第１距離勾配ベクトル算出手段１６は、図５（ａ）に示すように、判定用セルＳ（３，２）を構成するマトリックス状の複数の小領域Ｃ（Ｐ，Ｑ）に関する距離勾配ベクトルＶＫ（Ｋ＝１，２，３、・）を算出する。この歩行者検出装置１では、判定用セルＳ（３，２）を各小領域Ｃ（Ｐ，Ｑ）（Ｐ＝１，２，３，４，Ｑ＝１，２，３，４）が３×３の画素からなるように分割している。画素数３×３は、予め設定された値であり、歩行者検出精度と判定処理速度とを両立可能な値を実験値によって求めている。
【００５２】
図５（ａ）に示すように、小領域Ｃ内の所定の画素ｇＫ（Ｋ＝１，２…）とこの画素ｇＫと隣り合う画素ｇＫ−１とが、夫々持っている各距離データより、その差ベクトルを算出することで、距離勾配ベクトルＶＫ（Ｋ＝１，２…）を算出する。具体的には、Ｙ方向の画素間距離勾配ベクトルａｉと，Ｘ方向の画素間距離勾配ベクトルａｊ，を算出し、これより距離勾配ベクトルＶＫは次式のベクトル和として算出することができる。
ＶＫ＝ａｉ＋ａｊ …（１）
第１距離勾配ベクトル算出手段１６は、式（１）を用いて、判定用セルＳ（２，３）内の各小領域Ｃについて、距離勾配ベクトルＶＫを算出し、これより、距離勾配ベクトル絶対値＝｜ＶＫ｜、距離勾配ベクトル角度θ＝ａｒｇ（ＶＫ）を算出するよう構成されている。
【００５３】
また、第１距離勾配ベクトル算出手段１６は、前記に代えて、図５（ｂ）に示す方法によることとしても良い。即ち、予め、画素数の決められた小領域Ｃ（Ｐ，Ｑ）に分割することなく、判定用セルＳ（３，２）内のすべての画素ｇＫ（Ｋ＝１，２…）の距離データに対して、これに隣接する画素の距離データの差ベクトルより、前述の方法にて距離勾配ベクトルＶＫ（Ｋ＝１，２…）を算出し、これより絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）を算出し、順次、すぐ右隣の画素ｇＫ＋１に対して同様の算出をおこなう。このように、判定用セルＳ（３，２）内の全ての画素を左上から右下まで走査することで全ての画素に対して、距離勾配ベクトルＶＫ、を算出し、これより絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）を算出する。これにより、離散的でなく、連続的な距離勾配ベクトルＶＫ（Ｋ＝１，２…）、絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）を算出することが出来る。
【００５４】
次に、第１ヒストグラム作成手段１７は、上述の方法により求めた距離勾配ベクトルＶＫ（Ｋ＝１，２…）の、絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）に基づき判定用セルＳ（３，２）に関するヒストグラムデータＨ１（図６参照）を作成する。第１ヒストグラム作成手段１７は、距離勾配ベクトルＶＫが有する角度θ毎に、距離勾配ベクトルＶＫが有する距離変化量である絶対値｜ＶＫ｜を累積加算してヒストグラムデータＨ１を作成するよう構成されている。このヒストグラムデータＨ１は、横軸が角度θ、縦軸が角度毎の距離変化量の加算値Ｓｄからなる棒形状とされ、夫々隣り合う角度θにおける各加算値Ｓｄの頂点を連続して結んだとき、Ｖ字状等夫々撮像された対象物Ｏに固有の峰形状を形成している。つまり、ヒストグラムデータＨ１は、判定用データとして、全体的には対象物Ｏに固有の峰形状を備え、角度毎には距離変化量加算値Ｓｄを特徴として備えている。
【００５５】
歩行者判定手段１８は、作成されたヒストグラムデータＨ１と、第２メモリ２７に記憶されたヒストグラム基準データＨ０（図７参照）とを比較することにより対象物Ｏが歩行者か否かを判定する。歩行者の判定は、以下の条件１，２の何れか一方が成立した場合、対象物Ｏを歩行者と判定する。
［条件１］：ヒストグラムデータＨ１における各加算値Ｓｄの峰形状（例えばＶ字状）とヒストグラム基準データＨ０における各加算値Ｓｄ０の峰形状とが類似している場合
［条件２］：ヒストグラムデータＨ１の所定角度（例えばθ＝２０°）における累積加算値Ｓｄが所定値（例えば８０）以上の場合
尚、条件１については、特定の角度範囲、例えば９０°未満における加算値Ｓｄの峰形状がＶ字状か否かを判定する等、歩行者検出精度の高い角度範囲を予め選定して判定を行ってもよい。また、条件２については、過去、歩行者を検出したときのヒストグラムデータＨ１から累積加算値Ｓｄを比較する所定値を変更するようにしてもよい。
【００５６】
歩行者危険度判定手段１９は、歩行者判定手段１８が歩行者を判定した場合、歩行者と自車両との距離に基づき危険度を判定し、この危険度に応じて警報装置６、ブレーキ装置７、操舵制御装置８に作動指令を送信する。歩行者危険度判定手段１９は、歩行者と自車両との距離に基づいて危険度を区分しており、単に情報提供を狙いとする危険度低（離間距離：５０〜１００ｍ）、警報を狙いとする危険度中（離間距離：１０〜５０ｍ）、強制回避を狙いとする危険度高（離間距離：１０ｍ以下）とされている。
【００５７】
学習条件判定手段２０は、所定の車両運転状態を検出し、前述の歩行者判定に用いるヒストグラム基準データＨ０の更新に用いる学習用ヒストグラムデータＨ２の作成開始を判定している。この歩行者検出装置１では、速い判定時間が要求されない車両停車中で確実に横断歩行者がカメラで撮像される状況下にある場合や、工場やディーラでの出荷前に人間をカメラ前に立たせ撮像する場合に学習用ヒストグラムデータＨ２を作成している。車速センサ３の検出値零とブレーキスイッチ４のオン信号の検出によって車両の停車状態を検出し、学習用ヒストグラムデータＨ２の作成を開始する。尚、工場出荷前であれば、エンジンルーム内に設置したテストスイッチオンで学習用ヒストグラムデータＨ２の作成を開始することも可能である。
【００５８】
前記学習用ヒストグラムデータＨ２の作成開始条件成立時、第２距離勾配ベクトル算出手段２１は、サブウインドウＷ内の全セルＳについて、夫々のセルＳを構成するマトリックス状の複数の小領域Ｃ、又は全ての画素に関する距離勾配ベクトルＶＫを算出している。距離勾配ベクトルＶＫの算出方法は、第１距離勾配ベクトル算出手段１６と同様であり、夫々のセルＳについて距離勾配ベクトルＶＫを求める。
【００５９】
第２ヒストグラム作成手段２２は、前記第２距離勾配ベクトル算出手段２１により算出した距離勾配ベクトルＶＫを用いて夫々のセルＳについて上述の学習用ヒストグラムデータＨ２を作成する。第２ヒストグラム作成手段２２は、第１ヒストグラム作成手段１７と同様に、距離勾配ベクトルＶＫが有する角度θ毎に、距離勾配ベクトルＶＫが有する距離変化量を累積加算した学習用ヒストグラムデータＨ２を各セルＳについて作成している。この歩行者検出装置１では、４×２の８枚の学習用ヒストグラムデータＨ２が作成される。
【００６０】
更に、一致度判定手段２３は、８枚のセルＳ夫々について作成された学習用ヒストグラムデータＨ２と第１メモリ手段２６に記憶された歩行者を検出したときの各部位のヒストグラム基準データＨ０（図７参照）との一致度判定を行う。一致度判定は以下のように行う。
［判定１］：夫々の学習用ヒストグラムデータＨ２における各加算値Ｓｄの峰形状と既に記憶されているヒストグラム基準データＨ０における各加算値Ｓｄ０の峰形状との類似判定
［判定２］：夫々の学習用ヒストグラムデータＨ２の所定角度（例えばθ＝２０°）における累積加算値Ｓｄとヒストグラム基準データＨ０の所定角度（例えばθ＝２０°）における累積加算値Ｓｄ０との類似判定
【００６１】
各セルＳの学習用ヒストグラムデータＨ２について、判定１と判定２を行い、各部位のセルＳ毎に記憶されているヒストグラム基準データＨ０とこれと同じ部位のセルＳの学習用ヒストグラムデータＨ２を各部位ごとに夫々選択し、最小二乗法などにより各セルＳごとにヒストグラム形状の類似度を算出する。こうして算出された各セルＳの類似度のうち、最も類似度の高いセルＳを新たな判定用セルとし、このセル番号（ｎ，ｍ）を判定用セル番号として第１メモリ手段２６に記憶するとともに、この新たな判定用セルの学習用ヒストグラムデータＨ２を新たなヒストグラム基準データＨ０として更新登録する。こうして、次に判定用セル設定手段１５が判定用セルＳ（ｎ，ｍ）を設定するときは、第１メモリ手段２６から更新された判定用セル番号（例えば肩部相当のセルＳ（２，２））が送られるよう構成されている。
【００６２】
ヒストグラム保存判定手段２４は、歩行者判定手段１８によって歩行者が判定されたとき、歩行者判定に用いたヒストグラムデータＨ１を第２メモリ手段２７に保存する。この保存されたヒストグラムデータＨ１は、加重平均などの統計処理することにより、新たなヒストグラム基準データＨ０を作成するために第１メモリ手段２６に記憶される。
【００６３】
判定用データ作成手段２５は、前述のヒストグラム保存判定手段２４に保存されたヒストグラムデータＨ１を、加重平均などの統計処理することにより、新たなヒストグラム基準データＨ０の距離変化量の累積加算値Ｓｄにおける峰形状と、所定角度θにおける累積加算値Ｓｄを作成する。ヒストグラム基準データＨ０が更新されたとき、第１メモリ手段２６から第２メモリ手段２７に送信されたヒストグラム基準データＨ０の判定用データを作成し、この判定用データを歩行者判定手段１８に供給している。
また、上述の条件１の峰形状の角度範囲（例えば９０°未満から８０°未満）、条件２の所定角度における累積加算値Ｓｄの所定値（例えば８０から９０）も、保存されたヒストグラムデータＨ１を、加重平均などの統計処理することにより新たに作成することとしても良い。
【００６４】
次に、歩行者検出装置１の歩行者検出制御について、図８のフローチャートに基づき、説明する。尚、Ｓｉ（ｉ＝１，２…）は各処理ステップを示す。
まず、ＣＣＤカメラ２、車速センサ３、ブレーキスイッチ４、ＧＰＳ手段５等の各種機器やセンサから検出信号を読込む（Ｓ１）。
【００６５】
ＣＣＤカメラ２で撮像された車両前方の対象領域Ｆ０について、第１輝度画像Ｆ１と異なる位置から第１輝度画像Ｆ１と同じ対象領域Ｆ０を撮像した第２輝度画像Ｆ２を保存する（Ｓ２）。尚、複眼のステレオカメラを設け、同時に第１輝度画像Ｆ１と第２輝度画像Ｆ２を撮像した場合も、同様である。
【００６６】
次に、第１，第２輝度画像Ｆ１，Ｆ２に基づいて、対象物Ｏが含まれる距離画像Ｆ３を作成する（Ｓ３）。距離画像Ｆ３は、三角測量法により、自車両の位置（緯度・経度）と第１，第２輝度画像Ｆ１，Ｆ２の視差量を用いて、各画素の距離情報から算出する。距離画像Ｆ３は、歩行者の服の柄や皺等形状判定に解析不要な情報を除去した形状情報と各画素の距離情報で構成されている。
【００６７】
歩行者に相当する高さと領域を備えたテンプレートを用いて、距離画像Ｆ３から歩行者らしき対象物Ｏが存在する探索領域Ｔ１を設定する（Ｓ４）。このテンプレートは、所定の対象物Ｏと略同距離に存在する他の対象物の大きさ、又は、対象物Ｏのいずれか１つの画素の距離データより求まる自車からの距離に応じて、歩行者相当の大きさになるように拡大縮小可能に構成されている。
【００６８】
次に、探索領域Ｔ１を予め規定した所定サイズのサブウインドウＷに正規化する（Ｓ５）。これにより、テンプレートによって設定された探索領域Ｔ１を距離に依存しない一定サイズのサブウインドウＷに設定し、対象物Ｏが近距離に存在する場合と遠距離に存在する場合とで自車両からの撮像距離に起因して、歩行者判定の処理精度に差異が生じないよう構成されている。
【００６９】
次に、正規化されたサブウインドウＷ内をＮ×Ｍの複数のセルＳに分割し（Ｓ６）、Ｓ７に移行する。Ｓ７では、学習条件が成立したか否か判定している。この歩行者検出装置１では、車両が停車中のとき、又は工場出荷前のエンジンルーム内のテストスイッチがオンであるとき、ヒストグラム基準データＨ０を更新するため、学習を行うよう構成されている。また、車両の停車状態は、車速センサ３の検出値零とブレーキスイッチ４のオン信号の検出で判定している。
【００７０】
Ｓ７の判定の結果、学習条件不成立、所謂停車中ではない、又はテストスイッチオンでない場合は、Ｓ８に移行する。
Ｓ８では、判定用セルＳ（ｎ，ｍ）を構成するマトリックス状の複数の小領域Ｃ、又は全画素に関する距離勾配ベクトルＶＫを算出する。式（１）を用いて、予め歩行者判定に使用するとされている例えば、腰部相当のセルＳ（３，２）である判定用セルＳ（ｎ，ｍ）内の各画素ｇＫについて距離勾配ベクトルＶＫより、絶対値｜ＶＫ｜、角度θを算出するよう構成している。
【００７１】
次に、距離勾配ベクトルＶＫの絶対値｜ＶＫ｜である距離変化量と、角度θに基づき判定用セルＳ（ｎ，ｍ）についてヒストグラムデータＨ１（図６参照）を作成する（Ｓ９）。このヒストグラムデータＨ１は、横軸が角度θ、縦軸が距離変化量の加算値Ｓｄからなる棒形状とされ、夫々隣り合う角度θにおける距離変化量の各加算値Ｓｄの頂点を連続して結んだとき、Ｖ字状等夫々固有の峰形状を形成している。Ｓ１０では、ヒストグラムデータＨ１から、判定用データとして、全体的な固有の峰形状と角度θ毎の距離変化量加算値Ｓｄを算出している。
【００７２】
Ｓ１１では、作成されたヒストグラムデータＨ１とヒストグラム基準データＨ０とを比較することにより対象物Ｏが歩行者か否かを判定する。歩行者の判定は、ヒストグラムデータＨ１における特定の角度範囲（例えば９０°未満）の加算値Ｓｄの峰形状がヒストグラム基準データＨ０における特定の角度範囲（例えば９０°未満）の加算値Ｓｄの峰形状（例えばＶ字状）と類似しているか否か、ヒストグラムデータＨ１の所定角度（例えばθ＝２０°）における累積加算値Ｓｄがヒストグラム基準データＨ０から設定される所定値（例えば８０）以上か否かについて判定し、何れか一方の条件を満たした場合、歩行者と判定している（Ｓ１２）。
【００７３】
Ｓ１２の判定の結果、対象物Ｏが歩行者の場合、歩行者判定に用いた今回のヒストグラムデータＨ１を第２メモリ手段２７に保存する（Ｓ１３）。このヒストグラムデータＨ１は、新たなヒストグラム基準データＨ０を作成するためのデータとして、第１メモリ手段２６に送信される。Ｓ１２の判定の結果、対象物Ｏが歩行者ではない場合、リターンする。
【００７４】
次に、検出された歩行者と自車両との距離に基づき危険度を判定する（Ｓ１４）。危険度の判定条件は、単に情報提供を狙いとする危険度低（離間距離：５０〜１００ｍ）、警報を狙いとする危険度中（離間距離：１０〜５０ｍ）、強制回避を狙いとする危険度高（離間距離：１０ｍ以下）とされている。
【００７５】
Ｓ１４で判定された危険度に応じて警報装置６、ブレーキ装置７、操舵制御装置８に作動指令を送信して（Ｓ１５）、リターンする。危険度が低以上のとき、警報装置６としてのスピーカ、ブザー、ランプ、ディスプレイの少なくとも１つを作動させる。危険度が中のとき、ブレーキ装置７を比較的弱い、乗員に注意を促すための一次ブレーキとなるよう作動させる。危険度が高のとき、ブレーキ装置７を歩行者との衝突を回避するための強い二次ブレーキとなるよう作動させる。更に、危険度が高のとき、操舵制御装置８を歩行者との衝突を回避する操舵力を付与するよう作動させる。尚、危険度高では、ブレーキ装置７と操舵制御装置８を併用しているが、何れか一方の単独作動とすることも可能である。
【００７６】
一方、Ｓ７の判定の結果、学習条件成立、所謂車両が停車中、又はテストスイッチオンの場合、Ｓ１６に移行する。
Ｓ１６では、Ｓ６にて作成したサブウインドウＷ内の全セルＳについて、マトリックス状の複数の小領域Ｃ、又は全画素に関する距離勾配ベクトルＶＫを算出する。
【００７７】
次に、算出した距離勾配ベクトルＶＫを用いて夫々のセルＳに関する学習用ヒストグラムデータＨ２を作成する（Ｓ１７）。サブウインドウＷ内の全セルＳについて、距離勾配ベクトルＶＫが有する角度毎に、距離勾配ベクトルＶＫが有する距離変化量を累積加算した学習用ヒストグラムデータＨ２を作成している。
【００７８】
Ｓ１８では、サブウインドウＷ内の全セルＳ夫々について作成された学習用ヒストグラムデータＨ２と第１メモリ手段２６に記憶された歩行者を検出したときの各部位のセルごとのヒストグラム基準データＨ０との一致度判定を対応する各セルごとに行う。一致度判定は、各学習用ヒストグラムデータＨ２における各加算値Ｓｄの峰形状と各部位毎のヒストグラム基準データＨ０における各加算値の峰形状との類似度と、各学習用ヒストグラムデータＨ２の所定角度における累積加算値Ｓｄと各部位毎のヒストグラム基準データＨ０の所定角度における累積加算値Ｓｄ０との類似度とにより判定する。
【００７９】
各セルＳ（Ｎ，Ｍ）の学習用ヒストグラムデータＨ２について、前記判定を行い、各部位毎のヒストグラム基準データＨ０に類似する学習用ヒストグラムデータＨ２を選択する。各部位毎のヒストグラム基準データＨ０に類似する学習用ヒストグラムデータＨ２のうち、最も類似するセルＳの学習用ヒストグラムデータＨ２を新たなヒストグラム基準データＨ０として選択し（Ｓ１９）、このセル番号（ｎ，ｍ）（例えば、頭部相当のセルＳ（１，２））を新たな判定用セルの番号として第１メモリ手段２６に記憶して、Ｓ８に移行する。
【００８０】
次に、本歩行者検出装置１の作用・効果について説明する。
前述したように、第１，第２輝度画像Ｆ１，Ｆ２から距離画像Ｆ３を作成する距離画像作成手段１２と、距離画像Ｆ３に対し、所定サイズの対象物が含まれるサブウインドウＷを設定する正規化手段１３と、サブウインドウＷから、対象物Ｏの特定領域に対応する判定用セルＳ（ｎ，ｍ）を設定する判定用セル設定手段１５と、判定用セルＳ（ｎ，ｍ）を構成するマトリックス状の複数の小領域Ｃ内、又は全画素における距離勾配ベクトルＶＫを算出する第１距離勾配ベクトル算出手段１６と、距離勾配ベクトルＶＫに基づきヒストグラムデータＨ１を作成する第１ヒストグラム作成手段１７と、ヒストグラムデータＨ１を予め設定して記憶しているヒストグラム基準データＨ０と比較することにより、歩行者を判定する歩行者判定手段１８を備えたため、歩行者の服の柄や皺のような形状以外の情報に影響を受けることなく、歩行者を効率的に検出できる。
【００８１】
つまり、距離画像作成手段１２を備えたため、歩行者検出において解析不要な情報を除去した距離画像Ｆ３を得ることができる。また、正規化手段１３と判定用セル設定手段１５とを備えたため、作成した距離画像Ｆ３よりも小範囲のサブウインドウＷと、このサブウインドウＷよりも小範囲とされ、対象物Ｏの形状に対応した特定領域としての判定用セルＳ（ｎ，ｍ）を設定することができ、判定処理時間の短縮化を図れる。更に、第１距離勾配ベクトル算出手段１６と第１ヒストグラム作成手段１７とを備えたため、対象物Ｏの形状に対応した特定領域としての判定用セルＳ（ｎ，ｍ）の距離勾配ベクトルＶＫについて、歩行者検出に必要なヒストグラムデータＨ１を得ることができる。しかも、このヒストグラムデータＨ１を予め記憶しているヒストグラム基準データＨ０と比較して歩行者を判定するため、歩行者の形状判定に不要な情報を除去した状態で判定することができ、歩行者判定処理の高速化と誤検出防止を図ることができる。
【００８２】
また、第１ヒストグラム作成手段１７は、距離勾配ベクトルＶＫが有する角度θ毎に、距離勾配ベクトルＶＫが有する距離変化量を累積加算することによってヒストグラムデータＨ１を作成するため、形状に付随する角度θ毎の特徴を処理負荷を増すことなく抽出でき、歩行者の比較判定処理の高速化が図れる。
【００８３】
更に、歩行者判定手段１８は、ヒストグラムデータＨ１の特定の峰形状をヒストグラム基準データＨ０における特定の峰形状と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に且つ精度よく検出できる。
【００８４】
しかも、第１ヒストグラム作成手段１７は、車両が停車状態のとき、又はテストスイッチオンのとき、サブウインドウＷの全領域についてセルＳ毎のヒストグラムデータＨ１を作成するため、車両走行時の歩行者判定を阻害することなく、サブウインドウＷの全領域についてセルＳ毎のヒストグラムデータＨ１を得ることができる。更に、全ヒストグラムデータＨ１のうち、ヒストグラム基準データＨ０に対して一致度が高いヒストグラムデータＨ１を新たなヒストグラム基準データＨ０に設定するため、歩行者検出の容易化と検出精度向上が共に図れ、一層誤検出防止と処理負荷低減が図れる。
【００８５】
また、歩行者判定手段１８は、特定の角度θにおける累積加算量Ｓｄをヒストグラム基準データＨ０の特定の角度θにおける累積加算量と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に検出できる。
【００８６】
更に、ヒストグラム基準データＨ０は、歩行者が実際に判定されたヒストグラムデータＨ１に基づいて設定されるため、ヒストグラム基準データＨ０を適正化でき、歩行者検出精度を高めることができる。
【００８７】
正規化手段１３は、対象物Ｏまでの距離に依存せずに、サブウインドウＷの大きさを正規化するため、対象物Ｏまでの距離に拘わらず、同じ大きさのサブウインドウＷを設定でき、検出精度向上と処理の高速化が図れる。
【００８８】
また、正規化手段１３は、距離画像Ｆ３から所定のテンプレートを用いて対象物Ｏが含まれるサブウインドウＷを設定するため、サブウインドウＷの設定が容易になり、処理の高速化が図れる。しかも、距離画像作成手段１２は、距離画像Ｆ３をモーションステレオ処理によって作成したため、単一のＣＣＤカメラ２で距離画像Ｆ３を作成できる。
【００８９】
次に、前記実施例を部分的に変更した変形例について説明する。
１〕前記実施例においては、距離画像から距離ベクトルの一次微分となる距離勾配ベクトルを用いてヒストグラムデータを作成する例を説明したが、少なくとも、歩行者検出に解析不要な画像上の情報を除去できればよく、距離画像から距離ベクトルの二次微分となる距離勾配変化率ベクトルを用いてヒストグラムデータを作成することも可能である。
【００９０】
図９に示すように、小領域Ｃ（Ｐ，Ｑ）、Ｃ（Ｐ＋１，Ｑ）、Ｃ（Ｐ，Ｑ＋１）、Ｃ（Ｐ＋１，Ｑ＋１）における距離勾配変化率ベクトルΔＶＫは、隣り合う距離勾配ベクトルＶＫ，ＶＫ＋１、ＶＫ＋２，ＶＫ＋３の差分を取ることによって、次式のように表すことができる。
ΔＶＫ＝（（ＶＫ―ＶＫ＋１）＋（ＶＫ＋２−ＶＫ＋３））＋（（ＶＫ−ＶＫ＋２）＋（ＶＫ＋１
−ＶＫ＋３）） …（２）
【００９１】
第１距離勾配ベクトル算出手段１６と第２距離勾配ベクトル算出手段２１は、式（２）に基づき距離勾配変化率ベクトルΔＶＫを算出する。この距離勾配変化率ベクトルΔＶＫを用いて、第１ヒストグラム作成手段１７と第２ヒストグラム作成手段２２は、距離勾配変化率ベクトルΔＶＫが有する角度毎に、距離勾配変化率ベクトルΔＶＫが有する距離勾配変化率量を累積加算したヒストグラムデータＨ１と学習用ヒストグラムデータＨ２を各セルＳについて作成することができる。
【００９２】
以上のように、距離勾配変化率ベクトルΔＶＫを算出するため、幾何学的に曲率が一定とされる人工構造物（例えば電柱等）を処理負荷を増すことなく背景画像から除去することができ、歩行者判定処理の高速化と誤検出防止を図ることができる。
【００９３】
また、距離勾配変化率ベクトルΔＶＫの角度θ毎に、距離勾配変化率ベクトルΔＶＫの絶対値｜ΔＶＫ｜を累積加算してヒストグラムデータＨ１を作成するため、距離勾配ベクトルＶＫによる判定と同様に、形状に付随する角度毎の特徴を処理負荷を増すことなく抽出でき、更に歩行者の比較判定処理の高速化が図れる。
【００９４】
２〕前記実施例においては、単独のＣＣＤカメラを用いて対象物を検出するモーションステレオ処理の例を説明したが、複眼カメラを用いてステレオ処理で対象物を検出することも可能である。
【００９５】
３〕前記実施例においては、サブウインドウ内を予め設定した２×４のセルに分割した例を説明したが、学習によって分割数の変更も可能である。また、小領域についても、同様に、学習によって分割数の変更が可能である。
【００９６】
４〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施例に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。
【産業上の利用可能性】
【００９７】
本発明は、車両に搭載された撮像手段により撮像された車両前方の画像を処理して歩行者を検出する車両用歩行者検出置において、距離勾配ベクトルに関するヒストグラムを用いるため、対象物の輝度変化に影響を受けることなく形状を判定することができる。
【符号の説明】
【００９８】
１ 歩行者検出装置
２ ＣＣＤカメラ
１２ 距離画像作成手段
１３ 正規化手段
１５ 判定用セル設定手段
１６ 第１距離勾配ベクトル算出手段
１７ 第１ヒストグラム作成手段
１８ 歩行者判定手段
２１ 第２距離勾配ベクトル算出手段
２２ 第２ヒストグラム作成手段
Ｏ 対象物
Ｆ１ 第１輝度画像
Ｆ２ 第２輝度画像
Ｆ３ 距離画像
Ｗ サブウインドウ
Ｓ セル
Ｃ 小領域
Ｖ 距離勾配ベクトル
ΔＶ 距離勾配変化率ベクトル
Ｈ０ ヒストグラム基準データ
Ｈ１ ヒストグラムデータ
Ｈ２ 学習用ヒストグラムデータ
【技術分野】
【０００１】
本発明は、車両に少なくとも１つのＣＣＤカメラ等の撮像手段を搭載し、撮像された画像から距離に関するヒストグラムデータを算出し、車両の前方に存在する歩行者を検出する車両用歩行者検出装置に関する。
【背景技術】
【０００２】
従来、自車両の周囲に存在する車両や歩行者等の障害物を検出するため、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像手段を備え、この撮像画像を処理して車両の運転や走行に用いる情報を得る技術は公知である。
【０００３】
この種の障害物検出装置では、撮像された画像から輝度変化に関する画素の濃淡情報を抽出し、対象物の輪郭線に相当するエッジを検出する手法や、対象物となる歩行者や構造物等について、予め照合用のテンプレート（参照画像）を多数取得し、このテンプレートと照合する手法が採用されている。前者のエッジ検出法は、完全な閉輪郭線が抽出されない場合、対象物の切り出しが難しく、後者のテンプレート照合法は、テンプレートを多数取得しておく必要があり、照合時間が長時間必要とされる。
【０００４】
一方、車両における歩行者検出の領域では、歩行者検出精度の向上もさることながら、車両が高速走行を行っているため、現実の走行では判定処理の高速化が必要とされる。つまり、撮像された画像に対して、歩行者判定処理を行う解析処理領域を最小にし、更に、この処理時間を最小にしなければ実用に用いることが困難である。
【０００５】
特許文献１に記載された監視装置は、２つの撮像手段によって撮像された画像から輝度分布と形状に関する特徴を抽出し、第１対象物抽出手段が、歩行者や、その特徴が歩行者に類似する人工構造物等の第１対象物を抽出する。また、第２対象物抽出手段が、第１対象物と高さ及び形状が類似する第２対象物を抽出し、この抽出された第１，第２対象物と背景の輝度とを比較し、その輝度変化量が所定値以下のとき、第１，第２対象物を人工構造物と判断するものである。特許文献１によれば、撮像画像から得られた情報のみを用いて、対象物が人工構造物であるか否かを容易に判断できる。
【０００６】
特許文献２に記載された物体検出装置は、撮像した画像を探索ウインドウで探索し、探索ウインドウ内の輝度画像とテンプレートとの比較によって道路平面に対する水平方向のヒストグラムを作成して、このヒストグラムの形状から単峰性の分布を検出している。このヒストグラム形状を判定することで、演算量の低減を図ることができ、高速で物体検出を行うことが可能となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２３６０２９号公報
【特許文献２】特開２００８−２０９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１では、人工構造物の判定を輝度変化量の演算で行い、歩行者を検出する処理時間の短縮化を図っている。また、特許文献２では、ヒストグラムを用いることで、背景に含まれ、歩行者検出に対しては解析不要である構造物等の情報を取り除き、歩行者判定の効率化を図っている。つまり、特許文献１，２は、対象物を撮像する撮像画像の検出精度を高めて、対象物である歩行者の検出精度を増すのではなく、数学的手法を用いて歩行者検出において解析不要な情報を撮像画像の背景から除去し、検出対象である歩行者を効率的に抽出している。
【０００９】
しかしながら、前記何れの文献も、歩行者判定処理を行うにあたり、撮像された画像から輝度に関する画素の濃淡情報を抽出して作成された輝度画像を判定用画像として用いている。この輝度画像は、歩行者の服の柄や皺による影響が画像上に反映されるため、画像上に形状以外の輝度変化を生じさせる。特に、処理の高速化を狙いとしてヒストグラムのような数学的手法と併用する場合には、判定用画像の背景から数値処理によって多くの情報を除去するため、画像上に形状以外の情報が多数存在する場合、誤検出の原因となり得る。
【００１０】
本発明の目的は、歩行者の服の柄や皺等形状以外の情報に影響を受けることなく、歩行者を効率的に判定可能な車両用歩行者検出装置を提供することである。
【課題を解決するための手段】
【００１１】
請求項１の車両用歩行者検出装置は、車両に搭載された少なくとも１つの撮像手段を備え、この撮像手段により撮像された車両前方の画像を処理して歩行者を検出する車両用歩行者検出装置において、前記撮像画像から距離画像を作成する距離画像作成手段と、前記距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段と、前記サブウインドウから、前記対象物の特定領域に対応するセルを設定するセル設定手段と、前記セルを構成するマトリックス状の複数の小領域内における距離勾配ベクトル、又は隣接する画素間の距離勾配ベクトルを算出する距離勾配ベクトル算出手段と、前記距離勾配ベクトルに基づきヒストグラムデータを作成するヒストグラム作成手段と、前記ヒストグラムデータを予め設定して記憶しているヒストグラム基準データと比較することにより、歩行者を判定する歩行者判定手段を備えたことを特徴としている。
【００１２】
この車両用歩行者検出装置においては、撮像画像から距離画像を作成する距離画像作成手段を備えるため、形状以外の輝度変化を生じさせる歩行者の服の柄や皺による影響を受けない距離画像を得ることができる。この距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段を備えるため、広範囲の撮像画像全体ではなく、撮像画像の一部を処理して歩行者判定を行うことができ、歩行者判定を効率よく短時間で行うことができる。
【００１３】
請求項２の発明は、請求項１の発明において、前記距離勾配ベクトル算出手段は、更に、距離勾配変化率ベクトルを算出することを特徴としている。
【００１４】
請求項３の発明は、請求項２の発明において、前記ヒストグラム作成手段は、前記ベクトルが有する角度毎に、距離勾配ベクトルが有する距離変化量、または距離勾配変化率ベクトルが有する距離勾配変化率量を累積加算することによってヒストグラムデータを作成することを特徴としている。
【００１５】
請求項４の発明は、請求項１〜３の何れか１つの発明において、前記歩行者判定手段は、前記ヒストグラムデータの特定の峰形状を前記ヒストグラム基準データにおける特定の峰形状と比較することによって歩行者を判定することを特徴としている。
【００１６】
請求項５の発明は、請求項１〜４の何れか１つの発明において、前記ヒストグラム作成手段は、所定の車両運転状態のとき、前記サブウインドウの全領域についてセル毎のヒストグラムデータを作成し、前記全ヒストグラムデータのうち、前記ヒストグラム基準データに対して一致度が高いセルを新たな判定用セルに設定することを特徴としている。
【００１７】
請求項６の発明は、請求項３の発明において、前記歩行者判定手段は、前記角度の特定の角度における前記累積加算量を前記ヒストグラム基準データの特定の角度における累積加算量と比較することによって歩行者を判定することを特徴としている。
【００１８】
請求項７の発明は、請求項１の発明において、前記ヒストグラム基準データは、歩行者が判定されたヒストグラムデータに基づいて設定されることを特徴としている。
【００１９】
請求項８の発明は、請求項１〜７の何れか１つの発明において、前記サブウインドウ設定手段は、前記対象物までの距離に依存せずに、前記サブウインドウの大きさを正規化することを特徴としている。
【００２０】
請求項９の発明は、請求項１〜８の何れか１つの発明において、前記サブウインドウ設定手段は、前記距離画像から所定のテンプレートを用いて前記対象物が含まれるサブウインドウを設定したことを特徴としている。
【００２１】
請求項１０の発明は、請求項１〜９の何れか１つの発明において、前記距離画像作成手段は、距離画像をモーションステレオ処理によって作成したことを特徴としている。
【発明の効果】
【００２２】
請求項１の発明によれば、撮像画像から距離画像を作成する距離画像作成手段と、距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段と、サブウインドウから、対象物の特定領域に対応するセルを設定するセル設定手段と、セルを構成するマトリックス状の複数の小領域内における距離勾配ベクトル、又はセルを構成する画素間の距離勾配ベクトルを算出する距離勾配ベクトル算出手段と、距離勾配ベクトルに基づきヒストグラムデータを作成するヒストグラム作成手段と、ヒストグラムデータを予め設定して記憶しているヒストグラム基準データと比較することにより、歩行者を判定する歩行者判定手段を備えたため、歩行者の服の柄や皺等形状以外の情報に影響を受けることなく、歩行者を効率的に検出できる。
【００２３】
つまり、距離画像作成手段を備えたため、歩行者検出において解析不要な情報を除去した距離画像を得ることができる。また、サブウインドウ設定手段とセル設定手段とを備えたため、作成した距離画像よりも小範囲のサブウインドウと、このサブウインドウよりも小範囲とされ、対象物の形状に対応した特定領域としてのセルを設定することができ、判定処理時間の短縮化を図れる。更に、距離勾配ベクトル算出手段とヒストグラム作成手段とを備えたため、対象物の形状に対応した特定領域としてのセルの距離勾配ベクトルについて、歩行者検出に必要なヒストグラムデータを得ることができる。しかも、このヒストグラムデータを予め記憶しているヒストグラム基準データと比較して歩行者を判定するため、歩行者の形状判定に解析不要な情報を除去した状態で判定でき、歩行者判定処理の高速化と誤検出防止を図ることができる。
【００２４】
請求項２の発明によれば、距離勾配ベクトル算出手段が、距離勾配変化率ベクトルを算出するため、幾何学的に曲率が一定とされる人工構造物を処理負荷を増すことなく背景画像から除去することができ、更に、歩行者判定処理の高速化と誤検出防止を図ることができる。
【００２５】
請求項３の発明によれば、ヒストグラム作成手段は、距離勾配ベクトルが有する角度毎に、距離勾配ベクトルが有する距離変化量を累積加算することによってヒストグラムデータを作成するため、形状に付随する角度毎の特徴を処理負荷を増すことなく抽出でき、歩行者の比較判定処理の高速化が図れる。また、距離勾配変化率ベクトルの角度毎に、距離勾配変化率ベクトルが有する距離勾配変化率量を累積加算してヒストグラムデータを作成するため、距離勾配ベクトルによる判定と同様に、形状に付随する角度毎の特徴を処理負荷を増すことなく抽出でき、歩行者の比較判定処理の一層の高速化が図れる。
【００２６】
請求項４の発明によれば、歩行者判定手段は、ヒストグラムデータの特定の峰形状をヒストグラム基準データにおける特定の峰形状と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に且つ精度よく検出できる。
【００２７】
請求項５の発明によれば、ヒストグラム作成手段は、所定の車両運転状態のとき、サブウインドウの全領域についてセル毎のヒストグラムデータを作成するため、車両走行中の歩行者判定を阻害することなく、サブウインドウの全領域についてセル毎のヒストグラムデータを得ることができる。更に、全ヒストグラムデータのうち、ヒストグラム基準データに対して一致度が高いセルを新たな判定用セルに設定するため、歩行者検出の容易化と検出精度向上が共に図れ、一層誤検出防止と処理負荷低減が図れる。
【００２８】
請求項６の発明によれば、歩行者判定手段は、前記角度の特定の角度における累積加算量をヒストグラム基準データの特定の角度における累積加算量と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に検出できる。
【００２９】
請求項７の発明によれば、ヒストグラム基準データは、歩行者が実際に判定されたヒストグラムデータに基づいて設定されるため、ヒストグラム基準データを適正化でき、歩行者検出精度を高めることができる。
【００３０】
請求項８の発明によれば、サブウインドウ設定手段は、対象物までの距離に依存せずに、サブウインドウの大きさを正規化するため、対象物までの距離に拘わらず、同じ大きさのサブウインドウによって比較判定でき、検出精度向上と処理の高速化が図れる。
【００３１】
請求項９の発明によれば、サブウインドウ設定手段は、距離画像から所定のテンプレートを用いて対象物が含まれるサブウインドウを設定したため、サブウインドウの設定が容易になり、処理の高速化が図れる。
【００３２】
請求項１０の発明によれば、距離画像作成手段は、距離画像をモーションステレオ処理によって作成したため、単一カメラで距離画像を作成できる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施例に係る歩行者検出装置の全体概略構成図である。
【図２】歩行者検出装置の機能ブロック図である。
【図３】距離画像の作成方法についての説明図である。
【図４】セルの作成方法についての説明図である。
【図５】距離勾配ベクトルの算出方法を示し、（ａ）は小領域を用いた算出方法の説明図、（ｂ）は別の算出方法の説明図である。
【図６】ヒストグラムデータを示す図である。
【図７】ヒストグラム基準データを示す図である。
【図８】歩行者検出装置における歩行者検出制御のフローチャートである。
【図９】距離勾配変化率ベクトルの説明図である。
【発明を実施するための形態】
【００３４】
以下、本発明を実施するための形態について実施例に基づいて説明する。
【実施例】
【００３５】
以下、この発明の実施例について、図１〜図９に基づいて説明する。
【００３６】
図１、図２に示すように、車両用歩行者検出装置１は、ＣＣＤカメラ２、車両の走行速度を検出する車速センサ３、乗員によるブレーキ操作を検出可能なブレーキスイッチ４、ＧＰＳ手段５（Global Positioning System）、インスツルメントパネルに配置される警報装置６、車両用歩行者検出装置１のコントロールユニット９を備えている。また、このコントロールユニット９は、ブレーキ装置７、操舵制御装置８と電気的に接続されている。
【００３７】
ＣＣＤカメラ２は、車両の進行方向前方を撮像する撮像手段であり、例えば、フロントガラスの上部後側に前方へ向けて取付けられ、コントロールユニット９からの指示によってＣＣＤカメラ２の撮像方向を変更可能に構成されている。ＣＣＤカメラ２は自車両前方の歩行者等を含む前方視界を撮像した後、このＣＣＤカメラ２で撮像された輝度画像情報はコントロールユニット９に送られる。この歩行者検出装置１では、単一のＣＣＤカメラ２によって、異なる地点から２枚の輝度画像を撮像し、この２枚の輝度画像から三角測量法を用いて距離画像を作成するモーションステレオ処理を採用している。尚、複眼のステレオカメラを設け、同時に２枚の輝度画像を撮像することも可能である。
【００３８】
ＧＰＳ手段５は、自車両の現在走行位置（緯度・経度）を検出する。このＧＰＳ手段５は、例えば、人工衛星や地磁気を利用して位置を検出するもの、或いは車速と舵角との関係から自車両Ｖの走行位置を追跡して現在走行位置を検出するもの等、既知の位置検出手段を適宜選択可能である。
【００３９】
警報装置６は、検出した歩行者の自車両に対する危険度に応じて、コントロールユニット９からの指示により乗員の注意を喚起するための警報を行う。この警報装置６は、図示しないスピーカ、ブザー、ランプ、ディスプレイを有しており、これらスピーカ等の少なくとも１つを残して省略可能である。
【００４０】
ブレーキ装置７は、検出した歩行者の自車両に対する危険度に応じて、コントロールユニット９からの指示により車両の制動制御を行う。このブレーキ装置７は、危険度が中のとき、比較的弱い、乗員に注意を促すための一次ブレーキを作動するよう構成している。また、危険度が高のとき、歩行者との衝突を回避するための強い二次ブレーキを作動するよう構成している。
【００４１】
操舵制御装置８は、検出した歩行者の自車両に対する危険度に応じて、コントロールユニット９からの指示により車両の操舵力を付与する。この操舵制御装置８は、危険度が高のとき、ナックルアーム、タイロッド、駆動機構からなる操舵機構（図示略）によって歩行者との衝突を回避するための操舵力を付与するよう構成している。
【００４２】
図２に示すように、コントロールユニット９は、画像記憶手段１０、モーションステレオ手段１１、距離画像作成手段１２、正規化手段１３（サブウインドウ設定手段）、セル作成手段１４、判定用セル設定手段１５、第１距離勾配ベクトル算出手段１６、第１ヒストグラム作成手段１７、歩行者判定手段１８、歩行者危険度判定手段１９を備えている。更に、コントロールユニット９は、学習条件判定手段２０、第２距離勾配ベクトル算出手段２１、第２ヒストグラム作成手段２２、一致度判定手段２３、ヒストグラム保存判定手段２４、判定用データ作成手段２５、第１メモリ手段２６、第２メモリ手段２７を備えている。
【００４３】
図３に示すように、画像記憶手段１０は、ＣＣＤカメラ２で撮像された車両前方の対象物Ｏが含まれる実空間である対象領域Ｆ０の輝度画像をメモリ（図示略）に記憶している。
この歩行者検出装置１は単一のＣＣＤカメラ２によるモーションステレオ処理を行うため、画像記憶手段１０は、対象領域Ｆ０の第１輝度画像Ｆ１と、所定時間後、異なる位置から撮像した第１輝度画像Ｆ１と同じ対象領域Ｆ０の第２輝度画像Ｆ２を記憶している。
【００４４】
モーションステレオ手段１１は、第１，第２輝度画像Ｆ１，Ｆ２に基づいて、対象領域Ｆ０の夫々の画素と自車両との距離を算出する。このモーションステレオ手段１１は、ＧＰＳ手段５から得られた自車両の位置（緯度・経度）と第１輝度画像Ｆ１中の特徴点と，これに対応する第２輝度画像Ｆ２中の対応点の視差量を用いて、三角測量法により各画素の距離情報を求める。尚、この三角測量法は公知の技術のため、詳細は説明を省略する。
【００４５】
図３に示すように、距離画像作成手段１２は、モーションステレオ手段１１によって算出された各画素の距離情報に基づき、対象物Ｏが含まれる距離画像Ｆ３を作成する。ＣＣＤカメラ２で撮像された第１，第２輝度画像Ｆ１，Ｆ２は、輝度変化に関する各画素の濃淡情報で表現されるため、歩行者の服の柄や皺による影響が画像に現れる。一方、距離画像作成手段１２で作成された距離画像Ｆ３は、歩行者判定に解析不要な輝度情報を除去した形状及び距離情報のみで構成されている。
【００４６】
図４に示すように、正規化手段１３は、距離画像Ｆ３内に歩行者らしき対象物が存在する探索領域Ｔ１を設定し、この探索領域Ｔ１を予め規定された所定サイズのサブウインドウＷに正規化する。まず始めに、正規化手段１３は、所定の対象物Ｏを判定する場合、対象物Ｏと略同距離に存在する他の対象物に基づいて設定されるテンプレート（参照画像）を用いて対象物Ｏが歩行者らしき対象物か否か判定している。このテンプレートは、歩行者に相当する高さと領域を有しており、対象物Ｏと略同距離に存在する他の対象物（例えばガードレール等）の高さ、又は対象物Ｏの画素が有する距離データに比例して拡大縮小可能とされている。
【００４７】
次に、正規化手段１３は、テンプレートを用いた照合によって、所定の対象物Ｏが歩行者らしき対象物と判定された場合、歩行者らしき対象物の存在する領域を探索領域Ｔ１として設定する。しかも、正規化手段１３は、設定された探索領域Ｔ１を距離に依存しない一定のサイズのサブウインドウＷとなるよう領域の大きさを調整している。
つまり、図４に示すように、歩行者らしき対象物が近距離に存在する場合は探索領域Ｔ１を縮小し、距離画像Ｆ４のように、歩行者らしき対象物が遠距離に存在する場合は探索領域Ｔ２を拡大することで、常に一定サイズのサブウインドウＷとなるように正規化している。
【００４８】
図４に示すように、セル作成手段１４は、サブウインドウＷ内をＮ×Ｍの複数のセルＳに分割する。分割数Ｎ，Ｍは、予め設定された値であり、歩行者検出精度と判定処理速度とを両立可能な値を実験値によって求めている。また、分割数Ｎ，Ｍについて、歩行者検出結果に基づく学習によって自動更新するように構成することも可能である。尚、この歩行者検出装置１では、サブウインドウＷ内を４×２に分割した例を説明する。
【００４９】
判定用セル設定手段１５は、セル作成手段１４で設定された２×４の複数セルのうち、歩行者判定処理を行う特定の判定用セルＳ（ｎ，ｍ）を設定する。第１メモリ手段２６に記憶された歩行者検出精度の高い部位（例えば歩行者の腰部）の判定用セル番号（例えば腰部相当のセルＳ（３，２））に基づいて、判定用セルＳ（３，２）をサブウインドウＷ内から抽出する。尚、第１メモリ手段２６には、過去の歩行者判定処理で得られたデータがセルＳ毎に記憶されている。更に、このセルＳの夫々に歩行者検出の判定精度、所謂確からしさが記憶されており、その中で最も検出精度の高いセル番号（ｎ，ｍ）が判定用セル番号として判定用セル設定手段１５に送られるよう構成されている。
【００５０】
判定用セルＳ（ｎ，ｍ）の選択部位は、通常走行時の歩行者検出結果に基づき、学習によって自動更新されるよう構成されている。また、判定用セルＳ（ｎ，ｍ）の学習開始前の初期値は、ディーラや出荷時において工場で予め設定された値が記憶されている。尚、以後、説明の便宜上、腰部に相当するセルＳ（３，２）を予め設定された判定用セルＳ（ｎ，ｍ）の例として説明を行う。
【００５１】
第１距離勾配ベクトル算出手段１６は、図５（ａ）に示すように、判定用セルＳ（３，２）を構成するマトリックス状の複数の小領域Ｃ（Ｐ，Ｑ）に関する距離勾配ベクトルＶＫ（Ｋ＝１，２，３、・）を算出する。この歩行者検出装置１では、判定用セルＳ（３，２）を各小領域Ｃ（Ｐ，Ｑ）（Ｐ＝１，２，３，４，Ｑ＝１，２，３，４）が３×３の画素からなるように分割している。画素数３×３は、予め設定された値であり、歩行者検出精度と判定処理速度とを両立可能な値を実験値によって求めている。
【００５２】
図５（ａ）に示すように、小領域Ｃ内の所定の画素ｇＫ（Ｋ＝１，２…）とこの画素ｇＫと隣り合う画素ｇＫ−１とが、夫々持っている各距離データより、その差ベクトルを算出することで、距離勾配ベクトルＶＫ（Ｋ＝１，２…）を算出する。具体的には、Ｙ方向の画素間距離勾配ベクトルａｉと，Ｘ方向の画素間距離勾配ベクトルａｊ，を算出し、これより距離勾配ベクトルＶＫは次式のベクトル和として算出することができる。
ＶＫ＝ａｉ＋ａｊ …（１）
第１距離勾配ベクトル算出手段１６は、式（１）を用いて、判定用セルＳ（２，３）内の各小領域Ｃについて、距離勾配ベクトルＶＫを算出し、これより、距離勾配ベクトル絶対値＝｜ＶＫ｜、距離勾配ベクトル角度θ＝ａｒｇ（ＶＫ）を算出するよう構成されている。
【００５３】
また、第１距離勾配ベクトル算出手段１６は、前記に代えて、図５（ｂ）に示す方法によることとしても良い。即ち、予め、画素数の決められた小領域Ｃ（Ｐ，Ｑ）に分割することなく、判定用セルＳ（３，２）内のすべての画素ｇＫ（Ｋ＝１，２…）の距離データに対して、これに隣接する画素の距離データの差ベクトルより、前述の方法にて距離勾配ベクトルＶＫ（Ｋ＝１，２…）を算出し、これより絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）を算出し、順次、すぐ右隣の画素ｇＫ＋１に対して同様の算出をおこなう。このように、判定用セルＳ（３，２）内の全ての画素を左上から右下まで走査することで全ての画素に対して、距離勾配ベクトルＶＫ、を算出し、これより絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）を算出する。これにより、離散的でなく、連続的な距離勾配ベクトルＶＫ（Ｋ＝１，２…）、絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）を算出することが出来る。
【００５４】
次に、第１ヒストグラム作成手段１７は、上述の方法により求めた距離勾配ベクトルＶＫ（Ｋ＝１，２…）の、絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）に基づき判定用セルＳ（３，２）に関するヒストグラムデータＨ１（図６参照）を作成する。第１ヒストグラム作成手段１７は、距離勾配ベクトルＶＫが有する角度θ毎に、距離勾配ベクトルＶＫが有する距離変化量である絶対値｜ＶＫ｜を累積加算してヒストグラムデータＨ１を作成するよう構成されている。このヒストグラムデータＨ１は、横軸が角度θ、縦軸が角度毎の距離変化量の加算値Ｓｄからなる棒形状とされ、夫々隣り合う角度θにおける各加算値Ｓｄの頂点を連続して結んだとき、Ｖ字状等夫々撮像された対象物Ｏに固有の峰形状を形成している。つまり、ヒストグラムデータＨ１は、判定用データとして、全体的には対象物Ｏに固有の峰形状を備え、角度毎には距離変化量加算値Ｓｄを特徴として備えている。
【００５５】
歩行者判定手段１８は、作成されたヒストグラムデータＨ１と、第２メモリ２７に記憶されたヒストグラム基準データＨ０（図７参照）とを比較することにより対象物Ｏが歩行者か否かを判定する。歩行者の判定は、以下の条件１，２の何れか一方が成立した場合、対象物Ｏを歩行者と判定する。
［条件１］：ヒストグラムデータＨ１における各加算値Ｓｄの峰形状（例えばＶ字状）とヒストグラム基準データＨ０における各加算値Ｓｄ０の峰形状とが類似している場合
［条件２］：ヒストグラムデータＨ１の所定角度（例えばθ＝２０°）における累積加算値Ｓｄが所定値（例えば８０）以上の場合
尚、条件１については、特定の角度範囲、例えば９０°未満における加算値Ｓｄの峰形状がＶ字状か否かを判定する等、歩行者検出精度の高い角度範囲を予め選定して判定を行ってもよい。また、条件２については、過去、歩行者を検出したときのヒストグラムデータＨ１から累積加算値Ｓｄを比較する所定値を変更するようにしてもよい。
【００５６】
歩行者危険度判定手段１９は、歩行者判定手段１８が歩行者を判定した場合、歩行者と自車両との距離に基づき危険度を判定し、この危険度に応じて警報装置６、ブレーキ装置７、操舵制御装置８に作動指令を送信する。歩行者危険度判定手段１９は、歩行者と自車両との距離に基づいて危険度を区分しており、単に情報提供を狙いとする危険度低（離間距離：５０〜１００ｍ）、警報を狙いとする危険度中（離間距離：１０〜５０ｍ）、強制回避を狙いとする危険度高（離間距離：１０ｍ以下）とされている。
【００５７】
学習条件判定手段２０は、所定の車両運転状態を検出し、前述の歩行者判定に用いるヒストグラム基準データＨ０の更新に用いる学習用ヒストグラムデータＨ２の作成開始を判定している。この歩行者検出装置１では、速い判定時間が要求されない車両停車中で確実に横断歩行者がカメラで撮像される状況下にある場合や、工場やディーラでの出荷前に人間をカメラ前に立たせ撮像する場合に学習用ヒストグラムデータＨ２を作成している。車速センサ３の検出値零とブレーキスイッチ４のオン信号の検出によって車両の停車状態を検出し、学習用ヒストグラムデータＨ２の作成を開始する。尚、工場出荷前であれば、エンジンルーム内に設置したテストスイッチオンで学習用ヒストグラムデータＨ２の作成を開始することも可能である。
【００５８】
前記学習用ヒストグラムデータＨ２の作成開始条件成立時、第２距離勾配ベクトル算出手段２１は、サブウインドウＷ内の全セルＳについて、夫々のセルＳを構成するマトリックス状の複数の小領域Ｃ、又は全ての画素に関する距離勾配ベクトルＶＫを算出している。距離勾配ベクトルＶＫの算出方法は、第１距離勾配ベクトル算出手段１６と同様であり、夫々のセルＳについて距離勾配ベクトルＶＫを求める。
【００５９】
第２ヒストグラム作成手段２２は、前記第２距離勾配ベクトル算出手段２１により算出した距離勾配ベクトルＶＫを用いて夫々のセルＳについて上述の学習用ヒストグラムデータＨ２を作成する。第２ヒストグラム作成手段２２は、第１ヒストグラム作成手段１７と同様に、距離勾配ベクトルＶＫが有する角度θ毎に、距離勾配ベクトルＶＫが有する距離変化量を累積加算した学習用ヒストグラムデータＨ２を各セルＳについて作成している。この歩行者検出装置１では、４×２の８枚の学習用ヒストグラムデータＨ２が作成される。
【００６０】
更に、一致度判定手段２３は、８枚のセルＳ夫々について作成された学習用ヒストグラムデータＨ２と第１メモリ手段２６に記憶された歩行者を検出したときの各部位のヒストグラム基準データＨ０（図７参照）との一致度判定を行う。一致度判定は以下のように行う。
［判定１］：夫々の学習用ヒストグラムデータＨ２における各加算値Ｓｄの峰形状と既に記憶されているヒストグラム基準データＨ０における各加算値Ｓｄ０の峰形状との類似判定
［判定２］：夫々の学習用ヒストグラムデータＨ２の所定角度（例えばθ＝２０°）における累積加算値Ｓｄとヒストグラム基準データＨ０の所定角度（例えばθ＝２０°）における累積加算値Ｓｄ０との類似判定
【００６１】
各セルＳの学習用ヒストグラムデータＨ２について、判定１と判定２を行い、各部位のセルＳ毎に記憶されているヒストグラム基準データＨ０とこれと同じ部位のセルＳの学習用ヒストグラムデータＨ２を各部位ごとに夫々選択し、最小二乗法などにより各セルＳごとにヒストグラム形状の類似度を算出する。こうして算出された各セルＳの類似度のうち、最も類似度の高いセルＳを新たな判定用セルとし、このセル番号（ｎ，ｍ）を判定用セル番号として第１メモリ手段２６に記憶するとともに、この新たな判定用セルの学習用ヒストグラムデータＨ２を新たなヒストグラム基準データＨ０として更新登録する。こうして、次に判定用セル設定手段１５が判定用セルＳ（ｎ，ｍ）を設定するときは、第１メモリ手段２６から更新された判定用セル番号（例えば肩部相当のセルＳ（２，２））が送られるよう構成されている。
【００６２】
ヒストグラム保存判定手段２４は、歩行者判定手段１８によって歩行者が判定されたとき、歩行者判定に用いたヒストグラムデータＨ１を第２メモリ手段２７に保存する。この保存されたヒストグラムデータＨ１は、加重平均などの統計処理することにより、新たなヒストグラム基準データＨ０を作成するために第１メモリ手段２６に記憶される。
【００６３】
判定用データ作成手段２５は、前述のヒストグラム保存判定手段２４に保存されたヒストグラムデータＨ１を、加重平均などの統計処理することにより、新たなヒストグラム基準データＨ０の距離変化量の累積加算値Ｓｄにおける峰形状と、所定角度θにおける累積加算値Ｓｄを作成する。ヒストグラム基準データＨ０が更新されたとき、第１メモリ手段２６から第２メモリ手段２７に送信されたヒストグラム基準データＨ０の判定用データを作成し、この判定用データを歩行者判定手段１８に供給している。
また、上述の条件１の峰形状の角度範囲（例えば９０°未満から８０°未満）、条件２の所定角度における累積加算値Ｓｄの所定値（例えば８０から９０）も、保存されたヒストグラムデータＨ１を、加重平均などの統計処理することにより新たに作成することとしても良い。
【００６４】
次に、歩行者検出装置１の歩行者検出制御について、図８のフローチャートに基づき、説明する。尚、Ｓｉ（ｉ＝１，２…）は各処理ステップを示す。
まず、ＣＣＤカメラ２、車速センサ３、ブレーキスイッチ４、ＧＰＳ手段５等の各種機器やセンサから検出信号を読込む（Ｓ１）。
【００６５】
ＣＣＤカメラ２で撮像された車両前方の対象領域Ｆ０について、第１輝度画像Ｆ１と異なる位置から第１輝度画像Ｆ１と同じ対象領域Ｆ０を撮像した第２輝度画像Ｆ２を保存する（Ｓ２）。尚、複眼のステレオカメラを設け、同時に第１輝度画像Ｆ１と第２輝度画像Ｆ２を撮像した場合も、同様である。
【００６６】
次に、第１，第２輝度画像Ｆ１，Ｆ２に基づいて、対象物Ｏが含まれる距離画像Ｆ３を作成する（Ｓ３）。距離画像Ｆ３は、三角測量法により、自車両の位置（緯度・経度）と第１，第２輝度画像Ｆ１，Ｆ２の視差量を用いて、各画素の距離情報から算出する。距離画像Ｆ３は、歩行者の服の柄や皺等形状判定に解析不要な情報を除去した形状情報と各画素の距離情報で構成されている。
【００６７】
歩行者に相当する高さと領域を備えたテンプレートを用いて、距離画像Ｆ３から歩行者らしき対象物Ｏが存在する探索領域Ｔ１を設定する（Ｓ４）。このテンプレートは、所定の対象物Ｏと略同距離に存在する他の対象物の大きさ、又は、対象物Ｏのいずれか１つの画素の距離データより求まる自車からの距離に応じて、歩行者相当の大きさになるように拡大縮小可能に構成されている。
【００６８】
次に、探索領域Ｔ１を予め規定した所定サイズのサブウインドウＷに正規化する（Ｓ５）。これにより、テンプレートによって設定された探索領域Ｔ１を距離に依存しない一定サイズのサブウインドウＷに設定し、対象物Ｏが近距離に存在する場合と遠距離に存在する場合とで自車両からの撮像距離に起因して、歩行者判定の処理精度に差異が生じないよう構成されている。
【００６９】
次に、正規化されたサブウインドウＷ内をＮ×Ｍの複数のセルＳに分割し（Ｓ６）、Ｓ７に移行する。Ｓ７では、学習条件が成立したか否か判定している。この歩行者検出装置１では、車両が停車中のとき、又は工場出荷前のエンジンルーム内のテストスイッチがオンであるとき、ヒストグラム基準データＨ０を更新するため、学習を行うよう構成されている。また、車両の停車状態は、車速センサ３の検出値零とブレーキスイッチ４のオン信号の検出で判定している。
【００７０】
Ｓ７の判定の結果、学習条件不成立、所謂停車中ではない、又はテストスイッチオンでない場合は、Ｓ８に移行する。
Ｓ８では、判定用セルＳ（ｎ，ｍ）を構成するマトリックス状の複数の小領域Ｃ、又は全画素に関する距離勾配ベクトルＶＫを算出する。式（１）を用いて、予め歩行者判定に使用するとされている例えば、腰部相当のセルＳ（３，２）である判定用セルＳ（ｎ，ｍ）内の各画素ｇＫについて距離勾配ベクトルＶＫより、絶対値｜ＶＫ｜、角度θを算出するよう構成している。
【００７１】
次に、距離勾配ベクトルＶＫの絶対値｜ＶＫ｜である距離変化量と、角度θに基づき判定用セルＳ（ｎ，ｍ）についてヒストグラムデータＨ１（図６参照）を作成する（Ｓ９）。このヒストグラムデータＨ１は、横軸が角度θ、縦軸が距離変化量の加算値Ｓｄからなる棒形状とされ、夫々隣り合う角度θにおける距離変化量の各加算値Ｓｄの頂点を連続して結んだとき、Ｖ字状等夫々固有の峰形状を形成している。Ｓ１０では、ヒストグラムデータＨ１から、判定用データとして、全体的な固有の峰形状と角度θ毎の距離変化量加算値Ｓｄを算出している。
【００７２】
Ｓ１１では、作成されたヒストグラムデータＨ１とヒストグラム基準データＨ０とを比較することにより対象物Ｏが歩行者か否かを判定する。歩行者の判定は、ヒストグラムデータＨ１における特定の角度範囲（例えば９０°未満）の加算値Ｓｄの峰形状がヒストグラム基準データＨ０における特定の角度範囲（例えば９０°未満）の加算値Ｓｄの峰形状（例えばＶ字状）と類似しているか否か、ヒストグラムデータＨ１の所定角度（例えばθ＝２０°）における累積加算値Ｓｄがヒストグラム基準データＨ０から設定される所定値（例えば８０）以上か否かについて判定し、何れか一方の条件を満たした場合、歩行者と判定している（Ｓ１２）。
【００７３】
Ｓ１２の判定の結果、対象物Ｏが歩行者の場合、歩行者判定に用いた今回のヒストグラムデータＨ１を第２メモリ手段２７に保存する（Ｓ１３）。このヒストグラムデータＨ１は、新たなヒストグラム基準データＨ０を作成するためのデータとして、第１メモリ手段２６に送信される。Ｓ１２の判定の結果、対象物Ｏが歩行者ではない場合、リターンする。
【００７４】
次に、検出された歩行者と自車両との距離に基づき危険度を判定する（Ｓ１４）。危険度の判定条件は、単に情報提供を狙いとする危険度低（離間距離：５０〜１００ｍ）、警報を狙いとする危険度中（離間距離：１０〜５０ｍ）、強制回避を狙いとする危険度高（離間距離：１０ｍ以下）とされている。
【００７５】
Ｓ１４で判定された危険度に応じて警報装置６、ブレーキ装置７、操舵制御装置８に作動指令を送信して（Ｓ１５）、リターンする。危険度が低以上のとき、警報装置６としてのスピーカ、ブザー、ランプ、ディスプレイの少なくとも１つを作動させる。危険度が中のとき、ブレーキ装置７を比較的弱い、乗員に注意を促すための一次ブレーキとなるよう作動させる。危険度が高のとき、ブレーキ装置７を歩行者との衝突を回避するための強い二次ブレーキとなるよう作動させる。更に、危険度が高のとき、操舵制御装置８を歩行者との衝突を回避する操舵力を付与するよう作動させる。尚、危険度高では、ブレーキ装置７と操舵制御装置８を併用しているが、何れか一方の単独作動とすることも可能である。
【００７６】
一方、Ｓ７の判定の結果、学習条件成立、所謂車両が停車中、又はテストスイッチオンの場合、Ｓ１６に移行する。
Ｓ１６では、Ｓ６にて作成したサブウインドウＷ内の全セルＳについて、マトリックス状の複数の小領域Ｃ、又は全画素に関する距離勾配ベクトルＶＫを算出する。
【００７７】
次に、算出した距離勾配ベクトルＶＫを用いて夫々のセルＳに関する学習用ヒストグラムデータＨ２を作成する（Ｓ１７）。サブウインドウＷ内の全セルＳについて、距離勾配ベクトルＶＫが有する角度毎に、距離勾配ベクトルＶＫが有する距離変化量を累積加算した学習用ヒストグラムデータＨ２を作成している。
【００７８】
Ｓ１８では、サブウインドウＷ内の全セルＳ夫々について作成された学習用ヒストグラムデータＨ２と第１メモリ手段２６に記憶された歩行者を検出したときの各部位のセルごとのヒストグラム基準データＨ０との一致度判定を対応する各セルごとに行う。一致度判定は、各学習用ヒストグラムデータＨ２における各加算値Ｓｄの峰形状と各部位毎のヒストグラム基準データＨ０における各加算値の峰形状との類似度と、各学習用ヒストグラムデータＨ２の所定角度における累積加算値Ｓｄと各部位毎のヒストグラム基準データＨ０の所定角度における累積加算値Ｓｄ０との類似度とにより判定する。
【００７９】
各セルＳ（Ｎ，Ｍ）の学習用ヒストグラムデータＨ２について、前記判定を行い、各部位毎のヒストグラム基準データＨ０に類似する学習用ヒストグラムデータＨ２を選択する。各部位毎のヒストグラム基準データＨ０に類似する学習用ヒストグラムデータＨ２のうち、最も類似するセルＳの学習用ヒストグラムデータＨ２を新たなヒストグラム基準データＨ０として選択し（Ｓ１９）、このセル番号（ｎ，ｍ）（例えば、頭部相当のセルＳ（１，２））を新たな判定用セルの番号として第１メモリ手段２６に記憶して、Ｓ８に移行する。
【００８０】
次に、本歩行者検出装置１の作用・効果について説明する。
前述したように、第１，第２輝度画像Ｆ１，Ｆ２から距離画像Ｆ３を作成する距離画像作成手段１２と、距離画像Ｆ３に対し、所定サイズの対象物が含まれるサブウインドウＷを設定する正規化手段１３と、サブウインドウＷから、対象物Ｏの特定領域に対応する判定用セルＳ（ｎ，ｍ）を設定する判定用セル設定手段１５と、判定用セルＳ（ｎ，ｍ）を構成するマトリックス状の複数の小領域Ｃ内、又は全画素における距離勾配ベクトルＶＫを算出する第１距離勾配ベクトル算出手段１６と、距離勾配ベクトルＶＫに基づきヒストグラムデータＨ１を作成する第１ヒストグラム作成手段１７と、ヒストグラムデータＨ１を予め設定して記憶しているヒストグラム基準データＨ０と比較することにより、歩行者を判定する歩行者判定手段１８を備えたため、歩行者の服の柄や皺のような形状以外の情報に影響を受けることなく、歩行者を効率的に検出できる。
【００８１】
つまり、距離画像作成手段１２を備えたため、歩行者検出において解析不要な情報を除去した距離画像Ｆ３を得ることができる。また、正規化手段１３と判定用セル設定手段１５とを備えたため、作成した距離画像Ｆ３よりも小範囲のサブウインドウＷと、このサブウインドウＷよりも小範囲とされ、対象物Ｏの形状に対応した特定領域としての判定用セルＳ（ｎ，ｍ）を設定することができ、判定処理時間の短縮化を図れる。更に、第１距離勾配ベクトル算出手段１６と第１ヒストグラム作成手段１７とを備えたため、対象物Ｏの形状に対応した特定領域としての判定用セルＳ（ｎ，ｍ）の距離勾配ベクトルＶＫについて、歩行者検出に必要なヒストグラムデータＨ１を得ることができる。しかも、このヒストグラムデータＨ１を予め記憶しているヒストグラム基準データＨ０と比較して歩行者を判定するため、歩行者の形状判定に不要な情報を除去した状態で判定することができ、歩行者判定処理の高速化と誤検出防止を図ることができる。
【００８２】
また、第１ヒストグラム作成手段１７は、距離勾配ベクトルＶＫが有する角度θ毎に、距離勾配ベクトルＶＫが有する距離変化量を累積加算することによってヒストグラムデータＨ１を作成するため、形状に付随する角度θ毎の特徴を処理負荷を増すことなく抽出でき、歩行者の比較判定処理の高速化が図れる。
【００８３】
更に、歩行者判定手段１８は、ヒストグラムデータＨ１の特定の峰形状をヒストグラム基準データＨ０における特定の峰形状と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に且つ精度よく検出できる。
【００８４】
しかも、第１ヒストグラム作成手段１７は、車両が停車状態のとき、又はテストスイッチオンのとき、サブウインドウＷの全領域についてセルＳ毎のヒストグラムデータＨ１を作成するため、車両走行時の歩行者判定を阻害することなく、サブウインドウＷの全領域についてセルＳ毎のヒストグラムデータＨ１を得ることができる。更に、全ヒストグラムデータＨ１のうち、ヒストグラム基準データＨ０に対して一致度が高いヒストグラムデータＨ１を新たなヒストグラム基準データＨ０に設定するため、歩行者検出の容易化と検出精度向上が共に図れ、一層誤検出防止と処理負荷低減が図れる。
【００８５】
また、歩行者判定手段１８は、特定の角度θにおける累積加算量Ｓｄをヒストグラム基準データＨ０の特定の角度θにおける累積加算量と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に検出できる。
【００８６】
更に、ヒストグラム基準データＨ０は、歩行者が実際に判定されたヒストグラムデータＨ１に基づいて設定されるため、ヒストグラム基準データＨ０を適正化でき、歩行者検出精度を高めることができる。
【００８７】
正規化手段１３は、対象物Ｏまでの距離に依存せずに、サブウインドウＷの大きさを正規化するため、対象物Ｏまでの距離に拘わらず、同じ大きさのサブウインドウＷを設定でき、検出精度向上と処理の高速化が図れる。
【００８８】
また、正規化手段１３は、距離画像Ｆ３から所定のテンプレートを用いて対象物Ｏが含まれるサブウインドウＷを設定するため、サブウインドウＷの設定が容易になり、処理の高速化が図れる。しかも、距離画像作成手段１２は、距離画像Ｆ３をモーションステレオ処理によって作成したため、単一のＣＣＤカメラ２で距離画像Ｆ３を作成できる。
【００８９】
次に、前記実施例を部分的に変更した変形例について説明する。
１〕前記実施例においては、距離画像から距離ベクトルの一次微分となる距離勾配ベクトルを用いてヒストグラムデータを作成する例を説明したが、少なくとも、歩行者検出に解析不要な画像上の情報を除去できればよく、距離画像から距離ベクトルの二次微分となる距離勾配変化率ベクトルを用いてヒストグラムデータを作成することも可能である。
【００９０】
図９に示すように、小領域Ｃ（Ｐ，Ｑ）、Ｃ（Ｐ＋１，Ｑ）、Ｃ（Ｐ，Ｑ＋１）、Ｃ（Ｐ＋１，Ｑ＋１）における距離勾配変化率ベクトルΔＶＫは、隣り合う距離勾配ベクトルＶＫ，ＶＫ＋１、ＶＫ＋２，ＶＫ＋３の差分を取ることによって、次式のように表すことができる。
ΔＶＫ＝（（ＶＫ―ＶＫ＋１）＋（ＶＫ＋２−ＶＫ＋３））＋（（ＶＫ−ＶＫ＋２）＋（ＶＫ＋１
−ＶＫ＋３）） …（２）
【００９１】
第１距離勾配ベクトル算出手段１６と第２距離勾配ベクトル算出手段２１は、式（２）に基づき距離勾配変化率ベクトルΔＶＫを算出する。この距離勾配変化率ベクトルΔＶＫを用いて、第１ヒストグラム作成手段１７と第２ヒストグラム作成手段２２は、距離勾配変化率ベクトルΔＶＫが有する角度毎に、距離勾配変化率ベクトルΔＶＫが有する距離勾配変化率量を累積加算したヒストグラムデータＨ１と学習用ヒストグラムデータＨ２を各セルＳについて作成することができる。
【００９２】
以上のように、距離勾配変化率ベクトルΔＶＫを算出するため、幾何学的に曲率が一定とされる人工構造物（例えば電柱等）を処理負荷を増すことなく背景画像から除去することができ、歩行者判定処理の高速化と誤検出防止を図ることができる。
【００９３】
また、距離勾配変化率ベクトルΔＶＫの角度θ毎に、距離勾配変化率ベクトルΔＶＫの絶対値｜ΔＶＫ｜を累積加算してヒストグラムデータＨ１を作成するため、距離勾配ベクトルＶＫによる判定と同様に、形状に付随する角度毎の特徴を処理負荷を増すことなく抽出でき、更に歩行者の比較判定処理の高速化が図れる。
【００９４】
２〕前記実施例においては、単独のＣＣＤカメラを用いて対象物を検出するモーションステレオ処理の例を説明したが、複眼カメラを用いてステレオ処理で対象物を検出することも可能である。
【００９５】
３〕前記実施例においては、サブウインドウ内を予め設定した２×４のセルに分割した例を説明したが、学習によって分割数の変更も可能である。また、小領域についても、同様に、学習によって分割数の変更が可能である。
【００９６】
４〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施例に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。
【産業上の利用可能性】
【００９７】
本発明は、車両に搭載された撮像手段により撮像された車両前方の画像を処理して歩行者を検出する車両用歩行者検出置において、距離勾配ベクトルに関するヒストグラムを用いるため、対象物の輝度変化に影響を受けることなく形状を判定することができる。
【符号の説明】
【００９８】
１ 歩行者検出装置
２ ＣＣＤカメラ
１２ 距離画像作成手段
１３ 正規化手段
１５ 判定用セル設定手段
１６ 第１距離勾配ベクトル算出手段
１７ 第１ヒストグラム作成手段
１８ 歩行者判定手段
２１ 第２距離勾配ベクトル算出手段
２２ 第２ヒストグラム作成手段
Ｏ 対象物
Ｆ１ 第１輝度画像
Ｆ２ 第２輝度画像
Ｆ３ 距離画像
Ｗ サブウインドウ
Ｓ セル
Ｃ 小領域
Ｖ 距離勾配ベクトル
ΔＶ 距離勾配変化率ベクトル
Ｈ０ ヒストグラム基準データ
Ｈ１ ヒストグラムデータ
Ｈ２ 学習用ヒストグラムデータ
【特許請求の範囲】
【請求項１】
車両に搭載された少なくとも１つの撮像手段を備え、この撮像手段により撮像された車両前方の画像を処理して歩行者を検出する車両用歩行者検出装置において、
前記撮像画像から距離画像を作成する距離画像作成手段と、
前記距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段と、
前記サブウインドウから、前記対象物の特定領域に対応するセルを設定するセル設定手段と、
前記セルを構成するマトリックス状の複数の小領域内における距離勾配ベクトル、又は隣接する画素間の距離勾配ベクトルを算出する距離勾配ベクトル算出手段と、
前記距離勾配ベクトルに基づきヒストグラムデータを作成するヒストグラム作成手段と、
前記ヒストグラムデータを予め設定して記憶しているヒストグラム基準データと比較することにより、歩行者を判定する歩行者判定手段を備えたことを特徴とする車両用歩行者検出装置。
【請求項２】
前記距離勾配ベクトル算出手段は、更に、距離勾配変化率ベクトルを算出することを特徴とする請求項１に記載の車両用歩行者検出装置。
【請求項３】
前記ヒストグラム作成手段は、前記ベクトルが有する角度毎に、距離勾配ベクトルが有する距離変化量、または距離勾配変化率ベクトルが有する距離勾配変化率量を累積加算することによってヒストグラムデータを作成することを特徴とする請求項２に記載の車両用歩行者検出装置。
【請求項４】
前記歩行者判定手段は、前記ヒストグラムデータの特定の峰形状を前記ヒストグラム基準データにおける特定の峰形状と比較することによって歩行者を判定することを特徴とする請求項１〜３の何れか１つに記載の車両用歩行者検出装置。
【請求項５】
前記ヒストグラム作成手段は、所定の車両運転状態のとき、前記サブウインドウの全領域についてセル毎のヒストグラムデータを作成し、
前記全ヒストグラムデータのうち、前記ヒストグラム基準データに対して一致度が高いセルを新たな判定用セルに設定することを特徴とする請求項１〜４の何れか１つに記載の車両用歩行者検出装置。
【請求項６】
前記歩行者判定手段は、前記角度の特定の角度における前記累積加算量を前記ヒストグラム基準データの特定の角度における累積加算量と比較することによって歩行者を判定することを特徴とする請求項３に記載の車両用歩行者検出装置。
【請求項７】
前記ヒストグラム基準データは、歩行者が判定されたヒストグラムデータに基づいて設定されることを特徴とする請求項１に記載の車両用歩行者検出装置。
【請求項８】
前記サブウインドウ設定手段は、前記対象物までの距離に依存せずに、前記サブウインドウの大きさを正規化することを特徴とする請求項１〜７の何れか１つに記載の車両用歩行者検出装置。
【請求項９】
前記サブウインドウ設定手段は、前記距離画像から所定のテンプレートを用いて前記対象物が含まれるサブウインドウを設定したことを特徴とする請求項１〜８の何れか１つに記載の車両用歩行者検出装置。
【請求項１０】
前記距離画像作成手段は、距離画像をモーションステレオ処理によって作成したことを特徴とする請求項１〜９の何れか１つに記載の車両用歩行者検出装置。
【請求項１】
車両に搭載された少なくとも１つの撮像手段を備え、この撮像手段により撮像された車両前方の画像を処理して歩行者を検出する車両用歩行者検出装置において、
前記撮像画像から距離画像を作成する距離画像作成手段と、
前記距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段と、
前記サブウインドウから、前記対象物の特定領域に対応するセルを設定するセル設定手段と、
前記セルを構成するマトリックス状の複数の小領域内における距離勾配ベクトル、又は隣接する画素間の距離勾配ベクトルを算出する距離勾配ベクトル算出手段と、
前記距離勾配ベクトルに基づきヒストグラムデータを作成するヒストグラム作成手段と、
前記ヒストグラムデータを予め設定して記憶しているヒストグラム基準データと比較することにより、歩行者を判定する歩行者判定手段を備えたことを特徴とする車両用歩行者検出装置。
【請求項２】
前記距離勾配ベクトル算出手段は、更に、距離勾配変化率ベクトルを算出することを特徴とする請求項１に記載の車両用歩行者検出装置。
【請求項３】
前記ヒストグラム作成手段は、前記ベクトルが有する角度毎に、距離勾配ベクトルが有する距離変化量、または距離勾配変化率ベクトルが有する距離勾配変化率量を累積加算することによってヒストグラムデータを作成することを特徴とする請求項２に記載の車両用歩行者検出装置。
【請求項４】
前記歩行者判定手段は、前記ヒストグラムデータの特定の峰形状を前記ヒストグラム基準データにおける特定の峰形状と比較することによって歩行者を判定することを特徴とする請求項１〜３の何れか１つに記載の車両用歩行者検出装置。
【請求項５】
前記ヒストグラム作成手段は、所定の車両運転状態のとき、前記サブウインドウの全領域についてセル毎のヒストグラムデータを作成し、
前記全ヒストグラムデータのうち、前記ヒストグラム基準データに対して一致度が高いセルを新たな判定用セルに設定することを特徴とする請求項１〜４の何れか１つに記載の車両用歩行者検出装置。
【請求項６】
前記歩行者判定手段は、前記角度の特定の角度における前記累積加算量を前記ヒストグラム基準データの特定の角度における累積加算量と比較することによって歩行者を判定することを特徴とする請求項３に記載の車両用歩行者検出装置。
【請求項７】
前記ヒストグラム基準データは、歩行者が判定されたヒストグラムデータに基づいて設定されることを特徴とする請求項１に記載の車両用歩行者検出装置。
【請求項８】
前記サブウインドウ設定手段は、前記対象物までの距離に依存せずに、前記サブウインドウの大きさを正規化することを特徴とする請求項１〜７の何れか１つに記載の車両用歩行者検出装置。
【請求項９】
前記サブウインドウ設定手段は、前記距離画像から所定のテンプレートを用いて前記対象物が含まれるサブウインドウを設定したことを特徴とする請求項１〜８の何れか１つに記載の車両用歩行者検出装置。
【請求項１０】
前記距離画像作成手段は、距離画像をモーションステレオ処理によって作成したことを特徴とする請求項１〜９の何れか１つに記載の車両用歩行者検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２８２３８８（Ｐ２０１０−２８２３８８Ａ）
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願番号】特願２００９−１３４７１２（Ｐ２００９−１３４７１２）
【出願日】平成２１年６月４日（２００９．６．４）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願日】平成２１年６月４日（２００９．６．４）
【出願人】（０００００３１３７）マツダ株式会社 (6,115)
【Ｆターム（参考）】
[ Back to top ]