歩行者検出装置及び歩行者検出方法
【課題】背景を歩行者と誤検出することを防ぐ。
【解決手段】
カメラ１０と、撮像された画像から特徴点を抽出する特徴点抽出部２１と、抽出された特徴点の移動速度及び／又は移動方向を含む移動情報をそれぞれ算出する移動情報算出部２２と、算出された特徴点の移動情報に基づいて、撮像された画像の中から移動する対象立体物を含む対象領域を抽出する判定対象抽出部３１と、抽出された対象領域に関する移動情報と対象領域の周囲に設定された比較領域に関する移動情報とを比較し、その移動情報の比較結果に基づいて抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定する歩行者判定手段３４と、を有する。
【解決手段】
カメラ１０と、撮像された画像から特徴点を抽出する特徴点抽出部２１と、抽出された特徴点の移動速度及び／又は移動方向を含む移動情報をそれぞれ算出する移動情報算出部２２と、算出された特徴点の移動情報に基づいて、撮像された画像の中から移動する対象立体物を含む対象領域を抽出する判定対象抽出部３１と、抽出された対象領域に関する移動情報と対象領域の周囲に設定された比較領域に関する移動情報とを比較し、その移動情報の比較結果に基づいて抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定する歩行者判定手段３４と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像に基づいて歩行者を検出する歩行者検出装置及び歩行者検出方法に関する。
【背景技術】
【０００２】
車載カメラの撮像画像からオプティカルフロー（画像速度情報）を利用して歩行者や車両等の移動体を検出する移動体検出装置と移動検出方法が提案されている。例えば、撮像画像のオプティカルフローを求め、移動体の動きに基づいて抽出された撮像画像の背景のオプティカルフローと撮像画像全体のオプティカルフローとの比較により、移動体を検出する移動体検出方法が提案されている（特許文献１参照）。
【０００３】
【特許文献１】特開２００４−５６７６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の移動体検出装置または移動体検出方法では、移動体を検出するために撮像画像と背景のオプティカルフローを正確に算出する必要があるが、実際の環境にて撮像される画像では、様々な形状のエッジが複雑に組み合わさり、これら各画素の時間的な対応付けも複雑であるため、正確なオプティカルフローを算出することが難しい。このため、単純に撮像画像のオプティカルフローと背景のオプティカルフローを比較しただけでは、背景を歩行者と判定する誤検出が発生する可能性があるという問題があった。
【０００５】
本願発明が解決しようとする課題は、背景を歩行者として誤検出することを低減させる歩行者検出装置及び歩行者検出方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、撮像画像から抽出された対象領域の移動情報と対象領域の周囲に設定された比較領域の移動情報とに基づいて、抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、対象立体物を含む対象領域の移動情報と比較領域の移動情報とを比較することにより、近傍に存在する背景に対する対象立体物の相対的な動きを観察することができるので、背景を歩行者として誤検出することを低減させることができる。
【発明を実施するための最良の形態】
【０００８】
＜第１実施形態＞
図１は、歩行者検出装置１００を含む車載装置１０００のブロック構成の一例を示す図である。本実施形態の歩行者検出装置１００は、車両に搭載され、車両の前方（進行方向に沿った前方）の撮像画像に基づいて歩行者を検出する装置である。
【０００９】
図１に示すように、本実施形態の車載装置１０００は、歩行者検出装置１００と、この歩行者検出装置１００から歩行者検出情報を取得し、取得した歩行者検出情報に基づく情報をユーザ又は車両側に出力する車両コントローラ２００等の外部装置とを有する。外部装置としては、図１に示すように、車両の駆動を制御する車両コントローラ２００の他、歩行者の存在を知らせる警報装置３００、歩行者の存在に応じた走行支援を行う走行支援装置４００、ディスプレイ及び／又はスピーカを有し、歩行者の存在に関する情報を提示する出力装置５００を一又は二以上備える。これら本実施形態の歩行者検出装置１００、車両コントローラ２００、警報装置３００、走行支援装置４００、出力装置５００の演算処理は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡなどの動作回路を組み合わせて構成された処理手段により実行される。
【００１０】
なお、これらの装置の処理手段は、ＣＡＮ（Controller Area Network）などの車載ＬＡＮにより接続される。
【００１１】
本実施形態の歩行者検出装置１００は、カメラ１０と、カメラ１０の撮像データを記憶する画像メモリ１１と、撮像された画像を処理する画像処理部２０と、判定処理部３０とを備える。
【００１２】
以下、画像処理装置１００が備える各構成について説明する。
【００１３】
カメラ１０は、例えばＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子を有するカメラであり、所定周期で連続的に車両周囲（車両前方、車両後方、車両側方など）を撮像し、フレーム毎に撮像された画像を画像メモリ１１に出力する画像メモリ１１は、画像データをアクセス可能な状態で記憶する。画像メモリ１１として、ＨＤＤ、ＣＤ、ＭＤ、ＤＶＤ、光ディスクその他の記録媒体を用いる。
【００１４】
図２にカメラ１０の設置例を示す。図２に示すように、カメラ１０は車両の室内上部前方に設置される。同図に示すように、本実施形態では、１つのカメラ１０を車両に設置する。つまり、本実施形態では、単眼のカメラ１０で車両周囲を撮像する。
【００１５】
さらに、カメラ１０は、その光軸ＬＳが車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は路面と平行となるように、また撮像面の垂直軸Ｙ（図示省略）が路面と略垂直になるように設定される。
【００１６】
カメラ１０により撮像された画像（自車両前方の画像）の例を図３に示す。カメラ１０により撮像された撮像画像は、画像左上頂点を原点として左から右へ延在するｘ軸、上から下へ延在するｙ軸により定義されるｘｙ座標系により表される。図３に示す画像例は、左右の白線、外壁などの走路の境界線と、道路の左側から右側へ移動する歩行者が撮像画像に含まれる。
【００１７】
次に、画像処理部２０について説明する。画像処理部２０は、特徴点抽出部２１と、移動情報算出部２２と、グループ化部２３と、座標変換部２４とを備え、カメラ１０により撮像された撮像画像の処理を行う。
【００１８】
まず、特徴点抽出部２１について説明する。特徴点抽出部２１は、カメラ１０により撮像された撮像画像から特徴点を抽出する。この特徴点抽出部２１は、カメラ１０により撮像された画像を画像メモリ１１から取得し、取得した撮像画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。図４（ａ）に、抽出された垂直方向のエッジ例を示す。次に、抽出された各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する（図４（ｂ）参照）。さらに、細線化されたエッジのエッジ幅が一定の幅となるように、例えば３画素分の幅となるように、エッジを水平方向に拡張する（図４（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得る。
【００１９】
移動情報算出部２２は、特徴点抽出部２１により抽出された特徴点及びこの特徴点周囲に対応する画素について、その移動方向及び／又は移動速度を含む移動情報をそれぞれ算出する。求めた特徴部の移動速度と移動方向は、撮像タイミング識別子又はフレーム識別子と対応づけて記憶する。この画素の移動情報は、画素の特定情報とともに、「画素の移動速度」と「画素の移動方向」を含む。なお、一の画像データ中に複数の特徴部が存在する場合は、すべての特徴部についてその移動情報を算出する。
【００２０】
以下、本実施形態の移動情報算出部２２について説明する。
【００２１】
本実施形態の移動情報算出部２２は、カメラ１０により撮像された物体の画像の情報に基づいて、物体の外延に対応するエッジが検出された位置の画素のカウント値をカウントアップし、このカウント値の傾きに基づいて、エッジの移動速度及び移動方向を算出する。
【００２２】
また、移動情報算出部２０は、撮像タイミングが異なる画像データについて、各画像データに含まれるエッジに対応する画素の画素カウンタのカウンタ値を所定の手法で更新する。ここで、画素カウンタとは、各画素に設定されたカウンタであり、画素がエッジに対応する場合は画素カウンタのカウンタ値を＋１加算し、画素がエッジに対応しない場合は画素カウンタのカウンタ値を０とする（初期化する）カウンタである。このカウンタ値の更新処理を、カメラ１０により所定周期で繰り返し撮像されるフレーム毎に行う。この操作を行うと、エッジに対応する時間が長い画素は、対応する画素カウンタのカウンタ値が大きくなり、他方、エッジに対応する時間が短い画素は、対応する画素カウンタのカウンタ値が小さくなる。
【００２３】
この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになる。このため、このカウンタ値に基づいて、撮像画像上におけるエッジの移動方向と移動速度とを算出する。画像の座標系は方位を表しているため、エッジ、及びこのエッジに対応する特徴部の移動方向と移動速度を求めることができる。
【００２４】
さらに、図４に基づいて、移動情報算出部２２が行う移動情報の算出手法を説明する。図４は移動情報の算出処理を説明するための図、すなわち、抽出されたエッジが正規化されたエッジ画像を取得し、エッジのカウンタ値（滞留時間）から移動方向と移動速度を算出する処理を具体的に説明するための図である。
【００２５】
まず、特徴点抽出部２１は、エッジ画像に対して２値化処理を行う。２値化処理とはエッジの検出された位置の画素を１とし、エッジの検出されなかった位置の画素を０とする処理である。図４（ａ）は抽出された垂直方向のエッジの２値化画像例を示す。
【００２６】
次に、図４（ｂ）に示すように、生成された２値化画像に対して、細線化処理を行う。細線化処理とは、検出されたエッジのエッジ幅を所定画素幅になるまで縮小する処理である。つまり、抽出された各エッジに対して細線化処理を行ってエッジ幅を絞る。本例では、図４（ｂ）に示すように、所定画素幅として１画素になるまでエッジのエッジ幅を細線化する。このようにエッジを所定の画素幅になるまで細線化することによって、エッジの中心となる中心位置を設定する。なお、本例では、１画素に細線化する例を示すが、細線化する画素数は特に限定されない。
【００２７】
次に、細線化されたエッジのエッジ幅を膨張させる膨張処理を行う。膨張処理とは、細線化によって設定された中心位置からエッジの移動方向に向かってエッジ幅が一定の幅となるように膨張させるとともに、中心位置からエッジの移動方向と反対方向にもエッジ幅を膨張させる処理である。本例では、細線化されたエッジのエッジ幅が３画素分の幅となるように、エッジを水平方向に膨張させる。この処理により、抽出されたエッジを正規化し、各エッジの幅が均一なエッジ画像を得る。
【００２８】
具体的に、図４（ｃ）に示すように、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素膨張させるとともに、エッジの中心位置ｘ０からエッジの移動方向と反対方向（ｘ軸の負方向）に１画素膨張させて、エッジ幅を３画素に膨張させる。
【００２９】
このように細線化処理と膨張処理とを行うことによって、抽出されたエッジ画像のエッジ幅を、エッジの移動方向に向かって所定の幅に統一し、規格化する。
【００３０】
次に、移動情報算出部２２が移動情報を算出するために行う、カウントアップ処理について説明する。ここに言うカウントアップ処理とは、エッジが検出された画素の位置に対応するメモリアドレスの値をカウントアップし、エッジが検出されなかった画素の位置に対応するメモリアドレスの値を初期化する処理である。
【００３１】
以下、図４（ｃ）〜（ｆ）に基づいて移動情報算出部２２によるエッジのカウントアップ処理について説明する。説明の便宜のため、ここでは、エッジがｘ軸の正方向に移動する場合を例にして説明する。エッジがｘ軸の負方向やｙ軸方向、あるいは２次元的に移動する場合においても、基本的な処理手法は共通する。
【００３２】
図４（ｃ）に示すように、エッジはあるフレームにおいて位置ｘ０にエッジの中心位置がある。そして、その中心位置からエッジの移動方向に１画素の位置ｘ０＋１に膨張され、同様に、中心位置からエッジの移動方向と反対方向に１画素の位置ｘ０−１に膨張される。
【００３３】
このようなエッジが検出された位置、「ｘ０−１」、「ｘ０」、「ｘ０＋１」に対応するメモリアドレスのカウント値は＋１カウントアップされる。他方、エッジが検出されなかった位置に対応するメモリアドレスのカウント値は、リセットされる。
【００３４】
例えば、図４（ｄ）では、時刻ｔにおいて、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」にエッジが検出されている。このため、それぞれの位置に対応するメモリアドレスのカウント値が各１カウントアップされる。その結果、位置「ｘ０＋１」のカウント値は「１」、位置「ｘ０」のカウント値は「３」、位置「ｘ０−１」のカウント値は「５」である。
【００３５】
次に、図４（ｅ）に示すように、時刻ｔ＋１になってもエッジが移動していないので、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」の各位置でエッジが検出される。このため、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」のカウント値をさらに１ずつカウントアップする。その結果、位置「ｘ０＋１」のカウント値は２、位置「ｘ０」のカウント値は４、位置「ｘ０−１」のカウント値は６となる。
【００３６】
さらに、図４（ｆ）に示すように、時刻ｔ＋２では、エッジがｘ軸の正方向に１画素シフトして位置「ｘ０」、「ｘ０＋１」、「ｘ０＋２」の位置でエッジが検出される。このため、エッジが検出された位置「ｘ０」、「ｘ０＋１」、「ｘ０＋２」に対応するメモリアドレスのカウント値はカウントアップされる。他方、エッジが検出されなかった位置「ｘ０−１」のカウント値はリセットされ、「ゼロ」となる。その結果、図４（ｆ）に示すように位置「ｘ０＋２」のカウント値は１、位置「ｘ０＋１」のカウント値は３、位置「ｘ０」のカウント値は５となる。さらに、エッジが検出されなかった位置「ｘ０−１」のカウント値はリセットされ、「０」になっている。
【００３７】
このように、移動情報算出部２２は、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップし、エッジの検出されなかった位置に対応するメモリアドレスのカウント値をリセットする。
【００３８】
なお、図４に基づく説明においては、カウント値を検出する位置として、エッジの中心位置「ｘ０」と、この中心位置からエッジの移動方向へ１画素の位置「ｘ０＋１」と、中心位置からエッジの移動方向と反対方向に１画素の位置「ｘ０−１」の３箇所でカウント値を検出するが、後述するカウント値の傾きが求められれば、カウント値を検出するポイントの配置、数は限定されない。つまり、エッジの移動方向に対して２箇所以上においてカウント値を検出できれば、カウント値の検出箇所はいくつであってもよい。
【００３９】
また、エッジが移動する速度に比べて、フレームレートが十分に高く設定されていれば、連続するフレーム間において、エッジは同じ位置で複数回検出される。例えば、図４の例では、連続する時刻ｔのフレームと時刻ｔ＋１のフレームにおいて、エッジは位置ｘ０において２回検出される。したがって、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップしていくと、そのカウント値はその位置においてエッジが検出されている時間（フレーム数、滞留時間）と相関する。特に、エッジのカウント値の中で最小のカウント値ｈは、エッジが移動してから何フレームの間、同じ位置にあるかということを表す。
【００４０】
次に、本実施形態における、エッジの移動速度、移動方向及び位置の算出手法について説明する。本実施形態では、カウント値の傾きを算出し、この傾きに基づいて、エッジの移動速度、移動方向及び位置を算出する。
【００４１】
例えば、図４（ｅ）の場合では、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」のカウント値がそれぞれ「６」、「４」、「２」である。位置「ｘ０−１」のカウント値「６」から「ｘ０＋１」のカウント値「２」を引くと、カウント値の傾きＨは、Ｈ＝（６−２）／２＝２と算出できる。
【００４２】
これは、Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）−（エッジが位置ｘ０＋１に移動した後の時間）｝／（２画素）を意味する。つまり、傾きＨを算出することにより、エッジが、位置ｘ０にある１画素を通過するのに要する時間（フレーム数）を算出することになる。
【００４３】
したがって、カウント値の傾きＨは、エッジが１画素移動するために何フレームを要するかに相当し、このカウント値の傾きＨに基づいてエッジの移動速度１／Ｈを算出する。図４（ｅ）では１画素移動するのに２フレームを要することになるので、エッジの移動速度は１／２（画素／フレーム）と算出する。同様に、図４（ｆ）でもＨ＝（５−１）／２＝２となるので、エッジの移動速度は１／２（画素／フレーム）になる。
【００４４】
続いて、カウント値の大小に基づいて、エッジの移動方向を判断する手法について説明する。エッジの無い位置にエッジが移動し、新たにエッジが検出された位置のカウント値は１となるから、各位置のカウント値の中では最も小さな値となる。したがって、エッジが移動する方向のカウント値は小さく、エッジが移動する方向と反対方向のカウント値は大きくなる。この傾向を利用して、エッジの移動方向を判断することができる。
【００４５】
さらに、エッジが移動する速度に比べてフレームレートが十分に高く設定されていれば、検出対象物は等速移動をしていると仮定することができる。また、現在の位置におけるカウント値の中で最小のカウント値ｈは、エッジがその位置で検出されている時間、すなわちエッジが移動してから何フレームの間、同じ位置にあるかということを表している。これらのことにより、エッジの位置は、エッジの中心位置をｘ０とすると、「エッジの位置＝ｘ０＋ｈ／Ｈ」により求めることができる。例えば、図４（ｆ）では、エッジの速度は１／２（画素／フレーム）で、時刻ｔ＋２の時点では1フレーム連続して同じ位置でエッジが検出されているので、時刻ｔ＋２のエッジの位置は「１（フレーム）×｛１／２（画素／フレーム）｝＝０．５画素」だけ位置ｘ０から移動していると算出することができる。
【００４６】
以上のことから、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップし、カウントアップされたカウント値の傾きに基づいてエッジの移動速度及び移動方向を算出することができる。
【００４７】
また、移動情報算出部２２は、撮像画像上に存在するエッジの移動情報を所定の階級値に分類し、移動情報の特徴を表現する移動画像を生成する。図５に移動画像の一例を示す。図５に示すように、本実施形態の移動画像では、移動情報が検出されたエッジの画素を丸印で表し、移動速度が速い画素ほど点を大きい丸印で表すことにより、画素の移動情報を表現する。また、移動方向が右、すなわち右方向へ移動する画素を塗りつぶした黒印で表し、移動方向が左、すなわち左方向へ移動する画素を色抜きの白印で表すことにより、画素の移動方向を表現する。図５においては、自車両の走行路右側の外壁および白線からは画像の右側へ向かう速度が検出されており、走行路左側の外壁からは画像の左側及び右側へ向かう速度が検出されている。これは、左操舵から中立へ戻す状況を示しており、消失点が左側外壁に存在することを示している。また、走行路左側から右へ移動する歩行者では、画像の右側へ向かう速度が検出されている。このように、移動画像は、移動速度と移動方向を含む移動情報を表現できる。
【００４８】
次に、グループ化部２３について説明する。グループ化部２３は、移動情報算出部２２により算出された移動速度が所定範囲内であるとともに、画像おいて略垂直方向に隣接する画素群をグループ化する。グループ化部２３は、算出された移動画像から立体物を抽出するために、移動画像を分割する領域を設定する。すなわち、図６に示すように、移動画像上に短冊状の複数の領域を設定し、移動画像を複数の領域で分割する。次に、各領域毎に、画像の縦方向において所定域値内の移動速度で連続する画素をグループ化し、グループ化された画素に基づいて立体物を検出する。具体的には、移動画像（図５参照）を縦方向（ｙ軸方向）に探索する。移動情報を持った画素Ａが見つかった場合、画素Ａに隣接する画素Ｂを探索する。画素Ｂが移動情報を有し、かつ画素Ａと画素Ｂの速度方向の差が閾値Ｒｅ以内であり、かつ、画素Ａと画素Ｂの速度の大きさの差が閾値Ｔｖ以内であれば、同じ移動速度で縦に連続していると判断する。次に、画素Ｂに隣接する画素Ｃについても同様に移動情報の有無を判断し、画素Ａと画素Ｃの速度の方向の差が閾値Ｒｅ以内か、速度の大きさの差が閾値Ｔｖ以内かを判断する。以後、いずれかの条件を満たさなくなるまで繰り返す。ここで「縦方向に移動情報が共通する画素が連続する」という特徴は、立体の画像上の特徴である。すなわち、画像の下部から上部に向かって各領域を走査し、領域内に速度を持った画素が存在する場合は、その画素の上方に隣接する速度を持った画素との速度差を比較する。その速度差が閾値Ｔ１以下である場合には、車両に対して同じ速度で移動する物体であると推定できることから、同じ物体であると判定してグループ化を行う。
【００４９】
次に、座標変換部２４について説明する。座標変換部２４は、画像に含まれる画素を所定の視点から見た俯瞰図における変換座標に変換する。この変換座標は、所定の領域（面積）が与えられるとともに分割領域に分割された変換座標である。まず、座標変換部２４は、グループ化部２３によりグループ化された画素の上端位置（最も高い位置に存在する画素）と下端位置（最も低い位置に存在する画素）を検出する。この処理により、図６に示す下端位置ＢＬ１〜ＢＬ１６及び上端位置ＴＬ１〜ＴＬ１６が検出される。
【００５０】
そして、座標変換部２４は、ｘｙ平面上において抽出された下端ＢＬ１〜ＢＬ１６および上端ＴＬ１〜ＴＬ１６の中心位置を座標とする下端点ＢＰ１〜ＢＰ１６（図示省略）および上端点ＴＰ１〜ＴＰ１６（図示省略）の位置座標を、規定の面積を備えたＺＸ平面（以下、規定のＺＸ平面と呼ぶ）上の点として３次元の位置座標（実空間上の３次元における位置座標）に変換する。
【００５１】
ここで、各点の座標を（ｘ、ｙ）とし、カメラの路面からの高さをＣｈ（ｍ）、カメラの俯角をＴｒ（ｒａｄ）、画像の縦サイズをＩｈ、画像の横サイズをＩｗ、高さ方向の１画素あたりの角度分解能をＰＹｒ（ｒａｄ）、横方向の１画素あたりの角度分解能をＰＸｒ（ｒａｄ）とすると、ｘｙ平面上の点ＴＰ１〜ＴＰ１６及びＢＰ１〜ＢＰ１６は、次式に従ってＺＸ平面の座標（Ｚ、Ｘ）に変換される。
【００５２】
（式１）Ｚ＝(Ｃｈ)／(ＴＡＮ(Ｔｒ＋(ｙ−Ｉｈ／２)×ＰＹｒ))
（式２）Ｘ＝ｘ×ＴＡＮ((Ｚ-Ｉｗ／２)×ＰＸｒ)
上端点ＴＰ１〜ＴＰ１６の変換後の点を、上端座標変換点ＲＴ１〜ＲＴ１６とし、下端点ＢＰ１〜ＢＰ１６の変換後の点を下端座標変換点ＲＢ１〜ＲＢ１６とする。一部の対応関係を図７に示す。
【００５３】
座標変換部２４により得られた情報は判定処理部２４に送出される。また、必要に応じて、移動情報、特徴点に関する情報も判定処理部３０へ送出される。
【００５４】
続いて、判定処理部３０について説明する。判定処理部３０は、画像処理部２０により処理された画像に基づいて抽出された対象立体物が歩行者であるか否かを判定し、歩行者を検出する。
【００５５】
具体的に、本実施形態の判定処理部３０は、判定対象抽出部３１と、歩行者候補抽出部３２と、歩行者候補検証部３３と、歩行者判定部３４とを備える。
【００５６】
以下、判定処理部３０が備える各構成について説明する。
【００５７】
まず、判定対象抽出部３１について説明する。判定対象抽出部３１は、画像処理部２０の移動情報算出部２２により算出された特徴点の移動情報に基づいて、撮像された画像の中から移動する対象立体物を含む対象領域を抽出する。 判定対象抽出部３１は、本実施形態の歩行者検知装置１００が最終的に歩行者を検知する観点から、歩行者の可能性が高い対象立体物を含む対象領域を抽出することが好ましい。歩行者は、立体物であるとともに移動体であるから、歩行者に対応する画像は、立体物としての特徴と移動体としての特徴とを備える。このため、判定対象抽出部３１は、判定の対象候補として立体物を抽出する機能及び／又は判定の対象候補として移動体を抽出する機能を有する。立体物の抽出手法及び移動体の抽出手法は、以下に説明する手法のほか、公知の手法を用いることができる。なお、ここで「移動する」とは立体物自身が移動する（能動的に移動する）場合と、歩行者検出装置１００が移動することにより、立体物が相対的に移動する場合の両方を含む。
【００５８】
特に限定されないが、本実施形態の判定対象抽出部３１は、以下の２つの手法により撮像画像から対象立体物を含む対象領域を抽出する。
【００５９】
第１の手法として、判定対象抽出部３１は、グループ化部２３によりグループ化された画素群のうち、変換座標において最も高い位置(上端)に存在する画素の座標と最も低い位置(下端)に存在する画素の座標とに基づき、撮像された画像の中から対象立体物を含む対象領域を抽出する。
【００６０】
本実施形態の判定対象抽出部３１は、グループ化部２３によりグループ化された画素群のうち、変換座標において上端に位置する画素の座標が変換座標の領域外に属するとともに、下端に位置する画素の座標がいずれかの分割領域に属する場合は、グループ化された画素群に対応する領域を、対象立体物を含む対象領域として抽出する。例えば、図７に示すＯＢ１のように、上端に位置する画素ＴＰ１の変換座標はＺＸ変換座標の領域外に位置し、下端に位置する画素ＢＰ１の変換座標はＺＸ変換座標内に位置するため、判定対象抽出部３１は、ＯＢ１が属する領域を、対象立体物を含む対象領域として抽出する。
【００６１】
他方、判定対象抽出部３１は、グループ化部２３によりグループ化された画素群のうち、変換座標において上端に位置する画素の座標と下端に位置する画素の座標とが共通の分割領域に属する場合は、グループ化された画素群に対応する領域を、平面物を含む領域として抽出する。平面物であるということは立体物ではなく、ましてや歩行者でもないから、抽出された平面物を含む領域は、対象立体物を含む対象領域として抽出しない。例えば、図７に示すＴＰ１０とＢＰ１０を含む領域（撮像画像における路上の白線に対応）のように、上端に位置する画素ＴＰ１０の変換座標はＺＸ変換座標の領域５５に位置し、下端に位置する画素ＢＰ１０の変換座標もＺＸ変換座標の領域５５内に位置するため、判定対象抽出部３１は、この領域を、平面物を含む領域として抽出する。
【００６２】
また、判定対象抽出部３１は、所定間隔に分割されたＺＸ平面の座標（Ｚ、Ｘ）において、上端座標変換点ＲＴ１〜ＲＴ１６と下端座標変換点ＲＢ１〜ＲＢ１６とが、ＺＸ平面のいずれの分割領域に属するかに基づいて、立体物の抽出を行う（図７参照）。ここで、車両の上下動に伴いカメラ１０の撮像画像が上下に動くことにより、座標変換点の属する領域が変動してしまう可能性がある。この影響を避けるため、ＺＸ平面の分割領域の所定間隔はメーターオーダーで設定する。本実施例では、ｘ軸方向は、−５．２５ｍ＞ｘ、−５．２５≦ｘ＜−３．５ｍ、−３．５ｍ≦ｘ＜−１．７５ｍ、−１．７５ｍ≦ｘ＜０ｍ、０ｍ≦ｘ＜１．７５ｍ、１．７５ｍ≦ｘ＜３．５ｍ、３．５ｍ≦ｘ＜５．２５ｍ、５．２５ｍ≦ｘ、として８分割し、ｚ軸方向は、０≦ｚ＜１０ｍ、１０ｍ≦ｚ＜２０ｍ、２０ｍ≦ｚ＜３０ｍ、３０ｍ≦ｚ＜４０ｍ、４０ｍ≦ｚ＜５０ｍとして５分割して、領域１１〜領域１５、領域２１〜領域２５、領域３１〜領域３５、領域４１〜領域４５、領域５１〜領域５５、領域６１〜領域６５、領域７１〜領域７５、領域８１〜領域８５を設定する。また、領域１１〜領域１５を領域１０とし、領域２１〜領域２５を領域２０とし、領域３１〜領域３５を領域３０とし、領域４１〜領域４５を領域４０とし、領域５１〜領域５５を領域５０とし、領域６１〜領域６５を領域６０とし、領域７１〜領域７５を領域７０とし、領域８１〜領域８５を領域８０とする。
【００６３】
判定対象抽出部３１は、ｘｙ座標において同位置のグループとされた上端座標変換点と下端座標変換点とが、ＺＸ平面における同一の分割領域に属する場合は、同一グループの上端点と下端点は同一の路面上にある、すなわち路面上の平面物体であると判定する（立体物ではないと判定する）。また、上端点に対応する上端座標変換点が規定のＺＸ座標外に位置し、その上端点と同一のグループの下端点の下端座標変換点が規定のＺＸ座標内に位置する場合は、下端点のみが路面上にあるため立体物であると判定する。
【００６４】
なお、ここで、移動情報算出部２２は、後述する走路境界の検出のために、各領域に設定されたカウンタのうち下端点の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算し、下端点の位置情報分布を算出する。
【００６５】
また、上端点ＴＰ１、ＴＰ３、ＴＰ５、ＴＰ６、ＴＰ８、ＴＰ９及びＴＰ１２〜ＴＰ１６の座標変換点ＲＴ１、ＲＴ３、ＲＴ５、ＲＴ６、ＲＴ８、ＲＴ９及びＲＴ１２〜ＲＴ１６は図７に示す規定のＺＸ座標外に投影されるため、上端点ＴＰ１、ＴＰ３、ＴＰ５、ＴＰ６、ＴＰ８、ＴＰ９及びＴＰ１２〜ＴＰ１６を含むグループに対応する対象物は立体物であると判定される。つまり、上端点ＴＰ１、ＴＰ３、ＴＰ５、ＴＰ６、ＴＰ８、ＴＰ９及びＴＰ１２〜ＴＰ１６を含むエッジはｘｙ平面上で立体物ＯＢ１〜ＯＢ１１として抽出される。
【００６６】
また、上端点ＴＰ２、ＴＰ４、ＴＰ７、ＴＰ１０、ＴＰ１１の座標変換点ＲＴ２、ＲＴ４、ＲＴ７、ＲＴ１０、ＲＴ１１は下端点ＢＰ２、ＢＰ４、ＢＰ７、ＢＰ１０、ＢＰ１１の座標変換点ＲＢ２、ＲＢ４、ＲＢ７、ＲＢ１０、ＲＢ１１と同じ領域に位置するため、上端点ＴＰ２、ＴＰ４、ＴＰ７、ＴＰ１０、ＴＰ１１を含むグループは路面上に位置する平面の対象物であると判定される。
【００６７】
また、判定対象抽出部３１は、抽出された対象領域に含まれる平面物に対応する画素群が、抽出された対象立体物を含む対象領域に対応する特徴点に、画像の略垂直方向に沿って連なる場合は、平面物を含む対象領域と立体物を含む対象領域とを一の対象立体物を含む対象領域として抽出する。
【００６８】
なお、ここで、移動情報算出部２２は、後述する走路境界の検出のために、下端点の座標変換点ＲＢ1〜ＲＢ1６が位置する領域のカウンタのカウンタ値を＋１加算する。
【００６９】
さらに、第２の手法として、判定対象抽出部３１は、グループの画素群のうち画像の略垂直方向の最下に位置する画素の座標値に基づいて、画像に含まれる立体物の設置面と所定の関係を有する基準境界を抽出し、グループ化部２３によりグループ化された画素群のうち最上に位置する画素の位置が基準境界の位置よりも上に位置する場合は、グループ化された画素群に対応する領域を、移動する対象立体物を含む対象領域として抽出する。
【００７０】
この処理にあたり、グループ化部２３は、画像において略垂直方向に隣接するとともに、移動情報算出部２２により算出された移動速度が所定範囲内である画素群をグループ化する。
【００７１】
まず、判定対象抽出部３１は、立体物の設置面を定義づけることができる基準境界を抽出する。本実施形態では、歩行者検出装置１００を搭載する車両が走行する道路の走路境界を基準境界として抽出する。
【００７２】
このため、図８に示すように、得られた下端点の座標変換点の位置分布に基づいて、基準境界が存在する可能性が高い領域を抽出する。すなわち、得られた下端点の座標変換点の位置分布において、同じｘ軸領域で複数のｚ軸領域にカウンタ値が存在すれば、自車両前方に走路境界（自車両が走行する走路の境界）が車両に沿って直線状に存在すると推定できるため、カウンタ値がある領域を、基準境界の一態様としての走路境界を含む領域として抽出する。例えば、図８では、ｘ軸が同じ範囲の領域３０において、複数のｚ軸領域（下端点ＲＢ２、ＲＢ４、ＲＢ７が位置する領域）にカウンタ値が存在するため、これらの領域を走路境界領域として抽出する。なお、領域２０、領域５０、領域８０についても同様である。
【００７３】
そして、抽出された領域に走路境界を示す直線が存在するかどうかの判定を行う（図８参照）。すなわち、抽出した領域に存在する下端点の座標変換点に基づいて、ｘｙ座標系での回帰分析を行い、下端点を通る直線の傾きを算出する。例えば、図８の領域３０では、領域２０に存在する下端点の座標変換点ＲＢ２、ＲＢ４、ＲＢ７に対応するｘｙ座標における下端点ＢＰ２、ＢＰ４、ＢＰ７の座標位置からｘｙ座標系での回帰分析を行い、下端点ＢＰ２、ＢＰ４、ＢＰ７を通る直線の傾きａ３を算出する。同様に、領域２０、領域５０、領域８０に位置する下端点の投影点に対応した直線の傾きａ２、ａ５、ａ８を算出する。そして、算出した直線の傾きが、走路境界として判定できる範囲として予め定義された所定の範囲内に入っていれば、抽出された走路境界を示す直線が存在すると判定する。すなわち、下端点の座標変換点が位置するｘ軸領域の左端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＬ１〜ＰＬ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ１と、下端点の座標変換点が位置するｘ軸領域の右端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＲ１〜ＰＲ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ２とで規定される傾きの範囲内に、下端点に基づき算出された直線の傾きａｎが入っている場合には、抽出した領域内に走路境界を示す直線Ｌｎが存在するとの判定を行う。
【００７４】
例えば、図９に示すように、本実施例の領域８０においては、座標（ｘ，ｚ）＝（−３．５，５）の点ＰＬ１、座標（ｘ，ｚ）＝（−３．５，１５）の点ＰＬ２、座標（ｘ，ｚ）＝（−３．５，２５）の点ＰＬ３、座標（ｘ，ｚ）＝（−３．５，３５）の点ＰＬ４、座標（ｘ，ｚ）＝（−３．５，４５）の点ＰＬ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ１と、座標（ｘ，ｚ）＝（−１．７５，５）の点ＰＲ１、座標（ｘ，ｚ）＝（−１．７５，１５）の点ＰＲ２、座標（ｘ，ｚ）＝（−１．７５，２５）の点ＰＲ３、座標（ｘ，ｚ）＝（−１．７５，３５）の点ＰＲ４、座標（ｘ，ｚ）＝（−１．７５，４５）の点ＰＲ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ２に対し、下端点の投影点ＲＢ１、ＲＢ４、ＲＢ５に対応するｘｙ平面上の下端点ＢＰ１、ＢＰ４、ＢＰ５を結ぶ直線の傾きａ３が、Ｔ３０ａ１とＴ３０ａ２で規定される範囲内に存在するため、下端点ＢＰ２、ＢＰ４、ＢＰ７を結ぶ直線は走路境界を示す直線Ｌ３であると判定される(図９参照)。
【００７５】
同様にして、領域２０では、下端点の投影点ＲＢ１、ＲＢ６に対応する、ＢＰ１、ＢＰ６を結ぶ直線は走路境界を示す直線Ｌ２であると判定され、領域５０では、下端点の投影点ＲＢ１０、ＲＢ１１に対応するｘｙ平面上の下端点ＢＰ１０、ＢＰ１１を結ぶ直線は走路境界を示す直線Ｌ５であると判定され、領域８０では、下端点の投影点ＲＢ１２〜ＲＢ１６に対応するｘｙ平面上の下端点ＢＰ１２〜ＢＰ１６を結ぶ直線は走路境界を示す直線Ｌ８であると判定される。
【００７６】
次に、図１０に示すように、判定対象抽出部３１は、走路境界を示す直線のうち、自車両の近傍から遠方に連続して存在する立体物で構成される直線を背景として検出する。一般に、前方の撮像画像における背景は、静止した立体物が自車両近傍から遠方に直線的に並んでおり、近傍の速度が速く、遠方に行くに従い速度が遅くなる、という特徴を備える。したがって、このような特徴を示す走路境界を背景として抽出する。ここで、立体物で構成される走路境界が複数存在する場合には、自車両からより遠方に位置する走路境界を選択する。本実施例では、外壁と路面の交点である走路境界線Ｌ２とＬ８を背景として検出する。
【００７７】
次に、図１１に示すように、検出された画像位置と速度の関係から、画像上の任意の位置における静止物体の速度を算出する予測式を算出する。背景となる立体物は静止物であるため、背景となる立体物の速度は、画像の各位置における静止物の速度を表している。例えば、立体物ＯＢ１、ＯＢ４の速度は、それぞれの画像位置における静止物の速度を表している。したがって、複数の立体物間の画像位置と速度の関係を示す予測式を算出することで、画像上の任意の位置の静止物の速度を求めることができる。本実施例では、画像左側の物体に対しては、立体物ＯＢ１、ＯＢ４の画像上のｘｙ座標を説明変数、速度を目的変数として、回帰分析を行い、静止物体の速度の予測式を算出する。同様に、画像右側の物体に対しては、立体物ＯＢ７、ＯＢ８、ＯＢ１０、ＯＢ１１画像上のｘｙ座標を説明変数、速度を目的変数として、回帰分析を行い、静止物の速度の予測式を算出する。
【００７８】
そして、画像処理部２０により検出された特徴点の位置と特徴点の移動情報（移動速度、移動方向）と、算出された予測式から得られる静止物の移動速度とを比較することにより、移動体を検出する。
【００７９】
すなわち、本実施形態の判定対象抽出部３１は、グループ化された画素群のうち画像の略垂直方向の最下に位置する画素の座標値に基づいて、画像に含まれる立体物の設置面と所定の関係を有する基準境界を抽出し、その基準境界の位置と移動速度算出手段により算出された基準境界の移動情報とに基づいて画像の背景の予測移動情報を算出し、グループ化部２３によりグループ化された画素群の移動情報に含まれる移動方向と背景の予測移動情報に含まれる予測移動方向と差が、予め定義された略反対方向の関係である場合は、グループ化された画素群に対応する領域を、自車両の進路方向、すなわち自己の存在する方向に移動する対象立体物を含む対象領域として抽出する。
【００８０】
そして、移動体であれば、背景よりも手前に存在するため、画像上では、一般に背景の下端よりも立体物の上端は高い位置に存在する。
【００８１】
したがって、予測式から算出した速度とは反対向きの速度を持ち、背景の下端位置よりも上端位置が高い立体物は、自車両の進路路方向に進む移動体であると判定する。
【００８２】
図１１に示すように、立体物ＯＢ２、ＯＢ３、ＯＢ５、ＯＢ６は、予測式から算出した静止物とは略反対向きの速度の方向を持ち、その上端位置が背景（走路境界Ｌ２）の下端位置よりも高い位置にあるため、自車両の進路方向に進む移動体であると判定する。同様に、立体物ＯＢ９は予測式から算出した静止物とは略反対向きの速度の方向を持ち、その上端位置が背景（走路境界Ｌ８）の下端位置よりも高い位置にあるため、自車両の進路方向に進む移動体であると判定する。略反対向きの方向の内容については予め定義する。たとえば、２つの移動方向の差が１６０°〜２００°である、又は２つの移動方向の差が１７０°〜１９０°などである。
【００８３】
他方、グループ化部２３によりグループ化された画素群の移動情報に含まれる移動方向と背景の予測移動情報に含まれる予測移動方向との差が所定値未満であり、グループ化部２３によりグループ化された画素群の移動情報に含まれる移動速度と背景の予測移動情報に含まれる予測移動速度との差が所定値未満である場合は、グループ化された画素群に対応する領域を、静止物として抽出する。
【００８４】
つまり、立体物の速度の方向が予測式から算出した静止物体の速度と同じ方向であり、立体物の速度の値と予測式から算出した静止物の速度の値との差が所定値以下であれば、その立体物は静止物であると判定し、立体物として判定しない。
【００８５】
また、判定対象抽出部３１は、対象領域が複数抽出されたとき、抽出された対象領域に含まれる対象立体物に対応する特徴点の移動方向の差が所定値未満であり、かつ対象立体物に対応する特徴点の移動速度の差が所定値未満である場合は、これらの対象領域を一の対象立体物を含む一の対象領域として抽出する。例えば、図１０に示す例において、判定対象抽出部３１はＯＢ２とＯＢ３は一つの移動する対象立体物ＯＢ２としてグループ化する。
【００８６】
次に、歩行者候補抽出部３２について説明する。歩行者候補抽出部３２は、検出された移動する対象立体物の速度変化に基づいて、移動する立体物が歩行者候補（歩行者である可能性が高い移動する立体物）を含む対象領域を抽出する。
【００８７】
ここで、歩行者に対応する特徴点の移動速度を詳細に観察すると、歩行者が一定速度で歩行している場合は、図１２に示すように、歩行により腕と脚の動きに速度の増減が観察される。歩行開始からの脚の速度変化を見ると、まず、例えば右脚が進行方向に踏み出し、歩行がスタートする。そして、その速度が徐々に速くなって最高速度に達した後に今度は速度が徐々に低下して地面に着地するという速度変化が観察される。右脚が地面に着地すると同時に今度は左脚が進行方向に踏み出して、右脚と同様の速度変化が観察される。一方、歩行開始から腕の速度変化を見ると、脚とは逆向きの速度変化が観察される。このように、歩行者においては、歩行により対応する特徴点に速度変化が観察される、と言う特徴がある。
【００８８】
したがって、この特徴を利用することにより、立体物が歩行者である可能性があるか否かを識別し、歩行者である可能性の高い移動する対象立体物を含む対象領域を抽出することができる。
【００８９】
本実施形態の歩行者候補抽出部３２は、判定対象抽出部３１により抽出された対象立体物を含む対象領域に含まれる特徴点の移動速度を移動情報算出部２２から取得し、対象領域内の特徴点の移動速度の分散値を算出し、この分散値が所定値以上である場合は、対象領域を歩行者が含まれる対象領域として抽出する。抽出した対象領域に関する情報は、後述する歩行者候補懸賞部３３及び／又は歩行者判定部３４に送出される。
【００９０】
すなわち、例えば、移動体の速度の分散値を移動速度の変化ΔＶとし、ΔＶが所定値ΔＶＰ以上であるか否か、すなわち、歩行者候補抽出部３２は、ΔＶ≧ΔＶＰの条件を満たすか否かによって、移動体が歩行者の可能性があるか否かを識別することが可能となる。なお、移動速度の変化ΔＶは、任意に定義することができ、最大速度と最少速度の差としてもよいし、平均速度からの差としてもよい。
【００９１】
図１０に示す画像情報について移動速度の分散値を算出したところ、立体物ＯＢ２、ＯＢ５、ＯＢ９の移動体の速度の分散値がΔＶ≧ΔＶＰを満たす。このため、立体物ＯＢ２、ＯＢ５、ＯＢ９は、歩行者の可能性が高い歩行者候補と判定される。他方、立体物ＯＢ６は、条件を満たさないため、歩行者以外の物体と判定する。
【００９２】
また、歩行者候補抽出部３２は、算出された移動速度の分散値が所定値未満であっても、所定時間内における対象領域内の特徴点の移動量が所定値未満であるとともに、対象領域内の特徴点の移動速度の変化が所定値以上である場合は、対象領域を歩行者が含まれる対象領域として抽出する。これにより、移動が遅い歩行者についても、直ちに歩行者以外として排除することなく特徴点の移動量や移動速度の変化に基づいて歩行者である可能性を判断するため、歩行者を含む対象領域を正確に抽出することができる。
【００９３】
ここで、図１０に示すように、ＯＢ５、ＯＢ９は歩行者以外であるにも関わらず、本処理においては歩行者候補と判定される。これは、分散値を指標とした場合に、歩行者の特徴に近い速度変化を持つ立体物が存在するためである。例えば、車両挙動の影響で画像の中央部以外の背景となる立体物の領域に消失点が含まれる場合は、消失点付近の動きの変化が小さくなるため、その領域には左右の移動速度が混在する。このため、その領域の速度の分散値は大きくなり、消失点を境に速度の向きが反転するため、消失点付近の背景となる立体物を歩行者と誤検出する場合があるからである。また、消失点以外の領域においても、複雑なエッジが組み合わさる領域では、間違った速度が計測されてしまう場合ある。その領域においても速度の分散が大きくなり、さらに周囲に正しい速度を持った背景が存在するため、複雑なエッジが組み合わさる立体物を、背景であるにもかかわらず歩行者と誤検出する場合がある。
【００９４】
そこで、本実施形態では、歩行者候補検証部３３を設け、歩行者の検出精度を向上させる。
【００９５】
この歩行者候補検証部３３は、図１３に示すように、検出された対象領域に存在する移動速度の分布の経時的な推移を観察することで、対象立体物が歩行者を含むか否かの候補の検証を行い、歩行者候補以外と判定された場合には、ノイズとして削除する。
【００９６】
歩行者候補検証部３３は、抽出された対象領域に含まれる特徴点の移動方向のばらつき度が時間の経過とともに大きくなる場合は、対象領域は歩行者を含まない対象領域であると検証する。
【００９７】
対象領域は移動物体を含む領域として検出された領域であるため、時間経過に伴う追跡処理は、水平位置の近傍の領域に制限できる。歩行者候補を含むとして抽出された対象領域が背景のような静止物体を含む領域であれば、水平方向に沿う特徴点の移動量が大きいため、追跡処理を行う対象領域の移動速度は時間経過ともに異なる立体物のエッジから計測されたものになる。他方、対象領域が歩行者を含むものであれば、追跡処理を行う対象領域の移動速度は時間経過にかかわらず同じ歩行者のエッジから計測されたものになる。また、歩行者候補を含む対象領域が消失点を含む領域であれば、時間経過に伴い、消失点の位置は移動するため、その対象領域の移動速度は消失点以外の背景（立体物）から検出された移動速度に変化する。同様に対象領域が間違った移動速度を持つ背景を含む場合でも、時間経過に伴い、その対象領域は正しい移動速度を持つ背景を含むように変化する。
【００９８】
このように、静止物体は、移動物体より水平移動量が大きいという特徴があるため、この特徴を利用することにより、対象領域内に含まれる特徴点が歩行者に対応するものであるか否かを検証することが可能となる。
【００９９】
本実施形態の歩行者候補検証部３３は、抽出された対象領域に含まれる特徴点について、歩行者候補とされる対象立体物に対応する特徴点の移動方向との方向差が所定値未満であり、歩行者候補に対応する特徴点の移動速度との速度差が所定値未満である特徴点の数Ｎ１と、歩行者候補とされる対象立体物に対応する特徴点の移動方向との方向差が所定値以上である特徴点の数Ｎ２とを算出し、Ｎ２＞Ｎ１を満たし、かつ、対象領域の面積に対するＮ２の割合Ｒ１が、予め設定された所定値Ｒｔ１よりも大きい場合は、対象領域は歩行者を含まない対象領域として検証する。
【０１００】
すなわち、歩行者候補が含まれる対象領域内の移動速度のうち、歩行者候補の移動速度と同じ方向で歩行者候補の移動速度との差が所定値Ｖｔ１以下である速度情報数をＮ１とし、歩行者候補と反対向きの速度情報数をＮ２を所定時間観測し、Ｎ２＞Ｎ１を満たし、歩行者候補の領域面積に対するＮ２の割合Ｒ1が所定値Ｒｔ１よりも大きくなる場合には、その歩行者候補領域は歩行者候補を含むものではなく、背景から得られたノイズとして削除する。
【０１０１】
他方、立体物ＯＢ２は、時間が経過しても対象領域内の移動速度に変化がないため、歩行者候補とする。
【０１０２】
また、立体物ＯＢ５は、消失点領域のため、時間経過とともに消失点が左方向に移動し、対象領域内の移動速度は、徐々左向きの速度に揃う。したがって、ＯＢ５は歩行者候補ではないと判定し、ノイズとして削除する。
【０１０３】
さらに、立体物ＯＢ９は、背景速度の誤検出のため、時間経過とともに正しい移動速度に変化し、対象領域内の移動速度は右向きの速度に揃うようになる。したがって、ＯＢ９は、歩行者候補以外と判定し、ノイズとして削除する。
【０１０４】
このように、対象領域と消失点の位置関係に応じて対象立体物の移動速度には異なる特徴を観察できる。このため、歩行者候補検証部３３は、抽出された対象領域と消失点との距離に応じて、特徴点の移動方向のばらつき度の変化を観察する時間を決定する。特徴点の移動方向のばらつき度の変化を観察する時間は、対象領域と消失点が近い位置にあるほど、長く設定することが好ましい。
【０１０５】
最後に、歩行者候補判定部３４について説明する。
【０１０６】
歩行者候補判定部３４は、判定対象抽出部３１により抽出された対象領域に関する移動情報と、この対象領域の周囲に設定された比較領域に関する移動情報とを比較し、その移動情報の比較結果に基づいて抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定する。
【０１０７】
比較の対象となる対象領域は、判定対象抽出部３１により抽出された移動する立体物を含む領域のほか、歩行者候補抽出部３２により歩行者を含む確率が高いとして抽出された領域、歩行者候補検証部３３により歩行者を含むと検証された領域を含む。
【０１０８】
具体的に、歩行者候補判定部３４は、図１４に示すように、歩行者を含む可能性のある対象領域の移動速度と、その周囲に設定された比較領域（図１４中１〜５）の移動速度及び／又は移動方向の比較を行い、対象領域の歩行者候補が最終的に歩行者であるか否かを判定する。
【０１０９】
この判定により歩行者でないものを歩行者として検出することを防止することができる。
【０１１０】
すなわち、対象領域と周囲に存在する比較物体（背景）を観察した場合、自車両の進路方向に進む歩行者は、周囲物体（背景）の手前に存在する。そのため、歩行者候補として検出された対象領域が歩行者を含むのであれば、歩行者候補を含む対象領域の周囲に背景が存在する。歩行者候補を含む対象領域とその周囲にある背景を含む比較領域とは距離差があり、歩行者候補を含む対象領域の移動情報(方向及び速度)とその周囲の比較領域の移動情報（方向及び速度）との間に差を検出することができる。
【０１１１】
他方、対象領域が（歩行者を含まない）背景であれば、対象領域と比較領域は同じ背景に対応する。同じ背景であれば、距離差は生じないから、対象領域の移動速度とその周囲の比較領域との間には速度差又は方向差が検出されないはずである。
【０１１２】
このように、対象領域に歩行者が含まれる場合は、対象領域に含まれる歩行者候補の移動情報とその周囲に設定された比較領域に含まれる背景を構成する立体物の移動情報との間に差が発生するという特徴を検知することができる。
【０１１３】
本願発明では、この特徴を利用することにより、最終的に対象領域の歩行者候補が歩行者であるか否かの判定を行うことができる。
【０１１４】
具体的に、本実施形態の歩行者判定部３４は、判定対象抽出部３１、歩行者候補抽出部３２、歩行者候補検証部３３により処理された対象領域に含まれる対象立体物の移動速度と対象領域の周囲に設定された比較領域に含まれる比較物の移動速度とを比較し、これらの移動速度の差が所定値以上である場合は、対象領域に含まれる立体物は歩行者であると判定する。他方、歩行者判定部３４は、これらの移動速度の差が所定値未満である場合は、対象領域に含まれる立体物は歩行者以外の立体物であると判定する。
【０１１５】
また、本実施形態の歩行者判定部３４は、判定対象抽出部３１、歩行者候補抽出部３２、歩行者候補検証部３３により処理された対象領域に含まれる対象立体物の移動方向とその対象領域の周囲に設定された比較物を含む比較領域の移動方向とを比較し、これらの移動方向の差が所定値以上である場合は、対象領域に含まれる対象立体物は歩行者であると判定する。他方、歩行者判定部３４は、移動方向の差が所定値未満である場合は、対象領域に含まれる対象立体物は歩行者以外の立体物であると判定する。
【０１１６】
さらに、本実施形態の歩行者判定部３４は、比較された二つの移動方向が、予め定義された略反対方向関係を有する場合は、対象領域に含まれる立体物は自己に接近する歩行者であると判定する。略反対方向の関係とは、二つの移動方向の差が１６０度〜２００度、又は１７５度〜１８５度など、１８０度を基準に予め設定することができる。
【０１１７】
特に限定されないが、比較領域は分割された所定の領域ごとに設定され、歩行者の判定を行うことが好ましい。これにより対象立体物の移動速度と、対象立体物を四方から囲む背景の移動速度を比較することができる。
【０１１８】
たとえば、比較領域として、対象領域の上端辺から上側へ所定長さの幅を有する上側比較領域（図１４の１で示す領域）、対象領域の左端辺から左側へ所定長さの幅を有する左側比較領域（図１４の２で示す領域）、又は対象領域の右端辺から右側へ所定長さの幅を有する右側比較領域（図１４の４で示す領域）のいずれか１つ以上を設定する。
【０１１９】
さらに、比較領域として、対象領域の上端辺、左右端辺から所定距離だけ離隔するとともに、所定長さの幅を有する別の比較領域（第２上側比較領域、第２左側比較領域（図１４の３で示す領域）、第２右側比較領域（図１４の５で示す領域））を設定することができる。対象領域から所定距離だけ離隔させた位置に比較領域を設定することにより、対象領域の移動速度と比較領域の移動速度とを正確に比較することができる。
【０１２０】
次に、対象領域を５つの領域に分けた場合の歩行者の判定処理の一例を図１４に基づいて説明する。具体的に、図１４に示す撮像画像においては、以下の比較結果を得た場合を例に説明する。
【０１２１】
まず、第１に、歩行者候補を含む対象領域の上端辺の右上端から左上端の上部領域（図１４の１で示す領域）に、検出された歩行者候補の移動速度と反対方向の動きを持つ立体物が存在する。
【０１２２】
第２に、歩行者候補を含む対象領域の左端辺から所定距離Ｄ１左側までの領域（図１４の２で示す領域）に、検出された歩行者候補の移動速度と反対方向の動きを持つ立体物が存在する。
【０１２３】
第３に、歩行者候補を含む対象領域の左端辺の左側所定値Ｄ２〜Ｄ３までの領域（図１４の３で示す領域）に、検出された歩行者候補の移動速度と同一方向の移動速度を持ち、検出された移動速度との速度差がＶｔ２未満となる立体物が存在する。
【０１２４】
第４に、歩行者候補を含む対象領域の右端辺から所定値Ｄ１右側までの領域（図１４の４で示す領域）に検出した歩行者候補の速度と反対方向の動きを持つ立体物が存在する。
【０１２５】
第５に、歩行者候補を含む対象領域の右端辺の右側所定値Ｄ２〜Ｄ３までの領域（図１４の５で示す領域）に、検出された歩行者候補の移動速度と同一方向の移動速度を持ち、検出された移動速度との速度差がＶｔ２未満となる立体物が存在する。
【０１２６】
このような比較情報を得た場合、歩行者判定部３４は、第３の比較結果と第５の比較結果を示す歩行者候補については、歩行者以外の物体として判断し、対応する歩行者候補から除外する。
【０１２７】
そして、歩行者判定部３４は、第１の比較結果を示す歩行者候補（対象立体物）を、歩行者として最終的に判断する。
【０１２８】
さらに、歩行者判定部３４は、第２の比較結果及び／又は第４の比較結果を満たす歩行者候補（対象立体物）を、歩行者として最終的に判断する。
【０１２９】
このように、撮像画像から検出された対象立体物の移動情報（移動速度、移動方向を含む）と、その周囲の比較領域の移動情報とを比較し、その比較結果に基づいて対象立体物が歩行者であるか否かを判定するため、対象立体物の動きから歩行者に特有の動きの変化を抽出することができ、背景としての立体物を歩行者として誤検出することを防止することができる。
【０１３０】
続いて、本実施形態の歩行者検出装置１００の歩行者検出の処理手順を図１５に示すフローチャート図に基づいて説明する。
【０１３１】
図１５は、本実施形態の歩行者検出装置１００の処理を示すフローチャートである。
【０１３２】
この処理はイグニションスイッチ（図示省略）がオンされると起動されるプログラムとして実行される。
【０１３３】
まず、カメラ１０により撮像された自車両前方の画像は、画像メモリ１１に記録される。
【０１３４】
ステップＳ１０１において、画像メモリ１１は、自己に記録された自車両前方の画像を所定の周期で特徴点抽出部２１に出力する。この後に、フローはステップＳ１０２へ移行する。
【０１３５】
ステップＳ１０２において、特徴点抽出部２１は撮像画像のエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出するとともに、エッジ画像の正規化を行う。この後に、フローはステップＳ１０３へ移行する。
【０１３６】
ステップＳ１０３において、移動情報算出部２２はエッジの速度を算出し、算出した速度を所定の階調で表した移動画像を算出する。この後に、フローはステップＳ１０４へ移行する。
【０１３７】
ステップＳ１０４において、グループ化部２３は、算出した移動画像上に物体検出用の短冊領域を設定する。この後に、フローはステップＳ１０５へ移行する。
【０１３８】
ステップＳ１０５において、グループ化部２３は、各短冊領域内に速度を持った画素があるかどうかを下から上に向かって調べる。速度を持った画素がある場合、グループ化部２３はそれらの画素は同一の物体を表しているものとしてグループ化を行う。この後に、フローはステップＳ１０６へ移行する。
【０１３９】
ステップＳ１０６において、座標変換部２４は、各短冊領域内におけるグループ毎において、最も上(上端)に位置する画素の中心座標を上端点に、最も下(下端)に位置する画素の中心座標を下端点に設定する。この後に、フローはステップＳ１０７へ移行する。
【０１４０】
ステップＳ１０７において、座標変換部２４は、（式１）、（式２）を用いて、検出した上端点と下端点の座標をＺＸ平面へ座標変換する。この後に、フローはステップＳ１０８へ移行する。
【０１４１】
ステップＳ１０８において判定対象抽出部３１の判定対象抽出部３１は、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の位置がｘ軸範囲とｚ軸範囲を規定した規定のＺＸ平面のどの領域に該当するかを判断し、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の双方が規定のＺＸ平面の同一の分割領域に位置する場合は、上端点、下端点を含む物体を平面物であると判定し、上端点と同じグループの下端点の座標変換点のみが規定のＺＸ平面に位置する場合は、上端点、下端点を含む物体を立体物であると判定する。また、下端点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１０９に進む。
【０１４２】
ステップＳ１０９において、立体物抽出部３１により、検出した全ての上端点、下端点について、上端点、下端点を含む物体が平面物であるか立体物であるかの判定（以下、物体の属性判定と呼ぶ）が行われたかどうかの判定が行われる。検出した全ての上端点、下端点について物体の属性判定が行われた場合は、ステップＳ１１０に進む。一方、検出した全ての上端点、下端点について物体の属性判定が行われていない場合は、ステップＳ１０５に戻る。
【０１４３】
続いて、ステップＳ１１０において、判定対象抽出部３１は、ＺＸ平面における下端点の座標変換点の位置分布から、同じｘ軸領域において、複数のｚ軸領域にカウンタ値が存在する領域を、走路境界線が存在する可能性が高い領域として抽出する。この後に、フローはステップＳ１１１へ進む。
【０１４４】
ステップＳ１１１において、判定対象抽出部３１により抽出された領域内に存在する下端点の座標変換点に対応するｘｙ平面の下端点についてｘｙ座標系での回帰分析が行われ、下端点を結ぶ直線の傾きが算出される。この後に、フローはステップＳ１１２へ進む。
【０１４５】
ステップＳ１１２において、判定対象抽出部３１は、ステップＳ１１１で算出された直線の傾きが、下端点の位置する領域において、ｘ軸領域の左端座標と各ｚ軸領域の代表座標を座標とする点（図８のＰＬ１〜ＰＬ５）を結ぶ直線およびｘ軸領域の右端座標と各ｚ軸領域の代表座標を座標とする点（図８のＰＲ１〜ＰＲ５）を結ぶ直線のｘｙ座標系における傾きの範囲にあれば、抽出した領域に走路境界を示す直線が存在すると判定し、ステップＳ１１１で算出された直線は走路境界を示す直線として検出する。この後に、フローはステップＳ１１３へ進む。
【０１４６】
ステップＳ１１３において、判定対象抽出部３１は、ステップ１１０で抽出された領域について、全ての走路境界を示す直線が検出されたか否かの判定を行う。全ての領域について走路境界を示す直線が検出された場合は、ステップＳ１１４へ進む。一方、全ての領域について走路境界を示す直線が検出されていない場合は、ステップＳ１１０に戻る。
【０１４７】
ステップＳ１１４において、判定対象抽出部３１は、ステップＳ１１２で検出された走路境界に相当する直線のうち、車両の近傍から遠方に連続して存在する立体物で構成される直線を背景となる走路境界として検出する。この後に、フローはステップＳ１１５へ移行する。
【０１４８】
ステップＳ１１５において、判定対象抽出部３１は、ステップＳ１１４で検出された背景となる走路境界を構成する立体物の移動速度を目的変数とし、下端点における画像ｘｙ座標を説明変数として、重回帰分析を行うことで、画像上の任意の位置での静止物体の速度の予測式を算出する。この後に、フローはステップ１１６に移行する。
【０１４９】
ステップＳ１１６において、判定対象抽出部３１は、ステップＳ１１４で検出された背景となる走路境界の位置と立体物の上端位置とを比較し、画像上において、走路境界の位置よりも立体物の上端位置が上方に存在する場合には、その立体物を対象立体物として検出し、その対象立体物を含む領域を対象領域として抽出する。この後に、フローはステップＳ１１７に移行する。
【０１５０】
ステップＳ１１７において、判定対象抽出部３１は、ステップＳ１１６で検出された移動体候補の移動速度と移動体候補位置において予測式から得られる静止物の移動速度とを比較し、速度差の絶対値が所定の範囲内にある場合は、その移動体候補を静止物と判定する。そして、フローはステップＳ１１６に移行する。一方、速度差の絶対値が所定の範囲外である場合は、その移動体候補を移動体と判定し、フローはステップＳ１１８に移行する。
【０１５１】
ステップＳ１１８において、判定対象抽出部３１は、移動体と判定された立体物の速度の向きと予測式から得られた静止物体の移動方向の向きが反対であれば、その移動体を自車に向かう移動体と判定する。「移動方向の向きが反対である」状態は、任意に定義することができ、例えば移動方向の角度差によって予め定義する。この後に、フローはステップＳ１１９に移行する。
【０１５２】
ステップＳ１１９において、判定対象抽出部３１は、移動体が検出されたか否かの判断を行う。全ての移動体が検出された場合には、フローはステップＳ１２０へ進む。一方、全ての移動体が検出されていない場合は、フローはステップＳ１１６に戻る。
【０１５３】
ステップＳ１２０において、判定対象抽出部３１は、速度の差が所定値以内で存在する対象立体物が複数検出され、それらの対象立体物の座標の差が所定値以内である場合に、複数の対象立体物を一つの対象立体物としてグループ化を行う。この後に、フローはステップＳ１２１へ移行する。
【０１５４】
次に、ステップＳ１２１において、歩行者候補抽出部３２は、対象立体物に対応する特徴点の速度から、対象立体物の速度の分散値ΔＶを算出し、算出された対象立体物の速度の分散値ΔＶが、ΔＶ≧ΔＶＰの条件を満たしていれば、対象立体物は歩行者候補と判定する。この後に、フローはステップＳ１２２へ移行する。
【０１５５】
ステップＳ１２２において、歩行者候補検証部３３は、検出された対象領域に含まれる対象立体物の速度情報分布の推移に基づいて、後述する歩行者候補の検証を行う。この後に、フローはステップＳ１２３へ移行する。
【０１５６】
ステップＳ１２３において、歩行者判定部３４は、検出された歩行者候補の移動速度と周囲に存在する背景（立体物）の移動速度との比較に基づいて、対象領域に含まれる立体物が歩行者であるか否かの最終的な判定を行う。この処理については後述する。この後に、フローはステップＳ１２４へ移行する。
【０１５７】
ステップＳ１２４において、歩行者の検出が終了したか否かの判断を行う。歩行者の検出が終了した場合は、フローはステップＳ１２５へ進む。歩行者の検出が終了していない場合は、フローはステップＳ１２０に戻り、歩行者の検出が継続される。
【０１５８】
ステップＳ１２５では、自車両のイグニションスイッチがオフされたか否かの判定が行われる。イグニションスイッチがオフされていない場合は、ステップＳ１０１へ戻って処理を繰り返す。一方、イグニションスイッチがオフされた場合は、フローはステップＳ１２６へ移行して処理を終了する。
【０１５９】
続けて、ステップＳ１２２における歩行者候補の検証処理に関する動作フローを、図１６に示すフローチャートに基づいて説明する。この動作フローは、歩行者候補検証部３３により実行される。
【０１６０】
ステップＳ１２２１において、歩行者候補検証部３３は、対象領域内に存在する移動情報のうち、歩行者候補の移動速度と同じ方向で、速度差が所定値Ｖｔ１以下である速度情報数Ｎ１と、歩行者候補の移動速度と反対向きの速度情報数Ｎ２を算出する。この後、フローはステップＳ１２２２に移行する．
ステップＳ１２２２において、歩行者候補検証部３３は、ステップＳ１２２１で算出された速度情報数Ｎ１、Ｎ２が関係「Ｎ２＞Ｎ１」を満たし、検出された対象領域の領域面積に対するＮ２の割合Ｒ１が、予め設定された所定値Ｒｔ1よりも大きくなる場合（Ｒ１＞Ｒｔ１）は、対象領域に含まれる立体物はノイズと判定し、削除する（Ｓ１２２４）。他方、この条件を満たさない場合は、フローはステップＳ１２２３に移行する．
ステップＳ１２２３において、歩行者候補検証部３３は、時間の経過に伴う対象領域に含まれる特徴点の移動方向のばらつき度を観察する。本処理では、Ｓ１２２２で検証する「Ｎ２＞Ｎ１」かつ「Ｒ１＞Ｒｔ１」の関係が保たれる検証時間を計測する。検証時間ＴＶ1が所定時間Ｔ１を超える場合（ＴＶ１＞Ｔ１）は、歩行者候補の検証処理を終了し、フローをステップＳ１２３の歩行者判定処理に進める。他方、検証時間ＴＶ1が所定時間Ｔ１を超えない場合は、歩行者候補の検証を継続し、フローはステップＳ１２４に移行する。
【０１６１】
なお、ステップＳ１２２４では、ノイズと判定した立体物を削除し、Ｓ１２４へ移行する。
【０１６２】
次に、ステップＳ１２３の歩行者判定の動作フローを、図１７のフローチャートに基づいて説明する。この動作フローは、歩行者判定部３４により実行される。
【０１６３】
図１７に示すステップＳ１２３１において、歩行者判定部３４は、歩行者候補を含むとされた対象領域の移動情報と、その対象領域に接する領域であって、対象領域の右上端から左上端の上側比較領域に含まれる立体物の移動情報とを比較する。ここでは移動方向を比較するが、移動速度を比較してもよい。
【０１６４】
このステップＳ１２３１において、この比較領域に歩行者とは反対の方向の移動方向を持つ立体物が存在すれば、歩行者として判定する。フローはステップＳ１２３８に移行する。他方、反対の移動方向を持つ立体物が存在しなければ、フローはステップＳ１２３２に移行する。
【０１６５】
ステップＳ１２３２において、歩行者判定部３４は、歩行者候補を含むとされた対象領域の移動情報と歩行者候補領域の左端から所定距離Ｄ１左側までの左側比較領域（図１４参照）の移動情報の比較を行う。当該領域に反対の移動方向を持つ立体物が存在すれば、右側比較領域の立体物と比較を行うため、フローはステップＳ１２３３に移行する。存在しなければ、フローはステップＳ１２３４に移行する．
続いて、ステップＳ１２３３において、歩行者判定部３４は、歩行者候補を含むとされた対象領域の移動情報と、この対象領域に接し、その右端から所定距離Ｄ１右側までの右側比較領域（図１４参照）の移動速度の比較を行う。当該領域に反対の移動速度を持つ立体物が存在すれば、歩行者として判定できるため、フローはステップＳ１２３８に移行する。存在しなければ、フローはステップＳ１２３４に移行する。
【０１６６】
ステップＳ１２３４において、歩行者判定部３４は、歩行者候補を含むとされた対象領域の移動情報と、この対象領域から所定距離だけ離隔し、左側所定値Ｄ２〜Ｄ３までの第２左側比較領域（図１４参照）に含まれる立体物の移動情報とを比較する。
【０１６７】
第２左側比較領域に同一方向の移動方向を持ち、検出された移動速度との速度差がＰＶ２未満となる立体物が存在すれば、対象領域に含まれる立体物はノイズと判定し、フローはステップＳ１２３７に移行する。存在しなければ、フローはステップＳ１２３５に移行する。
【０１６８】
ステップＳ１２３５において、歩行者判定部３４は、歩行者候補を含むとされた対象領域の移動情報と、この対象領域の右端から所定距離だけ離隔し、右側所定値Ｄ２〜Ｄ３までの第２右側比較領域の立体物の移動情報を比較する。第２右側比較領域に同一方向の移動方向を持ち、検出された移動速度との速度差がＶｔ２未満となる立体物が存在すれば、第２右側対象領域に含まれる立体物はノイズと判定し、ステップＳ１２３７に移行する。存在しなければ、フローはステップＳ１２４に移行する。
【０１６９】
ステップＳ１２３８において、歩行者判定部３４は、対象領域に含まれる立体物は歩行者であると判定し、ステップＳ１２４へ移行する。
【０１７０】
また、ステップＳ１２３７において、歩行者判定部３４は、対象領域に含まれる立体物はノイズ（歩行者ではない）と判定し、その歩行者候補と判断された立体物を歩行者候補から削除し、ステップＳ１２４へ移行する。
【０１７１】
ステップＳ１２４に進み、すべての歩行者を検出したか否かを判断し、処理の繰り返し又は終了へ向かう。
【０１７２】
本実施形態の歩行者検出装置１００は、以上のように構成され動作するので、以下の効果を奏する。
【０１７３】
本実施形態の歩行者検出装置１００は、撮像画像から抽出された対象領域に関する移動情報と対象領域の周囲に設定された比較領域に関する移動情報とに基づいて、抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定する。これにより、近傍に存在する背景に対する対象立体物の相対的な動きの変化を観察することができるので、背景を歩行者として誤検出することを防ぐことができる。
【０１７４】
判定対象抽出部３１により抽出された移動する立体物には背景となるものも含まれるが、本実施形態の歩行者判定部３２は、その周囲に存在する立体物に対する対象立体物の相対的な動きの変化を観察して、対象立体物が歩行者であるか否かを判定するため、背景を構成する立体物から歩行者を正確に識別することができる。
【０１７５】
具体的に、対象領域に関する移動速度と比較領域に関する移動速度との差が所定値以上である場合は、対象領域に含まれる立体物は歩行者であると判定することにより、移動速度が異なる背景から歩行者を識別し、背景を歩行者として誤検出することを低減することができる。
【０１７６】
また、対象領域に関する移動方向と比較領域に関する移動方向との差が所定値以上である場合は、対象領域に含まれる立体物は歩行者であると判定することにより、移動方向が異なる背景から歩行者を識別し、背景を歩行者として誤検出することを低減することができる。
【０１７７】
さらに、対象領域に関する移動方向と比較領域に関する移動方向が、予め定義された略反対方向関係を有する場合は、対象領域に含まれる立体物は自己に接近する歩行者であると判定することにより、背景から歩行者を識別するとともに、自己（歩行者検出装置１００）に接近する歩行者をさらに識別することができる。
【０１７８】
他方、比較の結果、移動速度の差が所定値未満である場合は、対象領域に含まれる立体物は歩行者以外の立体物であると判定することにより、背景と移動速度がほぼ同じである歩行者（候補）を、歩行者以外の立体物と識別し、背景を歩行者として誤検出することを低減することができる。
【０１７９】
同様に、比較の結果、移動方向の差が所定値未満である場合は、対象領域に含まれる対象立体物は歩行者以外の立体物であると判定することにより、背景と移動方向がほぼ同じである歩行者（候補）を、歩行者以外の立体物と識別し、背景を歩行者として誤検出することを低減することができる。
【０１８０】
このように、本実施形態によれば、同じ背景を構成するのであれば移動情報（移動速度及び／又は移動方向）が共通し、背景とは別個の歩行者であれば移動情報が異なるとの観点から、対象領域と比較領域との移動情報の比較に基づいて、対象立体物が歩行者であるか否かを正確かつ簡易に判定することができる。特に、移動する観測者が見る前方風景のように、背景を構成する設置物と自由に移動する歩行者が混在する場合は、設置物の移動情報は観測者の移動によって決まるため、両者の移動情報の比較結果に基づいて対象立体物が歩行者であるか否かを正確に判定することができる。
【０１８１】
また、対象領域の周囲に設定される比較領域は、対象領域の上端から上側へ所定長さの幅を有する上側比較領域、対象領域の左端辺から左側へ所定長さの幅を有する左側比較領域、又は対象領域の右端辺から右側へ所定長さの幅を有する右側比較領域のいずれか１つ以上を含むようにしたので、対象立体物とこれを様々な方向から囲む背景とについて移動情報の比較を行うことができ、対象立体物が歩行者であるか否かを正確に判定することができる。
【０１８２】
さらに、比較領域を対象領域の上端辺、右端辺、左端辺から所定距離だけ離隔させた位置に設定することにより、対象立体物の移動情報と比較領域内の背景の移動情報を正確に比較することができ、対象立体物が歩行者であるか否かを正確に判定することができる。特に、対象領域から離隔させて第２の比較領域を設定することにより、移動情報が複雑に重畳する各領域の境界における移動情報を比較することを避けることができるため、正確な移動情報に基づいて移動情報の比較を行うことができる。
【０１８３】
また、本実施形態の歩行者検知装置１００は、歩行者候補抽出部３２を備え、対象領域内の特徴点の移動速度の分散値を算出し、分散値が所定値以上である領域を歩行者が含まれる対象領域として抽出することにより、歩行者特有の画像の特徴に基づいて歩行者を含む対象領域を正確に抽出することができる。
【０１８４】
加えて、移動速度の分散値が所定値未満であっても、所定時間内における対象領域内の特徴点の移動量と移動速度の変化に基づいて歩行者が含まれる対象領域を抽出するため、移動速度が遅い歩行者についても簡易な手法で、歩行者を含む対象領域を正確に抽出することができる。
【０１８５】
特に、特徴点の移動速度の分散値に基づいて歩行者候補を含む対象領域を抽出してから、この抽出された対象領域と周囲の比較領域との移動速度の比較に基づいて対象領域に含まれる対象立体物が歩行者であるか否かを判定することにより、歩行者を含む可能性の高い対象領域について、さらに異なる指標に基づいて歩行者を含むか否かを判定することにより、背景を歩行者とする誤検出を防ぐことができる。
【０１８６】
さらにまた、本実施形態の歩行者検知装置１００は、歩行者候補検証部３３を備え、特徴点の移動情報のばらつき度の経時的変化に基づいて対象領域が歩行者を含むか否かを検証することにより、歩行者特有の画像の経時的変化における特徴に基づいて対象領域が歩行者を含むか否かを正確に検証することができる。
【０１８７】
特に、特徴点の移動情報のばらつき度が時間の経過とともに大きくなる場合は、その特徴点が同一の歩行者に基づくものではないとの観点に基づいて、対象領域が歩行者を含むか否かを正確に検証することができる。
【０１８８】
加えて、特徴点を所定時間観察した場合に、歩行者候補とされる対象立体物の移動情報と共通する移動情報の数Ｎ１と、対象立体物の移動情報と異なる移動情報の数Ｎ２を比較し、Ｎ２＞Ｎ１であり、対象領域の面積に対するＮ２の割合が所定値よりも大きいことを基準に移動情報のばらつき度の大小を判断することにより、対象領域が歩行者を含むか否かを定量的に検証することができる。
【０１８９】
つまり、所定時間の間に、対象領域内において、歩行者候補と共通の（差が所定未満の）移動情報数Ｎ１よりも、歩行者候補と異なる移動情報数Ｎ２が多くなり、対象領域に対する割合が所定値よりも大きくなる変化がある場合は、対象立体物は歩行者以外であると検証することができる。これにより、歩行者と同じような移動情報及び移動情報の変化を示す背景についても、所定時間の移動情報の推移を観察することで、歩行者以外の物体（ノイズ）であるか否かを検証することができる。
【０１９０】
加えて、本実施形態の歩行者検知装置１００においては、判定対象抽出部３１が移動する立体物を含む対象領域を抽出するため、歩行者判定部３４は対象立体物が歩行者であるか否かを正確に判定することができる。
【０１９１】
つまり、撮像画像上で同等の速度を有する隣接した画素をグループ化して、その上端と下端に位置する画素を求め、該画素の俯瞰変換後の座標により平面物、立体物、移動体の判定を行うことができるため、一つのカメラ１０から得た撮像画像に基づいて移動する立体物を含む対象領域を簡単に抽出することができる。
【０１９２】
また、変換座標において上端に位置する画素の座標が所定領域を有する変換座標の領域外に属するとともに、下端に位置する画素の座標が変換座標のいずれかの分割領域に属する場合は、グループ化された画素群に対応する領域を、対象立体物を含む対象領域として抽出することができる。つまり、撮像画像上で同等の速度を有する隣接した画素をグループ化してその上端と下端に位置する画素を求め、この画素の俯瞰座標への変換後の座標により立体物の判定を行うことができるため、一つのカメラ１０から得た撮像画像に基づいて移動する立体物を含む対象領域を簡単に抽出することができる。
【０１９３】
他方、変換座標において上端に位置する画素の座標と下端に存在する画素の座標とが共通の分割領域に属する場合は、グループ化された画素群に対応する領域を、平面物を含む対象領域として抽出することができる。つまり、撮像画像上で同等の速度を有する隣接した画素をグループ化してその上端と下端に位置する画素を求め、この画素の俯瞰座標への変換後の座標により平面物の判定を行うことができるため、一つのカメラ１０から得た撮像画像に基づいて平面物（移動する立体物以外の物）を含む対象領域を簡単に抽出することができる。
【０１９４】
さらに、判定対象抽出部３１は、上端の画素の座標値と下端の画素の座標値とに基づいて基準境界を求め、上端の画素と基準境界との位置関係に基づいて移動する対象立体物、静止物が含まれる対象領域を抽出することができるため、観測者側の動きの推定や物体までの距離を算出することなく、検出された立体物の速度と位置関係に基づいて移動体の検出を簡単に行うことができる。
【０１９５】
同様に、基準境界の移動情報から算出された背景の予測移動方向と対象立体物の移動方向との関係に応じて自己に接近する対象立体物を含む対象領域を抽出することができる。
【０１９６】
このように、背景が自車両（観測者）の近傍から遠方に連続して存在する静止立体物であるとし、下端点の座標変換の位置から走路境界を背景の一つと擬制して、効率的に背景の存在及び背景の移動情報を検出し、移動体を含む対象領域を抽出することができる．
また、背景は静止物であるため、自車両（観測者）の近傍の速度が大きく、遠方になるに従って速度が小さくなるという関係が成り立つ。したがって、背景の画像位置と速度関係を満たす予測式とを算出すれば、画像上の任意の位置における静止物の速度を推定することができる。そして、この推定した速度情報と検出で得られた速度情報を比較することにより、静止物か移動物かの判定を効率的に行うことができる。
【０１９７】
さらに、画像上の移動情報の差が所定値未満である画素群の対象領域を一の対象領域として抽出することにより、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことができる。
【０１９８】
加えて、特徴点を撮像画像に含まれる物体のエッジに対応する画素又は画素群とするため、撮像画像上において物体のエッジを検出することで、簡単に歩行者を検出することができる。
【０１９９】
＜第２実施形態＞
続いて、第２実施形態について説明する。第２実施形態は、歩行者候補検証部３３の処理の内容に特徴がある。この点を除き、第２実施形態の基本的構成及び処理は、第１実施形態のそれに共通するため、ここでは異なる点を中心に説明する。
【０２００】
歩行者候補検証部３３は、対象領域に含まれる立体物の特徴点の移動方向のばらつき度が時間の経過とともに大きくなる場合は、その対象領域は歩行者を含まない対象領域として検証する。
【０２０１】
これに加え、本実施形態において、歩行者候補検証部３３は、撮像画像における消失点の位置を考慮し、抽出された対象領域と消失点との距離に応じて特徴点の移動方向のばらつき度の変化を観察する時間（検証時間）を決定する。
【０２０２】
撮像画像における消失点は、その位置によっては、立体物が歩行者であるか否かについての誤検出の原因の一つとなる。また、消失点の画像上の位置により、今後の移動量が予測できる。消失点が画像の端にあれば、操舵量が大きいと考えられるため、今後の移動量は大きくなる。つまり、短い時間で大きい移動量を検知することができるといえる。従って、消失点が画像の端にある場合は、移動方向の変化量を観察する検証時間は少ない時間とすることが可能である。一方、消失点が画像の中央に近づくにつれ、操舵量は小さくなり、今後の移動量は小さくなる。従って検証時間は、長く取る必要がある。
【０２０３】
以上のことから、検出された歩行者候補（対象領域）の画像上の位置、すなわち消失点と歩行者候補（対象領域）との位置関係に基づいて、移動方向のばらつきを観察する検証時間を変えることができる。
【０２０４】
消失点の位置と検証時間との関係は予め任意に定義することができる。たとえば、対象領域の水平座標に基づいて検証時間を決定することができる。また、撮像画像の縁に沿う外側領域と、外側領域の内側であって、撮像画像の中心から予め定義された内側領域とを予め定義し、消失点がどの領域に属するかに基づいて、検証時間を決定してもよいし、撮像画像の外縁又は中心からの距離に応じて検証時間を決定してもよい。
【０２０５】
特に限定されないが、消失点が外側領域に属する場合（又は消失点が外側領域に近い若しくは消失点が中心から遠い場合）は、検証時間を相対的に短く設定し、消失点が内側領域に属する場合（又は消失点が縁から遠い若しくは消失点が中心に近い場合）は、検証時間を相対的に長く設定する。
【０２０６】
図１８は、本実施形態における歩行者検証処理を示す。この歩行者検証処理は、図１５に示すフローチャートのステップ１２２の処理に対応する。
【０２０７】
ステップＳ１２２Ａにおいて、歩行者候補検証部３３は、ステップＳ１２１で検出された歩行者候補の画像上の位置に応じて検証時間を設定する。この後、フローはステップＳ１２２Ｂに移行する．
なお、ステップＳ１２２Ｂ〜ステップＳ１２２Ｅは、上述した図１６に示すステップＳ１２２１〜ステップＳ１２４４と同様の処理である。
【０２０８】
本実施形態の歩行者検出装置１００によれば、歩行者候補検証処理において、抽出された対象領域と消失点との距離に応じて、特徴点の移動方向のばらつき度の変化を観察する時間を決定するため、適切な検証時間を設定することができ、全体として処理時間を短縮することができる。
【０２０９】
＜第３実施形態＞
続いて、第３実施形態について説明する。第３実施形態は、判定対象抽出部３１の処理の内容に特徴がある。この点を除き、第３実施形態の基本的構成及び処理は、第１実施形態のそれに共通するため、ここでは異なる点を中心に説明する。
【０２１０】
特徴点の移動情報に基づいて、撮像画像の中から移動する対象立体物を含む対象領域を抽出する際に、例えばエッジ検出の結果に起因して、同じ立体物等を異なる立体物として抽出してしまう場合がある。
【０２１１】
本実施形態の判定対象抽出部３１は、判定対象抽出部３１が、一の立体物や移動体の特徴点を同一のグループにグループ化できない場合でも、平面物と立体物の検出を確実に行う。
【０２１２】
具体的に、本実施形態の判定対象抽出部３１は、抽出された対象領域に含まれる平面物に対応する画素群が、抽出された対象領域に含まれる立体物に対応する画素群に、画像の略垂直方向に沿って連なる場合は、平面物を含む対象領域と立体物を含む対象領域とを共通の対象立体物を含む対象領域として抽出する。
【０２１３】
図１９に示す画像情報に基づいて本実施形態の判定対象の抽出処理を説明する。図１９に示すように、外壁上（図３を参照）に検出されたＰ１１〜Ｐ１１３の内、Ｐ１１〜Ｐ１３とＰ１４〜Ｐ１１３が別々にグループ化され、Ｐ6１〜Ｐ２１２の内、Ｐ6１〜Ｐ6３とＰ２４〜Ｐ２１２が別々にグループ化され、Ｐ8１〜Ｐ8１１の内、Ｐ8１〜Ｐ8３とＰ8４〜Ｐ３１1が別々にグループ化され、Ｐ9１〜Ｐ9１２の内、Ｐ9１〜Ｐ9３とＰ４４〜Ｐ４１２が別々にグループ化された場合の処理について説明する。
【０２１４】
まず、算出された移動画像に物体を検出するための領域を設定する。すなわち、図１９に示すように、移動画像上に短冊状の複数の領域（以降、短冊領域と呼ぶ）を設定し、移動画像を分割する。本実施形態では、各短冊領域毎に画像下端から上端に速度を持った画素を順に走査して検出し、検出された画素を前述の（数式１）、（数式２）に基づいてＺＸ平面へ座標変換する。
【０２１５】
座標変換の結果が図７に示すＺＸ平面内に位置するか否かを判定する。座標変換の結果がＺＸ平面内に位置すれば、平面物の候補点と判定する。一方、ＺＸ平面内に位置しなければ、立体物の候補点として判定する。なお、ＺＸ平面には前述した実施形態で説明した領域と同じ領域が設定されるものとし、領域の設定方法については説明を省略する。
【０２１６】
具体的に、図１９に示す例では、Ｐ１１〜Ｐ１３はＺＸ平面内の同一の領域に位置して平面物の候補点と判定され、Ｐ１４〜Ｐ１１３はＺＸ平面内に位置しないため、立体物候補点と判定される。同様に、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３、Ｐ5１〜Ｐ5３、Ｐ6１〜Ｐ6３、Ｐ7１〜Ｐ7３、Ｐ８１〜Ｐ８３、Ｐ９１〜Ｐ９３、Ｐ１０１〜Ｐ１０３、Ｐ１1１〜Ｐ１１３、Ｐ１２１〜Ｐ１２３、Ｐ１３１〜Ｐ１３３、Ｐ１4１〜Ｐ１4３、Ｐ１5１〜Ｐ１5３、Ｐ１6１〜Ｐ１6３は平面物候補点と判定され、Ｐ1４〜Ｐ1１３、Ｐ３４〜Ｐ３１５、Ｐ５４〜Ｐ５１５、Ｐ６３〜Ｐ６１２、Ｐ８４〜Ｐ８１１、Ｐ９４〜Ｐ９１２、Ｐ１２４〜Ｐ１２１５、Ｐ１３４〜Ｐ１３１５、Ｐ１４４、Ｐ１５４〜Ｐ１５１６、Ｐ１６４〜Ｐ１６１７は立体物候補点と判定される。
【０２１７】
次に、平面物候補点と立体物候補点の判定結果に基づき、立体物の判定を行う。すなわち、平面物候補点であると判定された点と立体物候補点であると判定された点が、縦方向に連続して存在する場合は、立体物の内、路面近くに存在する部分が誤って平面物候補点であると判定されたものと推定できる。このため、平面物候補点と立体物候補点が縦方向に連続して存在する物体を立体物として判定する。
【０２１８】
例えば、本例では、図１９及び２０に示すように、平面物候補点Ｐ１１〜Ｐ１３と立体物候補点Ｐ１４〜Ｐ１１３が縦方向に連続しているため、Ｐ１１〜Ｐ１１３を一の立体物ＯＢ１として判定する。
【０２１９】
同様に、Ｐ２１〜Ｐ２１５を立体物ＯＢ２、Ｐ３１〜Ｐ３１５を一の立体物ＯＢ３として判定し、Ｐ６１〜Ｐ６１２を一の立体物ＯＢ４、Ｐ８１〜Ｐ８１１を一の立体物ＯＢ５として判定し、Ｐ９１〜Ｐ９１２を一の立体物ＯＢ６として判定し、Ｐ１２１〜Ｐ１２１５を一の立体物ＯＢ７として判定し、Ｐ１３１〜Ｐ１３１５を一の立体物ＯＢ８として判定し、Ｐ１４１〜Ｐ１４４を一の立体物ＯＢ９として判定し、Ｐ１５１〜Ｐ１５１６を一の立体物ＯＢ１０として判定し、Ｐ１６１〜Ｐ１６１７を一の立体物ＯＢ１１として判定する（図２０参照）。
【０２２０】
さらに、平面物および立体物と判定された点の内、下端点を抽出し、第１の実施形態と同様に、下端点のＺＸ平面への座標変換点が位置するＺＸ平面の領域のカウンタのカウンタ値を＋１加算して、下端点の位置分布を算出する。例えば、本実施例では、Ｐ１１、Ｐ２１、Ｐ３１、Ｐ４１、Ｐ５１、Ｐ６１、Ｐ７１、Ｐ８１、Ｐ９１、Ｐ１０１、Ｐ１１１、Ｐ１２１、Ｐ１３１、Ｐ１４１、Ｐ１５１、Ｐ１６１を下端点として検出し、図８に示す各下端点Ｐ１１〜Ｐ１６１の座標変換点ＲＢ１〜ＲＢ１６が位置する領域のカウンタのカウンタ値を＋１加算する。以下、前述した実施形態と同様の処理を行うことで、走路境界と立体物、立体物中の移動体の検出を行うことができる。
【０２２１】
移動体を検出した後は、前述した実施形態と同様の操作を行うことで、歩行者の検出を行うことができる。
【０２２２】
図２１は、本実施形態における歩行者検出装置１００の処理を示すフローチャートである。図２０に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図２０において、図１５に示す本発明の実施形態における処理のフローチャートと同一の処理内容については、同じステップ番号を付与し、二点鎖線で囲んだ異なる処理を中心に説明する。
【０２２３】
ステップＳ１３１では、ステップＳ１０４にて設定された物体検出用の短冊領域内において画像下端から上端に向かって走査を行い、速度を持つ画素の座標を（数式１）、（数式２）を用いてＺＸ平面上へ座標変換する。この後に、フローはステップＳ１３２へ移行する。
【０２２４】
ステップＳ１３２において、判定対象抽出部３１は、特徴点の画素の座標変換点がＺＸ平面内に位置すれば、特徴点を平面物候補点と判定し、特徴点の画素の座標変換点がＺＸ平面内に位置しなければ、立体物候補点と判定する。この後に、フローはステップＳ１３３に進む。
【０２２５】
ステップＳ１３３では、速度が算出された画素の全てがＺＸ平面上へ座標変換されて、平面物候補点および立体物候補点の検出が終了したかどうかが判定される。平面物候補点および立体物候補点の検出が終了した場合には、フローはステップＳ１３４に進む。一方、平面物候補点および立体物候補点の検出が終了していない場合は、フローはステップＳ１３１に戻り、平面物候補点および立体物候補点の検出が継続される。
【０２２６】
ステップＳ１３４において、判定対象抽出部３１は、各短冊領域内において、平面物候補点および立体物候補点が縦方向に連続して存在する場合、平面物候補点および立体物候補点を含む物体を一つの立体物として判定する。この後に、フローはステップＳ１３５に進む。
【０２２７】
ステップＳ１３５において、判定対象抽出部３１は、平面物候補点のうち、一番下にある点を下端点として検出し、検出した下端点のＺＸ平面上の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１３６に進む。
【０２２８】
ステップＳ１３６において、判定対象抽出部３１は、各領域において、カウンタ値に基づき各領域の下端点の位置分布情報の算出が終了したかどうかを判断する。各領域の下端点の位置分布情報の算出が終了した場合には、フローはステップＳ１１０へ進む。一方、各領域の下端点の位置分布情報の算出が終了していない場合には、フローはステップＳ１３４へ戻り、下端点の位置分布情報の算出が継続される。
【０２２９】
ステップ１１０以降の処理は、上述した図１５に示す処理と同様の処理を行うことにより、歩行者を検出する。
【０２３０】
このように、本実施形態の歩行者検出装置１００によれば、一の立体物に観察される、立体物の画素群に平面物の画素群が画像の略垂直方向に連なるという特徴を検出することにより、一の立体物が平面物と立体物とに別々に判定された場合であっても、一の対象立体物として判断し、対応する対象領域を抽出することができる。
【０２３１】
これにより、特徴点の抽出を含む画像処理において、同じ立体物を構成する画素でありながら何らかの影響で同等の移動速度が算出されない場合であっても、立体物の識別を高い精度で行うことができる。
【０２３２】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【０２３３】
すなわち、本明細書では、本発明に係る歩行者検出装置１００を含む車載装置１０００をその一態様として説明するが、本発明はこれに限定されるものではない。
【０２３４】
また、本明細書では、歩行者検出装置１００の一態様として、特徴点抽出手段の一例としての特徴点抽出部２１と、移動情報算出手段の一例としての移動情報算出部２２と、判定対象抽出手段の一例としての判定対象抽出部２４と、歩行者判定手段としての歩行者判定部３４を備える歩行者検出装置１００を説明したが、これに限定されるものではない。
【０２３５】
さらに、歩行者検出装置１００は、本明細書で説明したように、歩行者候補抽出手段の一例としての歩行者候補抽出部３２と、歩行者候補検証手段の一例としての歩行者候補検証部３３と、を備えることができる。また、これに加えて、グループ化手段の一例としてのグループ化部と、座標変換手段の一例としての座標変換部２４とを備えることができる。
【０２３６】
本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎず、本発明は実施形態の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。
【０２３７】
例えば、ブロック図は上記実施例に示すものに限定されるものではなく、同等の機能を備えた他の構成とすることができる。
【０２３８】
また、カメラの取り付け位置は実施形態で述べた位置に限定されるものではなく、カメラの光軸が車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸および垂直軸がそれぞれ路面と略平行および略垂直となるように設定されていれば良い。
【０２３９】
また、検出したエッジの幅の正規化を行うにあたっては、エッジ幅は３画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジの中央部の画素を利用するため、エッジ幅の画素数は奇数個であることが望ましい。
【０２４０】
また、ｘｙ平面を分割して設定する短冊領域の数は上記実施形態に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【０２４１】
また、ＺＸ平面を分割して設定する領域の数は上記実施形態に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【０２４２】
また、ＺＸ平面の縦方向および横方向の範囲は、任意の値に設定することができる。
【０２４３】
また、上記実施形態では道路を走行する車両に歩行者検出装置１０を搭載する例について説明したが、他の移動体に搭載してもよい。
【０２４４】
さらに、上記実施形態では、検出する走路境界として、縁石、白線、外壁と路面との接点の例について説明したが、これに限定されず、例えば、ガードレール、駐車車両と路面との境界、路面と路面以外の領域（田、畑など）との境界を検出してもよい。
【図面の簡単な説明】
【０２４５】
【図１】本実施形態の歩行者検出装置のブロック構成の一例を示す図である。
【図２】（Ａ）及び（Ｂ）は、カメラ１０の搭載例を示す図である。
【図３】車載されたカメラ１０により撮像された車両前方の画像例である。
【図４】（ａ）〜（ｆ）は移動速度の算出処理例を説明するための図である。
【図５】移動画像の一例を示す図である。
【図６】グループ化処理例を説明するための図である。
【図７】立体物を含む領域を判定の対象として抽出する処理例を説明するための図である。
【図８】走路境界を抽出する手法例を説明するための図である。
【図９】背景となる走路境界を抽出する手法例を説明するための図である。
【図１０】抽出された走路境界に基づいて移動する対象立体物を抽出する手法例を説明するための図である。
【図１１】移動する立体物を対象立体物として抽出する処理例を説明するための図である。
【図１２】歩行者の脚部と腕部の速度変化の特徴例を示す図である。
【図１３】歩行者候補の検証処理例を説明するための図である。
【図１４】歩行者の判定処理を説明するための図である。
【図１５】歩行者検出処理の一例を示すフローチャート図である。
【図１６】歩行者候補検証処理の一例を示すフローチャート図である。
【図１７】歩行者判定処理の一例を示すフローチャート図である。
【図１８】第２実施形態に係る、歩行者候補検証処理の他の例を示すフローチャート図である。
【図１９】移動する対象立体物を抽出するための処理例を説明するための図である。
【図２０】移動する対象立体物を抽出するための処理例を説明するための他の図である。
【図２１】第３実施形態に係る、判定対象抽出処理の他の例を示すフローチャート図である。
【符号の説明】
【０２４６】
１０００…車載装置
１００…歩行者検出装置
１０…カメラ
１１…画像メモリ
２０…画像処理部
２１…特徴点抽出部
２２…移動情報算出部
２３…グループ化部
２４…座標変換部
３０…判定処理部
３１…判定対象抽出部
３２…歩行者候補抽出部
３３…歩行者候補検証部
３４…歩行者判定部
２００…車両コントローラ
３００…警報装置
４００…走行支援装置
５００…出力装置
【技術分野】
【０００１】
本発明は、撮像された画像に基づいて歩行者を検出する歩行者検出装置及び歩行者検出方法に関する。
【背景技術】
【０００２】
車載カメラの撮像画像からオプティカルフロー（画像速度情報）を利用して歩行者や車両等の移動体を検出する移動体検出装置と移動検出方法が提案されている。例えば、撮像画像のオプティカルフローを求め、移動体の動きに基づいて抽出された撮像画像の背景のオプティカルフローと撮像画像全体のオプティカルフローとの比較により、移動体を検出する移動体検出方法が提案されている（特許文献１参照）。
【０００３】
【特許文献１】特開２００４−５６７６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の移動体検出装置または移動体検出方法では、移動体を検出するために撮像画像と背景のオプティカルフローを正確に算出する必要があるが、実際の環境にて撮像される画像では、様々な形状のエッジが複雑に組み合わさり、これら各画素の時間的な対応付けも複雑であるため、正確なオプティカルフローを算出することが難しい。このため、単純に撮像画像のオプティカルフローと背景のオプティカルフローを比較しただけでは、背景を歩行者と判定する誤検出が発生する可能性があるという問題があった。
【０００５】
本願発明が解決しようとする課題は、背景を歩行者として誤検出することを低減させる歩行者検出装置及び歩行者検出方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、撮像画像から抽出された対象領域の移動情報と対象領域の周囲に設定された比較領域の移動情報とに基づいて、抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、対象立体物を含む対象領域の移動情報と比較領域の移動情報とを比較することにより、近傍に存在する背景に対する対象立体物の相対的な動きを観察することができるので、背景を歩行者として誤検出することを低減させることができる。
【発明を実施するための最良の形態】
【０００８】
＜第１実施形態＞
図１は、歩行者検出装置１００を含む車載装置１０００のブロック構成の一例を示す図である。本実施形態の歩行者検出装置１００は、車両に搭載され、車両の前方（進行方向に沿った前方）の撮像画像に基づいて歩行者を検出する装置である。
【０００９】
図１に示すように、本実施形態の車載装置１０００は、歩行者検出装置１００と、この歩行者検出装置１００から歩行者検出情報を取得し、取得した歩行者検出情報に基づく情報をユーザ又は車両側に出力する車両コントローラ２００等の外部装置とを有する。外部装置としては、図１に示すように、車両の駆動を制御する車両コントローラ２００の他、歩行者の存在を知らせる警報装置３００、歩行者の存在に応じた走行支援を行う走行支援装置４００、ディスプレイ及び／又はスピーカを有し、歩行者の存在に関する情報を提示する出力装置５００を一又は二以上備える。これら本実施形態の歩行者検出装置１００、車両コントローラ２００、警報装置３００、走行支援装置４００、出力装置５００の演算処理は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡなどの動作回路を組み合わせて構成された処理手段により実行される。
【００１０】
なお、これらの装置の処理手段は、ＣＡＮ（Controller Area Network）などの車載ＬＡＮにより接続される。
【００１１】
本実施形態の歩行者検出装置１００は、カメラ１０と、カメラ１０の撮像データを記憶する画像メモリ１１と、撮像された画像を処理する画像処理部２０と、判定処理部３０とを備える。
【００１２】
以下、画像処理装置１００が備える各構成について説明する。
【００１３】
カメラ１０は、例えばＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子を有するカメラであり、所定周期で連続的に車両周囲（車両前方、車両後方、車両側方など）を撮像し、フレーム毎に撮像された画像を画像メモリ１１に出力する画像メモリ１１は、画像データをアクセス可能な状態で記憶する。画像メモリ１１として、ＨＤＤ、ＣＤ、ＭＤ、ＤＶＤ、光ディスクその他の記録媒体を用いる。
【００１４】
図２にカメラ１０の設置例を示す。図２に示すように、カメラ１０は車両の室内上部前方に設置される。同図に示すように、本実施形態では、１つのカメラ１０を車両に設置する。つまり、本実施形態では、単眼のカメラ１０で車両周囲を撮像する。
【００１５】
さらに、カメラ１０は、その光軸ＬＳが車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は路面と平行となるように、また撮像面の垂直軸Ｙ（図示省略）が路面と略垂直になるように設定される。
【００１６】
カメラ１０により撮像された画像（自車両前方の画像）の例を図３に示す。カメラ１０により撮像された撮像画像は、画像左上頂点を原点として左から右へ延在するｘ軸、上から下へ延在するｙ軸により定義されるｘｙ座標系により表される。図３に示す画像例は、左右の白線、外壁などの走路の境界線と、道路の左側から右側へ移動する歩行者が撮像画像に含まれる。
【００１７】
次に、画像処理部２０について説明する。画像処理部２０は、特徴点抽出部２１と、移動情報算出部２２と、グループ化部２３と、座標変換部２４とを備え、カメラ１０により撮像された撮像画像の処理を行う。
【００１８】
まず、特徴点抽出部２１について説明する。特徴点抽出部２１は、カメラ１０により撮像された撮像画像から特徴点を抽出する。この特徴点抽出部２１は、カメラ１０により撮像された画像を画像メモリ１１から取得し、取得した撮像画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。図４（ａ）に、抽出された垂直方向のエッジ例を示す。次に、抽出された各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する（図４（ｂ）参照）。さらに、細線化されたエッジのエッジ幅が一定の幅となるように、例えば３画素分の幅となるように、エッジを水平方向に拡張する（図４（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得る。
【００１９】
移動情報算出部２２は、特徴点抽出部２１により抽出された特徴点及びこの特徴点周囲に対応する画素について、その移動方向及び／又は移動速度を含む移動情報をそれぞれ算出する。求めた特徴部の移動速度と移動方向は、撮像タイミング識別子又はフレーム識別子と対応づけて記憶する。この画素の移動情報は、画素の特定情報とともに、「画素の移動速度」と「画素の移動方向」を含む。なお、一の画像データ中に複数の特徴部が存在する場合は、すべての特徴部についてその移動情報を算出する。
【００２０】
以下、本実施形態の移動情報算出部２２について説明する。
【００２１】
本実施形態の移動情報算出部２２は、カメラ１０により撮像された物体の画像の情報に基づいて、物体の外延に対応するエッジが検出された位置の画素のカウント値をカウントアップし、このカウント値の傾きに基づいて、エッジの移動速度及び移動方向を算出する。
【００２２】
また、移動情報算出部２０は、撮像タイミングが異なる画像データについて、各画像データに含まれるエッジに対応する画素の画素カウンタのカウンタ値を所定の手法で更新する。ここで、画素カウンタとは、各画素に設定されたカウンタであり、画素がエッジに対応する場合は画素カウンタのカウンタ値を＋１加算し、画素がエッジに対応しない場合は画素カウンタのカウンタ値を０とする（初期化する）カウンタである。このカウンタ値の更新処理を、カメラ１０により所定周期で繰り返し撮像されるフレーム毎に行う。この操作を行うと、エッジに対応する時間が長い画素は、対応する画素カウンタのカウンタ値が大きくなり、他方、エッジに対応する時間が短い画素は、対応する画素カウンタのカウンタ値が小さくなる。
【００２３】
この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになる。このため、このカウンタ値に基づいて、撮像画像上におけるエッジの移動方向と移動速度とを算出する。画像の座標系は方位を表しているため、エッジ、及びこのエッジに対応する特徴部の移動方向と移動速度を求めることができる。
【００２４】
さらに、図４に基づいて、移動情報算出部２２が行う移動情報の算出手法を説明する。図４は移動情報の算出処理を説明するための図、すなわち、抽出されたエッジが正規化されたエッジ画像を取得し、エッジのカウンタ値（滞留時間）から移動方向と移動速度を算出する処理を具体的に説明するための図である。
【００２５】
まず、特徴点抽出部２１は、エッジ画像に対して２値化処理を行う。２値化処理とはエッジの検出された位置の画素を１とし、エッジの検出されなかった位置の画素を０とする処理である。図４（ａ）は抽出された垂直方向のエッジの２値化画像例を示す。
【００２６】
次に、図４（ｂ）に示すように、生成された２値化画像に対して、細線化処理を行う。細線化処理とは、検出されたエッジのエッジ幅を所定画素幅になるまで縮小する処理である。つまり、抽出された各エッジに対して細線化処理を行ってエッジ幅を絞る。本例では、図４（ｂ）に示すように、所定画素幅として１画素になるまでエッジのエッジ幅を細線化する。このようにエッジを所定の画素幅になるまで細線化することによって、エッジの中心となる中心位置を設定する。なお、本例では、１画素に細線化する例を示すが、細線化する画素数は特に限定されない。
【００２７】
次に、細線化されたエッジのエッジ幅を膨張させる膨張処理を行う。膨張処理とは、細線化によって設定された中心位置からエッジの移動方向に向かってエッジ幅が一定の幅となるように膨張させるとともに、中心位置からエッジの移動方向と反対方向にもエッジ幅を膨張させる処理である。本例では、細線化されたエッジのエッジ幅が３画素分の幅となるように、エッジを水平方向に膨張させる。この処理により、抽出されたエッジを正規化し、各エッジの幅が均一なエッジ画像を得る。
【００２８】
具体的に、図４（ｃ）に示すように、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素膨張させるとともに、エッジの中心位置ｘ０からエッジの移動方向と反対方向（ｘ軸の負方向）に１画素膨張させて、エッジ幅を３画素に膨張させる。
【００２９】
このように細線化処理と膨張処理とを行うことによって、抽出されたエッジ画像のエッジ幅を、エッジの移動方向に向かって所定の幅に統一し、規格化する。
【００３０】
次に、移動情報算出部２２が移動情報を算出するために行う、カウントアップ処理について説明する。ここに言うカウントアップ処理とは、エッジが検出された画素の位置に対応するメモリアドレスの値をカウントアップし、エッジが検出されなかった画素の位置に対応するメモリアドレスの値を初期化する処理である。
【００３１】
以下、図４（ｃ）〜（ｆ）に基づいて移動情報算出部２２によるエッジのカウントアップ処理について説明する。説明の便宜のため、ここでは、エッジがｘ軸の正方向に移動する場合を例にして説明する。エッジがｘ軸の負方向やｙ軸方向、あるいは２次元的に移動する場合においても、基本的な処理手法は共通する。
【００３２】
図４（ｃ）に示すように、エッジはあるフレームにおいて位置ｘ０にエッジの中心位置がある。そして、その中心位置からエッジの移動方向に１画素の位置ｘ０＋１に膨張され、同様に、中心位置からエッジの移動方向と反対方向に１画素の位置ｘ０−１に膨張される。
【００３３】
このようなエッジが検出された位置、「ｘ０−１」、「ｘ０」、「ｘ０＋１」に対応するメモリアドレスのカウント値は＋１カウントアップされる。他方、エッジが検出されなかった位置に対応するメモリアドレスのカウント値は、リセットされる。
【００３４】
例えば、図４（ｄ）では、時刻ｔにおいて、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」にエッジが検出されている。このため、それぞれの位置に対応するメモリアドレスのカウント値が各１カウントアップされる。その結果、位置「ｘ０＋１」のカウント値は「１」、位置「ｘ０」のカウント値は「３」、位置「ｘ０−１」のカウント値は「５」である。
【００３５】
次に、図４（ｅ）に示すように、時刻ｔ＋１になってもエッジが移動していないので、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」の各位置でエッジが検出される。このため、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」のカウント値をさらに１ずつカウントアップする。その結果、位置「ｘ０＋１」のカウント値は２、位置「ｘ０」のカウント値は４、位置「ｘ０−１」のカウント値は６となる。
【００３６】
さらに、図４（ｆ）に示すように、時刻ｔ＋２では、エッジがｘ軸の正方向に１画素シフトして位置「ｘ０」、「ｘ０＋１」、「ｘ０＋２」の位置でエッジが検出される。このため、エッジが検出された位置「ｘ０」、「ｘ０＋１」、「ｘ０＋２」に対応するメモリアドレスのカウント値はカウントアップされる。他方、エッジが検出されなかった位置「ｘ０−１」のカウント値はリセットされ、「ゼロ」となる。その結果、図４（ｆ）に示すように位置「ｘ０＋２」のカウント値は１、位置「ｘ０＋１」のカウント値は３、位置「ｘ０」のカウント値は５となる。さらに、エッジが検出されなかった位置「ｘ０−１」のカウント値はリセットされ、「０」になっている。
【００３７】
このように、移動情報算出部２２は、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップし、エッジの検出されなかった位置に対応するメモリアドレスのカウント値をリセットする。
【００３８】
なお、図４に基づく説明においては、カウント値を検出する位置として、エッジの中心位置「ｘ０」と、この中心位置からエッジの移動方向へ１画素の位置「ｘ０＋１」と、中心位置からエッジの移動方向と反対方向に１画素の位置「ｘ０−１」の３箇所でカウント値を検出するが、後述するカウント値の傾きが求められれば、カウント値を検出するポイントの配置、数は限定されない。つまり、エッジの移動方向に対して２箇所以上においてカウント値を検出できれば、カウント値の検出箇所はいくつであってもよい。
【００３９】
また、エッジが移動する速度に比べて、フレームレートが十分に高く設定されていれば、連続するフレーム間において、エッジは同じ位置で複数回検出される。例えば、図４の例では、連続する時刻ｔのフレームと時刻ｔ＋１のフレームにおいて、エッジは位置ｘ０において２回検出される。したがって、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップしていくと、そのカウント値はその位置においてエッジが検出されている時間（フレーム数、滞留時間）と相関する。特に、エッジのカウント値の中で最小のカウント値ｈは、エッジが移動してから何フレームの間、同じ位置にあるかということを表す。
【００４０】
次に、本実施形態における、エッジの移動速度、移動方向及び位置の算出手法について説明する。本実施形態では、カウント値の傾きを算出し、この傾きに基づいて、エッジの移動速度、移動方向及び位置を算出する。
【００４１】
例えば、図４（ｅ）の場合では、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」のカウント値がそれぞれ「６」、「４」、「２」である。位置「ｘ０−１」のカウント値「６」から「ｘ０＋１」のカウント値「２」を引くと、カウント値の傾きＨは、Ｈ＝（６−２）／２＝２と算出できる。
【００４２】
これは、Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）−（エッジが位置ｘ０＋１に移動した後の時間）｝／（２画素）を意味する。つまり、傾きＨを算出することにより、エッジが、位置ｘ０にある１画素を通過するのに要する時間（フレーム数）を算出することになる。
【００４３】
したがって、カウント値の傾きＨは、エッジが１画素移動するために何フレームを要するかに相当し、このカウント値の傾きＨに基づいてエッジの移動速度１／Ｈを算出する。図４（ｅ）では１画素移動するのに２フレームを要することになるので、エッジの移動速度は１／２（画素／フレーム）と算出する。同様に、図４（ｆ）でもＨ＝（５−１）／２＝２となるので、エッジの移動速度は１／２（画素／フレーム）になる。
【００４４】
続いて、カウント値の大小に基づいて、エッジの移動方向を判断する手法について説明する。エッジの無い位置にエッジが移動し、新たにエッジが検出された位置のカウント値は１となるから、各位置のカウント値の中では最も小さな値となる。したがって、エッジが移動する方向のカウント値は小さく、エッジが移動する方向と反対方向のカウント値は大きくなる。この傾向を利用して、エッジの移動方向を判断することができる。
【００４５】
さらに、エッジが移動する速度に比べてフレームレートが十分に高く設定されていれば、検出対象物は等速移動をしていると仮定することができる。また、現在の位置におけるカウント値の中で最小のカウント値ｈは、エッジがその位置で検出されている時間、すなわちエッジが移動してから何フレームの間、同じ位置にあるかということを表している。これらのことにより、エッジの位置は、エッジの中心位置をｘ０とすると、「エッジの位置＝ｘ０＋ｈ／Ｈ」により求めることができる。例えば、図４（ｆ）では、エッジの速度は１／２（画素／フレーム）で、時刻ｔ＋２の時点では1フレーム連続して同じ位置でエッジが検出されているので、時刻ｔ＋２のエッジの位置は「１（フレーム）×｛１／２（画素／フレーム）｝＝０．５画素」だけ位置ｘ０から移動していると算出することができる。
【００４６】
以上のことから、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップし、カウントアップされたカウント値の傾きに基づいてエッジの移動速度及び移動方向を算出することができる。
【００４７】
また、移動情報算出部２２は、撮像画像上に存在するエッジの移動情報を所定の階級値に分類し、移動情報の特徴を表現する移動画像を生成する。図５に移動画像の一例を示す。図５に示すように、本実施形態の移動画像では、移動情報が検出されたエッジの画素を丸印で表し、移動速度が速い画素ほど点を大きい丸印で表すことにより、画素の移動情報を表現する。また、移動方向が右、すなわち右方向へ移動する画素を塗りつぶした黒印で表し、移動方向が左、すなわち左方向へ移動する画素を色抜きの白印で表すことにより、画素の移動方向を表現する。図５においては、自車両の走行路右側の外壁および白線からは画像の右側へ向かう速度が検出されており、走行路左側の外壁からは画像の左側及び右側へ向かう速度が検出されている。これは、左操舵から中立へ戻す状況を示しており、消失点が左側外壁に存在することを示している。また、走行路左側から右へ移動する歩行者では、画像の右側へ向かう速度が検出されている。このように、移動画像は、移動速度と移動方向を含む移動情報を表現できる。
【００４８】
次に、グループ化部２３について説明する。グループ化部２３は、移動情報算出部２２により算出された移動速度が所定範囲内であるとともに、画像おいて略垂直方向に隣接する画素群をグループ化する。グループ化部２３は、算出された移動画像から立体物を抽出するために、移動画像を分割する領域を設定する。すなわち、図６に示すように、移動画像上に短冊状の複数の領域を設定し、移動画像を複数の領域で分割する。次に、各領域毎に、画像の縦方向において所定域値内の移動速度で連続する画素をグループ化し、グループ化された画素に基づいて立体物を検出する。具体的には、移動画像（図５参照）を縦方向（ｙ軸方向）に探索する。移動情報を持った画素Ａが見つかった場合、画素Ａに隣接する画素Ｂを探索する。画素Ｂが移動情報を有し、かつ画素Ａと画素Ｂの速度方向の差が閾値Ｒｅ以内であり、かつ、画素Ａと画素Ｂの速度の大きさの差が閾値Ｔｖ以内であれば、同じ移動速度で縦に連続していると判断する。次に、画素Ｂに隣接する画素Ｃについても同様に移動情報の有無を判断し、画素Ａと画素Ｃの速度の方向の差が閾値Ｒｅ以内か、速度の大きさの差が閾値Ｔｖ以内かを判断する。以後、いずれかの条件を満たさなくなるまで繰り返す。ここで「縦方向に移動情報が共通する画素が連続する」という特徴は、立体の画像上の特徴である。すなわち、画像の下部から上部に向かって各領域を走査し、領域内に速度を持った画素が存在する場合は、その画素の上方に隣接する速度を持った画素との速度差を比較する。その速度差が閾値Ｔ１以下である場合には、車両に対して同じ速度で移動する物体であると推定できることから、同じ物体であると判定してグループ化を行う。
【００４９】
次に、座標変換部２４について説明する。座標変換部２４は、画像に含まれる画素を所定の視点から見た俯瞰図における変換座標に変換する。この変換座標は、所定の領域（面積）が与えられるとともに分割領域に分割された変換座標である。まず、座標変換部２４は、グループ化部２３によりグループ化された画素の上端位置（最も高い位置に存在する画素）と下端位置（最も低い位置に存在する画素）を検出する。この処理により、図６に示す下端位置ＢＬ１〜ＢＬ１６及び上端位置ＴＬ１〜ＴＬ１６が検出される。
【００５０】
そして、座標変換部２４は、ｘｙ平面上において抽出された下端ＢＬ１〜ＢＬ１６および上端ＴＬ１〜ＴＬ１６の中心位置を座標とする下端点ＢＰ１〜ＢＰ１６（図示省略）および上端点ＴＰ１〜ＴＰ１６（図示省略）の位置座標を、規定の面積を備えたＺＸ平面（以下、規定のＺＸ平面と呼ぶ）上の点として３次元の位置座標（実空間上の３次元における位置座標）に変換する。
【００５１】
ここで、各点の座標を（ｘ、ｙ）とし、カメラの路面からの高さをＣｈ（ｍ）、カメラの俯角をＴｒ（ｒａｄ）、画像の縦サイズをＩｈ、画像の横サイズをＩｗ、高さ方向の１画素あたりの角度分解能をＰＹｒ（ｒａｄ）、横方向の１画素あたりの角度分解能をＰＸｒ（ｒａｄ）とすると、ｘｙ平面上の点ＴＰ１〜ＴＰ１６及びＢＰ１〜ＢＰ１６は、次式に従ってＺＸ平面の座標（Ｚ、Ｘ）に変換される。
【００５２】
（式１）Ｚ＝(Ｃｈ)／(ＴＡＮ(Ｔｒ＋(ｙ−Ｉｈ／２)×ＰＹｒ))
（式２）Ｘ＝ｘ×ＴＡＮ((Ｚ-Ｉｗ／２)×ＰＸｒ)
上端点ＴＰ１〜ＴＰ１６の変換後の点を、上端座標変換点ＲＴ１〜ＲＴ１６とし、下端点ＢＰ１〜ＢＰ１６の変換後の点を下端座標変換点ＲＢ１〜ＲＢ１６とする。一部の対応関係を図７に示す。
【００５３】
座標変換部２４により得られた情報は判定処理部２４に送出される。また、必要に応じて、移動情報、特徴点に関する情報も判定処理部３０へ送出される。
【００５４】
続いて、判定処理部３０について説明する。判定処理部３０は、画像処理部２０により処理された画像に基づいて抽出された対象立体物が歩行者であるか否かを判定し、歩行者を検出する。
【００５５】
具体的に、本実施形態の判定処理部３０は、判定対象抽出部３１と、歩行者候補抽出部３２と、歩行者候補検証部３３と、歩行者判定部３４とを備える。
【００５６】
以下、判定処理部３０が備える各構成について説明する。
【００５７】
まず、判定対象抽出部３１について説明する。判定対象抽出部３１は、画像処理部２０の移動情報算出部２２により算出された特徴点の移動情報に基づいて、撮像された画像の中から移動する対象立体物を含む対象領域を抽出する。 判定対象抽出部３１は、本実施形態の歩行者検知装置１００が最終的に歩行者を検知する観点から、歩行者の可能性が高い対象立体物を含む対象領域を抽出することが好ましい。歩行者は、立体物であるとともに移動体であるから、歩行者に対応する画像は、立体物としての特徴と移動体としての特徴とを備える。このため、判定対象抽出部３１は、判定の対象候補として立体物を抽出する機能及び／又は判定の対象候補として移動体を抽出する機能を有する。立体物の抽出手法及び移動体の抽出手法は、以下に説明する手法のほか、公知の手法を用いることができる。なお、ここで「移動する」とは立体物自身が移動する（能動的に移動する）場合と、歩行者検出装置１００が移動することにより、立体物が相対的に移動する場合の両方を含む。
【００５８】
特に限定されないが、本実施形態の判定対象抽出部３１は、以下の２つの手法により撮像画像から対象立体物を含む対象領域を抽出する。
【００５９】
第１の手法として、判定対象抽出部３１は、グループ化部２３によりグループ化された画素群のうち、変換座標において最も高い位置(上端)に存在する画素の座標と最も低い位置(下端)に存在する画素の座標とに基づき、撮像された画像の中から対象立体物を含む対象領域を抽出する。
【００６０】
本実施形態の判定対象抽出部３１は、グループ化部２３によりグループ化された画素群のうち、変換座標において上端に位置する画素の座標が変換座標の領域外に属するとともに、下端に位置する画素の座標がいずれかの分割領域に属する場合は、グループ化された画素群に対応する領域を、対象立体物を含む対象領域として抽出する。例えば、図７に示すＯＢ１のように、上端に位置する画素ＴＰ１の変換座標はＺＸ変換座標の領域外に位置し、下端に位置する画素ＢＰ１の変換座標はＺＸ変換座標内に位置するため、判定対象抽出部３１は、ＯＢ１が属する領域を、対象立体物を含む対象領域として抽出する。
【００６１】
他方、判定対象抽出部３１は、グループ化部２３によりグループ化された画素群のうち、変換座標において上端に位置する画素の座標と下端に位置する画素の座標とが共通の分割領域に属する場合は、グループ化された画素群に対応する領域を、平面物を含む領域として抽出する。平面物であるということは立体物ではなく、ましてや歩行者でもないから、抽出された平面物を含む領域は、対象立体物を含む対象領域として抽出しない。例えば、図７に示すＴＰ１０とＢＰ１０を含む領域（撮像画像における路上の白線に対応）のように、上端に位置する画素ＴＰ１０の変換座標はＺＸ変換座標の領域５５に位置し、下端に位置する画素ＢＰ１０の変換座標もＺＸ変換座標の領域５５内に位置するため、判定対象抽出部３１は、この領域を、平面物を含む領域として抽出する。
【００６２】
また、判定対象抽出部３１は、所定間隔に分割されたＺＸ平面の座標（Ｚ、Ｘ）において、上端座標変換点ＲＴ１〜ＲＴ１６と下端座標変換点ＲＢ１〜ＲＢ１６とが、ＺＸ平面のいずれの分割領域に属するかに基づいて、立体物の抽出を行う（図７参照）。ここで、車両の上下動に伴いカメラ１０の撮像画像が上下に動くことにより、座標変換点の属する領域が変動してしまう可能性がある。この影響を避けるため、ＺＸ平面の分割領域の所定間隔はメーターオーダーで設定する。本実施例では、ｘ軸方向は、−５．２５ｍ＞ｘ、−５．２５≦ｘ＜−３．５ｍ、−３．５ｍ≦ｘ＜−１．７５ｍ、−１．７５ｍ≦ｘ＜０ｍ、０ｍ≦ｘ＜１．７５ｍ、１．７５ｍ≦ｘ＜３．５ｍ、３．５ｍ≦ｘ＜５．２５ｍ、５．２５ｍ≦ｘ、として８分割し、ｚ軸方向は、０≦ｚ＜１０ｍ、１０ｍ≦ｚ＜２０ｍ、２０ｍ≦ｚ＜３０ｍ、３０ｍ≦ｚ＜４０ｍ、４０ｍ≦ｚ＜５０ｍとして５分割して、領域１１〜領域１５、領域２１〜領域２５、領域３１〜領域３５、領域４１〜領域４５、領域５１〜領域５５、領域６１〜領域６５、領域７１〜領域７５、領域８１〜領域８５を設定する。また、領域１１〜領域１５を領域１０とし、領域２１〜領域２５を領域２０とし、領域３１〜領域３５を領域３０とし、領域４１〜領域４５を領域４０とし、領域５１〜領域５５を領域５０とし、領域６１〜領域６５を領域６０とし、領域７１〜領域７５を領域７０とし、領域８１〜領域８５を領域８０とする。
【００６３】
判定対象抽出部３１は、ｘｙ座標において同位置のグループとされた上端座標変換点と下端座標変換点とが、ＺＸ平面における同一の分割領域に属する場合は、同一グループの上端点と下端点は同一の路面上にある、すなわち路面上の平面物体であると判定する（立体物ではないと判定する）。また、上端点に対応する上端座標変換点が規定のＺＸ座標外に位置し、その上端点と同一のグループの下端点の下端座標変換点が規定のＺＸ座標内に位置する場合は、下端点のみが路面上にあるため立体物であると判定する。
【００６４】
なお、ここで、移動情報算出部２２は、後述する走路境界の検出のために、各領域に設定されたカウンタのうち下端点の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算し、下端点の位置情報分布を算出する。
【００６５】
また、上端点ＴＰ１、ＴＰ３、ＴＰ５、ＴＰ６、ＴＰ８、ＴＰ９及びＴＰ１２〜ＴＰ１６の座標変換点ＲＴ１、ＲＴ３、ＲＴ５、ＲＴ６、ＲＴ８、ＲＴ９及びＲＴ１２〜ＲＴ１６は図７に示す規定のＺＸ座標外に投影されるため、上端点ＴＰ１、ＴＰ３、ＴＰ５、ＴＰ６、ＴＰ８、ＴＰ９及びＴＰ１２〜ＴＰ１６を含むグループに対応する対象物は立体物であると判定される。つまり、上端点ＴＰ１、ＴＰ３、ＴＰ５、ＴＰ６、ＴＰ８、ＴＰ９及びＴＰ１２〜ＴＰ１６を含むエッジはｘｙ平面上で立体物ＯＢ１〜ＯＢ１１として抽出される。
【００６６】
また、上端点ＴＰ２、ＴＰ４、ＴＰ７、ＴＰ１０、ＴＰ１１の座標変換点ＲＴ２、ＲＴ４、ＲＴ７、ＲＴ１０、ＲＴ１１は下端点ＢＰ２、ＢＰ４、ＢＰ７、ＢＰ１０、ＢＰ１１の座標変換点ＲＢ２、ＲＢ４、ＲＢ７、ＲＢ１０、ＲＢ１１と同じ領域に位置するため、上端点ＴＰ２、ＴＰ４、ＴＰ７、ＴＰ１０、ＴＰ１１を含むグループは路面上に位置する平面の対象物であると判定される。
【００６７】
また、判定対象抽出部３１は、抽出された対象領域に含まれる平面物に対応する画素群が、抽出された対象立体物を含む対象領域に対応する特徴点に、画像の略垂直方向に沿って連なる場合は、平面物を含む対象領域と立体物を含む対象領域とを一の対象立体物を含む対象領域として抽出する。
【００６８】
なお、ここで、移動情報算出部２２は、後述する走路境界の検出のために、下端点の座標変換点ＲＢ1〜ＲＢ1６が位置する領域のカウンタのカウンタ値を＋１加算する。
【００６９】
さらに、第２の手法として、判定対象抽出部３１は、グループの画素群のうち画像の略垂直方向の最下に位置する画素の座標値に基づいて、画像に含まれる立体物の設置面と所定の関係を有する基準境界を抽出し、グループ化部２３によりグループ化された画素群のうち最上に位置する画素の位置が基準境界の位置よりも上に位置する場合は、グループ化された画素群に対応する領域を、移動する対象立体物を含む対象領域として抽出する。
【００７０】
この処理にあたり、グループ化部２３は、画像において略垂直方向に隣接するとともに、移動情報算出部２２により算出された移動速度が所定範囲内である画素群をグループ化する。
【００７１】
まず、判定対象抽出部３１は、立体物の設置面を定義づけることができる基準境界を抽出する。本実施形態では、歩行者検出装置１００を搭載する車両が走行する道路の走路境界を基準境界として抽出する。
【００７２】
このため、図８に示すように、得られた下端点の座標変換点の位置分布に基づいて、基準境界が存在する可能性が高い領域を抽出する。すなわち、得られた下端点の座標変換点の位置分布において、同じｘ軸領域で複数のｚ軸領域にカウンタ値が存在すれば、自車両前方に走路境界（自車両が走行する走路の境界）が車両に沿って直線状に存在すると推定できるため、カウンタ値がある領域を、基準境界の一態様としての走路境界を含む領域として抽出する。例えば、図８では、ｘ軸が同じ範囲の領域３０において、複数のｚ軸領域（下端点ＲＢ２、ＲＢ４、ＲＢ７が位置する領域）にカウンタ値が存在するため、これらの領域を走路境界領域として抽出する。なお、領域２０、領域５０、領域８０についても同様である。
【００７３】
そして、抽出された領域に走路境界を示す直線が存在するかどうかの判定を行う（図８参照）。すなわち、抽出した領域に存在する下端点の座標変換点に基づいて、ｘｙ座標系での回帰分析を行い、下端点を通る直線の傾きを算出する。例えば、図８の領域３０では、領域２０に存在する下端点の座標変換点ＲＢ２、ＲＢ４、ＲＢ７に対応するｘｙ座標における下端点ＢＰ２、ＢＰ４、ＢＰ７の座標位置からｘｙ座標系での回帰分析を行い、下端点ＢＰ２、ＢＰ４、ＢＰ７を通る直線の傾きａ３を算出する。同様に、領域２０、領域５０、領域８０に位置する下端点の投影点に対応した直線の傾きａ２、ａ５、ａ８を算出する。そして、算出した直線の傾きが、走路境界として判定できる範囲として予め定義された所定の範囲内に入っていれば、抽出された走路境界を示す直線が存在すると判定する。すなわち、下端点の座標変換点が位置するｘ軸領域の左端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＬ１〜ＰＬ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ１と、下端点の座標変換点が位置するｘ軸領域の右端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＲ１〜ＰＲ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ２とで規定される傾きの範囲内に、下端点に基づき算出された直線の傾きａｎが入っている場合には、抽出した領域内に走路境界を示す直線Ｌｎが存在するとの判定を行う。
【００７４】
例えば、図９に示すように、本実施例の領域８０においては、座標（ｘ，ｚ）＝（−３．５，５）の点ＰＬ１、座標（ｘ，ｚ）＝（−３．５，１５）の点ＰＬ２、座標（ｘ，ｚ）＝（−３．５，２５）の点ＰＬ３、座標（ｘ，ｚ）＝（−３．５，３５）の点ＰＬ４、座標（ｘ，ｚ）＝（−３．５，４５）の点ＰＬ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ１と、座標（ｘ，ｚ）＝（−１．７５，５）の点ＰＲ１、座標（ｘ，ｚ）＝（−１．７５，１５）の点ＰＲ２、座標（ｘ，ｚ）＝（−１．７５，２５）の点ＰＲ３、座標（ｘ，ｚ）＝（−１．７５，３５）の点ＰＲ４、座標（ｘ，ｚ）＝（−１．７５，４５）の点ＰＲ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ２に対し、下端点の投影点ＲＢ１、ＲＢ４、ＲＢ５に対応するｘｙ平面上の下端点ＢＰ１、ＢＰ４、ＢＰ５を結ぶ直線の傾きａ３が、Ｔ３０ａ１とＴ３０ａ２で規定される範囲内に存在するため、下端点ＢＰ２、ＢＰ４、ＢＰ７を結ぶ直線は走路境界を示す直線Ｌ３であると判定される(図９参照)。
【００７５】
同様にして、領域２０では、下端点の投影点ＲＢ１、ＲＢ６に対応する、ＢＰ１、ＢＰ６を結ぶ直線は走路境界を示す直線Ｌ２であると判定され、領域５０では、下端点の投影点ＲＢ１０、ＲＢ１１に対応するｘｙ平面上の下端点ＢＰ１０、ＢＰ１１を結ぶ直線は走路境界を示す直線Ｌ５であると判定され、領域８０では、下端点の投影点ＲＢ１２〜ＲＢ１６に対応するｘｙ平面上の下端点ＢＰ１２〜ＢＰ１６を結ぶ直線は走路境界を示す直線Ｌ８であると判定される。
【００７６】
次に、図１０に示すように、判定対象抽出部３１は、走路境界を示す直線のうち、自車両の近傍から遠方に連続して存在する立体物で構成される直線を背景として検出する。一般に、前方の撮像画像における背景は、静止した立体物が自車両近傍から遠方に直線的に並んでおり、近傍の速度が速く、遠方に行くに従い速度が遅くなる、という特徴を備える。したがって、このような特徴を示す走路境界を背景として抽出する。ここで、立体物で構成される走路境界が複数存在する場合には、自車両からより遠方に位置する走路境界を選択する。本実施例では、外壁と路面の交点である走路境界線Ｌ２とＬ８を背景として検出する。
【００７７】
次に、図１１に示すように、検出された画像位置と速度の関係から、画像上の任意の位置における静止物体の速度を算出する予測式を算出する。背景となる立体物は静止物であるため、背景となる立体物の速度は、画像の各位置における静止物の速度を表している。例えば、立体物ＯＢ１、ＯＢ４の速度は、それぞれの画像位置における静止物の速度を表している。したがって、複数の立体物間の画像位置と速度の関係を示す予測式を算出することで、画像上の任意の位置の静止物の速度を求めることができる。本実施例では、画像左側の物体に対しては、立体物ＯＢ１、ＯＢ４の画像上のｘｙ座標を説明変数、速度を目的変数として、回帰分析を行い、静止物体の速度の予測式を算出する。同様に、画像右側の物体に対しては、立体物ＯＢ７、ＯＢ８、ＯＢ１０、ＯＢ１１画像上のｘｙ座標を説明変数、速度を目的変数として、回帰分析を行い、静止物の速度の予測式を算出する。
【００７８】
そして、画像処理部２０により検出された特徴点の位置と特徴点の移動情報（移動速度、移動方向）と、算出された予測式から得られる静止物の移動速度とを比較することにより、移動体を検出する。
【００７９】
すなわち、本実施形態の判定対象抽出部３１は、グループ化された画素群のうち画像の略垂直方向の最下に位置する画素の座標値に基づいて、画像に含まれる立体物の設置面と所定の関係を有する基準境界を抽出し、その基準境界の位置と移動速度算出手段により算出された基準境界の移動情報とに基づいて画像の背景の予測移動情報を算出し、グループ化部２３によりグループ化された画素群の移動情報に含まれる移動方向と背景の予測移動情報に含まれる予測移動方向と差が、予め定義された略反対方向の関係である場合は、グループ化された画素群に対応する領域を、自車両の進路方向、すなわち自己の存在する方向に移動する対象立体物を含む対象領域として抽出する。
【００８０】
そして、移動体であれば、背景よりも手前に存在するため、画像上では、一般に背景の下端よりも立体物の上端は高い位置に存在する。
【００８１】
したがって、予測式から算出した速度とは反対向きの速度を持ち、背景の下端位置よりも上端位置が高い立体物は、自車両の進路路方向に進む移動体であると判定する。
【００８２】
図１１に示すように、立体物ＯＢ２、ＯＢ３、ＯＢ５、ＯＢ６は、予測式から算出した静止物とは略反対向きの速度の方向を持ち、その上端位置が背景（走路境界Ｌ２）の下端位置よりも高い位置にあるため、自車両の進路方向に進む移動体であると判定する。同様に、立体物ＯＢ９は予測式から算出した静止物とは略反対向きの速度の方向を持ち、その上端位置が背景（走路境界Ｌ８）の下端位置よりも高い位置にあるため、自車両の進路方向に進む移動体であると判定する。略反対向きの方向の内容については予め定義する。たとえば、２つの移動方向の差が１６０°〜２００°である、又は２つの移動方向の差が１７０°〜１９０°などである。
【００８３】
他方、グループ化部２３によりグループ化された画素群の移動情報に含まれる移動方向と背景の予測移動情報に含まれる予測移動方向との差が所定値未満であり、グループ化部２３によりグループ化された画素群の移動情報に含まれる移動速度と背景の予測移動情報に含まれる予測移動速度との差が所定値未満である場合は、グループ化された画素群に対応する領域を、静止物として抽出する。
【００８４】
つまり、立体物の速度の方向が予測式から算出した静止物体の速度と同じ方向であり、立体物の速度の値と予測式から算出した静止物の速度の値との差が所定値以下であれば、その立体物は静止物であると判定し、立体物として判定しない。
【００８５】
また、判定対象抽出部３１は、対象領域が複数抽出されたとき、抽出された対象領域に含まれる対象立体物に対応する特徴点の移動方向の差が所定値未満であり、かつ対象立体物に対応する特徴点の移動速度の差が所定値未満である場合は、これらの対象領域を一の対象立体物を含む一の対象領域として抽出する。例えば、図１０に示す例において、判定対象抽出部３１はＯＢ２とＯＢ３は一つの移動する対象立体物ＯＢ２としてグループ化する。
【００８６】
次に、歩行者候補抽出部３２について説明する。歩行者候補抽出部３２は、検出された移動する対象立体物の速度変化に基づいて、移動する立体物が歩行者候補（歩行者である可能性が高い移動する立体物）を含む対象領域を抽出する。
【００８７】
ここで、歩行者に対応する特徴点の移動速度を詳細に観察すると、歩行者が一定速度で歩行している場合は、図１２に示すように、歩行により腕と脚の動きに速度の増減が観察される。歩行開始からの脚の速度変化を見ると、まず、例えば右脚が進行方向に踏み出し、歩行がスタートする。そして、その速度が徐々に速くなって最高速度に達した後に今度は速度が徐々に低下して地面に着地するという速度変化が観察される。右脚が地面に着地すると同時に今度は左脚が進行方向に踏み出して、右脚と同様の速度変化が観察される。一方、歩行開始から腕の速度変化を見ると、脚とは逆向きの速度変化が観察される。このように、歩行者においては、歩行により対応する特徴点に速度変化が観察される、と言う特徴がある。
【００８８】
したがって、この特徴を利用することにより、立体物が歩行者である可能性があるか否かを識別し、歩行者である可能性の高い移動する対象立体物を含む対象領域を抽出することができる。
【００８９】
本実施形態の歩行者候補抽出部３２は、判定対象抽出部３１により抽出された対象立体物を含む対象領域に含まれる特徴点の移動速度を移動情報算出部２２から取得し、対象領域内の特徴点の移動速度の分散値を算出し、この分散値が所定値以上である場合は、対象領域を歩行者が含まれる対象領域として抽出する。抽出した対象領域に関する情報は、後述する歩行者候補懸賞部３３及び／又は歩行者判定部３４に送出される。
【００９０】
すなわち、例えば、移動体の速度の分散値を移動速度の変化ΔＶとし、ΔＶが所定値ΔＶＰ以上であるか否か、すなわち、歩行者候補抽出部３２は、ΔＶ≧ΔＶＰの条件を満たすか否かによって、移動体が歩行者の可能性があるか否かを識別することが可能となる。なお、移動速度の変化ΔＶは、任意に定義することができ、最大速度と最少速度の差としてもよいし、平均速度からの差としてもよい。
【００９１】
図１０に示す画像情報について移動速度の分散値を算出したところ、立体物ＯＢ２、ＯＢ５、ＯＢ９の移動体の速度の分散値がΔＶ≧ΔＶＰを満たす。このため、立体物ＯＢ２、ＯＢ５、ＯＢ９は、歩行者の可能性が高い歩行者候補と判定される。他方、立体物ＯＢ６は、条件を満たさないため、歩行者以外の物体と判定する。
【００９２】
また、歩行者候補抽出部３２は、算出された移動速度の分散値が所定値未満であっても、所定時間内における対象領域内の特徴点の移動量が所定値未満であるとともに、対象領域内の特徴点の移動速度の変化が所定値以上である場合は、対象領域を歩行者が含まれる対象領域として抽出する。これにより、移動が遅い歩行者についても、直ちに歩行者以外として排除することなく特徴点の移動量や移動速度の変化に基づいて歩行者である可能性を判断するため、歩行者を含む対象領域を正確に抽出することができる。
【００９３】
ここで、図１０に示すように、ＯＢ５、ＯＢ９は歩行者以外であるにも関わらず、本処理においては歩行者候補と判定される。これは、分散値を指標とした場合に、歩行者の特徴に近い速度変化を持つ立体物が存在するためである。例えば、車両挙動の影響で画像の中央部以外の背景となる立体物の領域に消失点が含まれる場合は、消失点付近の動きの変化が小さくなるため、その領域には左右の移動速度が混在する。このため、その領域の速度の分散値は大きくなり、消失点を境に速度の向きが反転するため、消失点付近の背景となる立体物を歩行者と誤検出する場合があるからである。また、消失点以外の領域においても、複雑なエッジが組み合わさる領域では、間違った速度が計測されてしまう場合ある。その領域においても速度の分散が大きくなり、さらに周囲に正しい速度を持った背景が存在するため、複雑なエッジが組み合わさる立体物を、背景であるにもかかわらず歩行者と誤検出する場合がある。
【００９４】
そこで、本実施形態では、歩行者候補検証部３３を設け、歩行者の検出精度を向上させる。
【００９５】
この歩行者候補検証部３３は、図１３に示すように、検出された対象領域に存在する移動速度の分布の経時的な推移を観察することで、対象立体物が歩行者を含むか否かの候補の検証を行い、歩行者候補以外と判定された場合には、ノイズとして削除する。
【００９６】
歩行者候補検証部３３は、抽出された対象領域に含まれる特徴点の移動方向のばらつき度が時間の経過とともに大きくなる場合は、対象領域は歩行者を含まない対象領域であると検証する。
【００９７】
対象領域は移動物体を含む領域として検出された領域であるため、時間経過に伴う追跡処理は、水平位置の近傍の領域に制限できる。歩行者候補を含むとして抽出された対象領域が背景のような静止物体を含む領域であれば、水平方向に沿う特徴点の移動量が大きいため、追跡処理を行う対象領域の移動速度は時間経過ともに異なる立体物のエッジから計測されたものになる。他方、対象領域が歩行者を含むものであれば、追跡処理を行う対象領域の移動速度は時間経過にかかわらず同じ歩行者のエッジから計測されたものになる。また、歩行者候補を含む対象領域が消失点を含む領域であれば、時間経過に伴い、消失点の位置は移動するため、その対象領域の移動速度は消失点以外の背景（立体物）から検出された移動速度に変化する。同様に対象領域が間違った移動速度を持つ背景を含む場合でも、時間経過に伴い、その対象領域は正しい移動速度を持つ背景を含むように変化する。
【００９８】
このように、静止物体は、移動物体より水平移動量が大きいという特徴があるため、この特徴を利用することにより、対象領域内に含まれる特徴点が歩行者に対応するものであるか否かを検証することが可能となる。
【００９９】
本実施形態の歩行者候補検証部３３は、抽出された対象領域に含まれる特徴点について、歩行者候補とされる対象立体物に対応する特徴点の移動方向との方向差が所定値未満であり、歩行者候補に対応する特徴点の移動速度との速度差が所定値未満である特徴点の数Ｎ１と、歩行者候補とされる対象立体物に対応する特徴点の移動方向との方向差が所定値以上である特徴点の数Ｎ２とを算出し、Ｎ２＞Ｎ１を満たし、かつ、対象領域の面積に対するＮ２の割合Ｒ１が、予め設定された所定値Ｒｔ１よりも大きい場合は、対象領域は歩行者を含まない対象領域として検証する。
【０１００】
すなわち、歩行者候補が含まれる対象領域内の移動速度のうち、歩行者候補の移動速度と同じ方向で歩行者候補の移動速度との差が所定値Ｖｔ１以下である速度情報数をＮ１とし、歩行者候補と反対向きの速度情報数をＮ２を所定時間観測し、Ｎ２＞Ｎ１を満たし、歩行者候補の領域面積に対するＮ２の割合Ｒ1が所定値Ｒｔ１よりも大きくなる場合には、その歩行者候補領域は歩行者候補を含むものではなく、背景から得られたノイズとして削除する。
【０１０１】
他方、立体物ＯＢ２は、時間が経過しても対象領域内の移動速度に変化がないため、歩行者候補とする。
【０１０２】
また、立体物ＯＢ５は、消失点領域のため、時間経過とともに消失点が左方向に移動し、対象領域内の移動速度は、徐々左向きの速度に揃う。したがって、ＯＢ５は歩行者候補ではないと判定し、ノイズとして削除する。
【０１０３】
さらに、立体物ＯＢ９は、背景速度の誤検出のため、時間経過とともに正しい移動速度に変化し、対象領域内の移動速度は右向きの速度に揃うようになる。したがって、ＯＢ９は、歩行者候補以外と判定し、ノイズとして削除する。
【０１０４】
このように、対象領域と消失点の位置関係に応じて対象立体物の移動速度には異なる特徴を観察できる。このため、歩行者候補検証部３３は、抽出された対象領域と消失点との距離に応じて、特徴点の移動方向のばらつき度の変化を観察する時間を決定する。特徴点の移動方向のばらつき度の変化を観察する時間は、対象領域と消失点が近い位置にあるほど、長く設定することが好ましい。
【０１０５】
最後に、歩行者候補判定部３４について説明する。
【０１０６】
歩行者候補判定部３４は、判定対象抽出部３１により抽出された対象領域に関する移動情報と、この対象領域の周囲に設定された比較領域に関する移動情報とを比較し、その移動情報の比較結果に基づいて抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定する。
【０１０７】
比較の対象となる対象領域は、判定対象抽出部３１により抽出された移動する立体物を含む領域のほか、歩行者候補抽出部３２により歩行者を含む確率が高いとして抽出された領域、歩行者候補検証部３３により歩行者を含むと検証された領域を含む。
【０１０８】
具体的に、歩行者候補判定部３４は、図１４に示すように、歩行者を含む可能性のある対象領域の移動速度と、その周囲に設定された比較領域（図１４中１〜５）の移動速度及び／又は移動方向の比較を行い、対象領域の歩行者候補が最終的に歩行者であるか否かを判定する。
【０１０９】
この判定により歩行者でないものを歩行者として検出することを防止することができる。
【０１１０】
すなわち、対象領域と周囲に存在する比較物体（背景）を観察した場合、自車両の進路方向に進む歩行者は、周囲物体（背景）の手前に存在する。そのため、歩行者候補として検出された対象領域が歩行者を含むのであれば、歩行者候補を含む対象領域の周囲に背景が存在する。歩行者候補を含む対象領域とその周囲にある背景を含む比較領域とは距離差があり、歩行者候補を含む対象領域の移動情報(方向及び速度)とその周囲の比較領域の移動情報（方向及び速度）との間に差を検出することができる。
【０１１１】
他方、対象領域が（歩行者を含まない）背景であれば、対象領域と比較領域は同じ背景に対応する。同じ背景であれば、距離差は生じないから、対象領域の移動速度とその周囲の比較領域との間には速度差又は方向差が検出されないはずである。
【０１１２】
このように、対象領域に歩行者が含まれる場合は、対象領域に含まれる歩行者候補の移動情報とその周囲に設定された比較領域に含まれる背景を構成する立体物の移動情報との間に差が発生するという特徴を検知することができる。
【０１１３】
本願発明では、この特徴を利用することにより、最終的に対象領域の歩行者候補が歩行者であるか否かの判定を行うことができる。
【０１１４】
具体的に、本実施形態の歩行者判定部３４は、判定対象抽出部３１、歩行者候補抽出部３２、歩行者候補検証部３３により処理された対象領域に含まれる対象立体物の移動速度と対象領域の周囲に設定された比較領域に含まれる比較物の移動速度とを比較し、これらの移動速度の差が所定値以上である場合は、対象領域に含まれる立体物は歩行者であると判定する。他方、歩行者判定部３４は、これらの移動速度の差が所定値未満である場合は、対象領域に含まれる立体物は歩行者以外の立体物であると判定する。
【０１１５】
また、本実施形態の歩行者判定部３４は、判定対象抽出部３１、歩行者候補抽出部３２、歩行者候補検証部３３により処理された対象領域に含まれる対象立体物の移動方向とその対象領域の周囲に設定された比較物を含む比較領域の移動方向とを比較し、これらの移動方向の差が所定値以上である場合は、対象領域に含まれる対象立体物は歩行者であると判定する。他方、歩行者判定部３４は、移動方向の差が所定値未満である場合は、対象領域に含まれる対象立体物は歩行者以外の立体物であると判定する。
【０１１６】
さらに、本実施形態の歩行者判定部３４は、比較された二つの移動方向が、予め定義された略反対方向関係を有する場合は、対象領域に含まれる立体物は自己に接近する歩行者であると判定する。略反対方向の関係とは、二つの移動方向の差が１６０度〜２００度、又は１７５度〜１８５度など、１８０度を基準に予め設定することができる。
【０１１７】
特に限定されないが、比較領域は分割された所定の領域ごとに設定され、歩行者の判定を行うことが好ましい。これにより対象立体物の移動速度と、対象立体物を四方から囲む背景の移動速度を比較することができる。
【０１１８】
たとえば、比較領域として、対象領域の上端辺から上側へ所定長さの幅を有する上側比較領域（図１４の１で示す領域）、対象領域の左端辺から左側へ所定長さの幅を有する左側比較領域（図１４の２で示す領域）、又は対象領域の右端辺から右側へ所定長さの幅を有する右側比較領域（図１４の４で示す領域）のいずれか１つ以上を設定する。
【０１１９】
さらに、比較領域として、対象領域の上端辺、左右端辺から所定距離だけ離隔するとともに、所定長さの幅を有する別の比較領域（第２上側比較領域、第２左側比較領域（図１４の３で示す領域）、第２右側比較領域（図１４の５で示す領域））を設定することができる。対象領域から所定距離だけ離隔させた位置に比較領域を設定することにより、対象領域の移動速度と比較領域の移動速度とを正確に比較することができる。
【０１２０】
次に、対象領域を５つの領域に分けた場合の歩行者の判定処理の一例を図１４に基づいて説明する。具体的に、図１４に示す撮像画像においては、以下の比較結果を得た場合を例に説明する。
【０１２１】
まず、第１に、歩行者候補を含む対象領域の上端辺の右上端から左上端の上部領域（図１４の１で示す領域）に、検出された歩行者候補の移動速度と反対方向の動きを持つ立体物が存在する。
【０１２２】
第２に、歩行者候補を含む対象領域の左端辺から所定距離Ｄ１左側までの領域（図１４の２で示す領域）に、検出された歩行者候補の移動速度と反対方向の動きを持つ立体物が存在する。
【０１２３】
第３に、歩行者候補を含む対象領域の左端辺の左側所定値Ｄ２〜Ｄ３までの領域（図１４の３で示す領域）に、検出された歩行者候補の移動速度と同一方向の移動速度を持ち、検出された移動速度との速度差がＶｔ２未満となる立体物が存在する。
【０１２４】
第４に、歩行者候補を含む対象領域の右端辺から所定値Ｄ１右側までの領域（図１４の４で示す領域）に検出した歩行者候補の速度と反対方向の動きを持つ立体物が存在する。
【０１２５】
第５に、歩行者候補を含む対象領域の右端辺の右側所定値Ｄ２〜Ｄ３までの領域（図１４の５で示す領域）に、検出された歩行者候補の移動速度と同一方向の移動速度を持ち、検出された移動速度との速度差がＶｔ２未満となる立体物が存在する。
【０１２６】
このような比較情報を得た場合、歩行者判定部３４は、第３の比較結果と第５の比較結果を示す歩行者候補については、歩行者以外の物体として判断し、対応する歩行者候補から除外する。
【０１２７】
そして、歩行者判定部３４は、第１の比較結果を示す歩行者候補（対象立体物）を、歩行者として最終的に判断する。
【０１２８】
さらに、歩行者判定部３４は、第２の比較結果及び／又は第４の比較結果を満たす歩行者候補（対象立体物）を、歩行者として最終的に判断する。
【０１２９】
このように、撮像画像から検出された対象立体物の移動情報（移動速度、移動方向を含む）と、その周囲の比較領域の移動情報とを比較し、その比較結果に基づいて対象立体物が歩行者であるか否かを判定するため、対象立体物の動きから歩行者に特有の動きの変化を抽出することができ、背景としての立体物を歩行者として誤検出することを防止することができる。
【０１３０】
続いて、本実施形態の歩行者検出装置１００の歩行者検出の処理手順を図１５に示すフローチャート図に基づいて説明する。
【０１３１】
図１５は、本実施形態の歩行者検出装置１００の処理を示すフローチャートである。
【０１３２】
この処理はイグニションスイッチ（図示省略）がオンされると起動されるプログラムとして実行される。
【０１３３】
まず、カメラ１０により撮像された自車両前方の画像は、画像メモリ１１に記録される。
【０１３４】
ステップＳ１０１において、画像メモリ１１は、自己に記録された自車両前方の画像を所定の周期で特徴点抽出部２１に出力する。この後に、フローはステップＳ１０２へ移行する。
【０１３５】
ステップＳ１０２において、特徴点抽出部２１は撮像画像のエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出するとともに、エッジ画像の正規化を行う。この後に、フローはステップＳ１０３へ移行する。
【０１３６】
ステップＳ１０３において、移動情報算出部２２はエッジの速度を算出し、算出した速度を所定の階調で表した移動画像を算出する。この後に、フローはステップＳ１０４へ移行する。
【０１３７】
ステップＳ１０４において、グループ化部２３は、算出した移動画像上に物体検出用の短冊領域を設定する。この後に、フローはステップＳ１０５へ移行する。
【０１３８】
ステップＳ１０５において、グループ化部２３は、各短冊領域内に速度を持った画素があるかどうかを下から上に向かって調べる。速度を持った画素がある場合、グループ化部２３はそれらの画素は同一の物体を表しているものとしてグループ化を行う。この後に、フローはステップＳ１０６へ移行する。
【０１３９】
ステップＳ１０６において、座標変換部２４は、各短冊領域内におけるグループ毎において、最も上(上端)に位置する画素の中心座標を上端点に、最も下(下端)に位置する画素の中心座標を下端点に設定する。この後に、フローはステップＳ１０７へ移行する。
【０１４０】
ステップＳ１０７において、座標変換部２４は、（式１）、（式２）を用いて、検出した上端点と下端点の座標をＺＸ平面へ座標変換する。この後に、フローはステップＳ１０８へ移行する。
【０１４１】
ステップＳ１０８において判定対象抽出部３１の判定対象抽出部３１は、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の位置がｘ軸範囲とｚ軸範囲を規定した規定のＺＸ平面のどの領域に該当するかを判断し、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の双方が規定のＺＸ平面の同一の分割領域に位置する場合は、上端点、下端点を含む物体を平面物であると判定し、上端点と同じグループの下端点の座標変換点のみが規定のＺＸ平面に位置する場合は、上端点、下端点を含む物体を立体物であると判定する。また、下端点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１０９に進む。
【０１４２】
ステップＳ１０９において、立体物抽出部３１により、検出した全ての上端点、下端点について、上端点、下端点を含む物体が平面物であるか立体物であるかの判定（以下、物体の属性判定と呼ぶ）が行われたかどうかの判定が行われる。検出した全ての上端点、下端点について物体の属性判定が行われた場合は、ステップＳ１１０に進む。一方、検出した全ての上端点、下端点について物体の属性判定が行われていない場合は、ステップＳ１０５に戻る。
【０１４３】
続いて、ステップＳ１１０において、判定対象抽出部３１は、ＺＸ平面における下端点の座標変換点の位置分布から、同じｘ軸領域において、複数のｚ軸領域にカウンタ値が存在する領域を、走路境界線が存在する可能性が高い領域として抽出する。この後に、フローはステップＳ１１１へ進む。
【０１４４】
ステップＳ１１１において、判定対象抽出部３１により抽出された領域内に存在する下端点の座標変換点に対応するｘｙ平面の下端点についてｘｙ座標系での回帰分析が行われ、下端点を結ぶ直線の傾きが算出される。この後に、フローはステップＳ１１２へ進む。
【０１４５】
ステップＳ１１２において、判定対象抽出部３１は、ステップＳ１１１で算出された直線の傾きが、下端点の位置する領域において、ｘ軸領域の左端座標と各ｚ軸領域の代表座標を座標とする点（図８のＰＬ１〜ＰＬ５）を結ぶ直線およびｘ軸領域の右端座標と各ｚ軸領域の代表座標を座標とする点（図８のＰＲ１〜ＰＲ５）を結ぶ直線のｘｙ座標系における傾きの範囲にあれば、抽出した領域に走路境界を示す直線が存在すると判定し、ステップＳ１１１で算出された直線は走路境界を示す直線として検出する。この後に、フローはステップＳ１１３へ進む。
【０１４６】
ステップＳ１１３において、判定対象抽出部３１は、ステップ１１０で抽出された領域について、全ての走路境界を示す直線が検出されたか否かの判定を行う。全ての領域について走路境界を示す直線が検出された場合は、ステップＳ１１４へ進む。一方、全ての領域について走路境界を示す直線が検出されていない場合は、ステップＳ１１０に戻る。
【０１４７】
ステップＳ１１４において、判定対象抽出部３１は、ステップＳ１１２で検出された走路境界に相当する直線のうち、車両の近傍から遠方に連続して存在する立体物で構成される直線を背景となる走路境界として検出する。この後に、フローはステップＳ１１５へ移行する。
【０１４８】
ステップＳ１１５において、判定対象抽出部３１は、ステップＳ１１４で検出された背景となる走路境界を構成する立体物の移動速度を目的変数とし、下端点における画像ｘｙ座標を説明変数として、重回帰分析を行うことで、画像上の任意の位置での静止物体の速度の予測式を算出する。この後に、フローはステップ１１６に移行する。
【０１４９】
ステップＳ１１６において、判定対象抽出部３１は、ステップＳ１１４で検出された背景となる走路境界の位置と立体物の上端位置とを比較し、画像上において、走路境界の位置よりも立体物の上端位置が上方に存在する場合には、その立体物を対象立体物として検出し、その対象立体物を含む領域を対象領域として抽出する。この後に、フローはステップＳ１１７に移行する。
【０１５０】
ステップＳ１１７において、判定対象抽出部３１は、ステップＳ１１６で検出された移動体候補の移動速度と移動体候補位置において予測式から得られる静止物の移動速度とを比較し、速度差の絶対値が所定の範囲内にある場合は、その移動体候補を静止物と判定する。そして、フローはステップＳ１１６に移行する。一方、速度差の絶対値が所定の範囲外である場合は、その移動体候補を移動体と判定し、フローはステップＳ１１８に移行する。
【０１５１】
ステップＳ１１８において、判定対象抽出部３１は、移動体と判定された立体物の速度の向きと予測式から得られた静止物体の移動方向の向きが反対であれば、その移動体を自車に向かう移動体と判定する。「移動方向の向きが反対である」状態は、任意に定義することができ、例えば移動方向の角度差によって予め定義する。この後に、フローはステップＳ１１９に移行する。
【０１５２】
ステップＳ１１９において、判定対象抽出部３１は、移動体が検出されたか否かの判断を行う。全ての移動体が検出された場合には、フローはステップＳ１２０へ進む。一方、全ての移動体が検出されていない場合は、フローはステップＳ１１６に戻る。
【０１５３】
ステップＳ１２０において、判定対象抽出部３１は、速度の差が所定値以内で存在する対象立体物が複数検出され、それらの対象立体物の座標の差が所定値以内である場合に、複数の対象立体物を一つの対象立体物としてグループ化を行う。この後に、フローはステップＳ１２１へ移行する。
【０１５４】
次に、ステップＳ１２１において、歩行者候補抽出部３２は、対象立体物に対応する特徴点の速度から、対象立体物の速度の分散値ΔＶを算出し、算出された対象立体物の速度の分散値ΔＶが、ΔＶ≧ΔＶＰの条件を満たしていれば、対象立体物は歩行者候補と判定する。この後に、フローはステップＳ１２２へ移行する。
【０１５５】
ステップＳ１２２において、歩行者候補検証部３３は、検出された対象領域に含まれる対象立体物の速度情報分布の推移に基づいて、後述する歩行者候補の検証を行う。この後に、フローはステップＳ１２３へ移行する。
【０１５６】
ステップＳ１２３において、歩行者判定部３４は、検出された歩行者候補の移動速度と周囲に存在する背景（立体物）の移動速度との比較に基づいて、対象領域に含まれる立体物が歩行者であるか否かの最終的な判定を行う。この処理については後述する。この後に、フローはステップＳ１２４へ移行する。
【０１５７】
ステップＳ１２４において、歩行者の検出が終了したか否かの判断を行う。歩行者の検出が終了した場合は、フローはステップＳ１２５へ進む。歩行者の検出が終了していない場合は、フローはステップＳ１２０に戻り、歩行者の検出が継続される。
【０１５８】
ステップＳ１２５では、自車両のイグニションスイッチがオフされたか否かの判定が行われる。イグニションスイッチがオフされていない場合は、ステップＳ１０１へ戻って処理を繰り返す。一方、イグニションスイッチがオフされた場合は、フローはステップＳ１２６へ移行して処理を終了する。
【０１５９】
続けて、ステップＳ１２２における歩行者候補の検証処理に関する動作フローを、図１６に示すフローチャートに基づいて説明する。この動作フローは、歩行者候補検証部３３により実行される。
【０１６０】
ステップＳ１２２１において、歩行者候補検証部３３は、対象領域内に存在する移動情報のうち、歩行者候補の移動速度と同じ方向で、速度差が所定値Ｖｔ１以下である速度情報数Ｎ１と、歩行者候補の移動速度と反対向きの速度情報数Ｎ２を算出する。この後、フローはステップＳ１２２２に移行する．
ステップＳ１２２２において、歩行者候補検証部３３は、ステップＳ１２２１で算出された速度情報数Ｎ１、Ｎ２が関係「Ｎ２＞Ｎ１」を満たし、検出された対象領域の領域面積に対するＮ２の割合Ｒ１が、予め設定された所定値Ｒｔ1よりも大きくなる場合（Ｒ１＞Ｒｔ１）は、対象領域に含まれる立体物はノイズと判定し、削除する（Ｓ１２２４）。他方、この条件を満たさない場合は、フローはステップＳ１２２３に移行する．
ステップＳ１２２３において、歩行者候補検証部３３は、時間の経過に伴う対象領域に含まれる特徴点の移動方向のばらつき度を観察する。本処理では、Ｓ１２２２で検証する「Ｎ２＞Ｎ１」かつ「Ｒ１＞Ｒｔ１」の関係が保たれる検証時間を計測する。検証時間ＴＶ1が所定時間Ｔ１を超える場合（ＴＶ１＞Ｔ１）は、歩行者候補の検証処理を終了し、フローをステップＳ１２３の歩行者判定処理に進める。他方、検証時間ＴＶ1が所定時間Ｔ１を超えない場合は、歩行者候補の検証を継続し、フローはステップＳ１２４に移行する。
【０１６１】
なお、ステップＳ１２２４では、ノイズと判定した立体物を削除し、Ｓ１２４へ移行する。
【０１６２】
次に、ステップＳ１２３の歩行者判定の動作フローを、図１７のフローチャートに基づいて説明する。この動作フローは、歩行者判定部３４により実行される。
【０１６３】
図１７に示すステップＳ１２３１において、歩行者判定部３４は、歩行者候補を含むとされた対象領域の移動情報と、その対象領域に接する領域であって、対象領域の右上端から左上端の上側比較領域に含まれる立体物の移動情報とを比較する。ここでは移動方向を比較するが、移動速度を比較してもよい。
【０１６４】
このステップＳ１２３１において、この比較領域に歩行者とは反対の方向の移動方向を持つ立体物が存在すれば、歩行者として判定する。フローはステップＳ１２３８に移行する。他方、反対の移動方向を持つ立体物が存在しなければ、フローはステップＳ１２３２に移行する。
【０１６５】
ステップＳ１２３２において、歩行者判定部３４は、歩行者候補を含むとされた対象領域の移動情報と歩行者候補領域の左端から所定距離Ｄ１左側までの左側比較領域（図１４参照）の移動情報の比較を行う。当該領域に反対の移動方向を持つ立体物が存在すれば、右側比較領域の立体物と比較を行うため、フローはステップＳ１２３３に移行する。存在しなければ、フローはステップＳ１２３４に移行する．
続いて、ステップＳ１２３３において、歩行者判定部３４は、歩行者候補を含むとされた対象領域の移動情報と、この対象領域に接し、その右端から所定距離Ｄ１右側までの右側比較領域（図１４参照）の移動速度の比較を行う。当該領域に反対の移動速度を持つ立体物が存在すれば、歩行者として判定できるため、フローはステップＳ１２３８に移行する。存在しなければ、フローはステップＳ１２３４に移行する。
【０１６６】
ステップＳ１２３４において、歩行者判定部３４は、歩行者候補を含むとされた対象領域の移動情報と、この対象領域から所定距離だけ離隔し、左側所定値Ｄ２〜Ｄ３までの第２左側比較領域（図１４参照）に含まれる立体物の移動情報とを比較する。
【０１６７】
第２左側比較領域に同一方向の移動方向を持ち、検出された移動速度との速度差がＰＶ２未満となる立体物が存在すれば、対象領域に含まれる立体物はノイズと判定し、フローはステップＳ１２３７に移行する。存在しなければ、フローはステップＳ１２３５に移行する。
【０１６８】
ステップＳ１２３５において、歩行者判定部３４は、歩行者候補を含むとされた対象領域の移動情報と、この対象領域の右端から所定距離だけ離隔し、右側所定値Ｄ２〜Ｄ３までの第２右側比較領域の立体物の移動情報を比較する。第２右側比較領域に同一方向の移動方向を持ち、検出された移動速度との速度差がＶｔ２未満となる立体物が存在すれば、第２右側対象領域に含まれる立体物はノイズと判定し、ステップＳ１２３７に移行する。存在しなければ、フローはステップＳ１２４に移行する。
【０１６９】
ステップＳ１２３８において、歩行者判定部３４は、対象領域に含まれる立体物は歩行者であると判定し、ステップＳ１２４へ移行する。
【０１７０】
また、ステップＳ１２３７において、歩行者判定部３４は、対象領域に含まれる立体物はノイズ（歩行者ではない）と判定し、その歩行者候補と判断された立体物を歩行者候補から削除し、ステップＳ１２４へ移行する。
【０１７１】
ステップＳ１２４に進み、すべての歩行者を検出したか否かを判断し、処理の繰り返し又は終了へ向かう。
【０１７２】
本実施形態の歩行者検出装置１００は、以上のように構成され動作するので、以下の効果を奏する。
【０１７３】
本実施形態の歩行者検出装置１００は、撮像画像から抽出された対象領域に関する移動情報と対象領域の周囲に設定された比較領域に関する移動情報とに基づいて、抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定する。これにより、近傍に存在する背景に対する対象立体物の相対的な動きの変化を観察することができるので、背景を歩行者として誤検出することを防ぐことができる。
【０１７４】
判定対象抽出部３１により抽出された移動する立体物には背景となるものも含まれるが、本実施形態の歩行者判定部３２は、その周囲に存在する立体物に対する対象立体物の相対的な動きの変化を観察して、対象立体物が歩行者であるか否かを判定するため、背景を構成する立体物から歩行者を正確に識別することができる。
【０１７５】
具体的に、対象領域に関する移動速度と比較領域に関する移動速度との差が所定値以上である場合は、対象領域に含まれる立体物は歩行者であると判定することにより、移動速度が異なる背景から歩行者を識別し、背景を歩行者として誤検出することを低減することができる。
【０１７６】
また、対象領域に関する移動方向と比較領域に関する移動方向との差が所定値以上である場合は、対象領域に含まれる立体物は歩行者であると判定することにより、移動方向が異なる背景から歩行者を識別し、背景を歩行者として誤検出することを低減することができる。
【０１７７】
さらに、対象領域に関する移動方向と比較領域に関する移動方向が、予め定義された略反対方向関係を有する場合は、対象領域に含まれる立体物は自己に接近する歩行者であると判定することにより、背景から歩行者を識別するとともに、自己（歩行者検出装置１００）に接近する歩行者をさらに識別することができる。
【０１７８】
他方、比較の結果、移動速度の差が所定値未満である場合は、対象領域に含まれる立体物は歩行者以外の立体物であると判定することにより、背景と移動速度がほぼ同じである歩行者（候補）を、歩行者以外の立体物と識別し、背景を歩行者として誤検出することを低減することができる。
【０１７９】
同様に、比較の結果、移動方向の差が所定値未満である場合は、対象領域に含まれる対象立体物は歩行者以外の立体物であると判定することにより、背景と移動方向がほぼ同じである歩行者（候補）を、歩行者以外の立体物と識別し、背景を歩行者として誤検出することを低減することができる。
【０１８０】
このように、本実施形態によれば、同じ背景を構成するのであれば移動情報（移動速度及び／又は移動方向）が共通し、背景とは別個の歩行者であれば移動情報が異なるとの観点から、対象領域と比較領域との移動情報の比較に基づいて、対象立体物が歩行者であるか否かを正確かつ簡易に判定することができる。特に、移動する観測者が見る前方風景のように、背景を構成する設置物と自由に移動する歩行者が混在する場合は、設置物の移動情報は観測者の移動によって決まるため、両者の移動情報の比較結果に基づいて対象立体物が歩行者であるか否かを正確に判定することができる。
【０１８１】
また、対象領域の周囲に設定される比較領域は、対象領域の上端から上側へ所定長さの幅を有する上側比較領域、対象領域の左端辺から左側へ所定長さの幅を有する左側比較領域、又は対象領域の右端辺から右側へ所定長さの幅を有する右側比較領域のいずれか１つ以上を含むようにしたので、対象立体物とこれを様々な方向から囲む背景とについて移動情報の比較を行うことができ、対象立体物が歩行者であるか否かを正確に判定することができる。
【０１８２】
さらに、比較領域を対象領域の上端辺、右端辺、左端辺から所定距離だけ離隔させた位置に設定することにより、対象立体物の移動情報と比較領域内の背景の移動情報を正確に比較することができ、対象立体物が歩行者であるか否かを正確に判定することができる。特に、対象領域から離隔させて第２の比較領域を設定することにより、移動情報が複雑に重畳する各領域の境界における移動情報を比較することを避けることができるため、正確な移動情報に基づいて移動情報の比較を行うことができる。
【０１８３】
また、本実施形態の歩行者検知装置１００は、歩行者候補抽出部３２を備え、対象領域内の特徴点の移動速度の分散値を算出し、分散値が所定値以上である領域を歩行者が含まれる対象領域として抽出することにより、歩行者特有の画像の特徴に基づいて歩行者を含む対象領域を正確に抽出することができる。
【０１８４】
加えて、移動速度の分散値が所定値未満であっても、所定時間内における対象領域内の特徴点の移動量と移動速度の変化に基づいて歩行者が含まれる対象領域を抽出するため、移動速度が遅い歩行者についても簡易な手法で、歩行者を含む対象領域を正確に抽出することができる。
【０１８５】
特に、特徴点の移動速度の分散値に基づいて歩行者候補を含む対象領域を抽出してから、この抽出された対象領域と周囲の比較領域との移動速度の比較に基づいて対象領域に含まれる対象立体物が歩行者であるか否かを判定することにより、歩行者を含む可能性の高い対象領域について、さらに異なる指標に基づいて歩行者を含むか否かを判定することにより、背景を歩行者とする誤検出を防ぐことができる。
【０１８６】
さらにまた、本実施形態の歩行者検知装置１００は、歩行者候補検証部３３を備え、特徴点の移動情報のばらつき度の経時的変化に基づいて対象領域が歩行者を含むか否かを検証することにより、歩行者特有の画像の経時的変化における特徴に基づいて対象領域が歩行者を含むか否かを正確に検証することができる。
【０１８７】
特に、特徴点の移動情報のばらつき度が時間の経過とともに大きくなる場合は、その特徴点が同一の歩行者に基づくものではないとの観点に基づいて、対象領域が歩行者を含むか否かを正確に検証することができる。
【０１８８】
加えて、特徴点を所定時間観察した場合に、歩行者候補とされる対象立体物の移動情報と共通する移動情報の数Ｎ１と、対象立体物の移動情報と異なる移動情報の数Ｎ２を比較し、Ｎ２＞Ｎ１であり、対象領域の面積に対するＮ２の割合が所定値よりも大きいことを基準に移動情報のばらつき度の大小を判断することにより、対象領域が歩行者を含むか否かを定量的に検証することができる。
【０１８９】
つまり、所定時間の間に、対象領域内において、歩行者候補と共通の（差が所定未満の）移動情報数Ｎ１よりも、歩行者候補と異なる移動情報数Ｎ２が多くなり、対象領域に対する割合が所定値よりも大きくなる変化がある場合は、対象立体物は歩行者以外であると検証することができる。これにより、歩行者と同じような移動情報及び移動情報の変化を示す背景についても、所定時間の移動情報の推移を観察することで、歩行者以外の物体（ノイズ）であるか否かを検証することができる。
【０１９０】
加えて、本実施形態の歩行者検知装置１００においては、判定対象抽出部３１が移動する立体物を含む対象領域を抽出するため、歩行者判定部３４は対象立体物が歩行者であるか否かを正確に判定することができる。
【０１９１】
つまり、撮像画像上で同等の速度を有する隣接した画素をグループ化して、その上端と下端に位置する画素を求め、該画素の俯瞰変換後の座標により平面物、立体物、移動体の判定を行うことができるため、一つのカメラ１０から得た撮像画像に基づいて移動する立体物を含む対象領域を簡単に抽出することができる。
【０１９２】
また、変換座標において上端に位置する画素の座標が所定領域を有する変換座標の領域外に属するとともに、下端に位置する画素の座標が変換座標のいずれかの分割領域に属する場合は、グループ化された画素群に対応する領域を、対象立体物を含む対象領域として抽出することができる。つまり、撮像画像上で同等の速度を有する隣接した画素をグループ化してその上端と下端に位置する画素を求め、この画素の俯瞰座標への変換後の座標により立体物の判定を行うことができるため、一つのカメラ１０から得た撮像画像に基づいて移動する立体物を含む対象領域を簡単に抽出することができる。
【０１９３】
他方、変換座標において上端に位置する画素の座標と下端に存在する画素の座標とが共通の分割領域に属する場合は、グループ化された画素群に対応する領域を、平面物を含む対象領域として抽出することができる。つまり、撮像画像上で同等の速度を有する隣接した画素をグループ化してその上端と下端に位置する画素を求め、この画素の俯瞰座標への変換後の座標により平面物の判定を行うことができるため、一つのカメラ１０から得た撮像画像に基づいて平面物（移動する立体物以外の物）を含む対象領域を簡単に抽出することができる。
【０１９４】
さらに、判定対象抽出部３１は、上端の画素の座標値と下端の画素の座標値とに基づいて基準境界を求め、上端の画素と基準境界との位置関係に基づいて移動する対象立体物、静止物が含まれる対象領域を抽出することができるため、観測者側の動きの推定や物体までの距離を算出することなく、検出された立体物の速度と位置関係に基づいて移動体の検出を簡単に行うことができる。
【０１９５】
同様に、基準境界の移動情報から算出された背景の予測移動方向と対象立体物の移動方向との関係に応じて自己に接近する対象立体物を含む対象領域を抽出することができる。
【０１９６】
このように、背景が自車両（観測者）の近傍から遠方に連続して存在する静止立体物であるとし、下端点の座標変換の位置から走路境界を背景の一つと擬制して、効率的に背景の存在及び背景の移動情報を検出し、移動体を含む対象領域を抽出することができる．
また、背景は静止物であるため、自車両（観測者）の近傍の速度が大きく、遠方になるに従って速度が小さくなるという関係が成り立つ。したがって、背景の画像位置と速度関係を満たす予測式とを算出すれば、画像上の任意の位置における静止物の速度を推定することができる。そして、この推定した速度情報と検出で得られた速度情報を比較することにより、静止物か移動物かの判定を効率的に行うことができる。
【０１９７】
さらに、画像上の移動情報の差が所定値未満である画素群の対象領域を一の対象領域として抽出することにより、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことができる。
【０１９８】
加えて、特徴点を撮像画像に含まれる物体のエッジに対応する画素又は画素群とするため、撮像画像上において物体のエッジを検出することで、簡単に歩行者を検出することができる。
【０１９９】
＜第２実施形態＞
続いて、第２実施形態について説明する。第２実施形態は、歩行者候補検証部３３の処理の内容に特徴がある。この点を除き、第２実施形態の基本的構成及び処理は、第１実施形態のそれに共通するため、ここでは異なる点を中心に説明する。
【０２００】
歩行者候補検証部３３は、対象領域に含まれる立体物の特徴点の移動方向のばらつき度が時間の経過とともに大きくなる場合は、その対象領域は歩行者を含まない対象領域として検証する。
【０２０１】
これに加え、本実施形態において、歩行者候補検証部３３は、撮像画像における消失点の位置を考慮し、抽出された対象領域と消失点との距離に応じて特徴点の移動方向のばらつき度の変化を観察する時間（検証時間）を決定する。
【０２０２】
撮像画像における消失点は、その位置によっては、立体物が歩行者であるか否かについての誤検出の原因の一つとなる。また、消失点の画像上の位置により、今後の移動量が予測できる。消失点が画像の端にあれば、操舵量が大きいと考えられるため、今後の移動量は大きくなる。つまり、短い時間で大きい移動量を検知することができるといえる。従って、消失点が画像の端にある場合は、移動方向の変化量を観察する検証時間は少ない時間とすることが可能である。一方、消失点が画像の中央に近づくにつれ、操舵量は小さくなり、今後の移動量は小さくなる。従って検証時間は、長く取る必要がある。
【０２０３】
以上のことから、検出された歩行者候補（対象領域）の画像上の位置、すなわち消失点と歩行者候補（対象領域）との位置関係に基づいて、移動方向のばらつきを観察する検証時間を変えることができる。
【０２０４】
消失点の位置と検証時間との関係は予め任意に定義することができる。たとえば、対象領域の水平座標に基づいて検証時間を決定することができる。また、撮像画像の縁に沿う外側領域と、外側領域の内側であって、撮像画像の中心から予め定義された内側領域とを予め定義し、消失点がどの領域に属するかに基づいて、検証時間を決定してもよいし、撮像画像の外縁又は中心からの距離に応じて検証時間を決定してもよい。
【０２０５】
特に限定されないが、消失点が外側領域に属する場合（又は消失点が外側領域に近い若しくは消失点が中心から遠い場合）は、検証時間を相対的に短く設定し、消失点が内側領域に属する場合（又は消失点が縁から遠い若しくは消失点が中心に近い場合）は、検証時間を相対的に長く設定する。
【０２０６】
図１８は、本実施形態における歩行者検証処理を示す。この歩行者検証処理は、図１５に示すフローチャートのステップ１２２の処理に対応する。
【０２０７】
ステップＳ１２２Ａにおいて、歩行者候補検証部３３は、ステップＳ１２１で検出された歩行者候補の画像上の位置に応じて検証時間を設定する。この後、フローはステップＳ１２２Ｂに移行する．
なお、ステップＳ１２２Ｂ〜ステップＳ１２２Ｅは、上述した図１６に示すステップＳ１２２１〜ステップＳ１２４４と同様の処理である。
【０２０８】
本実施形態の歩行者検出装置１００によれば、歩行者候補検証処理において、抽出された対象領域と消失点との距離に応じて、特徴点の移動方向のばらつき度の変化を観察する時間を決定するため、適切な検証時間を設定することができ、全体として処理時間を短縮することができる。
【０２０９】
＜第３実施形態＞
続いて、第３実施形態について説明する。第３実施形態は、判定対象抽出部３１の処理の内容に特徴がある。この点を除き、第３実施形態の基本的構成及び処理は、第１実施形態のそれに共通するため、ここでは異なる点を中心に説明する。
【０２１０】
特徴点の移動情報に基づいて、撮像画像の中から移動する対象立体物を含む対象領域を抽出する際に、例えばエッジ検出の結果に起因して、同じ立体物等を異なる立体物として抽出してしまう場合がある。
【０２１１】
本実施形態の判定対象抽出部３１は、判定対象抽出部３１が、一の立体物や移動体の特徴点を同一のグループにグループ化できない場合でも、平面物と立体物の検出を確実に行う。
【０２１２】
具体的に、本実施形態の判定対象抽出部３１は、抽出された対象領域に含まれる平面物に対応する画素群が、抽出された対象領域に含まれる立体物に対応する画素群に、画像の略垂直方向に沿って連なる場合は、平面物を含む対象領域と立体物を含む対象領域とを共通の対象立体物を含む対象領域として抽出する。
【０２１３】
図１９に示す画像情報に基づいて本実施形態の判定対象の抽出処理を説明する。図１９に示すように、外壁上（図３を参照）に検出されたＰ１１〜Ｐ１１３の内、Ｐ１１〜Ｐ１３とＰ１４〜Ｐ１１３が別々にグループ化され、Ｐ6１〜Ｐ２１２の内、Ｐ6１〜Ｐ6３とＰ２４〜Ｐ２１２が別々にグループ化され、Ｐ8１〜Ｐ8１１の内、Ｐ8１〜Ｐ8３とＰ8４〜Ｐ３１1が別々にグループ化され、Ｐ9１〜Ｐ9１２の内、Ｐ9１〜Ｐ9３とＰ４４〜Ｐ４１２が別々にグループ化された場合の処理について説明する。
【０２１４】
まず、算出された移動画像に物体を検出するための領域を設定する。すなわち、図１９に示すように、移動画像上に短冊状の複数の領域（以降、短冊領域と呼ぶ）を設定し、移動画像を分割する。本実施形態では、各短冊領域毎に画像下端から上端に速度を持った画素を順に走査して検出し、検出された画素を前述の（数式１）、（数式２）に基づいてＺＸ平面へ座標変換する。
【０２１５】
座標変換の結果が図７に示すＺＸ平面内に位置するか否かを判定する。座標変換の結果がＺＸ平面内に位置すれば、平面物の候補点と判定する。一方、ＺＸ平面内に位置しなければ、立体物の候補点として判定する。なお、ＺＸ平面には前述した実施形態で説明した領域と同じ領域が設定されるものとし、領域の設定方法については説明を省略する。
【０２１６】
具体的に、図１９に示す例では、Ｐ１１〜Ｐ１３はＺＸ平面内の同一の領域に位置して平面物の候補点と判定され、Ｐ１４〜Ｐ１１３はＺＸ平面内に位置しないため、立体物候補点と判定される。同様に、Ｐ２１〜Ｐ２３、Ｐ３１〜Ｐ３３、Ｐ４１〜Ｐ４３、Ｐ5１〜Ｐ5３、Ｐ6１〜Ｐ6３、Ｐ7１〜Ｐ7３、Ｐ８１〜Ｐ８３、Ｐ９１〜Ｐ９３、Ｐ１０１〜Ｐ１０３、Ｐ１1１〜Ｐ１１３、Ｐ１２１〜Ｐ１２３、Ｐ１３１〜Ｐ１３３、Ｐ１4１〜Ｐ１4３、Ｐ１5１〜Ｐ１5３、Ｐ１6１〜Ｐ１6３は平面物候補点と判定され、Ｐ1４〜Ｐ1１３、Ｐ３４〜Ｐ３１５、Ｐ５４〜Ｐ５１５、Ｐ６３〜Ｐ６１２、Ｐ８４〜Ｐ８１１、Ｐ９４〜Ｐ９１２、Ｐ１２４〜Ｐ１２１５、Ｐ１３４〜Ｐ１３１５、Ｐ１４４、Ｐ１５４〜Ｐ１５１６、Ｐ１６４〜Ｐ１６１７は立体物候補点と判定される。
【０２１７】
次に、平面物候補点と立体物候補点の判定結果に基づき、立体物の判定を行う。すなわち、平面物候補点であると判定された点と立体物候補点であると判定された点が、縦方向に連続して存在する場合は、立体物の内、路面近くに存在する部分が誤って平面物候補点であると判定されたものと推定できる。このため、平面物候補点と立体物候補点が縦方向に連続して存在する物体を立体物として判定する。
【０２１８】
例えば、本例では、図１９及び２０に示すように、平面物候補点Ｐ１１〜Ｐ１３と立体物候補点Ｐ１４〜Ｐ１１３が縦方向に連続しているため、Ｐ１１〜Ｐ１１３を一の立体物ＯＢ１として判定する。
【０２１９】
同様に、Ｐ２１〜Ｐ２１５を立体物ＯＢ２、Ｐ３１〜Ｐ３１５を一の立体物ＯＢ３として判定し、Ｐ６１〜Ｐ６１２を一の立体物ＯＢ４、Ｐ８１〜Ｐ８１１を一の立体物ＯＢ５として判定し、Ｐ９１〜Ｐ９１２を一の立体物ＯＢ６として判定し、Ｐ１２１〜Ｐ１２１５を一の立体物ＯＢ７として判定し、Ｐ１３１〜Ｐ１３１５を一の立体物ＯＢ８として判定し、Ｐ１４１〜Ｐ１４４を一の立体物ＯＢ９として判定し、Ｐ１５１〜Ｐ１５１６を一の立体物ＯＢ１０として判定し、Ｐ１６１〜Ｐ１６１７を一の立体物ＯＢ１１として判定する（図２０参照）。
【０２２０】
さらに、平面物および立体物と判定された点の内、下端点を抽出し、第１の実施形態と同様に、下端点のＺＸ平面への座標変換点が位置するＺＸ平面の領域のカウンタのカウンタ値を＋１加算して、下端点の位置分布を算出する。例えば、本実施例では、Ｐ１１、Ｐ２１、Ｐ３１、Ｐ４１、Ｐ５１、Ｐ６１、Ｐ７１、Ｐ８１、Ｐ９１、Ｐ１０１、Ｐ１１１、Ｐ１２１、Ｐ１３１、Ｐ１４１、Ｐ１５１、Ｐ１６１を下端点として検出し、図８に示す各下端点Ｐ１１〜Ｐ１６１の座標変換点ＲＢ１〜ＲＢ１６が位置する領域のカウンタのカウンタ値を＋１加算する。以下、前述した実施形態と同様の処理を行うことで、走路境界と立体物、立体物中の移動体の検出を行うことができる。
【０２２１】
移動体を検出した後は、前述した実施形態と同様の操作を行うことで、歩行者の検出を行うことができる。
【０２２２】
図２１は、本実施形態における歩行者検出装置１００の処理を示すフローチャートである。図２０に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図２０において、図１５に示す本発明の実施形態における処理のフローチャートと同一の処理内容については、同じステップ番号を付与し、二点鎖線で囲んだ異なる処理を中心に説明する。
【０２２３】
ステップＳ１３１では、ステップＳ１０４にて設定された物体検出用の短冊領域内において画像下端から上端に向かって走査を行い、速度を持つ画素の座標を（数式１）、（数式２）を用いてＺＸ平面上へ座標変換する。この後に、フローはステップＳ１３２へ移行する。
【０２２４】
ステップＳ１３２において、判定対象抽出部３１は、特徴点の画素の座標変換点がＺＸ平面内に位置すれば、特徴点を平面物候補点と判定し、特徴点の画素の座標変換点がＺＸ平面内に位置しなければ、立体物候補点と判定する。この後に、フローはステップＳ１３３に進む。
【０２２５】
ステップＳ１３３では、速度が算出された画素の全てがＺＸ平面上へ座標変換されて、平面物候補点および立体物候補点の検出が終了したかどうかが判定される。平面物候補点および立体物候補点の検出が終了した場合には、フローはステップＳ１３４に進む。一方、平面物候補点および立体物候補点の検出が終了していない場合は、フローはステップＳ１３１に戻り、平面物候補点および立体物候補点の検出が継続される。
【０２２６】
ステップＳ１３４において、判定対象抽出部３１は、各短冊領域内において、平面物候補点および立体物候補点が縦方向に連続して存在する場合、平面物候補点および立体物候補点を含む物体を一つの立体物として判定する。この後に、フローはステップＳ１３５に進む。
【０２２７】
ステップＳ１３５において、判定対象抽出部３１は、平面物候補点のうち、一番下にある点を下端点として検出し、検出した下端点のＺＸ平面上の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１３６に進む。
【０２２８】
ステップＳ１３６において、判定対象抽出部３１は、各領域において、カウンタ値に基づき各領域の下端点の位置分布情報の算出が終了したかどうかを判断する。各領域の下端点の位置分布情報の算出が終了した場合には、フローはステップＳ１１０へ進む。一方、各領域の下端点の位置分布情報の算出が終了していない場合には、フローはステップＳ１３４へ戻り、下端点の位置分布情報の算出が継続される。
【０２２９】
ステップ１１０以降の処理は、上述した図１５に示す処理と同様の処理を行うことにより、歩行者を検出する。
【０２３０】
このように、本実施形態の歩行者検出装置１００によれば、一の立体物に観察される、立体物の画素群に平面物の画素群が画像の略垂直方向に連なるという特徴を検出することにより、一の立体物が平面物と立体物とに別々に判定された場合であっても、一の対象立体物として判断し、対応する対象領域を抽出することができる。
【０２３１】
これにより、特徴点の抽出を含む画像処理において、同じ立体物を構成する画素でありながら何らかの影響で同等の移動速度が算出されない場合であっても、立体物の識別を高い精度で行うことができる。
【０２３２】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【０２３３】
すなわち、本明細書では、本発明に係る歩行者検出装置１００を含む車載装置１０００をその一態様として説明するが、本発明はこれに限定されるものではない。
【０２３４】
また、本明細書では、歩行者検出装置１００の一態様として、特徴点抽出手段の一例としての特徴点抽出部２１と、移動情報算出手段の一例としての移動情報算出部２２と、判定対象抽出手段の一例としての判定対象抽出部２４と、歩行者判定手段としての歩行者判定部３４を備える歩行者検出装置１００を説明したが、これに限定されるものではない。
【０２３５】
さらに、歩行者検出装置１００は、本明細書で説明したように、歩行者候補抽出手段の一例としての歩行者候補抽出部３２と、歩行者候補検証手段の一例としての歩行者候補検証部３３と、を備えることができる。また、これに加えて、グループ化手段の一例としてのグループ化部と、座標変換手段の一例としての座標変換部２４とを備えることができる。
【０２３６】
本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎず、本発明は実施形態の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。
【０２３７】
例えば、ブロック図は上記実施例に示すものに限定されるものではなく、同等の機能を備えた他の構成とすることができる。
【０２３８】
また、カメラの取り付け位置は実施形態で述べた位置に限定されるものではなく、カメラの光軸が車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸および垂直軸がそれぞれ路面と略平行および略垂直となるように設定されていれば良い。
【０２３９】
また、検出したエッジの幅の正規化を行うにあたっては、エッジ幅は３画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジの中央部の画素を利用するため、エッジ幅の画素数は奇数個であることが望ましい。
【０２４０】
また、ｘｙ平面を分割して設定する短冊領域の数は上記実施形態に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【０２４１】
また、ＺＸ平面を分割して設定する領域の数は上記実施形態に示すものに限定されるものではなく、任意の数に分割して設定することができる。
【０２４２】
また、ＺＸ平面の縦方向および横方向の範囲は、任意の値に設定することができる。
【０２４３】
また、上記実施形態では道路を走行する車両に歩行者検出装置１０を搭載する例について説明したが、他の移動体に搭載してもよい。
【０２４４】
さらに、上記実施形態では、検出する走路境界として、縁石、白線、外壁と路面との接点の例について説明したが、これに限定されず、例えば、ガードレール、駐車車両と路面との境界、路面と路面以外の領域（田、畑など）との境界を検出してもよい。
【図面の簡単な説明】
【０２４５】
【図１】本実施形態の歩行者検出装置のブロック構成の一例を示す図である。
【図２】（Ａ）及び（Ｂ）は、カメラ１０の搭載例を示す図である。
【図３】車載されたカメラ１０により撮像された車両前方の画像例である。
【図４】（ａ）〜（ｆ）は移動速度の算出処理例を説明するための図である。
【図５】移動画像の一例を示す図である。
【図６】グループ化処理例を説明するための図である。
【図７】立体物を含む領域を判定の対象として抽出する処理例を説明するための図である。
【図８】走路境界を抽出する手法例を説明するための図である。
【図９】背景となる走路境界を抽出する手法例を説明するための図である。
【図１０】抽出された走路境界に基づいて移動する対象立体物を抽出する手法例を説明するための図である。
【図１１】移動する立体物を対象立体物として抽出する処理例を説明するための図である。
【図１２】歩行者の脚部と腕部の速度変化の特徴例を示す図である。
【図１３】歩行者候補の検証処理例を説明するための図である。
【図１４】歩行者の判定処理を説明するための図である。
【図１５】歩行者検出処理の一例を示すフローチャート図である。
【図１６】歩行者候補検証処理の一例を示すフローチャート図である。
【図１７】歩行者判定処理の一例を示すフローチャート図である。
【図１８】第２実施形態に係る、歩行者候補検証処理の他の例を示すフローチャート図である。
【図１９】移動する対象立体物を抽出するための処理例を説明するための図である。
【図２０】移動する対象立体物を抽出するための処理例を説明するための他の図である。
【図２１】第３実施形態に係る、判定対象抽出処理の他の例を示すフローチャート図である。
【符号の説明】
【０２４６】
１０００…車載装置
１００…歩行者検出装置
１０…カメラ
１１…画像メモリ
２０…画像処理部
２１…特徴点抽出部
２２…移動情報算出部
２３…グループ化部
２４…座標変換部
３０…判定処理部
３１…判定対象抽出部
３２…歩行者候補抽出部
３３…歩行者候補検証部
３４…歩行者判定部
２００…車両コントローラ
３００…警報装置
４００…走行支援装置
５００…出力装置
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により撮像された画像から特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点の移動速度及び／又は移動方向を含む移動情報をそれぞれ算出する移動情報算出手段と、
前記移動情報算出手段により算出された前記特徴点の移動情報に基づいて、前記撮像された画像の中から移動する対象立体物を含む対象領域を抽出する判定対象抽出手段と、
前記判定対象抽出手段により抽出された対象領域に関する移動情報と前記対象領域の周囲に設定された比較領域に関する移動情報とを比較し、前記比較の結果に基づいて前記抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定する歩行者判定手段とを有する歩行者検出装置。
【請求項２】
請求項１に記載の歩行者検出装置において、
前記歩行者判定手段は、前記対象領域に関する移動速度と前記対象領域の周囲に設定された比較領域に関する移動速度との差が所定値以上である場合は、前記対象領域に含まれる対象立体物は歩行者であると判定する歩行者検出装置。
【請求項３】
請求項１又は２に記載の歩行者検出装置において、
前記歩行者判定手段は、前記対象領域に関する移動方向と前記対象領域の周囲に設定された比較領域に関する移動方向との差が所定値以上である場合は、前記対象領域に含まれる対象立体物は歩行者であると判定する歩行者検出装置。
【請求項４】
請求項３に記載の歩行者検出装置において、
前記歩行者判定手段は、前記対象領域に関する移動方向と前記比較領域に関する移動方向が、予め定義された略反対方向関係である場合は、前記対象領域に含まれる対象立体物は自己に接近する歩行者であると判定する歩行者検出装置。
【請求項５】
請求項２に記載の歩行者検出装置において、
前記歩行者判定手段は、前記比較の結果、移動速度の差が所定値未満である場合は、前記対象領域に含まれる対象立体物は歩行者以外の立体物であると判定する歩行者検出装置。
【請求項６】
請求項３又は４に記載の歩行者検出装置において、
前記歩行者判定手段は、前記比較の結果、移動方向の差が所定値未満である場合は、前記対象領域に含まれる対象立体物は歩行者以外の立体物であると判定する歩行者検出装置。
【請求項７】
請求項１〜６の何れか一項に記載の歩行者検出装置において、
前記対象領域の周囲に設定される比較領域は、前記対象領域の上端辺から上側へ所定長さの幅を有する上側比較領域、前記対象領域の左端辺から左側へ所定長さの幅を有する左側比較領域、又は前記対象領域の右端辺から右側へ所定長さの幅を有する右側比較領域のいずれか１つ以上を含む歩行者検出装置。
【請求項８】
請求項１〜７の何れか一項に記載の歩行者検出装置において、
前記対象領域の周囲に設定される比較領域は、前記対象領域の上端辺から上側に所定距離だけ離隔するとともに上側へ所定長さの幅を有する第２上側比較領域、前記対象領域の左端辺から左側に所定距離だけ離隔するとともに左側へ所定長さの幅を有する第２左側比較領域、又は前記対象領域の右端辺から所定距離だけ離隔するとともに右側へ所定長さの幅を有する第２右側比較領域のいずれか１つ以上を含む歩行者検出装置。
【請求項９】
請求項１〜８の何れか一項に記載の歩行者検出装置において、
前記判定対象抽出手段により抽出された対象領域に含まれる特徴点の移動速度を前記移動情報算出手段から取得し、前記対象領域内の特徴点の移動速度の分散値を算出し、前記分散値が所定値以上である場合は、前記対象領域を歩行者が含まれる対象領域として抽出する歩行者候補抽出手段をさらに備える歩行者検出装置。
【請求項１０】
請求項９に記載の歩行者検出装置において、
前記歩行者候補抽出手段は、前記算出された移動速度の分散値が所定値未満であっても、所定時間内における前記対象領域内の特徴点の移動量が所定値未満であるとともに、前記対象領域内の特徴点の移動速度の変化が所定値以上である場合は、前記対象領域を歩行者が含まれる対象領域として抽出する歩行者検出装置。
【請求項１１】
請求項１〜１０の何れか一項に記載の歩行者検出装置において、
前記抽出された対象領域に含まれる特徴点の移動情報のばらつき度が時間の経過とともに大きくなる場合は、前記対象領域は歩行者を含まないと検証する歩行者候補検証手段をさらに備える歩行者検出装置。
【請求項１２】
請求項１１に記載の歩行者検出装置において、
前記歩行者候補検証手段は、前記抽出された対象領域に含まれる特徴点について所定時間観察し、歩行者候補とされる対象立体物に対応する特徴点の移動方向との方向差が所定値未満であり、かつ前記歩行者候補に対応する特徴点の移動速度との速度差が所定値未満である特徴点の数Ｎ１と、歩行者候補とされる対象立体物に対応する特徴点の移動方向との方向差が所定値以上である特徴点の数Ｎ２とを算出し、Ｎ２＞Ｎ１を満たし、前記対象領域の面積に対するＮ２の割合Ｒ１が、予め設定された所定値Ｒｔ１よりも大きくなる場合は、前記対象領域は歩行者を含まない対象領域として検証する歩行者検出装置。
【請求項１３】
請求項１１又は１２に記載の歩行者検出装置において、
前記歩行者候補検証手段は、前記抽出された対象領域と消失点との距離に応じて、前記特徴点の移動方向のばらつき度の変化を観察する時間を決定する歩行者検出装置。
【請求項１４】
請求項１〜１３の何れか一項に記載の歩行者検出装置において、
前記移動情報算出手段により算出された移動速度が所定範囲内であり、前記画像おいて略垂直方向に隣接する画素群をグループ化するグループ化手段と、
前記画像に含まれる画素を、所定の視点から見た俯瞰図における変換座標に変換する座標変換手段と、をさらに備え、
前記判定対象抽出手段は、前記グループ化手段によりグループ化された画素群のうち、前記変換座標において上端に位置する画素の座標と下端に位置する画素の座標とに基づき、前記撮像された画像の中から対象立体物を含む対象領域を抽出する歩行者検出装置。
【請求項１５】
請求項１４に記載の歩行者検出装置において、
前記座標変換手段は、前記画素を、所定の視点から見た俯瞰図であって、所定の分割領域に区分された変換座標に変換し、
前記判定対象抽出手段は、前記グループ化手段によりグループ化された画素群のうち、前記変換座標において上端に位置する画素の座標が前記変換座標の領域外に属するとともに、下端に位置する画素の座標が前記いずれかの分割領域に属する場合は、前記グループ化された画素群に対応する領域を、前記対象立体物を含む対象領域として抽出する歩行者検出装置。
【請求項１６】
請求項１５に記載の歩行者検出装置において、
前記判定対象抽出手段は、前記グループ化手段によりグループ化された画素群のうち、前記変換座標において上端に位置する画素の座標と下端に存在する画素の座標とが共通の分割領域に属する場合は、前記グループ化された画素群に対応する領域を、平面物を含む対象領域として抽出する歩行者検出装置。
【請求項１７】
請求項１６に記載の歩行者検出装置において、
前記判定対象抽出手段は、前記抽出された対象領域に含まれる平面物に対応する画素群が、前記抽出された対象領域に含まれる立体物に対応する画素群に、前記画像の略垂直方向に沿って連なる場合は、前記平面物を含む対象領域と前記立体物を含む対象領域とを一の対象立体物を含む対象領域として抽出する歩行者検出装置。
【請求項１８】
請求項１〜１７の何れか一項に記載の歩行者検出装置において、
前記画像おいて略垂直方向に隣接するとともに、前記移動情報算出手段により算出された移動速度が所定範囲内である画素群をグループ化するグループ化手段を備え、
前記判定対象抽出手段は、前記グループの画素群のうち前記画像の略垂直方向の下端に位置する画素の座標値に基づいて、前記画像に含まれる立体物の設置面と所定の関係を有する基準境界を抽出し、前記グループ化手段によりグループ化された画素群のうち上端に位置する画素の位置が前記基準境界の位置よりも上に位置する場合は、前記グループ化された画素群に対応する領域を前記移動する対象立体物を含む対象領域として抽出する歩行者検出装置。
【請求項１９】
請求項１８に記載の歩行者検出装置において、
前記判定対象抽出手段は、前記基準境界の位置に基づいて前記移動速度算出手段により算出された前記基準境界の移動情報から前記画像の背景の予測移動情報を算出し、前記グループ化手段によりグループ化された画素群の移動情報に含まれる移動方向と前記背景の予測移動情報に含まれる予測移動方向との差が、予め定義された略反対方向の関係である場合は、前記グループ化された画素群に対応する領域を、前記自己の方向に移動する対象立体物を含む対象領域として抽出する歩行者検出装置。
【請求項２０】
請求項１９に記載の歩行者検出装置において、
前記判定対象抽出手段は、前記グループ化手段によりグループ化された画素群の移動情報に含まれる移動方向と前記背景の予測移動情報に含まれる予測移動方向との差が所定値未満であり、前記グループ化手段によりグループ化された画素群の移動情報に含まれる移動速度と前記背景の予測移動情報に含まれる予測移動速度との差が所定値未満である場合は、前記グループ化された画素群に対応する領域を、前記静止物を含む領域として抽出する歩行者検出装置。
【請求項２１】
請求項１８又は１９に記載の歩行者検出装置において、
前記判定対象抽出手段は、前記対象領域が複数抽出されたとき、前記抽出された対象領域に含まれる対象立体物に対応する特徴点の移動方向の差が所定値未満であり、かつ前記対象立体物に対応する特徴点の移動速度の差が所定値未満である場合は、これらの対象領域を共通の対象立体物を含む一の対象領域として抽出する歩行者検出装置。
【請求項２２】
請求項１〜２１の何れか一項に記載の歩行者検出装置において、
前記特徴点は前記撮像された画像に含まれる物体のエッジに対応する画素又は画素群である歩行者検出装置。
【請求項２３】
撮像画像から抽出された特徴点の移動速度及び／又は移動方向を含む移動情報をそれぞれ算出し、
前記特徴点の移動情報に基づいて、前記撮像画像の中から移動する対象立体物を含む対象領域を抽出し、
前記対象領域に関する移動情報と前記対象領域の周囲に設定された比較領域に関する移動情報に基づいて、前記対象領域に含まれる対象立体物が歩行者であるか否かを判定する歩行者検出方法。
【請求項１】
撮像手段と、
前記撮像手段により撮像された画像から特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点の移動速度及び／又は移動方向を含む移動情報をそれぞれ算出する移動情報算出手段と、
前記移動情報算出手段により算出された前記特徴点の移動情報に基づいて、前記撮像された画像の中から移動する対象立体物を含む対象領域を抽出する判定対象抽出手段と、
前記判定対象抽出手段により抽出された対象領域に関する移動情報と前記対象領域の周囲に設定された比較領域に関する移動情報とを比較し、前記比較の結果に基づいて前記抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定する歩行者判定手段とを有する歩行者検出装置。
【請求項２】
請求項１に記載の歩行者検出装置において、
前記歩行者判定手段は、前記対象領域に関する移動速度と前記対象領域の周囲に設定された比較領域に関する移動速度との差が所定値以上である場合は、前記対象領域に含まれる対象立体物は歩行者であると判定する歩行者検出装置。
【請求項３】
請求項１又は２に記載の歩行者検出装置において、
前記歩行者判定手段は、前記対象領域に関する移動方向と前記対象領域の周囲に設定された比較領域に関する移動方向との差が所定値以上である場合は、前記対象領域に含まれる対象立体物は歩行者であると判定する歩行者検出装置。
【請求項４】
請求項３に記載の歩行者検出装置において、
前記歩行者判定手段は、前記対象領域に関する移動方向と前記比較領域に関する移動方向が、予め定義された略反対方向関係である場合は、前記対象領域に含まれる対象立体物は自己に接近する歩行者であると判定する歩行者検出装置。
【請求項５】
請求項２に記載の歩行者検出装置において、
前記歩行者判定手段は、前記比較の結果、移動速度の差が所定値未満である場合は、前記対象領域に含まれる対象立体物は歩行者以外の立体物であると判定する歩行者検出装置。
【請求項６】
請求項３又は４に記載の歩行者検出装置において、
前記歩行者判定手段は、前記比較の結果、移動方向の差が所定値未満である場合は、前記対象領域に含まれる対象立体物は歩行者以外の立体物であると判定する歩行者検出装置。
【請求項７】
請求項１〜６の何れか一項に記載の歩行者検出装置において、
前記対象領域の周囲に設定される比較領域は、前記対象領域の上端辺から上側へ所定長さの幅を有する上側比較領域、前記対象領域の左端辺から左側へ所定長さの幅を有する左側比較領域、又は前記対象領域の右端辺から右側へ所定長さの幅を有する右側比較領域のいずれか１つ以上を含む歩行者検出装置。
【請求項８】
請求項１〜７の何れか一項に記載の歩行者検出装置において、
前記対象領域の周囲に設定される比較領域は、前記対象領域の上端辺から上側に所定距離だけ離隔するとともに上側へ所定長さの幅を有する第２上側比較領域、前記対象領域の左端辺から左側に所定距離だけ離隔するとともに左側へ所定長さの幅を有する第２左側比較領域、又は前記対象領域の右端辺から所定距離だけ離隔するとともに右側へ所定長さの幅を有する第２右側比較領域のいずれか１つ以上を含む歩行者検出装置。
【請求項９】
請求項１〜８の何れか一項に記載の歩行者検出装置において、
前記判定対象抽出手段により抽出された対象領域に含まれる特徴点の移動速度を前記移動情報算出手段から取得し、前記対象領域内の特徴点の移動速度の分散値を算出し、前記分散値が所定値以上である場合は、前記対象領域を歩行者が含まれる対象領域として抽出する歩行者候補抽出手段をさらに備える歩行者検出装置。
【請求項１０】
請求項９に記載の歩行者検出装置において、
前記歩行者候補抽出手段は、前記算出された移動速度の分散値が所定値未満であっても、所定時間内における前記対象領域内の特徴点の移動量が所定値未満であるとともに、前記対象領域内の特徴点の移動速度の変化が所定値以上である場合は、前記対象領域を歩行者が含まれる対象領域として抽出する歩行者検出装置。
【請求項１１】
請求項１〜１０の何れか一項に記載の歩行者検出装置において、
前記抽出された対象領域に含まれる特徴点の移動情報のばらつき度が時間の経過とともに大きくなる場合は、前記対象領域は歩行者を含まないと検証する歩行者候補検証手段をさらに備える歩行者検出装置。
【請求項１２】
請求項１１に記載の歩行者検出装置において、
前記歩行者候補検証手段は、前記抽出された対象領域に含まれる特徴点について所定時間観察し、歩行者候補とされる対象立体物に対応する特徴点の移動方向との方向差が所定値未満であり、かつ前記歩行者候補に対応する特徴点の移動速度との速度差が所定値未満である特徴点の数Ｎ１と、歩行者候補とされる対象立体物に対応する特徴点の移動方向との方向差が所定値以上である特徴点の数Ｎ２とを算出し、Ｎ２＞Ｎ１を満たし、前記対象領域の面積に対するＮ２の割合Ｒ１が、予め設定された所定値Ｒｔ１よりも大きくなる場合は、前記対象領域は歩行者を含まない対象領域として検証する歩行者検出装置。
【請求項１３】
請求項１１又は１２に記載の歩行者検出装置において、
前記歩行者候補検証手段は、前記抽出された対象領域と消失点との距離に応じて、前記特徴点の移動方向のばらつき度の変化を観察する時間を決定する歩行者検出装置。
【請求項１４】
請求項１〜１３の何れか一項に記載の歩行者検出装置において、
前記移動情報算出手段により算出された移動速度が所定範囲内であり、前記画像おいて略垂直方向に隣接する画素群をグループ化するグループ化手段と、
前記画像に含まれる画素を、所定の視点から見た俯瞰図における変換座標に変換する座標変換手段と、をさらに備え、
前記判定対象抽出手段は、前記グループ化手段によりグループ化された画素群のうち、前記変換座標において上端に位置する画素の座標と下端に位置する画素の座標とに基づき、前記撮像された画像の中から対象立体物を含む対象領域を抽出する歩行者検出装置。
【請求項１５】
請求項１４に記載の歩行者検出装置において、
前記座標変換手段は、前記画素を、所定の視点から見た俯瞰図であって、所定の分割領域に区分された変換座標に変換し、
前記判定対象抽出手段は、前記グループ化手段によりグループ化された画素群のうち、前記変換座標において上端に位置する画素の座標が前記変換座標の領域外に属するとともに、下端に位置する画素の座標が前記いずれかの分割領域に属する場合は、前記グループ化された画素群に対応する領域を、前記対象立体物を含む対象領域として抽出する歩行者検出装置。
【請求項１６】
請求項１５に記載の歩行者検出装置において、
前記判定対象抽出手段は、前記グループ化手段によりグループ化された画素群のうち、前記変換座標において上端に位置する画素の座標と下端に存在する画素の座標とが共通の分割領域に属する場合は、前記グループ化された画素群に対応する領域を、平面物を含む対象領域として抽出する歩行者検出装置。
【請求項１７】
請求項１６に記載の歩行者検出装置において、
前記判定対象抽出手段は、前記抽出された対象領域に含まれる平面物に対応する画素群が、前記抽出された対象領域に含まれる立体物に対応する画素群に、前記画像の略垂直方向に沿って連なる場合は、前記平面物を含む対象領域と前記立体物を含む対象領域とを一の対象立体物を含む対象領域として抽出する歩行者検出装置。
【請求項１８】
請求項１〜１７の何れか一項に記載の歩行者検出装置において、
前記画像おいて略垂直方向に隣接するとともに、前記移動情報算出手段により算出された移動速度が所定範囲内である画素群をグループ化するグループ化手段を備え、
前記判定対象抽出手段は、前記グループの画素群のうち前記画像の略垂直方向の下端に位置する画素の座標値に基づいて、前記画像に含まれる立体物の設置面と所定の関係を有する基準境界を抽出し、前記グループ化手段によりグループ化された画素群のうち上端に位置する画素の位置が前記基準境界の位置よりも上に位置する場合は、前記グループ化された画素群に対応する領域を前記移動する対象立体物を含む対象領域として抽出する歩行者検出装置。
【請求項１９】
請求項１８に記載の歩行者検出装置において、
前記判定対象抽出手段は、前記基準境界の位置に基づいて前記移動速度算出手段により算出された前記基準境界の移動情報から前記画像の背景の予測移動情報を算出し、前記グループ化手段によりグループ化された画素群の移動情報に含まれる移動方向と前記背景の予測移動情報に含まれる予測移動方向との差が、予め定義された略反対方向の関係である場合は、前記グループ化された画素群に対応する領域を、前記自己の方向に移動する対象立体物を含む対象領域として抽出する歩行者検出装置。
【請求項２０】
請求項１９に記載の歩行者検出装置において、
前記判定対象抽出手段は、前記グループ化手段によりグループ化された画素群の移動情報に含まれる移動方向と前記背景の予測移動情報に含まれる予測移動方向との差が所定値未満であり、前記グループ化手段によりグループ化された画素群の移動情報に含まれる移動速度と前記背景の予測移動情報に含まれる予測移動速度との差が所定値未満である場合は、前記グループ化された画素群に対応する領域を、前記静止物を含む領域として抽出する歩行者検出装置。
【請求項２１】
請求項１８又は１９に記載の歩行者検出装置において、
前記判定対象抽出手段は、前記対象領域が複数抽出されたとき、前記抽出された対象領域に含まれる対象立体物に対応する特徴点の移動方向の差が所定値未満であり、かつ前記対象立体物に対応する特徴点の移動速度の差が所定値未満である場合は、これらの対象領域を共通の対象立体物を含む一の対象領域として抽出する歩行者検出装置。
【請求項２２】
請求項１〜２１の何れか一項に記載の歩行者検出装置において、
前記特徴点は前記撮像された画像に含まれる物体のエッジに対応する画素又は画素群である歩行者検出装置。
【請求項２３】
撮像画像から抽出された特徴点の移動速度及び／又は移動方向を含む移動情報をそれぞれ算出し、
前記特徴点の移動情報に基づいて、前記撮像画像の中から移動する対象立体物を含む対象領域を抽出し、
前記対象領域に関する移動情報と前記対象領域の周囲に設定された比較領域に関する移動情報に基づいて、前記対象領域に含まれる対象立体物が歩行者であるか否かを判定する歩行者検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−２９４８４２（Ｐ２００９−２９４８４２Ａ）
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願番号】特願２００８−１４６８９２（Ｐ２００８−１４６８９２）
【出願日】平成２０年６月４日（２００８．６．４）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２１年１２月１７日（２００９．１２．１７）
【国際特許分類】
【出願日】平成２０年６月４日（２００８．６．４）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]