歩行者検出装置
【課題】車両に搭載したカメラとして可視光領域の安価なカメラを用いることができる安価（低コスト）な構成により、横断歩道以外であっても歩行者を精度よく検出する。
【解決手段】変化領域初期検出部４により、車両１搭載したカメラ２の撮影画像に出現した画像個所を変化領域として初期検出し、検出窓設定部５、変化領域更新部６により、撮影画像の前記変化領域の周辺に複数の検出窓を初期設定し、各検出窓のいずれかに新たに出現した画像個所を変化領域として検出して更新し、その後に得られる撮影画像の更新した変化領域の周辺に各検出窓を設定することをくり返して歩行者特有の動きを検知し、可視光領域の安価なカメラを用いて横断歩道以外であっても歩行者を精度よく検出する。
【解決手段】変化領域初期検出部４により、車両１搭載したカメラ２の撮影画像に出現した画像個所を変化領域として初期検出し、検出窓設定部５、変化領域更新部６により、撮影画像の前記変化領域の周辺に複数の検出窓を初期設定し、各検出窓のいずれかに新たに出現した画像個所を変化領域として検出して更新し、その後に得られる撮影画像の更新した変化領域の周辺に各検出窓を設定することをくり返して歩行者特有の動きを検知し、可視光領域の安価なカメラを用いて横断歩道以外であっても歩行者を精度よく検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両に搭載したカメラの車両周囲（例えば前方）の撮影画像から歩行者を検出する歩行者検出装置に関し、詳しくは、安価に検出精度を向上する。
【背景技術】
【０００２】
一般に、車両（自動車）のヘッドライトの有効な照明範囲には限りがあり、その範囲が天候等にも左右されることから、車両の夜間走行等においては、ヘッドライトに照らされた歩行者の視認が容易でなく、歩行者が突然出現して接近したり横切ったりする可能性がある。
【０００３】
このような場合の安全走行を図るため、従来、車両に赤外線カメラを搭載し、歩行者が発する赤外線を検出して歩行者を検出することが考えられているが、赤外線カメラは高価であり、車両コストが大幅にアップする。
【０００４】
そこで、車両に通常のＣＣＤ単眼カメラのような可視光領域で使用可能な安価なカメラを搭載し、このカメラが撮影する車両前方の前後する２フレームの撮影画像の差から移動する縦長の画像を歩行者（人）として検出することが提案されている（例えば、特許文献１（段落［０００３］−［０００６］、［０００９］−［００１２］、図１等）参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３１２３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の検出装置の場合、安価な可視光領域のカメラを用いることができるので低コストではあるが、縦長の画像は歩行者（人）でない場合もあり、逆に、例えば歩行者の足先だけがヘッドライトに照らされるような場合には歩行者であっても縦長の画像になるとは限らない。そのため、歩行者の検出精度が低く、とくに横断歩道以外では、路側の看板や標識等の縦長の画像となるものが多数存在し、それらと区別して歩行者を検出することは容易でない。
【０００７】
本発明は、車両に搭載したカメラとして可視光領域の安価なカメラを用いることができる安価（低コスト）な構成により、横断歩道以外であっても歩行者を精度よく検出することを目的とする。
【課題を解決するための手段】
【０００８】
上記した目的を達成するために、本発明の歩行者検出装置は、車両に搭載したカメラの車両周囲の撮影画像から歩行者を検出する歩行者検出装置であって、前記カメラの撮影画像に出現した画像個所を変化領域として初期検出し、その後に得られる撮影画像の前記変化領域の周辺に複数の検出窓を初期設定する初期設定手段と、前記各検出窓のいずれかに新たに出現した画像個所を前記変化領域として検出して前記変化領域を更新し、その後に得られる撮影画像の更新した前記変化領域の周辺に前記各検出窓を設定することをくり返し、前記各検出窓のいずれかに新たな画像個所が出現することのくり返しから歩行者特有の動きを検知して歩行者を検出する検出手段とを備えたことを特徴としている（請求項１）。
【発明の効果】
【０００９】
請求項１に記載の発明によれば、車両に搭載したカメラの時間が前後する車両周囲の撮影画像の差から歩行者を検出するため、可視光領域の安価なカメラを用いることができ、安価（低コスト）な構成である。
【００１０】
そして、例えば歩行者の脚部に注目すると、左足と右足は交互に前（進む方向）に移動し、夜間等において歩行者が前進して車両に接近する場合、前側に移動した左足又は右足（一方の足）が突然車両のヘッドライトに照らさて撮影画像に出現する。
【００１１】
さらに、歩行者は、一方の足を軸足として他方の足（右足又は左足）を前に移動して前進し、その後、一方の足と他方の足を交互に前方に移動する。そのため、カメラの撮影画像に新たに出現する前方の足は、一方の足と他方の足とに交互に変化する。
【００１２】
そして、初期設定手段により、最初に出現した一方の足、例えば左足の画像個所を変化領域として初期検出し、その周辺である変化領域の左右両側に検出窓を初期設定すると、その後の撮影画像の右側の検出窓に他方の足である右足が出現する。
【００１３】
さらに、検出手段により、変化領域を、出現した右足の画像個所に変更し、変更した変化領域の左右両側に検出窓を設定すると、その後の撮影画像の左側の検出窓に左足が出現し、変化領域を、出現した左足の画像個所に再変更し、再変更した変化領域の左右両側に検出窓を設定すると、その後の撮影画像の右側の検出窓に右足が出現し、左右の足を交互に前に出すという歩行者特有の動きに基づき、以降同様にして、変更した変化領域の左右両側の検出窓に交互に新たな前側の足が出現し、必ず、変化領域の左右両側の検出窓のいずれか一方（片側）に新たな画像個所が出現する。
【００１４】
また、歩行者が前進して車両の前方を左右方向に横断する場合は、左右の足を交互に前方に出すという歩行者特有の動きに基づいて歩行者が前進して横断すると、撮影画像上では移動方向に進むように歩行者の左足と右足が交互に出現する。そして、出現した足の画像個所を変化領域として検出・更新するとともに、変化領域の左右両側に検出窓を設定すると、その後の画像には前方に出した足が移動方向側の検出窓に出現する。そのため、この場合も、必ず、変化領域の左右両側の検出窓のいずれか一方（片側）に新たな画像個所が出現する。
【００１５】
なお、左右の足を交互に前に出す動きをしない車両や路側の標識・看板等の障害物であれば、撮影画像に少しずつ大きくなる同じ画像が出現するだけなので、変化領域や検出窓を設定することができず、変化領域の左右両側の検出窓のいずれか一方（片側）に新たな画像個所が出現するようなことはない。
【００１６】
したがって、検出手段は、例えば歩行者の脚部に注目すると、変化領域の左右両側の検出窓のいずれか一方（片側）に新たな画像個所が出現することのくり返しから、横断歩道の有無等にかかわらず、左右の足を交互に前方に出すという歩行者特有の動きを検知して歩行者を精度よく検出することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の歩行者検出装置の一実施形態のブロック図である。
【図２】歩行者の撮影例の説明図である。
【図３】車両に向かって前進する歩行者の検出の説明図である。
【図４】図１の歩行者検出装置の動作説明用のフローチャートである。
【図５】車両の前を横切って前進する歩行者の検出の説明図である。
【発明を実施するための形態】
【００１８】
本発明の一実施形態について、図１〜図５を参照して説明する。
【００１９】
図１は車両１が備える本発明の歩行者検出装置の一例の構成を示し、車両１は、車両周囲の撮影画像として例えば１／３０秒のフレーム周期で撮影した自車前方の撮影画像を出力するカメラ２が搭載される。カメラ２は安価な可視光領域の撮影用のカメラであり、具体的にはモノクロ又はカラーの単眼ＣＣＤカメラである。
【００２０】
３は夜間等にドライバの操作によって又は自動的に点灯する車両１のヘッドライト（前照灯）であり、車両１の前部左右に設けられて車両１の前方を照らし、カメラ２の照明光源も兼ねる。図２は矢印線ａの方向に走行する車両１のヘッドライト３の前方照射例を示し、図中の２点破線はヘッドライト３の左右の照射範囲であり、Ｐは矢印線ｂに示すように前進する前方の歩行者である。この場合、歩行者Ｐのヘッドライト３の照射範囲より遠くにある部分は、図中の斜線に示すように暗く、カメラ２では撮影されない。一方、歩行者Ｐのヘッドライト３の照射範囲内の部分はカメラ２で撮影され、その際、車両１に近い部分程、明るく（高輝度に）撮影される。
【００２１】
歩行者Ｐは、左右の両足を交互に前に出して前進（歩行）し、その際、両手も両足とは逆に交互に前後する。また、頭部は上下に変動する。これらの動きが歩行者特有の動きである。
【００２２】
図３（ａ）は図２に示したように夜間等に歩行者Ｐが前進し、車両１に歩行者Ｐが前方から近づく状況を横から眺めた模式図であり、この場合、歩行者Ｐの脚部に注目すると、車両１と歩行者Ｐとがある距離まで近づき、歩行者Ｐの前に出した一方の足（ここでは右足とする）がヘッドライト３の照射範囲内に入ることにより、図３（ｂ）に示すように、カメラ２の撮影画像に突然歩行者Ｐの一方の足（○印の左足ｌ）が反射光の画像として出現し、つぎに、図３（ｃ）に示すように前に出した他方の足（ここでは●印の右足ｒ）が一方の足より明るい反射光の画像として撮影画像に出現し、以降、図３（ｄ）、（ｅ）に示すように、一方の足と他方の足とが交互に前になってより明るい反射光の画像として撮影画像に出現する。この現象は歩行者Ｐの腕部に注目した場合には左右の両手について同様に出現する。また、頭部については、歩行者Ｐが歩行すると、頭部が上下動して少なくともその上端がヘッドライト３の照射範囲の上端より上下に移動して撮影画像に周期的に出現する。
【００２３】
図１の４、５、６、７はマイクロコンピュータのプログラム（ソフトウェア処理）によって形成される変化領域初期検出部、検出窓設定部、変化領域更新部、歩行者検出部であり、変化領域初期検出部４は本発明の初期設定手段を形成し、検出窓設定部５、変化領域更新部６、歩行者検出部７が本発明の検出手段を形成する。
【００２４】
そして、歩行者Ｐの脚部に注目すると、変化領域初期検出部４は、カメラ２の撮影画像の各部の輝度が一定値以下であれば、カメラ２の毎フレームの撮影画像の輝度の差をくり返し演算する。このとき、歩行者Ｐが前に出しつつある一方の足が前記照射範囲に入ると、時間が前後する時系列の複数フレームの撮影画像は前記一方の足の反射によって明るくなる部分が次第に大きくなり、前記一方の足が着地して最も前に出たときに極大になる。変化領域検出部４は、前記極大になる大きさを予想して設定された基準面積以上の大きさの部分の輝度がしきい値以上になると、それを歩行者Ｐの新たな足の画像個所の出現ととらえ、その画像個所を予め設定された矩形や円形の変化領域Ａとして初期検出する図３（ｂ）。検出窓設定部５は、初期検出された変化領域Ａの周辺である変化領域Ａの左右に、予め設定された大きさの矩形や円形の検出窓Ｂを初期設定し、変化領域Ａとその左右の検出窓Ｂで構成された検出枠を形成する（図３（ｃ））。なお、図３（ｂ）〜（ｅ）のｔｎ〜ｔｎ＋３は新たな足の出現が検出された時間順の各フィールドを示す。
【００２５】
変化領域更新部６は、その後のカメラ２の撮影画像に前記検出枠を重ねて左右の検出窓Ｂの部分の輝度の変化を監視する。そして、歩行者Ｐが最初に出現した一方の足を軸にして他方の足を前に出すと、両検出窓Ｂはそれぞれ足の反射画像を確実に捕捉するように大きさ等が設定されているので、前に出された他方の足の反射画像の出現によって両検出窓Ｂのいずれかの輝度が前記しきい値以上に明るくなる（ここでは図３（ｃ）の○印を付した検出窓Ｂが明るくなる）。この検出窓Ｂの明るさの変化から、変化領域更新部６は、新たに出現した画像個所を変化領域Ａとして検出し、他方の足の反射画像が出現した検出窓Ｂを変化領域Ａに設定して変化領域Ａを更新する（図３（ｄ））。
【００２６】
さらに、検出窓設定部５により、更新された変化領域Ａの左右に検出窓Ｂを設定し（図３（ｄ））、変化領域更新部６は、その後のカメラ２の撮影画像に前記検出枠を重ねて左右の検出窓Ｂの部分の輝度の変化を監視する。そして、前進する歩行者Ｐが他方の足を軸にして一方の足を前に出すと、前に出された一方の足の反射画像の出現によって対応する検出窓Ｂ（ここでは右側の検出窓Ｂ）の輝度が前記しきい値以上に明るくなる（図３（ｄ）の○印を付した検出窓）。この検出窓Ｂの明るさの変化から、変化領域更新部６は、新たに出現した画像個所を変化領域Ａとして検出し、一方の足の反射画像が出現した検出窓Ｂを変化領域Ａに設定して変化領域Ａを更新し、検出窓設定部５がその左右に検出窓Ｂを設定する（図３（ｅ））。そして、変化領域更新部６により、その後のカメラ２の撮影画像に前記検出枠を重ねて左右の検出窓Ｂの部分の輝度の変化を監視し、つぎに前に出された他方の足の反射画像の出現を検出し（図３（ｅ））、変化領域Ａを更新する。
【００２７】
同様のくり返しにより、車両１に向かって前進する歩行者Ｐについては、左右の足が交互に前に移動してその部分が明るくなることから、図３（ｂ）〜（ｅ）からも明らかなように、設定された変化領域Ａの左右の検出窓Ｂに交互に新たな足の出現が検出される。換言すれば、左右の検出窓Ｂのいずれか一方に新たな足の出現を検出することで、歩行者Ｐ特有の動きを検出できる。
【００２８】
なお、歩行者Ｐでなく、対向車や看板等であれば、前記した左右の足が交互に前に移動してその部分が明るくなる現象は発生せず、変化領域Ａが全く検出されないか、検出されてもその左右の検出窓Ｂに新たな変化領域Ａが検出されることはない。
【００２９】
そして、図１の歩行者検出部７は、変化領域更新部６の新たな足の反射画像の出現の検出および、それに伴う変化領域Ａの更新から、前記した歩行者Ｐ特有の動きを検出して歩行者Ｐを精度よく検出する。さらに、図１の報知部８は歩行者検出部７の検出結果に基づいて歩行者Ｐの存在を警報音や表示で報知し、ドライバに注意喚起する。
【００３０】
図４は変化領域初期検出部４、検出窓設定部５、変化領域更新部６、歩行者検出部７による上記した歩行者検出の手順の概略を示し、撮影画像に新たな画像個所が出現すると、それを変化領域Ａとして初期検出し（ステップＳ１のＹＥＳ）、その左右に検出窓Ｂを設定し（ステップＳ２）、いずれかの検出窓Ｂに新たな画像個所が出現すると（ステップＳ３のＹＥＳ）、その画像個所を変化領域Ａに更新し（ステップＳ４）、そのくり返しから歩行者Ｐ特有の動きを検出すると、ステップＳ５をＹＥＳで通過して歩行者Ｐの検出を報知する（ステップＳ６）。なお、ステップＳ３において、いずれかの検出窓Ｂに新たな画像個所が出現しないか、両方の検出窓Ｂに画像個所が出現するときは、ステップＳ３をＮＯで通過してステップＳ１に戻り、ステップＳ５において、歩行者Ｐを検出しなければステップＳ５をＮＯで通過してステップＳ１に戻る。
【００３１】
つぎに、歩行者Ｐが車両１の前方を横切る場合も、前記と同様にして歩行者Ｐの検出が行なえる。
【００３２】
図５（ａ）は夜間等に矢印線ｃに示すように前進する車両１の前方を、矢印線ｄに示すように右から左に歩行者Ｐが歩いて横切る状況を模式し、この場合、歩行者Ｐの脚部に注目すると、車両１と歩行者Ｐとがある距離まで近づき、歩行者Ｐの前に出した一方の足（ここでは左足とする）がヘッドライト３の照射範囲内に入ることにより、図５（ｂ）に示すように、カメラ２の撮影画像に突然歩行者Ｐの一方の足（○印の右足ｌ）が反射光の画像として出現して変化領域Ａが初期設定される。つぎに、図５（ｃ）に示すように前に出した他方の足（ここでは●印の右足ｒ）が撮影画像に出現して変化領域Ａの左右に設定された検出窓Ｂのいずれか一方、すなわち歩行者Ｐが前進する方向の検出窓Ｂに他方の足の明るい反射光の画像が出現する（図５（ｃ）の○印を付した検出窓）。以降、図５（ｄ）、（ｅ）に示すように、以降、一方の足と他方の足とが交互に前に移動して歩行者Ｐが車両１の前を横切ることにより、変化領域Ａとその左右の検出窓Ｂが形成する検出枠は歩行者Ｐの動きにしたがって右から左に移動し、必ず、歩行者Ｐが前進する方向の検出窓Ｂに新たな足の明るい反射光の画像位置が出現する。なお、図５（ｂ）〜（ｅ）のｔｎ〜ｔｎ＋３は新たな足の出現が検出された時間順の各フィールドを示す。
【００３３】
したがって、歩行者Ｐが車両１の前方を横切るとににも、変化領域初期検出部４、検出窓設定部５、変化領域更新部６、歩行者検出部７の構成により、設定された変化領域Ａの左右の検出窓Ｂのいずれか一方に新たな足の出現を検出することで、歩行者Ｐ特有の動きを検出して歩行者Ｐを精度よく認識できる。
【００３４】
以上のように、本実施形態の場合は、車両１に搭載したカメラ２の時間が前後する車両周囲の撮影画像の差から歩行者Ｐを検出するため、可視光領域の安価なカメラを用いることができ、安価（低コスト）な構成で歩行者Ｐを検出できる。その際、歩行者Ｐの脚部に注目すると、変化領域初期検出部４、検出窓設定部５、変化領域更新部６、歩行者検出部７の構成により、変化領域Ａの左右両側の検出窓Ｂのいずれか一方（片側）に新たな画像個所が出現することのくり返しから、横断歩道の有無等にかかわらず、左右の足を交互に前方に出すという歩行者特有の動きを検知して歩行者Ｐを精度よく検出することができる。
【００３５】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、歩行者Ｐの脚部の動きに代えて腕部の動きを検出監視し、左右の腕が交互に前に移動することから、設定された変化領域の左右の検出窓のいずれか一方に新たな腕の出現を検出することで、前記実施形態の場合と同様にして歩行者特有の動きを検出し、歩行者を精度よく認識することも可能である。なお、脚部と腕部とは、撮影画像上での検出位置の上下や明るくなる部分の形状や面積等に基づき、例えば図１の変化領域初期検出部４、変化領域更新部６により区別して検出できる。
【００３６】
また、歩行によって歩行者Ｐの頭部が上下動し、少なくともその上端がヘッドライトの照射範囲の上端より上下に移動することから、カメラの撮影画像に出現した上端の画像個所を変化領域として初期検出し、その周辺に複数の検出窓を初期設定し、頭部の動きにしたがって各検出窓のいずれかに新たに出現した画像個所を変化領域として検出して更新し、その後に得られる撮影画像の更新した前記変化領域の周辺に前記各検出窓を設定することをくり返し、前記各検出窓のいずれかに新たな画像個所が出現することのくり返しから歩行者特有の動きを検知して歩行者を精度よく検出するようにしてもよい。
【００３７】
つぎに、本発明は、ヘッドライトをカメラ撮影の照明に利用する夜間の歩行者検出に適用することで、撮影画像に不要な画像（ノイズ画像）が含まれず、検出精度が極めて向上する利点があるが、カメラ撮影に照明が不要な昼間等の歩行者検出にも適用できるのは勿論である。
【００３８】
つぎに、カメラ２は車両１の後部に自車後方を撮影するように搭載されていてもよく、この場合、夜間の歩行者検出に適用するのであれば、カメラ２とともにその照明用の光源も車両１に搭載される。
【００３９】
つぎに、変化領域初期検出部４、検出窓設定部５、変化領域更新部６、歩行者検出部７等の構成はどのようであってもよく、報知部８の報知手法もどのようであってもよい。さらに、歩行者検出部７の歩行者Ｐの検出に基づき、歩行者Ｐを回避するように車両１の走行を自動制御するようにしてもよい。
【００４０】
そして、本発明は、種々の車両の歩行者の検出に適用することができる。
【符号の説明】
【００４１】
１ 車両
２ カメラ
４ 変化領域初期検出部
５ 検出窓設定部
６ 変化領域更新部
７ 歩行者検出部
Ａ 変化領域
Ｂ 検出窓
Ｐ 歩行者
【技術分野】
【０００１】
この発明は、車両に搭載したカメラの車両周囲（例えば前方）の撮影画像から歩行者を検出する歩行者検出装置に関し、詳しくは、安価に検出精度を向上する。
【背景技術】
【０００２】
一般に、車両（自動車）のヘッドライトの有効な照明範囲には限りがあり、その範囲が天候等にも左右されることから、車両の夜間走行等においては、ヘッドライトに照らされた歩行者の視認が容易でなく、歩行者が突然出現して接近したり横切ったりする可能性がある。
【０００３】
このような場合の安全走行を図るため、従来、車両に赤外線カメラを搭載し、歩行者が発する赤外線を検出して歩行者を検出することが考えられているが、赤外線カメラは高価であり、車両コストが大幅にアップする。
【０００４】
そこで、車両に通常のＣＣＤ単眼カメラのような可視光領域で使用可能な安価なカメラを搭載し、このカメラが撮影する車両前方の前後する２フレームの撮影画像の差から移動する縦長の画像を歩行者（人）として検出することが提案されている（例えば、特許文献１（段落［０００３］−［０００６］、［０００９］−［００１２］、図１等）参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３１２３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の検出装置の場合、安価な可視光領域のカメラを用いることができるので低コストではあるが、縦長の画像は歩行者（人）でない場合もあり、逆に、例えば歩行者の足先だけがヘッドライトに照らされるような場合には歩行者であっても縦長の画像になるとは限らない。そのため、歩行者の検出精度が低く、とくに横断歩道以外では、路側の看板や標識等の縦長の画像となるものが多数存在し、それらと区別して歩行者を検出することは容易でない。
【０００７】
本発明は、車両に搭載したカメラとして可視光領域の安価なカメラを用いることができる安価（低コスト）な構成により、横断歩道以外であっても歩行者を精度よく検出することを目的とする。
【課題を解決するための手段】
【０００８】
上記した目的を達成するために、本発明の歩行者検出装置は、車両に搭載したカメラの車両周囲の撮影画像から歩行者を検出する歩行者検出装置であって、前記カメラの撮影画像に出現した画像個所を変化領域として初期検出し、その後に得られる撮影画像の前記変化領域の周辺に複数の検出窓を初期設定する初期設定手段と、前記各検出窓のいずれかに新たに出現した画像個所を前記変化領域として検出して前記変化領域を更新し、その後に得られる撮影画像の更新した前記変化領域の周辺に前記各検出窓を設定することをくり返し、前記各検出窓のいずれかに新たな画像個所が出現することのくり返しから歩行者特有の動きを検知して歩行者を検出する検出手段とを備えたことを特徴としている（請求項１）。
【発明の効果】
【０００９】
請求項１に記載の発明によれば、車両に搭載したカメラの時間が前後する車両周囲の撮影画像の差から歩行者を検出するため、可視光領域の安価なカメラを用いることができ、安価（低コスト）な構成である。
【００１０】
そして、例えば歩行者の脚部に注目すると、左足と右足は交互に前（進む方向）に移動し、夜間等において歩行者が前進して車両に接近する場合、前側に移動した左足又は右足（一方の足）が突然車両のヘッドライトに照らさて撮影画像に出現する。
【００１１】
さらに、歩行者は、一方の足を軸足として他方の足（右足又は左足）を前に移動して前進し、その後、一方の足と他方の足を交互に前方に移動する。そのため、カメラの撮影画像に新たに出現する前方の足は、一方の足と他方の足とに交互に変化する。
【００１２】
そして、初期設定手段により、最初に出現した一方の足、例えば左足の画像個所を変化領域として初期検出し、その周辺である変化領域の左右両側に検出窓を初期設定すると、その後の撮影画像の右側の検出窓に他方の足である右足が出現する。
【００１３】
さらに、検出手段により、変化領域を、出現した右足の画像個所に変更し、変更した変化領域の左右両側に検出窓を設定すると、その後の撮影画像の左側の検出窓に左足が出現し、変化領域を、出現した左足の画像個所に再変更し、再変更した変化領域の左右両側に検出窓を設定すると、その後の撮影画像の右側の検出窓に右足が出現し、左右の足を交互に前に出すという歩行者特有の動きに基づき、以降同様にして、変更した変化領域の左右両側の検出窓に交互に新たな前側の足が出現し、必ず、変化領域の左右両側の検出窓のいずれか一方（片側）に新たな画像個所が出現する。
【００１４】
また、歩行者が前進して車両の前方を左右方向に横断する場合は、左右の足を交互に前方に出すという歩行者特有の動きに基づいて歩行者が前進して横断すると、撮影画像上では移動方向に進むように歩行者の左足と右足が交互に出現する。そして、出現した足の画像個所を変化領域として検出・更新するとともに、変化領域の左右両側に検出窓を設定すると、その後の画像には前方に出した足が移動方向側の検出窓に出現する。そのため、この場合も、必ず、変化領域の左右両側の検出窓のいずれか一方（片側）に新たな画像個所が出現する。
【００１５】
なお、左右の足を交互に前に出す動きをしない車両や路側の標識・看板等の障害物であれば、撮影画像に少しずつ大きくなる同じ画像が出現するだけなので、変化領域や検出窓を設定することができず、変化領域の左右両側の検出窓のいずれか一方（片側）に新たな画像個所が出現するようなことはない。
【００１６】
したがって、検出手段は、例えば歩行者の脚部に注目すると、変化領域の左右両側の検出窓のいずれか一方（片側）に新たな画像個所が出現することのくり返しから、横断歩道の有無等にかかわらず、左右の足を交互に前方に出すという歩行者特有の動きを検知して歩行者を精度よく検出することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の歩行者検出装置の一実施形態のブロック図である。
【図２】歩行者の撮影例の説明図である。
【図３】車両に向かって前進する歩行者の検出の説明図である。
【図４】図１の歩行者検出装置の動作説明用のフローチャートである。
【図５】車両の前を横切って前進する歩行者の検出の説明図である。
【発明を実施するための形態】
【００１８】
本発明の一実施形態について、図１〜図５を参照して説明する。
【００１９】
図１は車両１が備える本発明の歩行者検出装置の一例の構成を示し、車両１は、車両周囲の撮影画像として例えば１／３０秒のフレーム周期で撮影した自車前方の撮影画像を出力するカメラ２が搭載される。カメラ２は安価な可視光領域の撮影用のカメラであり、具体的にはモノクロ又はカラーの単眼ＣＣＤカメラである。
【００２０】
３は夜間等にドライバの操作によって又は自動的に点灯する車両１のヘッドライト（前照灯）であり、車両１の前部左右に設けられて車両１の前方を照らし、カメラ２の照明光源も兼ねる。図２は矢印線ａの方向に走行する車両１のヘッドライト３の前方照射例を示し、図中の２点破線はヘッドライト３の左右の照射範囲であり、Ｐは矢印線ｂに示すように前進する前方の歩行者である。この場合、歩行者Ｐのヘッドライト３の照射範囲より遠くにある部分は、図中の斜線に示すように暗く、カメラ２では撮影されない。一方、歩行者Ｐのヘッドライト３の照射範囲内の部分はカメラ２で撮影され、その際、車両１に近い部分程、明るく（高輝度に）撮影される。
【００２１】
歩行者Ｐは、左右の両足を交互に前に出して前進（歩行）し、その際、両手も両足とは逆に交互に前後する。また、頭部は上下に変動する。これらの動きが歩行者特有の動きである。
【００２２】
図３（ａ）は図２に示したように夜間等に歩行者Ｐが前進し、車両１に歩行者Ｐが前方から近づく状況を横から眺めた模式図であり、この場合、歩行者Ｐの脚部に注目すると、車両１と歩行者Ｐとがある距離まで近づき、歩行者Ｐの前に出した一方の足（ここでは右足とする）がヘッドライト３の照射範囲内に入ることにより、図３（ｂ）に示すように、カメラ２の撮影画像に突然歩行者Ｐの一方の足（○印の左足ｌ）が反射光の画像として出現し、つぎに、図３（ｃ）に示すように前に出した他方の足（ここでは●印の右足ｒ）が一方の足より明るい反射光の画像として撮影画像に出現し、以降、図３（ｄ）、（ｅ）に示すように、一方の足と他方の足とが交互に前になってより明るい反射光の画像として撮影画像に出現する。この現象は歩行者Ｐの腕部に注目した場合には左右の両手について同様に出現する。また、頭部については、歩行者Ｐが歩行すると、頭部が上下動して少なくともその上端がヘッドライト３の照射範囲の上端より上下に移動して撮影画像に周期的に出現する。
【００２３】
図１の４、５、６、７はマイクロコンピュータのプログラム（ソフトウェア処理）によって形成される変化領域初期検出部、検出窓設定部、変化領域更新部、歩行者検出部であり、変化領域初期検出部４は本発明の初期設定手段を形成し、検出窓設定部５、変化領域更新部６、歩行者検出部７が本発明の検出手段を形成する。
【００２４】
そして、歩行者Ｐの脚部に注目すると、変化領域初期検出部４は、カメラ２の撮影画像の各部の輝度が一定値以下であれば、カメラ２の毎フレームの撮影画像の輝度の差をくり返し演算する。このとき、歩行者Ｐが前に出しつつある一方の足が前記照射範囲に入ると、時間が前後する時系列の複数フレームの撮影画像は前記一方の足の反射によって明るくなる部分が次第に大きくなり、前記一方の足が着地して最も前に出たときに極大になる。変化領域検出部４は、前記極大になる大きさを予想して設定された基準面積以上の大きさの部分の輝度がしきい値以上になると、それを歩行者Ｐの新たな足の画像個所の出現ととらえ、その画像個所を予め設定された矩形や円形の変化領域Ａとして初期検出する図３（ｂ）。検出窓設定部５は、初期検出された変化領域Ａの周辺である変化領域Ａの左右に、予め設定された大きさの矩形や円形の検出窓Ｂを初期設定し、変化領域Ａとその左右の検出窓Ｂで構成された検出枠を形成する（図３（ｃ））。なお、図３（ｂ）〜（ｅ）のｔｎ〜ｔｎ＋３は新たな足の出現が検出された時間順の各フィールドを示す。
【００２５】
変化領域更新部６は、その後のカメラ２の撮影画像に前記検出枠を重ねて左右の検出窓Ｂの部分の輝度の変化を監視する。そして、歩行者Ｐが最初に出現した一方の足を軸にして他方の足を前に出すと、両検出窓Ｂはそれぞれ足の反射画像を確実に捕捉するように大きさ等が設定されているので、前に出された他方の足の反射画像の出現によって両検出窓Ｂのいずれかの輝度が前記しきい値以上に明るくなる（ここでは図３（ｃ）の○印を付した検出窓Ｂが明るくなる）。この検出窓Ｂの明るさの変化から、変化領域更新部６は、新たに出現した画像個所を変化領域Ａとして検出し、他方の足の反射画像が出現した検出窓Ｂを変化領域Ａに設定して変化領域Ａを更新する（図３（ｄ））。
【００２６】
さらに、検出窓設定部５により、更新された変化領域Ａの左右に検出窓Ｂを設定し（図３（ｄ））、変化領域更新部６は、その後のカメラ２の撮影画像に前記検出枠を重ねて左右の検出窓Ｂの部分の輝度の変化を監視する。そして、前進する歩行者Ｐが他方の足を軸にして一方の足を前に出すと、前に出された一方の足の反射画像の出現によって対応する検出窓Ｂ（ここでは右側の検出窓Ｂ）の輝度が前記しきい値以上に明るくなる（図３（ｄ）の○印を付した検出窓）。この検出窓Ｂの明るさの変化から、変化領域更新部６は、新たに出現した画像個所を変化領域Ａとして検出し、一方の足の反射画像が出現した検出窓Ｂを変化領域Ａに設定して変化領域Ａを更新し、検出窓設定部５がその左右に検出窓Ｂを設定する（図３（ｅ））。そして、変化領域更新部６により、その後のカメラ２の撮影画像に前記検出枠を重ねて左右の検出窓Ｂの部分の輝度の変化を監視し、つぎに前に出された他方の足の反射画像の出現を検出し（図３（ｅ））、変化領域Ａを更新する。
【００２７】
同様のくり返しにより、車両１に向かって前進する歩行者Ｐについては、左右の足が交互に前に移動してその部分が明るくなることから、図３（ｂ）〜（ｅ）からも明らかなように、設定された変化領域Ａの左右の検出窓Ｂに交互に新たな足の出現が検出される。換言すれば、左右の検出窓Ｂのいずれか一方に新たな足の出現を検出することで、歩行者Ｐ特有の動きを検出できる。
【００２８】
なお、歩行者Ｐでなく、対向車や看板等であれば、前記した左右の足が交互に前に移動してその部分が明るくなる現象は発生せず、変化領域Ａが全く検出されないか、検出されてもその左右の検出窓Ｂに新たな変化領域Ａが検出されることはない。
【００２９】
そして、図１の歩行者検出部７は、変化領域更新部６の新たな足の反射画像の出現の検出および、それに伴う変化領域Ａの更新から、前記した歩行者Ｐ特有の動きを検出して歩行者Ｐを精度よく検出する。さらに、図１の報知部８は歩行者検出部７の検出結果に基づいて歩行者Ｐの存在を警報音や表示で報知し、ドライバに注意喚起する。
【００３０】
図４は変化領域初期検出部４、検出窓設定部５、変化領域更新部６、歩行者検出部７による上記した歩行者検出の手順の概略を示し、撮影画像に新たな画像個所が出現すると、それを変化領域Ａとして初期検出し（ステップＳ１のＹＥＳ）、その左右に検出窓Ｂを設定し（ステップＳ２）、いずれかの検出窓Ｂに新たな画像個所が出現すると（ステップＳ３のＹＥＳ）、その画像個所を変化領域Ａに更新し（ステップＳ４）、そのくり返しから歩行者Ｐ特有の動きを検出すると、ステップＳ５をＹＥＳで通過して歩行者Ｐの検出を報知する（ステップＳ６）。なお、ステップＳ３において、いずれかの検出窓Ｂに新たな画像個所が出現しないか、両方の検出窓Ｂに画像個所が出現するときは、ステップＳ３をＮＯで通過してステップＳ１に戻り、ステップＳ５において、歩行者Ｐを検出しなければステップＳ５をＮＯで通過してステップＳ１に戻る。
【００３１】
つぎに、歩行者Ｐが車両１の前方を横切る場合も、前記と同様にして歩行者Ｐの検出が行なえる。
【００３２】
図５（ａ）は夜間等に矢印線ｃに示すように前進する車両１の前方を、矢印線ｄに示すように右から左に歩行者Ｐが歩いて横切る状況を模式し、この場合、歩行者Ｐの脚部に注目すると、車両１と歩行者Ｐとがある距離まで近づき、歩行者Ｐの前に出した一方の足（ここでは左足とする）がヘッドライト３の照射範囲内に入ることにより、図５（ｂ）に示すように、カメラ２の撮影画像に突然歩行者Ｐの一方の足（○印の右足ｌ）が反射光の画像として出現して変化領域Ａが初期設定される。つぎに、図５（ｃ）に示すように前に出した他方の足（ここでは●印の右足ｒ）が撮影画像に出現して変化領域Ａの左右に設定された検出窓Ｂのいずれか一方、すなわち歩行者Ｐが前進する方向の検出窓Ｂに他方の足の明るい反射光の画像が出現する（図５（ｃ）の○印を付した検出窓）。以降、図５（ｄ）、（ｅ）に示すように、以降、一方の足と他方の足とが交互に前に移動して歩行者Ｐが車両１の前を横切ることにより、変化領域Ａとその左右の検出窓Ｂが形成する検出枠は歩行者Ｐの動きにしたがって右から左に移動し、必ず、歩行者Ｐが前進する方向の検出窓Ｂに新たな足の明るい反射光の画像位置が出現する。なお、図５（ｂ）〜（ｅ）のｔｎ〜ｔｎ＋３は新たな足の出現が検出された時間順の各フィールドを示す。
【００３３】
したがって、歩行者Ｐが車両１の前方を横切るとににも、変化領域初期検出部４、検出窓設定部５、変化領域更新部６、歩行者検出部７の構成により、設定された変化領域Ａの左右の検出窓Ｂのいずれか一方に新たな足の出現を検出することで、歩行者Ｐ特有の動きを検出して歩行者Ｐを精度よく認識できる。
【００３４】
以上のように、本実施形態の場合は、車両１に搭載したカメラ２の時間が前後する車両周囲の撮影画像の差から歩行者Ｐを検出するため、可視光領域の安価なカメラを用いることができ、安価（低コスト）な構成で歩行者Ｐを検出できる。その際、歩行者Ｐの脚部に注目すると、変化領域初期検出部４、検出窓設定部５、変化領域更新部６、歩行者検出部７の構成により、変化領域Ａの左右両側の検出窓Ｂのいずれか一方（片側）に新たな画像個所が出現することのくり返しから、横断歩道の有無等にかかわらず、左右の足を交互に前方に出すという歩行者特有の動きを検知して歩行者Ｐを精度よく検出することができる。
【００３５】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、歩行者Ｐの脚部の動きに代えて腕部の動きを検出監視し、左右の腕が交互に前に移動することから、設定された変化領域の左右の検出窓のいずれか一方に新たな腕の出現を検出することで、前記実施形態の場合と同様にして歩行者特有の動きを検出し、歩行者を精度よく認識することも可能である。なお、脚部と腕部とは、撮影画像上での検出位置の上下や明るくなる部分の形状や面積等に基づき、例えば図１の変化領域初期検出部４、変化領域更新部６により区別して検出できる。
【００３６】
また、歩行によって歩行者Ｐの頭部が上下動し、少なくともその上端がヘッドライトの照射範囲の上端より上下に移動することから、カメラの撮影画像に出現した上端の画像個所を変化領域として初期検出し、その周辺に複数の検出窓を初期設定し、頭部の動きにしたがって各検出窓のいずれかに新たに出現した画像個所を変化領域として検出して更新し、その後に得られる撮影画像の更新した前記変化領域の周辺に前記各検出窓を設定することをくり返し、前記各検出窓のいずれかに新たな画像個所が出現することのくり返しから歩行者特有の動きを検知して歩行者を精度よく検出するようにしてもよい。
【００３７】
つぎに、本発明は、ヘッドライトをカメラ撮影の照明に利用する夜間の歩行者検出に適用することで、撮影画像に不要な画像（ノイズ画像）が含まれず、検出精度が極めて向上する利点があるが、カメラ撮影に照明が不要な昼間等の歩行者検出にも適用できるのは勿論である。
【００３８】
つぎに、カメラ２は車両１の後部に自車後方を撮影するように搭載されていてもよく、この場合、夜間の歩行者検出に適用するのであれば、カメラ２とともにその照明用の光源も車両１に搭載される。
【００３９】
つぎに、変化領域初期検出部４、検出窓設定部５、変化領域更新部６、歩行者検出部７等の構成はどのようであってもよく、報知部８の報知手法もどのようであってもよい。さらに、歩行者検出部７の歩行者Ｐの検出に基づき、歩行者Ｐを回避するように車両１の走行を自動制御するようにしてもよい。
【００４０】
そして、本発明は、種々の車両の歩行者の検出に適用することができる。
【符号の説明】
【００４１】
１ 車両
２ カメラ
４ 変化領域初期検出部
５ 検出窓設定部
６ 変化領域更新部
７ 歩行者検出部
Ａ 変化領域
Ｂ 検出窓
Ｐ 歩行者
【特許請求の範囲】
【請求項１】
車両に搭載したカメラの車両周囲の撮影画像から歩行者を検出する歩行者検出装置であって、
前記カメラの撮影画像に出現した画像個所を変化領域として初期検出し、その後に得られる撮影画像の前記変化領域の周辺に複数の検出窓を初期設定する初期設定手段と、
前記各検出窓のいずれかに新たに出現した画像個所を前記変化領域として検出して前記変化領域を更新し、その後に得られる撮影画像の更新した前記変化領域の周辺に前記各検出窓を設定することをくり返し、前記各検出窓のいずれかに新たな画像個所が出現することのくり返しから歩行者特有の動きを検知して歩行者を検出する検出手段とを備えたことを特徴とする歩行者検出装置。
【請求項１】
車両に搭載したカメラの車両周囲の撮影画像から歩行者を検出する歩行者検出装置であって、
前記カメラの撮影画像に出現した画像個所を変化領域として初期検出し、その後に得られる撮影画像の前記変化領域の周辺に複数の検出窓を初期設定する初期設定手段と、
前記各検出窓のいずれかに新たに出現した画像個所を前記変化領域として検出して前記変化領域を更新し、その後に得られる撮影画像の更新した前記変化領域の周辺に前記各検出窓を設定することをくり返し、前記各検出窓のいずれかに新たな画像個所が出現することのくり返しから歩行者特有の動きを検知して歩行者を検出する検出手段とを備えたことを特徴とする歩行者検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−７３８２３（Ｐ２０１２−７３８２３Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１８２０６（Ｐ２０１０−２１８２０６）
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（０００００２９６７）ダイハツ工業株式会社 (2,560)
【Ｆターム（参考）】
[ Back to top ]