人物検出装置及び方法
【課題】 自車両に対する他車両の向きや、他車両の形状に拘わらず、確実に他車両と人物とを区別することができる人物検出装置及び方法を提供する。
【解決手段】 物体の温度に相当する輝度値の画素からなる熱画像を撮像した場合に（Ｓ１，Ｓ２）、人物検出用の温度しきい値の設定（Ｓ３Ａ）、２値化画像の作成（Ｓ４Ａ）及びラベリング処理（Ｓ５Ａ）を行って人物のラベルを作成すると共に、高温領域検出用の温度しきい値の設定（Ｓ３Ｂ）、２値化画像の作成（Ｓ４Ｂ）及びラベリング処理（Ｓ５Ｂ）を行って車両のマフラー等の高温領域のラベルを作成する。そして、人物のラベルのうち、高温領域のラベルを含むものを除去して（Ｓ６）、除去後の人物のラベルを使用してグループ化（Ｓ７）、人物判定（Ｓ８）を行う。
【解決手段】 物体の温度に相当する輝度値の画素からなる熱画像を撮像した場合に（Ｓ１，Ｓ２）、人物検出用の温度しきい値の設定（Ｓ３Ａ）、２値化画像の作成（Ｓ４Ａ）及びラベリング処理（Ｓ５Ａ）を行って人物のラベルを作成すると共に、高温領域検出用の温度しきい値の設定（Ｓ３Ｂ）、２値化画像の作成（Ｓ４Ｂ）及びラベリング処理（Ｓ５Ｂ）を行って車両のマフラー等の高温領域のラベルを作成する。そして、人物のラベルのうち、高温領域のラベルを含むものを除去して（Ｓ６）、除去後の人物のラベルを使用してグループ化（Ｓ７）、人物判定（Ｓ８）を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば自車両周囲に存在する物体のうち、他車両と人物とを区別して検出して、運転者等に提示するための人物検出装置及び方法に関する。
【背景技術】
【０００２】
従来より、例えば車両の進行方向に存在する障害物として人物を検出するために、赤外線カメラによって、温度に相当する値を計測した結果を輝度におきかえた赤外線画像を撮像して、当該赤外線画像から人物を特定する技術としては、下記の特許文献１に記載された技術が知られている。
【０００３】
この特許文献１に記載された技術では、２値化処理によって高温領域を検出し、ステレオ画像処理を行うことによって、当該高温領域から自車両までの距離を計測し、画像内において左右対称且つ同じ距離及び大きさの高温領域が対で存在するか否かを判定する。そして、左右対称、同距離、の高温領域の対が存在すると判定した場合には、自車両の前方に他車両が存在し、存在しないと判定した場合には、自車両の前方に人物が存在することを判定することによって、他車両と人物とを区別している。
【特許文献１】特開２００３−２３０１３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載された技術では、車両の背面が左右対称な形状をしていることを前提としているため、走行中に後続車両が先行車の背面を撮像している場合には、先行車両が人物であるとの誤検出を防止することはできるが、先行車両が右左折する場合のように後続車両に対して斜め方向に走行している場合や、自車両前方を横切るような横向きの車両が存在する場合には、高温領域が他車両であることの判定ができない。
【０００５】
また、上述した特許文献１に記載された技術では、二輪車を始めとする、左右対称の形状となっていない車両と人物とを区別することができないという問題がある。
【０００６】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、自車両に対する他車両の向きや、他車両の形状に拘わらず、確実に他車両と人物とを区別することができる人物検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明では、物体の温度に相当する輝度値の画素からなる熱画像を撮像し、熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した人物検出用の２値化画像を作成し、人物検出用の２値化画像を参照して、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出し、検出された領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化し、グループ化されてなる人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定する。
【０００８】
そして、本発明では、撮像された熱画像のうち、人物の温度よりも高い高温領域を除いて、人物判定の処理対象とすることにより、明らかに人物ではない輝度値の画素を人物検出の対象から除去することができる。
【発明の効果】
【０００９】
本発明によれば、撮像された熱画像のうち、人物の温度よりも高い高温領域を除いて、人物判定の処理対象とすることにより、明らかに人物ではない輝度値の画素を人物検出の対象から除去することができるので、高温領域が検出されていれば確実に他車両と人物とを区別することができ、自車両に対する他車両の向きや他車両の形状に拘わらず、確実に人物以外であることの判定をすることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。
【００１１】
［第１実施形態］
本発明は、例えば図１に示すように、自車両１の進行方向である前方が撮像範囲とされた遠赤外線カメラ１０（撮像手段）によって撮像された熱画像を用いて、人物を検出する人物検出装置２０に適用される。なお、図１（ａ）は、自車両１を側方から見た場合の遠赤外線カメラ１０の光軸を示し、図１（ｂ）は、自車両１を上方から見た場合の遠赤外線カメラ１０の光軸及び基準座標系を示している。この座標系は、横軸をＸ、縦軸をＹとし、左上画素を原点として画像内の画素位置を示す座標を求めることが可能となっている。
【００１２】
遠赤外線カメラ１０は、例えば車両のインストルメントパネルや、室内ミラー付近に設けられ、車両の前方を撮像範囲としている。この遠赤外線カメラ１０は、物体の温度値が高い部分ほど、高い輝度値となる熱画像データを生成して、人物検出装置２０に出力する。したがって、熱画像データの輝度値は、車両前方に存在する物体の温度に相当する値となる。
【００１３】
人物検出装置２０は、図２に示すようなステップＳ１〜ステップＳ９に示すような処理を行うための構成として、遠赤外線カメラ１０からの熱画像データを入力する入力Ｉ／Ｆ、画像メモリ、及び後述の各種処理の内容を記述したプログラム、当該プログラムを実行するＣＰＵ等からなる。
【００１４】
すなわち、この人物検出装置２０は、ステップＳ１で遠赤外線カメラ１０からの熱画像データを入力する入力Ｉ／Ｆ、ステップＳ２において熱画像データを記憶する画像メモリ、ステップＳ３において人物検出用及び高温領域検出用の温度しきい値を設定する温度しきい値設定部、ステップＳ４においてそれぞれの温度しきい値を用いて２値化処理を行う２値化処理部（人物検出用の２値化処理手段、高温領域検出用の２値化処理手段）、ステップＳ５において２つのそれぞれの２値化画像を用いてラベリング処理を行うラベリング処理部（人物検出用の領域検出手段、高温領域検出用の領域検出手段）、ステップＳ６において高温領域近傍を除去してグループ化を行う対象となる領域（ラベル）を検出するグループ化対象領域検出部（高温領域除去手段）、ステップＳ７においてグループ化を行って人物候補領域を検出するグループ化処理部（グループ化手段）、ステップＳ８において人物判定を行う人物判定部（人物判定手段）を有する。
【００１５】
このような人物検出装置２０は、先ず入力Ｉ／Ｆにより、遠赤外線カメラ１０からの熱画像データを入力すると（ステップＳ１）、当該熱画像データを画像メモリに保存する（ステップＳ２）。
【００１６】
次に人物検出装置２０は、ステップＳ２で画像メモリに記憶した熱画像内の人物についてのラベルを検出するための処理として、温度しきい値設定処理（ステップＳ３Ａ）、２値化処理（ステップＳ４Ａ）及びラベリング処理（ステップＳ５Ａ）を行うと共に、人物に相当する温度よりも高い温度を有する熱画像内の高温物体についてのラベルを検出するための処理として、温度しきい値設定処理（ステップＳ３Ｂ）、２値化処理（ステップＳ４Ｂ）及びラベリング処理（ステップＳ５Ｂ）を行う。
【００１７】
人物についてのラベルを検出するに際して、先ずステップＳ３Ａにおいて、温度しきい値設定部では、熱画像を撮像した日の天候や気温に基づき、人物を検出するのに適した上下のしきい値を設定する。遠赤外線カメラ１０で撮像された熱画像データの輝度値は、遠赤外線カメラ１０の撮像範囲内における温度値に相当する。また、人物の温度である皮膚温度は通常３６℃前後であり、熱画像データにおいて、人物と自車両１との距離が小さい場合には人物の皮膚部分が３６℃に近い輝度値となるが、人物と自車両１との距離が大きくなるほど、温度検出をするための赤外線電位が減衰して、人物周囲の気温の影響を受けた輝度値となる。
【００１８】
このため、気温の高い日である場合には、２５℃〜３６℃程度を人物検出用の温度しきい値とし、気温の低い日である場合には、２０℃〜２８℃程度を人物検出用の温度しきい値とする。これにより、予め設定しておいた検出対象とする人物までの距離範囲と、天候等の環境とに基づいて、人物を撮像した場合に熱画像に現れる程度の人物検出用の温度しきい値を設定する。なお、人物検出用の温度しきい値としては、４５℃以上など、体温より明らかに高い温度を含まないように設定する。
【００１９】
これに対し、ステップＳ３Ｂにおいて、温度しきい値設定部は、車両のマフラーやライト部等の人物よりも温度の高い高温領域を検出するような温度しきい値を設定する。このとき、温度しきい値設定部は、例えば４０℃以上の領域を検出するように高温領域検出用の温度しきい値を設定する。
【００２０】
ここで、自車両１の進行方向に前方車両及び人物が存在する場合においては、遠赤外線カメラ１０によって図３（ａ）、（ｂ）に示すような熱画像が撮像される。この熱画像は、気温が体温より低い日（例えば１０℃〜２０℃程度）において撮像され、人物、前方車両、路面、壁などが含まれており、温度が高い領域が淡い輝度となり、温度が低い部分が濃い輝度となる。また、壁や路面は、材質にもよるが気温とほぼ同程度の温度として検出され、人物は、距離に応じた赤外線の減衰のため、人物の体温そのものは距離が遠いと計測できないが皮膚が露出している顔部分や手足部分が体温の３６℃よりも少し低い温度として検出され、服装に覆われた胴体部分が手足部分等よりも少し低いが路面や壁等よりも少し高めの温度として検出される。また、前方車両は、ボディ部が日照時間や車内温度にもよるが路面や背景より多少高めの温度で検出され、ライトやマフラ等の車両内部ではなく車体表面近くに存在し且つ温度が高い部分において非常に高温度で検出される。このライトやマフラ等の高温領域は、図３（ｂ）に示すように、略中心部が人物よりも高い温度として検出され、当該略中心部の外側部分が人物程度の温度として検出されてしまう。
【００２１】
したがって、ステップＳ３Ａにおいて、後述の図４（ｂ）に示すような、少なくとも人物の頭部及び手足部分を検出する人物検出用の温度しきい値を設定し、ステップＳ３Ｂにおいて、後述の図４（ｄ）に示すような、人物検出用の温度しきい値とは重複しない範囲であって、高温領域を含むような高温領域検出用の温度しきい値を設定する。
【００２２】
ここで、比較的温度の低い日は、人物の胴体部分の服装の材質によって温度が様々となり、多くの場合は気温に近くなる。このため、人物部分だけを確実に抽出するためには、人物と確実と判断できる皮膚温度に近い温度を検出する温度範囲を人物検出用の温度しきい値とする。これに対し、胴体部分を含む人物全体を検出するための温度範囲を人物検出用の温度しきい値を設定すると、胴体部分が背景物体である路面や壁と近い温度となっている場合に、２値化によって人物のみならず、背景物体も検出してしまう。このように、胴体部分を除く人物部分を検出した場合には、後述のグループ化処理により、胴体部分を含まない２値化画像であっても人物の検出を可能とし、人物の頭部や脚部など一部のみを検出し、背景物体が検出されない人物検出用の温度しきい値としている。
【００２３】
次に、ステップＳ４Ａにおいて、人物検出装置２０は、２値化処理部により、温度しきい値設定部により設定された人物検出用の上限しきい値と下限しきい値との間の画素と、人物検出用の上限しきい値と下限しきい値との間以外の画素とで２値化を行う。これにより、人物検出装置２０は、人物相当の温度である輝度値を「１」とし、人物相当の温度ではない輝度値を「０」とした２値化画像を作成する。これに対し、ステップＳ４Ｂにおいて、人物検出装置２０は、２値化処理部により、温度しきい値設定部により設定された高温領域検出用の上限しきい値と下限しきい値との間の画素と、人物検出用の上限しきい値と下限しきい値との間以外の画素とで２値化を行う。
【００２４】
具体的には、図４（ａ）に示すような図３（ａ）と同様の熱画像を撮像し、ステップＳ３Ａで図４（ｂ）に示す人物検出用の温度しきい値、ステップＳ３Ｂで図４（ｄ）に示す高温領域検出用の温度しきい値を設定する。そして、図４（ａ）の熱画像を図４（ｂ）に示す人物検出用の温度しきい値で２値化した場合には、図４（ｃ）に示す２値化画像が得られ、人物の頭部、手足部分のみならず、前方車両の高温領域外側の部分を人物温度として検出してしまう。これに対し、図４（ａ）の熱画像を図４（ｄ）に示す高温領域検出用の温度しきい値で２値化した場合には、図４（ｅ）に示す２値化画像が得られ、前方車両のランプ部及びマフラー部の略中心位置を高温領域として検出する。
【００２５】
次のステップＳ５Ａ及びステップＳ５Ｂにおいて、人物検出装置２０は、ラベリング処理部により、２値化処理部により作成された２値化画像を用いて、輝度値が「１」の領域であって、画像内で人物に相当する領域を検出するラベリング処理を行う。このとき、ラベリング処理部は、例えば２値化画像の左上の画素から順に、輝度値が「１」の画素を検索し、輝度値が「１」の隣接する又は所定距離以内の画素同士を１つの領域（ラベル）とする。
【００２６】
ステップＳ５Ａにおいて、ラベリング処理部は、人物検出用の温度しきい値により得られた２値化画像（図４（ｃ）、図５（ａ））、すなわち人物の頭部、手、足とが分離し、高温領域外側の領域が存在する２値化画像に対してラベリング処理を行う。これにより、図５（ｂ）に示すように、頭部のラベルｄ、手のラベルｅ，ｈ、足のラベルｆ，ｇを抽出すると共に、他車両のランプ周辺のラベルａ，ｃと、マフラー部周辺のラベルｂを抽出する。
【００２７】
一方、ステップＳ５Ｂにおいて、ラベリング処理部は、高温領域検出用の温度しきい値により得られた２値化画像（図４（ｅ）、図５（ｃ））、すなわちランプ部の略中心位置と、マフラー部の略中心位置に相当する領域が存在する２値化画像に対してラベリング処理を行う。これにより、図５（ｄ）に示すように、ランプのラベルａ，ｃ、マフラー部のラベルｃを抽出する。
【００２８】
なお、図５（ｂ）、図５（ｄ）に示す画像は、後述のグループ化対象温度領域の検出処理において、例えば１画素や２画素程度の小さい領域をノイズとして除去した後のものである。
【００２９】
このように、人物検出装置２０は、人物のラベルを検出するステップＳ３Ａ〜ステップＳ５Ａの処理と、高温領域のラベルを検出するステップＳ３Ｂ〜ステップＳ５Ｂの処理とを並列して行うことによって、人物のラベルと車両のラベルとを別個に検出することができる。
【００３０】
次のステップＳ６において、グループ化対象領域検出部により、ラベリング処理部によって検出されたラベル領域のうち、所定の画像面積よりも小さいラベル領域を排除し、所定の画像面積以上のラベル領域のみを選択する（ステップＳ６）。ここで、所定の画像面積とは、自車両１からの人物検出対象距離以内に存在する人物を検出するように設定され、あまりに小さいラベル領域（例えば１〜２画素程度）をノイズとして排除すると共に、自車両１から離れていて自車両１の運転手に警報する必要がないようなラベル領域を排除するように設定されている。
【００３１】
また、人物検出装置２０は、ステップＳ５Ａ及びステップＳ５Ｂのラベリング処理部によって得られたラベルのうち、人物のグループ化の対象とならない高温領域周辺の温度によって検出されたラベルを除去して、グループ化の対象となるラベルのみとする。このとき、グループ化対象領域検出部は、図５（ｂ）に示すラベルａ〜ｈの検出位置（例えば中心位置）と、図５（ｄ）に示すラベルａ〜ｃの検出位置（例えば中心位置）とを比較し、図５（ｂ）に示すラベルのうち、検出位置が一致しているラベルを除去する。すなわち、図５（ｄ）に示すラベルが、図５（ｂ）に示すラベルに含まれている場合には、図５（ｂ）に示すラベルを除去する。ここで、図５（ｂ）に示すラベルａ，ｂ，ｃの検出位置と、図５（ｄ）に示すａ，ｂ，ｃの検出位置とが一致しているため、グループ化対象領域検出部は、図５（ｂ）のラベルａ〜ｈからラベルａ，ｂ，ｃを除いたラベルｄ，ｅ，ｆ，ｇ，ｈを残し、図５（ｅ）に示すような画像を作成する。ここで、図５（ｂ）のラベルａ，ｂ，ｃは、図４（ａ）におけるランプ及びマフラーによって検出されたラベルであって、略中心位置に人物温度よりも高い高温領域周囲の温度によって形成されたものである。
【００３２】
次のステップＳ７において、人物検出装置２０は、グループ化処理部により、ステップＳ６で人物の温度によって検出されたラベルをグループ化して、人物候補領域を検出するグループ化処理を行う。このとき、グループ化処理部は、グループ化対象領域検出部により選択されたラベル間の距離を検出し、図６に示すように、当該距離が、所定の距離しきい値内のラベル同士を同じグループとして設定するグループ化を行う。この所定の距離しきい値は、Ｙ軸方向（縦方向）の距離しきい値ｔｈｙと、Ｘ軸方向（横方向）の距離しきい値ｔｈｘとからなる。
【００３３】
ここで、人物検出装置２０の検出対象が人物であり、当該人物が歩行している状態では、熱画像内の人物が縦長に検出されることや、上述したように、気温の低い寒い日に取得した熱画像には、人物の胴体部分がラベリング処理で抽出されないことが多いことから、頭部と脚部との距離程度にＹ軸方向の距離しきい値ｔｈｙが設定されている。一方、Ｘ軸方向の距離しきい値ｔｈｘは、人物が縦長に検出されることから、Ｙ軸方向の距離しきい値ｔｈｙよりも短い人物の横幅程度であって、例えば、歩行者の脚部の幅程度の距離に設定されている。
【００３４】
これにより、グループ化処理部は、図７に示すように、３個のラベルａ，ラベルｂ，ラベルｃが存在する場合に、当該ラベルａ〜ｃが距離しきい値ｔｈｙの範囲内且つ距離しきい値ｔｈｘの範囲内である時には、当該ラベルａ〜ｃを同一物体から検出されたラベル群としてグループ化し、ラベルａ〜ｃの最大及び最小のＸ座標と最大及び最小のＹ座標を含む矩形領域であって、距離ｘＬｎ，ｙＬｎ（ｎ＝１，２，３・・・）の人物候補領域を設定する。
【００３５】
具体的には、図６（ａ）のようにラベリング処理後の熱画像であって、ラベルｄ〜ｈが検出されている場合、先ずグループ化処理部は、ラベルｄに着目し、ラベルｄから距離しきい値ｔｈｘ，ｔｈｙの距離範囲に存在するラベルを検索すると、図６（ｂ）に示すように、Ｘ座標が略同じ且つ距離しきい値ｔｈｙの範囲内にラベルｅ，ｆ，ｇ，ｈが検出される。そして、グループ化処理部は、ラベルｅ，ｆ，ｇ，ｈについて、それぞれ互いに縦方向の距離しきい値ｔｈｙ、横方向の距離しきい値ｔｈｘの範囲内に位置していることを検出することによって、ラベルｄ，ｅ，ｆ，ｇ，ｈを同一物体としてグループ化する。
【００３６】
これにより、グループ化処理部は、人物の胴体部分がラベリング処理によって検出されているか否かに拘わらず、図６（ｃ）に示すように、縦方向距離ｙＬ１，横方向距離ｘＬ１の矩形の人物候補領域をグループ化結果として検出することができる。
【００３７】
次に人物検出装置２０は、ステップＳ８において、人物判定部により、グループ化処理部によって検出された人物候補領域の大きさ（ｘＬ１×ｙＬ１）及び縦横比（ｘＬ１：ｙＬ１）を求めて、当該人物候補領域内の物体が人物であるか否かを判定する。このとき、人物判定部は、図６（ｃ）に示すように検出された人物候補領域の縦横比、すなわちｙＬｎ：ｘＬｎが人物程度となっているか否かを判定する。ここで、人物候補領域の縦横比は、縦：横が２：１〜３：２の範囲内である場合に、人物候補領域内のラベルが人物を構成するものであると判定する。
【００３８】
このようにラベルが人物であることを判定するための縦横比は、気温によって人物の頭から足元まで確実にラベルの検出できているとは限らず、また、歩行すると手足が横方向に振れることから、実際の人物の縦横比より少し太めとするために、縦：横＝２：１〜３：２の範囲内としている。また、人物であることを判定するための縦横比は、縦：横を２：１〜３：２とする場合に限らず、子供の歩行者が多い時間帯などでは、例えば１．５：１のように、１：１より多少縦長に設定しても良い。
【００３９】
更に、人物判定部は、人物の歩行速度が通常４〜５ｋｍ／ｈ程度であることから、時間的に連続した検出結果である複数の人物候補領域を用い、人物の動きや連続検出回数などから、複数回連続して検出され、急激な移動がなく、かつ、縦横比が人物程度である物体を人物として判定してもよい。
【００４０】
次に人物検出装置２０は、ステップＳ９において、人物判定部によりグループ化領域内の物体が人物であると判定された場合には、例えば車載ディスプレイ等に人物の存在を提示する警報や、車両制御などを行う。このとき、人物検出装置２０は、ステップＳ１〜ステップＳ８の結果により、自車両１の前方に複数回（例えば３回）連続して人物が検出された場合に、警報や車両制御を行っても良い。
【００４１】
なお、人物検出装置２０は、上述のグループ化処理を、図５（ｄ）に示すようなステップＳ５Ｂのラベリング処理後の熱画像について行って、グループ化後の領域の縦横比及び大きさから車両が存在するか否かを判定しても良い。このとき、人物検出装置２０は、予め設定した車両程度の横長の矩形と、グループ化後の領域の縦横比及び大きさとを比較する。これによって、人物検出装置２０は、自車両１前方の他車両の検出及び種類判定も行うことができる。
【００４２】
以上詳細に説明したように、本発明を適用した第１実施形態に係る人物検出装置２０によれば、熱画像を人物検出用の温度しきい値で２値化した人物温度の領域と、熱画像を高温領域検出用の温度しきい値で２値化した高温領域とを検出し、人物温度として検出された領域のうち、高温領域周辺の人物温度の領域を人物判定の処理対象から除去することによって、前方車両や背景物体等の人物以外の領域と人物の領域とを確実に区分して、人物判定を行うことができる。
【００４３】
したがって、この人物検出装置２０によれば、前方車両のランプ部やマフラー部の略中心位置が高温領域となっていて、当該高温領域周辺に人物温度と同等の領域が存在する場合であっても、車両特有の形状の対称性を利用することなく人物と車両とを区分することができ、自車両１に対する他車両の向きや、他車両の形状に拘わらず、確実に他車両と人物とを区別することができる。
【００４４】
［第２実施形態］
つぎに、本発明を適用した第２実施形態に係る人物検出装置２０について説明する。なお、上述した内容と同じ部分については、同一符号及び同一名称を使用することにより、その詳細な説明を省略する。
【００４５】
第２実施形態に係る人物検出装置２０は、図８に示すように、第１実施形態に係る人物検出装置２０と同様に、ステップＳ１で遠赤外線カメラ１０からの熱画像データを入力する入力Ｉ／Ｆ、ステップＳ２において熱画像データを記憶する画像メモリ、ステップＳ３’において人物検出用の温度しきい値を設定する温度しきい値設定部、ステップＳ４において人物検出用の温度しきい値を用いて２値化処理を行う２値化処理部（２値化処理手段）、ステップＳ５において２値化画像を用いてラベリング処理を行うラベリング処理部（領域検出手段）、ステップＳ７においてグループ化を行って人物候補領域を検出するグループ化処理部（グループ化手段）、ステップＳ８において人物判定を行う人物判定部（人物判定手段）を有する。
【００４６】
ここで、人物検出装置２０は、上述の温度しきい値設定部とは異なり、人物検出用の温度しきい値のみを設定し、当該人物検出用の温度しきい値のみを用いて２値化処理を行う。すなわち、第２実施形態では、高温領域についての２値化処理及びラベリング処理を行わない。また、人物検出装置２０は、ステップＳ５の次のステップＳ１１において、上述のステップＳ６とは異なる処理内容によって高温領域を除去してグループ化を行う対象となる領域（ラベル）を検出するグループ化対象領域検出部を備える。
【００４７】
このような人物検出装置２０は、図３（ａ）に示す熱画像が遠赤外線カメラ１０で撮像されて（ステップＳ１）、画像メモリに記憶した場合に（ステップＳ２）、人物検出用の温度しきい値を設定し（ステップＳ３’）、２値化処理を行うことによって図５（ａ）に示す２値化画像を取得する（ステップＳ４）。そして、ラベリング処理を行うことによって、図５（ｂ）に示すようなラベルａ〜ｈを得る（ステップＳ５）。
【００４８】
次に人物検出装置２０は、ステップＳ１１において、グループ化対象領域検出部により、ラベリング処理によって得られたラベルａ〜ｈに対応する各画素の輝度値を、ステップＳ２において記憶した熱画像から取り出し、当該取り出した熱画像の輝度値のうち、人物温度以上の高温である輝度値が含まれている場合には、当該輝度値の画素を含むラベルを除去する。
【００４９】
具体的には、先ずグループ化対象領域検出部は、図９（ａ）に示すように、ラベルａ〜ｈの外端に輪郭線を設定し、当該輪郭線に囲まれる画素の輝度値を取得する。なお、ラベルａ，ｂ，ｃについては、ドーナツ型となっているが、２値化処理によって検出されていない略中心画素の輝度値も取得する。このとき、グループ化対象領域検出部は、ステップＳ２で記憶した熱画像を読み出し、ラベルａ〜ｈの外端に設定した輪郭線を重ね合わせる。
【００５０】
そして、グループ化対象領域検出部は、図９（ｂ）に示すように、各ラベルごとに、輝度値を調査する。このとき、グループ化対象領域検出部は、車両のランプのエッジ部よりも大きいラベルａを調査領域とし、所定の調査方向に従って順次各画素の輝度値を取得し、当該輝度値が、例えば人物検出用の温度しきい値程度の所定の輝度値を超えているか否かを判定する。そして、ラベル内に高温領域が存在していると判定した場合には、当該ラベルをグループ化対象から除去する。これにより、グループ化対象領域検出部は、ランプから得られたラベルａ，ｃ及びマフラーから得られたラベルｂを除去して、高温領域を含まない人物の温度のラベルｄ，ｅ，ｆ，ｇ，ｈを含む図９（ｃ）に示す画像を作成する。
【００５１】
また、このステップＳ１１の処理を行うことによって、上述の第１実施形態と同様に、車両のランプやマフラーのラベル検出が可能となり、当該ラベルの大きさ、形状等に基づいて、自車両１の前方に他車両が存在することを検出することができる。
【００５２】
次に、人物検出装置２０は、上述と同様に、ステップＳ７におけるグループ化処理を行って人物候補領域を検出し、当該人物候補領域の物体が人物か否かをステップＳ８における人物判定処理で行い、ステップＳ９において車両制御や警報を行う。
【００５３】
以上詳細に説明したように、本発明を適用した人物検出装置２０によれば、人物検出用の温度しきい値を用いて作成した２値化処理を行ってラベルを作成し、当該ラベルに高温領域の画素が含まれている場合に、当該ラベルを除去して人物判定の処理対象から除去することによって、人物を検出することができるので、上述の第１実施形態と同様に、車両と人物とを確実に区別して人物を検出することができる。
【００５４】
また、この人物検出装置２０によれば、上述の第１実施形態とは異なり、２値化処理、ラベリング処理を１度のみ行うだけで良く、第１実施形態と比較して簡単な構成で車両と区別して人物を検出することができる。
【００５５】
更に、この人物検出装置２０によれば、ラベルに含まれる画素の輝度値を調べて人物であるか否かを判定することができるので、非常に小さいラベルに高温領域が含まれる場合であっても、当該ラベルが車両であることを検出することができる。
【００５６】
［第３実施形態］
つぎに、本発明を適用した第３実施形態に係る人物検出装置２０について説明する。なお、上述した内容と同じ部分については、同一符号及び同一名称を使用することにより、その詳細な説明を省略する。
【００５７】
この第３実施形態に係る人物検出装置２０は、ラベリング処理によって検出されたラベルの面積が所定値よりも小さい場合には、上述の第２実施形態において説明したグループ化対象領域の検出処理を行い、ラベルの面積が所定値よりも大きい場合には、上述の第１実施形態において説明したグループ化対象領域の検出処理を行うことを特徴とする。
【００５８】
すなわち、人物検出装置２０は、図１０に示すように、第２実施形態において説明したステップＳ１〜ステップＳ５の処理を行うことによって、図５（ｂ）に示すように複数のラベルを含む画像を作成し、次のステップＳ２１において、各ラベルの面積が所定値以上か否かを判定する。ここで、所定値とは、ステップＳ１１のラベルの輪郭線に囲まれる熱画像の領域に高温領域が含まれるか否かを判断する処理と、図２のステップＳ３Ｂ〜ステップＳ６の高温領域検出用の温度しきい値の設定、２値化処理、ラベリング処理、グループ化対象領域検出処理からなる処理との処理量の比較によって設定されている。
【００５９】
そして、人物検出装置２０は、ステップＳ１１の処理を行った時の処理量が、ステップＳ３Ｂ〜ステップＳ６を行った時の処理量よりも少ないようなラベルの面積が小さい場合には、ステップＳ１１に処理を進める。一方、ステップＳ１１の処理を行った時の処理量が、ステップＳ３Ｂ〜ステップＳ６を行った時の処理量よりも多いようなラベルの面積が大きい場合には、ステップＳ３Ｂ〜ステップＳ６に処理を進める。
【００６０】
そして、ステップＳ１１の処理又はステップＳ３Ｂ〜ステップＳ６の処理を行うことによって、ランプやマフラーによって得られたラベルを除去し、人物のラベルのみを含む画像を作成することができる。
【００６１】
以上詳細に説明したように、第３実施形態に係る人物検出装置２０によれば、第２実施形態のようにラベルに含まれる熱画像の各画素の輝度値を調べることによって高温領域の存在を調べる処理と、高温領域検出用の温度しきい値を用いた２値化処理を行うことによって高温領域の存在を調べる処理のうち、処理量が少ない処理を選択することができるので、リアルタイム性を欠くことなく確実に車両と人物とを区別することができる。
【００６２】
［第４実施形態］
つぎに、本発明を適用した第４実施形態に係る人物検出装置２０について説明する。なお、上述した内容と同じ部分については、同一符号及び同一名称を使用することにより、その詳細な説明を省略する。
【００６３】
この第４実施形態に係る人物検出装置２０は、図１１に示すように、第２実施形態において説明したようにステップＳ１〜ステップＳ５を行い、ステップＳ３１において面積が小さいラベルのみを除去するノイズ除去、ステップＳ７のグループ化処理を行って人物候補領域を検出した後に、ステップＳ３２において、高温領域を含む人物候補領域を除去することを特徴とするものである。
【００６４】
この人物検出装置２０は、ステップＳ３１においてグループ化処理の対象となる図１２（ａ）に示すようなラベルａ〜ｈが検出された後のステップＳ７において、グループ化処理部により、距離しきい値を用いてグループ化処理を行う。
【００６５】
ここで、上述した実施形態では、グループ化処理の前に高温領域を除去しており、グループ化処理を行う時点では人物の温度から得られたラベルのみであったが、第４実施形態では、高温領域によって得られたラベルについてもグループ化処理の対象としている。そして、グループ化処理部では、各ラベル間の距離が距離しきい値以内であるか否かを判定することによって、グループ化処理を行うと、ラベルａ，ｂからなる物体Ａについての人物候補領域、ラベルｃからなる物体Ｂについての人物候補領域、ラベルｄ〜ｈからなる物体Ｃについての人物候補領域を検出することになる。
【００６６】
次に人物検出装置２０は、ステップＳ３２において、ステップＳ７で検出した人物候補領域のうち、高温領域が含まれる人物候補領域を除去する。このとき、人物検出装置２０は、上述の図９（ｂ）に示した場合と同様に、各人物候補領域を調査領域とし、所定の調査方向に従って輝度値を取得し、当該輝度値が、例えば人物検出用の温度しきい値相当の所定の輝度値を超えているか否かを判定する。そして、人物候補領域内に高温領域が存在していると判定した場合には、当該人物候補領域をステップＳ８における人物判定処理の対象から除去する。これにより、人物検出装置２０は、ランプ及びランプから得られたラベルａ，ｂを含む人物候補領域の物体Ａ及びランプから得られたラベルｃを含む人物候補領域の物体Ｂを除去して、高温領域を含まない人物候補領域の物体Ｃのみを含む画像を作成する。
【００６７】
また、人物検出装置２０は、図１２（ｂ）に示すように、グループ化処理後において、高温領域の画素が存在すると判定された人物候補領域のラベルを抽出し、当該ラベルに対して車両の縦横比及び大きさから車両が存在するか否かを判定しても良い。このとき、人物検出装置２０は、予め設定した車両程度の横長の矩形と、グループ化後の領域の縦横比及び大きさとの比較、高温領域が存在することを判定することによって、自車両１前方の他車両の検出及び種類判定も行うことができる。
【００６８】
このような第４実施形態に係る人物検出装置２０によれば、人物相当の温度のラベルをグループ化して得られた人物候補領域の一部に高温領域が存在する場合には、当該人物候補領域を人物判定処理から除外するので、上述したように車両を人物と判定する誤判定を防止することができるのは勿論のこと、確実に車両であることの判定を行うことができる。
【００６９】
上述したように予め設定した車両程度の横長の矩形によって車両が否かの判定を行う場合に、例えば左右のランプについて、高温領域が右側だけに観測され、左側には観測されない車両が存在する場合、ラベルに高温領域が存在するか否かの判定では、左側のランプを人物として誤判定する可能性がある。これに対し、人物検出装置２０は、車両についての横長の距離しきい値を使用し、先ず、ランプに相当する左右の領域を一つの物体としてグループ化し、当該グループ化した候補領域にグループ内に高温領域があるか否によって車両であることを判定することができ、高い温度を含む右側を車両、左側だけを人物とするような誤判定を防ぐことができる。
【００７０】
［第５実施形態］
つぎに、本発明を適用した第５実施形態に係る人物検出装置２０について説明する。なお、上述した内容と同じ部分については、同一符号及び同一名称を使用することにより、その詳細な説明を省略する。
【００７１】
上述した実施形態では、高温領域の画素を含み、大きさ及び形状が車両程度である場合に車両であると判定することによって、人物のみならず、車両も検出可能とし、人物と車両とを確実に区別することを説明したが、第５実施形態に係る人物検出装置２０は、前回までの人物及び車両の判定処理の結果に基づいて、自車両１の前方に車両が存在することを判定するものである。
【００７２】
ここで、人物、他車両ともに、自車両１に対してある一定の速度以下で移動することから、前回までの処理によって検出され続けている物体については、当該物体の移動方向及び移動速度に基づいて、次に検出される位置が予測可能となる。すなわち、人物検出装置２０は、複数回に亘る人物及び車両の判定結果を記憶しておくことによって、時間的に連続した人物及び車両の検出位置を記憶しておく。
【００７３】
そして、人物及び車両の判定処理において、人物検出装置２０は、時間的に連続した人物及び車両の検出位置に基づいて、今回の処理における検出位置を予測し、当該予測した検出位置と、グループ化して得られた人物候補領域の検出位置とを比較して、物体が人物であるか否か、車両であるか否かを判定する。すなわち、人物温度以上の高温領域がある一定時間以上連続して検出されることによって、車両であると判定された物体に関しては、当該過去の検出位置又は予測した検出位置に再度グループ化処理後の領域が検出された場合には、高温領域が検出されなくても車両と判定することができる。
【００７４】
このように、第５実施形態に係る人物検出装置２０によれば、過去に検出した物体であって、ある一定以上の時間で連続して高温領域が検出された物体については、高温領域が検出されない場合であっても、人物ではないと判定することができる。したがって、この人物検出装置２０によれば、車両のボディ全面が高温領域ではなく、ライトやマフラー等の一部に高温領域が存在するため、自車両１に対する他車両の向きが変更することによって、熱画像内に高温領域が含まれなくなっても、過去に高温領域が検出されて人物ではないと判定された場合には、物体の検出位置に基づいて人物ではないことを判定することができ、車両を人物であると判定する誤判定を防止することができる。
【００７５】
［第６実施形態］
つぎに、本発明を適用した第６実施形態に係る人物検出装置２０について説明する。なお、上述した内容と同じ部分については、同一符号及び同一名称を使用することにより、その詳細な説明を省略する。
【００７６】
この第６実施形態に係る人物検出装置２０は、熱画像内での物体の移動速度が、所定速度以上である場合に、当該物体が人物では無いことを判定することを特徴とするものである。
【００７７】
ここで、通常、人物は時速５ｋｍ程度で歩行し、走っている場合であっても時速２０ｋｍ程度である。一方、車両は、法廷速度や道路種類、状況にもよるが、一般道路であっても、時速４０ｋｍ〜６０ｋｍ程度の速度で走行する。したがって、人物検出装置２０は、例えばＴ字路や交差点等に自車両１が差し掛かる場合に、熱画像内で横方向に移動する物体を検出し、当該物体の移動速度が時速４０ｋｍ以上等の人物ではない移動速度であると判定した場合に、当該物体が車両であると判定する。
【００７８】
このとき、人物検出装置２０は、図１３（ａ）に示すように、人物の温度をカメラレンズ１０ａを介して撮像面１０ｂで検出しており、自車両１から人物までの距離ｚ、焦点距離ｆに応じて、人物の高さＨに対して撮像面１０ｂに現れる人物高さｈｃ（＝画素数）が異なる。具体的には、図１３（ｂ）に示す画像内の人物高さｈｃは、
ｈｃ＝ｆ・Ｈ／ｚ （式１）
なる演算式で表現される。
【００７９】
つまり、上記式１より、自車両１と人物までの距離ｚが大きくなるほど、熱画像内での人物高さｈｃが小さくなり、自車両１の近方に存在する人物の画像内での高さｈｃよりも、自車両１の遠方に存在する人物の画像内での高さｈｃが小さくなる。
【００８０】
したがって、人物検出装置２０は、熱画像内の物体の高さが、当該物体と遠赤外線カメラ１０との実際の距離によって、式１に示すように変化する。つまり、実際の物体高さＨを、通常の人物程度の高さである１６０ｃｍ〜１７０ｃｍに設定して式１に代入し、熱画像内での人物高さｈｃを求めることにより、熱画像内での人物までのおおよその距離ｚを求めることができる。
【００８１】
また、熱画像内の物体のＸ軸座標位置における移動は、図１４に示すように、実空間における移動距離に変換することができる。すなわち、熱画像上で検出された物体が式１の原理より距離ｚの位置に存在すると求められ、当該物体の熱画像内におけるＸ座標位置が、ｘｐからｘｐ’に移動した場合、当該人物の実空間上における移動距離ＸＰ−ＸＰ’は、図１４（ａ）に示すように、次式により求められる。
【００８２】
ＸＰ−ＸＰ’＝（ｚ・ｘｐ−ｚ・ｘｐ’）／ｆ （式２）
この図１４（ａ）は、カメラレンズ１０ａからの前方距離ｚに存在し、光軸からの距離がＸＰである位置の点Ｐは、図１４（ｂ）に示すように熱画像上における座標ｘｐとして現れ、カメラレンズ１０ａからの前方距離ｚに存在し、光軸からの距離がＸＰ’である位置の点Ｐ’は、図１４（ｂ）に示すように熱画像上における座標ｘｐ’として現れることを示している。
【００８３】
したがって、時間的に前後する熱画像内でＸ軸座標がｘｐからｘｐ’に移動した場合に、実際の物体の移動距離ＸＰ−ＸＰ’を複数回に亘って求め、熱画像を取得して移動距離を求める式２の結果を単位時間で除算することによって、物体の移動速度を求める。なお、熱画像内の物体のうち、車両の移動速度を求めるためには、式１におけるＨの値を車両程度に設定する。
【００８４】
このように、人物検出装置２０によれば、上述したように物体の一部に高温領域が検出され、移動速度が所定速度以上である場合には、当該物体が人物ではないことを判定することができる。また、自車両１前方を他車両が横切り、ランプやマフラーが検出されない場合のように、物体の一部に高温領域が検出されない場合であっても、物体の移動速度が所定速度以上である場合には、当該物体が人物ではないことを判定することができるので、高温領域を検出する場合と比較して、より高速な処理を行うことができる。
【００８５】
すなわち、移動速度が高い物体は、熱画像に現れてから熱画像外となるまでの時間が通常よりも短く、且つ、移動速度が高い物体は、通常、迅速に検知ができることも望まれるが、物体の移動速度を判定するという単純な処理で判定できるので、人物と車両の判定を高速に行える。
【００８６】
また、この人物検出装置２０によれば、熱画像内の物体の移動速度が速い場合には高温領域が低い温度で検出され易く、人物であると判定する恐れがあるが、移動物体が所定速度以上である場合には、人物ではないことを判定することができるので、人物以外の物体を人物であると誤判定することを防止することができる。
【００８７】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００８８】
【図１】本発明を適用した人物検出装置を搭載した自車両の概略構成を示す図であって、（ａ）は側面図、（ｂ）は上面図である。
【図２】本発明を適用した第１実施形態に係る人物検出装置によって、自車両前方の人物及び車両を検出する処理手順及び人物検出装置の機能的な構成を説明するためのフローチャートである。
【図３】車両に存在する高温領域について説明する図であって、（ａ）は人物及び前方車両を含む熱画像であり、（ｂ）は車両のランプ部分を拡大した熱画像である。
【図４】２値化処理について説明するための図であり、（ａ）は人物及び前方車両を含む熱画像であり、（ｂ）は人物検出用の温度しきい値であり、（ｃ）は（ａ）の熱画像を（ｂ）の温度しきい値で２値化した後の画像であり、（ｄ）は高温領域検出用の温度しきい値であり、（ｅ）は（ａ）の熱画像を（ｄ）の温度しきい値で２値化した後の画像である。
【図５】２値化後の熱画像に対するラベリング処理及びノイズ除去処理を説明するための図であって、（ａ）は人物検出用の温度しきい値で２値化した画像であり、（ｂ）は（ａ）の画像に対してラベリング処理及びノイズ除去処理をした後の画像であり、（ｃ）は高温領域検出用の温度しきい値で２値化した画像であり、（ｄ）の（ｃ）画像に対してラベリング処理及びノイズ除去処理をした後の画像であり、（ｅ）は（ｂ）の画像から、高温領域を差し引いた画像である。
【図６】グループ化処理について説明するための図であって、（ａ）はラベリング処理後の画像、（ｂ）はラベリング処理後の画像に距離しきい値を適用した画像、（ｃ）はグループ化処理をした後の画像である。
【図７】グループ化処理について説明するための図である。
【図８】本発明を適用した第２実施形態に係る人物検出装置によって、自車両前方の人物及び車両を検出する処理手順及び人物検出装置の機能的な構成を説明するためのフローチャートである。
【図９】グループ化の対象とするラベルを検出する処理を説明するための図であって、（ａ）はラベルの外端に輪郭線を設定した場合を示す図であり、（ｂ）はラベルごとに、輝度値を調査することを説明する図であり、（ｃ）は（ａ）の画像から高温領域を除いた画像を作成することを説明するための図である。
【図１０】本発明を適用した第３実施形態に係る人物検出装置によって、自車両前方の人物及び車両を検出する処理手順及び人物検出装置の機能的な構成を説明するためのフローチャートである。
【図１１】本発明を適用した第４実施形態に係る人物検出装置によって、自車両前方の人物及び車両を検出する処理手順及び人物検出装置の機能的な構成を説明するためのフローチャートである。
【図１２】本発明を適用した第４実施形態におけるグループ化処理を説明するための図であって、（ａ）は高温領域及び人物を含むラベリング処理後の画像であり、（ｂ）は（ａ）の画像に対してグループ化処理を行った画像である。
【図１３】熱画像内に現れる人物高さを求める処理を説明するための図であって、（ａ）は原理図、（ｂ）は自車両からの距離によって熱画像内の人物高さが変わることを説明するための図である。
【図１４】熱画像内に現れるＸ軸方向の位置を求める処理を説明するための図であって、（ａ）は原理図、（ｂ）は物体の移動によって熱画像内のＸ軸方向における座標が変化することを説明するための図である。
【符号の説明】
【００８９】
１ 自車両
１０ 遠赤外線カメラ
２０ 人物検出装置
【技術分野】
【０００１】
本発明は、例えば自車両周囲に存在する物体のうち、他車両と人物とを区別して検出して、運転者等に提示するための人物検出装置及び方法に関する。
【背景技術】
【０００２】
従来より、例えば車両の進行方向に存在する障害物として人物を検出するために、赤外線カメラによって、温度に相当する値を計測した結果を輝度におきかえた赤外線画像を撮像して、当該赤外線画像から人物を特定する技術としては、下記の特許文献１に記載された技術が知られている。
【０００３】
この特許文献１に記載された技術では、２値化処理によって高温領域を検出し、ステレオ画像処理を行うことによって、当該高温領域から自車両までの距離を計測し、画像内において左右対称且つ同じ距離及び大きさの高温領域が対で存在するか否かを判定する。そして、左右対称、同距離、の高温領域の対が存在すると判定した場合には、自車両の前方に他車両が存在し、存在しないと判定した場合には、自車両の前方に人物が存在することを判定することによって、他車両と人物とを区別している。
【特許文献１】特開２００３−２３０１３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載された技術では、車両の背面が左右対称な形状をしていることを前提としているため、走行中に後続車両が先行車の背面を撮像している場合には、先行車両が人物であるとの誤検出を防止することはできるが、先行車両が右左折する場合のように後続車両に対して斜め方向に走行している場合や、自車両前方を横切るような横向きの車両が存在する場合には、高温領域が他車両であることの判定ができない。
【０００５】
また、上述した特許文献１に記載された技術では、二輪車を始めとする、左右対称の形状となっていない車両と人物とを区別することができないという問題がある。
【０００６】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、自車両に対する他車両の向きや、他車両の形状に拘わらず、確実に他車両と人物とを区別することができる人物検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明では、物体の温度に相当する輝度値の画素からなる熱画像を撮像し、熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した人物検出用の２値化画像を作成し、人物検出用の２値化画像を参照して、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出し、検出された領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化し、グループ化されてなる人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定する。
【０００８】
そして、本発明では、撮像された熱画像のうち、人物の温度よりも高い高温領域を除いて、人物判定の処理対象とすることにより、明らかに人物ではない輝度値の画素を人物検出の対象から除去することができる。
【発明の効果】
【０００９】
本発明によれば、撮像された熱画像のうち、人物の温度よりも高い高温領域を除いて、人物判定の処理対象とすることにより、明らかに人物ではない輝度値の画素を人物検出の対象から除去することができるので、高温領域が検出されていれば確実に他車両と人物とを区別することができ、自車両に対する他車両の向きや他車両の形状に拘わらず、確実に人物以外であることの判定をすることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。
【００１１】
［第１実施形態］
本発明は、例えば図１に示すように、自車両１の進行方向である前方が撮像範囲とされた遠赤外線カメラ１０（撮像手段）によって撮像された熱画像を用いて、人物を検出する人物検出装置２０に適用される。なお、図１（ａ）は、自車両１を側方から見た場合の遠赤外線カメラ１０の光軸を示し、図１（ｂ）は、自車両１を上方から見た場合の遠赤外線カメラ１０の光軸及び基準座標系を示している。この座標系は、横軸をＸ、縦軸をＹとし、左上画素を原点として画像内の画素位置を示す座標を求めることが可能となっている。
【００１２】
遠赤外線カメラ１０は、例えば車両のインストルメントパネルや、室内ミラー付近に設けられ、車両の前方を撮像範囲としている。この遠赤外線カメラ１０は、物体の温度値が高い部分ほど、高い輝度値となる熱画像データを生成して、人物検出装置２０に出力する。したがって、熱画像データの輝度値は、車両前方に存在する物体の温度に相当する値となる。
【００１３】
人物検出装置２０は、図２に示すようなステップＳ１〜ステップＳ９に示すような処理を行うための構成として、遠赤外線カメラ１０からの熱画像データを入力する入力Ｉ／Ｆ、画像メモリ、及び後述の各種処理の内容を記述したプログラム、当該プログラムを実行するＣＰＵ等からなる。
【００１４】
すなわち、この人物検出装置２０は、ステップＳ１で遠赤外線カメラ１０からの熱画像データを入力する入力Ｉ／Ｆ、ステップＳ２において熱画像データを記憶する画像メモリ、ステップＳ３において人物検出用及び高温領域検出用の温度しきい値を設定する温度しきい値設定部、ステップＳ４においてそれぞれの温度しきい値を用いて２値化処理を行う２値化処理部（人物検出用の２値化処理手段、高温領域検出用の２値化処理手段）、ステップＳ５において２つのそれぞれの２値化画像を用いてラベリング処理を行うラベリング処理部（人物検出用の領域検出手段、高温領域検出用の領域検出手段）、ステップＳ６において高温領域近傍を除去してグループ化を行う対象となる領域（ラベル）を検出するグループ化対象領域検出部（高温領域除去手段）、ステップＳ７においてグループ化を行って人物候補領域を検出するグループ化処理部（グループ化手段）、ステップＳ８において人物判定を行う人物判定部（人物判定手段）を有する。
【００１５】
このような人物検出装置２０は、先ず入力Ｉ／Ｆにより、遠赤外線カメラ１０からの熱画像データを入力すると（ステップＳ１）、当該熱画像データを画像メモリに保存する（ステップＳ２）。
【００１６】
次に人物検出装置２０は、ステップＳ２で画像メモリに記憶した熱画像内の人物についてのラベルを検出するための処理として、温度しきい値設定処理（ステップＳ３Ａ）、２値化処理（ステップＳ４Ａ）及びラベリング処理（ステップＳ５Ａ）を行うと共に、人物に相当する温度よりも高い温度を有する熱画像内の高温物体についてのラベルを検出するための処理として、温度しきい値設定処理（ステップＳ３Ｂ）、２値化処理（ステップＳ４Ｂ）及びラベリング処理（ステップＳ５Ｂ）を行う。
【００１７】
人物についてのラベルを検出するに際して、先ずステップＳ３Ａにおいて、温度しきい値設定部では、熱画像を撮像した日の天候や気温に基づき、人物を検出するのに適した上下のしきい値を設定する。遠赤外線カメラ１０で撮像された熱画像データの輝度値は、遠赤外線カメラ１０の撮像範囲内における温度値に相当する。また、人物の温度である皮膚温度は通常３６℃前後であり、熱画像データにおいて、人物と自車両１との距離が小さい場合には人物の皮膚部分が３６℃に近い輝度値となるが、人物と自車両１との距離が大きくなるほど、温度検出をするための赤外線電位が減衰して、人物周囲の気温の影響を受けた輝度値となる。
【００１８】
このため、気温の高い日である場合には、２５℃〜３６℃程度を人物検出用の温度しきい値とし、気温の低い日である場合には、２０℃〜２８℃程度を人物検出用の温度しきい値とする。これにより、予め設定しておいた検出対象とする人物までの距離範囲と、天候等の環境とに基づいて、人物を撮像した場合に熱画像に現れる程度の人物検出用の温度しきい値を設定する。なお、人物検出用の温度しきい値としては、４５℃以上など、体温より明らかに高い温度を含まないように設定する。
【００１９】
これに対し、ステップＳ３Ｂにおいて、温度しきい値設定部は、車両のマフラーやライト部等の人物よりも温度の高い高温領域を検出するような温度しきい値を設定する。このとき、温度しきい値設定部は、例えば４０℃以上の領域を検出するように高温領域検出用の温度しきい値を設定する。
【００２０】
ここで、自車両１の進行方向に前方車両及び人物が存在する場合においては、遠赤外線カメラ１０によって図３（ａ）、（ｂ）に示すような熱画像が撮像される。この熱画像は、気温が体温より低い日（例えば１０℃〜２０℃程度）において撮像され、人物、前方車両、路面、壁などが含まれており、温度が高い領域が淡い輝度となり、温度が低い部分が濃い輝度となる。また、壁や路面は、材質にもよるが気温とほぼ同程度の温度として検出され、人物は、距離に応じた赤外線の減衰のため、人物の体温そのものは距離が遠いと計測できないが皮膚が露出している顔部分や手足部分が体温の３６℃よりも少し低い温度として検出され、服装に覆われた胴体部分が手足部分等よりも少し低いが路面や壁等よりも少し高めの温度として検出される。また、前方車両は、ボディ部が日照時間や車内温度にもよるが路面や背景より多少高めの温度で検出され、ライトやマフラ等の車両内部ではなく車体表面近くに存在し且つ温度が高い部分において非常に高温度で検出される。このライトやマフラ等の高温領域は、図３（ｂ）に示すように、略中心部が人物よりも高い温度として検出され、当該略中心部の外側部分が人物程度の温度として検出されてしまう。
【００２１】
したがって、ステップＳ３Ａにおいて、後述の図４（ｂ）に示すような、少なくとも人物の頭部及び手足部分を検出する人物検出用の温度しきい値を設定し、ステップＳ３Ｂにおいて、後述の図４（ｄ）に示すような、人物検出用の温度しきい値とは重複しない範囲であって、高温領域を含むような高温領域検出用の温度しきい値を設定する。
【００２２】
ここで、比較的温度の低い日は、人物の胴体部分の服装の材質によって温度が様々となり、多くの場合は気温に近くなる。このため、人物部分だけを確実に抽出するためには、人物と確実と判断できる皮膚温度に近い温度を検出する温度範囲を人物検出用の温度しきい値とする。これに対し、胴体部分を含む人物全体を検出するための温度範囲を人物検出用の温度しきい値を設定すると、胴体部分が背景物体である路面や壁と近い温度となっている場合に、２値化によって人物のみならず、背景物体も検出してしまう。このように、胴体部分を除く人物部分を検出した場合には、後述のグループ化処理により、胴体部分を含まない２値化画像であっても人物の検出を可能とし、人物の頭部や脚部など一部のみを検出し、背景物体が検出されない人物検出用の温度しきい値としている。
【００２３】
次に、ステップＳ４Ａにおいて、人物検出装置２０は、２値化処理部により、温度しきい値設定部により設定された人物検出用の上限しきい値と下限しきい値との間の画素と、人物検出用の上限しきい値と下限しきい値との間以外の画素とで２値化を行う。これにより、人物検出装置２０は、人物相当の温度である輝度値を「１」とし、人物相当の温度ではない輝度値を「０」とした２値化画像を作成する。これに対し、ステップＳ４Ｂにおいて、人物検出装置２０は、２値化処理部により、温度しきい値設定部により設定された高温領域検出用の上限しきい値と下限しきい値との間の画素と、人物検出用の上限しきい値と下限しきい値との間以外の画素とで２値化を行う。
【００２４】
具体的には、図４（ａ）に示すような図３（ａ）と同様の熱画像を撮像し、ステップＳ３Ａで図４（ｂ）に示す人物検出用の温度しきい値、ステップＳ３Ｂで図４（ｄ）に示す高温領域検出用の温度しきい値を設定する。そして、図４（ａ）の熱画像を図４（ｂ）に示す人物検出用の温度しきい値で２値化した場合には、図４（ｃ）に示す２値化画像が得られ、人物の頭部、手足部分のみならず、前方車両の高温領域外側の部分を人物温度として検出してしまう。これに対し、図４（ａ）の熱画像を図４（ｄ）に示す高温領域検出用の温度しきい値で２値化した場合には、図４（ｅ）に示す２値化画像が得られ、前方車両のランプ部及びマフラー部の略中心位置を高温領域として検出する。
【００２５】
次のステップＳ５Ａ及びステップＳ５Ｂにおいて、人物検出装置２０は、ラベリング処理部により、２値化処理部により作成された２値化画像を用いて、輝度値が「１」の領域であって、画像内で人物に相当する領域を検出するラベリング処理を行う。このとき、ラベリング処理部は、例えば２値化画像の左上の画素から順に、輝度値が「１」の画素を検索し、輝度値が「１」の隣接する又は所定距離以内の画素同士を１つの領域（ラベル）とする。
【００２６】
ステップＳ５Ａにおいて、ラベリング処理部は、人物検出用の温度しきい値により得られた２値化画像（図４（ｃ）、図５（ａ））、すなわち人物の頭部、手、足とが分離し、高温領域外側の領域が存在する２値化画像に対してラベリング処理を行う。これにより、図５（ｂ）に示すように、頭部のラベルｄ、手のラベルｅ，ｈ、足のラベルｆ，ｇを抽出すると共に、他車両のランプ周辺のラベルａ，ｃと、マフラー部周辺のラベルｂを抽出する。
【００２７】
一方、ステップＳ５Ｂにおいて、ラベリング処理部は、高温領域検出用の温度しきい値により得られた２値化画像（図４（ｅ）、図５（ｃ））、すなわちランプ部の略中心位置と、マフラー部の略中心位置に相当する領域が存在する２値化画像に対してラベリング処理を行う。これにより、図５（ｄ）に示すように、ランプのラベルａ，ｃ、マフラー部のラベルｃを抽出する。
【００２８】
なお、図５（ｂ）、図５（ｄ）に示す画像は、後述のグループ化対象温度領域の検出処理において、例えば１画素や２画素程度の小さい領域をノイズとして除去した後のものである。
【００２９】
このように、人物検出装置２０は、人物のラベルを検出するステップＳ３Ａ〜ステップＳ５Ａの処理と、高温領域のラベルを検出するステップＳ３Ｂ〜ステップＳ５Ｂの処理とを並列して行うことによって、人物のラベルと車両のラベルとを別個に検出することができる。
【００３０】
次のステップＳ６において、グループ化対象領域検出部により、ラベリング処理部によって検出されたラベル領域のうち、所定の画像面積よりも小さいラベル領域を排除し、所定の画像面積以上のラベル領域のみを選択する（ステップＳ６）。ここで、所定の画像面積とは、自車両１からの人物検出対象距離以内に存在する人物を検出するように設定され、あまりに小さいラベル領域（例えば１〜２画素程度）をノイズとして排除すると共に、自車両１から離れていて自車両１の運転手に警報する必要がないようなラベル領域を排除するように設定されている。
【００３１】
また、人物検出装置２０は、ステップＳ５Ａ及びステップＳ５Ｂのラベリング処理部によって得られたラベルのうち、人物のグループ化の対象とならない高温領域周辺の温度によって検出されたラベルを除去して、グループ化の対象となるラベルのみとする。このとき、グループ化対象領域検出部は、図５（ｂ）に示すラベルａ〜ｈの検出位置（例えば中心位置）と、図５（ｄ）に示すラベルａ〜ｃの検出位置（例えば中心位置）とを比較し、図５（ｂ）に示すラベルのうち、検出位置が一致しているラベルを除去する。すなわち、図５（ｄ）に示すラベルが、図５（ｂ）に示すラベルに含まれている場合には、図５（ｂ）に示すラベルを除去する。ここで、図５（ｂ）に示すラベルａ，ｂ，ｃの検出位置と、図５（ｄ）に示すａ，ｂ，ｃの検出位置とが一致しているため、グループ化対象領域検出部は、図５（ｂ）のラベルａ〜ｈからラベルａ，ｂ，ｃを除いたラベルｄ，ｅ，ｆ，ｇ，ｈを残し、図５（ｅ）に示すような画像を作成する。ここで、図５（ｂ）のラベルａ，ｂ，ｃは、図４（ａ）におけるランプ及びマフラーによって検出されたラベルであって、略中心位置に人物温度よりも高い高温領域周囲の温度によって形成されたものである。
【００３２】
次のステップＳ７において、人物検出装置２０は、グループ化処理部により、ステップＳ６で人物の温度によって検出されたラベルをグループ化して、人物候補領域を検出するグループ化処理を行う。このとき、グループ化処理部は、グループ化対象領域検出部により選択されたラベル間の距離を検出し、図６に示すように、当該距離が、所定の距離しきい値内のラベル同士を同じグループとして設定するグループ化を行う。この所定の距離しきい値は、Ｙ軸方向（縦方向）の距離しきい値ｔｈｙと、Ｘ軸方向（横方向）の距離しきい値ｔｈｘとからなる。
【００３３】
ここで、人物検出装置２０の検出対象が人物であり、当該人物が歩行している状態では、熱画像内の人物が縦長に検出されることや、上述したように、気温の低い寒い日に取得した熱画像には、人物の胴体部分がラベリング処理で抽出されないことが多いことから、頭部と脚部との距離程度にＹ軸方向の距離しきい値ｔｈｙが設定されている。一方、Ｘ軸方向の距離しきい値ｔｈｘは、人物が縦長に検出されることから、Ｙ軸方向の距離しきい値ｔｈｙよりも短い人物の横幅程度であって、例えば、歩行者の脚部の幅程度の距離に設定されている。
【００３４】
これにより、グループ化処理部は、図７に示すように、３個のラベルａ，ラベルｂ，ラベルｃが存在する場合に、当該ラベルａ〜ｃが距離しきい値ｔｈｙの範囲内且つ距離しきい値ｔｈｘの範囲内である時には、当該ラベルａ〜ｃを同一物体から検出されたラベル群としてグループ化し、ラベルａ〜ｃの最大及び最小のＸ座標と最大及び最小のＹ座標を含む矩形領域であって、距離ｘＬｎ，ｙＬｎ（ｎ＝１，２，３・・・）の人物候補領域を設定する。
【００３５】
具体的には、図６（ａ）のようにラベリング処理後の熱画像であって、ラベルｄ〜ｈが検出されている場合、先ずグループ化処理部は、ラベルｄに着目し、ラベルｄから距離しきい値ｔｈｘ，ｔｈｙの距離範囲に存在するラベルを検索すると、図６（ｂ）に示すように、Ｘ座標が略同じ且つ距離しきい値ｔｈｙの範囲内にラベルｅ，ｆ，ｇ，ｈが検出される。そして、グループ化処理部は、ラベルｅ，ｆ，ｇ，ｈについて、それぞれ互いに縦方向の距離しきい値ｔｈｙ、横方向の距離しきい値ｔｈｘの範囲内に位置していることを検出することによって、ラベルｄ，ｅ，ｆ，ｇ，ｈを同一物体としてグループ化する。
【００３６】
これにより、グループ化処理部は、人物の胴体部分がラベリング処理によって検出されているか否かに拘わらず、図６（ｃ）に示すように、縦方向距離ｙＬ１，横方向距離ｘＬ１の矩形の人物候補領域をグループ化結果として検出することができる。
【００３７】
次に人物検出装置２０は、ステップＳ８において、人物判定部により、グループ化処理部によって検出された人物候補領域の大きさ（ｘＬ１×ｙＬ１）及び縦横比（ｘＬ１：ｙＬ１）を求めて、当該人物候補領域内の物体が人物であるか否かを判定する。このとき、人物判定部は、図６（ｃ）に示すように検出された人物候補領域の縦横比、すなわちｙＬｎ：ｘＬｎが人物程度となっているか否かを判定する。ここで、人物候補領域の縦横比は、縦：横が２：１〜３：２の範囲内である場合に、人物候補領域内のラベルが人物を構成するものであると判定する。
【００３８】
このようにラベルが人物であることを判定するための縦横比は、気温によって人物の頭から足元まで確実にラベルの検出できているとは限らず、また、歩行すると手足が横方向に振れることから、実際の人物の縦横比より少し太めとするために、縦：横＝２：１〜３：２の範囲内としている。また、人物であることを判定するための縦横比は、縦：横を２：１〜３：２とする場合に限らず、子供の歩行者が多い時間帯などでは、例えば１．５：１のように、１：１より多少縦長に設定しても良い。
【００３９】
更に、人物判定部は、人物の歩行速度が通常４〜５ｋｍ／ｈ程度であることから、時間的に連続した検出結果である複数の人物候補領域を用い、人物の動きや連続検出回数などから、複数回連続して検出され、急激な移動がなく、かつ、縦横比が人物程度である物体を人物として判定してもよい。
【００４０】
次に人物検出装置２０は、ステップＳ９において、人物判定部によりグループ化領域内の物体が人物であると判定された場合には、例えば車載ディスプレイ等に人物の存在を提示する警報や、車両制御などを行う。このとき、人物検出装置２０は、ステップＳ１〜ステップＳ８の結果により、自車両１の前方に複数回（例えば３回）連続して人物が検出された場合に、警報や車両制御を行っても良い。
【００４１】
なお、人物検出装置２０は、上述のグループ化処理を、図５（ｄ）に示すようなステップＳ５Ｂのラベリング処理後の熱画像について行って、グループ化後の領域の縦横比及び大きさから車両が存在するか否かを判定しても良い。このとき、人物検出装置２０は、予め設定した車両程度の横長の矩形と、グループ化後の領域の縦横比及び大きさとを比較する。これによって、人物検出装置２０は、自車両１前方の他車両の検出及び種類判定も行うことができる。
【００４２】
以上詳細に説明したように、本発明を適用した第１実施形態に係る人物検出装置２０によれば、熱画像を人物検出用の温度しきい値で２値化した人物温度の領域と、熱画像を高温領域検出用の温度しきい値で２値化した高温領域とを検出し、人物温度として検出された領域のうち、高温領域周辺の人物温度の領域を人物判定の処理対象から除去することによって、前方車両や背景物体等の人物以外の領域と人物の領域とを確実に区分して、人物判定を行うことができる。
【００４３】
したがって、この人物検出装置２０によれば、前方車両のランプ部やマフラー部の略中心位置が高温領域となっていて、当該高温領域周辺に人物温度と同等の領域が存在する場合であっても、車両特有の形状の対称性を利用することなく人物と車両とを区分することができ、自車両１に対する他車両の向きや、他車両の形状に拘わらず、確実に他車両と人物とを区別することができる。
【００４４】
［第２実施形態］
つぎに、本発明を適用した第２実施形態に係る人物検出装置２０について説明する。なお、上述した内容と同じ部分については、同一符号及び同一名称を使用することにより、その詳細な説明を省略する。
【００４５】
第２実施形態に係る人物検出装置２０は、図８に示すように、第１実施形態に係る人物検出装置２０と同様に、ステップＳ１で遠赤外線カメラ１０からの熱画像データを入力する入力Ｉ／Ｆ、ステップＳ２において熱画像データを記憶する画像メモリ、ステップＳ３’において人物検出用の温度しきい値を設定する温度しきい値設定部、ステップＳ４において人物検出用の温度しきい値を用いて２値化処理を行う２値化処理部（２値化処理手段）、ステップＳ５において２値化画像を用いてラベリング処理を行うラベリング処理部（領域検出手段）、ステップＳ７においてグループ化を行って人物候補領域を検出するグループ化処理部（グループ化手段）、ステップＳ８において人物判定を行う人物判定部（人物判定手段）を有する。
【００４６】
ここで、人物検出装置２０は、上述の温度しきい値設定部とは異なり、人物検出用の温度しきい値のみを設定し、当該人物検出用の温度しきい値のみを用いて２値化処理を行う。すなわち、第２実施形態では、高温領域についての２値化処理及びラベリング処理を行わない。また、人物検出装置２０は、ステップＳ５の次のステップＳ１１において、上述のステップＳ６とは異なる処理内容によって高温領域を除去してグループ化を行う対象となる領域（ラベル）を検出するグループ化対象領域検出部を備える。
【００４７】
このような人物検出装置２０は、図３（ａ）に示す熱画像が遠赤外線カメラ１０で撮像されて（ステップＳ１）、画像メモリに記憶した場合に（ステップＳ２）、人物検出用の温度しきい値を設定し（ステップＳ３’）、２値化処理を行うことによって図５（ａ）に示す２値化画像を取得する（ステップＳ４）。そして、ラベリング処理を行うことによって、図５（ｂ）に示すようなラベルａ〜ｈを得る（ステップＳ５）。
【００４８】
次に人物検出装置２０は、ステップＳ１１において、グループ化対象領域検出部により、ラベリング処理によって得られたラベルａ〜ｈに対応する各画素の輝度値を、ステップＳ２において記憶した熱画像から取り出し、当該取り出した熱画像の輝度値のうち、人物温度以上の高温である輝度値が含まれている場合には、当該輝度値の画素を含むラベルを除去する。
【００４９】
具体的には、先ずグループ化対象領域検出部は、図９（ａ）に示すように、ラベルａ〜ｈの外端に輪郭線を設定し、当該輪郭線に囲まれる画素の輝度値を取得する。なお、ラベルａ，ｂ，ｃについては、ドーナツ型となっているが、２値化処理によって検出されていない略中心画素の輝度値も取得する。このとき、グループ化対象領域検出部は、ステップＳ２で記憶した熱画像を読み出し、ラベルａ〜ｈの外端に設定した輪郭線を重ね合わせる。
【００５０】
そして、グループ化対象領域検出部は、図９（ｂ）に示すように、各ラベルごとに、輝度値を調査する。このとき、グループ化対象領域検出部は、車両のランプのエッジ部よりも大きいラベルａを調査領域とし、所定の調査方向に従って順次各画素の輝度値を取得し、当該輝度値が、例えば人物検出用の温度しきい値程度の所定の輝度値を超えているか否かを判定する。そして、ラベル内に高温領域が存在していると判定した場合には、当該ラベルをグループ化対象から除去する。これにより、グループ化対象領域検出部は、ランプから得られたラベルａ，ｃ及びマフラーから得られたラベルｂを除去して、高温領域を含まない人物の温度のラベルｄ，ｅ，ｆ，ｇ，ｈを含む図９（ｃ）に示す画像を作成する。
【００５１】
また、このステップＳ１１の処理を行うことによって、上述の第１実施形態と同様に、車両のランプやマフラーのラベル検出が可能となり、当該ラベルの大きさ、形状等に基づいて、自車両１の前方に他車両が存在することを検出することができる。
【００５２】
次に、人物検出装置２０は、上述と同様に、ステップＳ７におけるグループ化処理を行って人物候補領域を検出し、当該人物候補領域の物体が人物か否かをステップＳ８における人物判定処理で行い、ステップＳ９において車両制御や警報を行う。
【００５３】
以上詳細に説明したように、本発明を適用した人物検出装置２０によれば、人物検出用の温度しきい値を用いて作成した２値化処理を行ってラベルを作成し、当該ラベルに高温領域の画素が含まれている場合に、当該ラベルを除去して人物判定の処理対象から除去することによって、人物を検出することができるので、上述の第１実施形態と同様に、車両と人物とを確実に区別して人物を検出することができる。
【００５４】
また、この人物検出装置２０によれば、上述の第１実施形態とは異なり、２値化処理、ラベリング処理を１度のみ行うだけで良く、第１実施形態と比較して簡単な構成で車両と区別して人物を検出することができる。
【００５５】
更に、この人物検出装置２０によれば、ラベルに含まれる画素の輝度値を調べて人物であるか否かを判定することができるので、非常に小さいラベルに高温領域が含まれる場合であっても、当該ラベルが車両であることを検出することができる。
【００５６】
［第３実施形態］
つぎに、本発明を適用した第３実施形態に係る人物検出装置２０について説明する。なお、上述した内容と同じ部分については、同一符号及び同一名称を使用することにより、その詳細な説明を省略する。
【００５７】
この第３実施形態に係る人物検出装置２０は、ラベリング処理によって検出されたラベルの面積が所定値よりも小さい場合には、上述の第２実施形態において説明したグループ化対象領域の検出処理を行い、ラベルの面積が所定値よりも大きい場合には、上述の第１実施形態において説明したグループ化対象領域の検出処理を行うことを特徴とする。
【００５８】
すなわち、人物検出装置２０は、図１０に示すように、第２実施形態において説明したステップＳ１〜ステップＳ５の処理を行うことによって、図５（ｂ）に示すように複数のラベルを含む画像を作成し、次のステップＳ２１において、各ラベルの面積が所定値以上か否かを判定する。ここで、所定値とは、ステップＳ１１のラベルの輪郭線に囲まれる熱画像の領域に高温領域が含まれるか否かを判断する処理と、図２のステップＳ３Ｂ〜ステップＳ６の高温領域検出用の温度しきい値の設定、２値化処理、ラベリング処理、グループ化対象領域検出処理からなる処理との処理量の比較によって設定されている。
【００５９】
そして、人物検出装置２０は、ステップＳ１１の処理を行った時の処理量が、ステップＳ３Ｂ〜ステップＳ６を行った時の処理量よりも少ないようなラベルの面積が小さい場合には、ステップＳ１１に処理を進める。一方、ステップＳ１１の処理を行った時の処理量が、ステップＳ３Ｂ〜ステップＳ６を行った時の処理量よりも多いようなラベルの面積が大きい場合には、ステップＳ３Ｂ〜ステップＳ６に処理を進める。
【００６０】
そして、ステップＳ１１の処理又はステップＳ３Ｂ〜ステップＳ６の処理を行うことによって、ランプやマフラーによって得られたラベルを除去し、人物のラベルのみを含む画像を作成することができる。
【００６１】
以上詳細に説明したように、第３実施形態に係る人物検出装置２０によれば、第２実施形態のようにラベルに含まれる熱画像の各画素の輝度値を調べることによって高温領域の存在を調べる処理と、高温領域検出用の温度しきい値を用いた２値化処理を行うことによって高温領域の存在を調べる処理のうち、処理量が少ない処理を選択することができるので、リアルタイム性を欠くことなく確実に車両と人物とを区別することができる。
【００６２】
［第４実施形態］
つぎに、本発明を適用した第４実施形態に係る人物検出装置２０について説明する。なお、上述した内容と同じ部分については、同一符号及び同一名称を使用することにより、その詳細な説明を省略する。
【００６３】
この第４実施形態に係る人物検出装置２０は、図１１に示すように、第２実施形態において説明したようにステップＳ１〜ステップＳ５を行い、ステップＳ３１において面積が小さいラベルのみを除去するノイズ除去、ステップＳ７のグループ化処理を行って人物候補領域を検出した後に、ステップＳ３２において、高温領域を含む人物候補領域を除去することを特徴とするものである。
【００６４】
この人物検出装置２０は、ステップＳ３１においてグループ化処理の対象となる図１２（ａ）に示すようなラベルａ〜ｈが検出された後のステップＳ７において、グループ化処理部により、距離しきい値を用いてグループ化処理を行う。
【００６５】
ここで、上述した実施形態では、グループ化処理の前に高温領域を除去しており、グループ化処理を行う時点では人物の温度から得られたラベルのみであったが、第４実施形態では、高温領域によって得られたラベルについてもグループ化処理の対象としている。そして、グループ化処理部では、各ラベル間の距離が距離しきい値以内であるか否かを判定することによって、グループ化処理を行うと、ラベルａ，ｂからなる物体Ａについての人物候補領域、ラベルｃからなる物体Ｂについての人物候補領域、ラベルｄ〜ｈからなる物体Ｃについての人物候補領域を検出することになる。
【００６６】
次に人物検出装置２０は、ステップＳ３２において、ステップＳ７で検出した人物候補領域のうち、高温領域が含まれる人物候補領域を除去する。このとき、人物検出装置２０は、上述の図９（ｂ）に示した場合と同様に、各人物候補領域を調査領域とし、所定の調査方向に従って輝度値を取得し、当該輝度値が、例えば人物検出用の温度しきい値相当の所定の輝度値を超えているか否かを判定する。そして、人物候補領域内に高温領域が存在していると判定した場合には、当該人物候補領域をステップＳ８における人物判定処理の対象から除去する。これにより、人物検出装置２０は、ランプ及びランプから得られたラベルａ，ｂを含む人物候補領域の物体Ａ及びランプから得られたラベルｃを含む人物候補領域の物体Ｂを除去して、高温領域を含まない人物候補領域の物体Ｃのみを含む画像を作成する。
【００６７】
また、人物検出装置２０は、図１２（ｂ）に示すように、グループ化処理後において、高温領域の画素が存在すると判定された人物候補領域のラベルを抽出し、当該ラベルに対して車両の縦横比及び大きさから車両が存在するか否かを判定しても良い。このとき、人物検出装置２０は、予め設定した車両程度の横長の矩形と、グループ化後の領域の縦横比及び大きさとの比較、高温領域が存在することを判定することによって、自車両１前方の他車両の検出及び種類判定も行うことができる。
【００６８】
このような第４実施形態に係る人物検出装置２０によれば、人物相当の温度のラベルをグループ化して得られた人物候補領域の一部に高温領域が存在する場合には、当該人物候補領域を人物判定処理から除外するので、上述したように車両を人物と判定する誤判定を防止することができるのは勿論のこと、確実に車両であることの判定を行うことができる。
【００６９】
上述したように予め設定した車両程度の横長の矩形によって車両が否かの判定を行う場合に、例えば左右のランプについて、高温領域が右側だけに観測され、左側には観測されない車両が存在する場合、ラベルに高温領域が存在するか否かの判定では、左側のランプを人物として誤判定する可能性がある。これに対し、人物検出装置２０は、車両についての横長の距離しきい値を使用し、先ず、ランプに相当する左右の領域を一つの物体としてグループ化し、当該グループ化した候補領域にグループ内に高温領域があるか否によって車両であることを判定することができ、高い温度を含む右側を車両、左側だけを人物とするような誤判定を防ぐことができる。
【００７０】
［第５実施形態］
つぎに、本発明を適用した第５実施形態に係る人物検出装置２０について説明する。なお、上述した内容と同じ部分については、同一符号及び同一名称を使用することにより、その詳細な説明を省略する。
【００７１】
上述した実施形態では、高温領域の画素を含み、大きさ及び形状が車両程度である場合に車両であると判定することによって、人物のみならず、車両も検出可能とし、人物と車両とを確実に区別することを説明したが、第５実施形態に係る人物検出装置２０は、前回までの人物及び車両の判定処理の結果に基づいて、自車両１の前方に車両が存在することを判定するものである。
【００７２】
ここで、人物、他車両ともに、自車両１に対してある一定の速度以下で移動することから、前回までの処理によって検出され続けている物体については、当該物体の移動方向及び移動速度に基づいて、次に検出される位置が予測可能となる。すなわち、人物検出装置２０は、複数回に亘る人物及び車両の判定結果を記憶しておくことによって、時間的に連続した人物及び車両の検出位置を記憶しておく。
【００７３】
そして、人物及び車両の判定処理において、人物検出装置２０は、時間的に連続した人物及び車両の検出位置に基づいて、今回の処理における検出位置を予測し、当該予測した検出位置と、グループ化して得られた人物候補領域の検出位置とを比較して、物体が人物であるか否か、車両であるか否かを判定する。すなわち、人物温度以上の高温領域がある一定時間以上連続して検出されることによって、車両であると判定された物体に関しては、当該過去の検出位置又は予測した検出位置に再度グループ化処理後の領域が検出された場合には、高温領域が検出されなくても車両と判定することができる。
【００７４】
このように、第５実施形態に係る人物検出装置２０によれば、過去に検出した物体であって、ある一定以上の時間で連続して高温領域が検出された物体については、高温領域が検出されない場合であっても、人物ではないと判定することができる。したがって、この人物検出装置２０によれば、車両のボディ全面が高温領域ではなく、ライトやマフラー等の一部に高温領域が存在するため、自車両１に対する他車両の向きが変更することによって、熱画像内に高温領域が含まれなくなっても、過去に高温領域が検出されて人物ではないと判定された場合には、物体の検出位置に基づいて人物ではないことを判定することができ、車両を人物であると判定する誤判定を防止することができる。
【００７５】
［第６実施形態］
つぎに、本発明を適用した第６実施形態に係る人物検出装置２０について説明する。なお、上述した内容と同じ部分については、同一符号及び同一名称を使用することにより、その詳細な説明を省略する。
【００７６】
この第６実施形態に係る人物検出装置２０は、熱画像内での物体の移動速度が、所定速度以上である場合に、当該物体が人物では無いことを判定することを特徴とするものである。
【００７７】
ここで、通常、人物は時速５ｋｍ程度で歩行し、走っている場合であっても時速２０ｋｍ程度である。一方、車両は、法廷速度や道路種類、状況にもよるが、一般道路であっても、時速４０ｋｍ〜６０ｋｍ程度の速度で走行する。したがって、人物検出装置２０は、例えばＴ字路や交差点等に自車両１が差し掛かる場合に、熱画像内で横方向に移動する物体を検出し、当該物体の移動速度が時速４０ｋｍ以上等の人物ではない移動速度であると判定した場合に、当該物体が車両であると判定する。
【００７８】
このとき、人物検出装置２０は、図１３（ａ）に示すように、人物の温度をカメラレンズ１０ａを介して撮像面１０ｂで検出しており、自車両１から人物までの距離ｚ、焦点距離ｆに応じて、人物の高さＨに対して撮像面１０ｂに現れる人物高さｈｃ（＝画素数）が異なる。具体的には、図１３（ｂ）に示す画像内の人物高さｈｃは、
ｈｃ＝ｆ・Ｈ／ｚ （式１）
なる演算式で表現される。
【００７９】
つまり、上記式１より、自車両１と人物までの距離ｚが大きくなるほど、熱画像内での人物高さｈｃが小さくなり、自車両１の近方に存在する人物の画像内での高さｈｃよりも、自車両１の遠方に存在する人物の画像内での高さｈｃが小さくなる。
【００８０】
したがって、人物検出装置２０は、熱画像内の物体の高さが、当該物体と遠赤外線カメラ１０との実際の距離によって、式１に示すように変化する。つまり、実際の物体高さＨを、通常の人物程度の高さである１６０ｃｍ〜１７０ｃｍに設定して式１に代入し、熱画像内での人物高さｈｃを求めることにより、熱画像内での人物までのおおよその距離ｚを求めることができる。
【００８１】
また、熱画像内の物体のＸ軸座標位置における移動は、図１４に示すように、実空間における移動距離に変換することができる。すなわち、熱画像上で検出された物体が式１の原理より距離ｚの位置に存在すると求められ、当該物体の熱画像内におけるＸ座標位置が、ｘｐからｘｐ’に移動した場合、当該人物の実空間上における移動距離ＸＰ−ＸＰ’は、図１４（ａ）に示すように、次式により求められる。
【００８２】
ＸＰ−ＸＰ’＝（ｚ・ｘｐ−ｚ・ｘｐ’）／ｆ （式２）
この図１４（ａ）は、カメラレンズ１０ａからの前方距離ｚに存在し、光軸からの距離がＸＰである位置の点Ｐは、図１４（ｂ）に示すように熱画像上における座標ｘｐとして現れ、カメラレンズ１０ａからの前方距離ｚに存在し、光軸からの距離がＸＰ’である位置の点Ｐ’は、図１４（ｂ）に示すように熱画像上における座標ｘｐ’として現れることを示している。
【００８３】
したがって、時間的に前後する熱画像内でＸ軸座標がｘｐからｘｐ’に移動した場合に、実際の物体の移動距離ＸＰ−ＸＰ’を複数回に亘って求め、熱画像を取得して移動距離を求める式２の結果を単位時間で除算することによって、物体の移動速度を求める。なお、熱画像内の物体のうち、車両の移動速度を求めるためには、式１におけるＨの値を車両程度に設定する。
【００８４】
このように、人物検出装置２０によれば、上述したように物体の一部に高温領域が検出され、移動速度が所定速度以上である場合には、当該物体が人物ではないことを判定することができる。また、自車両１前方を他車両が横切り、ランプやマフラーが検出されない場合のように、物体の一部に高温領域が検出されない場合であっても、物体の移動速度が所定速度以上である場合には、当該物体が人物ではないことを判定することができるので、高温領域を検出する場合と比較して、より高速な処理を行うことができる。
【００８５】
すなわち、移動速度が高い物体は、熱画像に現れてから熱画像外となるまでの時間が通常よりも短く、且つ、移動速度が高い物体は、通常、迅速に検知ができることも望まれるが、物体の移動速度を判定するという単純な処理で判定できるので、人物と車両の判定を高速に行える。
【００８６】
また、この人物検出装置２０によれば、熱画像内の物体の移動速度が速い場合には高温領域が低い温度で検出され易く、人物であると判定する恐れがあるが、移動物体が所定速度以上である場合には、人物ではないことを判定することができるので、人物以外の物体を人物であると誤判定することを防止することができる。
【００８７】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００８８】
【図１】本発明を適用した人物検出装置を搭載した自車両の概略構成を示す図であって、（ａ）は側面図、（ｂ）は上面図である。
【図２】本発明を適用した第１実施形態に係る人物検出装置によって、自車両前方の人物及び車両を検出する処理手順及び人物検出装置の機能的な構成を説明するためのフローチャートである。
【図３】車両に存在する高温領域について説明する図であって、（ａ）は人物及び前方車両を含む熱画像であり、（ｂ）は車両のランプ部分を拡大した熱画像である。
【図４】２値化処理について説明するための図であり、（ａ）は人物及び前方車両を含む熱画像であり、（ｂ）は人物検出用の温度しきい値であり、（ｃ）は（ａ）の熱画像を（ｂ）の温度しきい値で２値化した後の画像であり、（ｄ）は高温領域検出用の温度しきい値であり、（ｅ）は（ａ）の熱画像を（ｄ）の温度しきい値で２値化した後の画像である。
【図５】２値化後の熱画像に対するラベリング処理及びノイズ除去処理を説明するための図であって、（ａ）は人物検出用の温度しきい値で２値化した画像であり、（ｂ）は（ａ）の画像に対してラベリング処理及びノイズ除去処理をした後の画像であり、（ｃ）は高温領域検出用の温度しきい値で２値化した画像であり、（ｄ）の（ｃ）画像に対してラベリング処理及びノイズ除去処理をした後の画像であり、（ｅ）は（ｂ）の画像から、高温領域を差し引いた画像である。
【図６】グループ化処理について説明するための図であって、（ａ）はラベリング処理後の画像、（ｂ）はラベリング処理後の画像に距離しきい値を適用した画像、（ｃ）はグループ化処理をした後の画像である。
【図７】グループ化処理について説明するための図である。
【図８】本発明を適用した第２実施形態に係る人物検出装置によって、自車両前方の人物及び車両を検出する処理手順及び人物検出装置の機能的な構成を説明するためのフローチャートである。
【図９】グループ化の対象とするラベルを検出する処理を説明するための図であって、（ａ）はラベルの外端に輪郭線を設定した場合を示す図であり、（ｂ）はラベルごとに、輝度値を調査することを説明する図であり、（ｃ）は（ａ）の画像から高温領域を除いた画像を作成することを説明するための図である。
【図１０】本発明を適用した第３実施形態に係る人物検出装置によって、自車両前方の人物及び車両を検出する処理手順及び人物検出装置の機能的な構成を説明するためのフローチャートである。
【図１１】本発明を適用した第４実施形態に係る人物検出装置によって、自車両前方の人物及び車両を検出する処理手順及び人物検出装置の機能的な構成を説明するためのフローチャートである。
【図１２】本発明を適用した第４実施形態におけるグループ化処理を説明するための図であって、（ａ）は高温領域及び人物を含むラベリング処理後の画像であり、（ｂ）は（ａ）の画像に対してグループ化処理を行った画像である。
【図１３】熱画像内に現れる人物高さを求める処理を説明するための図であって、（ａ）は原理図、（ｂ）は自車両からの距離によって熱画像内の人物高さが変わることを説明するための図である。
【図１４】熱画像内に現れるＸ軸方向の位置を求める処理を説明するための図であって、（ａ）は原理図、（ｂ）は物体の移動によって熱画像内のＸ軸方向における座標が変化することを説明するための図である。
【符号の説明】
【００８９】
１ 自車両
１０ 遠赤外線カメラ
２０ 人物検出装置
【特許請求の範囲】
【請求項１】
物体の温度に相当する輝度値の画素からなる熱画像を撮像する撮像手段と、
前記撮像手段で撮像された熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した人物検出用の２値化画像を作成する人物検出用の２値化処理手段と、
前記人物検出用の２値化画像を参照して、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出する人物検出用の領域検出手段と、
前記領域検出手段により検出された領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化するグループ化手段と、
前記グループ化手段によってグループ化されてなる人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定する人物判定手段とを備え、
前記撮像手段で撮像された熱画像のうち、人物の温度よりも高い高温領域を除いて、前記人物判定手段の処理対象とする高温領域除去手段を備えることを特徴とする人物検出装置。
【請求項２】
前記撮像手段で撮像された熱画像のうち、人物の温度よりも高い高温領域に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、前記高温領域に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した高温領域検出用の２値化画像を作成する高温領域検出用の２値化処理手段と、
前記高温領域検出用の２値化画像を参照して、前記高温領域に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出する高温領域検出用の領域検出手段とを更に備え、
前記高温領域除去手段は、前記人物検出用の領域検出手段で検出された領域に、前記高温領域検出用の領域検出手段で検出された領域が含まれている場合に、当該前記人物検出用の領域検出手段で検出された領域を除去することを特徴とする請求項１に記載の人物検出装置。
【請求項３】
前記高温領域除去手段は、前記人物検出用の領域検出手段で検出された領域内に、人物の温度よりも高い高温領域に相当する輝度値の画素が含まれている場合に、当該前記人物検出用の領域検出手段で検出された領域を除去することを特徴とする請求項１に記載の人物検出装置。
【請求項４】
前記高温領域除去手段は、
前記人物検出用の領域検出手段で検出された領域の面積が所定値以上である場合には、前記人物検出用の領域検出手段で検出された領域に、前記高温領域検出用の領域検出手段で検出された領域が含まれている場合に、当該前記人物検出用の領域検出手段で検出された領域を除去する処理を行い、
前記人物検出用の領域検出手段で検出された領域の面積が所定値以上ではない場合には、前記人物検出用の領域検出手段で検出された領域内に、人物の温度よりも高い高温領域に相当する輝度値の画素が含まれている場合に、当該前記人物検出用の領域検出手段で検出された領域を除去する処理を行うこと
を特徴とする請求項２に記載の人物検出装置。
【請求項５】
前記高温領域除去手段は、前記グループ化手段によってグループ化されてなる人物候補領域内に、人物の温度よりも高い高温領域に相当する輝度値の画素が含まれている場合に、当該グループ化手段によってグループ化されてなる人物候補領域を除去することを特徴とする請求項１に記載の人物検出装置。
【請求項６】
前記人物判定手段は、前記人物検出用の領域検出手段で検出された領域内に連続して高温領域を含むことが検出された後に、当該領域内に高温領域が検出されない場合であっても人物以外の物体であると判定することを特徴とする請求項１乃至請求項５の何れかに記載の人物検出装置。
【請求項７】
前記人物判定手段は、前記人物検出用の領域検出手段で検出された領域の移動速度が所定速度以上である場合に、当該領域の物体が人物以外の物体であることを判定することを特徴とする請求項１乃至請求項５の何れかに記載の人物検出装置。
【請求項８】
物体の温度に相当する輝度値の画素からなる熱画像を撮像するステップと、
前記熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した２値化画像を作成するステップと、
前記２値化画像を参照して、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出するステップと、
前記検出された領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化するステップと、
グループ化されてなる人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定するステップとを有し、
前記２値化画像を作成した後に、前記熱画像のうち、人物の温度よりも高い高温領域を除いて、前記人物判定処理の対象とするステップを設けたことを特徴とする人物検出方法。
【請求項１】
物体の温度に相当する輝度値の画素からなる熱画像を撮像する撮像手段と、
前記撮像手段で撮像された熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した人物検出用の２値化画像を作成する人物検出用の２値化処理手段と、
前記人物検出用の２値化画像を参照して、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出する人物検出用の領域検出手段と、
前記領域検出手段により検出された領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化するグループ化手段と、
前記グループ化手段によってグループ化されてなる人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定する人物判定手段とを備え、
前記撮像手段で撮像された熱画像のうち、人物の温度よりも高い高温領域を除いて、前記人物判定手段の処理対象とする高温領域除去手段を備えることを特徴とする人物検出装置。
【請求項２】
前記撮像手段で撮像された熱画像のうち、人物の温度よりも高い高温領域に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、前記高温領域に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した高温領域検出用の２値化画像を作成する高温領域検出用の２値化処理手段と、
前記高温領域検出用の２値化画像を参照して、前記高温領域に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出する高温領域検出用の領域検出手段とを更に備え、
前記高温領域除去手段は、前記人物検出用の領域検出手段で検出された領域に、前記高温領域検出用の領域検出手段で検出された領域が含まれている場合に、当該前記人物検出用の領域検出手段で検出された領域を除去することを特徴とする請求項１に記載の人物検出装置。
【請求項３】
前記高温領域除去手段は、前記人物検出用の領域検出手段で検出された領域内に、人物の温度よりも高い高温領域に相当する輝度値の画素が含まれている場合に、当該前記人物検出用の領域検出手段で検出された領域を除去することを特徴とする請求項１に記載の人物検出装置。
【請求項４】
前記高温領域除去手段は、
前記人物検出用の領域検出手段で検出された領域の面積が所定値以上である場合には、前記人物検出用の領域検出手段で検出された領域に、前記高温領域検出用の領域検出手段で検出された領域が含まれている場合に、当該前記人物検出用の領域検出手段で検出された領域を除去する処理を行い、
前記人物検出用の領域検出手段で検出された領域の面積が所定値以上ではない場合には、前記人物検出用の領域検出手段で検出された領域内に、人物の温度よりも高い高温領域に相当する輝度値の画素が含まれている場合に、当該前記人物検出用の領域検出手段で検出された領域を除去する処理を行うこと
を特徴とする請求項２に記載の人物検出装置。
【請求項５】
前記高温領域除去手段は、前記グループ化手段によってグループ化されてなる人物候補領域内に、人物の温度よりも高い高温領域に相当する輝度値の画素が含まれている場合に、当該グループ化手段によってグループ化されてなる人物候補領域を除去することを特徴とする請求項１に記載の人物検出装置。
【請求項６】
前記人物判定手段は、前記人物検出用の領域検出手段で検出された領域内に連続して高温領域を含むことが検出された後に、当該領域内に高温領域が検出されない場合であっても人物以外の物体であると判定することを特徴とする請求項１乃至請求項５の何れかに記載の人物検出装置。
【請求項７】
前記人物判定手段は、前記人物検出用の領域検出手段で検出された領域の移動速度が所定速度以上である場合に、当該領域の物体が人物以外の物体であることを判定することを特徴とする請求項１乃至請求項５の何れかに記載の人物検出装置。
【請求項８】
物体の温度に相当する輝度値の画素からなる熱画像を撮像するステップと、
前記熱画像のうち、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素と、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲外の画素とを区別した２値化画像を作成するステップと、
前記２値化画像を参照して、人物の温度に相当する輝度値の上限しきい値と下限しきい値との範囲内の画素群が所定面積以上となっている領域を検出するステップと、
前記検出された領域のうち、所定の距離しきい値以内に存在する一又は複数の領域を人物候補領域としてグループ化するステップと、
グループ化されてなる人物候補領域の面積及び形状に基づいて、当該人物候補領域の物体が人物であるか否かを判定するステップとを有し、
前記２値化画像を作成した後に、前記熱画像のうち、人物の温度よりも高い高温領域を除いて、前記人物判定処理の対象とするステップを設けたことを特徴とする人物検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００６−９９６０３（Ｐ２００６−９９６０３Ａ）
【公開日】平成１８年４月１３日（２００６．４．１３）
【国際特許分類】
【出願番号】特願２００４−２８７１２２（Ｐ２００４−２８７１２２）
【出願日】平成１６年９月３０日（２００４．９．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１８年４月１３日（２００６．４．１３）
【国際特許分類】
【出願日】平成１６年９月３０日（２００４．９．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]