歩行者検出システム
【課題】大規模な処理を付加することなく、歩行者の検出精度を向上可能な歩行者検出システムを提供すること
【解決手段】赤外線カメラ１０によって撮像して得られた画像に基づいて、歩行者を検出する歩行者検出部２０を備えた歩行者検出システムであって、歩行者検出部２０が、前記画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートとのマッチングを行い、このテンプレートとの相関値を求める相関値検出部と、前記画像のうち、前記相関値が歩行者とみなすことができるだけ高い画像領域を歩行者候補として検出する高相関領域検出部と、複数の歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、歩行者候補が適性か否か判定し、不適正なものは歩行者候補から棄却する取捨選択処理を実行する取捨選択部と、を備えていることを特徴とする歩行者検出システムとした。
【解決手段】赤外線カメラ１０によって撮像して得られた画像に基づいて、歩行者を検出する歩行者検出部２０を備えた歩行者検出システムであって、歩行者検出部２０が、前記画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートとのマッチングを行い、このテンプレートとの相関値を求める相関値検出部と、前記画像のうち、前記相関値が歩行者とみなすことができるだけ高い画像領域を歩行者候補として検出する高相関領域検出部と、複数の歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、歩行者候補が適性か否か判定し、不適正なものは歩行者候補から棄却する取捨選択処理を実行する取捨選択部と、を備えていることを特徴とする歩行者検出システムとした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の歩行者の存在を検出する歩行者検出システムに関する。
【背景技術】
【０００２】
従来、車両進行方向を撮影する赤外線カメラを設置し、得られる画像から歩行者を検知し、運転者に画像の歩行者部分にマーカーを重畳して提示したり、あるいは危険度を自動的に認識して危険と判断した場合に警告したり、あるいは車両の自動操縦装置による制動や操舵による回避させたりすることが可能なシステムの実現が検討されている。
【０００３】
このような歩行者検出システムとして、歩行者を検出する場合、あらかじめ歩行者の輪郭を模したテンプレートを用意し、このテンプレートと画像内の歩行者が存在する可能性のあるエリアの類似性を求める、いわゆる「パターンマッチング」を用いるものが、例えば、特許文献１などにより知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−９１４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したような従来の歩行者検出システムでは、検出精度を向上させる場合、画像処理装置で誤差量を特定して補正する、いわゆるキャリブレーション処理が必要になる。この場合、時間的要素を含めた判定の場合は、動画処理となるために処理速度などシステム全体の制約が生じ、実施が難しくなる。
【０００６】
本発明は上記事情に鑑みてなされたもので、大規模な処理を付加することなく、歩行者の検出精度を向上可能な歩行者検出システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的達成のため本発明は、請求項１に記載の発明は、車両に設置されて前記車両の進行方向を撮像する撮像装置と、この撮像装置によって撮像して得られた画像に基づいて、歩行者を検出する歩行者検出手段と、を備えた歩行者検出システムであって、前記歩行者検出手段が、前記画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートとのマッチングを行い、このテンプレートとの相関値を求める相関値検出部と、前記画像のうち、前記相関値が歩行者とみなすことができるだけ高い画像領域を歩行者候補として検出する高相関領域検出部と、複数の前記歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、前記歩行者候補が適性か否か判定し、不適正なものは歩行者候補から棄却する取捨選択処理を実行する取捨選択部と、を備えていることを特徴とする歩行者検出システムとした。
【０００８】
また、請求項２に記載の発明は、請求項１に記載の歩行者検出システにおいて、前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、前記取捨選択部は、前記取捨選択処理において、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、このグループごとに、前記平均値を求めるとともに、この平均値と、前記グループに含まれる各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする歩行者検出システムとした。
【０００９】
また、請求項３に記載の発明は、請求項１に記載の歩行者検出システムにおいて、前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、前記取捨選択部は、前記取捨選択処理において、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、各グループのうちで複数の前記歩行者候補が存在するあるグループの前記平均値から全体基準高さを求め、この全体基準高さに基づいて、各グループに対応するグループ基準高さを設定し、前記グループごとに、前記グループ基準高さと前記歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする歩行者検出システムとした。
【００１０】
また、請求項４に記載の発明は、請求項３に記載の歩行者検出システムにおいて、前記取捨選択部は、前記取捨選択処理において、前記平均値は、あらかじめ設定された設定値以上の歩行者候補が存在するグループのうちで最もサイズの小さなテンプレートとの相関性の高いグループから求めることを特徴とする歩行者検出システムとした。
【００１１】
また、請求項５に記載の発明は、請求項１に記載の歩行者検出システムにおいて、前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、前記取捨選択手段は、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、前記グループごとに前記歩行者候補の高さの平均値を求め、各平均値に基づいて全体基準高さを設定し、この全体基準高さに基づいて、各グループのグループ基準高さを求め、前記グループごとに、前記グループ基準高さと前記グループに含まれる各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする歩行者検出システムとした。
【００１２】
また、請求項６に記載の発明は、請求項１に記載の歩行者検出システムにおいて、前記赤外線カメラが、歩行者の高さ方向の中心位置とみなすことのできる高さに設置され、前記取捨選択部は、全歩行者候補の高さデータの平均値である判定基準値を求め、この判定基準値と各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする歩行者検出システムとした。
【００１３】
また、請求項７に記載の発明は、請求項１〜６に記載の歩行者検出システムにおいて、前記平均値から設定範囲内の低い歩行者候補を子供と判別することを特徴とする歩行者検出システムとした。
【発明の効果】
【００１４】
請求項１に記載の発明では、歩行者の身長分の画像上の高さ寸法は、赤外線カメラ（車両）と歩行者との距離に応じて決定される。また、赤外線カメラと歩行者との距離に応じて、画像上の歩行者の足元の高さ方向の位置も決定される。よって、共通するテンプレートに相関する歩行者候補は、画像上における足元の高さ位置および身長分の高さ寸法が略一定となる。
【００１５】
したがって、歩行者候補は、それが歩行者の画像であれば、その高さは平均値に近い可能性が高く、歩行者以外の画像であれば、平均値から離れる可能性が高くなる可能性が高い。
そこで、取捨選択部では、複数の歩行者候補の画像上の高さの平均値と、各歩行者候補の画像上の高さとに基づいて、適正であるか否かを判定し、不適なものは歩行者から棄却する。
【００１６】
このように、請求項１に記載の発明では、複数の歩行者候補の高さの平均値と、各歩行者候補の高さとに基づいて、不適正と判定されたものは、歩行者候補から棄却するため、検出精度を向上させることが可能である。また、歩行者候補の取捨選択を、歩行者候補の高さとその平均値とに基づいて行うため、処理が容易であり、システムの処理量を大きく増やしたり、また、新たな機能（キャリブレーション）や工程制約(取付精度向上)を付加したりすることなく、上記の歩行者の検出精度向上を実現可能である。
【００１７】
請求項２に記載の発明では、複数の歩行者が存在する場合、これら複数の歩行者の車両との距離が共通していれば、画像上では、複数の歩行者の画像は、同じ高さで横並びする。そして、このような横並びの歩行者の画像は、テンプレートマッチングを行った場合は、共通するテンプレートとの相関値が高くなる。
【００１８】
そこで、複数のテンプレートを有している場合、複数の歩行者候補を相関値が高いテンプレートごとにグループ分けし、グループごとに、平均値と、高さデータとを比較し、その乖離度で適正か否か判定する。よって、請求項２に記載の発明では、歩行者候補をテンプレートごとにグループ分けしないものよりも、精度の高い歩行者判定が可能となる。
【００１９】
次に、請求項３に記載の発明の作用効果を説明する。
歩行者候補を、相関するテンプレートごとにグループ分けする構成では、あるグループにおいて、歩行者候補として、歩行者以外の画像によるもの１つのみが検出された場合、その平均値は、本来歩行者の位置を示す値から離れた値となるおそれがある。
【００２０】
そこで、請求項３に記載の発明では、歩行者候補を、相関するテンプレートごとにグループ分けし、各グループのうち、複数の歩行者候補が存在するグループの平均値から全体基準高さを求める。このように、複数の歩行者候補が存在する場合、この歩行者候補のグループには、歩行者の画像が含まれる可能性が高く、この平均値に基づいて設定された全体基準高さは、非歩行者のみの平均値に基づいて設定された全体基準高さよりも、歩行者の画像の高さを示す可能性が高い。
【００２１】
また、前述のように、自車両との距離が略一致する歩行者は、画像上の高さも、略一致する。よって、相関するテンプレートが異なるグループ間では、画面上の高さの差が略一定となり、このグループ間の画面上の高さの差は、あらかじめ、赤外線カメラの設置高さや、テンプレートの大きさに基づいて設定することができる。
【００２２】
そこで、前述のように、１つのグループの歩行者候補に基づいて全体基準高さが設定されると、他のグループの基準高さであるグループ基準高さも設定することができる。
【００２３】
このように、請求項３に記載の発明では、複数の歩行者候補が存在するグループの平均値から全体基準高さを求め、全体基準高さに基づいてグループ基準高さを設定し、このグループ基準高さと歩行者候補の高さとを比較して乖離度に基づいて取捨選択を行なうようにしたため、非歩行者による１つの歩行者候補しか存在しないグループであっても、この非歩行者による歩行者候補による高さデータに影響されること無く、グループ基準高さが設定され、いっそう誤検出の抑制を図ることが可能となる。
【００２４】
請求項４に記載の発明では、請求項３に記載の発明において、複数の歩行者候補が存在するグループのうちで、最も小さなテンプレートに相関するグループに基づいて平均値および全体基準高さを設定するようにした。
【００２５】
すなわち、複数のサイズの異なるテンプレートを使用した場合、一般に、大きなテンプレートほど、最大相関値の出現位置にバラツキが生じる。そこで、最小のテンプレートに相関する歩行者候補の平均値を使用することで、全体基準高さの設定において、このようなバラツキの影響を抑制することができる。
【００２６】
したがって、請求項４に記載の発明では、相対的に大きなテンプレートに相関するグループの平均値から全体基準高さを設定したものと比較して、出現位置のバラツキの影響を緩和して、検出精度を向上できる。
【００２７】
請求項５に記載の発明では、各グループの平均値から設定した全体基準高さに基づいて、各グループの基準となるグループ基準高さを求め、このグループ基準高さとの乖離度で適正か不適正かを判定するようにしたため、グループ内に非歩行者の画像に基づく１つの歩行者候補しか存在しない場合でも、グループ基準高さを適正に設定することができる。すなわち、全グループの平均値に基づいて全体基準高さを設定するため、全歩行者候補の多数が歩行者の画像による場合は、非歩行者画像によるバラツキを抑制できる。そして、このように設定した全体基準高さに基づいて、各グループ基準高さを設定するため、あるグループで、歩行者候補が非歩行者画像によるものが１つしか存在していなくても、グループ基準値を、この歩行者候補に影響されること無く、適正に設定できる。したがって、この非歩行者画像による歩行者候補の高さが、グループ基準高さから乖離していれば、不適正として棄却される。
【００２８】
このように、請求項５に記載の発明では、グループ基準高さを適正に設定し、歩行者の検出精度を向上させることができる。
【００２９】
請求項６に記載の発明では、赤外線カメラの取り付け高さを、歩行者の高さ方向の中心位置（身長の略１／２）に配置した場合、歩行者の中心は、撮影された画像の高さ方向の中心に配置される。
したがって、テンプレートの上下方向寸法にかかわらず、歩行者候補の高さ方向の中心も、画像の高さ方向の中心付近に配置される。
よって、テンプレートの上下方向寸法の違いにかかわらず、全歩行者候補の高さの平均値と各歩行者候補の高さとの乖離度に基づいて、歩行者候補が適正な位置に配置されているか否か判定することができる。
【００３０】
このように、請求項６に記載の発明では、全歩行者候補の高さの平均値を基準に判定するため、歩行者候補として非歩行者による画像が含まれていても、平均値に対する影響を小さくし、検出精度を高めることができる。
【００３１】
請求項７に記載の発明では、子供の判別を追加するため、運転者など乗員に対し、より正確な情報を与えることができる。また、子供の判別を、歩行者候補の上下寸法のみで判別するため、判別が容易である。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態の実施例１の歩行者検出システム１００を示すブロック図である。
【図２】実施例１の歩行者検出システム１００の歩行者検出部２０の構成を示すブロック図である。
【図３】実施例１の歩行者検出システム１００で使用する第１テンプレートＴ１、第２テンプレートＴ２、第３テンプレートＴ３および画像の一例を示す説明図ある。
【図４】実施例１の歩行者検出システム１００における歩行者Ｍと赤外線カメラ１０との「距離」と、画面上の「大きさ」と、画面上の「高さ位置」と、の相関関係を示す説明図である。
【図５】実施例１の歩行者検出システム１００における相関値検出部２４を示すブロック図である。
【図６】実施例１の歩行者検出システム１００において、相関値検出部２４および相関領域最大値検出部２５において、相関値に基づいて歩行者候補をリストアップし、相関値の大きい順に並べる処理の説明図であり、（ａ）はリストアップされたデータを示し、（ｂ）は相関値の大きい順に並べた状態、および不適正なものを示し、（ｃ）に最終的な歩行者候補ＭＫのリストアップデータを示している。
【図７】実施例１の歩行者検出システム１００において、リストアップされた歩行者候補ＭＫ（ａ）〜（ｅ）の位置を画像中に四角で示した一例を示す説明図である。
【図８】実施例１の歩行者検出システム１００の取捨選択部２６における取捨選択処理の流れを示すフローチャートである。
【図９】実施例１の歩行者検出システム１００において検出された歩行者候補ＭＫの一例を示す説明図であり、（ａ）は第１テンプレートＴ１との相関値に基づいて得られた歩行者候補ＭＫ（ａ−１）を示し、（ｂ）は第２テンプレートＴ２との相関値に基づいて得られた歩行者候補ＭＫ（ｂ−１）（ｂ−２）を示し、（ｃ）は第３テンプレートＴ３との相関値に基づいて得られた歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）を示している。
【図１０】実施例２の歩行者検出システムにおける各基準ラインＬＡ〜ＬＣの間の差分設定値Ｄｃａ，Ｄｃｂの説明図である。
【図１１】実施例２の歩行者検出システムにおける取捨選択処理の全体の流れを示すフローチャートである。
【図１２】実施例２の歩行者検出システムにおける全体基準ライン算出処理の流れを示すフローチャートである。
【図１３】実施例２の歩行者検出システムにおける棄却処理の流れを示すフローチャートである。
【図１４】実施例３の歩行者検出システムにおける取捨選択処理の全体の流れを示すフローチャートである。
【図１５】実施例３の歩行者検出システムの取捨選択処理における全体基準ラインＬＺｂを算出する処理の流れを示すフローチャートである。
【図１６】実施例３の歩行者検出システムにおいて検出された歩行者候補ＭＫの一例を示す説明図であり、（ａ）は第１テンプレートＴ１との相関値が大きな歩行者候補ＭＫ（ａ−１）（ａ−２）を示し、（ｂ）は第２テンプレートＴ２との相関値が大きな歩行者候補ＭＫ（ｂ−１）〜（ｂ−３）を示し、（ｃ）は第３テンプレートＴ３との相関値が大きな歩行者候補ＭＫ（ｃ−１）（ｃ−２）を示している。
【図１７】実施例４の歩行者検出システムにおける歩行者Ｍ１、Ｍ２と赤外線カメラ１０との「距離」と、画面上の「大きさ」と、画面上の「高さ位置」と、の相関関係を示す説明図である。
【図１８】実施例４の歩行者検出システムにおいて赤外線カメラ１０で撮影した画像の一例を示す説明図である。
【図１９】実施例４の歩行者検出システムにおける取捨選択処理の流れを示すフローチャートである。
【図２０】実施例５の歩行者検出システムにおける全体基準ラインＬＫと子供と判定される歩行者候補ＭＫ（ｆ−１）との関係の説明図である。
【発明を実施するための形態】
【００３３】
以下、本発明の実施の形態を説明する。
【００３４】
この実施の形態の歩行者検出システムは、車両に設置されて前記車両の進行方向を撮像する撮像装置（１０）と、この撮像装置（１０）によって撮像して得られた画像に基づいて、歩行者（Ｍ）を検出する歩行者検出手段（２０）と、を備えた歩行者検出システムであって、前記歩行者検出手段（２０）が、前記画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートートとのマッチングを行い、このテンプレートとの相関値を求める相関値検出部（２４）と、前記画像のうち、前記相関値が歩行者とみなすことができるだけ高い画像領域を前記歩行者候補として検出する高相関領域検出部（２５）と、複数の前記歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、前記歩行者候補が適性か否か判定し、不適正なものは歩行者候補から棄却する取捨選択処理を実行する取捨選択部（２６）と、を備えていることを特徴とする歩行者検出システムである。
【実施例１】
【００３５】
以下に、本発明の実施例１の歩行者検出システム１００について図面を参照して説明する。
【００３６】
（実施例１の構成）
まず、実施例１の歩行者検出システム１００の構成について説明する。
図１は、実施例１の歩行者検出システム１００を示すブロック図であり、この歩行者検出システム１００は、赤外線カメラ（撮像装置）１０、歩行者検出部（歩行者検出手段）２０、歩行者位置表示部３０、画像表示部４０を備えている。
【００３７】
赤外線カメラ１０は、図示を省略した車両に設置され、車両の進行方向の所定の領域を撮像する。この進行方向とは、以下の説明では車両前方を指すが、車両後方を撮影するものでもよい。
【００３８】
歩行者検出部２０は、詳細は後述するが、赤外線カメラ１０から得られた赤外線画像において、歩行者Ｍ（図４参照）を表す像を検出する。
【００３９】
歩行者位置表示部３０は、歩行者検出部２０により検出された歩行者像の位置に、矩形枠などのマーカーを付して表示する処理を実行する。
【００４０】
画像表示部４０は、赤外線カメラ１０で撮影された画像を表示するとともに、歩行者検出部２０が歩行者Ｍを検出したときには、その画像が表示されている部分に、歩行者位置表示部３０により与えられたマーカーを付して表示する。
【００４１】
以下に、歩行者検出部２０における歩行者を検出する構成について詳細に説明する。
本実施例１では、画像から歩行者Ｍを検知する手法としては、あらかじめ歩行者ＭのテンプレートＴ１〜Ｔ３（図３参照）を用意して、これらのテンプレートＴ１〜Ｔ３と画像内の歩行者Ｍが存在する可能性のあるエリアの類似性を求め、類似性が高い場合に、歩行者Ｍと判定するいわゆる「パターンマッチング」を用いている。
【００４２】
また、比較する画像要素として、大きく分けて「輝度の画素値の比較」と「物体のエッジ情報比較」の手法がある。
「物体のエッジ情報比較」は、画像全体の明るさに依存しないために、天候や太陽位置に左右される車両用などの野外での機器での使用に適している。また、エッジ情報は二値あるいは少ない階調で表現可能なために、扱うデータ量も少なく検知処理の多くの割合を占めるテンプレートとの類似度の計算が少なくて済む。そこで、本実施例１では、「物体のエッジ情報比較」を用いている。
【００４３】
図２は歩行者検出部２０の構成を示すブロック図であり、輝度調整部２１、エッジ検出部２２、歩行者テンプレート部２３、相関値検出部２４、相関領域最大値検出部（高相関領域検出部）２５、取捨選択部２６を備えている。
【００４４】
輝度調整部２１は、赤外線画像の画面全体の輝度を調整することに画面内の輝度差を明確にする。
エッジ検出部２２は、輝度調整部２１によりコントラストが高められた画像におけるエッジを検出する。
【００４５】
歩行者テンプレート部２３は、あらかじめ設定された歩行者Ｍの輪郭を模したテンプレートＴ１〜Ｔ３を複数種類記憶している。本実施例１では、自車両と歩行者との距離の違いに応じ、図３に示すように、第１テンプレートＴ１、第２テンプレートＴ２、第３テンプレートＴ３の、３種類のテンプレートが記憶されている。なお、第１テンプレートＴ１は、赤外線カメラ１０に撮影された画像Ｐにおいて、自車両に最も近い歩行者Ｍの検出に用いるテンプレートであり、第２テンプレートＴ２は、それよりも遠くに存在する歩行者Ｍの検出に用いるテンプレートであり、第３テンプレートＴ３は、それよりもさらに遠くに存在する歩行者の検出に用いるテンプレートである。このように、各テンプレートＴ１〜Ｔ３は、自車両との距離が遠くの歩行者Ｍを検出するものほど、小さく設定されている。
【００４６】
相関値検出部２４は、エッジ検出部２２で得られたエッジ画像において歩行者Ｍが存在する可能性がある画像部分から、各テンプレートＴ１〜Ｔ３と同じ大きさで抜き出した部分、または想定する歩行者Ｍと同じ大きさで抜き出した後に拡大や縮小により同じ大きさとした部分を、歩行者テンプレート部２３にあらかじめ記憶されている各テンプレートＴ１〜Ｔ３の画素値と比較演算して、各テンプレートＴ１〜Ｔ３と、どの位類似しているかを示す相関値を求め、各画像位置の相関値を表す相関マップを作成する。
【００４７】
相関領域最大値検出部２５は、相関マップ内の相関値は連続性があるために、値のピーク位置を求め、これがあらかじめ設定した差分閾値ＴＨ以上の場合に、歩行者候補ＭＫ（例えば図７参照）と判断し、取捨選択部２６へ渡す。
【００４８】
取捨選択部２６は、複数の歩行者候補ＭＫについて、歩行者Ｍ以外である可能性が高いものを棄却する取捨選択処理を実行し、残った歩行者候補ＭＫを歩行者位置表示部３０へ渡す。なお、取捨選択処理の詳細は、後述するが、歩行者Ｍの下端（足）の高さを示すｙ値およびその平均値Ｙに基づいて残すか棄却するかの判断を行う。
【００４９】
（相関値検出部２４における演算の説明）
次に、相関値検出部２４の相関値を求める演算について説明を加える。
この相関値を求める演算としては、いくつかの手法が使われているが、本実施例１では、そのひとつの例として差分絶対値積（ＳＡＤ：Sum of Absolute Difference）を式（１）に示す。
ＳＡＤ＝Σ｜Ｓｅｒ（ｉ，ｊ）−Ｔｅｍｐ（ｉ，ｊ）｜ ・・・（１）
ここで、Ｔｍｐ（ｉ，ｊ） は、テンプレート画像の位置（ｉ，ｊ）の画素値、Ｓｅｒ（ｉ，ｊ）は、調査画像の相関値を求める画像位置の周囲をテンプレートと同じ大きさに切り出した画像中の位置（ｉ，ｊ）の画素値である。
【００５０】
これら２つの値の差分絶対値を求め、これを各テンプレートＴ１〜Ｔ３の大きさ全体（テンプレートの大きさを縦Ｉ画素、横Ｊ画素とすると、ｉ＝１〜Ｉ、ｊ＝１〜Ｊ）の値を加算して相関値とする。実際には、この計算結果を基に扱いやすいように値を操作することが多い。例えば、上記式（１）では、画像の一致度が高い程相関値は小さくなるが、下記の式（２）のように、画素数（ＩとＪとの積）と最大画素値Ｄ（８ｂｉｔ画像なら２５６、二値画像なら１）の積で割り（いわゆる正規化）、値を１から引くことによりテンプレートの大きさが異なる相関値間の比較にも使うことができる。
ＳＡＤｎ＝１−（ＳＡＤ／（Ｉ×Ｊ×Ｄ） ・・・（２）
以上の演算を、赤外線カメラ１０の画像の調査領域全体に亘って求め、相関マップを作成する。
【００５１】
ここで、相関値検出部２４における各テンプレートＴ１〜Ｔ３と、画像上の歩行者Ｍの大きさおよび歩行者Ｍとの距離の関係について、説明を加える。
【００５２】
本実施例１は、歩行者と赤外線カメラ１０との「距離」と、画面上の「大きさ」と、画面上の「高さ位置」と、に相関関係があることを利用している。
この相関関係を、図４を用いて説明する。
図４において、Ｍが歩行者、Ｒが赤外線カメラ１０のレンズ、Ｓが赤外線カメラ１０の撮像素子（スクリーン)である。また、Ｔが歩行者Ｍの高さ（身長）、Ｌが歩行者Ｍの赤外線カメラ１０からの距離、ｆがレンズＲの焦点距離、Ｈが赤外線カメラ１０の取付高さ、ｙが歩行者Ｍの下端（足）が撮像素子（スクリーン）Ｓに結像する位置であって、撮像素子（スクリーン）Ｓ中心からの距離、ｙｔが歩行者Ｍの高さＴの撮像素子（スクリーン）Ｓ上の寸法である。なお、撮像素子（スクリーン）Ｓ上の結像位置は、カメラ映像の位置に対応する。ただし、撮像素子（スクリーン）Ｓ上の上下位置関係はカメラ映像では反転する。
【００５３】
これらの関係から、歩行者Ｍの下端（足）位置（ｙ値）は、下記の式（３）により求めることができ、歩行者Ｍの撮像素子Ｓ上の寸法ｙｔは、下記の式（４）で求めることができる。これらの式の中で、焦点距離ｆと取付高さＨとは固定値であり、歩行者Ｍの高さ(身長)Ｔも便宜上固定値とすると、「距離（Ｌ）」と画像上の「大きさ（ｙｔに相当）」と画面上の「高さ位置（ｙ）」に相関（反比例）関係があることが理解できる。
ｙ＝ｆ×Ｈ／Ｌ ・・・（３）
ｙｔ＝ｙ−｛ｆ×（Ｈ−Ｔ）｝／Ｌ ・・・（４）
本実施例１では、これを利用して、得られた複数の歩行者検出処理による候補の傾向をみて、これらの関係から大きく外れている歩行者検出処理による候補を棄却することにより、誤検出を低減させるようにしている。
【００５４】
ここで、実施例１において、３種類のサイズの第１〜第３テンプレートＴ１〜Ｔ３を用いる相関値検出部２４について説明を加える。
【００５５】
図５に示すように、相関値検出部２４は、第１〜第３相関マップ作成部２４ａ，２４ｂ，２４ｃと、第１〜第３最大値・位置抽出部２４ｄ〜２４ｆとを備えている。
エッジ検出部２２から画像が各入力されると、第１〜第３相関マップ作成部２４ａ，２４ｂ，２４ｃのそれぞれにおいて、各テンプレートＴ１〜Ｔ３に対応する相関マップが求められる。
【００５６】
第１〜第３最大値・位置抽出部２４ｄ〜２４ｆでは、これらの相関マップ毎に、最大値の上位から指定された数の相関値と、その画面上の位置（ｘ，ｙ）とを、データとするリスト（以下、これを相関値リストデータと称する）が作成される。
この時、画面上の位置が、隣接した位置となった場合には、各テンプレートＴ１〜Ｔ３の大きさを考慮して、同じ対象物(歩行者)に対する重複したリストアップを避ける必要がある。そこで、このリストから、位置と相関値との大きさを考慮し、歩行者候補ＭＫの範囲を絞り込む。
【００５７】
すなわち、第１〜第３最大値・位置抽出部２４ｄ〜２４ｆでは、第１〜第３相関マップ作成部２４ａ，２４ｂ，２４ｃで作成された相関値マップから、図６（ａ）に示す候補をリストアップし、さらに、これを、同図（ｂ）に示すように、１つのリストにまとめて相関値の大きい順に並べる。そして、このリストにおいて、位置（ｘ，ｙ）が近接している候補（重複候補）や、相関値があらかじめ設定された閾値（本実施例１では、閾値＝０．８とする）以下のデータを削除して、同図（ｃ）に示す最終的な歩行者候補ＭＫを決定する。
【００５８】
（取捨選択処理の説明）
さらに、歩行者検出部２０では、本発明の目的である誤検出低減を図るために、前述した取捨選択部２６において、歩行者候補ＭＫの中から、歩行者Ｍの可能性が高いものは残し、歩行者Ｍ以外である可能性が高いものを取り除く取捨選択処理を実行する。
以下、その詳細について説明する。
【００５９】
上述した第１〜第３テンプレートＴ１〜Ｔ３のうち、共通するテンプレートでリストアップされた歩行者候補ＭＫは、同じような距離に存在するはずであるから、同一の画像上では、横直線上に並ぶはずである。
【００６０】
図７に一例を示す。この図は、第１〜第３テンプレートＴ１〜Ｔ３のいずれか１つ、例えば、第２テンプレートＴ２の相関マップでリストアップされた歩行者候補ＭＫ（ａ）〜（ｅ）の位置を、説明のために画像中に四角で示したものである。この図に示すように、４つの歩行者候補ＭＫ（ｂ）〜（ｅ）は、直線Ｌｉｎ上に配置されている。
【００６１】
一方、図において最も左に配置された歩行者候補ＭＫ（ａ）は、直線Ｌｉｎから大きく外れた位置に配置されている。このように、複数の歩行者候補ＭＫ（ｂ）〜（ｅ）から大きく外れた歩行者候補ＭＫ（ａ）は、実際には、建物の一部であって、第２テンプレートＴ２に相関する歩行者Ｍが、存在すべき位置と異なって配置されている。そこで、取捨選択部２６では、所定のテンプレートとの相関値は高くても、他の歩行者候補ＭＫ（ｂ）〜（ｅ）とは異なる位置に配置された歩行者候補ＭＫ（ａ）は、候補から取り除くようにしている。
【００６２】
次に、取捨選択部２６における取捨選択処理の流れを、図８のフローチャートに基づいて説明する。なお、この図８に示す取捨選択処理は、第１〜第３テンプレートＴ１〜Ｔ３のそれぞれに相関値の高い歩行者候補ＭＫのグループごとに独立して実施される。また、このフローチャートを説明するのにあたり、第３テンプレートＴ３を用いて図７に示す歩行者候補ＭＫ（ａ）〜（ｅ）が検出された場合の処理に沿って説明する。
【００６３】
まず、ステップＳ１では、相関領域最大値検出部２５で選択された歩行者候補ＭＫ（ａ）〜（ｅ）について、全相関リストの画面内高さデータ（ｙ値）を取り込んだ後、ステップＳ２に進む。
【００６４】
ステップＳ２では、取り込んだ全高さデータ（ｙ値）の平均値Ｙを求めた後、ステップＳ３に進む。この平均値Ｙが、図７の直線Ｌｉｎの位置に相当する。
【００６５】
ステップＳ３〜Ｓ６の処理は、各歩行者候補ＭＫ（ａ）〜（ｅ）について個別に順次行う処理であって、まず、ステップＳ３では、各歩行者候補ＭＫ（ａ）〜（ｅ）の各相関リストデータセット（相関値とｙ値とｘ値のセット）を読み込み、各相関リストデータセットの高さデータ（ｙ値）と、ステップＳ２で算出された平均値Ｙとの乖離度を示す差分絶対値ＤＹを算出した後、ステップＳ４に進む。
【００６６】
ステップＳ４では、差分絶対値ＤＹとあらかじめ設定された差分閾値ＴＨとの大小関係に基づいて、差分絶対値ＤＹが差分閾値ＴＨ未満の場合はステップＳ６に進み、差分絶対値ＤＹが差分閾値ＴＨ以上の場合はステップＳ５に進む。なお、差分閾値ＴＨは、各テンプレートＴ１〜Ｔ３に対応するグループごとに設定されており、第３テンプレートＴ３に対応する差分閾値ＴＨは、第１テンプレートＴ１に対応する差分閾値ＴＨよりも小さな値に設定されているものとする。
【００６７】
ステップＳ５では、歩行者候補ＭＫ（図７の例ではＭＫ（ａ））を棄却した後、ステップＳ６に進む。
ステップＳ６では、全ての歩行者候補ＭＫ（ａ）〜（ｅ）についてステップＳ３からの処理を終えたか否か判定し、終えていない場合はステップＳ３に戻り、終えた場合は、取捨選択処理を終了する。例えば、歩行者候補ＭＫ（ａ）からＭＫ（ｅ）に向けて順に処理を行う場合、歩行者候補ＭＫ（ａ）について処理を終えた場合は、歩行者候補ＭＫ（ｂ）についてステップＳ３からの処理を行い、歩行者候補ＭＫ（ｂ）についてステップＳ３からの処理を終えたら歩行者候補ＭＫ（ｃ）について処理を行い、歩行者候補ＭＫ（ｅ）の処理が終わった時点で、終了する。
また、ここで全ての歩行者候補ＭＫの「全て」とは、第１〜第３テンプレートＴ１〜Ｔ３のいずれか１つのテンプレートに対して相関値の高い歩行者候補ＭＫの「全て」のことであり、以上の処理を、各テンプレートＴ１〜Ｔ３についてそれぞれ実施する。
【００６８】
（実施例１の作用）
次に、実施例１の歩行者検出システム１００の作用を説明する。
夜間走行時には、赤外線カメラ１０で車両前方の撮影を行う。このとき、得られた画像の一例が図７に示す画像である。
【００６９】
赤外線カメラ１０で撮影された画像は、歩行者検出部２０に入力される。
歩行者検出部２０では、輝度調整部２１における輝度調整、エッジ検出部２２におけるエッジ検出を行った画像に対し、相関値検出部２４において、第１〜第３歩行者テンプレートＴ１〜Ｔ３のそれぞれとの相関値を求める。
さらに、相関領域最大値検出部２５では、相関値があらかじめ設定された閾値（本実施例１では、０．８）よりも高い相関値を有し、かつ、データセットのｘ値およびｙ値が近接しないデータセットを、歩行者候補ＭＫ（ａ）〜（ｅ）としてリストアップする。
なお、図７に示す例は、第３テンプレートＴ３との相関が高かった歩行者候補ＭＫ（ａ）〜（ｅ）がリストアップされているものとし、他のテンプレートＴ１，Ｔ２についても、同様に歩行者候補ＭＫがリストアップして、対応するテンプレートごとに歩行者候補ＭＫのグループを形成する。
【００７０】
次に、取捨選択部２６において、リストアップされた歩行者候補グループごとに、以下の処理を行なう。
まず、歩行者候補グループの歩行者候補ＭＫ（ａ）〜（ｅ）の高さデータ（ｙ値）の平均値Ｙを求める。そして、この平均値Ｙと、各歩行者候補ＭＫ（ａ）〜（ｅ）の高さデータ（ｙ値）とを比較して差分絶対値ＤＹを求め、この差分絶対値ＤＹが差分閾値ＴＨ未満の歩行者候補ＭＫ（ｂ）〜（ｅ）を残し、差分閾値ＴＨ以上の歩行者候補ＭＫ（ａ）は棄却する。
【００７１】
この取捨選択部２６の取捨選択処理により、図７に示す歩行者候補ＭＫ（ａ）〜（ｅ）において、直線Ｌｉｎから大きく離れた歩行者候補ＭＫ（ａ）は、棄却される。他の歩行者グループについても順次同様の処理を実行する。
【００７２】
そこで、歩行者位置表示部３０は、残った歩行者候補ＭＫ（ｂ）〜（ｅ）に対し、画像表示部４０において、各歩行者候補ＭＫ（ｂ）〜（ｅ）を示す画像に、マーカーを重ねて表示させる処理を実行する。
【００７３】
（実施例１の効果）
以上説明してきた実施例１の歩行者検出システム１００は、以下に列挙する効果を奏する。
ａ）取捨選択部２６により、歩行者候補ＭＫ（ａ）〜（ｅ）が複数存在する場合、各テンプレートＴ１〜Ｔ３との相関値は高くても、他の歩行者候補（ＭＫ（ｂ）〜（ｅ））とは異なる位置に配置されたもの（ＭＫ（ａ））は、歩行者Ｍ以外のものとして、候補から取り除くようにした。
これにより、非歩行者の画像に基づく歩行者候補ＭＫが棄却され、歩行者Ｍの検出精度を向上させることができる。
【００７４】
ｂ）取捨選択処理では、各歩行者候補ＭＫ（ａ）〜（ｅ）の高さデータ（ｙ値）と平均値Ｙとの差である差分絶対値ＤＹと、あらかじめ設定した差分閾値ＴＨとの比較により取捨選択を行うようにした。このため、いわゆるキャリブレーション処理などの誤差量を特定して補正する処理を用いるものと比較して、システム処理量を大きく増やすことなく実施可能であり、かつ、赤外線カメラ１０の取付位置の精度を高くすることなく実施可能である。
よって、このように、本実施例１では、システムの処理量を大きく増やしたり、工程制約(取付精度向上)を付加したりすることなく、上記ａ）のように歩行者Ｍの検出率向上を実現可能とした。
【００７５】
（他の実施例）
以下に、他の実施例について説明するが、これら他の実施例は、実施例１の変形例であるため、その相違点についてのみ説明し、実施例１あるいは他の実施例と共通する構成については共通する符号を付けることで説明を省略する。
【実施例２】
【００７６】
上述の実施例１では、各テンプレートＴ１〜Ｔ３に相関値の高い歩行者候補グループ単位で処理する実施例を示したが、実施例２では、各テンプレートＴ１〜Ｔ３の相関値データを総合した段階で取捨選択処理を実施するようにした例を説明する。
【００７７】
実施例１の処理で最も懸念されるのは、第１〜第３テンプレートＴ１〜Ｔ３のいずれかのテンプレートマッチングで、非歩行者による歩行者候補ＭＫのみが検出された場合である。
【００７８】
その具体例を図９に示しており、図において（ａ）は第１テンプレートＴ１との相関値に基づいて得られた歩行者候補ＭＫ（ａ−１）、（ｂ）は第２テンプレートＴ２との相関値に基づいて得られた歩行者候補ＭＫ（ｂ−１）（ｂ−２）、（ｃ）は第３テンプレートＴ３との相関値に基づいて得られた歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）を示している。
【００７９】
この例では、図９（ａ）に示す歩行者候補ＭＫは非歩行者（看板）の画像が歩行者候補ＭＫとして検出されている。この図９（ａ）に示すように、第１テンプレートＴ１に相関値の高い歩行者候補ＭＫが、非歩行者による歩行者候補ＭＫ（ａ−１）のみである場合、実施例１のように、テンプレートごとに相関値の高い歩行者候補ＭＫから平均値Ｙを求めた場合、この歩行者候補ＭＫ（ａ−１）の差分絶対値ＤＹは、差分閾値ＴＨ未満となり、棄却されない。
【００８０】
そこで、本実施例２の歩行者検出システムでは、各テンプレートＴ１〜Ｔ３のリストアップデータの平均値から画面内の全体基準ライン（全体基準高さ）ＬＺを求め、この全体基準ラインＬＺに基づいて、各テンプレートＴ１〜Ｔ３と相関値の高いグループごとのグループ基準ラインＬＡ，ＬＢ，ＬＣを設定し、取捨選択を行なうようにした。
【００８１】
以下に、実施例２の取捨選択処理の流れを図１１〜図１３のフローチャートに基づいて説明する。
図１１は取捨選択処理の全体の流れを示しており、まず、ステップＳ２１０では、全体基準ライン算出処理を行い、画面全体での全体基準ラインＬＺを求めた後、ステップＳ２２０に進む。
【００８２】
ステップＳ２２０では、全体基準ラインＬＺに基づいて、第１グループ基準ラインＬＡ、第２グループ基準ラインＬＢ、第３グループ基準ラインＬＣを求めた後、ステップＳ２３０に進む。
なお、詳細は後述するが、全体基準ラインＬＺは、各グループ基準ラインＬＡ〜ＬＣのいずれか１つのラインに一致している。また、図１０に示すように、各グループ基準ラインＬＡ〜ＬＣの間の差分設定値Ｄｃａ，Ｄｃｂがあらかじめ設定されている。したがって、全体基準ライン（平均値Ｙ）ＬＺを元に、差分設定値Ｄｃａ，Ｄｃｂを加算あるいは減算して、各グループ基準ラインＬＡ〜ＬＣを求めることができ、これら各グループ基準ラインＬＡ〜ＬＣは、それぞれグループ平均値Ｙａ，Ｙｂ，Ｙｃを示している。
また、前述の差分設定値Ｄｃａは、第１グループ基準ラインＬＡと第３グループ基準ラインＬＣとの差であり、差分設定値Ｄｃｂは、第２グループ基準ラインＬＢと第３グループ基準ラインＬＣとの差である。
【００８３】
ステップＳ２３０では、各テンプレートＴ１〜Ｔ３に基づいて抽出された各相関リストデータ（歩行者候補ＭＫ）について不要なものは棄却する棄却処理を実行する。なお、この棄却処理の詳細については後述する。
【００８４】
次に、ステップＳ２１０の全体基準ライン算出処理の詳細を、図１２のフローチャートに基づき説明する。
まず、ステップＳ２１１において、最も小さいテンプレートである第３テンプレートＴ３に相関する相関リストデータセットを取り込んだ後、ステップＳ２１２に進む。なお、テンプレートの数が本実施例の「３」よりも多い場合、その最も小さなテンプレートに相関する相関リストデータを取り込む。
【００８５】
ステップＳ２１２では、相関リストデータセットの数が、あらかじめ設定された個数ｎ以上存在するか否か判定し、ｎ個に満たない場合は、ステップＳ２１３に進み、ｎ個以上存在する場合、ステップＳ２１４に進む。なお、ｎは２以上の複数であって、実施例２では、ｎ＝２として説明する。
【００８６】
ステップＳ２１３では、次に小さいテンプレートの相関リストデータセットの取り込みを行った後、ステップＳ２１２に戻る。例えば、ステップＳ２１２において、第３テンプレートＴ３の相関リストデータセットのセット数がｎ個に満たない場合は、第２テンプレートＴ２の相関リストデータセットの取り込みを行い、第２テンプレートＴ２の相関リストデータセットのセット数がｎ個に満たない場合は、第１テンプレートＴ１の相関リストデータセットの取り込みを行う。
すなわち、相関リストデータセットのセット数が少ない場合には、この相関リストデータセットにより求めた基準ラインが誤差を含む確率が高くなるために、セット数がｎ個未満の場合は、この相関リストデータセットの使用を避け、次に小さいテンプレートの相関リストデータセットを読み込む。
【００８７】
ステップＳ２１４では、読み込んだ相関リストデータセットの高さデータ（ｙ値）に基づいて平均値Ｙを求め、これを全体基準ラインＬＺとする。
【００８８】
次に、ステップＳ２３０の棄却処理の詳細を図１３のフローチャートに基づいて説明する。なお、この棄却処理は、各テンプレートＴ１〜Ｔ３に相関する歩行者候補のグループごとに実施する。
まず、ステップＳ２３１では、各グループ基準ラインＬＡ，ＬＢ，ＬＣを読み込んだ後、ステップＳ２３２に進む。
【００８９】
ステップＳ２３２では、各テンプレートＴ１〜Ｔ３と相関する各相関値リストデータセットを個別に取り込んだ後、ステップＳ２３３に進む。
【００９０】
ステップＳ２３３では、各テンプレートＴ１〜Ｔ３に相関するグループごとに、各相関値リストデータセットの高さデータ（ｙ値）と対応する各グループ基準ラインＬＡ，ＬＢ，ＬＣのうち対応するライン（グループ平均値Ｙａ，Ｙｂ，Ｙｃ）との差分絶対値ＤＹを算出した後、ステップＳ２３４に進む。
【００９１】
ステップＳ２３４では、各相関値リストデータセットの差分絶対値ＤＹと、実施例１と同様の差分閾値ＴＨとを比較し、差分絶対値ＤＹが差分閾値ＴＨを上回っている場合はステップＳ２３５に進んで、その相関値リストデータセットを棄却した後、ステップＳ２３６に進み、差分絶対値ＤＹが差分閾値ＴＨ以下の場合は、そのままステップＳ２３６に進む。なお、差分閾値ＴＨは、実施例１と同様に、対応するグループごとに異なる値が設定されているものとする。
【００９２】
ステップＳ２３６では、全相関値リストデータセットについてステップＳ２３２以降の処理が実行されたか否か判定し、未処理のものが存在する場合はステップＳ２３２に戻り、処理を完了した場合は、終了する。
【００９３】
（実施例２の作用）
次に、実施例２の作用を説明する。
実施例２にあっても、相関値検出部２４において、第１〜第３テンプレートＴ１〜Ｔ３との相関値を求め、相関領域最大値検出部２５において、相関値が相関閾値を越えるとともに、お互いに位置が近接しない相関値リストデータを抽出し、これを歩行者候補ＭＫとして取捨選択部２６に入力する点は、実施例１と同様である。
【００９４】
図９は、画像および歩行者候補ＭＫの一例を示しており、同図において（ａ）は第１テンプレートＴ１と相関性が高い１点の歩行者候補ＭＫ（ａ−１）を示し、（ｂ）は第２テンプレートＴ２と相関性の高い２点の歩行者候補ＭＫ（ｂ−１），（ｂ−２）を示し、（ｃ）は第３テンプレートＴ３と相関性の高い３点の歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）を示している。なお、同図（ａ）に示す第１テンプレートＴ１による歩行者候補ＭＫ（ａ−１）は、非歩行者の画像から検出されたものであり、他の歩行者候補ＭＫと離れた位置に配置されている。
【００９５】
以下に、このような図９に示す歩行者候補ＭＫがリストアップされた場合の、取捨選択部２６における取捨選択処理を説明する。
【００９６】
このような歩行者候補ＭＫが検出されている場合、最も小さな第３テンプレートＴ３の相関性リストアップデータの数が、ｎ個以上（ｎ＝２）存在するから、これらの歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）の高さデータ（ｙ値）の平均値Ｙから全体基準ラインＬＺを算出する（ステップＳ２１２→Ｓ２１３）。そして、この場合、全体基準ラインＬＺは、第３グループ基準ラインＬＣと同値となる。
【００９７】
このように全体基準ラインＬＺが、第３グループ基準ラインＬＣにより設定されたら、全体基準ラインＬＺ（＝ＬＣ）から第２テンプレート用の差分設定値Ｄｃｂを差し引いて第２グループ基準ラインＬＢを設定し、全体基準ラインＬＺ（ＬＣ）から第１テンプレート用の差分設定値Ｄｃａを差し引いて、第１グループ基準ラインＬＡを設定する（ステップＳ２２０）。
【００９８】
そして、各テンプレートＴ１〜Ｔ３のそれぞれに相関する歩行者候補ＭＫのグループごとに、歩行者候補ＭＫと各基準ラインＬＡ，ＬＢ，ＬＣとを比較し、その乖離が大きいものは、歩行者候補ＭＫから棄却する。
【００９９】
したがって、図９に示す例では、同図（ａ）に示す第１テンプレートＴ１と相関性の高い歩行者候補ＭＫ（ａ−１）は、第１グループ基準ラインＬＡに対する乖離度が大きいことから棄却される。また、同図（ｂ）に示す歩行者候補ＭＫ（ｂ−１）（ｂ−２）は、第２グループ基準ラインＬＢとの乖離度が小さいことから、棄却されることなく残され、同図（ｃ）に示す歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）も、第３グループ基準ラインＬＣとの乖離度が小さいことから、棄却されることなく残される。
【０１００】
これら残った歩行者候補ＭＫについては、画像表示部４０において、マーカーを重畳させて表示する点は、実施例１と同様である。
【０１０１】
（実施例２の効果）
実施例２にあっても、実施例１と同様の理由から実施例１で述べたａ）ｂ）の効果が得られる。加えて、実施例２にあっては、以下に列挙する効果が得られる。
【０１０２】
ｃ）各テンプレートＴ１〜Ｔ３との相関に基づいて得られた歩行者候補ＭＫの中で、１つのテンプレートに対し、複数の歩行者候補ＭＫが存在する相関値リストデータセットに基づいて、全体基準ラインＬＺを設定し、この全体基準ラインＬＺに基づいて、各グループ基準ラインＬＡ〜ＬＣを設定するようにした。
【０１０３】
したがって、歩行者候補ＭＫが１つしか存在しないテンプレートに相関するグループ基準ラインも、その１つしか存在しない歩行者候補ＭＫに基づくことなく設定でき、この歩行者候補ＭＫが非歩行者により画像であっても、誤検出が生じるのを防止できる。
【０１０４】
具体的には、図９（ａ）に示す第１テンプレートＴ１に対する相関性が高い歩行者候補ＭＫ（ａ−１）は、非方向者の画像から検出されたものである。しかしながら、この第１テンプレートＴ１に相関するグループ用の第１グループ基準ラインＬＡは、この歩行者候補ＭＫの相関値リストデータセットに基づくことなく、同図（ｃ）に示す３つの歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）に基づいて設定された全体基準ラインＬＺに基づいて設定されている。
【０１０５】
したがって、図９の非歩行者画像による歩行者候補ＭＫ（ａ−１）は、そのｙ値により第１グループ基準ラインＬＡが設定された場合には、乖離度が小さく棄却されない可能性が高いが、本実施例２のように、全体基準ラインＬＺに基づき第１グループ基準ラインＬＡが設定された場合は、乖離度が大きくなって棄却される。
このように、本実施例２では、非歩行者の画像による誤検出を回避して、歩行者検出精度を、さらに向上できる。
【０１０６】
ｄ）上記ｃ）のように、複数の歩行者候補ＭＫから全体基準ラインＬＺの設定を行うのにあたり、最大相関値のバラツキの少ない、小さなテンプレートと相関性の高い歩行者候補ＭＫから順に、複数の歩行者候補ＭＫが存在するか否か判定し、複数の歩行者候補ＭＫが存在する最も小さなテンプレートと相関する相関値リストデータセットから全体基準ラインＬＺを求めるようにした。
【０１０７】
したがって、大きなテンプレートと相関する相関値リストデータから全体基準ラインＬＺを演算するものと比較して、全体基準ラインＬＺのバラツキが小さく、誤検出防止性能を高めることができる。
【実施例３】
【０１０８】
次に、実施例３の歩行者検出システムについて説明する。
この実施例３の歩行者検出システムは、実施例２の変形例であり、相違点は、基準ラインの設定の仕方に関し、実施例３では、各基準ラインＬＡ，ＬＢ，ＬＣから、全体基準ラインＬＺｂを設定するようにしている。
【０１０９】
以下、実施例３における取捨選択部２６の取捨選択処理の流れを図１４および図１５のフローチャートに基づいて説明する。
【０１１０】
（取捨選択処理の流れ）
まず、図１４のフローチャートにより取捨選択処理の全体の流れを説明する。
ステップＳ３１０では、相関領域最大値検出部２５から、第１〜第３テンプレートＴ１〜Ｔ３に、それぞれ相関する各相関リストデータセットの高さデータ（ｙ値）を読み込み、第１テンプレートＴ１に相関する相関リストデータの高さデータ（ｙ値）の平均値である第１平均高さＹａ、第２テンプレートＴ２に相関する相関リストデータの高さデータ（ｙ値）の平均値である第２平均高さＹｂ、第３テンプレートＴ３に相関する相関リストデータの高さデータ（ｙ値）の平均値である第３平均高さＹｃを算出した後、ステップＳ３２０に進む。
【０１１１】
ステップＳ３２０では、各平均高さＹａ，Ｙｂ，Ｙｃから全体基準ラインＬＺｂを算出した後、ステップＳ３３０に進む。なお、全体基準ラインＬＺｂの算出方法の詳細は後述する。
【０１１２】
ステップＳ３３０では、全体基準ラインＬＺｂに基づいて第１〜第３グループ基準ラインＬＡ，ＬＢ，ＬＣを算出した後、ステップＳ３４０に進む。
なお、本実施例３では、各グループ基準ラインＬＡ，ＬＢ，ＬＣの算出は、以下のように行なう。実施例３では、実施例２と同様に、全体基準ラインＬＺｂに対する各グループ基準ラインＬＡ，ＬＢ，ＬＣの差分値Ｄａｚ，Ｄｂｚ，Ｄｃｚが設定されており、全体基準ラインＬＺｂから差分値Ｄａｚ，Ｄｂｚ，Ｄｃｚをそれぞれ減算して各基準ラインＬＡ，ＬＢ，ＬＣを算出する。
【０１１３】
次に、ステップＳ３２０の全体基準ラインＬＺｂを算出する処理の流れを図１５に基づいて説明する。
まず、ステップＳ３２１では、ステップＳ３１０で算出された第１〜第３平均高さＹａ〜Ｙｃを読み込み、ステップＳ３２２に進む。
【０１１４】
ステップＳ３２２では、各平均高さＹａ〜Ｙｃに基づいて、各テンプレートＴ１〜Ｔ３に相関する第１〜第３仮基準ラインＬａ，Ｌｂ，Ｌｃを求めた後、ステップＳ３２３に進む。なお、ステップＳ３２２は、各仮基準ラインＬａ，Ｌｂ，Ｌｃで並列に処理を行なうため、処理ステップを並列表記している。すなわち、ステップＳ３２２ａでは、第１平均高さＹａに、あらかじめ設定された差分設定値Ｄａを加算して、第１仮基準ラインＬａを求める。ステップＳ３２２ｂでは、第２平均高さＹｂに、あらかじめ設定された差分設定値Ｄｂを加算して、第２仮基準ラインＬｂを求める。ステップＳ３２２ｃでは、第３平均高さＹｃに、あらかじめ設定された差分設定値Ｄｃを加算して、第３仮基準ラインＬｃを求める。
【０１１５】
図１６は、第１〜第３平均高さＹと各各仮基準ラインＬａ，Ｌｂ，Ｌｃとの関係を表しており、本実施例３では、各差分設定値Ｄａ，Ｄｂ，Ｄｃは、Ｄａ＞Ｄｂ＞Ｄｃの大きさの関係に設定されており、各仮基準ラインＬａ，Ｌｂ，Ｌｃが、実施例２で説明した第３グループ基準ラインＬＣの近傍の高さとなるように設定されている。
【０１１６】
ステップＳ３２３では、各仮基準ラインＬａ，Ｌｂ，Ｌｃの平均値を全体基準ラインＬＺｂとする演算を行った後、終了する。
【０１１７】
（実施例３の作用）
次に、実施例３の作用を説明する。
実施例３にあっても、相関値検出部２４において、第１〜第３テンプレートＴ１〜Ｔ３との相関値を求め、相関領域最大値検出部２５において、相関値が相関閾値を越えるとともに、お互いに位置が近接しない相関値リストデータを抽出し、これを歩行者候補ＭＫとして取捨選択部２６に入力する点は、実施例１と同様である。
【０１１８】
ここで、図１６に示すような歩行者候補ＭＫが得られた場合の動作を説明する。
この図１６に示す例では、相関領域最大値検出部２５において、第１テンプレートＴ１との相関値が大きな同図（ａ）に示す歩行者候補ＭＫ（ａ−１）（ａ−２）が得られ、第２テンプレートＴ２との相関値が大きな同図（ｂ）に示す歩行者候補ＭＫ（ｂ−１）〜（ｂ−３）が得られ、第３テンプレートＴ３との相関値が大きな同図（ｃ）に示す歩行者候補ＭＫ（ｃ−１）（ｃ−２）が得られている。
【０１１９】
そこで、取捨選択部２６では、図１６（ａ）に示す歩行者候補ＭＫ（ａ−１）（ａ−２）の高さデータ（ｙ値）に基づいて第１グループ平均値Ｙａが算出され、図１６（ｂ）に示す歩行者候補ＭＫ（ｂ−１）〜（ｂ−３）の高さデータ（ｙ値）に基づいて第２グループ平均値Ｙｂが算出され、図１６（ｃ）に示す歩行者候補ＭＫ（ｃ−１）（ｃ−２）の高さデータ（ｙ値）に基づいて第３グループ平均値Ｙｃが算出される（ステップ３１０）。
【０１２０】
さらに、各グループ平均値Ｙａ〜Ｙｃの平均値から、図１６（ａ）〜（ｃ）にそれぞれ示す仮基準ラインＬａ，Ｌｂ、Ｌｃが算出される（ステップＳ３２２）。これら仮基準ラインＬａ，Ｌｂ，Ｌｃは、基本的には、略同一の高さに設定されるように、各差分設定値Ｄａ，Ｄｂ，Ｄｃが設定されているが、歩行者Ｍの位置のバラツキや、非歩行者を誤検出している場合には、高さにバラツキが生じ得る。
【０１２１】
そこで、各仮基準ラインＬａ，Ｌｂ，Ｌｃの平均値を全体基準ラインＬＺｂとすることで、このようなバラツキ成分を抑えた位置に全体基準ラインＬＺｂを設定することができる。
【０１２２】
そして、全体基準ラインＬＺｂに基づいて、再び、あらかじめ設定された差分値を差し引いて、第１グループ基準ラインＬＡ、第２グループ基準ラインＬＢ、第３グループ基準ラインＬＣが算出される（ステップＳ３３０）。
【０１２３】
これら各グループ基準ラインＬＡ，ＬＢ，ＬＣは、図１６に示すように、各歩行者候補ＭＫが、歩行者Ｍに基づいている場合には、図示の各グループ平均値Ｙａ，Ｙｂ，Ｙｃの付近に設定される。
これに対し、例えば、第１テンプレートＴ１に相関性の高い歩行者候補として、実施例２で説明した図９（ａ）のように非歩行者による歩行者候補ＭＫ（ａ−１）が含まれる場合は、第１グループ平均値Ｙａは、図１６（ａ）に示す位置よりも高い位置に設定されるが、このような場合でも、各グループ平均値Ｙａ，Ｙｂ，Ｙｃから得られた全体基準ラインＬＺｂから第１グループ基準ラインＬＡが設定されることから、この第１グループ基準ラインＬＡは、図１６（ａ）の第１グループ平均値Ｙａに近い位置に設定されることになる。
【０１２４】
したがって、図９（ａ）に示す非歩行者による歩行者候補ＭＫ（ａ−１）などは、第１グループ基準ラインＬＡから乖離するため、棄却される。
【０１２５】
（実施例３の効果）
以上説明したように、実施例３の歩行者検出システムにあっても、実施例１，２と同様に、前述のａ）ｂ）の効果が得られる。
【０１２６】
また、実施例３では、全体基準ラインＬＺｂを、各テンプレートＴ１〜Ｔ３との相関性の高い各相関リストデータセットに基づいて、第１〜第３グループ平均値Ｙａ，Ｙｂ，Ｙｃを求め、各グループ平均値Ｙａ，Ｙｂ，Ｙｃから仮基準ラインＬａ，Ｌｂ，Ｌｃを求め、これらから全体基準ラインＬＺｂを求め、この全体基準ラインＬＺｂから、各基準ラインＬＡ，ＬＢ，ＬＣを求めるようにした。
【０１２７】
したがって、各グループのうちで、歩行者候補ＭＫが存在しなかったり１つしか存在しなかったりするグループが存在していても、全体基準ラインＬＺｂを設定した後、各グループ基準ラインＬＡ〜ＬＣを設定でき、グループ内に、非歩行者による歩行者候補ＭＫしか存在していなくても、誤検出が生じるのを防止できる。
【実施例４】
【０１２８】
次に、実施例４の歩行者検出システムについて説明する。
この実施例４では、赤外線カメラ１０の取り付け高さを、歩行者Ｍの身長の１／２程度の高さに設置した例である。
【０１２９】
この場合、図１７に示すように、撮像素子（スクリーン）Ｓで得られる歩行者中心は、撮像素子Ｓの画面内の略一定の高さに存在することになる。なお、ｙｔ１，ｙｔ２は、それぞれ歩行者Ｍ１，Ｍ２の撮像素子（スクリーン）Ｓ上の寸法である。
【０１３０】
図１８は、実施例４において、赤外線カメラ１０で撮影した画像の一例であり、歩行者候補ＭＫの中心が、略一定の高さ（ＬＫの高さ）に配置されている。
【０１３１】
実施例４は、これを利用したもので、各歩行者候補ＭＫ（ｄ−１）〜（ｄ−４）の平均高さを求め、これより離れた高さの歩行者候補が存在する場合は、誤認識としてこれを棄却するようにした例である。
【０１３２】
図１９は、実施例４の取捨選択処理の流れを示すフローチャートであり、まず、ステップＳ４１０では、各テンプレートＴ１〜Ｔ３との相関性の高い相関リストデータセットを読み込んで、ステップＳ４２０に進む。
【０１３３】
ステップＳ４２０では、相関リストデータセットの高さデータ（ｙ値）の平均値Ｙを算出した後、ステップＳ４３０に進む。
【０１３４】
ステップＳ４３０では、平均値Ｙに基づいて、全体基準ラインＬＫを算出した後、ステップＳ４４０に進む。
【０１３５】
ステップＳ４４０では、不要な相関リストデータセット（歩行者候補ＭＫ）を棄却し、処理を終了する。
なお、ステップＳ４４０において、歩行者候補ＭＫを残すか、棄却するかの判定は、図１８に示す全体基準ラインＬＫとの偏差が、あらかじめ設定された閾値ΔＴＨ未満である場合は残し、閾値ΔＴＨ以上の場合は棄却するものとする。
【０１３６】
以上説明したように、実施例４の歩行者検出システムにあっては、赤外線カメラ１０を、歩行者Ｍの中心高さ付近に設置したため、各テンプレートＴ１〜Ｔ３との相関性が高い歩行者候補ＭＫの中心高さは、それが歩行者Ｍによる画像である場合は、各テンプレートＴ１〜Ｔ３の大きさにかかわらず、略一定の高さに配置される。
【０１３７】
したがって、歩行者Ｍの画像による歩行者候補ＭＫは、各歩行者候補ＭＫの中心高さの平均値Ｙから求めた全体基準ラインＬＫの近傍に配置される可能性が高いのに対し、非歩行者の画像による歩行者候補ＭＫは、全体基準ラインＬＫから離れて配置される可能性が高い。よって、全体基準ラインＬＫから閾値ΔＴＨ以上離れた歩行者候補ＭＫを棄却することにより、非歩行者の画像による誤検出を抑制することができる。
【０１３８】
また、実施例４にあっては、歩行者候補ＭＫは、各テンプレートＴ１〜Ｔ３のうちで、相関性の高いものが異なっていても、歩行者中心が略同じ高さに配置されるため、歩行者候補ＭＫが１つあるいは存在していないテンプレートが存在していても、歩行者候補ＭＫが複数存在していれば、全体基準ラインＬＫを設定することができる。
よって、上記ａ）ｂ）の効果が得られるのに加え、実施例２の効果ｃ）と同様に、この歩行者候補ＭＫが、複数のテンプレートＴ１〜Ｔ３の１または２のものが、非歩行者による画像に基づくもののみしか存在しない場合であっても、誤検出が生じるのを抑制できる。
【実施例５】
【０１３９】
次に、実施例５の歩行者検出システムについて説明する。
実施例５は、実施例４の変形例であり、歩行者Ｍに加え、子供を判別するようにした例である。
【０１４０】
すなわち、実施例５では、図２０に示すように、歩行者候補ＭＫ（ｆ−１）〜（ｆ−３）に基づいて設定した全体基準ラインＬＫに対して、あらかじめ設定された値ΔＬｃだけ下方位置近傍に、歩行者候補ＭＫが存在する場合、それを子供と判定するようにした。
【０１４１】
この処理は、例えば、実施例４のステップＳ４３０とステップＳ４４０との間で実行する。
【０１４２】
さらに、実施例５では、子供と判定された歩行者候補ＭＫには、歩行者位置表示部３０による処理に基づいて、画像表示部４０において、他の歩行者候補（大人）ＭＫよりも目立つ表示を行なう。なお、目立つ表示としては、例えば、「点滅」させたり、あるいは「別の色の表示（例えば、大人は黄色で子供は赤）」を行なったりする。
【０１４３】
以上説明した実施例５にあっては、実施例４の効果に加え、子供を検出し、子供に対しては、大人とみなした他の歩行者Ｍと異なる表示を行い、運転者の注意を、より強く促すことができる。
【０１４４】
以上、図面を参照して、本発明の実施の形態および実施例１〜５を詳述してきたが、具体的な構成は、これらの実施の形態および実施例１〜５に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【０１４５】
例えば、実施例１〜５では、歩行者検出部２０で歩行者を検出した後、歩行者の位置を表示するものを示したが、歩行者を検出した後の処理はこのような表示に限定されるものではなく、他の処理を行なうようにしてもよい。なお、他の処理としては、検出された歩行者との衝突を避けるように、転舵や制動などの運転支援処理が挙げられる。
【０１４６】
また、実施例１〜５では、テンプレートとして、３種類設定した例を示したが、テンプレートは、少なくとも１つ有していればよく、あるいは、複数有する場合、その数は、「２」以上であれば、「３」に限定されることは無い。
【０１４７】
また、実施例１〜５では、取捨選択処理を、画面上の高さの平均値との乖離度に基づいて行なう例を示したが、分散値に基づき、分散値が大きい場合に、歩行者候補から棄却するようにしてもよい。
【符号の説明】
【０１４８】
Ｍ 歩行者
Ｍ１ 歩行者
Ｍ２ 歩行者
ＭＫ 歩行者候補
１０ 赤外線カメラ（撮像装置）
２０ 歩行者検出部（歩行者検出手段）
２１ 輝度調整部
２２ エッジ検出部
２３ 歩行者テンプレート部
２４ 相関値検出部
２５ 相関領域最大値検出部（高相関領域検出部）
２６ 取捨選択部
３０ 歩行者位置表示部
４０ 画像表示部
１００ 実施例１の歩行者検出システム
Ｔ１ 第１テンプレート
Ｔ２ 第２テンプレート
Ｔ３ 第３テンプレート
【技術分野】
【０００１】
本発明は、車両周辺の歩行者の存在を検出する歩行者検出システムに関する。
【背景技術】
【０００２】
従来、車両進行方向を撮影する赤外線カメラを設置し、得られる画像から歩行者を検知し、運転者に画像の歩行者部分にマーカーを重畳して提示したり、あるいは危険度を自動的に認識して危険と判断した場合に警告したり、あるいは車両の自動操縦装置による制動や操舵による回避させたりすることが可能なシステムの実現が検討されている。
【０００３】
このような歩行者検出システムとして、歩行者を検出する場合、あらかじめ歩行者の輪郭を模したテンプレートを用意し、このテンプレートと画像内の歩行者が存在する可能性のあるエリアの類似性を求める、いわゆる「パターンマッチング」を用いるものが、例えば、特許文献１などにより知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−９１４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したような従来の歩行者検出システムでは、検出精度を向上させる場合、画像処理装置で誤差量を特定して補正する、いわゆるキャリブレーション処理が必要になる。この場合、時間的要素を含めた判定の場合は、動画処理となるために処理速度などシステム全体の制約が生じ、実施が難しくなる。
【０００６】
本発明は上記事情に鑑みてなされたもので、大規模な処理を付加することなく、歩行者の検出精度を向上可能な歩行者検出システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の目的達成のため本発明は、請求項１に記載の発明は、車両に設置されて前記車両の進行方向を撮像する撮像装置と、この撮像装置によって撮像して得られた画像に基づいて、歩行者を検出する歩行者検出手段と、を備えた歩行者検出システムであって、前記歩行者検出手段が、前記画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートとのマッチングを行い、このテンプレートとの相関値を求める相関値検出部と、前記画像のうち、前記相関値が歩行者とみなすことができるだけ高い画像領域を歩行者候補として検出する高相関領域検出部と、複数の前記歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、前記歩行者候補が適性か否か判定し、不適正なものは歩行者候補から棄却する取捨選択処理を実行する取捨選択部と、を備えていることを特徴とする歩行者検出システムとした。
【０００８】
また、請求項２に記載の発明は、請求項１に記載の歩行者検出システにおいて、前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、前記取捨選択部は、前記取捨選択処理において、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、このグループごとに、前記平均値を求めるとともに、この平均値と、前記グループに含まれる各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする歩行者検出システムとした。
【０００９】
また、請求項３に記載の発明は、請求項１に記載の歩行者検出システムにおいて、前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、前記取捨選択部は、前記取捨選択処理において、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、各グループのうちで複数の前記歩行者候補が存在するあるグループの前記平均値から全体基準高さを求め、この全体基準高さに基づいて、各グループに対応するグループ基準高さを設定し、前記グループごとに、前記グループ基準高さと前記歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする歩行者検出システムとした。
【００１０】
また、請求項４に記載の発明は、請求項３に記載の歩行者検出システムにおいて、前記取捨選択部は、前記取捨選択処理において、前記平均値は、あらかじめ設定された設定値以上の歩行者候補が存在するグループのうちで最もサイズの小さなテンプレートとの相関性の高いグループから求めることを特徴とする歩行者検出システムとした。
【００１１】
また、請求項５に記載の発明は、請求項１に記載の歩行者検出システムにおいて、前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、前記取捨選択手段は、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、前記グループごとに前記歩行者候補の高さの平均値を求め、各平均値に基づいて全体基準高さを設定し、この全体基準高さに基づいて、各グループのグループ基準高さを求め、前記グループごとに、前記グループ基準高さと前記グループに含まれる各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする歩行者検出システムとした。
【００１２】
また、請求項６に記載の発明は、請求項１に記載の歩行者検出システムにおいて、前記赤外線カメラが、歩行者の高さ方向の中心位置とみなすことのできる高さに設置され、前記取捨選択部は、全歩行者候補の高さデータの平均値である判定基準値を求め、この判定基準値と各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする歩行者検出システムとした。
【００１３】
また、請求項７に記載の発明は、請求項１〜６に記載の歩行者検出システムにおいて、前記平均値から設定範囲内の低い歩行者候補を子供と判別することを特徴とする歩行者検出システムとした。
【発明の効果】
【００１４】
請求項１に記載の発明では、歩行者の身長分の画像上の高さ寸法は、赤外線カメラ（車両）と歩行者との距離に応じて決定される。また、赤外線カメラと歩行者との距離に応じて、画像上の歩行者の足元の高さ方向の位置も決定される。よって、共通するテンプレートに相関する歩行者候補は、画像上における足元の高さ位置および身長分の高さ寸法が略一定となる。
【００１５】
したがって、歩行者候補は、それが歩行者の画像であれば、その高さは平均値に近い可能性が高く、歩行者以外の画像であれば、平均値から離れる可能性が高くなる可能性が高い。
そこで、取捨選択部では、複数の歩行者候補の画像上の高さの平均値と、各歩行者候補の画像上の高さとに基づいて、適正であるか否かを判定し、不適なものは歩行者から棄却する。
【００１６】
このように、請求項１に記載の発明では、複数の歩行者候補の高さの平均値と、各歩行者候補の高さとに基づいて、不適正と判定されたものは、歩行者候補から棄却するため、検出精度を向上させることが可能である。また、歩行者候補の取捨選択を、歩行者候補の高さとその平均値とに基づいて行うため、処理が容易であり、システムの処理量を大きく増やしたり、また、新たな機能（キャリブレーション）や工程制約(取付精度向上)を付加したりすることなく、上記の歩行者の検出精度向上を実現可能である。
【００１７】
請求項２に記載の発明では、複数の歩行者が存在する場合、これら複数の歩行者の車両との距離が共通していれば、画像上では、複数の歩行者の画像は、同じ高さで横並びする。そして、このような横並びの歩行者の画像は、テンプレートマッチングを行った場合は、共通するテンプレートとの相関値が高くなる。
【００１８】
そこで、複数のテンプレートを有している場合、複数の歩行者候補を相関値が高いテンプレートごとにグループ分けし、グループごとに、平均値と、高さデータとを比較し、その乖離度で適正か否か判定する。よって、請求項２に記載の発明では、歩行者候補をテンプレートごとにグループ分けしないものよりも、精度の高い歩行者判定が可能となる。
【００１９】
次に、請求項３に記載の発明の作用効果を説明する。
歩行者候補を、相関するテンプレートごとにグループ分けする構成では、あるグループにおいて、歩行者候補として、歩行者以外の画像によるもの１つのみが検出された場合、その平均値は、本来歩行者の位置を示す値から離れた値となるおそれがある。
【００２０】
そこで、請求項３に記載の発明では、歩行者候補を、相関するテンプレートごとにグループ分けし、各グループのうち、複数の歩行者候補が存在するグループの平均値から全体基準高さを求める。このように、複数の歩行者候補が存在する場合、この歩行者候補のグループには、歩行者の画像が含まれる可能性が高く、この平均値に基づいて設定された全体基準高さは、非歩行者のみの平均値に基づいて設定された全体基準高さよりも、歩行者の画像の高さを示す可能性が高い。
【００２１】
また、前述のように、自車両との距離が略一致する歩行者は、画像上の高さも、略一致する。よって、相関するテンプレートが異なるグループ間では、画面上の高さの差が略一定となり、このグループ間の画面上の高さの差は、あらかじめ、赤外線カメラの設置高さや、テンプレートの大きさに基づいて設定することができる。
【００２２】
そこで、前述のように、１つのグループの歩行者候補に基づいて全体基準高さが設定されると、他のグループの基準高さであるグループ基準高さも設定することができる。
【００２３】
このように、請求項３に記載の発明では、複数の歩行者候補が存在するグループの平均値から全体基準高さを求め、全体基準高さに基づいてグループ基準高さを設定し、このグループ基準高さと歩行者候補の高さとを比較して乖離度に基づいて取捨選択を行なうようにしたため、非歩行者による１つの歩行者候補しか存在しないグループであっても、この非歩行者による歩行者候補による高さデータに影響されること無く、グループ基準高さが設定され、いっそう誤検出の抑制を図ることが可能となる。
【００２４】
請求項４に記載の発明では、請求項３に記載の発明において、複数の歩行者候補が存在するグループのうちで、最も小さなテンプレートに相関するグループに基づいて平均値および全体基準高さを設定するようにした。
【００２５】
すなわち、複数のサイズの異なるテンプレートを使用した場合、一般に、大きなテンプレートほど、最大相関値の出現位置にバラツキが生じる。そこで、最小のテンプレートに相関する歩行者候補の平均値を使用することで、全体基準高さの設定において、このようなバラツキの影響を抑制することができる。
【００２６】
したがって、請求項４に記載の発明では、相対的に大きなテンプレートに相関するグループの平均値から全体基準高さを設定したものと比較して、出現位置のバラツキの影響を緩和して、検出精度を向上できる。
【００２７】
請求項５に記載の発明では、各グループの平均値から設定した全体基準高さに基づいて、各グループの基準となるグループ基準高さを求め、このグループ基準高さとの乖離度で適正か不適正かを判定するようにしたため、グループ内に非歩行者の画像に基づく１つの歩行者候補しか存在しない場合でも、グループ基準高さを適正に設定することができる。すなわち、全グループの平均値に基づいて全体基準高さを設定するため、全歩行者候補の多数が歩行者の画像による場合は、非歩行者画像によるバラツキを抑制できる。そして、このように設定した全体基準高さに基づいて、各グループ基準高さを設定するため、あるグループで、歩行者候補が非歩行者画像によるものが１つしか存在していなくても、グループ基準値を、この歩行者候補に影響されること無く、適正に設定できる。したがって、この非歩行者画像による歩行者候補の高さが、グループ基準高さから乖離していれば、不適正として棄却される。
【００２８】
このように、請求項５に記載の発明では、グループ基準高さを適正に設定し、歩行者の検出精度を向上させることができる。
【００２９】
請求項６に記載の発明では、赤外線カメラの取り付け高さを、歩行者の高さ方向の中心位置（身長の略１／２）に配置した場合、歩行者の中心は、撮影された画像の高さ方向の中心に配置される。
したがって、テンプレートの上下方向寸法にかかわらず、歩行者候補の高さ方向の中心も、画像の高さ方向の中心付近に配置される。
よって、テンプレートの上下方向寸法の違いにかかわらず、全歩行者候補の高さの平均値と各歩行者候補の高さとの乖離度に基づいて、歩行者候補が適正な位置に配置されているか否か判定することができる。
【００３０】
このように、請求項６に記載の発明では、全歩行者候補の高さの平均値を基準に判定するため、歩行者候補として非歩行者による画像が含まれていても、平均値に対する影響を小さくし、検出精度を高めることができる。
【００３１】
請求項７に記載の発明では、子供の判別を追加するため、運転者など乗員に対し、より正確な情報を与えることができる。また、子供の判別を、歩行者候補の上下寸法のみで判別するため、判別が容易である。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態の実施例１の歩行者検出システム１００を示すブロック図である。
【図２】実施例１の歩行者検出システム１００の歩行者検出部２０の構成を示すブロック図である。
【図３】実施例１の歩行者検出システム１００で使用する第１テンプレートＴ１、第２テンプレートＴ２、第３テンプレートＴ３および画像の一例を示す説明図ある。
【図４】実施例１の歩行者検出システム１００における歩行者Ｍと赤外線カメラ１０との「距離」と、画面上の「大きさ」と、画面上の「高さ位置」と、の相関関係を示す説明図である。
【図５】実施例１の歩行者検出システム１００における相関値検出部２４を示すブロック図である。
【図６】実施例１の歩行者検出システム１００において、相関値検出部２４および相関領域最大値検出部２５において、相関値に基づいて歩行者候補をリストアップし、相関値の大きい順に並べる処理の説明図であり、（ａ）はリストアップされたデータを示し、（ｂ）は相関値の大きい順に並べた状態、および不適正なものを示し、（ｃ）に最終的な歩行者候補ＭＫのリストアップデータを示している。
【図７】実施例１の歩行者検出システム１００において、リストアップされた歩行者候補ＭＫ（ａ）〜（ｅ）の位置を画像中に四角で示した一例を示す説明図である。
【図８】実施例１の歩行者検出システム１００の取捨選択部２６における取捨選択処理の流れを示すフローチャートである。
【図９】実施例１の歩行者検出システム１００において検出された歩行者候補ＭＫの一例を示す説明図であり、（ａ）は第１テンプレートＴ１との相関値に基づいて得られた歩行者候補ＭＫ（ａ−１）を示し、（ｂ）は第２テンプレートＴ２との相関値に基づいて得られた歩行者候補ＭＫ（ｂ−１）（ｂ−２）を示し、（ｃ）は第３テンプレートＴ３との相関値に基づいて得られた歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）を示している。
【図１０】実施例２の歩行者検出システムにおける各基準ラインＬＡ〜ＬＣの間の差分設定値Ｄｃａ，Ｄｃｂの説明図である。
【図１１】実施例２の歩行者検出システムにおける取捨選択処理の全体の流れを示すフローチャートである。
【図１２】実施例２の歩行者検出システムにおける全体基準ライン算出処理の流れを示すフローチャートである。
【図１３】実施例２の歩行者検出システムにおける棄却処理の流れを示すフローチャートである。
【図１４】実施例３の歩行者検出システムにおける取捨選択処理の全体の流れを示すフローチャートである。
【図１５】実施例３の歩行者検出システムの取捨選択処理における全体基準ラインＬＺｂを算出する処理の流れを示すフローチャートである。
【図１６】実施例３の歩行者検出システムにおいて検出された歩行者候補ＭＫの一例を示す説明図であり、（ａ）は第１テンプレートＴ１との相関値が大きな歩行者候補ＭＫ（ａ−１）（ａ−２）を示し、（ｂ）は第２テンプレートＴ２との相関値が大きな歩行者候補ＭＫ（ｂ−１）〜（ｂ−３）を示し、（ｃ）は第３テンプレートＴ３との相関値が大きな歩行者候補ＭＫ（ｃ−１）（ｃ−２）を示している。
【図１７】実施例４の歩行者検出システムにおける歩行者Ｍ１、Ｍ２と赤外線カメラ１０との「距離」と、画面上の「大きさ」と、画面上の「高さ位置」と、の相関関係を示す説明図である。
【図１８】実施例４の歩行者検出システムにおいて赤外線カメラ１０で撮影した画像の一例を示す説明図である。
【図１９】実施例４の歩行者検出システムにおける取捨選択処理の流れを示すフローチャートである。
【図２０】実施例５の歩行者検出システムにおける全体基準ラインＬＫと子供と判定される歩行者候補ＭＫ（ｆ−１）との関係の説明図である。
【発明を実施するための形態】
【００３３】
以下、本発明の実施の形態を説明する。
【００３４】
この実施の形態の歩行者検出システムは、車両に設置されて前記車両の進行方向を撮像する撮像装置（１０）と、この撮像装置（１０）によって撮像して得られた画像に基づいて、歩行者（Ｍ）を検出する歩行者検出手段（２０）と、を備えた歩行者検出システムであって、前記歩行者検出手段（２０）が、前記画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートートとのマッチングを行い、このテンプレートとの相関値を求める相関値検出部（２４）と、前記画像のうち、前記相関値が歩行者とみなすことができるだけ高い画像領域を前記歩行者候補として検出する高相関領域検出部（２５）と、複数の前記歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、前記歩行者候補が適性か否か判定し、不適正なものは歩行者候補から棄却する取捨選択処理を実行する取捨選択部（２６）と、を備えていることを特徴とする歩行者検出システムである。
【実施例１】
【００３５】
以下に、本発明の実施例１の歩行者検出システム１００について図面を参照して説明する。
【００３６】
（実施例１の構成）
まず、実施例１の歩行者検出システム１００の構成について説明する。
図１は、実施例１の歩行者検出システム１００を示すブロック図であり、この歩行者検出システム１００は、赤外線カメラ（撮像装置）１０、歩行者検出部（歩行者検出手段）２０、歩行者位置表示部３０、画像表示部４０を備えている。
【００３７】
赤外線カメラ１０は、図示を省略した車両に設置され、車両の進行方向の所定の領域を撮像する。この進行方向とは、以下の説明では車両前方を指すが、車両後方を撮影するものでもよい。
【００３８】
歩行者検出部２０は、詳細は後述するが、赤外線カメラ１０から得られた赤外線画像において、歩行者Ｍ（図４参照）を表す像を検出する。
【００３９】
歩行者位置表示部３０は、歩行者検出部２０により検出された歩行者像の位置に、矩形枠などのマーカーを付して表示する処理を実行する。
【００４０】
画像表示部４０は、赤外線カメラ１０で撮影された画像を表示するとともに、歩行者検出部２０が歩行者Ｍを検出したときには、その画像が表示されている部分に、歩行者位置表示部３０により与えられたマーカーを付して表示する。
【００４１】
以下に、歩行者検出部２０における歩行者を検出する構成について詳細に説明する。
本実施例１では、画像から歩行者Ｍを検知する手法としては、あらかじめ歩行者ＭのテンプレートＴ１〜Ｔ３（図３参照）を用意して、これらのテンプレートＴ１〜Ｔ３と画像内の歩行者Ｍが存在する可能性のあるエリアの類似性を求め、類似性が高い場合に、歩行者Ｍと判定するいわゆる「パターンマッチング」を用いている。
【００４２】
また、比較する画像要素として、大きく分けて「輝度の画素値の比較」と「物体のエッジ情報比較」の手法がある。
「物体のエッジ情報比較」は、画像全体の明るさに依存しないために、天候や太陽位置に左右される車両用などの野外での機器での使用に適している。また、エッジ情報は二値あるいは少ない階調で表現可能なために、扱うデータ量も少なく検知処理の多くの割合を占めるテンプレートとの類似度の計算が少なくて済む。そこで、本実施例１では、「物体のエッジ情報比較」を用いている。
【００４３】
図２は歩行者検出部２０の構成を示すブロック図であり、輝度調整部２１、エッジ検出部２２、歩行者テンプレート部２３、相関値検出部２４、相関領域最大値検出部（高相関領域検出部）２５、取捨選択部２６を備えている。
【００４４】
輝度調整部２１は、赤外線画像の画面全体の輝度を調整することに画面内の輝度差を明確にする。
エッジ検出部２２は、輝度調整部２１によりコントラストが高められた画像におけるエッジを検出する。
【００４５】
歩行者テンプレート部２３は、あらかじめ設定された歩行者Ｍの輪郭を模したテンプレートＴ１〜Ｔ３を複数種類記憶している。本実施例１では、自車両と歩行者との距離の違いに応じ、図３に示すように、第１テンプレートＴ１、第２テンプレートＴ２、第３テンプレートＴ３の、３種類のテンプレートが記憶されている。なお、第１テンプレートＴ１は、赤外線カメラ１０に撮影された画像Ｐにおいて、自車両に最も近い歩行者Ｍの検出に用いるテンプレートであり、第２テンプレートＴ２は、それよりも遠くに存在する歩行者Ｍの検出に用いるテンプレートであり、第３テンプレートＴ３は、それよりもさらに遠くに存在する歩行者の検出に用いるテンプレートである。このように、各テンプレートＴ１〜Ｔ３は、自車両との距離が遠くの歩行者Ｍを検出するものほど、小さく設定されている。
【００４６】
相関値検出部２４は、エッジ検出部２２で得られたエッジ画像において歩行者Ｍが存在する可能性がある画像部分から、各テンプレートＴ１〜Ｔ３と同じ大きさで抜き出した部分、または想定する歩行者Ｍと同じ大きさで抜き出した後に拡大や縮小により同じ大きさとした部分を、歩行者テンプレート部２３にあらかじめ記憶されている各テンプレートＴ１〜Ｔ３の画素値と比較演算して、各テンプレートＴ１〜Ｔ３と、どの位類似しているかを示す相関値を求め、各画像位置の相関値を表す相関マップを作成する。
【００４７】
相関領域最大値検出部２５は、相関マップ内の相関値は連続性があるために、値のピーク位置を求め、これがあらかじめ設定した差分閾値ＴＨ以上の場合に、歩行者候補ＭＫ（例えば図７参照）と判断し、取捨選択部２６へ渡す。
【００４８】
取捨選択部２６は、複数の歩行者候補ＭＫについて、歩行者Ｍ以外である可能性が高いものを棄却する取捨選択処理を実行し、残った歩行者候補ＭＫを歩行者位置表示部３０へ渡す。なお、取捨選択処理の詳細は、後述するが、歩行者Ｍの下端（足）の高さを示すｙ値およびその平均値Ｙに基づいて残すか棄却するかの判断を行う。
【００４９】
（相関値検出部２４における演算の説明）
次に、相関値検出部２４の相関値を求める演算について説明を加える。
この相関値を求める演算としては、いくつかの手法が使われているが、本実施例１では、そのひとつの例として差分絶対値積（ＳＡＤ：Sum of Absolute Difference）を式（１）に示す。
ＳＡＤ＝Σ｜Ｓｅｒ（ｉ，ｊ）−Ｔｅｍｐ（ｉ，ｊ）｜ ・・・（１）
ここで、Ｔｍｐ（ｉ，ｊ） は、テンプレート画像の位置（ｉ，ｊ）の画素値、Ｓｅｒ（ｉ，ｊ）は、調査画像の相関値を求める画像位置の周囲をテンプレートと同じ大きさに切り出した画像中の位置（ｉ，ｊ）の画素値である。
【００５０】
これら２つの値の差分絶対値を求め、これを各テンプレートＴ１〜Ｔ３の大きさ全体（テンプレートの大きさを縦Ｉ画素、横Ｊ画素とすると、ｉ＝１〜Ｉ、ｊ＝１〜Ｊ）の値を加算して相関値とする。実際には、この計算結果を基に扱いやすいように値を操作することが多い。例えば、上記式（１）では、画像の一致度が高い程相関値は小さくなるが、下記の式（２）のように、画素数（ＩとＪとの積）と最大画素値Ｄ（８ｂｉｔ画像なら２５６、二値画像なら１）の積で割り（いわゆる正規化）、値を１から引くことによりテンプレートの大きさが異なる相関値間の比較にも使うことができる。
ＳＡＤｎ＝１−（ＳＡＤ／（Ｉ×Ｊ×Ｄ） ・・・（２）
以上の演算を、赤外線カメラ１０の画像の調査領域全体に亘って求め、相関マップを作成する。
【００５１】
ここで、相関値検出部２４における各テンプレートＴ１〜Ｔ３と、画像上の歩行者Ｍの大きさおよび歩行者Ｍとの距離の関係について、説明を加える。
【００５２】
本実施例１は、歩行者と赤外線カメラ１０との「距離」と、画面上の「大きさ」と、画面上の「高さ位置」と、に相関関係があることを利用している。
この相関関係を、図４を用いて説明する。
図４において、Ｍが歩行者、Ｒが赤外線カメラ１０のレンズ、Ｓが赤外線カメラ１０の撮像素子（スクリーン)である。また、Ｔが歩行者Ｍの高さ（身長）、Ｌが歩行者Ｍの赤外線カメラ１０からの距離、ｆがレンズＲの焦点距離、Ｈが赤外線カメラ１０の取付高さ、ｙが歩行者Ｍの下端（足）が撮像素子（スクリーン）Ｓに結像する位置であって、撮像素子（スクリーン）Ｓ中心からの距離、ｙｔが歩行者Ｍの高さＴの撮像素子（スクリーン）Ｓ上の寸法である。なお、撮像素子（スクリーン）Ｓ上の結像位置は、カメラ映像の位置に対応する。ただし、撮像素子（スクリーン）Ｓ上の上下位置関係はカメラ映像では反転する。
【００５３】
これらの関係から、歩行者Ｍの下端（足）位置（ｙ値）は、下記の式（３）により求めることができ、歩行者Ｍの撮像素子Ｓ上の寸法ｙｔは、下記の式（４）で求めることができる。これらの式の中で、焦点距離ｆと取付高さＨとは固定値であり、歩行者Ｍの高さ(身長)Ｔも便宜上固定値とすると、「距離（Ｌ）」と画像上の「大きさ（ｙｔに相当）」と画面上の「高さ位置（ｙ）」に相関（反比例）関係があることが理解できる。
ｙ＝ｆ×Ｈ／Ｌ ・・・（３）
ｙｔ＝ｙ−｛ｆ×（Ｈ−Ｔ）｝／Ｌ ・・・（４）
本実施例１では、これを利用して、得られた複数の歩行者検出処理による候補の傾向をみて、これらの関係から大きく外れている歩行者検出処理による候補を棄却することにより、誤検出を低減させるようにしている。
【００５４】
ここで、実施例１において、３種類のサイズの第１〜第３テンプレートＴ１〜Ｔ３を用いる相関値検出部２４について説明を加える。
【００５５】
図５に示すように、相関値検出部２４は、第１〜第３相関マップ作成部２４ａ，２４ｂ，２４ｃと、第１〜第３最大値・位置抽出部２４ｄ〜２４ｆとを備えている。
エッジ検出部２２から画像が各入力されると、第１〜第３相関マップ作成部２４ａ，２４ｂ，２４ｃのそれぞれにおいて、各テンプレートＴ１〜Ｔ３に対応する相関マップが求められる。
【００５６】
第１〜第３最大値・位置抽出部２４ｄ〜２４ｆでは、これらの相関マップ毎に、最大値の上位から指定された数の相関値と、その画面上の位置（ｘ，ｙ）とを、データとするリスト（以下、これを相関値リストデータと称する）が作成される。
この時、画面上の位置が、隣接した位置となった場合には、各テンプレートＴ１〜Ｔ３の大きさを考慮して、同じ対象物(歩行者)に対する重複したリストアップを避ける必要がある。そこで、このリストから、位置と相関値との大きさを考慮し、歩行者候補ＭＫの範囲を絞り込む。
【００５７】
すなわち、第１〜第３最大値・位置抽出部２４ｄ〜２４ｆでは、第１〜第３相関マップ作成部２４ａ，２４ｂ，２４ｃで作成された相関値マップから、図６（ａ）に示す候補をリストアップし、さらに、これを、同図（ｂ）に示すように、１つのリストにまとめて相関値の大きい順に並べる。そして、このリストにおいて、位置（ｘ，ｙ）が近接している候補（重複候補）や、相関値があらかじめ設定された閾値（本実施例１では、閾値＝０．８とする）以下のデータを削除して、同図（ｃ）に示す最終的な歩行者候補ＭＫを決定する。
【００５８】
（取捨選択処理の説明）
さらに、歩行者検出部２０では、本発明の目的である誤検出低減を図るために、前述した取捨選択部２６において、歩行者候補ＭＫの中から、歩行者Ｍの可能性が高いものは残し、歩行者Ｍ以外である可能性が高いものを取り除く取捨選択処理を実行する。
以下、その詳細について説明する。
【００５９】
上述した第１〜第３テンプレートＴ１〜Ｔ３のうち、共通するテンプレートでリストアップされた歩行者候補ＭＫは、同じような距離に存在するはずであるから、同一の画像上では、横直線上に並ぶはずである。
【００６０】
図７に一例を示す。この図は、第１〜第３テンプレートＴ１〜Ｔ３のいずれか１つ、例えば、第２テンプレートＴ２の相関マップでリストアップされた歩行者候補ＭＫ（ａ）〜（ｅ）の位置を、説明のために画像中に四角で示したものである。この図に示すように、４つの歩行者候補ＭＫ（ｂ）〜（ｅ）は、直線Ｌｉｎ上に配置されている。
【００６１】
一方、図において最も左に配置された歩行者候補ＭＫ（ａ）は、直線Ｌｉｎから大きく外れた位置に配置されている。このように、複数の歩行者候補ＭＫ（ｂ）〜（ｅ）から大きく外れた歩行者候補ＭＫ（ａ）は、実際には、建物の一部であって、第２テンプレートＴ２に相関する歩行者Ｍが、存在すべき位置と異なって配置されている。そこで、取捨選択部２６では、所定のテンプレートとの相関値は高くても、他の歩行者候補ＭＫ（ｂ）〜（ｅ）とは異なる位置に配置された歩行者候補ＭＫ（ａ）は、候補から取り除くようにしている。
【００６２】
次に、取捨選択部２６における取捨選択処理の流れを、図８のフローチャートに基づいて説明する。なお、この図８に示す取捨選択処理は、第１〜第３テンプレートＴ１〜Ｔ３のそれぞれに相関値の高い歩行者候補ＭＫのグループごとに独立して実施される。また、このフローチャートを説明するのにあたり、第３テンプレートＴ３を用いて図７に示す歩行者候補ＭＫ（ａ）〜（ｅ）が検出された場合の処理に沿って説明する。
【００６３】
まず、ステップＳ１では、相関領域最大値検出部２５で選択された歩行者候補ＭＫ（ａ）〜（ｅ）について、全相関リストの画面内高さデータ（ｙ値）を取り込んだ後、ステップＳ２に進む。
【００６４】
ステップＳ２では、取り込んだ全高さデータ（ｙ値）の平均値Ｙを求めた後、ステップＳ３に進む。この平均値Ｙが、図７の直線Ｌｉｎの位置に相当する。
【００６５】
ステップＳ３〜Ｓ６の処理は、各歩行者候補ＭＫ（ａ）〜（ｅ）について個別に順次行う処理であって、まず、ステップＳ３では、各歩行者候補ＭＫ（ａ）〜（ｅ）の各相関リストデータセット（相関値とｙ値とｘ値のセット）を読み込み、各相関リストデータセットの高さデータ（ｙ値）と、ステップＳ２で算出された平均値Ｙとの乖離度を示す差分絶対値ＤＹを算出した後、ステップＳ４に進む。
【００６６】
ステップＳ４では、差分絶対値ＤＹとあらかじめ設定された差分閾値ＴＨとの大小関係に基づいて、差分絶対値ＤＹが差分閾値ＴＨ未満の場合はステップＳ６に進み、差分絶対値ＤＹが差分閾値ＴＨ以上の場合はステップＳ５に進む。なお、差分閾値ＴＨは、各テンプレートＴ１〜Ｔ３に対応するグループごとに設定されており、第３テンプレートＴ３に対応する差分閾値ＴＨは、第１テンプレートＴ１に対応する差分閾値ＴＨよりも小さな値に設定されているものとする。
【００６７】
ステップＳ５では、歩行者候補ＭＫ（図７の例ではＭＫ（ａ））を棄却した後、ステップＳ６に進む。
ステップＳ６では、全ての歩行者候補ＭＫ（ａ）〜（ｅ）についてステップＳ３からの処理を終えたか否か判定し、終えていない場合はステップＳ３に戻り、終えた場合は、取捨選択処理を終了する。例えば、歩行者候補ＭＫ（ａ）からＭＫ（ｅ）に向けて順に処理を行う場合、歩行者候補ＭＫ（ａ）について処理を終えた場合は、歩行者候補ＭＫ（ｂ）についてステップＳ３からの処理を行い、歩行者候補ＭＫ（ｂ）についてステップＳ３からの処理を終えたら歩行者候補ＭＫ（ｃ）について処理を行い、歩行者候補ＭＫ（ｅ）の処理が終わった時点で、終了する。
また、ここで全ての歩行者候補ＭＫの「全て」とは、第１〜第３テンプレートＴ１〜Ｔ３のいずれか１つのテンプレートに対して相関値の高い歩行者候補ＭＫの「全て」のことであり、以上の処理を、各テンプレートＴ１〜Ｔ３についてそれぞれ実施する。
【００６８】
（実施例１の作用）
次に、実施例１の歩行者検出システム１００の作用を説明する。
夜間走行時には、赤外線カメラ１０で車両前方の撮影を行う。このとき、得られた画像の一例が図７に示す画像である。
【００６９】
赤外線カメラ１０で撮影された画像は、歩行者検出部２０に入力される。
歩行者検出部２０では、輝度調整部２１における輝度調整、エッジ検出部２２におけるエッジ検出を行った画像に対し、相関値検出部２４において、第１〜第３歩行者テンプレートＴ１〜Ｔ３のそれぞれとの相関値を求める。
さらに、相関領域最大値検出部２５では、相関値があらかじめ設定された閾値（本実施例１では、０．８）よりも高い相関値を有し、かつ、データセットのｘ値およびｙ値が近接しないデータセットを、歩行者候補ＭＫ（ａ）〜（ｅ）としてリストアップする。
なお、図７に示す例は、第３テンプレートＴ３との相関が高かった歩行者候補ＭＫ（ａ）〜（ｅ）がリストアップされているものとし、他のテンプレートＴ１，Ｔ２についても、同様に歩行者候補ＭＫがリストアップして、対応するテンプレートごとに歩行者候補ＭＫのグループを形成する。
【００７０】
次に、取捨選択部２６において、リストアップされた歩行者候補グループごとに、以下の処理を行なう。
まず、歩行者候補グループの歩行者候補ＭＫ（ａ）〜（ｅ）の高さデータ（ｙ値）の平均値Ｙを求める。そして、この平均値Ｙと、各歩行者候補ＭＫ（ａ）〜（ｅ）の高さデータ（ｙ値）とを比較して差分絶対値ＤＹを求め、この差分絶対値ＤＹが差分閾値ＴＨ未満の歩行者候補ＭＫ（ｂ）〜（ｅ）を残し、差分閾値ＴＨ以上の歩行者候補ＭＫ（ａ）は棄却する。
【００７１】
この取捨選択部２６の取捨選択処理により、図７に示す歩行者候補ＭＫ（ａ）〜（ｅ）において、直線Ｌｉｎから大きく離れた歩行者候補ＭＫ（ａ）は、棄却される。他の歩行者グループについても順次同様の処理を実行する。
【００７２】
そこで、歩行者位置表示部３０は、残った歩行者候補ＭＫ（ｂ）〜（ｅ）に対し、画像表示部４０において、各歩行者候補ＭＫ（ｂ）〜（ｅ）を示す画像に、マーカーを重ねて表示させる処理を実行する。
【００７３】
（実施例１の効果）
以上説明してきた実施例１の歩行者検出システム１００は、以下に列挙する効果を奏する。
ａ）取捨選択部２６により、歩行者候補ＭＫ（ａ）〜（ｅ）が複数存在する場合、各テンプレートＴ１〜Ｔ３との相関値は高くても、他の歩行者候補（ＭＫ（ｂ）〜（ｅ））とは異なる位置に配置されたもの（ＭＫ（ａ））は、歩行者Ｍ以外のものとして、候補から取り除くようにした。
これにより、非歩行者の画像に基づく歩行者候補ＭＫが棄却され、歩行者Ｍの検出精度を向上させることができる。
【００７４】
ｂ）取捨選択処理では、各歩行者候補ＭＫ（ａ）〜（ｅ）の高さデータ（ｙ値）と平均値Ｙとの差である差分絶対値ＤＹと、あらかじめ設定した差分閾値ＴＨとの比較により取捨選択を行うようにした。このため、いわゆるキャリブレーション処理などの誤差量を特定して補正する処理を用いるものと比較して、システム処理量を大きく増やすことなく実施可能であり、かつ、赤外線カメラ１０の取付位置の精度を高くすることなく実施可能である。
よって、このように、本実施例１では、システムの処理量を大きく増やしたり、工程制約(取付精度向上)を付加したりすることなく、上記ａ）のように歩行者Ｍの検出率向上を実現可能とした。
【００７５】
（他の実施例）
以下に、他の実施例について説明するが、これら他の実施例は、実施例１の変形例であるため、その相違点についてのみ説明し、実施例１あるいは他の実施例と共通する構成については共通する符号を付けることで説明を省略する。
【実施例２】
【００７６】
上述の実施例１では、各テンプレートＴ１〜Ｔ３に相関値の高い歩行者候補グループ単位で処理する実施例を示したが、実施例２では、各テンプレートＴ１〜Ｔ３の相関値データを総合した段階で取捨選択処理を実施するようにした例を説明する。
【００７７】
実施例１の処理で最も懸念されるのは、第１〜第３テンプレートＴ１〜Ｔ３のいずれかのテンプレートマッチングで、非歩行者による歩行者候補ＭＫのみが検出された場合である。
【００７８】
その具体例を図９に示しており、図において（ａ）は第１テンプレートＴ１との相関値に基づいて得られた歩行者候補ＭＫ（ａ−１）、（ｂ）は第２テンプレートＴ２との相関値に基づいて得られた歩行者候補ＭＫ（ｂ−１）（ｂ−２）、（ｃ）は第３テンプレートＴ３との相関値に基づいて得られた歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）を示している。
【００７９】
この例では、図９（ａ）に示す歩行者候補ＭＫは非歩行者（看板）の画像が歩行者候補ＭＫとして検出されている。この図９（ａ）に示すように、第１テンプレートＴ１に相関値の高い歩行者候補ＭＫが、非歩行者による歩行者候補ＭＫ（ａ−１）のみである場合、実施例１のように、テンプレートごとに相関値の高い歩行者候補ＭＫから平均値Ｙを求めた場合、この歩行者候補ＭＫ（ａ−１）の差分絶対値ＤＹは、差分閾値ＴＨ未満となり、棄却されない。
【００８０】
そこで、本実施例２の歩行者検出システムでは、各テンプレートＴ１〜Ｔ３のリストアップデータの平均値から画面内の全体基準ライン（全体基準高さ）ＬＺを求め、この全体基準ラインＬＺに基づいて、各テンプレートＴ１〜Ｔ３と相関値の高いグループごとのグループ基準ラインＬＡ，ＬＢ，ＬＣを設定し、取捨選択を行なうようにした。
【００８１】
以下に、実施例２の取捨選択処理の流れを図１１〜図１３のフローチャートに基づいて説明する。
図１１は取捨選択処理の全体の流れを示しており、まず、ステップＳ２１０では、全体基準ライン算出処理を行い、画面全体での全体基準ラインＬＺを求めた後、ステップＳ２２０に進む。
【００８２】
ステップＳ２２０では、全体基準ラインＬＺに基づいて、第１グループ基準ラインＬＡ、第２グループ基準ラインＬＢ、第３グループ基準ラインＬＣを求めた後、ステップＳ２３０に進む。
なお、詳細は後述するが、全体基準ラインＬＺは、各グループ基準ラインＬＡ〜ＬＣのいずれか１つのラインに一致している。また、図１０に示すように、各グループ基準ラインＬＡ〜ＬＣの間の差分設定値Ｄｃａ，Ｄｃｂがあらかじめ設定されている。したがって、全体基準ライン（平均値Ｙ）ＬＺを元に、差分設定値Ｄｃａ，Ｄｃｂを加算あるいは減算して、各グループ基準ラインＬＡ〜ＬＣを求めることができ、これら各グループ基準ラインＬＡ〜ＬＣは、それぞれグループ平均値Ｙａ，Ｙｂ，Ｙｃを示している。
また、前述の差分設定値Ｄｃａは、第１グループ基準ラインＬＡと第３グループ基準ラインＬＣとの差であり、差分設定値Ｄｃｂは、第２グループ基準ラインＬＢと第３グループ基準ラインＬＣとの差である。
【００８３】
ステップＳ２３０では、各テンプレートＴ１〜Ｔ３に基づいて抽出された各相関リストデータ（歩行者候補ＭＫ）について不要なものは棄却する棄却処理を実行する。なお、この棄却処理の詳細については後述する。
【００８４】
次に、ステップＳ２１０の全体基準ライン算出処理の詳細を、図１２のフローチャートに基づき説明する。
まず、ステップＳ２１１において、最も小さいテンプレートである第３テンプレートＴ３に相関する相関リストデータセットを取り込んだ後、ステップＳ２１２に進む。なお、テンプレートの数が本実施例の「３」よりも多い場合、その最も小さなテンプレートに相関する相関リストデータを取り込む。
【００８５】
ステップＳ２１２では、相関リストデータセットの数が、あらかじめ設定された個数ｎ以上存在するか否か判定し、ｎ個に満たない場合は、ステップＳ２１３に進み、ｎ個以上存在する場合、ステップＳ２１４に進む。なお、ｎは２以上の複数であって、実施例２では、ｎ＝２として説明する。
【００８６】
ステップＳ２１３では、次に小さいテンプレートの相関リストデータセットの取り込みを行った後、ステップＳ２１２に戻る。例えば、ステップＳ２１２において、第３テンプレートＴ３の相関リストデータセットのセット数がｎ個に満たない場合は、第２テンプレートＴ２の相関リストデータセットの取り込みを行い、第２テンプレートＴ２の相関リストデータセットのセット数がｎ個に満たない場合は、第１テンプレートＴ１の相関リストデータセットの取り込みを行う。
すなわち、相関リストデータセットのセット数が少ない場合には、この相関リストデータセットにより求めた基準ラインが誤差を含む確率が高くなるために、セット数がｎ個未満の場合は、この相関リストデータセットの使用を避け、次に小さいテンプレートの相関リストデータセットを読み込む。
【００８７】
ステップＳ２１４では、読み込んだ相関リストデータセットの高さデータ（ｙ値）に基づいて平均値Ｙを求め、これを全体基準ラインＬＺとする。
【００８８】
次に、ステップＳ２３０の棄却処理の詳細を図１３のフローチャートに基づいて説明する。なお、この棄却処理は、各テンプレートＴ１〜Ｔ３に相関する歩行者候補のグループごとに実施する。
まず、ステップＳ２３１では、各グループ基準ラインＬＡ，ＬＢ，ＬＣを読み込んだ後、ステップＳ２３２に進む。
【００８９】
ステップＳ２３２では、各テンプレートＴ１〜Ｔ３と相関する各相関値リストデータセットを個別に取り込んだ後、ステップＳ２３３に進む。
【００９０】
ステップＳ２３３では、各テンプレートＴ１〜Ｔ３に相関するグループごとに、各相関値リストデータセットの高さデータ（ｙ値）と対応する各グループ基準ラインＬＡ，ＬＢ，ＬＣのうち対応するライン（グループ平均値Ｙａ，Ｙｂ，Ｙｃ）との差分絶対値ＤＹを算出した後、ステップＳ２３４に進む。
【００９１】
ステップＳ２３４では、各相関値リストデータセットの差分絶対値ＤＹと、実施例１と同様の差分閾値ＴＨとを比較し、差分絶対値ＤＹが差分閾値ＴＨを上回っている場合はステップＳ２３５に進んで、その相関値リストデータセットを棄却した後、ステップＳ２３６に進み、差分絶対値ＤＹが差分閾値ＴＨ以下の場合は、そのままステップＳ２３６に進む。なお、差分閾値ＴＨは、実施例１と同様に、対応するグループごとに異なる値が設定されているものとする。
【００９２】
ステップＳ２３６では、全相関値リストデータセットについてステップＳ２３２以降の処理が実行されたか否か判定し、未処理のものが存在する場合はステップＳ２３２に戻り、処理を完了した場合は、終了する。
【００９３】
（実施例２の作用）
次に、実施例２の作用を説明する。
実施例２にあっても、相関値検出部２４において、第１〜第３テンプレートＴ１〜Ｔ３との相関値を求め、相関領域最大値検出部２５において、相関値が相関閾値を越えるとともに、お互いに位置が近接しない相関値リストデータを抽出し、これを歩行者候補ＭＫとして取捨選択部２６に入力する点は、実施例１と同様である。
【００９４】
図９は、画像および歩行者候補ＭＫの一例を示しており、同図において（ａ）は第１テンプレートＴ１と相関性が高い１点の歩行者候補ＭＫ（ａ−１）を示し、（ｂ）は第２テンプレートＴ２と相関性の高い２点の歩行者候補ＭＫ（ｂ−１），（ｂ−２）を示し、（ｃ）は第３テンプレートＴ３と相関性の高い３点の歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）を示している。なお、同図（ａ）に示す第１テンプレートＴ１による歩行者候補ＭＫ（ａ−１）は、非歩行者の画像から検出されたものであり、他の歩行者候補ＭＫと離れた位置に配置されている。
【００９５】
以下に、このような図９に示す歩行者候補ＭＫがリストアップされた場合の、取捨選択部２６における取捨選択処理を説明する。
【００９６】
このような歩行者候補ＭＫが検出されている場合、最も小さな第３テンプレートＴ３の相関性リストアップデータの数が、ｎ個以上（ｎ＝２）存在するから、これらの歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）の高さデータ（ｙ値）の平均値Ｙから全体基準ラインＬＺを算出する（ステップＳ２１２→Ｓ２１３）。そして、この場合、全体基準ラインＬＺは、第３グループ基準ラインＬＣと同値となる。
【００９７】
このように全体基準ラインＬＺが、第３グループ基準ラインＬＣにより設定されたら、全体基準ラインＬＺ（＝ＬＣ）から第２テンプレート用の差分設定値Ｄｃｂを差し引いて第２グループ基準ラインＬＢを設定し、全体基準ラインＬＺ（ＬＣ）から第１テンプレート用の差分設定値Ｄｃａを差し引いて、第１グループ基準ラインＬＡを設定する（ステップＳ２２０）。
【００９８】
そして、各テンプレートＴ１〜Ｔ３のそれぞれに相関する歩行者候補ＭＫのグループごとに、歩行者候補ＭＫと各基準ラインＬＡ，ＬＢ，ＬＣとを比較し、その乖離が大きいものは、歩行者候補ＭＫから棄却する。
【００９９】
したがって、図９に示す例では、同図（ａ）に示す第１テンプレートＴ１と相関性の高い歩行者候補ＭＫ（ａ−１）は、第１グループ基準ラインＬＡに対する乖離度が大きいことから棄却される。また、同図（ｂ）に示す歩行者候補ＭＫ（ｂ−１）（ｂ−２）は、第２グループ基準ラインＬＢとの乖離度が小さいことから、棄却されることなく残され、同図（ｃ）に示す歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）も、第３グループ基準ラインＬＣとの乖離度が小さいことから、棄却されることなく残される。
【０１００】
これら残った歩行者候補ＭＫについては、画像表示部４０において、マーカーを重畳させて表示する点は、実施例１と同様である。
【０１０１】
（実施例２の効果）
実施例２にあっても、実施例１と同様の理由から実施例１で述べたａ）ｂ）の効果が得られる。加えて、実施例２にあっては、以下に列挙する効果が得られる。
【０１０２】
ｃ）各テンプレートＴ１〜Ｔ３との相関に基づいて得られた歩行者候補ＭＫの中で、１つのテンプレートに対し、複数の歩行者候補ＭＫが存在する相関値リストデータセットに基づいて、全体基準ラインＬＺを設定し、この全体基準ラインＬＺに基づいて、各グループ基準ラインＬＡ〜ＬＣを設定するようにした。
【０１０３】
したがって、歩行者候補ＭＫが１つしか存在しないテンプレートに相関するグループ基準ラインも、その１つしか存在しない歩行者候補ＭＫに基づくことなく設定でき、この歩行者候補ＭＫが非歩行者により画像であっても、誤検出が生じるのを防止できる。
【０１０４】
具体的には、図９（ａ）に示す第１テンプレートＴ１に対する相関性が高い歩行者候補ＭＫ（ａ−１）は、非方向者の画像から検出されたものである。しかしながら、この第１テンプレートＴ１に相関するグループ用の第１グループ基準ラインＬＡは、この歩行者候補ＭＫの相関値リストデータセットに基づくことなく、同図（ｃ）に示す３つの歩行者候補ＭＫ（ｃ−１）〜（ｃ−３）に基づいて設定された全体基準ラインＬＺに基づいて設定されている。
【０１０５】
したがって、図９の非歩行者画像による歩行者候補ＭＫ（ａ−１）は、そのｙ値により第１グループ基準ラインＬＡが設定された場合には、乖離度が小さく棄却されない可能性が高いが、本実施例２のように、全体基準ラインＬＺに基づき第１グループ基準ラインＬＡが設定された場合は、乖離度が大きくなって棄却される。
このように、本実施例２では、非歩行者の画像による誤検出を回避して、歩行者検出精度を、さらに向上できる。
【０１０６】
ｄ）上記ｃ）のように、複数の歩行者候補ＭＫから全体基準ラインＬＺの設定を行うのにあたり、最大相関値のバラツキの少ない、小さなテンプレートと相関性の高い歩行者候補ＭＫから順に、複数の歩行者候補ＭＫが存在するか否か判定し、複数の歩行者候補ＭＫが存在する最も小さなテンプレートと相関する相関値リストデータセットから全体基準ラインＬＺを求めるようにした。
【０１０７】
したがって、大きなテンプレートと相関する相関値リストデータから全体基準ラインＬＺを演算するものと比較して、全体基準ラインＬＺのバラツキが小さく、誤検出防止性能を高めることができる。
【実施例３】
【０１０８】
次に、実施例３の歩行者検出システムについて説明する。
この実施例３の歩行者検出システムは、実施例２の変形例であり、相違点は、基準ラインの設定の仕方に関し、実施例３では、各基準ラインＬＡ，ＬＢ，ＬＣから、全体基準ラインＬＺｂを設定するようにしている。
【０１０９】
以下、実施例３における取捨選択部２６の取捨選択処理の流れを図１４および図１５のフローチャートに基づいて説明する。
【０１１０】
（取捨選択処理の流れ）
まず、図１４のフローチャートにより取捨選択処理の全体の流れを説明する。
ステップＳ３１０では、相関領域最大値検出部２５から、第１〜第３テンプレートＴ１〜Ｔ３に、それぞれ相関する各相関リストデータセットの高さデータ（ｙ値）を読み込み、第１テンプレートＴ１に相関する相関リストデータの高さデータ（ｙ値）の平均値である第１平均高さＹａ、第２テンプレートＴ２に相関する相関リストデータの高さデータ（ｙ値）の平均値である第２平均高さＹｂ、第３テンプレートＴ３に相関する相関リストデータの高さデータ（ｙ値）の平均値である第３平均高さＹｃを算出した後、ステップＳ３２０に進む。
【０１１１】
ステップＳ３２０では、各平均高さＹａ，Ｙｂ，Ｙｃから全体基準ラインＬＺｂを算出した後、ステップＳ３３０に進む。なお、全体基準ラインＬＺｂの算出方法の詳細は後述する。
【０１１２】
ステップＳ３３０では、全体基準ラインＬＺｂに基づいて第１〜第３グループ基準ラインＬＡ，ＬＢ，ＬＣを算出した後、ステップＳ３４０に進む。
なお、本実施例３では、各グループ基準ラインＬＡ，ＬＢ，ＬＣの算出は、以下のように行なう。実施例３では、実施例２と同様に、全体基準ラインＬＺｂに対する各グループ基準ラインＬＡ，ＬＢ，ＬＣの差分値Ｄａｚ，Ｄｂｚ，Ｄｃｚが設定されており、全体基準ラインＬＺｂから差分値Ｄａｚ，Ｄｂｚ，Ｄｃｚをそれぞれ減算して各基準ラインＬＡ，ＬＢ，ＬＣを算出する。
【０１１３】
次に、ステップＳ３２０の全体基準ラインＬＺｂを算出する処理の流れを図１５に基づいて説明する。
まず、ステップＳ３２１では、ステップＳ３１０で算出された第１〜第３平均高さＹａ〜Ｙｃを読み込み、ステップＳ３２２に進む。
【０１１４】
ステップＳ３２２では、各平均高さＹａ〜Ｙｃに基づいて、各テンプレートＴ１〜Ｔ３に相関する第１〜第３仮基準ラインＬａ，Ｌｂ，Ｌｃを求めた後、ステップＳ３２３に進む。なお、ステップＳ３２２は、各仮基準ラインＬａ，Ｌｂ，Ｌｃで並列に処理を行なうため、処理ステップを並列表記している。すなわち、ステップＳ３２２ａでは、第１平均高さＹａに、あらかじめ設定された差分設定値Ｄａを加算して、第１仮基準ラインＬａを求める。ステップＳ３２２ｂでは、第２平均高さＹｂに、あらかじめ設定された差分設定値Ｄｂを加算して、第２仮基準ラインＬｂを求める。ステップＳ３２２ｃでは、第３平均高さＹｃに、あらかじめ設定された差分設定値Ｄｃを加算して、第３仮基準ラインＬｃを求める。
【０１１５】
図１６は、第１〜第３平均高さＹと各各仮基準ラインＬａ，Ｌｂ，Ｌｃとの関係を表しており、本実施例３では、各差分設定値Ｄａ，Ｄｂ，Ｄｃは、Ｄａ＞Ｄｂ＞Ｄｃの大きさの関係に設定されており、各仮基準ラインＬａ，Ｌｂ，Ｌｃが、実施例２で説明した第３グループ基準ラインＬＣの近傍の高さとなるように設定されている。
【０１１６】
ステップＳ３２３では、各仮基準ラインＬａ，Ｌｂ，Ｌｃの平均値を全体基準ラインＬＺｂとする演算を行った後、終了する。
【０１１７】
（実施例３の作用）
次に、実施例３の作用を説明する。
実施例３にあっても、相関値検出部２４において、第１〜第３テンプレートＴ１〜Ｔ３との相関値を求め、相関領域最大値検出部２５において、相関値が相関閾値を越えるとともに、お互いに位置が近接しない相関値リストデータを抽出し、これを歩行者候補ＭＫとして取捨選択部２６に入力する点は、実施例１と同様である。
【０１１８】
ここで、図１６に示すような歩行者候補ＭＫが得られた場合の動作を説明する。
この図１６に示す例では、相関領域最大値検出部２５において、第１テンプレートＴ１との相関値が大きな同図（ａ）に示す歩行者候補ＭＫ（ａ−１）（ａ−２）が得られ、第２テンプレートＴ２との相関値が大きな同図（ｂ）に示す歩行者候補ＭＫ（ｂ−１）〜（ｂ−３）が得られ、第３テンプレートＴ３との相関値が大きな同図（ｃ）に示す歩行者候補ＭＫ（ｃ−１）（ｃ−２）が得られている。
【０１１９】
そこで、取捨選択部２６では、図１６（ａ）に示す歩行者候補ＭＫ（ａ−１）（ａ−２）の高さデータ（ｙ値）に基づいて第１グループ平均値Ｙａが算出され、図１６（ｂ）に示す歩行者候補ＭＫ（ｂ−１）〜（ｂ−３）の高さデータ（ｙ値）に基づいて第２グループ平均値Ｙｂが算出され、図１６（ｃ）に示す歩行者候補ＭＫ（ｃ−１）（ｃ−２）の高さデータ（ｙ値）に基づいて第３グループ平均値Ｙｃが算出される（ステップ３１０）。
【０１２０】
さらに、各グループ平均値Ｙａ〜Ｙｃの平均値から、図１６（ａ）〜（ｃ）にそれぞれ示す仮基準ラインＬａ，Ｌｂ、Ｌｃが算出される（ステップＳ３２２）。これら仮基準ラインＬａ，Ｌｂ，Ｌｃは、基本的には、略同一の高さに設定されるように、各差分設定値Ｄａ，Ｄｂ，Ｄｃが設定されているが、歩行者Ｍの位置のバラツキや、非歩行者を誤検出している場合には、高さにバラツキが生じ得る。
【０１２１】
そこで、各仮基準ラインＬａ，Ｌｂ，Ｌｃの平均値を全体基準ラインＬＺｂとすることで、このようなバラツキ成分を抑えた位置に全体基準ラインＬＺｂを設定することができる。
【０１２２】
そして、全体基準ラインＬＺｂに基づいて、再び、あらかじめ設定された差分値を差し引いて、第１グループ基準ラインＬＡ、第２グループ基準ラインＬＢ、第３グループ基準ラインＬＣが算出される（ステップＳ３３０）。
【０１２３】
これら各グループ基準ラインＬＡ，ＬＢ，ＬＣは、図１６に示すように、各歩行者候補ＭＫが、歩行者Ｍに基づいている場合には、図示の各グループ平均値Ｙａ，Ｙｂ，Ｙｃの付近に設定される。
これに対し、例えば、第１テンプレートＴ１に相関性の高い歩行者候補として、実施例２で説明した図９（ａ）のように非歩行者による歩行者候補ＭＫ（ａ−１）が含まれる場合は、第１グループ平均値Ｙａは、図１６（ａ）に示す位置よりも高い位置に設定されるが、このような場合でも、各グループ平均値Ｙａ，Ｙｂ，Ｙｃから得られた全体基準ラインＬＺｂから第１グループ基準ラインＬＡが設定されることから、この第１グループ基準ラインＬＡは、図１６（ａ）の第１グループ平均値Ｙａに近い位置に設定されることになる。
【０１２４】
したがって、図９（ａ）に示す非歩行者による歩行者候補ＭＫ（ａ−１）などは、第１グループ基準ラインＬＡから乖離するため、棄却される。
【０１２５】
（実施例３の効果）
以上説明したように、実施例３の歩行者検出システムにあっても、実施例１，２と同様に、前述のａ）ｂ）の効果が得られる。
【０１２６】
また、実施例３では、全体基準ラインＬＺｂを、各テンプレートＴ１〜Ｔ３との相関性の高い各相関リストデータセットに基づいて、第１〜第３グループ平均値Ｙａ，Ｙｂ，Ｙｃを求め、各グループ平均値Ｙａ，Ｙｂ，Ｙｃから仮基準ラインＬａ，Ｌｂ，Ｌｃを求め、これらから全体基準ラインＬＺｂを求め、この全体基準ラインＬＺｂから、各基準ラインＬＡ，ＬＢ，ＬＣを求めるようにした。
【０１２７】
したがって、各グループのうちで、歩行者候補ＭＫが存在しなかったり１つしか存在しなかったりするグループが存在していても、全体基準ラインＬＺｂを設定した後、各グループ基準ラインＬＡ〜ＬＣを設定でき、グループ内に、非歩行者による歩行者候補ＭＫしか存在していなくても、誤検出が生じるのを防止できる。
【実施例４】
【０１２８】
次に、実施例４の歩行者検出システムについて説明する。
この実施例４では、赤外線カメラ１０の取り付け高さを、歩行者Ｍの身長の１／２程度の高さに設置した例である。
【０１２９】
この場合、図１７に示すように、撮像素子（スクリーン）Ｓで得られる歩行者中心は、撮像素子Ｓの画面内の略一定の高さに存在することになる。なお、ｙｔ１，ｙｔ２は、それぞれ歩行者Ｍ１，Ｍ２の撮像素子（スクリーン）Ｓ上の寸法である。
【０１３０】
図１８は、実施例４において、赤外線カメラ１０で撮影した画像の一例であり、歩行者候補ＭＫの中心が、略一定の高さ（ＬＫの高さ）に配置されている。
【０１３１】
実施例４は、これを利用したもので、各歩行者候補ＭＫ（ｄ−１）〜（ｄ−４）の平均高さを求め、これより離れた高さの歩行者候補が存在する場合は、誤認識としてこれを棄却するようにした例である。
【０１３２】
図１９は、実施例４の取捨選択処理の流れを示すフローチャートであり、まず、ステップＳ４１０では、各テンプレートＴ１〜Ｔ３との相関性の高い相関リストデータセットを読み込んで、ステップＳ４２０に進む。
【０１３３】
ステップＳ４２０では、相関リストデータセットの高さデータ（ｙ値）の平均値Ｙを算出した後、ステップＳ４３０に進む。
【０１３４】
ステップＳ４３０では、平均値Ｙに基づいて、全体基準ラインＬＫを算出した後、ステップＳ４４０に進む。
【０１３５】
ステップＳ４４０では、不要な相関リストデータセット（歩行者候補ＭＫ）を棄却し、処理を終了する。
なお、ステップＳ４４０において、歩行者候補ＭＫを残すか、棄却するかの判定は、図１８に示す全体基準ラインＬＫとの偏差が、あらかじめ設定された閾値ΔＴＨ未満である場合は残し、閾値ΔＴＨ以上の場合は棄却するものとする。
【０１３６】
以上説明したように、実施例４の歩行者検出システムにあっては、赤外線カメラ１０を、歩行者Ｍの中心高さ付近に設置したため、各テンプレートＴ１〜Ｔ３との相関性が高い歩行者候補ＭＫの中心高さは、それが歩行者Ｍによる画像である場合は、各テンプレートＴ１〜Ｔ３の大きさにかかわらず、略一定の高さに配置される。
【０１３７】
したがって、歩行者Ｍの画像による歩行者候補ＭＫは、各歩行者候補ＭＫの中心高さの平均値Ｙから求めた全体基準ラインＬＫの近傍に配置される可能性が高いのに対し、非歩行者の画像による歩行者候補ＭＫは、全体基準ラインＬＫから離れて配置される可能性が高い。よって、全体基準ラインＬＫから閾値ΔＴＨ以上離れた歩行者候補ＭＫを棄却することにより、非歩行者の画像による誤検出を抑制することができる。
【０１３８】
また、実施例４にあっては、歩行者候補ＭＫは、各テンプレートＴ１〜Ｔ３のうちで、相関性の高いものが異なっていても、歩行者中心が略同じ高さに配置されるため、歩行者候補ＭＫが１つあるいは存在していないテンプレートが存在していても、歩行者候補ＭＫが複数存在していれば、全体基準ラインＬＫを設定することができる。
よって、上記ａ）ｂ）の効果が得られるのに加え、実施例２の効果ｃ）と同様に、この歩行者候補ＭＫが、複数のテンプレートＴ１〜Ｔ３の１または２のものが、非歩行者による画像に基づくもののみしか存在しない場合であっても、誤検出が生じるのを抑制できる。
【実施例５】
【０１３９】
次に、実施例５の歩行者検出システムについて説明する。
実施例５は、実施例４の変形例であり、歩行者Ｍに加え、子供を判別するようにした例である。
【０１４０】
すなわち、実施例５では、図２０に示すように、歩行者候補ＭＫ（ｆ−１）〜（ｆ−３）に基づいて設定した全体基準ラインＬＫに対して、あらかじめ設定された値ΔＬｃだけ下方位置近傍に、歩行者候補ＭＫが存在する場合、それを子供と判定するようにした。
【０１４１】
この処理は、例えば、実施例４のステップＳ４３０とステップＳ４４０との間で実行する。
【０１４２】
さらに、実施例５では、子供と判定された歩行者候補ＭＫには、歩行者位置表示部３０による処理に基づいて、画像表示部４０において、他の歩行者候補（大人）ＭＫよりも目立つ表示を行なう。なお、目立つ表示としては、例えば、「点滅」させたり、あるいは「別の色の表示（例えば、大人は黄色で子供は赤）」を行なったりする。
【０１４３】
以上説明した実施例５にあっては、実施例４の効果に加え、子供を検出し、子供に対しては、大人とみなした他の歩行者Ｍと異なる表示を行い、運転者の注意を、より強く促すことができる。
【０１４４】
以上、図面を参照して、本発明の実施の形態および実施例１〜５を詳述してきたが、具体的な構成は、これらの実施の形態および実施例１〜５に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
【０１４５】
例えば、実施例１〜５では、歩行者検出部２０で歩行者を検出した後、歩行者の位置を表示するものを示したが、歩行者を検出した後の処理はこのような表示に限定されるものではなく、他の処理を行なうようにしてもよい。なお、他の処理としては、検出された歩行者との衝突を避けるように、転舵や制動などの運転支援処理が挙げられる。
【０１４６】
また、実施例１〜５では、テンプレートとして、３種類設定した例を示したが、テンプレートは、少なくとも１つ有していればよく、あるいは、複数有する場合、その数は、「２」以上であれば、「３」に限定されることは無い。
【０１４７】
また、実施例１〜５では、取捨選択処理を、画面上の高さの平均値との乖離度に基づいて行なう例を示したが、分散値に基づき、分散値が大きい場合に、歩行者候補から棄却するようにしてもよい。
【符号の説明】
【０１４８】
Ｍ 歩行者
Ｍ１ 歩行者
Ｍ２ 歩行者
ＭＫ 歩行者候補
１０ 赤外線カメラ（撮像装置）
２０ 歩行者検出部（歩行者検出手段）
２１ 輝度調整部
２２ エッジ検出部
２３ 歩行者テンプレート部
２４ 相関値検出部
２５ 相関領域最大値検出部（高相関領域検出部）
２６ 取捨選択部
３０ 歩行者位置表示部
４０ 画像表示部
１００ 実施例１の歩行者検出システム
Ｔ１ 第１テンプレート
Ｔ２ 第２テンプレート
Ｔ３ 第３テンプレート
【特許請求の範囲】
【請求項１】
車両に設置されて前記車両の進行方向を撮像する撮像装置と、
この撮像装置によって撮像して得られた画像に基づいて、歩行者を検出する歩行者検出手段と、
を備えた歩行者検出システムであって、
前記歩行者検出手段が、
前記画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートとのマッチングを行い、このテンプレートとの相関値を求める相関値検出部と、
前記画像のうち、前記相関値が歩行者とみなすことができるだけ高い画像領域を歩行者候補として検出する高相関領域検出部と、
複数の前記歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、前記歩行者候補が適性か否か判定し、不適正なものは歩行者候補から棄却する取捨選択処理を実行する取捨選択部と、
を備えていることを特徴とする歩行者検出システム。
【請求項２】
前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、
前記取捨選択部は、前記取捨選択処理において、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、このグループごとに、前記平均値を求めるとともに、この平均値と、前記グループに含まれる各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする請求項１に記載の歩行者検出システム。
【請求項３】
前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、
前記取捨選択部は、前記取捨選択処理において、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、各グループのうちで複数の前記歩行者候補が存在するあるグループの前記平均値から全体基準高さを求め、この全体基準高さに基づいて、各グループに対応するグループ基準高さを設定し、前記グループごとに、前記グループ基準高さと前記歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする請求項１に記載の歩行者検出システム。
【請求項４】
前記取捨選択部は、前記取捨選択処理において、前記平均値は、あらかじめ設定された設定値以上の歩行者候補が存在するグループのうちで最もサイズの小さなテンプレートとの相関性の高いグループから求めることを特徴とする請求項３に記載の歩行者検出システム。
【請求項５】
前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、
前記取捨選択手段は、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、前記グループごとに前記歩行者候補の高さの平均値を求め、各平均値に基づいて全体基準高さを設定し、この全体基準高さに基づいて、各グループのグループ基準高さを求め、前記グループごとに、前記グループ基準高さと前記グループに含まれる各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする請求項１に記載の歩行者検出システム。
【請求項６】
前記赤外線カメラが、歩行者の高さ方向の中心位置とみなすことのできる高さに設置され、
前記取捨選択部は、全歩行者候補の高さデータの平均値である判定基準値を求め、この判定基準値と各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする請求項１に記載の歩行者検出システム。
【請求項７】
前記平均値から設定範囲内の低い歩行者候補を子供と判別する
ことを特徴とする請求項１〜６に記載の歩行者検出システム。
【請求項１】
車両に設置されて前記車両の進行方向を撮像する撮像装置と、
この撮像装置によって撮像して得られた画像に基づいて、歩行者を検出する歩行者検出手段と、
を備えた歩行者検出システムであって、
前記歩行者検出手段が、
前記画像と、あらかじめ記憶された歩行者の輪郭を模したテンプレートとのマッチングを行い、このテンプレートとの相関値を求める相関値検出部と、
前記画像のうち、前記相関値が歩行者とみなすことができるだけ高い画像領域を歩行者候補として検出する高相関領域検出部と、
複数の前記歩行者候補の前記画像上の高さの平均値を求め、この平均値と各歩行者候補の前記画像上の高さとに基づいて、前記歩行者候補が適性か否か判定し、不適正なものは歩行者候補から棄却する取捨選択処理を実行する取捨選択部と、
を備えていることを特徴とする歩行者検出システム。
【請求項２】
前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、
前記取捨選択部は、前記取捨選択処理において、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、このグループごとに、前記平均値を求めるとともに、この平均値と、前記グループに含まれる各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする請求項１に記載の歩行者検出システム。
【請求項３】
前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、
前記取捨選択部は、前記取捨選択処理において、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、各グループのうちで複数の前記歩行者候補が存在するあるグループの前記平均値から全体基準高さを求め、この全体基準高さに基づいて、各グループに対応するグループ基準高さを設定し、前記グループごとに、前記グループ基準高さと前記歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする請求項１に記載の歩行者検出システム。
【請求項４】
前記取捨選択部は、前記取捨選択処理において、前記平均値は、あらかじめ設定された設定値以上の歩行者候補が存在するグループのうちで最もサイズの小さなテンプレートとの相関性の高いグループから求めることを特徴とする請求項３に記載の歩行者検出システム。
【請求項５】
前記相関値検出部は、前記画像の高さ方向寸法が異なる複数のテンプレートを備え、
前記取捨選択手段は、前記複数の歩行者候補を、相関性の高い前記テンプレートごとにグループ分けし、前記グループごとに前記歩行者候補の高さの平均値を求め、各平均値に基づいて全体基準高さを設定し、この全体基準高さに基づいて、各グループのグループ基準高さを求め、前記グループごとに、前記グループ基準高さと前記グループに含まれる各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする請求項１に記載の歩行者検出システム。
【請求項６】
前記赤外線カメラが、歩行者の高さ方向の中心位置とみなすことのできる高さに設置され、
前記取捨選択部は、全歩行者候補の高さデータの平均値である判定基準値を求め、この判定基準値と各歩行者候補の高さとの比較に基づき、両者の乖離度があらかじめ設定された範囲外のものは不適正として歩行者候補から棄却する処理を行なうことを特徴とする請求項１に記載の歩行者検出システム。
【請求項７】
前記平均値から設定範囲内の低い歩行者候補を子供と判別する
ことを特徴とする請求項１〜６に記載の歩行者検出システム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図８】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１９】
【図３】
【図７】
【図９】
【図１０】
【図１６】
【図１８】
【図２０】
【図２】
【図４】
【図５】
【図６】
【図８】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１７】
【図１９】
【図３】
【図７】
【図９】
【図１０】
【図１６】
【図１８】
【図２０】
【公開番号】特開２０１１−８１７３６（Ｐ２０１１−８１７３６Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２００９−２３５５３５（Ｐ２００９−２３５５３５）
【出願日】平成２１年１０月９日（２００９．１０．９）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願日】平成２１年１０月９日（２００９．１０．９）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]