歩行者認識装置
【課題】上半身が画像上で確認できない状況下おける歩行者の認識の精度をさらに向上させる。
【解決手段】撮像画像中の右斜めに傾いた第１特徴エッジ、左斜めに傾いた第２特徴エッジ、及び当該第１特徴エッジの上端と当該第２特徴エッジの上端とを結ぶ第３特徴エッジからなる特徴形状をもとに、撮像画像から検出した歩行者候補が歩行者であるか否かを判定して歩行者の認識を行う。
【解決手段】撮像画像中の右斜めに傾いた第１特徴エッジ、左斜めに傾いた第２特徴エッジ、及び当該第１特徴エッジの上端と当該第２特徴エッジの上端とを結ぶ第３特徴エッジからなる特徴形状をもとに、撮像画像から検出した歩行者候補が歩行者であるか否かを判定して歩行者の認識を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歩行者の認識を行う歩行者認識装置に関するものである。
【背景技術】
【０００２】
従来、撮像画像中の歩行者の認識を行う技術が知られている。例えば特許文献１及び非特許文献１には、歩行者の全身についての全体識別器と歩行者の頭部や下半身といった部分領域についての複数の部分識別器とを２段階で用いることで、撮像画像中の歩行者を認識する技術が開示されている。また、特許文献１及び非特許文献１には、歩行者に特徴的な、左右の脚部からなる輪郭が逆Ｖの字形となった歩行パターン（gait pattern）を識別する部分識別器を用いることで、歩行者の認識の精度をより向上させることが提案されている。
【０００３】
特許文献１及び非特許文献１に開示の技術のように、左右の脚部からなる輪郭が逆Ｖの字形となった歩行パターン（以下、逆Ｖの字歩行パターン）を認識する部分識別器を用いることで、上半身が画像上で確認できない状況下における歩行者も認識可能になると考えられる。上半身が画像上で確認できない状況としては、例えば障害物によって上半身が隠れている場合や光の加減で上半身が画像に写っていない場合などがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００７／０２３０７９２号明細書
【非特許文献】
【０００５】
【非特許文献１】Shashua, A、他２名、“Pedestrian detection for driving assistance systems: single-frame classification and system level performance”、Intelligent Vehicles Symposium, 2004 IEEE、14-17 June 2004、p.1−6
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１及び非特許文献１に開示の技術でも、上半身が画像上で確認できない状況下における歩行者の認識の精度を十分に向上させることができないという問題を有していた。詳しくは、以下の通りである。特許文献１及び非特許文献１に開示の技術では、逆Ｖの字歩行パターンを識別することで、上半身が画像上で確認できない状況下における歩行者の認識を試みているが、撮像画像中において、歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合も多々存在する。
【０００７】
例えば、歩行者の上半身から股下よりも下部の位置までが障害物によって遮られていると、歩行者の左右の脚部からなる輪郭が逆Ｖの字形とはならない。障害物の例としては、歩行者がさしている傘や歩行者の持っている手荷物、歩行者が着用しているスカート等が考えられる。また、光の加減で歩行者の股下よりも下部の位置しか写っていない場合にも、歩行者の左右の脚部からなる輪郭は逆Ｖの字形とならない。
【０００８】
このように歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合には、特許文献１及び非特許文献１に開示の技術では部分識別器で識別されず、歩行者を認識できない。よって、歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合には、上半身が画像上で確認できない状況下における歩行者を認識することができない。
【０００９】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、上半身が画像上で確認できない状況下おける歩行者の認識の精度をさらに向上させることを可能にする歩行者認識装置を提供することにある。
【課題を解決するための手段】
【００１０】
請求項１の歩行者認識装置では、撮像画像中の右斜めに傾いた第１輪郭線、左斜めに傾いた第２輪郭線、及び当該第１輪郭線の上端と当該第２輪郭線の上端とを結ぶ第３輪郭線からなる台形状の輪郭形状（以下、台形輪郭形状）をもとに、撮像画像から検出した歩行者候補が歩行者であるか否かを判定して歩行者の認識を行う。この台形輪郭形状は、歩行者の上半身から股下よりも下部の位置までが障害物によって遮られている場合や光の加減で歩行者の股下よりも下部の位置しか写っていない場合のように、歩行者の左右の脚部が股下よりも下部の位置からしか写っていない場合に検出される。詳しくは、歩行者の左右の脚部の輪郭線が第１輪郭線及び第２輪郭線として抽出され、光の加減によって生じる明暗の境界や上記障害物の輪郭線が第３輪郭線として抽出される。
【００１１】
よって、この台形輪郭形状をもとにすれば、歩行者の左右の脚部が股下よりも下部の位置からしか写っておらず、撮像画像中において歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合にも、歩行者候補が歩行者であるか否かを精度良く判定して歩行者の認識を行うことが可能になる。従って、請求項１の構成によれば、撮像画像中における歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合にも、上半身が画像上で確認できない状況下における歩行者を認識することが可能となる。その結果、上半身が画像上で確認できない状況下おける歩行者の認識の精度をさらに向上させることが可能になる。
【００１２】
請求項２のように、輪郭形状検出手段で台形輪郭形状の検出を行うことができた各撮像画像をもとに、台形輪郭形状のうちの第１輪郭線の下端と第２輪郭線の下端との間の間隔である下端幅の時間的な変化を示す値を算出する態様としてもよい。これによれば、上記下端幅の時間的な変化を示す値を、歩行者の認識に利用することが可能になる。なお、下端幅の時間的な変化を示す値とは、例えば下端幅の時間あたりの変化量や下端幅の変化の周期の値などである。
【００１３】
請求項２のようにする場合には、請求項３のように、変化量算出手段で算出した下端幅の時間的な変化を示す値をもとに、歩行者候補が歩行者であることを判定する態様とすることが好ましい。前述したように、歩行者の左右の脚部の輪郭線が第１輪郭線及び第２輪郭線として抽出されるので、歩行者候補が実際に歩行者である場合には、下端幅は歩行者の歩幅に対応し、下端幅の変化は歩行者の歩幅の変化に対応することになる。また、歩行者候補が実際に歩行者である場合に、下端幅の変化が歩行者の変化に対応することから、下端幅の時間的な変化を示す値をもとにして、歩行者候補が歩行者であることを判定することが可能になる。詳しくは、以下の通りである。
【００１４】
下端幅の変化がない場合には、歩幅の変化がない歩行者（つまり、停止中の歩行者）であるか非歩行者である可能性が高い。一方、下端幅の変化がある場合には、歩幅の変化がある歩行者（つまり、歩行中や走行中の歩行者）である可能性が高い。よって、下端幅の時間的な変化を示す値から、歩行者候補が歩行者であるか否かをより精度良く判定することが可能になる。従って、請求項３の構成によれば、下端幅の時間的な変化を示す値をもとに、歩行者候補が歩行者であるか否かをより精度良く判定することが可能になる。
【００１５】
請求項３のようにする場合には、請求項４のように、変化量算出手段で算出した下端幅の時間的な変化を示す値をもとに、歩行者の運動状態を推定する態様とすることが好ましい。歩行者候補が実際に歩行者である場合には、下端幅の変化は歩行者の歩幅の変化に対応することになるので、下端幅の時間的な変化を示す値から歩行者の運動状態を推定することができる。例えば、歩幅の時間的な変化が小さい場合は歩行中、大きい場合は走行中、変化がない場合には停止中である可能性が高いので、下端幅の時間的な変化を示す値をもとに、歩行者と判定された対象が歩行中か走行中か停止中かを推定することができる。また、歩行者の運動状態を推定することができるので、ユーザの歩行者の運動状態についての情報を報知したりすることも可能になる。
【００１６】
請求項５のように、輪郭形状検出手段で台形輪郭形状の検出を行うことができた各撮像画像をもとに、台形輪郭形状のうちの第１輪郭線と第３輪郭線とがなす劣角、及び第２輪郭線と第３輪郭線とがなす劣角のうちの少なくともいずれかの劣角の角度である対象角度の時間的な変化を示す値を算出する態様としてもよい。これによれば、上記対象角度の時間的な変化を示す値を、歩行者の認識に利用することが可能になる。なお、劣角とは、頂点と２辺を共有する角のうち、角度が小さいほうの角を示している。
【００１７】
請求項５のようにする場合には、請求項６のように、変化量算出手段で算出した対象角度の時間的な変化を示す値をもとに、歩行者候補が歩行者であることを判定する態様とすることが好ましい。前述したように、歩行者の左右の脚部の輪郭線が第１輪郭線及び第２輪郭線として抽出されるので、歩行者候補が実際に歩行者である場合には、第１輪郭線と第３輪郭線とがなす劣角や第２輪郭線と第３輪角線とがなす劣角の角度（以下、対象角度）は、歩行者の歩幅の変化に応じて変化することになる。具体的には、歩幅が大きくなるほど対象角度も大きくなり、歩幅が小さくなるほど対象角度も小さくなる。また、歩行者候補が実際に歩行者である場合に、対象角度の変化が歩行者の歩幅の変化に対応することから、対象角度の時間的な変化を示す値をもとにして、歩行者候補が歩行者であることを判定することが可能になる。詳しくは、以下の通りである。
【００１８】
対象角度の変化がない場合には、歩幅の変化がない歩行者（つまり、停止中の歩行者）であるか非歩行者である可能性が高い。一方、対象角度の変化がある場合には、歩幅の変化がある歩行者（つまり、歩行中や走行中の歩行者）である可能性が高い。よって、対象角度の時間的な変化を示す値から、歩行者候補が歩行者であるか否かをより精度良く判定することが可能になる。従って、請求項６の構成によれば、対象角度の時間的な変化を示す値をもとに、歩行者候補が歩行者であるか否かをより精度良く判定することが可能になる。
【００１９】
請求項６のようにする場合には、請求項７のように、変化量算出手段で算出した対象角度の時間的な変化を示す値をもとに、歩行者の運動状態を推定する態様とすることが好ましい。歩行者候補が実際に歩行者である場合には、対象角度の変化は歩行者の歩幅の変化に対応することになるので、対象角度の時間的な変化を示す値から歩行者の運動状態を推定することができる。例えば、歩幅の時間的な変化が小さい場合は歩行中、大きい場合は走行中、変化がない場合には停止中である可能性が高いので、対象角度の時間的な変化を示す値をもとに、歩行者と判定された対象が歩行中か走行中か停止中かを推定することができる。また、歩行者の運動状態を推定することができるので、ユーザの歩行者の運動状態についての情報を報知したりすることも可能になる。
【００２０】
請求項８のように、下端幅算出手段で算出した下端幅が所定の閾値以下でなかった場合に、歩行者候補が歩行者でないと判定する態様とすることが好ましい。下端幅は前述したように歩行者の歩幅に対応するため、下端幅が歩行者の歩幅として大きすぎる値である場合には、歩行者候補が歩行者でない可能性が高い。これに対して、請求項９の構成によれば、下端幅が所定の閾値以下でなかった場合に、歩行者候補が歩行者でないと判定するので、下端幅が歩行者の歩幅として大きすぎる値である場合に、歩行者候補が歩行者でないと判定することが可能になる。よって、請求項８の構成によれば、歩行者候補が歩行者でないことをより精度良く判定することが可能になる。
【００２１】
請求項９のように、対象角度算出手段で算出した対象角度が所定の閾値以下でなかった場合に、歩行者候補を歩行者でないと判定する態様とすることが好ましい。対象角度の大きさは前述したように歩行者の歩幅に対応するため、歩行者の歩幅としては大きすぎる歩幅の値に対応するほど対象角度が大きすぎる値である場合には、歩行者候補が歩行者でない可能性が高い。これに対して、請求項１０の構成によれば、対象角度が所定の閾値以下でなかった場合に、歩行者候補が歩行者でないと判定するので、対象角度が大きすぎる値である場合に、歩行者候補が歩行者でないと判定することが可能になる。よって、請求項９の構成によれば、歩行者候補が歩行者でないことをより精度良く判定することが可能になる。
【００２２】
請求項１０のように、輪郭形状検出手段で検出した台形輪郭形状のうちの第１輪郭線、第２輪郭線、第３輪郭線の各線分同士の長さの比率が所定値以内でなかった場合に、歩行者候補が歩行者でないと判定する態様とすることが好ましい。左右の脚部の可動域や左右の脚部の長さの比率は、人体においてある程度決まっている。よって、歩行者候補が実際に歩行者である場合には、第１輪郭線、第２輪郭線、第３輪郭線の各線分同士の長さの比率は一定の値以下に収まることになる。従って、第１輪郭線、第２輪郭線、第３輪郭線の各線分同士の長さの比率が所定値以内でないことをもとに、歩行者候補が歩行者でないことを精度良く判定することが可能になる。
【図面の簡単な説明】
【００２３】
【図１】歩行者認識システム１００の概略的な構成を示すブロック図である。
【図２】（ａ）は自車両を左方向から見た模式図であって、（ｂ）は自車両を上から見た模式図である。
【図３】歩行者認識装置２の動作フローを示すフローチャートである。
【図４】（ａ）は、歩行者候補の画像の一例を示す図であり、（ｂ）は、（ａ）で示す画像に対してエッジ抽出を行った結果の一例を示す図であり、（ｃ）は、特徴形状の一例を示す図である。
【図５】特徴形状検出処理のフローの一例を示すフローチャートである。
【図６】時系列処理のフローの一例を示すフローチャートである。
【図７】ハの字幅及びハの字角度を説明するための模式図である。
【図８】歩行者判定処理のフローの一例を示すフローチャートである。
【図９】（ａ）〜（ｃ）は、歩行者の左右の脚部が股下よりも下部の位置からしか写っていない場合の例を示す模式図である。
【図１０】（ａ）及び（ｂ）は、歩行者の左右の脚部が股下よりも下部の位置からしか写っていない場合の例を示す模式図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された歩行者認識システム１００の概略的な構成を示すブロック図である。図１に示す歩行者認識システム１００は、車両に搭載されるものであり、カメラ１、歩行者認識装置２、ディスプレイ３、スピーカ４、及びインジケータ５を含んでいる。なお、歩行者認識システム１００を搭載している車両を以降では自車両と呼ぶ。
【００２５】
カメラ１は、図２（ａ）および図２（ｂ）に示すように、自車両において例えばルームミラー近傍に取り付けられ、自車両の前方の所定範囲を逐次撮像する。よって、カメラ１が請求項の撮像装置に相当する。なお、カメラ１は例えば３３ｍｓｅｃ〜１００ｍｓｅｃごとに撮像するものとする。図２（ａ）は自車両を左方向から見た模式図であって、図２（ｂ）は自車両を上から見た模式図である。他にもカメラ１を車両のフロント等に設ける構成としてもよい。本実施形態では、カメラ１は例えばカラーカメラであるものとして以降の説明を行う。
【００２６】
カメラ１は、レンズ１１を含む光学系と撮像素子１２とにより構成される。カメラ１では、レンズ１１を含む光学系を通して撮像素子１２に入力された光学画像情報を撮像画像データ（ＲＧＢ信号）に変換してカラー画像を得て、そのカラー画像を歩行者認識装置２へ出力する。以降では、このカラー画像を撮像画像と呼ぶものとする。撮像素子１２は撮像対象の光学画像を画像データに変換する素子であり、ＣＣＤ（Charge Coupled Device）等が使用される。また本実施形態では、撮像画像の全てのピクセルは、Ｒ値（赤色度合い）、Ｇ値（緑色度合い）、Ｂ値（青色度合い）の各々が０〜２５５のディジタル値であるＲＧＢ値で表されるものとして説明を行う。
【００２７】
なお、本実施形態では、カメラ１が自車両の前方の所定範囲を撮像する構成を示したが、必ずしもこれに限らない。カメラ１は、後方の所定範囲を撮像するなど、前方以外の自車両の周囲を撮像する構成であってもよい。また、本実施形態では、カメラ１がカラーカメラである構成について説明を行う。
【００２８】
歩行者認識装置２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等よりなるマイクロコンピュータを主体として構成され、カメラ１から入力される撮像画像データをもとに、ＲＯＭに記憶された各種の制御プログラムを実行し、画像認識を行うことで歩行者を認識する処理を実行する。歩行者認識装置２は、図１に示すように機能ブロックとして、画像取得部２１、プレ認識２２、エッジ画像作成部２３、特徴形状検出部２４、時系列処理部２５、歩行者判定部２６、及び報知処理部２７を備えている。
【００２９】
なお、画像認識とは、画像データの画像内容を分析して、その形状を認識する技術のことである。画像認識では、画像データから対象物となる輪郭を抽出し、背景から分離した上で、その対象物が何であるかを分析する。また、歩行者とは、道路の上を車両によらない方法で移動する人のことを意味しており、移動中の人も停止中の人も含むものとする。
【００３０】
ディスプレイ３は、車載用の小型ディスプレイであり、歩行者認識装置２から出力された画像データを取得し、当該画像データの示す画像を表示する。画像の表示に関しては、例えば車載ナビゲーション装置で利用するディスプレイを用いる構成としてもよいし、車載用のヘッドアップディスプレイを用いる構成としてもよい。
【００３１】
スピーカ４は、車載用の小型スピーカであり、歩行者認識装置２から出力された音声信号を取得し、当該音声信号の示す音声を出力する。音声の出力に関しては、例えば車載ナビゲーション装置で利用するスピーカを用いる構成としてもよいし、車載オーディオのスピーカを用いる構成としてもよい。インジケータ５は、例えばＬＥＤであり、歩行者認識装置２から出力される信号を取得すると点灯する。なお、ＬＥＤの点灯の代わりに、ＬＥＤを点滅させる構成としてもよい。
【００３２】
続いて、図３を用いて、歩行者認識装置２の動作フローについての説明を行う。図３は、歩行者認識装置２の動作フローを示すフローチャートである。なお、本フローは、カメラ１から撮像画像データが入力されたときに開始される。また、本フローは、例えば歩行者認識装置２の電源がオフになったときや自車両のイグニッション電源がオフになったときに終了するものとする。
【００３３】
まず、ステップＳ１では、カメラ１から入力される撮像画像を画像取得部２１が取得し、例えばＲＡＭ等の一時保存メモリに格納してステップＳ２に移る。よって、画像取得部２１が請求項の画像取得手段に相当する。
【００３４】
ステップＳ２では、プレ認識部２２がプレ認識処理を行って、ステップＳ３に移る。プレ認識処理では、撮像画像中に歩行者が存在するか否かの大まかな識別を行うことで、歩行者候補の検出を行う。プレ認識処理では、歩行者のほとんどを歩行者候補と検出し、明らかに歩行者でない画像を除去するように設定された粗い識別器を用いた公知のパターンマッチングにより、歩行者候補の検出を行うものとする。
【００３５】
具体的には、あらゆる姿勢の歩行者の画像例（つまり、正解画像例）と明らかに歩行者でない構造物等の画像例（つまり、非正解画像例）とを歩行者認識装置２のＥＥＰＲＯＭ等の不揮発性メモリ等に格納しておく。そして、この不揮発性メモリに格納されている非正解画像例に類似している画像は除去する一方、正解画像例に類似している画像を歩行者候補として検出する。なお、パターンマッチングの具体的アルゴリズムは、種々の公知のものを採用できる。例えば予め正解画像例や非正解画像例について機械学習して構築されたパターンを用いて、パターンマッチングする構成としてもよい。また、以降の処理は、歩行者候補を含む適当な矩形領域の画像を撮像画像から抽出して行うものとする。
【００３６】
ステップＳ３では、歩行者候補が検出された場合（ステップＳ３でＹＥＳ）には、ステップＳ４に移る、また、歩行者候補が検出されなかった場合（ステップＳ３でＮＯ）には、ステップＳ１に戻ってフローを繰り返す。
【００３７】
ステップＳ４では、エッジ画像作成部２３がエッジ画像作成処理を行って、ステップＳ５に移る。エッジ画像作成処理では、公知のエッジ抽出を歩行者候補の画像（図４（ａ）参照）に対して行うことで、歩行者候補の画像中のエッジ（つまり、輪郭線）を抽出する（図４（ｂ）参照）。よって、エッジ画像作成部２３が請求項の輪郭線抽出手段に相当する。なお、図４（ａ）は、歩行者候補の画像の一例を示す図であって、図４（ｂ）は、図４（ａ）で示す画像に対してエッジ抽出を行った結果の一例を示す図である。
【００３８】
なお、エッジ抽出の他にも、例えば鏡像に変換する鏡像変換やレンズの特性で画像周辺部に生じる歪みを補正する歪み補正等の画像処理も行う構成としてもよい。また、プレ認識処理においてエッジ画像作成処理等の画像処理を行う構成とした場合には、ステップＳ４でエッジ画像作成処理を行わず、プレ認識処理においてエッジ抽出した結果を利用する構成としてもよい。
【００３９】
ステップＳ５では、特徴形状検出部２４が特徴形状検出処理を行って、ステップＳ６に移る。ここで、図５のフローチャートを用いて、特徴形状検出処理の概略について説明を行う。図５は、特徴形状検出処理のフローの一例を示すフローチャートである。
【００４０】
まず、ステップＳ５１では、第１特徴エッジ検出処理を行う。第１特徴エッジ検出処理では、エッジ画像作成処理で抽出したエッジから、閾値範囲内の長さである斜め右方向のエッジ（つまり、右斜めに傾いたエッジ）の検出を行う。以下では、閾値範囲内の長さである斜め右方向のエッジを第１特徴エッジと呼ぶ。ここで言うところの閾値とは、任意に設定可能な値であって、例えば撮像画像中の歩行者の脚部の長さを逸脱する程度の長さのエッジを除外するような値を設定する構成とすればよい。
【００４１】
そして、第１特徴エッジが検出できた場合（ステップＳ５１でＹＥＳ）には、ステップＳ５２に移る。また、第１特徴エッジが検出できなかった場合（ステップＳ５１でＮＯ）には、特徴形状を検出できなかったものとして、ステップＳ６に移る。なお、第１特徴エッジが請求項の第１輪郭線に相当する。
【００４２】
ステップＳ５２では、第２特徴エッジ検出処理を行う。第２特徴エッジ検出処理では、エッジ画像作成処理で抽出したエッジから、閾値範囲内の長さである斜め左方向のエッジ（つまり、左斜めに傾いたエッジ）の検出を行う。以下では、閾値範囲内の長さである斜め左方向のエッジを第２特徴エッジと呼ぶ。ここで言うところの閾値とは、任意に設定可能な値であって、例えば撮像画像中の歩行者の脚部の長さを逸脱する程度の長さのエッジを除外するような値を設定する構成とすればよい。
【００４３】
そして、第２特徴エッジが検出できた場合（ステップＳ５２でＹＥＳ）には、ステップＳ５３に移る。また、第２特徴エッジが検出できなかった場合（ステップＳ５２でＮＯ）には、特徴形状を検出できなかったものとして、ステップＳ６に移る。なお、第２特徴エッジが請求項の第２輪郭線に相当する。
【００４４】
ステップＳ５３では、第３特徴エッジ検出処理を行う。第３特徴エッジ検出処理では、エッジ画像作成処理で抽出したエッジから、ステップＳ５１で検出した第１特徴エッジの上端部とステップＳ５２で検出した第２特徴エッジの上端部とを結ぶ、閾値範囲内の長さのエッジの検出を行う。以下では、このエッジを第３特徴エッジと呼ぶ。ここで言うところの閾値とは、任意に設定可能な値であって、例えば撮像画像中の歩行者の歩幅程度の長さのエッジを除外するような値を設定する構成とすればよい。
【００４５】
そして、第３特徴エッジが検出できた場合（ステップＳ５３でＹＥＳ）には、ステップＳ５４に移る。また、第３特徴エッジが検出できなかった場合（ステップＳ５３でＮＯ）には、特徴形状を検出できなかったものとして、ステップＳ６に移る。なお、第３特徴エッジが請求項の第３輪郭線に相当する。
【００４６】
ステップＳ５４では、ステップＳ５１で検出した第１特徴エッジ、ステップＳ５２で検出した第２特徴エッジ、ステップＳ５３で検出した第３特徴エッジの各特徴エッジの線分同士の長さの比率が設定閾値範囲内であるか否かを判定する。詳しくは、第１特徴エッジと第２特徴エッジとの比率、第２特徴エッジと第３特徴エッジとの比率、及び第３特徴エッジと第１特徴エッジとの比率の全てが設定閾値範囲内であるか否かを判定する。
【００４７】
ここで言うところの設定閾値範囲とは、任意に設定可能な値であって、例えば撮像画像中の実際の歩行者から検出される各特徴エッジの線分同士の比率を逸脱する程度の比率を除外するような値を設定する構成とすればよい。また、設定閾値は、第１特徴エッジと第２特徴エッジとの比率、第２特徴エッジと第３特徴エッジとの比率、第３特徴エッジと第１特徴エッジとの比率のそれぞれについて異なる値を用いる構成としてもよい。
【００４８】
そして、各特徴エッジの線分同士の長さの比率が設定閾値範囲内であると判定した場合（ステップＳ５４でＹＥＳ）には、特徴形状を検出できたものとして、ステップＳ５５に移る。また、各特徴エッジの線分同士の長さの比率が設定閾値範囲内でないと判定した場合（ステップＳ５４でＮＯ）には、特徴形状を検出できなかったものとして、ステップＳ６に移る。
【００４９】
ここで、図４（ｃ）を用いて、特徴形状の一例を示す。図４（ｃ）は、特徴形状の一例を示す図である。なお、図４（ｃ）中のＡが第１特徴エッジ、Ｂが第２特徴エッジ、Ｃが第３特徴エッジを示しており、白丸が各特徴エッジの端部を示している。特徴形状は、ハの字形となった第１特徴エッジ及び第２特徴エッジと、左右方向のエッジである第３特徴エッジとからなる台形状をしている。なお、図４（ｃ）の例では、第３エッジの傾きが殆どないが、特徴形状を構成する第３特徴エッジは、左斜め方向や右斜め方向に傾いていてもよい。よって、特徴形状検出部２４が請求項の輪郭形状検出手段に相当する。また、特徴形状は請求項の台形輪郭形状に相当する。
【００５０】
ステップＳ５５では、線分・色情報格納処理を行って、ステップＳ６に移る。線分・色情報保存処理では、検出した特徴形状のうちの第１特徴エッジ、第２特徴エッジ、及び第３特徴エッジの線分情報を、例えばＲＡＭ等の一時保存メモリに格納する。例えば、第１特徴エッジの線分情報としては第１エッジの上端部及び下端部のピクセル座標を格納し、第２特徴エッジの線分情報としては第２エッジの上端部及び下端部のピクセル座標を格納し、第３特徴エッジの線分情報としては第３エッジの左側の端部及び右側の端部のピクセル座標を格納する構成とすればよい。なお、ピクセル座標は左右方向（以下、ｘ軸方向）と上下方向（以下、ｙ軸方向）との２軸で表され、撮像画像の左上の隅のピクセル座標を（０，０）とする。
【００５１】
また、線分・色情報保存処理では、第１特徴エッジ、第２特徴エッジ、及び第３特徴エッジの線分付近についての色情報、若しくは第１特徴エッジ、第２特徴エッジ、及び第３特徴エッジの端部付近についての色情報を算出し、例えばＲＡＭ等の一時保存メモリに格納する。本実施形態では、第１特徴エッジと第３特徴エッジとが交わる端部（つまり、第１特徴エッジの上端部若しくは第３特徴エッジの左側の端部）の近辺の複数ピクセルのＲＧＢ値と、第２特徴エッジと第３特徴エッジとが交わる端部（つまり、第２特徴エッジの上端部若しくは第３特徴エッジの左側の端部）の近辺の複数ピクセルのＲＧＢ値との平均値を色情報として算出し、保存するものとする。
【００５２】
第１特徴エッジと第３特徴エッジとが交わる端部の付近の複数ピクセルは、第１特徴エッジと第３特徴エッジとがなす優角側の数ピクセルであるものとする。また、第２特徴エッジと第３特徴エッジとが交わる端部の付近の複数ピクセルは、第２特徴エッジと第３特徴エッジとがなす優角側の数ピクセルであるものとする。優角とは、頂点と２辺を共有する角のうち、角度が大きいほうの角を示している。また、端部自体のピクセルも含むものとする。
【００５３】
なお、本実施形態の例では、第１特徴エッジと第３特徴エッジとが交わる端部付近、および第２特徴エッジと第３特徴エッジとが交わる端部付近についての色情報を用いる構成を示したが、必ずしもこれに限らない。例えば、他の端部付近の複数ピクセルのＲＧＢ値も含めた平均値を色情報として用いる構成としてもよいし、各特徴エッジの線分付近の複数ピクセルのＲＧＢ値の平均値を色情報として用いる構成としてもよい。
【００５４】
図３に戻って、ステップＳ６では、特徴形状検出処理で特徴形状を検出できた場合（ステップＳ６でＹＥＳ）には、ステップＳ７に移る。また、特徴形状検出処理で特徴形状を検出できなかった場合（ステップＳ６でＮＯ）には、ステップＳ１に戻ってフローを繰り返す。
【００５５】
ステップＳ７では、時系列処理部２５が時系列処理を行って、ステップＳ８に移る。ここで、図６のフローチャートを用いて、時系列処理の概略について説明を行う。図６は、時系列処理のフローの一例を示すフローチャートである。
【００５６】
まず、ステップＳ７１では、第１形状情報格納処理を行って、ステップＳ７２に移る。第１形状情報格納処理では、特徴形状検出処理で検出した特徴形状についての形状情報を算出し、例えばＲＡＭ等の一時保存メモリに格納する。形状情報は、特徴形状のハの字幅とハの字角度である。
【００５７】
ここで、図７を用いてハの字幅とハの字角度についての説明を行う。図７は、ハの字幅及びハの字角度を説明するための模式図である。図７のＡが特徴形状のうちの第１特徴エッジを示しており、Ｂが第２特徴エッジを示しており、Ｃが第３特徴エッジを示している。また、Ｄがハの字幅を示しており、Ｅがハの字角度を示している。
【００５８】
ハの字幅は、図７に示すように、特徴形状のうちの第１特徴エッジの下端部と第２特徴エッジの下端部との間隔（つまり、第１特徴エッジの下端部と第２特徴エッジの下端部のｘ軸方向における間隔）である。例えば、ハの字幅は、第２特徴エッジの下端部のｘ座標から第１特徴エッジの下端部のｘ座標を差し引くことで算出する構成とすればよい。なお、ハの字幅が請求項の下端幅に相当し、時系列処理部２５が請求項の下端幅算出手段に相当する。
【００５９】
また、ハの字角度は、図７に示すように、特徴形状のうちの第１特徴エッジと第３特徴エッジとがなす劣角、及び第２特徴エッジと第３特徴エッジとがなす劣角の角度である。劣角とは、頂点と２辺を共有する角のうち、角度が小さいほうの角を示している。例えば、ハの字角度は、線分・色情報格納処理で格納した各特徴エッジの線分情報をもとに、第１特徴エッジと第３特徴エッジとがなす劣角、及び第２特徴エッジと第３特徴エッジとがなす劣角を求めることで算出する構成とすればよい。なお、ハの字角度が請求項の対象角度に相当し、時系列処理部２５が請求項の対象角度算出手段に相当する。
【００６０】
本実施形態では、第１特徴エッジと第３特徴エッジとがなす劣角の角度、及び第２特徴エッジと第３特徴エッジとがなす劣角の角度の両方をハの字角度とする構成を示したが、必ずしもこれに限らない。例えば、上述のいずれか一方のみをハの字角度とする構成としてもよいし、両方の平均値を用いる構成としてもよい。
【００６１】
ステップＳ７２では、設定フレーム数以上の撮像画像について形状情報が一時保存メモリに格納されているか否かを判定する。なお、設定フレーム数は、任意に設定可能な値であって、ハの字幅やハの字角度の変化の周期を算出することができる程度の値であればよい。そして、設定フレーム数以上の撮像画像について形状情報が格納されていると判定した場合（ステップＳ７２でＹＥＳ）には、ステップＳ８に移る。また、設定フレーム数以上の撮像画像について形状情報が格納されていると判定しなかった場合（ステップＳ７２でＮＯ）には、ステップＳ７３に移る。
【００６２】
ステップＳ７３では、画像取得部２１でカメラ１から逐次取得する撮像画像のうち、それまで処理を行っていた撮像画像の次のフレームの撮像画像を取得し、ステップＳ７４に移る。具体的には、後述するステップＳ７４〜ステップＳ７５の処理が行われていない場合には、前述のステップＳ１で取得した撮像画像の次のフレームの撮像画像を取得する。一方、ステップＳ７３の処理の以前に後述するステップＳ７４〜ステップＳ７５の処理が既に行われている場合には、後述の色類似画像作成処理を行った直近の撮像画像の次のフレームの撮像画像を取得する。
【００６３】
ステップＳ７４では、色類似画像作成処理を行って、ステップＳ７５に移る。色類似画像作成処理では、ステップＳ７３で取得した撮像画像をもとに、線分・色情報格納処理で格納した色情報を基準値として、色類似度を表す画像（以下、色類似画像）を作成する。色類似画像の作成は、撮像画像のうちの歩行者候補が検出された領域に対応する領域（以下、対象領域）について行う。対象領域は、歩行者候補が写っていると推定される領域であって、プレ認識処理で歩行者候補が検出された領域と同じ座標で示される領域（以下、同一領域）を対象領域としてもよい。また、同一領域よりも所定の幅だけ上下左右に広い領域を対象領域としてもよいし、同一領域から上下左右にずれた領域を対象領域としてもよい。
【００６４】
色類似画像は、対象領域の各ピクセルについて、各ピクセルのＲＧＢ値と基準値としてのＲＧＢ値との差分の絶対値を算出し、算出したその絶対値を新たなＲＧＢ値とすることで作成する。なお、各ピクセルのＲＧＢ値と基準値としてのＲＧＢ値との差分の絶対値は、Ｒ、Ｇ、Ｂのそれぞれについて算出するものとする。また、色類似画像では、特徴形状に相当する部分は黒く表示され、背景に相当する部分は白く表示されることになる。これは以下の理由による。
【００６５】
ＲＧＢ値がＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５の場合には白く表示され、ＲＧＢ値がＲ＝０、Ｇ＝０、Ｂ＝０の場合には黒く表示されるため、線分・色情報格納処理で格納した色情報に類似した色の領域は黒く表示され、当該色情報に類似していない色の領域は白く表示される。線分・色情報格納処理で格納した色情報は、特徴形状の近辺の複数ピクセルのＲＧＢ値の平均なので、色類似画像においては特徴形状が黒く表示され、特徴形状以外の背景が白く表示されることになる。
【００６６】
ステップＳ７５では、第２形状情報格納処理を行って、ステップＳ７２に戻ってフローを繰り返す。第２形状情報格納処理では、色類似画像作成処理で作成した色類似画像から特徴形状に相当する部分における形状情報を算出し、例えばＲＡＭ等の一時保存メモリに格納する。なお、色類似画像から特徴形状に相当する部分が検出できなかった場合にフローを終了する構成としてもよい。
【００６７】
色類似画像では、前述したように特徴形状に相当する部分が黒く表示されるため、これを利用して特徴形状を検出し、ハの字幅やハの字角度といった形状情報を算出する。例えば、色類似画像にエッジ抽出を行うことによって特徴形状を検出し、特徴形状の第１特徴エッジ、第２特徴エッジ、第３特徴エッジの端部にあたる場所のピクセル座標を求めることで、このピクセル座標をもとに前述したのと同様にして形状情報を算出する構成としてもよい。
【００６８】
図３に戻って、ステップＳ８では、歩行者判定部２６が歩行者判定処理を行って、ステップＳ９に移る。ここで、図８のフローチャートを用いて、歩行者判定処理の概略について説明を行う。図８は、歩行者判定処理のフローの一例を示すフローチャートである。また、歩行者判定部２６は請求項の変化量算出手段に相当する。
【００６９】
まず、ステップＳ８１では、変化有無判定処理を行って、ステップＳ８２に移る。変化有無判定処理では、時系列処理で設定フレーム数以上の撮像画像について一時保存メモリに格納された複数の形状情報をもとに、特徴形状のハの字幅及びハの字角度の変化（つまり、形状情報の値の変化）があるか否かを判定する。例えば、ある２つの連続するフレーム間でのハの字幅の変化量及びハの字角度の変化量を算出し、この変化量が閾値範囲内であった場合には変化がないと判定し、この変化量が閾値範囲内でなかった場合に変化ありと判定する。なお、この変化量が請求項の下端幅の時間的な変化を示す値、及び対象角度の時間的な変化を示す値に相当する。
【００７０】
ここで言うところの閾値は、任意に設定可能な値であって、例えば形状情報の算出誤差程度の値を設定する構成とすればよい。なお、閾値はハの字幅とハの字角度とのそれぞれについて別の値が設定される構成としてもよいし、同じ値が設定される構成としてもよい。また、本実施形態では、ある２つの連続するフレーム間でのハの字幅の変化量及びハの字角度の変化量を算出する構成を示したが、必ずしもこれに限らない。例えば、連続するフレーム間以外の２つのフレーム間でのハの字幅の変化量及びハの字角度の変化量を算出する構成としてもよい。また、３つ以上の連続するフレーム間でのハの字幅の変化量の平均値及びハの字角度の変化量の平均値を算出して用いる構成としてもよい。
【００７１】
ステップＳ８２では、ハの字幅やハの字角度の変化があると変化有無判定処理で判定した場合（ステップＳ８２でＹＥＳ）には、ステップＳ８３に移る。また、ハの字幅やハの字角度の変化がないと変化有無判定処理で判定した場合（ステップＳ８２でＮＯ）には、ステップＳ８７に移る。
【００７２】
ステップＳ８３では、変化周期算出処理を行って、ステップＳ８４に移る。変化周期算出処理では、時系列処理で設定フレーム数以上の撮像画像について一時保存メモリに格納された複数の形状情報をもとに、ハの字幅及びハの字角度が減少から増大に変化する点（以下、谷の底の点）、並びにハの字幅及びハの字角度が増大から減少に変化する点（山の頂上の点）を時系列に沿って求めることで、ハの字幅及びハの字角度の変化の半周期（１／２周期）の値を算出する。半周期の値は、一時保存メモリに格納されている複数の形状情報分について、上述した谷の底の点から山の頂上の点までの時間間隔、及び山の頂上の点から谷の底の点までの時間間隔の平均をとることで算出する。半周期の値は、ハの字幅及びハの字角度のそれぞれについて算出するものとする。なお、この半周期の値が請求項の下端幅の時間的な変化を示す値、及び対象角度の時間的な変化を示す値に相当する。
【００７３】
ステップＳ８４では、変化周期算出処理で算出した半周期の値が所定値以上であるか否かを判定する。そして、半周期の値が所定値以上であった場合（ステップＳ８４でＹＥＳ）には、ステップＳ８６に移る。また、半周期の値が所定値以上でなかった場合（ステップＳ８４でＮＯ）には、ステップＳ８５に移る。
【００７４】
ここで言うところの所定値とは、任意に設定可能な値であって、実際の走行中の歩行者について算出されるハの字幅やハの字角度の半周期の値を設定すればよい。なお、所定値はハの字幅とハの字角度とのそれぞれについて別の値が設定される構成とすればよい。そして、ハの字幅の半周期の値とハの字角度の半周期の値との両方が所定値以上であった場合に、ステップＳ８６に移り、一方でも所定値以上でなかった場合にはステップＳ８５に移る構成とすればよい。
【００７５】
ステップＳ８５では、歩行者候補を歩行者と判定するとともに、その歩行者が歩行中であるものと推定し、ステップＳ９に移る。ステップＳ８６では、歩行者候補を歩行者と判定するとともに、その歩行者が走行中であるものと推定し、ステップＳ９に移る。
【００７６】
なお、本実施形態では、半周期の値が所定値以上か否かによって、歩行者の運動状態（歩行中か走行中か）を推定する構成を示したが、必ずしもこれに限らない。例えば、半周期の値でなく、１周期や２周期などの他の周期の値を用いる構成としてもよい。また、ハの字幅及びハの字角度の時間あたりの変化量が所定値以上か否かによって、歩行者の運動状態（歩行中か走行中か）を推定する構成としてもよい。
【００７７】
また、ステップＳ８７では、形状情報の値が閾値範囲内であるか否かを判定する。例えば、第１形状情報格納処理で一次保存メモリに格納したハの字幅及びハの字角度が閾値範囲内であるか否かを判定する。そして、閾値範囲内であると判定した場合（ステップＳ８７でＹＥＳ）には、ステップＳ８８に移る。また、閾値範囲内でないと判定した場合（ステップＳ８７でＮＯ）には、ステップＳ８９に移る。
【００７８】
閾値はハの字幅とハの字角度とのそれぞれについて別の値が設定される構成とすればよい。ハの字幅についての閾値は、任意に設定可能な値であって、例えば撮像画像中の歩行者の歩幅の長さを逸脱する程度に大きい値を設定する構成とすればよい。これによれば、ハの字幅が歩行者の歩幅として大きすぎる値である場合に、歩行者候補を歩行者でないと判定することを可能にできる。また、ハの字角度についての閾値は、任意に設定可能な値であって、例えば撮像画像中の歩行者の歩幅の長さを逸脱する程度に大きい場合のハの字角度の値を設定する構成とすればよい。これによれば、ハの字角度が歩行者のハの字角度として大きすぎる値である場合に、歩行者候補を歩行者でないと判定することを可能にできる。
【００７９】
ステップＳ８８では、歩行者候補を停止中の歩行者であるものと判定し、ステップＳ９に移る。ステップＳ８９では、歩行者候補を非歩行者であるものと判定し、ステップＳ９に移る。
【００８０】
ステップＳ９では、歩行者判定処理で歩行者候補を歩行者と判定した場合（ステップＳ９でＹＥＳ）には、ステップＳ１０に移る。また、歩行者判定処理で歩行者候補を非歩行者と判定した場合（ステップＳ９でＮＯ）には、ステップＳ１に戻ってフローを終了する。
【００８１】
ステップＳ１０では、報知処理部２７が報知処理を行ってフローを終了する。報知処理では、歩行者の存在を自車両の乗員に報知する処理を行う。例えば、歩行者の存在を示すアイコン画像やテキストをディスプレイ３に表示させてもよい。また、ディスプレイ３に撮像画像を表示するとともに、撮像画像中の歩行者を枠で囲ったりするなどの強調表示を行う構成としてもよい。他にも、歩行者の存在を示す音声案内をスピーカ４から出力させてもよいし、歩行者の存在を示すインジケータ５を点灯や点滅させたりしてもよい。
【００８２】
さらに、歩行者判定処理で推定した歩行者の運動状態に応じて種々の処理を行う構成としてもよい。例えば、推定した運動状態（つまり、停止中、歩行中、及び走行中）の種類を示すアイコン画像やテキストをディスプレイ３に表示させてもよいし、推定した運動状態を示す音声案内をスピーカ４から出力させてもよいし、推定した運動状態の種類に応じたインジケータ５を点灯や点滅させたりしてもよい。また、ディスプレイ３に撮像画像を表示するとともに、撮像画像中の歩行者を枠で囲ったりするなどの強調表示を、推定した運動状態の種類に応じて変更する構成としてもよい。例えば、走行中、歩行中、停止中の順により強い注意喚起を自車両の乗員に促す強調表示を行う構成としてもよい。
【００８３】
なお、１つのフレーム内に歩行者候補が複数検出された場合には、歩行者候補ごとに図３のフローで示す処理を行って、歩行者の認識を行う構成とすればよい。
【００８４】
本実施形態の歩行者認識装置２では、前述したようにして、撮像画像中の右斜めに傾いた第１特徴エッジ、左斜めに傾いた第２特徴エッジ、及び第１特徴エッジの上端と第２特徴エッジの上端とを結ぶ第３特徴エッジからなる台形状の特徴形状をもとに、撮像画像から検出した歩行者候補が歩行者であるか否かを判定して歩行者の認識を行う。
【００８５】
この特徴形状は、図９（ａ）〜図９（ｃ）、図１０（ａ）及び図１０（ｂ）に示すように、歩行者の上半身から股下よりも下部の位置までが障害物によって遮られている場合や光の加減で歩行者の股下よりも下部の位置しか写っていない場合のように、歩行者の左右の脚部が股下よりも下部の位置からしか写っていない場合に検出される。詳しくは、歩行者の左右の脚部の輪郭線が第１特徴エッジ及び第２特徴エッジとして抽出され、光の加減によって生じる明暗の境界や障害物の輪郭線が第３特徴エッジとして抽出される。
【００８６】
なお、図９（ａ）は傘によって遮られている例であって、図９（ｂ）は、手荷物によって遮られている例であって、図９（ｃ）はガードレールによって遮られている例である。また、図１０（ａ）はスカートによって遮られている例であって、図１０（ｂ）は、夜間においてヘッドライトにより歩行者の股下よりも下部の位置だけが照らされている例である。なお、図９（ａ）〜図９（ｃ）、図１０（ａ）及び図１０（ｂ）中のＡが第１特徴エッジ、Ｂが第２特徴エッジ、Ｃが第３特徴エッジを示している。
【００８７】
よって、特徴形状をもとにすれば、歩行者の左右の脚部が股下よりも下部の位置からしか写っておらず、撮像画像中において歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合にも、歩行者候補が歩行者であるか否かを精度良く判定して歩行者の認識を行うことができる。従って、本実施形態の構成によれば、撮像画像中における歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合にも、上半身が画像上で確認できない状況下における歩行者を認識することができる。その結果、上半身が画像上で確認できない状況下おける歩行者の認識の精度をさらに向上させることができる。
【００８８】
撮像画像中の歩行者候補において前述のハの字幅やハの字角度の変化がない場合には、歩行者候補が運動していないと考えられるので、歩行者候補は停止中の歩行者であるか構造物等の非歩行者である可能性が高い。一方、ハの字幅やハの字角度の変化がある場合には、歩行者候補が運動していると考えられるので、歩行中や走行中の歩行者である可能性が高い。本実施形態の構成によれば、ハの字幅やハの字角度の変化があると判定した場合に、歩行者候補が歩行者であると判定する。よって、ハの字幅やハの字角度の変化の有無をもとに、歩行者候補が歩行者であることをさらに精度良く判定することができる。
【００８９】
また、本実施形態の構成によれば、撮像画像中の歩行者候補におけるハの字幅やハの字角度の変化の半周期の値といった時間的な変化を示す値をもとに、歩行者と判定された対象が歩行中か走行中か停止中かといった運動状態を推定することができる。また、歩行者の運動状態を推定することができるので、ユーザの歩行者の運動状態についての情報を報知することも可能になる。
【００９０】
さらに、本実施形態の構成によれば、特徴形状検出処理において検出した各特徴エッジの線分同士の比率が、撮像画像中の実際の歩行者から検出される各特徴エッジの線分同士の比率を逸脱する程度の比率を除外するような設定閾値範囲を超える場合に、特徴形状を検出できなかったものとして、歩行者候補を歩行者と判定しないことになる。よって、各特徴エッジの線分同士の比率が設定閾値範囲内でないことをもとに、歩行者でない歩行者候補を精度良く判定することが可能になる。
【００９１】
また、本実施形態の構成によれば、ある撮像画像から特徴形状を検出した場合に、その撮像画像に続くフレームの撮像画像については、線分・色情報格納処理で格納した色情報を基準値として色類似画像を作成することで特徴形状を検出する。よって、一旦撮像画像から特徴形状を検出した後は、続くフレームの撮像画像についてプレ認識処理や特徴形状検出処理を毎回行わなくてもよくなり、歩行者認識装置２の処理負荷を低減することができる。
【００９２】
本実施形態では、ある撮像画像から特徴形状を検出した場合に、その撮像画像に続くフレームの撮像画像については、線分・色情報格納処理で格納した色情報を基準値として色類似画像を作成することで特徴形状を検出する構成を示したが、必ずしもこれに限らない。例えば、ある撮像画像から特徴形状を検出した場合に、その撮像画像に続くフレームの撮像画像についても、プレ認識処理、エッジ画像作成処理、及び特徴形状検出処理を毎回行うことで特徴形状を検出する構成としてもよい。
【００９３】
本実施形態では、プレ認識処理を行う構成を示したが、必ずしもこれに限らない。例えば、プレ認識処理を行わずに撮像画像全体に対してエッジ画像作成処理を行い、特徴形状を検出する構成としてもよい。なお、この場合には、特徴形状が検出された領域を含む所定の範囲の領域を歩行者候補の画像の領域として扱う構成とすればよい。
【００９４】
本実施形態では、ハの字幅とハの字角度との両方を用いる構成を示したが、必ずしもこれに限らない。例えば、ハの字幅とハの字角度とのうちの一方のみを用いる構成としてもよい。
【００９５】
本実施形態では、歩行者の運動状態も推定する構成を示したが、必ずしもこれに限らない。例えば、運動状態の推定を行わず、撮像画像中の歩行者候補において前述のハの字幅やハの字角度の変化がある場合に、歩行者候補を歩行者と判定する構成としてもよい。また、この場合、ハの字幅やハの字角度の変化がなく、且つ、ハの字幅やハの字角度が閾値範囲内である場合に歩行者候補を歩行者であると判定する一方、ハの字幅やハの字角度が閾値範囲内でないときに歩行者候補を非歩行者であると判定する構成とすればよい。
【００９６】
また、歩行者認識装置２は、撮像画像中における歩行者の左右の脚部からなる輪郭が逆Ｖの字形となるパターンを識別する識別器等の、特徴形状以外のパターンを識別する識別器も組み合わせる構成とすることが好ましい。これによれば、特徴形状が検出されない歩行者の画像についても歩行者として認識することが可能になり、歩行者の認識性能がさらに向上する。
【００９７】
さらに、本実施形態では、色の表現法としてＲＧＢカラーモデルを用いる場合の例を示したが、必ずしもこれに限らず、ＲＧＢカラーモデル以外の色の表現法を用いる場合にも本発明を適用する構成としてもよい。また、本実施形態では、カメラ１としてカラーカメラを用いる場合を例に挙げて説明を行ったが、カメラ１としてモノクロカメラや赤外線カメラ等の他の種類のカメラを用いる構成としてもよい。
【００９８】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００９９】
１ カメラ（撮像装置）、２ 歩行者認識装置、３ ディスプレイ、４ スピーカ、５ インジケータ、１１ レンズ、１２ 撮像素子、２１ 画像取得部（画像取得手段）、２２ プレ認識部、２３ エッジ画像作成部（輪郭線抽出手段）、２４ 特徴形状検出部（輪郭形状検出手段）、２５ 時系列処理部（下端幅算出手段、対象角度算出手段）、２６ 歩行者判定部（変化量算出手段）、２７ 報知処理部、１００ 歩行者認識システム
【技術分野】
【０００１】
本発明は、歩行者の認識を行う歩行者認識装置に関するものである。
【背景技術】
【０００２】
従来、撮像画像中の歩行者の認識を行う技術が知られている。例えば特許文献１及び非特許文献１には、歩行者の全身についての全体識別器と歩行者の頭部や下半身といった部分領域についての複数の部分識別器とを２段階で用いることで、撮像画像中の歩行者を認識する技術が開示されている。また、特許文献１及び非特許文献１には、歩行者に特徴的な、左右の脚部からなる輪郭が逆Ｖの字形となった歩行パターン（gait pattern）を識別する部分識別器を用いることで、歩行者の認識の精度をより向上させることが提案されている。
【０００３】
特許文献１及び非特許文献１に開示の技術のように、左右の脚部からなる輪郭が逆Ｖの字形となった歩行パターン（以下、逆Ｖの字歩行パターン）を認識する部分識別器を用いることで、上半身が画像上で確認できない状況下における歩行者も認識可能になると考えられる。上半身が画像上で確認できない状況としては、例えば障害物によって上半身が隠れている場合や光の加減で上半身が画像に写っていない場合などがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００７／０２３０７９２号明細書
【非特許文献】
【０００５】
【非特許文献１】Shashua, A、他２名、“Pedestrian detection for driving assistance systems: single-frame classification and system level performance”、Intelligent Vehicles Symposium, 2004 IEEE、14-17 June 2004、p.1−6
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１及び非特許文献１に開示の技術でも、上半身が画像上で確認できない状況下における歩行者の認識の精度を十分に向上させることができないという問題を有していた。詳しくは、以下の通りである。特許文献１及び非特許文献１に開示の技術では、逆Ｖの字歩行パターンを識別することで、上半身が画像上で確認できない状況下における歩行者の認識を試みているが、撮像画像中において、歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合も多々存在する。
【０００７】
例えば、歩行者の上半身から股下よりも下部の位置までが障害物によって遮られていると、歩行者の左右の脚部からなる輪郭が逆Ｖの字形とはならない。障害物の例としては、歩行者がさしている傘や歩行者の持っている手荷物、歩行者が着用しているスカート等が考えられる。また、光の加減で歩行者の股下よりも下部の位置しか写っていない場合にも、歩行者の左右の脚部からなる輪郭は逆Ｖの字形とならない。
【０００８】
このように歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合には、特許文献１及び非特許文献１に開示の技術では部分識別器で識別されず、歩行者を認識できない。よって、歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合には、上半身が画像上で確認できない状況下における歩行者を認識することができない。
【０００９】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、上半身が画像上で確認できない状況下おける歩行者の認識の精度をさらに向上させることを可能にする歩行者認識装置を提供することにある。
【課題を解決するための手段】
【００１０】
請求項１の歩行者認識装置では、撮像画像中の右斜めに傾いた第１輪郭線、左斜めに傾いた第２輪郭線、及び当該第１輪郭線の上端と当該第２輪郭線の上端とを結ぶ第３輪郭線からなる台形状の輪郭形状（以下、台形輪郭形状）をもとに、撮像画像から検出した歩行者候補が歩行者であるか否かを判定して歩行者の認識を行う。この台形輪郭形状は、歩行者の上半身から股下よりも下部の位置までが障害物によって遮られている場合や光の加減で歩行者の股下よりも下部の位置しか写っていない場合のように、歩行者の左右の脚部が股下よりも下部の位置からしか写っていない場合に検出される。詳しくは、歩行者の左右の脚部の輪郭線が第１輪郭線及び第２輪郭線として抽出され、光の加減によって生じる明暗の境界や上記障害物の輪郭線が第３輪郭線として抽出される。
【００１１】
よって、この台形輪郭形状をもとにすれば、歩行者の左右の脚部が股下よりも下部の位置からしか写っておらず、撮像画像中において歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合にも、歩行者候補が歩行者であるか否かを精度良く判定して歩行者の認識を行うことが可能になる。従って、請求項１の構成によれば、撮像画像中における歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合にも、上半身が画像上で確認できない状況下における歩行者を認識することが可能となる。その結果、上半身が画像上で確認できない状況下おける歩行者の認識の精度をさらに向上させることが可能になる。
【００１２】
請求項２のように、輪郭形状検出手段で台形輪郭形状の検出を行うことができた各撮像画像をもとに、台形輪郭形状のうちの第１輪郭線の下端と第２輪郭線の下端との間の間隔である下端幅の時間的な変化を示す値を算出する態様としてもよい。これによれば、上記下端幅の時間的な変化を示す値を、歩行者の認識に利用することが可能になる。なお、下端幅の時間的な変化を示す値とは、例えば下端幅の時間あたりの変化量や下端幅の変化の周期の値などである。
【００１３】
請求項２のようにする場合には、請求項３のように、変化量算出手段で算出した下端幅の時間的な変化を示す値をもとに、歩行者候補が歩行者であることを判定する態様とすることが好ましい。前述したように、歩行者の左右の脚部の輪郭線が第１輪郭線及び第２輪郭線として抽出されるので、歩行者候補が実際に歩行者である場合には、下端幅は歩行者の歩幅に対応し、下端幅の変化は歩行者の歩幅の変化に対応することになる。また、歩行者候補が実際に歩行者である場合に、下端幅の変化が歩行者の変化に対応することから、下端幅の時間的な変化を示す値をもとにして、歩行者候補が歩行者であることを判定することが可能になる。詳しくは、以下の通りである。
【００１４】
下端幅の変化がない場合には、歩幅の変化がない歩行者（つまり、停止中の歩行者）であるか非歩行者である可能性が高い。一方、下端幅の変化がある場合には、歩幅の変化がある歩行者（つまり、歩行中や走行中の歩行者）である可能性が高い。よって、下端幅の時間的な変化を示す値から、歩行者候補が歩行者であるか否かをより精度良く判定することが可能になる。従って、請求項３の構成によれば、下端幅の時間的な変化を示す値をもとに、歩行者候補が歩行者であるか否かをより精度良く判定することが可能になる。
【００１５】
請求項３のようにする場合には、請求項４のように、変化量算出手段で算出した下端幅の時間的な変化を示す値をもとに、歩行者の運動状態を推定する態様とすることが好ましい。歩行者候補が実際に歩行者である場合には、下端幅の変化は歩行者の歩幅の変化に対応することになるので、下端幅の時間的な変化を示す値から歩行者の運動状態を推定することができる。例えば、歩幅の時間的な変化が小さい場合は歩行中、大きい場合は走行中、変化がない場合には停止中である可能性が高いので、下端幅の時間的な変化を示す値をもとに、歩行者と判定された対象が歩行中か走行中か停止中かを推定することができる。また、歩行者の運動状態を推定することができるので、ユーザの歩行者の運動状態についての情報を報知したりすることも可能になる。
【００１６】
請求項５のように、輪郭形状検出手段で台形輪郭形状の検出を行うことができた各撮像画像をもとに、台形輪郭形状のうちの第１輪郭線と第３輪郭線とがなす劣角、及び第２輪郭線と第３輪郭線とがなす劣角のうちの少なくともいずれかの劣角の角度である対象角度の時間的な変化を示す値を算出する態様としてもよい。これによれば、上記対象角度の時間的な変化を示す値を、歩行者の認識に利用することが可能になる。なお、劣角とは、頂点と２辺を共有する角のうち、角度が小さいほうの角を示している。
【００１７】
請求項５のようにする場合には、請求項６のように、変化量算出手段で算出した対象角度の時間的な変化を示す値をもとに、歩行者候補が歩行者であることを判定する態様とすることが好ましい。前述したように、歩行者の左右の脚部の輪郭線が第１輪郭線及び第２輪郭線として抽出されるので、歩行者候補が実際に歩行者である場合には、第１輪郭線と第３輪郭線とがなす劣角や第２輪郭線と第３輪角線とがなす劣角の角度（以下、対象角度）は、歩行者の歩幅の変化に応じて変化することになる。具体的には、歩幅が大きくなるほど対象角度も大きくなり、歩幅が小さくなるほど対象角度も小さくなる。また、歩行者候補が実際に歩行者である場合に、対象角度の変化が歩行者の歩幅の変化に対応することから、対象角度の時間的な変化を示す値をもとにして、歩行者候補が歩行者であることを判定することが可能になる。詳しくは、以下の通りである。
【００１８】
対象角度の変化がない場合には、歩幅の変化がない歩行者（つまり、停止中の歩行者）であるか非歩行者である可能性が高い。一方、対象角度の変化がある場合には、歩幅の変化がある歩行者（つまり、歩行中や走行中の歩行者）である可能性が高い。よって、対象角度の時間的な変化を示す値から、歩行者候補が歩行者であるか否かをより精度良く判定することが可能になる。従って、請求項６の構成によれば、対象角度の時間的な変化を示す値をもとに、歩行者候補が歩行者であるか否かをより精度良く判定することが可能になる。
【００１９】
請求項６のようにする場合には、請求項７のように、変化量算出手段で算出した対象角度の時間的な変化を示す値をもとに、歩行者の運動状態を推定する態様とすることが好ましい。歩行者候補が実際に歩行者である場合には、対象角度の変化は歩行者の歩幅の変化に対応することになるので、対象角度の時間的な変化を示す値から歩行者の運動状態を推定することができる。例えば、歩幅の時間的な変化が小さい場合は歩行中、大きい場合は走行中、変化がない場合には停止中である可能性が高いので、対象角度の時間的な変化を示す値をもとに、歩行者と判定された対象が歩行中か走行中か停止中かを推定することができる。また、歩行者の運動状態を推定することができるので、ユーザの歩行者の運動状態についての情報を報知したりすることも可能になる。
【００２０】
請求項８のように、下端幅算出手段で算出した下端幅が所定の閾値以下でなかった場合に、歩行者候補が歩行者でないと判定する態様とすることが好ましい。下端幅は前述したように歩行者の歩幅に対応するため、下端幅が歩行者の歩幅として大きすぎる値である場合には、歩行者候補が歩行者でない可能性が高い。これに対して、請求項９の構成によれば、下端幅が所定の閾値以下でなかった場合に、歩行者候補が歩行者でないと判定するので、下端幅が歩行者の歩幅として大きすぎる値である場合に、歩行者候補が歩行者でないと判定することが可能になる。よって、請求項８の構成によれば、歩行者候補が歩行者でないことをより精度良く判定することが可能になる。
【００２１】
請求項９のように、対象角度算出手段で算出した対象角度が所定の閾値以下でなかった場合に、歩行者候補を歩行者でないと判定する態様とすることが好ましい。対象角度の大きさは前述したように歩行者の歩幅に対応するため、歩行者の歩幅としては大きすぎる歩幅の値に対応するほど対象角度が大きすぎる値である場合には、歩行者候補が歩行者でない可能性が高い。これに対して、請求項１０の構成によれば、対象角度が所定の閾値以下でなかった場合に、歩行者候補が歩行者でないと判定するので、対象角度が大きすぎる値である場合に、歩行者候補が歩行者でないと判定することが可能になる。よって、請求項９の構成によれば、歩行者候補が歩行者でないことをより精度良く判定することが可能になる。
【００２２】
請求項１０のように、輪郭形状検出手段で検出した台形輪郭形状のうちの第１輪郭線、第２輪郭線、第３輪郭線の各線分同士の長さの比率が所定値以内でなかった場合に、歩行者候補が歩行者でないと判定する態様とすることが好ましい。左右の脚部の可動域や左右の脚部の長さの比率は、人体においてある程度決まっている。よって、歩行者候補が実際に歩行者である場合には、第１輪郭線、第２輪郭線、第３輪郭線の各線分同士の長さの比率は一定の値以下に収まることになる。従って、第１輪郭線、第２輪郭線、第３輪郭線の各線分同士の長さの比率が所定値以内でないことをもとに、歩行者候補が歩行者でないことを精度良く判定することが可能になる。
【図面の簡単な説明】
【００２３】
【図１】歩行者認識システム１００の概略的な構成を示すブロック図である。
【図２】（ａ）は自車両を左方向から見た模式図であって、（ｂ）は自車両を上から見た模式図である。
【図３】歩行者認識装置２の動作フローを示すフローチャートである。
【図４】（ａ）は、歩行者候補の画像の一例を示す図であり、（ｂ）は、（ａ）で示す画像に対してエッジ抽出を行った結果の一例を示す図であり、（ｃ）は、特徴形状の一例を示す図である。
【図５】特徴形状検出処理のフローの一例を示すフローチャートである。
【図６】時系列処理のフローの一例を示すフローチャートである。
【図７】ハの字幅及びハの字角度を説明するための模式図である。
【図８】歩行者判定処理のフローの一例を示すフローチャートである。
【図９】（ａ）〜（ｃ）は、歩行者の左右の脚部が股下よりも下部の位置からしか写っていない場合の例を示す模式図である。
【図１０】（ａ）及び（ｂ）は、歩行者の左右の脚部が股下よりも下部の位置からしか写っていない場合の例を示す模式図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された歩行者認識システム１００の概略的な構成を示すブロック図である。図１に示す歩行者認識システム１００は、車両に搭載されるものであり、カメラ１、歩行者認識装置２、ディスプレイ３、スピーカ４、及びインジケータ５を含んでいる。なお、歩行者認識システム１００を搭載している車両を以降では自車両と呼ぶ。
【００２５】
カメラ１は、図２（ａ）および図２（ｂ）に示すように、自車両において例えばルームミラー近傍に取り付けられ、自車両の前方の所定範囲を逐次撮像する。よって、カメラ１が請求項の撮像装置に相当する。なお、カメラ１は例えば３３ｍｓｅｃ〜１００ｍｓｅｃごとに撮像するものとする。図２（ａ）は自車両を左方向から見た模式図であって、図２（ｂ）は自車両を上から見た模式図である。他にもカメラ１を車両のフロント等に設ける構成としてもよい。本実施形態では、カメラ１は例えばカラーカメラであるものとして以降の説明を行う。
【００２６】
カメラ１は、レンズ１１を含む光学系と撮像素子１２とにより構成される。カメラ１では、レンズ１１を含む光学系を通して撮像素子１２に入力された光学画像情報を撮像画像データ（ＲＧＢ信号）に変換してカラー画像を得て、そのカラー画像を歩行者認識装置２へ出力する。以降では、このカラー画像を撮像画像と呼ぶものとする。撮像素子１２は撮像対象の光学画像を画像データに変換する素子であり、ＣＣＤ（Charge Coupled Device）等が使用される。また本実施形態では、撮像画像の全てのピクセルは、Ｒ値（赤色度合い）、Ｇ値（緑色度合い）、Ｂ値（青色度合い）の各々が０〜２５５のディジタル値であるＲＧＢ値で表されるものとして説明を行う。
【００２７】
なお、本実施形態では、カメラ１が自車両の前方の所定範囲を撮像する構成を示したが、必ずしもこれに限らない。カメラ１は、後方の所定範囲を撮像するなど、前方以外の自車両の周囲を撮像する構成であってもよい。また、本実施形態では、カメラ１がカラーカメラである構成について説明を行う。
【００２８】
歩行者認識装置２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等よりなるマイクロコンピュータを主体として構成され、カメラ１から入力される撮像画像データをもとに、ＲＯＭに記憶された各種の制御プログラムを実行し、画像認識を行うことで歩行者を認識する処理を実行する。歩行者認識装置２は、図１に示すように機能ブロックとして、画像取得部２１、プレ認識２２、エッジ画像作成部２３、特徴形状検出部２４、時系列処理部２５、歩行者判定部２６、及び報知処理部２７を備えている。
【００２９】
なお、画像認識とは、画像データの画像内容を分析して、その形状を認識する技術のことである。画像認識では、画像データから対象物となる輪郭を抽出し、背景から分離した上で、その対象物が何であるかを分析する。また、歩行者とは、道路の上を車両によらない方法で移動する人のことを意味しており、移動中の人も停止中の人も含むものとする。
【００３０】
ディスプレイ３は、車載用の小型ディスプレイであり、歩行者認識装置２から出力された画像データを取得し、当該画像データの示す画像を表示する。画像の表示に関しては、例えば車載ナビゲーション装置で利用するディスプレイを用いる構成としてもよいし、車載用のヘッドアップディスプレイを用いる構成としてもよい。
【００３１】
スピーカ４は、車載用の小型スピーカであり、歩行者認識装置２から出力された音声信号を取得し、当該音声信号の示す音声を出力する。音声の出力に関しては、例えば車載ナビゲーション装置で利用するスピーカを用いる構成としてもよいし、車載オーディオのスピーカを用いる構成としてもよい。インジケータ５は、例えばＬＥＤであり、歩行者認識装置２から出力される信号を取得すると点灯する。なお、ＬＥＤの点灯の代わりに、ＬＥＤを点滅させる構成としてもよい。
【００３２】
続いて、図３を用いて、歩行者認識装置２の動作フローについての説明を行う。図３は、歩行者認識装置２の動作フローを示すフローチャートである。なお、本フローは、カメラ１から撮像画像データが入力されたときに開始される。また、本フローは、例えば歩行者認識装置２の電源がオフになったときや自車両のイグニッション電源がオフになったときに終了するものとする。
【００３３】
まず、ステップＳ１では、カメラ１から入力される撮像画像を画像取得部２１が取得し、例えばＲＡＭ等の一時保存メモリに格納してステップＳ２に移る。よって、画像取得部２１が請求項の画像取得手段に相当する。
【００３４】
ステップＳ２では、プレ認識部２２がプレ認識処理を行って、ステップＳ３に移る。プレ認識処理では、撮像画像中に歩行者が存在するか否かの大まかな識別を行うことで、歩行者候補の検出を行う。プレ認識処理では、歩行者のほとんどを歩行者候補と検出し、明らかに歩行者でない画像を除去するように設定された粗い識別器を用いた公知のパターンマッチングにより、歩行者候補の検出を行うものとする。
【００３５】
具体的には、あらゆる姿勢の歩行者の画像例（つまり、正解画像例）と明らかに歩行者でない構造物等の画像例（つまり、非正解画像例）とを歩行者認識装置２のＥＥＰＲＯＭ等の不揮発性メモリ等に格納しておく。そして、この不揮発性メモリに格納されている非正解画像例に類似している画像は除去する一方、正解画像例に類似している画像を歩行者候補として検出する。なお、パターンマッチングの具体的アルゴリズムは、種々の公知のものを採用できる。例えば予め正解画像例や非正解画像例について機械学習して構築されたパターンを用いて、パターンマッチングする構成としてもよい。また、以降の処理は、歩行者候補を含む適当な矩形領域の画像を撮像画像から抽出して行うものとする。
【００３６】
ステップＳ３では、歩行者候補が検出された場合（ステップＳ３でＹＥＳ）には、ステップＳ４に移る、また、歩行者候補が検出されなかった場合（ステップＳ３でＮＯ）には、ステップＳ１に戻ってフローを繰り返す。
【００３７】
ステップＳ４では、エッジ画像作成部２３がエッジ画像作成処理を行って、ステップＳ５に移る。エッジ画像作成処理では、公知のエッジ抽出を歩行者候補の画像（図４（ａ）参照）に対して行うことで、歩行者候補の画像中のエッジ（つまり、輪郭線）を抽出する（図４（ｂ）参照）。よって、エッジ画像作成部２３が請求項の輪郭線抽出手段に相当する。なお、図４（ａ）は、歩行者候補の画像の一例を示す図であって、図４（ｂ）は、図４（ａ）で示す画像に対してエッジ抽出を行った結果の一例を示す図である。
【００３８】
なお、エッジ抽出の他にも、例えば鏡像に変換する鏡像変換やレンズの特性で画像周辺部に生じる歪みを補正する歪み補正等の画像処理も行う構成としてもよい。また、プレ認識処理においてエッジ画像作成処理等の画像処理を行う構成とした場合には、ステップＳ４でエッジ画像作成処理を行わず、プレ認識処理においてエッジ抽出した結果を利用する構成としてもよい。
【００３９】
ステップＳ５では、特徴形状検出部２４が特徴形状検出処理を行って、ステップＳ６に移る。ここで、図５のフローチャートを用いて、特徴形状検出処理の概略について説明を行う。図５は、特徴形状検出処理のフローの一例を示すフローチャートである。
【００４０】
まず、ステップＳ５１では、第１特徴エッジ検出処理を行う。第１特徴エッジ検出処理では、エッジ画像作成処理で抽出したエッジから、閾値範囲内の長さである斜め右方向のエッジ（つまり、右斜めに傾いたエッジ）の検出を行う。以下では、閾値範囲内の長さである斜め右方向のエッジを第１特徴エッジと呼ぶ。ここで言うところの閾値とは、任意に設定可能な値であって、例えば撮像画像中の歩行者の脚部の長さを逸脱する程度の長さのエッジを除外するような値を設定する構成とすればよい。
【００４１】
そして、第１特徴エッジが検出できた場合（ステップＳ５１でＹＥＳ）には、ステップＳ５２に移る。また、第１特徴エッジが検出できなかった場合（ステップＳ５１でＮＯ）には、特徴形状を検出できなかったものとして、ステップＳ６に移る。なお、第１特徴エッジが請求項の第１輪郭線に相当する。
【００４２】
ステップＳ５２では、第２特徴エッジ検出処理を行う。第２特徴エッジ検出処理では、エッジ画像作成処理で抽出したエッジから、閾値範囲内の長さである斜め左方向のエッジ（つまり、左斜めに傾いたエッジ）の検出を行う。以下では、閾値範囲内の長さである斜め左方向のエッジを第２特徴エッジと呼ぶ。ここで言うところの閾値とは、任意に設定可能な値であって、例えば撮像画像中の歩行者の脚部の長さを逸脱する程度の長さのエッジを除外するような値を設定する構成とすればよい。
【００４３】
そして、第２特徴エッジが検出できた場合（ステップＳ５２でＹＥＳ）には、ステップＳ５３に移る。また、第２特徴エッジが検出できなかった場合（ステップＳ５２でＮＯ）には、特徴形状を検出できなかったものとして、ステップＳ６に移る。なお、第２特徴エッジが請求項の第２輪郭線に相当する。
【００４４】
ステップＳ５３では、第３特徴エッジ検出処理を行う。第３特徴エッジ検出処理では、エッジ画像作成処理で抽出したエッジから、ステップＳ５１で検出した第１特徴エッジの上端部とステップＳ５２で検出した第２特徴エッジの上端部とを結ぶ、閾値範囲内の長さのエッジの検出を行う。以下では、このエッジを第３特徴エッジと呼ぶ。ここで言うところの閾値とは、任意に設定可能な値であって、例えば撮像画像中の歩行者の歩幅程度の長さのエッジを除外するような値を設定する構成とすればよい。
【００４５】
そして、第３特徴エッジが検出できた場合（ステップＳ５３でＹＥＳ）には、ステップＳ５４に移る。また、第３特徴エッジが検出できなかった場合（ステップＳ５３でＮＯ）には、特徴形状を検出できなかったものとして、ステップＳ６に移る。なお、第３特徴エッジが請求項の第３輪郭線に相当する。
【００４６】
ステップＳ５４では、ステップＳ５１で検出した第１特徴エッジ、ステップＳ５２で検出した第２特徴エッジ、ステップＳ５３で検出した第３特徴エッジの各特徴エッジの線分同士の長さの比率が設定閾値範囲内であるか否かを判定する。詳しくは、第１特徴エッジと第２特徴エッジとの比率、第２特徴エッジと第３特徴エッジとの比率、及び第３特徴エッジと第１特徴エッジとの比率の全てが設定閾値範囲内であるか否かを判定する。
【００４７】
ここで言うところの設定閾値範囲とは、任意に設定可能な値であって、例えば撮像画像中の実際の歩行者から検出される各特徴エッジの線分同士の比率を逸脱する程度の比率を除外するような値を設定する構成とすればよい。また、設定閾値は、第１特徴エッジと第２特徴エッジとの比率、第２特徴エッジと第３特徴エッジとの比率、第３特徴エッジと第１特徴エッジとの比率のそれぞれについて異なる値を用いる構成としてもよい。
【００４８】
そして、各特徴エッジの線分同士の長さの比率が設定閾値範囲内であると判定した場合（ステップＳ５４でＹＥＳ）には、特徴形状を検出できたものとして、ステップＳ５５に移る。また、各特徴エッジの線分同士の長さの比率が設定閾値範囲内でないと判定した場合（ステップＳ５４でＮＯ）には、特徴形状を検出できなかったものとして、ステップＳ６に移る。
【００４９】
ここで、図４（ｃ）を用いて、特徴形状の一例を示す。図４（ｃ）は、特徴形状の一例を示す図である。なお、図４（ｃ）中のＡが第１特徴エッジ、Ｂが第２特徴エッジ、Ｃが第３特徴エッジを示しており、白丸が各特徴エッジの端部を示している。特徴形状は、ハの字形となった第１特徴エッジ及び第２特徴エッジと、左右方向のエッジである第３特徴エッジとからなる台形状をしている。なお、図４（ｃ）の例では、第３エッジの傾きが殆どないが、特徴形状を構成する第３特徴エッジは、左斜め方向や右斜め方向に傾いていてもよい。よって、特徴形状検出部２４が請求項の輪郭形状検出手段に相当する。また、特徴形状は請求項の台形輪郭形状に相当する。
【００５０】
ステップＳ５５では、線分・色情報格納処理を行って、ステップＳ６に移る。線分・色情報保存処理では、検出した特徴形状のうちの第１特徴エッジ、第２特徴エッジ、及び第３特徴エッジの線分情報を、例えばＲＡＭ等の一時保存メモリに格納する。例えば、第１特徴エッジの線分情報としては第１エッジの上端部及び下端部のピクセル座標を格納し、第２特徴エッジの線分情報としては第２エッジの上端部及び下端部のピクセル座標を格納し、第３特徴エッジの線分情報としては第３エッジの左側の端部及び右側の端部のピクセル座標を格納する構成とすればよい。なお、ピクセル座標は左右方向（以下、ｘ軸方向）と上下方向（以下、ｙ軸方向）との２軸で表され、撮像画像の左上の隅のピクセル座標を（０，０）とする。
【００５１】
また、線分・色情報保存処理では、第１特徴エッジ、第２特徴エッジ、及び第３特徴エッジの線分付近についての色情報、若しくは第１特徴エッジ、第２特徴エッジ、及び第３特徴エッジの端部付近についての色情報を算出し、例えばＲＡＭ等の一時保存メモリに格納する。本実施形態では、第１特徴エッジと第３特徴エッジとが交わる端部（つまり、第１特徴エッジの上端部若しくは第３特徴エッジの左側の端部）の近辺の複数ピクセルのＲＧＢ値と、第２特徴エッジと第３特徴エッジとが交わる端部（つまり、第２特徴エッジの上端部若しくは第３特徴エッジの左側の端部）の近辺の複数ピクセルのＲＧＢ値との平均値を色情報として算出し、保存するものとする。
【００５２】
第１特徴エッジと第３特徴エッジとが交わる端部の付近の複数ピクセルは、第１特徴エッジと第３特徴エッジとがなす優角側の数ピクセルであるものとする。また、第２特徴エッジと第３特徴エッジとが交わる端部の付近の複数ピクセルは、第２特徴エッジと第３特徴エッジとがなす優角側の数ピクセルであるものとする。優角とは、頂点と２辺を共有する角のうち、角度が大きいほうの角を示している。また、端部自体のピクセルも含むものとする。
【００５３】
なお、本実施形態の例では、第１特徴エッジと第３特徴エッジとが交わる端部付近、および第２特徴エッジと第３特徴エッジとが交わる端部付近についての色情報を用いる構成を示したが、必ずしもこれに限らない。例えば、他の端部付近の複数ピクセルのＲＧＢ値も含めた平均値を色情報として用いる構成としてもよいし、各特徴エッジの線分付近の複数ピクセルのＲＧＢ値の平均値を色情報として用いる構成としてもよい。
【００５４】
図３に戻って、ステップＳ６では、特徴形状検出処理で特徴形状を検出できた場合（ステップＳ６でＹＥＳ）には、ステップＳ７に移る。また、特徴形状検出処理で特徴形状を検出できなかった場合（ステップＳ６でＮＯ）には、ステップＳ１に戻ってフローを繰り返す。
【００５５】
ステップＳ７では、時系列処理部２５が時系列処理を行って、ステップＳ８に移る。ここで、図６のフローチャートを用いて、時系列処理の概略について説明を行う。図６は、時系列処理のフローの一例を示すフローチャートである。
【００５６】
まず、ステップＳ７１では、第１形状情報格納処理を行って、ステップＳ７２に移る。第１形状情報格納処理では、特徴形状検出処理で検出した特徴形状についての形状情報を算出し、例えばＲＡＭ等の一時保存メモリに格納する。形状情報は、特徴形状のハの字幅とハの字角度である。
【００５７】
ここで、図７を用いてハの字幅とハの字角度についての説明を行う。図７は、ハの字幅及びハの字角度を説明するための模式図である。図７のＡが特徴形状のうちの第１特徴エッジを示しており、Ｂが第２特徴エッジを示しており、Ｃが第３特徴エッジを示している。また、Ｄがハの字幅を示しており、Ｅがハの字角度を示している。
【００５８】
ハの字幅は、図７に示すように、特徴形状のうちの第１特徴エッジの下端部と第２特徴エッジの下端部との間隔（つまり、第１特徴エッジの下端部と第２特徴エッジの下端部のｘ軸方向における間隔）である。例えば、ハの字幅は、第２特徴エッジの下端部のｘ座標から第１特徴エッジの下端部のｘ座標を差し引くことで算出する構成とすればよい。なお、ハの字幅が請求項の下端幅に相当し、時系列処理部２５が請求項の下端幅算出手段に相当する。
【００５９】
また、ハの字角度は、図７に示すように、特徴形状のうちの第１特徴エッジと第３特徴エッジとがなす劣角、及び第２特徴エッジと第３特徴エッジとがなす劣角の角度である。劣角とは、頂点と２辺を共有する角のうち、角度が小さいほうの角を示している。例えば、ハの字角度は、線分・色情報格納処理で格納した各特徴エッジの線分情報をもとに、第１特徴エッジと第３特徴エッジとがなす劣角、及び第２特徴エッジと第３特徴エッジとがなす劣角を求めることで算出する構成とすればよい。なお、ハの字角度が請求項の対象角度に相当し、時系列処理部２５が請求項の対象角度算出手段に相当する。
【００６０】
本実施形態では、第１特徴エッジと第３特徴エッジとがなす劣角の角度、及び第２特徴エッジと第３特徴エッジとがなす劣角の角度の両方をハの字角度とする構成を示したが、必ずしもこれに限らない。例えば、上述のいずれか一方のみをハの字角度とする構成としてもよいし、両方の平均値を用いる構成としてもよい。
【００６１】
ステップＳ７２では、設定フレーム数以上の撮像画像について形状情報が一時保存メモリに格納されているか否かを判定する。なお、設定フレーム数は、任意に設定可能な値であって、ハの字幅やハの字角度の変化の周期を算出することができる程度の値であればよい。そして、設定フレーム数以上の撮像画像について形状情報が格納されていると判定した場合（ステップＳ７２でＹＥＳ）には、ステップＳ８に移る。また、設定フレーム数以上の撮像画像について形状情報が格納されていると判定しなかった場合（ステップＳ７２でＮＯ）には、ステップＳ７３に移る。
【００６２】
ステップＳ７３では、画像取得部２１でカメラ１から逐次取得する撮像画像のうち、それまで処理を行っていた撮像画像の次のフレームの撮像画像を取得し、ステップＳ７４に移る。具体的には、後述するステップＳ７４〜ステップＳ７５の処理が行われていない場合には、前述のステップＳ１で取得した撮像画像の次のフレームの撮像画像を取得する。一方、ステップＳ７３の処理の以前に後述するステップＳ７４〜ステップＳ７５の処理が既に行われている場合には、後述の色類似画像作成処理を行った直近の撮像画像の次のフレームの撮像画像を取得する。
【００６３】
ステップＳ７４では、色類似画像作成処理を行って、ステップＳ７５に移る。色類似画像作成処理では、ステップＳ７３で取得した撮像画像をもとに、線分・色情報格納処理で格納した色情報を基準値として、色類似度を表す画像（以下、色類似画像）を作成する。色類似画像の作成は、撮像画像のうちの歩行者候補が検出された領域に対応する領域（以下、対象領域）について行う。対象領域は、歩行者候補が写っていると推定される領域であって、プレ認識処理で歩行者候補が検出された領域と同じ座標で示される領域（以下、同一領域）を対象領域としてもよい。また、同一領域よりも所定の幅だけ上下左右に広い領域を対象領域としてもよいし、同一領域から上下左右にずれた領域を対象領域としてもよい。
【００６４】
色類似画像は、対象領域の各ピクセルについて、各ピクセルのＲＧＢ値と基準値としてのＲＧＢ値との差分の絶対値を算出し、算出したその絶対値を新たなＲＧＢ値とすることで作成する。なお、各ピクセルのＲＧＢ値と基準値としてのＲＧＢ値との差分の絶対値は、Ｒ、Ｇ、Ｂのそれぞれについて算出するものとする。また、色類似画像では、特徴形状に相当する部分は黒く表示され、背景に相当する部分は白く表示されることになる。これは以下の理由による。
【００６５】
ＲＧＢ値がＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５の場合には白く表示され、ＲＧＢ値がＲ＝０、Ｇ＝０、Ｂ＝０の場合には黒く表示されるため、線分・色情報格納処理で格納した色情報に類似した色の領域は黒く表示され、当該色情報に類似していない色の領域は白く表示される。線分・色情報格納処理で格納した色情報は、特徴形状の近辺の複数ピクセルのＲＧＢ値の平均なので、色類似画像においては特徴形状が黒く表示され、特徴形状以外の背景が白く表示されることになる。
【００６６】
ステップＳ７５では、第２形状情報格納処理を行って、ステップＳ７２に戻ってフローを繰り返す。第２形状情報格納処理では、色類似画像作成処理で作成した色類似画像から特徴形状に相当する部分における形状情報を算出し、例えばＲＡＭ等の一時保存メモリに格納する。なお、色類似画像から特徴形状に相当する部分が検出できなかった場合にフローを終了する構成としてもよい。
【００６７】
色類似画像では、前述したように特徴形状に相当する部分が黒く表示されるため、これを利用して特徴形状を検出し、ハの字幅やハの字角度といった形状情報を算出する。例えば、色類似画像にエッジ抽出を行うことによって特徴形状を検出し、特徴形状の第１特徴エッジ、第２特徴エッジ、第３特徴エッジの端部にあたる場所のピクセル座標を求めることで、このピクセル座標をもとに前述したのと同様にして形状情報を算出する構成としてもよい。
【００６８】
図３に戻って、ステップＳ８では、歩行者判定部２６が歩行者判定処理を行って、ステップＳ９に移る。ここで、図８のフローチャートを用いて、歩行者判定処理の概略について説明を行う。図８は、歩行者判定処理のフローの一例を示すフローチャートである。また、歩行者判定部２６は請求項の変化量算出手段に相当する。
【００６９】
まず、ステップＳ８１では、変化有無判定処理を行って、ステップＳ８２に移る。変化有無判定処理では、時系列処理で設定フレーム数以上の撮像画像について一時保存メモリに格納された複数の形状情報をもとに、特徴形状のハの字幅及びハの字角度の変化（つまり、形状情報の値の変化）があるか否かを判定する。例えば、ある２つの連続するフレーム間でのハの字幅の変化量及びハの字角度の変化量を算出し、この変化量が閾値範囲内であった場合には変化がないと判定し、この変化量が閾値範囲内でなかった場合に変化ありと判定する。なお、この変化量が請求項の下端幅の時間的な変化を示す値、及び対象角度の時間的な変化を示す値に相当する。
【００７０】
ここで言うところの閾値は、任意に設定可能な値であって、例えば形状情報の算出誤差程度の値を設定する構成とすればよい。なお、閾値はハの字幅とハの字角度とのそれぞれについて別の値が設定される構成としてもよいし、同じ値が設定される構成としてもよい。また、本実施形態では、ある２つの連続するフレーム間でのハの字幅の変化量及びハの字角度の変化量を算出する構成を示したが、必ずしもこれに限らない。例えば、連続するフレーム間以外の２つのフレーム間でのハの字幅の変化量及びハの字角度の変化量を算出する構成としてもよい。また、３つ以上の連続するフレーム間でのハの字幅の変化量の平均値及びハの字角度の変化量の平均値を算出して用いる構成としてもよい。
【００７１】
ステップＳ８２では、ハの字幅やハの字角度の変化があると変化有無判定処理で判定した場合（ステップＳ８２でＹＥＳ）には、ステップＳ８３に移る。また、ハの字幅やハの字角度の変化がないと変化有無判定処理で判定した場合（ステップＳ８２でＮＯ）には、ステップＳ８７に移る。
【００７２】
ステップＳ８３では、変化周期算出処理を行って、ステップＳ８４に移る。変化周期算出処理では、時系列処理で設定フレーム数以上の撮像画像について一時保存メモリに格納された複数の形状情報をもとに、ハの字幅及びハの字角度が減少から増大に変化する点（以下、谷の底の点）、並びにハの字幅及びハの字角度が増大から減少に変化する点（山の頂上の点）を時系列に沿って求めることで、ハの字幅及びハの字角度の変化の半周期（１／２周期）の値を算出する。半周期の値は、一時保存メモリに格納されている複数の形状情報分について、上述した谷の底の点から山の頂上の点までの時間間隔、及び山の頂上の点から谷の底の点までの時間間隔の平均をとることで算出する。半周期の値は、ハの字幅及びハの字角度のそれぞれについて算出するものとする。なお、この半周期の値が請求項の下端幅の時間的な変化を示す値、及び対象角度の時間的な変化を示す値に相当する。
【００７３】
ステップＳ８４では、変化周期算出処理で算出した半周期の値が所定値以上であるか否かを判定する。そして、半周期の値が所定値以上であった場合（ステップＳ８４でＹＥＳ）には、ステップＳ８６に移る。また、半周期の値が所定値以上でなかった場合（ステップＳ８４でＮＯ）には、ステップＳ８５に移る。
【００７４】
ここで言うところの所定値とは、任意に設定可能な値であって、実際の走行中の歩行者について算出されるハの字幅やハの字角度の半周期の値を設定すればよい。なお、所定値はハの字幅とハの字角度とのそれぞれについて別の値が設定される構成とすればよい。そして、ハの字幅の半周期の値とハの字角度の半周期の値との両方が所定値以上であった場合に、ステップＳ８６に移り、一方でも所定値以上でなかった場合にはステップＳ８５に移る構成とすればよい。
【００７５】
ステップＳ８５では、歩行者候補を歩行者と判定するとともに、その歩行者が歩行中であるものと推定し、ステップＳ９に移る。ステップＳ８６では、歩行者候補を歩行者と判定するとともに、その歩行者が走行中であるものと推定し、ステップＳ９に移る。
【００７６】
なお、本実施形態では、半周期の値が所定値以上か否かによって、歩行者の運動状態（歩行中か走行中か）を推定する構成を示したが、必ずしもこれに限らない。例えば、半周期の値でなく、１周期や２周期などの他の周期の値を用いる構成としてもよい。また、ハの字幅及びハの字角度の時間あたりの変化量が所定値以上か否かによって、歩行者の運動状態（歩行中か走行中か）を推定する構成としてもよい。
【００７７】
また、ステップＳ８７では、形状情報の値が閾値範囲内であるか否かを判定する。例えば、第１形状情報格納処理で一次保存メモリに格納したハの字幅及びハの字角度が閾値範囲内であるか否かを判定する。そして、閾値範囲内であると判定した場合（ステップＳ８７でＹＥＳ）には、ステップＳ８８に移る。また、閾値範囲内でないと判定した場合（ステップＳ８７でＮＯ）には、ステップＳ８９に移る。
【００７８】
閾値はハの字幅とハの字角度とのそれぞれについて別の値が設定される構成とすればよい。ハの字幅についての閾値は、任意に設定可能な値であって、例えば撮像画像中の歩行者の歩幅の長さを逸脱する程度に大きい値を設定する構成とすればよい。これによれば、ハの字幅が歩行者の歩幅として大きすぎる値である場合に、歩行者候補を歩行者でないと判定することを可能にできる。また、ハの字角度についての閾値は、任意に設定可能な値であって、例えば撮像画像中の歩行者の歩幅の長さを逸脱する程度に大きい場合のハの字角度の値を設定する構成とすればよい。これによれば、ハの字角度が歩行者のハの字角度として大きすぎる値である場合に、歩行者候補を歩行者でないと判定することを可能にできる。
【００７９】
ステップＳ８８では、歩行者候補を停止中の歩行者であるものと判定し、ステップＳ９に移る。ステップＳ８９では、歩行者候補を非歩行者であるものと判定し、ステップＳ９に移る。
【００８０】
ステップＳ９では、歩行者判定処理で歩行者候補を歩行者と判定した場合（ステップＳ９でＹＥＳ）には、ステップＳ１０に移る。また、歩行者判定処理で歩行者候補を非歩行者と判定した場合（ステップＳ９でＮＯ）には、ステップＳ１に戻ってフローを終了する。
【００８１】
ステップＳ１０では、報知処理部２７が報知処理を行ってフローを終了する。報知処理では、歩行者の存在を自車両の乗員に報知する処理を行う。例えば、歩行者の存在を示すアイコン画像やテキストをディスプレイ３に表示させてもよい。また、ディスプレイ３に撮像画像を表示するとともに、撮像画像中の歩行者を枠で囲ったりするなどの強調表示を行う構成としてもよい。他にも、歩行者の存在を示す音声案内をスピーカ４から出力させてもよいし、歩行者の存在を示すインジケータ５を点灯や点滅させたりしてもよい。
【００８２】
さらに、歩行者判定処理で推定した歩行者の運動状態に応じて種々の処理を行う構成としてもよい。例えば、推定した運動状態（つまり、停止中、歩行中、及び走行中）の種類を示すアイコン画像やテキストをディスプレイ３に表示させてもよいし、推定した運動状態を示す音声案内をスピーカ４から出力させてもよいし、推定した運動状態の種類に応じたインジケータ５を点灯や点滅させたりしてもよい。また、ディスプレイ３に撮像画像を表示するとともに、撮像画像中の歩行者を枠で囲ったりするなどの強調表示を、推定した運動状態の種類に応じて変更する構成としてもよい。例えば、走行中、歩行中、停止中の順により強い注意喚起を自車両の乗員に促す強調表示を行う構成としてもよい。
【００８３】
なお、１つのフレーム内に歩行者候補が複数検出された場合には、歩行者候補ごとに図３のフローで示す処理を行って、歩行者の認識を行う構成とすればよい。
【００８４】
本実施形態の歩行者認識装置２では、前述したようにして、撮像画像中の右斜めに傾いた第１特徴エッジ、左斜めに傾いた第２特徴エッジ、及び第１特徴エッジの上端と第２特徴エッジの上端とを結ぶ第３特徴エッジからなる台形状の特徴形状をもとに、撮像画像から検出した歩行者候補が歩行者であるか否かを判定して歩行者の認識を行う。
【００８５】
この特徴形状は、図９（ａ）〜図９（ｃ）、図１０（ａ）及び図１０（ｂ）に示すように、歩行者の上半身から股下よりも下部の位置までが障害物によって遮られている場合や光の加減で歩行者の股下よりも下部の位置しか写っていない場合のように、歩行者の左右の脚部が股下よりも下部の位置からしか写っていない場合に検出される。詳しくは、歩行者の左右の脚部の輪郭線が第１特徴エッジ及び第２特徴エッジとして抽出され、光の加減によって生じる明暗の境界や障害物の輪郭線が第３特徴エッジとして抽出される。
【００８６】
なお、図９（ａ）は傘によって遮られている例であって、図９（ｂ）は、手荷物によって遮られている例であって、図９（ｃ）はガードレールによって遮られている例である。また、図１０（ａ）はスカートによって遮られている例であって、図１０（ｂ）は、夜間においてヘッドライトにより歩行者の股下よりも下部の位置だけが照らされている例である。なお、図９（ａ）〜図９（ｃ）、図１０（ａ）及び図１０（ｂ）中のＡが第１特徴エッジ、Ｂが第２特徴エッジ、Ｃが第３特徴エッジを示している。
【００８７】
よって、特徴形状をもとにすれば、歩行者の左右の脚部が股下よりも下部の位置からしか写っておらず、撮像画像中において歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合にも、歩行者候補が歩行者であるか否かを精度良く判定して歩行者の認識を行うことができる。従って、本実施形態の構成によれば、撮像画像中における歩行者の左右の脚部からなる輪郭が逆Ｖの字形とならない場合にも、上半身が画像上で確認できない状況下における歩行者を認識することができる。その結果、上半身が画像上で確認できない状況下おける歩行者の認識の精度をさらに向上させることができる。
【００８８】
撮像画像中の歩行者候補において前述のハの字幅やハの字角度の変化がない場合には、歩行者候補が運動していないと考えられるので、歩行者候補は停止中の歩行者であるか構造物等の非歩行者である可能性が高い。一方、ハの字幅やハの字角度の変化がある場合には、歩行者候補が運動していると考えられるので、歩行中や走行中の歩行者である可能性が高い。本実施形態の構成によれば、ハの字幅やハの字角度の変化があると判定した場合に、歩行者候補が歩行者であると判定する。よって、ハの字幅やハの字角度の変化の有無をもとに、歩行者候補が歩行者であることをさらに精度良く判定することができる。
【００８９】
また、本実施形態の構成によれば、撮像画像中の歩行者候補におけるハの字幅やハの字角度の変化の半周期の値といった時間的な変化を示す値をもとに、歩行者と判定された対象が歩行中か走行中か停止中かといった運動状態を推定することができる。また、歩行者の運動状態を推定することができるので、ユーザの歩行者の運動状態についての情報を報知することも可能になる。
【００９０】
さらに、本実施形態の構成によれば、特徴形状検出処理において検出した各特徴エッジの線分同士の比率が、撮像画像中の実際の歩行者から検出される各特徴エッジの線分同士の比率を逸脱する程度の比率を除外するような設定閾値範囲を超える場合に、特徴形状を検出できなかったものとして、歩行者候補を歩行者と判定しないことになる。よって、各特徴エッジの線分同士の比率が設定閾値範囲内でないことをもとに、歩行者でない歩行者候補を精度良く判定することが可能になる。
【００９１】
また、本実施形態の構成によれば、ある撮像画像から特徴形状を検出した場合に、その撮像画像に続くフレームの撮像画像については、線分・色情報格納処理で格納した色情報を基準値として色類似画像を作成することで特徴形状を検出する。よって、一旦撮像画像から特徴形状を検出した後は、続くフレームの撮像画像についてプレ認識処理や特徴形状検出処理を毎回行わなくてもよくなり、歩行者認識装置２の処理負荷を低減することができる。
【００９２】
本実施形態では、ある撮像画像から特徴形状を検出した場合に、その撮像画像に続くフレームの撮像画像については、線分・色情報格納処理で格納した色情報を基準値として色類似画像を作成することで特徴形状を検出する構成を示したが、必ずしもこれに限らない。例えば、ある撮像画像から特徴形状を検出した場合に、その撮像画像に続くフレームの撮像画像についても、プレ認識処理、エッジ画像作成処理、及び特徴形状検出処理を毎回行うことで特徴形状を検出する構成としてもよい。
【００９３】
本実施形態では、プレ認識処理を行う構成を示したが、必ずしもこれに限らない。例えば、プレ認識処理を行わずに撮像画像全体に対してエッジ画像作成処理を行い、特徴形状を検出する構成としてもよい。なお、この場合には、特徴形状が検出された領域を含む所定の範囲の領域を歩行者候補の画像の領域として扱う構成とすればよい。
【００９４】
本実施形態では、ハの字幅とハの字角度との両方を用いる構成を示したが、必ずしもこれに限らない。例えば、ハの字幅とハの字角度とのうちの一方のみを用いる構成としてもよい。
【００９５】
本実施形態では、歩行者の運動状態も推定する構成を示したが、必ずしもこれに限らない。例えば、運動状態の推定を行わず、撮像画像中の歩行者候補において前述のハの字幅やハの字角度の変化がある場合に、歩行者候補を歩行者と判定する構成としてもよい。また、この場合、ハの字幅やハの字角度の変化がなく、且つ、ハの字幅やハの字角度が閾値範囲内である場合に歩行者候補を歩行者であると判定する一方、ハの字幅やハの字角度が閾値範囲内でないときに歩行者候補を非歩行者であると判定する構成とすればよい。
【００９６】
また、歩行者認識装置２は、撮像画像中における歩行者の左右の脚部からなる輪郭が逆Ｖの字形となるパターンを識別する識別器等の、特徴形状以外のパターンを識別する識別器も組み合わせる構成とすることが好ましい。これによれば、特徴形状が検出されない歩行者の画像についても歩行者として認識することが可能になり、歩行者の認識性能がさらに向上する。
【００９７】
さらに、本実施形態では、色の表現法としてＲＧＢカラーモデルを用いる場合の例を示したが、必ずしもこれに限らず、ＲＧＢカラーモデル以外の色の表現法を用いる場合にも本発明を適用する構成としてもよい。また、本実施形態では、カメラ１としてカラーカメラを用いる場合を例に挙げて説明を行ったが、カメラ１としてモノクロカメラや赤外線カメラ等の他の種類のカメラを用いる構成としてもよい。
【００９８】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００９９】
１ カメラ（撮像装置）、２ 歩行者認識装置、３ ディスプレイ、４ スピーカ、５ インジケータ、１１ レンズ、１２ 撮像素子、２１ 画像取得部（画像取得手段）、２２ プレ認識部、２３ エッジ画像作成部（輪郭線抽出手段）、２４ 特徴形状検出部（輪郭形状検出手段）、２５ 時系列処理部（下端幅算出手段、対象角度算出手段）、２６ 歩行者判定部（変化量算出手段）、２７ 報知処理部、１００ 歩行者認識システム
【特許請求の範囲】
【請求項１】
車両に搭載される撮像装置で前記車両の周辺を撮像した撮像画像から、画像認識によって歩行者候補を検出して歩行者の認識を行う歩行者認識装置であって、
前記撮像装置で撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段で取得した撮像画像から、画像中の輪郭線を抽出する輪郭線抽出手段と、
前記輪郭線抽出手段で抽出した輪郭線をもとに、右斜めに傾いた輪郭線である第１輪郭線、左斜めに傾いた輪郭線である第２輪郭線、及び当該第１輪郭線の上端と当該第２輪郭線の上端とを結ぶ輪郭線である第３輪郭線からなる台形状の輪郭形状である台形輪郭形状の検出を行う輪郭形状検出手段と、
前記輪郭形状検出手段で前記台形輪郭形状の検出を行うことができた場合に、この台形輪郭形状をもとに、前記撮像画像中の歩行者候補が歩行者であるか否かを判定して歩行者の認識を行うことを特徴とする歩行者認識装置。
【請求項２】
請求項１において、
前記画像取得手段は、前記撮像装置で撮像された撮像画像を逐次取得するものであって、
前記輪郭形状検出手段で検出した前記台形輪郭形状から、当該台形輪郭形状のうちの前記第１輪郭線の下端と前記第２輪郭線の下端との間隔である下端幅を算出する下端幅算出手段と、
前記画像取得手段で逐次取得した撮像画像のうち、前記輪郭形状検出手段で前記台形輪郭形状の検出を行うことができた各撮像画像について前記下端幅算出手段で算出した下端幅をもとに、前記下端幅の時間的な変化を示す値を算出する変化量算出手段とを備えることを特徴とする歩行者認識装置。
【請求項３】
請求項２において、
前記変化量算出手段で算出した前記下端幅の時間的な変化を示す値をもとに、前記歩行者候補が歩行者であることを判定することを特徴とする歩行者認識装置。
【請求項４】
請求項３において、
前記変化量算出手段で算出した前記下端幅の時間的な変化を示す値をもとに、前記歩行者の運動状態を推定することを特徴とする歩行者認識装置。
【請求項５】
請求項１において、
前記画像取得手段は、前記撮像装置で撮像された撮像画像を逐次取得するものであって、
前記輪郭形状検出手段で検出した前記台形輪郭形状から、当該台形輪郭形状のうちの前記第１輪郭線と前記第３輪郭線とがなす劣角、及び前記第２輪郭線と前記第３輪郭線とがなす劣角のうちの少なくともいずれかの劣角の角度である対象角度を算出する対象角度算出手段と、
前記画像取得手段で逐次取得した撮像画像のうち、前記輪郭形状検出手段で前記台形輪郭形状の検出を行うことができた各撮像画像について前記対象角度算出手段で算出した対象角度をもとに、前記対象角度の時間的な変化を示す値を算出する変化量算出手段とを備えることを特徴とする歩行者認識装置。
【請求項６】
請求項５において、
前記変化量算出手段で算出した前記対象角度の時間的な変化を示す値をもとに、前記歩行者候補が歩行者であることを判定することを特徴とする歩行者認識装置。
【請求項７】
請求項６において、
前記変化量算出手段で算出した前記対象角度の時間的な変化を示す値をもとに、前記歩行者の運動状態を推定することを特徴とする歩行者認識装置。
【請求項８】
請求項２〜４のいずれか１項において、
前記下端幅算出手段で算出した下端幅が所定の閾値以下でなかった場合に、前記歩行者候補が歩行者でないと判定することを特徴とする歩行者認識装置。
【請求項９】
請求項５〜７のいずれか１項において、
前記対象角度算出手段で算出した対象角度が所定の閾値以下でなかった場合に、前記歩行者候補が歩行者でないと判定することを特徴とする歩行者認識装置。
【請求項１０】
請求項１〜９のいずれか１項において、
前記輪郭形状検出手段で検出した前記台形輪郭形状のうちの前記第１輪郭線、前記第２輪郭線、前記第３輪郭線の各線分同士の長さの比率が所定の閾値以内でなかった場合に、前記歩行者候補が歩行者でないと判定することを特徴とする歩行者認識装置。
【請求項１】
車両に搭載される撮像装置で前記車両の周辺を撮像した撮像画像から、画像認識によって歩行者候補を検出して歩行者の認識を行う歩行者認識装置であって、
前記撮像装置で撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段で取得した撮像画像から、画像中の輪郭線を抽出する輪郭線抽出手段と、
前記輪郭線抽出手段で抽出した輪郭線をもとに、右斜めに傾いた輪郭線である第１輪郭線、左斜めに傾いた輪郭線である第２輪郭線、及び当該第１輪郭線の上端と当該第２輪郭線の上端とを結ぶ輪郭線である第３輪郭線からなる台形状の輪郭形状である台形輪郭形状の検出を行う輪郭形状検出手段と、
前記輪郭形状検出手段で前記台形輪郭形状の検出を行うことができた場合に、この台形輪郭形状をもとに、前記撮像画像中の歩行者候補が歩行者であるか否かを判定して歩行者の認識を行うことを特徴とする歩行者認識装置。
【請求項２】
請求項１において、
前記画像取得手段は、前記撮像装置で撮像された撮像画像を逐次取得するものであって、
前記輪郭形状検出手段で検出した前記台形輪郭形状から、当該台形輪郭形状のうちの前記第１輪郭線の下端と前記第２輪郭線の下端との間隔である下端幅を算出する下端幅算出手段と、
前記画像取得手段で逐次取得した撮像画像のうち、前記輪郭形状検出手段で前記台形輪郭形状の検出を行うことができた各撮像画像について前記下端幅算出手段で算出した下端幅をもとに、前記下端幅の時間的な変化を示す値を算出する変化量算出手段とを備えることを特徴とする歩行者認識装置。
【請求項３】
請求項２において、
前記変化量算出手段で算出した前記下端幅の時間的な変化を示す値をもとに、前記歩行者候補が歩行者であることを判定することを特徴とする歩行者認識装置。
【請求項４】
請求項３において、
前記変化量算出手段で算出した前記下端幅の時間的な変化を示す値をもとに、前記歩行者の運動状態を推定することを特徴とする歩行者認識装置。
【請求項５】
請求項１において、
前記画像取得手段は、前記撮像装置で撮像された撮像画像を逐次取得するものであって、
前記輪郭形状検出手段で検出した前記台形輪郭形状から、当該台形輪郭形状のうちの前記第１輪郭線と前記第３輪郭線とがなす劣角、及び前記第２輪郭線と前記第３輪郭線とがなす劣角のうちの少なくともいずれかの劣角の角度である対象角度を算出する対象角度算出手段と、
前記画像取得手段で逐次取得した撮像画像のうち、前記輪郭形状検出手段で前記台形輪郭形状の検出を行うことができた各撮像画像について前記対象角度算出手段で算出した対象角度をもとに、前記対象角度の時間的な変化を示す値を算出する変化量算出手段とを備えることを特徴とする歩行者認識装置。
【請求項６】
請求項５において、
前記変化量算出手段で算出した前記対象角度の時間的な変化を示す値をもとに、前記歩行者候補が歩行者であることを判定することを特徴とする歩行者認識装置。
【請求項７】
請求項６において、
前記変化量算出手段で算出した前記対象角度の時間的な変化を示す値をもとに、前記歩行者の運動状態を推定することを特徴とする歩行者認識装置。
【請求項８】
請求項２〜４のいずれか１項において、
前記下端幅算出手段で算出した下端幅が所定の閾値以下でなかった場合に、前記歩行者候補が歩行者でないと判定することを特徴とする歩行者認識装置。
【請求項９】
請求項５〜７のいずれか１項において、
前記対象角度算出手段で算出した対象角度が所定の閾値以下でなかった場合に、前記歩行者候補が歩行者でないと判定することを特徴とする歩行者認識装置。
【請求項１０】
請求項１〜９のいずれか１項において、
前記輪郭形状検出手段で検出した前記台形輪郭形状のうちの前記第１輪郭線、前記第２輪郭線、前記第３輪郭線の各線分同士の長さの比率が所定の閾値以内でなかった場合に、前記歩行者候補が歩行者でないと判定することを特徴とする歩行者認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−９７４５９（Ｐ２０１３−９７４５９Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２３７７６８（Ｐ２０１１−２３７７６８）
【出願日】平成２３年１０月２８日（２０１１．１０．２８）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１０月２８日（２０１１．１０．２８）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]