歩行者認識装置
【課題】認識条件の決定精度の向上と共に、計算時間の短縮を実現することができる歩行者認識装置を提供することを課題とする。
【解決手段】本実施形態によれば、時系列の環境データに基づいて、自車両周辺の交通環境を認識し、当該認識した当該交通環境に関するデータに基づいて、歩行者認識で用いる学習済み識別器または歩行者認識用テンプレートを選択し、時系列の環境データおよび選択された学習済み識別器または歩行者認識用テンプレートに基づいて、歩行者の認識を行う。
【解決手段】本実施形態によれば、時系列の環境データに基づいて、自車両周辺の交通環境を認識し、当該認識した当該交通環境に関するデータに基づいて、歩行者認識で用いる学習済み識別器または歩行者認識用テンプレートを選択し、時系列の環境データおよび選択された学習済み識別器または歩行者認識用テンプレートに基づいて、歩行者の認識を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は歩行者認識装置に関する。
【背景技術】
【０００２】
特許文献１には、ナビゲーション装置からＶＩＣＳ受信装置の出力を用いて自車両周辺の環境を判定し、当該判定の結果を用いて環境に対応する基準パターンを選択し、当該選択した基準パターンから歩行者を認識する歩行者認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３２９７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、各時刻における周辺環境に基づいて基準パターンを選択しているので、基準パターンの選択精度に改善の余地があるという問題点があった。
【０００５】
本発明は、上記の事情に鑑みてなされたものであって、認識条件の決定精度の向上と共に、計算時間の短縮を実現することができる歩行者認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、検出された歩行者情報および歩行者認識のために用意された認識条件に基づいて歩行者を認識する歩行者認識装置であって、検出された周辺環境に関する時系列の環境データに基づいて、前記歩行者認識で用いる前記認識条件を決定すること、を特徴とする。なお、前記時系列の前記環境データに基づいて周辺の交通環境を認識し、当該認識した当該交通環境に関するデータに基づいて、前記歩行者認識で用いる前記認識条件を決定するという構成としても良い。また、前記時系列の前記環境データおよび前記決定した前記認識条件に基づいて、前記歩行者を認識するという構成としても良い。また、前記決定した前記認識条件および前記歩行者認識で得られた認識結果に基づいて、前記歩行者の飛び出しを判定するという構成としても良い。また、前記時系列の前記環境データに基づいて歩行者信号の変化を検出し、前記歩行者信号が青点滅になったという変化が検出された場合には、当該青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定するという構成としても良い。また、前記時系列の前記環境データに基づいて対向車列の変化を検出し、前記対向車列が途切れたという変化が検出された場合には、当該途切れの際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定するという構成としても良い。
【発明の効果】
【０００７】
本発明は、検出された周辺環境に関する時系列の環境データに基づいて、歩行者認識で用いる認識条件を決定するので、認識条件の決定精度の向上と共に、計算時間の短縮を実現することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。
【図２】図２は、第１実施形態にかかる歩行者認識装置で実行される歩行者認識動作の一例を示すフローチャートである。
【図３】図３は、第２実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。
【図４】図４は、第２実施形態にかかる歩行者認識装置で実行される歩行者認識動作の一例を示すフローチャートである。
【図５】図５は、第３実施形態にかかる歩行者飛出認識装置の構成の一例を示すブロック図である。
【図６】図６は、第３実施形態にかかる歩行者飛出認識装置で実行される歩行者飛出認識動作の一例を示すフローチャートである。
【図７】図７は、起こり易い歩行者飛び出し姿勢の一例を示す図である。
【図８】図８は、起こり易い歩行者飛び出し姿勢の一例を示す図である。
【図９】図９は、起こり易い歩行者飛び出し姿勢の一例を示す図である。
【図１０】図１０は、起こり易い歩行者飛び出し姿勢の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明にかかる歩行者認識装置の実施形態および当該歩行者認識装置を包含する歩行者飛出認識装置の実施形態を図面に基づいて詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【００１０】
〔第１実施形態〕
第１実施形態にかかる歩行者認識装置の構成および当該歩行者認識装置で実行される動作について、図１および図２を参照して詳細に説明する。
【００１１】
図１は、第１実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。歩行者認識装置１は、例えば汎用のパーソナルコンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ３、測距センサ４、ライトスイッチ５、ワイパースイッチ６、照度センサ７、外部通信装置８、ＧＰＳ受信装置９、および地図データ記憶装置１０と通信可能に接続されている。
【００１２】
カメラ３は、自車両周辺を撮影し、自車両周辺が写し出されている画像データを生成する機器である。測距センサ４は、自車両周辺の障害物（例えば歩行者など）との距離を測り、当該距離に関する測距データを生成するセンサである。ライトスイッチ５は、車両に搭載されているランプの灯火状態を運転者に変更させるためのスイッチである。ワイパースイッチ６は、ワイパーの動作状態を運転者に変更させるためのスイッチである。照度センサ７は、自車両周辺の照度を測り、当該照度に関する照度データを生成するセンサである。外部通信装置８は、自車両外部との通信を行う装置である。ＧＰＳ受信装置９は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から発信された電波を受信し、自車両の位置（具体的には、緯度、経度、または高度など）を測り、当該位置に関する位置データ（ＧＰＳデータ）を生成する装置である。地図データ記憶装置１０は、地図データが記憶されている装置である。
【００１３】
歩行者認識装置１は、制御部１２および記憶部１４を備えている。制御部１２は、歩行者認識装置１を統括的に制御するためのものであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはハードディスクなどである。
【００１４】
記憶部１４は、環境データ記憶部１４ａおよび選択対象記憶部１４ｂを備えている。環境データ記憶部１４ａは、自車両周辺の環境に関する環境データ（具体的には、画像データ、測距データ、ライトスイッチ５の設定状態に関するライトデータ、ワイパースイッチ６の設定状態に関するワイパーデータ、照度データ、位置データ、または自車両周辺の地図データなど）を時系列で格納するためのものである。選択対象記憶部１４ｂには、変化する様々な交通環境において起こり易い歩行者姿勢（例えば、前傾、上体の向き、脚の前後方向への開き、または脚の左右方向への開き等）を検出し易い学習済み識別器群または歩行者認識用テンプレート（画像）群が格納されている。
【００１５】
制御部１２は、保存部１２ａ、環境認識部１２ｂ、選択部１２ｃ、および歩行者認識部１２ｄを備えている。保存部１２ａは、予め入力された環境データを、環境データ記憶部１４ａに時系列で保存する。環境認識部１２ｂは、環境データ記憶部１４ａに保存されている時系列の環境データに基づいて、自車両周辺の交通環境（例えば、自車両周辺の障害物の位置変化、または自車両が走行している道路の形状など）の認識を行う。選択部１２ｃは、環境認識部１２ｂでの認識結果に基づいて、選択対象記憶部１４ｂに格納されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる学習済み識別器または歩行者認識用テンプレートを選択する。歩行者認識部１２ｄは、環境データ記憶部１４ａに保存されている時系列の環境データ、および選択部１２ｃで選択された学習済み識別器または歩行者認識用テンプレートに基づいて、自車両周辺の歩行者の認識を行う。
【００１６】
図２は、歩行者認識装置１で実行される動作の一例を示すフローチャートである。まず、保存部１２ａは、予め入力された環境データを、環境データ記憶部１４ａに時系列で保存する（ステップＳＡ１）。
【００１７】
つぎに、環境認識部１２ｂは、環境データ記憶部１４ａに保存されている時系列の環境データに基づいて、自車両周辺の交通環境を認識する（ステップＳＡ２）。例えば、環境認識部１２ｂは、時系列の測距データから、認識前の歩行者の位置変化を認識する。また、例えば、環境認識部１２ｂは、測距データおよび画像データを地図データとマッチングさせることで、自車両が走行している道路の形状を認識する。また、例えば、環境認識部１２ｂは、時系列の画像データから、歩行者信号の青から赤への色変化を検出することで、歩行者信号が青から赤に変わりかけている状況を認識する。なお、環境認識部１２ｂは、歩行者信号の色変化を検出する際、位置データおよび地図データから画像データの探索範囲（歩行者信号が写し出されている可能性が高い範囲）を絞り込み、当該絞り込まれた探索範囲から色変化を検出してもよい。これにより、歩行者信号の認識性能を上げることができる。
【００１８】
つぎに、選択部１２ｃは、ステップＳＡ２で認識された交通環境に関するデータに基づいて、選択対象記憶部１４ｂに記憶されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる学習済み識別器または歩行者認識用テンプレートを選択する（ステップＳＡ３）。例えば、選択部１２ｃは、交通環境に関するデータが、歩行者信号が青から赤に変わりかけているという状況に関するものである場合には、当該変わりかけの際に起こり易い歩行者姿勢である前傾姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。
【００１９】
つぎに、歩行者認識部１２ｄは、ステップＳＡ３で選択された学習済み識別器または歩行者認識用テンプレート、および環境データ記憶部１４ａに保存されている時系列の環境データに基づいて、自車両周辺の歩行者の認識を行う（ステップＳＡ４）。例えば、歩行者認識部１２ｄは、歩行者認識用テンプレートに写し出されている歩行者像（或る姿勢を取っている歩行者を模した像）と類似する像が時系列の画像データに写し出されているかを判定し、写し出されていると判定された場合には自車両周辺に歩行者が存在すると認識する。また、例えば、歩行者認識部１２ｄは、時系列の画像データから特徴ベクトル（特徴量）を抽出し、抽出された特徴ベクトルを学習済み識別器で形成される識別面で識別することで画像データに歩行者像が写し出されているかを判定し、写し出されていると判定された場合には自車両周辺に歩行者が存在すると認識する。なお、歩行者認識部１２ｄは、時系列の画像データ上において、歩行者像が位置する可能性が高い範囲を位置データに基づいて絞り込み、当該絞り込まれた範囲を対象として歩行者像が写し出されているかを判定してもよい。これにより、歩行者の誤検出等を少なくすることができる。
【００２０】
〔第２実施形態〕
第２実施形態にかかる歩行者認識装置の構成および当該歩行者認識装置で実行される動作について、図３および図４を参照して詳細に説明する。なお、第１実施形態で説明した内容と重複するものについては省略する場合がある。
【００２１】
図３は、第２実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。第２実施形態にかかる歩行者認識装置１の構成は、制御部１２に保存部１２ａが備えられていない点および記憶部１４に環境データ記憶部１４ａが備えられていない点を除けば、第１実施形態にかかる歩行者認識装置１の構成と同じである。
【００２２】
環境認識部１２ｂは、測距データを含む予め入力された環境データに基づいて、自車両周辺の交通環境の認識を行う。歩行者認識部１２ｄは、測距データを含む予め入力された環境データおよび選択部１２ｃで選択された学習済み識別器または歩行者認識用テンプレートに基づいて、自車両周辺の歩行者の認識を行う。
【００２３】
図４は、第２実施形態にかかる歩行者認識装置で実行される動作の一例を示すフローチャートである。まず、環境認識部１２ｂは、測距データを含む予め入力された環境データに基づいて、自車両周辺の交通環境を認識する（ステップＳＢ１）。例えば、環境認識部１２ｂは、測距データおよび画像データを地図データとマッチングさせることで、自車両が走行している道路の形状を認識する。
【００２４】
つぎに、選択部１２ｃは、ステップＳＢ１で認識された交通環境に関するデータに基づいて、選択対象記憶部１４ｂに記憶されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる学習済み識別器または歩行者認識用テンプレートを選択する（ステップＳＢ２）。例えば、選択部１２ｃは、交通環境に関するデータが、自車両が走行している道路の形状に関するものであって、当該道路の形状が壁で先が見えない曲がり角である場合には、身体が半分隠れた歩行者に関する歩行者姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。また、例えば、選択部１２ｃは、交通環境に関するデータが、自車両が走行している道路の形状に関するものであって、当該道路の形状が細い道路である場合には、背中を向けて横断歩道まで横断する歩行者に関する歩行者姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。また、例えば、選択部１２ｃは、交通環境に関するデータが、自車両が走行している道路の形状に関するものであって、当該道路の形状が交差点である場合には、横断姿勢の歩行者に関する歩行者姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。
【００２５】
つぎに、歩行者認識部１２ｄは、ステップＳＢ２で選択された学習済み識別器または歩行者認識用テンプレート、および測距データを含む予め入力された環境データに基づいて、自車両周辺の歩行者の認識を行う（ステップＳＢ３）。
【００２６】
〔第３実施形態〕
第３実施形態にかかる歩行者飛出認識装置の構成および当該歩行者飛出認識装置で実行される動作について、図５から図１０を参照して詳細に説明する。なお、第１実施形態または第２実施形態で説明した内容と重複するものについては省略する場合がある。
【００２７】
図５は、第３実施形態にかかる歩行者飛出認識装置の構成の一例を示すブロック図である。符号は第１実施形態で用いられたものと異なっているが、第３実施形態にかかる歩行者飛出認識装置２の構成は、第１実施形態にかかる歩行者認識装置１の構成を包含したものとなっている。具体的には、第３実施形態にかかる歩行者飛出認識装置２に備えられている保存部２２ａから歩行者認識部２２ｄ、環境データ記憶部２４ａ、および選択対象記憶部２４ｂの機能は、第１実施形態にかかる歩行者認識装置１に備えられている保存部１２ａから歩行者認識部１２ｄ、環境データ記憶部１４ａ、および選択対象記憶部１４ｂの機能と同じである。
【００２８】
判定部２２ｅは、選択部２２ｃで選択された学習済み識別器または歩行者認識用テンプレート、および歩行者認識部２２ｄでの認識結果に基づいて、歩行者飛び出しの判定を行う。
【００２９】
図６は、第３実施形態にかかる歩行者飛出認識装置で実行される動作の一例を示すフローチャートである。まず、保存部２２ａは、予め入力された環境データを、環境データ記憶部２４ａに時系列で保存する（ステップＳＣ１）。
【００３０】
つぎに、環境認識部２２ｂは、環境データ記憶部２４ａに保存されている時系列の環境データに基づいて、自車両周辺の交通環境を認識する（ステップＳＣ２）。例えば、環境認識部２２ｂは、時系列の画像データに基づいて歩行者信号の変化を検出する。また、例えば、環境認識部２２ｂは、時系列の画像データに基づいて対向車列の変化を検出する。
【００３１】
つぎに、選択部２２ｃは、ステップＳＣ２で認識された交通環境に関するデータに基づいて、選択対象記憶部２４ｂに記憶されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる（歩行者飛び出し姿勢を判定する）学習済み識別器または歩行者認識用テンプレートを選択する（ステップＳＣ３）。例えば、ステップＳＣ２で歩行者信号が青点滅になったという変化が検出された場合には、選択部２２ｃは、当該青点滅の際に起こり易い例えば図７から図１０に示すような歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。また、例えば、ステップＳＣ２で対向車列が途切れたという変化が検出された場合には、選択部２２ｃは、当該途切れの際に起こり易い例えば図７から図１０に示すような歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。
【００３２】
つぎに、歩行者認識部２２ｄは、ステップＳＣ３で選択された学習済み識別器または歩行者認識用テンプレート、および環境データ記憶部２４ａに保存されている時系列の環境データに基づいて、自車両周辺の歩行者の認識を行う（ステップＳＣ４）。
【００３３】
つぎに、判定部２２ｅは、ステップＳＣ３で選択された学習済み識別器または歩行者認識用テンプレート、およびステップＳＣ４で認識された歩行者に関するデータ（画像データ）に基づいて、歩行者飛び出しの判定を行う（ステップＳＣ５）。例えば、ステップＳＣ３で、歩行者信号が青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートが選択された場合には、判定部２２ｅは、自車両左折時の歩行者飛び出しを判定することになるので、自車両左折時の歩行者巻き込みを防止することができる。また、例えば、ステップＳＣ３で、対向車列が途切れた際に起こり易い歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートが選択された場合には、判定部２２ｅは、対向車列の途切れからの歩行者飛び出しを判定することになるので、当該途切れからの歩行者飛び出しを素早く認識することができる。
【００３４】
〔実施形態のまとめ〕
以上、上述した実施形態によれば、歩行者の認識方法を、周囲の環境の時系列変化に応じて変えることにより、歩行者認識の精度を向上させる。具体的には、検出された周辺環境に関する時系列の環境データに基づいて、歩行者認識で用いる認識条件（例えば、歩行者形状に基づいて動作予測を行う場合に用いられる識別器もしくはテンプレート、または脚開度Ｗ／身長Ｈに基づいて動作予測を行う場合における当該Ｗ／Ｈの閾値（特開２００７−２６４７７８号公報参照）など）を決定する。より具体的には、時系列の環境データに基づいて、照合する識別器もしくはテンプレートの候補の絞り込み、または脚開度Ｗ／身長Ｈの閾値の決定などを行う。これにより、認識条件の決定精度または選択精度を向上できると共に、計算時間を短縮することができる。
【００３５】
また、上述した実施形態によれば、時系列の環境データに基づいて周辺の交通環境を認識し、当該認識した当該交通環境に関するデータに基づいて、歩行者認識で用いる認識条件を決定するので、交通環境に適した認識条件を決定または選択することができる。また、上述した実施形態によれば、時系列の環境データおよび決定した認識条件に基づいて、歩行者を認識するので、歩行者の認識精度も向上できる。また、上述した実施形態によれば、決定した認識条件および歩行者認識で得られた認識結果に基づいて、歩行者の飛び出しを判定するので、歩行者飛び出しの判定精度も向上できる。また、上述した実施形態によれば、時系列の環境データに基づいて歩行者信号の変化を検出し、歩行者信号が青点滅になったという変化が検出された場合には、当該青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い認識条件を決定するので、歩行者信号が青点滅という交通環境に適した認識条件を決定または選択することができる。また、上述した実施形態によれば、時系列の環境データに基づいて対向車列の変化を検出し、対向車列が途切れたという変化が検出された場合には、当該途切れの際に起こり易い歩行者飛び出し姿勢を検出し易い認識条件を決定するので、対向車列が途切れたという交通環境に適した認識条件を決定または選択することができる。
【産業上の利用可能性】
【００３６】
以上のように、本発明にかかる歩行者認識装置は、自動車製造産業において有用であり、特に、車両周辺の歩行者の認識に適している。
【符号の説明】
【００３７】
１ 歩行者認識装置
１２ 制御部
１２ａ 保存部
１２ｂ 環境認識部
１２ｃ 選択部
１２ｄ 歩行者認識部
１４ 記憶部
１４ａ 環境データ記憶部
１４ｂ 選択対象記憶部
【技術分野】
【０００１】
本発明は歩行者認識装置に関する。
【背景技術】
【０００２】
特許文献１には、ナビゲーション装置からＶＩＣＳ受信装置の出力を用いて自車両周辺の環境を判定し、当該判定の結果を用いて環境に対応する基準パターンを選択し、当該選択した基準パターンから歩行者を認識する歩行者認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３２９７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、各時刻における周辺環境に基づいて基準パターンを選択しているので、基準パターンの選択精度に改善の余地があるという問題点があった。
【０００５】
本発明は、上記の事情に鑑みてなされたものであって、認識条件の決定精度の向上と共に、計算時間の短縮を実現することができる歩行者認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、検出された歩行者情報および歩行者認識のために用意された認識条件に基づいて歩行者を認識する歩行者認識装置であって、検出された周辺環境に関する時系列の環境データに基づいて、前記歩行者認識で用いる前記認識条件を決定すること、を特徴とする。なお、前記時系列の前記環境データに基づいて周辺の交通環境を認識し、当該認識した当該交通環境に関するデータに基づいて、前記歩行者認識で用いる前記認識条件を決定するという構成としても良い。また、前記時系列の前記環境データおよび前記決定した前記認識条件に基づいて、前記歩行者を認識するという構成としても良い。また、前記決定した前記認識条件および前記歩行者認識で得られた認識結果に基づいて、前記歩行者の飛び出しを判定するという構成としても良い。また、前記時系列の前記環境データに基づいて歩行者信号の変化を検出し、前記歩行者信号が青点滅になったという変化が検出された場合には、当該青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定するという構成としても良い。また、前記時系列の前記環境データに基づいて対向車列の変化を検出し、前記対向車列が途切れたという変化が検出された場合には、当該途切れの際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定するという構成としても良い。
【発明の効果】
【０００７】
本発明は、検出された周辺環境に関する時系列の環境データに基づいて、歩行者認識で用いる認識条件を決定するので、認識条件の決定精度の向上と共に、計算時間の短縮を実現することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。
【図２】図２は、第１実施形態にかかる歩行者認識装置で実行される歩行者認識動作の一例を示すフローチャートである。
【図３】図３は、第２実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。
【図４】図４は、第２実施形態にかかる歩行者認識装置で実行される歩行者認識動作の一例を示すフローチャートである。
【図５】図５は、第３実施形態にかかる歩行者飛出認識装置の構成の一例を示すブロック図である。
【図６】図６は、第３実施形態にかかる歩行者飛出認識装置で実行される歩行者飛出認識動作の一例を示すフローチャートである。
【図７】図７は、起こり易い歩行者飛び出し姿勢の一例を示す図である。
【図８】図８は、起こり易い歩行者飛び出し姿勢の一例を示す図である。
【図９】図９は、起こり易い歩行者飛び出し姿勢の一例を示す図である。
【図１０】図１０は、起こり易い歩行者飛び出し姿勢の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明にかかる歩行者認識装置の実施形態および当該歩行者認識装置を包含する歩行者飛出認識装置の実施形態を図面に基づいて詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【００１０】
〔第１実施形態〕
第１実施形態にかかる歩行者認識装置の構成および当該歩行者認識装置で実行される動作について、図１および図２を参照して詳細に説明する。
【００１１】
図１は、第１実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。歩行者認識装置１は、例えば汎用のパーソナルコンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ３、測距センサ４、ライトスイッチ５、ワイパースイッチ６、照度センサ７、外部通信装置８、ＧＰＳ受信装置９、および地図データ記憶装置１０と通信可能に接続されている。
【００１２】
カメラ３は、自車両周辺を撮影し、自車両周辺が写し出されている画像データを生成する機器である。測距センサ４は、自車両周辺の障害物（例えば歩行者など）との距離を測り、当該距離に関する測距データを生成するセンサである。ライトスイッチ５は、車両に搭載されているランプの灯火状態を運転者に変更させるためのスイッチである。ワイパースイッチ６は、ワイパーの動作状態を運転者に変更させるためのスイッチである。照度センサ７は、自車両周辺の照度を測り、当該照度に関する照度データを生成するセンサである。外部通信装置８は、自車両外部との通信を行う装置である。ＧＰＳ受信装置９は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から発信された電波を受信し、自車両の位置（具体的には、緯度、経度、または高度など）を測り、当該位置に関する位置データ（ＧＰＳデータ）を生成する装置である。地図データ記憶装置１０は、地図データが記憶されている装置である。
【００１３】
歩行者認識装置１は、制御部１２および記憶部１４を備えている。制御部１２は、歩行者認識装置１を統括的に制御するためのものであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはハードディスクなどである。
【００１４】
記憶部１４は、環境データ記憶部１４ａおよび選択対象記憶部１４ｂを備えている。環境データ記憶部１４ａは、自車両周辺の環境に関する環境データ（具体的には、画像データ、測距データ、ライトスイッチ５の設定状態に関するライトデータ、ワイパースイッチ６の設定状態に関するワイパーデータ、照度データ、位置データ、または自車両周辺の地図データなど）を時系列で格納するためのものである。選択対象記憶部１４ｂには、変化する様々な交通環境において起こり易い歩行者姿勢（例えば、前傾、上体の向き、脚の前後方向への開き、または脚の左右方向への開き等）を検出し易い学習済み識別器群または歩行者認識用テンプレート（画像）群が格納されている。
【００１５】
制御部１２は、保存部１２ａ、環境認識部１２ｂ、選択部１２ｃ、および歩行者認識部１２ｄを備えている。保存部１２ａは、予め入力された環境データを、環境データ記憶部１４ａに時系列で保存する。環境認識部１２ｂは、環境データ記憶部１４ａに保存されている時系列の環境データに基づいて、自車両周辺の交通環境（例えば、自車両周辺の障害物の位置変化、または自車両が走行している道路の形状など）の認識を行う。選択部１２ｃは、環境認識部１２ｂでの認識結果に基づいて、選択対象記憶部１４ｂに格納されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる学習済み識別器または歩行者認識用テンプレートを選択する。歩行者認識部１２ｄは、環境データ記憶部１４ａに保存されている時系列の環境データ、および選択部１２ｃで選択された学習済み識別器または歩行者認識用テンプレートに基づいて、自車両周辺の歩行者の認識を行う。
【００１６】
図２は、歩行者認識装置１で実行される動作の一例を示すフローチャートである。まず、保存部１２ａは、予め入力された環境データを、環境データ記憶部１４ａに時系列で保存する（ステップＳＡ１）。
【００１７】
つぎに、環境認識部１２ｂは、環境データ記憶部１４ａに保存されている時系列の環境データに基づいて、自車両周辺の交通環境を認識する（ステップＳＡ２）。例えば、環境認識部１２ｂは、時系列の測距データから、認識前の歩行者の位置変化を認識する。また、例えば、環境認識部１２ｂは、測距データおよび画像データを地図データとマッチングさせることで、自車両が走行している道路の形状を認識する。また、例えば、環境認識部１２ｂは、時系列の画像データから、歩行者信号の青から赤への色変化を検出することで、歩行者信号が青から赤に変わりかけている状況を認識する。なお、環境認識部１２ｂは、歩行者信号の色変化を検出する際、位置データおよび地図データから画像データの探索範囲（歩行者信号が写し出されている可能性が高い範囲）を絞り込み、当該絞り込まれた探索範囲から色変化を検出してもよい。これにより、歩行者信号の認識性能を上げることができる。
【００１８】
つぎに、選択部１２ｃは、ステップＳＡ２で認識された交通環境に関するデータに基づいて、選択対象記憶部１４ｂに記憶されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる学習済み識別器または歩行者認識用テンプレートを選択する（ステップＳＡ３）。例えば、選択部１２ｃは、交通環境に関するデータが、歩行者信号が青から赤に変わりかけているという状況に関するものである場合には、当該変わりかけの際に起こり易い歩行者姿勢である前傾姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。
【００１９】
つぎに、歩行者認識部１２ｄは、ステップＳＡ３で選択された学習済み識別器または歩行者認識用テンプレート、および環境データ記憶部１４ａに保存されている時系列の環境データに基づいて、自車両周辺の歩行者の認識を行う（ステップＳＡ４）。例えば、歩行者認識部１２ｄは、歩行者認識用テンプレートに写し出されている歩行者像（或る姿勢を取っている歩行者を模した像）と類似する像が時系列の画像データに写し出されているかを判定し、写し出されていると判定された場合には自車両周辺に歩行者が存在すると認識する。また、例えば、歩行者認識部１２ｄは、時系列の画像データから特徴ベクトル（特徴量）を抽出し、抽出された特徴ベクトルを学習済み識別器で形成される識別面で識別することで画像データに歩行者像が写し出されているかを判定し、写し出されていると判定された場合には自車両周辺に歩行者が存在すると認識する。なお、歩行者認識部１２ｄは、時系列の画像データ上において、歩行者像が位置する可能性が高い範囲を位置データに基づいて絞り込み、当該絞り込まれた範囲を対象として歩行者像が写し出されているかを判定してもよい。これにより、歩行者の誤検出等を少なくすることができる。
【００２０】
〔第２実施形態〕
第２実施形態にかかる歩行者認識装置の構成および当該歩行者認識装置で実行される動作について、図３および図４を参照して詳細に説明する。なお、第１実施形態で説明した内容と重複するものについては省略する場合がある。
【００２１】
図３は、第２実施形態にかかる歩行者認識装置の構成の一例を示すブロック図である。第２実施形態にかかる歩行者認識装置１の構成は、制御部１２に保存部１２ａが備えられていない点および記憶部１４に環境データ記憶部１４ａが備えられていない点を除けば、第１実施形態にかかる歩行者認識装置１の構成と同じである。
【００２２】
環境認識部１２ｂは、測距データを含む予め入力された環境データに基づいて、自車両周辺の交通環境の認識を行う。歩行者認識部１２ｄは、測距データを含む予め入力された環境データおよび選択部１２ｃで選択された学習済み識別器または歩行者認識用テンプレートに基づいて、自車両周辺の歩行者の認識を行う。
【００２３】
図４は、第２実施形態にかかる歩行者認識装置で実行される動作の一例を示すフローチャートである。まず、環境認識部１２ｂは、測距データを含む予め入力された環境データに基づいて、自車両周辺の交通環境を認識する（ステップＳＢ１）。例えば、環境認識部１２ｂは、測距データおよび画像データを地図データとマッチングさせることで、自車両が走行している道路の形状を認識する。
【００２４】
つぎに、選択部１２ｃは、ステップＳＢ１で認識された交通環境に関するデータに基づいて、選択対象記憶部１４ｂに記憶されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる学習済み識別器または歩行者認識用テンプレートを選択する（ステップＳＢ２）。例えば、選択部１２ｃは、交通環境に関するデータが、自車両が走行している道路の形状に関するものであって、当該道路の形状が壁で先が見えない曲がり角である場合には、身体が半分隠れた歩行者に関する歩行者姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。また、例えば、選択部１２ｃは、交通環境に関するデータが、自車両が走行している道路の形状に関するものであって、当該道路の形状が細い道路である場合には、背中を向けて横断歩道まで横断する歩行者に関する歩行者姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。また、例えば、選択部１２ｃは、交通環境に関するデータが、自車両が走行している道路の形状に関するものであって、当該道路の形状が交差点である場合には、横断姿勢の歩行者に関する歩行者姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。
【００２５】
つぎに、歩行者認識部１２ｄは、ステップＳＢ２で選択された学習済み識別器または歩行者認識用テンプレート、および測距データを含む予め入力された環境データに基づいて、自車両周辺の歩行者の認識を行う（ステップＳＢ３）。
【００２６】
〔第３実施形態〕
第３実施形態にかかる歩行者飛出認識装置の構成および当該歩行者飛出認識装置で実行される動作について、図５から図１０を参照して詳細に説明する。なお、第１実施形態または第２実施形態で説明した内容と重複するものについては省略する場合がある。
【００２７】
図５は、第３実施形態にかかる歩行者飛出認識装置の構成の一例を示すブロック図である。符号は第１実施形態で用いられたものと異なっているが、第３実施形態にかかる歩行者飛出認識装置２の構成は、第１実施形態にかかる歩行者認識装置１の構成を包含したものとなっている。具体的には、第３実施形態にかかる歩行者飛出認識装置２に備えられている保存部２２ａから歩行者認識部２２ｄ、環境データ記憶部２４ａ、および選択対象記憶部２４ｂの機能は、第１実施形態にかかる歩行者認識装置１に備えられている保存部１２ａから歩行者認識部１２ｄ、環境データ記憶部１４ａ、および選択対象記憶部１４ｂの機能と同じである。
【００２８】
判定部２２ｅは、選択部２２ｃで選択された学習済み識別器または歩行者認識用テンプレート、および歩行者認識部２２ｄでの認識結果に基づいて、歩行者飛び出しの判定を行う。
【００２９】
図６は、第３実施形態にかかる歩行者飛出認識装置で実行される動作の一例を示すフローチャートである。まず、保存部２２ａは、予め入力された環境データを、環境データ記憶部２４ａに時系列で保存する（ステップＳＣ１）。
【００３０】
つぎに、環境認識部２２ｂは、環境データ記憶部２４ａに保存されている時系列の環境データに基づいて、自車両周辺の交通環境を認識する（ステップＳＣ２）。例えば、環境認識部２２ｂは、時系列の画像データに基づいて歩行者信号の変化を検出する。また、例えば、環境認識部２２ｂは、時系列の画像データに基づいて対向車列の変化を検出する。
【００３１】
つぎに、選択部２２ｃは、ステップＳＣ２で認識された交通環境に関するデータに基づいて、選択対象記憶部２４ｂに記憶されている学習済み識別器群または歩行者認識用テンプレート群の中から、歩行者認識で用いる（歩行者飛び出し姿勢を判定する）学習済み識別器または歩行者認識用テンプレートを選択する（ステップＳＣ３）。例えば、ステップＳＣ２で歩行者信号が青点滅になったという変化が検出された場合には、選択部２２ｃは、当該青点滅の際に起こり易い例えば図７から図１０に示すような歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。また、例えば、ステップＳＣ２で対向車列が途切れたという変化が検出された場合には、選択部２２ｃは、当該途切れの際に起こり易い例えば図７から図１０に示すような歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートを選択する。
【００３２】
つぎに、歩行者認識部２２ｄは、ステップＳＣ３で選択された学習済み識別器または歩行者認識用テンプレート、および環境データ記憶部２４ａに保存されている時系列の環境データに基づいて、自車両周辺の歩行者の認識を行う（ステップＳＣ４）。
【００３３】
つぎに、判定部２２ｅは、ステップＳＣ３で選択された学習済み識別器または歩行者認識用テンプレート、およびステップＳＣ４で認識された歩行者に関するデータ（画像データ）に基づいて、歩行者飛び出しの判定を行う（ステップＳＣ５）。例えば、ステップＳＣ３で、歩行者信号が青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートが選択された場合には、判定部２２ｅは、自車両左折時の歩行者飛び出しを判定することになるので、自車両左折時の歩行者巻き込みを防止することができる。また、例えば、ステップＳＣ３で、対向車列が途切れた際に起こり易い歩行者飛び出し姿勢を検出し易い学習済み識別器または歩行者認識用テンプレートが選択された場合には、判定部２２ｅは、対向車列の途切れからの歩行者飛び出しを判定することになるので、当該途切れからの歩行者飛び出しを素早く認識することができる。
【００３４】
〔実施形態のまとめ〕
以上、上述した実施形態によれば、歩行者の認識方法を、周囲の環境の時系列変化に応じて変えることにより、歩行者認識の精度を向上させる。具体的には、検出された周辺環境に関する時系列の環境データに基づいて、歩行者認識で用いる認識条件（例えば、歩行者形状に基づいて動作予測を行う場合に用いられる識別器もしくはテンプレート、または脚開度Ｗ／身長Ｈに基づいて動作予測を行う場合における当該Ｗ／Ｈの閾値（特開２００７−２６４７７８号公報参照）など）を決定する。より具体的には、時系列の環境データに基づいて、照合する識別器もしくはテンプレートの候補の絞り込み、または脚開度Ｗ／身長Ｈの閾値の決定などを行う。これにより、認識条件の決定精度または選択精度を向上できると共に、計算時間を短縮することができる。
【００３５】
また、上述した実施形態によれば、時系列の環境データに基づいて周辺の交通環境を認識し、当該認識した当該交通環境に関するデータに基づいて、歩行者認識で用いる認識条件を決定するので、交通環境に適した認識条件を決定または選択することができる。また、上述した実施形態によれば、時系列の環境データおよび決定した認識条件に基づいて、歩行者を認識するので、歩行者の認識精度も向上できる。また、上述した実施形態によれば、決定した認識条件および歩行者認識で得られた認識結果に基づいて、歩行者の飛び出しを判定するので、歩行者飛び出しの判定精度も向上できる。また、上述した実施形態によれば、時系列の環境データに基づいて歩行者信号の変化を検出し、歩行者信号が青点滅になったという変化が検出された場合には、当該青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い認識条件を決定するので、歩行者信号が青点滅という交通環境に適した認識条件を決定または選択することができる。また、上述した実施形態によれば、時系列の環境データに基づいて対向車列の変化を検出し、対向車列が途切れたという変化が検出された場合には、当該途切れの際に起こり易い歩行者飛び出し姿勢を検出し易い認識条件を決定するので、対向車列が途切れたという交通環境に適した認識条件を決定または選択することができる。
【産業上の利用可能性】
【００３６】
以上のように、本発明にかかる歩行者認識装置は、自動車製造産業において有用であり、特に、車両周辺の歩行者の認識に適している。
【符号の説明】
【００３７】
１ 歩行者認識装置
１２ 制御部
１２ａ 保存部
１２ｂ 環境認識部
１２ｃ 選択部
１２ｄ 歩行者認識部
１４ 記憶部
１４ａ 環境データ記憶部
１４ｂ 選択対象記憶部
【特許請求の範囲】
【請求項１】
検出された歩行者情報および歩行者認識のために用意された認識条件に基づいて歩行者を認識する歩行者認識装置であって、
検出された周辺環境に関する時系列の環境データに基づいて、前記歩行者認識で用いる前記認識条件を決定すること、
を特徴とする歩行者認識装置。
【請求項２】
請求項１に記載の歩行者認識装置において、
前記時系列の前記環境データに基づいて周辺の交通環境を認識し、当該認識した当該交通環境に関するデータに基づいて、前記歩行者認識で用いる前記認識条件を決定すること、
を特徴とする歩行者認識装置。
【請求項３】
請求項１に記載の歩行者認識装置において、
前記時系列の前記環境データおよび前記決定した前記認識条件に基づいて、前記歩行者を認識すること、
を特徴とする歩行者認識装置。
【請求項４】
請求項１に記載の歩行者認識装置において、
前記決定した前記認識条件および前記歩行者認識で得られた認識結果に基づいて、前記歩行者の飛び出しを判定すること、
を特徴とする歩行者認識装置。
【請求項５】
請求項４に記載の歩行者認識装置において、
前記時系列の前記環境データに基づいて歩行者信号の変化を検出し、前記歩行者信号が青点滅になったという変化が検出された場合には、当該青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定すること、
を特徴とする歩行者認識装置。
【請求項６】
請求項４に記載の歩行者認識装置において、
前記時系列の前記環境データに基づいて対向車列の変化を検出し、前記対向車列が途切れたという変化が検出された場合には、当該途切れの際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定すること、
を特徴とする歩行者認識装置。
【請求項１】
検出された歩行者情報および歩行者認識のために用意された認識条件に基づいて歩行者を認識する歩行者認識装置であって、
検出された周辺環境に関する時系列の環境データに基づいて、前記歩行者認識で用いる前記認識条件を決定すること、
を特徴とする歩行者認識装置。
【請求項２】
請求項１に記載の歩行者認識装置において、
前記時系列の前記環境データに基づいて周辺の交通環境を認識し、当該認識した当該交通環境に関するデータに基づいて、前記歩行者認識で用いる前記認識条件を決定すること、
を特徴とする歩行者認識装置。
【請求項３】
請求項１に記載の歩行者認識装置において、
前記時系列の前記環境データおよび前記決定した前記認識条件に基づいて、前記歩行者を認識すること、
を特徴とする歩行者認識装置。
【請求項４】
請求項１に記載の歩行者認識装置において、
前記決定した前記認識条件および前記歩行者認識で得られた認識結果に基づいて、前記歩行者の飛び出しを判定すること、
を特徴とする歩行者認識装置。
【請求項５】
請求項４に記載の歩行者認識装置において、
前記時系列の前記環境データに基づいて歩行者信号の変化を検出し、前記歩行者信号が青点滅になったという変化が検出された場合には、当該青点滅の際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定すること、
を特徴とする歩行者認識装置。
【請求項６】
請求項４に記載の歩行者認識装置において、
前記時系列の前記環境データに基づいて対向車列の変化を検出し、前記対向車列が途切れたという変化が検出された場合には、当該途切れの際に起こり易い歩行者飛び出し姿勢を検出し易い前記認識条件を決定すること、
を特徴とする歩行者認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−８３１５（Ｐ２０１３−８３１５Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１４２０７９（Ｐ２０１１−１４２０７９）
【出願日】平成２３年６月２７日（２０１１．６．２７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２７日（２０１１．６．２７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＩＣＳ
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]