説明

歩行者認識装置

【課題】照合するパターン数が少なくコストを削減した構成により、精度よく歩行者を認識する。
【解決手段】画像認識処理部4の部位特定手段により、測距レーダ2、単眼カメラ3で検出された自車両1の周辺の障害物が歩行者6であるとした場合の部位を特定し、画像認識処理部4の姿勢判定手段により、特定した部位の姿勢変化を予測して記憶部5から読み出した歩行者6の当該部位の予測された姿勢と、部位特定手段が特定した部位の姿勢との照合から、特定した部位の動きが歩行者の動きに合致するか否かを判定し、画像認識処理部4の認識手段により、姿勢判定手段の判定結果に基づいて障害物が歩行者であるか否かを判定して歩行者を認識する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、パターンマッチングにより歩行者を認識する歩行者認識装置に関し、詳しくは、コストを低減した認識精度の向上に関する。
【背景技術】
【0002】
従来、自動車の分野においては、レーダ探査やカメラの撮影により検出した自車両前方等の自車両周辺の障害物が歩行者であるか否かを認識することが、衝突回避等において重要である。
【0003】
そして、カメラの撮影画像のパターンマッチングにより、撮影された障害物が歩行者であるか否を極力正確に認識するため、従来、障害物が歩行者であるとした場合の障害物全体のパターンを記憶するのではなく、歩行者の頭部、胴体部、脚部などの部位毎のパターンを記憶手段に個別に記憶しておき、検出された障害物の特定された部位と記憶された各部位のパターンとを照合し、その障害物が歩行者であるか否かを判定して認識することが提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−25956号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の歩行者認識では、特定された部位に対応して記憶手段に記憶された全ての姿勢(歩行者の自車両に対する向き等も含む)のパターンを順次に照合して歩行者を認識するので、膨大な量のパターン照合等が必要になり、それらの処理負荷が極めて大きくなる。そのため、処理速度の速い高価な画像処理装置等を要し、高価になる問題がある。
【0006】
本発明は、照合するパターン数が少なくコストを削減した構成により、精度よく歩行者を認識することを目的とする。
【課題を解決するための手段】
【0007】
上記した目的を達成するために、本発明の歩行者認識装置は、検出手段により検出された自車両周辺の障害物が歩行者であるとした場合の部位を特定し、特定した部位と記憶手段に記憶された歩行者の部位パターンとを照合し、照合結果に基づき、前記障害物が歩行者か否かを判定して歩行者を認識する歩行者認識装置であって、前記検出手段により検出された障害物が歩行者であるとした場合の部位を特定する部位特定手段と、前記部位特定手段が特定した部位の姿勢変化を予測して前記記憶手段から読み出した歩行者の当該部位の予測された姿勢と、前記部位特定手段が特定した部位の姿勢との照合から、前記特定した部位の動きが歩行者の動きに合致するか否かを判定する姿勢判定手段と、前記姿勢判定手段の判定結果から前記障害物が歩行者であるか否かを判定して歩行者を認識する認識手段とを備えたことを特徴としている(請求項1)。
【発明の効果】
【0008】
請求項1に係る本発明によれば、検出手段により検出された自車両周辺の障害物が歩行者であるとした場合の部位が部位特定手段により特定されると、姿勢判定手段により、その部位が歩行者の部位であればつぎにどのような動きをするか(どのような姿勢をとるか)を予測し、予測された姿勢と部位特定手段が特定した部位の姿勢との照合から、少ないパターン照合であっても高いパターン照合確率で特定した部位の動きが歩行者の動きに合致するか否かを判定することができる。そして、姿勢判定手段の判定結果から認識手段により障害物が歩行者であるか否かを精度よく判定することができる。この場合、パターン照合等の処理負荷が少なくて済み、高性能で高価な処理速度の速い画像処理装置等は不要であり、照合するパターン数が少なくコストを削減した構成により、精度よく歩行者を認識することをができる。
【図面の簡単な説明】
【0009】
【図1】本発明の歩行者認識装置の一実施形態のブロック図である。
【図2】図1の歩行者認識装置が特定する部位の説明図である。
【図3】図1の歩行者認識装置の姿勢パターン例の説明図である。
【図4】図1の歩行者認識装置の状態遷移例の説明図である。
【図5】図1の歩行者認識装置の処理手順例を説明するフローチャートである。
【発明を実施するための形態】
【0010】
本発明の一実施形態について、図1〜図5を参照して説明する。
【0011】
図1は自車両1に搭載された本実施形態の歩行者認識装置を示し、自車両1は例えば自車両1の前方を探査するレーザレーダ、超音波レーダ等の測距レーダ2と、自車両1の前方を撮影する単眼カメラ3とを、本発明の自車両周辺の障害物の検出手段として備える。なお、本実施形態の場合、安価な単眼カメラ3の撮影画像だけでは前方の障害物の存在を把握するのが難しいので、測距レーダ2と単眼カメラ3の組み合わを検出手段とするが、単眼カメラに代えて、いわゆるステレオカメラを備える場合等には、このカメラだけで検出手段が形成される。
【0012】
そして、測距レーダ2の時々刻々の探査結果及び単眼カメラ3の毎フレームの撮影画像は、マイクロコンピュータ等で形成された画像認識処理部4に入力される。この画像認識処理部4は、測距レーダ2の探査結果から前方の障害物の範囲を検出し、単眼カメラ3の撮影画像の前記障害物の範囲をROI(関心領域)として抽出し、抽出した領域画像を障害物画像とする。
【0013】
さらに、画像認識処理部4は、基本的に、パターンマッチングの手法で前記障害物画像が歩行者であるとした場合の部位を特定し、特定した部位と本発明の記憶手段としての記憶部5に記憶された歩行者の部位パターンとを照合し、照合結果に基づいて障害物が歩行者か否かを判定して歩行者を認識するものであり、本発明の部位特定手段、姿勢判定手段、認識手段を形成する。
【0014】
ところで、歩行者は、姿勢変化の特徴等から、いくつかの部位の集合とみなせる。
【0015】
図2は歩行者6の上記部位の例を示し、本実施形態においては、歩行者6を、胴体部61と姿勢変化の有る腕部(手先も含む)62と、脚部(足先も含む)63とに分解し、胴体部61、腕部(手先も含む)62、脚部(足先も含む)63の基本パターンおよび、それらの動き方や動く範囲(角度)の情報を記憶部5の歩行者基本辞書51に予め記憶する。
【0016】
つぎに、腕部62、脚部63の部位パターンは、歩行者6の姿勢によって種々に異なるだけでなく、その姿勢から予想される歩行者の動きに基づいて遷移し、この遷移から歩行者6のつぎの姿勢を予測できる。
【0017】
そこで、腕部62、脚部63について、それらの部位パターンとして、種々の姿勢のパターン(姿勢パターン)を、動きの順の遷移情報を付けて記憶部5の姿勢辞書52に、別々に予め記憶する。
【0018】
図3(a)〜(g)は腕部62の姿勢1〜姿勢7と分類された姿勢パターンP1〜P7の例を示し、各姿勢パターンP1〜P7は、腕の動きから予想されるつぎの1または複数の姿勢パターンへの優先順序の確率をつけた遷移情報(遷移フラグ)が付される。ここで予想されるつぎの1または複数の姿勢パターンの優先順序の確率について説明すると、例えば歩行者6の腕部62の現在の姿勢パターンが姿勢1であって、予想されるつぎの1または複数の姿勢パターンが姿勢1か姿勢2になるとすれば、姿勢1と姿勢2に高い優先順序の確率が付けられる。脚部63についても同様の優先順序の確率を付した姿勢パターンが姿勢辞書52に記憶される。
【0019】
図4は前記遷移フラグに基づく一部の姿勢の遷移変化の例を示し、歩行者6であれば姿勢パターンP1〜P7から確率の高い姿勢パターンに変化し易く、障害物の腕部62や脚部63と判断された部分があり得ない遷移や極端に低い確率の遷移の姿勢変化をすれば、それは歩行者6ではないことがわかる。
【0020】
そして、本実施形態の場合、腕部62や脚部63と判断された部分の姿勢パターンと予想される姿勢遷移の設定確率以上のパターンとの比較に基づいて障害物の腕部62や脚部63の姿勢遷移を推定し、障害物の腕部62や脚部63の予想される姿勢遷移が設定時間内に総合的に設定確率以上になるか否かによって、姿勢変化が歩行者として自然であるか否かも推定して障害物が歩行者6か否かを判断し、歩行車6を認識する。
【0021】
図5は画像認識処理部4の部位特定手段、姿勢判定手段、認識手段により実行される歩行者認識処理の手順例を示し、まず、部位特定手段により、前記障害物画像の胴体部、腕部、脚部の候補部分を、そのパターンや画像位置等から特定する(ステップS1)。つぎに特定した胴部の候補部分のパターンと基本辞書51の胴体部61のパターンとのパターンマッチングを行い(ステップS2)、しきい値以上でマッチングする胴体部61のパターンを検索する。しきい値以上でマッチングする胴体部61が見つかれば、特定した腕部、脚部の候補部分のパターンと基本辞書51の腕部62、脚部63のパターンとのパターンマッチングを行い(ステップS3)、しきい値以上でマッチングする腕部62、脚部63のパターンを検索する。しきい値以上でマッチングする腕部62、脚部63が見つかれば、マッチングした胴部61と腕部62と脚部63を組み合わせて統合する(ステップS4)。
【0022】
つぎに、推定手段により、統合した状態での腕部62、脚部63の姿勢の状態遷移(時間変化)を検出し、姿勢辞書52を参照したパターンマッチングにより姿勢順序の遷移確率を追跡し、設定時間内に所定以上の確率の姿勢に遷移するか否かから、歩行者の自然な動きである確率がしきい値以上になるか否かを検出して腕部62、脚部63の動きが歩行者6の動きに合致した変化か否かを推定し(ステップS5)、その推定結果に基づき、認識手段により障害物が歩行者6か否かを判定し、しきい値以上になると、障害物を歩行者6と認識する(ステップS6)。
【0023】
この場合、歩行者6のパターンを、胴体部61、腕部62、脚部63に分け、それらの基本パターン等を別々に基本辞書51に記憶し、個別のパターンマッチングから、マッチングの確率が高い胴体部61、腕部62、脚部63のパターンを組み合わせて、基本的なパターンマッチング及び姿勢パタンの遷移変化の検出を行なうので、胴体部61、腕部62、脚部63に分けずにパターンマッチングを行なう場合に比して記憶するパターン数が極めて少なくて済み、画像認識処理部4の処理負荷が大幅に軽減される。
【0024】
さらに、腕部62、脚部63については、その動き(姿勢変化)を姿勢辞書62の姿勢パターンを参照して状態遷移確率から歩行者6らしい自然な動きか否かを推定し、極めて高い照合確率で障害物が歩行者6であることを認識できる。
【0025】
そのため、本実施形態の場合、照合するパターン数が少なくコストを削減した構成により、精度よく歩行者6を認識することができる。
【0026】
本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、特定する部位の分類や姿勢パターンの個数等は、前記実施形態に限るものではない。
【0027】
また、姿勢変化の状態遷移や処理手順も前記実施形態に限るものではない。さらに、自車両1の後方等の前方以外の障害物についても同様にして認識できるのは勿論である。
【0028】
そして、本発明の認識結果は種々の運転支援制御等に利用することができる。
【符号の説明】
【0029】
1 自車両
2 測距レーダ
3 単眼カメラ
4 画像認識処理部
5 記憶部
6 歩行者
61 胴体部
62 腕部
63 脚部

【特許請求の範囲】
【請求項1】
検出手段により検出された自車両周辺の障害物が歩行者であるとした場合の部位を特定し、特定した部位と記憶手段に記憶された歩行者の部位パターンとを照合し、照合結果に基づき、前記障害物が歩行者か否かを判定して歩行者を認識する歩行者認識装置であって、
前記検出手段により検出された障害物が歩行者であるとした場合の部位を特定する部位特定手段と、
前記部位特定手段が特定した部位の姿勢変化を予測して前記記憶手段から読み出した歩行者の当該部位の予測された姿勢と、前記部位特定手段が特定した部位の姿勢との照合から、前記特定した部位の動きが歩行者の動きに合致するか否かを判定する姿勢判定手段と、
前記姿勢判定手段の判定結果から前記障害物が歩行者か否かを判定して歩行者を認識する認識手段とを備えたことを特徴とする歩行者認識装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−118683(P2012−118683A)
【公開日】平成24年6月21日(2012.6.21)
【国際特許分類】
【出願番号】特願2010−266683(P2010−266683)
【出願日】平成22年11月30日(2010.11.30)
【出願人】(000002967)ダイハツ工業株式会社 (2,560)
【Fターム(参考)】