対象物追跡装置及びプログラム
【課題】対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の路面上の位置を推定する。
【解決手段】対象物検出部４２で、過去の撮像画像から求められた対象物の路面上の位置、及び車両運動情報に基づいて、現在の対象物の路面上での位置を予測して、対応する現在の撮像画像上の位置に検出枠を設定することで対象物を検出し、第１の位置推定部４８で、検出枠範囲判定部４４で検出枠の下側領域が撮影範囲内であると判定された場合に、検出枠内の画像の足元位置に基づいて、対象物の現在位置を推定し、第２の位置推定部５０で、検出サイズ判定部４６で検出枠のサイズが予め定めた大きさ以上であると判定された場合に、過去の撮像画像における対象物に対する現在の撮像画像における対象物の拡大率に基づいて、対象物の路面上の現在位置を推定する。
【解決手段】対象物検出部４２で、過去の撮像画像から求められた対象物の路面上の位置、及び車両運動情報に基づいて、現在の対象物の路面上での位置を予測して、対応する現在の撮像画像上の位置に検出枠を設定することで対象物を検出し、第１の位置推定部４８で、検出枠範囲判定部４４で検出枠の下側領域が撮影範囲内であると判定された場合に、検出枠内の画像の足元位置に基づいて、対象物の現在位置を推定し、第２の位置推定部５０で、検出サイズ判定部４６で検出枠のサイズが予め定めた大きさ以上であると判定された場合に、過去の撮像画像における対象物に対する現在の撮像画像における対象物の拡大率に基づいて、対象物の路面上の現在位置を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物追跡装置及びプログラムに係り、特に、自車両周辺の対象物を撮像した撮像画像に基づいて、対象物を追跡する対象物追跡装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、自車両と歩行者等の対象物との衝突を回避または緩和するために作動する衝突安全システムにおいては、自車両に対する対象物の衝突位置や衝突時の姿勢等の情報が要求されるため、撮像装置で撮像された画像から対象物を検出して追跡することが行われている。
【０００３】
例えば、追跡対象の物体が道路面に接する空間点の画像座標内の投影を表す画素を抽出し、道路面内の対応する空間点の運動を、道路面内の空間点の位置と道路面内の関係速度とを成分とする少なくとも４次元の状態ベクトルを使用する状態推定器によって追跡する物体追跡の方法が提案されている（特許文献１参照）。
【０００４】
また、歩行者を追跡中、その歩行者が見えなくなったとき、手前に障害物があればその後ろに歩行者が隠れたものと判断し、手前に障害物が無い場合には転倒などの事態が発生したものと判断し、さらに、障害物に隠れたり、転倒したりした歩行者についてそれぞれの時系列的な位置情報に基づいて、その後の位置を推定する衝突危険度判定装置が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−８９３６５号公報
【特許文献２】特開２００８−２１２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、一般的に撮像装置は車室内などの路面から所定高さの位置に取付けられることが多いため、上記の特許文献１に記載の技術では、自車両の直近に存在する対象物の接地位置（例えば、歩行者の足元位置）が、撮影範囲から外れたり、ボンネット等の自車両の一部により遮られたりした場合には、衝突直前まで対象物を追跡することができない、という問題がある。
【０００７】
また、上記の特許文献２に記載の技術では、対象物の時系列的な位置情報に基づく予測位置では、高い精度で対象物を追跡することができない、という問題がある。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の路面上の現在位置を推定することができる対象物追跡装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、 路面から所定高さの位置に取付けられて、自車両周辺の対象物を撮像して該対象物を含む画像を取得する撮像手段と、前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段と、過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段と、前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段と、前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段と、前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段と、を含んで構成されている。
【００１０】
また、本発明の対象物追跡プログラムは、コンピュータを、路面から所定高さの位置に取付けられて、自車両周辺の対象物を撮像する撮像手段で取得された該対象物を含む画像、及び前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段から出力された車両運動情報を取得する取得手段、過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段、前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段、前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段、及び前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段として機能させるためのプログラムである。
【００１１】
本発明の対象物追跡装置及びプログラムによれば、路面から所定高さの位置に取付けられた撮像手段が、自車両周辺の対象物を撮像して対象物を含む画像を取得する。また、車両運動検出手段が、自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する。そして、対象物検出手段が、過去の画像から求めた対象物の路面上の位置、及び車両運動情報に基づいて、対象物の路面上での現在位置を予測し、予測した路面上での現在位置に対応する現在の画像上の位置から対象物を検出する。
【００１２】
そして、第１の位置推定手段が、対象物検出手段で検出された対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における接地位置、及び撮像手段の自車両への取付位置に基づいて、対象物の路面上の現在位置を推定し、第２の位置推定手段が、過去の画像から求めた対象物の路面上の位置、及び現在の画像上の対象物の大きさの過去の画像上の対象物の大きさに対する拡大率に基づいて、対象物の路面上の現在位置を推定し、統合手段が、対象物検出手段で予測された現在位置、第１の位置推定手段で推定された現在位置、及び第２の位置推定手段で推定された現在位置を統合する。
【００１３】
このように、接地位置が撮影範囲内に存在する場合には、接地位置に基づいて対象物の現在位置を推定し、接地位置が撮影範囲内に存在しない場合でも、画像上での対象物の拡大率に基づいて対象物の現在位置を推定するため、対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の位置を推定することができる。
【００１４】
また、前記拡大率を、前記過去の画像から抽出された特徴点の特徴点間の距離と、前記現在の画像から抽出され、かつ前記過去の画像から抽出された特徴点と対応する特徴点の特徴点間の距離との比率、または、前記過去の画像から抽出された複数の特徴点により形成される多角形の面積と、前記現在の画像から抽出され、かつ前記過去の画像から抽出された特徴点と対応する複数の特徴点により形成される多角形の面積との比率とすることができる。このように、特徴点を用いることにより、正確に拡大率を求めることができる。
【００１５】
また、前記第２の位置推定手段は、前記車両運動情報を用いて、前記過去の画像から抽出された特徴点と前記現在の画像から抽出された特徴点との対応付けを行うようにすることができる。これにより、特徴点の対応付けの精度を向上させることができる。
【００１６】
また、前記第２の位置推定手段は、前記現在の画像上での前記対象物のサイズが予め定めた大きさよりも小さい場合には、前記対象物の位置を推定しないようにすることができる。画像上での対象物のサイズが小さい場合には、拡大率の算出に誤差が生じやすく、また特徴点を抽出する場合でも、有効な特徴点の抽出が困難となるため、対象物のサイズが予め定めた大きさよりも小さい場合には、拡大率に基づく対象物の現在位置の推定は行わないようにするものである。
【００１７】
また、前記統合手段は、前記第１の位置推定手段による接地位置の検出精度を示す第１の信頼度、及び前記第２の位置推定手段による前記拡大率の算出精度を示す第２の信頼度による重み付けを行って、前記予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合するようにすることができる。これにより、精度の高い統合結果を得ることができる。
【００１８】
また、前記統合手段の統合結果を、前記対象物と前記自車両との衝突を回避または緩和するための車両制御を行う車両制御システムへ出力する出力手段を更に含み、前記対象物検出手段は、前記車両制御システムによる車両制御が行われているときに前記過去の画像から抽出された対象物候補のうち、前記車両制御システムでの追跡対象となると判定された対象物候補のみを対象物として検出するようにすることができる。このように、車両制御システムでの追跡対象となる対象物のみを追跡することにより、処理時間を早めて、制御の応答性を向上させることができる。
【００１９】
また、前記車両運動情報、及び前記統合手段の統合結果に基づいて、前記自車両の走行軌跡と前記対象物との位置関係を示す局所地図を生成する局所地図生成手段を更に含んで構成することができる。
【００２０】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２１】
以上説明したように、本発明の対象物追跡装置及びプログラムによれば、接地位置が撮影範囲内に存在する場合には、接地位置に基づいて対象物の現在位置を推定し、接地位置が撮影範囲内に存在しない場合でも、画像上での対象物の拡大率に基づいて対象物の現在位置を推定するため、対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の路面上の現在位置を推定することができる、という効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本実施の形態の対象物追跡装置の概略構成を示すブロック図である。
【図２】足元位置に基づく対象物までの距離の算出を説明するための図である。
【図３】足元位置が撮影範囲に含まれていない場合の例として、（Ａ）画角内に足元位置が含まれていない場合、及び（Ｂ）足元位置が遮られている場合を示す図である。
【図４】足元と路面との境界エッジを説明するための図である。
【図５】特徴点間の距離の拡大率を説明するための図である。
【図６】拡大率に基づく対象物までの距離の算出を説明するための図である。
【図７】検出枠と現在位置の推定方法との関係を示す表である。
【図８】本実施の形態の対象物追跡装置における対象物追跡処理ルーチンを示すフローチャートである。
【図９】本実施の形態の対象物追跡装置における通常時の処理ルーチンを示すフローチャートである。
【図１０】本実施の形態の対象物追跡装置におけるシステム作動時の処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、自車両と歩行者との衝突時の衝撃を緩和するために歩行者エアバックのような緩和材を衝突時に作動させる衝突緩和システム（以下、単にシステムともいう）での追跡対象となる歩行者を対象物として追跡する対象物追跡装置に本発明を適用した場合について説明する。
【００２４】
図１に示すように、本実施の形態に係る対象物追跡装置１０は、路面から所定高さの位置で車両（図示省略）に搭載され、かつ、自車両の周辺の対象物を連続して撮像するＣＣＤカメラ等からなる撮像装置１２と、自車両の運動を検出する各種センサからなる車両運動検出部１４と、撮像された撮像画像、取得された車両運動情報に基づいて、対象物である歩行者を追跡する処理を実行するコンピュータ２０とを備えている。
【００２５】
撮像装置１２は、自車両の周辺領域を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、撮像装置１２は、台数や画角については特に限定されるものではなく、任意の構成としてよい。また、撮像装置１２によって出力される画像は、濃淡画像及びカラー画像の何れであってもよい。
【００２６】
車両運動検出部１４は、ジャイロセンサや車速計などの各種センサから構成され、各種センサの出力値により、自車両の速度、ヨーレート、ピッチ角、及び操舵角等の自車両の車両運動情報を検出する。また、介入制動や操舵支援等の車両運動制御が行われている場合には、その車両制御量を取得するようにしてもよい。
【００２７】
コンピュータ２０は、対象物追跡装置１０全体の制御を司るＣＰＵ、後述する対象物追跡プログラム等各種プログラムを記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成において、各構成要素の機能を実現するためのプログラムを記憶媒体であるＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【００２８】
このコンピュータ２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ２０は、衝突緩和システムが作動中か否かを判定するシステム作動判定部２２と、システムが作動中ではない場合に、システムでの追跡対象となる歩行者の判定処理を実行する通常時処理部３０と、システム作動時に追跡対象の歩行者の追跡処理を実行するシステム作動時処理部４０と、を含んだ構成で表すことができる。
【００２９】
通常時処理部３０は、撮像装置１２で撮像された撮像画像から、歩行者らしい形状の領域を対象物候補として抽出する対象物候補抽出部３２と、対象物候補を様々な姿勢の歩行者画像から構築した学習モデルと照合して評価値を算出する評価値算出部３４と、対象物候補が衝突緩和システムでの追跡対象であるか否かを判定すると共に、システムでの追跡対象であると判定された場合には、その接地位置に基づいて対象物の位置を算出する対象物判定位置算出部３６と、を含んだ構成で表すことができる。
【００３０】
対象物候補抽出部３２は、撮像画像全体を予め定めた複数種類のサイズの探索ウインドウで各々走査し、探索ウインドウ内の画像が歩行者の形状か否かをパターンマッチング等の処理により判定して、対象物候補を抽出する。なお、画像全体を走査するのではなく、車両運動情報として得られる撮像装置１２の姿勢角等に基づいて、歩行者が存在する可能性が高い範囲を探索範囲として設定した上で、設定された範囲から対象物候補を抽出するようにしてもよい。
【００３１】
評価値算出部３４は、予め構築された学習モデルを用いて、対象物候補の歩行者らしさを示す評価値を算出する。例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の公知の手法を用いることができる。
【００３２】
対象物判定位置算出部３６は、対象物候補抽出部３２で抽出された対象物候補を追跡し、評価値算出部３４で算出された評価値の時系列変化を加味して、システムでの追跡対象か否かを判定する。例えば、システムでの追跡対象となる歩行者の画像の評価値の時系列変化のパターンを予め記憶しておき、このパターンと、対象物候補の評価値の時系列変化のパターンとを比較することで、対象物候補がシステムでの追跡対象となる歩行者か否かを判定する。そして、システムでの追跡対象となる歩行者（対象物）であると判定された場合には、足元が路面に接している接地位置（足元位置）に基づいて、対象物の路面上での位置を算出する。
【００３３】
具体的には、対象物候補の領域を示す探索ウインドウ内の下側領域に対してパターンマッチングを行って足元位置を検知する。そして、図２に示すように、自車両から歩行者までの路面が局所的に平面であると仮定すると、自車両から歩行者までの距離Ｒについて、（１）式の関係式が成り立つ。
【００３４】
【数１】
【００３５】
ただし、Ｈｃは、車両に取り付けられた撮像装置１２の路面からの高さ、θは、撮像装置１２の俯角（撮像装置１２の光軸と水平面のなす角度）、ｙは、撮像画像の横方向をｘ軸、縦方向をｙ軸とした場合の撮像画像上での歩行者の足元位置のｙ座標、ｙｃｅｎｔｅｒは、撮像画像の中心のｙ座標、ｄｙは、ｙ方向の画素間距離、及びｆは、撮像装置１２の焦点距離である。ここで、撮像装置１２は車両に対して固定されているため、撮像装置１２の俯角θ及び高さＨｃは既知となる。従って、撮像画像中で歩行者の足元位置を検知すれば歩行者までの距離Ｒが（１）式より求められる。同様に画像中の歩行者の足元位置のｘ座標に基づいて、歩行者の方位が求められ、距離Ｒと合わせて歩行者の位置を算出できる。
【００３６】
なお、上記では俯角θを固定で既知とした場合について説明したが、車両は道路の凹凸や加減速により上下方向にピッチ変動するため、俯角θを固定値として歩行者の位置を推定したのでは、大きな誤差が生じる場合がある。そこで、車両のピッチ変動に対応するため、撮像された画像から道路の白線やガードレール、建物の水平な稜線などを検出して、これらに基づいて俯角θを推定するようにしてもよい。
【００３７】
システム作動時処理部４０は、現在の対象物の路面上での位置を予測して、対応する現在の撮像画像上の位置に検出枠を設定することで対象物を検出する対象物検出部４２と、検出枠の下側領域が撮影範囲内か否かを判定する検出枠範囲判定部４４と、検出枠のサイズが予め定めた大きさ以上か否かを判定する検出枠サイズ判定部４６と、検出枠範囲判定部４４で検出枠の下側領域が撮影範囲内であると判定された場合に、検出枠内の画像の足元位置に基づいて、対象物の現在位置を推定する第１の位置推定部４８と、検出サイズ判定部４６で検出枠のサイズが予め定めた大きさ以上であると判定された場合に、過去の撮像画像の対象物の大きさに対する現在の撮像画像の対象物の大きさの拡大率に基づいて、対象物の路面上の現在位置を推定する第２の位置推定部５０と、対象物検出部４２で予測された対象物の現在位置、第１の位置推定部４８で推定された対象物の現在位置、及び第２の位置推定部５０で推定された対象物の現在位置を統合して最終的な対象物の現在位置を示す統合結果を出力する結果統合部５２と、統合結果及び車両運動情報に基づいて、自車両の走行軌跡と対象物との位置関係を示す局所地図を生成する局所地図生成部５４と、を含んだ構成で表すことができる。
【００３８】
対象物検出部４２は、現在の撮像画像の１フレーム前の撮像画像から求めた対象物の路面上の位置、及び車両運動情報を取得し、フレーム間の車両の移動量を算出して、対象物の路面上での現在位置を予測する。なお、ここでは、過去の撮像画像として１フレーム前の撮像画像を用いているが、フレーム間隔が特定されれば、これに限定されるものではない。また、車両運動情報に加えて、それまでの追跡情報や車両制御量を用いてもよい。そして、予測された対象物の路面上の現在位置に対応する現在の撮像画像上の位置に、対象物を囲う検出枠を設定する。検出枠のサイズは、前の撮像画像の検出枠または探索ウインドウのサイズ、及びフレーム間の車両の移動量に基づいて求めたり、予測された対象物の路面上の現在位置に対応する現在の撮像画像上の位置の周辺領域でパターンマッチングを行って、歩行者の形状を識別し、識別された歩行者の形状を囲うようなサイズにしたりする。また、予測された対象物の路面上の現在位置に対応する現在の撮像画像上の位置の周辺領域で、通常時処理部３０の評価値算出部３４と同様の処理により、現在の撮像画像における歩行者の存在を検証すると共に、予測された対象物の路面上での現在位置を修正するようにしてもよい。
【００３９】
検出枠範囲判定部４４は、検出枠の下側領域、すなわち歩行者の足元位置が撮影範内か否かを判定する。検出枠の下側領域は、例えば、検出枠の下から１／３の領域のように定めることができる。図３（Ａ）に示すように、撮像装置１２の画角内に足元位置が含まれていない場合や、同図（Ｂ）に示すように、ボンネット等の自車両の一部により足元位置が遮られている場合は、足元位置が撮影範囲に含まれていないと判定される。なお、撮像装置１２の取付位置により、撮像画像上のどの位置にボンネット等が映り込むかということは、事前に把握することができるため、その情報を予め記憶しておくとよい。
【００４０】
検出枠サイズ判定部４６は、検出枠のサイズが予め定めた大きさより大きいか否かを判定する。後述する第２の位置推定部５０で検出枠内の画像から特徴点を抽出するが、検出枠が小さい場合には、有効な特徴点を抽出することができないため、検出枠のサイズが予め定めた大きさより小さい場合には、第２の位置推定部５０による位置推定処理は行わない。なお、基準となる予め定めた大きさは、撮像装置１２の画素数、追跡対象物のサイズ等に基づいて定めておく。
【００４１】
第１の位置推定部４８は、歩行者の足元位置が撮影範囲にある場合に、通常時処理部３０の対象物判定位置算出部３６と同様の処理により、足元位置を用いて対象物の路面上の現在位置を推定する。また、足元位置を検知する際に、歩行者の服装や背景のテクスチャ（色や模様）によって、足元位置の検知の精度は変動する。例えば、図４（Ａ）に示すように、白線上に黒い靴で接地している場合には、足元と路面との境界エッジは明確であり、精度よく足元位置を検知することができる。一方、同図（Ｂ）に示すように、アスファルト上に黒系の色の靴で接地している場合や、同図（Ｃ）に示すように、白線上に白い靴で接地している場合には、足元と路面との境界エッジが明確でなく、正確な足元位置の特定が困難なため、足元位置の検知精度が低下する。
【００４２】
そこで、足元位置の検知精度に対する第１の信頼度ｗＬを算出する。第１の信頼度の指標としては、例えば、足元位置のエッジ強度Ｌ、足元位置のエッジ強度の分散値（エッジの太さ）σＬ、及び予測位置からのずれ量Δｒを用いることができる。例えば、下記（２）式のように、エッジ強度Ｌが強いほど、エッジ強度の分散値σＬが小さいほど、予測位置からのずれ量Δｒが少ないほど値が大きくなる信頼度ｗＬを実験的に設定する。
【００４３】
【数２】
【００４４】
また、それぞれの指標に対する閾値を設定して、それぞれの指標と閾値との比較から予め定めた信頼度を選択するようにしてもよい。
【００４５】
第２の位置推定部５０は、現在の撮像画像の検出枠内、及び１フレーム前の撮像画像の検出枠内または探索ウインドウ内の画像から特徴点を抽出する。特徴点としては、例えば、エッジ点や、複数のエッジが交わるコーナー点を利用したり、色情報が取得できる場合であれば、色情報の変化点を利用したりすることができる。抽出された特徴点をフレーム間で対応付け、１フレーム前の撮像画像から抽出された特徴点の任意の特徴点間の距離と、その特徴点に対応する現在の撮像画像から抽出された特徴点の特徴点間の距離との比率に基づいて、対象物の路面上の現在位置を推定する。
【００４６】
具体的には、図５（Ａ）に示すように、１フレーム前の撮像画像から抽出された複数の特徴点から特徴点Ｐ１及び特徴点Ｐ２を選択して、特徴点Ｐ１と特徴点Ｐ２との間の距離Ｌ１を求める。また、同図（Ｂ）に示すように、現在の撮像画像から抽出された複数の特徴点から、１フレーム前の撮像画像の特徴点Ｐ１及び特徴点Ｐ２に対応する特徴点Ｐ１’及び特徴点Ｐ２’を選択して、特徴点Ｐ１’と特徴点Ｐ２’との間の距離Ｌ２を求める。そして、図６に示すように、Ｌ１及びＬ２に対応する実空間上の距離をＳとすると、下記（３）式の関係が成立し、（３）式を整理して、下記（４）式の関係が導出される。
【００４７】
【数３】
【００４８】
ただし、ｚ１は、１フレーム前の撮像画像から推定された対象物までの距離、ｚ２は、現在の撮像画像から推定すべき対象物までの距離、及びｆは、撮像装置１２の焦点距離である。すなわち、１フレーム前の撮像画像から推定された対象物までの距離ｚ１に、１フレーム前の撮像画像から抽出された特徴点の特徴点間の距離に対する現在の画像から抽出された特徴点の特徴点間の距離の拡大率を乗算することにより、現在の対象物までの距離ｚ２を推定することができる。そして、検出枠内の任意の位置のｘ座標に基づいて、対象物の方位を推定し、推定された距離ｚ２と合わせて、対象物の路面上の推定位置とする。
【００４９】
また、本実施の形態のように、対象物が自車両に比べて移動速度の遅い歩行者のような場合には、フレーム間における相対距離の変化分ΔＲは、自車両の移動量と考えることができる。従って、フレーム間の自車両の移動量を取得できれば、下記（５）式に示すように、１フレーム前の撮像画像から推定された対象物までの距離ｚ１を用いることなく、現在の対象物までの距離ｚ２を推定することができる。
【００５０】
【数４】
【００５１】
なお、上記では、任意の特徴点２点の距離を用いる場合について説明したが、複数の特徴点の組合せから計算した距離の比を平均化したり、３点以上の特徴点で構成される多角形の面積比に基づいて拡大率を計算したりしてもよい。また、複数の特徴点の組合せのうち他の結果との差が大きいものを除いたり、検出枠内の中心に近いほど大きい重みを与えて重み付き平均を計算したりしてもよい。
【００５２】
また、第１の位置推定部４８で第１の信頼度ｗＬを算出したのと同様に、第２の位置推定部５０でも、拡大率の算出精度に対する第２の信頼度ｗＳを算出する。第２の信頼度ｗＳの指標としては、例えば、特徴点の組合せを変えた場合の拡大率の分散値σＳ、特徴点間の距離の平均値μＳ、及び予測位置からのずれ量Δｒを用いることができる。例えば、下記（６）式のように、拡大率の分散値σＳが小さいほど、特徴点間の距離の平均値μＳが大きいほど、予測位置からのずれ量Δｒが少ないほど値が大きくなる信頼度ｗＳを実験的に設定する。
【００５３】
【数５】
【００５４】
また、それぞれの指標に対する閾値を設定して、それぞれの指標と閾値との比較から予め定めた信頼度を選択するようにしてもよい。
【００５５】
結果統合部５２は、対象物検出部４２で予測された対象物の現在位置、第１の位置推定部４８で推定された対象物の現在位置、及び第２の位置推定部５０で推定された対象物の現在位置を統合して、最終的な対象物の路面上の現在位置を推定する。図７に示すように、検出枠の下側領域が撮影範囲内か否か、及び検出枠のサイズが予め定めた大きさより大きいか否かにより、得られる推定位置が下記（ｉ）〜（ｉｖ）のように異なる。
【００５６】
（ｉ）検出枠の下側が撮影範囲内で、サイズが予め定めた大きさより大きい場合
・対象物検出部４２により予測された現在位置
・第１の位置推定部４８により推定された足元位置に基づく推定位置
・第２の位置推定部５０により推定された拡大率に基づく推定位置
（ｉｉ）検出枠の下側が撮影範囲内で、サイズが予め定めた大きさより小さい場合
・対象物検出部４２により予測された現在位置
・第１の位置推定部４８により推定された足元位置に基づく推定位置
（ｉｉｉ）検出枠の下側が撮影範囲外で、サイズが予め定めた大きさより大きい場合
・対象物検出部４２により予測された現在位置
・第２の位置推定部５０により推定された拡大率に基づく推定位置
（ｉｖ）検出枠の下側が撮影範囲外で、サイズが予め定めた大きさより小さい場合
・対象物検出部４２により予測された現在位置
そこで、（ｉ）〜（ｉｖ）のそれぞれの場合に応じて、第１の信頼度ｗＬ、及び第２の信頼度ｗＳを用いて推定位置を統合する。
【００５７】
（ｉ）の場合は、第１の位置推定部４８による足元位置に基づく推定位置ＲＬと、第２の位置推定部５０による拡大率に基づく推定位置ＲＳとを、第１の信頼度ｗＬ、及び第２の信頼度ｗＳを用いて、下記（７）式のように統合する。
【００５８】
【数６】
【００５９】
また、対象物検出部４２による予測位置に対する重みを設定して、（７）式に予測位置の項を追加してもよい。また、各信頼度を予め定めた閾値と比較して、各信頼度が予め定めた閾値より大きい場合に、対応する推定位置を利用するようにしてもよい。
【００６０】
（ｉｉ）の場合は、対象物検出部４２による予測位置ＲＰと、第１の位置推定部４８による足元位置に基づく推定位置ＲＬとを、第１の信頼度ｗＬを用いて、下記（８）式のように統合する。
【００６１】
Ｒ＝ＲＬｗＬ＋ＲＰ（１−ｗＬ） （８）
【００６２】
また、第１の信頼度ｗＬに応じて、下記（９）式のように閾値処理してもよい。
【００６３】
【数７】
【００６４】
（ｉｉｉ）の場合は、第１の位置推定部４８による足元位置に基づく推定位置ＲＬを、第２の位置推定部５０による特徴点間の距離の拡大率に基づく推定位置ＲＳに置き換えて、（ｉｉ）の場合と同様に統合する。
【００６５】
（ｉｖ）の場合は、対象物検出部４２による予測位置ＲＰをそのまま最終的な対象物の推定位置とする。
【００６６】
次に、本実施の形態の対象物追跡装置１０の作用について説明する。撮像装置１２によって、自車両前方の連続撮像が開始されると、コンピュータ２０において、図８に示す対象物追跡処理ルーチンが実行される。
【００６７】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得する。また、撮像画像が撮像されたタイミングに同期して、車両運動検出部１４の各種センサによって検出された車両運動情報を取得する。
【００６８】
次に、ステップ１０２で、現在、衝突緩和システムが作動中か否かを判定する。システム作動中の場合には、ステップ１０４へ移行して、後述するシステム作動時の処理を実行する。一方、システム作動中ではない場合には、ステップ１０６へ移行して、後述する通常時の処理を実行する。
【００６９】
ここで、図９を参照して、対象物追跡処理（図８）のステップ１０６で実行される通常時の処理ルーチンについて説明する。
【００７０】
ステップ１２０で、取得された撮像画像に対して、予め定めたサイズの探索ウインドウで走査し、探索ウインドウ内の画像が歩行者の形状か否かをパターンマッチング等により判定し、マッチングした画像を対象物候補として抽出する。
【００７１】
次に、ステップ１２２で、例えば、ＳＶＭ等の手法により、予め構築された学習モデルを用いて、対象物候補の歩行者らしさを示す評価値を算出する。
【００７２】
次に、ステップ１２４で、上記ステップ１２０で抽出された対象物候補と、過去に抽出された対象物候補とを対応付けることにより対象物候補を追跡し、上記ステップ１２２で算出された評価値の時系列変化を加味して、対象物候補がシステムでの追跡対象か否かを判定する。システムでの追跡対象であると判定された場合には、ステップ１２６へ移行して、対象物である歩行者の足元位置に基づいて、対象物の路面上での現在位置を算出して、リターンする。一方、システムでの追跡対象でないと判定された場合には、そのままリターンする。
【００７３】
次に、図１０を参照して、対象物追跡処理（図８）のステップ１０４で実行されるシステム作動時の処理ルーチンについて説明する。
【００７４】
ステップ１４０で、１フレーム前の撮像画像から求めた対象物の路面上の位置を取得する。具体的には、本ステップが本ルーチンにおける１回目の処理の場合には、通常時の処理（図９）のステップ１２６で算出された位置を取得し、２回目移行の処理の場合には、後述するステップ１５６で統合された推定位置を取得する。
【００７５】
次に、ステップ１４２で、対象物追跡処理（図８）のステップ１００で取得した車両運動情報に基づいて、フレーム間の車両の移動量を算出して、取得した前回位置、及び車両の移動量に基づいて、対象物の路面上での現在位置を予測する。そして、予測された現在位置に対応する現在の撮像画像上での位置に、対象物を囲う検出枠を設定する。
【００７６】
次に、ステップ１４４で、検出枠の下側領域、すなわち歩行者の足元位置が撮影範囲内か否かを判定する。撮影範囲内の場合には、ステップ１４６へ移行し、撮影範囲外の場合には、ステップ１５２へ移行する。
【００７７】
ステップ１４６では、検出枠のサイズが予め定めた大きさより大きいか否かを判定する。大きい場合には、ステップ１４８へ移行し、小さい場合には、ステップ１５０へ移行する。
【００７８】
ステップ１４８では、上記（ｉ）の場合に該当するため、（１）式に従って足元位置に基づく推定位置ＲＬを推定すると共に、（２）式に従って第１の信頼度ｗＬを算出する。また、（４）式または（５）式に従って拡大率に基づく推定位置ＲＳを推定すると共に、（６）式に従って第２の信頼度ｗＳを算出する。
【００７９】
ステップ１５０では、上記（ｉｉ）の場合に該当するため、（１）式に従って足元位置に基づく推定位置ＲＬを推定すると共に、（２）式に従って第１の信頼度ｗＬを算出する。
【００８０】
一方、上記ステップ１４４で検出枠の下側領域が撮影範囲外であると判定されてステップ１５２へ移行した場合には、検出枠のサイズが予め定めた大きさより大きいか否かを判定する。大きい場合には、ステップ１５４へ移行し、小さい場合には、ステップ１５６へ移行する。
【００８１】
ステップ１５４では、上記（ｉｉｉ）の場合に該当するため、（４）式または（５）式に従って拡大率に基づく推定位置ＲＳを推定すると共に、（６）式に従って第２の信頼度ｗＳを算出する。
【００８２】
なお、上記ステップ１５２で否定された場合は、上記（ｉｖ）の場合に該当する。
【００８３】
次に、ステップ１５６で、上記ステップ１４２で予測された現在位置と、上記ステップ１４８、１５０、１５４の各々で推定された推定位置とを統合する。具体的には、上記ステップ１４８から移行した場合には、足元位置に基づく推定位置ＲＬと、拡大率に基づく推定位置ＲＳとを、第１の信頼度ｗＬ、及び第２の信頼度ｗＳを用いて、（７）式に従って統合する。ステップ１５０から移行した場合は、上記ステップ１４２で予測した予測位置ＲＰと、足元位置に基づく推定位置ＲＬとを、第１の信頼度ｗＬを用いて、（８）式に従って統合する。ステップ１５４から移行した場合は、上記ステップ１４２で予測した予測位置ＲＰと、拡大率に基づく推定位置ＲＳとを、第２の信頼度ｗＳを用いて、（８）式のＲＬをＲＳに置き換えた式に従って統合する。上記ステップ１５２で否定されて移行した場合には、予測位置ＲＰをそのまま最終的な対象物の路面上の位置として推定する。
【００８４】
次に、ステップ１５８で、上記ステップ１５６での統合結果、及び車両運動情報に基づいて、自車両の走行軌跡と対象物との位置関係を示す局所地図を生成する。
【００８５】
走行中に、以上のような対象物追跡処理ルーチンが、撮像装置１２で撮像された撮像画像が入力される毎に繰り返し実行されることにより、対象物の追跡が行われ、推定された現在位置に基づいて、衝突緩和システムが作動する。
【００８６】
以上説明したように、本実施の形態の対象物追跡装置によれば、接地位置が撮影範囲内に存在する場合には、接地位置に基づいて対象物の路面上の現在位置を推定し、接地位置が撮影範囲内に存在しない場合でも、画像上での対象物の拡大率に基づいて対象物の路面上での現在位置を推定するため、接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の現在位置を推定することができる。
【００８７】
なお、上記の実施の形態では、検出枠のサイズが予め定めた大きさより大きければ、拡大率に基づく現在位置の推定を行う場合について説明したが、足元位置に基づいて対象物の現在位置を推定できる場合には、その推定結果を優先させて、拡大率に基づく現在位置の推定は省略するようにしてもよい。
【００８８】
また、上記実施の形態では、衝突緩和システムでの追跡対象となる対象物を追跡する場合について説明したが、介入制動や操舵支援等により車両と対象物との衝突を回避するような衝突回避システムに適用してもよい。また、対象物も歩行者に限らず、他車両や自転車等であってもよい。
【符号の説明】
【００８９】
１０ 対象物追跡装置
１２ 撮像装置
１４ 車両運動検出部
２０ コンピュータ
２２ システム作動判定部
３０ 通常時処理部
４０ システム作動時処理部
４２ 対象物検出部
４４ 検出枠範囲判定部
４６ 検出枠サイズ判定部
４８ 第１の位置推定部
５０ 第２の位置推定部
５２ 結果統合部
５４ 局所地図生成部
【技術分野】
【０００１】
本発明は、対象物追跡装置及びプログラムに係り、特に、自車両周辺の対象物を撮像した撮像画像に基づいて、対象物を追跡する対象物追跡装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、自車両と歩行者等の対象物との衝突を回避または緩和するために作動する衝突安全システムにおいては、自車両に対する対象物の衝突位置や衝突時の姿勢等の情報が要求されるため、撮像装置で撮像された画像から対象物を検出して追跡することが行われている。
【０００３】
例えば、追跡対象の物体が道路面に接する空間点の画像座標内の投影を表す画素を抽出し、道路面内の対応する空間点の運動を、道路面内の空間点の位置と道路面内の関係速度とを成分とする少なくとも４次元の状態ベクトルを使用する状態推定器によって追跡する物体追跡の方法が提案されている（特許文献１参照）。
【０００４】
また、歩行者を追跡中、その歩行者が見えなくなったとき、手前に障害物があればその後ろに歩行者が隠れたものと判断し、手前に障害物が無い場合には転倒などの事態が発生したものと判断し、さらに、障害物に隠れたり、転倒したりした歩行者についてそれぞれの時系列的な位置情報に基づいて、その後の位置を推定する衝突危険度判定装置が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−８９３６５号公報
【特許文献２】特開２００８−２１２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、一般的に撮像装置は車室内などの路面から所定高さの位置に取付けられることが多いため、上記の特許文献１に記載の技術では、自車両の直近に存在する対象物の接地位置（例えば、歩行者の足元位置）が、撮影範囲から外れたり、ボンネット等の自車両の一部により遮られたりした場合には、衝突直前まで対象物を追跡することができない、という問題がある。
【０００７】
また、上記の特許文献２に記載の技術では、対象物の時系列的な位置情報に基づく予測位置では、高い精度で対象物を追跡することができない、という問題がある。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の路面上の現在位置を推定することができる対象物追跡装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、 路面から所定高さの位置に取付けられて、自車両周辺の対象物を撮像して該対象物を含む画像を取得する撮像手段と、前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段と、過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段と、前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段と、前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段と、前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段と、を含んで構成されている。
【００１０】
また、本発明の対象物追跡プログラムは、コンピュータを、路面から所定高さの位置に取付けられて、自車両周辺の対象物を撮像する撮像手段で取得された該対象物を含む画像、及び前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段から出力された車両運動情報を取得する取得手段、過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段、前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段、前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段、及び前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段として機能させるためのプログラムである。
【００１１】
本発明の対象物追跡装置及びプログラムによれば、路面から所定高さの位置に取付けられた撮像手段が、自車両周辺の対象物を撮像して対象物を含む画像を取得する。また、車両運動検出手段が、自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する。そして、対象物検出手段が、過去の画像から求めた対象物の路面上の位置、及び車両運動情報に基づいて、対象物の路面上での現在位置を予測し、予測した路面上での現在位置に対応する現在の画像上の位置から対象物を検出する。
【００１２】
そして、第１の位置推定手段が、対象物検出手段で検出された対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における接地位置、及び撮像手段の自車両への取付位置に基づいて、対象物の路面上の現在位置を推定し、第２の位置推定手段が、過去の画像から求めた対象物の路面上の位置、及び現在の画像上の対象物の大きさの過去の画像上の対象物の大きさに対する拡大率に基づいて、対象物の路面上の現在位置を推定し、統合手段が、対象物検出手段で予測された現在位置、第１の位置推定手段で推定された現在位置、及び第２の位置推定手段で推定された現在位置を統合する。
【００１３】
このように、接地位置が撮影範囲内に存在する場合には、接地位置に基づいて対象物の現在位置を推定し、接地位置が撮影範囲内に存在しない場合でも、画像上での対象物の拡大率に基づいて対象物の現在位置を推定するため、対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の位置を推定することができる。
【００１４】
また、前記拡大率を、前記過去の画像から抽出された特徴点の特徴点間の距離と、前記現在の画像から抽出され、かつ前記過去の画像から抽出された特徴点と対応する特徴点の特徴点間の距離との比率、または、前記過去の画像から抽出された複数の特徴点により形成される多角形の面積と、前記現在の画像から抽出され、かつ前記過去の画像から抽出された特徴点と対応する複数の特徴点により形成される多角形の面積との比率とすることができる。このように、特徴点を用いることにより、正確に拡大率を求めることができる。
【００１５】
また、前記第２の位置推定手段は、前記車両運動情報を用いて、前記過去の画像から抽出された特徴点と前記現在の画像から抽出された特徴点との対応付けを行うようにすることができる。これにより、特徴点の対応付けの精度を向上させることができる。
【００１６】
また、前記第２の位置推定手段は、前記現在の画像上での前記対象物のサイズが予め定めた大きさよりも小さい場合には、前記対象物の位置を推定しないようにすることができる。画像上での対象物のサイズが小さい場合には、拡大率の算出に誤差が生じやすく、また特徴点を抽出する場合でも、有効な特徴点の抽出が困難となるため、対象物のサイズが予め定めた大きさよりも小さい場合には、拡大率に基づく対象物の現在位置の推定は行わないようにするものである。
【００１７】
また、前記統合手段は、前記第１の位置推定手段による接地位置の検出精度を示す第１の信頼度、及び前記第２の位置推定手段による前記拡大率の算出精度を示す第２の信頼度による重み付けを行って、前記予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合するようにすることができる。これにより、精度の高い統合結果を得ることができる。
【００１８】
また、前記統合手段の統合結果を、前記対象物と前記自車両との衝突を回避または緩和するための車両制御を行う車両制御システムへ出力する出力手段を更に含み、前記対象物検出手段は、前記車両制御システムによる車両制御が行われているときに前記過去の画像から抽出された対象物候補のうち、前記車両制御システムでの追跡対象となると判定された対象物候補のみを対象物として検出するようにすることができる。このように、車両制御システムでの追跡対象となる対象物のみを追跡することにより、処理時間を早めて、制御の応答性を向上させることができる。
【００１９】
また、前記車両運動情報、及び前記統合手段の統合結果に基づいて、前記自車両の走行軌跡と前記対象物との位置関係を示す局所地図を生成する局所地図生成手段を更に含んで構成することができる。
【００２０】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２１】
以上説明したように、本発明の対象物追跡装置及びプログラムによれば、接地位置が撮影範囲内に存在する場合には、接地位置に基づいて対象物の現在位置を推定し、接地位置が撮影範囲内に存在しない場合でも、画像上での対象物の拡大率に基づいて対象物の現在位置を推定するため、対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の路面上の現在位置を推定することができる、という効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本実施の形態の対象物追跡装置の概略構成を示すブロック図である。
【図２】足元位置に基づく対象物までの距離の算出を説明するための図である。
【図３】足元位置が撮影範囲に含まれていない場合の例として、（Ａ）画角内に足元位置が含まれていない場合、及び（Ｂ）足元位置が遮られている場合を示す図である。
【図４】足元と路面との境界エッジを説明するための図である。
【図５】特徴点間の距離の拡大率を説明するための図である。
【図６】拡大率に基づく対象物までの距離の算出を説明するための図である。
【図７】検出枠と現在位置の推定方法との関係を示す表である。
【図８】本実施の形態の対象物追跡装置における対象物追跡処理ルーチンを示すフローチャートである。
【図９】本実施の形態の対象物追跡装置における通常時の処理ルーチンを示すフローチャートである。
【図１０】本実施の形態の対象物追跡装置におけるシステム作動時の処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、自車両と歩行者との衝突時の衝撃を緩和するために歩行者エアバックのような緩和材を衝突時に作動させる衝突緩和システム（以下、単にシステムともいう）での追跡対象となる歩行者を対象物として追跡する対象物追跡装置に本発明を適用した場合について説明する。
【００２４】
図１に示すように、本実施の形態に係る対象物追跡装置１０は、路面から所定高さの位置で車両（図示省略）に搭載され、かつ、自車両の周辺の対象物を連続して撮像するＣＣＤカメラ等からなる撮像装置１２と、自車両の運動を検出する各種センサからなる車両運動検出部１４と、撮像された撮像画像、取得された車両運動情報に基づいて、対象物である歩行者を追跡する処理を実行するコンピュータ２０とを備えている。
【００２５】
撮像装置１２は、自車両の周辺領域を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、撮像装置１２は、台数や画角については特に限定されるものではなく、任意の構成としてよい。また、撮像装置１２によって出力される画像は、濃淡画像及びカラー画像の何れであってもよい。
【００２６】
車両運動検出部１４は、ジャイロセンサや車速計などの各種センサから構成され、各種センサの出力値により、自車両の速度、ヨーレート、ピッチ角、及び操舵角等の自車両の車両運動情報を検出する。また、介入制動や操舵支援等の車両運動制御が行われている場合には、その車両制御量を取得するようにしてもよい。
【００２７】
コンピュータ２０は、対象物追跡装置１０全体の制御を司るＣＰＵ、後述する対象物追跡プログラム等各種プログラムを記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成において、各構成要素の機能を実現するためのプログラムを記憶媒体であるＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。
【００２８】
このコンピュータ２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ２０は、衝突緩和システムが作動中か否かを判定するシステム作動判定部２２と、システムが作動中ではない場合に、システムでの追跡対象となる歩行者の判定処理を実行する通常時処理部３０と、システム作動時に追跡対象の歩行者の追跡処理を実行するシステム作動時処理部４０と、を含んだ構成で表すことができる。
【００２９】
通常時処理部３０は、撮像装置１２で撮像された撮像画像から、歩行者らしい形状の領域を対象物候補として抽出する対象物候補抽出部３２と、対象物候補を様々な姿勢の歩行者画像から構築した学習モデルと照合して評価値を算出する評価値算出部３４と、対象物候補が衝突緩和システムでの追跡対象であるか否かを判定すると共に、システムでの追跡対象であると判定された場合には、その接地位置に基づいて対象物の位置を算出する対象物判定位置算出部３６と、を含んだ構成で表すことができる。
【００３０】
対象物候補抽出部３２は、撮像画像全体を予め定めた複数種類のサイズの探索ウインドウで各々走査し、探索ウインドウ内の画像が歩行者の形状か否かをパターンマッチング等の処理により判定して、対象物候補を抽出する。なお、画像全体を走査するのではなく、車両運動情報として得られる撮像装置１２の姿勢角等に基づいて、歩行者が存在する可能性が高い範囲を探索範囲として設定した上で、設定された範囲から対象物候補を抽出するようにしてもよい。
【００３１】
評価値算出部３４は、予め構築された学習モデルを用いて、対象物候補の歩行者らしさを示す評価値を算出する。例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の公知の手法を用いることができる。
【００３２】
対象物判定位置算出部３６は、対象物候補抽出部３２で抽出された対象物候補を追跡し、評価値算出部３４で算出された評価値の時系列変化を加味して、システムでの追跡対象か否かを判定する。例えば、システムでの追跡対象となる歩行者の画像の評価値の時系列変化のパターンを予め記憶しておき、このパターンと、対象物候補の評価値の時系列変化のパターンとを比較することで、対象物候補がシステムでの追跡対象となる歩行者か否かを判定する。そして、システムでの追跡対象となる歩行者（対象物）であると判定された場合には、足元が路面に接している接地位置（足元位置）に基づいて、対象物の路面上での位置を算出する。
【００３３】
具体的には、対象物候補の領域を示す探索ウインドウ内の下側領域に対してパターンマッチングを行って足元位置を検知する。そして、図２に示すように、自車両から歩行者までの路面が局所的に平面であると仮定すると、自車両から歩行者までの距離Ｒについて、（１）式の関係式が成り立つ。
【００３４】
【数１】
【００３５】
ただし、Ｈｃは、車両に取り付けられた撮像装置１２の路面からの高さ、θは、撮像装置１２の俯角（撮像装置１２の光軸と水平面のなす角度）、ｙは、撮像画像の横方向をｘ軸、縦方向をｙ軸とした場合の撮像画像上での歩行者の足元位置のｙ座標、ｙｃｅｎｔｅｒは、撮像画像の中心のｙ座標、ｄｙは、ｙ方向の画素間距離、及びｆは、撮像装置１２の焦点距離である。ここで、撮像装置１２は車両に対して固定されているため、撮像装置１２の俯角θ及び高さＨｃは既知となる。従って、撮像画像中で歩行者の足元位置を検知すれば歩行者までの距離Ｒが（１）式より求められる。同様に画像中の歩行者の足元位置のｘ座標に基づいて、歩行者の方位が求められ、距離Ｒと合わせて歩行者の位置を算出できる。
【００３６】
なお、上記では俯角θを固定で既知とした場合について説明したが、車両は道路の凹凸や加減速により上下方向にピッチ変動するため、俯角θを固定値として歩行者の位置を推定したのでは、大きな誤差が生じる場合がある。そこで、車両のピッチ変動に対応するため、撮像された画像から道路の白線やガードレール、建物の水平な稜線などを検出して、これらに基づいて俯角θを推定するようにしてもよい。
【００３７】
システム作動時処理部４０は、現在の対象物の路面上での位置を予測して、対応する現在の撮像画像上の位置に検出枠を設定することで対象物を検出する対象物検出部４２と、検出枠の下側領域が撮影範囲内か否かを判定する検出枠範囲判定部４４と、検出枠のサイズが予め定めた大きさ以上か否かを判定する検出枠サイズ判定部４６と、検出枠範囲判定部４４で検出枠の下側領域が撮影範囲内であると判定された場合に、検出枠内の画像の足元位置に基づいて、対象物の現在位置を推定する第１の位置推定部４８と、検出サイズ判定部４６で検出枠のサイズが予め定めた大きさ以上であると判定された場合に、過去の撮像画像の対象物の大きさに対する現在の撮像画像の対象物の大きさの拡大率に基づいて、対象物の路面上の現在位置を推定する第２の位置推定部５０と、対象物検出部４２で予測された対象物の現在位置、第１の位置推定部４８で推定された対象物の現在位置、及び第２の位置推定部５０で推定された対象物の現在位置を統合して最終的な対象物の現在位置を示す統合結果を出力する結果統合部５２と、統合結果及び車両運動情報に基づいて、自車両の走行軌跡と対象物との位置関係を示す局所地図を生成する局所地図生成部５４と、を含んだ構成で表すことができる。
【００３８】
対象物検出部４２は、現在の撮像画像の１フレーム前の撮像画像から求めた対象物の路面上の位置、及び車両運動情報を取得し、フレーム間の車両の移動量を算出して、対象物の路面上での現在位置を予測する。なお、ここでは、過去の撮像画像として１フレーム前の撮像画像を用いているが、フレーム間隔が特定されれば、これに限定されるものではない。また、車両運動情報に加えて、それまでの追跡情報や車両制御量を用いてもよい。そして、予測された対象物の路面上の現在位置に対応する現在の撮像画像上の位置に、対象物を囲う検出枠を設定する。検出枠のサイズは、前の撮像画像の検出枠または探索ウインドウのサイズ、及びフレーム間の車両の移動量に基づいて求めたり、予測された対象物の路面上の現在位置に対応する現在の撮像画像上の位置の周辺領域でパターンマッチングを行って、歩行者の形状を識別し、識別された歩行者の形状を囲うようなサイズにしたりする。また、予測された対象物の路面上の現在位置に対応する現在の撮像画像上の位置の周辺領域で、通常時処理部３０の評価値算出部３４と同様の処理により、現在の撮像画像における歩行者の存在を検証すると共に、予測された対象物の路面上での現在位置を修正するようにしてもよい。
【００３９】
検出枠範囲判定部４４は、検出枠の下側領域、すなわち歩行者の足元位置が撮影範内か否かを判定する。検出枠の下側領域は、例えば、検出枠の下から１／３の領域のように定めることができる。図３（Ａ）に示すように、撮像装置１２の画角内に足元位置が含まれていない場合や、同図（Ｂ）に示すように、ボンネット等の自車両の一部により足元位置が遮られている場合は、足元位置が撮影範囲に含まれていないと判定される。なお、撮像装置１２の取付位置により、撮像画像上のどの位置にボンネット等が映り込むかということは、事前に把握することができるため、その情報を予め記憶しておくとよい。
【００４０】
検出枠サイズ判定部４６は、検出枠のサイズが予め定めた大きさより大きいか否かを判定する。後述する第２の位置推定部５０で検出枠内の画像から特徴点を抽出するが、検出枠が小さい場合には、有効な特徴点を抽出することができないため、検出枠のサイズが予め定めた大きさより小さい場合には、第２の位置推定部５０による位置推定処理は行わない。なお、基準となる予め定めた大きさは、撮像装置１２の画素数、追跡対象物のサイズ等に基づいて定めておく。
【００４１】
第１の位置推定部４８は、歩行者の足元位置が撮影範囲にある場合に、通常時処理部３０の対象物判定位置算出部３６と同様の処理により、足元位置を用いて対象物の路面上の現在位置を推定する。また、足元位置を検知する際に、歩行者の服装や背景のテクスチャ（色や模様）によって、足元位置の検知の精度は変動する。例えば、図４（Ａ）に示すように、白線上に黒い靴で接地している場合には、足元と路面との境界エッジは明確であり、精度よく足元位置を検知することができる。一方、同図（Ｂ）に示すように、アスファルト上に黒系の色の靴で接地している場合や、同図（Ｃ）に示すように、白線上に白い靴で接地している場合には、足元と路面との境界エッジが明確でなく、正確な足元位置の特定が困難なため、足元位置の検知精度が低下する。
【００４２】
そこで、足元位置の検知精度に対する第１の信頼度ｗＬを算出する。第１の信頼度の指標としては、例えば、足元位置のエッジ強度Ｌ、足元位置のエッジ強度の分散値（エッジの太さ）σＬ、及び予測位置からのずれ量Δｒを用いることができる。例えば、下記（２）式のように、エッジ強度Ｌが強いほど、エッジ強度の分散値σＬが小さいほど、予測位置からのずれ量Δｒが少ないほど値が大きくなる信頼度ｗＬを実験的に設定する。
【００４３】
【数２】
【００４４】
また、それぞれの指標に対する閾値を設定して、それぞれの指標と閾値との比較から予め定めた信頼度を選択するようにしてもよい。
【００４５】
第２の位置推定部５０は、現在の撮像画像の検出枠内、及び１フレーム前の撮像画像の検出枠内または探索ウインドウ内の画像から特徴点を抽出する。特徴点としては、例えば、エッジ点や、複数のエッジが交わるコーナー点を利用したり、色情報が取得できる場合であれば、色情報の変化点を利用したりすることができる。抽出された特徴点をフレーム間で対応付け、１フレーム前の撮像画像から抽出された特徴点の任意の特徴点間の距離と、その特徴点に対応する現在の撮像画像から抽出された特徴点の特徴点間の距離との比率に基づいて、対象物の路面上の現在位置を推定する。
【００４６】
具体的には、図５（Ａ）に示すように、１フレーム前の撮像画像から抽出された複数の特徴点から特徴点Ｐ１及び特徴点Ｐ２を選択して、特徴点Ｐ１と特徴点Ｐ２との間の距離Ｌ１を求める。また、同図（Ｂ）に示すように、現在の撮像画像から抽出された複数の特徴点から、１フレーム前の撮像画像の特徴点Ｐ１及び特徴点Ｐ２に対応する特徴点Ｐ１’及び特徴点Ｐ２’を選択して、特徴点Ｐ１’と特徴点Ｐ２’との間の距離Ｌ２を求める。そして、図６に示すように、Ｌ１及びＬ２に対応する実空間上の距離をＳとすると、下記（３）式の関係が成立し、（３）式を整理して、下記（４）式の関係が導出される。
【００４７】
【数３】
【００４８】
ただし、ｚ１は、１フレーム前の撮像画像から推定された対象物までの距離、ｚ２は、現在の撮像画像から推定すべき対象物までの距離、及びｆは、撮像装置１２の焦点距離である。すなわち、１フレーム前の撮像画像から推定された対象物までの距離ｚ１に、１フレーム前の撮像画像から抽出された特徴点の特徴点間の距離に対する現在の画像から抽出された特徴点の特徴点間の距離の拡大率を乗算することにより、現在の対象物までの距離ｚ２を推定することができる。そして、検出枠内の任意の位置のｘ座標に基づいて、対象物の方位を推定し、推定された距離ｚ２と合わせて、対象物の路面上の推定位置とする。
【００４９】
また、本実施の形態のように、対象物が自車両に比べて移動速度の遅い歩行者のような場合には、フレーム間における相対距離の変化分ΔＲは、自車両の移動量と考えることができる。従って、フレーム間の自車両の移動量を取得できれば、下記（５）式に示すように、１フレーム前の撮像画像から推定された対象物までの距離ｚ１を用いることなく、現在の対象物までの距離ｚ２を推定することができる。
【００５０】
【数４】
【００５１】
なお、上記では、任意の特徴点２点の距離を用いる場合について説明したが、複数の特徴点の組合せから計算した距離の比を平均化したり、３点以上の特徴点で構成される多角形の面積比に基づいて拡大率を計算したりしてもよい。また、複数の特徴点の組合せのうち他の結果との差が大きいものを除いたり、検出枠内の中心に近いほど大きい重みを与えて重み付き平均を計算したりしてもよい。
【００５２】
また、第１の位置推定部４８で第１の信頼度ｗＬを算出したのと同様に、第２の位置推定部５０でも、拡大率の算出精度に対する第２の信頼度ｗＳを算出する。第２の信頼度ｗＳの指標としては、例えば、特徴点の組合せを変えた場合の拡大率の分散値σＳ、特徴点間の距離の平均値μＳ、及び予測位置からのずれ量Δｒを用いることができる。例えば、下記（６）式のように、拡大率の分散値σＳが小さいほど、特徴点間の距離の平均値μＳが大きいほど、予測位置からのずれ量Δｒが少ないほど値が大きくなる信頼度ｗＳを実験的に設定する。
【００５３】
【数５】
【００５４】
また、それぞれの指標に対する閾値を設定して、それぞれの指標と閾値との比較から予め定めた信頼度を選択するようにしてもよい。
【００５５】
結果統合部５２は、対象物検出部４２で予測された対象物の現在位置、第１の位置推定部４８で推定された対象物の現在位置、及び第２の位置推定部５０で推定された対象物の現在位置を統合して、最終的な対象物の路面上の現在位置を推定する。図７に示すように、検出枠の下側領域が撮影範囲内か否か、及び検出枠のサイズが予め定めた大きさより大きいか否かにより、得られる推定位置が下記（ｉ）〜（ｉｖ）のように異なる。
【００５６】
（ｉ）検出枠の下側が撮影範囲内で、サイズが予め定めた大きさより大きい場合
・対象物検出部４２により予測された現在位置
・第１の位置推定部４８により推定された足元位置に基づく推定位置
・第２の位置推定部５０により推定された拡大率に基づく推定位置
（ｉｉ）検出枠の下側が撮影範囲内で、サイズが予め定めた大きさより小さい場合
・対象物検出部４２により予測された現在位置
・第１の位置推定部４８により推定された足元位置に基づく推定位置
（ｉｉｉ）検出枠の下側が撮影範囲外で、サイズが予め定めた大きさより大きい場合
・対象物検出部４２により予測された現在位置
・第２の位置推定部５０により推定された拡大率に基づく推定位置
（ｉｖ）検出枠の下側が撮影範囲外で、サイズが予め定めた大きさより小さい場合
・対象物検出部４２により予測された現在位置
そこで、（ｉ）〜（ｉｖ）のそれぞれの場合に応じて、第１の信頼度ｗＬ、及び第２の信頼度ｗＳを用いて推定位置を統合する。
【００５７】
（ｉ）の場合は、第１の位置推定部４８による足元位置に基づく推定位置ＲＬと、第２の位置推定部５０による拡大率に基づく推定位置ＲＳとを、第１の信頼度ｗＬ、及び第２の信頼度ｗＳを用いて、下記（７）式のように統合する。
【００５８】
【数６】
【００５９】
また、対象物検出部４２による予測位置に対する重みを設定して、（７）式に予測位置の項を追加してもよい。また、各信頼度を予め定めた閾値と比較して、各信頼度が予め定めた閾値より大きい場合に、対応する推定位置を利用するようにしてもよい。
【００６０】
（ｉｉ）の場合は、対象物検出部４２による予測位置ＲＰと、第１の位置推定部４８による足元位置に基づく推定位置ＲＬとを、第１の信頼度ｗＬを用いて、下記（８）式のように統合する。
【００６１】
Ｒ＝ＲＬｗＬ＋ＲＰ（１−ｗＬ） （８）
【００６２】
また、第１の信頼度ｗＬに応じて、下記（９）式のように閾値処理してもよい。
【００６３】
【数７】
【００６４】
（ｉｉｉ）の場合は、第１の位置推定部４８による足元位置に基づく推定位置ＲＬを、第２の位置推定部５０による特徴点間の距離の拡大率に基づく推定位置ＲＳに置き換えて、（ｉｉ）の場合と同様に統合する。
【００６５】
（ｉｖ）の場合は、対象物検出部４２による予測位置ＲＰをそのまま最終的な対象物の推定位置とする。
【００６６】
次に、本実施の形態の対象物追跡装置１０の作用について説明する。撮像装置１２によって、自車両前方の連続撮像が開始されると、コンピュータ２０において、図８に示す対象物追跡処理ルーチンが実行される。
【００６７】
ステップ１００で、撮像装置１２で撮像された撮像画像を取得する。また、撮像画像が撮像されたタイミングに同期して、車両運動検出部１４の各種センサによって検出された車両運動情報を取得する。
【００６８】
次に、ステップ１０２で、現在、衝突緩和システムが作動中か否かを判定する。システム作動中の場合には、ステップ１０４へ移行して、後述するシステム作動時の処理を実行する。一方、システム作動中ではない場合には、ステップ１０６へ移行して、後述する通常時の処理を実行する。
【００６９】
ここで、図９を参照して、対象物追跡処理（図８）のステップ１０６で実行される通常時の処理ルーチンについて説明する。
【００７０】
ステップ１２０で、取得された撮像画像に対して、予め定めたサイズの探索ウインドウで走査し、探索ウインドウ内の画像が歩行者の形状か否かをパターンマッチング等により判定し、マッチングした画像を対象物候補として抽出する。
【００７１】
次に、ステップ１２２で、例えば、ＳＶＭ等の手法により、予め構築された学習モデルを用いて、対象物候補の歩行者らしさを示す評価値を算出する。
【００７２】
次に、ステップ１２４で、上記ステップ１２０で抽出された対象物候補と、過去に抽出された対象物候補とを対応付けることにより対象物候補を追跡し、上記ステップ１２２で算出された評価値の時系列変化を加味して、対象物候補がシステムでの追跡対象か否かを判定する。システムでの追跡対象であると判定された場合には、ステップ１２６へ移行して、対象物である歩行者の足元位置に基づいて、対象物の路面上での現在位置を算出して、リターンする。一方、システムでの追跡対象でないと判定された場合には、そのままリターンする。
【００７３】
次に、図１０を参照して、対象物追跡処理（図８）のステップ１０４で実行されるシステム作動時の処理ルーチンについて説明する。
【００７４】
ステップ１４０で、１フレーム前の撮像画像から求めた対象物の路面上の位置を取得する。具体的には、本ステップが本ルーチンにおける１回目の処理の場合には、通常時の処理（図９）のステップ１２６で算出された位置を取得し、２回目移行の処理の場合には、後述するステップ１５６で統合された推定位置を取得する。
【００７５】
次に、ステップ１４２で、対象物追跡処理（図８）のステップ１００で取得した車両運動情報に基づいて、フレーム間の車両の移動量を算出して、取得した前回位置、及び車両の移動量に基づいて、対象物の路面上での現在位置を予測する。そして、予測された現在位置に対応する現在の撮像画像上での位置に、対象物を囲う検出枠を設定する。
【００７６】
次に、ステップ１４４で、検出枠の下側領域、すなわち歩行者の足元位置が撮影範囲内か否かを判定する。撮影範囲内の場合には、ステップ１４６へ移行し、撮影範囲外の場合には、ステップ１５２へ移行する。
【００７７】
ステップ１４６では、検出枠のサイズが予め定めた大きさより大きいか否かを判定する。大きい場合には、ステップ１４８へ移行し、小さい場合には、ステップ１５０へ移行する。
【００７８】
ステップ１４８では、上記（ｉ）の場合に該当するため、（１）式に従って足元位置に基づく推定位置ＲＬを推定すると共に、（２）式に従って第１の信頼度ｗＬを算出する。また、（４）式または（５）式に従って拡大率に基づく推定位置ＲＳを推定すると共に、（６）式に従って第２の信頼度ｗＳを算出する。
【００７９】
ステップ１５０では、上記（ｉｉ）の場合に該当するため、（１）式に従って足元位置に基づく推定位置ＲＬを推定すると共に、（２）式に従って第１の信頼度ｗＬを算出する。
【００８０】
一方、上記ステップ１４４で検出枠の下側領域が撮影範囲外であると判定されてステップ１５２へ移行した場合には、検出枠のサイズが予め定めた大きさより大きいか否かを判定する。大きい場合には、ステップ１５４へ移行し、小さい場合には、ステップ１５６へ移行する。
【００８１】
ステップ１５４では、上記（ｉｉｉ）の場合に該当するため、（４）式または（５）式に従って拡大率に基づく推定位置ＲＳを推定すると共に、（６）式に従って第２の信頼度ｗＳを算出する。
【００８２】
なお、上記ステップ１５２で否定された場合は、上記（ｉｖ）の場合に該当する。
【００８３】
次に、ステップ１５６で、上記ステップ１４２で予測された現在位置と、上記ステップ１４８、１５０、１５４の各々で推定された推定位置とを統合する。具体的には、上記ステップ１４８から移行した場合には、足元位置に基づく推定位置ＲＬと、拡大率に基づく推定位置ＲＳとを、第１の信頼度ｗＬ、及び第２の信頼度ｗＳを用いて、（７）式に従って統合する。ステップ１５０から移行した場合は、上記ステップ１４２で予測した予測位置ＲＰと、足元位置に基づく推定位置ＲＬとを、第１の信頼度ｗＬを用いて、（８）式に従って統合する。ステップ１５４から移行した場合は、上記ステップ１４２で予測した予測位置ＲＰと、拡大率に基づく推定位置ＲＳとを、第２の信頼度ｗＳを用いて、（８）式のＲＬをＲＳに置き換えた式に従って統合する。上記ステップ１５２で否定されて移行した場合には、予測位置ＲＰをそのまま最終的な対象物の路面上の位置として推定する。
【００８４】
次に、ステップ１５８で、上記ステップ１５６での統合結果、及び車両運動情報に基づいて、自車両の走行軌跡と対象物との位置関係を示す局所地図を生成する。
【００８５】
走行中に、以上のような対象物追跡処理ルーチンが、撮像装置１２で撮像された撮像画像が入力される毎に繰り返し実行されることにより、対象物の追跡が行われ、推定された現在位置に基づいて、衝突緩和システムが作動する。
【００８６】
以上説明したように、本実施の形態の対象物追跡装置によれば、接地位置が撮影範囲内に存在する場合には、接地位置に基づいて対象物の路面上の現在位置を推定し、接地位置が撮影範囲内に存在しない場合でも、画像上での対象物の拡大率に基づいて対象物の路面上での現在位置を推定するため、接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の現在位置を推定することができる。
【００８７】
なお、上記の実施の形態では、検出枠のサイズが予め定めた大きさより大きければ、拡大率に基づく現在位置の推定を行う場合について説明したが、足元位置に基づいて対象物の現在位置を推定できる場合には、その推定結果を優先させて、拡大率に基づく現在位置の推定は省略するようにしてもよい。
【００８８】
また、上記実施の形態では、衝突緩和システムでの追跡対象となる対象物を追跡する場合について説明したが、介入制動や操舵支援等により車両と対象物との衝突を回避するような衝突回避システムに適用してもよい。また、対象物も歩行者に限らず、他車両や自転車等であってもよい。
【符号の説明】
【００８９】
１０ 対象物追跡装置
１２ 撮像装置
１４ 車両運動検出部
２０ コンピュータ
２２ システム作動判定部
３０ 通常時処理部
４０ システム作動時処理部
４２ 対象物検出部
４４ 検出枠範囲判定部
４６ 検出枠サイズ判定部
４８ 第１の位置推定部
５０ 第２の位置推定部
５２ 結果統合部
５４ 局所地図生成部
【特許請求の範囲】
【請求項１】
路面から所定高さの位置に取付けられて、自車両周辺の対象物を撮像して該対象物を含む画像を取得する撮像手段と、
前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段と、
過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段と、
前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段と、
前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段と、
前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段と、
を含む対象物追跡装置。
【請求項２】
前記拡大率を、前記過去の画像から抽出された特徴点の特徴点間の距離と、前記現在の画像から抽出され、かつ前記過去の画像から抽出された特徴点と対応する特徴点の特徴点間の距離との比率、または、前記過去の画像から抽出された複数の特徴点により形成される多角形の面積と、前記現在の画像から抽出され、かつ前記過去の画像から抽出された特徴点と対応する複数の特徴点により形成される多角形の面積との比率とした請求項１記載の対象物追跡装置。
【請求項３】
前記第２の位置推定手段は、前記車両運動情報を用いて、前記過去の画像から抽出された特徴点と前記現在の画像から抽出された特徴点との対応付けを行う請求項２記載の対象物追跡装置。
【請求項４】
前記第２の位置推定手段は、前記現在の画像上での前記対象物のサイズが予め定めた大きさよりも小さい場合には、前記対象物の位置を推定しない請求項１〜請求項３のいずれか１項記載の対象物追跡装置。
【請求項５】
前記統合手段は、前記第１の位置推定手段による接地位置の検出精度を示す第１の信頼度、及び前記第２の位置推定手段による前記拡大率の算出精度を示す第２の信頼度による重み付けを行って、前記予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する請求項１〜請求項４のいずれか１項記載の対象物追跡装置。
【請求項６】
前記統合手段の統合結果を、前記対象物と前記自車両との衝突を回避または緩和するための車両制御を行う車両制御システムへ出力する出力手段を更に含み、
前記対象物検出手段は、前記車両制御システムによる車両制御が行われているときに前記過去の画像から抽出された対象物候補のうち、前記車両制御システムでの追跡対象となると判定された対象物候補のみを対象物として検出する請求項１〜請求項５のいずれか１項記載の対象物追跡装置。
【請求項７】
前記車両運動情報、及び前記統合手段の統合結果に基づいて、前記自車両の走行軌跡と前記対象物との位置関係を示す局所地図を生成する局所地図生成手段を更に含む請求項１〜請求項６のいずれか１項記載の対象物追跡装置。
【請求項８】
コンピュータを、
路面から所定高さの位置に取付けられて、自車両周辺の対象物を撮像する撮像手段で取得された該対象物を含む画像、及び前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段から出力された車両運動情報を取得する取得手段、
過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段、
前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段、
前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段、及び
前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段
として機能させるための対象物追跡プログラム。
【請求項９】
コンピュータを、請求項１〜請求項７のいずれか１項記載の対象物追跡装置を構成する各手段として機能させるための対象物追跡プログラム。
【請求項１】
路面から所定高さの位置に取付けられて、自車両周辺の対象物を撮像して該対象物を含む画像を取得する撮像手段と、
前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段と、
過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段と、
前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段と、
前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段と、
前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段と、
を含む対象物追跡装置。
【請求項２】
前記拡大率を、前記過去の画像から抽出された特徴点の特徴点間の距離と、前記現在の画像から抽出され、かつ前記過去の画像から抽出された特徴点と対応する特徴点の特徴点間の距離との比率、または、前記過去の画像から抽出された複数の特徴点により形成される多角形の面積と、前記現在の画像から抽出され、かつ前記過去の画像から抽出された特徴点と対応する複数の特徴点により形成される多角形の面積との比率とした請求項１記載の対象物追跡装置。
【請求項３】
前記第２の位置推定手段は、前記車両運動情報を用いて、前記過去の画像から抽出された特徴点と前記現在の画像から抽出された特徴点との対応付けを行う請求項２記載の対象物追跡装置。
【請求項４】
前記第２の位置推定手段は、前記現在の画像上での前記対象物のサイズが予め定めた大きさよりも小さい場合には、前記対象物の位置を推定しない請求項１〜請求項３のいずれか１項記載の対象物追跡装置。
【請求項５】
前記統合手段は、前記第１の位置推定手段による接地位置の検出精度を示す第１の信頼度、及び前記第２の位置推定手段による前記拡大率の算出精度を示す第２の信頼度による重み付けを行って、前記予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する請求項１〜請求項４のいずれか１項記載の対象物追跡装置。
【請求項６】
前記統合手段の統合結果を、前記対象物と前記自車両との衝突を回避または緩和するための車両制御を行う車両制御システムへ出力する出力手段を更に含み、
前記対象物検出手段は、前記車両制御システムによる車両制御が行われているときに前記過去の画像から抽出された対象物候補のうち、前記車両制御システムでの追跡対象となると判定された対象物候補のみを対象物として検出する請求項１〜請求項５のいずれか１項記載の対象物追跡装置。
【請求項７】
前記車両運動情報、及び前記統合手段の統合結果に基づいて、前記自車両の走行軌跡と前記対象物との位置関係を示す局所地図を生成する局所地図生成手段を更に含む請求項１〜請求項６のいずれか１項記載の対象物追跡装置。
【請求項８】
コンピュータを、
路面から所定高さの位置に取付けられて、自車両周辺の対象物を撮像する撮像手段で取得された該対象物を含む画像、及び前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段から出力された車両運動情報を取得する取得手段、
過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段、
前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段、
前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段、及び
前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段
として機能させるための対象物追跡プログラム。
【請求項９】
コンピュータを、請求項１〜請求項７のいずれか１項記載の対象物追跡装置を構成する各手段として機能させるための対象物追跡プログラム。
【図１】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図３】
【図４】
【図５】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−６５３３８（Ｐ２０１１−６５３３８Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１４４０２（Ｐ２００９−２１４４０２）
【出願日】平成２１年９月１６日（２００９．９．１６）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１６日（２００９．９．１６）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]