移動体検出装置、移動体検出システム、コンピュータプログラム及び移動体検出方法
【課題】人手を介さずに非車両パターンの収集を自動的に行うとともに収集した非車両パターンを用いて車両などの移動体を高精度に検出することができる移動体検出装置、移動体検出システム、コンピュータプログラム及び移動体検出方法を提供する。
【解決手段】負例特徴量算出部１０８は、時刻ｔから所定時間Ｔｓ経過後の時刻（ｔ＋Ｔｓ）での撮像画像上で時刻ｔでの撮像画像上で特定された移動体候補領域の対応領域の画素値に基づく特徴量を算出する。負例類似度算出部１０９は、移動体候補領域の特徴量と対応領域の特徴量との類似度を算出する。負例登録部１１０は、算出した類似度が所定の閾値Ｓ以上である場合、移動体候補領域を非車両パターンとして登録する。
【解決手段】負例特徴量算出部１０８は、時刻ｔから所定時間Ｔｓ経過後の時刻（ｔ＋Ｔｓ）での撮像画像上で時刻ｔでの撮像画像上で特定された移動体候補領域の対応領域の画素値に基づく特徴量を算出する。負例類似度算出部１０９は、移動体候補領域の特徴量と対応領域の特徴量との類似度を算出する。負例登録部１１０は、算出した類似度が所定の閾値Ｓ以上である場合、移動体候補領域を非車両パターンとして登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置、該移動体検出装置を備える移動体検出システム、前記移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法に関する。
【背景技術】
【０００２】
路側インフラ装置と車載装置とが、有線又は無線による路車間通信手段により情報を交換し、各装置が単独では実現できなかった機能を実現させるシステムが検討されている。特に、車両の運転者からは死角となる場所に存在する車両又は歩行者を検出した検出情報をインフラ側より車両側に提供することにより事故を抑止する路車協調型安全運転支援システムの検討が進められている。
【０００３】
このようなシステムを実現するための主要技術としては、車両の位置情報、自動車、二輪車若しくは歩行者等の車種情報、又は車両等の移動速度若しくは移動方向等を検出するセンサが必要である。計測範囲の広さ、製品寿命、コスト又は性能のバランスなどを考慮すると、画像処理方式のセンサが有力である。この画像処理方式のセンサ（以下、「車両センサ」と称する。）の主要機能である車両検出においては、環境変化が存在する任意の計測地点において高精度な車両検出を実現しなければならない。
【０００４】
例えば、高精度な車両検出を実現する方法として、道路画像から車両をオブジェクトとして検出し、サポートベクターマシン（ＳＶＭ）、あるいはブースティング（Boosting）などに代表される車両・非車両パターンのサンプル学習を通じて、車両・非車両パターンに対する判定基準（境界基準）を生成するパターン認識技術を利用した車両追跡装置が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−９２２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、車両センサを様々な地点に設置することを想定して、各地点で生じ得る様々な非車両パターンのすべてを予め網羅して準備することは極めて困難である。そこで、地点毎に生じ得る非車両パターンを車両センサの設置地点毎に収集し、収集した非車両パターンに基づいて車両センサの判定基準を適宜修正又は改善する方法が考えられる。しかし、各地に設置された車両センサ毎にオペレータに車両センサの判定基準を修正させることは、多大な労力及び莫大なコストを必要とするため現実的ではない。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、人手を介さずに非車両パターン（移動体判定情報）の収集を自動的に行うとともに収集した非車両パターンを用いて車両などの移動体を高精度に検出することができる移動体検出装置、該移動体検出装置を備える移動体検出システム、前記移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１態様に係る移動体検出装置は、移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置において、第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定する特定手段と、前記移動体候補領域の画素値に基づく特徴量を算出する第１特徴量算出手段と、前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出する第２特徴量算出手段と、前記第１特徴量算出手段及び第２特徴量算出手段で算出した特徴量の類似度を算出する類似度算出手段と、該類似度算出手段で算出した類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録する登録手段とを備えることを特徴とする。
【０００９】
本発明の第２態様に係る移動体検出装置は、第１態様において、前記第２特徴量算出手段は、前記第２撮像時点から第２所定時間経過後の第３撮像時点までの間に得られた複数の撮像画像上それぞれの対応領域の特徴量を算出するようにしてあり、前記類似度算出手段は、前記移動体候補領域の特徴量と各対応領域の特徴量との類似度を算出するようにしてあり、前記登録手段は、前記類似度算出手段で算出した類似度が前記第１閾値以上である対応領域の数が所定値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するように構成してあることを特徴とする。
【００１０】
本発明の第３態様に係る移動体検出装置は、第１態様又は第２態様において、前記特定手段で任意の撮像時点で得られた撮像画像に基づいて特定した移動体候補領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡する追跡手段と、該追跡手段で前記第２撮像時点と第１撮像時点との時間差以上の間追跡が行われた場合、前記移動体候補領域の特徴量を破棄する破棄手段とを備えることを特徴とする。
【００１１】
本発明の第４態様に係る移動体検出装置は、第１態様乃至第３態様のいずれか１つにおいて、前記特定手段は、１又は複数の移動体候補領域を特定するようにしてあり、前記登録手段は、前記移動体候補領域毎に、撮像画像上の位置及び大きさが前記移動体候補領域と同等の領域に関連付けて該移動体候補領域の特徴量を移動体判定情報として登録するように構成してあることを特徴とする。
【００１２】
本発明の第５態様に係る移動体検出装置は、第４態様において、前記特定手段は、任意の撮像時点で得られた撮像画像に基づいて移動体候補領域を特定するようにしてあり、前記第１特徴量算出手段は、前記移動体候補領域の特徴量を算出するようにしてあり、前記類似度算出手段は、前記移動体候補領域の特徴量と該移動体候補領域に関連付けられた領域に登録された移動体判定情報の特徴量との類似度を算出するようにしてあり、算出した類似度が所定の第２閾値以上である移動体判定情報が存在した場合、前記移動体候補領域を非移動体として検出する検出手段を備えることを特徴とする。
【００１３】
本発明の第６態様に係る移動体検出装置は、第５態様において、前記検出手段は、算出した類似度が所定の第２閾値以上である移動体判定情報が存在しない場合、前記移動体候補領域を移動体として検出するように構成してあることを特徴とする。
【００１４】
本発明の第７態様に係る移動体検出システムは、前述の第１態様に係る移動体検出装置と、撮像した撮像画像を前記移動体検出装置へ出力する撮像装置とを備えることを特徴とする。
【００１５】
本発明の第８態様に係るコンピュータプログラムは、コンピュータに、移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出させるためのコンピュータプログラムにおいて、コンピュータに、第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定するステップと、前記移動体候補領域の画素値に基づく特徴量を算出するステップと、前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出するステップと、算出した特徴量の類似度を算出するステップと、算出した類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するステップとを実行させることを特徴とする。
【００１６】
本発明の第９態様に係る移動体検出方法は、移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置による移動体検出方法おいて、第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定するステップと、前記移動体候補領域の画素値に基づく特徴量を算出するステップと、前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出するステップと、算出された特徴量の類似度を算出するステップと、算出された類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するステップと、登録された移動体判定情報を用いて移動体を検出するステップとを含むことを特徴とする。
【００１７】
第１態様、第８態様及び第９態様にあっては、第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定する。移動体は、例えば、自動車又は二輪車などの車両である。移動体候補領域の特定は、パターン認識技術を用いてもよく、あるいは画像中の画素の変化、例えば、エッジ点などの情報に基づいて特定することができる。特定した移動体候補領域の画素値に基づく特徴量を算出する。特徴量は、例えば、移動体候補領域を所定のサイズ（例えば、１６×１６の画素ブロック）に変換して、各画素値を２５６次元ベクトルとして表すことができる。また、特徴量は画素値に限定されるものではなく、画素ブロック内の各画素の勾配に基づくＨＯＧ（Histograms of Oriented Gradients）特徴量などを用いることもできる。
【００１８】
そして、第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における移動体候補領域の対応領域の画素値に基づく特徴量を算出する。対応領域の特徴量は、移動体候補領域の特徴量と同様の方法で求めることができる。第１所定時間は、例えば、通常、車両が信号待ちなどで停止する停止時間と考えられる時間以上の時間であり、例えば、１２０秒〜１５０秒程度とすることができる。移動体候補領域の特徴量と対応領域の特徴量との類似度を算出する。類似度は、例えば、特徴量を２５６次元ベクトルとすると、両方のベクトルで表される点の２５６次元のユークリッド空間でのユークリッド距離の大小（小さいほど類似度が大きい）で求めることができる。また、両方のベクトルのなす角θの余弦（ｃｏｓθ）であるコサイン類似度を用いることもできる。
【００１９】
算出した類似度が所定の第１閾値以上である場合、移動体候補領域の特徴量を移動体判定情報（例えば、非車両パターン）として登録する。すなわち、第１撮像時点で撮像して得られた第１撮像画像上の移動体候補領域の特徴量と、車両の停止時間と考えられる時間以上経過後の第２撮像時点で撮像して得られた第２撮像画像上の対応領域の特徴量とが類似しているので、移動体候補領域は、車両を撮像したものではなく、非車両パターンとして登録する。なお、非車両パターン（移動体判定情報）として登録するのは、移動体候補領域の特徴量、座標（ｘ、ｙ）、大きさ（高さ及び幅）などである。上述の自動収集処理により、撮像を適宜繰り返すだけで人手を介することなく非車両パターンを自動的に収集することが可能となる。そして、登録した移動体判定情報（非車両パターン）を用いて移動体を検出することにより、高精度に移動体（例えば、車両など）を検出することができる。
【００２０】
第２態様にあっては、第２撮像時点から第２所定時間（例えば、３０秒程度）経過後の第３撮像時点までの間に得られた複数の撮像画像上それぞれの対応領域の特徴量を算出し、移動体候補領域の特徴量と各対応領域の特徴量とのそれぞれの類似度を算出する。そして、算出した類似度が第１閾値以上である対応領域の数が所定値（例えば、２）以上である場合、移動体候補領域の特徴量を移動体判定情報（例えば、非車両パターン）として登録する。所定値は、第２撮像時点から第３撮像時点までの間に、移動体候補領域の特徴量と類似する特徴量の車両が偶然に移動体候補領域と同じ位置に存在すると考えられる回数（例えば、１回）を超える数値である。これにより、第２撮像時点から第３撮像時点までの間に偶然に移動体候補領域と同じ位置に存在する実際の車両の特徴量を非車両パターンとして誤って登録することを防止し、より精度よく非車両パターンを収集することができる。
【００２１】
第３態様にあっては、任意の撮像時点で得られた撮像画像に基づいて特定した移動体候補領域の当該撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡する。追跡処理は、例えば、パターンマッチング、パーティクルフィルタなどのトラッキング技術を用いることができる。そして、第２撮像時点と第１撮像時点との時間差以上の間追跡が行われた場合、移動体候補領域の特徴量を破棄する。すなわち、第２撮像時点と第１撮像時点との時間差以上の間、当該移動体候補領域の追跡が行われた場合には、当該移動体候補領域は、実際の車両を撮像したものであると判定することができるので、非車両パターンとして登録することなく破棄する。これにより、本来、車両の特徴量であるものを非車両パターンとして誤って登録されることを防止でき、収集する非車両パターンの精度を向上させることができる。
【００２２】
第４態様にあっては、移動体候補領域毎に、撮像画像上の位置及び大きさが移動体候補領域と同等の領域に関連付けて当該移動体候補領域の特徴量を移動体判定情報として登録する。すなわち、移動体候補領域の特徴量等を移動体判定情報（非車両パターン）として登録する場合、移動体候補領域毎に登録する。すなわち、移動体検出を行う際の車両・非車両の判定は、登録した領域（移動体候補領域の座標、大きさ）でのみ行う。非車両パターンとして代表的な建物の影、木の影などは、ほぼ同じ領域で局所的に存在するので、撮像画像全体に亘って非車両パターンであるか否かを判定しなくても非車両パターンとして登録した領域だけを判定することにより、十分車両・非車両の判定を行うことができ、撮像画像全体に亘って処理する場合に比べて処理時間を短くして、高速処理を実現することができる。また、仮に車両・非車両の判定が誤ったとしても（内部エラーが生じたとしても）、影響が生じるのは非車両パターンとして登録した領域であるので、内部エラーに対するロバスト性が得られる。
【００２３】
第５態様にあっては、任意の撮像時点で得られた撮像画像に基づいて移動体候補領域を特定し、特定した移動体候補領域の特徴量を算出する。移動体候補領域の特徴量と当該移動体候補領域に関連付けられた領域に登録された移動体判定情報（例えば、非車両パターン）の特徴量との類似度を算出し、算出した類似度が所定の第２閾値以上である移動体判定情報（非車両パターン）が存在した場合、当該移動体候補領域を非移動体として検出する。自動収集処理により得られた移動体判定情報（非車両パターン）を用いることにより、移動体でないものを移動体として誤って検出することを防止して、移動体を高精度に検出することができる。
【００２４】
第６態様にあっては、算出した類似度が所定の第２閾値以上である移動体判定情報が存在しない場合、当該移動体候補領域を移動体として検出する。自動収集処理により得られた移動体判定情報（非車両パターン）を用いることにより、移動体を高精度に検出することができる。
【００２５】
第７態様にあっては、人手を介さずに非車両パターン（移動体判定情報）の収集を自動的に行うとともに収集した非車両パターンを用いて車両などの移動体を高精度に検出することができる移動体検出システムを実現することができる。
【発明の効果】
【００２６】
本発明によれば、人手を介さずに非車両パターン（移動体判定情報）の収集を自動的に行うとともに収集した非車両パターンを用いて車両などの移動体を高精度に検出することができる。
【図面の簡単な説明】
【００２７】
【図１】本実施の形態の移動体検出システムの構成の一例を示すブロック図である。
【図２】移動体候補領域の一例を示す模式図である。
【図３】車両検出処理と車両追跡処理との関係を例示するタイムチャートである。
【図４】移動体候補領域と対応領域との関係を示す説明図である。
【図５】非車両パターンの登録方法の一例を示す説明図である。
【図６】非車両パターンの登録方法の他の例を示す説明図である。
【図７】登録した非車両パターンの一例を示す説明図である。
【図８】本実施の形態の車両検出装置による負例の自動収集の処理手順を示すフローチャートである。
【図９】本実施の形態の車両検出装置の自動学習結果の一例を示す説明図である。
【図１０】本実施の形態の車両検出装置の自動学習結果の他の例を示す説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は本実施の形態の移動体検出システムの構成の一例を示すブロック図である。移動体検出システムは、移動体検出装置としての車両検出装置１００、撮像装置２００などを備える。なお、図１の例では、１つの撮像装置２００を図示しているが、撮像装置２００は複数設けることもできる。すなわち、道路の複数の地点それぞれに撮像装置２００を設置し、撮像装置２００で撮像した撮像画像を車両検出装置１００へ送信（出力）することができる。また、本実施の形態では、移動体とは、例えば、自動車又は二輪車などの車両であるが、歩行者などの移動体を含めることもできる。
【００２９】
車両検出装置１００は、画像入力部１０１、車両検出部１０２、車両追跡部１１２、負例収集部１０７、負例記憶部１１１などを備える。なお、本実施の形態では、負例とは、撮像装置２００で撮像して得られた撮像画像に基づいて、路面などの非車両のものを車両であると判定して検出した誤検出パターンをいう。また、車両パターンは、車両であると判定して登録された領域の特徴量、当該領域の撮像画像上の座標（ｘ、ｙ）、領域の大きさ（高さ、幅）などの情報を含む。また、非車両パターンは、非車両であると判定して登録された領域の特徴量、当該領域の撮像画像上の座標（ｘ、ｙ）、領域の大きさ（高さ、幅）などの情報を含む。
【００３０】
車両検出部１０２は、車両候補領域特定部１０３、特徴量算出部１０４、車両類似度算出部１０５、車両判定部１０６などを備える。また、負例収集部１０７は、負例特徴量算出部１０８、負例類似度算出部１０９、負例登録部１１０などを備える。
【００３１】
本実施の形態の車両検出装置１００は、路面などの非車両パターンに対して車両検出部１０２で車両として誤検出したことを自動的に認識して負例として収集すること、実際には車両であるパターンを誤って非車両パターンとして収集する事態を自動的に回避すること、収集した負例に基づいて車両検出部１０２の車両判定基準を修正して判定精度を向上させること、及び車両検出部１０２での車両検出処理と車両追跡部１１２での車両追跡処理とを並行して実施した場合に全体の処理のリアルタイム性を維持することを充足する自動学習機能を実現する。なお、自動学習機能とは、車両検出の判定基準を人の判断を介することなく自動的に修正することにより、車両検出の判定の誤りを低減する機能である。
【００３２】
画像入力部１０１は、画像メモリ（不図示）などを備え、撮像装置２００から入力された撮像画像（画像データ）を、１フレーム単位に同期させて画像メモリに記憶する。なお、１フレームは、例えば、１００ｍｓであるが、これに限定されるものではない。画像メモリに記憶された撮像画像は、車両検出部１０２により読み出される。
【００３３】
車両候補領域特定部１０３は、撮像画像に基づいて移動体候補領域を特定する特定手段としての機能を有する。移動体候補領域は、通常画像処理で行われている適宜の処理を採用することができる。例えば、撮像画像におけるエッジ点を検出し、検出したエッジ点で構成されるエッジ画像において隣接するエッジ点をグループ化するエッジグループ化処理などを行ってエッジグループを囲む矩形領域を移動体候補領域として特定することができる。なお、任意の撮像時点で得られた撮像画像において、複数の移動体候補領域が特定される場合もある。
【００３４】
特徴量算出部１０４は、移動体候補領域の特徴量を算出する特徴量算出手段としての機能を有する。特徴量算出部１０４は、移動体候補領域の撮像画像上での大きさに関わらず、移動体候補領域を所定の大きさ（例えば、１６×１６画素）にリサイズした上で特徴量として、２５６次元ベクトルを算出する。特徴量は、１６×１６画素の２５６画素値を有する２５６次元ベクトルである。なお、特徴量は、画素値に限定されるものではなく、他の特徴量を用いることもできる。例えば、１６×１６画素内の各画素の勾配を求め、勾配方向の量子化（例えば、９方向）、度数分布などを特徴量とするＨＯＧ（Histograms of Oriented Gradients）特徴量などを用いることもできる。なお、特徴量を算出する際の画素ブロックの大きさは、１６×１６画素に限定されるものではない。
【００３５】
車両類似度算出部１０５は、車両検出処理において、特定した移動体候補領域（車両候補領域）の特徴量と、負例記憶部１１１に記憶（登録）された負例の特徴量との類似度を算出する。類似度は、例えば、特徴量を２５６次元ベクトルとすると、両方のベクトルで表される点の２５６次元のユークリッド空間でのユークリッド距離の大小（小さいほど類似度が大きい）で求めることができる。また、両方のベクトルのなす角θの余弦（ｃｏｓθ）であるコサイン類似度を用いることもできる。
【００３６】
車両判定部１０６は、移動体候補領域の特徴量と負例（非車両を車両であると誤検出したパターン）の特徴量との類似度が所定の閾値以上であれば、移動体候補領域は非車両であると判定し、類似度が所定の閾値未満であれば、車両であると判定する。
【００３７】
車両検出部１０２は、車両として検出された移動体候補領域を「車両」と判定されたパターンとして車両追跡部１１２へ出力する。また、車両検出部１０２は、車両として検出されたパターンを「誤検出パターン候補」（負例候補）として負例収集部１０７へ出力する。この場合車両検出部１０２から負例収集部１０７へ出力されるのは、「誤検出パターン候補」としての移動体候補領域の領域ＩＤ、領域の座標（ｘ、ｙ）、領域の大きさ（高さ、幅）、及び移動体候補領域の特徴量などである。以降、車両検出部１０２から負例収集部１０７へ出力される「誤検出パターン候補」をパターンＡと称する。
【００３８】
図２は移動体候補領域の一例を示す模式図である。任意の撮像時点で撮像された撮像画像上で車両と判定された移動体候補領域は、パターンＡ（誤検出パターン候補）として、領域ＩＤ、領域の左上の座標（ｘ、ｙ）、領域の大きさ（高さｈ、幅ｗ）、特徴量（例えば、２５６の画素値からなる２５６次元ベクトル）が特定される。
【００３９】
車両追跡部１１２は、任意の撮像時点で得られた撮像画像に基づいて特定した移動体候補領域の当該撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡する追跡手段としての機能を有する。より具体的には、車両追跡部１１２は、車両検出部１０２で任意の時点での撮像画像上で車両として検出された移動体候補領域を当該任意の時点以降撮像された撮像画像上で追跡する。追跡処理は、例えば、パターンマッチング、パーティクルフィルタなどのトラッキング技術を用いることができる。
【００４０】
図３は車両検出処理と車両追跡処理との関係を例示するタイムチャートである。図３に示すように、時刻ｔ（時刻ｔでのフレーム）で車両が検出されたとすると、当該車両を表す移動体候補領域（車両領域）を時刻ｔ以降の時刻（フレーム）での撮像画像上で追跡する。また、時刻ｔ＋１（時刻ｔ＋１でのフレーム）で別の車両が検出されたとすると、当該車両を表す移動体候補領域（車両領域）を時刻ｔ＋１以降の時刻（フレーム）での撮像画像上で追跡する。以降、同様である。なお、追跡処理は、検出した車両が撮像画像上から存在しなくなるまで継続される。
【００４１】
負例特徴量算出部１０８は、移動体候補領域の対応領域の画素値に基づく特徴量を算出する特徴量算出手段としての機能を有する。本実施の形態において、対応領域は、当該移動体候補領域と同等の領域である。同等の対応領域とは、例えば、時刻ｔ（第１撮像時点）での撮像画像上で車両と検出された移動体候補領域（パターンＡ）があるとすると、時刻ｔ（第１撮像時点）から所定時間Ｔｓ経過後の時刻（ｔ＋Ｔｓ）（第２撮像時点）で得られた撮像画像上（第２撮像画像上）で位置及び大きさが移動体候補領域と同等の領域である。対応領域は、移動体候補領域（パターンＡ）と同一の領域（座標、大きさが同じ領域）であるが、必ずしも同一領域でなくてもよく、例えば、移動体候補領域の全部又は一部を含む近傍の領域でもよく、また移動体候補領域よりも大きい領域でもよく、あるいは小さい領域でもよい。類似度を算出するために十分な程度の精度が得られれば、同一領域である必要はない。
【００４２】
所定時間Ｔｓは、例えば、通常、車両が信号待ちなどで停止する停止時間と考えられる時間以上の時間であり、例えば、１２０秒〜１５０秒程度とすることができる。
【００４３】
図４は移動体候補領域と対応領域との関係を示す説明図である。図４に示すように、時刻ｔにおいて、領域ＩＤ＝ｋ、座標（ｘ、ｙ）、高さｈ、幅ｗの移動体候補領域（パターンＡ）が特定されたとすると、対応領域は、例えば、時刻ｔ＋Ｔｓにおける撮像画像上で移動体候補領域と同じ座標（ｘ、ｙ）、高さｈ、幅ｗの領域である。
【００４４】
より具体的には、負例特徴量算出部１０８は、時刻ｔ（第１撮像時点）での撮像画像上で車両と検出された移動体候補領域（パターンＡ）があるとすると、時刻ｔ（第１撮像時点）から第１所定時間Ｔｓ経過後の時刻（ｔ＋Ｔｓ）（第２撮像時点）で得られた撮像画像上（第２撮像画像上）で位置及び大きさが移動体候補領域と同等の対応領域の画素値に基づく特徴量を算出する。
【００４５】
負例類似度算出部１０９は、上述の特徴量の類似度を算出する類似度算出手段としての機能を有する。類似度は、例えば、特徴量を２５６次元ベクトルとすると、両方のベクトルで表される点の２５６次元のユークリッド空間でのユークリッド距離の大小（小さいほど類似度が大きい）で求めることができる。また、両方のベクトルのなす角θの余弦（ｃｏｓθ）であるコサイン類似度を用いることもできる。
【００４６】
負例登録部１１０は、負例類似度算出部１０９で算出した類似度が所定の閾値Ｓ（第１閾値）以上である場合、移動体候補領域（パターンＡ）の特徴量を負例、すなわち非車両パターン（移動体判定情報）として登録する。すなわち、時刻ｔ（第１撮像時点）で撮像して得られた撮像画像上の移動体候補領域の特徴量と、車両の停止時間と考えられる時間以上経過後の時刻ｔ＋Ｔｓ（第２撮像時点）で撮像して得られた撮像画像上の対応領域の特徴量とが類似しているので、移動体候補領域は、車両を撮像したものではなく、非車両パターンとして登録する。
【００４７】
なお、負例、すなわち非車両パターン（移動体判定情報）として登録するのは、移動体候補領域（パターンＡ）の特徴量、座標（ｘ、ｙ）、大きさ（高さ及び幅）などである。上述の自動収集処理により、撮像を適宜繰り返すだけで人手を介することなく非車両パターンを自動的に収集することが可能となる。そして、登録した移動体判定情報（非車両パターン）を用いて移動体を検出することにより、高精度に移動体（例えば、車両など）を検出することができる。
【００４８】
また、非車両パターン（負例）の登録は、以下の方法で行うこともできる。図５は非車両パターンの登録方法の一例を示す説明図である。図５に示すように、時刻ｔ＋Ｔｓ（第２撮像時点）から所定時間（例えば、３０秒程度）経過後の時刻ｔ＋Ｔｕ（第３撮像時点）までの間（Ｔｕ−Ｔｓ）に得られた複数の撮像画像上それぞれの対応領域の特徴量を算出し、時刻ｔで車両と検出した際のパターンＡ（移動体候補領域）の特徴量と各対応領域の特徴量とのそれぞれの類似度を算出する。そして、算出した類似度が閾値Ｓ以上である対応領域の数が所定値Ｃ（例えば、２）以上である場合、パターンＡ（移動体候補領域）の特徴量を非車両パターン（負例）として登録する。
【００４９】
所定値Ｃは、時刻ｔ＋Ｔｓ（第２撮像時点）から時刻ｔ＋Ｔｕ（第３撮像時点）までの間に、移動体候補領域の特徴量と類似する特徴量の車両が偶然に移動体候補領域と同じ位置に存在すると考えられる回数（例えば、１回）を超える数値である。これにより、時刻ｔ＋Ｔｓから時刻ｔ＋Ｔｕまでの間に偶然に移動体候補領域と同じ位置に存在する実際の車両の特徴量を非車両パターンとして誤って登録することを防止し、より精度よく非車両パターンを収集することができる。
【００５０】
また、時刻ｔで移動体候補領域（パターンＡ）が特定され車両として検出された場合、時刻ｔから検出した車両の追跡処理が開始される。当該追跡処理の情報を参照して、車両の検出処理の精度を高めるとともに、非車両パターン（負例）の収集のタイミングを制御して誤った負例が収集されることを抑制する。
【００５１】
例えば、時刻ｔ＋Ｔｓ（第２撮像時点）と時刻ｔ（第１撮像時点）との時間差Ｔｓ以上の間追跡が行われた場合、移動体候補領域の特徴量を破棄する。すなわち、時刻ｔ＋Ｔｓと時刻ｔとの時間差Ｔｓ以上の間、当該移動体候補領域の追跡が行われた場合には、当該移動体候補領域は、実際の車両を撮像したものであると判定することができるので、非車両パターンとして登録することなく破棄する。これにより、本来、車両の特徴量であるものを非車両パターンとして誤って登録されることを防止でき、収集する非車両パターンの精度を向上させることができる。
【００５２】
図６は非車両パターンの登録方法の他の例を示す説明図である。図６に示すように、時刻ｔ（第１撮像時点）で車両と検出した際のパターンＡ（移動体候補領域）を特定した場合、時刻ｔから所定の時間だけ経過した複数の時間帯を設定する。例えば、時刻ｔから時刻ｔ＋Ｔ１までの時間、時刻ｔ＋Ｔ１から時刻ｔ＋Ｔ２までの時間の如く、各時間帯で撮像した１又は複数の撮像画像上の対応領域の特徴量とパターンＡとの特徴量の類似度が閾値Ｓ以上であるパターンが存在したとき、パターンＡを非車両パターン（負例）として登録する。時間帯は、例えば、３０秒程度とすることができる。
【００５３】
複数の時間帯に分け、各時間帯でパターンＡと類似するパターンだけを非車両パターンとして登録するので、偶然にパターンＡと同じ領域に停止している車両が存在していたとしても、複数の時間帯に亘って存在することはほとんどないので、車両を表すパターンを非車両として誤って登録することを防止することができる。
【００５４】
負例登録部１１０は、複数の移動体候補領域（パターンＡ）が特定されている場合、移動体候補領域毎に、撮像画像上の位置及び大きさが移動体候補領域と同等の領域に関連付けて当該移動体候補領域（パターンＡ）を非車両パターン（負例）として負例記憶部１１１に登録する。すなわち、パターンＡの特徴量等を非車両パターン（負例）として登録する場合、パターンＡの領域毎に登録する。
【００５５】
図７は登録した非車両パターンの一例を示す説明図である。図７に示すように、非車両パターン（負例）は、領域毎に登録される。例えば、ＩＤが１の非車両パターンは、領域の左上の座標が（ｘ１、ｙ１）であり、領域の高さがｈ１であり、幅がｗ１であり、特徴量（例えば、２５６次元ベクトル）がｖ１である。ＩＤが１の非車両パターンは、座標が（ｘ１、ｙ１）、領域の高さがｈ１、幅がｗ１のパターンＡ（移動体候補領域）の特徴量と類似すると判定されたものである。なお、他の非車両パターンも同様である。
【００５６】
パターンＡの領域毎に非車両パターン（負例）を登録することにより、撮像画像に基づいて車両を検出する際の車両・非車両の判定は、登録した領域（非車両パターンの領域の座標、大きさ）に対してのみ行うことになり、撮像画像全体に亘って判定処理を行う必要がない。非車両パターンとして代表的な建物の影、木の影などは、ほぼ同じ領域で局所的に存在するので、撮像画像全体に亘って非車両パターンであるか否かを判定しなくても非車両パターンとして登録した領域だけを判定することにより、十分車両・非車両の判定を行うことができ、撮像画像全体に亘って処理する場合に比べて処理時間を短くして、高速処理を実現することができる。また、仮に車両・非車両の判定が誤ったとしても（内部エラーが生じたとしても）、影響が生じるのは非車両パターンとして登録した領域であるので、内部エラーに対するロバスト性が得られる。
【００５７】
上述したアルゴリズムは、画像中の局所領域に頻発する誤検出パターンを主なターゲットとして収集することを意図している。そのパターンが特定の局所領域に頻発しているのならば、以降の時刻でも同一の領域で同一のパターンが頻発している可能性が高い。一方、車両が走行するエリアに同一の車両が長時間停止し続けること、及び同一領域に同一の車両が同一のタイミングで複数回出現することは、交通事故の発生時等の異常事態を除いてほぼあり得ない。したがって、通常の車両の停止時間として考え得る時間以上の値をＴｓに設定することで、車両を誤検出パターンとして誤収集することを回避しながら頻発する誤検出パターンを収集できる。
【００５８】
また、類似パターンの発生回数下限として、所定値Ｃを時刻ｔ＋Ｔｓから時刻ｔ＋Ｔｕまでの間に、誤検出パターン候補（パターンＡ）と同種の走行車両が収集条件を判定するタイミングで同一領域に偶然位置していると考えられる回数以上の値として設定することにより、非車両パターン（負例）の誤収集の確率を極めて低く抑えることができる。
【００５９】
類似度に２５６次元画素値の正規化相関を用い、時間Ｔｓとして１２００フレーム（１フレームが１００ｍｓ）、時間Ｔｕとして１５００フレーム、類似度の閾値Ｓとして０．９９、所定値Ｃを２として行った実験では、本実施の形態の負例の自動収集方式により、種々のテストシーンに対して誤検出パターン（負例）を誤りなく収集することができた。
【００６０】
なお、実際には誤検出パターン候補（パターンＡ）は一度に１個以上用意することを想定しているが、収集処理自体の計算量は、確保している誤検出パターン候補の数に応じた、２５６次元ベクトルに関する類似度が大半であるので、一度に確保する誤検出パターン候補の数の上限を制限すれば全体の処理のリアルタイム性の確保は容易である。
【００６１】
図８は本実施の形態の車両検出装置１００による負例の自動収集の処理手順を示すフローチャートである。なお、以下のフローチャートの説明では、便宜上車両検出装置１００を簡略化して装置１００と称する。装置１００は、撮像画像を取得し（Ｓ１１）、時刻ｔの撮像画像上で車両としてパターンＡを検出する（Ｓ１２）。なお、パターンＡは、移動体候補領域が車両であると判定された場合の移動体候補領域そのものである。
【００６２】
装置１００は、検出したパターンＡを誤検出パターン候補（負例候補）として、パターンＡの領域ＩＤ、領域の座標、大きさ及び特徴量を記憶する（Ｓ１３）。装置１００は、時刻ｔ＋Ｔｓから時刻ｔ＋Ｔｕの間の撮像画像でパターンＡと同じ領域である対応領域の特徴量を算出する（Ｓ１４）。
【００６３】
装置１００は、パターンＡの特徴量との類似度が閾値Ｓ以上のパターン（対応領域）が所定回数Ｃ以上発生したか否かを判定し（Ｓ１５）、所定回数Ｃ以上発生した場合（Ｓ１５でＹＥＳ）、時刻ｔから時刻ｔ＋Ｔｓの間、パターンＡ（時刻ｔで車両であると判定されたパターン）の追跡処理が継続しているか否かを判定する（Ｓ１６）。
【００６４】
追跡処理が継続していない場合（Ｓ１６でＮＯ）、パターンＡを負例（非車両パターン）として登録し（Ｓ１７）、処理を終了する。ステップＳ１５で所定回数Ｃ以上発生していない場合（Ｓ１５でＮＯ）、あるいは追跡処理が継続している場合（Ｓ１６でＹＥＳ）、装置１００は、パターンＳを負例とせず破棄し（Ｓ１８）、処理を終了する。なお、図８に示す処理は、適宜の周期で繰り返し実行することができる。
【００６５】
本実施の形態の車両検出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図８に示すような、各処理手順を定めたコンピュータプログラムをＣＤ、ＤＶＤ、ＵＳＢメモリ等のコンピュータプログラム記録媒体に記録しておき、当該コンピュータプログラムをコンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で車両検出装置１００を実現することができる。
【００６６】
負例収集部１０７により、自動収集タイミング（期間）で自動収集されて負例記憶部１１１に登録された負例（非車両パターン）を用いて、車両検出部１０２における車両・非車両の判定基準を修正する。
【００６７】
車両検出部１０２の判定基準の修正は、前述の自動収集方式によって収集・登録された負例（非車両パターン）の特徴量と類似度が大きい特徴量を有する移動体候補領域を非車両パターンであると判定する処理を、車両検出部１０２での車両検出と並行して実施するという形で実現することができる。そして、両方で車両であると判定した場合だけ最終的な検出結果として「車両」という判定結果を出力し、追跡処理のフェーズに移行し、それ以外の場合は「非車両」という判定結果を出力し、追跡処理は実行しない。
【００６８】
負例収集部１０７により、自動収集タイミング（期間）で自動収集されて負例記憶部１１１に登録された負例（非車両パターン）を用いて、車両検出部１０２は、以降の車両検出を行う。
【００６９】
すなわち、車両候補領域特定部１０３は、任意の撮像時点で得られた撮像画像に基づいて移動体候補領域を特定する。特徴量算出部１０４は、特定された移動体候補領域の特徴量を算出する。車両類似度算出部１０５は、移動体候補領域の特徴量と当該移動体候補領域に関連付けられた領域に登録された１又は複数の非車両パターン（負例）の特徴量との類似度を算出する。この場合、用いられる負例は、例えば、負例収集部１０７で自動的に収集された非車両パターンである。
【００７０】
車両判定部１０６は、算出された類似度が所定の閾値以上である非車両パターンが存在した場合、当該移動体候補領域を非車両として検出する。自動収集処理により得られた移動体判定情報（非車両パターン）を用いることにより、移動体でないものを移動体として誤って検出することを防止して、移動体を高精度に検出することができる。
【００７１】
また、車両判定部１０６は、算出された類似度が所定の閾値以上である非車両パターンが存在しない場合、当該移動体候補領域を車両として検出する。自動収集処理により得られた移動体判定情報（非車両パターン）を用いることにより、移動体を高精度に検出することができる。なお、移動体候補領域が複数ある場合には、それぞれの移動体候補領域に対して同様の処理を繰り返す。
【００７２】
上述のアルゴリズムにおいて、領域毎に負例（非車両パターン）を登録し、車両の検出処理のための車両・非車両の判定を登録された領域でのみ実施するという方式を用いる。同じ領域に頻発している非車両パターン（例えば、長時間変化しない建造物の影、風などの影響で短時間での変化は発生するものの、領域毎に注目すればバリエーションは限られる木の葉の影など）に対しては判定効果を十分得ることができる。
【００７３】
また、処理に要する計算量の面においても、１つの撮像画像に対して最大でも負例の登録数だけ類似度計算を行えばよく、１つの領域に対して判定を行う都度、収集・登録したパターンのすべてを利用するような方式に比べれば格段に少ない計算量で済む。そして、負例の登録数に上限を設けるなどの簡単な対応で、処理のリアルタイム性の維持が可能である。さらに、負例を領域毎に登録する方式を採用することによって、仮に収集の段階で車両を誤検出パターンとして誤って収集・登録してしまった場合でも、その影響は登録が行われた領域だけに限定されるため、システム全体として内部エラーに対するロバスト性が得られる。
【００７４】
図９は本実施の形態の車両検出装置１００の自動学習結果の一例を示す説明図である。図９の例は、道路上に車両が存在していない場合を示す。図９Ａは道路を撮像して得られた撮像画像を示す。図９Ｂは初期の車両検出結果を示し、自動収集アルゴリズムを実行する前の様子を示す。図９Ｃは本実施の形態の車両検出装置１００による負例の自動収集を行って車両・非車両の判定基準を修正した場合の車両検出結果を示す。
【００７５】
図９Ｂと図９Ｃとを比較すれば分かるように、図９Ｂにおいて自動学習前では、車両であると誤って検出された誤検出パターンが頻繁に発生している。一方、図９Ｃに示すように、自動学習機能により誤検出パターン消去が行われ、誤検出パターンの発生が抑制されている。
【００７６】
図１０は本実施の形態の車両検出装置１００の自動学習結果の他の例を示す説明図である。図１０の例は、道路上に車両が存在している場合を示す。図１０Ａは道路を撮像して得られた撮像画像を示す。図１０Ｂは初期の車両検出結果を示し、自動収集アルゴリズムを実行する前の様子を示す。図１０Ｃは本実施の形態の車両検出装置１００による負例の自動収集を行って車両・非車両の判定基準を修正した場合の車両検出結果を示す。
【００７７】
図１０Ｂと図１０Ｃとを比較すれば分かるように、図１０Ｂにおいて自動学習前では、車両であると誤って検出された誤検出パターンが頻繁に発生している。一方、図１０Ｃに示すように、自動学習機能により誤検出パターン消去が行われ、誤検出パターンの発生が抑制されている。
【００７８】
本実施の形態によれば、人手を介さずに非車両パターン（移動体判定情報）の収集を自動的に行うとともに収集した非車両パターンを用いて車両などの移動体を高精度に検出することができる移動体検出システムを実現することができる。
【００７９】
従来、サンプルの学習に基づく認識技術においては、当然ながら学習サンプルの適切さがその認識精度を左右する。その中で、高精度な認識精度を達成しているアプリケーションの大半が、人の介在を必要とするものである。すなわち、人によって適切であると判断されたサンプルを学習に用いている。このことからも、学習サンプルの適切さの判定の自動化の難しさが伺える。
【００８０】
本実施の形態にあっては、従来は手動で行う必要があった膨大な量のデータの収集・学習サンプルの作成を自動化することができる。また、地点毎の特性に適切に対応して高精度な車両検出・追跡性能をもつ車両センサを実現できる。これにより、安全運転を支援するための確度の高い情報を運転者に提供できる車両センシングシステムを現実的なコストで広く普及させることができる。また、検出結果に基づいて実行される追跡処理は計算量が大きい傾向にあるため、本実施の形態により実現することができる誤検出の発生頻度の削減は、そのまま計算量の削減につながり、処理の遅れによる運転者への情報伝達の遅れなどの処理時間に関わる問題を低減することができる。
【００８１】
上述の実施の形態において、特徴量算出部１０４と負例特徴量算出部１０８とを共通にして１つに纏めることもできる。また、車両類似度算出部１０５と負例類似度算出部１０９とを共通にして１つに纏めることもできる。
【００８２】
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００８３】
１００ 車両検出装置
１０１ 画像入力部
１０２ 車両検出部
１０３ 車両候補領域特定部
１０４ 特徴量算出部
１０５ 車両類似度算出部
１０６ 車両判定部
１０７ 負例収集部
１０８ 負例特徴量算出部
１０９ 負例類似度算出部
１１０ 負例登録部
１１１ 負例記憶部
１１２ 車両追跡部
２００ 撮像装置
【技術分野】
【０００１】
本発明は、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置、該移動体検出装置を備える移動体検出システム、前記移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法に関する。
【背景技術】
【０００２】
路側インフラ装置と車載装置とが、有線又は無線による路車間通信手段により情報を交換し、各装置が単独では実現できなかった機能を実現させるシステムが検討されている。特に、車両の運転者からは死角となる場所に存在する車両又は歩行者を検出した検出情報をインフラ側より車両側に提供することにより事故を抑止する路車協調型安全運転支援システムの検討が進められている。
【０００３】
このようなシステムを実現するための主要技術としては、車両の位置情報、自動車、二輪車若しくは歩行者等の車種情報、又は車両等の移動速度若しくは移動方向等を検出するセンサが必要である。計測範囲の広さ、製品寿命、コスト又は性能のバランスなどを考慮すると、画像処理方式のセンサが有力である。この画像処理方式のセンサ（以下、「車両センサ」と称する。）の主要機能である車両検出においては、環境変化が存在する任意の計測地点において高精度な車両検出を実現しなければならない。
【０００４】
例えば、高精度な車両検出を実現する方法として、道路画像から車両をオブジェクトとして検出し、サポートベクターマシン（ＳＶＭ）、あるいはブースティング（Boosting）などに代表される車両・非車両パターンのサンプル学習を通じて、車両・非車両パターンに対する判定基準（境界基準）を生成するパターン認識技術を利用した車両追跡装置が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−９２２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、車両センサを様々な地点に設置することを想定して、各地点で生じ得る様々な非車両パターンのすべてを予め網羅して準備することは極めて困難である。そこで、地点毎に生じ得る非車両パターンを車両センサの設置地点毎に収集し、収集した非車両パターンに基づいて車両センサの判定基準を適宜修正又は改善する方法が考えられる。しかし、各地に設置された車両センサ毎にオペレータに車両センサの判定基準を修正させることは、多大な労力及び莫大なコストを必要とするため現実的ではない。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、人手を介さずに非車両パターン（移動体判定情報）の収集を自動的に行うとともに収集した非車両パターンを用いて車両などの移動体を高精度に検出することができる移動体検出装置、該移動体検出装置を備える移動体検出システム、前記移動体検出装置を実現するためのコンピュータプログラム及び移動体検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１態様に係る移動体検出装置は、移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置において、第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定する特定手段と、前記移動体候補領域の画素値に基づく特徴量を算出する第１特徴量算出手段と、前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出する第２特徴量算出手段と、前記第１特徴量算出手段及び第２特徴量算出手段で算出した特徴量の類似度を算出する類似度算出手段と、該類似度算出手段で算出した類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録する登録手段とを備えることを特徴とする。
【０００９】
本発明の第２態様に係る移動体検出装置は、第１態様において、前記第２特徴量算出手段は、前記第２撮像時点から第２所定時間経過後の第３撮像時点までの間に得られた複数の撮像画像上それぞれの対応領域の特徴量を算出するようにしてあり、前記類似度算出手段は、前記移動体候補領域の特徴量と各対応領域の特徴量との類似度を算出するようにしてあり、前記登録手段は、前記類似度算出手段で算出した類似度が前記第１閾値以上である対応領域の数が所定値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するように構成してあることを特徴とする。
【００１０】
本発明の第３態様に係る移動体検出装置は、第１態様又は第２態様において、前記特定手段で任意の撮像時点で得られた撮像画像に基づいて特定した移動体候補領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡する追跡手段と、該追跡手段で前記第２撮像時点と第１撮像時点との時間差以上の間追跡が行われた場合、前記移動体候補領域の特徴量を破棄する破棄手段とを備えることを特徴とする。
【００１１】
本発明の第４態様に係る移動体検出装置は、第１態様乃至第３態様のいずれか１つにおいて、前記特定手段は、１又は複数の移動体候補領域を特定するようにしてあり、前記登録手段は、前記移動体候補領域毎に、撮像画像上の位置及び大きさが前記移動体候補領域と同等の領域に関連付けて該移動体候補領域の特徴量を移動体判定情報として登録するように構成してあることを特徴とする。
【００１２】
本発明の第５態様に係る移動体検出装置は、第４態様において、前記特定手段は、任意の撮像時点で得られた撮像画像に基づいて移動体候補領域を特定するようにしてあり、前記第１特徴量算出手段は、前記移動体候補領域の特徴量を算出するようにしてあり、前記類似度算出手段は、前記移動体候補領域の特徴量と該移動体候補領域に関連付けられた領域に登録された移動体判定情報の特徴量との類似度を算出するようにしてあり、算出した類似度が所定の第２閾値以上である移動体判定情報が存在した場合、前記移動体候補領域を非移動体として検出する検出手段を備えることを特徴とする。
【００１３】
本発明の第６態様に係る移動体検出装置は、第５態様において、前記検出手段は、算出した類似度が所定の第２閾値以上である移動体判定情報が存在しない場合、前記移動体候補領域を移動体として検出するように構成してあることを特徴とする。
【００１４】
本発明の第７態様に係る移動体検出システムは、前述の第１態様に係る移動体検出装置と、撮像した撮像画像を前記移動体検出装置へ出力する撮像装置とを備えることを特徴とする。
【００１５】
本発明の第８態様に係るコンピュータプログラムは、コンピュータに、移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出させるためのコンピュータプログラムにおいて、コンピュータに、第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定するステップと、前記移動体候補領域の画素値に基づく特徴量を算出するステップと、前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出するステップと、算出した特徴量の類似度を算出するステップと、算出した類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するステップとを実行させることを特徴とする。
【００１６】
本発明の第９態様に係る移動体検出方法は、移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置による移動体検出方法おいて、第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定するステップと、前記移動体候補領域の画素値に基づく特徴量を算出するステップと、前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出するステップと、算出された特徴量の類似度を算出するステップと、算出された類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するステップと、登録された移動体判定情報を用いて移動体を検出するステップとを含むことを特徴とする。
【００１７】
第１態様、第８態様及び第９態様にあっては、第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定する。移動体は、例えば、自動車又は二輪車などの車両である。移動体候補領域の特定は、パターン認識技術を用いてもよく、あるいは画像中の画素の変化、例えば、エッジ点などの情報に基づいて特定することができる。特定した移動体候補領域の画素値に基づく特徴量を算出する。特徴量は、例えば、移動体候補領域を所定のサイズ（例えば、１６×１６の画素ブロック）に変換して、各画素値を２５６次元ベクトルとして表すことができる。また、特徴量は画素値に限定されるものではなく、画素ブロック内の各画素の勾配に基づくＨＯＧ（Histograms of Oriented Gradients）特徴量などを用いることもできる。
【００１８】
そして、第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における移動体候補領域の対応領域の画素値に基づく特徴量を算出する。対応領域の特徴量は、移動体候補領域の特徴量と同様の方法で求めることができる。第１所定時間は、例えば、通常、車両が信号待ちなどで停止する停止時間と考えられる時間以上の時間であり、例えば、１２０秒〜１５０秒程度とすることができる。移動体候補領域の特徴量と対応領域の特徴量との類似度を算出する。類似度は、例えば、特徴量を２５６次元ベクトルとすると、両方のベクトルで表される点の２５６次元のユークリッド空間でのユークリッド距離の大小（小さいほど類似度が大きい）で求めることができる。また、両方のベクトルのなす角θの余弦（ｃｏｓθ）であるコサイン類似度を用いることもできる。
【００１９】
算出した類似度が所定の第１閾値以上である場合、移動体候補領域の特徴量を移動体判定情報（例えば、非車両パターン）として登録する。すなわち、第１撮像時点で撮像して得られた第１撮像画像上の移動体候補領域の特徴量と、車両の停止時間と考えられる時間以上経過後の第２撮像時点で撮像して得られた第２撮像画像上の対応領域の特徴量とが類似しているので、移動体候補領域は、車両を撮像したものではなく、非車両パターンとして登録する。なお、非車両パターン（移動体判定情報）として登録するのは、移動体候補領域の特徴量、座標（ｘ、ｙ）、大きさ（高さ及び幅）などである。上述の自動収集処理により、撮像を適宜繰り返すだけで人手を介することなく非車両パターンを自動的に収集することが可能となる。そして、登録した移動体判定情報（非車両パターン）を用いて移動体を検出することにより、高精度に移動体（例えば、車両など）を検出することができる。
【００２０】
第２態様にあっては、第２撮像時点から第２所定時間（例えば、３０秒程度）経過後の第３撮像時点までの間に得られた複数の撮像画像上それぞれの対応領域の特徴量を算出し、移動体候補領域の特徴量と各対応領域の特徴量とのそれぞれの類似度を算出する。そして、算出した類似度が第１閾値以上である対応領域の数が所定値（例えば、２）以上である場合、移動体候補領域の特徴量を移動体判定情報（例えば、非車両パターン）として登録する。所定値は、第２撮像時点から第３撮像時点までの間に、移動体候補領域の特徴量と類似する特徴量の車両が偶然に移動体候補領域と同じ位置に存在すると考えられる回数（例えば、１回）を超える数値である。これにより、第２撮像時点から第３撮像時点までの間に偶然に移動体候補領域と同じ位置に存在する実際の車両の特徴量を非車両パターンとして誤って登録することを防止し、より精度よく非車両パターンを収集することができる。
【００２１】
第３態様にあっては、任意の撮像時点で得られた撮像画像に基づいて特定した移動体候補領域の当該撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡する。追跡処理は、例えば、パターンマッチング、パーティクルフィルタなどのトラッキング技術を用いることができる。そして、第２撮像時点と第１撮像時点との時間差以上の間追跡が行われた場合、移動体候補領域の特徴量を破棄する。すなわち、第２撮像時点と第１撮像時点との時間差以上の間、当該移動体候補領域の追跡が行われた場合には、当該移動体候補領域は、実際の車両を撮像したものであると判定することができるので、非車両パターンとして登録することなく破棄する。これにより、本来、車両の特徴量であるものを非車両パターンとして誤って登録されることを防止でき、収集する非車両パターンの精度を向上させることができる。
【００２２】
第４態様にあっては、移動体候補領域毎に、撮像画像上の位置及び大きさが移動体候補領域と同等の領域に関連付けて当該移動体候補領域の特徴量を移動体判定情報として登録する。すなわち、移動体候補領域の特徴量等を移動体判定情報（非車両パターン）として登録する場合、移動体候補領域毎に登録する。すなわち、移動体検出を行う際の車両・非車両の判定は、登録した領域（移動体候補領域の座標、大きさ）でのみ行う。非車両パターンとして代表的な建物の影、木の影などは、ほぼ同じ領域で局所的に存在するので、撮像画像全体に亘って非車両パターンであるか否かを判定しなくても非車両パターンとして登録した領域だけを判定することにより、十分車両・非車両の判定を行うことができ、撮像画像全体に亘って処理する場合に比べて処理時間を短くして、高速処理を実現することができる。また、仮に車両・非車両の判定が誤ったとしても（内部エラーが生じたとしても）、影響が生じるのは非車両パターンとして登録した領域であるので、内部エラーに対するロバスト性が得られる。
【００２３】
第５態様にあっては、任意の撮像時点で得られた撮像画像に基づいて移動体候補領域を特定し、特定した移動体候補領域の特徴量を算出する。移動体候補領域の特徴量と当該移動体候補領域に関連付けられた領域に登録された移動体判定情報（例えば、非車両パターン）の特徴量との類似度を算出し、算出した類似度が所定の第２閾値以上である移動体判定情報（非車両パターン）が存在した場合、当該移動体候補領域を非移動体として検出する。自動収集処理により得られた移動体判定情報（非車両パターン）を用いることにより、移動体でないものを移動体として誤って検出することを防止して、移動体を高精度に検出することができる。
【００２４】
第６態様にあっては、算出した類似度が所定の第２閾値以上である移動体判定情報が存在しない場合、当該移動体候補領域を移動体として検出する。自動収集処理により得られた移動体判定情報（非車両パターン）を用いることにより、移動体を高精度に検出することができる。
【００２５】
第７態様にあっては、人手を介さずに非車両パターン（移動体判定情報）の収集を自動的に行うとともに収集した非車両パターンを用いて車両などの移動体を高精度に検出することができる移動体検出システムを実現することができる。
【発明の効果】
【００２６】
本発明によれば、人手を介さずに非車両パターン（移動体判定情報）の収集を自動的に行うとともに収集した非車両パターンを用いて車両などの移動体を高精度に検出することができる。
【図面の簡単な説明】
【００２７】
【図１】本実施の形態の移動体検出システムの構成の一例を示すブロック図である。
【図２】移動体候補領域の一例を示す模式図である。
【図３】車両検出処理と車両追跡処理との関係を例示するタイムチャートである。
【図４】移動体候補領域と対応領域との関係を示す説明図である。
【図５】非車両パターンの登録方法の一例を示す説明図である。
【図６】非車両パターンの登録方法の他の例を示す説明図である。
【図７】登録した非車両パターンの一例を示す説明図である。
【図８】本実施の形態の車両検出装置による負例の自動収集の処理手順を示すフローチャートである。
【図９】本実施の形態の車両検出装置の自動学習結果の一例を示す説明図である。
【図１０】本実施の形態の車両検出装置の自動学習結果の他の例を示す説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は本実施の形態の移動体検出システムの構成の一例を示すブロック図である。移動体検出システムは、移動体検出装置としての車両検出装置１００、撮像装置２００などを備える。なお、図１の例では、１つの撮像装置２００を図示しているが、撮像装置２００は複数設けることもできる。すなわち、道路の複数の地点それぞれに撮像装置２００を設置し、撮像装置２００で撮像した撮像画像を車両検出装置１００へ送信（出力）することができる。また、本実施の形態では、移動体とは、例えば、自動車又は二輪車などの車両であるが、歩行者などの移動体を含めることもできる。
【００２９】
車両検出装置１００は、画像入力部１０１、車両検出部１０２、車両追跡部１１２、負例収集部１０７、負例記憶部１１１などを備える。なお、本実施の形態では、負例とは、撮像装置２００で撮像して得られた撮像画像に基づいて、路面などの非車両のものを車両であると判定して検出した誤検出パターンをいう。また、車両パターンは、車両であると判定して登録された領域の特徴量、当該領域の撮像画像上の座標（ｘ、ｙ）、領域の大きさ（高さ、幅）などの情報を含む。また、非車両パターンは、非車両であると判定して登録された領域の特徴量、当該領域の撮像画像上の座標（ｘ、ｙ）、領域の大きさ（高さ、幅）などの情報を含む。
【００３０】
車両検出部１０２は、車両候補領域特定部１０３、特徴量算出部１０４、車両類似度算出部１０５、車両判定部１０６などを備える。また、負例収集部１０７は、負例特徴量算出部１０８、負例類似度算出部１０９、負例登録部１１０などを備える。
【００３１】
本実施の形態の車両検出装置１００は、路面などの非車両パターンに対して車両検出部１０２で車両として誤検出したことを自動的に認識して負例として収集すること、実際には車両であるパターンを誤って非車両パターンとして収集する事態を自動的に回避すること、収集した負例に基づいて車両検出部１０２の車両判定基準を修正して判定精度を向上させること、及び車両検出部１０２での車両検出処理と車両追跡部１１２での車両追跡処理とを並行して実施した場合に全体の処理のリアルタイム性を維持することを充足する自動学習機能を実現する。なお、自動学習機能とは、車両検出の判定基準を人の判断を介することなく自動的に修正することにより、車両検出の判定の誤りを低減する機能である。
【００３２】
画像入力部１０１は、画像メモリ（不図示）などを備え、撮像装置２００から入力された撮像画像（画像データ）を、１フレーム単位に同期させて画像メモリに記憶する。なお、１フレームは、例えば、１００ｍｓであるが、これに限定されるものではない。画像メモリに記憶された撮像画像は、車両検出部１０２により読み出される。
【００３３】
車両候補領域特定部１０３は、撮像画像に基づいて移動体候補領域を特定する特定手段としての機能を有する。移動体候補領域は、通常画像処理で行われている適宜の処理を採用することができる。例えば、撮像画像におけるエッジ点を検出し、検出したエッジ点で構成されるエッジ画像において隣接するエッジ点をグループ化するエッジグループ化処理などを行ってエッジグループを囲む矩形領域を移動体候補領域として特定することができる。なお、任意の撮像時点で得られた撮像画像において、複数の移動体候補領域が特定される場合もある。
【００３４】
特徴量算出部１０４は、移動体候補領域の特徴量を算出する特徴量算出手段としての機能を有する。特徴量算出部１０４は、移動体候補領域の撮像画像上での大きさに関わらず、移動体候補領域を所定の大きさ（例えば、１６×１６画素）にリサイズした上で特徴量として、２５６次元ベクトルを算出する。特徴量は、１６×１６画素の２５６画素値を有する２５６次元ベクトルである。なお、特徴量は、画素値に限定されるものではなく、他の特徴量を用いることもできる。例えば、１６×１６画素内の各画素の勾配を求め、勾配方向の量子化（例えば、９方向）、度数分布などを特徴量とするＨＯＧ（Histograms of Oriented Gradients）特徴量などを用いることもできる。なお、特徴量を算出する際の画素ブロックの大きさは、１６×１６画素に限定されるものではない。
【００３５】
車両類似度算出部１０５は、車両検出処理において、特定した移動体候補領域（車両候補領域）の特徴量と、負例記憶部１１１に記憶（登録）された負例の特徴量との類似度を算出する。類似度は、例えば、特徴量を２５６次元ベクトルとすると、両方のベクトルで表される点の２５６次元のユークリッド空間でのユークリッド距離の大小（小さいほど類似度が大きい）で求めることができる。また、両方のベクトルのなす角θの余弦（ｃｏｓθ）であるコサイン類似度を用いることもできる。
【００３６】
車両判定部１０６は、移動体候補領域の特徴量と負例（非車両を車両であると誤検出したパターン）の特徴量との類似度が所定の閾値以上であれば、移動体候補領域は非車両であると判定し、類似度が所定の閾値未満であれば、車両であると判定する。
【００３７】
車両検出部１０２は、車両として検出された移動体候補領域を「車両」と判定されたパターンとして車両追跡部１１２へ出力する。また、車両検出部１０２は、車両として検出されたパターンを「誤検出パターン候補」（負例候補）として負例収集部１０７へ出力する。この場合車両検出部１０２から負例収集部１０７へ出力されるのは、「誤検出パターン候補」としての移動体候補領域の領域ＩＤ、領域の座標（ｘ、ｙ）、領域の大きさ（高さ、幅）、及び移動体候補領域の特徴量などである。以降、車両検出部１０２から負例収集部１０７へ出力される「誤検出パターン候補」をパターンＡと称する。
【００３８】
図２は移動体候補領域の一例を示す模式図である。任意の撮像時点で撮像された撮像画像上で車両と判定された移動体候補領域は、パターンＡ（誤検出パターン候補）として、領域ＩＤ、領域の左上の座標（ｘ、ｙ）、領域の大きさ（高さｈ、幅ｗ）、特徴量（例えば、２５６の画素値からなる２５６次元ベクトル）が特定される。
【００３９】
車両追跡部１１２は、任意の撮像時点で得られた撮像画像に基づいて特定した移動体候補領域の当該撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡する追跡手段としての機能を有する。より具体的には、車両追跡部１１２は、車両検出部１０２で任意の時点での撮像画像上で車両として検出された移動体候補領域を当該任意の時点以降撮像された撮像画像上で追跡する。追跡処理は、例えば、パターンマッチング、パーティクルフィルタなどのトラッキング技術を用いることができる。
【００４０】
図３は車両検出処理と車両追跡処理との関係を例示するタイムチャートである。図３に示すように、時刻ｔ（時刻ｔでのフレーム）で車両が検出されたとすると、当該車両を表す移動体候補領域（車両領域）を時刻ｔ以降の時刻（フレーム）での撮像画像上で追跡する。また、時刻ｔ＋１（時刻ｔ＋１でのフレーム）で別の車両が検出されたとすると、当該車両を表す移動体候補領域（車両領域）を時刻ｔ＋１以降の時刻（フレーム）での撮像画像上で追跡する。以降、同様である。なお、追跡処理は、検出した車両が撮像画像上から存在しなくなるまで継続される。
【００４１】
負例特徴量算出部１０８は、移動体候補領域の対応領域の画素値に基づく特徴量を算出する特徴量算出手段としての機能を有する。本実施の形態において、対応領域は、当該移動体候補領域と同等の領域である。同等の対応領域とは、例えば、時刻ｔ（第１撮像時点）での撮像画像上で車両と検出された移動体候補領域（パターンＡ）があるとすると、時刻ｔ（第１撮像時点）から所定時間Ｔｓ経過後の時刻（ｔ＋Ｔｓ）（第２撮像時点）で得られた撮像画像上（第２撮像画像上）で位置及び大きさが移動体候補領域と同等の領域である。対応領域は、移動体候補領域（パターンＡ）と同一の領域（座標、大きさが同じ領域）であるが、必ずしも同一領域でなくてもよく、例えば、移動体候補領域の全部又は一部を含む近傍の領域でもよく、また移動体候補領域よりも大きい領域でもよく、あるいは小さい領域でもよい。類似度を算出するために十分な程度の精度が得られれば、同一領域である必要はない。
【００４２】
所定時間Ｔｓは、例えば、通常、車両が信号待ちなどで停止する停止時間と考えられる時間以上の時間であり、例えば、１２０秒〜１５０秒程度とすることができる。
【００４３】
図４は移動体候補領域と対応領域との関係を示す説明図である。図４に示すように、時刻ｔにおいて、領域ＩＤ＝ｋ、座標（ｘ、ｙ）、高さｈ、幅ｗの移動体候補領域（パターンＡ）が特定されたとすると、対応領域は、例えば、時刻ｔ＋Ｔｓにおける撮像画像上で移動体候補領域と同じ座標（ｘ、ｙ）、高さｈ、幅ｗの領域である。
【００４４】
より具体的には、負例特徴量算出部１０８は、時刻ｔ（第１撮像時点）での撮像画像上で車両と検出された移動体候補領域（パターンＡ）があるとすると、時刻ｔ（第１撮像時点）から第１所定時間Ｔｓ経過後の時刻（ｔ＋Ｔｓ）（第２撮像時点）で得られた撮像画像上（第２撮像画像上）で位置及び大きさが移動体候補領域と同等の対応領域の画素値に基づく特徴量を算出する。
【００４５】
負例類似度算出部１０９は、上述の特徴量の類似度を算出する類似度算出手段としての機能を有する。類似度は、例えば、特徴量を２５６次元ベクトルとすると、両方のベクトルで表される点の２５６次元のユークリッド空間でのユークリッド距離の大小（小さいほど類似度が大きい）で求めることができる。また、両方のベクトルのなす角θの余弦（ｃｏｓθ）であるコサイン類似度を用いることもできる。
【００４６】
負例登録部１１０は、負例類似度算出部１０９で算出した類似度が所定の閾値Ｓ（第１閾値）以上である場合、移動体候補領域（パターンＡ）の特徴量を負例、すなわち非車両パターン（移動体判定情報）として登録する。すなわち、時刻ｔ（第１撮像時点）で撮像して得られた撮像画像上の移動体候補領域の特徴量と、車両の停止時間と考えられる時間以上経過後の時刻ｔ＋Ｔｓ（第２撮像時点）で撮像して得られた撮像画像上の対応領域の特徴量とが類似しているので、移動体候補領域は、車両を撮像したものではなく、非車両パターンとして登録する。
【００４７】
なお、負例、すなわち非車両パターン（移動体判定情報）として登録するのは、移動体候補領域（パターンＡ）の特徴量、座標（ｘ、ｙ）、大きさ（高さ及び幅）などである。上述の自動収集処理により、撮像を適宜繰り返すだけで人手を介することなく非車両パターンを自動的に収集することが可能となる。そして、登録した移動体判定情報（非車両パターン）を用いて移動体を検出することにより、高精度に移動体（例えば、車両など）を検出することができる。
【００４８】
また、非車両パターン（負例）の登録は、以下の方法で行うこともできる。図５は非車両パターンの登録方法の一例を示す説明図である。図５に示すように、時刻ｔ＋Ｔｓ（第２撮像時点）から所定時間（例えば、３０秒程度）経過後の時刻ｔ＋Ｔｕ（第３撮像時点）までの間（Ｔｕ−Ｔｓ）に得られた複数の撮像画像上それぞれの対応領域の特徴量を算出し、時刻ｔで車両と検出した際のパターンＡ（移動体候補領域）の特徴量と各対応領域の特徴量とのそれぞれの類似度を算出する。そして、算出した類似度が閾値Ｓ以上である対応領域の数が所定値Ｃ（例えば、２）以上である場合、パターンＡ（移動体候補領域）の特徴量を非車両パターン（負例）として登録する。
【００４９】
所定値Ｃは、時刻ｔ＋Ｔｓ（第２撮像時点）から時刻ｔ＋Ｔｕ（第３撮像時点）までの間に、移動体候補領域の特徴量と類似する特徴量の車両が偶然に移動体候補領域と同じ位置に存在すると考えられる回数（例えば、１回）を超える数値である。これにより、時刻ｔ＋Ｔｓから時刻ｔ＋Ｔｕまでの間に偶然に移動体候補領域と同じ位置に存在する実際の車両の特徴量を非車両パターンとして誤って登録することを防止し、より精度よく非車両パターンを収集することができる。
【００５０】
また、時刻ｔで移動体候補領域（パターンＡ）が特定され車両として検出された場合、時刻ｔから検出した車両の追跡処理が開始される。当該追跡処理の情報を参照して、車両の検出処理の精度を高めるとともに、非車両パターン（負例）の収集のタイミングを制御して誤った負例が収集されることを抑制する。
【００５１】
例えば、時刻ｔ＋Ｔｓ（第２撮像時点）と時刻ｔ（第１撮像時点）との時間差Ｔｓ以上の間追跡が行われた場合、移動体候補領域の特徴量を破棄する。すなわち、時刻ｔ＋Ｔｓと時刻ｔとの時間差Ｔｓ以上の間、当該移動体候補領域の追跡が行われた場合には、当該移動体候補領域は、実際の車両を撮像したものであると判定することができるので、非車両パターンとして登録することなく破棄する。これにより、本来、車両の特徴量であるものを非車両パターンとして誤って登録されることを防止でき、収集する非車両パターンの精度を向上させることができる。
【００５２】
図６は非車両パターンの登録方法の他の例を示す説明図である。図６に示すように、時刻ｔ（第１撮像時点）で車両と検出した際のパターンＡ（移動体候補領域）を特定した場合、時刻ｔから所定の時間だけ経過した複数の時間帯を設定する。例えば、時刻ｔから時刻ｔ＋Ｔ１までの時間、時刻ｔ＋Ｔ１から時刻ｔ＋Ｔ２までの時間の如く、各時間帯で撮像した１又は複数の撮像画像上の対応領域の特徴量とパターンＡとの特徴量の類似度が閾値Ｓ以上であるパターンが存在したとき、パターンＡを非車両パターン（負例）として登録する。時間帯は、例えば、３０秒程度とすることができる。
【００５３】
複数の時間帯に分け、各時間帯でパターンＡと類似するパターンだけを非車両パターンとして登録するので、偶然にパターンＡと同じ領域に停止している車両が存在していたとしても、複数の時間帯に亘って存在することはほとんどないので、車両を表すパターンを非車両として誤って登録することを防止することができる。
【００５４】
負例登録部１１０は、複数の移動体候補領域（パターンＡ）が特定されている場合、移動体候補領域毎に、撮像画像上の位置及び大きさが移動体候補領域と同等の領域に関連付けて当該移動体候補領域（パターンＡ）を非車両パターン（負例）として負例記憶部１１１に登録する。すなわち、パターンＡの特徴量等を非車両パターン（負例）として登録する場合、パターンＡの領域毎に登録する。
【００５５】
図７は登録した非車両パターンの一例を示す説明図である。図７に示すように、非車両パターン（負例）は、領域毎に登録される。例えば、ＩＤが１の非車両パターンは、領域の左上の座標が（ｘ１、ｙ１）であり、領域の高さがｈ１であり、幅がｗ１であり、特徴量（例えば、２５６次元ベクトル）がｖ１である。ＩＤが１の非車両パターンは、座標が（ｘ１、ｙ１）、領域の高さがｈ１、幅がｗ１のパターンＡ（移動体候補領域）の特徴量と類似すると判定されたものである。なお、他の非車両パターンも同様である。
【００５６】
パターンＡの領域毎に非車両パターン（負例）を登録することにより、撮像画像に基づいて車両を検出する際の車両・非車両の判定は、登録した領域（非車両パターンの領域の座標、大きさ）に対してのみ行うことになり、撮像画像全体に亘って判定処理を行う必要がない。非車両パターンとして代表的な建物の影、木の影などは、ほぼ同じ領域で局所的に存在するので、撮像画像全体に亘って非車両パターンであるか否かを判定しなくても非車両パターンとして登録した領域だけを判定することにより、十分車両・非車両の判定を行うことができ、撮像画像全体に亘って処理する場合に比べて処理時間を短くして、高速処理を実現することができる。また、仮に車両・非車両の判定が誤ったとしても（内部エラーが生じたとしても）、影響が生じるのは非車両パターンとして登録した領域であるので、内部エラーに対するロバスト性が得られる。
【００５７】
上述したアルゴリズムは、画像中の局所領域に頻発する誤検出パターンを主なターゲットとして収集することを意図している。そのパターンが特定の局所領域に頻発しているのならば、以降の時刻でも同一の領域で同一のパターンが頻発している可能性が高い。一方、車両が走行するエリアに同一の車両が長時間停止し続けること、及び同一領域に同一の車両が同一のタイミングで複数回出現することは、交通事故の発生時等の異常事態を除いてほぼあり得ない。したがって、通常の車両の停止時間として考え得る時間以上の値をＴｓに設定することで、車両を誤検出パターンとして誤収集することを回避しながら頻発する誤検出パターンを収集できる。
【００５８】
また、類似パターンの発生回数下限として、所定値Ｃを時刻ｔ＋Ｔｓから時刻ｔ＋Ｔｕまでの間に、誤検出パターン候補（パターンＡ）と同種の走行車両が収集条件を判定するタイミングで同一領域に偶然位置していると考えられる回数以上の値として設定することにより、非車両パターン（負例）の誤収集の確率を極めて低く抑えることができる。
【００５９】
類似度に２５６次元画素値の正規化相関を用い、時間Ｔｓとして１２００フレーム（１フレームが１００ｍｓ）、時間Ｔｕとして１５００フレーム、類似度の閾値Ｓとして０．９９、所定値Ｃを２として行った実験では、本実施の形態の負例の自動収集方式により、種々のテストシーンに対して誤検出パターン（負例）を誤りなく収集することができた。
【００６０】
なお、実際には誤検出パターン候補（パターンＡ）は一度に１個以上用意することを想定しているが、収集処理自体の計算量は、確保している誤検出パターン候補の数に応じた、２５６次元ベクトルに関する類似度が大半であるので、一度に確保する誤検出パターン候補の数の上限を制限すれば全体の処理のリアルタイム性の確保は容易である。
【００６１】
図８は本実施の形態の車両検出装置１００による負例の自動収集の処理手順を示すフローチャートである。なお、以下のフローチャートの説明では、便宜上車両検出装置１００を簡略化して装置１００と称する。装置１００は、撮像画像を取得し（Ｓ１１）、時刻ｔの撮像画像上で車両としてパターンＡを検出する（Ｓ１２）。なお、パターンＡは、移動体候補領域が車両であると判定された場合の移動体候補領域そのものである。
【００６２】
装置１００は、検出したパターンＡを誤検出パターン候補（負例候補）として、パターンＡの領域ＩＤ、領域の座標、大きさ及び特徴量を記憶する（Ｓ１３）。装置１００は、時刻ｔ＋Ｔｓから時刻ｔ＋Ｔｕの間の撮像画像でパターンＡと同じ領域である対応領域の特徴量を算出する（Ｓ１４）。
【００６３】
装置１００は、パターンＡの特徴量との類似度が閾値Ｓ以上のパターン（対応領域）が所定回数Ｃ以上発生したか否かを判定し（Ｓ１５）、所定回数Ｃ以上発生した場合（Ｓ１５でＹＥＳ）、時刻ｔから時刻ｔ＋Ｔｓの間、パターンＡ（時刻ｔで車両であると判定されたパターン）の追跡処理が継続しているか否かを判定する（Ｓ１６）。
【００６４】
追跡処理が継続していない場合（Ｓ１６でＮＯ）、パターンＡを負例（非車両パターン）として登録し（Ｓ１７）、処理を終了する。ステップＳ１５で所定回数Ｃ以上発生していない場合（Ｓ１５でＮＯ）、あるいは追跡処理が継続している場合（Ｓ１６でＹＥＳ）、装置１００は、パターンＳを負例とせず破棄し（Ｓ１８）、処理を終了する。なお、図８に示す処理は、適宜の周期で繰り返し実行することができる。
【００６５】
本実施の形態の車両検出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図８に示すような、各処理手順を定めたコンピュータプログラムをＣＤ、ＤＶＤ、ＵＳＢメモリ等のコンピュータプログラム記録媒体に記録しておき、当該コンピュータプログラムをコンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で車両検出装置１００を実現することができる。
【００６６】
負例収集部１０７により、自動収集タイミング（期間）で自動収集されて負例記憶部１１１に登録された負例（非車両パターン）を用いて、車両検出部１０２における車両・非車両の判定基準を修正する。
【００６７】
車両検出部１０２の判定基準の修正は、前述の自動収集方式によって収集・登録された負例（非車両パターン）の特徴量と類似度が大きい特徴量を有する移動体候補領域を非車両パターンであると判定する処理を、車両検出部１０２での車両検出と並行して実施するという形で実現することができる。そして、両方で車両であると判定した場合だけ最終的な検出結果として「車両」という判定結果を出力し、追跡処理のフェーズに移行し、それ以外の場合は「非車両」という判定結果を出力し、追跡処理は実行しない。
【００６８】
負例収集部１０７により、自動収集タイミング（期間）で自動収集されて負例記憶部１１１に登録された負例（非車両パターン）を用いて、車両検出部１０２は、以降の車両検出を行う。
【００６９】
すなわち、車両候補領域特定部１０３は、任意の撮像時点で得られた撮像画像に基づいて移動体候補領域を特定する。特徴量算出部１０４は、特定された移動体候補領域の特徴量を算出する。車両類似度算出部１０５は、移動体候補領域の特徴量と当該移動体候補領域に関連付けられた領域に登録された１又は複数の非車両パターン（負例）の特徴量との類似度を算出する。この場合、用いられる負例は、例えば、負例収集部１０７で自動的に収集された非車両パターンである。
【００７０】
車両判定部１０６は、算出された類似度が所定の閾値以上である非車両パターンが存在した場合、当該移動体候補領域を非車両として検出する。自動収集処理により得られた移動体判定情報（非車両パターン）を用いることにより、移動体でないものを移動体として誤って検出することを防止して、移動体を高精度に検出することができる。
【００７１】
また、車両判定部１０６は、算出された類似度が所定の閾値以上である非車両パターンが存在しない場合、当該移動体候補領域を車両として検出する。自動収集処理により得られた移動体判定情報（非車両パターン）を用いることにより、移動体を高精度に検出することができる。なお、移動体候補領域が複数ある場合には、それぞれの移動体候補領域に対して同様の処理を繰り返す。
【００７２】
上述のアルゴリズムにおいて、領域毎に負例（非車両パターン）を登録し、車両の検出処理のための車両・非車両の判定を登録された領域でのみ実施するという方式を用いる。同じ領域に頻発している非車両パターン（例えば、長時間変化しない建造物の影、風などの影響で短時間での変化は発生するものの、領域毎に注目すればバリエーションは限られる木の葉の影など）に対しては判定効果を十分得ることができる。
【００７３】
また、処理に要する計算量の面においても、１つの撮像画像に対して最大でも負例の登録数だけ類似度計算を行えばよく、１つの領域に対して判定を行う都度、収集・登録したパターンのすべてを利用するような方式に比べれば格段に少ない計算量で済む。そして、負例の登録数に上限を設けるなどの簡単な対応で、処理のリアルタイム性の維持が可能である。さらに、負例を領域毎に登録する方式を採用することによって、仮に収集の段階で車両を誤検出パターンとして誤って収集・登録してしまった場合でも、その影響は登録が行われた領域だけに限定されるため、システム全体として内部エラーに対するロバスト性が得られる。
【００７４】
図９は本実施の形態の車両検出装置１００の自動学習結果の一例を示す説明図である。図９の例は、道路上に車両が存在していない場合を示す。図９Ａは道路を撮像して得られた撮像画像を示す。図９Ｂは初期の車両検出結果を示し、自動収集アルゴリズムを実行する前の様子を示す。図９Ｃは本実施の形態の車両検出装置１００による負例の自動収集を行って車両・非車両の判定基準を修正した場合の車両検出結果を示す。
【００７５】
図９Ｂと図９Ｃとを比較すれば分かるように、図９Ｂにおいて自動学習前では、車両であると誤って検出された誤検出パターンが頻繁に発生している。一方、図９Ｃに示すように、自動学習機能により誤検出パターン消去が行われ、誤検出パターンの発生が抑制されている。
【００７６】
図１０は本実施の形態の車両検出装置１００の自動学習結果の他の例を示す説明図である。図１０の例は、道路上に車両が存在している場合を示す。図１０Ａは道路を撮像して得られた撮像画像を示す。図１０Ｂは初期の車両検出結果を示し、自動収集アルゴリズムを実行する前の様子を示す。図１０Ｃは本実施の形態の車両検出装置１００による負例の自動収集を行って車両・非車両の判定基準を修正した場合の車両検出結果を示す。
【００７７】
図１０Ｂと図１０Ｃとを比較すれば分かるように、図１０Ｂにおいて自動学習前では、車両であると誤って検出された誤検出パターンが頻繁に発生している。一方、図１０Ｃに示すように、自動学習機能により誤検出パターン消去が行われ、誤検出パターンの発生が抑制されている。
【００７８】
本実施の形態によれば、人手を介さずに非車両パターン（移動体判定情報）の収集を自動的に行うとともに収集した非車両パターンを用いて車両などの移動体を高精度に検出することができる移動体検出システムを実現することができる。
【００７９】
従来、サンプルの学習に基づく認識技術においては、当然ながら学習サンプルの適切さがその認識精度を左右する。その中で、高精度な認識精度を達成しているアプリケーションの大半が、人の介在を必要とするものである。すなわち、人によって適切であると判断されたサンプルを学習に用いている。このことからも、学習サンプルの適切さの判定の自動化の難しさが伺える。
【００８０】
本実施の形態にあっては、従来は手動で行う必要があった膨大な量のデータの収集・学習サンプルの作成を自動化することができる。また、地点毎の特性に適切に対応して高精度な車両検出・追跡性能をもつ車両センサを実現できる。これにより、安全運転を支援するための確度の高い情報を運転者に提供できる車両センシングシステムを現実的なコストで広く普及させることができる。また、検出結果に基づいて実行される追跡処理は計算量が大きい傾向にあるため、本実施の形態により実現することができる誤検出の発生頻度の削減は、そのまま計算量の削減につながり、処理の遅れによる運転者への情報伝達の遅れなどの処理時間に関わる問題を低減することができる。
【００８１】
上述の実施の形態において、特徴量算出部１０４と負例特徴量算出部１０８とを共通にして１つに纏めることもできる。また、車両類似度算出部１０５と負例類似度算出部１０９とを共通にして１つに纏めることもできる。
【００８２】
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００８３】
１００ 車両検出装置
１０１ 画像入力部
１０２ 車両検出部
１０３ 車両候補領域特定部
１０４ 特徴量算出部
１０５ 車両類似度算出部
１０６ 車両判定部
１０７ 負例収集部
１０８ 負例特徴量算出部
１０９ 負例類似度算出部
１１０ 負例登録部
１１１ 負例記憶部
１１２ 車両追跡部
２００ 撮像装置
【特許請求の範囲】
【請求項１】
移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置において、
第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定する特定手段と、
前記移動体候補領域の画素値に基づく特徴量を算出する第１特徴量算出手段と、
前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出する第２特徴量算出手段と、
前記第１特徴量算出手段及び第２特徴量算出手段で算出した特徴量の類似度を算出する類似度算出手段と、
該類似度算出手段で算出した類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録する登録手段と
を備えることを特徴とする移動体検出装置。
【請求項２】
前記第２特徴量算出手段は、
前記第２撮像時点から第２所定時間経過後の第３撮像時点までの間に得られた複数の撮像画像上それぞれの対応領域の特徴量を算出するようにしてあり、
前記類似度算出手段は、
前記移動体候補領域の特徴量と各対応領域の特徴量との類似度を算出するようにしてあり、
前記登録手段は、
前記類似度算出手段で算出した類似度が前記第１閾値以上である対応領域の数が所定値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するように構成してあることを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
前記特定手段で任意の撮像時点で得られた撮像画像に基づいて特定した移動体候補領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡する追跡手段と、
該追跡手段で前記第２撮像時点と第１撮像時点との時間差以上の間追跡が行われた場合、前記移動体候補領域の特徴量を破棄する破棄手段と
を備えることを特徴とする請求項１又は請求項２に記載の移動体検出装置。
【請求項４】
前記特定手段は、
１又は複数の移動体候補領域を特定するようにしてあり、
前記登録手段は、
前記移動体候補領域毎に、撮像画像上の位置及び大きさが前記移動体候補領域と同等の領域に関連付けて該移動体候補領域の特徴量を移動体判定情報として登録するように構成してあることを特徴とする請求項１乃至請求項３のいずれか１項に記載の移動体検出装置。
【請求項５】
前記特定手段は、
任意の撮像時点で得られた撮像画像に基づいて移動体候補領域を特定するようにしてあり、
前記第１特徴量算出手段は、
前記移動体候補領域の特徴量を算出するようにしてあり、
前記類似度算出手段は、
前記移動体候補領域の特徴量と該移動体候補領域に関連付けられた領域に登録された移動体判定情報の特徴量との類似度を算出するようにしてあり、
算出した類似度が所定の第２閾値以上である移動体判定情報が存在した場合、前記移動体候補領域を非移動体として検出する検出手段を備えることを特徴とする請求項４に記載の移動体検出装置。
【請求項６】
前記検出手段は、
算出した類似度が所定の第２閾値以上である移動体判定情報が存在しない場合、前記移動体候補領域を移動体として検出するように構成してあることを特徴とする請求項５に記載の移動体検出装置。
【請求項７】
請求項１に記載の移動体検出装置と、撮像した撮像画像を前記移動体検出装置へ出力する撮像装置とを備えることを特徴とする移動体検出システム。
【請求項８】
コンピュータに、移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出させるためのコンピュータプログラムにおいて、
コンピュータに、
第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定するステップと、
前記移動体候補領域の画素値に基づく特徴量を算出するステップと、
前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出するステップと、
算出した特徴量の類似度を算出するステップと、
算出した類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項９】
移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置による移動体検出方法において、
第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定するステップと、
前記移動体候補領域の画素値に基づく特徴量を算出するステップと、
前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出するステップと、
算出された特徴量の類似度を算出するステップと、
算出された類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するステップと、
登録された移動体判定情報を用いて移動体を検出するステップと
を含むことを特徴とする移動体検出方法。
【請求項１】
移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置において、
第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定する特定手段と、
前記移動体候補領域の画素値に基づく特徴量を算出する第１特徴量算出手段と、
前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出する第２特徴量算出手段と、
前記第１特徴量算出手段及び第２特徴量算出手段で算出した特徴量の類似度を算出する類似度算出手段と、
該類似度算出手段で算出した類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録する登録手段と
を備えることを特徴とする移動体検出装置。
【請求項２】
前記第２特徴量算出手段は、
前記第２撮像時点から第２所定時間経過後の第３撮像時点までの間に得られた複数の撮像画像上それぞれの対応領域の特徴量を算出するようにしてあり、
前記類似度算出手段は、
前記移動体候補領域の特徴量と各対応領域の特徴量との類似度を算出するようにしてあり、
前記登録手段は、
前記類似度算出手段で算出した類似度が前記第１閾値以上である対応領域の数が所定値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するように構成してあることを特徴とする請求項１に記載の移動体検出装置。
【請求項３】
前記特定手段で任意の撮像時点で得られた撮像画像に基づいて特定した移動体候補領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡する追跡手段と、
該追跡手段で前記第２撮像時点と第１撮像時点との時間差以上の間追跡が行われた場合、前記移動体候補領域の特徴量を破棄する破棄手段と
を備えることを特徴とする請求項１又は請求項２に記載の移動体検出装置。
【請求項４】
前記特定手段は、
１又は複数の移動体候補領域を特定するようにしてあり、
前記登録手段は、
前記移動体候補領域毎に、撮像画像上の位置及び大きさが前記移動体候補領域と同等の領域に関連付けて該移動体候補領域の特徴量を移動体判定情報として登録するように構成してあることを特徴とする請求項１乃至請求項３のいずれか１項に記載の移動体検出装置。
【請求項５】
前記特定手段は、
任意の撮像時点で得られた撮像画像に基づいて移動体候補領域を特定するようにしてあり、
前記第１特徴量算出手段は、
前記移動体候補領域の特徴量を算出するようにしてあり、
前記類似度算出手段は、
前記移動体候補領域の特徴量と該移動体候補領域に関連付けられた領域に登録された移動体判定情報の特徴量との類似度を算出するようにしてあり、
算出した類似度が所定の第２閾値以上である移動体判定情報が存在した場合、前記移動体候補領域を非移動体として検出する検出手段を備えることを特徴とする請求項４に記載の移動体検出装置。
【請求項６】
前記検出手段は、
算出した類似度が所定の第２閾値以上である移動体判定情報が存在しない場合、前記移動体候補領域を移動体として検出するように構成してあることを特徴とする請求項５に記載の移動体検出装置。
【請求項７】
請求項１に記載の移動体検出装置と、撮像した撮像画像を前記移動体検出装置へ出力する撮像装置とを備えることを特徴とする移動体検出システム。
【請求項８】
コンピュータに、移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出させるためのコンピュータプログラムにおいて、
コンピュータに、
第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定するステップと、
前記移動体候補領域の画素値に基づく特徴量を算出するステップと、
前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出するステップと、
算出した特徴量の類似度を算出するステップと、
算出した類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項９】
移動体を判定するために予め登録した移動体判定情報及び撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する移動体検出装置による移動体検出方法において、
第１撮像時点で得られた第１撮像画像に基づいて移動体候補を示す画素領域である移動体候補領域を特定するステップと、
前記移動体候補領域の画素値に基づく特徴量を算出するステップと、
前記第１撮像時点から第１所定時間経過後の第２撮像時点で得られた第２撮像画像における前記移動体候補領域の対応領域の画素値に基づく特徴量を算出するステップと、
算出された特徴量の類似度を算出するステップと、
算出された類似度が所定の第１閾値以上である場合、前記移動体候補領域の特徴量を移動体判定情報として登録するステップと、
登録された移動体判定情報を用いて移動体を検出するステップと
を含むことを特徴とする移動体検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−３０１２９（Ｐ２０１３−３０１２９Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６７５１５（Ｐ２０１１−１６７５１５）
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]