移動体判定情報生成装置、移動体判定情報生成システム、コンピュータプログラム及び移動体判定情報生成方法
【課題】人手を介さずに移動体判定情報を生成することができる移動体判定情報生成装置、移動体判定情報生成システム、コンピュータプログラム及び移動体判定情報生成方法を提供する。
【解決手段】車両検出部１０２は、移動体を示す画素領域である移動体領域を検出する。車両追跡部１０３は、車両検出部１０２で検出した移動体領域を、その後の撮像時点での撮像画像上で追跡領域として追跡する。データ収集部１０６は、車両検出部１０２での検出結果及び車両追跡部１０３での追跡結果に基づいて、検出した移動体領域又は追跡した追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成する。
【解決手段】車両検出部１０２は、移動体を示す画素領域である移動体領域を検出する。車両追跡部１０３は、車両検出部１０２で検出した移動体領域を、その後の撮像時点での撮像画像上で追跡領域として追跡する。データ収集部１０６は、車両検出部１０２での検出結果及び車両追跡部１０３での追跡結果に基づいて、検出した移動体領域又は追跡した追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成する移動体判定情報生成装置、該移動体判定情報生成装置を備える移動体判定情報生成システム、前記移動体判定情報生成装置を実現するためのコンピュータプログラム及び移動体判定情報生成方法に関する。
【背景技術】
【０００２】
路側インフラ装置と車載装置とが、有線又は無線による路車間通信手段により情報を交換し、各装置が単独では実現できなかった機能を実現させるシステムが検討されている。特に、車両の運転者からは死角となる場所に存在する車両又は歩行者を検出した検出情報をインフラ側より車両側に提供することにより事故を抑止する路車協調型安全運転支援システムの検討が進められている。
【０００３】
このようなシステムを実現するための主要技術としては、車両の位置情報、自動車、二輪車若しくは歩行者等の車種情報、又は車両等の移動速度若しくは移動方向等を検出するセンサが必要である。計測範囲の広さ、製品寿命、コスト又は性能のバランスなどを考慮すると、画像処理方式のセンサが有力である。この画像処理方式のセンサ（以下、「車両センサ」と称する。）の主要機能である車両検出においては、環境変化が存在する任意の計測地点において高精度な車両検出を実現しなければならない。
【０００４】
例えば、高精度な車両検出を実現する方法として、道路画像から車両をオブジェクトとして検出し、サポートベクターマシン（ＳＶＭ）、あるいはブースティング（Boosting）などに代表される車両・非車両パターンのサンプル学習を通じて、車両・非車両パターンに対する判定基準（境界基準）を生成するパターン認識技術を利用した車両追跡装置が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−９２２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、車両センサを様々な地点に設置することを想定して、各地点で生じ得る様々な非車両パターンのすべてを予め網羅して準備することは極めて困難である。そこで、地点毎に生じ得る車両パターン及び非車両パターンを車両センサの設置地点毎に収集し、収集した車両パターン及び非車両パターンに基づいて車両センサの判定基準を適宜修正又は改善する方法が考えられる。しかし、各地に設置された車両センサ毎にオペレータに車両センサの判定基準を修正させることは、多大な労力及び莫大なコストを必要とするため現実的ではない。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、人手を介さずに移動体判定情報（車両パターン又は非車両パターン）を生成することができる移動体判定情報生成装置、該移動体判定情報生成装置を備える移動体判定情報生成システム、前記移動体判定情報生成装置を実現するためのコンピュータプログラム及び移動体判定情報生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１態様に係る移動体判定情報生成装置は、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成する移動体判定情報生成装置において、複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出する検出手段と、該検出手段で検出した移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡する追跡手段と、前記検出手段での検出結果及び前記追跡手段での追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成する生成手段とを備えることを特徴とする。
【０００９】
本発明の第２態様に係る移動体判定情報生成装置は、第１態様において、前記生成手段は、前記追跡手段で複数の撮像時点で追跡領域を追跡することができた場合に、前記複数の撮像時点のうちの任意の撮像時点で前記追跡領域の近傍領域で前記検出手段により移動体領域を検出したときは、該移動体領域が非移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする。
【００１０】
本発明の第３態様に係る移動体判定情報生成装置は、第２態様において、前記近傍領域は、前記追跡手段で複数の追跡領域を追跡することができた場合、隣り合う追跡領域の間の領域であることを特徴とする。
【００１１】
本発明の第４態様に係る移動体判定情報生成装置は、第２態様において、前記近傍領域は、前記追跡手段で追跡領域を追跡することができた場合、該追跡領域の周辺領域であることを特徴とする。
【００１２】
本発明の第５態様に係る移動体判定情報生成装置は、第１態様乃至第４態様のいずれか１つにおいて、前記生成手段は、前記追跡手段で複数の撮像時点で追跡領域を追跡することができた場合に、前記複数の撮像時点のうちの任意の撮像時点で前記検出手段により移動体領域を検出することができないときは、前記任意の撮像時点の追跡領域が移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする。
【００１３】
本発明の第６態様に係る移動体判定情報生成装置は、第１態様乃至第５態様のいずれか１つにおいて、前記生成手段は、任意の撮像時点で前記検出手段により移動体領域を検出した場合に、前記追跡手段で追跡領域を追跡することができないときは、前記任意の撮像時点の前後の撮像時点及び前記移動体領域の周辺領域で他の追跡領域が存在しない場合、前記移動体領域が非移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする。
【００１４】
本発明の第７態様に係る移動体判定情報生成装置は、第１態様乃至第６態様のいずれか１つにおいて、前記追跡手段が追跡する追跡領域が移動体を示すか否かを判定する追跡判定手段を備え、前記追跡手段は、前記追跡領域が移動体を示すものでないと判定された場合、追跡を中止するように構成してあることを特徴とする。
【００１５】
本発明の第８態様に係る移動体判定情報生成装置は、第１態様乃至第７態様のいずれか１つにおいて、前記追跡手段が追跡する追跡領域が予め撮像画像上で画定された移動可能領域内にあるか否かを判定する移動可能判定手段を備え、前記追跡手段は、前記追跡領域が前記移動可能領域内にある場合、追跡を継続するように構成してあることを特徴とする。
【００１６】
本発明の第９態様に係る移動体判定情報生成装置は、第１態様乃至第８態様のいずれか１つにおいて、サポートベクターマシンを用いて移動体であるか否かを判定する判定手段と、該判定手段で判定するための判定基準を前記生成手段で生成した移動体判定情報を用いて更新する更新手段とを備えることを特徴とする。
【００１７】
本発明の第１０態様に係る移動体判定情報生成システムは、前述の第１態様に係る移動体判定情報生成装置と、撮像した撮像画像を前記移動体判定情報生成装置へ出力する撮像装置とを備えることを特徴とする。
【００１８】
本発明の第１１態様に係るコンピュータプログラムは、コンピュータに、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成するステップを実行させるためのコンピュータプログラムにおいて、コンピュータに、複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出するステップと、検出した移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡するステップと、前記検出するステップでの検出結果及び前記追跡するステップでの追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成するステップとを実行させることを特徴とする。
【００１９】
本発明の第１２態様に係る移動体判定情報生成方法は、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成する移動体判定情報生成装置による移動体判定情報生成方法おいて、複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出するステップと、検出された移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡するステップと、検出結果及び追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成するステップとを含むことを特徴とする。
【００２０】
第１態様、第１１態様及び第１２態様にあっては、複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出する。移動体は、例えば、自動車又は二輪車などの車両である。移動体領域の検出は、パターン認識技術を用いてもよく、あるいは画像中の画素の変化、例えば、エッジ点などの情報に基づいて検出することができる。移動体領域は、例えば、撮像時点（フレーム）毎に車両（移動体）が存在すると判定した領域（例えば、矩形領域）で示すことができる。そして、検出した移動体領域の当該撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡する。追跡処理は、車両（移動体）の検出結果に基づいて行われ、例えば、パターンマッチング、パーティクルフィルタなどのトラッキング技術を用いることができる。追跡領域は、例えば、連続したフレーム間で特定の追跡対象を追跡していることを明示するため識別番号（例えば、車両ＩＤ）を付加した形で示すことができる。
【００２１】
検出結果及び追跡結果に基づいて、検出した移動体領域又は追跡した追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成する。すなわち、移動体の検出結果と追跡結果との両方の情報に基づいて移動体を示す移動体判定情報又は非移動体を示す移動体判定情報を生成する。移動体を示す移動体判定情報は、例えば、車両であるにも関わらず車両として検出することができなかった車両パターン（検出漏れパターン、正例と称する）である。また、非移動体を示す移動体判定情報は、例えば、車両でないにも関わらず車両として誤検出した非車両パターン（誤検出パターン、負例と称する）である。
【００２２】
移動体判定情報の生成は、以下のように行うことができる。例えば、追跡領域の追跡が行われている場合に、追跡領域の近傍の領域で車両が検出されたときは、検出した移動体領域は車両でないものを車両として検出したので、当該移動体領域を、非移動体を示す移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。また、追跡領域の追跡が行われている場合に、追跡領域の近傍の領域で車両が検出できないときは、追跡中の車両を非車両として検出したので、追跡領域を、移動体を示す移動体判定情報、すなわち車両であるにも関わらず車両として検出することができなかった車両パターン（正例）として生成する。これにより、人手を介さずに移動体判定情報（車両パターン又は非車両パターン）を生成することができる。
【００２３】
第２態様にあっては、複数の撮像時点で追跡領域を追跡することができた場合に、当該複数の撮像時点のうちの任意の撮像時点で当該追跡領域の近傍領域で移動体領域を検出したときは、当該移動体領域が非移動体を示すとして移動体判定情報を生成する。近傍領域は、例えば、同一撮像時点の撮像画像上で複数の追跡領域が存在する場合には、隣り合う追跡領域の間の領域を近傍領域とする。すなわち、２つの車両がほぼ並行して走行している場合に、これら２つの車両の間の領域（近傍領域）で車両が検出される可能性はほとんどないので、仮に当該近傍領域で移動体領域が検出された場合には、当該移動体領域は車両でないものを車両として検出したものであるので、当該移動体領域を、非移動体を示すとして移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。
【００２４】
また、１つの車両が走行している場合に、当該車両の周囲の領域（近傍領域）で車両が検出される可能性はほとんどないので、仮に当該近傍領域で移動体領域が検出された場合には、当該移動体領域は車両でないものを車両として検出したものであるので、当該移動体領域を、非移動体を示すとして移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。これにより、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００２５】
第３態様にあっては、近傍領域は、複数の追跡領域を追跡することができた場合、隣り合う追跡領域の間の領域である。２つの追跡領域が隣り合う場合、近傍領域は、例えば、それぞれの追跡領域の撮像画像上の重心の中点を重心とし、追跡領域の大きさ（高さ、幅）に適宜の定数を乗算した大きさの領域とすることができる。これにより、所要の距離に位置する２つの車両の間に別の車両が隙間なく入りこむことはほぼあり得ないので、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００２６】
第４態様にあっては、近傍領域は、追跡領域を追跡することができた場合、当該追跡領域の周辺領域である。周辺領域は、例えば、追跡領域を外側から囲む領域であって、追跡領域の内側の一部の領域を除く領域とすることができる。すなわち、周辺領域は、追跡領域の境界を含むようにすることができる。これにより、車両の車体周りには車両が存在することはほぼあり得ないので、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００２７】
第５態様にあっては、複数の撮像時点（例えば、時刻ｔ＝ｔ１からｔｎ）で追跡領域を追跡することができた場合に、複数の撮像時点のうちの任意の撮像時点（例えば、時刻ｔ＝ｔｓ、１＜ｓ＜ｎ）で移動体領域を検出することができないときは、任意の撮像時点（時刻ｔ＝ｔｓ）の追跡領域が移動体を示すとして移動体判定情報を生成する。例えば、追跡処理で追跡領域を追跡することができている場合、車両は存在すると考えられる。追跡中の任意の撮像時点（時刻ｔ＝ｔｓ）で車両を検出することができない場合には、本来であれば車両として検出することができるものを車両として検出することができなかったのであるから、当該任意の撮像時点（時刻ｔ＝ｔｓ）での追跡領域を、車両であるにも関わらず車両として検出することができなかった車両パターン（正例）として生成する。これにより、人手を介さずに車両パターン（正例）を自動的に生成することができる。
【００２８】
第６態様にあっては、任意の撮像時点（例えば、時刻ｔ）で移動体領域を検出した場合に、追跡領域を追跡することができないときは、当該任意の撮像時点の前後の撮像時点（例えば、時刻ｔ±Ｆ）及び当該移動体領域の周辺領域（例えば、移動体領域を中心とする半径ｒの領域）で他の追跡領域が存在しない場合、当該移動体領域が非移動体を示すとして移動体判定情報を生成する。追跡処理が一旦開始された後中止されたということは、当初車両であると判定して追跡領域の追跡が行われたものの途中で車両ではないと判定されたのであるから、車両が検出された時点の前後及びその周囲で他の車両を追跡する追跡領域が存在しない場合には、車両でないものを車両として検出したので、当該追跡領域を、非移動体を示す移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。これにより、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００２９】
第７態様にあっては、追跡領域が移動体を示すか否かを判定し、追跡領域が移動体ではないと判定された場合、追跡を中止する。移動体を示すか否かの判定は、追跡領域がどの程度、「移動体らしさ」（「車両らしさ」）を有するかで判定することができ、例えば、追跡領域の形状又は大きさが移動体と異なる形状又は大きさとなった場合、移動体ではないと判定することができる。これにより、不要な追跡処理を早めに打ち切ることができ、全体の処理効率を向上させることができる。
【００３０】
第８態様にあっては、追跡領域が予め撮像画像上で画定された移動可能領域内にあるか否かを判定し、追跡領域が移動可能領域内にある場合、追跡を継続する。移動可能領域は、例えば、撮像画像上で車両が走行することができる道路の領域であり、予め設定することができる。追跡領域が移動可能領域内にある場合には、追跡している移動体（車両）の移動条件が車両の動きとして自然なものであると判定することができるので、追跡処理を継続する。これにより、検出漏れパターン（車両パターン、正例）又は誤検出パターン（非車両パターン、負例）の生成（収集）に重要な車両が存在した位置の推定を高精度に行うことができ、精度良く車両パターン（正例）又は非車両パターン（負例）を生成することができる。
【００３１】
第９態様にあっては、サポートベクターマシンを用いて移動体であるか否かを判定し、判定するための判定基準を、生成した移動体判定情報を用いて更新する。すなわち、生成した正例若しくは負例、あるいは両者を学習データとして採用して判定基準を更新する。これにより、オンラインで修正した判定基準を用いて車両検出を行うことができるので、自動学習機能を備え、高精度に車両を検出することが可能となる。
【００３２】
第１０態様にあっては、人手を介さずに移動体判定情報（車両パターン又は非車両パターン）を生成することができる移動体判定情報生成システムを実現することができる。
【発明の効果】
【００３３】
本発明によれば、人手を介さずに移動体判定情報（車両パターン又は非車両パターン）を生成することができる。
【図面の簡単な説明】
【００３４】
【図１】本実施の形態の移動体判定情報生成システムの構成の一例を示すブロック図である。
【図２】移動可能領域の一例を示す説明図である。
【図３】本実施の形態の車両判定情報生成装置による負例を生成する第１例を示す説明図である。
【図４】近傍領域の一例を示す説明図である。
【図５】近傍領域の他の例を示す説明図である。
【図６】車両検出結果及び車両追跡結果により負例を生成する様子の一例を示す説明図である。
【図７】車両検出結果及び車両追跡結果により負例を生成する様子の他の例を示す説明図である。
【図８】本実施の形態の車両判定情報生成装置による正例を生成する一例を示す説明図である。
【図９】車両検出結果及び車両追跡結果により正例を生成する様子の一例を示す説明図である。
【図１０】本実施の形態の車両判定情報生成装置による負例を生成する第２例を示す説明図である。
【図１１】車両検出結果及び車両追跡結果により負例を生成する様子の他の例を示す説明図である。
【図１２】本実施の形態の車両判定情報生成装置による負例及び正例の自動収集の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００３５】
以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は本実施の形態の移動体判定情報生成システムの構成の一例を示すブロック図である。移動体判定情報生成システムは、移動体判定情報生成装置としての車両判定情報生成装置１００、撮像装置２００などを備える。なお、図１の例では、１つの撮像装置２００を図示しているが、撮像装置２００は複数設けることもできる。すなわち、道路の複数の地点それぞれに撮像装置２００を設置し、撮像装置２００で撮像した撮像画像を車両判定情報生成装置１００へ送信（出力）することができる。また、本実施の形態では、移動体とは、例えば、自動車又は二輪車などの車両であるが、歩行者などの移動体を含めることもできる。
【００３６】
車両判定情報生成装置１００は、画像入力部１０１、車両検出部１０２、車両追跡部１０３、データ収集部１０６、収集データ学習部１０９などを備える。車両追跡部１０３は、信頼度判定部１０４、移動領域判定部１０５などを備える。また、データ収集部１０６は、正例生成部１０７、負例生成部１０８などを備える。なお、本実施の形態では、移動体判定情報には、移動体を示す移動体判定情報と非移動体を示す移動体判定情報の両方がある。
【００３７】
移動体を示す移動体判定情報は、例えば、車両であるにも関わらず車両として検出することができなかった車両パターン（検出漏れパターン、正例とも称する）である。また、非移動体を示す移動体判定情報は、例えば、路面などの車両でないにも関わらず車両として誤検出した非車両パターン（誤検出パターン、負例とも称する）である。
【００３８】
本実施の形態の車両判定情報生成装置１００は、車両検出部１０２が検出し損ねた車両パターン（検出漏れパターン）を自動的に認識して正例（移動体を示す移動体判定情報）として生成（取集）する機能、車両検出部１０２が車両でないものを車両として誤検出した非車両パターン（誤検出パターン）を自動的に認識して負例（非移動体を示す移動体判定情報）として生成（取集）する機能などの自動学習機能を有するものである。
【００３９】
また、本実施の形態の車両判定情報生成装置１００は、生成（取集）した正例及び／又は負例を学習データとして採用して車両検出部１０２の車両判定基準を適切に修正する自動学習機能を有する。
【００４０】
また、本実施の形態の車両判定情報生成装置１００は、車両判定基準を適切に修正することにより、車両検出部１０２で実際には非車両であるパターンを誤って車両パターンであると判定する事態を自動的に回避する機能、実際には車両であるパターンを誤って非車両パターンであると判定する事態を自動的に回避する機能などの自動学習機能を有するものである。
【００４１】
さらに、本実施の形態の車両判定情報生成装置１００は、車両検出及び車両追跡の両方の処理を並行して実施しつつ、全体の処理のリアルタイム性を維持するものである。
【００４２】
画像入力部１０１は、画像メモリ（不図示）などを備え、撮像装置２００から入力された撮像画像（画像データ）を、１フレーム単位に同期させて画像メモリに記憶する。なお、１フレームは、例えば、１００ｍｓであるが、これに限定されるものではない。画像メモリに記憶された撮像画像は、車両検出部１０２により読み出される。
【００４３】
車両検出部１０２は、移動体を示す画素領域である移動体領域を検出する検出手段としての機能を有する。車両検出部１０２は、例えば、パターン認識技術を用いて撮像画像上の車両領域（移動体領域）を特定して車両を検出する。具体的には、車両検出部１０２は、収集データ学習部１０９が有する正例、負例、車両・非車両の判定基準などに基づいて車両を検出する。移動体領域は、移動体を示す画素領域であり、例えば、撮像時点（フレーム）毎に車両（移動体）が存在すると判定した領域（例えば、矩形領域）で示すことができる。なお、車両の検出処理は、撮像画像中の画素の変化（例えば、エッジ点）などの情報に基づいて行うこともできる。
【００４４】
車両追跡部１０３は、車両検出部１０２で検出した移動体領域を、その後の撮像時点での撮像画像上で追跡領域として追跡する追跡手段としての機能を有する。追跡処理は、車両（移動体）の検出結果に基づいて行われ、例えば、パターンマッチング、パーティクルフィルタなどのトラッキング技術を用いることができる。追跡結果は、例えば、連続したフレーム間で特定の追跡対象を追跡していることを明示するため識別番号（例えば、車両ＩＤ）、追跡領域に対して追跡が連続で行われたフレーム数である追跡時間（フレーム数）、フレーム毎に追跡領域の「車両らしさ」を評価する信頼度によって示すことができる。
【００４５】
信頼度判定部１０４は、追跡領域が車両（移動体）を示すか否かを判定する追跡判定手段の機能を有する。信頼度判定部１０４は、車両追跡部１０３での追跡結果の信頼度を判定する。例えば、追跡の信頼度は、フレーム毎に「車両である」と判定された場合、信頼度の値を１つ増加させ、「車両であるか否かが不明」と判定された場合、信頼度の値を変化させない。また、「車両ではない」と判定された場合、信頼度を０に戻して追跡処理を中止する。
【００４６】
例えば、追跡領域の形状又は大きさが車両と異なる形状又は大きさとなった場合、車両ではないと判定することができる。これにより、不要な追跡処理を早めに打ち切ることができ、全体の処理効率を向上させることができる。なお、信頼度判定部１０４は、車両であるか否かが不明である状態が継続した場合、信頼度の値を減少させる。
【００４７】
移動領域判定部１０５は、追跡領域が予め撮像画像上で画定された移動可能領域（車両移動領域）内にあるか否かを判定する移動可能判定手段としての機能を有する。すなわち、移動領域判定部１０５は、追跡領域の時間的な変化が車両の動きとして自然なものであるか否かを判定する。
【００４８】
図２は移動可能領域の一例を示す説明図である。図２の例では、時刻ｔ−１、ｔ、ｔ＋１の異なる撮像時点における追跡対象（追跡領域）の変化の様子を示す。なお、撮像時点は一例であって、これに限定されるものではない。
【００４９】
追跡領域が移動可能領域（車両移動領域）内にあるか否かの判定は、追跡領域（追跡対象）が、次の３つの条件を満たした場合、追跡領域は車両として妥当な動作を示すと判定する。
【００５０】
第１の条件は式（１）で表すことができ、第２の条件は式（２）で表すことができ、第３の条件は、式（３）及び式（４）で表すことができる。また、式（３）、式（４）における変数ａ、ｂ、ｃ、ｄは、それぞれ式（５）、式（６）、式（７）及び式（８）で表すことができる。
【００５１】
【数１】
【００５２】
ｘ（ｔ）、ｙ（ｔ）は、時刻ｔにおける追跡対象（追跡領域）を示す矩形領域の左上端のｘ座標、ｙ座標を示す。また、ｗ（ｔ）、ｈ（ｔ）は、時刻ｔにおける追跡対象（追跡領域）を示す矩形領域の横幅、高さを示す。また、式（１）において、Ｌｔ、Ｕｔ（０＜Ｌｔ＜Ｕｔ）は、撮像画像上で車両を追跡した時間として適切な時間であると判定することができる範囲を指定するパラメータである。
【００５３】
式（３）は図２で示す点Ａ、Ｄを結ぶ直線の右側の領域を示し、式（４）は図２で示す点Ｂ、Ｅを結ぶ直線の左側の領域を示す。なお、点Ａ、Ｂは、それぞれ時刻ｔ−１の追跡対象（追跡領域）の底辺の長さ（幅）をｗ（ｔ−１）とすると、左端から０．４ｗ（ｔ−１）、０．６ｗ（ｔ−１）の点である。また、点Ｄ、Ｅは、それぞれ時刻ｔ＋１の追跡対象（追跡領域）の底辺の長さ（幅）をｗ（ｔ＋１）とすると、左端から０．４ｗ（ｔ＋１）、０．６ｗ（ｔ＋１）の点である。
【００５４】
上述の第１〜第３の条件は、追跡時間が所要の範囲内であり、時刻ｔ＝２、３、…、Ｔ−１における矩形状の追跡領域の底辺の中点（車両の先頭の中央部に相当）が、図２で例示する移動可能領域（破線で示す台形状の領域）内に存在していることを示す。
【００５５】
追跡領域が移動可能領域（車両移動領域）内にあるか否かの判定を行うことにより、検出漏れパターン（車両パターン、正例）又は誤検出パターン（非車両パターン、負例）の生成（収集）に重要な車両が存在した位置の推定を高精度に行うことができ、精度良く車両パターン（正例）又は非車両パターン（負例）を生成することができる。
【００５６】
なお、図２に例示する移動可能領域の形状又は大きさは、道路の状況に応じて適宜設定することができ、図２の例に限定されるものではない。
【００５７】
次に、正例及び負例の生成（収集）方法について説明する。データ収集部１０６は、車両検出部１０２での検出結果及び車両追跡部１０３での追跡結果に基づいて、検出した移動体領域又は追跡した追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成する生成手段としての機能を有する。
【００５８】
すなわち、データ収集部１０６は、移動体の検出結果と追跡結果との両方の情報に基づいて移動体を示す移動体判定情報又は非移動体を示す移動体判定情報を生成する。移動体を示す移動体判定情報は、例えば、車両であるにも関わらず車両として検出することができなかった車両パターン（検出漏れパターン、正例）である。また、非移動体を示す移動体判定情報は、例えば、車両でないにも関わらず車両として誤検出した非車両パターン（誤検出パターン、負例）である。
【００５９】
移動体判定情報の生成は、以下のように行うことができる。例えば、追跡領域の追跡が行われている場合に、追跡領域の近傍の領域で車両が検出されたときは、検出した移動体領域は車両でないものを車両として検出したので、当該移動体領域を、非移動体を示す移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。また、追跡領域の追跡が行われている場合に、追跡領域の近傍の領域で車両が検出できないときは、追跡中の車両を非車両として検出したので、追跡領域を、移動体を示す移動体判定情報、すなわち車両であるにも関わらず車両として検出することができなかった車両パターン（正例）として生成する。これにより、人手を介さずに移動体判定情報（車両パターン又は非車両パターン）を生成することができる。
【００６０】
正例生成部１０７は、正例を生成（収集）し、負例生成部１０８は、負例を生成（収集）する。以下、場合に分けて具体的に説明する。
【００６１】
図３は本実施の形態の車両判定情報生成装置１００による負例を生成する第１例を示す説明図である。図３において、上段は車両検出処理がフレーム単位で繰り返される様子を示し、下段は車両追跡処理が同様にフレーム単位で繰り返される様子を示す。図３に示すように、複数の撮像時点（例えば、時刻ｔ１〜ｔ８）で追跡領域を追跡することができた場合に、当該複数の撮像時点のうちの任意の撮像時点（例えば、時刻ｔ６）で当該追跡領域の近傍領域で移動体領域を検出したときは、当該移動体領域が非移動体を示すとして移動体判定情報（負例）を生成する。
【００６２】
図４は近傍領域の一例を示す説明図である。図４に示すように、近傍領域は、例えば、同一撮像時点の撮像画像上で複数の追跡領域（追跡対象）が存在する場合には、隣り合う追跡領域の間の領域を近傍領域（破線で示す領域）とすることができる。２つの追跡領域が隣り合う場合、近傍領域は、例えば、それぞれの追跡領域の撮像画像上の重心（ｘａ、ｙａ）及び（ｘｂ、ｙｂ）の中点（ｘｃ、ｙｃ）を重心とし、追跡領域の大きさ（高さ、幅）に適宜の定数を乗算した大きさの領域とすることができる。すなわち、図４中のＣ１、Ｃ２は追跡領域の大きさに応じて適宜設定することができる。
【００６３】
２つの車両がほぼ並行して走行している場合に、これら２つの車両の間の領域（近傍領域）で車両が検出される可能性はほとんどないので、仮に当該近傍領域で移動体領域が検出された場合には、当該移動体領域は車両でないものを車両として検出したものであるので、当該移動体領域を、非移動体を示すとして移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。
【００６４】
これにより、所要の距離に位置する２つの車両の間に別の車両が隙間なく入りこむことはほぼあり得ないので、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００６５】
なお、図４の例において、隣り合う追跡領域の重心間の距離Ｄが、例えばＤ１＜Ｄ＜Ｄ２を満たさない場合、すなわち、２つの車両が近すぎる場合、あるいは遠すぎる場合には、負例の生成（収集）を実行しないようにすることができる。また、隣り合う追跡領域の重心を結ぶ線分が水平方向となす角をαとした場合、α＜α１を満たさない場合、すなわち、２つの車両がある程度の距離を保って併走していない場合、負例の生成（収集）を実行しないようにすることができる。また、両者の条件が同時に満たされない場合に、負例の生成（収集）を実行しないようにすることもできる。
【００６６】
図５は近傍領域の他の例を示す説明図である。図５に示すように、近傍領域は、例えば、近傍領域は、追跡領域を追跡することができた場合、当該追跡領域の周辺領域（破線で示す領域）である。周辺領域は、例えば、追跡領域を外側から囲む領域であって、追跡領域の内側の一部の領域を除く領域とすることができる。すなわち、周辺領域は、追跡領域の境界を含むようにすることができる。周辺領域の大きさ及び形状を画定するパラメータＥ１〜Ｅ４、Ｉ１〜Ｉ４は、追跡領域の大きさ（例えば、幅ｗ）に応じて適宜設定することができる。また、周辺領域（近傍領域）の上側の両端部の領域は、消失点に向かう線分で除外することもできる。
【００６７】
１つの車両が走行している場合に、当該車両の周囲の領域（近傍領域）で車両が検出される可能性はほとんどないので、仮に当該近傍領域で移動体領域が検出された場合には、当該移動体領域は車両でないものを車両として検出したものであるので、当該移動体領域を、非移動体を示すとして移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。これにより、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００６８】
図６は車両検出結果及び車両追跡結果により負例を生成する様子の一例を示す説明図である。図６は前述の図４の場合に対応するものであり、２つの隣り合う追跡領域の間の領域を近傍領域とする例である。図６に示すように、２台の車両３００、３０１が走行している場合、それぞれの車両を検出し、検出した車両に識別番号（１、２）を付して追跡処理を行っている。この状態で２つの車両の間で車両領域を検出した場合、当該車両領域は、車両でないものを誤って検出したものなので、当該車両領域のパターンを負例（誤検出パターン）として生成（収集）する。
【００６９】
図７は車両検出結果及び車両追跡結果により負例を生成する様子の他の例を示す説明図である。図７は前述の図５の場合に対応するものであり、追跡領域の周辺領域を近傍領域とする例である。図７に示すように、車両３０４が走行している場合、当該車両を検出し、検出した車両に識別番号（７）を付して追跡処理を行っている。この状態で車両の周辺で車両領域を検出した場合、当該車両領域は、車両でないものを誤って検出したものなので、当該車両領域のパターンを負例（誤検出パターン）として生成（収集）する。
【００７０】
図８は本実施の形態の車両判定情報生成装置１００による正例を生成する一例を示す説明図である。図８において、上段は車両検出処理がフレーム単位で繰り返される様子を示し、下段は車両追跡処理が同様にフレーム単位で繰り返される様子を示す。図８に示すように、複数の撮像時点（例えば、時刻ｔ１〜ｔ８）で追跡領域を追跡することができた場合に、当該複数の撮像時点のうちの任意の撮像時点（例えば、時刻ｔ５）で移動体領域を検出することができないときは、時刻ｔ５の追跡領域が移動体を示すとして移動体判定情報（正例）を生成する。
【００７１】
図８に示すように、複数の撮像時点（例えば、時刻ｔ＝ｔ１からｔｎ）で追跡領域を追跡することができた場合に、複数の撮像時点のうちの任意の撮像時点（例えば、時刻ｔ＝ｔｓ、１＜ｓ＜ｎ）で移動体領域を検出することができないときは、任意の撮像時点（時刻ｔ＝ｔｓ）の追跡領域が移動体を示すとして移動体判定情報を生成する。例えば、追跡処理で追跡領域を追跡することができている場合、車両は存在すると考えられる。追跡中の任意の撮像時点（時刻ｔ＝ｔｓ）で車両を検出することができない場合には、本来であれば車両として検出することができるものを車両として検出することができなかったのであるから、当該任意の撮像時点（時刻ｔ＝ｔｓ）での追跡領域を、車両であるにも関わらず車両として検出することができなかった車両パターン（正例）として生成する。これにより、人手を介さずに車両パターン（正例）を自動的に生成することができる。
【００７２】
図９は車両検出結果及び車両追跡結果により正例を生成する様子の一例を示す説明図である。図９は前述の図８の場合に対応するものである。図９に示すように、２台の車両３０２、３０３が走行している場合、それぞれの車両を検出し、検出した車両に識別番号（４、５）を付して追跡処理を行っている。この状態で車両３０３を検出することができない場合、車両であるものを検出することができなかったので、車両３０３に対応する追跡領域のパターンを正例（検出漏れパターン）として生成（収集）する。
【００７３】
図１０は本実施の形態の車両判定情報生成装置１００による負例を生成する第２例を示す説明図である。図１０において、上段は車両検出処理がフレーム単位で繰り返される様子を示し、下段は車両追跡処理が同様にフレーム単位で繰り返される様子を示す。図１０に示すように、任意の撮像時点（例えば、時刻ｔ４）で車両（車両領域）を検出した場合に、時刻ｔ４後の時刻（例えば、時刻ｔ７）で追跡領域を追跡することができないときは、当該任意の撮像時点（時刻ｔ４）の前後の撮像時点（例えば、時刻ｔ２〜ｔ６）及び当該車両領域の周辺領域（例えば、車両領域を中心とする半径ｒの領域）で他の追跡領域が存在しない場合、時刻ｔ４の車両領域が非移動体を示すとして移動体判定情報（負例）を生成する。
【００７４】
追跡処理が一旦開始された後中止されたということは、当初車両であると判定して追跡領域の追跡が行われたものの途中で車両ではないと判定されたのであるから、車両が検出された時点の前後及びその周囲で他の車両を追跡する追跡領域が存在しない場合には、車両でないものを車両として検出したので、当該追跡領域を、非移動体を示す移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。これにより、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００７５】
図１１は車両検出結果及び車両追跡結果により負例を生成する様子の他の例を示す説明図である。図１１は前述の図１０の場合に対応するものである。一旦車両が検出され、追跡処理が開始されたものの、その後追跡処理が中止された場合、他の追跡領域が存在しないときは、当初検出した車両領域は、車両でないものを誤って検出したものなので、当該車両領域のパターンを負例（誤検出パターン）として生成（収集）する。
【００７６】
なお、上述の車両追跡処理が継続しているという条件に加えて、信頼度判定部１０４で判定した信頼度が低下していないこと、あるいは移動領域判定部１０５で追跡領域が移動可能範囲内にあることを条件として付加することもできる。これにより、負例又は正例の自動生成（自動収集）に重要な車両の存在位置の推定を高精度に行うことができる。
【００７７】
図１２は本実施の形態の車両判定情報生成装置１００による負例及び正例の自動収集の処理手順を示すフローチャートである。なお、以下のフローチャートの説明では、便宜上車両判定情報生成装置１００を簡略化して装置１００と称する。装置１００は、撮像画像を取得し（Ｓ１１）、車両領域（移動体領域）を検出する（Ｓ１２）。
【００７８】
装置１００は、検出した車両領域の位置を追跡領域として追跡し（Ｓ１３）、追跡領域が車両移動領域（移動可能領域）内であるか否かを判定する（Ｓ１４）。追跡領域が車両移動領域内にある場合（Ｓ１４でＹＥＳ）、装置１００は、車両の動きとして自然なものであると判定して、追跡の信頼度が低下したか否かを判定する（Ｓ１５）。追跡領域が車両移動領域内にない場合（Ｓ１４でＮＯ）、装置１００は、処理を終了する。
【００７９】
信頼度が低下していない場合（Ｓ１５でＮＯ）、すなわち、信頼度の値が増加又は変化していない場合、装置１００は、追跡領域の近傍領域に車両領域（移動体領域）を検出したか否かを判定し（Ｓ１６）、車両領域を検出した場合（Ｓ１６でＹＥＳ）、車両でないものを車両として誤検出したので、当該車両領域のパターンを負例（誤検出パターン）として収集（生成）し（Ｓ１７）、処理を終了する。
【００８０】
追跡領域の近傍領域に車両領域を検出していない場合（Ｓ１６でＮＯ）、装置１００は、追跡中の任意の時点で車両領域の検出ができたか否かを判定し（Ｓ１８）、車両領域を検出することができない場合（Ｓ１８でＮＯ）、車両を車両として検出することができなかったので、車両領域を検出することができなかった時点での追跡領域のパターンを正例（検出漏れパターン）として収集（生成）し（Ｓ１９）、処理を終了する。車両領域を検出することができた場合（Ｓ１８でＹＥＳ）、装置１００は、ステップＳ１４以降の処理を続ける。
【００８１】
追跡の信頼度が低下した場合（Ｓ１５でＹＥＳ）、装置１００は、追跡が途中で中止になったか否かを判定し（Ｓ２０）、追跡が中止になっていない場合（Ｓ２０でＮＯ）、ステップＳ１５以降の処理を続ける。なお、追跡の信頼度は、車両でないと判定された場合にはゼロになり、また、車両であるか否かが不明である状態が継続した場合、信頼度の値は減少する。
【００８２】
追跡を中止した場合（Ｓ２０でＹＥＳ）、すなわち、車両の検出処理が続けられている状態で当該車両の追跡が中止した場合、追跡対象（追跡領域）の車両検出時の前後及び検出した車両領域の周囲で他の追跡領域の有無を判定する（Ｓ２１）。
【００８３】
他の追跡領域がない場合（Ｓ２１でＮＯ）、装置１００は、車両でないものを車両として誤検出したので、当該車両領域のパターンを負例（誤検出パターン）として収集（生成）し（Ｓ２２）、処理を終了する。他の追跡領域がある場合（Ｓ２１でＹＥＳ）、装置１００は、検出した車両領域は車両として正しく検出されたものであるので、ステップＳ２２の処理を行うことなく処理を終了する。なお、図１２に示す処理は、適宜の周期で繰り返し実行することができる。
【００８４】
本実施の形態の車両判定情報生成装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図１２に示すような、各処理手順を定めたコンピュータプログラムをＣＤ、ＤＶＤ、ＵＳＢメモリ等のコンピュータプログラム記録媒体に記録しておき、当該コンピュータプログラムをコンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で車両判定情報生成装置１００を実現することができる。
【００８５】
本実施の形態の車両判定情報生成装置１００による正例及び負例の自動収集（自動生成）は、所要の時間内に示された車両検出部１０２の検出処理と車両追跡部１０３の追跡処理の両方の情報を参照することで、車両検出処理単体では困難な「車両検出処理の適切さ」を判定、補完することができる。これにより、車両検出と車両追跡とを並行して行う場合に、本実施の形態によれば、車両の検出漏れに起因した追跡漏れを未然に防止することができるので、運転者の死角からの接近車両の存在を運転者へ警告することができない事態を防ぐことができる。また、車両でないものを車両として誤検出することを防止することができるので、運転車への不必要な警告、あるいは計算量の大きい追跡処理の過剰発生に起因する警告の遅れ等を防止することができ、車両センサに対する運転者の信頼を高めることができる。
【００８６】
収集データ学習部１０９は、データ収集部１０６で収集（生成）した正例及び負例を用いて、車両・非車両の判定基準を更新（修正）する更新手段としての機能を有する。収集データ学習部１０９は、例えば、サポートベクターマシン（ＳＶＭ）を備える。特に、インクリメンタルサポートベクターマシン（Incremental SVM）を採用する場合には、データ収集部１０６で収集（生成）した正例及び負例を追加学習して、車両・非車両の判定基準をオンライン修正（更新）という形で実現することができる。また、インクリメンタルサポートベクターマシンを用いた学習は、既に所有している正例及び負例（学習データ）から追加学習しようとする正例及び負例の適切さを評価するステップを含んでいるので、車両検出に有意な正例及び負例のみを学習データとして採用することができる。また、通常のサポートベクターマシンを用いた学習に比べて、追加する正例又は負例だけを学習データとして用いて学習することができるので計算量が極めて少なく、オンライン学習に適している。
【００８７】
本実施の形態では、上述のように、サポートベクターマシン（特に、インクリメンタルサポートベクターマシン）を用いて車両であるか否かを判定し、判定するための判定基準を、生成した正例及び／又は負例を用いて更新する。すなわち、生成した正例若しくは負例、あるいは両者を学習データとして採用して判定基準を更新する。これにより、オンラインで修正した判定基準を用いて車両検出を行うことができるので、自動学習機能を備え、高精度に車両を検出することが可能となる。
【００８８】
本実施の形態によれば、人手を介さずに正例又は負例（移動体判定情報）の収集を自動的に行うとともに収集した正例又は負例を用いて車両などの移動体を高精度に検出することができる。
【００８９】
従来、サンプルの学習に基づく認識技術においては、当然ながら学習サンプルの適切さがその認識精度を左右する。その中で、高精度な認識精度を達成しているアプリケーションの大半が、人の介在を必要とするものである。すなわち、人によって適切であると判断されたサンプルを学習に用いている。このことからも、学習サンプルの適切さの判定の自動化の難しさが伺える。
【００９０】
本実施の形態にあっては、従来は手動で行う必要があった膨大な量のデータの収集・学習サンプルの作成を自動化することができる。また、地点毎の特性に適切に対応して高精度な車両検出・追跡性能をもつ車両センサを実現できる。これにより、安全運転を支援するための確度の高い情報を運転者に提供できる車両センシングシステムを現実的なコストで広く普及させることができる。また、検出結果に基づいて実行される追跡処理は計算量が大きい傾向にあるため、本実施の形態により実現することができる誤検出の発生頻度の削減は、そのまま計算量の削減につながり、処理の遅れによる運転者への情報伝達の遅れなどの処理時間に関わる問題を低減することができる。
【００９１】
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００９２】
１００ 車両判定情報生成装置
１０１ 画像入力部
１０２ 車両検出部
１０３ 車両追跡部
１０４ 信頼度判定部
１０５ 移動領域判定部
１０６ データ収集部
１０７ 正例生成部
１０８ 負例生成部
１０９ 収集データ学習部
２００ 撮像装置
【技術分野】
【０００１】
本発明は、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成する移動体判定情報生成装置、該移動体判定情報生成装置を備える移動体判定情報生成システム、前記移動体判定情報生成装置を実現するためのコンピュータプログラム及び移動体判定情報生成方法に関する。
【背景技術】
【０００２】
路側インフラ装置と車載装置とが、有線又は無線による路車間通信手段により情報を交換し、各装置が単独では実現できなかった機能を実現させるシステムが検討されている。特に、車両の運転者からは死角となる場所に存在する車両又は歩行者を検出した検出情報をインフラ側より車両側に提供することにより事故を抑止する路車協調型安全運転支援システムの検討が進められている。
【０００３】
このようなシステムを実現するための主要技術としては、車両の位置情報、自動車、二輪車若しくは歩行者等の車種情報、又は車両等の移動速度若しくは移動方向等を検出するセンサが必要である。計測範囲の広さ、製品寿命、コスト又は性能のバランスなどを考慮すると、画像処理方式のセンサが有力である。この画像処理方式のセンサ（以下、「車両センサ」と称する。）の主要機能である車両検出においては、環境変化が存在する任意の計測地点において高精度な車両検出を実現しなければならない。
【０００４】
例えば、高精度な車両検出を実現する方法として、道路画像から車両をオブジェクトとして検出し、サポートベクターマシン（ＳＶＭ）、あるいはブースティング（Boosting）などに代表される車両・非車両パターンのサンプル学習を通じて、車両・非車両パターンに対する判定基準（境界基準）を生成するパターン認識技術を利用した車両追跡装置が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−９２２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、車両センサを様々な地点に設置することを想定して、各地点で生じ得る様々な非車両パターンのすべてを予め網羅して準備することは極めて困難である。そこで、地点毎に生じ得る車両パターン及び非車両パターンを車両センサの設置地点毎に収集し、収集した車両パターン及び非車両パターンに基づいて車両センサの判定基準を適宜修正又は改善する方法が考えられる。しかし、各地に設置された車両センサ毎にオペレータに車両センサの判定基準を修正させることは、多大な労力及び莫大なコストを必要とするため現実的ではない。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、人手を介さずに移動体判定情報（車両パターン又は非車両パターン）を生成することができる移動体判定情報生成装置、該移動体判定情報生成装置を備える移動体判定情報生成システム、前記移動体判定情報生成装置を実現するためのコンピュータプログラム及び移動体判定情報生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１態様に係る移動体判定情報生成装置は、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成する移動体判定情報生成装置において、複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出する検出手段と、該検出手段で検出した移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡する追跡手段と、前記検出手段での検出結果及び前記追跡手段での追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成する生成手段とを備えることを特徴とする。
【０００９】
本発明の第２態様に係る移動体判定情報生成装置は、第１態様において、前記生成手段は、前記追跡手段で複数の撮像時点で追跡領域を追跡することができた場合に、前記複数の撮像時点のうちの任意の撮像時点で前記追跡領域の近傍領域で前記検出手段により移動体領域を検出したときは、該移動体領域が非移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする。
【００１０】
本発明の第３態様に係る移動体判定情報生成装置は、第２態様において、前記近傍領域は、前記追跡手段で複数の追跡領域を追跡することができた場合、隣り合う追跡領域の間の領域であることを特徴とする。
【００１１】
本発明の第４態様に係る移動体判定情報生成装置は、第２態様において、前記近傍領域は、前記追跡手段で追跡領域を追跡することができた場合、該追跡領域の周辺領域であることを特徴とする。
【００１２】
本発明の第５態様に係る移動体判定情報生成装置は、第１態様乃至第４態様のいずれか１つにおいて、前記生成手段は、前記追跡手段で複数の撮像時点で追跡領域を追跡することができた場合に、前記複数の撮像時点のうちの任意の撮像時点で前記検出手段により移動体領域を検出することができないときは、前記任意の撮像時点の追跡領域が移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする。
【００１３】
本発明の第６態様に係る移動体判定情報生成装置は、第１態様乃至第５態様のいずれか１つにおいて、前記生成手段は、任意の撮像時点で前記検出手段により移動体領域を検出した場合に、前記追跡手段で追跡領域を追跡することができないときは、前記任意の撮像時点の前後の撮像時点及び前記移動体領域の周辺領域で他の追跡領域が存在しない場合、前記移動体領域が非移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする。
【００１４】
本発明の第７態様に係る移動体判定情報生成装置は、第１態様乃至第６態様のいずれか１つにおいて、前記追跡手段が追跡する追跡領域が移動体を示すか否かを判定する追跡判定手段を備え、前記追跡手段は、前記追跡領域が移動体を示すものでないと判定された場合、追跡を中止するように構成してあることを特徴とする。
【００１５】
本発明の第８態様に係る移動体判定情報生成装置は、第１態様乃至第７態様のいずれか１つにおいて、前記追跡手段が追跡する追跡領域が予め撮像画像上で画定された移動可能領域内にあるか否かを判定する移動可能判定手段を備え、前記追跡手段は、前記追跡領域が前記移動可能領域内にある場合、追跡を継続するように構成してあることを特徴とする。
【００１６】
本発明の第９態様に係る移動体判定情報生成装置は、第１態様乃至第８態様のいずれか１つにおいて、サポートベクターマシンを用いて移動体であるか否かを判定する判定手段と、該判定手段で判定するための判定基準を前記生成手段で生成した移動体判定情報を用いて更新する更新手段とを備えることを特徴とする。
【００１７】
本発明の第１０態様に係る移動体判定情報生成システムは、前述の第１態様に係る移動体判定情報生成装置と、撮像した撮像画像を前記移動体判定情報生成装置へ出力する撮像装置とを備えることを特徴とする。
【００１８】
本発明の第１１態様に係るコンピュータプログラムは、コンピュータに、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成するステップを実行させるためのコンピュータプログラムにおいて、コンピュータに、複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出するステップと、検出した移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡するステップと、前記検出するステップでの検出結果及び前記追跡するステップでの追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成するステップとを実行させることを特徴とする。
【００１９】
本発明の第１２態様に係る移動体判定情報生成方法は、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成する移動体判定情報生成装置による移動体判定情報生成方法おいて、複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出するステップと、検出された移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡するステップと、検出結果及び追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成するステップとを含むことを特徴とする。
【００２０】
第１態様、第１１態様及び第１２態様にあっては、複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出する。移動体は、例えば、自動車又は二輪車などの車両である。移動体領域の検出は、パターン認識技術を用いてもよく、あるいは画像中の画素の変化、例えば、エッジ点などの情報に基づいて検出することができる。移動体領域は、例えば、撮像時点（フレーム）毎に車両（移動体）が存在すると判定した領域（例えば、矩形領域）で示すことができる。そして、検出した移動体領域の当該撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡する。追跡処理は、車両（移動体）の検出結果に基づいて行われ、例えば、パターンマッチング、パーティクルフィルタなどのトラッキング技術を用いることができる。追跡領域は、例えば、連続したフレーム間で特定の追跡対象を追跡していることを明示するため識別番号（例えば、車両ＩＤ）を付加した形で示すことができる。
【００２１】
検出結果及び追跡結果に基づいて、検出した移動体領域又は追跡した追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成する。すなわち、移動体の検出結果と追跡結果との両方の情報に基づいて移動体を示す移動体判定情報又は非移動体を示す移動体判定情報を生成する。移動体を示す移動体判定情報は、例えば、車両であるにも関わらず車両として検出することができなかった車両パターン（検出漏れパターン、正例と称する）である。また、非移動体を示す移動体判定情報は、例えば、車両でないにも関わらず車両として誤検出した非車両パターン（誤検出パターン、負例と称する）である。
【００２２】
移動体判定情報の生成は、以下のように行うことができる。例えば、追跡領域の追跡が行われている場合に、追跡領域の近傍の領域で車両が検出されたときは、検出した移動体領域は車両でないものを車両として検出したので、当該移動体領域を、非移動体を示す移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。また、追跡領域の追跡が行われている場合に、追跡領域の近傍の領域で車両が検出できないときは、追跡中の車両を非車両として検出したので、追跡領域を、移動体を示す移動体判定情報、すなわち車両であるにも関わらず車両として検出することができなかった車両パターン（正例）として生成する。これにより、人手を介さずに移動体判定情報（車両パターン又は非車両パターン）を生成することができる。
【００２３】
第２態様にあっては、複数の撮像時点で追跡領域を追跡することができた場合に、当該複数の撮像時点のうちの任意の撮像時点で当該追跡領域の近傍領域で移動体領域を検出したときは、当該移動体領域が非移動体を示すとして移動体判定情報を生成する。近傍領域は、例えば、同一撮像時点の撮像画像上で複数の追跡領域が存在する場合には、隣り合う追跡領域の間の領域を近傍領域とする。すなわち、２つの車両がほぼ並行して走行している場合に、これら２つの車両の間の領域（近傍領域）で車両が検出される可能性はほとんどないので、仮に当該近傍領域で移動体領域が検出された場合には、当該移動体領域は車両でないものを車両として検出したものであるので、当該移動体領域を、非移動体を示すとして移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。
【００２４】
また、１つの車両が走行している場合に、当該車両の周囲の領域（近傍領域）で車両が検出される可能性はほとんどないので、仮に当該近傍領域で移動体領域が検出された場合には、当該移動体領域は車両でないものを車両として検出したものであるので、当該移動体領域を、非移動体を示すとして移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。これにより、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００２５】
第３態様にあっては、近傍領域は、複数の追跡領域を追跡することができた場合、隣り合う追跡領域の間の領域である。２つの追跡領域が隣り合う場合、近傍領域は、例えば、それぞれの追跡領域の撮像画像上の重心の中点を重心とし、追跡領域の大きさ（高さ、幅）に適宜の定数を乗算した大きさの領域とすることができる。これにより、所要の距離に位置する２つの車両の間に別の車両が隙間なく入りこむことはほぼあり得ないので、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００２６】
第４態様にあっては、近傍領域は、追跡領域を追跡することができた場合、当該追跡領域の周辺領域である。周辺領域は、例えば、追跡領域を外側から囲む領域であって、追跡領域の内側の一部の領域を除く領域とすることができる。すなわち、周辺領域は、追跡領域の境界を含むようにすることができる。これにより、車両の車体周りには車両が存在することはほぼあり得ないので、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００２７】
第５態様にあっては、複数の撮像時点（例えば、時刻ｔ＝ｔ１からｔｎ）で追跡領域を追跡することができた場合に、複数の撮像時点のうちの任意の撮像時点（例えば、時刻ｔ＝ｔｓ、１＜ｓ＜ｎ）で移動体領域を検出することができないときは、任意の撮像時点（時刻ｔ＝ｔｓ）の追跡領域が移動体を示すとして移動体判定情報を生成する。例えば、追跡処理で追跡領域を追跡することができている場合、車両は存在すると考えられる。追跡中の任意の撮像時点（時刻ｔ＝ｔｓ）で車両を検出することができない場合には、本来であれば車両として検出することができるものを車両として検出することができなかったのであるから、当該任意の撮像時点（時刻ｔ＝ｔｓ）での追跡領域を、車両であるにも関わらず車両として検出することができなかった車両パターン（正例）として生成する。これにより、人手を介さずに車両パターン（正例）を自動的に生成することができる。
【００２８】
第６態様にあっては、任意の撮像時点（例えば、時刻ｔ）で移動体領域を検出した場合に、追跡領域を追跡することができないときは、当該任意の撮像時点の前後の撮像時点（例えば、時刻ｔ±Ｆ）及び当該移動体領域の周辺領域（例えば、移動体領域を中心とする半径ｒの領域）で他の追跡領域が存在しない場合、当該移動体領域が非移動体を示すとして移動体判定情報を生成する。追跡処理が一旦開始された後中止されたということは、当初車両であると判定して追跡領域の追跡が行われたものの途中で車両ではないと判定されたのであるから、車両が検出された時点の前後及びその周囲で他の車両を追跡する追跡領域が存在しない場合には、車両でないものを車両として検出したので、当該追跡領域を、非移動体を示す移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。これにより、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００２９】
第７態様にあっては、追跡領域が移動体を示すか否かを判定し、追跡領域が移動体ではないと判定された場合、追跡を中止する。移動体を示すか否かの判定は、追跡領域がどの程度、「移動体らしさ」（「車両らしさ」）を有するかで判定することができ、例えば、追跡領域の形状又は大きさが移動体と異なる形状又は大きさとなった場合、移動体ではないと判定することができる。これにより、不要な追跡処理を早めに打ち切ることができ、全体の処理効率を向上させることができる。
【００３０】
第８態様にあっては、追跡領域が予め撮像画像上で画定された移動可能領域内にあるか否かを判定し、追跡領域が移動可能領域内にある場合、追跡を継続する。移動可能領域は、例えば、撮像画像上で車両が走行することができる道路の領域であり、予め設定することができる。追跡領域が移動可能領域内にある場合には、追跡している移動体（車両）の移動条件が車両の動きとして自然なものであると判定することができるので、追跡処理を継続する。これにより、検出漏れパターン（車両パターン、正例）又は誤検出パターン（非車両パターン、負例）の生成（収集）に重要な車両が存在した位置の推定を高精度に行うことができ、精度良く車両パターン（正例）又は非車両パターン（負例）を生成することができる。
【００３１】
第９態様にあっては、サポートベクターマシンを用いて移動体であるか否かを判定し、判定するための判定基準を、生成した移動体判定情報を用いて更新する。すなわち、生成した正例若しくは負例、あるいは両者を学習データとして採用して判定基準を更新する。これにより、オンラインで修正した判定基準を用いて車両検出を行うことができるので、自動学習機能を備え、高精度に車両を検出することが可能となる。
【００３２】
第１０態様にあっては、人手を介さずに移動体判定情報（車両パターン又は非車両パターン）を生成することができる移動体判定情報生成システムを実現することができる。
【発明の効果】
【００３３】
本発明によれば、人手を介さずに移動体判定情報（車両パターン又は非車両パターン）を生成することができる。
【図面の簡単な説明】
【００３４】
【図１】本実施の形態の移動体判定情報生成システムの構成の一例を示すブロック図である。
【図２】移動可能領域の一例を示す説明図である。
【図３】本実施の形態の車両判定情報生成装置による負例を生成する第１例を示す説明図である。
【図４】近傍領域の一例を示す説明図である。
【図５】近傍領域の他の例を示す説明図である。
【図６】車両検出結果及び車両追跡結果により負例を生成する様子の一例を示す説明図である。
【図７】車両検出結果及び車両追跡結果により負例を生成する様子の他の例を示す説明図である。
【図８】本実施の形態の車両判定情報生成装置による正例を生成する一例を示す説明図である。
【図９】車両検出結果及び車両追跡結果により正例を生成する様子の一例を示す説明図である。
【図１０】本実施の形態の車両判定情報生成装置による負例を生成する第２例を示す説明図である。
【図１１】車両検出結果及び車両追跡結果により負例を生成する様子の他の例を示す説明図である。
【図１２】本実施の形態の車両判定情報生成装置による負例及び正例の自動収集の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００３５】
以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は本実施の形態の移動体判定情報生成システムの構成の一例を示すブロック図である。移動体判定情報生成システムは、移動体判定情報生成装置としての車両判定情報生成装置１００、撮像装置２００などを備える。なお、図１の例では、１つの撮像装置２００を図示しているが、撮像装置２００は複数設けることもできる。すなわち、道路の複数の地点それぞれに撮像装置２００を設置し、撮像装置２００で撮像した撮像画像を車両判定情報生成装置１００へ送信（出力）することができる。また、本実施の形態では、移動体とは、例えば、自動車又は二輪車などの車両であるが、歩行者などの移動体を含めることもできる。
【００３６】
車両判定情報生成装置１００は、画像入力部１０１、車両検出部１０２、車両追跡部１０３、データ収集部１０６、収集データ学習部１０９などを備える。車両追跡部１０３は、信頼度判定部１０４、移動領域判定部１０５などを備える。また、データ収集部１０６は、正例生成部１０７、負例生成部１０８などを備える。なお、本実施の形態では、移動体判定情報には、移動体を示す移動体判定情報と非移動体を示す移動体判定情報の両方がある。
【００３７】
移動体を示す移動体判定情報は、例えば、車両であるにも関わらず車両として検出することができなかった車両パターン（検出漏れパターン、正例とも称する）である。また、非移動体を示す移動体判定情報は、例えば、路面などの車両でないにも関わらず車両として誤検出した非車両パターン（誤検出パターン、負例とも称する）である。
【００３８】
本実施の形態の車両判定情報生成装置１００は、車両検出部１０２が検出し損ねた車両パターン（検出漏れパターン）を自動的に認識して正例（移動体を示す移動体判定情報）として生成（取集）する機能、車両検出部１０２が車両でないものを車両として誤検出した非車両パターン（誤検出パターン）を自動的に認識して負例（非移動体を示す移動体判定情報）として生成（取集）する機能などの自動学習機能を有するものである。
【００３９】
また、本実施の形態の車両判定情報生成装置１００は、生成（取集）した正例及び／又は負例を学習データとして採用して車両検出部１０２の車両判定基準を適切に修正する自動学習機能を有する。
【００４０】
また、本実施の形態の車両判定情報生成装置１００は、車両判定基準を適切に修正することにより、車両検出部１０２で実際には非車両であるパターンを誤って車両パターンであると判定する事態を自動的に回避する機能、実際には車両であるパターンを誤って非車両パターンであると判定する事態を自動的に回避する機能などの自動学習機能を有するものである。
【００４１】
さらに、本実施の形態の車両判定情報生成装置１００は、車両検出及び車両追跡の両方の処理を並行して実施しつつ、全体の処理のリアルタイム性を維持するものである。
【００４２】
画像入力部１０１は、画像メモリ（不図示）などを備え、撮像装置２００から入力された撮像画像（画像データ）を、１フレーム単位に同期させて画像メモリに記憶する。なお、１フレームは、例えば、１００ｍｓであるが、これに限定されるものではない。画像メモリに記憶された撮像画像は、車両検出部１０２により読み出される。
【００４３】
車両検出部１０２は、移動体を示す画素領域である移動体領域を検出する検出手段としての機能を有する。車両検出部１０２は、例えば、パターン認識技術を用いて撮像画像上の車両領域（移動体領域）を特定して車両を検出する。具体的には、車両検出部１０２は、収集データ学習部１０９が有する正例、負例、車両・非車両の判定基準などに基づいて車両を検出する。移動体領域は、移動体を示す画素領域であり、例えば、撮像時点（フレーム）毎に車両（移動体）が存在すると判定した領域（例えば、矩形領域）で示すことができる。なお、車両の検出処理は、撮像画像中の画素の変化（例えば、エッジ点）などの情報に基づいて行うこともできる。
【００４４】
車両追跡部１０３は、車両検出部１０２で検出した移動体領域を、その後の撮像時点での撮像画像上で追跡領域として追跡する追跡手段としての機能を有する。追跡処理は、車両（移動体）の検出結果に基づいて行われ、例えば、パターンマッチング、パーティクルフィルタなどのトラッキング技術を用いることができる。追跡結果は、例えば、連続したフレーム間で特定の追跡対象を追跡していることを明示するため識別番号（例えば、車両ＩＤ）、追跡領域に対して追跡が連続で行われたフレーム数である追跡時間（フレーム数）、フレーム毎に追跡領域の「車両らしさ」を評価する信頼度によって示すことができる。
【００４５】
信頼度判定部１０４は、追跡領域が車両（移動体）を示すか否かを判定する追跡判定手段の機能を有する。信頼度判定部１０４は、車両追跡部１０３での追跡結果の信頼度を判定する。例えば、追跡の信頼度は、フレーム毎に「車両である」と判定された場合、信頼度の値を１つ増加させ、「車両であるか否かが不明」と判定された場合、信頼度の値を変化させない。また、「車両ではない」と判定された場合、信頼度を０に戻して追跡処理を中止する。
【００４６】
例えば、追跡領域の形状又は大きさが車両と異なる形状又は大きさとなった場合、車両ではないと判定することができる。これにより、不要な追跡処理を早めに打ち切ることができ、全体の処理効率を向上させることができる。なお、信頼度判定部１０４は、車両であるか否かが不明である状態が継続した場合、信頼度の値を減少させる。
【００４７】
移動領域判定部１０５は、追跡領域が予め撮像画像上で画定された移動可能領域（車両移動領域）内にあるか否かを判定する移動可能判定手段としての機能を有する。すなわち、移動領域判定部１０５は、追跡領域の時間的な変化が車両の動きとして自然なものであるか否かを判定する。
【００４８】
図２は移動可能領域の一例を示す説明図である。図２の例では、時刻ｔ−１、ｔ、ｔ＋１の異なる撮像時点における追跡対象（追跡領域）の変化の様子を示す。なお、撮像時点は一例であって、これに限定されるものではない。
【００４９】
追跡領域が移動可能領域（車両移動領域）内にあるか否かの判定は、追跡領域（追跡対象）が、次の３つの条件を満たした場合、追跡領域は車両として妥当な動作を示すと判定する。
【００５０】
第１の条件は式（１）で表すことができ、第２の条件は式（２）で表すことができ、第３の条件は、式（３）及び式（４）で表すことができる。また、式（３）、式（４）における変数ａ、ｂ、ｃ、ｄは、それぞれ式（５）、式（６）、式（７）及び式（８）で表すことができる。
【００５１】
【数１】
【００５２】
ｘ（ｔ）、ｙ（ｔ）は、時刻ｔにおける追跡対象（追跡領域）を示す矩形領域の左上端のｘ座標、ｙ座標を示す。また、ｗ（ｔ）、ｈ（ｔ）は、時刻ｔにおける追跡対象（追跡領域）を示す矩形領域の横幅、高さを示す。また、式（１）において、Ｌｔ、Ｕｔ（０＜Ｌｔ＜Ｕｔ）は、撮像画像上で車両を追跡した時間として適切な時間であると判定することができる範囲を指定するパラメータである。
【００５３】
式（３）は図２で示す点Ａ、Ｄを結ぶ直線の右側の領域を示し、式（４）は図２で示す点Ｂ、Ｅを結ぶ直線の左側の領域を示す。なお、点Ａ、Ｂは、それぞれ時刻ｔ−１の追跡対象（追跡領域）の底辺の長さ（幅）をｗ（ｔ−１）とすると、左端から０．４ｗ（ｔ−１）、０．６ｗ（ｔ−１）の点である。また、点Ｄ、Ｅは、それぞれ時刻ｔ＋１の追跡対象（追跡領域）の底辺の長さ（幅）をｗ（ｔ＋１）とすると、左端から０．４ｗ（ｔ＋１）、０．６ｗ（ｔ＋１）の点である。
【００５４】
上述の第１〜第３の条件は、追跡時間が所要の範囲内であり、時刻ｔ＝２、３、…、Ｔ−１における矩形状の追跡領域の底辺の中点（車両の先頭の中央部に相当）が、図２で例示する移動可能領域（破線で示す台形状の領域）内に存在していることを示す。
【００５５】
追跡領域が移動可能領域（車両移動領域）内にあるか否かの判定を行うことにより、検出漏れパターン（車両パターン、正例）又は誤検出パターン（非車両パターン、負例）の生成（収集）に重要な車両が存在した位置の推定を高精度に行うことができ、精度良く車両パターン（正例）又は非車両パターン（負例）を生成することができる。
【００５６】
なお、図２に例示する移動可能領域の形状又は大きさは、道路の状況に応じて適宜設定することができ、図２の例に限定されるものではない。
【００５７】
次に、正例及び負例の生成（収集）方法について説明する。データ収集部１０６は、車両検出部１０２での検出結果及び車両追跡部１０３での追跡結果に基づいて、検出した移動体領域又は追跡した追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成する生成手段としての機能を有する。
【００５８】
すなわち、データ収集部１０６は、移動体の検出結果と追跡結果との両方の情報に基づいて移動体を示す移動体判定情報又は非移動体を示す移動体判定情報を生成する。移動体を示す移動体判定情報は、例えば、車両であるにも関わらず車両として検出することができなかった車両パターン（検出漏れパターン、正例）である。また、非移動体を示す移動体判定情報は、例えば、車両でないにも関わらず車両として誤検出した非車両パターン（誤検出パターン、負例）である。
【００５９】
移動体判定情報の生成は、以下のように行うことができる。例えば、追跡領域の追跡が行われている場合に、追跡領域の近傍の領域で車両が検出されたときは、検出した移動体領域は車両でないものを車両として検出したので、当該移動体領域を、非移動体を示す移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。また、追跡領域の追跡が行われている場合に、追跡領域の近傍の領域で車両が検出できないときは、追跡中の車両を非車両として検出したので、追跡領域を、移動体を示す移動体判定情報、すなわち車両であるにも関わらず車両として検出することができなかった車両パターン（正例）として生成する。これにより、人手を介さずに移動体判定情報（車両パターン又は非車両パターン）を生成することができる。
【００６０】
正例生成部１０７は、正例を生成（収集）し、負例生成部１０８は、負例を生成（収集）する。以下、場合に分けて具体的に説明する。
【００６１】
図３は本実施の形態の車両判定情報生成装置１００による負例を生成する第１例を示す説明図である。図３において、上段は車両検出処理がフレーム単位で繰り返される様子を示し、下段は車両追跡処理が同様にフレーム単位で繰り返される様子を示す。図３に示すように、複数の撮像時点（例えば、時刻ｔ１〜ｔ８）で追跡領域を追跡することができた場合に、当該複数の撮像時点のうちの任意の撮像時点（例えば、時刻ｔ６）で当該追跡領域の近傍領域で移動体領域を検出したときは、当該移動体領域が非移動体を示すとして移動体判定情報（負例）を生成する。
【００６２】
図４は近傍領域の一例を示す説明図である。図４に示すように、近傍領域は、例えば、同一撮像時点の撮像画像上で複数の追跡領域（追跡対象）が存在する場合には、隣り合う追跡領域の間の領域を近傍領域（破線で示す領域）とすることができる。２つの追跡領域が隣り合う場合、近傍領域は、例えば、それぞれの追跡領域の撮像画像上の重心（ｘａ、ｙａ）及び（ｘｂ、ｙｂ）の中点（ｘｃ、ｙｃ）を重心とし、追跡領域の大きさ（高さ、幅）に適宜の定数を乗算した大きさの領域とすることができる。すなわち、図４中のＣ１、Ｃ２は追跡領域の大きさに応じて適宜設定することができる。
【００６３】
２つの車両がほぼ並行して走行している場合に、これら２つの車両の間の領域（近傍領域）で車両が検出される可能性はほとんどないので、仮に当該近傍領域で移動体領域が検出された場合には、当該移動体領域は車両でないものを車両として検出したものであるので、当該移動体領域を、非移動体を示すとして移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。
【００６４】
これにより、所要の距離に位置する２つの車両の間に別の車両が隙間なく入りこむことはほぼあり得ないので、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００６５】
なお、図４の例において、隣り合う追跡領域の重心間の距離Ｄが、例えばＤ１＜Ｄ＜Ｄ２を満たさない場合、すなわち、２つの車両が近すぎる場合、あるいは遠すぎる場合には、負例の生成（収集）を実行しないようにすることができる。また、隣り合う追跡領域の重心を結ぶ線分が水平方向となす角をαとした場合、α＜α１を満たさない場合、すなわち、２つの車両がある程度の距離を保って併走していない場合、負例の生成（収集）を実行しないようにすることができる。また、両者の条件が同時に満たされない場合に、負例の生成（収集）を実行しないようにすることもできる。
【００６６】
図５は近傍領域の他の例を示す説明図である。図５に示すように、近傍領域は、例えば、近傍領域は、追跡領域を追跡することができた場合、当該追跡領域の周辺領域（破線で示す領域）である。周辺領域は、例えば、追跡領域を外側から囲む領域であって、追跡領域の内側の一部の領域を除く領域とすることができる。すなわち、周辺領域は、追跡領域の境界を含むようにすることができる。周辺領域の大きさ及び形状を画定するパラメータＥ１〜Ｅ４、Ｉ１〜Ｉ４は、追跡領域の大きさ（例えば、幅ｗ）に応じて適宜設定することができる。また、周辺領域（近傍領域）の上側の両端部の領域は、消失点に向かう線分で除外することもできる。
【００６７】
１つの車両が走行している場合に、当該車両の周囲の領域（近傍領域）で車両が検出される可能性はほとんどないので、仮に当該近傍領域で移動体領域が検出された場合には、当該移動体領域は車両でないものを車両として検出したものであるので、当該移動体領域を、非移動体を示すとして移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。これにより、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００６８】
図６は車両検出結果及び車両追跡結果により負例を生成する様子の一例を示す説明図である。図６は前述の図４の場合に対応するものであり、２つの隣り合う追跡領域の間の領域を近傍領域とする例である。図６に示すように、２台の車両３００、３０１が走行している場合、それぞれの車両を検出し、検出した車両に識別番号（１、２）を付して追跡処理を行っている。この状態で２つの車両の間で車両領域を検出した場合、当該車両領域は、車両でないものを誤って検出したものなので、当該車両領域のパターンを負例（誤検出パターン）として生成（収集）する。
【００６９】
図７は車両検出結果及び車両追跡結果により負例を生成する様子の他の例を示す説明図である。図７は前述の図５の場合に対応するものであり、追跡領域の周辺領域を近傍領域とする例である。図７に示すように、車両３０４が走行している場合、当該車両を検出し、検出した車両に識別番号（７）を付して追跡処理を行っている。この状態で車両の周辺で車両領域を検出した場合、当該車両領域は、車両でないものを誤って検出したものなので、当該車両領域のパターンを負例（誤検出パターン）として生成（収集）する。
【００７０】
図８は本実施の形態の車両判定情報生成装置１００による正例を生成する一例を示す説明図である。図８において、上段は車両検出処理がフレーム単位で繰り返される様子を示し、下段は車両追跡処理が同様にフレーム単位で繰り返される様子を示す。図８に示すように、複数の撮像時点（例えば、時刻ｔ１〜ｔ８）で追跡領域を追跡することができた場合に、当該複数の撮像時点のうちの任意の撮像時点（例えば、時刻ｔ５）で移動体領域を検出することができないときは、時刻ｔ５の追跡領域が移動体を示すとして移動体判定情報（正例）を生成する。
【００７１】
図８に示すように、複数の撮像時点（例えば、時刻ｔ＝ｔ１からｔｎ）で追跡領域を追跡することができた場合に、複数の撮像時点のうちの任意の撮像時点（例えば、時刻ｔ＝ｔｓ、１＜ｓ＜ｎ）で移動体領域を検出することができないときは、任意の撮像時点（時刻ｔ＝ｔｓ）の追跡領域が移動体を示すとして移動体判定情報を生成する。例えば、追跡処理で追跡領域を追跡することができている場合、車両は存在すると考えられる。追跡中の任意の撮像時点（時刻ｔ＝ｔｓ）で車両を検出することができない場合には、本来であれば車両として検出することができるものを車両として検出することができなかったのであるから、当該任意の撮像時点（時刻ｔ＝ｔｓ）での追跡領域を、車両であるにも関わらず車両として検出することができなかった車両パターン（正例）として生成する。これにより、人手を介さずに車両パターン（正例）を自動的に生成することができる。
【００７２】
図９は車両検出結果及び車両追跡結果により正例を生成する様子の一例を示す説明図である。図９は前述の図８の場合に対応するものである。図９に示すように、２台の車両３０２、３０３が走行している場合、それぞれの車両を検出し、検出した車両に識別番号（４、５）を付して追跡処理を行っている。この状態で車両３０３を検出することができない場合、車両であるものを検出することができなかったので、車両３０３に対応する追跡領域のパターンを正例（検出漏れパターン）として生成（収集）する。
【００７３】
図１０は本実施の形態の車両判定情報生成装置１００による負例を生成する第２例を示す説明図である。図１０において、上段は車両検出処理がフレーム単位で繰り返される様子を示し、下段は車両追跡処理が同様にフレーム単位で繰り返される様子を示す。図１０に示すように、任意の撮像時点（例えば、時刻ｔ４）で車両（車両領域）を検出した場合に、時刻ｔ４後の時刻（例えば、時刻ｔ７）で追跡領域を追跡することができないときは、当該任意の撮像時点（時刻ｔ４）の前後の撮像時点（例えば、時刻ｔ２〜ｔ６）及び当該車両領域の周辺領域（例えば、車両領域を中心とする半径ｒの領域）で他の追跡領域が存在しない場合、時刻ｔ４の車両領域が非移動体を示すとして移動体判定情報（負例）を生成する。
【００７４】
追跡処理が一旦開始された後中止されたということは、当初車両であると判定して追跡領域の追跡が行われたものの途中で車両ではないと判定されたのであるから、車両が検出された時点の前後及びその周囲で他の車両を追跡する追跡領域が存在しない場合には、車両でないものを車両として検出したので、当該追跡領域を、非移動体を示す移動体判定情報、すなわち誤検出した非車両パターン（負例）として生成する。これにより、人手を介さずに非車両パターン（負例）を自動的に生成することができる。
【００７５】
図１１は車両検出結果及び車両追跡結果により負例を生成する様子の他の例を示す説明図である。図１１は前述の図１０の場合に対応するものである。一旦車両が検出され、追跡処理が開始されたものの、その後追跡処理が中止された場合、他の追跡領域が存在しないときは、当初検出した車両領域は、車両でないものを誤って検出したものなので、当該車両領域のパターンを負例（誤検出パターン）として生成（収集）する。
【００７６】
なお、上述の車両追跡処理が継続しているという条件に加えて、信頼度判定部１０４で判定した信頼度が低下していないこと、あるいは移動領域判定部１０５で追跡領域が移動可能範囲内にあることを条件として付加することもできる。これにより、負例又は正例の自動生成（自動収集）に重要な車両の存在位置の推定を高精度に行うことができる。
【００７７】
図１２は本実施の形態の車両判定情報生成装置１００による負例及び正例の自動収集の処理手順を示すフローチャートである。なお、以下のフローチャートの説明では、便宜上車両判定情報生成装置１００を簡略化して装置１００と称する。装置１００は、撮像画像を取得し（Ｓ１１）、車両領域（移動体領域）を検出する（Ｓ１２）。
【００７８】
装置１００は、検出した車両領域の位置を追跡領域として追跡し（Ｓ１３）、追跡領域が車両移動領域（移動可能領域）内であるか否かを判定する（Ｓ１４）。追跡領域が車両移動領域内にある場合（Ｓ１４でＹＥＳ）、装置１００は、車両の動きとして自然なものであると判定して、追跡の信頼度が低下したか否かを判定する（Ｓ１５）。追跡領域が車両移動領域内にない場合（Ｓ１４でＮＯ）、装置１００は、処理を終了する。
【００７９】
信頼度が低下していない場合（Ｓ１５でＮＯ）、すなわち、信頼度の値が増加又は変化していない場合、装置１００は、追跡領域の近傍領域に車両領域（移動体領域）を検出したか否かを判定し（Ｓ１６）、車両領域を検出した場合（Ｓ１６でＹＥＳ）、車両でないものを車両として誤検出したので、当該車両領域のパターンを負例（誤検出パターン）として収集（生成）し（Ｓ１７）、処理を終了する。
【００８０】
追跡領域の近傍領域に車両領域を検出していない場合（Ｓ１６でＮＯ）、装置１００は、追跡中の任意の時点で車両領域の検出ができたか否かを判定し（Ｓ１８）、車両領域を検出することができない場合（Ｓ１８でＮＯ）、車両を車両として検出することができなかったので、車両領域を検出することができなかった時点での追跡領域のパターンを正例（検出漏れパターン）として収集（生成）し（Ｓ１９）、処理を終了する。車両領域を検出することができた場合（Ｓ１８でＹＥＳ）、装置１００は、ステップＳ１４以降の処理を続ける。
【００８１】
追跡の信頼度が低下した場合（Ｓ１５でＹＥＳ）、装置１００は、追跡が途中で中止になったか否かを判定し（Ｓ２０）、追跡が中止になっていない場合（Ｓ２０でＮＯ）、ステップＳ１５以降の処理を続ける。なお、追跡の信頼度は、車両でないと判定された場合にはゼロになり、また、車両であるか否かが不明である状態が継続した場合、信頼度の値は減少する。
【００８２】
追跡を中止した場合（Ｓ２０でＹＥＳ）、すなわち、車両の検出処理が続けられている状態で当該車両の追跡が中止した場合、追跡対象（追跡領域）の車両検出時の前後及び検出した車両領域の周囲で他の追跡領域の有無を判定する（Ｓ２１）。
【００８３】
他の追跡領域がない場合（Ｓ２１でＮＯ）、装置１００は、車両でないものを車両として誤検出したので、当該車両領域のパターンを負例（誤検出パターン）として収集（生成）し（Ｓ２２）、処理を終了する。他の追跡領域がある場合（Ｓ２１でＹＥＳ）、装置１００は、検出した車両領域は車両として正しく検出されたものであるので、ステップＳ２２の処理を行うことなく処理を終了する。なお、図１２に示す処理は、適宜の周期で繰り返し実行することができる。
【００８４】
本実施の形態の車両判定情報生成装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図１２に示すような、各処理手順を定めたコンピュータプログラムをＣＤ、ＤＶＤ、ＵＳＢメモリ等のコンピュータプログラム記録媒体に記録しておき、当該コンピュータプログラムをコンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上で車両判定情報生成装置１００を実現することができる。
【００８５】
本実施の形態の車両判定情報生成装置１００による正例及び負例の自動収集（自動生成）は、所要の時間内に示された車両検出部１０２の検出処理と車両追跡部１０３の追跡処理の両方の情報を参照することで、車両検出処理単体では困難な「車両検出処理の適切さ」を判定、補完することができる。これにより、車両検出と車両追跡とを並行して行う場合に、本実施の形態によれば、車両の検出漏れに起因した追跡漏れを未然に防止することができるので、運転者の死角からの接近車両の存在を運転者へ警告することができない事態を防ぐことができる。また、車両でないものを車両として誤検出することを防止することができるので、運転車への不必要な警告、あるいは計算量の大きい追跡処理の過剰発生に起因する警告の遅れ等を防止することができ、車両センサに対する運転者の信頼を高めることができる。
【００８６】
収集データ学習部１０９は、データ収集部１０６で収集（生成）した正例及び負例を用いて、車両・非車両の判定基準を更新（修正）する更新手段としての機能を有する。収集データ学習部１０９は、例えば、サポートベクターマシン（ＳＶＭ）を備える。特に、インクリメンタルサポートベクターマシン（Incremental SVM）を採用する場合には、データ収集部１０６で収集（生成）した正例及び負例を追加学習して、車両・非車両の判定基準をオンライン修正（更新）という形で実現することができる。また、インクリメンタルサポートベクターマシンを用いた学習は、既に所有している正例及び負例（学習データ）から追加学習しようとする正例及び負例の適切さを評価するステップを含んでいるので、車両検出に有意な正例及び負例のみを学習データとして採用することができる。また、通常のサポートベクターマシンを用いた学習に比べて、追加する正例又は負例だけを学習データとして用いて学習することができるので計算量が極めて少なく、オンライン学習に適している。
【００８７】
本実施の形態では、上述のように、サポートベクターマシン（特に、インクリメンタルサポートベクターマシン）を用いて車両であるか否かを判定し、判定するための判定基準を、生成した正例及び／又は負例を用いて更新する。すなわち、生成した正例若しくは負例、あるいは両者を学習データとして採用して判定基準を更新する。これにより、オンラインで修正した判定基準を用いて車両検出を行うことができるので、自動学習機能を備え、高精度に車両を検出することが可能となる。
【００８８】
本実施の形態によれば、人手を介さずに正例又は負例（移動体判定情報）の収集を自動的に行うとともに収集した正例又は負例を用いて車両などの移動体を高精度に検出することができる。
【００８９】
従来、サンプルの学習に基づく認識技術においては、当然ながら学習サンプルの適切さがその認識精度を左右する。その中で、高精度な認識精度を達成しているアプリケーションの大半が、人の介在を必要とするものである。すなわち、人によって適切であると判断されたサンプルを学習に用いている。このことからも、学習サンプルの適切さの判定の自動化の難しさが伺える。
【００９０】
本実施の形態にあっては、従来は手動で行う必要があった膨大な量のデータの収集・学習サンプルの作成を自動化することができる。また、地点毎の特性に適切に対応して高精度な車両検出・追跡性能をもつ車両センサを実現できる。これにより、安全運転を支援するための確度の高い情報を運転者に提供できる車両センシングシステムを現実的なコストで広く普及させることができる。また、検出結果に基づいて実行される追跡処理は計算量が大きい傾向にあるため、本実施の形態により実現することができる誤検出の発生頻度の削減は、そのまま計算量の削減につながり、処理の遅れによる運転者への情報伝達の遅れなどの処理時間に関わる問題を低減することができる。
【００９１】
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００９２】
１００ 車両判定情報生成装置
１０１ 画像入力部
１０２ 車両検出部
１０３ 車両追跡部
１０４ 信頼度判定部
１０５ 移動領域判定部
１０６ データ収集部
１０７ 正例生成部
１０８ 負例生成部
１０９ 収集データ学習部
２００ 撮像装置
【特許請求の範囲】
【請求項１】
撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成する移動体判定情報生成装置において、
複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出する検出手段と、
該検出手段で検出した移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡する追跡手段と、
前記検出手段での検出結果及び前記追跡手段での追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成する生成手段と
を備えることを特徴とする移動体判定情報生成装置。
【請求項２】
前記生成手段は、
前記追跡手段で複数の撮像時点で追跡領域を追跡することができた場合に、前記複数の撮像時点のうちの任意の撮像時点で前記追跡領域の近傍領域で前記検出手段により移動体領域を検出したときは、該移動体領域が非移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする請求項１に記載の移動体判定情報生成装置。
【請求項３】
前記近傍領域は、
前記追跡手段で複数の追跡領域を追跡することができた場合、隣り合う追跡領域の間の領域であることを特徴とする請求項２に記載の移動体判定情報生成装置。
【請求項４】
前記近傍領域は、
前記追跡手段で追跡領域を追跡することができた場合、該追跡領域の周辺領域であることを特徴とする請求項２に記載の移動体判定情報生成装置。
【請求項５】
前記生成手段は、
前記追跡手段で複数の撮像時点で追跡領域を追跡することができた場合に、前記複数の撮像時点のうちの任意の撮像時点で前記検出手段により移動体領域を検出することができないときは、前記任意の撮像時点の追跡領域が移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする請求項１乃至請求項４のいずれか１項に記載の移動体判定情報生成装置。
【請求項６】
前記生成手段は、
任意の撮像時点で前記検出手段により移動体領域を検出した場合に、前記追跡手段で追跡領域を追跡することができないときは、前記任意の撮像時点の前後の撮像時点及び前記移動体領域の周辺領域で他の追跡領域が存在しない場合、前記移動体領域が非移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする請求項１乃至請求項５のいずれか１項に記載の移動体判定情報生成装置。
【請求項７】
前記追跡手段が追跡する追跡領域が移動体を示すか否かを判定する追跡判定手段を備え、
前記追跡手段は、
前記追跡領域が移動体を示すものでないと判定された場合、追跡を中止するように構成してあることを特徴とする請求項１乃至請求項６のいずれか１項に記載の移動体判定情報生成装置。
【請求項８】
前記追跡手段が追跡する追跡領域が予め撮像画像上で画定された移動可能領域内にあるか否かを判定する移動可能判定手段を備え、
前記追跡手段は、
前記追跡領域が前記移動可能領域内にある場合、追跡を継続するように構成してあることを特徴とする請求項１乃至請求項７のいずれか１項に記載の移動体判定情報生成装置。
【請求項９】
サポートベクターマシンを用いて移動体であるか否かを判定する判定手段と、
該判定手段で判定するための判定基準を前記生成手段で生成した移動体判定情報を用いて更新する更新手段と
を備えることを特徴とする請求項１乃至請求項８のいずれか１項に記載の移動体判定情報生成装置。
【請求項１０】
請求項１に記載の移動体判定情報生成装置と、撮像した撮像画像を前記移動体判定情報生成装置へ出力する撮像装置とを備えることを特徴とする移動体判定情報生成システム。
【請求項１１】
コンピュータに、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成するステップを実行させるためのコンピュータプログラムにおいて、
コンピュータに、
複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出するステップと、
検出した移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡するステップと、
前記検出するステップでの検出結果及び前記追跡するステップでの追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項１２】
撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成する移動体判定情報生成装置による移動体判定情報生成方法おいて、
複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出するステップと、
検出された移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡するステップと、
検出結果及び追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成するステップと
を含むことを特徴とする移動体判定情報生成方法。
【請求項１】
撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成する移動体判定情報生成装置において、
複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出する検出手段と、
該検出手段で検出した移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡する追跡手段と、
前記検出手段での検出結果及び前記追跡手段での追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成する生成手段と
を備えることを特徴とする移動体判定情報生成装置。
【請求項２】
前記生成手段は、
前記追跡手段で複数の撮像時点で追跡領域を追跡することができた場合に、前記複数の撮像時点のうちの任意の撮像時点で前記追跡領域の近傍領域で前記検出手段により移動体領域を検出したときは、該移動体領域が非移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする請求項１に記載の移動体判定情報生成装置。
【請求項３】
前記近傍領域は、
前記追跡手段で複数の追跡領域を追跡することができた場合、隣り合う追跡領域の間の領域であることを特徴とする請求項２に記載の移動体判定情報生成装置。
【請求項４】
前記近傍領域は、
前記追跡手段で追跡領域を追跡することができた場合、該追跡領域の周辺領域であることを特徴とする請求項２に記載の移動体判定情報生成装置。
【請求項５】
前記生成手段は、
前記追跡手段で複数の撮像時点で追跡領域を追跡することができた場合に、前記複数の撮像時点のうちの任意の撮像時点で前記検出手段により移動体領域を検出することができないときは、前記任意の撮像時点の追跡領域が移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする請求項１乃至請求項４のいずれか１項に記載の移動体判定情報生成装置。
【請求項６】
前記生成手段は、
任意の撮像時点で前記検出手段により移動体領域を検出した場合に、前記追跡手段で追跡領域を追跡することができないときは、前記任意の撮像時点の前後の撮像時点及び前記移動体領域の周辺領域で他の追跡領域が存在しない場合、前記移動体領域が非移動体を示すとして移動体判定情報を生成するように構成してあることを特徴とする請求項１乃至請求項５のいずれか１項に記載の移動体判定情報生成装置。
【請求項７】
前記追跡手段が追跡する追跡領域が移動体を示すか否かを判定する追跡判定手段を備え、
前記追跡手段は、
前記追跡領域が移動体を示すものでないと判定された場合、追跡を中止するように構成してあることを特徴とする請求項１乃至請求項６のいずれか１項に記載の移動体判定情報生成装置。
【請求項８】
前記追跡手段が追跡する追跡領域が予め撮像画像上で画定された移動可能領域内にあるか否かを判定する移動可能判定手段を備え、
前記追跡手段は、
前記追跡領域が前記移動可能領域内にある場合、追跡を継続するように構成してあることを特徴とする請求項１乃至請求項７のいずれか１項に記載の移動体判定情報生成装置。
【請求項９】
サポートベクターマシンを用いて移動体であるか否かを判定する判定手段と、
該判定手段で判定するための判定基準を前記生成手段で生成した移動体判定情報を用いて更新する更新手段と
を備えることを特徴とする請求項１乃至請求項８のいずれか１項に記載の移動体判定情報生成装置。
【請求項１０】
請求項１に記載の移動体判定情報生成装置と、撮像した撮像画像を前記移動体判定情報生成装置へ出力する撮像装置とを備えることを特徴とする移動体判定情報生成システム。
【請求項１１】
コンピュータに、撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成するステップを実行させるためのコンピュータプログラムにおいて、
コンピュータに、
複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出するステップと、
検出した移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡するステップと、
前記検出するステップでの検出結果及び前記追跡するステップでの追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項１２】
撮像装置で撮像して得られた撮像画像に基づいて移動体を検出する場合に移動体であるか否かの判定に用いる移動体判定情報を生成する移動体判定情報生成装置による移動体判定情報生成方法おいて、
複数の撮像時点それぞれで得られた撮像画像及び予め記憶した移動体判定情報に基づいて移動体を示す画素領域である移動体領域を検出するステップと、
検出された移動体領域の前記撮像時点以降の撮像時点で得られた撮像画像上での位置を追跡領域として追跡するステップと、
検出結果及び追跡結果に基づいて、前記移動体領域又は前記追跡領域が移動体を示すか又は非移動体を示すかを区別した移動体判定情報を生成するステップと
を含むことを特徴とする移動体判定情報生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−３０１３０（Ｐ２０１３−３０１３０Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６７５１６（Ｐ２０１１−１６７５１６）
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]