停止低速車両検出装置及び方法
【課題】 他の車両に遮られ目標車両を連続的な画像として捕捉できない場合であっても、停止状態の車両を比較的短い時間内に高い信頼性で認識することが可能な停止低速車両検出装置及び方法を提供すること。
【解決手段】 車両認識部３０は、画像入力部２１から入力された道路上の車両を含む被写体の撮影画像から車両候補領域を検出すると共に車両の特徴点を認識する。停止低速事象認識部３４は、車両の停止状態又は低速状態を検出した後見失った場合に、停止保持情報格納部３３に停止車両候補を表す情報を保存する。また、停止低速事象認識部３４は、車両認識部３０の検出状態と、停止保持情報格納部３３に保持されている情報に基づいて、停止車両又は低速車両を判定する。
【解決手段】 車両認識部３０は、画像入力部２１から入力された道路上の車両を含む被写体の撮影画像から車両候補領域を検出すると共に車両の特徴点を認識する。停止低速事象認識部３４は、車両の停止状態又は低速状態を検出した後見失った場合に、停止保持情報格納部３３に停止車両候補を表す情報を保存する。また、停止低速事象認識部３４は、車両認識部３０の検出状態と、停止保持情報格納部３３に保持されている情報に基づいて、停止車両又は低速車両を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路上の被写体を撮影して得られた画像に基づいて、例えば故障などによって停止したり低速状態になった異常な車両を検出するために用いる停止低速車両検出装置及び方法に関する。
【背景技術】
【０００２】
従来より、例えば高速道路上や一般道路の近傍に監視カメラを設置して道路を走行中の車両を撮影し、撮影により得られた車両の映像を例えば管制室の映像表示装置で表示するように構成した監視システムが道路交通状態を管理するために広く採用されている。
【０００３】
この種の一般的な監視システムにおいては、監視者が表示された映像を目視で確認することにより監視するようになっているが、例えば特許文献１の技術においては、監視カメラからの映像を分析して突発事象を自動的に検出し、突発事象の発生を表示すると共に、入力映像を突発事象発生地点の現場映像に切り替えて表示することを提案している。
【０００４】
また、道路上の車両を撮影した画像から車両を検出する技術が種々提案されている。例えば特許文献２に開示された技術では、車両のヘッドライトの領域を画像から抽出して判断することにより、夜間における車種を高い精度で判別することを提案している。
【０００５】
道路上の撮影画像から車体部分を抽出するための画像処理技術としては、道路等の背景画像と現在の画像との差分をとって車両の特徴を抽出する背景差分法や、前フレームの画像と現在のフレームとの画像間の差分をとって車両の特徴を抽出するフレーム差分法などが考えられる。
【０００６】
【特許文献１】特開平５−２５０５９５号公報
【特許文献２】特開平１１−３５３５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記のように、道路上の撮影画像から車両を検出し、撮影画像内の検出車両を追跡することによって、車両の速度を算出したり、故障等で停止している車両を検出したりなど、道路上の対象エリアの交通状況を把握することが可能である。しかしながら、道路の状況は様々に変化するので、常に検出が容易な条件で目標とする車両を撮影できるとは限らない。
【０００８】
例えば、特定の車両の速度が異常に低下したか、あるいは停止したことを装置が検出したとしても、実際には様々な検出誤りの可能性が考えられるので、少なくとも所定時間その検出状態が継続したかどうかを確認しないと信頼性の高い検出結果は得られない。ところが、１つの監視カメラで複数車線を同時に撮影しているような場合には、停止した目標車両と監視カメラとの間を他の車両が次々と通過する可能性がある。この場合、目標車両を連続的な画像として捕捉することができないため、目標車両が確かな停止車両か否かを識別できない。
【０００９】
本発明は、他の車両に遮られ目標車両を連続的な画像として捕捉できない場合であっても、停止状態又は低速状態の車両を比較的短い時間内に高い信頼性で認識することが可能な停止低速車両検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の停止低速車両検出装置は、道路上の車両を含む被写体を撮影して得られた撮影画像を入力する画像入力手段と、前記撮影画像中の車両に相当する車両候補領域を検出すると共に、前記車両候補領域の情報に基づいて少なくとも車両の特徴点を認識する車両認識手段と、前記車両認識手段が検出した車両候補領域の情報又は前記特徴点の情報に基づいて、車両の停止状態又は低速状態を検出する車両停止検出手段と、前記車両停止検出手段が車両の停止状態又は低速状態を検出した場合に、停止車両候補を表す情報を保存する停止情報格納手段と、前記車両停止検出手段の検出状態及び前記停止情報格納手段に保持されている情報に基づいて、停止車両又は低速車両を認識し停止低速事象として信号を出力する停止低速事象認識手段と、を備える。
【００１１】
この構成により、車両停止検出手段によって停止状態又は低速状態の目標車両が候補として検出された後で、他の車両（妨害車両）の通過などの影響で前記目標車両の映像が間欠的にしか撮影されないような場合であっても、この目標車両に関する情報は停止情報格納手段に保存されるので、妨害車両の通過後に再び前記目標車両の映像が現れると、現在捕捉している目標車両の情報と停止情報格納手段に保存されている過去の目標車両の情報とを利用することにより、停止低速事象認識手段は目標車両が停止状態あるいは低速状態であることを高い信頼性で認識することが可能になる。
【００１２】
本発明の第２の停止低速車両検出装置は、上記第１の停止低速車両検出装置であって、前記停止情報格納手段は、過去に車両認識手段によって検出された車両に相当する目標車両が車両認識手段で検出されなくなり、かつ前記目標車両が前記車両停止検出手段により停止状態又は低速状態が検出された場合にのみ、停止車両候補として該当する情報を保存する。
【００１３】
この構成により、目標車両が連続的に撮影されている場合や、検出された車両が低速状態である可能性が小さい場合のように、保存が不要な車両の情報は登録しないので、停止情報格納手段の記憶領域をより有効に利用できる。
【００１４】
本発明の第３の停止低速車両検出装置は、上記第１又は第２の停止低速車両検出装置であって、前記停止情報格納手段は、前記停止車両候補を表す情報として、少なくとも車両識別番号と、検出された車両の特徴点の位置と、停止状態が検出された時間の長さとを表す情報を保存する。
【００１５】
この構成により、停止情報格納手段に保存された過去の車両に関する特徴点の位置と、最新の画像における目標車両の位置とを比較することにより、両者が対応関係にあるか否かを識別することが可能になる。また、停止情報格納手段に保存された時間を利用することにより、停止状態又は低速状態が検出された時間に関する累積値を算出することもできる。
【００１６】
本発明の第４の停止低速車両検出装置は、上記第３の停止低速車両検出装置であって、前記停止情報格納手段に車両情報が保存されている第１の車両が前記車両認識手段により検出されなくなった後に、前記車両停止検出手段が新たな停止車両候補として第２の車両の停止状態又は低速状態を検出した場合、前記車両停止検出手段は、前記停止情報格納手段に保持されている前記第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較し、その距離が所定以下の場合には前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間を、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算した時間とする。
【００１７】
この構成により、停止情報格納手段に保存された過去の車両に関する特徴点の位置と、最新の画像における目標車両の位置との距離を調べ、距離が近い場合に両者の車両を互いに対応付けるので、撮影された画像に目標車両が時間的に間欠的に現れるような場合であっても、同じ目標車両の状況を監視することができる。また、互いに対応付けられた車両の停止時間を加算した結果を用いて停止時間を把握するので、目標車両の映像が繰り返しとぎれるような場合であっても、停止状態又は低速状態が検出された時間に関する累積値を知ることができ、信頼性の高い認識が可能になる。
【００１８】
本発明の第５の停止低速車両検出装置は、上記第３の停止低速車両検出装置であって、前記停止情報格納手段は、前記停止車両候補を表す情報として、更に前記車両候補領域の画像情報を保存する。
【００１９】
この構成により、停止情報格納手段を参照することにより、過去に検出された目標車両の画像情報を得ることができる。
【００２０】
本発明の第６の停止低速車両検出装置は、上記第５の停止低速車両検出装置であって、前記停止情報格納手段に車両情報が保存されている第１の車両が前記車両認識手段により検出されなくなった後に、前記車両停止検出手段が新たな停止車両候補として第２の車両の停止状態又は低速状態を検出した場合、前記車両停止検出手段は、前記停止情報格納手段に保持されている前記第１の車両の特徴点の位置と前記第２の車両の特徴点の位置との距離を比較すると共に、前記第１の車両に関する車両候補領域の画像情報と前記第２の車両に関する車両候補領域の画像情報との類似度を算出し、前記距離が所定以下であって、かつ前記類似度が高い場合には前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間を、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算した時間とする。
【００２１】
この構成により、第１の車両と第２の車両とが一致するか否かを、距離の違いだけでなく画像情報の類似性に基づいて判断するので、第１の車両と第２の車両との対応付けの誤りが生じにくい。
【００２２】
本発明の第７の停止低速車両検出装置は、上記第６の停止低速車両検出装置であって、前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との各々の画素の明度差の平均値に基づいて前記類似度を算出する。
【００２３】
この構成により、第１の車両と第２の車両との画像情報の類似性を画像情報の各々の画素の明度差の平均値により識別するので、比較的簡単な処理で信頼性の高い結果が得られる。
【００２４】
本発明の第８の停止低速車両検出装置は、上記第６の停止低速車両検出装置であって、前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との相関係数に基づいて前記類似度を算出する。
【００２５】
この構成により、第１の車両と第２の車両との画像情報の類似性を画像情報間の相関係数により識別するので、信頼性の高い結果が得られる。
【００２６】
本発明の第９の停止低速車両検出装置は、上記第６の停止低速車両検出装置であって、前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの各々の画素の微分値の差の平均値に基づいて前記類似度を算出する。
【００２７】
この構成により、第１の車両と第２の車両との画像情報の類似性を画像情報の微分データの各々の画素の微分値の差の平均値により識別するので、信頼性の高い結果が得られる。
【００２８】
本発明の第１０の停止低速車両検出装置は、上記第６の停止低速車両検出装置であって、前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの相関係数に基づいて前記類似度を算出する。
【００２９】
この構成により、第１の車両と第２の車両との画像情報の類似性を画像情報の微分データとの相関係数により識別するので、信頼性の高い結果が得られる。
【００３０】
本発明の第１１の停止低速車両検出装置は、上記第１ないし第１０のいずれかの停止低速車両検出装置であって、前記停止情報格納手段に保持されている第１の車両の情報と一致又は類似する車両情報を有する第２の車両が所定時間検出されない場合には、前記停止情報格納手段は、前記第１の車両の情報を破棄する。
【００３１】
この構成により、検出すべき目標車両が他の車両（妨害車両）の通過などによって撮影されない状況となった際に映像内から立ち去り、再検出できない場合であっても、時間の経過に伴ってその情報は破棄されるので、停止情報格納手段上の記憶領域を有効に利用でき、利用されない情報に対する無駄な処理の発生も抑制できる。
【００３２】
本発明の第１の停止低速車両検出方法は、道路上の車両を含む被写体を撮影して得られた撮影画像を入力する画像入力ステップと、前記撮影画像中の車両に相当する車両候補領域を検出すると共に、前記車両候補領域の情報に基づいて少なくとも車両の特徴点を認識する車両認識ステップと、前記車両認識ステップにおいて検出した車両候補領域の情報又は前記特徴点の情報に基づいて、車両の停止状態又は低速状態を検出する車両停止検出ステップと、前記車両停止検出ステップにおいて車両の停止状態又は低速状態を検出した場合に、停止車両候補を表す情報を保存する停止情報格納ステップと、前記車両停止検出ステップにおける検出状態及び保存されている停止車両候補の情報に基づいて、停止車両又は低速車両を認識し停止低速事象として信号を出力する停止低速事象認識ステップと、を有する
【００３３】
この方法により、車両停止検出手段によって停止状態又は低速状態の目標車両が候補として検出された後で、他の車両（妨害車両）の通過などの影響で前記目標車両の映像が間欠的にしか撮影されないような場合であっても、この目標車両に関する情報は停止情報格納手段に保存されるので、妨害車両の通過後に再び前記目標車両の映像が現れると、現在捕捉している目標車両の情報と停止情報格納手段に保存されている過去の目標車両の情報とを利用することにより、停止低速事象認識手段は目標車両が停止状態あるいは低速状態であることを高い信頼性で認識することが可能になる。
【００３４】
本発明の第２の停止低速車両検出方法は、上記第１の停止低速車両検出方法であって、前記停止情報格納ステップでは、過去に車両認識手順によって検出された車両に相当する目標車両が車両認識手順で検出されなくなり、かつ前記目標車両が前記車両停止検出ステップにおいて停止状態又は低速状態が検出された場合にのみ、停止車両候補として該当する情報を保存する。
【００３５】
この方法により、目標車両が連続的に撮影されている場合や、検出された車両が低速状態である可能性が小さい場合のように、保存が不要な車両の情報は登録しないので、停止情報格納手段の記憶領域をより有効に利用できる。
【００３６】
本発明の第３の停止低速車両検出方法は、上記第１又は第２の停止低速車両検出方法であって、前記停止情報格納ステップでは、前記停止車両候補を表す情報として、少なくとも車両識別番号と、検出された車両の特徴点の位置と、停止状態が検出された時間の長さとを表す情報を保存する。
【００３７】
この方法により、停止情報格納手段に保存された過去の車両に関する特徴点の位置と、最新の画像における目標車両の位置とを比較することにより、両者が対応関係にあるか否かを識別することが可能になる。また、停止情報格納手段に保存された時間を利用することにより、停止状態又は低速状態が検出された時間に関する累積値を算出することもできる。
【００３８】
本発明の第４の停止低速車両検出方法は、上記第３の停止低速車両検出方法であって、前記停止情報格納ステップにおいて車両情報が保存された第１の車両が車両検出されなくなった後に、新たな停止車両候補として第２の車両の停止状態又は低速状態が検出された場合、前記保存されている第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較するステップと、前記比較した距離が所定以下の場合には前記第１の車両と第２の車両とを同一と見なし、その車両の停止時間として、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算するステップと、を更に有する。
【００３９】
この方法により、停止情報格納手段に保存された過去の車両に関する特徴点の位置と、最新の画像における目標車両の位置との距離を調べ、距離が近い場合に両者の車両を互いに対応付けるので、撮影された画像に目標車両が時間的に間欠的に現れるような場合であっても、同じ目標車両の状況を監視することができる。また、互いに対応付けられた車両の停止時間を加算した結果を用いて停止時間を把握するので、目標車両の映像が繰り返しとぎれるような場合であっても、停止状態又は低速状態が検出された時間に関する累積値を知ることができ、信頼性の高い認識が可能になる。
【００４０】
本発明の第５の停止低速車両検出方法は、上記第３の停止低速車両検出方法であって、前記停止情報格納ステップでは、前記停止車両候補を表す情報として、更に前記車両候補領域の画像情報を保存する。
【００４１】
この方法により、停止情報格納手段を参照することにより、過去に検出された目標車両の画像情報を得ることができる。
【００４２】
本発明の第６の停止低速車両検出方法は、上記第５の停止低速車両検出方法であって、前記停止情報格納ステップにおいて車両情報が保存された第１の車両が車両検出されなくなった後に、新たな停止車両候補として第２の車両の停止状態又は低速状態が検出された場合、前記保存されている第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較するステップと、前記第１の車両に関する車両候補領域の画像情報と前記第２の車両に関する車両候補領域の画像情報との類似度を算出する類似度算出ステップと、前記比較した距離が所定以下であって、かつ前記類似度が高い場合、前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間として、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算するステップと、を更に有する。
【００４３】
この方法により、第１の車両と第２の車両とが一致するか否かを、距離の違いだけでなく画像情報の類似性に基づいて判断するので、第１の車両と第２の車両との対応付けの誤りが生じにくい。
【００４４】
本発明の第７の停止低速車両検出方法は、上記第６の停止低速車両検出方法であって、前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との各々の画素の明度差の平均値に基づいて前記類似度を算出する。
【００４５】
この方法により、第１の車両と第２の車両との画像情報の類似性を画像情報の各々の画素の明度差の平均値により識別するので、比較的簡単な処理で信頼性の高い結果が得られる。
【００４６】
本発明の第８の停止低速車両検出方法は、上記第６の停止低速車両検出方法であって、前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との相関係数に基づいて前記類似度を算出する。
【００４７】
この方法により、第１の車両と第２の車両との画像情報の類似性を画像情報間の相関係数により識別するので、信頼性の高い結果が得られる。
【００４８】
本発明の第９の停止低速車両検出方法は、上記第６の停止低速車両検出方法であって、前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの各々の画素の微分値の差の平均値に基づいて前記類似度を算出する。
【００４９】
この方法により、第１の車両と第２の車両との画像情報の類似性を画像情報の微分データの各々の画素の微分値の差の平均値により識別するので、信頼性の高い結果が得られる。
【００５０】
本発明の第１０の停止低速車両検出方法は、上記第６の停止低速車両検出方法であって、前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの相関係数に基づいて前記類似度を算出する。
【００５１】
この方法により、第１の車両と第２の車両との画像情報の類似性を画像情報の微分データとの相関係数により識別するので、信頼性の高い結果が得られる。
【００５２】
本発明の第１１の停止低速車両検出方法は、上記第１ないし第１０のいずれかの停止低速車両検出方法であって、前記停止情報格納手順において保存された第１の車両の情報と一致又は類似する車両情報を有する第２の車両が所定時間検出されない場合には、保存されている前記第１の車両の情報を破棄するステップを更に有する。
【００５３】
この方法により、検出すべき目標車両が他の車両（妨害車両）の通過などによって撮影されない状況となった際に映像内から立ち去り、再検出できない場合であっても、時間の経過に伴ってその情報は破棄されるので、停止情報格納手段上の記憶領域を有効に利用でき、利用されない情報に対する無駄な処理の発生も抑制できる。
【発明の効果】
【００５４】
本発明によれば、他の車両に遮られ目標車両を連続的な画像として捕捉できない場合であっても、停止状態又は低速状態の車両を高い信頼性で認識することが可能になる。
【発明を実施するための最良の形態】
【００５５】
本発明の実施形態について、図１〜図７を参照しながら以下に説明する。
【００５６】
例えば、高速道路のように信号機が存在しない道路においては、通常は全ての車両が所定以上の速度で走行を続けることになる。このような環境では、道路上で停止した車両、あるいは速度が異常に低下した車両は故障車であったり事故の発生を意味する。したがって、このような道路を監視するシステムにおいては、停止した車両や異常に低下した車両をすばやくかつ誤動作無く認識できるのが望ましい。
【００５７】
そこで、本実施形態では図１に示すように構成した監視システムに本発明を適用する場合を想定している。図１は、本発明の実施形態の監視システムの主要部の構成例を示すブロック図である。図１に示すように、道路１１上を走行する車両を監視対象の被写体として撮影するために、道路１１側方の所定位置に固定した複数の監視カメラ１２を設けてある。
【００５８】
また、各監視カメラ１２は車両１３の進行方向に向けて配置してあり、各車両１３を後方から撮影するようになっている。また、実際に監視カメラ１２を設置する場所としては、例えばトンネル内などが想定される。車両を後方から撮影することで、車両のヘッドライトによるハレーション、スミア等を防止することができる。
【００５９】
図１に示す監視システムは、画像処理部１４及び事象判定部１５を備えている。画像処理部１４は、各監視カメラ１２の撮影により得られた画像を監視画像として連続的にあるいは定期的に繰り返し入力し、必要な画像処理を行う。具体的には、車両の検出、車両速度の検出、落下物の検出などを行う。すなわち、車両後方から撮影された画像を基に車両を抽出し、車幅、車長、車尾位置を検出する。そして、検出した車両の追跡等を行うと共に、位置の変化に基づいて車速を検出し、低速車両や停止車両の候補を検出する。事象判定部１５は、画像処理部１４の処理結果に基づき、例えば渋滞、あるいは車両故障や事故のような突発事象の検出に関する対象道路上の事象判定を行う。
【００６０】
次に、画像処理部１４及び事象判定部１５における処理の概略を説明する。図２は、本発明の実施形態に係る画像処理部及び事象判定部の処理に関する具体例を示すフローチャートである。
【００６１】
ステップＳ１では、画像処理部１４はまず初期データとして、背景画像データ及び背景微分画像データを作成する。ここで、電源投入後またはリセット後に、例えば０．１秒ごとに監視カメラ１２から取り込んだ撮影画像データの３００回分（３０秒分の画像）をフレーム間で平均し、背景画像とする。また、背景画像データの微分処理を行って背景微分画像を作成する。さらに、夜と昼とで道路上の照明の明るさ等が異なるため、背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに設定する。
【００６２】
次のステップＳ２では、監視カメラ１２から取り込んだ撮影画像データから画像解析に使用する画像データを作成する。具体的には、監視カメラ１２から入力されるＮＴＳＣ信号の映像信号を、垂直方向２４０ライン、水平方向３２０画素、輝度を２５６階調とし、フレームごとにＡＤ変換（アナログ−デジタル変換）して３２０画素×２４０画素の画像データを作成する。このとき、偶数フィールドのみをＡＤ変換することで、１／３０秒ごとに１枚の画像データを作成する。そして、以降の画像解析においては、現在画像、ΔＴ前画像、２ΔＴ前画像（ここではΔＴ＝１００ｍｓとする）の３つの画像データを使用する。
【００６３】
ステップＳ３では、作成した前述の画像データに対して、特徴抽出演算、二値化処理等の画像前処理を行い、車両の特徴を抽出した特徴画像を作成する。特徴抽出演算においては、背景差分方式、微分背景差分方式、フレーム差分方式、微分フレーム差分方式などの特徴抽出方式を用いてそれぞれ特徴抽出を行って差分画像を作成し、特徴画像を作成する。なおここでは、後処理の処理速度を速めるために、例えば特徴抽出等の処理を行って特徴画像を作成した後、この３２０画素×２４０画素の画像データを８０画素×６０画素に圧縮して特徴抽出圧縮画像を作成するようにする。また、画像解析用に作成した画像データから３２０画素×２４０画素のライト抽出用画像を作成する。
【００６４】
次のステップＳ４では、前述の特徴抽出圧縮画像及びライト抽出用画像を用いて画像解析を行い、車両等を抽出する。このとき、特徴抽出圧縮画像を用いて車体解析を行い、車尾、車長、車幅を決定する。また、ライト抽出用画像を用いてライト（尾灯の光像）解析を行い、車両の尾灯を検出して車尾位置を決定する。これらの車体解析による例えば矩形の車体検出（車両候補領域の検出）とライト解析による車尾検出の結果から車両位置を決定する。さらに、特徴抽出圧縮画像を用いて落下物解析を行い、落下物の位置、縦横寸法を決定する。
【００６５】
その後、検出した車両の位置データを走行軌跡データに追加または新規作成し、本処理のサイクルごとに検出された車両の位置データを走行軌跡データに追加していくことで、車両追跡を行う（ステップＳ５）。また、検出した個々の車両の移動速度を算出する。
【００６６】
また、前記車両追跡とは異なる方法で撮影画像における車群の速度を算出する（ステップＳ６）。ここでは、画像全体の輝度値の移動量から車両全体を一つの塊の車群として捉え、この車群の移動速度を算出する。この車群速度は渋滞時の渋滞判定等に用いることができる。
【００６７】
次に、事象判定部１５は、前述の車両追跡、車群速度算出、落下物検出等の結果から、「停止」「低速」「渋滞」「落下物」などの事象が発生したかどうかを判定する（ステップＳ７）。
【００６８】
そして、画像処理部１４は、次の処理のサイクルにおける画像処理のために、背景画像データ及び背景微分画像データを最新の背景画像に更新する（ステップＳ８）。また、新たな背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに更新する。その後、ステップＳ２に戻り、ステップＳ２〜Ｓ８の処理サイクルを所定間隔（ここでは１００ｍｓ）ごとに繰り返す。
【００６９】
次に、本発明の実施形態の特徴的要素である停止低速車両の検出処理について詳しく説明する。図３は、本発明の実施形態に係る画像処理部及び事象判定部において車両認識及び停止低速車両検出を行う機能構成を示すブロック図である。
【００７０】
画像処理部１４は、画像入力部２１、背景画像作成部２２、特徴画像作成部２３、特徴コード作成部２４、画像格納部２５、特徴コード格納部２９及び車両認識部３０を備えている。また、事象判定部１５は、停止保持情報格納部３３及び停止低速事象認識部３４を備えている。
【００７１】
画像入力部２１は、監視カメラ１２の撮影により得られた画像データを入力する。背景画像作成部２２は入力された画像データから背景画像を作成する。特徴画像作成部２３は、入力画像及び背景画像を用いて背景差分、微分背景差分、フレーム差分、微分フレーム差分等の処理を行って特徴画像を作成する。特徴コード作成部２４は、特徴画像を基に車両候補領域を算出するための各画素の特徴を示す特徴コードを作成する。画像格納部２５は画像データを格納し、特徴コード格納部２９は特徴コードを格納する。車両認識部３０は車両認識の処理を行う。
【００７２】
画像格納部２５は、現画像を格納する現画像格納部２６と、背景画像を格納する背景画像格納部２７と特徴画像を格納する特徴画像格納部２８とを備えている。また、車両認識部３０は車頭車尾検出部３１及び車両追跡部３２を備えている。車頭車尾検出部３１は、現画像及び算出した特徴コードに基づいて車両の特徴点である車頭及び車尾の位置を検出する。車両追跡部３２は、車頭車尾検出部３１の検出した車頭及び車尾を用いてこの車両を追跡する。すなわち、追跡対象の車両がどのように移動しているかを把握し、位置の変化から速度なども検出する。
【００７３】
なお、画像格納部２５、特徴コード格納部２９及び停止保持情報格納部３３についてはメモリ等で構成すればよく、背景画像作成部２２、特徴画像作成部２３、特徴コード作成部２４、車両認識部３０及び停止低速事象認識部３４については、各処理を行うプロセッサ等で構成すればよい。
【００７４】
現画像格納部２６は、画像入力部２１より入力された現在画像データを格納する。入力される画像データには、２５６階調の濃淡画像などを用いる。背景画像作成部２２は、過去の現在画像データを用いて背景のみの背景画像を作成し、背景画像格納部２７に格納する。特徴画像作成部２３は、現画像格納部２６に格納された現在画像データと背景画像格納部２７に格納された背景画像データとを用いて、背景差分、微分背景差分、フレーム差分、微分フレーム差分等の処理を行い、撮影画像中の車両を検出するための特徴画像を作成し、特徴画像格納部２８に格納する。
【００７５】
特徴コード作成部２４は、特徴画像を基に車両候補領域を算出するための各画素の特徴を示す特徴コードを作成し、特徴コード格納部２９に格納する。特徴コードは、特徴画像において各画素ごとに０、１、２、・・・、９などのコードを割り当てたものである。例えば、背景と同一で差分処理によってデータ無しとなった部分は０、ノイズ等と思われる捨てデータは１、車両として有効な有効データのうち、車幅より小さい部分は２、車幅より大きい部分は３、車両候補となる部分は６、車体として認識される部分は８、車尾として認識される部分は９などとして、車両の位置を判別可能にしたデータである。
【００７６】
車頭車尾検出部３１は、現画像格納部２６に格納された現在画像データと特徴コード格納部２９に格納された特徴コードとを用いて、車両候補となる例えば矩形状の領域を算出し、車頭及び車尾を認識する。通常は車両が走行しているので、各監視カメラ１２が撮影した画像の変化に伴って車頭車尾検出部３１が認識する車頭及び車尾の位置は時系列で変化することになる。したがって、車両追跡部３２は、時系列で変化する各車両の車頭及び車尾の位置及びその変化を把握すると共に、検出車両の位置をトレースして走行軌跡を算出したり、検出車両の移動速度を算出する。なお、車頭車尾検出部３１は、道路を撮影する方向に応じて、車頭及び車尾のうち、いずれか少なくとも一方を検出する構成でよい。
【００７７】
ところで、停止車両、すなわち速度が異常に低下した車両や完全に停止した車両を特別な事象として認識することは非常に重要である。しかしながら、例えば映像の乱れ、認識の誤り、対象車両の一時的な急減速などを停止車両の発生として誤認識してしまうとシステムの信頼上、大きな問題が生じる。
【００７８】
停止車両や低速車両の検出に関する信頼性を高めるには、同じ検出状態が長く継続しているかどうかを識別するのが有効である。例えば、低速状態が５秒間継続して検出されているような場合には、映像の乱れ、認識の誤り、対象車両の一時的な急減速などの可能性は考えられないので、最終的に低速車両あるいは停止車両として認識しても良い。
【００７９】
ところが、同じ状態が所定時間継続していることを確認してから最終判断を行うように処理すると、実際の使用環境においては検出すべき停止車両をいつまでたっても認識できない可能性がある。
【００８０】
図７は、監視カメラで撮影される被写体の具体例を示す正面図である。図７に示す例では、同じ監視カメラで２つの車線１１１、１１２をそれぞれ走行する車両を含む映像を少し時間をずらして撮影した場合を想定しており、図７（ａ）の状態から数秒後に図７（ｂ）の状態に変化し更に数秒後に図７（ｃ）の状態に変化した場合を表している。
【００８１】
この場合、図７（ａ）の画像中で車線１１２上で停止した車両が矩形の車両候補領域１０１に現れているが、少し時間がたつと図７（ｂ）に示すように車線１１１を大型の車両が走行しているため、車線１１２上に停止した目標車両の像は車両候補領域１０１から遮られてしまう。
【００８２】
したがって、図７（ａ）の画像に基づいて停止車両の候補を検出した場合でも、５秒間が経過する前に図７（ｂ）に示す画像に変化するため、候補車両を見失うことになりこの車両が本当に停止しているのかどうかを最終的に判断できない。図７（ｂ）に示す画像中の妨害車両１０２が通り過ぎれば図７（ｃ）の画像が得られるため再び車両候補領域１０１で停止車両を捕捉することができるが、この道路を頻繁に車両が走行しているような状態では、短い周期で再び図７（ｂ）に示す状態になるため、５秒間が経過する前に再び候補車両を見失うことになる。したがって、いつまでたっても停止車両を認識できないか、あるいは停止車両を認識するまでに長い時間がかかってしまう。
【００８３】
そこで、本実施形態では過去に検出され見失ってしまった停止状態又は低速状態の候補車両に関する情報を停止低速事象認識部３４の制御により停止保持情報格納部３３に一時的に保存しておく。また、停止低速事象認識部３４は停止状態又は低速状態の候補車両が停止車両又は低速車両であるかどうかを最終判断する際に、停止保持情報格納部３３に保存されている情報を利用する。
【００８４】
以下に、停止保持情報格納部３３及び停止低速事象認識部３４における停止低速車両検出処理について詳細に説明する。ここでは、第１の実施形態と第２の実施形態の２つの処理例を示す。
【００８５】
（第１の実施形態）
図４〜図６は、具体的な停止低速事象認識部３４の動作を示す図であり、図４、図５及び図６に示す動作は並列的に処理される。実際には、例えば、図４〜図６の順にそれぞれの処理を定期的に繰り返し実行すればよい。
【００８６】
図４は、第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第１の処理を示すフローチャートである。停止低速事象認識部３４は、車両追跡部３２における追跡が完了したことをステップＳ１１で検出すると次のステップＳ１２に進む。ステップＳ１２では、車両追跡部３２の追跡処理時に、例えば図７に示すような状況の変化によって見失った車両が存在するか否かを識別する。
【００８７】
見失った候補車両が存在する場合には、ステップＳ１２からＳ１３に進み、該当する車両について停止時間が計測されていたか否かを識別する。この停止時間は、該当する車両に関する車速が所定以下であった場合に計測されるものであり、後述する図５のステップＳ２７で計測される。停止時間が計測されていた場合には、ステップＳ１３からＳ１４に進む。
【００８８】
ステップＳ１４では、該当する車両（見失った停止車両候補）の情報を停止保持情報として停止保持情報格納部３３に保存する。この停止保持情報には、複数の車両を区別するための車両識別番号と、該当する車両の車尾位置と、該当する車両の停止時間とを表す情報が含まれている。
【００８９】
すなわち、車両追跡時に消滅し、かつその車両が所定速度以下であった場合に、その車両の情報を停止保持情報格納部３３に格納する。
【００９０】
図５は、第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第２の処理を示すフローチャートである。停止低速事象認識部３４は、車両追跡部３２における追跡が完了したことをステップＳ２１で検出すると次のステップＳ２２に進む。ステップＳ２２では、車両追跡部３２の追跡により見つかった候補車両の車速を予め定めた閾値である車両停止判定速度Ｖｔｈと比較して、候補車両がほぼ停止状態か否かを識別する。（車速＜Ｖｔｈ）の条件を満たす場合には停止車両の候補と見なし、ステップＳ２２からＳ２３に進む。ステップＳ２２は検出した全ての車両に対して実施され、車両が検出されなかった場合は、そのまま終了する。
【００９１】
ステップＳ２３では、前述の停止保持情報が停止保持情報格納部３３上に存在するか否かを調べ、停止保持情報が存在する場合はステップＳ２４に進み、存在しなければステップＳ２７に進む。
【００９２】
ステップＳ２４では、過去に停止車両の候補として検出され停止保持情報として停止保持情報格納部３３に保持されている車両と、最新の追跡によって検出された停止車両の候補とが同じ車両か否かを識別する。この例では、各車両の車尾位置間の距離を予め定めた閾値と比較することにより、両者が同じ車両か否かを識別している。すなわち、距離が比較的近い場合には両者が同じ車両であると見なしステップＳ２４からＳ２５に進み、距離が離れている場合にはステップＳ２４からＳ２７に進む。
【００９３】
ステップＳ２５では、最新の追跡によって検出された停止車両の候補と停止保持情報格納部３３上の停止保持情報とを同じ車両のものとして対応付ける。具体的には、現在検出されている車両の車両識別番号として、登録車両識別番号（停止保持情報に含まれている車両識別番号）を割り当て、現在検出されている車両の停止時間として、それまでの停止時間に登録停止時間（停止保持情報に含まれている停止時間）を加算する。
【００９４】
ステップＳ２６では、ステップＳ２５で使用した停止保持情報を停止保持情報格納部３３から削除し廃棄する。
【００９５】
ステップＳ２７では、現在監視中の停止車両の候補に関する停止時間の計測を開始する。なお、ステップＳ２６からＳ２７に進んだ場合には、停止時間の初期値として以前に計測された時間値が最初から存在することになる。
【００９６】
ステップＳ２８では、ステップＳ２７で計測された停止時間が停止事象として予め定めた条件を満たすか否かを識別する。この例では、ステップＳ２７で計測した停止時間（途中で計測を中断した場合は累積値）を閾値（例えば５秒）と比較し、停止時間が閾値を超える場合に停止事象の発生とみなす。この場合、次のステップＳ２９で「停止事象の発生」を表す特別な情報を停止低速事象認識部３４が外部の装置に出力する。
【００９７】
図６は、第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第３の処理を示すフローチャートである。停止低速事象認識部３４は、ステップＳ３１で停止保持情報格納部３３に停止保持情報が保持されているか否かを識別する。有効な停止保持情報が保持されている場合にはステップＳ３１からＳ３２に進む。ステップＳ３２では、停止保持時間カウンタＣｈの値をカウントアップする。この停止保持時間カウンタＣｈは、停止保持情報格納部３３に同じ停止保持情報が保持されている時間の長さを計測するために利用している。
【００９８】
次のステップＳ３３では、停止保持時間カウンタＣｈの値を予め定めた閾値、すなわち停止保持時間上限値Ｔと比較する。（Ｔ＜Ｃｈ）の条件を満たす場合には、ステップＳ３３からＳ３４に進む。ステップＳ３４では、停止保持情報格納部３３上の停止保持情報を廃棄する。この場合、停止保持時間カウンタＣｈの値はクリアされる。
【００９９】
すなわち、検出すべき停止車両を候補として検出した後で、例えば図７（ｂ）に示すような変化が生じ一時的に候補の車両を見失ったような場合には、長い時間を経過する前に図７（ｃ）に示すような状態に変化し、再び候補の車両が検出される。したがって、前述の図５のステップＳ２５で該当する停止保持情報格納部３３上の停止保持情報が参照され、ステップＳ２６で停止保持情報は破棄される。すなわち、有効な停止保持情報は長時間にわたって停止保持情報格納部３３に保持されることはないので、図６のステップＳ３４を実行することにより、無効な停止保持情報を排除することができる。
【０１００】
このような本発明の第１の実施形態によれば、他の車両（妨害車両）の通過などの影響で目標となる停止低速車両の映像が間欠的にしか撮影されないような場合であっても、高い信頼性で認識することが可能になる。
【０１０１】
（第２の実施形態）
本発明の第２の実施形態について、図８を参照しながら説明する。図８は第２の実施形態に係る停止低速車両検出装置の主要動作のために実行される処理を示すフローチャートである。
【０１０２】
第２の実施形態の動作は、第１の実施形態の変形例である。第１の実施形態と異なる処理について以下に説明する。なお、図８において図５と対応するステップは同一の番号を付す。
【０１０３】
本実施形態では、停止保持情報格納部３３上の停止保持情報に相当する車両と現在追跡中の車両とが対応関係にあるか否かを識別する際に、車両位置間の距離だけでなく、注目領域の画像の類似度も用いられるものである。そのため、本実施形態では、停止低速事象認識部３４は、前述のステップＳ１４（図４参照）において、停止車両の候補として注目している画像中の矩形領域（例えば図７（ａ）の車両候補領域１０１）の画像データに相当する情報も停止保持情報格納部３３に保存する。
【０１０４】
図８のステップＳ２４において、停止保持情報が停止保持情報格納部３３上に存在し、この停止保持情報における車両の位置と、最新の追跡によって検出された停止車両の候補との距離が比較的近い場合には、図８のステップＳ２４からＳ４１に進む。
【０１０５】
ステップＳ４１では、停止保持情報格納部３３に保持されている停止保持情報に含まれる矩形領域の画像情報と、最新の画像において現在注目している車両に相当する矩形領域の画像情報との類似度を算出する。そして、ステップＳ４２では算出された類似度を予め定めた閾値と比較することにより、２つの画像が一致するか否かを識別する。２つの画像が一致する場合にはステップＳ４２からＳ２５に進み、第１の実施形態の場合と同様の処理を実行する。
【０１０６】
なお、ステップＳ４１における類似度の算出処理については、例えば次に示すような様々な方法が考えられる。
【０１０７】
（１）矩形領域の全体について各々の画素毎に明度差を算出し、その矩形領域全体における平均値を類似度として算出する。２つの矩形領域の大きさが異なる場合は、小さい領域を大きい領域内で例えば左上から右下に走査し、算出された明度差の平均値の最小値を類似度とする。
（２）２つの画像情報の間の相関係数を算出し、この相関係数を類似度として利用する。２つの矩形領域の大きさが異なる場合は、（１）と同様に走査して、相関係数の最大値を類似度とする。
（３）各画素情報の微分データについて各々の画素毎に微分値の差を算出し、その矩形領域全体における平均値を類似度として算出する。
（４）各画像情報の微分データについて画像間の相関係数を算出し、この相関係数を類似度として利用する。
【０１０８】
このような本発明の第２の実施形態によれば、停止情報格納部に保存されている車両と最新の画像における目標車両とが同一車両か否かを、距離の違いだけでなく、画像情報の類似性に基づいて判断するので、停止低速車両を高い信頼性で認識することが可能になる。
【産業上の利用可能性】
【０１０９】
本発明は、他の車両に遮られ目標車両を連続的な画像として捕捉できない場合であっても、停止状態又は低速状態の車両を高い信頼性で認識することが可能な効果を有し、停止低速車両検出装置及び方法等に有用である。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施形態の監視システムの主要部の構成例を示すブロック図
【図２】本発明の実施形態に係る画像処理部及び事象判定部の処理に関する具体例を示すフローチャート
【図３】本発明の実施形態に係る画像処理部及び事象判定部において車両認識及び停止低速車両検出を行う機能構成を示すブロック図
【図４】第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第１の処理を示すフローチャート
【図５】第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第２の処理を示すフローチャート
【図６】第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第３の処理を示すフローチャート
【図７】監視カメラで撮影される被写体の具体例を示す正面図
【図８】第２の実施形態に係る停止低速車両検出装置の主要動作のために実行される処理を示すフローチャート
【符号の説明】
【０１１１】
１１ 道路
１２ 監視カメラ
１３ 車両
１４ 画像処理部
１５ 事象判定部
２１ 画像入力部
２２ 背景画像作成部
２３ 特徴画像作成部
２４ 特徴コード作成部
２５ 画像格納部
２６ 現画像格納部
２７ 背景画像格納部
２８ 特徴画像格納部
２９ 特徴コード格納部
３０ 車両認識部
３１ 車頭車尾検出部
３２ 車両追跡部
３３ 停止保持情報格納部
３４ 停止低速事象認識部
１０１ 車両候補領域
１０２ 妨害車両
１１１、１１２ 車線
【技術分野】
【０００１】
本発明は、道路上の被写体を撮影して得られた画像に基づいて、例えば故障などによって停止したり低速状態になった異常な車両を検出するために用いる停止低速車両検出装置及び方法に関する。
【背景技術】
【０００２】
従来より、例えば高速道路上や一般道路の近傍に監視カメラを設置して道路を走行中の車両を撮影し、撮影により得られた車両の映像を例えば管制室の映像表示装置で表示するように構成した監視システムが道路交通状態を管理するために広く採用されている。
【０００３】
この種の一般的な監視システムにおいては、監視者が表示された映像を目視で確認することにより監視するようになっているが、例えば特許文献１の技術においては、監視カメラからの映像を分析して突発事象を自動的に検出し、突発事象の発生を表示すると共に、入力映像を突発事象発生地点の現場映像に切り替えて表示することを提案している。
【０００４】
また、道路上の車両を撮影した画像から車両を検出する技術が種々提案されている。例えば特許文献２に開示された技術では、車両のヘッドライトの領域を画像から抽出して判断することにより、夜間における車種を高い精度で判別することを提案している。
【０００５】
道路上の撮影画像から車体部分を抽出するための画像処理技術としては、道路等の背景画像と現在の画像との差分をとって車両の特徴を抽出する背景差分法や、前フレームの画像と現在のフレームとの画像間の差分をとって車両の特徴を抽出するフレーム差分法などが考えられる。
【０００６】
【特許文献１】特開平５−２５０５９５号公報
【特許文献２】特開平１１−３５３５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記のように、道路上の撮影画像から車両を検出し、撮影画像内の検出車両を追跡することによって、車両の速度を算出したり、故障等で停止している車両を検出したりなど、道路上の対象エリアの交通状況を把握することが可能である。しかしながら、道路の状況は様々に変化するので、常に検出が容易な条件で目標とする車両を撮影できるとは限らない。
【０００８】
例えば、特定の車両の速度が異常に低下したか、あるいは停止したことを装置が検出したとしても、実際には様々な検出誤りの可能性が考えられるので、少なくとも所定時間その検出状態が継続したかどうかを確認しないと信頼性の高い検出結果は得られない。ところが、１つの監視カメラで複数車線を同時に撮影しているような場合には、停止した目標車両と監視カメラとの間を他の車両が次々と通過する可能性がある。この場合、目標車両を連続的な画像として捕捉することができないため、目標車両が確かな停止車両か否かを識別できない。
【０００９】
本発明は、他の車両に遮られ目標車両を連続的な画像として捕捉できない場合であっても、停止状態又は低速状態の車両を比較的短い時間内に高い信頼性で認識することが可能な停止低速車両検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の停止低速車両検出装置は、道路上の車両を含む被写体を撮影して得られた撮影画像を入力する画像入力手段と、前記撮影画像中の車両に相当する車両候補領域を検出すると共に、前記車両候補領域の情報に基づいて少なくとも車両の特徴点を認識する車両認識手段と、前記車両認識手段が検出した車両候補領域の情報又は前記特徴点の情報に基づいて、車両の停止状態又は低速状態を検出する車両停止検出手段と、前記車両停止検出手段が車両の停止状態又は低速状態を検出した場合に、停止車両候補を表す情報を保存する停止情報格納手段と、前記車両停止検出手段の検出状態及び前記停止情報格納手段に保持されている情報に基づいて、停止車両又は低速車両を認識し停止低速事象として信号を出力する停止低速事象認識手段と、を備える。
【００１１】
この構成により、車両停止検出手段によって停止状態又は低速状態の目標車両が候補として検出された後で、他の車両（妨害車両）の通過などの影響で前記目標車両の映像が間欠的にしか撮影されないような場合であっても、この目標車両に関する情報は停止情報格納手段に保存されるので、妨害車両の通過後に再び前記目標車両の映像が現れると、現在捕捉している目標車両の情報と停止情報格納手段に保存されている過去の目標車両の情報とを利用することにより、停止低速事象認識手段は目標車両が停止状態あるいは低速状態であることを高い信頼性で認識することが可能になる。
【００１２】
本発明の第２の停止低速車両検出装置は、上記第１の停止低速車両検出装置であって、前記停止情報格納手段は、過去に車両認識手段によって検出された車両に相当する目標車両が車両認識手段で検出されなくなり、かつ前記目標車両が前記車両停止検出手段により停止状態又は低速状態が検出された場合にのみ、停止車両候補として該当する情報を保存する。
【００１３】
この構成により、目標車両が連続的に撮影されている場合や、検出された車両が低速状態である可能性が小さい場合のように、保存が不要な車両の情報は登録しないので、停止情報格納手段の記憶領域をより有効に利用できる。
【００１４】
本発明の第３の停止低速車両検出装置は、上記第１又は第２の停止低速車両検出装置であって、前記停止情報格納手段は、前記停止車両候補を表す情報として、少なくとも車両識別番号と、検出された車両の特徴点の位置と、停止状態が検出された時間の長さとを表す情報を保存する。
【００１５】
この構成により、停止情報格納手段に保存された過去の車両に関する特徴点の位置と、最新の画像における目標車両の位置とを比較することにより、両者が対応関係にあるか否かを識別することが可能になる。また、停止情報格納手段に保存された時間を利用することにより、停止状態又は低速状態が検出された時間に関する累積値を算出することもできる。
【００１６】
本発明の第４の停止低速車両検出装置は、上記第３の停止低速車両検出装置であって、前記停止情報格納手段に車両情報が保存されている第１の車両が前記車両認識手段により検出されなくなった後に、前記車両停止検出手段が新たな停止車両候補として第２の車両の停止状態又は低速状態を検出した場合、前記車両停止検出手段は、前記停止情報格納手段に保持されている前記第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較し、その距離が所定以下の場合には前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間を、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算した時間とする。
【００１７】
この構成により、停止情報格納手段に保存された過去の車両に関する特徴点の位置と、最新の画像における目標車両の位置との距離を調べ、距離が近い場合に両者の車両を互いに対応付けるので、撮影された画像に目標車両が時間的に間欠的に現れるような場合であっても、同じ目標車両の状況を監視することができる。また、互いに対応付けられた車両の停止時間を加算した結果を用いて停止時間を把握するので、目標車両の映像が繰り返しとぎれるような場合であっても、停止状態又は低速状態が検出された時間に関する累積値を知ることができ、信頼性の高い認識が可能になる。
【００１８】
本発明の第５の停止低速車両検出装置は、上記第３の停止低速車両検出装置であって、前記停止情報格納手段は、前記停止車両候補を表す情報として、更に前記車両候補領域の画像情報を保存する。
【００１９】
この構成により、停止情報格納手段を参照することにより、過去に検出された目標車両の画像情報を得ることができる。
【００２０】
本発明の第６の停止低速車両検出装置は、上記第５の停止低速車両検出装置であって、前記停止情報格納手段に車両情報が保存されている第１の車両が前記車両認識手段により検出されなくなった後に、前記車両停止検出手段が新たな停止車両候補として第２の車両の停止状態又は低速状態を検出した場合、前記車両停止検出手段は、前記停止情報格納手段に保持されている前記第１の車両の特徴点の位置と前記第２の車両の特徴点の位置との距離を比較すると共に、前記第１の車両に関する車両候補領域の画像情報と前記第２の車両に関する車両候補領域の画像情報との類似度を算出し、前記距離が所定以下であって、かつ前記類似度が高い場合には前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間を、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算した時間とする。
【００２１】
この構成により、第１の車両と第２の車両とが一致するか否かを、距離の違いだけでなく画像情報の類似性に基づいて判断するので、第１の車両と第２の車両との対応付けの誤りが生じにくい。
【００２２】
本発明の第７の停止低速車両検出装置は、上記第６の停止低速車両検出装置であって、前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との各々の画素の明度差の平均値に基づいて前記類似度を算出する。
【００２３】
この構成により、第１の車両と第２の車両との画像情報の類似性を画像情報の各々の画素の明度差の平均値により識別するので、比較的簡単な処理で信頼性の高い結果が得られる。
【００２４】
本発明の第８の停止低速車両検出装置は、上記第６の停止低速車両検出装置であって、前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との相関係数に基づいて前記類似度を算出する。
【００２５】
この構成により、第１の車両と第２の車両との画像情報の類似性を画像情報間の相関係数により識別するので、信頼性の高い結果が得られる。
【００２６】
本発明の第９の停止低速車両検出装置は、上記第６の停止低速車両検出装置であって、前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの各々の画素の微分値の差の平均値に基づいて前記類似度を算出する。
【００２７】
この構成により、第１の車両と第２の車両との画像情報の類似性を画像情報の微分データの各々の画素の微分値の差の平均値により識別するので、信頼性の高い結果が得られる。
【００２８】
本発明の第１０の停止低速車両検出装置は、上記第６の停止低速車両検出装置であって、前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの相関係数に基づいて前記類似度を算出する。
【００２９】
この構成により、第１の車両と第２の車両との画像情報の類似性を画像情報の微分データとの相関係数により識別するので、信頼性の高い結果が得られる。
【００３０】
本発明の第１１の停止低速車両検出装置は、上記第１ないし第１０のいずれかの停止低速車両検出装置であって、前記停止情報格納手段に保持されている第１の車両の情報と一致又は類似する車両情報を有する第２の車両が所定時間検出されない場合には、前記停止情報格納手段は、前記第１の車両の情報を破棄する。
【００３１】
この構成により、検出すべき目標車両が他の車両（妨害車両）の通過などによって撮影されない状況となった際に映像内から立ち去り、再検出できない場合であっても、時間の経過に伴ってその情報は破棄されるので、停止情報格納手段上の記憶領域を有効に利用でき、利用されない情報に対する無駄な処理の発生も抑制できる。
【００３２】
本発明の第１の停止低速車両検出方法は、道路上の車両を含む被写体を撮影して得られた撮影画像を入力する画像入力ステップと、前記撮影画像中の車両に相当する車両候補領域を検出すると共に、前記車両候補領域の情報に基づいて少なくとも車両の特徴点を認識する車両認識ステップと、前記車両認識ステップにおいて検出した車両候補領域の情報又は前記特徴点の情報に基づいて、車両の停止状態又は低速状態を検出する車両停止検出ステップと、前記車両停止検出ステップにおいて車両の停止状態又は低速状態を検出した場合に、停止車両候補を表す情報を保存する停止情報格納ステップと、前記車両停止検出ステップにおける検出状態及び保存されている停止車両候補の情報に基づいて、停止車両又は低速車両を認識し停止低速事象として信号を出力する停止低速事象認識ステップと、を有する
【００３３】
この方法により、車両停止検出手段によって停止状態又は低速状態の目標車両が候補として検出された後で、他の車両（妨害車両）の通過などの影響で前記目標車両の映像が間欠的にしか撮影されないような場合であっても、この目標車両に関する情報は停止情報格納手段に保存されるので、妨害車両の通過後に再び前記目標車両の映像が現れると、現在捕捉している目標車両の情報と停止情報格納手段に保存されている過去の目標車両の情報とを利用することにより、停止低速事象認識手段は目標車両が停止状態あるいは低速状態であることを高い信頼性で認識することが可能になる。
【００３４】
本発明の第２の停止低速車両検出方法は、上記第１の停止低速車両検出方法であって、前記停止情報格納ステップでは、過去に車両認識手順によって検出された車両に相当する目標車両が車両認識手順で検出されなくなり、かつ前記目標車両が前記車両停止検出ステップにおいて停止状態又は低速状態が検出された場合にのみ、停止車両候補として該当する情報を保存する。
【００３５】
この方法により、目標車両が連続的に撮影されている場合や、検出された車両が低速状態である可能性が小さい場合のように、保存が不要な車両の情報は登録しないので、停止情報格納手段の記憶領域をより有効に利用できる。
【００３６】
本発明の第３の停止低速車両検出方法は、上記第１又は第２の停止低速車両検出方法であって、前記停止情報格納ステップでは、前記停止車両候補を表す情報として、少なくとも車両識別番号と、検出された車両の特徴点の位置と、停止状態が検出された時間の長さとを表す情報を保存する。
【００３７】
この方法により、停止情報格納手段に保存された過去の車両に関する特徴点の位置と、最新の画像における目標車両の位置とを比較することにより、両者が対応関係にあるか否かを識別することが可能になる。また、停止情報格納手段に保存された時間を利用することにより、停止状態又は低速状態が検出された時間に関する累積値を算出することもできる。
【００３８】
本発明の第４の停止低速車両検出方法は、上記第３の停止低速車両検出方法であって、前記停止情報格納ステップにおいて車両情報が保存された第１の車両が車両検出されなくなった後に、新たな停止車両候補として第２の車両の停止状態又は低速状態が検出された場合、前記保存されている第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較するステップと、前記比較した距離が所定以下の場合には前記第１の車両と第２の車両とを同一と見なし、その車両の停止時間として、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算するステップと、を更に有する。
【００３９】
この方法により、停止情報格納手段に保存された過去の車両に関する特徴点の位置と、最新の画像における目標車両の位置との距離を調べ、距離が近い場合に両者の車両を互いに対応付けるので、撮影された画像に目標車両が時間的に間欠的に現れるような場合であっても、同じ目標車両の状況を監視することができる。また、互いに対応付けられた車両の停止時間を加算した結果を用いて停止時間を把握するので、目標車両の映像が繰り返しとぎれるような場合であっても、停止状態又は低速状態が検出された時間に関する累積値を知ることができ、信頼性の高い認識が可能になる。
【００４０】
本発明の第５の停止低速車両検出方法は、上記第３の停止低速車両検出方法であって、前記停止情報格納ステップでは、前記停止車両候補を表す情報として、更に前記車両候補領域の画像情報を保存する。
【００４１】
この方法により、停止情報格納手段を参照することにより、過去に検出された目標車両の画像情報を得ることができる。
【００４２】
本発明の第６の停止低速車両検出方法は、上記第５の停止低速車両検出方法であって、前記停止情報格納ステップにおいて車両情報が保存された第１の車両が車両検出されなくなった後に、新たな停止車両候補として第２の車両の停止状態又は低速状態が検出された場合、前記保存されている第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較するステップと、前記第１の車両に関する車両候補領域の画像情報と前記第２の車両に関する車両候補領域の画像情報との類似度を算出する類似度算出ステップと、前記比較した距離が所定以下であって、かつ前記類似度が高い場合、前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間として、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算するステップと、を更に有する。
【００４３】
この方法により、第１の車両と第２の車両とが一致するか否かを、距離の違いだけでなく画像情報の類似性に基づいて判断するので、第１の車両と第２の車両との対応付けの誤りが生じにくい。
【００４４】
本発明の第７の停止低速車両検出方法は、上記第６の停止低速車両検出方法であって、前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との各々の画素の明度差の平均値に基づいて前記類似度を算出する。
【００４５】
この方法により、第１の車両と第２の車両との画像情報の類似性を画像情報の各々の画素の明度差の平均値により識別するので、比較的簡単な処理で信頼性の高い結果が得られる。
【００４６】
本発明の第８の停止低速車両検出方法は、上記第６の停止低速車両検出方法であって、前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との相関係数に基づいて前記類似度を算出する。
【００４７】
この方法により、第１の車両と第２の車両との画像情報の類似性を画像情報間の相関係数により識別するので、信頼性の高い結果が得られる。
【００４８】
本発明の第９の停止低速車両検出方法は、上記第６の停止低速車両検出方法であって、前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの各々の画素の微分値の差の平均値に基づいて前記類似度を算出する。
【００４９】
この方法により、第１の車両と第２の車両との画像情報の類似性を画像情報の微分データの各々の画素の微分値の差の平均値により識別するので、信頼性の高い結果が得られる。
【００５０】
本発明の第１０の停止低速車両検出方法は、上記第６の停止低速車両検出方法であって、前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの相関係数に基づいて前記類似度を算出する。
【００５１】
この方法により、第１の車両と第２の車両との画像情報の類似性を画像情報の微分データとの相関係数により識別するので、信頼性の高い結果が得られる。
【００５２】
本発明の第１１の停止低速車両検出方法は、上記第１ないし第１０のいずれかの停止低速車両検出方法であって、前記停止情報格納手順において保存された第１の車両の情報と一致又は類似する車両情報を有する第２の車両が所定時間検出されない場合には、保存されている前記第１の車両の情報を破棄するステップを更に有する。
【００５３】
この方法により、検出すべき目標車両が他の車両（妨害車両）の通過などによって撮影されない状況となった際に映像内から立ち去り、再検出できない場合であっても、時間の経過に伴ってその情報は破棄されるので、停止情報格納手段上の記憶領域を有効に利用でき、利用されない情報に対する無駄な処理の発生も抑制できる。
【発明の効果】
【００５４】
本発明によれば、他の車両に遮られ目標車両を連続的な画像として捕捉できない場合であっても、停止状態又は低速状態の車両を高い信頼性で認識することが可能になる。
【発明を実施するための最良の形態】
【００５５】
本発明の実施形態について、図１〜図７を参照しながら以下に説明する。
【００５６】
例えば、高速道路のように信号機が存在しない道路においては、通常は全ての車両が所定以上の速度で走行を続けることになる。このような環境では、道路上で停止した車両、あるいは速度が異常に低下した車両は故障車であったり事故の発生を意味する。したがって、このような道路を監視するシステムにおいては、停止した車両や異常に低下した車両をすばやくかつ誤動作無く認識できるのが望ましい。
【００５７】
そこで、本実施形態では図１に示すように構成した監視システムに本発明を適用する場合を想定している。図１は、本発明の実施形態の監視システムの主要部の構成例を示すブロック図である。図１に示すように、道路１１上を走行する車両を監視対象の被写体として撮影するために、道路１１側方の所定位置に固定した複数の監視カメラ１２を設けてある。
【００５８】
また、各監視カメラ１２は車両１３の進行方向に向けて配置してあり、各車両１３を後方から撮影するようになっている。また、実際に監視カメラ１２を設置する場所としては、例えばトンネル内などが想定される。車両を後方から撮影することで、車両のヘッドライトによるハレーション、スミア等を防止することができる。
【００５９】
図１に示す監視システムは、画像処理部１４及び事象判定部１５を備えている。画像処理部１４は、各監視カメラ１２の撮影により得られた画像を監視画像として連続的にあるいは定期的に繰り返し入力し、必要な画像処理を行う。具体的には、車両の検出、車両速度の検出、落下物の検出などを行う。すなわち、車両後方から撮影された画像を基に車両を抽出し、車幅、車長、車尾位置を検出する。そして、検出した車両の追跡等を行うと共に、位置の変化に基づいて車速を検出し、低速車両や停止車両の候補を検出する。事象判定部１５は、画像処理部１４の処理結果に基づき、例えば渋滞、あるいは車両故障や事故のような突発事象の検出に関する対象道路上の事象判定を行う。
【００６０】
次に、画像処理部１４及び事象判定部１５における処理の概略を説明する。図２は、本発明の実施形態に係る画像処理部及び事象判定部の処理に関する具体例を示すフローチャートである。
【００６１】
ステップＳ１では、画像処理部１４はまず初期データとして、背景画像データ及び背景微分画像データを作成する。ここで、電源投入後またはリセット後に、例えば０．１秒ごとに監視カメラ１２から取り込んだ撮影画像データの３００回分（３０秒分の画像）をフレーム間で平均し、背景画像とする。また、背景画像データの微分処理を行って背景微分画像を作成する。さらに、夜と昼とで道路上の照明の明るさ等が異なるため、背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに設定する。
【００６２】
次のステップＳ２では、監視カメラ１２から取り込んだ撮影画像データから画像解析に使用する画像データを作成する。具体的には、監視カメラ１２から入力されるＮＴＳＣ信号の映像信号を、垂直方向２４０ライン、水平方向３２０画素、輝度を２５６階調とし、フレームごとにＡＤ変換（アナログ−デジタル変換）して３２０画素×２４０画素の画像データを作成する。このとき、偶数フィールドのみをＡＤ変換することで、１／３０秒ごとに１枚の画像データを作成する。そして、以降の画像解析においては、現在画像、ΔＴ前画像、２ΔＴ前画像（ここではΔＴ＝１００ｍｓとする）の３つの画像データを使用する。
【００６３】
ステップＳ３では、作成した前述の画像データに対して、特徴抽出演算、二値化処理等の画像前処理を行い、車両の特徴を抽出した特徴画像を作成する。特徴抽出演算においては、背景差分方式、微分背景差分方式、フレーム差分方式、微分フレーム差分方式などの特徴抽出方式を用いてそれぞれ特徴抽出を行って差分画像を作成し、特徴画像を作成する。なおここでは、後処理の処理速度を速めるために、例えば特徴抽出等の処理を行って特徴画像を作成した後、この３２０画素×２４０画素の画像データを８０画素×６０画素に圧縮して特徴抽出圧縮画像を作成するようにする。また、画像解析用に作成した画像データから３２０画素×２４０画素のライト抽出用画像を作成する。
【００６４】
次のステップＳ４では、前述の特徴抽出圧縮画像及びライト抽出用画像を用いて画像解析を行い、車両等を抽出する。このとき、特徴抽出圧縮画像を用いて車体解析を行い、車尾、車長、車幅を決定する。また、ライト抽出用画像を用いてライト（尾灯の光像）解析を行い、車両の尾灯を検出して車尾位置を決定する。これらの車体解析による例えば矩形の車体検出（車両候補領域の検出）とライト解析による車尾検出の結果から車両位置を決定する。さらに、特徴抽出圧縮画像を用いて落下物解析を行い、落下物の位置、縦横寸法を決定する。
【００６５】
その後、検出した車両の位置データを走行軌跡データに追加または新規作成し、本処理のサイクルごとに検出された車両の位置データを走行軌跡データに追加していくことで、車両追跡を行う（ステップＳ５）。また、検出した個々の車両の移動速度を算出する。
【００６６】
また、前記車両追跡とは異なる方法で撮影画像における車群の速度を算出する（ステップＳ６）。ここでは、画像全体の輝度値の移動量から車両全体を一つの塊の車群として捉え、この車群の移動速度を算出する。この車群速度は渋滞時の渋滞判定等に用いることができる。
【００６７】
次に、事象判定部１５は、前述の車両追跡、車群速度算出、落下物検出等の結果から、「停止」「低速」「渋滞」「落下物」などの事象が発生したかどうかを判定する（ステップＳ７）。
【００６８】
そして、画像処理部１４は、次の処理のサイクルにおける画像処理のために、背景画像データ及び背景微分画像データを最新の背景画像に更新する（ステップＳ８）。また、新たな背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに更新する。その後、ステップＳ２に戻り、ステップＳ２〜Ｓ８の処理サイクルを所定間隔（ここでは１００ｍｓ）ごとに繰り返す。
【００６９】
次に、本発明の実施形態の特徴的要素である停止低速車両の検出処理について詳しく説明する。図３は、本発明の実施形態に係る画像処理部及び事象判定部において車両認識及び停止低速車両検出を行う機能構成を示すブロック図である。
【００７０】
画像処理部１４は、画像入力部２１、背景画像作成部２２、特徴画像作成部２３、特徴コード作成部２４、画像格納部２５、特徴コード格納部２９及び車両認識部３０を備えている。また、事象判定部１５は、停止保持情報格納部３３及び停止低速事象認識部３４を備えている。
【００７１】
画像入力部２１は、監視カメラ１２の撮影により得られた画像データを入力する。背景画像作成部２２は入力された画像データから背景画像を作成する。特徴画像作成部２３は、入力画像及び背景画像を用いて背景差分、微分背景差分、フレーム差分、微分フレーム差分等の処理を行って特徴画像を作成する。特徴コード作成部２４は、特徴画像を基に車両候補領域を算出するための各画素の特徴を示す特徴コードを作成する。画像格納部２５は画像データを格納し、特徴コード格納部２９は特徴コードを格納する。車両認識部３０は車両認識の処理を行う。
【００７２】
画像格納部２５は、現画像を格納する現画像格納部２６と、背景画像を格納する背景画像格納部２７と特徴画像を格納する特徴画像格納部２８とを備えている。また、車両認識部３０は車頭車尾検出部３１及び車両追跡部３２を備えている。車頭車尾検出部３１は、現画像及び算出した特徴コードに基づいて車両の特徴点である車頭及び車尾の位置を検出する。車両追跡部３２は、車頭車尾検出部３１の検出した車頭及び車尾を用いてこの車両を追跡する。すなわち、追跡対象の車両がどのように移動しているかを把握し、位置の変化から速度なども検出する。
【００７３】
なお、画像格納部２５、特徴コード格納部２９及び停止保持情報格納部３３についてはメモリ等で構成すればよく、背景画像作成部２２、特徴画像作成部２３、特徴コード作成部２４、車両認識部３０及び停止低速事象認識部３４については、各処理を行うプロセッサ等で構成すればよい。
【００７４】
現画像格納部２６は、画像入力部２１より入力された現在画像データを格納する。入力される画像データには、２５６階調の濃淡画像などを用いる。背景画像作成部２２は、過去の現在画像データを用いて背景のみの背景画像を作成し、背景画像格納部２７に格納する。特徴画像作成部２３は、現画像格納部２６に格納された現在画像データと背景画像格納部２７に格納された背景画像データとを用いて、背景差分、微分背景差分、フレーム差分、微分フレーム差分等の処理を行い、撮影画像中の車両を検出するための特徴画像を作成し、特徴画像格納部２８に格納する。
【００７５】
特徴コード作成部２４は、特徴画像を基に車両候補領域を算出するための各画素の特徴を示す特徴コードを作成し、特徴コード格納部２９に格納する。特徴コードは、特徴画像において各画素ごとに０、１、２、・・・、９などのコードを割り当てたものである。例えば、背景と同一で差分処理によってデータ無しとなった部分は０、ノイズ等と思われる捨てデータは１、車両として有効な有効データのうち、車幅より小さい部分は２、車幅より大きい部分は３、車両候補となる部分は６、車体として認識される部分は８、車尾として認識される部分は９などとして、車両の位置を判別可能にしたデータである。
【００７６】
車頭車尾検出部３１は、現画像格納部２６に格納された現在画像データと特徴コード格納部２９に格納された特徴コードとを用いて、車両候補となる例えば矩形状の領域を算出し、車頭及び車尾を認識する。通常は車両が走行しているので、各監視カメラ１２が撮影した画像の変化に伴って車頭車尾検出部３１が認識する車頭及び車尾の位置は時系列で変化することになる。したがって、車両追跡部３２は、時系列で変化する各車両の車頭及び車尾の位置及びその変化を把握すると共に、検出車両の位置をトレースして走行軌跡を算出したり、検出車両の移動速度を算出する。なお、車頭車尾検出部３１は、道路を撮影する方向に応じて、車頭及び車尾のうち、いずれか少なくとも一方を検出する構成でよい。
【００７７】
ところで、停止車両、すなわち速度が異常に低下した車両や完全に停止した車両を特別な事象として認識することは非常に重要である。しかしながら、例えば映像の乱れ、認識の誤り、対象車両の一時的な急減速などを停止車両の発生として誤認識してしまうとシステムの信頼上、大きな問題が生じる。
【００７８】
停止車両や低速車両の検出に関する信頼性を高めるには、同じ検出状態が長く継続しているかどうかを識別するのが有効である。例えば、低速状態が５秒間継続して検出されているような場合には、映像の乱れ、認識の誤り、対象車両の一時的な急減速などの可能性は考えられないので、最終的に低速車両あるいは停止車両として認識しても良い。
【００７９】
ところが、同じ状態が所定時間継続していることを確認してから最終判断を行うように処理すると、実際の使用環境においては検出すべき停止車両をいつまでたっても認識できない可能性がある。
【００８０】
図７は、監視カメラで撮影される被写体の具体例を示す正面図である。図７に示す例では、同じ監視カメラで２つの車線１１１、１１２をそれぞれ走行する車両を含む映像を少し時間をずらして撮影した場合を想定しており、図７（ａ）の状態から数秒後に図７（ｂ）の状態に変化し更に数秒後に図７（ｃ）の状態に変化した場合を表している。
【００８１】
この場合、図７（ａ）の画像中で車線１１２上で停止した車両が矩形の車両候補領域１０１に現れているが、少し時間がたつと図７（ｂ）に示すように車線１１１を大型の車両が走行しているため、車線１１２上に停止した目標車両の像は車両候補領域１０１から遮られてしまう。
【００８２】
したがって、図７（ａ）の画像に基づいて停止車両の候補を検出した場合でも、５秒間が経過する前に図７（ｂ）に示す画像に変化するため、候補車両を見失うことになりこの車両が本当に停止しているのかどうかを最終的に判断できない。図７（ｂ）に示す画像中の妨害車両１０２が通り過ぎれば図７（ｃ）の画像が得られるため再び車両候補領域１０１で停止車両を捕捉することができるが、この道路を頻繁に車両が走行しているような状態では、短い周期で再び図７（ｂ）に示す状態になるため、５秒間が経過する前に再び候補車両を見失うことになる。したがって、いつまでたっても停止車両を認識できないか、あるいは停止車両を認識するまでに長い時間がかかってしまう。
【００８３】
そこで、本実施形態では過去に検出され見失ってしまった停止状態又は低速状態の候補車両に関する情報を停止低速事象認識部３４の制御により停止保持情報格納部３３に一時的に保存しておく。また、停止低速事象認識部３４は停止状態又は低速状態の候補車両が停止車両又は低速車両であるかどうかを最終判断する際に、停止保持情報格納部３３に保存されている情報を利用する。
【００８４】
以下に、停止保持情報格納部３３及び停止低速事象認識部３４における停止低速車両検出処理について詳細に説明する。ここでは、第１の実施形態と第２の実施形態の２つの処理例を示す。
【００８５】
（第１の実施形態）
図４〜図６は、具体的な停止低速事象認識部３４の動作を示す図であり、図４、図５及び図６に示す動作は並列的に処理される。実際には、例えば、図４〜図６の順にそれぞれの処理を定期的に繰り返し実行すればよい。
【００８６】
図４は、第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第１の処理を示すフローチャートである。停止低速事象認識部３４は、車両追跡部３２における追跡が完了したことをステップＳ１１で検出すると次のステップＳ１２に進む。ステップＳ１２では、車両追跡部３２の追跡処理時に、例えば図７に示すような状況の変化によって見失った車両が存在するか否かを識別する。
【００８７】
見失った候補車両が存在する場合には、ステップＳ１２からＳ１３に進み、該当する車両について停止時間が計測されていたか否かを識別する。この停止時間は、該当する車両に関する車速が所定以下であった場合に計測されるものであり、後述する図５のステップＳ２７で計測される。停止時間が計測されていた場合には、ステップＳ１３からＳ１４に進む。
【００８８】
ステップＳ１４では、該当する車両（見失った停止車両候補）の情報を停止保持情報として停止保持情報格納部３３に保存する。この停止保持情報には、複数の車両を区別するための車両識別番号と、該当する車両の車尾位置と、該当する車両の停止時間とを表す情報が含まれている。
【００８９】
すなわち、車両追跡時に消滅し、かつその車両が所定速度以下であった場合に、その車両の情報を停止保持情報格納部３３に格納する。
【００９０】
図５は、第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第２の処理を示すフローチャートである。停止低速事象認識部３４は、車両追跡部３２における追跡が完了したことをステップＳ２１で検出すると次のステップＳ２２に進む。ステップＳ２２では、車両追跡部３２の追跡により見つかった候補車両の車速を予め定めた閾値である車両停止判定速度Ｖｔｈと比較して、候補車両がほぼ停止状態か否かを識別する。（車速＜Ｖｔｈ）の条件を満たす場合には停止車両の候補と見なし、ステップＳ２２からＳ２３に進む。ステップＳ２２は検出した全ての車両に対して実施され、車両が検出されなかった場合は、そのまま終了する。
【００９１】
ステップＳ２３では、前述の停止保持情報が停止保持情報格納部３３上に存在するか否かを調べ、停止保持情報が存在する場合はステップＳ２４に進み、存在しなければステップＳ２７に進む。
【００９２】
ステップＳ２４では、過去に停止車両の候補として検出され停止保持情報として停止保持情報格納部３３に保持されている車両と、最新の追跡によって検出された停止車両の候補とが同じ車両か否かを識別する。この例では、各車両の車尾位置間の距離を予め定めた閾値と比較することにより、両者が同じ車両か否かを識別している。すなわち、距離が比較的近い場合には両者が同じ車両であると見なしステップＳ２４からＳ２５に進み、距離が離れている場合にはステップＳ２４からＳ２７に進む。
【００９３】
ステップＳ２５では、最新の追跡によって検出された停止車両の候補と停止保持情報格納部３３上の停止保持情報とを同じ車両のものとして対応付ける。具体的には、現在検出されている車両の車両識別番号として、登録車両識別番号（停止保持情報に含まれている車両識別番号）を割り当て、現在検出されている車両の停止時間として、それまでの停止時間に登録停止時間（停止保持情報に含まれている停止時間）を加算する。
【００９４】
ステップＳ２６では、ステップＳ２５で使用した停止保持情報を停止保持情報格納部３３から削除し廃棄する。
【００９５】
ステップＳ２７では、現在監視中の停止車両の候補に関する停止時間の計測を開始する。なお、ステップＳ２６からＳ２７に進んだ場合には、停止時間の初期値として以前に計測された時間値が最初から存在することになる。
【００９６】
ステップＳ２８では、ステップＳ２７で計測された停止時間が停止事象として予め定めた条件を満たすか否かを識別する。この例では、ステップＳ２７で計測した停止時間（途中で計測を中断した場合は累積値）を閾値（例えば５秒）と比較し、停止時間が閾値を超える場合に停止事象の発生とみなす。この場合、次のステップＳ２９で「停止事象の発生」を表す特別な情報を停止低速事象認識部３４が外部の装置に出力する。
【００９７】
図６は、第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第３の処理を示すフローチャートである。停止低速事象認識部３４は、ステップＳ３１で停止保持情報格納部３３に停止保持情報が保持されているか否かを識別する。有効な停止保持情報が保持されている場合にはステップＳ３１からＳ３２に進む。ステップＳ３２では、停止保持時間カウンタＣｈの値をカウントアップする。この停止保持時間カウンタＣｈは、停止保持情報格納部３３に同じ停止保持情報が保持されている時間の長さを計測するために利用している。
【００９８】
次のステップＳ３３では、停止保持時間カウンタＣｈの値を予め定めた閾値、すなわち停止保持時間上限値Ｔと比較する。（Ｔ＜Ｃｈ）の条件を満たす場合には、ステップＳ３３からＳ３４に進む。ステップＳ３４では、停止保持情報格納部３３上の停止保持情報を廃棄する。この場合、停止保持時間カウンタＣｈの値はクリアされる。
【００９９】
すなわち、検出すべき停止車両を候補として検出した後で、例えば図７（ｂ）に示すような変化が生じ一時的に候補の車両を見失ったような場合には、長い時間を経過する前に図７（ｃ）に示すような状態に変化し、再び候補の車両が検出される。したがって、前述の図５のステップＳ２５で該当する停止保持情報格納部３３上の停止保持情報が参照され、ステップＳ２６で停止保持情報は破棄される。すなわち、有効な停止保持情報は長時間にわたって停止保持情報格納部３３に保持されることはないので、図６のステップＳ３４を実行することにより、無効な停止保持情報を排除することができる。
【０１００】
このような本発明の第１の実施形態によれば、他の車両（妨害車両）の通過などの影響で目標となる停止低速車両の映像が間欠的にしか撮影されないような場合であっても、高い信頼性で認識することが可能になる。
【０１０１】
（第２の実施形態）
本発明の第２の実施形態について、図８を参照しながら説明する。図８は第２の実施形態に係る停止低速車両検出装置の主要動作のために実行される処理を示すフローチャートである。
【０１０２】
第２の実施形態の動作は、第１の実施形態の変形例である。第１の実施形態と異なる処理について以下に説明する。なお、図８において図５と対応するステップは同一の番号を付す。
【０１０３】
本実施形態では、停止保持情報格納部３３上の停止保持情報に相当する車両と現在追跡中の車両とが対応関係にあるか否かを識別する際に、車両位置間の距離だけでなく、注目領域の画像の類似度も用いられるものである。そのため、本実施形態では、停止低速事象認識部３４は、前述のステップＳ１４（図４参照）において、停止車両の候補として注目している画像中の矩形領域（例えば図７（ａ）の車両候補領域１０１）の画像データに相当する情報も停止保持情報格納部３３に保存する。
【０１０４】
図８のステップＳ２４において、停止保持情報が停止保持情報格納部３３上に存在し、この停止保持情報における車両の位置と、最新の追跡によって検出された停止車両の候補との距離が比較的近い場合には、図８のステップＳ２４からＳ４１に進む。
【０１０５】
ステップＳ４１では、停止保持情報格納部３３に保持されている停止保持情報に含まれる矩形領域の画像情報と、最新の画像において現在注目している車両に相当する矩形領域の画像情報との類似度を算出する。そして、ステップＳ４２では算出された類似度を予め定めた閾値と比較することにより、２つの画像が一致するか否かを識別する。２つの画像が一致する場合にはステップＳ４２からＳ２５に進み、第１の実施形態の場合と同様の処理を実行する。
【０１０６】
なお、ステップＳ４１における類似度の算出処理については、例えば次に示すような様々な方法が考えられる。
【０１０７】
（１）矩形領域の全体について各々の画素毎に明度差を算出し、その矩形領域全体における平均値を類似度として算出する。２つの矩形領域の大きさが異なる場合は、小さい領域を大きい領域内で例えば左上から右下に走査し、算出された明度差の平均値の最小値を類似度とする。
（２）２つの画像情報の間の相関係数を算出し、この相関係数を類似度として利用する。２つの矩形領域の大きさが異なる場合は、（１）と同様に走査して、相関係数の最大値を類似度とする。
（３）各画素情報の微分データについて各々の画素毎に微分値の差を算出し、その矩形領域全体における平均値を類似度として算出する。
（４）各画像情報の微分データについて画像間の相関係数を算出し、この相関係数を類似度として利用する。
【０１０８】
このような本発明の第２の実施形態によれば、停止情報格納部に保存されている車両と最新の画像における目標車両とが同一車両か否かを、距離の違いだけでなく、画像情報の類似性に基づいて判断するので、停止低速車両を高い信頼性で認識することが可能になる。
【産業上の利用可能性】
【０１０９】
本発明は、他の車両に遮られ目標車両を連続的な画像として捕捉できない場合であっても、停止状態又は低速状態の車両を高い信頼性で認識することが可能な効果を有し、停止低速車両検出装置及び方法等に有用である。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施形態の監視システムの主要部の構成例を示すブロック図
【図２】本発明の実施形態に係る画像処理部及び事象判定部の処理に関する具体例を示すフローチャート
【図３】本発明の実施形態に係る画像処理部及び事象判定部において車両認識及び停止低速車両検出を行う機能構成を示すブロック図
【図４】第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第１の処理を示すフローチャート
【図５】第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第２の処理を示すフローチャート
【図６】第１の実施形態に係る停止低速車両検出装置の主要動作のために実行される第３の処理を示すフローチャート
【図７】監視カメラで撮影される被写体の具体例を示す正面図
【図８】第２の実施形態に係る停止低速車両検出装置の主要動作のために実行される処理を示すフローチャート
【符号の説明】
【０１１１】
１１ 道路
１２ 監視カメラ
１３ 車両
１４ 画像処理部
１５ 事象判定部
２１ 画像入力部
２２ 背景画像作成部
２３ 特徴画像作成部
２４ 特徴コード作成部
２５ 画像格納部
２６ 現画像格納部
２７ 背景画像格納部
２８ 特徴画像格納部
２９ 特徴コード格納部
３０ 車両認識部
３１ 車頭車尾検出部
３２ 車両追跡部
３３ 停止保持情報格納部
３４ 停止低速事象認識部
１０１ 車両候補領域
１０２ 妨害車両
１１１、１１２ 車線
【特許請求の範囲】
【請求項１】
道路上の車両を含む被写体を撮影して得られた撮影画像を入力する画像入力手段と、
前記撮影画像中の車両に相当する車両候補領域を検出すると共に、前記車両候補領域の情報に基づいて少なくとも車両の特徴点を認識する車両認識手段と、
前記車両認識手段が検出した車両候補領域の情報又は前記特徴点の情報に基づいて、車両の停止状態又は低速状態を検出する車両停止検出手段と、
前記車両停止検出手段が車両の停止状態又は低速状態を検出した場合に、停止車両候補を表す情報を保存する停止情報格納手段と、
前記車両停止検出手段の検出状態及び前記停止情報格納手段に保持されている情報に基づいて、停止車両又は低速車両を認識し停止低速事象として信号を出力する停止低速事象認識手段と、
を備える停止低速車両検出装置。
【請求項２】
請求項１に記載の停止低速車両検出装置であって、
前記停止情報格納手段は、過去に車両認識手段によって検出された車両に相当する目標車両が車両認識手段で検出されなくなり、かつ前記目標車両が前記車両停止検出手段により停止状態又は低速状態が検出された場合にのみ、停止車両候補として該当する情報を保存する停止低速車両検出装置。
【請求項３】
請求項１又は２に記載の停止低速車両検出装置であって、
前記停止情報格納手段は、前記停止車両候補を表す情報として、少なくとも車両識別番号と、検出された車両の特徴点の位置と、停止状態が検出された時間の長さとを表す情報を保存する停止低速車両検出装置。
【請求項４】
請求項３に記載の停止低速車両検出装置であって、
前記停止情報格納手段に車両情報が保存されている第１の車両が前記車両認識手段により検出されなくなった後に、前記車両停止検出手段が新たな停止車両候補として第２の車両の停止状態又は低速状態を検出した場合、前記車両停止検出手段は、前記停止情報格納手段に保持されている前記第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較し、その距離が所定以下の場合には前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間を、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算した時間とする停止低速車両検出装置。
【請求項５】
請求項３に記載の停止低速車両検出装置であって、
前記停止情報格納手段は、前記停止車両候補を表す情報として、更に前記車両候補領域の画像情報を保存する停止低速車両検出装置。
【請求項６】
請求項５に記載の停止低速車両検出装置であって、
前記停止情報格納手段に車両情報が保存されている第１の車両が前記車両認識手段により検出されなくなった後に、前記車両停止検出手段が新たな停止車両候補として第２の車両の停止状態又は低速状態を検出した場合、前記車両停止検出手段は、前記停止情報格納手段に保持されている前記第１の車両の特徴点の位置と前記第２の車両の特徴点の位置との距離を比較すると共に、前記第１の車両に関する車両候補領域の画像情報と前記第２の車両に関する車両候補領域の画像情報との類似度を算出し、前記距離が所定以下であって、かつ前記類似度が高い場合には前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間を、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算した時間とする停止低速車両検出装置。
【請求項７】
請求項６に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との各々の画素の明度差の平均値に基づいて前記類似度を算出する停止低速車両検出装置。
【請求項８】
請求項６に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との相関係数に基づいて前記類似度を算出する停止低速車両検出装置。
【請求項９】
請求項６に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの各々の画素の微分値の差の平均値に基づいて前記類似度を算出する停止低速車両検出装置。
【請求項１０】
請求項６に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの相関係数に基づいて前記類似度を算出する停止低速車両検出装置。
【請求項１１】
請求項１ないし１０のいずれか一項に記載の停止低速車両検出装置であって、
前記停止情報格納手段に保持されている第１の車両の情報と一致又は類似する車両情報を有する第２の車両が所定時間検出されない場合には、前記停止情報格納手段は、前記第１の車両の情報を破棄する停止低速車両検出装置。
【請求項１２】
道路上の車両を含む被写体を撮影して得られた撮影画像を入力する画像入力ステップと、
前記撮影画像中の車両に相当する車両候補領域を検出すると共に、前記車両候補領域の情報に基づいて少なくとも車両の特徴点を認識する車両認識ステップと、
前記車両認識ステップにおいて検出した車両候補領域の情報又は前記特徴点の情報に基づいて、車両の停止状態又は低速状態を検出する車両停止検出ステップと、
前記車両停止検出ステップにおいて車両の停止状態又は低速状態を検出した場合に、停止車両候補を表す情報を保存する停止情報格納ステップと、
前記車両停止検出ステップにおける検出状態及び保存されている停止車両候補の情報に基づいて、停止車両又は低速車両を認識し停止低速事象として信号を出力する停止低速事象認識ステップと、
を有する停止低速車両検出方法。
【請求項１３】
請求項１２に記載の停止低速車両検出方法であって、
前記停止情報格納ステップでは、過去に車両認識手順によって検出された車両に相当する目標車両が車両認識手順で検出されなくなり、かつ前記目標車両が前記車両停止検出ステップにおいて停止状態又は低速状態が検出された場合にのみ、停止車両候補として該当する情報を保存する停止低速車両検出方法。
【請求項１４】
請求項１２又は１３に記載の停止低速車両検出方法であって、
前記停止情報格納ステップでは、前記停止車両候補を表す情報として、少なくとも車両識別番号と、検出された車両の特徴点の位置と、停止状態が検出された時間の長さとを表す情報を保存する停止低速車両検出方法。
【請求項１５】
請求項１４に記載の停止低速車両検出方法であって、
前記停止情報格納ステップにおいて車両情報が保存された第１の車両が車両検出されなくなった後に、新たな停止車両候補として第２の車両の停止状態又は低速状態が検出された場合、前記保存されている第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較するステップと、
前記比較した距離が所定以下の場合には前記第１の車両と第２の車両とを同一と見なし、その車両の停止時間として、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算するステップと、
を更に有する停止低速車両検出方法。
【請求項１６】
請求項１４に記載の停止低速車両検出方法であって、
前記停止情報格納ステップでは、前記停止車両候補を表す情報として、更に前記車両候補領域の画像情報を保存する停止低速車両検出方法。
【請求項１７】
請求項１６に記載の停止低速車両検出方法であって、
前記停止情報格納ステップにおいて車両情報が保存された第１の車両が車両検出されなくなった後に、新たな停止車両候補として第２の車両の停止状態又は低速状態が検出された場合、前記保存されている第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較するステップと、
前記第１の車両に関する車両候補領域の画像情報と前記第２の車両に関する車両候補領域の画像情報との類似度を算出する類似度算出ステップと、
前記比較した距離が所定以下であって、かつ前記類似度が高い場合、前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間として、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算するステップと、
を更に有する停止低速車両検出方法。
【請求項１８】
請求項１７に記載の停止低速車両検出方法であって、
前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との各々の画素の明度差の平均値に基づいて前記類似度を算出する停止低速車両検出方法。
【請求項１９】
請求項１７に記載の停止低速車両検出方法であって、
前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との相関係数に基づいて前記類似度を算出する停止低速車両検出方法。
【請求項２０】
請求項１７に記載の停止低速車両検出方法であって、
前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの各々の画素の微分値の差の平均値に基づいて前記類似度を算出する停止低速車両検出方法。
【請求項２１】
請求項１７に記載の停止低速車両検出方法であって、
前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの相関係数に基づいて前記類似度を算出する停止低速車両検出方法。
【請求項２２】
請求項１１ないし２１のいずれか一項に記載の停止低速車両検出方法であって、
前記停止情報格納手順において保存された第１の車両の情報と一致又は類似する車両情報を有する第２の車両が所定時間検出されない場合には、保存されている前記第１の車両の情報を破棄するステップを更に有する停止低速車両検出方法。
【請求項１】
道路上の車両を含む被写体を撮影して得られた撮影画像を入力する画像入力手段と、
前記撮影画像中の車両に相当する車両候補領域を検出すると共に、前記車両候補領域の情報に基づいて少なくとも車両の特徴点を認識する車両認識手段と、
前記車両認識手段が検出した車両候補領域の情報又は前記特徴点の情報に基づいて、車両の停止状態又は低速状態を検出する車両停止検出手段と、
前記車両停止検出手段が車両の停止状態又は低速状態を検出した場合に、停止車両候補を表す情報を保存する停止情報格納手段と、
前記車両停止検出手段の検出状態及び前記停止情報格納手段に保持されている情報に基づいて、停止車両又は低速車両を認識し停止低速事象として信号を出力する停止低速事象認識手段と、
を備える停止低速車両検出装置。
【請求項２】
請求項１に記載の停止低速車両検出装置であって、
前記停止情報格納手段は、過去に車両認識手段によって検出された車両に相当する目標車両が車両認識手段で検出されなくなり、かつ前記目標車両が前記車両停止検出手段により停止状態又は低速状態が検出された場合にのみ、停止車両候補として該当する情報を保存する停止低速車両検出装置。
【請求項３】
請求項１又は２に記載の停止低速車両検出装置であって、
前記停止情報格納手段は、前記停止車両候補を表す情報として、少なくとも車両識別番号と、検出された車両の特徴点の位置と、停止状態が検出された時間の長さとを表す情報を保存する停止低速車両検出装置。
【請求項４】
請求項３に記載の停止低速車両検出装置であって、
前記停止情報格納手段に車両情報が保存されている第１の車両が前記車両認識手段により検出されなくなった後に、前記車両停止検出手段が新たな停止車両候補として第２の車両の停止状態又は低速状態を検出した場合、前記車両停止検出手段は、前記停止情報格納手段に保持されている前記第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較し、その距離が所定以下の場合には前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間を、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算した時間とする停止低速車両検出装置。
【請求項５】
請求項３に記載の停止低速車両検出装置であって、
前記停止情報格納手段は、前記停止車両候補を表す情報として、更に前記車両候補領域の画像情報を保存する停止低速車両検出装置。
【請求項６】
請求項５に記載の停止低速車両検出装置であって、
前記停止情報格納手段に車両情報が保存されている第１の車両が前記車両認識手段により検出されなくなった後に、前記車両停止検出手段が新たな停止車両候補として第２の車両の停止状態又は低速状態を検出した場合、前記車両停止検出手段は、前記停止情報格納手段に保持されている前記第１の車両の特徴点の位置と前記第２の車両の特徴点の位置との距離を比較すると共に、前記第１の車両に関する車両候補領域の画像情報と前記第２の車両に関する車両候補領域の画像情報との類似度を算出し、前記距離が所定以下であって、かつ前記類似度が高い場合には前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間を、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算した時間とする停止低速車両検出装置。
【請求項７】
請求項６に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との各々の画素の明度差の平均値に基づいて前記類似度を算出する停止低速車両検出装置。
【請求項８】
請求項６に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との相関係数に基づいて前記類似度を算出する停止低速車両検出装置。
【請求項９】
請求項６に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの各々の画素の微分値の差の平均値に基づいて前記類似度を算出する停止低速車両検出装置。
【請求項１０】
請求項６に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの相関係数に基づいて前記類似度を算出する停止低速車両検出装置。
【請求項１１】
請求項１ないし１０のいずれか一項に記載の停止低速車両検出装置であって、
前記停止情報格納手段に保持されている第１の車両の情報と一致又は類似する車両情報を有する第２の車両が所定時間検出されない場合には、前記停止情報格納手段は、前記第１の車両の情報を破棄する停止低速車両検出装置。
【請求項１２】
道路上の車両を含む被写体を撮影して得られた撮影画像を入力する画像入力ステップと、
前記撮影画像中の車両に相当する車両候補領域を検出すると共に、前記車両候補領域の情報に基づいて少なくとも車両の特徴点を認識する車両認識ステップと、
前記車両認識ステップにおいて検出した車両候補領域の情報又は前記特徴点の情報に基づいて、車両の停止状態又は低速状態を検出する車両停止検出ステップと、
前記車両停止検出ステップにおいて車両の停止状態又は低速状態を検出した場合に、停止車両候補を表す情報を保存する停止情報格納ステップと、
前記車両停止検出ステップにおける検出状態及び保存されている停止車両候補の情報に基づいて、停止車両又は低速車両を認識し停止低速事象として信号を出力する停止低速事象認識ステップと、
を有する停止低速車両検出方法。
【請求項１３】
請求項１２に記載の停止低速車両検出方法であって、
前記停止情報格納ステップでは、過去に車両認識手順によって検出された車両に相当する目標車両が車両認識手順で検出されなくなり、かつ前記目標車両が前記車両停止検出ステップにおいて停止状態又は低速状態が検出された場合にのみ、停止車両候補として該当する情報を保存する停止低速車両検出方法。
【請求項１４】
請求項１２又は１３に記載の停止低速車両検出方法であって、
前記停止情報格納ステップでは、前記停止車両候補を表す情報として、少なくとも車両識別番号と、検出された車両の特徴点の位置と、停止状態が検出された時間の長さとを表す情報を保存する停止低速車両検出方法。
【請求項１５】
請求項１４に記載の停止低速車両検出方法であって、
前記停止情報格納ステップにおいて車両情報が保存された第１の車両が車両検出されなくなった後に、新たな停止車両候補として第２の車両の停止状態又は低速状態が検出された場合、前記保存されている第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較するステップと、
前記比較した距離が所定以下の場合には前記第１の車両と第２の車両とを同一と見なし、その車両の停止時間として、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算するステップと、
を更に有する停止低速車両検出方法。
【請求項１６】
請求項１４に記載の停止低速車両検出方法であって、
前記停止情報格納ステップでは、前記停止車両候補を表す情報として、更に前記車両候補領域の画像情報を保存する停止低速車両検出方法。
【請求項１７】
請求項１６に記載の停止低速車両検出方法であって、
前記停止情報格納ステップにおいて車両情報が保存された第１の車両が車両検出されなくなった後に、新たな停止車両候補として第２の車両の停止状態又は低速状態が検出された場合、前記保存されている第１の車両の特徴点の位置と、前記第２の車両の特徴点の位置との距離を比較するステップと、
前記第１の車両に関する車両候補領域の画像情報と前記第２の車両に関する車両候補領域の画像情報との類似度を算出する類似度算出ステップと、
前記比較した距離が所定以下であって、かつ前記類似度が高い場合、前記第１の車両と前記第２の車両とを同一と見なし、その車両の停止時間として、前記第１の車両に関する停止時間と前記第２の車両に関する停止時間とを加算するステップと、
を更に有する停止低速車両検出方法。
【請求項１８】
請求項１７に記載の停止低速車両検出方法であって、
前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との各々の画素の明度差の平均値に基づいて前記類似度を算出する停止低速車両検出方法。
【請求項１９】
請求項１７に記載の停止低速車両検出方法であって、
前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報と第２の車両に関する車両候補領域の画像情報との相関係数に基づいて前記類似度を算出する停止低速車両検出方法。
【請求項２０】
請求項１７に記載の停止低速車両検出方法であって、
前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの各々の画素の微分値の差の平均値に基づいて前記類似度を算出する停止低速車両検出方法。
【請求項２１】
請求項１７に記載の停止低速車両検出方法であって、
前記類似度算出ステップでは、前記第１の車両に関する車両候補領域の画像情報の微分データと第２の車両に関する車両候補領域の画像情報の微分データとの相関係数に基づいて前記類似度を算出する停止低速車両検出方法。
【請求項２２】
請求項１１ないし２１のいずれか一項に記載の停止低速車両検出方法であって、
前記停止情報格納手順において保存された第１の車両の情報と一致又は類似する車両情報を有する第２の車両が所定時間検出されない場合には、保存されている前記第１の車両の情報を破棄するステップを更に有する停止低速車両検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−２６８６７８（Ｐ２００６−２６８６７８Ａ）
【公開日】平成１８年１０月５日（２００６．１０．５）
【国際特許分類】
【出願番号】特願２００５−８８７３６（Ｐ２００５−８８７３６）
【出願日】平成１７年３月２５日（２００５．３．２５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年１０月５日（２００６．１０．５）
【国際特許分類】
【出願日】平成１７年３月２５日（２００５．３．２５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]