交通状況判定システム、画像処理装置、コンピュータプログラム及び交通状況判定方法
【課題】 交通渋滞、交通異常、交通違反、交通事故など詳細な交通状況を判定することができる交通状況判定システム、該交通状況判定システムを構成する画像処理装置、該画像処理装置を実現するコンピュータプログラム、及び交通状況判定方法を提供する。
【解決手段】 ＣＰＵは、判定時間Ｔ１、算出時間Ｔ２の計時を開始し、フレーム画像処理を行い、算出時間Ｔ２の経過の有無を判定する。算出時間Ｔ２が経過していない場合、フレーム画像処理を続ける。算出時間Ｔ２が経過した場合、ＣＰＵは、交通渋滞判定の処理、交通異常判定の処理を行う。ＣＰＵは、交通異常の有無を判定し、交通異常が有る場合、判定時間Ｔ１の経過の有無を判定する。判定時間Ｔ１が経過していない場合、算出時間Ｔ２をリセットし、フレーム画像処理、交通渋滞判定処理、交通異常判定処理を繰り返す。判定時間Ｔ１が経過した場合、交通異常を管制センタ装置（３）へ通知する。
【解決手段】 ＣＰＵは、判定時間Ｔ１、算出時間Ｔ２の計時を開始し、フレーム画像処理を行い、算出時間Ｔ２の経過の有無を判定する。算出時間Ｔ２が経過していない場合、フレーム画像処理を続ける。算出時間Ｔ２が経過した場合、ＣＰＵは、交通渋滞判定の処理、交通異常判定の処理を行う。ＣＰＵは、交通異常の有無を判定し、交通異常が有る場合、判定時間Ｔ１の経過の有無を判定する。判定時間Ｔ１が経過していない場合、算出時間Ｔ２をリセットし、フレーム画像処理、交通渋滞判定処理、交通異常判定処理を繰り返す。判定時間Ｔ１が経過した場合、交通異常を管制センタ装置（３）へ通知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路を含む領域を撮像装置で撮像して得られた撮像画像に基づいて、広範囲な交通状況を判定する交通状況判定システム、該交通状況判定システムを構成する画像処理装置、該画像処理装置を実現するコンピュータプログラム、及び交通状況判定方法に関する。
【背景技術】
【０００２】
道路交通環境の改善を目的とした道路交通システムは、渋滞緩和のために車両の流入制限するもの、交通関連情報の提供や交通流を最適化するものなど、様々な分野で利用されつつあり、ビデオカメラで撮像した撮像画像を処理して、車両の通過台数、走行速度などの情報を収集するものがある。
【０００３】
道路上の走行車両を検出する方法には、車両が存在しない道路のみの画像を予め作成しておき、車両が走行しているときの画像と道路のみの画像との差分を算出し、算出した情報に基づいて車両のみの情報を抽出するものがある。しかし、この方法は、日照変化、天候変化などの外部環境変化の影響により、道路上の影、路面標記などを走行車両と誤って検出する場合があった。
【０００４】
これに対して、微小時間間隔の複数画像間での撮像画像の差分又は相関情報などを算出することにより移動体の動きベクトルを算出して車両を検出する方法は、外部環境変化の影響を受けにくく、動きベクトルの算出により、車両の速度、移動方向などの情報を取得することが可能である。
【０００５】
例えば、ビデオカメラの光軸を路面に向けて道路の上方に配置し、ビデオカメラで撮像した画像上の各車両の動きを動きベクトルとして認識することにより、車間距離が小さい場合であっても、車両の速度、方向、台数などの交通情報を測定することができる交通情報測定装置が提案されている（特許文献１参照）。
【特許文献１】特開平１０−３３４３９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の装置にあっては、車両の速度、方向、台数などの交通情報（交通パラメータ）を同時に測定することができるが、交通渋滞、交通違反、交通事故、又は異常走行などの交通状況を判定することはできない。円滑な交通又は事故の未然防止を効果的に実現するためには、車両の速度、方向、台数などの交通情報だけでなく、さらに詳細な交通情報を測定して、交通状況を正確に、かつ広範囲に判定することが求められていた。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、撮像時点の異なる撮像画像で特定した対応する画素ブロックの位置変化により、画素ブロックの動きベクトルを算出し、算出した動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックの動きベクトルを算出し、算出した連結ブロックの動きベクトル又は該動きベクトルに基づいて算出した動きベクトルの分布密度により交通状況を判定することにより、外部環境変化に影響されずに交通状況を判定することができる交通状況判定システム、該交通状況判定システムを構成する画像処理装置、該画像処理装置を実現するコンピュータプログラム、及び交通状況判定方法を提供することを目的とする。
【０００８】
また、本発明の他の目的は、所定時間に複数回算出した動きベクトルの分布密度及び動きベクトルに基づいて、それらの平均値、最頻値、又は中央値の少なくとも一つを含む統計値を算出することにより、さらに正確に交通状況を判定することができる画像処理装置を提供することにある。
【０００９】
また、本発明の他の目的は、動きベクトルの分布密度又は連結ブロックの動きベクトルの大きさに基づいて、交通渋滞状況を判定することにより、交通渋滞の度合いを正確に判定することができる画像処理装置を提供することにある。
【００１０】
また、本発明の他の目的は、連結ブロックの動きベクトルの方向と交通流の方向を定める標準方向との角度差が略１８０度である場合、交通異常と判定することにより、車両の走行方向の異常を容易に判定することができる画像処理装置を提供することにある。
【００１１】
また、本発明の他の目的は、計時された判定時間が所定の時間以上となるまで、連結ブロックの動きベクトルの方向と交通流の方向を定める標準方向との角度差が第１閾値以上である場合、交通異常と判定することにより、駐車車両、事故車両、又は障害物などを避けるための回避走行が継続していることを容易に判定することができる画像処理装置を提供することにある。
【００１２】
また、本発明の他の目的は、同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、計時された判定時間が所定の時間以上となるまで、一の判定領域の連結ブロックの動きベクトルの大きさが第２閾値より小さく、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定することにより、隣接する車線の一方で交通異常が発生していることを判定することができる画像処理装置を提供することにある。
【００１３】
また、本発明の他の目的は、計時された判定時間が所定の時間以上となるまで、前記一の判定領域の動きベクトルの分布密度が第３閾値より大きい場合に、交通異常と判定することにより、さらに精度良く交通異常を判定することができる画像処理装置を提供することにある。
【００１４】
また、本発明の他の目的は、同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、計時された判定時間が所定の時間以上となるまで、一の判定領域で連結ブロックが特定されず、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定することにより、さらに精度良く交通異常を判定することができる画像処理装置を提供することにある。
【００１５】
また、本発明の他の目的は、交通規制に対応する規制領域を撮像画像に設けてあり、前記規制領域に進入した連結ブロックの動きベクトルの方向と、交通流の規制方向とが略一致する場合に、交通違反と判定することにより、進入禁止領域への進入、右折禁止での右折走行などの交通違反を判定することができる画像処理装置を提供することにある。
【００１６】
また、本発明の他の目的は、連結ブロック同士が重複する重複領域の画素ブロック数が第４閾値以上になる第１撮像時点と、該第１撮像時点より前の第２撮像時点との間で、前記重複領域の画素が有する輝度値の差が前記第５閾値以上である場合に、交通事故と判定することにより、衝突事故の発生を容易に判定することができる画像処理装置を提供することにある。
【００１７】
また、本発明の他の目的は、前記第２撮像時点に前記連結ブロックが存在した領域夫々の画素が有する輝度値の前記第１撮像時点及び第２撮像時点での差が第６閾値以上である場合に、交通事故と判定することにより、さらに精度良く衝突事故の発生を判定することができる画像処理装置を提供することにある。
【００１８】
また、本発明の他の目的は、画像処理装置で算出した動きベクトルを判定装置へ送信し、該判定装置は、受信した動きベクトルに基づいて、動きベクトルの分布密度又は連結ブロックの動きベクトルを算出して交通状況を判定することにより、遠隔地の交通状況を容易に判定することができる交通状況判定システムを提供することにある。
【００１９】
また、本発明の他の目的は、道路を含む異なる領域を撮像する撮像装置、及び該撮像装置で撮像した撮像画像を処理する画像処理装置夫々を道路に沿って３つ以上備え、一の撮像装置で撮像した撮像画像、及び前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像に基づいて、広範囲の交通渋滞状況を判定することができる交通状況判定システムを提供することにある。
【００２０】
また、本発明の他の目的は、一の時点、及び該一の時点と異なる複数の他の時点における交通渋滞状況を判定することにより、誤判定を低減して、精度良く交通渋滞状況を判定することができる交通状況判定システムを提供することにある。
【００２１】
また、本発明の他の目的は、複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況に基づいて、交通渋滞変化点を判定することができる交通状況判定システムを提供することにある。
【課題を解決するための手段】
【００２２】
第１発明に係る画像処理装置は、取得した撮像画像を処理して交通状況を判定する画像処理装置において、撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、算出された動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段とを備えることを特徴とする。
【００２３】
第２発明に係る画像処理装置は、第１発明において、前記密度算出手段及びベクトル算出手段は、前記分布密度及び連結ブロックの動きベクトルを所定時間に複数回算出するようにしてあり、算出した複数の分布密度及び連結ブロックの動きベクトルに基づいて、それらの平均値、最頻値、又は中央値の少なくとも一つを含む統計値を算出するようにしてあることを特徴とする。
【００２４】
第３発明に係る画像処理装置は、第２発明において、前記判定手段は、前記分布密度又は連結ブロックの動きベクトルの大きさに基づいて、交通渋滞状況を判定するようにしてあることを特徴とする。
【００２５】
第４発明に係る画像処理装置は、第１発明において、交通流の方向を定める標準方向を記憶する記憶手段と、前記連結ブロックの動きベクトルの方向と前記標準方向との角度差を算出する角度差算出手段とを備え、前記判定手段は、算出された角度差が略１８０度である場合、交通異常と判定するようにしてあることを特徴とする。
【００２６】
第５発明に係る画像処理装置は、第１発明乃至第４発明のいずれかにおいて、交通流の方向を定める標準方向を記憶する記憶手段と、前記連結ブロックの動きベクトルの方向と前記標準方向との角度差を算出する角度差算出手段と、判定時間を計時する手段とを備え、前記判定手段は、前記判定時間が所定の時間以上となるまで、算出された角度差が第１閾値以上である場合、交通異常と判定するようにしてあることを特徴とする。
【００２７】
第６発明に係る画像処理装置は、第１発明乃至第４発明のいずれかにおいて、同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、前記連結ブロックの動きベクトルの大きさと第２閾値とを比較する手段と、判定時間を計時する手段とを備え、前記判定手段は、前記判定時間が所定の時間以上となるまで、一の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より小さく、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする。
【００２８】
第７発明に係る画像処理装置は、第６発明において、前記分布密度と第３閾値とを比較する手段を備え、前記判定手段は、前記判定時間が所定の時間以上となるまで、前記一の判定領域の分布密度が前記第３閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする。
【００２９】
第８発明に係る画像処理装置は、第１発明乃至第４発明のいずれかにおいて、同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、前記連結ブロックの動きベクトルの大きさと第２閾値とを比較する手段と、判定時間を計時する手段とを備え、前記判定手段は、前記判定時間が所定の時間以上となるまで、一の判定領域で連結ブロックが特定されず、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする。
【００３０】
第９発明に係る画像処理装置は、第１発明乃至第８発明のいずれかにおいて、交通規制に対応する規制領域を撮像画像に設けてあり、前記規制領域での交通流の規制方向を記憶するようにしてあり、連結ブロックの前記規制領域への進入を検出する手段と、前記連結ブロックの動きベクトルの方向と前記規制方向とを比較する手段とを備え、前記判定手段は、前記規制領域に進入した連結ブロックの動きベクトルの方向と前記規制方向とが略一致する場合に、交通違反と判定するようにしてあることを特徴とする。
【００３１】
第１０発明に係る画像処理装置は、第１発明乃至第９発明のいずれかにおいて、連結ブロックの動きベクトルに基づいて、前記連結ブロック同士の重複領域を特定する手段と、 前記重複領域の画素ブロック数と第４閾値とを比較する手段とを備え、前記判定手段は、前記重複領域の画素ブロック数が前記第４閾値以上になる第１撮像時点と、該第１撮像時点より前の第２撮像時点との間で、前記重複領域の画素が有する輝度値の差が前記第５閾値以上である場合に、交通事故と判定するようにしてあることを特徴とする。
【００３２】
第１１発明に係る画像処理装置は、第１０発明において、前記判定手段は、前記第２撮像時点に前記連結ブロックが存在した領域夫々の画素が有する輝度値の前記第１撮像時点及び第２撮像時点での差が第６閾値以上である場合に、交通事故と判定するようにしてあることを特徴とする。
【００３３】
第１２発明に係る交通状況判定システムは、道路を含む領域を撮像装置で撮像し、撮像して得られた撮像画像を画像処理装置で処理して交通状況を判定する交通状況判定システムにおいて、前記画像処理装置は、撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、算出された動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段とを備えることを特徴とする。
【００３４】
第１３発明に係る交通状況判定システムは、道路を含む領域を撮像する撮像装置と、撮像して得られた撮像画像を処理する画像処理装置と、交通状況を判定する判定装置とを備える交通状況判定システムにおいて、前記画像処理装置は、撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、算出した動きベクトルを前記判定装置へ送信する手段とを備え、前記判定装置は、前記画像処理装置が送信した動きベクトルを受信する手段と、受信した動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、前記分布密度又は前記連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段とを備えることを特徴とする。
【００３５】
第１４発明に係る交通状況判定システムは、第１３発明において、道路を含む異なる領域を撮像する撮像装置、及び該撮像装置で撮像した撮像画像を処理する画像処理装置夫々を道路に沿って３つ以上備え、前記判定装置は、前記分布密度又は前記連結ブロックの動きベクトルに基づいて、交通渋滞状況を判定するようにしてあり、一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、第２の交通渋滞状況であると判定するようにしてあることを特徴とする。
【００３６】
第１５発明に係る交通状況判定システムは、第１４発明において、前記判定装置は、一の時点で、前記一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、前記一の時点と異なる複数の他の時点で、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が、前記第２の交通渋滞状況であるときは、第２の交通渋滞状況であると判定するようにしてあることを特徴とする。
【００３７】
第１６発明に係る交通状況判定システムは、第１４発明又は第１５発明において、前記判定装置は、複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況が同一である場合に、前記撮像装置のうち交通流の下流端の撮像装置の位置に基づいて、交通渋滞変化点を判定するようにしてあることを特徴とする。
【００３８】
第１７発明に係るコンピュータプログラムは、コンピュータに、取得した撮像画像を処理して交通状況を判定させるためのコンピュータプログラムにおいて、コンピュータを、動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段として機能させることを特徴とする。
【００３９】
第１８発明に係る交通状況判定方法は、道路を含む領域を撮像装置で撮像し、撮像して得られた撮像画像を処理して交通状況を判定する交通状況判定方法において、動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定し、前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出し、前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出し、前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定することを特徴とする。
【００４０】
第１発明、第１２発明、第１７発明及び第１８発明にあっては、画像処理装置は、撮像画像を所望の画素ブロック（例えば、８×８画素のブロック）に分割し、一の撮像時点の撮像画像の各画素ブロックに対応する画素ブロックを前記一の撮像時点と異なる撮像時点の撮像画像で特定する。異なる撮像時点間において、対応する画素ブロックが特定された場合、画像処理装置は、特定された画素ブロックの撮像画像での位置変化に基づき、対応する画素ブロックの中心同士を結ぶベクトルである画素ブロックの動きベクトルを算出する。これにより、異なる撮像時点間で画素ブロックの位置変化がない道路上の影、路面標記などを排除することができる。画像処理装置は、算出された各画素ブロックの動きベクトルの方向が略一致する画素ブロックであって、隣接した画素ブロックを連結した連結ブロックを特定する。これにより、道路を走行する車両を特定する。
【００４１】
ベクトル算出手段は、連結ブロックを構成する各画素ブロックの動きベクトルに基づいて（例えば、各画素ブロックの動きベクトルの平均値）、連結ブロックの動きベクトルを算出する。密度算出手段は、連結ブロックの画素ブロック数に基づいて（例えば、撮像画像における画素ブロック数に対する連結ブロック（複数の連結ブロックがある場合には、すべての連結ブロック）を構成する画素ブロック数の比）、動きベクトルの分布密度を算出する。判定手段は、撮像装置で繰り返し撮像した場合、得られた撮像画像に基づいて、動きベクトルの分布密度又は連結ブロックの動きベクトルを算出することにより、車両の時間的分布及び空間的分布に基づいた交通状況を判定する。
【００４２】
第２発明にあっては、密度算出手段及びベクトル算出手段は、所定時間に亘って動きベクトルの分布密度及び連結ブロックの動きベクトルを複数回算出し、算出した複数の動きベクトルの分布密度及び連結ブロックの動きベクトルに基づいて、それらの平均値、最頻値、又は中央値の少なくとも一つを含む統計値を算出する。これにより、動きベクトルの分布密度及び連結ブロックの動きベクトルの変動が突発的に生じた場合に、その影響を排除するとともに、信頼性の高い値を算出する。
【００４３】
第３発明にあっては、判定手段は、前記統計値により算出された動きベクトルの分布密度又は連結ブロックの動きベクトルの大きさに基づいて、交通渋滞状況を判定する。例えば、動きベクトルの分布密度の大小、連結ブロックの動きベクトルの大きさの大小（又は撮像画像における動きベクトルの大きさから車両の速度に換算し、換算した速度の大小）の組合せに応じて、閑散、普通流、渋滞、大渋滞などの交通渋滞の度合いを判定する。
【００４４】
第４発明にあっては、画像処理装置は、撮像画像上の道路又は車線の位置、方向などに基づいて、予め車両が走行する交通流の方向を定める標準方向を記憶しておく。角度算出手段は、連結ブロックの動きベクトルの方向と標準方向との角度差を算出し、判定手段は、算出された角度差が略１８０度である場合、交通異常と判定する。すなわち、前記判定手段は、車両が反対方向に逆走する交通異常と判定する。
【００４５】
第５発明にあっては、画像処理装置は、撮像画像上の道路又は車線の位置、方向などに基づいて、予め車両が走行する交通流の方向を定める標準方向を記憶しておく。角度差算出手段は、算出された動きベクトルの方向と標準方向との角度差を算出する。判定手段は、計時された判定時間が所定の時間以上となるまで、角度差が第１閾値以上である場合、交通異常と判定する。これにより、交通事故又は道路上の障害物を避ける回避走行などの交通異常が継続して発生していると判定する。
【００４６】
第６発明にあっては、予め同一進行方向の複数の車線に対応した判定領域夫々を撮像画像に設けておく。判定手段は、計時された判定時間が所定の時間以上となるまで、一の判定領域（撮像画像での一の車線に対応する領域）の連結ブロックの動きベクトルの大きさが第２閾値より小さく、他の判定領域（撮像画像での他の車線に対応する領域）の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定する。
【００４７】
例えば、一の判定領域に対応する車線での動きベクトルの大きさ（又は車両の速度）が前記第２閾値より小さく、渋滞の度合いが混雑又は大混雑であると判定される場合に、他の判定領域に対応する車線での動きベクトルの大きさ（又は車両の速度）が前記第２閾値より大きく、渋滞の度合いが閑散又は普通流であると判定されるときは、両方の車線で渋滞の度合いの差が大きく、一の判定領域に対応する車線で交通事故、駐車違反などの交通障害による交通異常であると判定する。また、一の判定領域に対応する車線での動きベクトルの大きさ、及び他の判定領域に対応する車線での動きベクトルの大きさ夫々が、前記第２閾値より大きい場合、又は小さい場合には、両方の車線で渋滞の度合いの差が小さく交通異常はないと判定する。
【００４８】
第７発明にあっては、前記判定手段は、計時された判定時間が所定の時間以上となるまで、前記一の判定領域の動きベクトルの分布密度が第３閾値より大きい場合に、交通異常と判定する。例えば、一の判定領域に対応する車線での渋滞度合いが、大混雑であると判定される場合に、一の判定領域に対応する車線で交通事故、駐車違反などの交通障害による交通異常であると判定する。これにより、交通事故、駐車違反などの交通障害による交通異常をさらに精度良く判定する。
【００４９】
第８発明にあっては、予め同一進行方向の複数の車線に対応した判定領域夫々を撮像画像に設けておく。判定手段は、計時された判定時間が所定の時間以上となるまで、一の判定領域（撮像画像での一の車線に対応する領域）で連結ブロックが特定されず、他の判定領域（撮像画像での他の車線に対応する領域）の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定する。例えば、一の判定領域に対応する車線で車両が存在せず、他の判定領域に対応する車線での動きベクトルの大きさ（又は車両の速度）が前記第２閾値より大きく、渋滞の度合いが閑散又は普通流であると判定されるときは、一の判定領域に対応する車線で車両が走行できないような交通障害による交通異常であると判定する。これにより、交通事故、駐車違反などの交通障害による交通異常をさらに精度良く判定する。
【００５０】
第９発明にあっては、画像処理装置は、道路における交通規制（例えば、停止線前方の進入禁止、交差点の右折禁止など）に対応する規制領域を撮像画像に設けてあり、前記規制領域での交通流の規制方向を（例えば、走行禁止方向を示す）を記憶してある。画像処理装置は、連結ブロックの前記規制領域への進入を検出した場合、前記連結ブロックの動きベクトルと前記規制領域の規制方向とを比較する。判定手段は、前記規制領域に進入した連結ブロックの動きベクトルの方向と前記規制方向とが略一致する場合に、交通違反と判定する。
【００５１】
例えば、前記判定手段は、連結ブロックの動きベクトルの方向と前記規制方向とが略一致する場合は、前記判定手段は、車両が禁止されている方向に走行したとして、進入禁止領域への進入、右折禁止での右折走行などの交通違反と判定する。
【００５２】
第１０発明にあっては、画像処理装置は、連結ブロック同士が重複する重複領域を特定した場合、該重複領域の画素ブロック数と第４閾値とを比較する。すなわち、重複領域の画素ブロック数が前記第４閾値以上である場合は、連結ブロックに対応する車両同士の衝突の可能性が高く、重複領域の画素ブロック数が前記第４閾値以下である場合は、連結ブロックに対応する車両同士の衝突の可能性が低い。判定手段は、前記重複領域の画素ブロック数が前記第４閾値以上になる第１撮像時点（すなわち、衝突推定時点）と、該第１撮像時点より前の第２撮像時点（すなわち、衝突前の時点）との間で、前記重複領域の画素が有する輝度値の差が第５閾値以上である場合に、交通事故と判定する。
【００５３】
すなわち、前記判定手段は、第２撮像時点（衝突前の時点）と第１撮像時点（衝突推定時点）との間で、前記重複領域が有する輝度値の差が前記第５閾値以上である場合は、第２撮像時点から第１撮像時点までの間に、前記重複領域に車両が移動しているため、衝突したものとして交通事故の発生と判定する。一方、前記判定手段は、第２撮像時点（衝突前の時点）と第１撮像時点（衝突推定時点）との間で、前記重複領域が有する輝度値の差が第５閾値以下である場合は、第２撮像時点から第１撮像時点までの間に、前記重複領域に車両が移動していないため、衝突は回避され、交通事故はないと判定する。
【００５４】
第１１発明にあっては、前記判定手段は、前記第２撮像時点（衝突前の時点）に前記連結ブロックが存在した領域夫々の画素が有する輝度値の前記第１撮像時点（衝突推定時点）及び第２撮像時点での差が第６閾値以上である場合に、交通事故と判定する。すなわち、前記判定手段は、前記第１撮像時点及び第２撮像時点において、第２撮像時点に連結ブロックが存在した領域夫々の画素が有する輝度値の差が前記第６閾値以上である場合は、第２撮像時点から第１撮像時点までの間に、連結ブロックに対応する車両は停止せずに移動しているため、衝突したものとして交通事故の発生と判定する。一方、前記判定手段は、前記第１撮像時点及び第２撮像時点において、第２撮像時点に連結ブロックが存在した領域夫々の画素が有する輝度値の差が前記第６閾値以下である場合は、第２撮像時点から第１撮像時点までの間に、連結ブロックに対応する車両は停止しているため、衝突は回避され、交通事故はないと判定する。
【００５５】
第１３発明にあっては、画像処理装置は、撮像画像を所望の画素ブロック（例えば、８×８画素のブロック）に分割し、一の撮像時点の撮像画像の各画素ブロックに対応する画素ブロックを前記一の撮像時点と異なる撮像時点の撮像画像で特定する。異なる撮像時点間において、対応する画素ブロックが特定された場合、特定された画素ブロックの撮像画像での位置変化に基づき、対応する画素ブロックの中心同士を結ぶベクトルである画素ブロックの動きベクトルを算出する。これにより、異なる撮像時点間で画素ブロックの位置変化がない道路上の影、路面標記などを排除することができる。画像処理装置は、算出した動きベクトルを判定装置へ送信する。
【００５６】
前記判定装置は、前記動きベクトルを受信し、受信した動きベクトルの方向が略一致する画素ブロックであって、隣接した画素ブロックを連結した連結ブロックを特定する。これにより、道路を走行する車両を特定する。ベクトル算出手段は、連結ブロックを構成する各画素ブロックの動きベクトルに基づいて（例えば、各画素ブロックの動きベクトルの平均値）、連結ブロックの動きベクトルを算出する。密度算出手段は、撮像画像における画素ブロック数に対する連結ブロック（複数の連結ブロックがある場合には、すべての連結ブロック）を構成する画素ブロック数の比を動きベクトルの分布密度として算出する。前記判定装置は、算出した動きベクトルの分布密度又は連結ブロックの動きベクトルに基づいて交通状況を判定する。
【００５７】
第１４発明にあっては、道路を含む異なる領域を撮像する３つ以上の撮像装置で撮像した撮像画像を画像処理装置で処理し、前記判定装置は、前記画像処理装置夫々が送信した動きベクトルに基づいて、動きベクトルの分布密度又は連結ブロックの動きベクトルを算出し、各撮像装置における交通渋滞状況を判定する。道路に沿って位置した３つ以上の撮像装置のうち、一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、第２の交通渋滞状況であると判定する。
【００５８】
例えば、一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が普通流であり、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した交通渋滞状況が混雑である場合に、前記判定装置は、渋滞度合いの粗密波が存在すると判定し、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況も、混雑であると判定することにより、道路の広範囲に対して同一の交通渋滞状況を判定する。
【００５９】
第１５発明にあっては、前記判定装置は、一の時点で、前記一の撮像装置で撮像した撮像画像により第１の交通渋滞状況を判定し、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により第２の交通渋滞状況を判定する。前記第１の交通渋滞状況及び第２の交通渋滞状況が異なる場合に、前記判定装置は、前記一の時点と異なる複数の他の時点で、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が、前記第２の交通渋滞状況であるときは、前記一の時点で判定した第１の交通渋滞状況は誤判定であるとして、第２の交通渋滞状況であると判定する。
【００６０】
例えば、一の時点で、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が混雑であり、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した交通渋滞状況が混雑ではなく閑散である場合に、前記一の時点と異なる複数の他の時点で、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が閑散であるときは、前記一の時点で混雑と判定した判定結果は誤りであるとして、閑散であると判定する。
【００６１】
第１６発明にあっては、前記判定装置は、複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況が同一である場合に、前記撮像装置のうち交通流の下流端の撮像装置の位置に基づいて、交通渋滞変化点を判定する。例えば、複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況が混雑である場合、前記撮像装置のうち交通流の下流端の撮像装置（すなわち、混雑であると判定された領域を撮像する連続した複数の撮像装置のうちで、交通流の最も下流の撮像装置）の位置を交通渋滞の変化点（例えば、混雑のボトルネック）として判定する。
【発明の効果】
【００６２】
第１発明、第１２発明、第１７発明及び第１８発明にあっては、撮像時点の異なる撮像画像で特定した対応する画素ブロックの位置変化により、隣接の画素ブロックを連結した連結ブロックの動きベクトルを算出し、算出した動きベクトル又は該動きベクトルに基づいて算出した動きベクトルの分布密度により交通状況を判定することにより、外部環境変化に影響されずに車両の時間的分布及び空間的分布に基づいた交通状況を判定することができる。
【００６３】
第２発明にあっては、所定時間に複数回算出した動きベクトルの分布密度及び動きベクトルに基づいて、それらの平均値、最頻値、又は中央値の少なくとも一つを含む統計値を算出することにより、さらに正確に交通状況を判定することができる。
【００６４】
第３発明にあっては、動きベクトルの分布密度又は連結ブロックの動きベクトルの大きさに基づいて、交通渋滞状況を判定することにより、閑散、普通流、渋滞、大渋滞などの交通渋滞の度合いを正確に判定することができる。
【００６５】
第４発明にあっては、連結ブロックの動きベクトルの方向と交通流の方向を定める標準方向との角度差が略１８０度である場合、交通異常と判定することにより、車両が反対方向に逆走する異常を容易に判定することができる。
【００６６】
第５発明にあっては、計時された判定時間が所定の時間以上となるまで、連結ブロックの動きベクトルの方向と交通流の方向を定める標準方向との角度差が第１閾値以上である場合、交通異常と判定することにより、駐車車両、事故車両、又は障害物などを避けるための回避走行が継続していることを容易に判定することができる。
【００６７】
第６発明にあっては、同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、計時された判定時間が所定の時間以上となるまで、一の判定領域の連結ブロックの動きベクトルの大きさが第２閾値より小さく、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定することにより、両方の車線で渋滞の度合いに応じて、同一走行車線の一つで交通障害が発生していることを判定することができる。
【００６８】
第７発明にあっては、計時された判定時間が所定の時間以上となるまで、前記一の判定領域の動きベクトルの分布密度が第３閾値より大きい場合に、交通異常と判定することにより、さらに精度良く交通異常を判定することができる。
【００６９】
第８発明にあっては、計時された判定時間が所定の時間以上となるまで、一の判定領域で連結ブロックが特定されず、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定することにより、さらに精度良く交通異常を判定することができる。
【００７０】
第９発明にあっては、交通規制に対応する規制領域を撮像画像に設けてあり、前記規制領域に進入した連結ブロックの動きベクトルの方向と、交通流の規制方向とが略一致する場合に、交通違反と判定することにより、進入禁止領域への進入、右折禁止での右折走行などの交通違反を判定することができる。
【００７１】
第１０発明にあっては、連結ブロック同士が重複する重複領域の画素ブロック数が第４閾値以上になる第１撮像時点と、該第１撮像時点より前の第２撮像時点との間で、前記重複領域の画素が有する輝度値の差が前記第５閾値以上である場合に、交通事故と判定することにより、衝突事故の発生を容易に判定することができる。
【００７２】
第１１発明にあっては、前記第１撮像時点及び第２撮像時点の間で、該第２撮像時点に連結ブロックが存在した領域夫々の画素が有する輝度値の差が第６閾値以上である場合は、交通事故と判定することにより、さらに精度良く衝突事故の発生を判定することができる。
【００７３】
第１３発明にあっては、画像処理装置で算出した動きベクトルを判定装置へ送信し、該判定装置は、受信した動きベクトルに基づいて、動きベクトルの分布密度及び連結ブロックの動きベクトルを算出し、算出した動きベクトルの分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定することにより、遠隔地の交通状況を容易に判定することができるとともに、画像処理装置の負荷を減らし、簡略化することにより、システム全体のコストを低減することができる。
【００７４】
第１４発明にあっては、道路に沿って位置した３つ以上の撮像装置のうち、一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、第２の交通渋滞状況であると判定することにより、渋滞度合いの粗密波を判定して、遠隔地の複数地点の交通渋滞状況を広範囲に判定することができる。
【００７５】
第１５発明にあっては、一の時点で、前記一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況と、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況とが異なる場合に、前記一の時点と異なる複数の他の時点において、前記一の撮像装置で撮像した撮像画像により交通渋滞状況を判定することにより、誤判定を低減することができる。
【００７６】
第１６発明にあっては、前記判定装置は、複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況が同一である場合に、前記撮像装置のうち交通流の下流端の撮像装置の位置に基づいて、交通渋滞変化点を判定することにより、交通渋滞（例えば、混雑）のボトルネック地点を検出することができる。
【発明を実施するための最良の形態】
【００７７】
実施の形態１
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明の実施の形態に係る交通状況判定システムの概要を示す模式図である。図において、１は道路を含む領域を撮像するビデオカメラである。ビデオカメラ１は、例えば、交差点付近の路上１０ｍ程度の位置に、光軸を道路方向に沿って配置してあり、片側４車線の道路５の数十ｍの撮像範囲６の交通状況を撮像する。
【００７８】
ビデオカメラ１には、画像処理装置２を接続してあり、画像処理装置２は、ビデオカメラ１で撮像して得られた撮像画像を処理して交通状況の判定を行う。画像処理装置２は、インターネットなどの通信回線４に接続され、通信回線４には、管制センタ装置３を接続してある。画像処理装置２で判定された交通状況は、通信回線４を介して管制センタ装置３へ送信され、管制センタ装置３は、画像処理装置２から送信された交通状況を受信し、受信した交通状況を表示、集計し、管制センタの操作員が所要の交通管制を行う。画像処理装置２は、判定した交通状況に応じて、信号機（不図示）の信号表示を制御し、また、交通表示板（不図示）などに所要の交通情報を表示させて、円滑な交通又は事故の未然防止を行う。
【００７９】
図２は画像処理装置２及び管制センタ装置３の構成を示すブロック図である。図において、１はビデオカメラである。ビデオカメラ１は撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部２１へ出力する。画像入力部２１は、取得した映像信号をＡ／Ｄ変換部２２へ出力し、Ａ／Ｄ変換部２２は、入力された映像信号をデジタル信号に変換し、ＣＰＵ２８の制御のもと、変換されたデジタル信号を画像データとして画像メモリ２３へ記憶する。ＣＰＵ２８は、画像入力部２１を介してビデオカメラ１から入力された撮像画像を画像データとして、ビデオカメラ１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、６４０×４８０画素）で画像メモリ２３に記憶する。
【００８０】
補助記憶部２６は、本発明のコンピュータプログラムＰＧを記録したＣＤ−ＲＯＭ２９が挿入されることにより、ＣＤ−ＲＯＭ２９に記録されたコンピュータプログラムＰＧをＲＡＭ２４に記憶する。ＣＰＵ２８は、ＲＡＭ２４に記憶されたコンピュータプログラムＰＧを実行する。画像処理装置２は、ＣＤ−ＲＯＭ２９に記録したコンピュータプログラムＰＧがＲＡＭ２４に読み込まれ、読み込まれたコンピュータプログラムＰＧをＣＰＵ２８で実行することにより、後述するフレーム画像処理、交通渋滞判定処理、交通異常判定処理などの交通状況を判定するための処理を実現する。
【００８１】
画像メモリ２３は、画像入力部２１を介して取得された撮像画像を画像データとして、フレーム毎に記憶するとともに、ＣＰＵ２８の処理に伴って、算出された算出結果を各フレームに対応して記憶する。
【００８２】
記憶部２７は、コンピュータプログラムＰＧをＣＰＵ２８で実行することにより、得られた交通状況の判定結果を記憶している。また、記憶部２７は、交通渋滞の度合いを判定するための交通渋滞判定テーブル２７１、車両の走行方向を判定するための標準方向を記憶している。標準方向は、道路を走行する車両の交通流の方向を定めるものであり、道路の形態、ビデオカメラ１の設置場所などに応じて、撮像画像上での交通流の方向は異なるため、ビデオカメラ１の設置場所などに応じて、所要の方向を定めた標準方向を記憶しておくことができる。なお、標準方向は、撮像画像におけるｘ座標に対するｙ座標の関係を示す数値テーブルで記憶しておくことができる。
【００８３】
通信部２５は、画像処理装置２で判定された交通状況の判定結果を、通信回線４を介して管制センタ装置３へ送信する。また、通信部２５は、判定結果に基づいた制御信号をＣＰＵ２８の制御のもと、信号機、交通表示板（いずれも不図示）などに送信して、信号機の表示制御、交通情報の表示制御などを行うこともできる。
【００８４】
管制センタ装置３の通信部３１は、画像処理装置２から送信された交通状況の判定結果を受信し、受信した判定結果をＣＰＵ３６の制御のもと、液晶ディスプレイを備えた表示部３３に表示させるとともに、記憶部３４に記憶する。
【００８５】
ＣＰＵ３６は、ＲＡＭ３２に記憶されたコンピュータプログラムを実行することにより、交通状況の判定結果の表示、集計などの処理を行う。
【００８６】
操作部３５は、キーボード、マウスなどを備え、管制センタ装置３に対する入力操作を行うことができ、管制センタの操作員の操作を受付けることにより、管制センタ装置３は、交通状況の判定結果の表示処理、集計処理などを行う。
【００８７】
次に、本発明に係る交通状況判定システムの処理手順について説明する。図３は交通状況判定の処理手順を示すフローチャートである。ＣＰＵ２８は、内蔵するタイマをセットすることにより、判定時間Ｔ１の計時を開始し（Ｓ１）、算出時間Ｔ２（Ｔ２＜Ｔ１）の計時を開始する（Ｓ２）。
【００８８】
ＣＰＵ２８は、フレーム画像処理を行い（Ｓ３）、算出時間Ｔ２が経過したか否かを判定する（Ｓ４）。算出時間Ｔ２が経過していない場合（Ｓ４でＮＯ）、ＣＰＵ２８は、ステップＳ３のフレーム画像処理を繰り返し続ける。
【００８９】
一方、算出時間Ｔ２が経過した場合（Ｓ４でＹＥＳ）、ＣＰＵ２８は、交通渋滞判定の処理を行い（Ｓ５）、交通異常判定の処理を行う（Ｓ６）。ＣＰＵ２８は、交通異常の有無を判定し（Ｓ７）、交通異常が有ると判定した場合（Ｓ７でＹＥＳ）、判定時間Ｔ１が経過したか否かを判定する（Ｓ８）。
【００９０】
判定時間Ｔ１が経過していない場合（Ｓ８でＮＯ）、ＣＰＵ２８は、算出時間Ｔ２をゼロにすることにより算出時間Ｔ２をリセットし（Ｓ９）、ステップＳ２以降の処理を続け、フレーム画像処理、交通渋滞判定処理、交通異常判定処理を繰り返す。
【００９１】
判定時間Ｔ１が経過した場合（Ｓ８でＹＥＳ）、ＣＰＵ２８は、通信部２５を介して交通異常を管制センタ装置３へ通知する（Ｓ１０）。ＣＰＵ２８は、管制センタ装置３からの終了指令の有無を判定し（Ｓ１１）、終了指令が無い場合（Ｓ１１でＮＯ）、判定時間Ｔ１、算出時間Ｔ２をゼロにすることにより、判定時間Ｔ１、算出時間Ｔ２をリセットし（Ｓ１２）、ステップＳ１以降の処理を続ける。
【００９２】
一方、交通異常が無いと判定した場合（Ｓ７でＮＯ）、ＣＰＵ２８はステップＳ１１以降の処理を続ける。ＣＰＵ２８は、終了指令が有る場合（Ｓ１１でＹＥＳ）、処理を終了する。
【００９３】
これにより、画像処理装置２は、算出時間Ｔ２の間フレーム画像処理を繰り返し行い、算出時間Ｔ２が経過した時点で、交通渋滞判定処理、交通異常判定処理を行う。すなわち、算出時間Ｔ２の間繰り返し算出された結果に基づいて、算出時間Ｔ２の経過の都度交通渋滞判定処理、交通異常判定処理を行う。算出時間Ｔ２の経過時点で交通異常が有ると判定された場合は、算出時間Ｔ２よりも長い判定時間Ｔ１の間、交通異常が継続して発生しているかを判定し、判定時間Ｔ１の間継続して交通異常が有る場合に、交通異常の通知を行う。
【００９４】
図４はフレーム画像処理の処理手順を示すフローチャートである。ＣＰＵ２８は、撮像時点の異なる２つの撮像画像（例えば、撮像時点ｔkのフレームｆk、撮像時点ｔk+1 のフレームｆk+1）を画像メモリ２３から取得する（Ｓ３０１）。
【００９５】
ＣＰＵ２８は、取得した一方の撮像画像の画素ブロック（例えば、８×８画素）毎に、画素ブロック内画素が有する輝度値（又は階調値など）に基づいて、他方の撮像画像を走査し一致する画素ブロックを特定する（Ｓ３０２）。２つの撮像画像間で一致する画素ブロックを特定する場合、画素ブロック内画素の輝度平均値、標準偏差値、差分輝度値の絶対値などの一致度を示すパラメータを用いることができる。
【００９６】
ＣＰＵ２８は、２つの撮像画像で一致する画素ブロックの撮像画像における座標（位置）変化に基づいて、各画素ブロックの動きベクトルを算出する（Ｓ３０３）。この場合、画素ブロックの座標は、画素ブロックの中心の座標である。なお、画素ブロックの左上角の座標を用いてもよい。撮像時点ｔkの撮像画像における画素ブロックＰjの座標が（ｘk、ｙk）、撮像時点ｔk+1の撮像画像における画素ブロックＰjの座標が（ｘk+1、ｙk+1）である場合、動きベクトルＰＶjは、（ｘk+1-ｘk、ｙk+1-ｙk）となる。なお、座標変化が無い場合は、動きベクトルはゼロになり、かかる画素ブロックは、ステップＳ３０３以降の処理において除外される。また、算出した動きベクトルの大きさが、予め定めた閾値より小さい場合には、その画素ブロックの動きベクトルはゼロであるとして、除外してもよい。
【００９７】
ＣＰＵ２８は、算出された動きベクトルの方向が略一致する画素ブロックであって、隣接する画素ブロックを連結した連結ブロックを特定する（Ｓ３０４）。これにより、連結ブロックは走行車両に対応する。なお、連結ブロックを特定する場合に、連結ブロックを構成する画素ブロックの数が、予め定めた閾値（例えば、３）より小さい場合は、ノイズとして除去することもできる。
【００９８】
ＣＰＵ２８は、特定された連結ブロックが有るか否かを判定し（Ｓ３０５）、連結ブロックが有る場合（Ｓ３０５でＹＥＳ）、連結ブロックを構成する各画素ブロックの動きベクトルの平均値を連結ブロックの動きベクトルとして算出する（Ｓ３０６）。ＣＰＵ２８は、記憶部２７から標準方向を読み出し、連結ブロックの動きベクトルの方向と標準方向との角度差を算出する（Ｓ３０７）。
【００９９】
ＣＰＵ２８は、算出された角度差が略１８０°に等しいか否かを判定し（Ｓ３０８）、角度差が略１８０°に等しい場合（Ｓ３０８でＹＥＳ）、逆走行が有ることを管制センタ装置３へ通知する（Ｓ３０９）。角度差が略１８０°に等しくない場合（Ｓ３０８でＮＯ）、ＣＰＵ２８は、１フレーム分の撮像画像が有する画素ブロック数に対する前記撮像画像で特定された連結ブロックを構成する画素ブロック数の比を動きベクトルの分布密度として算出する（Ｓ３１０）。
【０１００】
ＣＰＵ２８は、連結ブロックの動きベクトルの大きさを、予め定められた変換式により連結ブロックに対応する車両の速度に変換して、車両の速度を算出し（Ｓ３１１）、算出した動きベクトルの分布密度、速度、連結ブロック数を記録し（Ｓ３１２）、フレーム画像処理を終了する。一方、連結ブロックが無い場合（Ｓ３０５でＮＯ）、ＣＰＵ２８は、連結ブロック無しの記録をし（Ｓ３１３）、フレーム画像処理を終了する。なお、連結ブロックの動きベクトルの大きさと、連結ブロックに対応する車両の速度は、一義的に決定されるので、等価なものとすることができる。
【０１０１】
図５は画素ブロックの動きベクトルを示す説明図である。図に示すように、撮像時点ｔkの撮像画像における画素ブロックＰjの座標が（ｘk、ｙk）、撮像時点ｔk+1の撮像画像における画素ブロックＰjの座標が（ｘk+1、ｙk+1）である場合、動きベクトルＰＶjは、（ｘk+1-ｘk、ｙk+1-ｙk）となる。
【０１０２】
図６は連結ブロックの例を示す説明図である。図に示すように、撮像画像を所定の画素ブロックで分割し、各画素ブロックの動きベクトルを算出し、算出した動きベクトルの方向が略一致する画素ブロックであって、隣接する画素ブロックのみを連結することにより、連結ブロックを特定する。動きベクトルの方向が略一致する画素ブロックであっても、離隔している画素ブロックはノイズとして除去する。また、連結された画素ブロックの数が所定の閾値（例えば、３）以下の場合も、ノイズとして除去することにより、連結ブロックにより走行車両を精度良く特定することができる。
【０１０３】
図７は撮像画像の例を示す説明図である。上述の通り、ビデオカメラ１は、片側４車線の道路を含む領域を撮像するように配置してある。撮像画像において、車線ごとに交通状況を判定するための判定領域３０ａ、３０ｂ、３０ｃ、３０ｄを設定してある。すなわち、判定領域３０ａ、３０ｂ、３０ｃ、３０ｄ夫々は、片側４車線の各車線を示す。道路を走行する車両は、動きベクトルにより特定される。上述のフレーム画像処理は、判定領域毎に処理される。
【０１０４】
図８はフレーム画像処理で算出される算出情報を示す説明図である。図８（ａ）に示すように、１フレームの撮像画像は、例えば、８×８画素から構成される画素ブロックＰ1、Ｐ2、…Ｐnに分割される。図８（ｂ）に示すように、画素ブロック毎に算出された動きベクトルＰＶ1、ＰＶ2、…ＰＶnが記録される。動きが検出されなかった画素ブロックの動きベクトルはゼロである。図８（ｃ）に示すように、１フレームの撮像画像毎に、連結ブロック数、特定された連結ブロック毎に、連結ブロックの動きベクトルＣＢ1…、連結ブロックに対応する車両の速度Ｃｖ１、…、動きベクトルの分布密度Ｄなどの算出情報が算出され、記録される。
【０１０５】
連結ブロックの動きベクトルから、連結ブロックに対応する車両の速度への変換は、例えば、数１で表される式に基づいて行うことができる。
【０１０６】
【数１】
【０１０７】
ここで、実空間での座標系を（Ｘ、Ｙ、Ｚ）、撮像画像上での座標系を（ｘ、ｙ）とする。実空間では、垂直方向をＺ、道路の延びる方向をＹ、道路を横断する方向をＸにとる。撮像画像面上でのｘ軸方向を実空間でのＸ方向に平行とし、撮像画像面上でのｙ軸方向を実空間でのＹ方向とし、ビデオカメラ俯角（ビデオカメラの光軸とＹ軸方向とがなす角度）をαとなるように設置する。また、ビデオカメラレンズの焦点距離をＦ、ビデオカメラの設置高さをＨ、撮像画像面のｙ軸方向の大きさ（寸法）をＱｙ、撮像面のｙ軸方向の画素数をＮｙとする。走行車両の路面からの検出点などの経験値から、例えば、車両の平均高さ５０ｃｍを数１式に代入してＹを算出し、Ｙ座標の移動距離及び移動時間により車両の速度を算出することができる。なお、動きベクトルの大きさから速度の算出は、変換テーブルのようなものを用いてもよく、また、変換式に基づいて演算処理して求めてもよい。
【０１０８】
図９は交通渋滞判定の処理手順を示すフローチャートである。ＣＰＵ２８は、算出時間Ｔ２の間に亘って複数回算出された速度、動きベクトルの分布密度から速度の平均値を算出し（Ｓ５０１）、動きベクトルの分布密度の平均値を算出する（Ｓ５０２）。ＣＰＵ２８は、記憶部２７から交通渋滞判定テーブル２７１を読み出し、速度が１０ｋｍ以下であるか否かを判定する（Ｓ５０３）。
【０１０９】
速度が１０ｋｍ以下である場合（Ｓ５０３でＹＥＳ）、ＣＰＵ２８は、動きベクトルの分布密度が７５％以下であるか否かを判定する（Ｓ５０４）。分布密度が７５％以下である場合（Ｓ５０４でＹＥＳ）、ＣＰＵ２８は混雑であると判定し（Ｓ５０５）、判定結果を管制センタ装置３へ通知し（Ｓ５１０）、処理を終了する。分布密度が７５％以上である場合（Ｓ５０４でＮＯ）、ＣＰＵ２８は、大混雑であると判定し（Ｓ５０６）、判定結果を管制センタ装置３へ通知し（Ｓ５１０）、処理を終了する。
【０１１０】
一方、速度が１０ｋｍ以上である場合（Ｓ５０３でＮＯ）、ＣＰＵ２８は、動きベクトルの分布密度が５０％以下であるか否かを判定する（Ｓ５０７）。分布密度が５０％以下である場合（Ｓ５０７でＹＥＳ）、ＣＰＵ２８は閑散であると判定し（Ｓ５０８）、判定結果を管制センタ装置３へ通知し（Ｓ５１０）、処理をする。分布密度が５０％以上である場合（Ｓ５０７でＮＯ）、ＣＰＵ２８は普通流であると判定し（Ｓ５０９）、判定結果を管制センタ装置３へ通知し（Ｓ５１０）、処理を終了する。なお、交通渋滞判定処理は、上述の判定領域毎（例えば、判定領域３０ａ、３０ｂ）に行われる。
【０１１１】
これにより、算出時間Ｔ２の間に亘って、複数回算出された動きベクトル、動きベクトルの分布密度夫々の平均値に基づいて、交通渋滞の度合いを判定することができる。
【０１１２】
図１０は交通渋滞判定テーブルのレコードレイアウトである。図に示すように、速度及び動きベクトルの分布密度の組み合わせに応じて、交通渋滞の渋滞度合いを、閑散、普通流、混雑、大混雑に区分して判定できるようにしてある。なお、速度に代えて、動きベクトルの大きさを組み合わせてもよい。
【０１１３】
図１１は交通異常判定の処理手順を示すフローチャートである。図において、一の領域（交通異常の有無を判定する領域）と、他の領域（前記一の領域以外の他の領域、例えば、片側４車の道路であれば、他の３つの車線のいずれか）は、車両の進行方向が同一である。ＣＰＵ２８は、他の領域の渋滞度合いが普通流又は閑散（第２閾値）であるか否かを判定する（Ｓ６０１）。普通流又は閑散である場合（Ｓ６０１でＹＥＳ）、ＣＰＵ２８は、一の領域の渋滞度合いが大混雑（第３閾値）であるか否かを判定する（Ｓ６０２）。
【０１１４】
一の領域が大混雑である場合（Ｓ６０２でＹＥＳ）、ＣＰＵ２８は、同方向車線で渋滞度合いが大きく異なるため、交通異常有りと記録し（Ｓ６０３）、処理を終了する。一の領域が大混雑でない場合（Ｓ６０２でＮＯ）、ＣＰＵ２８は、一の領域に連結ブロックが無いか否かを判定する（Ｓ６０４）。
【０１１５】
一の領域に連結ブロックが無い場合（Ｓ６０４でＹＥＳ）、ＣＰＵ２８は、同方向車線で渋滞度合いが大きく異なるため、交通異常有りと記録し（Ｓ６０３）、処理を終了する。一の領域に連結ブロックが有る場合（Ｓ６０４でＮＯ）、ＣＰＵ２８は、動きベクトルの方向と記憶部２７から読み出した標準ベクトルの方向との角度差を算出する（Ｓ６０５）。
【０１１６】
ＣＰＵ２８は、算出した角度差が閾値角度（第１閾値）より大きいか否かを判定し（Ｓ６０６）、角度差が閾値角度より大きい場合（Ｓ６０６でＹＥＳ）、車両の走行方向が異常であるとして、交通異常有りと記録し（Ｓ６０３）、処理を終了する。角度差が閾値角度より小さい場合（Ｓ６０６でＮＯ）、ＣＰＵ２８は、交通異常無しであると記録し（Ｓ６０７）、処理を終了する。
【０１１７】
これにより、算出時間Ｔ２の間に亘って、複数回算出された動きベクトル、動きベクトルの分布密度夫々の平均値に基づいて、同一走行車線の間で交通渋滞の度合いの差を判定して交通異常（例えば、交通事故、駐車違反車両、障害物などによる交通異常）を記録し、交通異常の状態が判定時間Ｔ１の間継続している場合は、交通異常と判定することができる。また、動きベクトルの平均値に基づいて、車両の通常の走行方向を示す標準方向との角度差を判定して交通異常を記録し、交通異常の状態が判定時間Ｔ１の間継続している場合は、交通異常と判定することができる。
【０１１８】
図１２は交通異常判定の例を示すタイムチャートである。図に示すように、画像処理装置２は、隣接する車線に対応する判定領域３０ａ、３０ｂにおいて、算出時間Ｔ２経過の都度、交通渋滞の度合いを判定する。判定領域３０ａでは閑散であると判定され、判定領域３０ｂでは普通流であると判定されている。次の判定サイクルで、判定領域３０ａでは閑散であると判定され、判定領域３０ｂは大混雑であると判定された場合、両判定領域での渋滞度合いの差が大きいため、交通異常が記録され、判定時間Ｔ１の計時が開始される。これ以降、画像処理装置２は、判定領域３０ａでは閑散であると判定し、判定領域３０ｂでは大混雑であると判定し続けた場合、判定時間Ｔ１が経過した時点で交通異常と判定する。
【０１１９】
なお、上述の例では、判定領域３０ａ、及び判定領域３０ｂに対応する２車線について、交通異常の判定を行っているが、交通異常の判定は、２車線の比較に限定されるものではない。例えば、片側４車線のうちの１車線（例えば、判定領域３０ｂ）の交通異常を判定する場合、判定領域３０ｂと判定領域３０ａ及び判定領域３０ｃとの比較、判定領域３０ｂと判定領域３０ａ、判定領域３０ｃ及び判定領域３０ｄとの比較、又は判定領域３０ｂと判定領域３０ｃ及び判定領域３０ｄとの比較などを行ってもよい。これにより、２車線に限らず、３車線以上でも交通異常を判定することが可能になる。
【０１２０】
実施の形態２
実施の形態１では、交差点の流入路又は流出路の数十ｍの範囲を撮像する構成であったが、交差点内の交通状況を判定することもできる。図１３は実施の形態２に係る交通状況判定システムの概要を示す模式図である。図に示すように、ビデオカメラ１の設置場所が実施の形態１と相違する。ビデオカメラ１は、例えば、交差点角の路上１０ｍ程度の位置に、光軸を一の道路方向に沿って配置してあり、交差点７内を含む交差点付近の各道路を含む撮像範囲６の交通状況を撮像する。なお、画像処理装置２、管制センタ装置３は、実施の形態１と同様であるので、説明は省略する。
【０１２１】
次に、実施の形態２に係る交通状況判定システムの処理手順について説明する。図１４は交通状況判定の処理手順を示すフローチャートである。ＣＰＵ２８は、動きベクトルを算出するためのフレーム画像処理を行い（Ｓ２０）、交通違反の有無を判定するための交通違反判定の処理を行い（Ｓ２１）、交通事故の有無を判定するための交通事故判定の処理を行う（Ｓ２２）。ＣＰＵ２８は、例えば、管制センタ装置３からの終了指令が有るか否かを判定し（Ｓ２３）、終了指令がない場合（Ｓ２３でＮＯ）、ステップＳ２０以降の処理を続け、終了指令が有る場合（Ｓ２３でＹＥＳ）、処理を終了する。
【０１２２】
図１５はフレーム画像処理の処理手順を示すフローチャートである。なお、実施の形態１のフレーム画像処理と同様の部分は、説明を簡略化する。ＣＰＵ２８は、撮像時点の異なる２つの撮像画像（例えば、撮像時点ｔkのフレームｆk、撮像時点ｔk+1のフレームｆk+1を画像メモリ２３から取得する（Ｓ２０１）。
【０１２３】
ＣＰＵ２８は、取得した２つの撮像画像間で一致する画素ブロックを特定し（Ｓ２０２）、一致する画素ブロックの撮像画像における座標（位置）変化に基づいて、各画素ブロックの動きベクトルを算出する（Ｓ２０３）。ＣＰＵ２８は、算出された動きベクトルの方向が略一致する画素ブロックであって、隣接する画素ブロックを連結した連結ブロックを特定する（Ｓ２０４）。
【０１２４】
ＣＰＵ２８は、連結ブロックが有るか否かを判定し（Ｓ２０５）、連結ブロックが有る場合（Ｓ２０５でＹＥＳ）、連結ブロックを構成する各画素ブロックの動きベクトルの平均値を連結ブロックの動きベクトルとして算出する（Ｓ２０６）。連結ブロックがない場合（Ｓ２０５でＮＯ）、ＣＰＵ２８は、ステップＳ２０１以降の処理を続ける。ＣＰＵ２８は、連結ブロックの座標（例えば、連結ブロックの４隅近傍の撮像画像での座標）を記録し（Ｓ２０７）、処理を終了する。
【０１２５】
図１６は交通違反判定の処理手順を示すフローチャートである。ＣＰＵ２８は、道路上の交通規制に対応する規制領域が予め設定された撮像画像において、記録された連結ブロックの座標に基づいて、連結ブロックが規制領域内に有るか否かを判定する（Ｓ２１１）。
【０１２６】
連結ブロックが規制領域内に有る場合（Ｓ２１１でＹＥＳ）、ＣＰＵ２８は、規制領域に関連する規制情報（例えば、規制領域での走行禁止方向のように交通流の規制方向、又は、該規制方向と、制限速度に対応する大きさとに基づいて定められる規制ベクトルなどを含む）を記憶部２７から読み出し（Ｓ２１２）、連結ブロックの動きベクトルの方向と規制方向とを比較する（Ｓ２１３）。
【０１２７】
ＣＰＵ２８は、連結ブロックの動きベクトルの方向と規制方向とが略一致するか否かを判定し（Ｓ２１４）、略一致する場合（Ｓ２１４でＹＥＳ）、交通違反と判定し（Ｓ２１５）、判定結果を管制センタ装置３へ通知する。ＣＰＵ２８は、他の規制領域が有るか否かを判定し（Ｓ２１６）、他の規制領域が有る場合（Ｓ２１６でＹＥＳ）、ステップＳ２１１以降の処理を続ける。一方、略一致しない場合（Ｓ２１４でＮＯ）、ＣＰＵ２８は、ステップＳ２１６以降の処理を続ける。
【０１２８】
図１７は撮像画像の規制領域の例を示す説明図である。交差点の角部であって、交差点手前の停止線夫々の前方に規制領域５０ａ、５０ｂ、５０ｃ、５０ｄを設定し、交差点中央部に規制領域５０ｅを設定している。規制領域５０ａ、５０ｂ、５０ｃ、５０ｄ、５０ｅは、交差点の信号表示に応じて走行禁止方向を規制し、規制領域５０ｅは、時間に応じて右折禁止などの走行禁止方向を規制する。また、規制領域５０ａ、５０ｂ、５０ｃ、５０ｄは、制限速度を規制する。これらの走行禁止方向、制限速度などの規制情報は、規制領域に対応付けた規制情報テーブル２７２を記憶部２７に記憶している。
【０１２９】
図１８は規制情報テーブルのレコードレイアウトである。規制領域毎に、撮像画像上でのｙ軸方向（上下方向）の道路に対する信号表示、走行禁止方向を示す規制ベクトルの方向（規制方向）、規制領域を時間帯別に規制する場合の規制時間、該規制時間帯での走行禁止方向を示す規制ベクトルの方向、制限速度を示す規制ベクトルの大きさなどの欄により構成してある。
【０１３０】
動きベクトルの方向と規制方向を比較する場合に、交差点の信号表示を検知し、信号表示に応じた規制方向と比較することも可能である。また、動きベクトルの方向と規制方向とを比較する場合に、現在時刻を検知し、現在時刻が規制時間帯にあるか否かを判定して、所定の規制方向と比較することも可能である。さらに、動きベクトルの大きさが、制限速度を規定する規制ベクトルの大きさよりも大きいか否かを判定して、規制ベクトルの大きさよりも大きい場合に、速度違反と判定することも可能である。
【０１３１】
図１９は交通事故判定の処理手順を示すフローチャートである。ＣＰＵ２８は、撮像画像において連結ブロックが複数有るか否かを判定する（Ｓ２２１）。連結ブロックが複数（例えば、連結ブロックＡ、Ｂ）有る場合（Ｓ２２１でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔを記録する（Ｓ２２２）。撮像時点ｔの連結ブロックＡ、Ｂが存在した領域をＡｔ、Ｂｔとする。ＣＰＵ２８は、動きベクトルに基づいて、撮像時点ｔ＋１での連結ブロックＡ、Ｂの移動先の領域を予想する（Ｓ２２３）。撮像時点ｔ＋１に連結ブロックＡ、Ｂが存在する領域をＡｔ＋１、Ｂｔ＋１とする。連結ブロックが複数ない場合（Ｓ２２１でＮＯ）、ＣＰＵ２８は、処理を終了する。
【０１３２】
ＣＰＵ２８は、領域Ａｔ＋１、Ｂｔ＋１の重複領域Ｃｔ＋１が有るか否かを判定し（Ｓ２２４）、重複領域Ｃｔ＋１が有る場合（Ｓ２２４でＹＥＳ）、重複領域Ｃｔ＋１を構成する画素ブロック数が所定の閾値（第４閾値）より大きいか否かを判定する（Ｓ２２５）。重複領域Ｃｔ＋１がない場合（Ｓ２２４でＮＯ）、ＣＰＵ２８は、処理を終了する。
【０１３３】
画素ブロック数が閾値より大きい場合（Ｓ２２５でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での重複領域Ｃｔ＋１の輝度差を算出する（Ｓ２２６）。この場合、領域Ａｔ＋１、Ｂｔ＋１に対応する車両同士が、撮像時点ｔ＋１で衝突する可能性が高いと判断される。画素ブロック数が閾値より小さい場合（Ｓ２２５でＮＯ）、ＣＰＵ２８は、処理を終了する。
【０１３４】
ＣＰＵ２８は、算出した輝度差が閾値（第５閾値）より大きいか否かを判定する（Ｓ２２７）。重複領域Ｃｔ＋１の輝度差が閾値より大きい場合（Ｓ２２７でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での領域Ａｔの輝度差、及び撮像時点ｔ、ｔ＋１での領域Ｂｔの輝度差を算出する（Ｓ２２８）。重複領域Ｃｔ＋１の輝度差が閾値より小さい場合（Ｓ２２７でＮＯ）、ＣＰＵ２８は、処理を終了する。この場合には、この場合には、連結ブロックＡ、Ｂに対応する車両のいずれか、又は両方が停止したと判断される。ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での領域Ａｔの輝度差、及び撮像時点ｔ、ｔ＋１での領域Ｂｔの輝度差が閾値（第６閾値）より大きいか否かを判定する（Ｓ２２９）。
【０１３５】
領域Ａｔ、Ｂｔ夫々の輝度差が閾値より大きい場合（Ｓ２２９でＹＥＳ）、ＣＰＵ２８は、事故有りと判定し（Ｓ２３０）、判定結果を管制センタ装置３へ通知して処理を終了する。領域Ａｔ、Ｂｔいずれかの輝度差が閾値より小さい場合（Ｓ２２９でＮＯ）、ＣＰＵ２８は、処理を終了する。領域Ａｔ、Ｂｔ夫々の輝度差が閾値より大きい場合は、連結ブロックＡ、Ｂに対応する各車両が重複領域に対応する道路上の衝突可能性領域に進入したものと判断され、交通事故の発生の有無の判定をさらに正確に行うことができる。なお、ステップＳ２２９での判定を行わずに、ステップＳ２２７での判定結果のみに基づいて、事故の有無を判定することも可能である。この場合は、処理に要する労力を低減することが可能になる。
【０１３６】
図２０は撮像画像の重複領域の例を示す説明図である。図に示すように、撮像画像上で互いに交差する道路上を交差点に向かって走行する車両に対応する連結ブロックＡ、Ｂを特定した場合、連結ブロックＡが時刻ｔ及びｔ＋１に存在した領域を、夫々Ａｔ、Ａｔ＋１とし、同様に連結ブロックＢが時刻ｔ及びｔ＋１に存在した領域を、夫々Ｂｔ、Ｂｔ＋１とする。時刻ｔ＋１で、連結ブロックＡｔ、Ｂｔが重なると予想される重複領域Ｃｔ＋１は、領域Ａｔ＋１及びＢｔ＋１が重なる部分である。
【０１３７】
実施の形態３
上述の実施の形態では、交差点付近に設置されたビデオカメラで撮像した撮像画像を画像処理装置で処理して交通状況を判定する構成であったが、管制センタ装置３で交通状況を判定することもできる。
【０１３８】
図２１は実施の形態３に係る交通状況判定システムの概要を示す模式図である。図に示すように、ビデオカメラ１、１、…、画像処理装置２、２、…は、夫々交差点７付近に設置され、交差点７又は交差点近傍の道路５を撮像するようにしてあり、画像処理装置２、２、…は通信回線４を介して管制センタ装置３に接続してある。
【０１３９】
画像処理装置２の画像入力部２１は、ビデオカメラ１で撮像して得られた画像データをＮＴＳＣ信号として取得し、Ａ／Ｄ変換部２２は、取得したアナログ信号をデジタル信号に変換し、ＣＰＵ２８は、変換したデジタル信号を画像データとして画像メモリ２３に記憶する。ＣＰＵ２８は、画像メモリ２３に記憶した画像データを所定の方式（例えば、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４など）に基づいて符号化処理し、符号化処理後のデータを通信部２５から管制センタ装置３へ送信する。ＣＰＵ２８は、符号化処理を行う際に画像データに基づいて動きベクトルを算出し、算出した動きベクトルを符号化処理する。
【０１４０】
管制センタ装置３は、画像処理装置２、２、…から送信された符号化処理後のデータを通信部３１で受信し、受信したデータを記憶部３４に記憶する。ＣＰＵ３６は、記憶部３４から符号化処理後のデータを読み出し、読み出したデータから元の画像データを復元するとともに、動きベクトルなどを抽出する。管制センタ装置３は、所定のコンピュータプログラムがＲＡＭ３２に読み込まれ、読み込まれたコンピュータプログラムをＣＰＵ３６で実行することにより、実施の形態１、２において画像処理装置２が行う交通状況を判定するための同様の処理を実現する。
【０１４１】
ＣＰＵ３６で実現される交通状況判定の処理は、図３、図９、図１１、図１４、図１６、図１９で示した処理手順と同様であるが、フレーム画像処理Ｓ３、Ｓ２０が相違する。以下、本実施の形態における交通渋滞判定、交通異常判定を行う場合のフレーム画像処理を説明する。
【０１４２】
図２２はフレーム画像処理の処理手順を示すフローチャートである。ＣＰＵ３６は、画像処理装置２から送信された符号化画像データを受信する（Ｓ３３１）。ＣＰＵ３６は、受信した符号化画像データから動きベクトルを抽出する（Ｓ３３２）。
【０１４３】
ＣＰＵ３６は、抽出された動きベクトルの方向が略一致する画素ブロックであって、隣接する画素ブロックを連結した連結ブロックを特定する（Ｓ３３３）。ＣＰＵ３６は、特定された連結ブロックが有るか否かを判定し（Ｓ３３４）、連結ブロックが有る場合（Ｓ３３４でＹＥＳ）、連結ブロックを構成する各画素ブロックの動きベクトルの平均値を連結ブロックの動きベクトルとして算出する（Ｓ３３５）。ＣＰＵ３６は、記憶部３４から標準方向を読み出し、連結ブロックの動きベクトルの方向と標準方向との角度差を算出する（Ｓ３３６）。
【０１４４】
ＣＰＵ３６は、算出された角度差が略１８０°に等しいか否かを判定し（Ｓ３３７）、角度差が略１８０°に等しい場合（Ｓ３３７でＹＥＳ）、逆走行が有ることを通知する（Ｓ３３８）。角度差が略１８０°に等しくない場合（Ｓ３３７でＮＯ）、ＣＰＵ３６は、１フレーム分の撮像画像が有する画素ブロック数に対する前記撮像画像で特定された連結ブロックを構成する画素ブロック数の比を動きベクトルの分布密度として算出する（Ｓ３３９）。
【０１４５】
ＣＰＵ３６は、連結ブロックの動きベクトルの大きさを、予め定められた変換式により連結ブロックに対応する車両の速度に変換して、車両の速度を算出し（Ｓ３４０）、算出した動きベクトルの分布密度、速度、連結ブロック数を記録し（Ｓ３４１）、フレーム画像処理を終了する。一方、連結ブロックが無い場合（Ｓ３３４でＮＯ）、ＣＰＵ３６は、連結ブロック無しの記録をし（Ｓ３４２）、フレーム画像処理を終了する。なお、画像処理装置２が複数設置してある場合、各画像処理装置２からの符号化画像データを受信し、同様の処理を繰り返す。
【０１４６】
次に、交通違反判定、交通事故判定を行う場合のフレーム画像処理を説明する。図２３はフレーム画像処理の処理手順を示すフローチャートである。ＣＰＵ３６は、画像処理装置２から送信された符号化画像データを受信する（Ｓ２３１）。ＣＰＵ３６は、受信した符号化画像データから動きベクトルを抽出する（Ｓ２３２）。
【０１４７】
ＣＰＵ３６は、抽出された動きベクトルの方向が略一致する画素ブロックであって、隣接する画素ブロックを連結した連結ブロックを特定する（Ｓ２３３）。ＣＰＵ３６は、連結ブロックが有るか否かを判定し（Ｓ２３４）、連結ブロックが有る場合（Ｓ２３４でＹＥＳ）、連結ブロックを構成する各画素ブロックの動きベクトルの平均値を連結ブロックの動きベクトルとして算出する（Ｓ２３５）。連結ブロックがない場合（Ｓ２３４でＮＯ）、ＣＰＵ３６は、ステップＳ２３１以降の処理を続ける。ＣＰＵ３６は、連結ブロックの座標（例えば、連結ブロックの４隅近傍の撮像画像での座標）を記録し（Ｓ２３６）、処理を終了する。なお、画像処理装置２が複数設置してある場合、各画像処理装置２からの符号化画像データを受信し、同様の処理を繰り返す。
【０１４８】
これにより、管制センタ装置３は、多地点の交通状況を広範囲に、かつ同時に判定することが可能になる。また、管制センタ装置３は、多地点に配置された信号機、交通情報表示板などに判定結果に基づいて管制情報を送信し、信号機の制御、交通情報の表示などを行うことができる。
【０１４９】
実施の形態４
道路に沿って、複数のビデオカメラ、画像処理装置を配置することにより、交通渋滞状況を広範囲に亘ってさらに詳細に判定することも可能である。図２４は実施の形態４に係る交通状況判定システムの概要を示す模式図である。図に示すように、ビデオカメラ１、１、…、画像処理装置２、２、…夫々は、適長の離隔距離（例えば、数百ｍ、数ｋｍなど）を有して道路に沿って配置している。便宜上、図中では５つのビデオカメラ及び画像処理装置を示してあり、以下の説明を簡単にするため、交通流の上流から下流に向かって、ビデオカメラ１の符号をＣ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５とする。
【０１５０】
管制センタ装置３は、ビデオカメラＣ１、…、Ｃ５夫々で撮像した撮像画像に基づいて、ビデオカメラＣ１、…、Ｃ５夫々で撮像される領域の交通渋滞状況を判定する。まず、交通流の渋滞度合いの粗密波を検出して広範囲で精度良く渋滞状況を判定する処理について説明する。
【０１５１】
図２５は交通渋滞判定の処理手順を示すフローチャートである。ＣＰＵ３６は、ビデオカメラ１の符号を示すための指標ｎを１にする（Ｓ５２１）。ＣＰＵ３６は、ビデオカメラＣｎで撮像した撮像画像に基づいて交通渋滞を判定し（Ｓ５２２）、ビデオカメラＣｎの隣に離隔して設置されたビデオカメラＣｎ＋１で撮像した撮像画像に基づいて、同じ時点の交通渋滞を判定する（Ｓ５２３）。
【０１５２】
ＣＰＵ３６は、ビデオカメラＣｎにより判定した渋滞度合いとビデオカメラＣｎ＋１により判定した渋滞度合いとが同じであるか否かを判定し（Ｓ５２４）、同じ渋滞度合いでないと判定された場合（Ｓ５２４でＮＯ）、ＣＰＵ３６は、ビデオカメラＣｎ＋１の隣に離隔して設置されたビデオカメラＣｎ＋２で撮像した撮像画像に基づいて、同じ時点の交通渋滞を判定する（Ｓ５２５）。
【０１５３】
ＣＰＵ３６は、ビデオカメラＣｎ＋２により判定した渋滞度合いとビデオカメラＣｎにより判定した渋滞度合いとが同じであるか否かを判定し（Ｓ５２６）、同じ渋滞度合いであると判定された場合（Ｓ５２６でＹＥＳ）、ビデオカメラＣｎ＋１により判定した渋滞度合いを、ビデオカメラＣｎにより判定した渋滞度合いに修正する（Ｓ５２７）。
【０１５４】
ＣＰＵ３６は、すべてのビデオカメラで撮像した撮像画像に基づいて交通渋滞判定を終了したか否かを判定し（Ｓ５２８）、すべてのビデオカメラで撮像した撮像画像に基づいて交通渋滞判定を終了していない場合（Ｓ５２８でＮＯ）、ｎをｎ＋１に置き換え（Ｓ５２９）、ステップＳ５２３以降の処理を続ける。
【０１５５】
すべてのビデオカメラで撮像した撮像画像に基づいて交通渋滞判定を終了した場合（Ｓ５２８でＹＥＳ）、ＣＰＵ３６は、判定した交通渋滞を記録する（Ｓ５３０）。ステップＳ５２６で、同じ渋滞度合いでないと判定された場合（Ｓ５２６でＮＯ）、ＣＰＵ３６は、ステップＳ５２８以降の処理を続ける。一方、ステップＳ５２４で、ビデオカメラＣｎにより判定した渋滞度合いとビデオカメラＣｎ＋１により判定した渋滞度合いとが同じであると判定された場合（Ｓ５２４でＹＥＳ）、ＣＰＵ３６は、ステップＳ５２８以降の処理を続ける。
【０１５６】
ステップＳ５３１で、ＣＰＵ３６は、処理終了の指示の有無を判定し（Ｓ５３１）、処理終了の指示がない場合（Ｓ５３１でＮＯ）、ステップＳ５２１以降の処理を続ける。処理終了の指示がある場合（Ｓ５３１でＹＥＳ）、ＣＰＵ３６は、処理を終了する。
【０１５７】
例えば、ある時刻ｔにおいて、ビデオカメラＣ１、Ｃ２、…、Ｃ５により判定した渋滞状況が、混雑（Ｃ１）、混雑（Ｃ２）、普通流（Ｃ３）、混雑（Ｃ４）、混雑（Ｃ５）である場合、渋滞度合いの粗密波であると判定し、ビデオカメラＣ３により判定した普通流を混雑に修正する。これにより、道路の広範囲に亘って、渋滞度合いの粗密波を検出し、ビデオカメラＣ３単独で渋滞状況を判定した場合に比べて、より精度良く渋滞状況を判定することができる。
【０１５８】
上述の処理手順は、一例であって、道路状況に応じて、判定に使用するビデオカメラ１の台数は、適宜設定することができる。また、判定に使用するビデオカメラ１の台数を増加する場合は、両隣に設置された２つのビデオカメラに限定せず、両隣に連続して設置された複数のビデオカメラにより判定した渋滞度合いを用いることもできる。これにより、さらに広範囲に亘って、精度良く渋滞度合いを判定することができる。
【０１５９】
次に、ある時刻でビデオカメラＣ１、Ｃ２、…、Ｃ５により判定した交通渋滞の状況を、他の複数の時刻で同様に判定した交通渋滞の状況と比較することにより、交通渋滞の誤判定を低減する処理について説明する。
【０１６０】
図２６は交通渋滞判定の処理手順を示すフローチャートである。なお、ある時刻ｔでビデオカメラＣ１、Ｃ２、…、Ｃ５により判定した交通渋滞をＳｔとする。例えば、交通渋滞Ｓｔは、ビデオカメラＣ１、Ｃ２、…、Ｃ５に対応して、Ｓｔ＝（閑散、閑散、普通流、閑散、閑散）のように表すことができる。
【０１６１】
ＣＰＵ３６は、時刻ｔの交通渋滞Ｓｔを判定し（Ｓ５４１）、時刻ｔと適長の離隔間隔を有する時刻ｔ＋１の交通渋滞Ｓｔ＋１を判定する（Ｓ５４２）。ＣＰＵ３６は、交通渋滞ＳｔとＳｔ＋１とが同じであるか否かを判定する（Ｓ５４３）。交通渋滞ＳｔとＳｔ＋１とが同じでない場合（Ｓ５４３でＮＯ）、ＣＰＵ３６は、時刻ｔと適長の離隔間隔を有する時刻ｔ−１の交通渋滞Ｓｔ−１を判定する（Ｓ５４４）。
【０１６２】
ＣＰＵ３６は、交通渋滞Ｓｔ＋１とＳｔ−１が同じであるか否かを判定する（Ｓ５４５）。交通渋滞Ｓｔ＋１とＳｔ−１が同じである場合（Ｓ５４５でＹＥＳ）、ＣＰＵ３６は、時刻ｔ＋２の交通渋滞Ｓｔ＋２を判定する（Ｓ５４６）。ＣＰＵ３６は、交通渋滞Ｓｔ＋１とＳｔ＋２が同じであるか否かを判定する（Ｓ５４７）。
【０１６３】
交通渋滞Ｓｔ＋１とＳｔ＋２が同じである場合（Ｓ５４７でＹＥＳ）、ＣＰＵ３６は、時刻ｔ−２の交通渋滞Ｓｔ−２を判定する（Ｓ５４８）。ＣＰＵ３６は、交通渋滞Ｓｔ−１とＳｔ−２が同じであるか否かを判定する（Ｓ５４９）。交通渋滞Ｓｔ−１とＳｔ−２が同じである場合（Ｓ５４９でＹＥＳ）、ＣＰＵ３６は、時刻ｔにおける交通渋滞Ｓｔは、誤判定であるとして、時刻ｔ＋１の交通渋滞Ｓｔ＋１に修正する（Ｓ５５０）。
【０１６４】
ＣＰＵ３６は、処理終了の指示の有無を判定し（Ｓ５５１）、処理終了の指示がない場合（Ｓ５５１でＮＯ）、時刻ｔを時刻ｔ＋１に置き換え（Ｓ５５２）、ステップＳ５４２以降の処理を続ける。処理終了の指示がある場合（Ｓ５５１でＹＥＳ）、ＣＰＵ３６は、処理を終了する。
【０１６５】
一方、ステップＳ５４３で、交通渋滞ＳｔとＳｔ＋１とが同じである場合（Ｓ５４３でＹＥＳ）、ＣＰＵ３６は、ステップＳ５５１以降の処理を続ける。ステップＳ５４５で、交通渋滞Ｓｔ＋１とＳｔ−１が同じでない場合（Ｓ５４５でＮＯ）、ＣＰＵ３６は、ステップＳ５５１以降の処理を続ける。
【０１６６】
一方、交通渋滞Ｓｔ＋１とＳｔ＋２が同じでない場合（Ｓ５４７でＮＯ）、ＣＰＵ３６はステップＳ５５１以降の処理を続ける。また、交通渋滞Ｓｔ−１とＳｔ−２が同じでない場合（Ｓ５４９でＮＯ）、ＣＰＵ３６はステップＳ５５１以降の処理を続ける。
【０１６７】
例えば、時刻ｔにおける交通渋滞Ｓｔが、Ｓｔ＝（閑散、閑散、混雑、閑散、閑散）であり、時刻ｔ＋１、ｔ＋２、ｔ−１、ｔ−２における交通渋滞Ｓｔ＋１、Ｓｔ＋２、Ｓｔ−１、Ｓｔ−２がすべて、（閑散、閑散、閑散、閑散、閑散）である場合、時刻ｔの交通渋滞Ｓｔ（ビデオカメラＣ３により判定した混雑）が誤判定であるとして、Ｓｔを（閑散、閑散、閑散、閑散、閑散）に修正する。これにより、誤判定を低減して交通渋滞の判定を精度良く行うことができる。
【０１６８】
上述の処理手順は、一例であって、道路状況に応じて、交通渋滞を判定する時刻の数を増減することが可能である。また、時刻の離隔間隔は、適宜設定することが可能である。
【０１６９】
次に、交通渋滞が発生した場合に、道路のどの地点が渋滞発生のボルトネックであるか、渋滞発生の位置（例えば、混雑の先頭位置）を判定する処理について説明する。
【０１７０】
図２７は交通渋滞判定の処理手順を示すフローチャートである。ＣＰＵ３６は、カウント数Ｋをゼロにセットし（Ｓ５６１）、ビデオカメラ１の符号を示すための指標ｎを１にする（Ｓ５６２）。ＣＰＵ３６は、ビデオカメラＣｎで撮像した撮像画像に基づいて交通渋滞を判定し（Ｓ５６３）、渋滞度合いが混雑か否かを判定する（Ｓ５６４）。
【０１７１】
混雑であると判定した場合（Ｓ５６４でＹＥＳ）、ＣＰＵ３６は、カウンタ数Ｋに１を加算し（Ｓ５６５）、カウント数Ｋが閾値以上であるか否かを判定する（Ｓ５６６）。カウント数Ｋが閾値以上である場合（Ｓ５６６でＹＥＳ）、ＣＰＵ３６は、ビデオカメラＣｎの位置を混雑の先頭位置とする（Ｓ５６７）。
【０１７２】
ＣＰＵ３６は、すべてのビデオカメラで撮像した撮像画像に基づいて交通渋滞判定を終了したか否かを判定し（Ｓ５６８）、交通渋滞判定を終了していない場合（Ｓ５６８でＮＯ）、ＣＰＵ３６は、ｎをｎ＋１に置き換え（Ｓ５６９）、ステップＳ５６３以降の処理を続ける。交通渋滞判定を終了した場合（Ｓ５６８でＹＥＳ）、処理終了の指示の有無を判定する（Ｓ５７０）。
【０１７３】
処理終了の指示がない場合（Ｓ５７０でＮＯ）、ＣＰＵ３６は、ステップＳ５６１以降の処理を続ける。処理終了の指示がある場合（Ｓ５７０でＹＥＳ）、ＣＰＵ３６は、処理を終了する。一方、混雑でないと判定した場合（Ｓ５６４でＮＯ）、ＣＰＵ３６は、ステップＳ５６８以降の処理を続ける。また、カウント数Ｋが閾値より小さい場合（Ｓ５６６でＮＯ）、ＣＰＵ３６は、ステップＳ５６８以降の処理を続ける。
【０１７４】
例えば、閾値を２に設定した場合、連続して設置された３つのビデオカメラにより混雑を判定したときは、３つのビデオカメラのうち、交通流の下流端にあるビデオカメラ付近が、交通渋滞のボトルネック、すなわち、混雑の先頭位置であると判定することができる。道路状況に応じて、道路に沿って設置するビデオカメラの台数を変更した場合、閾値も適宜変更することが可能である。
【０１７５】
上述の処理は、一例であって、混雑の有無を判定する代わりに、大混雑の有無を判定してもよい。また、最終的に計数されたカウント数の大小に応じて、混雑、又は大混雑を判定した連続するビデオカメラの数が判るため、混雑（又は大混雑）の先頭位置及び混雑（又は大混雑）の後尾位置を求めることもできる。さらに、各ビデオカメラの離隔距離に基づいて、混雑（又は大混雑）が、どの程度の範囲（距離）に亘って発生しているかも判定することができる。
【０１７６】
混雑範囲は、突如発生すること、又は解消することはないため、適当な時間の間における複数の時点での混雑範囲を平滑化し、より精度を高めることが可能である。平滑化の方法としては、例えば、時刻ｔの前後数時刻における混雑先頭位置の平均値、最頻値、又は中央値となる位置を時刻ｔにおける混雑の先頭位置とすることができ、同様に混雑の後尾位置も求めることができる。
【０１７７】
以上説明したように、本発明にあっては、撮像時点の異なる撮像画像で特定した一致する画素ブロックの位置変化により、隣接の画素ブロックを連結した連結ブロックの動きベクトルを算出し、算出した動きベクトル又は該動きベクトルに基づいて算出した動きベクトルの分布密度により、単に走行する車両の台数、速度、方向などの交通情報だけではなく、交通渋滞の渋滞度合いの判定、交通事故、駐車車両、又は障害物などの交通障害による交通異常の判定、道路上の場所に応じた交通規制に対する交通違反の判定、交通事故の発生の判定など、車両の時間的分布及び空間的分布に基づいて、詳細な交通状況を同時、かつ広範囲に判定することができる。
【０１７８】
上述の実施の形態においては、ビデオカメラ１と画像処理装置２とは、別個の装置で構成されていたが、ビデオカメラ１と画像処理装置２とを統合して、ひとつの装置として構成してもよい。
【０１７９】
上述の実施の形態においては、ビデオカメラ１を交差点付近に配置する構成であったが、ビデオカメラ１、又は画像処理装置２の配置場所は、これに限定されるものではなく、交通状況を判定するために必要な場所であれば、いずれの場所に配置してもよいことはいうまでもない。
【０１８０】
上述の実施の形態においては、動きベクトルの分布密度を、１フレーム分の撮像画像が有する画素ブロック数に対する前記撮像画像で特定された連結ブロックを構成する画素ブロック数の比により算出するものであったが、動きベクトルの分布密度は、これに限定されるものではなく、撮像画像に占める連結ブロックの空間的分布を評価できる指標であれば、いずれのものを用いてもよい。
【０１８１】
上述の実施の形態においては、算出時間Ｔ２の都度算出された動きベクトル（速度）の平均値、動きベクトルの分布密度の平均値に基づいて交通渋滞を判定する構成であったが、交通渋滞の判定は、これに限定されるものではない。例えば、算出時間を、時間帯で変化させることもでき、また、判定結果に応じて変更するものでもよい。算出時間は、道路状況に応じて適宜所望の時間を用いることはいうまでもない。
【０１８２】
上述の実施の形態においては、算出時間Ｔ２の都度算出された動きベクトル（速度）の平均値、動きベクトルの分布密度の平均値に基づいて、判定時間Ｔ１の間交通異常が継続しているか否かにより交通異常を判定する構成であったが、これに限定されるものではなく、所要の時間継続して交通異常が続いていることを確認できるものであれば、いずれの方法を用いてもよい。
【０１８３】
上述の実施の形態においては、連結ブロックの動きベクトル、動きベクトルの分布密度の平均値を算出するものであったが、これに限定されず、最頻値、中央値など、交通状況に対応して所望の統計値を用いるものであってもよい。
【０１８４】
上述の実施の形態において、交通渋滞判定テーブル、規制情報テーブルは、一例であって、これに限定されるものではない。速度又は分布密度の閾値は適宜変更することが可能であり、また他の情報を追加することも可能である。また、管制センタ装置３から、交通状況に応じて、画像処理装置２、２、…に対して、夫々異なる所望の交通渋滞判定テーブル、規制情報テーブルに更新することもできる。また、規制ベクトルの方向は、走行禁止方向を特定するものであったが、走行許容方向を用いることも可能である。
【０１８５】
上述の実施の形態において、異なる撮像時点の撮像画像を取得する場合、撮像時点の時間間隔は、道路の交通状況に応じて、適宜設定することができる。車両が比較的高速で走行する道路の場合は、時間間隔を短くし、低速走行車両が多い道路では、時間間隔を長くすることができる。
【０１８６】
上述の実施の形態においては、ビデオカメラで撮像して得られた撮像画像から各画素ブロックの動きベクトルを算出する構成であったが、ビデオカメラで撮像してＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化映像の形式に変換された映像データに含まれる各画素ブロックの動きベクトル情報を用いてもよい。ここで、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化映像とは、画像の中の動く部分だけを検出し保存するなどして映像データを圧縮しているものであって、この形式に変換する際に、画素ブロックの特定及び各画素ブロックの動きベクトルの算出が行われる。
【図面の簡単な説明】
【０１８７】
【図１】本発明の実施の形態に係る交通状況判定システムの概要を示す模式図である。
【図２】画像処理装置及び管制センタ装置の構成を示すブロック図である。
【図３】交通状況判定の処理手順を示すフローチャートである。
【図４】フレーム画像処理の処理手順を示すフローチャートである。
【図５】画素ブロックの動きベクトルを示す説明図である。
【図６】連結ブロックの例を示す説明図である。
【図７】撮像画像の例を示す説明図である。
【図８】フレーム画像処理で算出される算出情報を示す説明図である。
【図９】交通渋滞判定の処理手順を示すフローチャートである。
【図１０】交通渋滞判定テーブルのレコードレイアウトである。
【図１１】交通異常判定の処理手順を示すフローチャートである。
【図１２】交通異常判定の例を示すタイムチャートである。
【図１３】実施の形態２に係る交通状況判定システムの概要を示す模式図である。
【図１４】交通状況判定の処理手順を示すフローチャートである。
【図１５】フレーム画像処理の処理手順を示すフローチャートである。
【図１６】交通違反判定の処理手順を示すフローチャートである。
【図１７】撮像画像の規制領域の例を示す説明図である。
【図１８】規制情報テーブルのレコードレイアウトである。
【図１９】交通事故判定の処理手順を示すフローチャートである。
【図２０】撮像画像の重複領域の例を示す説明図である。
【図２１】実施の形態３に係る交通状況判定システムの概要を示す模式図である。
【図２２】フレーム画像処理の処理手順を示すフローチャートである。
【図２３】フレーム画像処理の処理手順を示すフローチャートである。
【図２４】実施の形態４に係る交通状況判定システムの概要を示す模式図である。
【図２５】交通渋滞判定の処理手順を示すフローチャートである。
【図２６】交通渋滞判定の処理手順を示すフローチャートである。
【図２７】交通渋滞判定の処理手順を示すフローチャートである。
【符号の説明】
【０１８８】
１ ビデオカメラ
２ 画像処理装置
３ 管制センタ装置
４ 通信回線
５ 道路
６ 撮像範囲
７ 交差点
２１ 画像入力部
２２ Ａ／Ｄ変換部
２３ 画像メモリ
２４ ＲＡＭ
２５ 通信部
２６ 補助記憶部
２７ 記憶部
２８ ＣＰＵ
２９ ＣＤ−ＲＯＭ
３１ 通信部
３２ ＲＡＭ
３３ 表示部
３４ 記憶部
３５ 操作部
３６ ＣＰＵ
３７ 補助記憶部
【技術分野】
【０００１】
本発明は、道路を含む領域を撮像装置で撮像して得られた撮像画像に基づいて、広範囲な交通状況を判定する交通状況判定システム、該交通状況判定システムを構成する画像処理装置、該画像処理装置を実現するコンピュータプログラム、及び交通状況判定方法に関する。
【背景技術】
【０００２】
道路交通環境の改善を目的とした道路交通システムは、渋滞緩和のために車両の流入制限するもの、交通関連情報の提供や交通流を最適化するものなど、様々な分野で利用されつつあり、ビデオカメラで撮像した撮像画像を処理して、車両の通過台数、走行速度などの情報を収集するものがある。
【０００３】
道路上の走行車両を検出する方法には、車両が存在しない道路のみの画像を予め作成しておき、車両が走行しているときの画像と道路のみの画像との差分を算出し、算出した情報に基づいて車両のみの情報を抽出するものがある。しかし、この方法は、日照変化、天候変化などの外部環境変化の影響により、道路上の影、路面標記などを走行車両と誤って検出する場合があった。
【０００４】
これに対して、微小時間間隔の複数画像間での撮像画像の差分又は相関情報などを算出することにより移動体の動きベクトルを算出して車両を検出する方法は、外部環境変化の影響を受けにくく、動きベクトルの算出により、車両の速度、移動方向などの情報を取得することが可能である。
【０００５】
例えば、ビデオカメラの光軸を路面に向けて道路の上方に配置し、ビデオカメラで撮像した画像上の各車両の動きを動きベクトルとして認識することにより、車間距離が小さい場合であっても、車両の速度、方向、台数などの交通情報を測定することができる交通情報測定装置が提案されている（特許文献１参照）。
【特許文献１】特開平１０−３３４３９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の装置にあっては、車両の速度、方向、台数などの交通情報（交通パラメータ）を同時に測定することができるが、交通渋滞、交通違反、交通事故、又は異常走行などの交通状況を判定することはできない。円滑な交通又は事故の未然防止を効果的に実現するためには、車両の速度、方向、台数などの交通情報だけでなく、さらに詳細な交通情報を測定して、交通状況を正確に、かつ広範囲に判定することが求められていた。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、撮像時点の異なる撮像画像で特定した対応する画素ブロックの位置変化により、画素ブロックの動きベクトルを算出し、算出した動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックの動きベクトルを算出し、算出した連結ブロックの動きベクトル又は該動きベクトルに基づいて算出した動きベクトルの分布密度により交通状況を判定することにより、外部環境変化に影響されずに交通状況を判定することができる交通状況判定システム、該交通状況判定システムを構成する画像処理装置、該画像処理装置を実現するコンピュータプログラム、及び交通状況判定方法を提供することを目的とする。
【０００８】
また、本発明の他の目的は、所定時間に複数回算出した動きベクトルの分布密度及び動きベクトルに基づいて、それらの平均値、最頻値、又は中央値の少なくとも一つを含む統計値を算出することにより、さらに正確に交通状況を判定することができる画像処理装置を提供することにある。
【０００９】
また、本発明の他の目的は、動きベクトルの分布密度又は連結ブロックの動きベクトルの大きさに基づいて、交通渋滞状況を判定することにより、交通渋滞の度合いを正確に判定することができる画像処理装置を提供することにある。
【００１０】
また、本発明の他の目的は、連結ブロックの動きベクトルの方向と交通流の方向を定める標準方向との角度差が略１８０度である場合、交通異常と判定することにより、車両の走行方向の異常を容易に判定することができる画像処理装置を提供することにある。
【００１１】
また、本発明の他の目的は、計時された判定時間が所定の時間以上となるまで、連結ブロックの動きベクトルの方向と交通流の方向を定める標準方向との角度差が第１閾値以上である場合、交通異常と判定することにより、駐車車両、事故車両、又は障害物などを避けるための回避走行が継続していることを容易に判定することができる画像処理装置を提供することにある。
【００１２】
また、本発明の他の目的は、同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、計時された判定時間が所定の時間以上となるまで、一の判定領域の連結ブロックの動きベクトルの大きさが第２閾値より小さく、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定することにより、隣接する車線の一方で交通異常が発生していることを判定することができる画像処理装置を提供することにある。
【００１３】
また、本発明の他の目的は、計時された判定時間が所定の時間以上となるまで、前記一の判定領域の動きベクトルの分布密度が第３閾値より大きい場合に、交通異常と判定することにより、さらに精度良く交通異常を判定することができる画像処理装置を提供することにある。
【００１４】
また、本発明の他の目的は、同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、計時された判定時間が所定の時間以上となるまで、一の判定領域で連結ブロックが特定されず、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定することにより、さらに精度良く交通異常を判定することができる画像処理装置を提供することにある。
【００１５】
また、本発明の他の目的は、交通規制に対応する規制領域を撮像画像に設けてあり、前記規制領域に進入した連結ブロックの動きベクトルの方向と、交通流の規制方向とが略一致する場合に、交通違反と判定することにより、進入禁止領域への進入、右折禁止での右折走行などの交通違反を判定することができる画像処理装置を提供することにある。
【００１６】
また、本発明の他の目的は、連結ブロック同士が重複する重複領域の画素ブロック数が第４閾値以上になる第１撮像時点と、該第１撮像時点より前の第２撮像時点との間で、前記重複領域の画素が有する輝度値の差が前記第５閾値以上である場合に、交通事故と判定することにより、衝突事故の発生を容易に判定することができる画像処理装置を提供することにある。
【００１７】
また、本発明の他の目的は、前記第２撮像時点に前記連結ブロックが存在した領域夫々の画素が有する輝度値の前記第１撮像時点及び第２撮像時点での差が第６閾値以上である場合に、交通事故と判定することにより、さらに精度良く衝突事故の発生を判定することができる画像処理装置を提供することにある。
【００１８】
また、本発明の他の目的は、画像処理装置で算出した動きベクトルを判定装置へ送信し、該判定装置は、受信した動きベクトルに基づいて、動きベクトルの分布密度又は連結ブロックの動きベクトルを算出して交通状況を判定することにより、遠隔地の交通状況を容易に判定することができる交通状況判定システムを提供することにある。
【００１９】
また、本発明の他の目的は、道路を含む異なる領域を撮像する撮像装置、及び該撮像装置で撮像した撮像画像を処理する画像処理装置夫々を道路に沿って３つ以上備え、一の撮像装置で撮像した撮像画像、及び前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像に基づいて、広範囲の交通渋滞状況を判定することができる交通状況判定システムを提供することにある。
【００２０】
また、本発明の他の目的は、一の時点、及び該一の時点と異なる複数の他の時点における交通渋滞状況を判定することにより、誤判定を低減して、精度良く交通渋滞状況を判定することができる交通状況判定システムを提供することにある。
【００２１】
また、本発明の他の目的は、複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況に基づいて、交通渋滞変化点を判定することができる交通状況判定システムを提供することにある。
【課題を解決するための手段】
【００２２】
第１発明に係る画像処理装置は、取得した撮像画像を処理して交通状況を判定する画像処理装置において、撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、算出された動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段とを備えることを特徴とする。
【００２３】
第２発明に係る画像処理装置は、第１発明において、前記密度算出手段及びベクトル算出手段は、前記分布密度及び連結ブロックの動きベクトルを所定時間に複数回算出するようにしてあり、算出した複数の分布密度及び連結ブロックの動きベクトルに基づいて、それらの平均値、最頻値、又は中央値の少なくとも一つを含む統計値を算出するようにしてあることを特徴とする。
【００２４】
第３発明に係る画像処理装置は、第２発明において、前記判定手段は、前記分布密度又は連結ブロックの動きベクトルの大きさに基づいて、交通渋滞状況を判定するようにしてあることを特徴とする。
【００２５】
第４発明に係る画像処理装置は、第１発明において、交通流の方向を定める標準方向を記憶する記憶手段と、前記連結ブロックの動きベクトルの方向と前記標準方向との角度差を算出する角度差算出手段とを備え、前記判定手段は、算出された角度差が略１８０度である場合、交通異常と判定するようにしてあることを特徴とする。
【００２６】
第５発明に係る画像処理装置は、第１発明乃至第４発明のいずれかにおいて、交通流の方向を定める標準方向を記憶する記憶手段と、前記連結ブロックの動きベクトルの方向と前記標準方向との角度差を算出する角度差算出手段と、判定時間を計時する手段とを備え、前記判定手段は、前記判定時間が所定の時間以上となるまで、算出された角度差が第１閾値以上である場合、交通異常と判定するようにしてあることを特徴とする。
【００２７】
第６発明に係る画像処理装置は、第１発明乃至第４発明のいずれかにおいて、同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、前記連結ブロックの動きベクトルの大きさと第２閾値とを比較する手段と、判定時間を計時する手段とを備え、前記判定手段は、前記判定時間が所定の時間以上となるまで、一の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より小さく、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする。
【００２８】
第７発明に係る画像処理装置は、第６発明において、前記分布密度と第３閾値とを比較する手段を備え、前記判定手段は、前記判定時間が所定の時間以上となるまで、前記一の判定領域の分布密度が前記第３閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする。
【００２９】
第８発明に係る画像処理装置は、第１発明乃至第４発明のいずれかにおいて、同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、前記連結ブロックの動きベクトルの大きさと第２閾値とを比較する手段と、判定時間を計時する手段とを備え、前記判定手段は、前記判定時間が所定の時間以上となるまで、一の判定領域で連結ブロックが特定されず、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする。
【００３０】
第９発明に係る画像処理装置は、第１発明乃至第８発明のいずれかにおいて、交通規制に対応する規制領域を撮像画像に設けてあり、前記規制領域での交通流の規制方向を記憶するようにしてあり、連結ブロックの前記規制領域への進入を検出する手段と、前記連結ブロックの動きベクトルの方向と前記規制方向とを比較する手段とを備え、前記判定手段は、前記規制領域に進入した連結ブロックの動きベクトルの方向と前記規制方向とが略一致する場合に、交通違反と判定するようにしてあることを特徴とする。
【００３１】
第１０発明に係る画像処理装置は、第１発明乃至第９発明のいずれかにおいて、連結ブロックの動きベクトルに基づいて、前記連結ブロック同士の重複領域を特定する手段と、 前記重複領域の画素ブロック数と第４閾値とを比較する手段とを備え、前記判定手段は、前記重複領域の画素ブロック数が前記第４閾値以上になる第１撮像時点と、該第１撮像時点より前の第２撮像時点との間で、前記重複領域の画素が有する輝度値の差が前記第５閾値以上である場合に、交通事故と判定するようにしてあることを特徴とする。
【００３２】
第１１発明に係る画像処理装置は、第１０発明において、前記判定手段は、前記第２撮像時点に前記連結ブロックが存在した領域夫々の画素が有する輝度値の前記第１撮像時点及び第２撮像時点での差が第６閾値以上である場合に、交通事故と判定するようにしてあることを特徴とする。
【００３３】
第１２発明に係る交通状況判定システムは、道路を含む領域を撮像装置で撮像し、撮像して得られた撮像画像を画像処理装置で処理して交通状況を判定する交通状況判定システムにおいて、前記画像処理装置は、撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、算出された動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段とを備えることを特徴とする。
【００３４】
第１３発明に係る交通状況判定システムは、道路を含む領域を撮像する撮像装置と、撮像して得られた撮像画像を処理する画像処理装置と、交通状況を判定する判定装置とを備える交通状況判定システムにおいて、前記画像処理装置は、撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、算出した動きベクトルを前記判定装置へ送信する手段とを備え、前記判定装置は、前記画像処理装置が送信した動きベクトルを受信する手段と、受信した動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、前記分布密度又は前記連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段とを備えることを特徴とする。
【００３５】
第１４発明に係る交通状況判定システムは、第１３発明において、道路を含む異なる領域を撮像する撮像装置、及び該撮像装置で撮像した撮像画像を処理する画像処理装置夫々を道路に沿って３つ以上備え、前記判定装置は、前記分布密度又は前記連結ブロックの動きベクトルに基づいて、交通渋滞状況を判定するようにしてあり、一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、第２の交通渋滞状況であると判定するようにしてあることを特徴とする。
【００３６】
第１５発明に係る交通状況判定システムは、第１４発明において、前記判定装置は、一の時点で、前記一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、前記一の時点と異なる複数の他の時点で、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が、前記第２の交通渋滞状況であるときは、第２の交通渋滞状況であると判定するようにしてあることを特徴とする。
【００３７】
第１６発明に係る交通状況判定システムは、第１４発明又は第１５発明において、前記判定装置は、複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況が同一である場合に、前記撮像装置のうち交通流の下流端の撮像装置の位置に基づいて、交通渋滞変化点を判定するようにしてあることを特徴とする。
【００３８】
第１７発明に係るコンピュータプログラムは、コンピュータに、取得した撮像画像を処理して交通状況を判定させるためのコンピュータプログラムにおいて、コンピュータを、動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段として機能させることを特徴とする。
【００３９】
第１８発明に係る交通状況判定方法は、道路を含む領域を撮像装置で撮像し、撮像して得られた撮像画像を処理して交通状況を判定する交通状況判定方法において、動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定し、前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出し、前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出し、前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定することを特徴とする。
【００４０】
第１発明、第１２発明、第１７発明及び第１８発明にあっては、画像処理装置は、撮像画像を所望の画素ブロック（例えば、８×８画素のブロック）に分割し、一の撮像時点の撮像画像の各画素ブロックに対応する画素ブロックを前記一の撮像時点と異なる撮像時点の撮像画像で特定する。異なる撮像時点間において、対応する画素ブロックが特定された場合、画像処理装置は、特定された画素ブロックの撮像画像での位置変化に基づき、対応する画素ブロックの中心同士を結ぶベクトルである画素ブロックの動きベクトルを算出する。これにより、異なる撮像時点間で画素ブロックの位置変化がない道路上の影、路面標記などを排除することができる。画像処理装置は、算出された各画素ブロックの動きベクトルの方向が略一致する画素ブロックであって、隣接した画素ブロックを連結した連結ブロックを特定する。これにより、道路を走行する車両を特定する。
【００４１】
ベクトル算出手段は、連結ブロックを構成する各画素ブロックの動きベクトルに基づいて（例えば、各画素ブロックの動きベクトルの平均値）、連結ブロックの動きベクトルを算出する。密度算出手段は、連結ブロックの画素ブロック数に基づいて（例えば、撮像画像における画素ブロック数に対する連結ブロック（複数の連結ブロックがある場合には、すべての連結ブロック）を構成する画素ブロック数の比）、動きベクトルの分布密度を算出する。判定手段は、撮像装置で繰り返し撮像した場合、得られた撮像画像に基づいて、動きベクトルの分布密度又は連結ブロックの動きベクトルを算出することにより、車両の時間的分布及び空間的分布に基づいた交通状況を判定する。
【００４２】
第２発明にあっては、密度算出手段及びベクトル算出手段は、所定時間に亘って動きベクトルの分布密度及び連結ブロックの動きベクトルを複数回算出し、算出した複数の動きベクトルの分布密度及び連結ブロックの動きベクトルに基づいて、それらの平均値、最頻値、又は中央値の少なくとも一つを含む統計値を算出する。これにより、動きベクトルの分布密度及び連結ブロックの動きベクトルの変動が突発的に生じた場合に、その影響を排除するとともに、信頼性の高い値を算出する。
【００４３】
第３発明にあっては、判定手段は、前記統計値により算出された動きベクトルの分布密度又は連結ブロックの動きベクトルの大きさに基づいて、交通渋滞状況を判定する。例えば、動きベクトルの分布密度の大小、連結ブロックの動きベクトルの大きさの大小（又は撮像画像における動きベクトルの大きさから車両の速度に換算し、換算した速度の大小）の組合せに応じて、閑散、普通流、渋滞、大渋滞などの交通渋滞の度合いを判定する。
【００４４】
第４発明にあっては、画像処理装置は、撮像画像上の道路又は車線の位置、方向などに基づいて、予め車両が走行する交通流の方向を定める標準方向を記憶しておく。角度算出手段は、連結ブロックの動きベクトルの方向と標準方向との角度差を算出し、判定手段は、算出された角度差が略１８０度である場合、交通異常と判定する。すなわち、前記判定手段は、車両が反対方向に逆走する交通異常と判定する。
【００４５】
第５発明にあっては、画像処理装置は、撮像画像上の道路又は車線の位置、方向などに基づいて、予め車両が走行する交通流の方向を定める標準方向を記憶しておく。角度差算出手段は、算出された動きベクトルの方向と標準方向との角度差を算出する。判定手段は、計時された判定時間が所定の時間以上となるまで、角度差が第１閾値以上である場合、交通異常と判定する。これにより、交通事故又は道路上の障害物を避ける回避走行などの交通異常が継続して発生していると判定する。
【００４６】
第６発明にあっては、予め同一進行方向の複数の車線に対応した判定領域夫々を撮像画像に設けておく。判定手段は、計時された判定時間が所定の時間以上となるまで、一の判定領域（撮像画像での一の車線に対応する領域）の連結ブロックの動きベクトルの大きさが第２閾値より小さく、他の判定領域（撮像画像での他の車線に対応する領域）の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定する。
【００４７】
例えば、一の判定領域に対応する車線での動きベクトルの大きさ（又は車両の速度）が前記第２閾値より小さく、渋滞の度合いが混雑又は大混雑であると判定される場合に、他の判定領域に対応する車線での動きベクトルの大きさ（又は車両の速度）が前記第２閾値より大きく、渋滞の度合いが閑散又は普通流であると判定されるときは、両方の車線で渋滞の度合いの差が大きく、一の判定領域に対応する車線で交通事故、駐車違反などの交通障害による交通異常であると判定する。また、一の判定領域に対応する車線での動きベクトルの大きさ、及び他の判定領域に対応する車線での動きベクトルの大きさ夫々が、前記第２閾値より大きい場合、又は小さい場合には、両方の車線で渋滞の度合いの差が小さく交通異常はないと判定する。
【００４８】
第７発明にあっては、前記判定手段は、計時された判定時間が所定の時間以上となるまで、前記一の判定領域の動きベクトルの分布密度が第３閾値より大きい場合に、交通異常と判定する。例えば、一の判定領域に対応する車線での渋滞度合いが、大混雑であると判定される場合に、一の判定領域に対応する車線で交通事故、駐車違反などの交通障害による交通異常であると判定する。これにより、交通事故、駐車違反などの交通障害による交通異常をさらに精度良く判定する。
【００４９】
第８発明にあっては、予め同一進行方向の複数の車線に対応した判定領域夫々を撮像画像に設けておく。判定手段は、計時された判定時間が所定の時間以上となるまで、一の判定領域（撮像画像での一の車線に対応する領域）で連結ブロックが特定されず、他の判定領域（撮像画像での他の車線に対応する領域）の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定する。例えば、一の判定領域に対応する車線で車両が存在せず、他の判定領域に対応する車線での動きベクトルの大きさ（又は車両の速度）が前記第２閾値より大きく、渋滞の度合いが閑散又は普通流であると判定されるときは、一の判定領域に対応する車線で車両が走行できないような交通障害による交通異常であると判定する。これにより、交通事故、駐車違反などの交通障害による交通異常をさらに精度良く判定する。
【００５０】
第９発明にあっては、画像処理装置は、道路における交通規制（例えば、停止線前方の進入禁止、交差点の右折禁止など）に対応する規制領域を撮像画像に設けてあり、前記規制領域での交通流の規制方向を（例えば、走行禁止方向を示す）を記憶してある。画像処理装置は、連結ブロックの前記規制領域への進入を検出した場合、前記連結ブロックの動きベクトルと前記規制領域の規制方向とを比較する。判定手段は、前記規制領域に進入した連結ブロックの動きベクトルの方向と前記規制方向とが略一致する場合に、交通違反と判定する。
【００５１】
例えば、前記判定手段は、連結ブロックの動きベクトルの方向と前記規制方向とが略一致する場合は、前記判定手段は、車両が禁止されている方向に走行したとして、進入禁止領域への進入、右折禁止での右折走行などの交通違反と判定する。
【００５２】
第１０発明にあっては、画像処理装置は、連結ブロック同士が重複する重複領域を特定した場合、該重複領域の画素ブロック数と第４閾値とを比較する。すなわち、重複領域の画素ブロック数が前記第４閾値以上である場合は、連結ブロックに対応する車両同士の衝突の可能性が高く、重複領域の画素ブロック数が前記第４閾値以下である場合は、連結ブロックに対応する車両同士の衝突の可能性が低い。判定手段は、前記重複領域の画素ブロック数が前記第４閾値以上になる第１撮像時点（すなわち、衝突推定時点）と、該第１撮像時点より前の第２撮像時点（すなわち、衝突前の時点）との間で、前記重複領域の画素が有する輝度値の差が第５閾値以上である場合に、交通事故と判定する。
【００５３】
すなわち、前記判定手段は、第２撮像時点（衝突前の時点）と第１撮像時点（衝突推定時点）との間で、前記重複領域が有する輝度値の差が前記第５閾値以上である場合は、第２撮像時点から第１撮像時点までの間に、前記重複領域に車両が移動しているため、衝突したものとして交通事故の発生と判定する。一方、前記判定手段は、第２撮像時点（衝突前の時点）と第１撮像時点（衝突推定時点）との間で、前記重複領域が有する輝度値の差が第５閾値以下である場合は、第２撮像時点から第１撮像時点までの間に、前記重複領域に車両が移動していないため、衝突は回避され、交通事故はないと判定する。
【００５４】
第１１発明にあっては、前記判定手段は、前記第２撮像時点（衝突前の時点）に前記連結ブロックが存在した領域夫々の画素が有する輝度値の前記第１撮像時点（衝突推定時点）及び第２撮像時点での差が第６閾値以上である場合に、交通事故と判定する。すなわち、前記判定手段は、前記第１撮像時点及び第２撮像時点において、第２撮像時点に連結ブロックが存在した領域夫々の画素が有する輝度値の差が前記第６閾値以上である場合は、第２撮像時点から第１撮像時点までの間に、連結ブロックに対応する車両は停止せずに移動しているため、衝突したものとして交通事故の発生と判定する。一方、前記判定手段は、前記第１撮像時点及び第２撮像時点において、第２撮像時点に連結ブロックが存在した領域夫々の画素が有する輝度値の差が前記第６閾値以下である場合は、第２撮像時点から第１撮像時点までの間に、連結ブロックに対応する車両は停止しているため、衝突は回避され、交通事故はないと判定する。
【００５５】
第１３発明にあっては、画像処理装置は、撮像画像を所望の画素ブロック（例えば、８×８画素のブロック）に分割し、一の撮像時点の撮像画像の各画素ブロックに対応する画素ブロックを前記一の撮像時点と異なる撮像時点の撮像画像で特定する。異なる撮像時点間において、対応する画素ブロックが特定された場合、特定された画素ブロックの撮像画像での位置変化に基づき、対応する画素ブロックの中心同士を結ぶベクトルである画素ブロックの動きベクトルを算出する。これにより、異なる撮像時点間で画素ブロックの位置変化がない道路上の影、路面標記などを排除することができる。画像処理装置は、算出した動きベクトルを判定装置へ送信する。
【００５６】
前記判定装置は、前記動きベクトルを受信し、受信した動きベクトルの方向が略一致する画素ブロックであって、隣接した画素ブロックを連結した連結ブロックを特定する。これにより、道路を走行する車両を特定する。ベクトル算出手段は、連結ブロックを構成する各画素ブロックの動きベクトルに基づいて（例えば、各画素ブロックの動きベクトルの平均値）、連結ブロックの動きベクトルを算出する。密度算出手段は、撮像画像における画素ブロック数に対する連結ブロック（複数の連結ブロックがある場合には、すべての連結ブロック）を構成する画素ブロック数の比を動きベクトルの分布密度として算出する。前記判定装置は、算出した動きベクトルの分布密度又は連結ブロックの動きベクトルに基づいて交通状況を判定する。
【００５７】
第１４発明にあっては、道路を含む異なる領域を撮像する３つ以上の撮像装置で撮像した撮像画像を画像処理装置で処理し、前記判定装置は、前記画像処理装置夫々が送信した動きベクトルに基づいて、動きベクトルの分布密度又は連結ブロックの動きベクトルを算出し、各撮像装置における交通渋滞状況を判定する。道路に沿って位置した３つ以上の撮像装置のうち、一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、第２の交通渋滞状況であると判定する。
【００５８】
例えば、一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が普通流であり、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した交通渋滞状況が混雑である場合に、前記判定装置は、渋滞度合いの粗密波が存在すると判定し、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況も、混雑であると判定することにより、道路の広範囲に対して同一の交通渋滞状況を判定する。
【００５９】
第１５発明にあっては、前記判定装置は、一の時点で、前記一の撮像装置で撮像した撮像画像により第１の交通渋滞状況を判定し、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により第２の交通渋滞状況を判定する。前記第１の交通渋滞状況及び第２の交通渋滞状況が異なる場合に、前記判定装置は、前記一の時点と異なる複数の他の時点で、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が、前記第２の交通渋滞状況であるときは、前記一の時点で判定した第１の交通渋滞状況は誤判定であるとして、第２の交通渋滞状況であると判定する。
【００６０】
例えば、一の時点で、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が混雑であり、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した交通渋滞状況が混雑ではなく閑散である場合に、前記一の時点と異なる複数の他の時点で、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が閑散であるときは、前記一の時点で混雑と判定した判定結果は誤りであるとして、閑散であると判定する。
【００６１】
第１６発明にあっては、前記判定装置は、複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況が同一である場合に、前記撮像装置のうち交通流の下流端の撮像装置の位置に基づいて、交通渋滞変化点を判定する。例えば、複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況が混雑である場合、前記撮像装置のうち交通流の下流端の撮像装置（すなわち、混雑であると判定された領域を撮像する連続した複数の撮像装置のうちで、交通流の最も下流の撮像装置）の位置を交通渋滞の変化点（例えば、混雑のボトルネック）として判定する。
【発明の効果】
【００６２】
第１発明、第１２発明、第１７発明及び第１８発明にあっては、撮像時点の異なる撮像画像で特定した対応する画素ブロックの位置変化により、隣接の画素ブロックを連結した連結ブロックの動きベクトルを算出し、算出した動きベクトル又は該動きベクトルに基づいて算出した動きベクトルの分布密度により交通状況を判定することにより、外部環境変化に影響されずに車両の時間的分布及び空間的分布に基づいた交通状況を判定することができる。
【００６３】
第２発明にあっては、所定時間に複数回算出した動きベクトルの分布密度及び動きベクトルに基づいて、それらの平均値、最頻値、又は中央値の少なくとも一つを含む統計値を算出することにより、さらに正確に交通状況を判定することができる。
【００６４】
第３発明にあっては、動きベクトルの分布密度又は連結ブロックの動きベクトルの大きさに基づいて、交通渋滞状況を判定することにより、閑散、普通流、渋滞、大渋滞などの交通渋滞の度合いを正確に判定することができる。
【００６５】
第４発明にあっては、連結ブロックの動きベクトルの方向と交通流の方向を定める標準方向との角度差が略１８０度である場合、交通異常と判定することにより、車両が反対方向に逆走する異常を容易に判定することができる。
【００６６】
第５発明にあっては、計時された判定時間が所定の時間以上となるまで、連結ブロックの動きベクトルの方向と交通流の方向を定める標準方向との角度差が第１閾値以上である場合、交通異常と判定することにより、駐車車両、事故車両、又は障害物などを避けるための回避走行が継続していることを容易に判定することができる。
【００６７】
第６発明にあっては、同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、計時された判定時間が所定の時間以上となるまで、一の判定領域の連結ブロックの動きベクトルの大きさが第２閾値より小さく、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定することにより、両方の車線で渋滞の度合いに応じて、同一走行車線の一つで交通障害が発生していることを判定することができる。
【００６８】
第７発明にあっては、計時された判定時間が所定の時間以上となるまで、前記一の判定領域の動きベクトルの分布密度が第３閾値より大きい場合に、交通異常と判定することにより、さらに精度良く交通異常を判定することができる。
【００６９】
第８発明にあっては、計時された判定時間が所定の時間以上となるまで、一の判定領域で連結ブロックが特定されず、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定することにより、さらに精度良く交通異常を判定することができる。
【００７０】
第９発明にあっては、交通規制に対応する規制領域を撮像画像に設けてあり、前記規制領域に進入した連結ブロックの動きベクトルの方向と、交通流の規制方向とが略一致する場合に、交通違反と判定することにより、進入禁止領域への進入、右折禁止での右折走行などの交通違反を判定することができる。
【００７１】
第１０発明にあっては、連結ブロック同士が重複する重複領域の画素ブロック数が第４閾値以上になる第１撮像時点と、該第１撮像時点より前の第２撮像時点との間で、前記重複領域の画素が有する輝度値の差が前記第５閾値以上である場合に、交通事故と判定することにより、衝突事故の発生を容易に判定することができる。
【００７２】
第１１発明にあっては、前記第１撮像時点及び第２撮像時点の間で、該第２撮像時点に連結ブロックが存在した領域夫々の画素が有する輝度値の差が第６閾値以上である場合は、交通事故と判定することにより、さらに精度良く衝突事故の発生を判定することができる。
【００７３】
第１３発明にあっては、画像処理装置で算出した動きベクトルを判定装置へ送信し、該判定装置は、受信した動きベクトルに基づいて、動きベクトルの分布密度及び連結ブロックの動きベクトルを算出し、算出した動きベクトルの分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定することにより、遠隔地の交通状況を容易に判定することができるとともに、画像処理装置の負荷を減らし、簡略化することにより、システム全体のコストを低減することができる。
【００７４】
第１４発明にあっては、道路に沿って位置した３つ以上の撮像装置のうち、一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、第２の交通渋滞状況であると判定することにより、渋滞度合いの粗密波を判定して、遠隔地の複数地点の交通渋滞状況を広範囲に判定することができる。
【００７５】
第１５発明にあっては、一の時点で、前記一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況と、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況とが異なる場合に、前記一の時点と異なる複数の他の時点において、前記一の撮像装置で撮像した撮像画像により交通渋滞状況を判定することにより、誤判定を低減することができる。
【００７６】
第１６発明にあっては、前記判定装置は、複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況が同一である場合に、前記撮像装置のうち交通流の下流端の撮像装置の位置に基づいて、交通渋滞変化点を判定することにより、交通渋滞（例えば、混雑）のボトルネック地点を検出することができる。
【発明を実施するための最良の形態】
【００７７】
実施の形態１
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明の実施の形態に係る交通状況判定システムの概要を示す模式図である。図において、１は道路を含む領域を撮像するビデオカメラである。ビデオカメラ１は、例えば、交差点付近の路上１０ｍ程度の位置に、光軸を道路方向に沿って配置してあり、片側４車線の道路５の数十ｍの撮像範囲６の交通状況を撮像する。
【００７８】
ビデオカメラ１には、画像処理装置２を接続してあり、画像処理装置２は、ビデオカメラ１で撮像して得られた撮像画像を処理して交通状況の判定を行う。画像処理装置２は、インターネットなどの通信回線４に接続され、通信回線４には、管制センタ装置３を接続してある。画像処理装置２で判定された交通状況は、通信回線４を介して管制センタ装置３へ送信され、管制センタ装置３は、画像処理装置２から送信された交通状況を受信し、受信した交通状況を表示、集計し、管制センタの操作員が所要の交通管制を行う。画像処理装置２は、判定した交通状況に応じて、信号機（不図示）の信号表示を制御し、また、交通表示板（不図示）などに所要の交通情報を表示させて、円滑な交通又は事故の未然防止を行う。
【００７９】
図２は画像処理装置２及び管制センタ装置３の構成を示すブロック図である。図において、１はビデオカメラである。ビデオカメラ１は撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部２１へ出力する。画像入力部２１は、取得した映像信号をＡ／Ｄ変換部２２へ出力し、Ａ／Ｄ変換部２２は、入力された映像信号をデジタル信号に変換し、ＣＰＵ２８の制御のもと、変換されたデジタル信号を画像データとして画像メモリ２３へ記憶する。ＣＰＵ２８は、画像入力部２１を介してビデオカメラ１から入力された撮像画像を画像データとして、ビデオカメラ１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、６４０×４８０画素）で画像メモリ２３に記憶する。
【００８０】
補助記憶部２６は、本発明のコンピュータプログラムＰＧを記録したＣＤ−ＲＯＭ２９が挿入されることにより、ＣＤ−ＲＯＭ２９に記録されたコンピュータプログラムＰＧをＲＡＭ２４に記憶する。ＣＰＵ２８は、ＲＡＭ２４に記憶されたコンピュータプログラムＰＧを実行する。画像処理装置２は、ＣＤ−ＲＯＭ２９に記録したコンピュータプログラムＰＧがＲＡＭ２４に読み込まれ、読み込まれたコンピュータプログラムＰＧをＣＰＵ２８で実行することにより、後述するフレーム画像処理、交通渋滞判定処理、交通異常判定処理などの交通状況を判定するための処理を実現する。
【００８１】
画像メモリ２３は、画像入力部２１を介して取得された撮像画像を画像データとして、フレーム毎に記憶するとともに、ＣＰＵ２８の処理に伴って、算出された算出結果を各フレームに対応して記憶する。
【００８２】
記憶部２７は、コンピュータプログラムＰＧをＣＰＵ２８で実行することにより、得られた交通状況の判定結果を記憶している。また、記憶部２７は、交通渋滞の度合いを判定するための交通渋滞判定テーブル２７１、車両の走行方向を判定するための標準方向を記憶している。標準方向は、道路を走行する車両の交通流の方向を定めるものであり、道路の形態、ビデオカメラ１の設置場所などに応じて、撮像画像上での交通流の方向は異なるため、ビデオカメラ１の設置場所などに応じて、所要の方向を定めた標準方向を記憶しておくことができる。なお、標準方向は、撮像画像におけるｘ座標に対するｙ座標の関係を示す数値テーブルで記憶しておくことができる。
【００８３】
通信部２５は、画像処理装置２で判定された交通状況の判定結果を、通信回線４を介して管制センタ装置３へ送信する。また、通信部２５は、判定結果に基づいた制御信号をＣＰＵ２８の制御のもと、信号機、交通表示板（いずれも不図示）などに送信して、信号機の表示制御、交通情報の表示制御などを行うこともできる。
【００８４】
管制センタ装置３の通信部３１は、画像処理装置２から送信された交通状況の判定結果を受信し、受信した判定結果をＣＰＵ３６の制御のもと、液晶ディスプレイを備えた表示部３３に表示させるとともに、記憶部３４に記憶する。
【００８５】
ＣＰＵ３６は、ＲＡＭ３２に記憶されたコンピュータプログラムを実行することにより、交通状況の判定結果の表示、集計などの処理を行う。
【００８６】
操作部３５は、キーボード、マウスなどを備え、管制センタ装置３に対する入力操作を行うことができ、管制センタの操作員の操作を受付けることにより、管制センタ装置３は、交通状況の判定結果の表示処理、集計処理などを行う。
【００８７】
次に、本発明に係る交通状況判定システムの処理手順について説明する。図３は交通状況判定の処理手順を示すフローチャートである。ＣＰＵ２８は、内蔵するタイマをセットすることにより、判定時間Ｔ１の計時を開始し（Ｓ１）、算出時間Ｔ２（Ｔ２＜Ｔ１）の計時を開始する（Ｓ２）。
【００８８】
ＣＰＵ２８は、フレーム画像処理を行い（Ｓ３）、算出時間Ｔ２が経過したか否かを判定する（Ｓ４）。算出時間Ｔ２が経過していない場合（Ｓ４でＮＯ）、ＣＰＵ２８は、ステップＳ３のフレーム画像処理を繰り返し続ける。
【００８９】
一方、算出時間Ｔ２が経過した場合（Ｓ４でＹＥＳ）、ＣＰＵ２８は、交通渋滞判定の処理を行い（Ｓ５）、交通異常判定の処理を行う（Ｓ６）。ＣＰＵ２８は、交通異常の有無を判定し（Ｓ７）、交通異常が有ると判定した場合（Ｓ７でＹＥＳ）、判定時間Ｔ１が経過したか否かを判定する（Ｓ８）。
【００９０】
判定時間Ｔ１が経過していない場合（Ｓ８でＮＯ）、ＣＰＵ２８は、算出時間Ｔ２をゼロにすることにより算出時間Ｔ２をリセットし（Ｓ９）、ステップＳ２以降の処理を続け、フレーム画像処理、交通渋滞判定処理、交通異常判定処理を繰り返す。
【００９１】
判定時間Ｔ１が経過した場合（Ｓ８でＹＥＳ）、ＣＰＵ２８は、通信部２５を介して交通異常を管制センタ装置３へ通知する（Ｓ１０）。ＣＰＵ２８は、管制センタ装置３からの終了指令の有無を判定し（Ｓ１１）、終了指令が無い場合（Ｓ１１でＮＯ）、判定時間Ｔ１、算出時間Ｔ２をゼロにすることにより、判定時間Ｔ１、算出時間Ｔ２をリセットし（Ｓ１２）、ステップＳ１以降の処理を続ける。
【００９２】
一方、交通異常が無いと判定した場合（Ｓ７でＮＯ）、ＣＰＵ２８はステップＳ１１以降の処理を続ける。ＣＰＵ２８は、終了指令が有る場合（Ｓ１１でＹＥＳ）、処理を終了する。
【００９３】
これにより、画像処理装置２は、算出時間Ｔ２の間フレーム画像処理を繰り返し行い、算出時間Ｔ２が経過した時点で、交通渋滞判定処理、交通異常判定処理を行う。すなわち、算出時間Ｔ２の間繰り返し算出された結果に基づいて、算出時間Ｔ２の経過の都度交通渋滞判定処理、交通異常判定処理を行う。算出時間Ｔ２の経過時点で交通異常が有ると判定された場合は、算出時間Ｔ２よりも長い判定時間Ｔ１の間、交通異常が継続して発生しているかを判定し、判定時間Ｔ１の間継続して交通異常が有る場合に、交通異常の通知を行う。
【００９４】
図４はフレーム画像処理の処理手順を示すフローチャートである。ＣＰＵ２８は、撮像時点の異なる２つの撮像画像（例えば、撮像時点ｔkのフレームｆk、撮像時点ｔk+1 のフレームｆk+1）を画像メモリ２３から取得する（Ｓ３０１）。
【００９５】
ＣＰＵ２８は、取得した一方の撮像画像の画素ブロック（例えば、８×８画素）毎に、画素ブロック内画素が有する輝度値（又は階調値など）に基づいて、他方の撮像画像を走査し一致する画素ブロックを特定する（Ｓ３０２）。２つの撮像画像間で一致する画素ブロックを特定する場合、画素ブロック内画素の輝度平均値、標準偏差値、差分輝度値の絶対値などの一致度を示すパラメータを用いることができる。
【００９６】
ＣＰＵ２８は、２つの撮像画像で一致する画素ブロックの撮像画像における座標（位置）変化に基づいて、各画素ブロックの動きベクトルを算出する（Ｓ３０３）。この場合、画素ブロックの座標は、画素ブロックの中心の座標である。なお、画素ブロックの左上角の座標を用いてもよい。撮像時点ｔkの撮像画像における画素ブロックＰjの座標が（ｘk、ｙk）、撮像時点ｔk+1の撮像画像における画素ブロックＰjの座標が（ｘk+1、ｙk+1）である場合、動きベクトルＰＶjは、（ｘk+1-ｘk、ｙk+1-ｙk）となる。なお、座標変化が無い場合は、動きベクトルはゼロになり、かかる画素ブロックは、ステップＳ３０３以降の処理において除外される。また、算出した動きベクトルの大きさが、予め定めた閾値より小さい場合には、その画素ブロックの動きベクトルはゼロであるとして、除外してもよい。
【００９７】
ＣＰＵ２８は、算出された動きベクトルの方向が略一致する画素ブロックであって、隣接する画素ブロックを連結した連結ブロックを特定する（Ｓ３０４）。これにより、連結ブロックは走行車両に対応する。なお、連結ブロックを特定する場合に、連結ブロックを構成する画素ブロックの数が、予め定めた閾値（例えば、３）より小さい場合は、ノイズとして除去することもできる。
【００９８】
ＣＰＵ２８は、特定された連結ブロックが有るか否かを判定し（Ｓ３０５）、連結ブロックが有る場合（Ｓ３０５でＹＥＳ）、連結ブロックを構成する各画素ブロックの動きベクトルの平均値を連結ブロックの動きベクトルとして算出する（Ｓ３０６）。ＣＰＵ２８は、記憶部２７から標準方向を読み出し、連結ブロックの動きベクトルの方向と標準方向との角度差を算出する（Ｓ３０７）。
【００９９】
ＣＰＵ２８は、算出された角度差が略１８０°に等しいか否かを判定し（Ｓ３０８）、角度差が略１８０°に等しい場合（Ｓ３０８でＹＥＳ）、逆走行が有ることを管制センタ装置３へ通知する（Ｓ３０９）。角度差が略１８０°に等しくない場合（Ｓ３０８でＮＯ）、ＣＰＵ２８は、１フレーム分の撮像画像が有する画素ブロック数に対する前記撮像画像で特定された連結ブロックを構成する画素ブロック数の比を動きベクトルの分布密度として算出する（Ｓ３１０）。
【０１００】
ＣＰＵ２８は、連結ブロックの動きベクトルの大きさを、予め定められた変換式により連結ブロックに対応する車両の速度に変換して、車両の速度を算出し（Ｓ３１１）、算出した動きベクトルの分布密度、速度、連結ブロック数を記録し（Ｓ３１２）、フレーム画像処理を終了する。一方、連結ブロックが無い場合（Ｓ３０５でＮＯ）、ＣＰＵ２８は、連結ブロック無しの記録をし（Ｓ３１３）、フレーム画像処理を終了する。なお、連結ブロックの動きベクトルの大きさと、連結ブロックに対応する車両の速度は、一義的に決定されるので、等価なものとすることができる。
【０１０１】
図５は画素ブロックの動きベクトルを示す説明図である。図に示すように、撮像時点ｔkの撮像画像における画素ブロックＰjの座標が（ｘk、ｙk）、撮像時点ｔk+1の撮像画像における画素ブロックＰjの座標が（ｘk+1、ｙk+1）である場合、動きベクトルＰＶjは、（ｘk+1-ｘk、ｙk+1-ｙk）となる。
【０１０２】
図６は連結ブロックの例を示す説明図である。図に示すように、撮像画像を所定の画素ブロックで分割し、各画素ブロックの動きベクトルを算出し、算出した動きベクトルの方向が略一致する画素ブロックであって、隣接する画素ブロックのみを連結することにより、連結ブロックを特定する。動きベクトルの方向が略一致する画素ブロックであっても、離隔している画素ブロックはノイズとして除去する。また、連結された画素ブロックの数が所定の閾値（例えば、３）以下の場合も、ノイズとして除去することにより、連結ブロックにより走行車両を精度良く特定することができる。
【０１０３】
図７は撮像画像の例を示す説明図である。上述の通り、ビデオカメラ１は、片側４車線の道路を含む領域を撮像するように配置してある。撮像画像において、車線ごとに交通状況を判定するための判定領域３０ａ、３０ｂ、３０ｃ、３０ｄを設定してある。すなわち、判定領域３０ａ、３０ｂ、３０ｃ、３０ｄ夫々は、片側４車線の各車線を示す。道路を走行する車両は、動きベクトルにより特定される。上述のフレーム画像処理は、判定領域毎に処理される。
【０１０４】
図８はフレーム画像処理で算出される算出情報を示す説明図である。図８（ａ）に示すように、１フレームの撮像画像は、例えば、８×８画素から構成される画素ブロックＰ1、Ｐ2、…Ｐnに分割される。図８（ｂ）に示すように、画素ブロック毎に算出された動きベクトルＰＶ1、ＰＶ2、…ＰＶnが記録される。動きが検出されなかった画素ブロックの動きベクトルはゼロである。図８（ｃ）に示すように、１フレームの撮像画像毎に、連結ブロック数、特定された連結ブロック毎に、連結ブロックの動きベクトルＣＢ1…、連結ブロックに対応する車両の速度Ｃｖ１、…、動きベクトルの分布密度Ｄなどの算出情報が算出され、記録される。
【０１０５】
連結ブロックの動きベクトルから、連結ブロックに対応する車両の速度への変換は、例えば、数１で表される式に基づいて行うことができる。
【０１０６】
【数１】
【０１０７】
ここで、実空間での座標系を（Ｘ、Ｙ、Ｚ）、撮像画像上での座標系を（ｘ、ｙ）とする。実空間では、垂直方向をＺ、道路の延びる方向をＹ、道路を横断する方向をＸにとる。撮像画像面上でのｘ軸方向を実空間でのＸ方向に平行とし、撮像画像面上でのｙ軸方向を実空間でのＹ方向とし、ビデオカメラ俯角（ビデオカメラの光軸とＹ軸方向とがなす角度）をαとなるように設置する。また、ビデオカメラレンズの焦点距離をＦ、ビデオカメラの設置高さをＨ、撮像画像面のｙ軸方向の大きさ（寸法）をＱｙ、撮像面のｙ軸方向の画素数をＮｙとする。走行車両の路面からの検出点などの経験値から、例えば、車両の平均高さ５０ｃｍを数１式に代入してＹを算出し、Ｙ座標の移動距離及び移動時間により車両の速度を算出することができる。なお、動きベクトルの大きさから速度の算出は、変換テーブルのようなものを用いてもよく、また、変換式に基づいて演算処理して求めてもよい。
【０１０８】
図９は交通渋滞判定の処理手順を示すフローチャートである。ＣＰＵ２８は、算出時間Ｔ２の間に亘って複数回算出された速度、動きベクトルの分布密度から速度の平均値を算出し（Ｓ５０１）、動きベクトルの分布密度の平均値を算出する（Ｓ５０２）。ＣＰＵ２８は、記憶部２７から交通渋滞判定テーブル２７１を読み出し、速度が１０ｋｍ以下であるか否かを判定する（Ｓ５０３）。
【０１０９】
速度が１０ｋｍ以下である場合（Ｓ５０３でＹＥＳ）、ＣＰＵ２８は、動きベクトルの分布密度が７５％以下であるか否かを判定する（Ｓ５０４）。分布密度が７５％以下である場合（Ｓ５０４でＹＥＳ）、ＣＰＵ２８は混雑であると判定し（Ｓ５０５）、判定結果を管制センタ装置３へ通知し（Ｓ５１０）、処理を終了する。分布密度が７５％以上である場合（Ｓ５０４でＮＯ）、ＣＰＵ２８は、大混雑であると判定し（Ｓ５０６）、判定結果を管制センタ装置３へ通知し（Ｓ５１０）、処理を終了する。
【０１１０】
一方、速度が１０ｋｍ以上である場合（Ｓ５０３でＮＯ）、ＣＰＵ２８は、動きベクトルの分布密度が５０％以下であるか否かを判定する（Ｓ５０７）。分布密度が５０％以下である場合（Ｓ５０７でＹＥＳ）、ＣＰＵ２８は閑散であると判定し（Ｓ５０８）、判定結果を管制センタ装置３へ通知し（Ｓ５１０）、処理をする。分布密度が５０％以上である場合（Ｓ５０７でＮＯ）、ＣＰＵ２８は普通流であると判定し（Ｓ５０９）、判定結果を管制センタ装置３へ通知し（Ｓ５１０）、処理を終了する。なお、交通渋滞判定処理は、上述の判定領域毎（例えば、判定領域３０ａ、３０ｂ）に行われる。
【０１１１】
これにより、算出時間Ｔ２の間に亘って、複数回算出された動きベクトル、動きベクトルの分布密度夫々の平均値に基づいて、交通渋滞の度合いを判定することができる。
【０１１２】
図１０は交通渋滞判定テーブルのレコードレイアウトである。図に示すように、速度及び動きベクトルの分布密度の組み合わせに応じて、交通渋滞の渋滞度合いを、閑散、普通流、混雑、大混雑に区分して判定できるようにしてある。なお、速度に代えて、動きベクトルの大きさを組み合わせてもよい。
【０１１３】
図１１は交通異常判定の処理手順を示すフローチャートである。図において、一の領域（交通異常の有無を判定する領域）と、他の領域（前記一の領域以外の他の領域、例えば、片側４車の道路であれば、他の３つの車線のいずれか）は、車両の進行方向が同一である。ＣＰＵ２８は、他の領域の渋滞度合いが普通流又は閑散（第２閾値）であるか否かを判定する（Ｓ６０１）。普通流又は閑散である場合（Ｓ６０１でＹＥＳ）、ＣＰＵ２８は、一の領域の渋滞度合いが大混雑（第３閾値）であるか否かを判定する（Ｓ６０２）。
【０１１４】
一の領域が大混雑である場合（Ｓ６０２でＹＥＳ）、ＣＰＵ２８は、同方向車線で渋滞度合いが大きく異なるため、交通異常有りと記録し（Ｓ６０３）、処理を終了する。一の領域が大混雑でない場合（Ｓ６０２でＮＯ）、ＣＰＵ２８は、一の領域に連結ブロックが無いか否かを判定する（Ｓ６０４）。
【０１１５】
一の領域に連結ブロックが無い場合（Ｓ６０４でＹＥＳ）、ＣＰＵ２８は、同方向車線で渋滞度合いが大きく異なるため、交通異常有りと記録し（Ｓ６０３）、処理を終了する。一の領域に連結ブロックが有る場合（Ｓ６０４でＮＯ）、ＣＰＵ２８は、動きベクトルの方向と記憶部２７から読み出した標準ベクトルの方向との角度差を算出する（Ｓ６０５）。
【０１１６】
ＣＰＵ２８は、算出した角度差が閾値角度（第１閾値）より大きいか否かを判定し（Ｓ６０６）、角度差が閾値角度より大きい場合（Ｓ６０６でＹＥＳ）、車両の走行方向が異常であるとして、交通異常有りと記録し（Ｓ６０３）、処理を終了する。角度差が閾値角度より小さい場合（Ｓ６０６でＮＯ）、ＣＰＵ２８は、交通異常無しであると記録し（Ｓ６０７）、処理を終了する。
【０１１７】
これにより、算出時間Ｔ２の間に亘って、複数回算出された動きベクトル、動きベクトルの分布密度夫々の平均値に基づいて、同一走行車線の間で交通渋滞の度合いの差を判定して交通異常（例えば、交通事故、駐車違反車両、障害物などによる交通異常）を記録し、交通異常の状態が判定時間Ｔ１の間継続している場合は、交通異常と判定することができる。また、動きベクトルの平均値に基づいて、車両の通常の走行方向を示す標準方向との角度差を判定して交通異常を記録し、交通異常の状態が判定時間Ｔ１の間継続している場合は、交通異常と判定することができる。
【０１１８】
図１２は交通異常判定の例を示すタイムチャートである。図に示すように、画像処理装置２は、隣接する車線に対応する判定領域３０ａ、３０ｂにおいて、算出時間Ｔ２経過の都度、交通渋滞の度合いを判定する。判定領域３０ａでは閑散であると判定され、判定領域３０ｂでは普通流であると判定されている。次の判定サイクルで、判定領域３０ａでは閑散であると判定され、判定領域３０ｂは大混雑であると判定された場合、両判定領域での渋滞度合いの差が大きいため、交通異常が記録され、判定時間Ｔ１の計時が開始される。これ以降、画像処理装置２は、判定領域３０ａでは閑散であると判定し、判定領域３０ｂでは大混雑であると判定し続けた場合、判定時間Ｔ１が経過した時点で交通異常と判定する。
【０１１９】
なお、上述の例では、判定領域３０ａ、及び判定領域３０ｂに対応する２車線について、交通異常の判定を行っているが、交通異常の判定は、２車線の比較に限定されるものではない。例えば、片側４車線のうちの１車線（例えば、判定領域３０ｂ）の交通異常を判定する場合、判定領域３０ｂと判定領域３０ａ及び判定領域３０ｃとの比較、判定領域３０ｂと判定領域３０ａ、判定領域３０ｃ及び判定領域３０ｄとの比較、又は判定領域３０ｂと判定領域３０ｃ及び判定領域３０ｄとの比較などを行ってもよい。これにより、２車線に限らず、３車線以上でも交通異常を判定することが可能になる。
【０１２０】
実施の形態２
実施の形態１では、交差点の流入路又は流出路の数十ｍの範囲を撮像する構成であったが、交差点内の交通状況を判定することもできる。図１３は実施の形態２に係る交通状況判定システムの概要を示す模式図である。図に示すように、ビデオカメラ１の設置場所が実施の形態１と相違する。ビデオカメラ１は、例えば、交差点角の路上１０ｍ程度の位置に、光軸を一の道路方向に沿って配置してあり、交差点７内を含む交差点付近の各道路を含む撮像範囲６の交通状況を撮像する。なお、画像処理装置２、管制センタ装置３は、実施の形態１と同様であるので、説明は省略する。
【０１２１】
次に、実施の形態２に係る交通状況判定システムの処理手順について説明する。図１４は交通状況判定の処理手順を示すフローチャートである。ＣＰＵ２８は、動きベクトルを算出するためのフレーム画像処理を行い（Ｓ２０）、交通違反の有無を判定するための交通違反判定の処理を行い（Ｓ２１）、交通事故の有無を判定するための交通事故判定の処理を行う（Ｓ２２）。ＣＰＵ２８は、例えば、管制センタ装置３からの終了指令が有るか否かを判定し（Ｓ２３）、終了指令がない場合（Ｓ２３でＮＯ）、ステップＳ２０以降の処理を続け、終了指令が有る場合（Ｓ２３でＹＥＳ）、処理を終了する。
【０１２２】
図１５はフレーム画像処理の処理手順を示すフローチャートである。なお、実施の形態１のフレーム画像処理と同様の部分は、説明を簡略化する。ＣＰＵ２８は、撮像時点の異なる２つの撮像画像（例えば、撮像時点ｔkのフレームｆk、撮像時点ｔk+1のフレームｆk+1を画像メモリ２３から取得する（Ｓ２０１）。
【０１２３】
ＣＰＵ２８は、取得した２つの撮像画像間で一致する画素ブロックを特定し（Ｓ２０２）、一致する画素ブロックの撮像画像における座標（位置）変化に基づいて、各画素ブロックの動きベクトルを算出する（Ｓ２０３）。ＣＰＵ２８は、算出された動きベクトルの方向が略一致する画素ブロックであって、隣接する画素ブロックを連結した連結ブロックを特定する（Ｓ２０４）。
【０１２４】
ＣＰＵ２８は、連結ブロックが有るか否かを判定し（Ｓ２０５）、連結ブロックが有る場合（Ｓ２０５でＹＥＳ）、連結ブロックを構成する各画素ブロックの動きベクトルの平均値を連結ブロックの動きベクトルとして算出する（Ｓ２０６）。連結ブロックがない場合（Ｓ２０５でＮＯ）、ＣＰＵ２８は、ステップＳ２０１以降の処理を続ける。ＣＰＵ２８は、連結ブロックの座標（例えば、連結ブロックの４隅近傍の撮像画像での座標）を記録し（Ｓ２０７）、処理を終了する。
【０１２５】
図１６は交通違反判定の処理手順を示すフローチャートである。ＣＰＵ２８は、道路上の交通規制に対応する規制領域が予め設定された撮像画像において、記録された連結ブロックの座標に基づいて、連結ブロックが規制領域内に有るか否かを判定する（Ｓ２１１）。
【０１２６】
連結ブロックが規制領域内に有る場合（Ｓ２１１でＹＥＳ）、ＣＰＵ２８は、規制領域に関連する規制情報（例えば、規制領域での走行禁止方向のように交通流の規制方向、又は、該規制方向と、制限速度に対応する大きさとに基づいて定められる規制ベクトルなどを含む）を記憶部２７から読み出し（Ｓ２１２）、連結ブロックの動きベクトルの方向と規制方向とを比較する（Ｓ２１３）。
【０１２７】
ＣＰＵ２８は、連結ブロックの動きベクトルの方向と規制方向とが略一致するか否かを判定し（Ｓ２１４）、略一致する場合（Ｓ２１４でＹＥＳ）、交通違反と判定し（Ｓ２１５）、判定結果を管制センタ装置３へ通知する。ＣＰＵ２８は、他の規制領域が有るか否かを判定し（Ｓ２１６）、他の規制領域が有る場合（Ｓ２１６でＹＥＳ）、ステップＳ２１１以降の処理を続ける。一方、略一致しない場合（Ｓ２１４でＮＯ）、ＣＰＵ２８は、ステップＳ２１６以降の処理を続ける。
【０１２８】
図１７は撮像画像の規制領域の例を示す説明図である。交差点の角部であって、交差点手前の停止線夫々の前方に規制領域５０ａ、５０ｂ、５０ｃ、５０ｄを設定し、交差点中央部に規制領域５０ｅを設定している。規制領域５０ａ、５０ｂ、５０ｃ、５０ｄ、５０ｅは、交差点の信号表示に応じて走行禁止方向を規制し、規制領域５０ｅは、時間に応じて右折禁止などの走行禁止方向を規制する。また、規制領域５０ａ、５０ｂ、５０ｃ、５０ｄは、制限速度を規制する。これらの走行禁止方向、制限速度などの規制情報は、規制領域に対応付けた規制情報テーブル２７２を記憶部２７に記憶している。
【０１２９】
図１８は規制情報テーブルのレコードレイアウトである。規制領域毎に、撮像画像上でのｙ軸方向（上下方向）の道路に対する信号表示、走行禁止方向を示す規制ベクトルの方向（規制方向）、規制領域を時間帯別に規制する場合の規制時間、該規制時間帯での走行禁止方向を示す規制ベクトルの方向、制限速度を示す規制ベクトルの大きさなどの欄により構成してある。
【０１３０】
動きベクトルの方向と規制方向を比較する場合に、交差点の信号表示を検知し、信号表示に応じた規制方向と比較することも可能である。また、動きベクトルの方向と規制方向とを比較する場合に、現在時刻を検知し、現在時刻が規制時間帯にあるか否かを判定して、所定の規制方向と比較することも可能である。さらに、動きベクトルの大きさが、制限速度を規定する規制ベクトルの大きさよりも大きいか否かを判定して、規制ベクトルの大きさよりも大きい場合に、速度違反と判定することも可能である。
【０１３１】
図１９は交通事故判定の処理手順を示すフローチャートである。ＣＰＵ２８は、撮像画像において連結ブロックが複数有るか否かを判定する（Ｓ２２１）。連結ブロックが複数（例えば、連結ブロックＡ、Ｂ）有る場合（Ｓ２２１でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔを記録する（Ｓ２２２）。撮像時点ｔの連結ブロックＡ、Ｂが存在した領域をＡｔ、Ｂｔとする。ＣＰＵ２８は、動きベクトルに基づいて、撮像時点ｔ＋１での連結ブロックＡ、Ｂの移動先の領域を予想する（Ｓ２２３）。撮像時点ｔ＋１に連結ブロックＡ、Ｂが存在する領域をＡｔ＋１、Ｂｔ＋１とする。連結ブロックが複数ない場合（Ｓ２２１でＮＯ）、ＣＰＵ２８は、処理を終了する。
【０１３２】
ＣＰＵ２８は、領域Ａｔ＋１、Ｂｔ＋１の重複領域Ｃｔ＋１が有るか否かを判定し（Ｓ２２４）、重複領域Ｃｔ＋１が有る場合（Ｓ２２４でＹＥＳ）、重複領域Ｃｔ＋１を構成する画素ブロック数が所定の閾値（第４閾値）より大きいか否かを判定する（Ｓ２２５）。重複領域Ｃｔ＋１がない場合（Ｓ２２４でＮＯ）、ＣＰＵ２８は、処理を終了する。
【０１３３】
画素ブロック数が閾値より大きい場合（Ｓ２２５でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での重複領域Ｃｔ＋１の輝度差を算出する（Ｓ２２６）。この場合、領域Ａｔ＋１、Ｂｔ＋１に対応する車両同士が、撮像時点ｔ＋１で衝突する可能性が高いと判断される。画素ブロック数が閾値より小さい場合（Ｓ２２５でＮＯ）、ＣＰＵ２８は、処理を終了する。
【０１３４】
ＣＰＵ２８は、算出した輝度差が閾値（第５閾値）より大きいか否かを判定する（Ｓ２２７）。重複領域Ｃｔ＋１の輝度差が閾値より大きい場合（Ｓ２２７でＹＥＳ）、ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での領域Ａｔの輝度差、及び撮像時点ｔ、ｔ＋１での領域Ｂｔの輝度差を算出する（Ｓ２２８）。重複領域Ｃｔ＋１の輝度差が閾値より小さい場合（Ｓ２２７でＮＯ）、ＣＰＵ２８は、処理を終了する。この場合には、この場合には、連結ブロックＡ、Ｂに対応する車両のいずれか、又は両方が停止したと判断される。ＣＰＵ２８は、撮像時点ｔ、ｔ＋１での領域Ａｔの輝度差、及び撮像時点ｔ、ｔ＋１での領域Ｂｔの輝度差が閾値（第６閾値）より大きいか否かを判定する（Ｓ２２９）。
【０１３５】
領域Ａｔ、Ｂｔ夫々の輝度差が閾値より大きい場合（Ｓ２２９でＹＥＳ）、ＣＰＵ２８は、事故有りと判定し（Ｓ２３０）、判定結果を管制センタ装置３へ通知して処理を終了する。領域Ａｔ、Ｂｔいずれかの輝度差が閾値より小さい場合（Ｓ２２９でＮＯ）、ＣＰＵ２８は、処理を終了する。領域Ａｔ、Ｂｔ夫々の輝度差が閾値より大きい場合は、連結ブロックＡ、Ｂに対応する各車両が重複領域に対応する道路上の衝突可能性領域に進入したものと判断され、交通事故の発生の有無の判定をさらに正確に行うことができる。なお、ステップＳ２２９での判定を行わずに、ステップＳ２２７での判定結果のみに基づいて、事故の有無を判定することも可能である。この場合は、処理に要する労力を低減することが可能になる。
【０１３６】
図２０は撮像画像の重複領域の例を示す説明図である。図に示すように、撮像画像上で互いに交差する道路上を交差点に向かって走行する車両に対応する連結ブロックＡ、Ｂを特定した場合、連結ブロックＡが時刻ｔ及びｔ＋１に存在した領域を、夫々Ａｔ、Ａｔ＋１とし、同様に連結ブロックＢが時刻ｔ及びｔ＋１に存在した領域を、夫々Ｂｔ、Ｂｔ＋１とする。時刻ｔ＋１で、連結ブロックＡｔ、Ｂｔが重なると予想される重複領域Ｃｔ＋１は、領域Ａｔ＋１及びＢｔ＋１が重なる部分である。
【０１３７】
実施の形態３
上述の実施の形態では、交差点付近に設置されたビデオカメラで撮像した撮像画像を画像処理装置で処理して交通状況を判定する構成であったが、管制センタ装置３で交通状況を判定することもできる。
【０１３８】
図２１は実施の形態３に係る交通状況判定システムの概要を示す模式図である。図に示すように、ビデオカメラ１、１、…、画像処理装置２、２、…は、夫々交差点７付近に設置され、交差点７又は交差点近傍の道路５を撮像するようにしてあり、画像処理装置２、２、…は通信回線４を介して管制センタ装置３に接続してある。
【０１３９】
画像処理装置２の画像入力部２１は、ビデオカメラ１で撮像して得られた画像データをＮＴＳＣ信号として取得し、Ａ／Ｄ変換部２２は、取得したアナログ信号をデジタル信号に変換し、ＣＰＵ２８は、変換したデジタル信号を画像データとして画像メモリ２３に記憶する。ＣＰＵ２８は、画像メモリ２３に記憶した画像データを所定の方式（例えば、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４など）に基づいて符号化処理し、符号化処理後のデータを通信部２５から管制センタ装置３へ送信する。ＣＰＵ２８は、符号化処理を行う際に画像データに基づいて動きベクトルを算出し、算出した動きベクトルを符号化処理する。
【０１４０】
管制センタ装置３は、画像処理装置２、２、…から送信された符号化処理後のデータを通信部３１で受信し、受信したデータを記憶部３４に記憶する。ＣＰＵ３６は、記憶部３４から符号化処理後のデータを読み出し、読み出したデータから元の画像データを復元するとともに、動きベクトルなどを抽出する。管制センタ装置３は、所定のコンピュータプログラムがＲＡＭ３２に読み込まれ、読み込まれたコンピュータプログラムをＣＰＵ３６で実行することにより、実施の形態１、２において画像処理装置２が行う交通状況を判定するための同様の処理を実現する。
【０１４１】
ＣＰＵ３６で実現される交通状況判定の処理は、図３、図９、図１１、図１４、図１６、図１９で示した処理手順と同様であるが、フレーム画像処理Ｓ３、Ｓ２０が相違する。以下、本実施の形態における交通渋滞判定、交通異常判定を行う場合のフレーム画像処理を説明する。
【０１４２】
図２２はフレーム画像処理の処理手順を示すフローチャートである。ＣＰＵ３６は、画像処理装置２から送信された符号化画像データを受信する（Ｓ３３１）。ＣＰＵ３６は、受信した符号化画像データから動きベクトルを抽出する（Ｓ３３２）。
【０１４３】
ＣＰＵ３６は、抽出された動きベクトルの方向が略一致する画素ブロックであって、隣接する画素ブロックを連結した連結ブロックを特定する（Ｓ３３３）。ＣＰＵ３６は、特定された連結ブロックが有るか否かを判定し（Ｓ３３４）、連結ブロックが有る場合（Ｓ３３４でＹＥＳ）、連結ブロックを構成する各画素ブロックの動きベクトルの平均値を連結ブロックの動きベクトルとして算出する（Ｓ３３５）。ＣＰＵ３６は、記憶部３４から標準方向を読み出し、連結ブロックの動きベクトルの方向と標準方向との角度差を算出する（Ｓ３３６）。
【０１４４】
ＣＰＵ３６は、算出された角度差が略１８０°に等しいか否かを判定し（Ｓ３３７）、角度差が略１８０°に等しい場合（Ｓ３３７でＹＥＳ）、逆走行が有ることを通知する（Ｓ３３８）。角度差が略１８０°に等しくない場合（Ｓ３３７でＮＯ）、ＣＰＵ３６は、１フレーム分の撮像画像が有する画素ブロック数に対する前記撮像画像で特定された連結ブロックを構成する画素ブロック数の比を動きベクトルの分布密度として算出する（Ｓ３３９）。
【０１４５】
ＣＰＵ３６は、連結ブロックの動きベクトルの大きさを、予め定められた変換式により連結ブロックに対応する車両の速度に変換して、車両の速度を算出し（Ｓ３４０）、算出した動きベクトルの分布密度、速度、連結ブロック数を記録し（Ｓ３４１）、フレーム画像処理を終了する。一方、連結ブロックが無い場合（Ｓ３３４でＮＯ）、ＣＰＵ３６は、連結ブロック無しの記録をし（Ｓ３４２）、フレーム画像処理を終了する。なお、画像処理装置２が複数設置してある場合、各画像処理装置２からの符号化画像データを受信し、同様の処理を繰り返す。
【０１４６】
次に、交通違反判定、交通事故判定を行う場合のフレーム画像処理を説明する。図２３はフレーム画像処理の処理手順を示すフローチャートである。ＣＰＵ３６は、画像処理装置２から送信された符号化画像データを受信する（Ｓ２３１）。ＣＰＵ３６は、受信した符号化画像データから動きベクトルを抽出する（Ｓ２３２）。
【０１４７】
ＣＰＵ３６は、抽出された動きベクトルの方向が略一致する画素ブロックであって、隣接する画素ブロックを連結した連結ブロックを特定する（Ｓ２３３）。ＣＰＵ３６は、連結ブロックが有るか否かを判定し（Ｓ２３４）、連結ブロックが有る場合（Ｓ２３４でＹＥＳ）、連結ブロックを構成する各画素ブロックの動きベクトルの平均値を連結ブロックの動きベクトルとして算出する（Ｓ２３５）。連結ブロックがない場合（Ｓ２３４でＮＯ）、ＣＰＵ３６は、ステップＳ２３１以降の処理を続ける。ＣＰＵ３６は、連結ブロックの座標（例えば、連結ブロックの４隅近傍の撮像画像での座標）を記録し（Ｓ２３６）、処理を終了する。なお、画像処理装置２が複数設置してある場合、各画像処理装置２からの符号化画像データを受信し、同様の処理を繰り返す。
【０１４８】
これにより、管制センタ装置３は、多地点の交通状況を広範囲に、かつ同時に判定することが可能になる。また、管制センタ装置３は、多地点に配置された信号機、交通情報表示板などに判定結果に基づいて管制情報を送信し、信号機の制御、交通情報の表示などを行うことができる。
【０１４９】
実施の形態４
道路に沿って、複数のビデオカメラ、画像処理装置を配置することにより、交通渋滞状況を広範囲に亘ってさらに詳細に判定することも可能である。図２４は実施の形態４に係る交通状況判定システムの概要を示す模式図である。図に示すように、ビデオカメラ１、１、…、画像処理装置２、２、…夫々は、適長の離隔距離（例えば、数百ｍ、数ｋｍなど）を有して道路に沿って配置している。便宜上、図中では５つのビデオカメラ及び画像処理装置を示してあり、以下の説明を簡単にするため、交通流の上流から下流に向かって、ビデオカメラ１の符号をＣ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５とする。
【０１５０】
管制センタ装置３は、ビデオカメラＣ１、…、Ｃ５夫々で撮像した撮像画像に基づいて、ビデオカメラＣ１、…、Ｃ５夫々で撮像される領域の交通渋滞状況を判定する。まず、交通流の渋滞度合いの粗密波を検出して広範囲で精度良く渋滞状況を判定する処理について説明する。
【０１５１】
図２５は交通渋滞判定の処理手順を示すフローチャートである。ＣＰＵ３６は、ビデオカメラ１の符号を示すための指標ｎを１にする（Ｓ５２１）。ＣＰＵ３６は、ビデオカメラＣｎで撮像した撮像画像に基づいて交通渋滞を判定し（Ｓ５２２）、ビデオカメラＣｎの隣に離隔して設置されたビデオカメラＣｎ＋１で撮像した撮像画像に基づいて、同じ時点の交通渋滞を判定する（Ｓ５２３）。
【０１５２】
ＣＰＵ３６は、ビデオカメラＣｎにより判定した渋滞度合いとビデオカメラＣｎ＋１により判定した渋滞度合いとが同じであるか否かを判定し（Ｓ５２４）、同じ渋滞度合いでないと判定された場合（Ｓ５２４でＮＯ）、ＣＰＵ３６は、ビデオカメラＣｎ＋１の隣に離隔して設置されたビデオカメラＣｎ＋２で撮像した撮像画像に基づいて、同じ時点の交通渋滞を判定する（Ｓ５２５）。
【０１５３】
ＣＰＵ３６は、ビデオカメラＣｎ＋２により判定した渋滞度合いとビデオカメラＣｎにより判定した渋滞度合いとが同じであるか否かを判定し（Ｓ５２６）、同じ渋滞度合いであると判定された場合（Ｓ５２６でＹＥＳ）、ビデオカメラＣｎ＋１により判定した渋滞度合いを、ビデオカメラＣｎにより判定した渋滞度合いに修正する（Ｓ５２７）。
【０１５４】
ＣＰＵ３６は、すべてのビデオカメラで撮像した撮像画像に基づいて交通渋滞判定を終了したか否かを判定し（Ｓ５２８）、すべてのビデオカメラで撮像した撮像画像に基づいて交通渋滞判定を終了していない場合（Ｓ５２８でＮＯ）、ｎをｎ＋１に置き換え（Ｓ５２９）、ステップＳ５２３以降の処理を続ける。
【０１５５】
すべてのビデオカメラで撮像した撮像画像に基づいて交通渋滞判定を終了した場合（Ｓ５２８でＹＥＳ）、ＣＰＵ３６は、判定した交通渋滞を記録する（Ｓ５３０）。ステップＳ５２６で、同じ渋滞度合いでないと判定された場合（Ｓ５２６でＮＯ）、ＣＰＵ３６は、ステップＳ５２８以降の処理を続ける。一方、ステップＳ５２４で、ビデオカメラＣｎにより判定した渋滞度合いとビデオカメラＣｎ＋１により判定した渋滞度合いとが同じであると判定された場合（Ｓ５２４でＹＥＳ）、ＣＰＵ３６は、ステップＳ５２８以降の処理を続ける。
【０１５６】
ステップＳ５３１で、ＣＰＵ３６は、処理終了の指示の有無を判定し（Ｓ５３１）、処理終了の指示がない場合（Ｓ５３１でＮＯ）、ステップＳ５２１以降の処理を続ける。処理終了の指示がある場合（Ｓ５３１でＹＥＳ）、ＣＰＵ３６は、処理を終了する。
【０１５７】
例えば、ある時刻ｔにおいて、ビデオカメラＣ１、Ｃ２、…、Ｃ５により判定した渋滞状況が、混雑（Ｃ１）、混雑（Ｃ２）、普通流（Ｃ３）、混雑（Ｃ４）、混雑（Ｃ５）である場合、渋滞度合いの粗密波であると判定し、ビデオカメラＣ３により判定した普通流を混雑に修正する。これにより、道路の広範囲に亘って、渋滞度合いの粗密波を検出し、ビデオカメラＣ３単独で渋滞状況を判定した場合に比べて、より精度良く渋滞状況を判定することができる。
【０１５８】
上述の処理手順は、一例であって、道路状況に応じて、判定に使用するビデオカメラ１の台数は、適宜設定することができる。また、判定に使用するビデオカメラ１の台数を増加する場合は、両隣に設置された２つのビデオカメラに限定せず、両隣に連続して設置された複数のビデオカメラにより判定した渋滞度合いを用いることもできる。これにより、さらに広範囲に亘って、精度良く渋滞度合いを判定することができる。
【０１５９】
次に、ある時刻でビデオカメラＣ１、Ｃ２、…、Ｃ５により判定した交通渋滞の状況を、他の複数の時刻で同様に判定した交通渋滞の状況と比較することにより、交通渋滞の誤判定を低減する処理について説明する。
【０１６０】
図２６は交通渋滞判定の処理手順を示すフローチャートである。なお、ある時刻ｔでビデオカメラＣ１、Ｃ２、…、Ｃ５により判定した交通渋滞をＳｔとする。例えば、交通渋滞Ｓｔは、ビデオカメラＣ１、Ｃ２、…、Ｃ５に対応して、Ｓｔ＝（閑散、閑散、普通流、閑散、閑散）のように表すことができる。
【０１６１】
ＣＰＵ３６は、時刻ｔの交通渋滞Ｓｔを判定し（Ｓ５４１）、時刻ｔと適長の離隔間隔を有する時刻ｔ＋１の交通渋滞Ｓｔ＋１を判定する（Ｓ５４２）。ＣＰＵ３６は、交通渋滞ＳｔとＳｔ＋１とが同じであるか否かを判定する（Ｓ５４３）。交通渋滞ＳｔとＳｔ＋１とが同じでない場合（Ｓ５４３でＮＯ）、ＣＰＵ３６は、時刻ｔと適長の離隔間隔を有する時刻ｔ−１の交通渋滞Ｓｔ−１を判定する（Ｓ５４４）。
【０１６２】
ＣＰＵ３６は、交通渋滞Ｓｔ＋１とＳｔ−１が同じであるか否かを判定する（Ｓ５４５）。交通渋滞Ｓｔ＋１とＳｔ−１が同じである場合（Ｓ５４５でＹＥＳ）、ＣＰＵ３６は、時刻ｔ＋２の交通渋滞Ｓｔ＋２を判定する（Ｓ５４６）。ＣＰＵ３６は、交通渋滞Ｓｔ＋１とＳｔ＋２が同じであるか否かを判定する（Ｓ５４７）。
【０１６３】
交通渋滞Ｓｔ＋１とＳｔ＋２が同じである場合（Ｓ５４７でＹＥＳ）、ＣＰＵ３６は、時刻ｔ−２の交通渋滞Ｓｔ−２を判定する（Ｓ５４８）。ＣＰＵ３６は、交通渋滞Ｓｔ−１とＳｔ−２が同じであるか否かを判定する（Ｓ５４９）。交通渋滞Ｓｔ−１とＳｔ−２が同じである場合（Ｓ５４９でＹＥＳ）、ＣＰＵ３６は、時刻ｔにおける交通渋滞Ｓｔは、誤判定であるとして、時刻ｔ＋１の交通渋滞Ｓｔ＋１に修正する（Ｓ５５０）。
【０１６４】
ＣＰＵ３６は、処理終了の指示の有無を判定し（Ｓ５５１）、処理終了の指示がない場合（Ｓ５５１でＮＯ）、時刻ｔを時刻ｔ＋１に置き換え（Ｓ５５２）、ステップＳ５４２以降の処理を続ける。処理終了の指示がある場合（Ｓ５５１でＹＥＳ）、ＣＰＵ３６は、処理を終了する。
【０１６５】
一方、ステップＳ５４３で、交通渋滞ＳｔとＳｔ＋１とが同じである場合（Ｓ５４３でＹＥＳ）、ＣＰＵ３６は、ステップＳ５５１以降の処理を続ける。ステップＳ５４５で、交通渋滞Ｓｔ＋１とＳｔ−１が同じでない場合（Ｓ５４５でＮＯ）、ＣＰＵ３６は、ステップＳ５５１以降の処理を続ける。
【０１６６】
一方、交通渋滞Ｓｔ＋１とＳｔ＋２が同じでない場合（Ｓ５４７でＮＯ）、ＣＰＵ３６はステップＳ５５１以降の処理を続ける。また、交通渋滞Ｓｔ−１とＳｔ−２が同じでない場合（Ｓ５４９でＮＯ）、ＣＰＵ３６はステップＳ５５１以降の処理を続ける。
【０１６７】
例えば、時刻ｔにおける交通渋滞Ｓｔが、Ｓｔ＝（閑散、閑散、混雑、閑散、閑散）であり、時刻ｔ＋１、ｔ＋２、ｔ−１、ｔ−２における交通渋滞Ｓｔ＋１、Ｓｔ＋２、Ｓｔ−１、Ｓｔ−２がすべて、（閑散、閑散、閑散、閑散、閑散）である場合、時刻ｔの交通渋滞Ｓｔ（ビデオカメラＣ３により判定した混雑）が誤判定であるとして、Ｓｔを（閑散、閑散、閑散、閑散、閑散）に修正する。これにより、誤判定を低減して交通渋滞の判定を精度良く行うことができる。
【０１６８】
上述の処理手順は、一例であって、道路状況に応じて、交通渋滞を判定する時刻の数を増減することが可能である。また、時刻の離隔間隔は、適宜設定することが可能である。
【０１６９】
次に、交通渋滞が発生した場合に、道路のどの地点が渋滞発生のボルトネックであるか、渋滞発生の位置（例えば、混雑の先頭位置）を判定する処理について説明する。
【０１７０】
図２７は交通渋滞判定の処理手順を示すフローチャートである。ＣＰＵ３６は、カウント数Ｋをゼロにセットし（Ｓ５６１）、ビデオカメラ１の符号を示すための指標ｎを１にする（Ｓ５６２）。ＣＰＵ３６は、ビデオカメラＣｎで撮像した撮像画像に基づいて交通渋滞を判定し（Ｓ５６３）、渋滞度合いが混雑か否かを判定する（Ｓ５６４）。
【０１７１】
混雑であると判定した場合（Ｓ５６４でＹＥＳ）、ＣＰＵ３６は、カウンタ数Ｋに１を加算し（Ｓ５６５）、カウント数Ｋが閾値以上であるか否かを判定する（Ｓ５６６）。カウント数Ｋが閾値以上である場合（Ｓ５６６でＹＥＳ）、ＣＰＵ３６は、ビデオカメラＣｎの位置を混雑の先頭位置とする（Ｓ５６７）。
【０１７２】
ＣＰＵ３６は、すべてのビデオカメラで撮像した撮像画像に基づいて交通渋滞判定を終了したか否かを判定し（Ｓ５６８）、交通渋滞判定を終了していない場合（Ｓ５６８でＮＯ）、ＣＰＵ３６は、ｎをｎ＋１に置き換え（Ｓ５６９）、ステップＳ５６３以降の処理を続ける。交通渋滞判定を終了した場合（Ｓ５６８でＹＥＳ）、処理終了の指示の有無を判定する（Ｓ５７０）。
【０１７３】
処理終了の指示がない場合（Ｓ５７０でＮＯ）、ＣＰＵ３６は、ステップＳ５６１以降の処理を続ける。処理終了の指示がある場合（Ｓ５７０でＹＥＳ）、ＣＰＵ３６は、処理を終了する。一方、混雑でないと判定した場合（Ｓ５６４でＮＯ）、ＣＰＵ３６は、ステップＳ５６８以降の処理を続ける。また、カウント数Ｋが閾値より小さい場合（Ｓ５６６でＮＯ）、ＣＰＵ３６は、ステップＳ５６８以降の処理を続ける。
【０１７４】
例えば、閾値を２に設定した場合、連続して設置された３つのビデオカメラにより混雑を判定したときは、３つのビデオカメラのうち、交通流の下流端にあるビデオカメラ付近が、交通渋滞のボトルネック、すなわち、混雑の先頭位置であると判定することができる。道路状況に応じて、道路に沿って設置するビデオカメラの台数を変更した場合、閾値も適宜変更することが可能である。
【０１７５】
上述の処理は、一例であって、混雑の有無を判定する代わりに、大混雑の有無を判定してもよい。また、最終的に計数されたカウント数の大小に応じて、混雑、又は大混雑を判定した連続するビデオカメラの数が判るため、混雑（又は大混雑）の先頭位置及び混雑（又は大混雑）の後尾位置を求めることもできる。さらに、各ビデオカメラの離隔距離に基づいて、混雑（又は大混雑）が、どの程度の範囲（距離）に亘って発生しているかも判定することができる。
【０１７６】
混雑範囲は、突如発生すること、又は解消することはないため、適当な時間の間における複数の時点での混雑範囲を平滑化し、より精度を高めることが可能である。平滑化の方法としては、例えば、時刻ｔの前後数時刻における混雑先頭位置の平均値、最頻値、又は中央値となる位置を時刻ｔにおける混雑の先頭位置とすることができ、同様に混雑の後尾位置も求めることができる。
【０１７７】
以上説明したように、本発明にあっては、撮像時点の異なる撮像画像で特定した一致する画素ブロックの位置変化により、隣接の画素ブロックを連結した連結ブロックの動きベクトルを算出し、算出した動きベクトル又は該動きベクトルに基づいて算出した動きベクトルの分布密度により、単に走行する車両の台数、速度、方向などの交通情報だけではなく、交通渋滞の渋滞度合いの判定、交通事故、駐車車両、又は障害物などの交通障害による交通異常の判定、道路上の場所に応じた交通規制に対する交通違反の判定、交通事故の発生の判定など、車両の時間的分布及び空間的分布に基づいて、詳細な交通状況を同時、かつ広範囲に判定することができる。
【０１７８】
上述の実施の形態においては、ビデオカメラ１と画像処理装置２とは、別個の装置で構成されていたが、ビデオカメラ１と画像処理装置２とを統合して、ひとつの装置として構成してもよい。
【０１７９】
上述の実施の形態においては、ビデオカメラ１を交差点付近に配置する構成であったが、ビデオカメラ１、又は画像処理装置２の配置場所は、これに限定されるものではなく、交通状況を判定するために必要な場所であれば、いずれの場所に配置してもよいことはいうまでもない。
【０１８０】
上述の実施の形態においては、動きベクトルの分布密度を、１フレーム分の撮像画像が有する画素ブロック数に対する前記撮像画像で特定された連結ブロックを構成する画素ブロック数の比により算出するものであったが、動きベクトルの分布密度は、これに限定されるものではなく、撮像画像に占める連結ブロックの空間的分布を評価できる指標であれば、いずれのものを用いてもよい。
【０１８１】
上述の実施の形態においては、算出時間Ｔ２の都度算出された動きベクトル（速度）の平均値、動きベクトルの分布密度の平均値に基づいて交通渋滞を判定する構成であったが、交通渋滞の判定は、これに限定されるものではない。例えば、算出時間を、時間帯で変化させることもでき、また、判定結果に応じて変更するものでもよい。算出時間は、道路状況に応じて適宜所望の時間を用いることはいうまでもない。
【０１８２】
上述の実施の形態においては、算出時間Ｔ２の都度算出された動きベクトル（速度）の平均値、動きベクトルの分布密度の平均値に基づいて、判定時間Ｔ１の間交通異常が継続しているか否かにより交通異常を判定する構成であったが、これに限定されるものではなく、所要の時間継続して交通異常が続いていることを確認できるものであれば、いずれの方法を用いてもよい。
【０１８３】
上述の実施の形態においては、連結ブロックの動きベクトル、動きベクトルの分布密度の平均値を算出するものであったが、これに限定されず、最頻値、中央値など、交通状況に対応して所望の統計値を用いるものであってもよい。
【０１８４】
上述の実施の形態において、交通渋滞判定テーブル、規制情報テーブルは、一例であって、これに限定されるものではない。速度又は分布密度の閾値は適宜変更することが可能であり、また他の情報を追加することも可能である。また、管制センタ装置３から、交通状況に応じて、画像処理装置２、２、…に対して、夫々異なる所望の交通渋滞判定テーブル、規制情報テーブルに更新することもできる。また、規制ベクトルの方向は、走行禁止方向を特定するものであったが、走行許容方向を用いることも可能である。
【０１８５】
上述の実施の形態において、異なる撮像時点の撮像画像を取得する場合、撮像時点の時間間隔は、道路の交通状況に応じて、適宜設定することができる。車両が比較的高速で走行する道路の場合は、時間間隔を短くし、低速走行車両が多い道路では、時間間隔を長くすることができる。
【０１８６】
上述の実施の形態においては、ビデオカメラで撮像して得られた撮像画像から各画素ブロックの動きベクトルを算出する構成であったが、ビデオカメラで撮像してＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化映像の形式に変換された映像データに含まれる各画素ブロックの動きベクトル情報を用いてもよい。ここで、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化映像とは、画像の中の動く部分だけを検出し保存するなどして映像データを圧縮しているものであって、この形式に変換する際に、画素ブロックの特定及び各画素ブロックの動きベクトルの算出が行われる。
【図面の簡単な説明】
【０１８７】
【図１】本発明の実施の形態に係る交通状況判定システムの概要を示す模式図である。
【図２】画像処理装置及び管制センタ装置の構成を示すブロック図である。
【図３】交通状況判定の処理手順を示すフローチャートである。
【図４】フレーム画像処理の処理手順を示すフローチャートである。
【図５】画素ブロックの動きベクトルを示す説明図である。
【図６】連結ブロックの例を示す説明図である。
【図７】撮像画像の例を示す説明図である。
【図８】フレーム画像処理で算出される算出情報を示す説明図である。
【図９】交通渋滞判定の処理手順を示すフローチャートである。
【図１０】交通渋滞判定テーブルのレコードレイアウトである。
【図１１】交通異常判定の処理手順を示すフローチャートである。
【図１２】交通異常判定の例を示すタイムチャートである。
【図１３】実施の形態２に係る交通状況判定システムの概要を示す模式図である。
【図１４】交通状況判定の処理手順を示すフローチャートである。
【図１５】フレーム画像処理の処理手順を示すフローチャートである。
【図１６】交通違反判定の処理手順を示すフローチャートである。
【図１７】撮像画像の規制領域の例を示す説明図である。
【図１８】規制情報テーブルのレコードレイアウトである。
【図１９】交通事故判定の処理手順を示すフローチャートである。
【図２０】撮像画像の重複領域の例を示す説明図である。
【図２１】実施の形態３に係る交通状況判定システムの概要を示す模式図である。
【図２２】フレーム画像処理の処理手順を示すフローチャートである。
【図２３】フレーム画像処理の処理手順を示すフローチャートである。
【図２４】実施の形態４に係る交通状況判定システムの概要を示す模式図である。
【図２５】交通渋滞判定の処理手順を示すフローチャートである。
【図２６】交通渋滞判定の処理手順を示すフローチャートである。
【図２７】交通渋滞判定の処理手順を示すフローチャートである。
【符号の説明】
【０１８８】
１ ビデオカメラ
２ 画像処理装置
３ 管制センタ装置
４ 通信回線
５ 道路
６ 撮像範囲
７ 交差点
２１ 画像入力部
２２ Ａ／Ｄ変換部
２３ 画像メモリ
２４ ＲＡＭ
２５ 通信部
２６ 補助記憶部
２７ 記憶部
２８ ＣＰＵ
２９ ＣＤ−ＲＯＭ
３１ 通信部
３２ ＲＡＭ
３３ 表示部
３４ 記憶部
３５ 操作部
３６ ＣＰＵ
３７ 補助記憶部
【特許請求の範囲】
【請求項１】
取得した撮像画像を処理して交通状況を判定する画像処理装置において、
撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、
前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、
算出された動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、
前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、
前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、
前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記密度算出手段及びベクトル算出手段は、
前記分布密度及び連結ブロックの動きベクトルを所定時間に複数回算出するようにしてあり、
算出した複数の分布密度及び連結ブロックの動きベクトルに基づいて、それらの平均値、最頻値、又は中央値の少なくとも一つを含む統計値を算出するようにしてあることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、
前記分布密度又は連結ブロックの動きベクトルの大きさに基づいて、交通渋滞状況を判定するようにしてあることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
交通流の方向を定める標準方向を記憶する記憶手段と、
前記連結ブロックの動きベクトルの方向と前記標準方向との角度差を算出する角度差算出手段と
を備え、
前記判定手段は、
算出された角度差が略１８０度である場合、交通異常と判定するようにしてあることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
交通流の方向を定める標準方向を記憶する記憶手段と、
前記連結ブロックの動きベクトルの方向と前記標準方向との角度差を算出する角度差算出手段と、
判定時間を計時する手段と
を備え、
前記判定手段は、
前記判定時間が所定の時間以上となるまで、算出された角度差が第１閾値以上である場合、交通異常と判定するようにしてあることを特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項６】
同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、
前記連結ブロックの動きベクトルの大きさと第２閾値とを比較する手段と、
判定時間を計時する手段と
を備え、
前記判定手段は、
前記判定時間が所定の時間以上となるまで、一の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より小さく、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項７】
前記分布密度と第３閾値とを比較する手段を備え、
前記判定手段は、
前記判定時間が所定の時間以上となるまで、前記一の判定領域の分布密度が前記第３閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、
前記連結ブロックの動きベクトルの大きさと第２閾値とを比較する手段と、
判定時間を計時する手段と
を備え、
前記判定手段は、
前記判定時間が所定の時間以上となるまで、一の判定領域で連結ブロックが特定されず、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項９】
交通規制に対応する規制領域を撮像画像に設けてあり、
前記規制領域での交通流の規制方向を記憶するようにしてあり、
連結ブロックの前記規制領域への進入を検出する手段と、
前記連結ブロックの動きベクトルの方向と前記規制方向とを比較する手段と
を備え、
前記判定手段は、
前記規制領域に進入した連結ブロックの動きベクトルの方向と前記規制方向とが略一致する場合に、交通違反と判定するようにしてあることを特徴とする請求項１乃至請求項８のいずれかに記載の画像処理装置。
【請求項１０】
連結ブロックの動きベクトルに基づいて、前記連結ブロック同士の重複領域を特定する手段と、
前記重複領域の画素ブロック数と第４閾値とを比較する手段と
を備え、
前記判定手段は、
前記重複領域の画素ブロック数が前記第４閾値以上になる第１撮像時点と、該第１撮像時点より前の第２撮像時点との間で、前記重複領域の画素が有する輝度値の差が前記第５閾値以上である場合に、交通事故と判定するようにしてあることを特徴とする請求項１乃至請求項９のいずれかに記載の画像処理装置。
【請求項１１】
前記判定手段は、
前記第２撮像時点に前記連結ブロックが存在した領域夫々の画素が有する輝度値の前記第１撮像時点及び第２撮像時点での差が第６閾値以上である場合に、交通事故と判定するようにしてあることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
道路を含む領域を撮像装置で撮像し、撮像して得られた撮像画像を画像処理装置で処理して交通状況を判定する交通状況判定システムにおいて、
前記画像処理装置は、
撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、
前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、
算出された動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、
前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、
前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、
前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段と
を備えることを特徴とする交通状況判定システム。
【請求項１３】
道路を含む領域を撮像する撮像装置と、撮像して得られた撮像画像を処理する画像処理装置と、交通状況を判定する判定装置とを備える交通状況判定システムにおいて、
前記画像処理装置は、
撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、
前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、
算出した動きベクトルを前記判定装置へ送信する手段と
を備え、
前記判定装置は、
前記画像処理装置が送信した動きベクトルを受信する手段と、
受信した動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、
前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、
前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、
前記分布密度又は前記連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段と
を備えることを特徴とする交通状況判定システム。
【請求項１４】
道路を含む異なる領域を撮像する撮像装置、及び該撮像装置で撮像した撮像画像を処理する画像処理装置夫々を道路に沿って３つ以上備え、
前記判定装置は、
前記分布密度又は前記連結ブロックの動きベクトルに基づいて、交通渋滞状況を判定するようにしてあり、
一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、第２の交通渋滞状況であると判定するようにしてあることを特徴とする請求項１３に記載の交通状況判定システム。
【請求項１５】
前記判定装置は、
一の時点で、前記一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、前記一の時点と異なる複数の他の時点で、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が、前記第２の交通渋滞状況であるときは、第２の交通渋滞状況であると判定するようにしてあることを特徴とする請求項１４に記載の交通状況判定システム。
【請求項１６】
前記判定装置は、
複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況が同一である場合に、前記撮像装置のうち交通流の下流端の撮像装置の位置に基づいて、交通渋滞変化点を判定するようにしてあることを特徴とする請求項１４又は請求項１５に記載の交通状況判定システム。
【請求項１７】
コンピュータに、取得した撮像画像を処理して交通状況を判定させるためのコンピュータプログラムにおいて、
コンピュータを、
動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、
前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、
前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、
前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段と
して機能させることを特徴とするコンピュータプログラム。
【請求項１８】
道路を含む領域を撮像装置で撮像し、撮像して得られた撮像画像を処理して交通状況を判定する交通状況判定方法において、
動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定し、
前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出し、
前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出し、
前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定することを特徴とする交通状況判定方法。
【請求項１】
取得した撮像画像を処理して交通状況を判定する画像処理装置において、
撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、
前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、
算出された動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、
前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、
前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、
前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記密度算出手段及びベクトル算出手段は、
前記分布密度及び連結ブロックの動きベクトルを所定時間に複数回算出するようにしてあり、
算出した複数の分布密度及び連結ブロックの動きベクトルに基づいて、それらの平均値、最頻値、又は中央値の少なくとも一つを含む統計値を算出するようにしてあることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、
前記分布密度又は連結ブロックの動きベクトルの大きさに基づいて、交通渋滞状況を判定するようにしてあることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
交通流の方向を定める標準方向を記憶する記憶手段と、
前記連結ブロックの動きベクトルの方向と前記標準方向との角度差を算出する角度差算出手段と
を備え、
前記判定手段は、
算出された角度差が略１８０度である場合、交通異常と判定するようにしてあることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
交通流の方向を定める標準方向を記憶する記憶手段と、
前記連結ブロックの動きベクトルの方向と前記標準方向との角度差を算出する角度差算出手段と、
判定時間を計時する手段と
を備え、
前記判定手段は、
前記判定時間が所定の時間以上となるまで、算出された角度差が第１閾値以上である場合、交通異常と判定するようにしてあることを特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項６】
同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、
前記連結ブロックの動きベクトルの大きさと第２閾値とを比較する手段と、
判定時間を計時する手段と
を備え、
前記判定手段は、
前記判定時間が所定の時間以上となるまで、一の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より小さく、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項７】
前記分布密度と第３閾値とを比較する手段を備え、
前記判定手段は、
前記判定時間が所定の時間以上となるまで、前記一の判定領域の分布密度が前記第３閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
同一進行方向の複数の車線に対応した判定領域を撮像画像に設けてあり、
前記連結ブロックの動きベクトルの大きさと第２閾値とを比較する手段と、
判定時間を計時する手段と
を備え、
前記判定手段は、
前記判定時間が所定の時間以上となるまで、一の判定領域で連結ブロックが特定されず、他の判定領域の連結ブロックの動きベクトルの大きさが前記第２閾値より大きい場合に、交通異常と判定するようにしてあることを特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項９】
交通規制に対応する規制領域を撮像画像に設けてあり、
前記規制領域での交通流の規制方向を記憶するようにしてあり、
連結ブロックの前記規制領域への進入を検出する手段と、
前記連結ブロックの動きベクトルの方向と前記規制方向とを比較する手段と
を備え、
前記判定手段は、
前記規制領域に進入した連結ブロックの動きベクトルの方向と前記規制方向とが略一致する場合に、交通違反と判定するようにしてあることを特徴とする請求項１乃至請求項８のいずれかに記載の画像処理装置。
【請求項１０】
連結ブロックの動きベクトルに基づいて、前記連結ブロック同士の重複領域を特定する手段と、
前記重複領域の画素ブロック数と第４閾値とを比較する手段と
を備え、
前記判定手段は、
前記重複領域の画素ブロック数が前記第４閾値以上になる第１撮像時点と、該第１撮像時点より前の第２撮像時点との間で、前記重複領域の画素が有する輝度値の差が前記第５閾値以上である場合に、交通事故と判定するようにしてあることを特徴とする請求項１乃至請求項９のいずれかに記載の画像処理装置。
【請求項１１】
前記判定手段は、
前記第２撮像時点に前記連結ブロックが存在した領域夫々の画素が有する輝度値の前記第１撮像時点及び第２撮像時点での差が第６閾値以上である場合に、交通事故と判定するようにしてあることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
道路を含む領域を撮像装置で撮像し、撮像して得られた撮像画像を画像処理装置で処理して交通状況を判定する交通状況判定システムにおいて、
前記画像処理装置は、
撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、
前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、
算出された動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、
前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、
前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、
前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段と
を備えることを特徴とする交通状況判定システム。
【請求項１３】
道路を含む領域を撮像する撮像装置と、撮像して得られた撮像画像を処理する画像処理装置と、交通状況を判定する判定装置とを備える交通状況判定システムにおいて、
前記画像処理装置は、
撮像時点の異なる撮像画像の対応する画素ブロックを特定する手段と、
前記画素ブロックの位置変化に基づいて、前記画素ブロックの動きベクトルを算出する手段と、
算出した動きベクトルを前記判定装置へ送信する手段と
を備え、
前記判定装置は、
前記画像処理装置が送信した動きベクトルを受信する手段と、
受信した動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、
前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、
前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、
前記分布密度又は前記連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段と
を備えることを特徴とする交通状況判定システム。
【請求項１４】
道路を含む異なる領域を撮像する撮像装置、及び該撮像装置で撮像した撮像画像を処理する画像処理装置夫々を道路に沿って３つ以上備え、
前記判定装置は、
前記分布密度又は前記連結ブロックの動きベクトルに基づいて、交通渋滞状況を判定するようにしてあり、
一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、第２の交通渋滞状況であると判定するようにしてあることを特徴とする請求項１３に記載の交通状況判定システム。
【請求項１５】
前記判定装置は、
一の時点で、前記一の撮像装置で撮像した撮像画像により判定した第１の交通渋滞状況が、前記一の撮像装置を間にして設置された直近の２つの撮像装置夫々で撮像した撮像画像により判定した第２の交通渋滞状況と異なる場合に、前記一の時点と異なる複数の他の時点で、前記一の撮像装置で撮像した撮像画像により判定した交通渋滞状況が、前記第２の交通渋滞状況であるときは、第２の交通渋滞状況であると判定するようにしてあることを特徴とする請求項１４に記載の交通状況判定システム。
【請求項１６】
前記判定装置は、
複数の連続した撮像装置で撮像した撮像画像により判定した交通渋滞状況が同一である場合に、前記撮像装置のうち交通流の下流端の撮像装置の位置に基づいて、交通渋滞変化点を判定するようにしてあることを特徴とする請求項１４又は請求項１５に記載の交通状況判定システム。
【請求項１７】
コンピュータに、取得した撮像画像を処理して交通状況を判定させるためのコンピュータプログラムにおいて、
コンピュータを、
動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定する手段と、
前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出するベクトル算出手段と、
前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出する密度算出手段と、
前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定する判定手段と
して機能させることを特徴とするコンピュータプログラム。
【請求項１８】
道路を含む領域を撮像装置で撮像し、撮像して得られた撮像画像を処理して交通状況を判定する交通状況判定方法において、
動きベクトルの方向が略一致する隣接の画素ブロックを連結した連結ブロックを特定し、
前記連結ブロックの各画素ブロックの動きベクトルに基づいて、前記連結ブロックの動きベクトルを算出し、
前記連結ブロックの画素ブロック数に基づいて動きベクトルの分布密度を算出し、
前記分布密度又は連結ブロックの動きベクトルに基づいて、交通状況を判定することを特徴とする交通状況判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２００６−３３０９４２（Ｐ２００６−３３０９４２Ａ）
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願番号】特願２００５−１５１６１８（Ｐ２００５−１５１６１８）
【出願日】平成１７年５月２４日（２００５．５．２４）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願日】平成１７年５月２４日（２００５．５．２４）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]