異常走行車両検出システムおよび道路監視プログラム
【課題】道路および車両に特別な設備や機能をもたせることなく、道路を走行する車両の異常走行を一定の精度で検出し外部に報知することのできる異常走行車両検出システムおよび道路監視プログラムを提供する。
【解決手段】異常走行車両検出処理部13−16は、上記キャプチャ部12が取り込んだフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出し、抽出した矩形の領域を処理対象オブジェクトとして上記一定の周期毎に追跡し、追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定して、判定した監視対象オブジェクトについて追跡情報と設定情報とをもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する。
【解決手段】異常走行車両検出処理部13−16は、上記キャプチャ部12が取り込んだフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出し、抽出した矩形の領域を処理対象オブジェクトとして上記一定の周期毎に追跡し、追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定して、判定した監視対象オブジェクトについて追跡情報と設定情報とをもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、単眼カメラで撮影した映像をもとに道路を監視し異常走行車両を検出する異常走行車両検出システムおよび道路監視プログラムに関する。
【背景技術】
【0002】
自動車走行道路における車両の異常走行検出技術として、種々の検出技術が存在するが、いずれも煩雑なシステム構成を必要とし、設備が大掛かりになることから、経済性並びに実用性の面で問題があった。具体例を挙げると、従来では、色彩、形状等の違う複数の線状表示をイメージセンサで撮影して、線状表示の並び方を検出し、線状表示の位置関係から車両の走行方向を認識する技術(引用文献1参照)、路側に、入口情報を常時無線により発信し、車載器に、入口情報を所定時間継続して受信すると逆送を警告する音声発生手段を具備した技術(引用文献2参照)、道路標識をパターン認識して、その道路標識が走行車線よりも左側にあるか右側にあるかを判定し、右側にあると判定したとき振動発生機を振動させて運転手に警告する技術(引用文献3)、1フレームの画像情報からナンバープレートの画像情報を抽出し、文字認識するとともに、ナンバープレートの位置を認識して、前フレームの画像情報から抽出し認識した上記各内容と比較し、ナンバープレートの移動方向から車両の走行方向を認識する技術(引用文献4)、道路標識らしきものの大きさを検出し、右側の道路標識が正常走行時のものより大きいとき、あるいは左側の道路標識が正常走行時のものより小さいときに逆走の警報を出力する技術(引用文献5)等が存在する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−163777号公報
【特許文献2】特開2007−102443号公報
【特許文献3】特開2007−293390号公報
【特許文献4】特開2004−234486号公報
【特許文献5】特開2007−140883号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したように、従来では、種々の自動車走行道路における車両の異常走行検出技術が存在するが、そのいずれもシステム構成が煩雑になることから、経済性並びに実用性の面で問題があった。
【0005】
本実施形態は上記実情に鑑みなされたもので、道路および車両に特別な設備や機能をもたせることなく、道路を走行する車両の異常走行を一定の精度で検出し外部に報知することのできる異常走行車両検出システムおよび道路監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本実施形態は、車道を撮影する単眼カメラと、前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理手段と、前記領域追跡処理手段が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理手段と、前記監視対象判定処理手段が判定した監視対象オブジェクトについて、前記領域追跡処理手段が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理手段と、前記異常走行判定処理手段が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力手段と、を具備した異常走行車両検出システムを特徴とする。
【0007】
また本実施形態は、単眼カメラで車道を撮影し、撮影したフレーム単位の画像をもとに前記車道を走行する異常車両を検出する異常走行車両検出装置としてコンピュータを機能させるための道路監視プログラムであって、前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理機能と、前記領域抽出処理機能が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理機能と、前記領域追跡処理機能が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理機能と、前記監視対象判定処理機能が判定した監視対象オブジェクトについて、前記領域追跡処理機能が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理機能と、前記異常走行判定処理機能が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力機能と、をコンピュータに実現させるための道路監視プログラムを特徴とする。
【発明の効果】
【0008】
上記実施形態によれば、道路および車両に特別な設備や機能をもたせることなく、一台のカメラで撮影した映像をもとに道路を走行する車両の異常走行を一定の精度で検出し外部に報知することのできる異常走行車両検出システムが提供できる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施形態に係る異常走行車両検出システムの構成を示すブロック図。
【図2】上記実施形態に係る異常走行車両検出処理部の構成を示すブロック図。
【図3】上記実施形態に係る異常走行車両検出システムの構成をより詳細に示すブロック図。
【図4】上記実施形態に係る異常走行車両検出システムの処理手順を示すフローチャート。
【図5】上記実施形態に係る異常走行車両検出システムの処理手順を示すフローチャート。
【図6】上記実施形態における異常走行パターン(異常走行ルート)の事前設定例(逆送検出パターン)を説明するための図。
【図7】上記実施形態における異常走行パターンの事前設定例(路肩走行検出パターン)を説明するための図。
【図8】上記実施形態における異常走行パターンの事前設定例(進入禁止道路進入検出パターン)を説明するための図。
【図9】上記実施形態における異常走行判定処理(指定方向ゲート通過判定処理における交差判定処理)を説明するための図。
【図10】上記実施形態における異常走行判定処理を説明するための図。
【図11】上記実施形態における異常走行判定処理を説明するための図。
【図12】上記実施形態における異常走行判定処理を説明するための図。
【図13】上記実施形態における異常走行判定処理を説明するための図。
【図14】上記実施形態における異常走行判定処理を説明するための図。
【図15】上記実施形態における異常走行判定処理手順を示すフローチャート。
【発明を実施するための形態】
【0010】
以下図面を参照して本発明の実施形態を説明する。
【0011】
本発明の実施形態は、自動車が通行する道路(車道)、または同道路に付帯する、例えばパーキングエリア、サービスエリア、高速道路のインターチェンジ、駐車場施設、車道の交差点等における走行車両の監視カメラ装置に適用して好適な異常走行車両検出システムおよび異常走行監視プログラムを実現する。
【0012】
本発明の実施形態に係る異常走行車両検出システムは、車両に機器を設置する必要はなく、道路を監視している1台のカメラ(単眼カメラ)映像に対して、検出したい異常走行ルート(異常走行パターン)を任意に設定(設定はゲート設定のみ)することで、走行すべき方向に進んでいない車両や、走行してはいけない場所(例えば路肩または待避車線等)を走行している車両を異常走行車両として検出し通知することができる。
【0013】
この異常走行車両検出システムは、単眼カメラに撮像されている道路の全車線を対象に、設定した各種の走行異常を検出でき、車両が撮像される画角であれば、どのような環境にも適用できる。また、一方通行道路に限定することなく、複数車線でも、対面通行道路でも、車線単位で異常走行を検出することが可能であり、カメラの撮像範囲内であれば、1台の装置(システム)にて通行ポイント(ゲート)を複数設定して設定した通行ポイント毎に異常走行を検出処理することが可能である。また、異常走行の検出処理としては、あらかじめ設定したゲートに対して、追跡した軌跡がどのように交差するかを角度的な判断を加味して判定する(進入している方向を決められる)ことが可能であり、これにより設置位置や進行方向を限定することなく、容易に異常走行を検出することが可能である。また、異常走行検出結果を画像として蓄積することで、事後の検証も可能である。このように、一方通行とは限らない監視可能な道路全体にわたる各種の異常走行検出が可能であり、1つの装置(システム)で通行ポイント(ゲート)を複数設定可能であり、各通行ポイント走行では、角度的な判断を加味して検出が可能であるという機能上の特徴をもつ。
【0014】
本発明の実施形態に係る異常走行車両検出システムは図1に示すように、一台のカメラ(単眼カメラ)11と、キャプチャ部12と、異常走行車両検出処理部13−16と、表示部17とを具備して構成される。カメラ(単眼カメラ)11、キャプチャ部12、および表示部17は、それぞれハードウェア(HW)により実現される構成要素であり、異常走行車両検出処理部13−16はソフトウェア(SW)により実現される構成要素である。
【0015】
カメラ11は、監視対象となる道路(監視対象車線)の撮影が可能な、例えば道路の路側、道路を跨ぐ架橋、道路上の表示盤支持フレーム等に設置または支持されて、道路上の距離を異にする複数の地点が監視映像(キャプチャした映像フレーム)の位置座標により判別できるよう、監視対象車線を斜め上方から撮影する。キャプチャ部12はカメラ11で撮影した監視対象車線の画像をフレーム単位で取り込む。
【0016】
異常走行車両検出処理部13−16は、上記キャプチャ部12が取り込んだフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出し、抽出した矩形の領域を処理対象オブジェクトとして上記一定の周期毎に追跡し、追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定して、判定した監視対象オブジェクトについて追跡情報と設定情報とをもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する処理機能を実現している。表示部17は上記異常走行車両検出処理部13−16において監視対象オブジェクトが異常走行状態にあることを判定したとき、当該オブジェクトに関する軌跡を含む所定の情報を登録するとともに異常走行状態が発生したことを外部に報知する出力機能を実現している。
【0017】
異常走行車両検出処理部13−16は、図2に示すように、車両検出処理部15aと、車両追跡処理部15bと、車種推定処理部15cと、車種判別処理部16aと、異常走行検出処理部16bとを具備して構成される。
【0018】
車両検出処理部15aは、カメラ11が撮影した監視対象領域の画像を入力し、入力したフレーム単位の現在画像と過去画像を差分処理して変化画素領域を矩形の領域(矩形領域)として抽出し、当該矩形領域を監視対象車線を走行する車両として検出する処理を行う。
【0019】
車両追跡処理部15bは、車両検出処理部15aが検出した走行車両(矩形領域)を処理対象オブジェクトとして当該オブジェクトを一定の周期毎に追跡する処理を行う。
【0020】
車種推定処理部15cは、車両追跡処理部15bが追跡した走行車両(矩形領域)について、設定された矩形領域との大きさの比較により走行車両の車種(大型車両/小型車両/二輪車等)を推定する処理を行う。
【0021】
車種判別処理部16aは、車種推定処理部15cが推定した車種の車両について、当該車両が設定された検出対象車種であるか否かを判別する処理を行う。
【0022】
異常走行検出処理部16bは、車種判別処理部16aで検出対象車種であると判別された走行車両について、当該車両が設定された異常走行パターンに合致する異常走行車両であるか否かを判定し、異常走行車両を検出する処理を行う。さらに異常走行検出処理部16bは異常走行車両を検出すると、当該異常走行車両に関する所定の情報を登録するとともに、異常走行が発生した旨を外部に通知する処理を行う。
【0023】
異常走行検出処理部16bから異常走行が発生した旨を受けた表示部17は、当該異常走行が発生した旨を表示出力する。この表示部17は、例えば上記道路の監視対象車線近傍の路上に設置された道路表示盤であってもよく、または道路を管理する道路監視室の表示装置であってもよい。路上に設置された道路表示盤に上記異常走行が発生した旨を表示することにより、異常走行車両の運転者、異常走行車両近傍の他の車両運転者にそれぞれ異常走行を報知することができる。
【0024】
上記した異常走行車両検出処理部13−16における各構成要素の詳細については図3乃至図15を参照して後述する。
【0025】
上記図1および図2に示した異常走行車両検出システムのより具現化した構成を図3に示している。
【0026】
図3に示す異常走行車両検出システムは、カメラ(単眼カメラ)11と、キャプチャ部12と、画像処理記憶部13と、画像処理部15と、異常走行判定処理部16と、表示部17とを具備して構成される。画像処理記憶部13と、画像処理部15と、異常走行判定処理部16とにより上記図2に示した異常走行車両検出処理部13−16が実現される。
【0027】
図3に示す画像処理部15および異常走行判定処理部16は、それぞれ上記検出対象となる車両を処理対象オブジェクトとして、検出対象となる車両の抽出並びに追跡処理、異常走行車両の判定処理等を実施する。
【0028】
上記構成要素のうち、画像処理部15は、上記図2に示す車両検出処理部15aの処理機能を実現する変化領域抽出処理部151と、車両追跡処理部15bの処理機能を実現する追跡処理部152と、車種推定処理部15cの処理機能を実現するオブジェクト推定処理部153とを具備する。異常走行判定処理部16は、同じく上記図2に示す車種判別処理部16aの処理機能を実現する検出対象オブジェクト判定処理部161と、異常走行検出処理部16bの処理機能を実現する異常軌跡オブジェクト判定処理部162および異常軌跡オブジェクト登録処理部163とを具備する。なお、画像処理部15の各構成要素については、特許第4427052(参考文献1)、特開平2009−211122号公報(参考文献2)、および特開平2009−210286号公報(参考文献3)に記載された画像処理部の技術を援用して実現しており、ここではその詳細(演算式等)について説明を省略する。
【0029】
カメラ11は、上記したように、監視対象車線が撮影可能な位置に設置され、監視対象車線を斜め上方から撮影する。このカメラ11は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子(例えばCCD固体撮像素子、若しくはCMOSイメージセンサ)とを具備して、上記道路の監視対象領域における動きを伴う被写体(動物体)を対象に、一定の画角で撮像した一画面分の画像を所定の画素単位(例えば1フレーム320×240画素(pix)=QVGA)で出力する。
【0030】
キャプチャ部12は、カメラ11が撮像したフレーム単位の画像を画像処理部15の処理対象画像(入力画像)として取り込み、画像処理記憶部13内の画像バッファ131に保持する処理機能をもつ。この画像バッファ131に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。
【0031】
画像処理記憶部13は、画像処理部15の処理に供される、キャプチャ部12が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部13には、画像処理部15の制御の下に、キャプチャ部12が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像(現在画像)と、前回取り込んだ一画面分の画像(過去画像)をそれぞれ処理対象画像として保持する画像バッファ131を構成する領域が確保されるとともに、画像処理部15の処理に用いられる画像領域が確保される。さらに画像処理記憶部13には、画像処理部15の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、追跡処理に於いて生成若しくは取得される各種情報の記憶領域も確保される。
【0032】
画像処理部15は、画像処理記憶部13の画像バッファ131に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出する変化領域抽出処理部151と、この変化領域抽出処理部151で抽出した矩形領域を処理対象に、領域を追跡する、追跡情報バッファ(BUF)を備えた追跡処理部152と、参照テーブル154を用いて、追跡処理部152で追跡した矩形領域が検出対象として指定されたオブジェクト(検出対象車両)であることを推定するオブジェクト推定処理部153とを具備して構成される。
【0033】
オブジェクト推定処理部153は、抽出した矩形領域(追跡開始オブジェクト、および追跡オブジェクト)について、オブジェクトモデルテーブルを構成する参照テーブル154を用いてオブジェクトの推定を行う現在オブジェクトモデル推定処理部155と、現在オブジェクトモデル推定処理部155が推定した、現在と過去の推定結果の情報をもとに、尤度(likelihood)を利用してオブジェクトモデルの判定を行うオブジェクトモデル更新処理部156とを具備して構成される。
【0034】
オブジェクトモデルテーブルを構成する参照テーブル154には、あらかじめ初期設定として、オブジェクト(検出対象車両)を推定するため、所定の場所に設置されたカメラ11により、検出対象となる1オブジェクトについて、画角に収まる3地点以上の複数地点で当該オブジェクトを撮影し、その各映像フレームから生成したオブジェクトの矩形の領域がサンプルモデル(オブジェクトモデル)として登録される。この各地点の矩形の領域の位置と高さと幅の情報に基づいて算出されるオブジェクトモデルデータを用いて、オブジェクト推定処理部153は、大きさを異にする車種毎の検出対象オブジェクトを推定する。このサンプルモデルに従うオブジェクトモデルデータの生成手段については参考文献2に詳述されているので、ここではその詳細な説明を省略する。さらに上記参照テーブル154には、異常走行判定処理部16が参照する異常走行ルート(異常走行パターン)の定義情報および指定方向ゲート通過判定処理のためのゲート通過判定用設定情報が登録される。この異常走行パターンの定義内容については図6乃至図8を参照して、またゲート通過判定用設定内容については図9乃至図14を参照して後述する。
【0035】
現在オブジェクトモデル推定処理部155は、キャプチャ部12が取り込んだキャプチャ画像を入力し、追跡処理部152が取得した変化領域情報、追跡情報等を利用して、オブジェクト(検出対象物である走行車両)を推定するオブジェクト推定機能を実現している。このオブジェクト推定機能により、例えば、検出すべきでない対象物の検出を排除し、ユーザが検出したい対象物(走行車両)に対する検出並びに追跡した結果の情報を取得することができる。また、ユーザが指定した対象物か否か(検出対象車種であるか否か)を特定することができる。
【0036】
オブジェクトモデル更新処理部156は、現在オブジェクトモデル推定処理部155が推定した、現在と過去の推定結果の情報をもとに、現在オブジェクトモデルを更新し、尤度を利用してオブジェクトモデルの判定を行う処理機能を実現している。
【0037】
異常走行判定処理部16は、オブジェクト推定処理部153が推定したオブジェクトについて、当該オブジェクトが検出対象オブジェクトであるか否かを判定する検出対象オブジェクト判定処理部161と、検出対象オブジェクト判定処理部161が判定した検出対象オブジェクトについて、当該オブジェクトが予め設定された異常走行パターンに該当する異常軌跡オブジェクトであるか否かを判定する異常軌跡オブジェクト判定処理部162と、異常軌跡オブジェクト判定処理部162が判定した異常軌跡オブジェクトを登録し発報情報を生成する異常軌跡オブジェクト登録処理部163とを具備して構成される。
【0038】
検出対象オブジェクト判定処理部161は、上記オブジェクトモデル更新処理部156が更新処理を実施したオブジェクトについて、上記参照テーブル154に登録されたサンプルモデル(オブジェクトモデル)に従うオブジェクトモデルデータを参照して、当該オブジェクトが検出対象にある車種(例えば、大型車両、二輪車等)であるか否かを判定する処理を行う。
【0039】
異常軌跡オブジェクト判定処理部162は、検出対象オブジェクト判定処理部161が検出対象にある車種であると判定した検出対象オブジェクト(検出対象車両)について、当該検出対象オブジェクトの追跡の軌跡情報(走行軌跡)と上記ゲート通過判定用設定情報をもとに、当該検出対象オブジェクトが上記参照テーブル154に登録された異常走行パターン(図6乃至図8参照)に該当する異常軌跡オブジェクト(異常走行車両)であるか否か(検出対象オブジェクトが指定ゲートを指定方向に通過したか否か)を判定する処理を行う。
【0040】
異常軌跡オブジェクト登録処理部163は、異常軌跡オブジェクト判定処理部162において指定ゲートを指定方向に通過した異常軌跡オブジェクトについて当該オブジェクトを外部出力の対象となる異常走行オブジェクト(異常走行車両)として、当該異常走行オブジェクトに対する検出コード(オブジェクト名称)、異常走行軌跡(位置座標)、発報日時(検出日時)等の異常走行検出情報を生成し、図示しない内部バッファに登録するとともに、異常走行車両が走行中である旨を外部に発報するための外部出力処理を行う。
【0041】
上記図3に示す異常走行車両検出システムの動作を図4および図5に示すフローチャートを参照して説明する。
【0042】
異常走行車両の検出処理にあたって、カメラ11の撮影位置設定(監視映像の設定)、並びに車種判定のためのオブジェクトモデルの登録(判定用矩形領域の設定)処理、および異常走行を検出するためのゲートの設定処理を実施する。
【0043】
カメラ(単眼カメラ)11は、監視対象となる道路を撮影可能な位置で、かつ道路を走行する車両の位置と移動方向と移動距離がそれぞれ撮影した画面上の位置座標から認識できるよう、道路の監視対象領域を斜め上方から撮影する位置(例えば路側位置)に設置される。車種判定のためのオブジェクトモデルの登録処理、および異常走行を検出するためのゲート設定処理は上記カメラ11で撮影した監視映像(映像フレーム)をキャプチァすることにより行う。
【0044】
車種判定のためのオブジェクトモデルの登録(判定用矩形領域の設定)処理は、上記道路の監視対象領域に撮影画角をあわせた(撮影位置を固定した)カメラ11により、検出対象となる車両を、形状(大きさ)を異にする車種(例えば、大型貨物車、中小型貨物車、乗用車、二輪車等)毎に、それぞれ画面上で設定した3地点以上の複数地点で撮影し、その各地点毎のフレーム画像から各車両の矩形の領域を抽出し、車種を単位に路上の地点を変えた複数地点の大きさが変化する矩形の領域をもとに車種毎のサンプルモデル(オブジェクトモデル)に従うオブジェクトモデルデータを作成し参照テーブル154に保存することにより行う。
【0045】
異常走行を検出するためのゲート設定処理は、上記カメラ11で道路の監視対象領域を撮影し、キャプチャ部12がキャプチァした画像上で、異常走行を検出するゲートのラインおよび進入方向を設定することにより行う。
【0046】
ここでは、キャプチァした画像上で、ゲートの始端および終端の2点設定によりゲートのライン(L)を設定することにより、検出する位置および範囲と検出する方向(進入方向)を設定する。この設定例を図6乃至図8に示している。
【0047】
図6に示す、異常走行例1)は、逆走検出を行う場合のゲートのライン(L)および進入方向の設定例である。この異常走行例1)では、監視対象道路の矢印Aを順方向とする車線において、順方向(カメラ11で撮影した画面上の上から下に向かう方向)と逆の方向に走行する車両を異常走行車両として検出する。この場合は、画面上で、ゲートの始端(Pa)とその終端(Pb)の2点を設定することで、検出対象車線の検出開始位置と、検出エリア(検出対象車線)と、検出方向(逆送方向)とを設定する。
【0048】
図7に示す、異常走行例2)は、路肩走行検出を行う場合のゲートのラインおよび進入方向の設定例である。この異常走行例2)では、ゲートのライン(L)により、車線Cの路肩(または待避線)Caを走行する車両を異常走行車両として検出する。この場合は、路肩(または待避線)Caを対象に、その検出開始位置と、検出エリア(検出対象の路肩Ca)と、検出方向(進行方向)を設定する。
【0049】
図8に示す、異常走行例3)は、進入禁止道路を進入する車両を検出する場合のゲートのラインおよび進入方向の設定例である。この異常走行例3)では、ゲートのライン(L)により、進入禁止の検出開始位置と、検出エリア(進入禁止道路の入り口の範囲)と、検出方向(進入禁止方向)を設定する。
【0050】
ここでは、異常走行パターンを定義するゲートの設定例として、逆走検出のためのゲートの設定と、路肩走行検出のためのゲートの設定と、進入禁止道路を進入する車両を検出するためのゲートの設定とを例に示したが、上記したゲートの設定以外に、例えば駐車禁止区域における駐車車両を検出のためのゲートの設定、車線を定めた低速走行車両検出のためのゲートの設定、待避車線を走行する車両を検出するためのゲートの設定、停車禁止区域における停車車両を検出するためのゲートの設定、規定速度以下の低速走行車両を検出するためのゲートの設定、規定速度を超える高速走行車両を検出するためのゲートの設定、一時停止を怠った車両を検出するためのゲートの設定等、各種の走行異常検出のための複数のゲート設定が可能である。なお、車両の走行速度および停止状態を検知するための速度および時間情報は、検出対象車両である矩形の領域を追跡処理して得た追跡バッファ情報を用いることにより容易に取得できる。
【0051】
上記した異常走行検出のための初期設定の後、図4および図5に示す処理手順に従い異常走行車両の検出処理が実施される。
【0052】
この異常走行車両の検出処理では、カメラ11により撮影された監視映像がフレーム単位でキャプチャ部12によりキャプチャされ、画像処理記憶部13内の画像バッファ131に、所定のフレーム数単位で、常に新たなフレームに更新されながら保持される。この画像処理記憶部13の情報をもとに、画像処理部15および異常走行判定処理部16においてキャプチャ部12が取り込んだフレーム単位の現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出し、抽出した矩形の領域を処理対象オブジェクトとして上記一定の周期毎に追跡し、追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定して、判定した監視対象オブジェクトについて追跡情報と設定情報とをもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定し、異常走行パターンに合致する異常走行と判定した場合に、異常走行の発生を外部に報知する。
【0053】
画像処理部15は、車両検出処理部15aの処理機能を実現する変化領域抽出処理部151と、車両追跡処理部15bの処理機能を実現する追跡処理部152と、車種推定処理部15cの処理機能を実現するオブジェクト推定処理部153とにより構成され、異常走行判定処理部16は、車種判別処理部16aの処理機能を実現する検出対象オブジェクト判定処理部161と、異常走行検出処理部16bの処理機能を実現する異常軌跡オブジェクト判定処理部162および異常軌跡オブジェクト登録処理部163とにより構成される。
【0054】
車両検出処理部15aの処理機能を実現する変化領域抽出処理部151は、入力画像の映像を利用して、差分処理、ノイズ除去処理、ラベリング処理によりノイズを除去した差分二値化画像を生成し、この差分二値化画像から、変化画素を含む矩形の領域を変化画素領域として抽出する(ステップA11)。
【0055】
この変化領域抽出処理部151で変化画素領域(矩形の領域)が抽出されると、車両追跡処理部15bの処理機能を実現する追跡処理部152は、変化画素領域の追跡処理を行い、変化領域情報を追跡情報バッファ(BUF)に格納し追跡情報を更新する(ステップA12)。
【0056】
追跡情報バッファ(BUF)の追跡情報が更新されると、車種推定処理部15cの処理機能を実現するオブジェクト推定処理部153内の現在オブジェクトモデル推定処理部155において、追跡情報バッファ(BUF)の追跡情報を利用して、参照テーブル154にあらかじめ設定されているオブジェクトモデルテーブルを利用し、現在のオブジェクトモデルを推定する(ステップA13)。さらにオブジェクト推定処理部153内のオブジェクトモデル更新処理部156において、現在オブジェクトモデル推定処理部155が推定したこれまでのオブジェクトモデル推定情報を利用して、現在オブジェクトモデルを更新する(ステップA14)。
【0057】
オブジェクトモデル更新処理部156において現在オブジェクトモデルが更新されると、車種判別処理部16aの処理機能を実現する検出対象オブジェクト判定処理部161は、オブジェクトモデルの推定結果が事前に登録されたモデルと一致するかを判定する(ステップA15)。
【0058】
この判定で一致しない場合は処理を終了する。
【0059】
オブジェクトモデルの推定結果が事前に登録されたモデルと一致した場合(ステップA15 Yes)、異常走行検出処理部16bの処理機能を実現する異常軌跡オブジェクト判定処理部162および異常軌跡オブジェクト登録処理部163のうち、異常軌跡オブジェクト判定処理部162において、当該オブジェクトを異常走行の判定対象にある検出対象オブジェクトとして、追跡の軌跡情報を格納する(ステップA16)。
【0060】
さらに 異常軌跡オブジェクト判定処理部162は、検出対象オブジェクト判定処理部161が検出対象にある車種であると判定した検出対象オブジェクト(検出対象車両)について、当該検出対象オブジェクトの追跡の軌跡情報(走行軌跡)とゲート通過判定用設定情報をもとに、当該検出対象オブジェクトが参照テーブル154に登録された異常走行パターン(図6乃至図8参照)に該当する異常軌跡オブジェクト(異常走行車両)であるか否か(検出対象オブジェクトが指定ゲートを指定方向に通過したか否か)を判定する。この判定処理(指定方向ゲート通過判定処理)では、検出対象オブジェクトについて、追跡軌跡情報と事前に登録したゲートの交差及び、交差方向を判定し、指定ゲートを指定方向に通過したか否かを判定する(ステップA17)。この指定方向ゲート通過判定処理については、図9乃至図15を参照して後述する。
【0061】
この判定処理において、指定ゲートを通過していない場合や、指定方向への通過でない場合は処理を終了する。
【0062】
異常軌跡オブジェクト判定処理部162において異常走行パターンに該当する異常軌跡オブジェクトであると判定された場合(追跡の軌跡が指定ゲートへの指定方向に対して通過したと判断された場合)、当該異常軌跡オブジェクトを、外部出力の対象となる異常走行オブジェクト(異常走行車両)として検出する。
【0063】
この異常軌跡オブジェクト判定処理部162において異常走行オブジェクトが検出されると(ステップA17 Yes)、異常軌跡オブジェクト登録処理部163は、当該異常走行オブジェクト(異常走行車両)に対する検出コード(オブジェクト名称)、異常走行軌跡(位置座標)、発報日時(検出日時)等の異常走行検出情報を生成し、図示しない内部バッファに登録する(ステップA18)。さらに、異常走行車両が走行中である旨を外部に発報するための外部出力処理(発報出力処理)を行う(ステップA19)。
【0064】
この発報出力処理は、例えば異常走行である旨を道路上の表示盤に表示して、異常走行車両およびその周囲の運転者に異常走行を報知するとともに、異常走行車両が通行する道路を監視している道路監視室のモニタ画面に表示する発報出力を実施する。
【0065】
ここで、上記した指定方向ゲート通過判定処理について、図9乃至図14に示す判定例と図15に示す判定処理フローを参照して説明する。
【0066】
この指定方向ゲート通過判定処理では、図15に示すステップS21において、ゲートの始端および終端の2点と、侵入角度α、侵入角度範囲±β、オブジェクトの追跡開始位置(始点と呼ぶ)および追跡終了位置(終点と呼ぶ)をゲート通過判定用設定情報として設定する。このゲート通過判定用設定情報に基づいて図15に示すステップS22〜S29の判定処理を実施する。
【0067】
[判定1]において、ゲートの侵入方向左を基準に交差判定を行う。
【0068】
(1).図15に示すステップS22において、図9に示すように、ゲートの侵入方向左の点(始端)を基準とし、始点(チェック点)が、ゲートの進入方向右の点(終端)に対して、ゲートの左または右のどちら側に存在するかを判定する(ゲートの侵入方向左を基準に、ゲートの侵入方向右と、始点の外積を求め、始点が侵入ゲートの右にある場合は、外積により、正の解が得られる)。
【0069】
(2).図15に示すステップS23において、図10に示すように、ゲートの侵入方向左の点を基準とし、終点(チェック点)が、ゲートの侵入方向右の点に対して、ゲートの左または右のどちら側に存在するかを判定する(ゲートの侵入方向左を基準に、ゲートの侵入方向右と、終点の外積を求め、終点が侵入ゲートの左にある場合は、外積により、負の解が得られる)。
【0070】
[判定2]において、追跡開始位置(始点と呼ぶ)を基準に交差判定を行う。
【0071】
(1).図15に示すステップS24において、図11に示すように、始点を基準とし、ゲートの侵入方向右の点(チェック点)が、終点に対して、ゲートの左または右のどちら側に存在するかを判定する(始点を基準に、終点と、ゲートの侵入方向右の外積を求め、ゲートの侵入方向右が、終点の右にある場合は、外積により、正の解が得られる)。
【0072】
(2).図15に示すステップS25において、図12に示すように、始点を基準とし、ゲートの侵入方向左の点(チェック点)が、終点に対して、ゲートの左または右のどちら側に存在するかを判定する(始点を基準に、終点と、ゲートの侵入方向左の外積を求め、ゲートの侵入方向左が、終点の左にある場合は、外積により、負の解が得られる)。
【0073】
[判定3]において、交差判定を行う。
【0074】
図15に示すステップS26において、上記判定1と判定2の各結果が以下を全て満たす場合に、交差状態とする。
【0075】
・判定1−(1):0以上の値
・判定1−(2):負の値
・判定2−(1):0以上の値
・判定2−(2):0以下の値
上記において、0を含んでいるのは、判定した点がゲート上に存在する場合もゲート通過とするためであり、判定1−(2)のみ0を含まないのは、追跡開始位置がゲート上にある場合はゲート通過としないためである。
【0076】
なお、判定1と2を組み合わせで、交差判定を行っているのは、片方だけでは、実際のゲートと追跡軌跡が交差していない可能性があるためである。交際していない可能性の例を図13に示している。
【0077】
[判定4]において、角度判定を行う。
【0078】
角度を利用する場合は、交差判定による、交差状態となった場合に、図14に示すように、ゲートと追跡軌跡のなす角θを算出し、θの値が、α±βの範囲内にある場合は、角度範囲内として異常走行の検出処理を行い、異常走行の発報処理を実施する(図15ステップS27〜S29)。
【0079】
上記したように本発明の実施形態によれば、車両に機器を設置する必要なく、道路を監視している1台のカメラ(単眼カメラ)映像に対して、検出したい異常走行ルート(異常走行パターン)を任意に設定(設定はゲート設定のみ)することで、走行すべき方向に進んでいない車両や、走行してはいけない場所(例えば路肩または待避車線等)を走行している車両を異常走行車両として検出し通知することができる。また、単眼カメラに撮像されている道路の全車線を対象に、設定した各種の走行異常を検出でき、車両が撮像される画角であれば、どのような環境にも適用できる。さらに、あらかじめ設定したゲートに対して、追跡した軌跡がどのように交差するかを角度的な判断を加味して判定する(進入している方向を決められる)ことが可能であり、これにより設置位置や進行方向を限定することなく、容易に異常走行を検出することが可能である。また、異常走行検出結果を画像として蓄積することで、事後の検証も可能である。このように、本発明の実施形態では、一方通行とは限らない監視可能な道路全体にわたる各種の異常走行検出が可能であり、1つの装置(システム)で通行ポイント(ゲート)を複数設定可能であり、各通行ポイント走行では、角度的な判断を加味して検出が可能であるという機能上の特徴をもつ。
【0080】
なお、本発明は、車道を走行する車両だけでなく、人や船舶の監視並びに特定状態検出にも適用可能である。また、本発明は、自動車以外の動物体の監視装置に適用することも可能であり、例えば配送品の仕分けラインにおける搬送物の監視並びに搬送ルートの検出処理、または立ち入り禁止区域の侵入監視並びに侵入者の検知処理等に適用することも可能である。また、本発明は、監視対象区域を単眼カメラで撮影して、その画像から、自動車や人などの動物体を矩形の領域として抽出し追跡する処理を行う、例えば渋滞監視や混雑監視や停止物監視などを行うシステムに容易に組み込むことが可能であり、広い汎用性が期待できる。
【符号の説明】
【0081】
11…単眼カメラ(一台のカメラ)、12…キャプチャ部、13−16…異常走行車両検出処理部、13…画像処理記憶部、15…画像処理部、16…異常走行判定処理部、15a…車両検出処理部、15b…車両追跡処理部、15c…車種推定処理部、16a…車種判別処理部、16b…異常走行検出処理部、131…画像バッファ、151…変化領域抽出処理部、152…追跡処理部、153…オブジェクト推定処理部、154…参照テーブル、155…現在オブジェクトモデル推定処理部、156…オブジェクトモデル更新処理部、161…検出対象オブジェクト判定処理部、162…異常軌跡オブジェクト判定処理部、163…異常軌跡オブジェクト登録処理部、BUF…追跡情報バッファ。
【技術分野】
【0001】
本発明の実施形態は、単眼カメラで撮影した映像をもとに道路を監視し異常走行車両を検出する異常走行車両検出システムおよび道路監視プログラムに関する。
【背景技術】
【0002】
自動車走行道路における車両の異常走行検出技術として、種々の検出技術が存在するが、いずれも煩雑なシステム構成を必要とし、設備が大掛かりになることから、経済性並びに実用性の面で問題があった。具体例を挙げると、従来では、色彩、形状等の違う複数の線状表示をイメージセンサで撮影して、線状表示の並び方を検出し、線状表示の位置関係から車両の走行方向を認識する技術(引用文献1参照)、路側に、入口情報を常時無線により発信し、車載器に、入口情報を所定時間継続して受信すると逆送を警告する音声発生手段を具備した技術(引用文献2参照)、道路標識をパターン認識して、その道路標識が走行車線よりも左側にあるか右側にあるかを判定し、右側にあると判定したとき振動発生機を振動させて運転手に警告する技術(引用文献3)、1フレームの画像情報からナンバープレートの画像情報を抽出し、文字認識するとともに、ナンバープレートの位置を認識して、前フレームの画像情報から抽出し認識した上記各内容と比較し、ナンバープレートの移動方向から車両の走行方向を認識する技術(引用文献4)、道路標識らしきものの大きさを検出し、右側の道路標識が正常走行時のものより大きいとき、あるいは左側の道路標識が正常走行時のものより小さいときに逆走の警報を出力する技術(引用文献5)等が存在する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−163777号公報
【特許文献2】特開2007−102443号公報
【特許文献3】特開2007−293390号公報
【特許文献4】特開2004−234486号公報
【特許文献5】特開2007−140883号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したように、従来では、種々の自動車走行道路における車両の異常走行検出技術が存在するが、そのいずれもシステム構成が煩雑になることから、経済性並びに実用性の面で問題があった。
【0005】
本実施形態は上記実情に鑑みなされたもので、道路および車両に特別な設備や機能をもたせることなく、道路を走行する車両の異常走行を一定の精度で検出し外部に報知することのできる異常走行車両検出システムおよび道路監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本実施形態は、車道を撮影する単眼カメラと、前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理手段と、前記領域追跡処理手段が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理手段と、前記監視対象判定処理手段が判定した監視対象オブジェクトについて、前記領域追跡処理手段が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理手段と、前記異常走行判定処理手段が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力手段と、を具備した異常走行車両検出システムを特徴とする。
【0007】
また本実施形態は、単眼カメラで車道を撮影し、撮影したフレーム単位の画像をもとに前記車道を走行する異常車両を検出する異常走行車両検出装置としてコンピュータを機能させるための道路監視プログラムであって、前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理機能と、前記領域抽出処理機能が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理機能と、前記領域追跡処理機能が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理機能と、前記監視対象判定処理機能が判定した監視対象オブジェクトについて、前記領域追跡処理機能が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理機能と、前記異常走行判定処理機能が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力機能と、をコンピュータに実現させるための道路監視プログラムを特徴とする。
【発明の効果】
【0008】
上記実施形態によれば、道路および車両に特別な設備や機能をもたせることなく、一台のカメラで撮影した映像をもとに道路を走行する車両の異常走行を一定の精度で検出し外部に報知することのできる異常走行車両検出システムが提供できる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施形態に係る異常走行車両検出システムの構成を示すブロック図。
【図2】上記実施形態に係る異常走行車両検出処理部の構成を示すブロック図。
【図3】上記実施形態に係る異常走行車両検出システムの構成をより詳細に示すブロック図。
【図4】上記実施形態に係る異常走行車両検出システムの処理手順を示すフローチャート。
【図5】上記実施形態に係る異常走行車両検出システムの処理手順を示すフローチャート。
【図6】上記実施形態における異常走行パターン(異常走行ルート)の事前設定例(逆送検出パターン)を説明するための図。
【図7】上記実施形態における異常走行パターンの事前設定例(路肩走行検出パターン)を説明するための図。
【図8】上記実施形態における異常走行パターンの事前設定例(進入禁止道路進入検出パターン)を説明するための図。
【図9】上記実施形態における異常走行判定処理(指定方向ゲート通過判定処理における交差判定処理)を説明するための図。
【図10】上記実施形態における異常走行判定処理を説明するための図。
【図11】上記実施形態における異常走行判定処理を説明するための図。
【図12】上記実施形態における異常走行判定処理を説明するための図。
【図13】上記実施形態における異常走行判定処理を説明するための図。
【図14】上記実施形態における異常走行判定処理を説明するための図。
【図15】上記実施形態における異常走行判定処理手順を示すフローチャート。
【発明を実施するための形態】
【0010】
以下図面を参照して本発明の実施形態を説明する。
【0011】
本発明の実施形態は、自動車が通行する道路(車道)、または同道路に付帯する、例えばパーキングエリア、サービスエリア、高速道路のインターチェンジ、駐車場施設、車道の交差点等における走行車両の監視カメラ装置に適用して好適な異常走行車両検出システムおよび異常走行監視プログラムを実現する。
【0012】
本発明の実施形態に係る異常走行車両検出システムは、車両に機器を設置する必要はなく、道路を監視している1台のカメラ(単眼カメラ)映像に対して、検出したい異常走行ルート(異常走行パターン)を任意に設定(設定はゲート設定のみ)することで、走行すべき方向に進んでいない車両や、走行してはいけない場所(例えば路肩または待避車線等)を走行している車両を異常走行車両として検出し通知することができる。
【0013】
この異常走行車両検出システムは、単眼カメラに撮像されている道路の全車線を対象に、設定した各種の走行異常を検出でき、車両が撮像される画角であれば、どのような環境にも適用できる。また、一方通行道路に限定することなく、複数車線でも、対面通行道路でも、車線単位で異常走行を検出することが可能であり、カメラの撮像範囲内であれば、1台の装置(システム)にて通行ポイント(ゲート)を複数設定して設定した通行ポイント毎に異常走行を検出処理することが可能である。また、異常走行の検出処理としては、あらかじめ設定したゲートに対して、追跡した軌跡がどのように交差するかを角度的な判断を加味して判定する(進入している方向を決められる)ことが可能であり、これにより設置位置や進行方向を限定することなく、容易に異常走行を検出することが可能である。また、異常走行検出結果を画像として蓄積することで、事後の検証も可能である。このように、一方通行とは限らない監視可能な道路全体にわたる各種の異常走行検出が可能であり、1つの装置(システム)で通行ポイント(ゲート)を複数設定可能であり、各通行ポイント走行では、角度的な判断を加味して検出が可能であるという機能上の特徴をもつ。
【0014】
本発明の実施形態に係る異常走行車両検出システムは図1に示すように、一台のカメラ(単眼カメラ)11と、キャプチャ部12と、異常走行車両検出処理部13−16と、表示部17とを具備して構成される。カメラ(単眼カメラ)11、キャプチャ部12、および表示部17は、それぞれハードウェア(HW)により実現される構成要素であり、異常走行車両検出処理部13−16はソフトウェア(SW)により実現される構成要素である。
【0015】
カメラ11は、監視対象となる道路(監視対象車線)の撮影が可能な、例えば道路の路側、道路を跨ぐ架橋、道路上の表示盤支持フレーム等に設置または支持されて、道路上の距離を異にする複数の地点が監視映像(キャプチャした映像フレーム)の位置座標により判別できるよう、監視対象車線を斜め上方から撮影する。キャプチャ部12はカメラ11で撮影した監視対象車線の画像をフレーム単位で取り込む。
【0016】
異常走行車両検出処理部13−16は、上記キャプチャ部12が取り込んだフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出し、抽出した矩形の領域を処理対象オブジェクトとして上記一定の周期毎に追跡し、追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定して、判定した監視対象オブジェクトについて追跡情報と設定情報とをもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する処理機能を実現している。表示部17は上記異常走行車両検出処理部13−16において監視対象オブジェクトが異常走行状態にあることを判定したとき、当該オブジェクトに関する軌跡を含む所定の情報を登録するとともに異常走行状態が発生したことを外部に報知する出力機能を実現している。
【0017】
異常走行車両検出処理部13−16は、図2に示すように、車両検出処理部15aと、車両追跡処理部15bと、車種推定処理部15cと、車種判別処理部16aと、異常走行検出処理部16bとを具備して構成される。
【0018】
車両検出処理部15aは、カメラ11が撮影した監視対象領域の画像を入力し、入力したフレーム単位の現在画像と過去画像を差分処理して変化画素領域を矩形の領域(矩形領域)として抽出し、当該矩形領域を監視対象車線を走行する車両として検出する処理を行う。
【0019】
車両追跡処理部15bは、車両検出処理部15aが検出した走行車両(矩形領域)を処理対象オブジェクトとして当該オブジェクトを一定の周期毎に追跡する処理を行う。
【0020】
車種推定処理部15cは、車両追跡処理部15bが追跡した走行車両(矩形領域)について、設定された矩形領域との大きさの比較により走行車両の車種(大型車両/小型車両/二輪車等)を推定する処理を行う。
【0021】
車種判別処理部16aは、車種推定処理部15cが推定した車種の車両について、当該車両が設定された検出対象車種であるか否かを判別する処理を行う。
【0022】
異常走行検出処理部16bは、車種判別処理部16aで検出対象車種であると判別された走行車両について、当該車両が設定された異常走行パターンに合致する異常走行車両であるか否かを判定し、異常走行車両を検出する処理を行う。さらに異常走行検出処理部16bは異常走行車両を検出すると、当該異常走行車両に関する所定の情報を登録するとともに、異常走行が発生した旨を外部に通知する処理を行う。
【0023】
異常走行検出処理部16bから異常走行が発生した旨を受けた表示部17は、当該異常走行が発生した旨を表示出力する。この表示部17は、例えば上記道路の監視対象車線近傍の路上に設置された道路表示盤であってもよく、または道路を管理する道路監視室の表示装置であってもよい。路上に設置された道路表示盤に上記異常走行が発生した旨を表示することにより、異常走行車両の運転者、異常走行車両近傍の他の車両運転者にそれぞれ異常走行を報知することができる。
【0024】
上記した異常走行車両検出処理部13−16における各構成要素の詳細については図3乃至図15を参照して後述する。
【0025】
上記図1および図2に示した異常走行車両検出システムのより具現化した構成を図3に示している。
【0026】
図3に示す異常走行車両検出システムは、カメラ(単眼カメラ)11と、キャプチャ部12と、画像処理記憶部13と、画像処理部15と、異常走行判定処理部16と、表示部17とを具備して構成される。画像処理記憶部13と、画像処理部15と、異常走行判定処理部16とにより上記図2に示した異常走行車両検出処理部13−16が実現される。
【0027】
図3に示す画像処理部15および異常走行判定処理部16は、それぞれ上記検出対象となる車両を処理対象オブジェクトとして、検出対象となる車両の抽出並びに追跡処理、異常走行車両の判定処理等を実施する。
【0028】
上記構成要素のうち、画像処理部15は、上記図2に示す車両検出処理部15aの処理機能を実現する変化領域抽出処理部151と、車両追跡処理部15bの処理機能を実現する追跡処理部152と、車種推定処理部15cの処理機能を実現するオブジェクト推定処理部153とを具備する。異常走行判定処理部16は、同じく上記図2に示す車種判別処理部16aの処理機能を実現する検出対象オブジェクト判定処理部161と、異常走行検出処理部16bの処理機能を実現する異常軌跡オブジェクト判定処理部162および異常軌跡オブジェクト登録処理部163とを具備する。なお、画像処理部15の各構成要素については、特許第4427052(参考文献1)、特開平2009−211122号公報(参考文献2)、および特開平2009−210286号公報(参考文献3)に記載された画像処理部の技術を援用して実現しており、ここではその詳細(演算式等)について説明を省略する。
【0029】
カメラ11は、上記したように、監視対象車線が撮影可能な位置に設置され、監視対象車線を斜め上方から撮影する。このカメラ11は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子(例えばCCD固体撮像素子、若しくはCMOSイメージセンサ)とを具備して、上記道路の監視対象領域における動きを伴う被写体(動物体)を対象に、一定の画角で撮像した一画面分の画像を所定の画素単位(例えば1フレーム320×240画素(pix)=QVGA)で出力する。
【0030】
キャプチャ部12は、カメラ11が撮像したフレーム単位の画像を画像処理部15の処理対象画像(入力画像)として取り込み、画像処理記憶部13内の画像バッファ131に保持する処理機能をもつ。この画像バッファ131に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。
【0031】
画像処理記憶部13は、画像処理部15の処理に供される、キャプチャ部12が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部13には、画像処理部15の制御の下に、キャプチャ部12が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像(現在画像)と、前回取り込んだ一画面分の画像(過去画像)をそれぞれ処理対象画像として保持する画像バッファ131を構成する領域が確保されるとともに、画像処理部15の処理に用いられる画像領域が確保される。さらに画像処理記憶部13には、画像処理部15の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、追跡処理に於いて生成若しくは取得される各種情報の記憶領域も確保される。
【0032】
画像処理部15は、画像処理記憶部13の画像バッファ131に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出する変化領域抽出処理部151と、この変化領域抽出処理部151で抽出した矩形領域を処理対象に、領域を追跡する、追跡情報バッファ(BUF)を備えた追跡処理部152と、参照テーブル154を用いて、追跡処理部152で追跡した矩形領域が検出対象として指定されたオブジェクト(検出対象車両)であることを推定するオブジェクト推定処理部153とを具備して構成される。
【0033】
オブジェクト推定処理部153は、抽出した矩形領域(追跡開始オブジェクト、および追跡オブジェクト)について、オブジェクトモデルテーブルを構成する参照テーブル154を用いてオブジェクトの推定を行う現在オブジェクトモデル推定処理部155と、現在オブジェクトモデル推定処理部155が推定した、現在と過去の推定結果の情報をもとに、尤度(likelihood)を利用してオブジェクトモデルの判定を行うオブジェクトモデル更新処理部156とを具備して構成される。
【0034】
オブジェクトモデルテーブルを構成する参照テーブル154には、あらかじめ初期設定として、オブジェクト(検出対象車両)を推定するため、所定の場所に設置されたカメラ11により、検出対象となる1オブジェクトについて、画角に収まる3地点以上の複数地点で当該オブジェクトを撮影し、その各映像フレームから生成したオブジェクトの矩形の領域がサンプルモデル(オブジェクトモデル)として登録される。この各地点の矩形の領域の位置と高さと幅の情報に基づいて算出されるオブジェクトモデルデータを用いて、オブジェクト推定処理部153は、大きさを異にする車種毎の検出対象オブジェクトを推定する。このサンプルモデルに従うオブジェクトモデルデータの生成手段については参考文献2に詳述されているので、ここではその詳細な説明を省略する。さらに上記参照テーブル154には、異常走行判定処理部16が参照する異常走行ルート(異常走行パターン)の定義情報および指定方向ゲート通過判定処理のためのゲート通過判定用設定情報が登録される。この異常走行パターンの定義内容については図6乃至図8を参照して、またゲート通過判定用設定内容については図9乃至図14を参照して後述する。
【0035】
現在オブジェクトモデル推定処理部155は、キャプチャ部12が取り込んだキャプチャ画像を入力し、追跡処理部152が取得した変化領域情報、追跡情報等を利用して、オブジェクト(検出対象物である走行車両)を推定するオブジェクト推定機能を実現している。このオブジェクト推定機能により、例えば、検出すべきでない対象物の検出を排除し、ユーザが検出したい対象物(走行車両)に対する検出並びに追跡した結果の情報を取得することができる。また、ユーザが指定した対象物か否か(検出対象車種であるか否か)を特定することができる。
【0036】
オブジェクトモデル更新処理部156は、現在オブジェクトモデル推定処理部155が推定した、現在と過去の推定結果の情報をもとに、現在オブジェクトモデルを更新し、尤度を利用してオブジェクトモデルの判定を行う処理機能を実現している。
【0037】
異常走行判定処理部16は、オブジェクト推定処理部153が推定したオブジェクトについて、当該オブジェクトが検出対象オブジェクトであるか否かを判定する検出対象オブジェクト判定処理部161と、検出対象オブジェクト判定処理部161が判定した検出対象オブジェクトについて、当該オブジェクトが予め設定された異常走行パターンに該当する異常軌跡オブジェクトであるか否かを判定する異常軌跡オブジェクト判定処理部162と、異常軌跡オブジェクト判定処理部162が判定した異常軌跡オブジェクトを登録し発報情報を生成する異常軌跡オブジェクト登録処理部163とを具備して構成される。
【0038】
検出対象オブジェクト判定処理部161は、上記オブジェクトモデル更新処理部156が更新処理を実施したオブジェクトについて、上記参照テーブル154に登録されたサンプルモデル(オブジェクトモデル)に従うオブジェクトモデルデータを参照して、当該オブジェクトが検出対象にある車種(例えば、大型車両、二輪車等)であるか否かを判定する処理を行う。
【0039】
異常軌跡オブジェクト判定処理部162は、検出対象オブジェクト判定処理部161が検出対象にある車種であると判定した検出対象オブジェクト(検出対象車両)について、当該検出対象オブジェクトの追跡の軌跡情報(走行軌跡)と上記ゲート通過判定用設定情報をもとに、当該検出対象オブジェクトが上記参照テーブル154に登録された異常走行パターン(図6乃至図8参照)に該当する異常軌跡オブジェクト(異常走行車両)であるか否か(検出対象オブジェクトが指定ゲートを指定方向に通過したか否か)を判定する処理を行う。
【0040】
異常軌跡オブジェクト登録処理部163は、異常軌跡オブジェクト判定処理部162において指定ゲートを指定方向に通過した異常軌跡オブジェクトについて当該オブジェクトを外部出力の対象となる異常走行オブジェクト(異常走行車両)として、当該異常走行オブジェクトに対する検出コード(オブジェクト名称)、異常走行軌跡(位置座標)、発報日時(検出日時)等の異常走行検出情報を生成し、図示しない内部バッファに登録するとともに、異常走行車両が走行中である旨を外部に発報するための外部出力処理を行う。
【0041】
上記図3に示す異常走行車両検出システムの動作を図4および図5に示すフローチャートを参照して説明する。
【0042】
異常走行車両の検出処理にあたって、カメラ11の撮影位置設定(監視映像の設定)、並びに車種判定のためのオブジェクトモデルの登録(判定用矩形領域の設定)処理、および異常走行を検出するためのゲートの設定処理を実施する。
【0043】
カメラ(単眼カメラ)11は、監視対象となる道路を撮影可能な位置で、かつ道路を走行する車両の位置と移動方向と移動距離がそれぞれ撮影した画面上の位置座標から認識できるよう、道路の監視対象領域を斜め上方から撮影する位置(例えば路側位置)に設置される。車種判定のためのオブジェクトモデルの登録処理、および異常走行を検出するためのゲート設定処理は上記カメラ11で撮影した監視映像(映像フレーム)をキャプチァすることにより行う。
【0044】
車種判定のためのオブジェクトモデルの登録(判定用矩形領域の設定)処理は、上記道路の監視対象領域に撮影画角をあわせた(撮影位置を固定した)カメラ11により、検出対象となる車両を、形状(大きさ)を異にする車種(例えば、大型貨物車、中小型貨物車、乗用車、二輪車等)毎に、それぞれ画面上で設定した3地点以上の複数地点で撮影し、その各地点毎のフレーム画像から各車両の矩形の領域を抽出し、車種を単位に路上の地点を変えた複数地点の大きさが変化する矩形の領域をもとに車種毎のサンプルモデル(オブジェクトモデル)に従うオブジェクトモデルデータを作成し参照テーブル154に保存することにより行う。
【0045】
異常走行を検出するためのゲート設定処理は、上記カメラ11で道路の監視対象領域を撮影し、キャプチャ部12がキャプチァした画像上で、異常走行を検出するゲートのラインおよび進入方向を設定することにより行う。
【0046】
ここでは、キャプチァした画像上で、ゲートの始端および終端の2点設定によりゲートのライン(L)を設定することにより、検出する位置および範囲と検出する方向(進入方向)を設定する。この設定例を図6乃至図8に示している。
【0047】
図6に示す、異常走行例1)は、逆走検出を行う場合のゲートのライン(L)および進入方向の設定例である。この異常走行例1)では、監視対象道路の矢印Aを順方向とする車線において、順方向(カメラ11で撮影した画面上の上から下に向かう方向)と逆の方向に走行する車両を異常走行車両として検出する。この場合は、画面上で、ゲートの始端(Pa)とその終端(Pb)の2点を設定することで、検出対象車線の検出開始位置と、検出エリア(検出対象車線)と、検出方向(逆送方向)とを設定する。
【0048】
図7に示す、異常走行例2)は、路肩走行検出を行う場合のゲートのラインおよび進入方向の設定例である。この異常走行例2)では、ゲートのライン(L)により、車線Cの路肩(または待避線)Caを走行する車両を異常走行車両として検出する。この場合は、路肩(または待避線)Caを対象に、その検出開始位置と、検出エリア(検出対象の路肩Ca)と、検出方向(進行方向)を設定する。
【0049】
図8に示す、異常走行例3)は、進入禁止道路を進入する車両を検出する場合のゲートのラインおよび進入方向の設定例である。この異常走行例3)では、ゲートのライン(L)により、進入禁止の検出開始位置と、検出エリア(進入禁止道路の入り口の範囲)と、検出方向(進入禁止方向)を設定する。
【0050】
ここでは、異常走行パターンを定義するゲートの設定例として、逆走検出のためのゲートの設定と、路肩走行検出のためのゲートの設定と、進入禁止道路を進入する車両を検出するためのゲートの設定とを例に示したが、上記したゲートの設定以外に、例えば駐車禁止区域における駐車車両を検出のためのゲートの設定、車線を定めた低速走行車両検出のためのゲートの設定、待避車線を走行する車両を検出するためのゲートの設定、停車禁止区域における停車車両を検出するためのゲートの設定、規定速度以下の低速走行車両を検出するためのゲートの設定、規定速度を超える高速走行車両を検出するためのゲートの設定、一時停止を怠った車両を検出するためのゲートの設定等、各種の走行異常検出のための複数のゲート設定が可能である。なお、車両の走行速度および停止状態を検知するための速度および時間情報は、検出対象車両である矩形の領域を追跡処理して得た追跡バッファ情報を用いることにより容易に取得できる。
【0051】
上記した異常走行検出のための初期設定の後、図4および図5に示す処理手順に従い異常走行車両の検出処理が実施される。
【0052】
この異常走行車両の検出処理では、カメラ11により撮影された監視映像がフレーム単位でキャプチャ部12によりキャプチャされ、画像処理記憶部13内の画像バッファ131に、所定のフレーム数単位で、常に新たなフレームに更新されながら保持される。この画像処理記憶部13の情報をもとに、画像処理部15および異常走行判定処理部16においてキャプチャ部12が取り込んだフレーム単位の現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出し、抽出した矩形の領域を処理対象オブジェクトとして上記一定の周期毎に追跡し、追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定して、判定した監視対象オブジェクトについて追跡情報と設定情報とをもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定し、異常走行パターンに合致する異常走行と判定した場合に、異常走行の発生を外部に報知する。
【0053】
画像処理部15は、車両検出処理部15aの処理機能を実現する変化領域抽出処理部151と、車両追跡処理部15bの処理機能を実現する追跡処理部152と、車種推定処理部15cの処理機能を実現するオブジェクト推定処理部153とにより構成され、異常走行判定処理部16は、車種判別処理部16aの処理機能を実現する検出対象オブジェクト判定処理部161と、異常走行検出処理部16bの処理機能を実現する異常軌跡オブジェクト判定処理部162および異常軌跡オブジェクト登録処理部163とにより構成される。
【0054】
車両検出処理部15aの処理機能を実現する変化領域抽出処理部151は、入力画像の映像を利用して、差分処理、ノイズ除去処理、ラベリング処理によりノイズを除去した差分二値化画像を生成し、この差分二値化画像から、変化画素を含む矩形の領域を変化画素領域として抽出する(ステップA11)。
【0055】
この変化領域抽出処理部151で変化画素領域(矩形の領域)が抽出されると、車両追跡処理部15bの処理機能を実現する追跡処理部152は、変化画素領域の追跡処理を行い、変化領域情報を追跡情報バッファ(BUF)に格納し追跡情報を更新する(ステップA12)。
【0056】
追跡情報バッファ(BUF)の追跡情報が更新されると、車種推定処理部15cの処理機能を実現するオブジェクト推定処理部153内の現在オブジェクトモデル推定処理部155において、追跡情報バッファ(BUF)の追跡情報を利用して、参照テーブル154にあらかじめ設定されているオブジェクトモデルテーブルを利用し、現在のオブジェクトモデルを推定する(ステップA13)。さらにオブジェクト推定処理部153内のオブジェクトモデル更新処理部156において、現在オブジェクトモデル推定処理部155が推定したこれまでのオブジェクトモデル推定情報を利用して、現在オブジェクトモデルを更新する(ステップA14)。
【0057】
オブジェクトモデル更新処理部156において現在オブジェクトモデルが更新されると、車種判別処理部16aの処理機能を実現する検出対象オブジェクト判定処理部161は、オブジェクトモデルの推定結果が事前に登録されたモデルと一致するかを判定する(ステップA15)。
【0058】
この判定で一致しない場合は処理を終了する。
【0059】
オブジェクトモデルの推定結果が事前に登録されたモデルと一致した場合(ステップA15 Yes)、異常走行検出処理部16bの処理機能を実現する異常軌跡オブジェクト判定処理部162および異常軌跡オブジェクト登録処理部163のうち、異常軌跡オブジェクト判定処理部162において、当該オブジェクトを異常走行の判定対象にある検出対象オブジェクトとして、追跡の軌跡情報を格納する(ステップA16)。
【0060】
さらに 異常軌跡オブジェクト判定処理部162は、検出対象オブジェクト判定処理部161が検出対象にある車種であると判定した検出対象オブジェクト(検出対象車両)について、当該検出対象オブジェクトの追跡の軌跡情報(走行軌跡)とゲート通過判定用設定情報をもとに、当該検出対象オブジェクトが参照テーブル154に登録された異常走行パターン(図6乃至図8参照)に該当する異常軌跡オブジェクト(異常走行車両)であるか否か(検出対象オブジェクトが指定ゲートを指定方向に通過したか否か)を判定する。この判定処理(指定方向ゲート通過判定処理)では、検出対象オブジェクトについて、追跡軌跡情報と事前に登録したゲートの交差及び、交差方向を判定し、指定ゲートを指定方向に通過したか否かを判定する(ステップA17)。この指定方向ゲート通過判定処理については、図9乃至図15を参照して後述する。
【0061】
この判定処理において、指定ゲートを通過していない場合や、指定方向への通過でない場合は処理を終了する。
【0062】
異常軌跡オブジェクト判定処理部162において異常走行パターンに該当する異常軌跡オブジェクトであると判定された場合(追跡の軌跡が指定ゲートへの指定方向に対して通過したと判断された場合)、当該異常軌跡オブジェクトを、外部出力の対象となる異常走行オブジェクト(異常走行車両)として検出する。
【0063】
この異常軌跡オブジェクト判定処理部162において異常走行オブジェクトが検出されると(ステップA17 Yes)、異常軌跡オブジェクト登録処理部163は、当該異常走行オブジェクト(異常走行車両)に対する検出コード(オブジェクト名称)、異常走行軌跡(位置座標)、発報日時(検出日時)等の異常走行検出情報を生成し、図示しない内部バッファに登録する(ステップA18)。さらに、異常走行車両が走行中である旨を外部に発報するための外部出力処理(発報出力処理)を行う(ステップA19)。
【0064】
この発報出力処理は、例えば異常走行である旨を道路上の表示盤に表示して、異常走行車両およびその周囲の運転者に異常走行を報知するとともに、異常走行車両が通行する道路を監視している道路監視室のモニタ画面に表示する発報出力を実施する。
【0065】
ここで、上記した指定方向ゲート通過判定処理について、図9乃至図14に示す判定例と図15に示す判定処理フローを参照して説明する。
【0066】
この指定方向ゲート通過判定処理では、図15に示すステップS21において、ゲートの始端および終端の2点と、侵入角度α、侵入角度範囲±β、オブジェクトの追跡開始位置(始点と呼ぶ)および追跡終了位置(終点と呼ぶ)をゲート通過判定用設定情報として設定する。このゲート通過判定用設定情報に基づいて図15に示すステップS22〜S29の判定処理を実施する。
【0067】
[判定1]において、ゲートの侵入方向左を基準に交差判定を行う。
【0068】
(1).図15に示すステップS22において、図9に示すように、ゲートの侵入方向左の点(始端)を基準とし、始点(チェック点)が、ゲートの進入方向右の点(終端)に対して、ゲートの左または右のどちら側に存在するかを判定する(ゲートの侵入方向左を基準に、ゲートの侵入方向右と、始点の外積を求め、始点が侵入ゲートの右にある場合は、外積により、正の解が得られる)。
【0069】
(2).図15に示すステップS23において、図10に示すように、ゲートの侵入方向左の点を基準とし、終点(チェック点)が、ゲートの侵入方向右の点に対して、ゲートの左または右のどちら側に存在するかを判定する(ゲートの侵入方向左を基準に、ゲートの侵入方向右と、終点の外積を求め、終点が侵入ゲートの左にある場合は、外積により、負の解が得られる)。
【0070】
[判定2]において、追跡開始位置(始点と呼ぶ)を基準に交差判定を行う。
【0071】
(1).図15に示すステップS24において、図11に示すように、始点を基準とし、ゲートの侵入方向右の点(チェック点)が、終点に対して、ゲートの左または右のどちら側に存在するかを判定する(始点を基準に、終点と、ゲートの侵入方向右の外積を求め、ゲートの侵入方向右が、終点の右にある場合は、外積により、正の解が得られる)。
【0072】
(2).図15に示すステップS25において、図12に示すように、始点を基準とし、ゲートの侵入方向左の点(チェック点)が、終点に対して、ゲートの左または右のどちら側に存在するかを判定する(始点を基準に、終点と、ゲートの侵入方向左の外積を求め、ゲートの侵入方向左が、終点の左にある場合は、外積により、負の解が得られる)。
【0073】
[判定3]において、交差判定を行う。
【0074】
図15に示すステップS26において、上記判定1と判定2の各結果が以下を全て満たす場合に、交差状態とする。
【0075】
・判定1−(1):0以上の値
・判定1−(2):負の値
・判定2−(1):0以上の値
・判定2−(2):0以下の値
上記において、0を含んでいるのは、判定した点がゲート上に存在する場合もゲート通過とするためであり、判定1−(2)のみ0を含まないのは、追跡開始位置がゲート上にある場合はゲート通過としないためである。
【0076】
なお、判定1と2を組み合わせで、交差判定を行っているのは、片方だけでは、実際のゲートと追跡軌跡が交差していない可能性があるためである。交際していない可能性の例を図13に示している。
【0077】
[判定4]において、角度判定を行う。
【0078】
角度を利用する場合は、交差判定による、交差状態となった場合に、図14に示すように、ゲートと追跡軌跡のなす角θを算出し、θの値が、α±βの範囲内にある場合は、角度範囲内として異常走行の検出処理を行い、異常走行の発報処理を実施する(図15ステップS27〜S29)。
【0079】
上記したように本発明の実施形態によれば、車両に機器を設置する必要なく、道路を監視している1台のカメラ(単眼カメラ)映像に対して、検出したい異常走行ルート(異常走行パターン)を任意に設定(設定はゲート設定のみ)することで、走行すべき方向に進んでいない車両や、走行してはいけない場所(例えば路肩または待避車線等)を走行している車両を異常走行車両として検出し通知することができる。また、単眼カメラに撮像されている道路の全車線を対象に、設定した各種の走行異常を検出でき、車両が撮像される画角であれば、どのような環境にも適用できる。さらに、あらかじめ設定したゲートに対して、追跡した軌跡がどのように交差するかを角度的な判断を加味して判定する(進入している方向を決められる)ことが可能であり、これにより設置位置や進行方向を限定することなく、容易に異常走行を検出することが可能である。また、異常走行検出結果を画像として蓄積することで、事後の検証も可能である。このように、本発明の実施形態では、一方通行とは限らない監視可能な道路全体にわたる各種の異常走行検出が可能であり、1つの装置(システム)で通行ポイント(ゲート)を複数設定可能であり、各通行ポイント走行では、角度的な判断を加味して検出が可能であるという機能上の特徴をもつ。
【0080】
なお、本発明は、車道を走行する車両だけでなく、人や船舶の監視並びに特定状態検出にも適用可能である。また、本発明は、自動車以外の動物体の監視装置に適用することも可能であり、例えば配送品の仕分けラインにおける搬送物の監視並びに搬送ルートの検出処理、または立ち入り禁止区域の侵入監視並びに侵入者の検知処理等に適用することも可能である。また、本発明は、監視対象区域を単眼カメラで撮影して、その画像から、自動車や人などの動物体を矩形の領域として抽出し追跡する処理を行う、例えば渋滞監視や混雑監視や停止物監視などを行うシステムに容易に組み込むことが可能であり、広い汎用性が期待できる。
【符号の説明】
【0081】
11…単眼カメラ(一台のカメラ)、12…キャプチャ部、13−16…異常走行車両検出処理部、13…画像処理記憶部、15…画像処理部、16…異常走行判定処理部、15a…車両検出処理部、15b…車両追跡処理部、15c…車種推定処理部、16a…車種判別処理部、16b…異常走行検出処理部、131…画像バッファ、151…変化領域抽出処理部、152…追跡処理部、153…オブジェクト推定処理部、154…参照テーブル、155…現在オブジェクトモデル推定処理部、156…オブジェクトモデル更新処理部、161…検出対象オブジェクト判定処理部、162…異常軌跡オブジェクト判定処理部、163…異常軌跡オブジェクト登録処理部、BUF…追跡情報バッファ。
【特許請求の範囲】
【請求項1】
車道を撮影する単眼カメラと、
前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理手段と、
前記領域抽出処理手段が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理手段と、
前記領域追跡処理手段が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理手段と、
前記監視対象判定処理手段が判定した監視対象オブジェクトについて、前記領域追跡処理手段が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理手段と、
前記異常走行判定処理手段が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力手段と、
を具備したことを特徴とする異常走行車両検出システム。
【請求項2】
前記監視対象判定処理手段は、
監視対象となる車両について、対象物となる車両を単位に、前記単眼カメラで撮影した画面上で位置を異にする3地点以上の複数地点においてサンプルモデルを撮影し、撮影した各地点毎の画像におけるサンプルモデルの矩形の領域について、接地位置と高さおよび幅の各情報を取得し、取得した情報をもとに、直線近似式に従うオブジェクト判定用の参照テーブルを作成し保持する参照テーブルの取得処理手段と、
前記領域抽出処理手段が抽出した矩形の領域について、前記参照テーブルを参照し、接地位置に対する領域の大きさから前記対象物となる車両を監視対象オブジェクトとして推定する推定処理手段と
を具備して構成されていることを特徴とする請求項1に記載の異常走行車両検出システム。
【請求項3】
前記異常走行判定処理手段は、
前記単眼カメラで撮影した画面上で、検出ゲートラインと進入方向を指定した異常走行パターンを定義し登録する異常走行パターンの登録手段と、
前記監視対象オブジェクトについて、前記登録手段に登録された異常走行パターンを参照し、検出ゲートラインと進入方向をもとに、前記監視対象オブジェクトが異常走行パターンに合致する走行状態にあるか否かを判定する指定方向ゲート通過判定処理手段と
を具備して構成されていることを特徴とする請求項1に記載の異常走行車両検出システム。
【請求項4】
前記異常走行判定処理手段が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態にある監視対象オブジェクトを異常走行車両として走行軌跡とともに登録する異常走行車両登録手段をさらに具備したことを特徴とする請求項3に記載の異常走行車両検出システム。
【請求項5】
前記異常走行パターンの登録手段は、
前記検出ゲートラインの両端点と、前記監視対象オブジェクトの侵入角度α、侵入角度範囲±β、追跡開始点、追跡終了点を登録し、
前記指定方向ゲート通過判定処理手段は、
前記異常走行パターンの登録手段に登録された前記検出ゲートラインの両端点と、前記監視対象オブジェクトの侵入角度α、侵入角度範囲±β、追跡開始点、追跡終了点のデータを用いて外積による解をもとに前記判定を行うことを特徴とすることを特徴とする請求項3または4に記載の異常走行車両検出システム。
【請求項6】
前記異常走行パターンを定義するゲートラインとして、逆走を検出するためのゲートライン、路肩走行を検出するためのゲートライン、進入禁止道路を進入する車両を検出するためのゲートライン、駐車禁止区域における駐車を検出するためのゲートライン、停車禁止区域における停車を検出するためのゲートライン、規定速度以下の低速走行車両を検出するためのゲートライン、規定速度を超える高速走行車両を検出するためのゲートライン、待避車線を走行する車両を検出するためのゲートライン、一時停止を怠った車両を検出するためのゲートラインのうち、少なくとも一つのゲートラインが設定される請求項3または5に記載の異常走行車両検出システム。
【請求項7】
単眼カメラで車道を撮影し、撮影したフレーム単位の画像をもとに前記車道を走行する異常車両を検出する異常走行車両検出装置としてコンピュータを機能させるための異常走行監視プログラムであって、
前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理機能と、
前記領域抽出処理機能が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理機能と、
前記領域追跡処理機能が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理機能と、
前記監視対象判定処理機能が判定した監視対象オブジェクトについて、前記領域追跡処理機能が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理機能と、
前記異常走行判定処理機能が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力機能と、
をコンピュータに実現させるための異常走行監視プログラム。
【請求項1】
車道を撮影する単眼カメラと、
前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理手段と、
前記領域抽出処理手段が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理手段と、
前記領域追跡処理手段が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理手段と、
前記監視対象判定処理手段が判定した監視対象オブジェクトについて、前記領域追跡処理手段が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理手段と、
前記異常走行判定処理手段が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力手段と、
を具備したことを特徴とする異常走行車両検出システム。
【請求項2】
前記監視対象判定処理手段は、
監視対象となる車両について、対象物となる車両を単位に、前記単眼カメラで撮影した画面上で位置を異にする3地点以上の複数地点においてサンプルモデルを撮影し、撮影した各地点毎の画像におけるサンプルモデルの矩形の領域について、接地位置と高さおよび幅の各情報を取得し、取得した情報をもとに、直線近似式に従うオブジェクト判定用の参照テーブルを作成し保持する参照テーブルの取得処理手段と、
前記領域抽出処理手段が抽出した矩形の領域について、前記参照テーブルを参照し、接地位置に対する領域の大きさから前記対象物となる車両を監視対象オブジェクトとして推定する推定処理手段と
を具備して構成されていることを特徴とする請求項1に記載の異常走行車両検出システム。
【請求項3】
前記異常走行判定処理手段は、
前記単眼カメラで撮影した画面上で、検出ゲートラインと進入方向を指定した異常走行パターンを定義し登録する異常走行パターンの登録手段と、
前記監視対象オブジェクトについて、前記登録手段に登録された異常走行パターンを参照し、検出ゲートラインと進入方向をもとに、前記監視対象オブジェクトが異常走行パターンに合致する走行状態にあるか否かを判定する指定方向ゲート通過判定処理手段と
を具備して構成されていることを特徴とする請求項1に記載の異常走行車両検出システム。
【請求項4】
前記異常走行判定処理手段が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態にある監視対象オブジェクトを異常走行車両として走行軌跡とともに登録する異常走行車両登録手段をさらに具備したことを特徴とする請求項3に記載の異常走行車両検出システム。
【請求項5】
前記異常走行パターンの登録手段は、
前記検出ゲートラインの両端点と、前記監視対象オブジェクトの侵入角度α、侵入角度範囲±β、追跡開始点、追跡終了点を登録し、
前記指定方向ゲート通過判定処理手段は、
前記異常走行パターンの登録手段に登録された前記検出ゲートラインの両端点と、前記監視対象オブジェクトの侵入角度α、侵入角度範囲±β、追跡開始点、追跡終了点のデータを用いて外積による解をもとに前記判定を行うことを特徴とすることを特徴とする請求項3または4に記載の異常走行車両検出システム。
【請求項6】
前記異常走行パターンを定義するゲートラインとして、逆走を検出するためのゲートライン、路肩走行を検出するためのゲートライン、進入禁止道路を進入する車両を検出するためのゲートライン、駐車禁止区域における駐車を検出するためのゲートライン、停車禁止区域における停車を検出するためのゲートライン、規定速度以下の低速走行車両を検出するためのゲートライン、規定速度を超える高速走行車両を検出するためのゲートライン、待避車線を走行する車両を検出するためのゲートライン、一時停止を怠った車両を検出するためのゲートラインのうち、少なくとも一つのゲートラインが設定される請求項3または5に記載の異常走行車両検出システム。
【請求項7】
単眼カメラで車道を撮影し、撮影したフレーム単位の画像をもとに前記車道を走行する異常車両を検出する異常走行車両検出装置としてコンピュータを機能させるための異常走行監視プログラムであって、
前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理機能と、
前記領域抽出処理機能が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理機能と、
前記領域追跡処理機能が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理機能と、
前記監視対象判定処理機能が判定した監視対象オブジェクトについて、前記領域追跡処理機能が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理機能と、
前記異常走行判定処理機能が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力機能と、
をコンピュータに実現させるための異常走行監視プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2012−3549(P2012−3549A)
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願番号】特願2010−138619(P2010−138619)
【出願日】平成22年6月17日(2010.6.17)
【出願人】(000220620)東芝テリー株式会社 (116)
【Fターム(参考)】
【公開日】平成24年1月5日(2012.1.5)
【国際特許分類】
【出願日】平成22年6月17日(2010.6.17)
【出願人】(000220620)東芝テリー株式会社 (116)
【Fターム(参考)】
[ Back to top ]