画像処理装置
【課題】 道路上の撮影画像から、より精度良く車両認識を行うことが可能な画像処理装置を提供する。
【解決手段】 画像処理部は、車両の撮影画像を基に特徴画像作成部５１で作成された特徴抽出画像を垂直・水平特徴コード化部５４で垂直方向及び水平方向に特徴をコード化し、この特徴抽出データについて、車幅条件の車両判定値に基づいて幅小データ等を水平特徴結合部６１で結合するとともに、幅大データを幅大データ分離部６２で分離して補正する。その後、車両認識部６６で特徴補正データによって車尾検出、車長算出、車体確定を行う。また、背景差分画像作成部５２で作成されたライト検出用の背景差分画像を用いて、ライト検出を行って車尾位置を算出する。そして、車尾確定部６９において、車体解析とライト解析によるそれぞれの車尾の検出結果を統合し、車尾位置を確定する。
【解決手段】 画像処理部は、車両の撮影画像を基に特徴画像作成部５１で作成された特徴抽出画像を垂直・水平特徴コード化部５４で垂直方向及び水平方向に特徴をコード化し、この特徴抽出データについて、車幅条件の車両判定値に基づいて幅小データ等を水平特徴結合部６１で結合するとともに、幅大データを幅大データ分離部６２で分離して補正する。その後、車両認識部６６で特徴補正データによって車尾検出、車長算出、車体確定を行う。また、背景差分画像作成部５２で作成されたライト検出用の背景差分画像を用いて、ライト検出を行って車尾位置を算出する。そして、車尾確定部６９において、車体解析とライト解析によるそれぞれの車尾の検出結果を統合し、車尾位置を確定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路上の車両を撮影した画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
従来より、高速道路上や一般道路上を走行する車両の映像を監視カメラにより撮影し、車両の映像を管制室の映像表示器に表示し、監視者が目で確認することにより、道路交通状態を監視するシステムが広く採用されている。また、監視カメラの映像を分析して突発事象を自動的に検出し、突発事象の発生を表示すると共に、入力映像を突発事象発生地点の現場映像に切り替えて表示するようにした突発事象検出装置が提案されている（特許文献１参照）。
【０００３】
また、道路上の車両を撮影した画像から車両を検出する技術が種々提案されており、例えば特許文献２には、車両のヘッドライトを抽出して判断することにより、夜間における車種を高い精度で判別することが可能な車種判別装置及び方法が開示されている。
【０００４】
道路上の撮影画像から車体部分を抽出して車両認識を行う際に、従来では、周囲環境の変化などによる撮影環境の悪化により、車両の特徴が十分に抽出できず、正確に車体や車尾等の位置が抽出できないことがあった。また、複数の車両が重なって撮影された場合は、車両抽出ができなかった。
【０００５】
【特許文献１】特開平５−２５０５９５号公報
【特許文献２】特開平１１−３５３５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑みてなされたもので、道路上の撮影画像から、より精度良く車両認識を行うことが可能となる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、道路上の車両を撮影した撮影画像から特徴を抽出した特徴抽出画像を作成する特徴抽出手段と、前記特徴抽出画像における特徴抽出データについて車両判定のための所定条件に基づいて結合する特徴結合手段と、前記特徴抽出データについて車両判定のための所定条件に基づいて分離する特徴分離手段と、前記結合と前記分離の少なくとも一方を行った特徴補正データを用いて、車両の車体及び、車頭又は車尾を検出する車体検出手段とを備え、前記撮影画像に基づく車両認識を行うものである。
これにより、適切な特徴抽出データの補正を行って車両認識を行うことができるため、道路上の撮影画像から、より精度良く車両認識を行うことが可能となる。
【０００８】
また、本発明の一態様として、上記の画像処理装置であって、前記撮影画像とその背景画像との差分による背景差分画像を用いて、車両のライト及び、車頭又は車尾を検出するライト検出手段と、前記車体検出手段による検出結果と前記ライト検出手段による検出結果とを統合して車体位置を決定する車体位置決定手段とを備えるものとする。
これにより、車体検出手段による検出結果とライト検出手段による検出結果とを統合することで、車両認識の精度を向上させることが可能となる。
【０００９】
また、本発明の一態様として、上記の画像処理装置であって、前記特徴結合手段は、車両判定のための車幅条件に基づき、水平方向に隣接する２つの特徴抽出データを結合した結果が車幅範囲に入っている場合に、これらのデータを結合して新たな候補データとするものも含まれる。
これにより、特徴抽出データにおける車幅最小値よりも小さい幅小データなどを適切に結合して車両の候補データとすることができる。したがって、例えば特徴検出が不十分で小さいデータが得られた場合でもより正確な車両認識が可能となる。
【００１０】
また、本発明の一態様として、上記の画像処理装置であって、前記特徴分離手段は、車両判定のための車幅条件に基づき、水平方向の特徴抽出データが車幅最大値以上の場合に、このデータを車幅最大値で分離してそれぞれを新たな候補データとするものも含まれる。
これにより、特徴抽出データにおける車幅最大値よりも大きい幅大データなどを適切に分離して車両の候補データとすることができる。したがって、例えば車両が重なって撮影されて大きいデータが得られた場合でもより正確な車両認識が可能となる。
【００１１】
また、本発明の一態様として、上記の画像処理装置であって、前記車体位置決定手段は、前記車体検出手段により検出された車頭又は車尾と前記ライト検出手段により検出された車頭又は車尾とを比較して同一の車両の車頭又は車尾であるかを判定し、同一の車両とみなされる車頭又は車尾は一方を除外して車頭又は車尾位置を確定するものも含まれる。
これにより、車頭又は車尾の検出結果が重複した場合に一方を除外することによって、車両検出の重複を防止でき、車両認識あるいは車両台数等の交通量の検出などをより精度良く行うことが可能となる。
【００１２】
また、本発明の一態様として、上記の画像処理装置であって、前記車体位置決定手段は、前記車体検出手段による検出結果と前記ライト検出手段による検出結果について、他方の検出結果に同一の車両とみなされる車頭又は車尾が無い場合はその車頭又は車尾によって車頭又は車尾位置を確定するものも含まれる。
これにより、車頭又は車尾の検出結果が一方だけしか無い場合には論理和をとるように車頭又は車尾として加えることにより、車両検出の検出漏れを防止でき、車両認識あるいは車両台数等の交通量の検出などをより精度良く行うことが可能となる。
【００１３】
また、本発明の道路監視装置は、上記いずれかに記載の画像処理装置と、前記画像処理装置による車両認識結果を基に、車両の速度、停止車両の有無、渋滞の有無、落下物の有無の少なくともいずれかを含む道路上の事象を判定する事象判定部と、を備えるものである。
これにより、車両認識の精度を向上でき、この車両認識結果を基に道路上の事象判定をより正確に行うことが可能となる。
【発明の効果】
【００１４】
本発明によれば、道路上の撮影画像から、より精度良く車両認識を行うことが可能となる画像処理装置を提供できる。
【発明を実施するための最良の形態】
【００１５】
本実施形態では、トンネル内などにカメラを設置して走行する車両を後方から撮影し、撮影画像から車両の特徴抽出、車両認識等を行い、走行速度検出や異常事象検出等を可能とした道路監視システムにおける構成例を示す。
【００１６】
図１は本発明の実施形態に係る道路監視システムの構成を示す図である。道路監視システムは、撮影部として、道路１１におけるトンネル内などの道路脇の所定位置ごとに設けられた複数のカメラ１２を備えている。このカメラ１２は、道路１１上を走行する車両１３を後方から撮影し、撮影画像信号を出力するようになっている。また、道路監視システムは、画像処理部１４と、事象判定部１５とを備えている。画像処理部１４は、カメラ１２で撮影された撮影画像に基づき、車両の検出、車両速度の算出、落下物の検出などを行う。事象判定部１５は、画像処理部１４の出力に基づき、渋滞検出や突発事象の検出など、対象道路上の事象判定を行う。
【００１７】
本実施形態では、車両を後方から撮影することで、車両のヘッドライトによるハレーション、スミア等を防止している。この後方からの撮影画像を基に車両を抽出し、車幅、車長、車尾位置を検出する。
【００１８】
図２は本実施形態の画像処理部１４及び事象判定部１５における全体の処理手順を示すフローチャートである。画像処理部１４は、まず初期データとして、背景画像データ及び背景微分画像データを作成する（ステップＳ１）。ここで、電源投入後またはリセット後に、例えば０．１秒ごとにカメラ１２から取り込んだ撮影画像データの３００回分（３０秒分の画像）を平均し、背景画像とする。また、背景画像データの微分処理を行って背景微分画像を作成する。さらに、夜と昼とで道路上の照明の明るさ等が異なるため、背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに設定する。
【００１９】
次に、カメラ１２から取り込んだ撮影画像データから画像解析に使用する画像データを作成する（ステップＳ２）。ここでは、カメラ１２から入力されるＮＴＳＣ信号による映像信号を、垂直方向２４０ライン、水平方向３２０画素、輝度を２５６階調とし、フレームごとにＡＤ変換（アナログ−デジタル変換）して３２０画素×２４０画素の画像データを作成する。このとき、偶数フィールドのみをＡＤ変換することで、１／３０sec ごとに１枚の画像データを作成する。そして、以降の画像解析には、現在画像、ΔＴ前画像、２ΔＴ前画像（ここではΔＴ＝１００ｍｓとする）の３つの画像データを使用する。
【００２０】
そして、作成した画像データに対して、特徴抽出演算、二値化処理等の画像前処理を行い、車両の特徴を抽出した特徴抽出画像を作成する（ステップＳ３）。特徴抽出演算においては、背景差分方式、微分背景差分方式、フレーム差分方式、微分フレーム差分方式の４つの特徴抽出方式を用いてそれぞれ特徴抽出を行った差分画像を作成し、これらを重み付け後に合成して特徴抽出画像を算出する。なおここでは、後処理の処理速度を速めるために、特徴抽出等の処理を行って特徴抽出画像を作成した後、この３２０画素×２４０画素の画像データを８０画素×６０画素に圧縮して特徴抽出圧縮画像を作成するようにする。また、画像解析用に作成した画像データから３２０画素×２４０画素のライト抽出用画像を作成する。
【００２１】
続いて、特徴抽出圧縮画像及びライト抽出用画像を用いて画像解析を行い、車両等を抽出する（ステップＳ４）。このとき、特徴抽出圧縮画像を用いて車体解析を行い、車尾、車長、車幅を決定する。また、ライト抽出用画像を用いてライト解析を行い、車両のライトを検出して車尾を決定する。これらの車体解析による矩形の車体検出とライト解析による車尾検出の結果から車両位置を決定する。さらに、特徴抽出圧縮画像を用いて落下物解析を行い、落下物の位置、縦横寸法を決定する。
【００２２】
その後、検出した車両の位置データを走行軌跡データに追加または新規作成し、本処理のサイクルごとに検出された車両の位置データを走行軌跡データに追加していくことで、車両追跡を行う（ステップＳ５）。また、検出した個々の車両の移動速度を算出する。
【００２３】
また、前記車両追跡とは異なる方法で撮影画像における車群の速度を算出する（ステップＳ６）。ここでは、画像全体の輝度値の移動量から車両全体を一つの塊の車群として捉え、この車群の移動速度を算出する。この車群速度は渋滞時の渋滞判定等に用いることができる。
【００２４】
次に、事象判定部１５は、前述の車両追跡、車群速度算出、落下物検出等の結果から、「停止」「低速」「渋滞」「落下物」などの事象が発生したかどうかを判定する（ステップＳ７）。
【００２５】
そして、画像処理部１４は、次の処理のサイクルにおける画像処理のために、背景画像データ及び背景微分画像データを最新の背景画像に更新する（ステップＳ８）。また、新たな背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに更新する。その後、ステップＳ２に戻り、ステップＳ２〜Ｓ８の処理サイクルを所定間隔（ここでは１００ｍｓ）ごとに繰り返す。
【００２６】
次に、本実施形態の特徴的要素である画像解析中の車体解析及びライト解析を行う車両認識処理について詳しく説明する。図３は画像処理部１４において車両認識処理を行う機能構成を示すブロック図である。画像処理部１４は、車両認識処理を行う機能構成として、カメラ１２で撮影した画像データから車両部分の特徴を抽出した特徴抽出画像を作成する特徴画像作成部５１、ライト抽出用の背景差分画像を作成する背景差分画像作成部５２、画像格納部５３、垂直・水平特徴コード化部５４、車両認識部５５を備える。画像格納部５３は、特徴画像格納部５６と背景差分画像格納部５７とを有し、それぞれ特徴抽出画像と背景差分画像を格納する。垂直・水平特徴コード化部５４は、垂直特徴コード化部５８と水平特徴コード化部５９とを有し、特徴抽出画像から垂直方向及び水平方向の特徴をコード化して特徴抽出データを作成する。
【００２７】
また、画像処理部１４は、特徴抽出データ格納部６０、水平特徴結合部６１、幅大データ分離部６２、特徴補正データ格納部６３、車両判定値格納部６４、車両判定値算出部６５を備える。車両認識部５５は、特徴抽出画像を基に抽出され補正された特徴補正データから車両認識を行うもので、車尾検出部６６、車長算出部６７、車体確定部６８、車尾確定部６９を有する。さらに、画像処理部１４は、ライト検出を行うために、垂直・水平方向加算部７０、ライト候補領域検出部７１、ライト領域確定部７２、車尾位置算出部７３を備える。
【００２８】
特徴画像格納部５６には、特徴画像作成部５１で撮影画像から作成された車両部分の特徴を抽出した二値の特徴抽出画像データが格納される。車両判定値算出部６５は、カメラの設置位置や設置角度、画角などで予め決定される撮影画像の大きさ等から、車両か否かを判定するための車幅、車長の条件を示す車両判定値を算出し、この車両判定値を車両判定値格納部６４に予め格納しておく。例えば、車両判定値を車幅：１．４ｍ〜３．５ｍ、車長：１ｍ以上とし、これらの条件に合致する特徴部分を車両であると判定する。
【００２９】
垂直特徴コード化部５８は、特徴抽出画像データから上記車両判定値を用いて垂直方向における画素の特徴をコード化する。水平特徴コード化部５９は、特徴抽出画像データから上記車両判定値を用いて水平方向における画素の特徴をコード化する。特徴抽出データ格納部６０は、垂直方向及び水平方向それぞれでコード化された特徴抽出データを格納する。
【００３０】
水平特徴結合部６１は、作成された水平方向の特徴抽出データを所定条件に従って結合する。このとき、結合後のデータが車両判定値の車幅条件に当てはまるかどうかを判断し、車幅条件に当てはまる場合に特徴抽出データを結合する。幅大データ分離部６２は、車体幅より大きい特徴抽出データである幅大データについて、車両判定値の車幅条件に合うように分離する。特徴補正データ格納部６３は、上記の水平特徴結合部６１による結合処理、及び幅大データ分離部６２による分離処理を含む補正処理が施された特徴補正データを格納する。
【００３１】
車両認識部５５において、車尾検出部６６は、特徴補正データから車両として認識される車体候補データ領域の下端部を判定することで車尾を検出する。車長算出部６７は、前記車尾位置の上方の車体候補データ領域における垂直方向の長さによって車長を算出する。車体確定部６８は、前記求めた車尾及び車長から矩形の車体領域を確定し、車体データ及び車尾データを生成する。
【００３２】
背景差分画像格納部５７には、背景差分画像作成部５２で撮影画像から作成されたライト抽出用の背景差分画像データが格納される。垂直・水平方向加算部７０は、ライト抽出用の背景差分画像データを垂直方向と水平方向にそれぞれ加算する。ライト候補領域検出部７１は、水平方向の加算結果から検出された明るい部分の領域について、垂直方向の加算を水平方向に順次行い、ライトと想定されるライト候補領域を検出する。ライト領域確定部７２は、前記ライト候補領域を所定条件によって判定し、水平方向に２つ存在しかつ間隔が車幅条件に合うものをライト領域と確定する。車尾位置算出部７３は、抽出されたライト領域の位置から車尾位置を算出する。
【００３３】
車両認識部５５の車尾確定部６９は、前記矩形の車体検出による車体及び車尾の検出結果と、前記ライト検出によるライト及び車尾の検出結果とを参照し、いずれか一方で検出されたものは合成し、両方で検出されたものは一方を削除することで、統合した車尾データを確定する。このようにして、画像処理部１４において車尾データや車体データを含む車両検出データを生成する。この車両検出データを用いて、車両追跡処理、事象検出処理等を行う。
【００３４】
図４は本実施形態の車両認識処理を含む画像解析処理の全体の処理手順を示すフローチャートである。まず画像前処理で作成した８０画素×６０画素の特徴抽出圧縮画像データを入力し（ステップＳ４１）、撮影画像から矩形の車体領域を抽出する車体解析処理を行う（ステップＳ４２）。一方、画像前処理で作成した３２０画素×２４０画素のライト抽出用画像の背景差分画像データを入力し（ステップＳ４３）、車両のライトを検出するライト解析処理を行う（ステップＳ４４）。そして、車体解析処理による車体及び車尾の検出結果と、ライト解析処理によるライト及び車尾の検出結果とを統合して車尾位置を確定し、車両検出データを生成する（ステップＳ４５）。その後、特徴抽出圧縮画像データから解析済みの車体部分の画素を消去し（ステップＳ４６）、その他の画素において落下物解析を行って落下物を検出する（ステップＳ４７）。これらの車両検出データ、落下物検出データは、後処理の車両追跡、事象判定等の処理に用いられる。
【００３５】
落下物解析においては、落下物であると判定する寸法条件等を示す落下物判定値を用いて、車体解析処理と同様な処理を行って落下物領域を抽出し、落下物の位置及び大きさを算出する。この場合、落下物は道路上に静止しているため、フレーム差分画像及び微分フレーム差分画像を用いず、背景差分画像及び微分背景差分画像を用いて落下物領域を抽出する。
【００３６】
図５は本実施形態における車両認識処理の手順を示すフローチャートである。本実施形態では、矩形の車体検出を行う際に、特徴抽出圧縮画像から水平方向及び垂直方向の特徴をコード化した特徴抽出データについて、所定条件に従って結合、分離等の補正を行う。まず、特徴抽出圧縮画像データを参照し、予め設定された車幅及び車長の車両判定値を用いて垂直方向、水平方向それぞれにおける画素の特徴を判定し、コード化を行う（ステップＳ５１）。そして、水平方向の特徴について、所定条件に従って車幅範囲よりも小さい幅小データを結合することで、水平特徴の結合を行って候補データを作成する（ステップＳ５２）。
【００３７】
次に、それぞれの候補データについて、車幅範囲よりも大きい幅大データを分離し（ステップＳ５３）、前記結合及び分離によって補正された特徴補正データに基づいて車尾の検出を行う（ステップＳ５４）。そして、車体候補データ領域の垂直方向の長さを求めて車長を算出し（ステップＳ５５）、得られた車尾及び車長から矩形の車体部分を確定して、車体データ及び車尾データを生成する（ステップＳ５６）。そして、全ての候補データに関して処理が終了したかを判定し（ステップＳ５７）、終了していない場合はステップＳ５３〜Ｓ５６の処理を全ての候補データについて完了するまで繰り返す。全ての候補データに関して車体部分確定までの処理が終了すると、８０画素×６０画素のデータを３２０画素×２４０画素に拡大し、車尾位置を決定する（ステップＳ５８）。
【００３８】
一方、背景差分画像によるライト抽出用画像を用いてライト解析を行い、撮影画像から車両のライトを検出して車尾を決定する（ステップＳ５９）。その後、前記車体解析処理による車体及び車尾の検出結果と、前記ライト解析処理によるライト及び車尾の検出結果とを参照し、それぞれで検出された車尾の同一性のチェックを行い、２つの検出結果を統合して車尾位置を確定し、検出車両の位置を示す車両検出データを生成する（ステップＳ６０）。
【００３９】
ここで、上記車両認識処理における各処理についてより詳細に説明する。図６は特徴抽出圧縮画像における垂直特徴の判定及びコード化を説明する図、図７は特徴抽出圧縮画像における水平特徴の判定及びコード化を説明する図である。
【００４０】
垂直特徴のコード化においては、図６に示すように、特徴抽出圧縮画像Ｆ1（ｔ）の下辺より列（垂直ライン）ごとに各画素について輝度が高く特徴ありと認識されるデータの連続程度を抽出し、車長条件によって車両とみなされるか否かの判定を行い、判定結果に基づいてコード化して垂直特徴抽出データＦ1ｖ（ｔ）を生成する。このとき、“０”の画素は「０：データなし」とし、“１”の画素については垂直方向に画素の連続数を算出し、車長判定値以上（ここでは１ｍ以上とする）かどうかを判定する。ここで、車長判定値以上の場合は「２：車長有効データ」とし、車長判定値未満の場合は「１：捨てデータ」とする。この車長判定値は、カメラの設置条件等によって撮影画像の列ごとに垂直方向に何画素以上連続した場合に車両とみなされる長さとなるかがわかるため、この値を事前に算出して各画素の座標に対応するテーブルとして保持しておく。
【００４１】
水平特徴のコード化においては、図７に示すように、特徴抽出圧縮画像Ｆ1（ｔ）の下辺より行（水平ライン）ごとに各画素について輝度が高く特徴ありと認識されるデータの連続程度を抽出し、車幅条件によって車両とみなされるか否かの判定を行い、判定結果に基づいてコード化して水平特徴抽出データＦ1ｈ（ｔ）を生成する。する。このとき、“０”の画素は「０：データなし」とし、“１”の画素については水平方向に画素の連続数を算出し、車幅判定値の範囲内（ここでは１．４ｍ〜３．５ｍとする）にあるかどうかを判定する。ここで、１つのみの孤立したデータは「１：捨てデータ」とし、車幅最小値未満（１．４ｍ未満）の場合は「２：幅小データ」、車幅最大値以上（３．５ｍ以上）の場合は「３：幅大データ」、車幅有効範囲内（１．４ｍ〜３．５ｍ）の場合は「６：候補１データ」とする。この車幅判定値は、カメラの設置条件等によって撮影画像の行ごとに水平方向に何画素連続してある場合に車両とみなされる幅となるかがわかるため、この値を事前に算出して各画素の座標に対応するテーブルとして保持しておく。
【００４２】
図８〜図１０は本実施形態における水平特徴抽出データの結合処理を説明する図であり、図８は結合処理の第１段階、図９は結合処理の第２段階、図１０は結合処理の第３段階をそれぞれ示したものである。まず、第１段階では、図８（Ａ）に示すように、水平特徴抽出データＦ1ｈ（ｔ）において「２：幅小データ」が隣接して存在する場合、それらをつないで車幅有効範囲になるならば結合し、新たなＦ1（ｔ）とする。ここで、結合する際には対象画素のデータを全て「４：組立候補１データ」とする。ただし、この結合処理は、図８（Ｂ）に示すように、垂直特徴抽出データＦ1ｖ（ｔ）において結合対象画素区間Ｘｓ〜Ｘｅのコード最頻度値が「２：車長有効データ」である場合にのみ行うこととする。
【００４３】
結合処理の第２段階では、図９（Ａ）に示すように、水平特徴抽出データＦ1ｈ（ｔ）において「２：幅小データ」に隣接して「４：組立候補１データ」が存在する場合、あるいは、図９（Ｃ）に示すように「２：幅小データ」に隣接して「６：候補１データ」が存在する場合、それらをつないで車幅有効範囲になるならば結合し、新たなＦ1（ｔ）とする。ここで、結合する際には対象画素のデータを全て「５：組立候補２データ」とする。ただし、この結合処理は、図９（Ｂ）、（Ｄ）に示すように、垂直特徴抽出データＦ1ｖ（ｔ）において結合対象画素区間Ｘｓ〜Ｘｅのコード最頻度値が「２：車長有効データ」である場合にのみ行うこととする。
【００４４】
結合処理の第３段階では、図１０（Ａ）に示すように、水平特徴抽出データＦ1ｈ（ｔ）において「２：幅小データ」に隣接して「５：組立候補２データ」が存在する場合、それらをつないで車幅有効範囲になるならば結合し、新たなＦ1（ｔ）とする。ここで、結合する際には対象画素のデータを全て「５：組立候補２データ」とする。ただし、この結合処理は、図１０（Ｂ）に示すように、垂直特徴抽出データＦ1ｖ（ｔ）において結合対象画素区間Ｘｓ〜Ｘｅのコード最頻度値が「２：車長有効データ」である場合にのみ行うこととする。
【００４５】
上記のように３段階の結合処理を行うことによって、幅小データを結合して車両認識の候補となる組立候補１データや組立候補２データを作成する。この結合処理の結果、「０：データなし」「１：捨てデータ」「２：幅小データ」「３：幅大データ」「４：組立候補１データ」「５：組立候補２データ」「６：候補１データ」などを含む車尾検出用データが作成される。
【００４６】
図１１は本実施形態における幅大データの分離処理を説明する図である。上記の水平特徴抽出データの結合処理を行った後、幅大データについては車幅判定値に基づいて分離する。水平特徴抽出データＦ1ｈ（ｔ）において「３：幅大データ」となる車幅最大値（３．５ｍ）以上のデータは、２台以上の車両が重なっている状態と考えられる。このため、幅大データの一方の端部から車幅最大値までの位置でデータを分離し、車幅最大値までを１台目の候補として「４：組立候補１データ」とし、残りを２台目の候補として「５：組立候補２データ」とする。本実施形態では、カメラが道路の左側部に設置され、左後方から車両を撮影している場合を例示しているため、幅大データの左端部を起点として車幅最大値分を分離する。
【００４７】
図１２は本実施形態における車尾の検出処理を説明する図である。上記生成された車尾検出用データの「４：組立候補１データ」「５：組立候補２データ」「６：候補１データ」について、以下の３つの条件に全て合致するものを車尾と判定して検出する。図１２（Ａ）に示すように、候補データの左端、右端、下端が画像端となっており、車両の姿が全部見えていないと考えられるものは、車尾判定の対象外として除外する（条件Ａ）。
【００４８】
また、図１２（Ｂ）に示すように、候補データにおける車尾とみなされる対象ラインの上部領域に車両としての特徴がある場合に、その対象ラインの候補データを車尾とする（条件Ｂ）。この場合、車尾の候補データの始点Ｘｓから終点Ｘｅの上方のＬｕｐラインの領域に特徴があるかどうかを判定する。候補データをＡとし、これより上方のＬｕｐラインにおけるデータのコードが図のようにＰ，Ｑ，Ｒ，Ｓ，Ｔ，Ｕの配列になっているとすると、各ラインの最頻度値Ｐ，Ｑ，Ｓの合計値が所定のしきい値ＴＨ１より大きければ車両としての特徴があると判定する。式で表すと以下のようになる。
Ｐ＋Ｑ＋Ｓ＞ＴＨ１ …（１）
（ただし、Ｐ，Ｑ，Ｓは各ラインの最頻度値）
ここで、判定を行うライン数（ここでは３ライン）、しきい値ＴＨ１（例えば、ライン数×４）は、パラメータとして予め設定しておく。
【００４９】
また、図１２（Ｃ）に示すように、候補データにおける車尾とみなされる対象ラインの下部領域に車両としての特徴がない場合に、その対象ラインの候補データを車尾とする（条件Ｃ）。この場合、車尾の候補データの始点Ｘｓから終点Ｘｅの下方のＬｄｗｎラインの領域に特徴があるかどうかを判定する。候補データをＡとし、これより下方のＬｄｗｎラインにおけるデータのコードが図のようにＰ，Ｑ，Ｒ，Ｓ，Ｔの配列になっているとすると、各ラインの最頻度値Ｐ，Ｒの合計値が所定のしきい値ＴＨ２以下であれば車両としての特徴がないと判定する。式で表すと以下のようになる。
Ｐ＋Ｒ≦ＴＨ２ …（２）
（ただし、Ｐ，Ｒは各ラインの最頻度値）
ここで、判定を行うライン数（ここでは２ライン）、しきい値ＴＨ２（例えば、ライン数×４）は、パラメータとして予め設定しておく。
【００５０】
上記の車尾判定は、画像の下から順に処理を行う。車尾と判定した候補データは、「９：車尾データ」とする。なお、カメラで車両を前方から撮影した場合は、車尾の代わりに車頭の判定となる。
【００５１】
図１３は本実施形態における車長の算出処理を説明する図である。車長については、車尾検出用データにおいて上記判定された「９：車尾データ」の上方を参照し、この車尾データを含めて「４：組立候補１データ」「５：組立候補２データ」「６：候補１データ」の各候補データが存在するライン数ｎを求める。このｎが車長となる。
【００５２】
図１４は本実施形態における車体部分の確定処理を説明する図である。ここでは、図１４の左側に示す車尾検出用データ９１において、まず垂直方向の車体領域を確定するために、検出された車尾データがある水平ラインのａ行から上方にデータを検索していき、各ラインの最頻度値αがしきい値ＴＨ３（例えば４）より小さくなる行（ｈ）を見つける。
α＜ＴＨ３ …（３）
このｈ行の１つ下のｂ行（ｈ−１行）が車体の上端となる。これは上記車長算出時の車体上端と同じである。
【００５３】
次に、水平方向の車体領域として車体の左端を確定するために、車尾データの左端に対応するｃ列について、垂直方向にａ行からｂ行までの候補データを加算し、加算値βをライン数ｎで割った値がしきい値ＴＨ４（例えば４）以上となるかどうかを判定する。
β／ｎ≧ＴＨ４ …（４）
ここで、しきい値ＴＨ４以上の場合はｃ−１列において同様の判定を行い、しきい値ＴＨ４未満となるまで左方向に順次同様の処理を繰り返す。しきい値ＴＨ４未満となった場合は、その列をｊ列とし、ｊ列の１つ右のｊ＋１列を車体の左端とする。図の例ではｃ列が左端である。
【００５４】
次に、水平方向の車体領域として車体の右端を確定するために、上記左端と同様にして、車尾データの右端に対応するｄ列について、垂直方向にａ行からｂ行までの候補データを加算し、加算値γをライン数ｎで割った値がしきい値ＴＨ４（例えば４）以上となるかどうかを判定する。
γ／ｎ≧ＴＨ４ …（５）
ここで、しきい値ＴＨ４以上の場合はｄ＋１列において同様の判定を行い、しきい値ＴＨ４未満となるまで右方向に順次同様の処理を繰り返す。しきい値ＴＨ４未満となった場合は、その列をｋ列とし、ｋ列の１つ左のｋ−１列を車体の右端とする。図の例ではｄ列が右端である。
【００５５】
このようにして、垂直方向及び水平方向の車体領域を確定する。そして、車尾検出用データ９１から図１４の右側に示す車両検出データ９２を作成する。ここでは、車体部分の候補データを「８：車体データ」とする。また、この車体部分の枠からはみ出た候補データは「７：重なりデータ」とする。
【００５６】
図１５は本実施形態における車両検出データの例を示す図である。図１５の左側に示す車尾検出用データ９３から、上記の幅大データ分離処理、車尾検出処理、車長算出処理、車体部分確定処理を全ての候補データについて行うことにより、図１５の右側に示すような車両検出データ９４が作成される。この車両検出データ９４は、「０：データなし」「１：捨てデータ」「２：幅小データ」「４：組立候補１データ」「５：組立候補２データ」「６：候補１データ」「７：重なりデータ」「８：車体データ」「９：車尾データ」などを含む。
【００５７】
図１６は車両検出データの伸張処理を説明する図である。上述した車体解析処理は、８０画素×６０画素のデータを用いて行っているため、処理結果として得られた８０画素×６０画素の車両検出データ９５を縦横４倍し、３２０画素×２４０画素の車両検出データ９６に変換する。そして、拡大した車両検出データ９６における４ライン分の車尾データと、微分背景差分画像データ等の画像前処理で作成した特徴抽出画像データ９７とを比較し、より確かな車尾位置を決定する。微分背景差分画像の場合、ラインごとに水平方向に加算すると、図中右側のような加算結果９８が得られ、下端のピークのラインが車尾位置となる。このように決定した車尾位置を、検出車両の現在の車尾位置とする。
【００５８】
図１７は本実施形態における車両検出結果の車体部分を模式的に示す図である。矩形の車体検出による車両検出結果としては、上記のように求めた車両検出データより、検出車両ごとに車尾中央の座標Ａｐ（Ｘ，Ｙ）、車長Ｌｐ、車幅Ｗｐを算出して格納する。
【００５９】
図１８は本実施形態におけるライト解析処理を説明する図である。まず、図１８（Ａ）に示すように、画像前処理で作成したライト抽出用の背景差分画像データ（二値化データ）を用いて、輝度の高い部分からライト部分１０１の位置を検出する。そして、図１８（Ｂ）に示すように、検出されたライト部分１０１の位置から車尾を推定し、車尾位置１０２を決定する。なお、車尾の幅についてもライトの間隔などから推定する。ここで、ライト位置から車尾位置を推定するためのパラメータＨｂは、垂直方向のライン位置など各画素の位置ごとに予め設定して格納しておく。
【００６０】
次に、ライトの検出手順についてより詳しく説明する。図１９はライトの検出手順を説明する図である。まず、図１９（Ａ）に示すように、ライト抽出用の背景差分画像データにおいて、垂直ラインの列ごとに垂直方向の加算（図１９（Ａ）下側の加算結果１０３）と、水平ラインの行ごとに水平方向の加算（図１９（Ａ）右側の加算結果１０４）とを行う。そして、加算結果１０４の値が大きく、垂直方向において輝度が高いライト候補領域Ｙ１（Ｙ１ｓ〜Ｙ１ｅ）、Ｙ２（Ｙ２ｓ〜Ｙ２ｅ）を抽出する。続いて、領域Ｙ１の範囲Ｙ１ｓ〜Ｙ１ｅにおいて、水平方向ではＸ１（Ｘ１ｓ〜Ｘ１ｅ）、Ｘ２（Ｘ２ｓ〜Ｘ２ｅ）のそれぞれの範囲で、垂直ラインの列ごとに垂直方向に加算を行う（図１９（Ｂ）の加算結果１０５）。また、領域Ｙ２の範囲Ｙ２ｓ〜Ｙ２ｅにおいても同様に、水平方向ではＸ１（Ｘ１ｓ〜Ｘ１ｅ）、Ｘ２（Ｘ２ｓ〜Ｘ２ｅ）のそれぞれの範囲で、垂直ラインの列ごとに垂直方向に加算を行う（図１９（Ｃ）の加算結果１０６）。
【００６１】
上記加算結果１０５，１０６から、輝度が高いライト候補領域が水平方向に２つ揃って存在し、かつ２つの間隔が車幅条件の範囲にあるものをライトであると認識してライト部分を検出する。そして、検出されたライト部分に対応する車両ごとに車尾中央の座標Ｂｐ（Ｘ，Ｙ）を算出して格納する。
【００６２】
図２０は本実施形態における車尾位置の確定処理を説明する図である。本実施形態では、車体解析処理による車体及び車尾の検出データ（車尾中央座標、車長、車幅）１１１と、ライト解析処理による車尾の検出データ（車尾中央座標）１１２とを参照して比較し、最終的な車尾位置を確定する。このとき、それぞれで検出された車尾について、左下方にある車尾から順に比較をして所定の判定条件に従って同一性のチェックを行い、同一であると判定されるものは合体化して１つに統合する。２つの車尾を合体化する際には、下方の車尾を残し、上方にある車尾を消去する。なお、これら２つの検出結果における車尾の比較は、全ての車尾間において総当りで行うようにする。図の例では、車尾Ａ２と車尾Ｂ１、車尾Ａ３と車尾Ｂ２、車尾Ａ５と車尾Ｂ３がそれぞれ重なった位置にあるため、同一であると判定される。
【００６３】
ここで、同一車尾であるかどうかの判定は、以下の２つの条件を用いる。対象となる２つの車尾について、一方の車尾（下方にある車尾）を基準として、他方の車尾と連結した全体の幅が車幅条件に合致するか（３．５ｍ以内であるか）を判定する（条件Ｄ）。また、一方の車尾（下方にある車尾）を基準として、他方の車尾との垂直方向の長さを参照し、それぞれを独立した車両として分離できる距離に相当する長さであるか（例えば、６ｍ以上離れているか）を判定する（条件Ｅ）。この同一車尾判定条件に合致した場合は、２つの車尾のうちの下方にある車尾の位置を車尾位置とし、２つの車尾を連結した幅を車幅とする。
【００６４】
また、車体解析処理とライト解析処理の２つの検出結果について、上記のように同一の車尾を合体化するとともに、他方の検出結果に同一の車両とみなされる車尾が無く一方の解析処理だけで検出された車尾については、検出データの論理和をとるように加えて車尾を確定するようにしてもよい。このように２つの方式による車両検出結果を統合することにより、車両検出の重複、検出漏れ等を防止し、より正確な車両認識処理ができるようにする。
【００６５】
上述したように、本実施形態によれば、道路上の撮影画像から車両を認識する際に、車両の特徴を抽出して二値化した特徴抽出画像を所定条件に応じてコード化し、このコード化した特徴抽出データを車幅条件等の車両判定値に基づいて適宜結合、分離して補正することによって、車両の特徴抽出が不十分であっても適切に特徴抽出データの補間、ノイズ除去が可能となる。これによって、より正確な車両認識が可能となる。
【００６６】
また、車体解析処理による矩形の車体及び、車頭又は車尾の検出と、ライト解析処理によるライト及び、車頭又は車尾の検出とを並行して行い、それぞれの検出結果を統合して車両認識を行うことによって、車両認識の精度を向上させることが可能となる。この場合、２つの方式の検出結果において同一車頭又は車尾と判定された重複する車頭又は車尾の一方を削除することによって、車両台数等の交通量の検出をより精度良く行うことができる。また、より正確な車頭又は車尾位置を検出することにより、速度検出精度を向上できる。
【産業上の利用可能性】
【００６７】
本発明は、道路上の撮影画像から、より精度良く車両認識を行うことが可能となる効果を有し、道路上の車両を撮影した画像を処理する画像処理装置等に有用である。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施形態に係る道路監視システムの構成を示す図
【図２】本実施形態の画像処理部及び事象判定部における全体の処理手順を示すフローチャート
【図３】本実施形態に係る画像処理部において車両認識処理を行う機能構成を示すブロック図
【図４】本実施形態の車両認識処理を含む画像解析処理の全体の処理手順を示すフローチャート
【図５】本実施形態における車両認識処理の手順を示すフローチャート
【図６】本実施形態の特徴抽出圧縮画像における垂直特徴の判定及びコード化を説明する図
【図７】本実施形態の特徴抽出圧縮画像における水平特徴の判定及びコード化を説明する図
【図８】本実施形態における水平特徴抽出データの結合処理の第１段階を説明する図
【図９】本実施形態における水平特徴抽出データの結合処理の第２段階を説明する図
【図１０】本実施形態における水平特徴抽出データの結合処理の第３段階を説明する図
【図１１】本実施形態における幅大データの分離処理を説明する図
【図１２】本実施形態における車尾の検出処理を説明する図
【図１３】本実施形態における車長の算出処理を説明する図
【図１４】本実施形態における車体部分の確定処理を説明する図
【図１５】本実施形態における車両検出データの例を示す図
【図１６】本実施形態における車両検出データの伸張処理を説明する図
【図１７】本実施形態における車両検出結果の車体部分を模式的に示す図
【図１８】本実施形態におけるライト解析処理を説明する図
【図１９】本実施形態におけるライトの検出手順を説明する図
【図２０】本実施形態における車尾位置の確定処理を説明する図
【符号の説明】
【００６９】
１１ 道路
１２ カメラ
１３ 車両
１４ 画像処理部
１５ 事象判定部
５１ 特徴画像作成部
５２ 背景差分画像作成部
５３ 画像格納部
５４ 垂直・水平特徴コード化部
５５ 車両認識部
５６ 特徴画像格納部
５７ 背景差分画像格納部
５８ 垂直特徴コード化部
５９ 水平特徴コード化部
６０ 特徴抽出データ格納部
６１ 水平特徴結合部
６２ 幅大データ分離部
６３ 特徴補正データ格納部
６４ 車両判定値格納部
６５ 車両判定値算出部
６６ 車尾検出部
６７ 車長算出部
６８ 車体確定部
６９ 車尾確定部
７０ 垂直・水平方向加算部
７１ ライト候補領域検出部
７２ ライト領域確定部
７３ 車尾位置算出部
【技術分野】
【０００１】
本発明は、道路上の車両を撮影した画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
従来より、高速道路上や一般道路上を走行する車両の映像を監視カメラにより撮影し、車両の映像を管制室の映像表示器に表示し、監視者が目で確認することにより、道路交通状態を監視するシステムが広く採用されている。また、監視カメラの映像を分析して突発事象を自動的に検出し、突発事象の発生を表示すると共に、入力映像を突発事象発生地点の現場映像に切り替えて表示するようにした突発事象検出装置が提案されている（特許文献１参照）。
【０００３】
また、道路上の車両を撮影した画像から車両を検出する技術が種々提案されており、例えば特許文献２には、車両のヘッドライトを抽出して判断することにより、夜間における車種を高い精度で判別することが可能な車種判別装置及び方法が開示されている。
【０００４】
道路上の撮影画像から車体部分を抽出して車両認識を行う際に、従来では、周囲環境の変化などによる撮影環境の悪化により、車両の特徴が十分に抽出できず、正確に車体や車尾等の位置が抽出できないことがあった。また、複数の車両が重なって撮影された場合は、車両抽出ができなかった。
【０００５】
【特許文献１】特開平５−２５０５９５号公報
【特許文献２】特開平１１−３５３５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑みてなされたもので、道路上の撮影画像から、より精度良く車両認識を行うことが可能となる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、道路上の車両を撮影した撮影画像から特徴を抽出した特徴抽出画像を作成する特徴抽出手段と、前記特徴抽出画像における特徴抽出データについて車両判定のための所定条件に基づいて結合する特徴結合手段と、前記特徴抽出データについて車両判定のための所定条件に基づいて分離する特徴分離手段と、前記結合と前記分離の少なくとも一方を行った特徴補正データを用いて、車両の車体及び、車頭又は車尾を検出する車体検出手段とを備え、前記撮影画像に基づく車両認識を行うものである。
これにより、適切な特徴抽出データの補正を行って車両認識を行うことができるため、道路上の撮影画像から、より精度良く車両認識を行うことが可能となる。
【０００８】
また、本発明の一態様として、上記の画像処理装置であって、前記撮影画像とその背景画像との差分による背景差分画像を用いて、車両のライト及び、車頭又は車尾を検出するライト検出手段と、前記車体検出手段による検出結果と前記ライト検出手段による検出結果とを統合して車体位置を決定する車体位置決定手段とを備えるものとする。
これにより、車体検出手段による検出結果とライト検出手段による検出結果とを統合することで、車両認識の精度を向上させることが可能となる。
【０００９】
また、本発明の一態様として、上記の画像処理装置であって、前記特徴結合手段は、車両判定のための車幅条件に基づき、水平方向に隣接する２つの特徴抽出データを結合した結果が車幅範囲に入っている場合に、これらのデータを結合して新たな候補データとするものも含まれる。
これにより、特徴抽出データにおける車幅最小値よりも小さい幅小データなどを適切に結合して車両の候補データとすることができる。したがって、例えば特徴検出が不十分で小さいデータが得られた場合でもより正確な車両認識が可能となる。
【００１０】
また、本発明の一態様として、上記の画像処理装置であって、前記特徴分離手段は、車両判定のための車幅条件に基づき、水平方向の特徴抽出データが車幅最大値以上の場合に、このデータを車幅最大値で分離してそれぞれを新たな候補データとするものも含まれる。
これにより、特徴抽出データにおける車幅最大値よりも大きい幅大データなどを適切に分離して車両の候補データとすることができる。したがって、例えば車両が重なって撮影されて大きいデータが得られた場合でもより正確な車両認識が可能となる。
【００１１】
また、本発明の一態様として、上記の画像処理装置であって、前記車体位置決定手段は、前記車体検出手段により検出された車頭又は車尾と前記ライト検出手段により検出された車頭又は車尾とを比較して同一の車両の車頭又は車尾であるかを判定し、同一の車両とみなされる車頭又は車尾は一方を除外して車頭又は車尾位置を確定するものも含まれる。
これにより、車頭又は車尾の検出結果が重複した場合に一方を除外することによって、車両検出の重複を防止でき、車両認識あるいは車両台数等の交通量の検出などをより精度良く行うことが可能となる。
【００１２】
また、本発明の一態様として、上記の画像処理装置であって、前記車体位置決定手段は、前記車体検出手段による検出結果と前記ライト検出手段による検出結果について、他方の検出結果に同一の車両とみなされる車頭又は車尾が無い場合はその車頭又は車尾によって車頭又は車尾位置を確定するものも含まれる。
これにより、車頭又は車尾の検出結果が一方だけしか無い場合には論理和をとるように車頭又は車尾として加えることにより、車両検出の検出漏れを防止でき、車両認識あるいは車両台数等の交通量の検出などをより精度良く行うことが可能となる。
【００１３】
また、本発明の道路監視装置は、上記いずれかに記載の画像処理装置と、前記画像処理装置による車両認識結果を基に、車両の速度、停止車両の有無、渋滞の有無、落下物の有無の少なくともいずれかを含む道路上の事象を判定する事象判定部と、を備えるものである。
これにより、車両認識の精度を向上でき、この車両認識結果を基に道路上の事象判定をより正確に行うことが可能となる。
【発明の効果】
【００１４】
本発明によれば、道路上の撮影画像から、より精度良く車両認識を行うことが可能となる画像処理装置を提供できる。
【発明を実施するための最良の形態】
【００１５】
本実施形態では、トンネル内などにカメラを設置して走行する車両を後方から撮影し、撮影画像から車両の特徴抽出、車両認識等を行い、走行速度検出や異常事象検出等を可能とした道路監視システムにおける構成例を示す。
【００１６】
図１は本発明の実施形態に係る道路監視システムの構成を示す図である。道路監視システムは、撮影部として、道路１１におけるトンネル内などの道路脇の所定位置ごとに設けられた複数のカメラ１２を備えている。このカメラ１２は、道路１１上を走行する車両１３を後方から撮影し、撮影画像信号を出力するようになっている。また、道路監視システムは、画像処理部１４と、事象判定部１５とを備えている。画像処理部１４は、カメラ１２で撮影された撮影画像に基づき、車両の検出、車両速度の算出、落下物の検出などを行う。事象判定部１５は、画像処理部１４の出力に基づき、渋滞検出や突発事象の検出など、対象道路上の事象判定を行う。
【００１７】
本実施形態では、車両を後方から撮影することで、車両のヘッドライトによるハレーション、スミア等を防止している。この後方からの撮影画像を基に車両を抽出し、車幅、車長、車尾位置を検出する。
【００１８】
図２は本実施形態の画像処理部１４及び事象判定部１５における全体の処理手順を示すフローチャートである。画像処理部１４は、まず初期データとして、背景画像データ及び背景微分画像データを作成する（ステップＳ１）。ここで、電源投入後またはリセット後に、例えば０．１秒ごとにカメラ１２から取り込んだ撮影画像データの３００回分（３０秒分の画像）を平均し、背景画像とする。また、背景画像データの微分処理を行って背景微分画像を作成する。さらに、夜と昼とで道路上の照明の明るさ等が異なるため、背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに設定する。
【００１９】
次に、カメラ１２から取り込んだ撮影画像データから画像解析に使用する画像データを作成する（ステップＳ２）。ここでは、カメラ１２から入力されるＮＴＳＣ信号による映像信号を、垂直方向２４０ライン、水平方向３２０画素、輝度を２５６階調とし、フレームごとにＡＤ変換（アナログ−デジタル変換）して３２０画素×２４０画素の画像データを作成する。このとき、偶数フィールドのみをＡＤ変換することで、１／３０sec ごとに１枚の画像データを作成する。そして、以降の画像解析には、現在画像、ΔＴ前画像、２ΔＴ前画像（ここではΔＴ＝１００ｍｓとする）の３つの画像データを使用する。
【００２０】
そして、作成した画像データに対して、特徴抽出演算、二値化処理等の画像前処理を行い、車両の特徴を抽出した特徴抽出画像を作成する（ステップＳ３）。特徴抽出演算においては、背景差分方式、微分背景差分方式、フレーム差分方式、微分フレーム差分方式の４つの特徴抽出方式を用いてそれぞれ特徴抽出を行った差分画像を作成し、これらを重み付け後に合成して特徴抽出画像を算出する。なおここでは、後処理の処理速度を速めるために、特徴抽出等の処理を行って特徴抽出画像を作成した後、この３２０画素×２４０画素の画像データを８０画素×６０画素に圧縮して特徴抽出圧縮画像を作成するようにする。また、画像解析用に作成した画像データから３２０画素×２４０画素のライト抽出用画像を作成する。
【００２１】
続いて、特徴抽出圧縮画像及びライト抽出用画像を用いて画像解析を行い、車両等を抽出する（ステップＳ４）。このとき、特徴抽出圧縮画像を用いて車体解析を行い、車尾、車長、車幅を決定する。また、ライト抽出用画像を用いてライト解析を行い、車両のライトを検出して車尾を決定する。これらの車体解析による矩形の車体検出とライト解析による車尾検出の結果から車両位置を決定する。さらに、特徴抽出圧縮画像を用いて落下物解析を行い、落下物の位置、縦横寸法を決定する。
【００２２】
その後、検出した車両の位置データを走行軌跡データに追加または新規作成し、本処理のサイクルごとに検出された車両の位置データを走行軌跡データに追加していくことで、車両追跡を行う（ステップＳ５）。また、検出した個々の車両の移動速度を算出する。
【００２３】
また、前記車両追跡とは異なる方法で撮影画像における車群の速度を算出する（ステップＳ６）。ここでは、画像全体の輝度値の移動量から車両全体を一つの塊の車群として捉え、この車群の移動速度を算出する。この車群速度は渋滞時の渋滞判定等に用いることができる。
【００２４】
次に、事象判定部１５は、前述の車両追跡、車群速度算出、落下物検出等の結果から、「停止」「低速」「渋滞」「落下物」などの事象が発生したかどうかを判定する（ステップＳ７）。
【００２５】
そして、画像処理部１４は、次の処理のサイクルにおける画像処理のために、背景画像データ及び背景微分画像データを最新の背景画像に更新する（ステップＳ８）。また、新たな背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに更新する。その後、ステップＳ２に戻り、ステップＳ２〜Ｓ８の処理サイクルを所定間隔（ここでは１００ｍｓ）ごとに繰り返す。
【００２６】
次に、本実施形態の特徴的要素である画像解析中の車体解析及びライト解析を行う車両認識処理について詳しく説明する。図３は画像処理部１４において車両認識処理を行う機能構成を示すブロック図である。画像処理部１４は、車両認識処理を行う機能構成として、カメラ１２で撮影した画像データから車両部分の特徴を抽出した特徴抽出画像を作成する特徴画像作成部５１、ライト抽出用の背景差分画像を作成する背景差分画像作成部５２、画像格納部５３、垂直・水平特徴コード化部５４、車両認識部５５を備える。画像格納部５３は、特徴画像格納部５６と背景差分画像格納部５７とを有し、それぞれ特徴抽出画像と背景差分画像を格納する。垂直・水平特徴コード化部５４は、垂直特徴コード化部５８と水平特徴コード化部５９とを有し、特徴抽出画像から垂直方向及び水平方向の特徴をコード化して特徴抽出データを作成する。
【００２７】
また、画像処理部１４は、特徴抽出データ格納部６０、水平特徴結合部６１、幅大データ分離部６２、特徴補正データ格納部６３、車両判定値格納部６４、車両判定値算出部６５を備える。車両認識部５５は、特徴抽出画像を基に抽出され補正された特徴補正データから車両認識を行うもので、車尾検出部６６、車長算出部６７、車体確定部６８、車尾確定部６９を有する。さらに、画像処理部１４は、ライト検出を行うために、垂直・水平方向加算部７０、ライト候補領域検出部７１、ライト領域確定部７２、車尾位置算出部７３を備える。
【００２８】
特徴画像格納部５６には、特徴画像作成部５１で撮影画像から作成された車両部分の特徴を抽出した二値の特徴抽出画像データが格納される。車両判定値算出部６５は、カメラの設置位置や設置角度、画角などで予め決定される撮影画像の大きさ等から、車両か否かを判定するための車幅、車長の条件を示す車両判定値を算出し、この車両判定値を車両判定値格納部６４に予め格納しておく。例えば、車両判定値を車幅：１．４ｍ〜３．５ｍ、車長：１ｍ以上とし、これらの条件に合致する特徴部分を車両であると判定する。
【００２９】
垂直特徴コード化部５８は、特徴抽出画像データから上記車両判定値を用いて垂直方向における画素の特徴をコード化する。水平特徴コード化部５９は、特徴抽出画像データから上記車両判定値を用いて水平方向における画素の特徴をコード化する。特徴抽出データ格納部６０は、垂直方向及び水平方向それぞれでコード化された特徴抽出データを格納する。
【００３０】
水平特徴結合部６１は、作成された水平方向の特徴抽出データを所定条件に従って結合する。このとき、結合後のデータが車両判定値の車幅条件に当てはまるかどうかを判断し、車幅条件に当てはまる場合に特徴抽出データを結合する。幅大データ分離部６２は、車体幅より大きい特徴抽出データである幅大データについて、車両判定値の車幅条件に合うように分離する。特徴補正データ格納部６３は、上記の水平特徴結合部６１による結合処理、及び幅大データ分離部６２による分離処理を含む補正処理が施された特徴補正データを格納する。
【００３１】
車両認識部５５において、車尾検出部６６は、特徴補正データから車両として認識される車体候補データ領域の下端部を判定することで車尾を検出する。車長算出部６７は、前記車尾位置の上方の車体候補データ領域における垂直方向の長さによって車長を算出する。車体確定部６８は、前記求めた車尾及び車長から矩形の車体領域を確定し、車体データ及び車尾データを生成する。
【００３２】
背景差分画像格納部５７には、背景差分画像作成部５２で撮影画像から作成されたライト抽出用の背景差分画像データが格納される。垂直・水平方向加算部７０は、ライト抽出用の背景差分画像データを垂直方向と水平方向にそれぞれ加算する。ライト候補領域検出部７１は、水平方向の加算結果から検出された明るい部分の領域について、垂直方向の加算を水平方向に順次行い、ライトと想定されるライト候補領域を検出する。ライト領域確定部７２は、前記ライト候補領域を所定条件によって判定し、水平方向に２つ存在しかつ間隔が車幅条件に合うものをライト領域と確定する。車尾位置算出部７３は、抽出されたライト領域の位置から車尾位置を算出する。
【００３３】
車両認識部５５の車尾確定部６９は、前記矩形の車体検出による車体及び車尾の検出結果と、前記ライト検出によるライト及び車尾の検出結果とを参照し、いずれか一方で検出されたものは合成し、両方で検出されたものは一方を削除することで、統合した車尾データを確定する。このようにして、画像処理部１４において車尾データや車体データを含む車両検出データを生成する。この車両検出データを用いて、車両追跡処理、事象検出処理等を行う。
【００３４】
図４は本実施形態の車両認識処理を含む画像解析処理の全体の処理手順を示すフローチャートである。まず画像前処理で作成した８０画素×６０画素の特徴抽出圧縮画像データを入力し（ステップＳ４１）、撮影画像から矩形の車体領域を抽出する車体解析処理を行う（ステップＳ４２）。一方、画像前処理で作成した３２０画素×２４０画素のライト抽出用画像の背景差分画像データを入力し（ステップＳ４３）、車両のライトを検出するライト解析処理を行う（ステップＳ４４）。そして、車体解析処理による車体及び車尾の検出結果と、ライト解析処理によるライト及び車尾の検出結果とを統合して車尾位置を確定し、車両検出データを生成する（ステップＳ４５）。その後、特徴抽出圧縮画像データから解析済みの車体部分の画素を消去し（ステップＳ４６）、その他の画素において落下物解析を行って落下物を検出する（ステップＳ４７）。これらの車両検出データ、落下物検出データは、後処理の車両追跡、事象判定等の処理に用いられる。
【００３５】
落下物解析においては、落下物であると判定する寸法条件等を示す落下物判定値を用いて、車体解析処理と同様な処理を行って落下物領域を抽出し、落下物の位置及び大きさを算出する。この場合、落下物は道路上に静止しているため、フレーム差分画像及び微分フレーム差分画像を用いず、背景差分画像及び微分背景差分画像を用いて落下物領域を抽出する。
【００３６】
図５は本実施形態における車両認識処理の手順を示すフローチャートである。本実施形態では、矩形の車体検出を行う際に、特徴抽出圧縮画像から水平方向及び垂直方向の特徴をコード化した特徴抽出データについて、所定条件に従って結合、分離等の補正を行う。まず、特徴抽出圧縮画像データを参照し、予め設定された車幅及び車長の車両判定値を用いて垂直方向、水平方向それぞれにおける画素の特徴を判定し、コード化を行う（ステップＳ５１）。そして、水平方向の特徴について、所定条件に従って車幅範囲よりも小さい幅小データを結合することで、水平特徴の結合を行って候補データを作成する（ステップＳ５２）。
【００３７】
次に、それぞれの候補データについて、車幅範囲よりも大きい幅大データを分離し（ステップＳ５３）、前記結合及び分離によって補正された特徴補正データに基づいて車尾の検出を行う（ステップＳ５４）。そして、車体候補データ領域の垂直方向の長さを求めて車長を算出し（ステップＳ５５）、得られた車尾及び車長から矩形の車体部分を確定して、車体データ及び車尾データを生成する（ステップＳ５６）。そして、全ての候補データに関して処理が終了したかを判定し（ステップＳ５７）、終了していない場合はステップＳ５３〜Ｓ５６の処理を全ての候補データについて完了するまで繰り返す。全ての候補データに関して車体部分確定までの処理が終了すると、８０画素×６０画素のデータを３２０画素×２４０画素に拡大し、車尾位置を決定する（ステップＳ５８）。
【００３８】
一方、背景差分画像によるライト抽出用画像を用いてライト解析を行い、撮影画像から車両のライトを検出して車尾を決定する（ステップＳ５９）。その後、前記車体解析処理による車体及び車尾の検出結果と、前記ライト解析処理によるライト及び車尾の検出結果とを参照し、それぞれで検出された車尾の同一性のチェックを行い、２つの検出結果を統合して車尾位置を確定し、検出車両の位置を示す車両検出データを生成する（ステップＳ６０）。
【００３９】
ここで、上記車両認識処理における各処理についてより詳細に説明する。図６は特徴抽出圧縮画像における垂直特徴の判定及びコード化を説明する図、図７は特徴抽出圧縮画像における水平特徴の判定及びコード化を説明する図である。
【００４０】
垂直特徴のコード化においては、図６に示すように、特徴抽出圧縮画像Ｆ1（ｔ）の下辺より列（垂直ライン）ごとに各画素について輝度が高く特徴ありと認識されるデータの連続程度を抽出し、車長条件によって車両とみなされるか否かの判定を行い、判定結果に基づいてコード化して垂直特徴抽出データＦ1ｖ（ｔ）を生成する。このとき、“０”の画素は「０：データなし」とし、“１”の画素については垂直方向に画素の連続数を算出し、車長判定値以上（ここでは１ｍ以上とする）かどうかを判定する。ここで、車長判定値以上の場合は「２：車長有効データ」とし、車長判定値未満の場合は「１：捨てデータ」とする。この車長判定値は、カメラの設置条件等によって撮影画像の列ごとに垂直方向に何画素以上連続した場合に車両とみなされる長さとなるかがわかるため、この値を事前に算出して各画素の座標に対応するテーブルとして保持しておく。
【００４１】
水平特徴のコード化においては、図７に示すように、特徴抽出圧縮画像Ｆ1（ｔ）の下辺より行（水平ライン）ごとに各画素について輝度が高く特徴ありと認識されるデータの連続程度を抽出し、車幅条件によって車両とみなされるか否かの判定を行い、判定結果に基づいてコード化して水平特徴抽出データＦ1ｈ（ｔ）を生成する。する。このとき、“０”の画素は「０：データなし」とし、“１”の画素については水平方向に画素の連続数を算出し、車幅判定値の範囲内（ここでは１．４ｍ〜３．５ｍとする）にあるかどうかを判定する。ここで、１つのみの孤立したデータは「１：捨てデータ」とし、車幅最小値未満（１．４ｍ未満）の場合は「２：幅小データ」、車幅最大値以上（３．５ｍ以上）の場合は「３：幅大データ」、車幅有効範囲内（１．４ｍ〜３．５ｍ）の場合は「６：候補１データ」とする。この車幅判定値は、カメラの設置条件等によって撮影画像の行ごとに水平方向に何画素連続してある場合に車両とみなされる幅となるかがわかるため、この値を事前に算出して各画素の座標に対応するテーブルとして保持しておく。
【００４２】
図８〜図１０は本実施形態における水平特徴抽出データの結合処理を説明する図であり、図８は結合処理の第１段階、図９は結合処理の第２段階、図１０は結合処理の第３段階をそれぞれ示したものである。まず、第１段階では、図８（Ａ）に示すように、水平特徴抽出データＦ1ｈ（ｔ）において「２：幅小データ」が隣接して存在する場合、それらをつないで車幅有効範囲になるならば結合し、新たなＦ1（ｔ）とする。ここで、結合する際には対象画素のデータを全て「４：組立候補１データ」とする。ただし、この結合処理は、図８（Ｂ）に示すように、垂直特徴抽出データＦ1ｖ（ｔ）において結合対象画素区間Ｘｓ〜Ｘｅのコード最頻度値が「２：車長有効データ」である場合にのみ行うこととする。
【００４３】
結合処理の第２段階では、図９（Ａ）に示すように、水平特徴抽出データＦ1ｈ（ｔ）において「２：幅小データ」に隣接して「４：組立候補１データ」が存在する場合、あるいは、図９（Ｃ）に示すように「２：幅小データ」に隣接して「６：候補１データ」が存在する場合、それらをつないで車幅有効範囲になるならば結合し、新たなＦ1（ｔ）とする。ここで、結合する際には対象画素のデータを全て「５：組立候補２データ」とする。ただし、この結合処理は、図９（Ｂ）、（Ｄ）に示すように、垂直特徴抽出データＦ1ｖ（ｔ）において結合対象画素区間Ｘｓ〜Ｘｅのコード最頻度値が「２：車長有効データ」である場合にのみ行うこととする。
【００４４】
結合処理の第３段階では、図１０（Ａ）に示すように、水平特徴抽出データＦ1ｈ（ｔ）において「２：幅小データ」に隣接して「５：組立候補２データ」が存在する場合、それらをつないで車幅有効範囲になるならば結合し、新たなＦ1（ｔ）とする。ここで、結合する際には対象画素のデータを全て「５：組立候補２データ」とする。ただし、この結合処理は、図１０（Ｂ）に示すように、垂直特徴抽出データＦ1ｖ（ｔ）において結合対象画素区間Ｘｓ〜Ｘｅのコード最頻度値が「２：車長有効データ」である場合にのみ行うこととする。
【００４５】
上記のように３段階の結合処理を行うことによって、幅小データを結合して車両認識の候補となる組立候補１データや組立候補２データを作成する。この結合処理の結果、「０：データなし」「１：捨てデータ」「２：幅小データ」「３：幅大データ」「４：組立候補１データ」「５：組立候補２データ」「６：候補１データ」などを含む車尾検出用データが作成される。
【００４６】
図１１は本実施形態における幅大データの分離処理を説明する図である。上記の水平特徴抽出データの結合処理を行った後、幅大データについては車幅判定値に基づいて分離する。水平特徴抽出データＦ1ｈ（ｔ）において「３：幅大データ」となる車幅最大値（３．５ｍ）以上のデータは、２台以上の車両が重なっている状態と考えられる。このため、幅大データの一方の端部から車幅最大値までの位置でデータを分離し、車幅最大値までを１台目の候補として「４：組立候補１データ」とし、残りを２台目の候補として「５：組立候補２データ」とする。本実施形態では、カメラが道路の左側部に設置され、左後方から車両を撮影している場合を例示しているため、幅大データの左端部を起点として車幅最大値分を分離する。
【００４７】
図１２は本実施形態における車尾の検出処理を説明する図である。上記生成された車尾検出用データの「４：組立候補１データ」「５：組立候補２データ」「６：候補１データ」について、以下の３つの条件に全て合致するものを車尾と判定して検出する。図１２（Ａ）に示すように、候補データの左端、右端、下端が画像端となっており、車両の姿が全部見えていないと考えられるものは、車尾判定の対象外として除外する（条件Ａ）。
【００４８】
また、図１２（Ｂ）に示すように、候補データにおける車尾とみなされる対象ラインの上部領域に車両としての特徴がある場合に、その対象ラインの候補データを車尾とする（条件Ｂ）。この場合、車尾の候補データの始点Ｘｓから終点Ｘｅの上方のＬｕｐラインの領域に特徴があるかどうかを判定する。候補データをＡとし、これより上方のＬｕｐラインにおけるデータのコードが図のようにＰ，Ｑ，Ｒ，Ｓ，Ｔ，Ｕの配列になっているとすると、各ラインの最頻度値Ｐ，Ｑ，Ｓの合計値が所定のしきい値ＴＨ１より大きければ車両としての特徴があると判定する。式で表すと以下のようになる。
Ｐ＋Ｑ＋Ｓ＞ＴＨ１ …（１）
（ただし、Ｐ，Ｑ，Ｓは各ラインの最頻度値）
ここで、判定を行うライン数（ここでは３ライン）、しきい値ＴＨ１（例えば、ライン数×４）は、パラメータとして予め設定しておく。
【００４９】
また、図１２（Ｃ）に示すように、候補データにおける車尾とみなされる対象ラインの下部領域に車両としての特徴がない場合に、その対象ラインの候補データを車尾とする（条件Ｃ）。この場合、車尾の候補データの始点Ｘｓから終点Ｘｅの下方のＬｄｗｎラインの領域に特徴があるかどうかを判定する。候補データをＡとし、これより下方のＬｄｗｎラインにおけるデータのコードが図のようにＰ，Ｑ，Ｒ，Ｓ，Ｔの配列になっているとすると、各ラインの最頻度値Ｐ，Ｒの合計値が所定のしきい値ＴＨ２以下であれば車両としての特徴がないと判定する。式で表すと以下のようになる。
Ｐ＋Ｒ≦ＴＨ２ …（２）
（ただし、Ｐ，Ｒは各ラインの最頻度値）
ここで、判定を行うライン数（ここでは２ライン）、しきい値ＴＨ２（例えば、ライン数×４）は、パラメータとして予め設定しておく。
【００５０】
上記の車尾判定は、画像の下から順に処理を行う。車尾と判定した候補データは、「９：車尾データ」とする。なお、カメラで車両を前方から撮影した場合は、車尾の代わりに車頭の判定となる。
【００５１】
図１３は本実施形態における車長の算出処理を説明する図である。車長については、車尾検出用データにおいて上記判定された「９：車尾データ」の上方を参照し、この車尾データを含めて「４：組立候補１データ」「５：組立候補２データ」「６：候補１データ」の各候補データが存在するライン数ｎを求める。このｎが車長となる。
【００５２】
図１４は本実施形態における車体部分の確定処理を説明する図である。ここでは、図１４の左側に示す車尾検出用データ９１において、まず垂直方向の車体領域を確定するために、検出された車尾データがある水平ラインのａ行から上方にデータを検索していき、各ラインの最頻度値αがしきい値ＴＨ３（例えば４）より小さくなる行（ｈ）を見つける。
α＜ＴＨ３ …（３）
このｈ行の１つ下のｂ行（ｈ−１行）が車体の上端となる。これは上記車長算出時の車体上端と同じである。
【００５３】
次に、水平方向の車体領域として車体の左端を確定するために、車尾データの左端に対応するｃ列について、垂直方向にａ行からｂ行までの候補データを加算し、加算値βをライン数ｎで割った値がしきい値ＴＨ４（例えば４）以上となるかどうかを判定する。
β／ｎ≧ＴＨ４ …（４）
ここで、しきい値ＴＨ４以上の場合はｃ−１列において同様の判定を行い、しきい値ＴＨ４未満となるまで左方向に順次同様の処理を繰り返す。しきい値ＴＨ４未満となった場合は、その列をｊ列とし、ｊ列の１つ右のｊ＋１列を車体の左端とする。図の例ではｃ列が左端である。
【００５４】
次に、水平方向の車体領域として車体の右端を確定するために、上記左端と同様にして、車尾データの右端に対応するｄ列について、垂直方向にａ行からｂ行までの候補データを加算し、加算値γをライン数ｎで割った値がしきい値ＴＨ４（例えば４）以上となるかどうかを判定する。
γ／ｎ≧ＴＨ４ …（５）
ここで、しきい値ＴＨ４以上の場合はｄ＋１列において同様の判定を行い、しきい値ＴＨ４未満となるまで右方向に順次同様の処理を繰り返す。しきい値ＴＨ４未満となった場合は、その列をｋ列とし、ｋ列の１つ左のｋ−１列を車体の右端とする。図の例ではｄ列が右端である。
【００５５】
このようにして、垂直方向及び水平方向の車体領域を確定する。そして、車尾検出用データ９１から図１４の右側に示す車両検出データ９２を作成する。ここでは、車体部分の候補データを「８：車体データ」とする。また、この車体部分の枠からはみ出た候補データは「７：重なりデータ」とする。
【００５６】
図１５は本実施形態における車両検出データの例を示す図である。図１５の左側に示す車尾検出用データ９３から、上記の幅大データ分離処理、車尾検出処理、車長算出処理、車体部分確定処理を全ての候補データについて行うことにより、図１５の右側に示すような車両検出データ９４が作成される。この車両検出データ９４は、「０：データなし」「１：捨てデータ」「２：幅小データ」「４：組立候補１データ」「５：組立候補２データ」「６：候補１データ」「７：重なりデータ」「８：車体データ」「９：車尾データ」などを含む。
【００５７】
図１６は車両検出データの伸張処理を説明する図である。上述した車体解析処理は、８０画素×６０画素のデータを用いて行っているため、処理結果として得られた８０画素×６０画素の車両検出データ９５を縦横４倍し、３２０画素×２４０画素の車両検出データ９６に変換する。そして、拡大した車両検出データ９６における４ライン分の車尾データと、微分背景差分画像データ等の画像前処理で作成した特徴抽出画像データ９７とを比較し、より確かな車尾位置を決定する。微分背景差分画像の場合、ラインごとに水平方向に加算すると、図中右側のような加算結果９８が得られ、下端のピークのラインが車尾位置となる。このように決定した車尾位置を、検出車両の現在の車尾位置とする。
【００５８】
図１７は本実施形態における車両検出結果の車体部分を模式的に示す図である。矩形の車体検出による車両検出結果としては、上記のように求めた車両検出データより、検出車両ごとに車尾中央の座標Ａｐ（Ｘ，Ｙ）、車長Ｌｐ、車幅Ｗｐを算出して格納する。
【００５９】
図１８は本実施形態におけるライト解析処理を説明する図である。まず、図１８（Ａ）に示すように、画像前処理で作成したライト抽出用の背景差分画像データ（二値化データ）を用いて、輝度の高い部分からライト部分１０１の位置を検出する。そして、図１８（Ｂ）に示すように、検出されたライト部分１０１の位置から車尾を推定し、車尾位置１０２を決定する。なお、車尾の幅についてもライトの間隔などから推定する。ここで、ライト位置から車尾位置を推定するためのパラメータＨｂは、垂直方向のライン位置など各画素の位置ごとに予め設定して格納しておく。
【００６０】
次に、ライトの検出手順についてより詳しく説明する。図１９はライトの検出手順を説明する図である。まず、図１９（Ａ）に示すように、ライト抽出用の背景差分画像データにおいて、垂直ラインの列ごとに垂直方向の加算（図１９（Ａ）下側の加算結果１０３）と、水平ラインの行ごとに水平方向の加算（図１９（Ａ）右側の加算結果１０４）とを行う。そして、加算結果１０４の値が大きく、垂直方向において輝度が高いライト候補領域Ｙ１（Ｙ１ｓ〜Ｙ１ｅ）、Ｙ２（Ｙ２ｓ〜Ｙ２ｅ）を抽出する。続いて、領域Ｙ１の範囲Ｙ１ｓ〜Ｙ１ｅにおいて、水平方向ではＸ１（Ｘ１ｓ〜Ｘ１ｅ）、Ｘ２（Ｘ２ｓ〜Ｘ２ｅ）のそれぞれの範囲で、垂直ラインの列ごとに垂直方向に加算を行う（図１９（Ｂ）の加算結果１０５）。また、領域Ｙ２の範囲Ｙ２ｓ〜Ｙ２ｅにおいても同様に、水平方向ではＸ１（Ｘ１ｓ〜Ｘ１ｅ）、Ｘ２（Ｘ２ｓ〜Ｘ２ｅ）のそれぞれの範囲で、垂直ラインの列ごとに垂直方向に加算を行う（図１９（Ｃ）の加算結果１０６）。
【００６１】
上記加算結果１０５，１０６から、輝度が高いライト候補領域が水平方向に２つ揃って存在し、かつ２つの間隔が車幅条件の範囲にあるものをライトであると認識してライト部分を検出する。そして、検出されたライト部分に対応する車両ごとに車尾中央の座標Ｂｐ（Ｘ，Ｙ）を算出して格納する。
【００６２】
図２０は本実施形態における車尾位置の確定処理を説明する図である。本実施形態では、車体解析処理による車体及び車尾の検出データ（車尾中央座標、車長、車幅）１１１と、ライト解析処理による車尾の検出データ（車尾中央座標）１１２とを参照して比較し、最終的な車尾位置を確定する。このとき、それぞれで検出された車尾について、左下方にある車尾から順に比較をして所定の判定条件に従って同一性のチェックを行い、同一であると判定されるものは合体化して１つに統合する。２つの車尾を合体化する際には、下方の車尾を残し、上方にある車尾を消去する。なお、これら２つの検出結果における車尾の比較は、全ての車尾間において総当りで行うようにする。図の例では、車尾Ａ２と車尾Ｂ１、車尾Ａ３と車尾Ｂ２、車尾Ａ５と車尾Ｂ３がそれぞれ重なった位置にあるため、同一であると判定される。
【００６３】
ここで、同一車尾であるかどうかの判定は、以下の２つの条件を用いる。対象となる２つの車尾について、一方の車尾（下方にある車尾）を基準として、他方の車尾と連結した全体の幅が車幅条件に合致するか（３．５ｍ以内であるか）を判定する（条件Ｄ）。また、一方の車尾（下方にある車尾）を基準として、他方の車尾との垂直方向の長さを参照し、それぞれを独立した車両として分離できる距離に相当する長さであるか（例えば、６ｍ以上離れているか）を判定する（条件Ｅ）。この同一車尾判定条件に合致した場合は、２つの車尾のうちの下方にある車尾の位置を車尾位置とし、２つの車尾を連結した幅を車幅とする。
【００６４】
また、車体解析処理とライト解析処理の２つの検出結果について、上記のように同一の車尾を合体化するとともに、他方の検出結果に同一の車両とみなされる車尾が無く一方の解析処理だけで検出された車尾については、検出データの論理和をとるように加えて車尾を確定するようにしてもよい。このように２つの方式による車両検出結果を統合することにより、車両検出の重複、検出漏れ等を防止し、より正確な車両認識処理ができるようにする。
【００６５】
上述したように、本実施形態によれば、道路上の撮影画像から車両を認識する際に、車両の特徴を抽出して二値化した特徴抽出画像を所定条件に応じてコード化し、このコード化した特徴抽出データを車幅条件等の車両判定値に基づいて適宜結合、分離して補正することによって、車両の特徴抽出が不十分であっても適切に特徴抽出データの補間、ノイズ除去が可能となる。これによって、より正確な車両認識が可能となる。
【００６６】
また、車体解析処理による矩形の車体及び、車頭又は車尾の検出と、ライト解析処理によるライト及び、車頭又は車尾の検出とを並行して行い、それぞれの検出結果を統合して車両認識を行うことによって、車両認識の精度を向上させることが可能となる。この場合、２つの方式の検出結果において同一車頭又は車尾と判定された重複する車頭又は車尾の一方を削除することによって、車両台数等の交通量の検出をより精度良く行うことができる。また、より正確な車頭又は車尾位置を検出することにより、速度検出精度を向上できる。
【産業上の利用可能性】
【００６７】
本発明は、道路上の撮影画像から、より精度良く車両認識を行うことが可能となる効果を有し、道路上の車両を撮影した画像を処理する画像処理装置等に有用である。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施形態に係る道路監視システムの構成を示す図
【図２】本実施形態の画像処理部及び事象判定部における全体の処理手順を示すフローチャート
【図３】本実施形態に係る画像処理部において車両認識処理を行う機能構成を示すブロック図
【図４】本実施形態の車両認識処理を含む画像解析処理の全体の処理手順を示すフローチャート
【図５】本実施形態における車両認識処理の手順を示すフローチャート
【図６】本実施形態の特徴抽出圧縮画像における垂直特徴の判定及びコード化を説明する図
【図７】本実施形態の特徴抽出圧縮画像における水平特徴の判定及びコード化を説明する図
【図８】本実施形態における水平特徴抽出データの結合処理の第１段階を説明する図
【図９】本実施形態における水平特徴抽出データの結合処理の第２段階を説明する図
【図１０】本実施形態における水平特徴抽出データの結合処理の第３段階を説明する図
【図１１】本実施形態における幅大データの分離処理を説明する図
【図１２】本実施形態における車尾の検出処理を説明する図
【図１３】本実施形態における車長の算出処理を説明する図
【図１４】本実施形態における車体部分の確定処理を説明する図
【図１５】本実施形態における車両検出データの例を示す図
【図１６】本実施形態における車両検出データの伸張処理を説明する図
【図１７】本実施形態における車両検出結果の車体部分を模式的に示す図
【図１８】本実施形態におけるライト解析処理を説明する図
【図１９】本実施形態におけるライトの検出手順を説明する図
【図２０】本実施形態における車尾位置の確定処理を説明する図
【符号の説明】
【００６９】
１１ 道路
１２ カメラ
１３ 車両
１４ 画像処理部
１５ 事象判定部
５１ 特徴画像作成部
５２ 背景差分画像作成部
５３ 画像格納部
５４ 垂直・水平特徴コード化部
５５ 車両認識部
５６ 特徴画像格納部
５７ 背景差分画像格納部
５８ 垂直特徴コード化部
５９ 水平特徴コード化部
６０ 特徴抽出データ格納部
６１ 水平特徴結合部
６２ 幅大データ分離部
６３ 特徴補正データ格納部
６４ 車両判定値格納部
６５ 車両判定値算出部
６６ 車尾検出部
６７ 車長算出部
６８ 車体確定部
６９ 車尾確定部
７０ 垂直・水平方向加算部
７１ ライト候補領域検出部
７２ ライト領域確定部
７３ 車尾位置算出部
【特許請求の範囲】
【請求項１】
道路上の車両を撮影した撮影画像から特徴を抽出した特徴抽出画像を作成する特徴量抽出手段と、
前記特徴抽出画像における特徴抽出データについて車両判定のための所定条件に基づいて結合する特徴結合手段と、
前記特徴抽出データについて車両判定のための所定条件に基づいて分離する特徴分離手段と、
前記結合と前記分離の少なくとも一方を行った特徴補正データを用いて、車両の車体及び、車頭又は車尾を検出する車体検出手段とを備え、
前記撮影画像に基づく車両認識を行う画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記撮影画像とその背景画像との差分による背景差分画像を用いて、車両のライト及び、車頭又は車尾を検出するライト検出手段と、
前記車体検出手段による検出結果と前記ライト検出手段による検出結果とを統合して車体位置を決定する車体位置決定手段とを備える画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記特徴結合手段は、車両判定のための車幅条件に基づき、水平方向に隣接する２つの特徴抽出データを結合した結果が車幅範囲に入っている場合に、これらのデータを結合して新たな候補データとする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記特徴分離手段は、車両判定のための車幅条件に基づき、水平方向の特徴抽出データが車幅最大値以上の場合に、このデータを車幅最大値で分離してそれぞれを新たな候補データとする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置であって、
前記車体位置決定手段は、前記車体検出手段により検出された車頭又は車尾と前記ライト検出手段により検出された車頭又は車尾とを比較して同一の車両の車頭又は車尾であるかを判定し、同一の車両とみなされる車頭又は車尾は一方を除外して車頭又は車尾位置を確定する画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記車体位置決定手段は、前記車体検出手段による検出結果と前記ライト検出手段による検出結果について、他方の検出結果に同一の車両とみなされる車頭又は車尾が無い場合はその車頭又は車尾によって車頭又は車尾位置を確定する画像処理装置。
【請求項７】
請求項１〜６のいずれかに記載の画像処理装置と、
前記画像処理装置による車両認識結果を基に、車両の速度、停止車両の有無、渋滞の有無、落下物の有無の少なくともいずれかを含む道路上の事象を判定する事象判定部と、
を備える道路監視装置。
【請求項１】
道路上の車両を撮影した撮影画像から特徴を抽出した特徴抽出画像を作成する特徴量抽出手段と、
前記特徴抽出画像における特徴抽出データについて車両判定のための所定条件に基づいて結合する特徴結合手段と、
前記特徴抽出データについて車両判定のための所定条件に基づいて分離する特徴分離手段と、
前記結合と前記分離の少なくとも一方を行った特徴補正データを用いて、車両の車体及び、車頭又は車尾を検出する車体検出手段とを備え、
前記撮影画像に基づく車両認識を行う画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記撮影画像とその背景画像との差分による背景差分画像を用いて、車両のライト及び、車頭又は車尾を検出するライト検出手段と、
前記車体検出手段による検出結果と前記ライト検出手段による検出結果とを統合して車体位置を決定する車体位置決定手段とを備える画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記特徴結合手段は、車両判定のための車幅条件に基づき、水平方向に隣接する２つの特徴抽出データを結合した結果が車幅範囲に入っている場合に、これらのデータを結合して新たな候補データとする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記特徴分離手段は、車両判定のための車幅条件に基づき、水平方向の特徴抽出データが車幅最大値以上の場合に、このデータを車幅最大値で分離してそれぞれを新たな候補データとする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置であって、
前記車体位置決定手段は、前記車体検出手段により検出された車頭又は車尾と前記ライト検出手段により検出された車頭又は車尾とを比較して同一の車両の車頭又は車尾であるかを判定し、同一の車両とみなされる車頭又は車尾は一方を除外して車頭又は車尾位置を確定する画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記車体位置決定手段は、前記車体検出手段による検出結果と前記ライト検出手段による検出結果について、他方の検出結果に同一の車両とみなされる車頭又は車尾が無い場合はその車頭又は車尾によって車頭又は車尾位置を確定する画像処理装置。
【請求項７】
請求項１〜６のいずれかに記載の画像処理装置と、
前記画像処理装置による車両認識結果を基に、車両の速度、停止車両の有無、渋滞の有無、落下物の有無の少なくともいずれかを含む道路上の事象を判定する事象判定部と、
を備える道路監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００６−５９１８４（Ｐ２００６−５９１８４Ａ）
【公開日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願番号】特願２００４−２４１２８５（Ｐ２００４−２４１２８５）
【出願日】平成１６年８月２０日（２００４．８．２０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願日】平成１６年８月２０日（２００４．８．２０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]