画像処理装置
【課題】 周囲環境の変化にも対応でき、道路上の撮影画像から安定して車両抽出を行うことが可能な画像処理装置を提供する。
【解決手段】 画像処理部は、車両の撮影画像として画像入力部２１より入力された現在画像、ΔＴ前画像、２ΔＴ前画像とともに、微分画像作成部３１で作成されたこれらの微分画像、背景画像作成部３２で作成された背景画像を用いて、画像間減算部３３及び画像間論理積演算部３４により、微分背景差分、背景差分、フレーム差分、微分フレーム差分の４つの方式による特徴抽出処理を行う。そして、各方式で得られた画像を画像二値化部３５で二値化した後、各方式で得られた画像に対して二値化画像重み付け部３６で撮影環境に応じた重み付けを行い、画像間加算部３７で加算して合成することで、特徴抽出画像を生成し、特徴画像格納部３０に格納する。
【解決手段】 画像処理部は、車両の撮影画像として画像入力部２１より入力された現在画像、ΔＴ前画像、２ΔＴ前画像とともに、微分画像作成部３１で作成されたこれらの微分画像、背景画像作成部３２で作成された背景画像を用いて、画像間減算部３３及び画像間論理積演算部３４により、微分背景差分、背景差分、フレーム差分、微分フレーム差分の４つの方式による特徴抽出処理を行う。そして、各方式で得られた画像を画像二値化部３５で二値化した後、各方式で得られた画像に対して二値化画像重み付け部３６で撮影環境に応じた重み付けを行い、画像間加算部３７で加算して合成することで、特徴抽出画像を生成し、特徴画像格納部３０に格納する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路上の車両を撮影した画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
従来より、高速道路上や一般道路上を走行する車両の映像を監視カメラにより撮影し、車両の映像を管制室の映像表示器に表示し、監視者が目で確認することにより、道路交通状態を監視するシステムが広く採用されている。また、監視カメラの映像を分析して突発事象を自動的に検出し、突発事象の発生を表示すると共に、入力映像を突発事象発生地点の現場映像に切り替えて表示するようにした突発事象検出装置が提案されている（特許文献１参照）。
【０００３】
また、道路上の車両を撮影した画像から車両を検出する技術が種々提案されており、例えば特許文献２には、車両のヘッドライトを抽出して判断することにより、夜間における車種を高い精度で判別することが可能な車種判別装置及び方法が開示されている。
【０００４】
道路上の撮影画像から車体部分を抽出するための画像処理技術としては、道路等の背景画像と現在の画像との差分をとって車両の特徴を抽出する背景差分法、前フレームの画像と現在のフレームの画像との差分をとって車両の特徴を抽出するフレーム差分法などが考えられる。しかしながら、このような背景差分法やフレーム差分法を用いた車両抽出方法では、道路の照明やヘッドライト等によって周囲環境（特に背景の明るさ）が大きく変化すると、差分画像から車両抽出のもととなる特徴抽出ができない場合があり、安定して車両抽出が行えないことがあった。また、背景差分法においては、背景が急激に変化すると差分画像に背景部分も現れてしまい、十分に車両の特徴抽出が行えないことがあった。
【０００５】
【特許文献１】特開平５−２５０５９５号公報
【特許文献２】特開平１１−３５３５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑みてなされたもので、撮影環境に関わらず、道路上の撮影画像から安定して車両抽出を行うことが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、道路上の車両を撮影した撮影画像を入力する画像入力手段と、前記撮影画像に基づいて背景画像を作成する背景画像作成手段と、前記撮影画像と前記背景画像の微分画像を作成する微分画像作成手段と、前記撮影画像の現在画像と前記背景画像との差分による背景差分画像、前記撮影画像の微分画像と前記背景画像の微分画像との差分による微分背景差分画像、前記撮影画像のフレーム間差分によるフレーム差分画像、前記撮影画像の微分画像のフレーム間差分による微分フレーム差分画像のうちの少なくとも２つを含む複数の差分画像を作成する差分画像作成手段と、前記複数の差分画像のそれぞれの重み付けを行う重み付け手段と、前記重み付け後の複数の差分画像を合成する画像合成手段とを備え、前記撮影画像より車両の特徴を抽出した特徴抽出画像を作成するものである。
これにより、複数の方式により作成された差分画像を重み付けして合成することで、安定した特徴抽出が可能となるため、撮影環境に関わらず、道路上の撮影画像から安定して車両抽出を行うことが可能となる。
【０００８】
また、本発明の一態様として、上記の画像処理装置であって、前記重み付け手段は、前記撮影画像の撮影環境に応じて各差分画像の重み付けの重み量を設定するものも含まれる。
これにより、撮影環境に応じて重み量を設定することで、例えば撮影場所、撮影時間などのそれぞれの撮影環境に合わせてより安定した十分な特徴抽出が可能となる。また、例えば撮影画像の明るさの変化など、周囲環境の変化にも対応可能である。
【０００９】
また、本発明の一態様として、上記の画像処理装置であって、前記重み付け手段は、前記撮影画像においてライトまたは影の影響が大きい場合に、前記背景差分画像及びフレーム差分画像の重み量を小さくするものも含まれる。
これにより、ライトまたは影の影響など、道路上において変化要素が大きくある場合に、背景差分画像及びフレーム差分画像の重み量を小さくすることで、差分処理による車両以外の特徴抽出を低減でき、安定した車両の特徴抽出が可能となる。
【００１０】
また、本発明の一態様として、上記の画像処理装置であって、前記背景画像を所定期間ごとに更新する背景画像更新手段と、前記背景画像に現在画像を加算する割合を示す更新率を、前記撮影画像における車体領域の割合または車両台数に応じて設定する更新率設定手段とを備えるものも含まれる。
これにより、撮影画像の状態に応じて背景画像を適切に更新でき、現在画像と背景画像との間で安定してより明確に車両の特徴が抽出された背景差分画像を作成可能となる。
【００１１】
また、本発明の一態様として、上記の画像処理装置であって、前記更新率設定手段は、前記撮影画像における車体領域の割合または車両台数が多い場合に、前記更新率を小さくするものも含まれる。
これにより、撮影画像において車両が多く含まれる場合に更新率を小さくすることによって、背景画像の更新速度を遅くでき、より安定して背景差分画像または微分背景差分画像による車両の特徴抽出を行うことが可能となる。
【００１２】
また、本発明の道路監視装置は、上記いずれかに記載の画像処理装置と、前記画像処理装置により作成される特徴抽出画像を基に車両認識を行う車両認識部と、前記車両認識結果を基に、車両の速度、停止車両の有無、渋滞の有無、落下物の有無の少なくともいずれかを含む道路上の事象を判定する事象判定部と、を備えるものである。
これにより、車両認識の精度を向上でき、この車両認識結果を基に道路上の事象判定をより正確に行うことが可能となる。
【発明の効果】
【００１３】
本発明によれば、撮影環境に関わらず、道路上の撮影画像から安定して車両抽出を行うことが可能な画像処理装置を提供できる。
【発明を実施するための最良の形態】
【００１４】
本実施形態では、トンネル内などにカメラを設置して走行する車両を後方から撮影し、撮影画像から車両の特徴抽出、車両認識等を行い、走行速度検出や異常事象検出等を可能とした道路監視システムにおける構成例を示す。
【００１５】
図１は本発明の実施形態に係る道路監視システムの構成を示す図である。道路監視システムは、撮影部として、道路１１におけるトンネル内などの道路脇の所定位置ごとに設けられた複数のカメラ１２を備えている。このカメラ１２は、道路１１上を走行する車両１３を後方から撮影し、撮影画像信号を出力するようになっている。また、道路監視システムは、画像処理部１４と、事象判定部１５とを備えている。画像処理部１４は、カメラ１２で撮影された撮影画像に基づき、車両の検出、車両速度の算出、落下物の検出などを行う。事象判定部１５は、画像処理部１４の出力に基づき、渋滞検出や突発事象の検出など、対象道路上の事象判定を行う。
【００１６】
本実施形態では、車両を後方から撮影することで、車両のヘッドライトによるハレーション、スミア等を防止している。この後方からの撮影画像を基に車両を抽出し、車幅、車長、車尾位置を検出する。
【００１７】
図２は本実施形態の画像処理部１４及び事象判定部１５における全体の処理手順を示すフローチャートである。画像処理部１４は、まず初期データとして、背景画像データ及び背景微分画像データを作成する（ステップＳ１）。ここで、電源投入後またはリセット後に、例えば０．１秒ごとにカメラ１２から取り込んだ撮影画像データの３００回分（３０秒分の画像）を平均し、背景画像とする。また、背景画像データの微分処理を行って背景微分画像を作成する。さらに、夜と昼とで道路上の照明の明るさ等が異なるため、背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに設定する。
【００１８】
次に、カメラ１２から取り込んだ撮影画像データから画像解析に使用する画像データを作成する（ステップＳ２）。ここでは、カメラ１２から入力されるＮＴＳＣ信号による映像信号を、垂直方向２４０ライン、水平方向３２０画素、輝度を２５６階調とし、フレームごとにＡＤ変換（アナログ−デジタル変換）して３２０画素×２４０画素の画像データを作成する。このとき、偶数フィールドのみをＡＤ変換することで、１／３０sec ごとに１枚の画像データを作成する。そして、以降の画像解析には、現在画像、ΔＴ前画像、２ΔＴ前画像（ここではΔＴ＝１００ｍｓとする）の３つの画像データを使用する。
【００１９】
そして、作成した画像データに対して、特徴抽出演算、二値化処理等の画像前処理を行い、車両の特徴を抽出した特徴抽出画像を作成する（ステップＳ３）。特徴抽出演算においては、背景差分方式、微分背景差分方式、フレーム差分方式、微分フレーム差分方式の４つの特徴抽出方式を用いてそれぞれ特徴抽出を行った差分画像を作成し、これらを重み付け後に合成して特徴抽出画像を算出する。なおここでは、後処理の処理速度を速めるために、特徴抽出等の処理を行って特徴抽出画像を作成した後、この３２０画素×２４０画素の画像データを８０画素×６０画素に圧縮して特徴抽出圧縮画像を作成するようにする。また、画像解析用に作成した画像データから３２０画素×２４０画素のライト抽出用画像を作成する。
【００２０】
続いて、特徴抽出圧縮画像及びライト抽出用画像を用いて画像解析を行い、車両等を抽出する（ステップＳ４）。このとき、特徴抽出圧縮画像を用いて車体解析を行い、車尾、車長、車幅を決定する。また、ライト抽出用画像を用いてライト解析を行い、車両のライトを検出して車尾を決定する。これらの車体解析による矩形の車体検出とライト解析による車尾検出の結果から車両位置を決定する。さらに、特徴抽出圧縮画像を用いて落下物解析を行い、落下物の位置、縦横寸法を決定する。
【００２１】
その後、検出した車両の位置データを走行軌跡データに追加または新規作成し、本処理のサイクルごとに検出された車両の位置データを走行軌跡データに追加していくことで、車両追跡を行う（ステップＳ５）。また、検出した個々の車両の移動速度を算出する。
【００２２】
また、前記車両追跡とは異なる方法で撮影画像における車群の速度を算出する（ステップＳ６）。ここでは、画像全体の輝度値の移動量から車両全体を一つの塊の車群として捉え、この車群の移動速度を算出する。この車群速度は渋滞時の渋滞判定等に用いることができる。
【００２３】
次に、事象判定部１５は、前述の車両追跡、車群速度算出、落下物検出等の結果から、「停止」「低速」「渋滞」「落下物」などの事象が発生したかどうかを判定する（ステップＳ７）。
【００２４】
そして、画像処理部１４は、次の処理のサイクルにおける画像処理のために、背景画像データ及び背景微分画像データを最新の背景画像に更新する（ステップＳ８）。また、新たな背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに更新する。その後、ステップＳ２に戻り、ステップＳ２〜Ｓ８の処理サイクルを所定間隔（ここでは１００ｍｓ）ごとに繰り返す。
【００２５】
次に、本実施形態の第１の特徴的要素である画像前処理について詳しく説明する。図３は画像処理部１４において画像前処理を行う機能構成を示すブロック図である。画像処理部１４は、画像前処理を行う機能構成として、カメラ１２で撮影した画像データを入力する画像入力部２１、画像データを格納するメモリ等を有して構成される画像格納部２２、画像データの処理を行うプロセッサ等を有して構成される画像演算部２３を備える。画像格納部２２は、現画像格納部２４、微分画像格納部２５、背景画像格納部２６、差分画像格納部２７、差分二値化画像格納部２８、重み付け画像格納部２９、特徴画像格納部３０を有する。画像演算部２３は、微分画像作成部３１、背景画像作成部３２、画像間減算部３３、画像間論理積演算部３４、画像二値化部３５、二値化画像重み付け部３６、画像間加算部３７を有する。また、画像処理部１４は、背景更新率格納部３８、背景更新率算出部３９、二値化しきい値設定部４０、重み量設定部４１を備える。
【００２６】
現画像格納部２４は、画像入力部２１より入力された現在画像データを格納する。入力される画像データは、２５６階調の濃淡画像とする。微分画像作成部３１は現在画像の微分処理を行い、微分画像格納部２５は作成された微分画像データを格納する。背景画像作成部３２は背景画像と微分背景画像の作成を行い、背景画像格納部２６は、作成された背景画像データと微分背景画像データを格納する。このとき、背景更新率算出部３９において画像中の車両の占有率から背景更新率を算出して設定し、背景更新率格納部３８に背景更新率データを格納しておく。背景画像作成部３２は、この背景更新率に応じた割合で背景画像の更新を行う。
【００２７】
画像間減算部３３は、現在画像と背景画像との減算、微分画像と微分背景画像との減算、現在画像とΔＴ前画像及びΔＴ前画像と２ΔＴ前画像のフレーム間減算、現在微分画像とΔＴ前微分画像及びΔＴ前微分画像と２ΔＴ前微分画像のフレーム間減算をそれぞれ行うことで差分処理を行い、差分画像を作成する。差分画像格納部２７は、作成された背景差分画像、微分背景差分画像、フレーム差分画像、微分フレーム差分画像の各画像データを格納する。画像間論理積演算部３４は、フレーム差分画像及び微分フレーム差分画像について、それぞれ現在画像及びΔＴ前画像の差分画像とΔＴ前画像及び２ΔＴ前画像の差分画像との間で論理積演算を行う。
【００２８】
画像二値化部３５は、二値化しきい値設定部４０で設定されたしきい値に基づいて各差分画像データの二値化処理を行う。差分二値化画像格納部２８は、作成された背景差分二値化画像、微分背景差分二値化画像、フレーム差分二値化画像、微分フレーム差分二値化画像の各画像データを格納する。
【００２９】
二値化画像重み付け部３６は、重み量設定部４１で撮影環境等に応じて設定された各差分二値化画像の重み量に基づき、作成された背景差分二値化画像、微分背景差分二値化画像、フレーム差分二値化画像、微分フレーム差分二値化画像についてそれぞれ重み付けを行う。重み付け画像格納部２９は、重み付けされた各差分二値化画像データを格納する。画像間加算部３７は、重み付けされた背景差分二値化画像、微分背景差分二値化画像、フレーム差分二値化画像、微分フレーム差分二値化画像を加算することで、複数の方法でそれぞれ作成された差分二値化画像を重み付け後に合成する。特徴画像格納部３０は、加算合成された画像データを特徴抽出画像の画像データとして格納する。このようにして、画像処理部１４において特徴抽出画像データを生成する。この特徴抽出画像データを用いて、車体認識等の画像解析処理を行い、車両検出結果から車両追跡処理、車群速度算出処理、事象検出処理等を行う。
【００３０】
図４は本実施形態の画像前処理に関する全体の処理手順を示すフローチャートである。 まず撮影画像から作成した３２０画素×２４０画素の画像データを入力し、車両の特徴抽出のために特徴抽出画像を作成する（ステップＳ１２）。この特徴抽出画像の作成については後述する。そして、３２０画素×２４０画素の特徴抽出画像データについて、４画素×４画素ごとに加算して二値化処理を行うことで画素数を減少させ、８０画素×６０画素の特徴抽出圧縮画像を作成する（ステップＳ１３）。この特徴抽出圧縮画像は、後処理の画像解析処理の中の車体解析処理及び落下物解析処理に用いられる。また、３２０画素×２４０画素の入力画像データからライト抽出用画像を作成する（ステップＳ１４）。ライト抽出用画像は、画像データの＋成分のみの背景差分処理を行って生成する。このライト抽出用画像は、後処理の画像解析処理の中のライト解析処理に用いられる。
【００３１】
図５は本実施形態の画像前処理における特徴抽出画像作成の処理手順を示すフローチャートである。本実施形態では、４つの方法による特徴抽出処理を並行して行う。すなわち、微分背景差分方式による特徴抽出処理（ステップＳ２１）、背景差分方式による特徴抽出処理（ステップＳ２２）、フレーム差分方式による特徴抽出処理（ステップＳ２３）、微分フレーム差分方式による特徴抽出処理（ステップＳ２４）をそれぞれ行う。そして、それぞれの特徴抽出結果について、予め設定したしきい値で二値化処理を行い（ステップＳ２５〜Ｓ２８）、それぞれの差分二値化画像について撮影環境等に応じて設定された重み量で重み付けを行う（ステップＳ２９〜Ｓ３２）。続いて、重み付け後の４種類の差分二値化画像データを加算して１つの画像データとし、特徴抽出画像を作成する（ステップＳ３３）。
【００３２】
このとき、フレーム差分方式及び微分フレーム差分方式では、現在画像、ΔＴ前画像、２ΔＴ前画像の３つの画像データを使用し、ΔＴ前時点での特徴抽出を行うことになるため、背景差分方式及び微分背景差分方式においても、フレーム差分方式に合わせてΔＴ前時点での特徴抽出を行うようにする。
【００３３】
上記のように、本実施形態では、撮影環境等によってそれぞれ一長一短ある４つの特徴抽出方法を採用し、撮影環境等に応じて適切な重み付けを行ってから足し合わせて合成することで、より安定した正確な特徴抽出を可能としている。
【００３４】
以下にそれぞれの特徴抽出方法について説明する。
【００３５】
（１）微分背景差分方式
微分背景差分方式では、まず、画像データを微分し、画像中の輝度が急激に変化する場所を強調する。そして、画像データから背景データを消去し、背景には存在しないものの輪郭を抽出する。微分背景差分方式による画像データをＳ1(ｔ)とすると、
Ｓ1(ｔ)＝｜Ｃ´(ｔ−ΔＴ)−Ｂ0´(ｔ−２ΔＴ)｜ …（１）
となる。ここで、ΔＴはこの画像前処理の周期（例えば１００ｍｓ）、Ｃ´(ｔ−ΔＴ)は時刻ｔ−ΔＴ（ΔＴ前）の微分画像、Ｂ0´(ｔ−２ΔＴ)は時刻ｔ−２ΔＴ（２ΔＴ前）の背景微分画像である。
【００３６】
図６は微分背景差分方式による画像特徴抽出を説明する図であり、図６（Ａ）は各処理ステップを示し、図６（Ｂ）は各処理ステップにおける画像を模式的に示したものである。図６（Ａ）、（Ｂ）に示すように、まず、ΔＴ前画像と２ΔＴ前の背景画像とをそれぞれ微分し、ΔＴ前の微分画像と２ΔＴ前の背景微分画像とを得る。次に、ΔＴ前の微分画像と２ΔＴ前の背景微分画像とを減算して差分を求め、その絶対値をとることにより、ΔＴ前画像の特徴が抽出された微分背景差分画像を生成する。
【００３７】
（２）微分フレーム差分方式
微分フレーム差分方式では、まず、画像データを微分し、画像中の輝度が急激に変化する場所を強調する。そして、時間差画像データ、すなわち２つのフレーム間の微分画像データにおいて両者に共通して存在するものを消去する。ここで、動いているものは両者に共通しないため消去されずに残り、結果として、両者に存在する移動体の輪郭が抽出されることになる。さらに、上記時間差画像データを時系列に２つ求め、両者の論理積をとることで、共通する移動体の輪郭のみを残して抽出する。微分フレーム差分方式による画像データをＳ2(ｔ)とすると、
Ｓ2(ｔ)＝｜Ｃ´(ｔ)−Ｃ´(ｔ−ΔＴ)｜＆｜Ｃ´(ｔ−ΔＴ)−Ｃ´(ｔ−２ΔＴ)｜ …（２）
となる。ここで、ΔＴはこの画像前処理の周期（例えば１００ｍｓ）、Ｃ´(ｔ)は時刻ｔ（現在）の微分画像、Ｃ´(ｔ−ΔＴ)は時刻ｔ−ΔＴ（ΔＴ前）の微分画像、Ｃ´(ｔ−２ΔＴ)は時刻ｔ−２ΔＴ（２ΔＴ前）の微分画像である。
【００３８】
図７は微分フレーム差分方式による画像特徴抽出を説明する図であり、図７（Ａ）は各処理ステップを示し、図７（Ｂ）は各処理ステップにおける画像を模式的に示したものである。図７（Ａ）、（Ｂ）に示すように、現在画像、ΔＴ前画像、２ΔＴ前画像をそれぞれ微分し、現在、ΔＴ前、２ΔＴ前の各微分画像を得る。次に、現在の微分画像とΔＴ前の微分画像、及びΔＴ前の微分画像と２ΔＴ前の微分画像とをそれぞれ減算して差分を求め、その絶対値をとることにより、現在画像とΔＴ前画像の微分フレーム差分画像、ΔＴ前画像と２ΔＴ前画像の微分フレーム差分画像を求める。さらに、これら２つの微分フレーム差分画像の論理積を求めることにより、ΔＴ前画像の特徴が抽出された微分フレーム差分画像を生成する。
【００３９】
（３）背景差分方式
背景差分方式では、画像データから背景データを消去し、背景には存在しないものを抽出する。背景差分方式による画像データをＳ3(ｔ)とすると、
Ｓ3(ｔ)＝｜Ｃ(ｔ−ΔＴ)−Ｂ0(ｔ−２ΔＴ)｜ …（３）
となる。ここで、ΔＴはこの画像前処理の周期（例えば１００ｍｓ）、Ｃ(ｔ−ΔＴ)は時刻ｔ−ΔＴの画像（ΔＴ前画像）、Ｂ0(ｔ−２ΔＴ)は時刻ｔ−２ΔＴの背景画像（２ΔＴ前背景画像）である。
【００４０】
図８は背景差分方式による画像特徴抽出を説明する図であり、図８（Ａ）は各処理ステップを示し、図８（Ｂ）は各処理ステップにおける画像を模式的に示したものである。図８（Ａ）、（Ｂ）に示すように、ΔＴ前画像と２ΔＴ前の背景画像とを減算して差分を求め、その絶対値をとることにより、ΔＴ前画像の特徴が抽出された背景差分画像を生成する。
【００４１】
（４）フレーム差分方式
フレーム差分方式では、まず、時間差画像データ、すなわち２つのフレーム間の画像データにおいて両者に共通して存在するものを消去する。ここで、動いているものは両者に共通しないため消去されずに残り、結果として、両者に存在する移動体が抽出されることになる。そして、上記時間差画像データを時系列に２つ求め、両者の論理積をとることで、共通する移動体のみを残して抽出する。フレーム差分方式による画像データをＳ4(ｔ)とすると、
Ｓ4(ｔ)＝｜Ｃ(ｔ)−Ｃ(ｔ−ΔＴ)｜＆｜Ｃ(ｔ−ΔＴ)−Ｃ(ｔ−２ΔＴ)｜ …（４）
となる。ここで、ΔＴはこの画像前処理の周期（例えば１００ｍｓ）、Ｃ(ｔ)は時刻ｔの画像（現在画像）、Ｃ(ｔ−ΔＴ)は時刻ｔ−ΔＴの画像（ΔＴ前画像）、Ｃ(ｔ−２ΔＴ)は時刻ｔ−２ΔＴの画像（２ΔＴ前画像）である。
【００４２】
図９はフレーム差分方式による画像特徴抽出を説明する図であり、図９（Ａ）は各処理ステップを示し、図９（Ｂ）は各処理ステップにおける画像を模式的に示したものである。図９（Ａ）、（Ｂ）に示すように、現在画像とΔＴ前画像、及びΔＴ前画像と２ΔＴ前画像とをそれぞれ減算して差分を求め、その絶対値をとることにより、現在画像とΔＴ前画像のフレーム差分画像、ΔＴ前画像と２ΔＴ前画像のフレーム差分画像を求める。さらに、これら２つのフレーム差分画像の論理積を求めることにより、ΔＴ前画像の特徴が抽出されたフレーム差分画像を生成する。
【００４３】
さらに、ライト抽出用画像を作成するための＋成分のみの背景差分方式について説明する。この場合、画像データのうち背景よりも明るい画素をそのまま残し、その他の画素はすべて“０：黒”にすることで、明るいライト部分だけを抽出する。この＋成分のみの背景差分方式による画像データをＳ5(ｔ)とすると、
Ｓ5(ｔ)＝Ｃ(ｔ−ΔＴ)−Ｂ0(ｔ−２ΔＴ)
ただし、Ｃ(ｔ−ΔＴ)＜Ｂ0(ｔ−２ΔＴ)の場合は０ …（５）
となる。ここで、ΔＴはこの画像前処理の周期（例えば１００ｍｓ）、Ｃ(ｔ−ΔＴ)は時刻ｔ−ΔＴの画像（ΔＴ前画像）、Ｂ0(ｔ−２ΔＴ)は時刻ｔ−２ΔＴの背景画像（２ΔＴ前背景画像）である。
【００４４】
図１０はライト抽出用画像生成のための背景差分方式による画像特徴抽出を説明する図であり、図１０（Ａ）は各処理ステップを示し、図１０（Ｂ）は各処理ステップにおける画像を模式的に示したものである。図１０（Ａ）、（Ｂ）に示すように、ΔＴ前画像と２ΔＴ前の背景画像とを減算して差分を求め、ΔＴ前画像の輝度値が２ΔＴ前の背景画像よりも小さい画素は値０にする。ここで、２ΔＴ前の背景画像に対して、ΔＴ前画像の方が暗い画素は“０：黒”とし、ΔＴ前画像と２ΔＴ前の背景画像の輝度値が同じ画素はそのままの値（すなわち“０：黒”）とし、ΔＴ前画像の方が明るい画素はそのままの値とする。これにより、ΔＴ前画像における明るい部分のみの特徴が抽出されたライト抽出用の背景差分画像を生成する。
【００４５】
上記のように４つの特徴抽出方法によって作成された微分背景差分画像、微分フレーム差分画像、背景差分画像、フレーム差分画像のそれぞれについて、二値化処理を行って白黒の二値化画像とする。カメラで撮影される画像の明るさは、トンネル内や屋外の明るい場所など、撮影場所で異なり、また、昼と夜でも異なる。トンネル内においても、昼と夜で照明の明るさが異なる。このため、二値化しきい値設定部４０において、カメラの設置場所、撮影時間等の撮影環境に応じて、画像の明るさに合わせて適宜二値化時のしきい値を設定する。なお、それぞれの特徴抽出方法により作成された画像ごとに、しきい値が異なるようにするなどして、個別に適切なしきい値を設定してもよい。
【００４６】
その後、微分背景差分画像、微分フレーム差分画像、背景差分画像、フレーム差分画像のそれぞれの二値化画像について、重み付け処理を行うことで、より安定して車両の特徴抽出を行えるようにする。このとき、重み量設定部４１において、撮影場所や時間など、撮影環境に合わせて重み量を変えるようにし、重み量を適宜設定する。例えば、対面通行の箇所や車両の前方から撮影する場合など、ヘッドライトやその路面反射の影響が大きい場合は、背景差分画像及びフレーム差分画像の重みを小さくし、微分背景差分画像及び微分フレーム差分画像の重みを大きくする。また、屋外の明るい場所など、影の影響が大きい場合は、背景差分画像の重み量を小さくし、微分背景差分画像及び微分フレーム差分画像の重みを大きくする。また、撮影場所などで重み量を変えるだけでなく、撮影画像内の所定領域において、例えば対向車線部分は背景差分画像及びフレーム差分画像の重み量を小さくするなど、領域ごとに重み量を設定することも可能である。
【００４７】
次に、本実施形態の第２の特徴的要素である背景更新処理について説明する。背景更新処理では、図２に示した画像処理のサイクルごとに、今回のサイクルで使用した背景画像に現在画像を重ねて合成し、最新の背景画像を作成する。本実施形態では、背景画像に対し現在画像をどの程度の割合で足し込むかを示す更新程度のことを更新率βとし、背景更新率算出部３９において更新率βを算出して設定する際、撮影画像の道路領域内に存在する車体領域の割合によって更新率βを変化させる。
【００４８】
背景更新処理による新たな背景画像の画像データをＢ0(ｔ)とすると、
Ｂ0(ｔ)＝β・Ｃ(ｔ)＋（１−β）・Ｂ0(ｔ−ΔＴ)
となる。ここで、ΔＴはこの背景更新処理の周期（例えば１００ｍｓ）、βは更新率で０≦β≦１、Ｃ(ｔ)は時刻ｔの画像（現在画像）、Ｂ0(ｔ−ΔＴ)は時刻ｔ−ΔＴの背景画像（ΔＴ前背景画像）である。
【００４９】
例えば、道路領域における車体の割合が１０％以下の場合は通常更新とし、更新率βを大きく設定して速い更新速度で背景画像が更新されるようにする。また、車体の割合が２０％以下の場合は低速更新とし、更新率βを通常更新よりも小さく設定して遅い更新速度で背景画像が更新されるようにする。また、車体の割合が３０％以下の場合は超低速更新とし、更新率βを低速更新よりも小さく設定してさらに遅い更新速度で背景画像が更新されるようにする。なお、車体領域の割合だけでなく、検出された車両台数に応じて背景画像の更新率を変更し、車両台数が所定値以上の場合に低速更新や超低速更新としてもよい。また、低速、渋滞、落下物検出などの事象が発生して検出された場合に、低速更新や超低速更新としてもよい。
【００５０】
上述したように、本実施形態によれば、道路上の撮影画像から車両の特徴を抽出する際に、画像前処理において、複数の特徴抽出方法を用い、これらの特徴抽出方法によって作成されたそれぞれの画像に対して重み付けを行い、加算して合成することによって、より安定して十分に車両の特徴抽出を行うことが可能となる。例えば、道路の照明やヘッドライト等によって道路面の明るさが大きく変化するなど、周囲環境の変化にも対応でき、撮影環境に関わらず安定して正しく車両を検出することができる特徴抽出画像を生成可能である。また、それぞれの特徴抽出方法の長所、短所を考慮し、撮影場所の違いや画像の明るさなどの撮影環境に応じて重み付けの重み量を設定することで、より精度の高い車両抽出が可能な特徴抽出画像を生成できる。
【００５１】
また、背景更新処理において、道路上の撮影画像中に検出された車体領域の割合や車両台数に応じて更新率を設定することで、車両の多少に応じて適切な背景画像の更新が可能となる。これによって、例えば、道路の照明やヘッドライト等によって道路面の明るさが急に変化するなど、周囲環境が変化した場合であっても、安定して背景差分処理や微分背景差分処理が可能となる。
【産業上の利用可能性】
【００５２】
本発明は、撮影環境に関わらず、道路上の撮影画像から安定して車両抽出を行うことが可能となる効果を有し、道路上の車両を撮影した画像を処理する画像処理装置等に有用である。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態に係る道路監視システムの構成を示す図
【図２】本実施形態の画像処理部及び事象判定部における全体の処理手順を示すフローチャート
【図３】本実施形態に係る画像処理部において画像前処理を行う機能構成を示すブロック図
【図４】本実施形態の画像前処理における全体の処理手順を示すフローチャート
【図５】本実施形態の画像前処理における特徴抽出画像作成の処理手順を示すフローチャート
【図６】本実施形態における微分背景差分方式による画像特徴抽出を説明する図
【図７】本実施形態における微分フレーム差分方式による画像特徴抽出を説明する図
【図８】本実施形態における背景差分方式による画像特徴抽出を説明する図
【図９】本実施形態におけるフレーム差分方式による画像特徴抽出を説明する図
【図１０】本実施形態におけるライト抽出用画像生成のための背景差分方式による画像特徴抽出を説明する図
【符号の説明】
【００５４】
１１ 道路
１２ カメラ
１３ 車両
１４ 画像処理部
１５ 事象判定部
２１ 画像入力部
２２ 画像格納部
２３ 画像演算部
２４ 現画像格納部
２５ 微分画像格納部
２６ 背景画像格納部
２７ 差分画像格納部
２８ 差分二値化画像格納部
２９ 重み付け画像格納部
３０ 特徴画像格納部
３１ 微分画像作成部
３２ 背景画像作成部
３３ 画像間減算部
３４ 画像間論理積演算部
３５ 画像二値化部
３６ 二値化画像重み付け部
３７ 画像間加算部
３８ 背景更新率格納部
３９ 背景更新率算出部
４０ 二値化しきい値設定部
４１ 重み量設定部
【技術分野】
【０００１】
本発明は、道路上の車両を撮影した画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
従来より、高速道路上や一般道路上を走行する車両の映像を監視カメラにより撮影し、車両の映像を管制室の映像表示器に表示し、監視者が目で確認することにより、道路交通状態を監視するシステムが広く採用されている。また、監視カメラの映像を分析して突発事象を自動的に検出し、突発事象の発生を表示すると共に、入力映像を突発事象発生地点の現場映像に切り替えて表示するようにした突発事象検出装置が提案されている（特許文献１参照）。
【０００３】
また、道路上の車両を撮影した画像から車両を検出する技術が種々提案されており、例えば特許文献２には、車両のヘッドライトを抽出して判断することにより、夜間における車種を高い精度で判別することが可能な車種判別装置及び方法が開示されている。
【０００４】
道路上の撮影画像から車体部分を抽出するための画像処理技術としては、道路等の背景画像と現在の画像との差分をとって車両の特徴を抽出する背景差分法、前フレームの画像と現在のフレームの画像との差分をとって車両の特徴を抽出するフレーム差分法などが考えられる。しかしながら、このような背景差分法やフレーム差分法を用いた車両抽出方法では、道路の照明やヘッドライト等によって周囲環境（特に背景の明るさ）が大きく変化すると、差分画像から車両抽出のもととなる特徴抽出ができない場合があり、安定して車両抽出が行えないことがあった。また、背景差分法においては、背景が急激に変化すると差分画像に背景部分も現れてしまい、十分に車両の特徴抽出が行えないことがあった。
【０００５】
【特許文献１】特開平５−２５０５９５号公報
【特許文献２】特開平１１−３５３５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑みてなされたもので、撮影環境に関わらず、道路上の撮影画像から安定して車両抽出を行うことが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、道路上の車両を撮影した撮影画像を入力する画像入力手段と、前記撮影画像に基づいて背景画像を作成する背景画像作成手段と、前記撮影画像と前記背景画像の微分画像を作成する微分画像作成手段と、前記撮影画像の現在画像と前記背景画像との差分による背景差分画像、前記撮影画像の微分画像と前記背景画像の微分画像との差分による微分背景差分画像、前記撮影画像のフレーム間差分によるフレーム差分画像、前記撮影画像の微分画像のフレーム間差分による微分フレーム差分画像のうちの少なくとも２つを含む複数の差分画像を作成する差分画像作成手段と、前記複数の差分画像のそれぞれの重み付けを行う重み付け手段と、前記重み付け後の複数の差分画像を合成する画像合成手段とを備え、前記撮影画像より車両の特徴を抽出した特徴抽出画像を作成するものである。
これにより、複数の方式により作成された差分画像を重み付けして合成することで、安定した特徴抽出が可能となるため、撮影環境に関わらず、道路上の撮影画像から安定して車両抽出を行うことが可能となる。
【０００８】
また、本発明の一態様として、上記の画像処理装置であって、前記重み付け手段は、前記撮影画像の撮影環境に応じて各差分画像の重み付けの重み量を設定するものも含まれる。
これにより、撮影環境に応じて重み量を設定することで、例えば撮影場所、撮影時間などのそれぞれの撮影環境に合わせてより安定した十分な特徴抽出が可能となる。また、例えば撮影画像の明るさの変化など、周囲環境の変化にも対応可能である。
【０００９】
また、本発明の一態様として、上記の画像処理装置であって、前記重み付け手段は、前記撮影画像においてライトまたは影の影響が大きい場合に、前記背景差分画像及びフレーム差分画像の重み量を小さくするものも含まれる。
これにより、ライトまたは影の影響など、道路上において変化要素が大きくある場合に、背景差分画像及びフレーム差分画像の重み量を小さくすることで、差分処理による車両以外の特徴抽出を低減でき、安定した車両の特徴抽出が可能となる。
【００１０】
また、本発明の一態様として、上記の画像処理装置であって、前記背景画像を所定期間ごとに更新する背景画像更新手段と、前記背景画像に現在画像を加算する割合を示す更新率を、前記撮影画像における車体領域の割合または車両台数に応じて設定する更新率設定手段とを備えるものも含まれる。
これにより、撮影画像の状態に応じて背景画像を適切に更新でき、現在画像と背景画像との間で安定してより明確に車両の特徴が抽出された背景差分画像を作成可能となる。
【００１１】
また、本発明の一態様として、上記の画像処理装置であって、前記更新率設定手段は、前記撮影画像における車体領域の割合または車両台数が多い場合に、前記更新率を小さくするものも含まれる。
これにより、撮影画像において車両が多く含まれる場合に更新率を小さくすることによって、背景画像の更新速度を遅くでき、より安定して背景差分画像または微分背景差分画像による車両の特徴抽出を行うことが可能となる。
【００１２】
また、本発明の道路監視装置は、上記いずれかに記載の画像処理装置と、前記画像処理装置により作成される特徴抽出画像を基に車両認識を行う車両認識部と、前記車両認識結果を基に、車両の速度、停止車両の有無、渋滞の有無、落下物の有無の少なくともいずれかを含む道路上の事象を判定する事象判定部と、を備えるものである。
これにより、車両認識の精度を向上でき、この車両認識結果を基に道路上の事象判定をより正確に行うことが可能となる。
【発明の効果】
【００１３】
本発明によれば、撮影環境に関わらず、道路上の撮影画像から安定して車両抽出を行うことが可能な画像処理装置を提供できる。
【発明を実施するための最良の形態】
【００１４】
本実施形態では、トンネル内などにカメラを設置して走行する車両を後方から撮影し、撮影画像から車両の特徴抽出、車両認識等を行い、走行速度検出や異常事象検出等を可能とした道路監視システムにおける構成例を示す。
【００１５】
図１は本発明の実施形態に係る道路監視システムの構成を示す図である。道路監視システムは、撮影部として、道路１１におけるトンネル内などの道路脇の所定位置ごとに設けられた複数のカメラ１２を備えている。このカメラ１２は、道路１１上を走行する車両１３を後方から撮影し、撮影画像信号を出力するようになっている。また、道路監視システムは、画像処理部１４と、事象判定部１５とを備えている。画像処理部１４は、カメラ１２で撮影された撮影画像に基づき、車両の検出、車両速度の算出、落下物の検出などを行う。事象判定部１５は、画像処理部１４の出力に基づき、渋滞検出や突発事象の検出など、対象道路上の事象判定を行う。
【００１６】
本実施形態では、車両を後方から撮影することで、車両のヘッドライトによるハレーション、スミア等を防止している。この後方からの撮影画像を基に車両を抽出し、車幅、車長、車尾位置を検出する。
【００１７】
図２は本実施形態の画像処理部１４及び事象判定部１５における全体の処理手順を示すフローチャートである。画像処理部１４は、まず初期データとして、背景画像データ及び背景微分画像データを作成する（ステップＳ１）。ここで、電源投入後またはリセット後に、例えば０．１秒ごとにカメラ１２から取り込んだ撮影画像データの３００回分（３０秒分の画像）を平均し、背景画像とする。また、背景画像データの微分処理を行って背景微分画像を作成する。さらに、夜と昼とで道路上の照明の明るさ等が異なるため、背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに設定する。
【００１８】
次に、カメラ１２から取り込んだ撮影画像データから画像解析に使用する画像データを作成する（ステップＳ２）。ここでは、カメラ１２から入力されるＮＴＳＣ信号による映像信号を、垂直方向２４０ライン、水平方向３２０画素、輝度を２５６階調とし、フレームごとにＡＤ変換（アナログ−デジタル変換）して３２０画素×２４０画素の画像データを作成する。このとき、偶数フィールドのみをＡＤ変換することで、１／３０sec ごとに１枚の画像データを作成する。そして、以降の画像解析には、現在画像、ΔＴ前画像、２ΔＴ前画像（ここではΔＴ＝１００ｍｓとする）の３つの画像データを使用する。
【００１９】
そして、作成した画像データに対して、特徴抽出演算、二値化処理等の画像前処理を行い、車両の特徴を抽出した特徴抽出画像を作成する（ステップＳ３）。特徴抽出演算においては、背景差分方式、微分背景差分方式、フレーム差分方式、微分フレーム差分方式の４つの特徴抽出方式を用いてそれぞれ特徴抽出を行った差分画像を作成し、これらを重み付け後に合成して特徴抽出画像を算出する。なおここでは、後処理の処理速度を速めるために、特徴抽出等の処理を行って特徴抽出画像を作成した後、この３２０画素×２４０画素の画像データを８０画素×６０画素に圧縮して特徴抽出圧縮画像を作成するようにする。また、画像解析用に作成した画像データから３２０画素×２４０画素のライト抽出用画像を作成する。
【００２０】
続いて、特徴抽出圧縮画像及びライト抽出用画像を用いて画像解析を行い、車両等を抽出する（ステップＳ４）。このとき、特徴抽出圧縮画像を用いて車体解析を行い、車尾、車長、車幅を決定する。また、ライト抽出用画像を用いてライト解析を行い、車両のライトを検出して車尾を決定する。これらの車体解析による矩形の車体検出とライト解析による車尾検出の結果から車両位置を決定する。さらに、特徴抽出圧縮画像を用いて落下物解析を行い、落下物の位置、縦横寸法を決定する。
【００２１】
その後、検出した車両の位置データを走行軌跡データに追加または新規作成し、本処理のサイクルごとに検出された車両の位置データを走行軌跡データに追加していくことで、車両追跡を行う（ステップＳ５）。また、検出した個々の車両の移動速度を算出する。
【００２２】
また、前記車両追跡とは異なる方法で撮影画像における車群の速度を算出する（ステップＳ６）。ここでは、画像全体の輝度値の移動量から車両全体を一つの塊の車群として捉え、この車群の移動速度を算出する。この車群速度は渋滞時の渋滞判定等に用いることができる。
【００２３】
次に、事象判定部１５は、前述の車両追跡、車群速度算出、落下物検出等の結果から、「停止」「低速」「渋滞」「落下物」などの事象が発生したかどうかを判定する（ステップＳ７）。
【００２４】
そして、画像処理部１４は、次の処理のサイクルにおける画像処理のために、背景画像データ及び背景微分画像データを最新の背景画像に更新する（ステップＳ８）。また、新たな背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに更新する。その後、ステップＳ２に戻り、ステップＳ２〜Ｓ８の処理サイクルを所定間隔（ここでは１００ｍｓ）ごとに繰り返す。
【００２５】
次に、本実施形態の第１の特徴的要素である画像前処理について詳しく説明する。図３は画像処理部１４において画像前処理を行う機能構成を示すブロック図である。画像処理部１４は、画像前処理を行う機能構成として、カメラ１２で撮影した画像データを入力する画像入力部２１、画像データを格納するメモリ等を有して構成される画像格納部２２、画像データの処理を行うプロセッサ等を有して構成される画像演算部２３を備える。画像格納部２２は、現画像格納部２４、微分画像格納部２５、背景画像格納部２６、差分画像格納部２７、差分二値化画像格納部２８、重み付け画像格納部２９、特徴画像格納部３０を有する。画像演算部２３は、微分画像作成部３１、背景画像作成部３２、画像間減算部３３、画像間論理積演算部３４、画像二値化部３５、二値化画像重み付け部３６、画像間加算部３７を有する。また、画像処理部１４は、背景更新率格納部３８、背景更新率算出部３９、二値化しきい値設定部４０、重み量設定部４１を備える。
【００２６】
現画像格納部２４は、画像入力部２１より入力された現在画像データを格納する。入力される画像データは、２５６階調の濃淡画像とする。微分画像作成部３１は現在画像の微分処理を行い、微分画像格納部２５は作成された微分画像データを格納する。背景画像作成部３２は背景画像と微分背景画像の作成を行い、背景画像格納部２６は、作成された背景画像データと微分背景画像データを格納する。このとき、背景更新率算出部３９において画像中の車両の占有率から背景更新率を算出して設定し、背景更新率格納部３８に背景更新率データを格納しておく。背景画像作成部３２は、この背景更新率に応じた割合で背景画像の更新を行う。
【００２７】
画像間減算部３３は、現在画像と背景画像との減算、微分画像と微分背景画像との減算、現在画像とΔＴ前画像及びΔＴ前画像と２ΔＴ前画像のフレーム間減算、現在微分画像とΔＴ前微分画像及びΔＴ前微分画像と２ΔＴ前微分画像のフレーム間減算をそれぞれ行うことで差分処理を行い、差分画像を作成する。差分画像格納部２７は、作成された背景差分画像、微分背景差分画像、フレーム差分画像、微分フレーム差分画像の各画像データを格納する。画像間論理積演算部３４は、フレーム差分画像及び微分フレーム差分画像について、それぞれ現在画像及びΔＴ前画像の差分画像とΔＴ前画像及び２ΔＴ前画像の差分画像との間で論理積演算を行う。
【００２８】
画像二値化部３５は、二値化しきい値設定部４０で設定されたしきい値に基づいて各差分画像データの二値化処理を行う。差分二値化画像格納部２８は、作成された背景差分二値化画像、微分背景差分二値化画像、フレーム差分二値化画像、微分フレーム差分二値化画像の各画像データを格納する。
【００２９】
二値化画像重み付け部３６は、重み量設定部４１で撮影環境等に応じて設定された各差分二値化画像の重み量に基づき、作成された背景差分二値化画像、微分背景差分二値化画像、フレーム差分二値化画像、微分フレーム差分二値化画像についてそれぞれ重み付けを行う。重み付け画像格納部２９は、重み付けされた各差分二値化画像データを格納する。画像間加算部３７は、重み付けされた背景差分二値化画像、微分背景差分二値化画像、フレーム差分二値化画像、微分フレーム差分二値化画像を加算することで、複数の方法でそれぞれ作成された差分二値化画像を重み付け後に合成する。特徴画像格納部３０は、加算合成された画像データを特徴抽出画像の画像データとして格納する。このようにして、画像処理部１４において特徴抽出画像データを生成する。この特徴抽出画像データを用いて、車体認識等の画像解析処理を行い、車両検出結果から車両追跡処理、車群速度算出処理、事象検出処理等を行う。
【００３０】
図４は本実施形態の画像前処理に関する全体の処理手順を示すフローチャートである。 まず撮影画像から作成した３２０画素×２４０画素の画像データを入力し、車両の特徴抽出のために特徴抽出画像を作成する（ステップＳ１２）。この特徴抽出画像の作成については後述する。そして、３２０画素×２４０画素の特徴抽出画像データについて、４画素×４画素ごとに加算して二値化処理を行うことで画素数を減少させ、８０画素×６０画素の特徴抽出圧縮画像を作成する（ステップＳ１３）。この特徴抽出圧縮画像は、後処理の画像解析処理の中の車体解析処理及び落下物解析処理に用いられる。また、３２０画素×２４０画素の入力画像データからライト抽出用画像を作成する（ステップＳ１４）。ライト抽出用画像は、画像データの＋成分のみの背景差分処理を行って生成する。このライト抽出用画像は、後処理の画像解析処理の中のライト解析処理に用いられる。
【００３１】
図５は本実施形態の画像前処理における特徴抽出画像作成の処理手順を示すフローチャートである。本実施形態では、４つの方法による特徴抽出処理を並行して行う。すなわち、微分背景差分方式による特徴抽出処理（ステップＳ２１）、背景差分方式による特徴抽出処理（ステップＳ２２）、フレーム差分方式による特徴抽出処理（ステップＳ２３）、微分フレーム差分方式による特徴抽出処理（ステップＳ２４）をそれぞれ行う。そして、それぞれの特徴抽出結果について、予め設定したしきい値で二値化処理を行い（ステップＳ２５〜Ｓ２８）、それぞれの差分二値化画像について撮影環境等に応じて設定された重み量で重み付けを行う（ステップＳ２９〜Ｓ３２）。続いて、重み付け後の４種類の差分二値化画像データを加算して１つの画像データとし、特徴抽出画像を作成する（ステップＳ３３）。
【００３２】
このとき、フレーム差分方式及び微分フレーム差分方式では、現在画像、ΔＴ前画像、２ΔＴ前画像の３つの画像データを使用し、ΔＴ前時点での特徴抽出を行うことになるため、背景差分方式及び微分背景差分方式においても、フレーム差分方式に合わせてΔＴ前時点での特徴抽出を行うようにする。
【００３３】
上記のように、本実施形態では、撮影環境等によってそれぞれ一長一短ある４つの特徴抽出方法を採用し、撮影環境等に応じて適切な重み付けを行ってから足し合わせて合成することで、より安定した正確な特徴抽出を可能としている。
【００３４】
以下にそれぞれの特徴抽出方法について説明する。
【００３５】
（１）微分背景差分方式
微分背景差分方式では、まず、画像データを微分し、画像中の輝度が急激に変化する場所を強調する。そして、画像データから背景データを消去し、背景には存在しないものの輪郭を抽出する。微分背景差分方式による画像データをＳ1(ｔ)とすると、
Ｓ1(ｔ)＝｜Ｃ´(ｔ−ΔＴ)−Ｂ0´(ｔ−２ΔＴ)｜ …（１）
となる。ここで、ΔＴはこの画像前処理の周期（例えば１００ｍｓ）、Ｃ´(ｔ−ΔＴ)は時刻ｔ−ΔＴ（ΔＴ前）の微分画像、Ｂ0´(ｔ−２ΔＴ)は時刻ｔ−２ΔＴ（２ΔＴ前）の背景微分画像である。
【００３６】
図６は微分背景差分方式による画像特徴抽出を説明する図であり、図６（Ａ）は各処理ステップを示し、図６（Ｂ）は各処理ステップにおける画像を模式的に示したものである。図６（Ａ）、（Ｂ）に示すように、まず、ΔＴ前画像と２ΔＴ前の背景画像とをそれぞれ微分し、ΔＴ前の微分画像と２ΔＴ前の背景微分画像とを得る。次に、ΔＴ前の微分画像と２ΔＴ前の背景微分画像とを減算して差分を求め、その絶対値をとることにより、ΔＴ前画像の特徴が抽出された微分背景差分画像を生成する。
【００３７】
（２）微分フレーム差分方式
微分フレーム差分方式では、まず、画像データを微分し、画像中の輝度が急激に変化する場所を強調する。そして、時間差画像データ、すなわち２つのフレーム間の微分画像データにおいて両者に共通して存在するものを消去する。ここで、動いているものは両者に共通しないため消去されずに残り、結果として、両者に存在する移動体の輪郭が抽出されることになる。さらに、上記時間差画像データを時系列に２つ求め、両者の論理積をとることで、共通する移動体の輪郭のみを残して抽出する。微分フレーム差分方式による画像データをＳ2(ｔ)とすると、
Ｓ2(ｔ)＝｜Ｃ´(ｔ)−Ｃ´(ｔ−ΔＴ)｜＆｜Ｃ´(ｔ−ΔＴ)−Ｃ´(ｔ−２ΔＴ)｜ …（２）
となる。ここで、ΔＴはこの画像前処理の周期（例えば１００ｍｓ）、Ｃ´(ｔ)は時刻ｔ（現在）の微分画像、Ｃ´(ｔ−ΔＴ)は時刻ｔ−ΔＴ（ΔＴ前）の微分画像、Ｃ´(ｔ−２ΔＴ)は時刻ｔ−２ΔＴ（２ΔＴ前）の微分画像である。
【００３８】
図７は微分フレーム差分方式による画像特徴抽出を説明する図であり、図７（Ａ）は各処理ステップを示し、図７（Ｂ）は各処理ステップにおける画像を模式的に示したものである。図７（Ａ）、（Ｂ）に示すように、現在画像、ΔＴ前画像、２ΔＴ前画像をそれぞれ微分し、現在、ΔＴ前、２ΔＴ前の各微分画像を得る。次に、現在の微分画像とΔＴ前の微分画像、及びΔＴ前の微分画像と２ΔＴ前の微分画像とをそれぞれ減算して差分を求め、その絶対値をとることにより、現在画像とΔＴ前画像の微分フレーム差分画像、ΔＴ前画像と２ΔＴ前画像の微分フレーム差分画像を求める。さらに、これら２つの微分フレーム差分画像の論理積を求めることにより、ΔＴ前画像の特徴が抽出された微分フレーム差分画像を生成する。
【００３９】
（３）背景差分方式
背景差分方式では、画像データから背景データを消去し、背景には存在しないものを抽出する。背景差分方式による画像データをＳ3(ｔ)とすると、
Ｓ3(ｔ)＝｜Ｃ(ｔ−ΔＴ)−Ｂ0(ｔ−２ΔＴ)｜ …（３）
となる。ここで、ΔＴはこの画像前処理の周期（例えば１００ｍｓ）、Ｃ(ｔ−ΔＴ)は時刻ｔ−ΔＴの画像（ΔＴ前画像）、Ｂ0(ｔ−２ΔＴ)は時刻ｔ−２ΔＴの背景画像（２ΔＴ前背景画像）である。
【００４０】
図８は背景差分方式による画像特徴抽出を説明する図であり、図８（Ａ）は各処理ステップを示し、図８（Ｂ）は各処理ステップにおける画像を模式的に示したものである。図８（Ａ）、（Ｂ）に示すように、ΔＴ前画像と２ΔＴ前の背景画像とを減算して差分を求め、その絶対値をとることにより、ΔＴ前画像の特徴が抽出された背景差分画像を生成する。
【００４１】
（４）フレーム差分方式
フレーム差分方式では、まず、時間差画像データ、すなわち２つのフレーム間の画像データにおいて両者に共通して存在するものを消去する。ここで、動いているものは両者に共通しないため消去されずに残り、結果として、両者に存在する移動体が抽出されることになる。そして、上記時間差画像データを時系列に２つ求め、両者の論理積をとることで、共通する移動体のみを残して抽出する。フレーム差分方式による画像データをＳ4(ｔ)とすると、
Ｓ4(ｔ)＝｜Ｃ(ｔ)−Ｃ(ｔ−ΔＴ)｜＆｜Ｃ(ｔ−ΔＴ)−Ｃ(ｔ−２ΔＴ)｜ …（４）
となる。ここで、ΔＴはこの画像前処理の周期（例えば１００ｍｓ）、Ｃ(ｔ)は時刻ｔの画像（現在画像）、Ｃ(ｔ−ΔＴ)は時刻ｔ−ΔＴの画像（ΔＴ前画像）、Ｃ(ｔ−２ΔＴ)は時刻ｔ−２ΔＴの画像（２ΔＴ前画像）である。
【００４２】
図９はフレーム差分方式による画像特徴抽出を説明する図であり、図９（Ａ）は各処理ステップを示し、図９（Ｂ）は各処理ステップにおける画像を模式的に示したものである。図９（Ａ）、（Ｂ）に示すように、現在画像とΔＴ前画像、及びΔＴ前画像と２ΔＴ前画像とをそれぞれ減算して差分を求め、その絶対値をとることにより、現在画像とΔＴ前画像のフレーム差分画像、ΔＴ前画像と２ΔＴ前画像のフレーム差分画像を求める。さらに、これら２つのフレーム差分画像の論理積を求めることにより、ΔＴ前画像の特徴が抽出されたフレーム差分画像を生成する。
【００４３】
さらに、ライト抽出用画像を作成するための＋成分のみの背景差分方式について説明する。この場合、画像データのうち背景よりも明るい画素をそのまま残し、その他の画素はすべて“０：黒”にすることで、明るいライト部分だけを抽出する。この＋成分のみの背景差分方式による画像データをＳ5(ｔ)とすると、
Ｓ5(ｔ)＝Ｃ(ｔ−ΔＴ)−Ｂ0(ｔ−２ΔＴ)
ただし、Ｃ(ｔ−ΔＴ)＜Ｂ0(ｔ−２ΔＴ)の場合は０ …（５）
となる。ここで、ΔＴはこの画像前処理の周期（例えば１００ｍｓ）、Ｃ(ｔ−ΔＴ)は時刻ｔ−ΔＴの画像（ΔＴ前画像）、Ｂ0(ｔ−２ΔＴ)は時刻ｔ−２ΔＴの背景画像（２ΔＴ前背景画像）である。
【００４４】
図１０はライト抽出用画像生成のための背景差分方式による画像特徴抽出を説明する図であり、図１０（Ａ）は各処理ステップを示し、図１０（Ｂ）は各処理ステップにおける画像を模式的に示したものである。図１０（Ａ）、（Ｂ）に示すように、ΔＴ前画像と２ΔＴ前の背景画像とを減算して差分を求め、ΔＴ前画像の輝度値が２ΔＴ前の背景画像よりも小さい画素は値０にする。ここで、２ΔＴ前の背景画像に対して、ΔＴ前画像の方が暗い画素は“０：黒”とし、ΔＴ前画像と２ΔＴ前の背景画像の輝度値が同じ画素はそのままの値（すなわち“０：黒”）とし、ΔＴ前画像の方が明るい画素はそのままの値とする。これにより、ΔＴ前画像における明るい部分のみの特徴が抽出されたライト抽出用の背景差分画像を生成する。
【００４５】
上記のように４つの特徴抽出方法によって作成された微分背景差分画像、微分フレーム差分画像、背景差分画像、フレーム差分画像のそれぞれについて、二値化処理を行って白黒の二値化画像とする。カメラで撮影される画像の明るさは、トンネル内や屋外の明るい場所など、撮影場所で異なり、また、昼と夜でも異なる。トンネル内においても、昼と夜で照明の明るさが異なる。このため、二値化しきい値設定部４０において、カメラの設置場所、撮影時間等の撮影環境に応じて、画像の明るさに合わせて適宜二値化時のしきい値を設定する。なお、それぞれの特徴抽出方法により作成された画像ごとに、しきい値が異なるようにするなどして、個別に適切なしきい値を設定してもよい。
【００４６】
その後、微分背景差分画像、微分フレーム差分画像、背景差分画像、フレーム差分画像のそれぞれの二値化画像について、重み付け処理を行うことで、より安定して車両の特徴抽出を行えるようにする。このとき、重み量設定部４１において、撮影場所や時間など、撮影環境に合わせて重み量を変えるようにし、重み量を適宜設定する。例えば、対面通行の箇所や車両の前方から撮影する場合など、ヘッドライトやその路面反射の影響が大きい場合は、背景差分画像及びフレーム差分画像の重みを小さくし、微分背景差分画像及び微分フレーム差分画像の重みを大きくする。また、屋外の明るい場所など、影の影響が大きい場合は、背景差分画像の重み量を小さくし、微分背景差分画像及び微分フレーム差分画像の重みを大きくする。また、撮影場所などで重み量を変えるだけでなく、撮影画像内の所定領域において、例えば対向車線部分は背景差分画像及びフレーム差分画像の重み量を小さくするなど、領域ごとに重み量を設定することも可能である。
【００４７】
次に、本実施形態の第２の特徴的要素である背景更新処理について説明する。背景更新処理では、図２に示した画像処理のサイクルごとに、今回のサイクルで使用した背景画像に現在画像を重ねて合成し、最新の背景画像を作成する。本実施形態では、背景画像に対し現在画像をどの程度の割合で足し込むかを示す更新程度のことを更新率βとし、背景更新率算出部３９において更新率βを算出して設定する際、撮影画像の道路領域内に存在する車体領域の割合によって更新率βを変化させる。
【００４８】
背景更新処理による新たな背景画像の画像データをＢ0(ｔ)とすると、
Ｂ0(ｔ)＝β・Ｃ(ｔ)＋（１−β）・Ｂ0(ｔ−ΔＴ)
となる。ここで、ΔＴはこの背景更新処理の周期（例えば１００ｍｓ）、βは更新率で０≦β≦１、Ｃ(ｔ)は時刻ｔの画像（現在画像）、Ｂ0(ｔ−ΔＴ)は時刻ｔ−ΔＴの背景画像（ΔＴ前背景画像）である。
【００４９】
例えば、道路領域における車体の割合が１０％以下の場合は通常更新とし、更新率βを大きく設定して速い更新速度で背景画像が更新されるようにする。また、車体の割合が２０％以下の場合は低速更新とし、更新率βを通常更新よりも小さく設定して遅い更新速度で背景画像が更新されるようにする。また、車体の割合が３０％以下の場合は超低速更新とし、更新率βを低速更新よりも小さく設定してさらに遅い更新速度で背景画像が更新されるようにする。なお、車体領域の割合だけでなく、検出された車両台数に応じて背景画像の更新率を変更し、車両台数が所定値以上の場合に低速更新や超低速更新としてもよい。また、低速、渋滞、落下物検出などの事象が発生して検出された場合に、低速更新や超低速更新としてもよい。
【００５０】
上述したように、本実施形態によれば、道路上の撮影画像から車両の特徴を抽出する際に、画像前処理において、複数の特徴抽出方法を用い、これらの特徴抽出方法によって作成されたそれぞれの画像に対して重み付けを行い、加算して合成することによって、より安定して十分に車両の特徴抽出を行うことが可能となる。例えば、道路の照明やヘッドライト等によって道路面の明るさが大きく変化するなど、周囲環境の変化にも対応でき、撮影環境に関わらず安定して正しく車両を検出することができる特徴抽出画像を生成可能である。また、それぞれの特徴抽出方法の長所、短所を考慮し、撮影場所の違いや画像の明るさなどの撮影環境に応じて重み付けの重み量を設定することで、より精度の高い車両抽出が可能な特徴抽出画像を生成できる。
【００５１】
また、背景更新処理において、道路上の撮影画像中に検出された車体領域の割合や車両台数に応じて更新率を設定することで、車両の多少に応じて適切な背景画像の更新が可能となる。これによって、例えば、道路の照明やヘッドライト等によって道路面の明るさが急に変化するなど、周囲環境が変化した場合であっても、安定して背景差分処理や微分背景差分処理が可能となる。
【産業上の利用可能性】
【００５２】
本発明は、撮影環境に関わらず、道路上の撮影画像から安定して車両抽出を行うことが可能となる効果を有し、道路上の車両を撮影した画像を処理する画像処理装置等に有用である。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態に係る道路監視システムの構成を示す図
【図２】本実施形態の画像処理部及び事象判定部における全体の処理手順を示すフローチャート
【図３】本実施形態に係る画像処理部において画像前処理を行う機能構成を示すブロック図
【図４】本実施形態の画像前処理における全体の処理手順を示すフローチャート
【図５】本実施形態の画像前処理における特徴抽出画像作成の処理手順を示すフローチャート
【図６】本実施形態における微分背景差分方式による画像特徴抽出を説明する図
【図７】本実施形態における微分フレーム差分方式による画像特徴抽出を説明する図
【図８】本実施形態における背景差分方式による画像特徴抽出を説明する図
【図９】本実施形態におけるフレーム差分方式による画像特徴抽出を説明する図
【図１０】本実施形態におけるライト抽出用画像生成のための背景差分方式による画像特徴抽出を説明する図
【符号の説明】
【００５４】
１１ 道路
１２ カメラ
１３ 車両
１４ 画像処理部
１５ 事象判定部
２１ 画像入力部
２２ 画像格納部
２３ 画像演算部
２４ 現画像格納部
２５ 微分画像格納部
２６ 背景画像格納部
２７ 差分画像格納部
２８ 差分二値化画像格納部
２９ 重み付け画像格納部
３０ 特徴画像格納部
３１ 微分画像作成部
３２ 背景画像作成部
３３ 画像間減算部
３４ 画像間論理積演算部
３５ 画像二値化部
３６ 二値化画像重み付け部
３７ 画像間加算部
３８ 背景更新率格納部
３９ 背景更新率算出部
４０ 二値化しきい値設定部
４１ 重み量設定部
【特許請求の範囲】
【請求項１】
道路上の車両を撮影した撮影画像を入力する画像入力手段と、
前記撮影画像に基づいて背景画像を作成する背景画像作成手段と、
前記撮影画像と前記背景画像の微分画像を作成する微分画像作成手段と、
前記撮影画像の現在画像と前記背景画像との差分による背景差分画像、前記撮影画像の微分画像と前記背景画像の微分画像との差分による微分背景差分画像、前記撮影画像のフレーム間差分によるフレーム差分画像、前記撮影画像の微分画像のフレーム間差分による微分フレーム差分画像のうちの少なくとも２つを含む複数の差分画像を作成する差分画像作成手段と、
前記複数の差分画像のそれぞれの重み付けを行う重み付け手段と、
前記重み付け後の複数の差分画像を合成する画像合成手段とを備え、
前記撮影画像より車両の特徴を抽出した特徴抽出画像を作成する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記重み付け手段は、前記撮影画像の撮影環境に応じて各差分画像の重み付けの重み量を設定する画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記重み付け手段は、前記撮影画像においてライトまたは影の影響が大きい場合に、前記背景差分画像及びフレーム差分画像の重み量を小さくする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記背景画像を所定期間ごとに更新する背景画像更新手段と、
前記背景画像に現在画像を加算する割合を示す更新率を、前記撮影画像における車体領域の割合または車両台数に応じて設定する更新率設定手段とを備える画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記更新率設定手段は、前記撮影画像における車体領域の割合または車両台数が多い場合に、前記更新率を小さくする画像処理装置。
【請求項６】
請求項１〜５のいずれかに記載の画像処理装置と、
前記画像処理装置により作成される特徴抽出画像を基に車両認識を行う車両認識部と、
前記車両認識結果を基に、車両の速度、停止車両の有無、渋滞の有無、落下物の有無の少なくともいずれかを含む道路上の事象を判定する事象判定部と、
を備える道路監視装置。
【請求項１】
道路上の車両を撮影した撮影画像を入力する画像入力手段と、
前記撮影画像に基づいて背景画像を作成する背景画像作成手段と、
前記撮影画像と前記背景画像の微分画像を作成する微分画像作成手段と、
前記撮影画像の現在画像と前記背景画像との差分による背景差分画像、前記撮影画像の微分画像と前記背景画像の微分画像との差分による微分背景差分画像、前記撮影画像のフレーム間差分によるフレーム差分画像、前記撮影画像の微分画像のフレーム間差分による微分フレーム差分画像のうちの少なくとも２つを含む複数の差分画像を作成する差分画像作成手段と、
前記複数の差分画像のそれぞれの重み付けを行う重み付け手段と、
前記重み付け後の複数の差分画像を合成する画像合成手段とを備え、
前記撮影画像より車両の特徴を抽出した特徴抽出画像を作成する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記重み付け手段は、前記撮影画像の撮影環境に応じて各差分画像の重み付けの重み量を設定する画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記重み付け手段は、前記撮影画像においてライトまたは影の影響が大きい場合に、前記背景差分画像及びフレーム差分画像の重み量を小さくする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記背景画像を所定期間ごとに更新する背景画像更新手段と、
前記背景画像に現在画像を加算する割合を示す更新率を、前記撮影画像における車体領域の割合または車両台数に応じて設定する更新率設定手段とを備える画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記更新率設定手段は、前記撮影画像における車体領域の割合または車両台数が多い場合に、前記更新率を小さくする画像処理装置。
【請求項６】
請求項１〜５のいずれかに記載の画像処理装置と、
前記画像処理装置により作成される特徴抽出画像を基に車両認識を行う車両認識部と、
前記車両認識結果を基に、車両の速度、停止車両の有無、渋滞の有無、落下物の有無の少なくともいずれかを含む道路上の事象を判定する事象判定部と、
を備える道路監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−５９１８３（Ｐ２００６−５９１８３Ａ）
【公開日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願番号】特願２００４−２４１２８４（Ｐ２００４−２４１２８４）
【出願日】平成１６年８月２０日（２００４．８．２０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願日】平成１６年８月２０日（２００４．８．２０）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]