画像処理装置及び画像処理プログラム
【課題】 対面通行道路において、停止車両検出を適切に行う。
【解決手段】 経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段１１と、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段１２と、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段１３とを具備する。
【解決手段】 経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段１１と、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段１２と、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段１３とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対面通行の道路における停止車両検出を可能とする画像処理装置及びコンピュータに上記処理を行わせるための画像処理プログラムに関するものである。
【背景技術】
【０００２】
道路には、一方通行道路と対面通行道路が存在している。テレビカメラにより得た画像を処理して道路監視を行う場合、一方通行道路にあっては、道路を走行する車両を後方から撮像するようにカメラを配置するため、車両のヘッドライトの影響は少なく、画像処理に障害が生じることは少ない。これに対し、対面通行道路にあってはカメラに向かって走行する車両の車線が存在し、この車線を走行する車両のヘッドライトの影響が撮像した画像に生じ、適切な画像処理を妨げることがある。
【０００３】
具体的には、カメラから遠ざかるように車両が走行する側の車線を第１車線とし、カメラに対して近付くように車両が走行する側の車線を第２車線とするとき、第２車線を走行する車両のヘッドライトが第１車線の路面を照射し、第１車線に停止車両が存在するが如く見えることから、停止車両の誤検出が生じることがある。また、第２車線を複数台の車両が連なって走行すると、ヘッドライトが大きな光の玉となった如くの画像として撮像され、車両が走行しているのか或いは停止車両が存在するのか判定が困難となる。更に、ハザードランプを点滅した停止車両を検出することが困難である。
【０００４】
従来の画像処理では対面通行の道路における車両検出が困難であるとして、カメラにて順次撮像される画像データを濃淡投影処理にて画像処理し、現時点の投影処理データとその前の投影処理データとの差分値の最大値を求めるとともに、車両検出をしていないときの投影差分最大値の移動平均処理を行って背景データを求め、それら投影処理データの差分最大値と背景データに基づいて車両の有無を判定するシステムが特許文献１に示されている。
【特許文献１】特開２００４−１８５５３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述のヘッドライトによる影響を考慮した停止車両検出には及んでおらず、それゆえ本発明は、対面通行道路においてヘッドライトの影響を受けた場合にも、停止車両検出を適切に行うことができる画像処理装置及び画像処理プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段と、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段とを具備することを特徴とする。
【０００７】
本発明に係る画像処理装置は、カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて前記第１の車線における車両領域が正当であるか否かを判定する正当性判定手段を具備し、車両領域の絞り込みを行うことを特徴とする。
【０００８】
本発明に係る画像処理装置は、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出手段と、前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、を具備することを特徴とする。
【０００９】
本発明に係る画像処理装置は、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段と、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出手段と、前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、を具備することを特徴とする。
【００１０】
本発明に係る画像処理プログラムは、プログラムを実行するコンピュータにより次の各ステップを実現させる画像処理プログラムであって、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出ステップとにより構成されることを特徴とする。
【００１１】
本発明に係る画像処理プログラムは、更に、カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて前記第１の車線における車両領域が正当であるか否かを判定する正当性判定ステップを具備し、車両領域の絞り込みを行うことを特徴とする。
【００１２】
本発明に係る画像処理プログラムは、更に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出ステップと、前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、を具備することを特徴とする。
【００１３】
本発明に係る画像処理プログラムは、プログラムを実行するコンピュータにより次の各ステップを実現させる画像処理プログラムであって、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出ステップと、前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、を具備することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成し、時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行うので、車両領域検出を適切に行うことができ、また、対面通行の車線毎及び上記車両領域毎に上記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行うことで、ヘッドライトによる影響に関わらず停止車両検出を適切に実行可能となる効果がある。
【００１５】
また、カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて上記第１の車線における車両領域が正当であるか否かを判定するので、ヘッドライトによる影響に関わらず停止車両検出を適切に実行可能となる効果がある。
【００１６】
更に、対面通行の車線毎及び車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出し、上記ハザード点滅検出によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するので、ヘッドライトによる影響に関わらずハザードランプ点滅を検出可能となり、停止車両検出を適切に実行できる効果がある。
【発明を実施するための最良の形態】
【００１７】
対面通行道路においてヘッドライトの影響があるにも拘らず、停止車両検出を適切に行うという目的を、輝度情報の平均を算出することによる時間平均画像の作成、時間平均画像の高輝度領域を抽出、抽出した高輝度領域と背景画像における対応領域の類似度判定で車両領域検出を行い、また、対面通行の車線毎及び上記車両領域毎に上記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合の判定により実現したものである。以下添付図面を参照して本発明に係る画像処理装置及び画像処理プログラムの実施例を説明する。各図において、同一構成要素には同一符号を付し重複する説明を省略する。
【実施例１】
【００１８】
図１に、本発明の実施例に係る画像処理装置１を用いて構成した画像処理システムの構成例を示す。このシステムは、テレビカメラ２により対面通行道路を一定方向から撮像し、経時的に画像信号を得て信号変換手段３へ導き、Ａ／Ｄ変換して画素毎の輝度情報（例えば、０〜２５５階調）として画像処理部４へ送出し、画像処理を行って出力手段５へ出力する構成を採用している。
【００１９】
画像処理部４には、時間平均画像作成手段１１、車両領域検出手段１２、停止車両検出手段１３、正当性判定手段１４、ハザード点滅検出手段１５、ハザード点滅継続検出手段１６が備えられている。時間平均画像作成手段１１は、経時的に同一カメラ２により同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成するものである。
【００２０】
車両領域検出手段１２は、上記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行うものである。停止車両検出手段１３は、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行うものである。
【００２１】
正当性判定手段１４は、前述の定義に係る第２車線を走行する車両のヘッドライトが同じく前述の定義に係る第１車線の路面を照射し、第１車線に停止車両が存在するが如く見えることを原因とした停止車両の誤検出を防止するための構成であり、テレビカメラ２から遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、テレビカメラ２に近付くように車両が走行する側の第２の車線側へ上記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて上記第１の車線における車両領域が正当であるか否かを判定するものである。
【００２２】
ハザード点滅検出手段１５及びハザード点滅継続検出手段１６は、フレーム間差分の２値化した画像に基づく、車線毎の車両の流れについての有無判定において、ハザードの点滅は明るさの大きな変化が発生するため、単純に２値化した画像の白画素の割合のみに着目すると、車両がハザードランプをつけて停止しているシーンを車両が走行しているものと(別言すれば、車両の流れありと)誤判定してしまう。このような傾向に鑑みハザード点灯の停止車両について未検出とならぬようにすべく設けられた構成であり、ハザード点滅検出手段１５は、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するものであり、また、ハザード点滅継続検出手段１６は、上記ハザード点滅検出手段１５によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するものである。
【００２３】
停止車両検出手段１３、正当性判定手段１４、ハザード点滅検出手段１５、ハザード点滅継続検出手段１６による検出或いは判定結果により、停止車両の有無が得られ、出力制御手段１７により出力手段５へ出力され、表示等がなされる。
【００２４】
画像処理装置１は、例えば、図２に示されるような構成に係るワークステーション、パーソナルコンピュータ、その他の計算機として構築することが可能である。すなわち、図２の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、インタフェース５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、インタフェース５７には回線を介してテレビカメラ２から画像信号を取り込み、Ａ／Ｄ変換して多値化ディジタルデータとするための処理部６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理装置１としては、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置６５、インタフェース５７、処理部６３が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。
【００２５】
画像処理部４に備えられる各手段は、ＣＰＵ５１が図３〜図６に示されるようなフローチャートに対応する画像処理プログラムを実行することにより実現することができる。当該画像処理プログラムは、例えば、磁気ディスク装置６５に記憶されており、主記憶装置５２へ読み出して実行することが可能となっている。なお、処理対象の画像は、テレビカメラ２より取り込んで用いるが、予め取り込み多値化ディジタルデータとして磁気ディスク装置６５などに記憶しておいたものを用いることも可能である。以下、図３〜図６に示されるフローチャートに従って動作を説明する。
【００２６】
ＣＰＵ５１は、処理部６３から処理対象画像をｎ（例えば、３０）枚取り込む（Ｓ１、Ｓ２）。ｎ枚取り込んだ後にはステップＳ３以降の処理が行われ、更に１枚取り込む毎にステップＳ３以降の処理が行われる。
【００２７】
ＣＰＵ５１は、処理部６３から処理対象画像をｎ枚用いて時間平均画像を作成する（Ｓ３）。つまり、画素毎に輝度値の総和を算出し、結果を枚数ｎにより除した画像である時間平均画像を得る。また、ｎ枚の画像から或いはこれとは別に背景画像を作成する（Ｓ４）。次に、ステップＳ３において作成した時間平均画像を予め決められプログラムに配置された輝度閾値により、２値化を行い高輝度領域を検出する（Ｓ５）。
【００２８】
次に、ステップＳ５により検出された高輝度領域について、時間平均画像と背景画像とを比較し、類似度を計算して停止車両の有無を検出する（Ｓ６、Ｓ７）。このような比較の画像例を図７に示す。図７（ａ）には時間平均画像が示されており、図７（ｂ）には背景画像が示されている。類似度の計算については、ここでは次の（式１）〜（式３）により示される正規化相関関数による演算を用い、画像の明るさの影響を受け難くテクスチャーの類似度を判定可能とするが、マッチング処理を用いるなどその他の演算によることも可能である。
【００２９】
【数１】
【００３０】
【数２】
【００３１】
上記の（式１）〜（式３）において、類似度であるSimilarityは、−１〜＋１の間の値をとる。また、類似度であるSimilarityが大きければ、２つの画像が類似することを意味する。Similarityの値が＋１であれば両者は全く同じ画像であり、−１であればネガとポジの関係にある画像であることを意味する。類似度が予め決められプログラムに配置された類似度閾値より小さい場合には、停止車両の可能性ありと判定して出力を行う一方（Ｓ８）、上記類似度閾値より大きい場合には、車両なしと判定して出力を行う（Ｓ９）。
【００３２】
車両ありと判定してステップＳ８へ進んだ場合には、車両領域毎に車両領域が第１車線にあるか第２車線にあるかを検出し（Ｓ１０）、第１車線に車両領域がある場合には図４に示すフローチャートの処理へ進み、第２車線に車両領域がある場合には図５に示すフローチャートの処理へ進む。第１車線領域と第２車線領域は、予め例えば４点の座標値によって決定される矩形領域としてプログラムに配置されているものである。
【００３３】
第１車線に車両領域がある場合に行われる図４に示すフローチャートの処理は、正当性判定ステップであり、テレビカメラ２から遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、テレビカメラ２に近付くように車両が走行する側の第２の車線側へ上記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて上記第１の車線における車両領域が正当であるか否かを判定するものである。
【００３４】
例えば、図８に示すように当初の車両領域Ｄａについて、矩形の領域における第２の車線側の２辺を所定の割合だけ長くして拡大領域Ｅａを得る（Ｓ１１）。そして、当初の車両領域Ｄａについての平均輝度Ｄと拡大領域Ｅａについての平均輝度Ｅとの比（Ｅ／Ｄ）を算出し（Ｓ１２）、比（Ｅ／Ｄ）が予め決められプログラムに配置された輝度比閾値以上であるか否かを検出する（Ｓ１３）。比（Ｅ／Ｄ）が輝度比閾値以上である場合には、第２車線を走行する車両のヘッドライトの影響であることから、車両なしとして出力を行う一方（Ｓ１４）、比（Ｅ／Ｄ）が輝度比閾値を超えない場合には、図５に示す処理へ進む。なお、当初の車両領域Ｄａについて、どのように拡大領域Ｅａを形成するかについては、図８は一例であり、原矩形の一辺側へ(第２の車線側へ)矩形を拡大すればよく、当初の車両領域Ｄａの矩形が拡大領域Ｅａの中に入り、当初の車両領域Ｄａの４辺周囲に拡大した領域が存在するようにしても良い。
【００３５】
図５に示すフローチャートの処理は、ステップＳ１０においてＮＯへ分岐し、或いはステップＳ１３においてＮＯへ分岐した場合の処理であり、対面通行の車線毎及び上記車両領域毎に行われる。まず、ｎ枚の画像について１枚目と２枚目、２枚目と３枚目、・・・についてフレーム間差分を行い（Ｓ２１）、結果を所定閾値を用いて２値化し（Ｓ２２）、白画素割合が予め決められプログラムに配置された白画素割合閾値以上の結果が何回であるかを求め（Ｓ２３）、ステップＳ２３にて求めた回数が予め決められプログラムに配置された出現回数閾値以上であるか否かを検出する（Ｓ２４）。
【００３６】
フレーム間差分を行って２値化を行った場合に、車両移動が起こっている画像においては、図９（ａ）に示されるように白画素数が多く、車両が停止している画像においては、図９（ｂ）に示されるように白画素数が少ない。従って、図９（ｂ）に示されるように白画素数が少ない２値化画像が出現回数閾値以上である場合には、停止車両がなく移動車両と判定して出力を行う一方（Ｓ２５）、上記出現回数閾値より小さい場合には、停止車両ありと判定を行う（Ｓ２６）。以上の通りの処理に関し画像をもって示すと、対面通行道路において停止車両があり、また、走行車両がある画像（図１０（ａ）に示された如くの画像）が得られた場合に、図３のフローチャートにおけるステップＳ３の時間平均画像作成に係る処理を行うことによって図１０(ｃ)に示される如くの停止車両候補領域が抽出されることになり、また、図５のフローチャートにおけるステップＳ２１のフレーム間差分とステップＳ２２の２値化を行うことにより図１０(ｂ)に示される如くの走行車両による車両の流れが検出されることになり、対面通行道路において適切に停止車両検出が可能となる。
【００３７】
ステップＳ２５へ進んだ場合には、図６に示されるフローチャートの処理が行われる。この処理は、ハザードランプを点滅した停止車両を検出する処理である。ハザードランプ点滅により、或るときには図１１（ａ）に示すような画像が得られ、対応するフレーム間差分２値化画像としては図１１（ｂ）に示されるような白画素数が少ない画像が得られ、また或るときには図１２（ａ）に示すような画像が得られ、対応するフレーム間差分２値化画像としては図１２（ｂ）に示されるような白画素数が多い画像が得られる。白画素数の割合の変化を閾値により判定してハザードランプを点滅した停止車両を検出する。この処理では、フレーム間差分及び２値化を行い（Ｓ３１）、対面通行の車線毎及び上記車両領域毎に、白画素割合を求め（Ｓ３２）、対面通行の車線毎及び上記車両領域毎に前回のハザード判定においてハザードランプ点滅を行った停止車両とされたかを検出し（Ｓ３３）、ＮＯであれば、上記白画素割合が予め決められプログラムに配置された白画素割合閾値を超えており、当該閾値を超えた回数が単位時間に予め決められプログラムに配置された所定回数を超えたか否かを検出する（Ｓ３４）。
【００３８】
上記ステップＳ３４においてＹＥＳとなると、ハザードランプ点滅を行った停止車両と判定して出力を行う一方（Ｓ３５）、ＮＯとなると停止車両なしと判定して出力を行う（Ｓ３６）。ハザードランプ点滅を行った停止車両と判定した場合には、当該領域に対応してフラグをセットしておく。
【００３９】
また、ステップＳ３３における前回のハザード判定においてハザードランプ点滅を行った停止車両とされたかの検出の結果がＹＥＳであれば、フレーム間差分及び２値化を行いったステップＳ３１の処理結果について、対面通行の車線毎及び上記車両領域毎に、白画素割合が予め決められプログラムに配置された白画素割合閾値を超えており、時間平均画像における平均輝度が予め決められプログラムに配置された輝度閾値を超えているか否かを検出する（Ｓ３７）。
【００４０】
上記ステップＳ３７においてＹＥＳとなると、ハザードランプ点滅を継続させている停止車両と判定して出力を行う一方（Ｓ３８）、ＮＯとなるとハザードランプ点滅の停止車両がなくなったと判定して出力を行う（Ｓ３９）。ハザードランプ点滅を行った停止車両なしと判定した場合には、当該領域に対応してフラグをリセットしておく。
【００４１】
以上のようにして、フレーム間差分画像の２値化画像における白画素割合の変化に着目した図５に示される処理に基づいて、移動車両の判定を行うことにより停止車両の検出精度を向上させている。また、時系列的に変化の小さい領域が明瞭となる一方、時系列的に動きがある領域が不明瞭に見える（ボケる）ことに鑑み、図３に示される時間平均画像を作成することで、適切に停止車両と移動車両とを峻別できている。更に、図４に示される正当性判定ステップの処理を行うことにより、第２車線を走行する車両のヘッドライトが第１車線の路面を照射することによる停止車両の誤検出を適切に排除している。
【００４２】
また、ハザードランプを点滅させた停止車両が存在する場合には、大きな輝度の変化が周期的に発生することに鑑み、フレーム間差分画像の２値化画像における白画素割合変化に着目し、図６に示される処理及び判定を行ってハザードランプを点滅させた停止車両の有無を適切に検出可能としている。
【図面の簡単な説明】
【００４３】
【図１】本発明に係る画像処理装置のブロック図。
【図２】本発明に係る画像処理装置を実現するコンピュータのブロック図。
【図３】本発明に係る画像処理装置の動作を説明するフローチャート。
【図４】本発明に係る画像処理装置の動作を説明するフローチャート。
【図５】本発明に係る画像処理装置の動作を説明するフローチャート。
【図６】本発明に係る画像処理装置の動作を説明するフローチャート。
【図７】本発明に係る画像処理装置による類似度計算処理を説明する図。
【図８】本発明に係る画像処理装置による正当性判定手段による処理を説明する図。
【図９】本発明に係る画像処理装置により処理されたフレーム間差分２値化画像を示す図。
【図１０】停止車両と走行車両の存在する画像に対し、本発明に係る画像処理装置により処理されたフレーム間差分２値化画像及び時間平均画像を示す図。
【図１１】ハザード点滅時の車両画像及び本発明に係る画像処理装置により処理されたフレーム間差分２値化画像を示す図。
【図１２】ハザード点滅時の車両画像及び本発明に係る画像処理装置により処理されたフレーム間差分２値化画像を示す図。
【符号の説明】
【００４４】
１ 画像処理装置
２ テレビカメラ
３ 信号変換手段
４ 画像処理部
５ 出力手段
１１ 時間平均画像作成手段
１２ 車両領域検出手段
１３ 停止車両検出手段
１４ 正当性判定手段
１５ ハザード点滅検出手段
１６ ハザード点滅継続検出手段
１７ 出力制御手段
【技術分野】
【０００１】
この発明は、対面通行の道路における停止車両検出を可能とする画像処理装置及びコンピュータに上記処理を行わせるための画像処理プログラムに関するものである。
【背景技術】
【０００２】
道路には、一方通行道路と対面通行道路が存在している。テレビカメラにより得た画像を処理して道路監視を行う場合、一方通行道路にあっては、道路を走行する車両を後方から撮像するようにカメラを配置するため、車両のヘッドライトの影響は少なく、画像処理に障害が生じることは少ない。これに対し、対面通行道路にあってはカメラに向かって走行する車両の車線が存在し、この車線を走行する車両のヘッドライトの影響が撮像した画像に生じ、適切な画像処理を妨げることがある。
【０００３】
具体的には、カメラから遠ざかるように車両が走行する側の車線を第１車線とし、カメラに対して近付くように車両が走行する側の車線を第２車線とするとき、第２車線を走行する車両のヘッドライトが第１車線の路面を照射し、第１車線に停止車両が存在するが如く見えることから、停止車両の誤検出が生じることがある。また、第２車線を複数台の車両が連なって走行すると、ヘッドライトが大きな光の玉となった如くの画像として撮像され、車両が走行しているのか或いは停止車両が存在するのか判定が困難となる。更に、ハザードランプを点滅した停止車両を検出することが困難である。
【０００４】
従来の画像処理では対面通行の道路における車両検出が困難であるとして、カメラにて順次撮像される画像データを濃淡投影処理にて画像処理し、現時点の投影処理データとその前の投影処理データとの差分値の最大値を求めるとともに、車両検出をしていないときの投影差分最大値の移動平均処理を行って背景データを求め、それら投影処理データの差分最大値と背景データに基づいて車両の有無を判定するシステムが特許文献１に示されている。
【特許文献１】特開２００４−１８５５３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述のヘッドライトによる影響を考慮した停止車両検出には及んでおらず、それゆえ本発明は、対面通行道路においてヘッドライトの影響を受けた場合にも、停止車両検出を適切に行うことができる画像処理装置及び画像処理プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段と、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段とを具備することを特徴とする。
【０００７】
本発明に係る画像処理装置は、カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて前記第１の車線における車両領域が正当であるか否かを判定する正当性判定手段を具備し、車両領域の絞り込みを行うことを特徴とする。
【０００８】
本発明に係る画像処理装置は、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出手段と、前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、を具備することを特徴とする。
【０００９】
本発明に係る画像処理装置は、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段と、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出手段と、前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、を具備することを特徴とする。
【００１０】
本発明に係る画像処理プログラムは、プログラムを実行するコンピュータにより次の各ステップを実現させる画像処理プログラムであって、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出ステップとにより構成されることを特徴とする。
【００１１】
本発明に係る画像処理プログラムは、更に、カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて前記第１の車線における車両領域が正当であるか否かを判定する正当性判定ステップを具備し、車両領域の絞り込みを行うことを特徴とする。
【００１２】
本発明に係る画像処理プログラムは、更に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出ステップと、前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、を具備することを特徴とする。
【００１３】
本発明に係る画像処理プログラムは、プログラムを実行するコンピュータにより次の各ステップを実現させる画像処理プログラムであって、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出ステップと、前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、を具備することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成し、時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行うので、車両領域検出を適切に行うことができ、また、対面通行の車線毎及び上記車両領域毎に上記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行うことで、ヘッドライトによる影響に関わらず停止車両検出を適切に実行可能となる効果がある。
【００１５】
また、カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて上記第１の車線における車両領域が正当であるか否かを判定するので、ヘッドライトによる影響に関わらず停止車両検出を適切に実行可能となる効果がある。
【００１６】
更に、対面通行の車線毎及び車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出し、上記ハザード点滅検出によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するので、ヘッドライトによる影響に関わらずハザードランプ点滅を検出可能となり、停止車両検出を適切に実行できる効果がある。
【発明を実施するための最良の形態】
【００１７】
対面通行道路においてヘッドライトの影響があるにも拘らず、停止車両検出を適切に行うという目的を、輝度情報の平均を算出することによる時間平均画像の作成、時間平均画像の高輝度領域を抽出、抽出した高輝度領域と背景画像における対応領域の類似度判定で車両領域検出を行い、また、対面通行の車線毎及び上記車両領域毎に上記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合の判定により実現したものである。以下添付図面を参照して本発明に係る画像処理装置及び画像処理プログラムの実施例を説明する。各図において、同一構成要素には同一符号を付し重複する説明を省略する。
【実施例１】
【００１８】
図１に、本発明の実施例に係る画像処理装置１を用いて構成した画像処理システムの構成例を示す。このシステムは、テレビカメラ２により対面通行道路を一定方向から撮像し、経時的に画像信号を得て信号変換手段３へ導き、Ａ／Ｄ変換して画素毎の輝度情報（例えば、０〜２５５階調）として画像処理部４へ送出し、画像処理を行って出力手段５へ出力する構成を採用している。
【００１９】
画像処理部４には、時間平均画像作成手段１１、車両領域検出手段１２、停止車両検出手段１３、正当性判定手段１４、ハザード点滅検出手段１５、ハザード点滅継続検出手段１６が備えられている。時間平均画像作成手段１１は、経時的に同一カメラ２により同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成するものである。
【００２０】
車両領域検出手段１２は、上記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行うものである。停止車両検出手段１３は、対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行うものである。
【００２１】
正当性判定手段１４は、前述の定義に係る第２車線を走行する車両のヘッドライトが同じく前述の定義に係る第１車線の路面を照射し、第１車線に停止車両が存在するが如く見えることを原因とした停止車両の誤検出を防止するための構成であり、テレビカメラ２から遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、テレビカメラ２に近付くように車両が走行する側の第２の車線側へ上記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて上記第１の車線における車両領域が正当であるか否かを判定するものである。
【００２２】
ハザード点滅検出手段１５及びハザード点滅継続検出手段１６は、フレーム間差分の２値化した画像に基づく、車線毎の車両の流れについての有無判定において、ハザードの点滅は明るさの大きな変化が発生するため、単純に２値化した画像の白画素の割合のみに着目すると、車両がハザードランプをつけて停止しているシーンを車両が走行しているものと(別言すれば、車両の流れありと)誤判定してしまう。このような傾向に鑑みハザード点灯の停止車両について未検出とならぬようにすべく設けられた構成であり、ハザード点滅検出手段１５は、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するものであり、また、ハザード点滅継続検出手段１６は、上記ハザード点滅検出手段１５によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び上記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するものである。
【００２３】
停止車両検出手段１３、正当性判定手段１４、ハザード点滅検出手段１５、ハザード点滅継続検出手段１６による検出或いは判定結果により、停止車両の有無が得られ、出力制御手段１７により出力手段５へ出力され、表示等がなされる。
【００２４】
画像処理装置１は、例えば、図２に示されるような構成に係るワークステーション、パーソナルコンピュータ、その他の計算機として構築することが可能である。すなわち、図２の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、インタフェース５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、インタフェース５７には回線を介してテレビカメラ２から画像信号を取り込み、Ａ／Ｄ変換して多値化ディジタルデータとするための処理部６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理装置１としては、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置６５、インタフェース５７、処理部６３が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。
【００２５】
画像処理部４に備えられる各手段は、ＣＰＵ５１が図３〜図６に示されるようなフローチャートに対応する画像処理プログラムを実行することにより実現することができる。当該画像処理プログラムは、例えば、磁気ディスク装置６５に記憶されており、主記憶装置５２へ読み出して実行することが可能となっている。なお、処理対象の画像は、テレビカメラ２より取り込んで用いるが、予め取り込み多値化ディジタルデータとして磁気ディスク装置６５などに記憶しておいたものを用いることも可能である。以下、図３〜図６に示されるフローチャートに従って動作を説明する。
【００２６】
ＣＰＵ５１は、処理部６３から処理対象画像をｎ（例えば、３０）枚取り込む（Ｓ１、Ｓ２）。ｎ枚取り込んだ後にはステップＳ３以降の処理が行われ、更に１枚取り込む毎にステップＳ３以降の処理が行われる。
【００２７】
ＣＰＵ５１は、処理部６３から処理対象画像をｎ枚用いて時間平均画像を作成する（Ｓ３）。つまり、画素毎に輝度値の総和を算出し、結果を枚数ｎにより除した画像である時間平均画像を得る。また、ｎ枚の画像から或いはこれとは別に背景画像を作成する（Ｓ４）。次に、ステップＳ３において作成した時間平均画像を予め決められプログラムに配置された輝度閾値により、２値化を行い高輝度領域を検出する（Ｓ５）。
【００２８】
次に、ステップＳ５により検出された高輝度領域について、時間平均画像と背景画像とを比較し、類似度を計算して停止車両の有無を検出する（Ｓ６、Ｓ７）。このような比較の画像例を図７に示す。図７（ａ）には時間平均画像が示されており、図７（ｂ）には背景画像が示されている。類似度の計算については、ここでは次の（式１）〜（式３）により示される正規化相関関数による演算を用い、画像の明るさの影響を受け難くテクスチャーの類似度を判定可能とするが、マッチング処理を用いるなどその他の演算によることも可能である。
【００２９】
【数１】
【００３０】
【数２】
【００３１】
上記の（式１）〜（式３）において、類似度であるSimilarityは、−１〜＋１の間の値をとる。また、類似度であるSimilarityが大きければ、２つの画像が類似することを意味する。Similarityの値が＋１であれば両者は全く同じ画像であり、−１であればネガとポジの関係にある画像であることを意味する。類似度が予め決められプログラムに配置された類似度閾値より小さい場合には、停止車両の可能性ありと判定して出力を行う一方（Ｓ８）、上記類似度閾値より大きい場合には、車両なしと判定して出力を行う（Ｓ９）。
【００３２】
車両ありと判定してステップＳ８へ進んだ場合には、車両領域毎に車両領域が第１車線にあるか第２車線にあるかを検出し（Ｓ１０）、第１車線に車両領域がある場合には図４に示すフローチャートの処理へ進み、第２車線に車両領域がある場合には図５に示すフローチャートの処理へ進む。第１車線領域と第２車線領域は、予め例えば４点の座標値によって決定される矩形領域としてプログラムに配置されているものである。
【００３３】
第１車線に車両領域がある場合に行われる図４に示すフローチャートの処理は、正当性判定ステップであり、テレビカメラ２から遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、テレビカメラ２に近付くように車両が走行する側の第２の車線側へ上記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて上記第１の車線における車両領域が正当であるか否かを判定するものである。
【００３４】
例えば、図８に示すように当初の車両領域Ｄａについて、矩形の領域における第２の車線側の２辺を所定の割合だけ長くして拡大領域Ｅａを得る（Ｓ１１）。そして、当初の車両領域Ｄａについての平均輝度Ｄと拡大領域Ｅａについての平均輝度Ｅとの比（Ｅ／Ｄ）を算出し（Ｓ１２）、比（Ｅ／Ｄ）が予め決められプログラムに配置された輝度比閾値以上であるか否かを検出する（Ｓ１３）。比（Ｅ／Ｄ）が輝度比閾値以上である場合には、第２車線を走行する車両のヘッドライトの影響であることから、車両なしとして出力を行う一方（Ｓ１４）、比（Ｅ／Ｄ）が輝度比閾値を超えない場合には、図５に示す処理へ進む。なお、当初の車両領域Ｄａについて、どのように拡大領域Ｅａを形成するかについては、図８は一例であり、原矩形の一辺側へ(第２の車線側へ)矩形を拡大すればよく、当初の車両領域Ｄａの矩形が拡大領域Ｅａの中に入り、当初の車両領域Ｄａの４辺周囲に拡大した領域が存在するようにしても良い。
【００３５】
図５に示すフローチャートの処理は、ステップＳ１０においてＮＯへ分岐し、或いはステップＳ１３においてＮＯへ分岐した場合の処理であり、対面通行の車線毎及び上記車両領域毎に行われる。まず、ｎ枚の画像について１枚目と２枚目、２枚目と３枚目、・・・についてフレーム間差分を行い（Ｓ２１）、結果を所定閾値を用いて２値化し（Ｓ２２）、白画素割合が予め決められプログラムに配置された白画素割合閾値以上の結果が何回であるかを求め（Ｓ２３）、ステップＳ２３にて求めた回数が予め決められプログラムに配置された出現回数閾値以上であるか否かを検出する（Ｓ２４）。
【００３６】
フレーム間差分を行って２値化を行った場合に、車両移動が起こっている画像においては、図９（ａ）に示されるように白画素数が多く、車両が停止している画像においては、図９（ｂ）に示されるように白画素数が少ない。従って、図９（ｂ）に示されるように白画素数が少ない２値化画像が出現回数閾値以上である場合には、停止車両がなく移動車両と判定して出力を行う一方（Ｓ２５）、上記出現回数閾値より小さい場合には、停止車両ありと判定を行う（Ｓ２６）。以上の通りの処理に関し画像をもって示すと、対面通行道路において停止車両があり、また、走行車両がある画像（図１０（ａ）に示された如くの画像）が得られた場合に、図３のフローチャートにおけるステップＳ３の時間平均画像作成に係る処理を行うことによって図１０(ｃ)に示される如くの停止車両候補領域が抽出されることになり、また、図５のフローチャートにおけるステップＳ２１のフレーム間差分とステップＳ２２の２値化を行うことにより図１０(ｂ)に示される如くの走行車両による車両の流れが検出されることになり、対面通行道路において適切に停止車両検出が可能となる。
【００３７】
ステップＳ２５へ進んだ場合には、図６に示されるフローチャートの処理が行われる。この処理は、ハザードランプを点滅した停止車両を検出する処理である。ハザードランプ点滅により、或るときには図１１（ａ）に示すような画像が得られ、対応するフレーム間差分２値化画像としては図１１（ｂ）に示されるような白画素数が少ない画像が得られ、また或るときには図１２（ａ）に示すような画像が得られ、対応するフレーム間差分２値化画像としては図１２（ｂ）に示されるような白画素数が多い画像が得られる。白画素数の割合の変化を閾値により判定してハザードランプを点滅した停止車両を検出する。この処理では、フレーム間差分及び２値化を行い（Ｓ３１）、対面通行の車線毎及び上記車両領域毎に、白画素割合を求め（Ｓ３２）、対面通行の車線毎及び上記車両領域毎に前回のハザード判定においてハザードランプ点滅を行った停止車両とされたかを検出し（Ｓ３３）、ＮＯであれば、上記白画素割合が予め決められプログラムに配置された白画素割合閾値を超えており、当該閾値を超えた回数が単位時間に予め決められプログラムに配置された所定回数を超えたか否かを検出する（Ｓ３４）。
【００３８】
上記ステップＳ３４においてＹＥＳとなると、ハザードランプ点滅を行った停止車両と判定して出力を行う一方（Ｓ３５）、ＮＯとなると停止車両なしと判定して出力を行う（Ｓ３６）。ハザードランプ点滅を行った停止車両と判定した場合には、当該領域に対応してフラグをセットしておく。
【００３９】
また、ステップＳ３３における前回のハザード判定においてハザードランプ点滅を行った停止車両とされたかの検出の結果がＹＥＳであれば、フレーム間差分及び２値化を行いったステップＳ３１の処理結果について、対面通行の車線毎及び上記車両領域毎に、白画素割合が予め決められプログラムに配置された白画素割合閾値を超えており、時間平均画像における平均輝度が予め決められプログラムに配置された輝度閾値を超えているか否かを検出する（Ｓ３７）。
【００４０】
上記ステップＳ３７においてＹＥＳとなると、ハザードランプ点滅を継続させている停止車両と判定して出力を行う一方（Ｓ３８）、ＮＯとなるとハザードランプ点滅の停止車両がなくなったと判定して出力を行う（Ｓ３９）。ハザードランプ点滅を行った停止車両なしと判定した場合には、当該領域に対応してフラグをリセットしておく。
【００４１】
以上のようにして、フレーム間差分画像の２値化画像における白画素割合の変化に着目した図５に示される処理に基づいて、移動車両の判定を行うことにより停止車両の検出精度を向上させている。また、時系列的に変化の小さい領域が明瞭となる一方、時系列的に動きがある領域が不明瞭に見える（ボケる）ことに鑑み、図３に示される時間平均画像を作成することで、適切に停止車両と移動車両とを峻別できている。更に、図４に示される正当性判定ステップの処理を行うことにより、第２車線を走行する車両のヘッドライトが第１車線の路面を照射することによる停止車両の誤検出を適切に排除している。
【００４２】
また、ハザードランプを点滅させた停止車両が存在する場合には、大きな輝度の変化が周期的に発生することに鑑み、フレーム間差分画像の２値化画像における白画素割合変化に着目し、図６に示される処理及び判定を行ってハザードランプを点滅させた停止車両の有無を適切に検出可能としている。
【図面の簡単な説明】
【００４３】
【図１】本発明に係る画像処理装置のブロック図。
【図２】本発明に係る画像処理装置を実現するコンピュータのブロック図。
【図３】本発明に係る画像処理装置の動作を説明するフローチャート。
【図４】本発明に係る画像処理装置の動作を説明するフローチャート。
【図５】本発明に係る画像処理装置の動作を説明するフローチャート。
【図６】本発明に係る画像処理装置の動作を説明するフローチャート。
【図７】本発明に係る画像処理装置による類似度計算処理を説明する図。
【図８】本発明に係る画像処理装置による正当性判定手段による処理を説明する図。
【図９】本発明に係る画像処理装置により処理されたフレーム間差分２値化画像を示す図。
【図１０】停止車両と走行車両の存在する画像に対し、本発明に係る画像処理装置により処理されたフレーム間差分２値化画像及び時間平均画像を示す図。
【図１１】ハザード点滅時の車両画像及び本発明に係る画像処理装置により処理されたフレーム間差分２値化画像を示す図。
【図１２】ハザード点滅時の車両画像及び本発明に係る画像処理装置により処理されたフレーム間差分２値化画像を示す図。
【符号の説明】
【００４４】
１ 画像処理装置
２ テレビカメラ
３ 信号変換手段
４ 画像処理部
５ 出力手段
１１ 時間平均画像作成手段
１２ 車両領域検出手段
１３ 停止車両検出手段
１４ 正当性判定手段
１５ ハザード点滅検出手段
１６ ハザード点滅継続検出手段
１７ 出力制御手段
【特許請求の範囲】
【請求項１】
経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段と、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段と
を具備することを特徴とする画像処理装置。
【請求項２】
カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて前記第１の車線における車両領域が正当であるか否かを判定する正当性判定手段を具備し、
車両領域の絞り込みを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出手段と、
前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、
を具備することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段と、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出手段と、
前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、
を具備することを特徴とする画像処理装置。
【請求項５】
プログラムを実行するコンピュータにより次の各ステップを実現させる画像処理プログラムであって、
経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、
対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出ステップと
により構成されることを特徴とする画像処理プログラム。
【請求項６】
更に、カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて前記第１の車線における車両領域が正当であるか否かを判定する正当性判定ステップを具備し、
車両領域の絞り込みを行うことを特徴とする請求項５に記載の画像処理プログラム。
【請求項７】
更に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出ステップと、
前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、
を具備することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
プログラムを実行するコンピュータにより次の各ステップを実現させる画像処理プログラムであって、
経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、
対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出ステップと、
前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、
を具備することを特徴とする画像処理プログラム。
【請求項１】
経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段と、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出手段と
を具備することを特徴とする画像処理装置。
【請求項２】
カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて前記第１の車線における車両領域が正当であるか否かを判定する正当性判定手段を具備し、
車両領域の絞り込みを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出手段と、
前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、
を具備することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成手段と、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出手段と、
対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出手段と、
前記ハザード点滅検出手段によりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出手段と、
を具備することを特徴とする画像処理装置。
【請求項５】
プログラムを実行するコンピュータにより次の各ステップを実現させる画像処理プログラムであって、
経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、
対面通行の車線毎及び前記車両領域毎に前記処理画像についてフレーム間差分及び２値化を行って得た結果における白画素割合が閾値を超えるか否かに基づき停止車両検出を行う停止車両検出ステップと
により構成されることを特徴とする画像処理プログラム。
【請求項６】
更に、カメラから遠ざかるように車両が走行する側の第１の車線に車両領域が検出された場合に、カメラに近付くように車両が走行する側の第２の車線側へ前記車両領域を拡大し、拡大領域と元の車両領域の輝度比に基づいて前記第１の車線における車両領域が正当であるか否かを判定する正当性判定ステップを具備し、
車両領域の絞り込みを行うことを特徴とする請求項５に記載の画像処理プログラム。
【請求項７】
更に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出ステップと、
前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、
を具備することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
プログラムを実行するコンピュータにより次の各ステップを実現させる画像処理プログラムであって、
経時的に同一カメラにより同一方向を撮像した所定枚数の処理画像における各画素について、輝度情報の平均を算出することにより時間平均画像を作成する時間平均画像作成ステップと、
前記時間平均画像の高輝度領域を抽出すると共に、抽出した高輝度領域と背景画像における対応領域の類似度判定を行って車両領域検出を行う車両領域検出ステップと、
対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、閾値を超えた回数が単位時間に所定回数を超えたことを検出してハザードランプ点滅を検出するハザード点滅検出ステップと、
前記ハザード点滅検出ステップによりハザードランプが点滅されていることが検出された場合に、対面通行の車線毎及び前記車両領域毎に、フレーム間差分の２値化画像の白画素割合が閾値を超えており、時間平均画像における平均輝度が輝度閾値を超えていることを検出して、ハザードランプ点滅継続を検出するハザード点滅継続検出ステップと、
を具備することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−４８２３８（Ｐ２００６−４８２３８Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２２５８８１（Ｐ２００４−２２５８８１）
【出願日】平成１６年８月２日（２００４．８．２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年８月２日（２００４．８．２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]