ステレオ画像処理を用いた車両検出装置
【課題】遠方まで被写体検出を実施する場合、極めて高い精度でステレオカメラの左カメラと右カメラの光軸の平行条件が維持されなければならない、という課題があった。また、たとえ光軸の平行条件が正確に維持されていたとしても、十分な精度で被写体を検出できる被写体までの距離には限界がある、という課題もあった。
【解決手段】2台のカメラによるステレオ画像処理手段と、カメラの1台分の複数フレームからフレーム差分処理を行うフレーム差分抽出手段と、基準となる背景画像と現在の画像との差分を抽出する背景差分抽出手段と、フレーム差分抽出手段の画像とステレオ画像処理手段との論理和とその結果と背景差分抽出手段の画像との論理積を車両特徴画像とする車両特徴画像作成手段とを備えたことを特徴とする。
【解決手段】2台のカメラによるステレオ画像処理手段と、カメラの1台分の複数フレームからフレーム差分処理を行うフレーム差分抽出手段と、基準となる背景画像と現在の画像との差分を抽出する背景差分抽出手段と、フレーム差分抽出手段の画像とステレオ画像処理手段との論理和とその結果と背景差分抽出手段の画像との論理積を車両特徴画像とする車両特徴画像作成手段とを備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路上に設置し、通行する車両の台数、速度等を計測する、ステレオ画像処理を用いた車両検出装置に関するものである。
【背景技術】
【0002】
従来、画像処理による車両検出装置においては、1台のカメラの画像を処理して車両を検出し、台数、速度計測を行っていた。この「単眼画像処理による車両検出装置」では、画像の時間的、空間的輝度変化で車両を検出しているため、走行車両以外による輝度変化(たとえば夜間のヘッドライトの道路面反射、日差しや照明による影等)に対して誤検出を起こすという課題や、車両が長時間停止した際に車両が検出できなくなるという課題があった。そこで近年、この課題を解決するために、2台のカメラの画像を処理して車両を検出し、台数、速度計測を行う「ステレオ画像処理による車両検出装置」が開発された(特許文献1の図1、図2及び[0024]段〜[0026]段参照)。
次に、ステレオ画像方式の原理を説明する。
図10は、ステレオ画像方式の原理を示す図である。図10において、左カメラ1、右カメラ2は平行に配置されている。このとき、光軸6,7は平行に配置される。左カメラ1の画像は画像4のように撮像され、右カメラ2の画像は画像5のように撮像されるので、両者の画像から得られる「視差」をもとに対象物までの距離を計算することができる。
すなわち、対象物までの距離を「D」、カメラ1、2間の距離を「B」、カメラ1,2の焦点距離を「f」、視差を「P」とすると、
D=(B×f)/P
の計算式で対象物までの距離を求めることができる。
このように、ステレオ画像方式の車両検出装置を用いることにより、走行車両以外による輝度変化に対して誤検出を起こすことや、車両が長時間停止して車両を見失うことなく車両を検出し、台数、速度計測を行うことが可能となる。
【0003】
従来の車両検出装置を、図17により説明する。
図17において、本装置は先ず、左画像入力手段21から入力した画像を基準左画像30として登録し、右画像入力手段22から入力した画像を基準右画像31として登録する。 次に、基準左画像30および基準右画像31が登録されると基準左画像30および基準右画像31と新たに撮像された左画像28および右画像29をもとに、光軸ずれ量算出手段23によって光軸ずれ量が算出されて視差算出手段24に出力され、視差算出手段24において光軸ずれ補正が実施された視差画像32が作成される。
また視差算出手段24が基準左画像30および基準右画像31を用いて作成した視差画像32を用いて高さゼロに相当する視差画像を作成することが可能であり、これを基準視差画像33として登録する。基準視差画像33の作成方法としては、路面のような基準面を平面と仮定して高さゼロとなるべき点の高さ誤差が最小となる視差平面を作成する方法としても良いし、高さゼロとなるべき点の視差を用いてその他の点の視差を線形補間等の補間処理を用いて算出する方法としても良い。以上、基準左画像30、基準右画像31、基準視差画像33の3画像を登録することにより、初期登録を終了する。次に、実際の車両検出処理について説明する。
【0004】
左画像入力手段21の画像を、画像格納手段27の左画像28に格納し、右画像入力手段22の画像を、画像格納手段27の右画像29に格納する。光軸ずれ量算出手段23により左画像28と基準左画像30とを比較するとともに、右画像29と基準左画像31とを比較して光軸ずれ量を算出する。視差算出手段24により、左画像28と右画像29をもとに光軸ずれ量算出手段23の光軸ずれ量を加味して視差を算出する。
高さ算出2値化手段25は、視差算出手段24の視差画像32と、基準視差画像作成手段26で作成された基準視差画像33から高さ算出2値化画像34を作成する。算出された高さを2値化するしきい値は、予め設定しておく。この高さ算出2値化画像34をもとに車両認識手段35により車両を認識する。これら画像の格納から車両認識までの一連の処理を一定周期で画像を撮像する毎に実施することにより、撮像された画像毎に車両が認識される。
車両追跡手段36は、画像毎に認識された車両について位置、輝度、形状、テクスチャ等の特徴量を用いて対応付けを行い、車両識別番号を付与して追跡処理を実施する。そして交通量計測手段37により、一定時間内の車両の台数と速度等を計測する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平9−297849号公報
【特許文献2】特開平11−259632号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら上記従来例では、図16に示した左カメラ1と右カメラ2の平行条件すなわち光軸6,7の平行条件が正確に維持される必要があり、光軸ずれが発生した場合は光軸ずれ量算出手段23によって光軸ずれ量が正確に算出されて視差算出手段24において視差画像32が作成されねばならない。
ステレオカメラのレンズ間の距離をB,ステレオカメラのレンズを結ぶえぴポーラ線と物体までの距離をD,カメラの焦点距離をf、左カメラの物体の視差をp1、右カメラの物体の視差をp2とすると、
P=p1+p2としたとき、
D:B=f:P
がなりたつので、
D=(B×f)/P
の関係が成り立つ。
カメラ1、2間の距離Bは装置の大きさの制約より大きくするには限界があるため、対象物までの距離Dが大きくなると、Pすなわち視差が小さくなってしまう。
【0007】
このため、遠方の車両を検出しようとすると、小さな視差で距離測定を行う必要があるため、光軸ずれの影響が大きくなり、極めて高い精度で光軸ずれ補正を実施せねばならない、という課題があった。
また、たとえ光軸6,7の平行条件が正確に維持されていたとしても、十分な精度で視差Pを算出することは難しく、測定可能な対象物までの距離Dには限界がある、という課題もあった。
【課題を解決するための手段】
【0008】
本発明は上記課題を解決するものであり、2台のカメラによるステレオ画像処理手段と、前記カメラの1台分の複数フレームからフレーム差分処理を行うフレーム差分抽出手段と、基準となる背景画像と現在の画像との差分を抽出する背景差分抽出手段と、前記フレーム差分抽出手段の画像と前記ステレオ画像処理手段との論理和とその結果と前記背景差分抽出手段の画像との論理積を車両特徴画像とする車両特徴画像作成手段とを備えたことを特徴とする構成としたものである。
【発明の効果】
【0009】
本発明のステレオ画像処理を用いた車両検出装置は、十分な精度で光軸ずれ補正処理を実施できない場合や、ステレオ画像処理による被写体の特徴検出処理を行っても十分な視差の検出されない被写体について、フレーム差分抽出手段と背景差分抽出手段により、ステレオ画像処理を補間し、安定的な被写体検出を実現することができる、という効果を有する。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施例による車両検出装置のブロック図
【図2】同実施例による車両検出装置のフローチャート
【図3】同実施例による車両検出装置のフローチャート
【図4】フレーム差分のみによる画像データ図
【図5】背景差分のみによる画像データ図
【図6】高さ算出のみによる画像データ図
【図7】フレーム差分と高さ算出の論理和による画像データ図
【図8】図5と図7の論理積による画像データ図
【図9】ラベリング、車両認識を示す図
【図10】は本発明の第2の実施の形態における車両検出装置のブロック図。
【図11】は本発明の第2の実施の形態におけるフレーム差分のみによる画像データ図
【図12】本発明の第2の実施の形態における背景差分の画像データ図
【図13】本発明の第2の実施の形態における高さ算出の画像データ図
【図14】本発明の第2の実施の形態におけるフレーム差分と高さ算出による画像データ図
【図15】本発明の第2の実施の形態における図11と図14の論理積による画像データ図
【図16】は一般のステレオ画像処理の原理を示す図
【図17】は従来例による車両検出装置のブロック図
【発明を実施するための形態】
【0011】
(本発明の第1の実施の形態)
(構成の説明)
本発明の一実施例による車両検出装置の構成を説明する。図1は本発明の一実施例による車両検出装置のブロック図である。
図1において、左画像入力手段41は左カメラ1の画像データを入力し、右画像入力手段42は右カメラ2の画像データを入力するものである。
画像格納手段47は画像データ等の各種データを格納するものである。左画像48は左画像入力手段41の画像データを格納し、右画像×nフレーム49は右画像入力手段42の画像データをnフレーム格納するものである。基準左画像50は車両検出装置の初期登録時の左画像のデータである。基準右画像51は車両検出装置の初期登録時の右画像のデータである。フレーム差分2値化画像52は、右画像×nフレーム49のデータをもとにフレーム差分2値化手段59によって作成されたフレーム差分2値化データを格納する。背景画像53は、右画像×nフレーム49のデータをもとに背景画像作成手段60によって作成された背景画像データを格納する。背景差分2値化画像54は、右画像×nフレーム49のデータと背景画像53をもとに背景差分2値化手段61によって作成された背景差分2値化画像データを格納する。視差画像55は、左画像48、右画像×nフレーム49、光軸ずれ量算出手段43によって算出された光軸ずれ量をもとに視差算出手段44によって作成された視差画像データを格納する。基準視差画像56は、車両検出装置の初期登録時に基準左画像50、基準右画像51をもとに基準視差画像作成手段46によって作成された視差画像データを格納する。高さ算出2値化画像57は、視差画像55、基準視差画像56をもとに高さ算出2値化手段45によって作成された高さ算出2値化画像データを格納する。車両特徴画像58は、フレーム差分2値化画像52、背景差分2値化画像54、高さ算出2値化画像57をもとに車両特徴画像作成手段62によって作成された車両特徴画像データを格納する。
車両認識手段63は、車両特徴画像58からラベリングを行い、車幅、車長等の条件を満たした場合は車両を認識する。車両追跡手段64は、画像毎に認識された車両について位置、輝度、形状、テクスチャ等の特徴量を用いて対応付けを行い、車両識別番号を付与して追跡処理を実施する。交通量計測手段65は、車両追跡手段64の車両追跡結果をもとに一定時間内の車両の台数と速度等を計測する。またこの台数、速度により、通常流と渋滞流の判断や、停止車両の検出を行う。
(動作の説明)
次に、本発明の一実施例による車両検出装置の動作を説明する。
図2、図3は本発明の一実施例による車両検出装置のフローチャート、図4はフレーム差分のみによる画像データ図、図5は背景差分のみによる画像データ図、図6は高さ算出のみによる画像データ図、図7はフレーム差分と高さ算出の論理和による画像データ図、図8は図5と図7の論理積による画像データ図である。
まず最初に、初期作成登録処理について説明する。図2、3において、本装置は先ず、左画像入力手段41から基準左画像50の登録を行い、右画像入力手段42から基準右画像51の登録を行い、基準視差画像作成手段46にて基準左画像50、基準右画像51をもとに基準視差画像56を作成し登録を行う(ステップ2、以下「S2」と記す)。たとえば、基準視差画像56は、基準面を路面の様な平面と仮定して高さゼロとなるべき点の高さ誤差が最小となる視差平面を作成する方法としても良いし、高さゼロとなるべき点の視差を用いてその他の点の視差を線形補間等の補間処理を用いて算出する方法としても良い。次に背景画像作成手段60が、右画像×nフレーム49をもとに初期背景画像を作成し、背景画像53に格納する(S3)。以上で初期作成登録処理を終了する。
次に、車両認識処理を開始する。新たに撮像した右画像×nフレーム49、背景画像53をもとに、フレーム差分2値化手段59、背景差分2値化手段61はフレーム差分および背景差分2値化のしきい値を算出する(S4)。2値化しきい値の算出方法は、例えば画像をM×N個(M、Nは正の整数)のブロックに分割し、ブロック毎にKフレーム(Kは正の整数)に亘ってフレーム差分値の標準偏差σfと背景差分値の標準偏差σbを算出する。これに補正係数p、q(p、qは正の実数)を掛けたp×σfをフレーム差分2値化しきい値、q×σbを背景差分2値化しきい値とする方法が考えられる。
右画像入力手段42にて入力された右画像×nフレーム49の複数フレームと、前記算出されたフレーム差分2値化しきい値を用いて、フレーム差分2値化手段59はフレーム差分2値化画像52を作成する(S5)。図4において71は遠くの車両、72は近くの車両、73は路肩の白線、74は中央分離帯側の白線、75および76はフレーム差分2値化処理によって検出された画素を示す。車両の動きによって得られるフレーム差分は車両を撮影した画像が複雑なため、フレーム差分を取ると車両の至る所で差分が検出されるので、フレーム差分75は画素が塊になっている。一方、車両の影によって得られるフレーム差分は、影の画像が単調なため、フレーム差分をとっても影の内部では差分が検出されない。このため、フレーム差分76は、影が動いた結果得られる影の差のみになっている。
ここでフレーム差分2値化手段59は、フレーム差分2値化処理によって検出された画素の塊に対し、画素の塊の境界にある画素を全て背景成分の画素に変換して1画素分縮める収縮処理と、画素の塊の境界にある画素を全て検出された画素に変換して1画素分膨らませる膨張処理を実行する。これにより、車両の影を検出した76は除去され、車両を検出した75のみとすることができる。
次に、右画像入力手段42にて入力された右画像×nフレーム49の複数フレーム、背景画像53と、前記算出された背景差分2値化しきい値を用いて、背景差分2値化手段61は背景差分2値化画像54を作成する(S6)。図5において77は背景差分2値化処理によって検出された画素を示す。背景差分2値化処理においては車両の影を除去する処理を実行しないため、車両と車両の影の両方を検出する。
次に、左画像入力手段41にて入力された左画像40、右画像入力手段42にて入力された右画像×nフレーム49、光軸ずれ量算出手段43によって算出された光軸ずれ量を用いて視差算出手段44が視差画像55を作成し、視差画像55と基準視差画像56を用いて高さ算出2値化手段57は高さ算出2値化画像57を作成する(S7)。図6において78、79、80は高さ算出2値化処理によって検出された画素を示す。高さ算出2値化処理の場合、視差画像55において高さの検出された画素しか検出しないため、路面に存在する特徴は検出しない。但し、ステレオカメラの光軸ずれが発生し、十分な精度で光軸ずれ補正ができないと、79のような路肩や中央分離帯側の白線、また80のような車両の影の輪郭部分を検出してしまう場合がある。ここで高さ算出2値化手段57は、高さ算出2値化処理によって検出された画素に対し、境界にある画素を全て背景成分の画素に変換して1画素分縮める収縮処理と、境界にある画素を全て検出された画素に変換して1画素分膨らませる膨張処理を実行する。これにより、80のような車両の影を検出した画素は除去されるが、79のような路肩や中央分離帯側の白線を検出した画素は除去されないで残ってしまう場合がある。また、遠方に存在する車両71は十分な視差が検出できないため、高さ算出2値化処理では検出できない。
フレーム差分2値化画像52、背景差分2値化画像54、高さ算出2値化画像57を用いて、車両特徴画像作成手段62は車両特徴画像58を作成する(S8)。図7は、フレーム差分2値化画像52と高さ算出2値化画像57の論理和演算を行った画像である。81は車両を検出した画素、79は光軸ずれによって路肩や中央分離帯の白線を検出した画素を示す。一方、図8は図7と背景差分2値化画像54との論理積演算を行った車両特徴画像58である。車両特徴画像58では遠くの車両71と近くの車両72が82として検出される。一方、83は背景差分2値化画像54との論理積演算により除去された画素を示しており、図7にて路肩の白線73や中央分離帯側の白線74を検出した79は、この段階で除去される。なお、背景差分2値化処理は長時間の停止車両が存在した場合、背景画像作成手段60によって作成される背景画像53に長時間停止車両を取り込み、停止車両を検出できなくなるため、交通量計測手段65が渋滞流または停止車両を検出した場合、車両特徴画像作成手段62は背景差分2値化画像54との論理積演算を行わないで車両特徴画像58を作成する。
フローチャート図2に戻る。車両認識手段63は、車両特徴画像58において図9のようにラベリング84を作成し、車幅、車長等の条件を満たした場合は車両として認識する(S9)。
車両追跡手段64は、車両認識手段63によって認識した車両の近傍に過去に登録され、輝度、形状、テクスチャ等の特徴量が類似する車両が存在するかどうかを探索する(S10、S11)。そして、該当する登録車両が存在する場合は認識車両と登録車両とを対応付け、該当する登録車両が存在しない場合は車両識別番号を付与して認識車両を新規に登録する(S13)。更に車両追跡手段64は認識した車両が速度算出条件を満たしているか否かを判別する(S14)。速度算出は最低2回、同一車両を認識している必要があるが、同一車両の認識回数が多くなるほど速度算出精度も向上するため、必要な速度精度に合わせて同一車両認識回数を速度算出条件として設定すれば良い。認識した車両が速度算出条件を満たしている場合は速度を算出し(S15)、満たしていない場合は速度算出を行わない。また車両追跡手段64は、認識した車両と対応付けされなかった登録車両が存在した場合は、それを削除する(S18)。
交通量計測手段65は、認識した車両が交通量計測点に到達したか否かを判定し(S16)、到達した場合は台数計測、速度登録を行う(S17)。更にはこの台数、速度により、通常流と渋滞流の判断や、停止車両の検出を行う。
この後、背景画像作成手段60は背景画像53の更新を行う(S19)。背景画像の更新は、右画像×nフレーム49と背景画像53との重み付け加算処理によって行う。この重み量は、交通量計測手段65による通常流と渋滞流の判断や、停止車両の検出結果を加味して変動させても良い。
次に、光軸ずれ量算出手段43は基準左画像50、基準右画像51を用いて左右カメラの光軸ずれ量を算出し(S20)、光軸ずれ量が予め定めたしきい値より大きいか否かを判別する(S21)。光軸ずれ量がしきい値より大きい場合は、算出された光軸ずれ量を視差算出手段44へ出力する。視差算出手段44は、光軸ずれ量算出手段43から光軸ずれ量を受信した以降は、左画像48と右画像×nフレーム49から視差画像55を算出する際、光軸ずれ量分の位置補正を行う(S22)。例えば右画像×nフレーム49の位置を固定し、左画像48の左上原点位置を光軸ずれ量分ずらして視差画像55作成処理を行えば良い。
その後、再びフレーム差分、背景差分の2値化しきい値を算出し(図2、S4)、S4からS22を繰り返す。
このように本発明によれば、十分な精度で光軸ずれ補正処理を実施できない場合や、ステレオ画像処理による被写体の特徴検出処理を行っても十分な視差の検出されない被写体について、フレーム差分抽出手段と背景差分抽出手段により、ステレオ画像処理を補間し、安定的な被写体検出を実現することができる。
(本発明の第2の実施の形態)
次に本発明の第2の実施の形態について、図10乃至図15を用いて説明する。第2の実施の形態は、第1の実施の形態の車両特徴画像作成手段62をさらに詳しくしたものであり、第2の実施の形態を説明するために、図11乃至図15に示すように3台の車両(111,112,113)が撮影されている場合について述べる。他の構成は第1の実施の形態と同じである。
【0012】
図10において車両特徴画像作成手段62はさらに、2値化画像論理和演算手段621、フレーム差分2値化・高さ算出2値化画像622、2値化画像論理籍演算手段623によって構成されている。
(実施の形態2における動作の説明)
実施の形態2においても、初期作成登録処理は同じで、図2のS3までの流れは同じである。
また、フレーム差分・背景差分2値化しきい値の算出(S4)も実施の形態1と同様に行う。
次に、フレーム差分、2値化、収縮膨張(S5)の処理を行う。フレーム差分、2値化、収縮膨張(S5)の処理は、主に、フレーム差分2値化手段59によって実行される。第1の実施の形態の説明で述べたように、右画像×nフレーム49の画像を用いてフレーム差分を実行すると、図11のように、車両75と影の一部76が検出されるが、画素の膨張収縮を行うことにより、影の一部76を除去することが出来、車両を検出した75のみを残すことが出来る。
次に、背景差分、2値化(S6)の処理を行うと、図12に示すように、車両と車両の影の両方を検出する。背景差分、2値化(S6)の処理は、背景差分2値化手段61によって行われる。
次に、視差算出、高さ算出、2値化、収縮膨張(S7)の処理を行う。この処理は、視差算出手段44、高さ算出2値化手段45によって実行される。この際、高さ算出2値化によって、図13に示すように、車両78、車両の影80、白線79が検出される。さらに、高さ算出2値化処理によって検出された画素に対し、境界にある画素を全て背景成分の画素に変換して1画素分縮める収縮処理と、境界にある画素を全て検出された画素に変換して1画素分膨らませる膨張処理を実行する。これにより、80のような車両の影を検出した画素は除去されるが、79のような路肩や中央分離帯側の白線を検出した画素は除去されないで残ってしまう場合がある。また、遠方に存在する車両111は十分な視差が検出できないため、高さ算出2値化処理では検出できない。
次に、車両特徴画像の作成(S8)について述べる。車両特徴画像の作成(S8)は、車両特徴作成手段62によって実行され、その内部を図10に示している。フレーム差分2値化画像52の内部には、図11で示す車両の部分75が記録されている。また、高さ算出2値化画像57の内部には、図13に示す車両の部分78と白線の部分79が記録されている。
2値化画像論理和演算手段621によって、フレーム差分2値化画像52と高さ算出2値化画像57の論理和をとると、図14に示すように、車両の部分81と、白線の部分79が検出される。その結果は、フレーム差分2値化・高さ算出2値化画像622に記録される。
次に、背景差分2値化画像54の内部には、図12に示す車両と影の部分77が記録されているので、2値化画像論理席演算手段623によって、フレーム差分2値化・高さ算出2値化画像622と背景差分2値化画像54の論理積を取ると、図15に示すように、白線の部分83は除去され、車両の部分82が残る。
ラベリング、車両認識(車両条件判定)(S9)以下の処理は実施の形態1と同じである。
ここで、図15において、車両112について検討すると、車両112の上部のエッジに近い部分は、フレーム差分、2値化、収縮膨張(S5)の結果である図11の車両の部分75が反映され(図の黒の丸印)、車両112の下辺のエッジに近い部分は、視差算出、高さ算出、2値化、収縮膨張(S7)の結果である、図13の車両の部分78が主に反映されている(図の黒の斜め四角印)ことが分かる。
車両113のように、車両が近くにある場合は高さ算出の結果を主に用い、車両が遠くにある場合は、フレーム差分の結果を用いることにより、車両113や車両111を検出することができるが、車両が遠くにあるのか近くにあるのかをあらかじめ知る必要がある。
しかし、本願のように、フレーム差分の結果と高さ算出の結果の論理和に背景差分の論理積をとることにより、車両が近くから遠くのどこにあっても車両を検出することが出来る。
なお、本発明においてはフレーム差分処理と背景差分処理という記述をしたが、これは階調画像データに限定せず、例えば微分画像データについて同様に実施しても良いことは言うまでも無い。
【産業上の利用可能性】
【0013】
本発明は、道路上に設置し、通行する車両の台数、速度等を計測する車両検出装置に関し、ステレオカメラの光軸ずれが生じても遠方まで高精度に車両を検出する車両検出装置に利用することができる。
【技術分野】
【0001】
本発明は、道路上に設置し、通行する車両の台数、速度等を計測する、ステレオ画像処理を用いた車両検出装置に関するものである。
【背景技術】
【0002】
従来、画像処理による車両検出装置においては、1台のカメラの画像を処理して車両を検出し、台数、速度計測を行っていた。この「単眼画像処理による車両検出装置」では、画像の時間的、空間的輝度変化で車両を検出しているため、走行車両以外による輝度変化(たとえば夜間のヘッドライトの道路面反射、日差しや照明による影等)に対して誤検出を起こすという課題や、車両が長時間停止した際に車両が検出できなくなるという課題があった。そこで近年、この課題を解決するために、2台のカメラの画像を処理して車両を検出し、台数、速度計測を行う「ステレオ画像処理による車両検出装置」が開発された(特許文献1の図1、図2及び[0024]段〜[0026]段参照)。
次に、ステレオ画像方式の原理を説明する。
図10は、ステレオ画像方式の原理を示す図である。図10において、左カメラ1、右カメラ2は平行に配置されている。このとき、光軸6,7は平行に配置される。左カメラ1の画像は画像4のように撮像され、右カメラ2の画像は画像5のように撮像されるので、両者の画像から得られる「視差」をもとに対象物までの距離を計算することができる。
すなわち、対象物までの距離を「D」、カメラ1、2間の距離を「B」、カメラ1,2の焦点距離を「f」、視差を「P」とすると、
D=(B×f)/P
の計算式で対象物までの距離を求めることができる。
このように、ステレオ画像方式の車両検出装置を用いることにより、走行車両以外による輝度変化に対して誤検出を起こすことや、車両が長時間停止して車両を見失うことなく車両を検出し、台数、速度計測を行うことが可能となる。
【0003】
従来の車両検出装置を、図17により説明する。
図17において、本装置は先ず、左画像入力手段21から入力した画像を基準左画像30として登録し、右画像入力手段22から入力した画像を基準右画像31として登録する。 次に、基準左画像30および基準右画像31が登録されると基準左画像30および基準右画像31と新たに撮像された左画像28および右画像29をもとに、光軸ずれ量算出手段23によって光軸ずれ量が算出されて視差算出手段24に出力され、視差算出手段24において光軸ずれ補正が実施された視差画像32が作成される。
また視差算出手段24が基準左画像30および基準右画像31を用いて作成した視差画像32を用いて高さゼロに相当する視差画像を作成することが可能であり、これを基準視差画像33として登録する。基準視差画像33の作成方法としては、路面のような基準面を平面と仮定して高さゼロとなるべき点の高さ誤差が最小となる視差平面を作成する方法としても良いし、高さゼロとなるべき点の視差を用いてその他の点の視差を線形補間等の補間処理を用いて算出する方法としても良い。以上、基準左画像30、基準右画像31、基準視差画像33の3画像を登録することにより、初期登録を終了する。次に、実際の車両検出処理について説明する。
【0004】
左画像入力手段21の画像を、画像格納手段27の左画像28に格納し、右画像入力手段22の画像を、画像格納手段27の右画像29に格納する。光軸ずれ量算出手段23により左画像28と基準左画像30とを比較するとともに、右画像29と基準左画像31とを比較して光軸ずれ量を算出する。視差算出手段24により、左画像28と右画像29をもとに光軸ずれ量算出手段23の光軸ずれ量を加味して視差を算出する。
高さ算出2値化手段25は、視差算出手段24の視差画像32と、基準視差画像作成手段26で作成された基準視差画像33から高さ算出2値化画像34を作成する。算出された高さを2値化するしきい値は、予め設定しておく。この高さ算出2値化画像34をもとに車両認識手段35により車両を認識する。これら画像の格納から車両認識までの一連の処理を一定周期で画像を撮像する毎に実施することにより、撮像された画像毎に車両が認識される。
車両追跡手段36は、画像毎に認識された車両について位置、輝度、形状、テクスチャ等の特徴量を用いて対応付けを行い、車両識別番号を付与して追跡処理を実施する。そして交通量計測手段37により、一定時間内の車両の台数と速度等を計測する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平9−297849号公報
【特許文献2】特開平11−259632号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら上記従来例では、図16に示した左カメラ1と右カメラ2の平行条件すなわち光軸6,7の平行条件が正確に維持される必要があり、光軸ずれが発生した場合は光軸ずれ量算出手段23によって光軸ずれ量が正確に算出されて視差算出手段24において視差画像32が作成されねばならない。
ステレオカメラのレンズ間の距離をB,ステレオカメラのレンズを結ぶえぴポーラ線と物体までの距離をD,カメラの焦点距離をf、左カメラの物体の視差をp1、右カメラの物体の視差をp2とすると、
P=p1+p2としたとき、
D:B=f:P
がなりたつので、
D=(B×f)/P
の関係が成り立つ。
カメラ1、2間の距離Bは装置の大きさの制約より大きくするには限界があるため、対象物までの距離Dが大きくなると、Pすなわち視差が小さくなってしまう。
【0007】
このため、遠方の車両を検出しようとすると、小さな視差で距離測定を行う必要があるため、光軸ずれの影響が大きくなり、極めて高い精度で光軸ずれ補正を実施せねばならない、という課題があった。
また、たとえ光軸6,7の平行条件が正確に維持されていたとしても、十分な精度で視差Pを算出することは難しく、測定可能な対象物までの距離Dには限界がある、という課題もあった。
【課題を解決するための手段】
【0008】
本発明は上記課題を解決するものであり、2台のカメラによるステレオ画像処理手段と、前記カメラの1台分の複数フレームからフレーム差分処理を行うフレーム差分抽出手段と、基準となる背景画像と現在の画像との差分を抽出する背景差分抽出手段と、前記フレーム差分抽出手段の画像と前記ステレオ画像処理手段との論理和とその結果と前記背景差分抽出手段の画像との論理積を車両特徴画像とする車両特徴画像作成手段とを備えたことを特徴とする構成としたものである。
【発明の効果】
【0009】
本発明のステレオ画像処理を用いた車両検出装置は、十分な精度で光軸ずれ補正処理を実施できない場合や、ステレオ画像処理による被写体の特徴検出処理を行っても十分な視差の検出されない被写体について、フレーム差分抽出手段と背景差分抽出手段により、ステレオ画像処理を補間し、安定的な被写体検出を実現することができる、という効果を有する。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施例による車両検出装置のブロック図
【図2】同実施例による車両検出装置のフローチャート
【図3】同実施例による車両検出装置のフローチャート
【図4】フレーム差分のみによる画像データ図
【図5】背景差分のみによる画像データ図
【図6】高さ算出のみによる画像データ図
【図7】フレーム差分と高さ算出の論理和による画像データ図
【図8】図5と図7の論理積による画像データ図
【図9】ラベリング、車両認識を示す図
【図10】は本発明の第2の実施の形態における車両検出装置のブロック図。
【図11】は本発明の第2の実施の形態におけるフレーム差分のみによる画像データ図
【図12】本発明の第2の実施の形態における背景差分の画像データ図
【図13】本発明の第2の実施の形態における高さ算出の画像データ図
【図14】本発明の第2の実施の形態におけるフレーム差分と高さ算出による画像データ図
【図15】本発明の第2の実施の形態における図11と図14の論理積による画像データ図
【図16】は一般のステレオ画像処理の原理を示す図
【図17】は従来例による車両検出装置のブロック図
【発明を実施するための形態】
【0011】
(本発明の第1の実施の形態)
(構成の説明)
本発明の一実施例による車両検出装置の構成を説明する。図1は本発明の一実施例による車両検出装置のブロック図である。
図1において、左画像入力手段41は左カメラ1の画像データを入力し、右画像入力手段42は右カメラ2の画像データを入力するものである。
画像格納手段47は画像データ等の各種データを格納するものである。左画像48は左画像入力手段41の画像データを格納し、右画像×nフレーム49は右画像入力手段42の画像データをnフレーム格納するものである。基準左画像50は車両検出装置の初期登録時の左画像のデータである。基準右画像51は車両検出装置の初期登録時の右画像のデータである。フレーム差分2値化画像52は、右画像×nフレーム49のデータをもとにフレーム差分2値化手段59によって作成されたフレーム差分2値化データを格納する。背景画像53は、右画像×nフレーム49のデータをもとに背景画像作成手段60によって作成された背景画像データを格納する。背景差分2値化画像54は、右画像×nフレーム49のデータと背景画像53をもとに背景差分2値化手段61によって作成された背景差分2値化画像データを格納する。視差画像55は、左画像48、右画像×nフレーム49、光軸ずれ量算出手段43によって算出された光軸ずれ量をもとに視差算出手段44によって作成された視差画像データを格納する。基準視差画像56は、車両検出装置の初期登録時に基準左画像50、基準右画像51をもとに基準視差画像作成手段46によって作成された視差画像データを格納する。高さ算出2値化画像57は、視差画像55、基準視差画像56をもとに高さ算出2値化手段45によって作成された高さ算出2値化画像データを格納する。車両特徴画像58は、フレーム差分2値化画像52、背景差分2値化画像54、高さ算出2値化画像57をもとに車両特徴画像作成手段62によって作成された車両特徴画像データを格納する。
車両認識手段63は、車両特徴画像58からラベリングを行い、車幅、車長等の条件を満たした場合は車両を認識する。車両追跡手段64は、画像毎に認識された車両について位置、輝度、形状、テクスチャ等の特徴量を用いて対応付けを行い、車両識別番号を付与して追跡処理を実施する。交通量計測手段65は、車両追跡手段64の車両追跡結果をもとに一定時間内の車両の台数と速度等を計測する。またこの台数、速度により、通常流と渋滞流の判断や、停止車両の検出を行う。
(動作の説明)
次に、本発明の一実施例による車両検出装置の動作を説明する。
図2、図3は本発明の一実施例による車両検出装置のフローチャート、図4はフレーム差分のみによる画像データ図、図5は背景差分のみによる画像データ図、図6は高さ算出のみによる画像データ図、図7はフレーム差分と高さ算出の論理和による画像データ図、図8は図5と図7の論理積による画像データ図である。
まず最初に、初期作成登録処理について説明する。図2、3において、本装置は先ず、左画像入力手段41から基準左画像50の登録を行い、右画像入力手段42から基準右画像51の登録を行い、基準視差画像作成手段46にて基準左画像50、基準右画像51をもとに基準視差画像56を作成し登録を行う(ステップ2、以下「S2」と記す)。たとえば、基準視差画像56は、基準面を路面の様な平面と仮定して高さゼロとなるべき点の高さ誤差が最小となる視差平面を作成する方法としても良いし、高さゼロとなるべき点の視差を用いてその他の点の視差を線形補間等の補間処理を用いて算出する方法としても良い。次に背景画像作成手段60が、右画像×nフレーム49をもとに初期背景画像を作成し、背景画像53に格納する(S3)。以上で初期作成登録処理を終了する。
次に、車両認識処理を開始する。新たに撮像した右画像×nフレーム49、背景画像53をもとに、フレーム差分2値化手段59、背景差分2値化手段61はフレーム差分および背景差分2値化のしきい値を算出する(S4)。2値化しきい値の算出方法は、例えば画像をM×N個(M、Nは正の整数)のブロックに分割し、ブロック毎にKフレーム(Kは正の整数)に亘ってフレーム差分値の標準偏差σfと背景差分値の標準偏差σbを算出する。これに補正係数p、q(p、qは正の実数)を掛けたp×σfをフレーム差分2値化しきい値、q×σbを背景差分2値化しきい値とする方法が考えられる。
右画像入力手段42にて入力された右画像×nフレーム49の複数フレームと、前記算出されたフレーム差分2値化しきい値を用いて、フレーム差分2値化手段59はフレーム差分2値化画像52を作成する(S5)。図4において71は遠くの車両、72は近くの車両、73は路肩の白線、74は中央分離帯側の白線、75および76はフレーム差分2値化処理によって検出された画素を示す。車両の動きによって得られるフレーム差分は車両を撮影した画像が複雑なため、フレーム差分を取ると車両の至る所で差分が検出されるので、フレーム差分75は画素が塊になっている。一方、車両の影によって得られるフレーム差分は、影の画像が単調なため、フレーム差分をとっても影の内部では差分が検出されない。このため、フレーム差分76は、影が動いた結果得られる影の差のみになっている。
ここでフレーム差分2値化手段59は、フレーム差分2値化処理によって検出された画素の塊に対し、画素の塊の境界にある画素を全て背景成分の画素に変換して1画素分縮める収縮処理と、画素の塊の境界にある画素を全て検出された画素に変換して1画素分膨らませる膨張処理を実行する。これにより、車両の影を検出した76は除去され、車両を検出した75のみとすることができる。
次に、右画像入力手段42にて入力された右画像×nフレーム49の複数フレーム、背景画像53と、前記算出された背景差分2値化しきい値を用いて、背景差分2値化手段61は背景差分2値化画像54を作成する(S6)。図5において77は背景差分2値化処理によって検出された画素を示す。背景差分2値化処理においては車両の影を除去する処理を実行しないため、車両と車両の影の両方を検出する。
次に、左画像入力手段41にて入力された左画像40、右画像入力手段42にて入力された右画像×nフレーム49、光軸ずれ量算出手段43によって算出された光軸ずれ量を用いて視差算出手段44が視差画像55を作成し、視差画像55と基準視差画像56を用いて高さ算出2値化手段57は高さ算出2値化画像57を作成する(S7)。図6において78、79、80は高さ算出2値化処理によって検出された画素を示す。高さ算出2値化処理の場合、視差画像55において高さの検出された画素しか検出しないため、路面に存在する特徴は検出しない。但し、ステレオカメラの光軸ずれが発生し、十分な精度で光軸ずれ補正ができないと、79のような路肩や中央分離帯側の白線、また80のような車両の影の輪郭部分を検出してしまう場合がある。ここで高さ算出2値化手段57は、高さ算出2値化処理によって検出された画素に対し、境界にある画素を全て背景成分の画素に変換して1画素分縮める収縮処理と、境界にある画素を全て検出された画素に変換して1画素分膨らませる膨張処理を実行する。これにより、80のような車両の影を検出した画素は除去されるが、79のような路肩や中央分離帯側の白線を検出した画素は除去されないで残ってしまう場合がある。また、遠方に存在する車両71は十分な視差が検出できないため、高さ算出2値化処理では検出できない。
フレーム差分2値化画像52、背景差分2値化画像54、高さ算出2値化画像57を用いて、車両特徴画像作成手段62は車両特徴画像58を作成する(S8)。図7は、フレーム差分2値化画像52と高さ算出2値化画像57の論理和演算を行った画像である。81は車両を検出した画素、79は光軸ずれによって路肩や中央分離帯の白線を検出した画素を示す。一方、図8は図7と背景差分2値化画像54との論理積演算を行った車両特徴画像58である。車両特徴画像58では遠くの車両71と近くの車両72が82として検出される。一方、83は背景差分2値化画像54との論理積演算により除去された画素を示しており、図7にて路肩の白線73や中央分離帯側の白線74を検出した79は、この段階で除去される。なお、背景差分2値化処理は長時間の停止車両が存在した場合、背景画像作成手段60によって作成される背景画像53に長時間停止車両を取り込み、停止車両を検出できなくなるため、交通量計測手段65が渋滞流または停止車両を検出した場合、車両特徴画像作成手段62は背景差分2値化画像54との論理積演算を行わないで車両特徴画像58を作成する。
フローチャート図2に戻る。車両認識手段63は、車両特徴画像58において図9のようにラベリング84を作成し、車幅、車長等の条件を満たした場合は車両として認識する(S9)。
車両追跡手段64は、車両認識手段63によって認識した車両の近傍に過去に登録され、輝度、形状、テクスチャ等の特徴量が類似する車両が存在するかどうかを探索する(S10、S11)。そして、該当する登録車両が存在する場合は認識車両と登録車両とを対応付け、該当する登録車両が存在しない場合は車両識別番号を付与して認識車両を新規に登録する(S13)。更に車両追跡手段64は認識した車両が速度算出条件を満たしているか否かを判別する(S14)。速度算出は最低2回、同一車両を認識している必要があるが、同一車両の認識回数が多くなるほど速度算出精度も向上するため、必要な速度精度に合わせて同一車両認識回数を速度算出条件として設定すれば良い。認識した車両が速度算出条件を満たしている場合は速度を算出し(S15)、満たしていない場合は速度算出を行わない。また車両追跡手段64は、認識した車両と対応付けされなかった登録車両が存在した場合は、それを削除する(S18)。
交通量計測手段65は、認識した車両が交通量計測点に到達したか否かを判定し(S16)、到達した場合は台数計測、速度登録を行う(S17)。更にはこの台数、速度により、通常流と渋滞流の判断や、停止車両の検出を行う。
この後、背景画像作成手段60は背景画像53の更新を行う(S19)。背景画像の更新は、右画像×nフレーム49と背景画像53との重み付け加算処理によって行う。この重み量は、交通量計測手段65による通常流と渋滞流の判断や、停止車両の検出結果を加味して変動させても良い。
次に、光軸ずれ量算出手段43は基準左画像50、基準右画像51を用いて左右カメラの光軸ずれ量を算出し(S20)、光軸ずれ量が予め定めたしきい値より大きいか否かを判別する(S21)。光軸ずれ量がしきい値より大きい場合は、算出された光軸ずれ量を視差算出手段44へ出力する。視差算出手段44は、光軸ずれ量算出手段43から光軸ずれ量を受信した以降は、左画像48と右画像×nフレーム49から視差画像55を算出する際、光軸ずれ量分の位置補正を行う(S22)。例えば右画像×nフレーム49の位置を固定し、左画像48の左上原点位置を光軸ずれ量分ずらして視差画像55作成処理を行えば良い。
その後、再びフレーム差分、背景差分の2値化しきい値を算出し(図2、S4)、S4からS22を繰り返す。
このように本発明によれば、十分な精度で光軸ずれ補正処理を実施できない場合や、ステレオ画像処理による被写体の特徴検出処理を行っても十分な視差の検出されない被写体について、フレーム差分抽出手段と背景差分抽出手段により、ステレオ画像処理を補間し、安定的な被写体検出を実現することができる。
(本発明の第2の実施の形態)
次に本発明の第2の実施の形態について、図10乃至図15を用いて説明する。第2の実施の形態は、第1の実施の形態の車両特徴画像作成手段62をさらに詳しくしたものであり、第2の実施の形態を説明するために、図11乃至図15に示すように3台の車両(111,112,113)が撮影されている場合について述べる。他の構成は第1の実施の形態と同じである。
【0012】
図10において車両特徴画像作成手段62はさらに、2値化画像論理和演算手段621、フレーム差分2値化・高さ算出2値化画像622、2値化画像論理籍演算手段623によって構成されている。
(実施の形態2における動作の説明)
実施の形態2においても、初期作成登録処理は同じで、図2のS3までの流れは同じである。
また、フレーム差分・背景差分2値化しきい値の算出(S4)も実施の形態1と同様に行う。
次に、フレーム差分、2値化、収縮膨張(S5)の処理を行う。フレーム差分、2値化、収縮膨張(S5)の処理は、主に、フレーム差分2値化手段59によって実行される。第1の実施の形態の説明で述べたように、右画像×nフレーム49の画像を用いてフレーム差分を実行すると、図11のように、車両75と影の一部76が検出されるが、画素の膨張収縮を行うことにより、影の一部76を除去することが出来、車両を検出した75のみを残すことが出来る。
次に、背景差分、2値化(S6)の処理を行うと、図12に示すように、車両と車両の影の両方を検出する。背景差分、2値化(S6)の処理は、背景差分2値化手段61によって行われる。
次に、視差算出、高さ算出、2値化、収縮膨張(S7)の処理を行う。この処理は、視差算出手段44、高さ算出2値化手段45によって実行される。この際、高さ算出2値化によって、図13に示すように、車両78、車両の影80、白線79が検出される。さらに、高さ算出2値化処理によって検出された画素に対し、境界にある画素を全て背景成分の画素に変換して1画素分縮める収縮処理と、境界にある画素を全て検出された画素に変換して1画素分膨らませる膨張処理を実行する。これにより、80のような車両の影を検出した画素は除去されるが、79のような路肩や中央分離帯側の白線を検出した画素は除去されないで残ってしまう場合がある。また、遠方に存在する車両111は十分な視差が検出できないため、高さ算出2値化処理では検出できない。
次に、車両特徴画像の作成(S8)について述べる。車両特徴画像の作成(S8)は、車両特徴作成手段62によって実行され、その内部を図10に示している。フレーム差分2値化画像52の内部には、図11で示す車両の部分75が記録されている。また、高さ算出2値化画像57の内部には、図13に示す車両の部分78と白線の部分79が記録されている。
2値化画像論理和演算手段621によって、フレーム差分2値化画像52と高さ算出2値化画像57の論理和をとると、図14に示すように、車両の部分81と、白線の部分79が検出される。その結果は、フレーム差分2値化・高さ算出2値化画像622に記録される。
次に、背景差分2値化画像54の内部には、図12に示す車両と影の部分77が記録されているので、2値化画像論理席演算手段623によって、フレーム差分2値化・高さ算出2値化画像622と背景差分2値化画像54の論理積を取ると、図15に示すように、白線の部分83は除去され、車両の部分82が残る。
ラベリング、車両認識(車両条件判定)(S9)以下の処理は実施の形態1と同じである。
ここで、図15において、車両112について検討すると、車両112の上部のエッジに近い部分は、フレーム差分、2値化、収縮膨張(S5)の結果である図11の車両の部分75が反映され(図の黒の丸印)、車両112の下辺のエッジに近い部分は、視差算出、高さ算出、2値化、収縮膨張(S7)の結果である、図13の車両の部分78が主に反映されている(図の黒の斜め四角印)ことが分かる。
車両113のように、車両が近くにある場合は高さ算出の結果を主に用い、車両が遠くにある場合は、フレーム差分の結果を用いることにより、車両113や車両111を検出することができるが、車両が遠くにあるのか近くにあるのかをあらかじめ知る必要がある。
しかし、本願のように、フレーム差分の結果と高さ算出の結果の論理和に背景差分の論理積をとることにより、車両が近くから遠くのどこにあっても車両を検出することが出来る。
なお、本発明においてはフレーム差分処理と背景差分処理という記述をしたが、これは階調画像データに限定せず、例えば微分画像データについて同様に実施しても良いことは言うまでも無い。
【産業上の利用可能性】
【0013】
本発明は、道路上に設置し、通行する車両の台数、速度等を計測する車両検出装置に関し、ステレオカメラの光軸ずれが生じても遠方まで高精度に車両を検出する車両検出装置に利用することができる。
【特許請求の範囲】
【請求項1】
複数のカメラによるステレオ画像処理手段と、
前記複数カメラの複数フレームからフレーム差分処理を行うフレーム差分抽出手段と、
基準となる背景画像と現在の画像との差分を抽出する背景差分抽出手段と、
前記フレーム差分抽出手段の結果と前記ステレオ画像処理手段の結果との論理和との結果と、前記背景差分抽出手段の結果との論理積を車両特徴画像とする車両特徴画像作成手段とを備えた車両検出装置。
【請求項2】
複数のカメラによるステレオ画像処理により高さを算出する高さ算出手段と、
前記複数のカメラの複数フレームからフレーム差分処理を行うフレーム差分手段と、
基準となる背景画像と現在の画像との差分を抽出する背景差分手段と、
前記フレーム差分手段によって作成されたフレーム差分画像と前記高さ算出手段によって作成された高さ算出画像との論理和との結果画像と、前記背景差分手段によって作成された背景差分画像との論理積を車両特徴画像とする車両特徴画像作成手段とを備えた車両検出装置。
【請求項3】
前記フレーム差分2値化画像に対して、図形成分の境界にある画素の値を全て背景成分の画素の値に変換して1画素分縮める収縮処理手段と、
図形成分の境界にある画素の値を全て図形成分の画素の値に変換して1画素分膨らませる膨張処理手段と、
を備えた請求項1または2記載の車両検出装置。
【請求項4】
前記高さ算出2値化画像に対して、図形成分の境界にある画素の値を全て背景成分の画素の値に変換して1画素分縮める収縮処理手段と、
図形成分の境界にある画素の値を全て図形成分の画素の値に変換して1画素分膨らませる膨張処理手段と、
を備えた請求項1または2記載の車両検出装置。
【請求項5】
前記車両特徴画像作成手段が前記フレーム差分2値化画像と前記高さ算出2値化画像との論理和演算処理を行い、更にその結果と前記背景差分2値化画像との論理積演算処理を行うことにより車両特徴画像を作成する際において、交通量計測手段が通常流と渋滞流とを判断し、渋滞流と判断された場合は前記車両特徴画像作成手段がフレーム差分2値化画像と前記高さ算出2値化画像との論理和演算処理を行い、その結果と前記背景差分2値化画像との論理積演算処理を行わないで車両特徴画像を作成することを特徴とする請求項1から4に記載の車両検出装置。
【請求項6】
前記車両特徴画像作成手段が前記フレーム差分2値化画像と前記高さ算出2値化画像との論理和演算処理を行い、更にその結果と前記背景差分2値化画像との論理積演算処理を行うことにより車両特徴画像を作成する際において、交通量計測手段が停止車両を検出した場合は前記車両特徴画像作成手段がフレーム差分2値化画像と前記高さ算出2値化画像との論理和演算処理を行い、その結果と前記背景差分2値化画像との論理積演算処理を行わないで車両特徴画像を作成することを特徴とする請求項1から4に記載の車両検出装置。
【請求項7】
基準画像と前記カメラの画像とを比較して画像の光軸ずれ量を算出し、前記高さ算出2値化手段の算出を補正する光軸ずれ補正手段を備えた請求項1から6に記載の車両検出装置。
【請求項1】
複数のカメラによるステレオ画像処理手段と、
前記複数カメラの複数フレームからフレーム差分処理を行うフレーム差分抽出手段と、
基準となる背景画像と現在の画像との差分を抽出する背景差分抽出手段と、
前記フレーム差分抽出手段の結果と前記ステレオ画像処理手段の結果との論理和との結果と、前記背景差分抽出手段の結果との論理積を車両特徴画像とする車両特徴画像作成手段とを備えた車両検出装置。
【請求項2】
複数のカメラによるステレオ画像処理により高さを算出する高さ算出手段と、
前記複数のカメラの複数フレームからフレーム差分処理を行うフレーム差分手段と、
基準となる背景画像と現在の画像との差分を抽出する背景差分手段と、
前記フレーム差分手段によって作成されたフレーム差分画像と前記高さ算出手段によって作成された高さ算出画像との論理和との結果画像と、前記背景差分手段によって作成された背景差分画像との論理積を車両特徴画像とする車両特徴画像作成手段とを備えた車両検出装置。
【請求項3】
前記フレーム差分2値化画像に対して、図形成分の境界にある画素の値を全て背景成分の画素の値に変換して1画素分縮める収縮処理手段と、
図形成分の境界にある画素の値を全て図形成分の画素の値に変換して1画素分膨らませる膨張処理手段と、
を備えた請求項1または2記載の車両検出装置。
【請求項4】
前記高さ算出2値化画像に対して、図形成分の境界にある画素の値を全て背景成分の画素の値に変換して1画素分縮める収縮処理手段と、
図形成分の境界にある画素の値を全て図形成分の画素の値に変換して1画素分膨らませる膨張処理手段と、
を備えた請求項1または2記載の車両検出装置。
【請求項5】
前記車両特徴画像作成手段が前記フレーム差分2値化画像と前記高さ算出2値化画像との論理和演算処理を行い、更にその結果と前記背景差分2値化画像との論理積演算処理を行うことにより車両特徴画像を作成する際において、交通量計測手段が通常流と渋滞流とを判断し、渋滞流と判断された場合は前記車両特徴画像作成手段がフレーム差分2値化画像と前記高さ算出2値化画像との論理和演算処理を行い、その結果と前記背景差分2値化画像との論理積演算処理を行わないで車両特徴画像を作成することを特徴とする請求項1から4に記載の車両検出装置。
【請求項6】
前記車両特徴画像作成手段が前記フレーム差分2値化画像と前記高さ算出2値化画像との論理和演算処理を行い、更にその結果と前記背景差分2値化画像との論理積演算処理を行うことにより車両特徴画像を作成する際において、交通量計測手段が停止車両を検出した場合は前記車両特徴画像作成手段がフレーム差分2値化画像と前記高さ算出2値化画像との論理和演算処理を行い、その結果と前記背景差分2値化画像との論理積演算処理を行わないで車両特徴画像を作成することを特徴とする請求項1から4に記載の車両検出装置。
【請求項7】
基準画像と前記カメラの画像とを比較して画像の光軸ずれ量を算出し、前記高さ算出2値化手段の算出を補正する光軸ずれ補正手段を備えた請求項1から6に記載の車両検出装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2011−96216(P2011−96216A)
【公開日】平成23年5月12日(2011.5.12)
【国際特許分類】
【出願番号】特願2009−297421(P2009−297421)
【出願日】平成21年12月28日(2009.12.28)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
【公開日】平成23年5月12日(2011.5.12)
【国際特許分類】
【出願日】平成21年12月28日(2009.12.28)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]