幹線路合流情報提供システム
【課題】合流地点近くの側路にいる車両が適切かつ円滑に幹線路の流れに合流することが可能な、合流情報提供システムを提供すること。
【解決手段】本発明の幹線路合流情報提供システムは、側路と合流する幹線路上に設けられた2つのカメラにより合流地点へ向かう走行物体の時系列画像を取得し、この時系列画像上で垂直位置と前記監視領域の平面上での視差との関係を表す視差プロファイルを計算する。この視差プロファイルに基づいて、カメラから得られる画像に複数の処理領域を設定し、設定された複数の処理領域から検出された走行物体の大きさの変化、複数の処理領域の間隔から走行物体の速度を算出する。
算出された走行物体の速度から幹線路の状態情報を検知し、側路上に車両に対して表示する。
【解決手段】本発明の幹線路合流情報提供システムは、側路と合流する幹線路上に設けられた2つのカメラにより合流地点へ向かう走行物体の時系列画像を取得し、この時系列画像上で垂直位置と前記監視領域の平面上での視差との関係を表す視差プロファイルを計算する。この視差プロファイルに基づいて、カメラから得られる画像に複数の処理領域を設定し、設定された複数の処理領域から検出された走行物体の大きさの変化、複数の処理領域の間隔から走行物体の速度を算出する。
算出された走行物体の速度から幹線路の状態情報を検知し、側路上に車両に対して表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、合流地点付近の車両通行道路において幹線路の渋滞状況を側路にいる車両に伝える幹線路合流情報提供システムに関する。
【背景技術】
【0002】
一般に、車両が側路から幹線路に入る場合、どのタイミングで幹線路に入るか判断が困難である。特に側路と幹線路の合流地点付近に防音壁などが設置されており、側路側から幹線路の交通がよく見えないときには、合流地点近くの側路にいる車両が幹線路に合流するタイミングの判断が難しい。
【0003】
特許文献1には、幹線路にいて合流地点に向かう車両をカメラにより撮影して、その画像から車両位置や大きさを測定し、合流路(側路)側にいる車両にパネルに表示して状況を伝える車両情報提供システムが開示されている。
【0004】
しかし、上記カメラにより撮影して幹線路にいる車両の位置を特定できても、この車両の速度によって合流地点に入ってくる時点は変わってしまい、側路にいる車両は合流のタイミングを適切に判断することが、なお困難である。
【0005】
なお、左右2台のカメラを用いる平面投影ステレオ法により障害物対象物を検出する方法はすでに既に知られており(特許文献2)、更に対象物に対して高い位置にあるステレオカメラから撮った画像に、平面投影ステレオ法を適用する対象物検出方法も既に知られている(特許文献3)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平11−86192号公報
【特許文献2】特開2006−53890号公報
【特許文献3】特開2009−198445号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上述のような従来の、側路にいる車両の合流タイミングの判断が困難である点にかんがみてなされたもので、合流地点近くの側路にいる車両が適切かつ円滑に幹線路の流れに合流することが可能な、幹線路合流情報提供システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の請求項1によれば、側路と合流する幹線路上に設けられた2つのカメラにより前記合流の地点へ向かう走行物体の時系列画像を取得する画像取得部と、前記2つのカメラの配置に基づいて時系列画像上で垂直位置と前記監視領域の平面上での視差との関係を表す視差プロファイルを計算する視差プロファイル計算部と、前記視差プロファイルに基づいて、前記カメラから得られる画像の複数の処理領域を設定する処理領域設定部と、この処理領域設定部により得られた複数の処理領域における画像中の走行物体を検出する走行物体検出部と、この走行物体検出部により検出された、各処理領域における走行物体の大きさを検出する走行物体大きさ検出部と、この走行物体大きさ検出部により検出された前記処理領域における大きさの変化及び前記処理領域の間隔から前記走行物体の速度を算出する運動情報推定部と、前記走行物体検出部により検出された走行物体の数及び前記運動情報推定部により算出された前記走行物体の速度から検知された前記幹線路の渋滞状態を、前記側路上に表示する幹線路情報表示部とを有することを特徴とする幹線路合流情報提供システムを提供する。
【発明の効果】
【0009】
本発明によれば、合流地点近くの側路にいる車両が適切かつ円滑に幹線路の流れに合流することが可能な幹線路合流情報提供システムが得られる。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施形態に係る幹線路合流情報提供システムの構成を示す図である。
【図2】本発明一実施形態の幹線路合流情報提供システムの動作を説明するためのフローチャートを示す図である。
【図3】本発明の一実施形態における、幹線路と左右カメラの関係を示す図である。
【図4】本発明の一実施形態における、側路と幹線路情報を示す表示板の関係を示す図である。
【図5】本発明一実施形態における幹線路合流情報提供システムの座標系を説明するための図である。
【図6】本発明一実施形態において左右のカメラにより撮像した画像及び変換した画像の例を示す図である。
【図7】本発明一実施形態において、処理領域の設定を説明するための図である。
【図8】本発明一実施形態における処理領域が3つ設定される様子を示す図である。
【図9】本発明一実施形態における走行物体検出部の構成例を示す図である。
【図10】本発明一実施形態において、処理領域の境界線位置の設定される様子を説明するための図である。
【図11】本発明の走行物体の形状が決定される様子を説明するための図である。
【図12】本発明一実施形態における運動情報推定部の構成例を示す図である。
【図13】本発明の一実施形態において、四輪車と二輪車の処理領域が決定される様子を示す図である。
【図14】本発明一実施形態において、幹線路上に走行物体がいないとき、側路の表示板に表示される文言の例を示す図である。
【図15】本発明の一実施形態において、幹線路が渋滞しているとき、側路の表示板に表示される文言の例を示す図である。
【図16】本発明の一実施形態において、幹線路に車両3台が合流地点に向かってきているとき、側路の表示板に表示される文言の例を示す図である。
【図17】本発明の一実施形態において、幹線路に二輪車が合流地点に向かってきているとき、側路の表示板に表示される文言の例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について、詳細に説明する。本発明一実施形態の幹線路合流情報提供システムの構成例を図1に示す。この実施形態の幹線路合流情報提供システム11は、幹線路上を走行する車両(走行物体)の画像を取得する画像取得部12と、この画像取得部により得られた左画像と右画像から視差プロファイルを計算する視差プロファイル計算部13と、計算された視差プロファイルから処理領域を設定する処理領域設定部14と、幹線路を走行する走行物体を検出する走行物体検出部15と、走行物体の運動情報を推定する運動情報推定部16と、幹線路上の走行物体の数やそれらの速度などから幹線路における渋滞の程度の情報を側路上に設けられた表示板に表示する幹線路情報表示部17とを有する。
【0012】
画像取得部12は、合流地点32近くの幹線路31上に所定の高さHでほぼ水平に設置された左カメラ17aと右カメラ17bと、これら左右のカメラから得られた画像を処理する画像処理部18を有する。左カメラ17aと右カメラ17bは、例えば図3に示すように、幹線路31を挟んだ支柱の梁に、合流地点32に向かって走行して来る走行物体33が撮像されるように設けられている。合流地点32において側路34は幹線路31に合流する。走行物体35が側路34から合流地点32に向かう様子を図4に示す。例えば側路34を挟んだ支柱の梁に、表示装置36が設けられる。
【0013】
図5にこの実施形態の座標系が示される。実空間の水平方向の座標はXで表され、奥行きの座標はZで表される。画像座標系の水平方向の座標はxで表され、垂直方向の座標はyで表される。
【0014】
左カメラ17aと右カメラ17bにより撮像して得られる左右の時系列画像は、先に調整(rectification)される。
【0015】
左カメラ17a、右カメラ17bにより各時点で得られる画像の例を図6(a)、図6(b)に示す。図6(c)は、図6(b)に示す右画像のアフィン画像である。左右の画像は画像処理部18で画像処理される。カメラが幹線路上、無視できない高さに設けられているので、画像垂直方向における監視領域平面の視差のプロファイルを、視差プロファイル計算部13において予め計算する。
【0016】
画像の水平方向をx、垂直方向をyとし、検出の対象物(走行物体)の実空間上の高さHを設定して、走行物体33を検出したい画像上のy座標位置ydに着目する。道路面上の視差プロファイルから検出位置ydにおける視差を求め、実空間の高さHに対して画像中の高さhを求める。
【0017】
上記の座標位置ydと画像中の高さhを用い、上下にマージンを取ることにより、処理領域のy方向の位置及び長さを決定する。x方向の長さは予め設定されている監視領域のx方向の幅により決定される。そしてこの処理領域を、すべてのy座標値に対して設定する。この処理は処理領域設定部14において行われる。なお、y方向に対して所定間隔で間引くことによって計算量を減らすことができる。
【0018】
このようにして求めた複数の処理領域に対して、平面投影ステレオ法により監視領域平面と走行物体の境界線を検出する。処理領域における上端と境界線の間におけるエッジ密度が所定値以上大きい領域を、走行物体の存在領域とする。
【0019】
そして、各処理領域における走行物体の存在領域を統合し、y座標値がほぼ同じである領域が、x方向に或る一定以上の幅を有するとき、走行物体を検出する。この処理は走行物体検出部15において行われる。走行物体運動情報推定部16では、検出された走行物体を、画像上の走行物体の存在領域のテクスチャ情報を用いて追跡することにより、走行物体の位置と速度を推定する。これらの各部における処理は、例えば、記録媒体に記録されたプログラムをコンピュータが実行することによりなされる。
【0020】
この実施形態における合流情報提供システムの座標系を図5に示す。実空間の水平方向の座標はXで表され、奥行き方向の座標はZで表される。また、画像座標系の水平方向の座標はxで表され、垂直方向の座標はyで表される。
【0021】
ここで、各部における具体的な処理について説明する。
【0022】
<視差プロファイル計算部13>
上述のように、図6(a)は左カメラ17aにより取得された左画像Lの例であり、図6(b)は右カメラ17bにより取得された右画像Rの例である。図6(c)は、右画像をアフィン変換して得られる右アフィン画像ARである。
【0023】
図6(a)及び図6(b)に示すように、監視領域平面上の点Pに対応する点の左画像Lにおける位置を(xl、yl)、右画像Rでの位置を(xr、yr)、とすると、両位置は、おおよそ次の式1に示される関係となる。
【数1】
【0024】
すなわち、左画像Lと右アフィン画像ARとでは、監視領域平面上のパターンの位置が同じになる。このときのアフィン変換のパラメータはキャリブレーションにより予め求めておく。
【0025】
この対応関係から次の式2に示すように、画像のy座標に対する監視領域平面上の視差dを計算できる。また、監視領域平面におけるy方向の視差プロファイルdplanar(v)を求める。
【0026】
d=xlーxr =ayr+b ・・・・ 式2
<処理領域設定部14>
走行物体の平均的な高さを基準値Hとして予め設定する。この基準値Hは、走行物体の種類に応じて適切な値を用いることができる。
【0027】
図7(a)に示すように走行物体を検出したい位置の画像上のy座標をydとする。このy座標値ydの位置に走行物体が存在する場合、その走行物体の視差dは、次の式3により求められる。
【0028】
d=dplanar(yd) ・・・・・式3
また、ydにおける実空間の高さHに対応する画像中の高さhを計算する。図7(b)に示すように、上端位置を(yd−h)、下端位置をydに設定する。更に視差dに応じて決定される、上方向にe1、下方向にe2の長さ分、上下に拡張し、上端位置を(yd−h−e1)と、下端位置を(yd+e2)を決定する。
【0029】
処理領域の左端位置は下端位置における監視領域のx方向位置であるxl、右端位置はxrとする。
【0030】
上述の処理によって処理領域を決定する。同様にすべてのy座標値に対して処理領域を設定することにより、監視領域71全体の処理領域72を設定する。なお、処理領域の個数を減らすことによって計算量を減らすことができる。
【0031】
この実施形態では、図8に示すように、3つの処理領域71a、71b、71cを設定した場合を示している。処理領域の間隔は違っていても同じであってもよい。
【0032】
<走行物体検出部15>
走行物体検出部15の構成例を図9に示す。この走行物体検出部15は、走行物体33の存在を検出する存在領域検出部91と、走行物体33の位置を検出する位置検出部92と、走行物体の形状を検知する形状大きさ検知部93とを有する。
【0033】
存在領域検出部91は、まず処理領域設定部14において設定された各処理領域に対して監視領域の平面と走行物体33の境界線を検出する。例えば図8に示す処理領域71bに対して境界線75bを検出する。境界線を検出する方法は、どのような方法であってもよい。例えば特開2006−53890に開示された方法を用いる。
【0034】
次に、縦方向に関するSobelフィルタを用いてエッジ画像を検出する。処理領域の上端位置と境界線の間の領域に対して、x方向に対する縦エッジ密度を計算する。縦エッジ密度が閾値よりも大きい領域を走行物体33の存在領域と判定する。このようにして、図10に示すように走行物体33の存在領域の境界線位置77bが求められる。
【0035】
存在領域検出部91からの出力を受けて、位置検出部92は複数の処理領域により求められる走行物体の存在領域の境界位置を監視領域に存在する走行物体位置として統合する。
【0036】
なお、処理領域で走行物体存在領域の境界線が複数、求まる場合もある。この場合、視差の差が、視差に基づいて決定される閾値以内である場合には1つの境界線に統合する。
【0037】
そして、境界線をラベリングにより複数の境界線として検出する。図11に示すように、ラベリングされた境界線毎に境界線位置において高さの基準値Hに対する画像中の高さhを計算し、走行物体の形状79bを決定する。この走行物体の形状及び大きさの検出は形状大きさ検出部93においてなされる。
【0038】
<運動情報推定部16>
運動情報推定部16は、例えば図12に示すように走行物体を新規に登録する新規登録部121と、登録された走行物体を追跡する追跡部122と、走行物体の速度などを検出する走行物体情報検出部123と、走行物体の情報を更新する情報更新部124とから構成される。
【0039】
運動情報推定部16は走行物体検出部15において検出された走行物体を時系列で追跡する。まず、新規登録部121は、検出された走行物体の世界座標系(3次元実空間の座標系)における位置及び画像上での位置を登録する。また、画像上における走行物体領域のテクスチャ情報をテンプレートとして登録する。
【0040】
次に、追跡部122において登録された走行物体領域の次時刻における位置を、テンプレートマッチングにより求める。
【0041】
テンプレートマッチングでは、次の式4に示すような輝度値の絶対値差(SAD:Sum of Absolute Difference)による評価値を用いる。ここで対象画像をI(m、n)、テンプレートをT(m、n)とする。
【数2】
【0042】
テンプレートマッチングにより評価値を求める方法は種々あり他の方法も用いてもよい。
【0043】
走行物体情報検出部123では、追跡部122において追跡された走行物体と、走行物体検出部15により検出された走行物体との距離差を計算する。走行物体情報検出部123は、距離差が閾値より小さい場合には、対応付けされた走行物体と判定する。走行物体情報検出部123では、走行物体の大きさの変化と距離差、その間の時間から走行物体の速度を計算する。
【0044】
情報更新部124では、対応付けされた走行物体の場合には、追跡結果による走行物体の位置として更新する。また平均化された位置における走行物体領域のテクスチャ情報を更新する。平均値を計算するに際しては重み付けを行って計算してもよい。
【0045】
情報更新部124は、検出結果による走行物体のうち、対応付けがなされなかったものを新規の走行物体として更新する。更新された走行物体に関しては、例えば等加速度運動モデルを適用したカルマンフィルタを用いて、その位置及び速度を推定する。位置及び速度を推定するフィルタは種々あり、他のフィルタを用いてもよい。
【0046】
<幹線路情報表示部17>
幹線路情報表示部17は、運動情報推定部16により得られた、幹線路上の走行物体の存在、その速度などから幹線路の渋滞程度などの情報を得て側路上に設けられた表示板36に表示するものである。
【0047】
左カメラ及び右カメラから得た時系列画像に対して、上述のような処理を行い、四輪車や二輪車など走行物体の位置及び速度を検出する。
【0048】
次に、この実施形態の合流情報提供システムの全体の動作を図2に示すフローチャートに基づいて説明する。
【0049】
まず、ステップS201において、左カメラ17a、右カメラ17bにより幹線路31上を走行してくる走行物体を連続して撮像している。これらの画像は、画像処理部18で画像処理されて視差プロファイル計算部13に入力される。視差プロファイル計算部13は、視差プロファイルを予め計算する(ステップS202)。ここで、実空間の高さHに対する画像中の高さhが求められる。走行物体のy座標位置ydも求められる。視差プロファイル計算部13の出力は処理領域設定部14に入力され、走行物体の複数の処理領域が求められる(ステップS203)。図13に3つの処理領域131a、131b、131cを求めた例を示した。
【0050】
処理領域設定部14の出力は走行物体検出部15に入力され、ステップS204にて走行物体が存在するか否か検出される。走行物体検出部15の存在領域検出部91にて走行物体の存在領域が検出されると、位置検出部92でその位置が検出される(ステップS205)。一方、走行物体の存在領域が検出されない場合には、検出されるまでこの検出処理が繰り返される。
【0051】
ステップS205で位置検出部92において走行物体の位置が検出されると、次のステップS206で形状大きさ検出部93において走行物体の形状及び大きさを検知する。幹線路31を走行する物体としては、種々の車両があるが四輪車と二輪車に大別される。四輪車は二輪車に比べて横幅が大きく、二輪車では縦長である。したがって、形状大きさ検出部93で走行物体の形状を検知することにより、その物体が四輪車であるか二輪車であるか、種類を特定することができる。図13に示す処理領域131a、131b、131cの各々に、走行物体である四輪車134a、134b、134c、二輪車132a、132b、132cが得られる。
【0052】
次のステップS207では、検出された走行物体が、今まで現れていない新規の走行物体であるか否か検知される。この新規か否かの検知機能も、形状大きさ検出部93においてなされる。走行物体は遠くから近くに走行してくるので、画像としては、最初は小さく、徐々に大きくなってくるはずであり、所定の大きさになった段階で走行物体として認識されることになる。
【0053】
新規の走行物体であったならば、運動情報推定部16の新規登録部121に登録され、次のステップS209で当該走行物体を追跡する。ステップS207で新規の走行物体でなければ、ステップS208をスキップして、ステップS209で走行物体を追跡する。
【0054】
ステップS210では図12に示す走行物体情報検出部123において当該走行物体の速度を検出する。
【0055】
上述のように処理領域設定部14において設定される処理領域は複数であり、これらの処理領域において複数の走行物体が検出される。これらの走行物体の対応関係が調べられ、時間的に変化する大きさも検知されることになるので、走行物体情報検出部123において各走行物体毎にその走行速度が算出されることになる。また、算出された走行速度からその走行車両が合流地点までに到達する時間が求められる。
【0056】
ステップS211で、走行物体が複数かどうか検知される。走行物体が複数の場合にはステップS212で走行物体情報検出部123において、各走行物体の速度の平均値が求められる。この平均速度は所定の速度と例えば比較回路により比較され、算出平均速度がこの速度より低い場合には幹線路が渋滞していると判断される。
【0057】
走行物体が1つ又はゼロの場合には、ステップS212をスキップし、ステップS213に移る。
【0058】
このように走行物体情報検出部123において、各走行物体の種類、速度、平均速度、合流地点まで到達する時間などが検知、算出されて、ステップS213で情報更新部124において更新される。更新された幹線路31の情報は、ステップS214で幹線路情報表示部17に送られ、側路34の表示板36に幹線路31の渋滞情報などとして表示される。その後、再びステップS204に戻って、走行物体が現れるかどうかを監視する。
【0059】
側路34の表示板36に表示される例を、図14から図17に示す。図14は、幹線路上に合流地点に向かってくる走行物体(車両)がいない場合である。この例では、「接近車両なし 安全運転を心がけてください」と表示される。図15は、合流地点に向かってくる走行車両が多くしかも平均速度が低いので、渋滞していると判断される場合である。この場合には例えば「道路渋滞中 合流時に注意してください」表示される。
【0060】
図16は、3台の四輪車(車両)が合流地点に向かってきており、後20秒程度で合流地点に到達すると予測される場合である。この場合には、例えば「車両3台接近中 合流地点まで、後20秒程度」と表示される。
【0061】
図17は、1台の二輪車が合流地点に接近しており、後10秒程度で合流地点に到達すると予測される場合である。この場合には、例えば「二輪車接近中 合流地点まで、後10秒程度」と表示される。
【0062】
なお、上記実施形態では、走行物体の形状及び大きさは形状大きさ検出部93において併せて検出されていた。しかし、本発明では走行物体の形状と大きさを別々に検出するようにしてもよい。
【0063】
以上述べたように本発明のこの実施形態によれば、幹線路上を走行して合流地点までに到達する車両を検知して、幹線路の情報を側路にいる車両に適切かつ迅速に伝えることが可能となる。
【0064】
またこの実施形態によれば、幹線路上を走行して合流地点に至る四輪車と二輪車を区別して、側路にいる車両に伝えることが可能となる。
【0065】
本発明は上記実施形態に限られず種々変形して実施可能である。これらの変形例も本発明の技術思想を用いる限り本発明に含まれる。
【符号の説明】
【0066】
11・・・・幹線路合流情報提供システム、
12・・・・画像取得部、
13・・・・視差プロファイル計算部、
14・・・・処理領域設定部、
15・・・・走行物体検出部、
16・・・・運動情報推定部、
17・・・・幹線路情報表示部、
17a・・・・左カメラ、
17b・・・・右カメラ、
31・・・・幹線路、
32・・・・合流地点、
34・・・・側路、
36・・・・表示板、
91・・・・存在領域検出部、
92・・・・位置検出部、
93・・・・形状大きさ検出部、
121・・・・新規登録部、
122・・・・追跡部、
123・・・・速度物体情報検出部、
124・・・・情報更新部。
【技術分野】
【0001】
本発明は、合流地点付近の車両通行道路において幹線路の渋滞状況を側路にいる車両に伝える幹線路合流情報提供システムに関する。
【背景技術】
【0002】
一般に、車両が側路から幹線路に入る場合、どのタイミングで幹線路に入るか判断が困難である。特に側路と幹線路の合流地点付近に防音壁などが設置されており、側路側から幹線路の交通がよく見えないときには、合流地点近くの側路にいる車両が幹線路に合流するタイミングの判断が難しい。
【0003】
特許文献1には、幹線路にいて合流地点に向かう車両をカメラにより撮影して、その画像から車両位置や大きさを測定し、合流路(側路)側にいる車両にパネルに表示して状況を伝える車両情報提供システムが開示されている。
【0004】
しかし、上記カメラにより撮影して幹線路にいる車両の位置を特定できても、この車両の速度によって合流地点に入ってくる時点は変わってしまい、側路にいる車両は合流のタイミングを適切に判断することが、なお困難である。
【0005】
なお、左右2台のカメラを用いる平面投影ステレオ法により障害物対象物を検出する方法はすでに既に知られており(特許文献2)、更に対象物に対して高い位置にあるステレオカメラから撮った画像に、平面投影ステレオ法を適用する対象物検出方法も既に知られている(特許文献3)。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平11−86192号公報
【特許文献2】特開2006−53890号公報
【特許文献3】特開2009−198445号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上述のような従来の、側路にいる車両の合流タイミングの判断が困難である点にかんがみてなされたもので、合流地点近くの側路にいる車両が適切かつ円滑に幹線路の流れに合流することが可能な、幹線路合流情報提供システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の請求項1によれば、側路と合流する幹線路上に設けられた2つのカメラにより前記合流の地点へ向かう走行物体の時系列画像を取得する画像取得部と、前記2つのカメラの配置に基づいて時系列画像上で垂直位置と前記監視領域の平面上での視差との関係を表す視差プロファイルを計算する視差プロファイル計算部と、前記視差プロファイルに基づいて、前記カメラから得られる画像の複数の処理領域を設定する処理領域設定部と、この処理領域設定部により得られた複数の処理領域における画像中の走行物体を検出する走行物体検出部と、この走行物体検出部により検出された、各処理領域における走行物体の大きさを検出する走行物体大きさ検出部と、この走行物体大きさ検出部により検出された前記処理領域における大きさの変化及び前記処理領域の間隔から前記走行物体の速度を算出する運動情報推定部と、前記走行物体検出部により検出された走行物体の数及び前記運動情報推定部により算出された前記走行物体の速度から検知された前記幹線路の渋滞状態を、前記側路上に表示する幹線路情報表示部とを有することを特徴とする幹線路合流情報提供システムを提供する。
【発明の効果】
【0009】
本発明によれば、合流地点近くの側路にいる車両が適切かつ円滑に幹線路の流れに合流することが可能な幹線路合流情報提供システムが得られる。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施形態に係る幹線路合流情報提供システムの構成を示す図である。
【図2】本発明一実施形態の幹線路合流情報提供システムの動作を説明するためのフローチャートを示す図である。
【図3】本発明の一実施形態における、幹線路と左右カメラの関係を示す図である。
【図4】本発明の一実施形態における、側路と幹線路情報を示す表示板の関係を示す図である。
【図5】本発明一実施形態における幹線路合流情報提供システムの座標系を説明するための図である。
【図6】本発明一実施形態において左右のカメラにより撮像した画像及び変換した画像の例を示す図である。
【図7】本発明一実施形態において、処理領域の設定を説明するための図である。
【図8】本発明一実施形態における処理領域が3つ設定される様子を示す図である。
【図9】本発明一実施形態における走行物体検出部の構成例を示す図である。
【図10】本発明一実施形態において、処理領域の境界線位置の設定される様子を説明するための図である。
【図11】本発明の走行物体の形状が決定される様子を説明するための図である。
【図12】本発明一実施形態における運動情報推定部の構成例を示す図である。
【図13】本発明の一実施形態において、四輪車と二輪車の処理領域が決定される様子を示す図である。
【図14】本発明一実施形態において、幹線路上に走行物体がいないとき、側路の表示板に表示される文言の例を示す図である。
【図15】本発明の一実施形態において、幹線路が渋滞しているとき、側路の表示板に表示される文言の例を示す図である。
【図16】本発明の一実施形態において、幹線路に車両3台が合流地点に向かってきているとき、側路の表示板に表示される文言の例を示す図である。
【図17】本発明の一実施形態において、幹線路に二輪車が合流地点に向かってきているとき、側路の表示板に表示される文言の例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について、詳細に説明する。本発明一実施形態の幹線路合流情報提供システムの構成例を図1に示す。この実施形態の幹線路合流情報提供システム11は、幹線路上を走行する車両(走行物体)の画像を取得する画像取得部12と、この画像取得部により得られた左画像と右画像から視差プロファイルを計算する視差プロファイル計算部13と、計算された視差プロファイルから処理領域を設定する処理領域設定部14と、幹線路を走行する走行物体を検出する走行物体検出部15と、走行物体の運動情報を推定する運動情報推定部16と、幹線路上の走行物体の数やそれらの速度などから幹線路における渋滞の程度の情報を側路上に設けられた表示板に表示する幹線路情報表示部17とを有する。
【0012】
画像取得部12は、合流地点32近くの幹線路31上に所定の高さHでほぼ水平に設置された左カメラ17aと右カメラ17bと、これら左右のカメラから得られた画像を処理する画像処理部18を有する。左カメラ17aと右カメラ17bは、例えば図3に示すように、幹線路31を挟んだ支柱の梁に、合流地点32に向かって走行して来る走行物体33が撮像されるように設けられている。合流地点32において側路34は幹線路31に合流する。走行物体35が側路34から合流地点32に向かう様子を図4に示す。例えば側路34を挟んだ支柱の梁に、表示装置36が設けられる。
【0013】
図5にこの実施形態の座標系が示される。実空間の水平方向の座標はXで表され、奥行きの座標はZで表される。画像座標系の水平方向の座標はxで表され、垂直方向の座標はyで表される。
【0014】
左カメラ17aと右カメラ17bにより撮像して得られる左右の時系列画像は、先に調整(rectification)される。
【0015】
左カメラ17a、右カメラ17bにより各時点で得られる画像の例を図6(a)、図6(b)に示す。図6(c)は、図6(b)に示す右画像のアフィン画像である。左右の画像は画像処理部18で画像処理される。カメラが幹線路上、無視できない高さに設けられているので、画像垂直方向における監視領域平面の視差のプロファイルを、視差プロファイル計算部13において予め計算する。
【0016】
画像の水平方向をx、垂直方向をyとし、検出の対象物(走行物体)の実空間上の高さHを設定して、走行物体33を検出したい画像上のy座標位置ydに着目する。道路面上の視差プロファイルから検出位置ydにおける視差を求め、実空間の高さHに対して画像中の高さhを求める。
【0017】
上記の座標位置ydと画像中の高さhを用い、上下にマージンを取ることにより、処理領域のy方向の位置及び長さを決定する。x方向の長さは予め設定されている監視領域のx方向の幅により決定される。そしてこの処理領域を、すべてのy座標値に対して設定する。この処理は処理領域設定部14において行われる。なお、y方向に対して所定間隔で間引くことによって計算量を減らすことができる。
【0018】
このようにして求めた複数の処理領域に対して、平面投影ステレオ法により監視領域平面と走行物体の境界線を検出する。処理領域における上端と境界線の間におけるエッジ密度が所定値以上大きい領域を、走行物体の存在領域とする。
【0019】
そして、各処理領域における走行物体の存在領域を統合し、y座標値がほぼ同じである領域が、x方向に或る一定以上の幅を有するとき、走行物体を検出する。この処理は走行物体検出部15において行われる。走行物体運動情報推定部16では、検出された走行物体を、画像上の走行物体の存在領域のテクスチャ情報を用いて追跡することにより、走行物体の位置と速度を推定する。これらの各部における処理は、例えば、記録媒体に記録されたプログラムをコンピュータが実行することによりなされる。
【0020】
この実施形態における合流情報提供システムの座標系を図5に示す。実空間の水平方向の座標はXで表され、奥行き方向の座標はZで表される。また、画像座標系の水平方向の座標はxで表され、垂直方向の座標はyで表される。
【0021】
ここで、各部における具体的な処理について説明する。
【0022】
<視差プロファイル計算部13>
上述のように、図6(a)は左カメラ17aにより取得された左画像Lの例であり、図6(b)は右カメラ17bにより取得された右画像Rの例である。図6(c)は、右画像をアフィン変換して得られる右アフィン画像ARである。
【0023】
図6(a)及び図6(b)に示すように、監視領域平面上の点Pに対応する点の左画像Lにおける位置を(xl、yl)、右画像Rでの位置を(xr、yr)、とすると、両位置は、おおよそ次の式1に示される関係となる。
【数1】
【0024】
すなわち、左画像Lと右アフィン画像ARとでは、監視領域平面上のパターンの位置が同じになる。このときのアフィン変換のパラメータはキャリブレーションにより予め求めておく。
【0025】
この対応関係から次の式2に示すように、画像のy座標に対する監視領域平面上の視差dを計算できる。また、監視領域平面におけるy方向の視差プロファイルdplanar(v)を求める。
【0026】
d=xlーxr =ayr+b ・・・・ 式2
<処理領域設定部14>
走行物体の平均的な高さを基準値Hとして予め設定する。この基準値Hは、走行物体の種類に応じて適切な値を用いることができる。
【0027】
図7(a)に示すように走行物体を検出したい位置の画像上のy座標をydとする。このy座標値ydの位置に走行物体が存在する場合、その走行物体の視差dは、次の式3により求められる。
【0028】
d=dplanar(yd) ・・・・・式3
また、ydにおける実空間の高さHに対応する画像中の高さhを計算する。図7(b)に示すように、上端位置を(yd−h)、下端位置をydに設定する。更に視差dに応じて決定される、上方向にe1、下方向にe2の長さ分、上下に拡張し、上端位置を(yd−h−e1)と、下端位置を(yd+e2)を決定する。
【0029】
処理領域の左端位置は下端位置における監視領域のx方向位置であるxl、右端位置はxrとする。
【0030】
上述の処理によって処理領域を決定する。同様にすべてのy座標値に対して処理領域を設定することにより、監視領域71全体の処理領域72を設定する。なお、処理領域の個数を減らすことによって計算量を減らすことができる。
【0031】
この実施形態では、図8に示すように、3つの処理領域71a、71b、71cを設定した場合を示している。処理領域の間隔は違っていても同じであってもよい。
【0032】
<走行物体検出部15>
走行物体検出部15の構成例を図9に示す。この走行物体検出部15は、走行物体33の存在を検出する存在領域検出部91と、走行物体33の位置を検出する位置検出部92と、走行物体の形状を検知する形状大きさ検知部93とを有する。
【0033】
存在領域検出部91は、まず処理領域設定部14において設定された各処理領域に対して監視領域の平面と走行物体33の境界線を検出する。例えば図8に示す処理領域71bに対して境界線75bを検出する。境界線を検出する方法は、どのような方法であってもよい。例えば特開2006−53890に開示された方法を用いる。
【0034】
次に、縦方向に関するSobelフィルタを用いてエッジ画像を検出する。処理領域の上端位置と境界線の間の領域に対して、x方向に対する縦エッジ密度を計算する。縦エッジ密度が閾値よりも大きい領域を走行物体33の存在領域と判定する。このようにして、図10に示すように走行物体33の存在領域の境界線位置77bが求められる。
【0035】
存在領域検出部91からの出力を受けて、位置検出部92は複数の処理領域により求められる走行物体の存在領域の境界位置を監視領域に存在する走行物体位置として統合する。
【0036】
なお、処理領域で走行物体存在領域の境界線が複数、求まる場合もある。この場合、視差の差が、視差に基づいて決定される閾値以内である場合には1つの境界線に統合する。
【0037】
そして、境界線をラベリングにより複数の境界線として検出する。図11に示すように、ラベリングされた境界線毎に境界線位置において高さの基準値Hに対する画像中の高さhを計算し、走行物体の形状79bを決定する。この走行物体の形状及び大きさの検出は形状大きさ検出部93においてなされる。
【0038】
<運動情報推定部16>
運動情報推定部16は、例えば図12に示すように走行物体を新規に登録する新規登録部121と、登録された走行物体を追跡する追跡部122と、走行物体の速度などを検出する走行物体情報検出部123と、走行物体の情報を更新する情報更新部124とから構成される。
【0039】
運動情報推定部16は走行物体検出部15において検出された走行物体を時系列で追跡する。まず、新規登録部121は、検出された走行物体の世界座標系(3次元実空間の座標系)における位置及び画像上での位置を登録する。また、画像上における走行物体領域のテクスチャ情報をテンプレートとして登録する。
【0040】
次に、追跡部122において登録された走行物体領域の次時刻における位置を、テンプレートマッチングにより求める。
【0041】
テンプレートマッチングでは、次の式4に示すような輝度値の絶対値差(SAD:Sum of Absolute Difference)による評価値を用いる。ここで対象画像をI(m、n)、テンプレートをT(m、n)とする。
【数2】
【0042】
テンプレートマッチングにより評価値を求める方法は種々あり他の方法も用いてもよい。
【0043】
走行物体情報検出部123では、追跡部122において追跡された走行物体と、走行物体検出部15により検出された走行物体との距離差を計算する。走行物体情報検出部123は、距離差が閾値より小さい場合には、対応付けされた走行物体と判定する。走行物体情報検出部123では、走行物体の大きさの変化と距離差、その間の時間から走行物体の速度を計算する。
【0044】
情報更新部124では、対応付けされた走行物体の場合には、追跡結果による走行物体の位置として更新する。また平均化された位置における走行物体領域のテクスチャ情報を更新する。平均値を計算するに際しては重み付けを行って計算してもよい。
【0045】
情報更新部124は、検出結果による走行物体のうち、対応付けがなされなかったものを新規の走行物体として更新する。更新された走行物体に関しては、例えば等加速度運動モデルを適用したカルマンフィルタを用いて、その位置及び速度を推定する。位置及び速度を推定するフィルタは種々あり、他のフィルタを用いてもよい。
【0046】
<幹線路情報表示部17>
幹線路情報表示部17は、運動情報推定部16により得られた、幹線路上の走行物体の存在、その速度などから幹線路の渋滞程度などの情報を得て側路上に設けられた表示板36に表示するものである。
【0047】
左カメラ及び右カメラから得た時系列画像に対して、上述のような処理を行い、四輪車や二輪車など走行物体の位置及び速度を検出する。
【0048】
次に、この実施形態の合流情報提供システムの全体の動作を図2に示すフローチャートに基づいて説明する。
【0049】
まず、ステップS201において、左カメラ17a、右カメラ17bにより幹線路31上を走行してくる走行物体を連続して撮像している。これらの画像は、画像処理部18で画像処理されて視差プロファイル計算部13に入力される。視差プロファイル計算部13は、視差プロファイルを予め計算する(ステップS202)。ここで、実空間の高さHに対する画像中の高さhが求められる。走行物体のy座標位置ydも求められる。視差プロファイル計算部13の出力は処理領域設定部14に入力され、走行物体の複数の処理領域が求められる(ステップS203)。図13に3つの処理領域131a、131b、131cを求めた例を示した。
【0050】
処理領域設定部14の出力は走行物体検出部15に入力され、ステップS204にて走行物体が存在するか否か検出される。走行物体検出部15の存在領域検出部91にて走行物体の存在領域が検出されると、位置検出部92でその位置が検出される(ステップS205)。一方、走行物体の存在領域が検出されない場合には、検出されるまでこの検出処理が繰り返される。
【0051】
ステップS205で位置検出部92において走行物体の位置が検出されると、次のステップS206で形状大きさ検出部93において走行物体の形状及び大きさを検知する。幹線路31を走行する物体としては、種々の車両があるが四輪車と二輪車に大別される。四輪車は二輪車に比べて横幅が大きく、二輪車では縦長である。したがって、形状大きさ検出部93で走行物体の形状を検知することにより、その物体が四輪車であるか二輪車であるか、種類を特定することができる。図13に示す処理領域131a、131b、131cの各々に、走行物体である四輪車134a、134b、134c、二輪車132a、132b、132cが得られる。
【0052】
次のステップS207では、検出された走行物体が、今まで現れていない新規の走行物体であるか否か検知される。この新規か否かの検知機能も、形状大きさ検出部93においてなされる。走行物体は遠くから近くに走行してくるので、画像としては、最初は小さく、徐々に大きくなってくるはずであり、所定の大きさになった段階で走行物体として認識されることになる。
【0053】
新規の走行物体であったならば、運動情報推定部16の新規登録部121に登録され、次のステップS209で当該走行物体を追跡する。ステップS207で新規の走行物体でなければ、ステップS208をスキップして、ステップS209で走行物体を追跡する。
【0054】
ステップS210では図12に示す走行物体情報検出部123において当該走行物体の速度を検出する。
【0055】
上述のように処理領域設定部14において設定される処理領域は複数であり、これらの処理領域において複数の走行物体が検出される。これらの走行物体の対応関係が調べられ、時間的に変化する大きさも検知されることになるので、走行物体情報検出部123において各走行物体毎にその走行速度が算出されることになる。また、算出された走行速度からその走行車両が合流地点までに到達する時間が求められる。
【0056】
ステップS211で、走行物体が複数かどうか検知される。走行物体が複数の場合にはステップS212で走行物体情報検出部123において、各走行物体の速度の平均値が求められる。この平均速度は所定の速度と例えば比較回路により比較され、算出平均速度がこの速度より低い場合には幹線路が渋滞していると判断される。
【0057】
走行物体が1つ又はゼロの場合には、ステップS212をスキップし、ステップS213に移る。
【0058】
このように走行物体情報検出部123において、各走行物体の種類、速度、平均速度、合流地点まで到達する時間などが検知、算出されて、ステップS213で情報更新部124において更新される。更新された幹線路31の情報は、ステップS214で幹線路情報表示部17に送られ、側路34の表示板36に幹線路31の渋滞情報などとして表示される。その後、再びステップS204に戻って、走行物体が現れるかどうかを監視する。
【0059】
側路34の表示板36に表示される例を、図14から図17に示す。図14は、幹線路上に合流地点に向かってくる走行物体(車両)がいない場合である。この例では、「接近車両なし 安全運転を心がけてください」と表示される。図15は、合流地点に向かってくる走行車両が多くしかも平均速度が低いので、渋滞していると判断される場合である。この場合には例えば「道路渋滞中 合流時に注意してください」表示される。
【0060】
図16は、3台の四輪車(車両)が合流地点に向かってきており、後20秒程度で合流地点に到達すると予測される場合である。この場合には、例えば「車両3台接近中 合流地点まで、後20秒程度」と表示される。
【0061】
図17は、1台の二輪車が合流地点に接近しており、後10秒程度で合流地点に到達すると予測される場合である。この場合には、例えば「二輪車接近中 合流地点まで、後10秒程度」と表示される。
【0062】
なお、上記実施形態では、走行物体の形状及び大きさは形状大きさ検出部93において併せて検出されていた。しかし、本発明では走行物体の形状と大きさを別々に検出するようにしてもよい。
【0063】
以上述べたように本発明のこの実施形態によれば、幹線路上を走行して合流地点までに到達する車両を検知して、幹線路の情報を側路にいる車両に適切かつ迅速に伝えることが可能となる。
【0064】
またこの実施形態によれば、幹線路上を走行して合流地点に至る四輪車と二輪車を区別して、側路にいる車両に伝えることが可能となる。
【0065】
本発明は上記実施形態に限られず種々変形して実施可能である。これらの変形例も本発明の技術思想を用いる限り本発明に含まれる。
【符号の説明】
【0066】
11・・・・幹線路合流情報提供システム、
12・・・・画像取得部、
13・・・・視差プロファイル計算部、
14・・・・処理領域設定部、
15・・・・走行物体検出部、
16・・・・運動情報推定部、
17・・・・幹線路情報表示部、
17a・・・・左カメラ、
17b・・・・右カメラ、
31・・・・幹線路、
32・・・・合流地点、
34・・・・側路、
36・・・・表示板、
91・・・・存在領域検出部、
92・・・・位置検出部、
93・・・・形状大きさ検出部、
121・・・・新規登録部、
122・・・・追跡部、
123・・・・速度物体情報検出部、
124・・・・情報更新部。
【特許請求の範囲】
【請求項1】
側路と合流する幹線路上に設けられた2つのカメラにより前記合流の地点へ向かう走行物体の時系列画像を取得する画像取得部と、
前記2つのカメラの配置に基づいて時系列画像上で垂直位置と前記監視領域の平面上での視差との関係を表す視差プロファイルを計算する視差プロファイル計算部と、
前記視差プロファイルに基づいて、前記カメラから得られる画像の複数の処理領域を設定する処理領域設定部と、
この処理領域設定部により得られた複数の処理領域における画像中の走行物体を検出する走行物体検出部と、
この走行物体検出部により検出された、各処理領域における走行物体の大きさを検出する走行物体大きさ検出部と、
この走行物体大きさ検出部により検出された前記処理領域における大きさの変化及び前記処理領域の間隔から前記走行物体の速度を算出する運動情報推定部と、
前記走行物体検出部により検出された走行物体の数及び前記運動情報推定部により算出された前記走行物体の速度から検知された前記幹線路の渋滞状態を、前記側路上に表示する幹線路情報表示部と
を有することを特徴とする幹線路合流情報提供システム。
【請求項2】
前記運動情報推定部は、前記走行物体の速度及び前記合流地点までの距離から前記交流地点に到達する時間を推定する到達時間推定手段を更に有し、
前記幹線路情報表示部は、前記走行物体が前記合流地点に到達するまでの推定時間をも表示することを特徴とする請求項1記載の幹線路合流情報提供システム。
【請求項3】
前記走行物体検知部は前記走行物体の形状を検出する形状検出部を更に有し、この形状検出部により検出された前記走行物体の形状から前記走行物体の種類を検知し、この検知された形状の走行物体の情報を前記幹線路情報表示部により表示することを特徴とする請求項2記載の幹線路合流情報提供システム。
【請求項1】
側路と合流する幹線路上に設けられた2つのカメラにより前記合流の地点へ向かう走行物体の時系列画像を取得する画像取得部と、
前記2つのカメラの配置に基づいて時系列画像上で垂直位置と前記監視領域の平面上での視差との関係を表す視差プロファイルを計算する視差プロファイル計算部と、
前記視差プロファイルに基づいて、前記カメラから得られる画像の複数の処理領域を設定する処理領域設定部と、
この処理領域設定部により得られた複数の処理領域における画像中の走行物体を検出する走行物体検出部と、
この走行物体検出部により検出された、各処理領域における走行物体の大きさを検出する走行物体大きさ検出部と、
この走行物体大きさ検出部により検出された前記処理領域における大きさの変化及び前記処理領域の間隔から前記走行物体の速度を算出する運動情報推定部と、
前記走行物体検出部により検出された走行物体の数及び前記運動情報推定部により算出された前記走行物体の速度から検知された前記幹線路の渋滞状態を、前記側路上に表示する幹線路情報表示部と
を有することを特徴とする幹線路合流情報提供システム。
【請求項2】
前記運動情報推定部は、前記走行物体の速度及び前記合流地点までの距離から前記交流地点に到達する時間を推定する到達時間推定手段を更に有し、
前記幹線路情報表示部は、前記走行物体が前記合流地点に到達するまでの推定時間をも表示することを特徴とする請求項1記載の幹線路合流情報提供システム。
【請求項3】
前記走行物体検知部は前記走行物体の形状を検出する形状検出部を更に有し、この形状検出部により検出された前記走行物体の形状から前記走行物体の種類を検知し、この検知された形状の走行物体の情報を前記幹線路情報表示部により表示することを特徴とする請求項2記載の幹線路合流情報提供システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2011−113410(P2011−113410A)
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願番号】特願2009−270660(P2009−270660)
【出願日】平成21年11月27日(2009.11.27)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願日】平成21年11月27日(2009.11.27)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]