説明

車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム

【課題】撮影画像から走行車両の位置を算出するための座標変換式を、容易に生成できること
【解決手段】観測区間を撮影する路側カメラと、路側カメラにて撮影された観測区間を走行する走行車両の走行軌跡を測定する車両走行軌跡観測装置とを具備する車両走行軌跡観測システムにおいて、自車両の位置を表す情報を検出しながら走行する計測車両を備え、車両走行軌跡観測装置は、前側カメラが撮影した複数の撮影画像各々における計測車両の座標と、計測車両が検出した自車両の位置を表す情報であって、複数の撮影画像各々の撮影時刻の位置を表す情報とに基づき、撮影画像中の座標から位置を算出する座標変換式を生成する座標変換式生成部と、座標変換式生成部が生成した座標変換式を用いて、路側カメラが撮影した複数の撮影画像各々における走行車両の位置を算出し、走行車両の走行軌跡を生成する走行軌跡生成部とを具備する車両走行軌跡観測システム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラムに関する。
【背景技術】
【0002】
従来の車両走行軌跡観測装置は、複数のビデオカメラを観測区間に配置し、ビデオカメラ各々の撮像結果から得られた走行車両の軌跡を合成することで、長い観測区間の観測を可能としている(例えば、特許文献1参照)。
また、ビデオカメラと、GPS(Global Positioning System;全地球測位システム)、加速度計、3軸ジャイロなどの測定機器と搭載し、走行しながら周囲の走行車両の撮影と、自車両の位置および姿勢角を測定とを行い、周囲の走行車両の観測をしているものもある(例えば、特許文献2参照)。
【特許文献1】特開2003−085685号公報
【特許文献2】特開2007−148615号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、特許文献1に示す車両走行軌跡観測装置にあっては、ビデオカメラが撮影した撮影画像から走行車両の位置を算出するための座標変換式を生成するために、撮影画像中の少なくとも4つの標定点の実空間での位置を必要とするが、路面に適当な目標物が無く標定点が決められない、あるいは、標定点の実空間での位置を得るために測量を行おうとしても高速道路など人が立ち入ることができず測量ができず得られない、航空測量を行おうとしてもトンネル内である、標定点の上に橋梁があるなど観測区間の上に構造物があるために標定点の実空間での位置を得るための航空測量が行えず、座標変換式を生成できないという問題がある。
【0004】
本発明は、このような事情に鑑みてなされたもので、その目的は、撮影画像から走行車両の位置を算出するための座標変換式を、容易に生成できる車両走行軌跡観測装置、車両走行軌跡観測方法、およびそのプログラムを提供することにある。
【課題を解決するための手段】
【0005】
(1)この発明は上述した課題を解決するためになされたもので、本発明の車両走行軌跡観測システムは、観測区間を撮影するように設置された路側カメラと、前記路側カメラにて撮影された前記観測区間を走行する走行車両の走行軌跡を測定する車両走行軌跡観測装置とを具備する車両走行軌跡観測システムにおいて、自車両の位置を表す情報を検出しながら前記観測区間を走行する計測車両を備え、前記路側カメラは、前記観測区間を走行する前記計測車両を撮影し、前記車両走行軌跡観測装置は、前記路側カメラの位置と、前記路側カメラが撮影した少なくとも4つの撮影画像各々における前記計測車両の座標と、前記計測車両が検出した自車両の位置を表す情報であって、前記少なくとも4つの撮影画像各々の撮影時刻の位置を表す情報とを用いて、前記撮影画像中の座標から、前記観測区間の路面を近似した平面上の位置を算出する座標変換式を生成する座標変換式生成部と、前記座標変換式生成部が生成した座標変換式を用いて、前記路側カメラが前記観測区間を走行する走行車両を撮影した複数の撮影画像各々における前記走行車両の位置を算出し、前記走行車両の走行軌跡を生成する走行軌跡生成部とを具備することを特徴とする。
【0006】
(2)また、本発明の車両走行軌跡観測システムは、上述の車両走行軌跡観測システムであって、前記計測車両は、自車両の位置を表す情報に加えて、自車両の姿勢角を表す情報の検出と、前記路側カメラの撮影と、前記路側カメラまでの距離の測定とを行いながら走行し、前記車両走行軌跡観測装置は、前記計測車両の位置を表す情報および姿勢角を表す情報と、前記路側カメラを撮影した画像と、前記路側カメラまでの距離とから、前記路側カメラの位置を算出する路側カメラ位置算出部を具備し、前記座標変換式生成部が前記座標変換式を生成する際に用いる前記路側カメラの位置は、前記路側カメラ位置算出部が算出した前記路側カメラの位置であることを特徴とする。
【0007】
(3)また、本発明の車両走行軌跡観測システムは、上述のいずれかの車両走行軌跡観測システムであって、前記座標変換式生成部は、前記観測区間を複数の領域に分割し、該領域毎に前記座標変換式を生成し、前記走行軌跡生成部は、前記走行車両の位置を算出する際に、前記領域のうち、前記撮影画像中の前記走行車両の座標に応じた領域、または算出済の前記走行車両の位置に応じた領域を選択し、選択した前記領域に対応する前記座標変換式を用いることを特徴とする。
【0008】
(4)また、本発明の車両走行軌跡観測方法は、観測区間を撮影するように設置された路側カメラと、前記路側カメラにて撮影された前記観測区間を走行する走行車両の挙動を測定する車両走行軌跡観測装置と、自車両の位置を検出しながら走行する計測車両とを具備する車両走行軌跡観測システムにおける車両走行軌跡観測方法であって、前記計測車両が、自車両の位置を検出しながら前記観測区間を走行する第1の過程と、前記路側カメラが、前記観測区間を走行する前記計測車両を撮影する第2の過程と、前記走行車両挙動測定装置が、前記路側カメラの位置と、前記路側カメラが撮影した少なくとも4つの撮影画像各々における前記計測車両の座標と、前記計測車両が検出した自車両の位置を表す情報であって、前記少なくとも4つの撮影画像各々の撮影時刻の位置を表す情報とを用いて、前記該撮影画像中の座標から、前記観測区間の路面を近似した平面上の位置を算出する座標変換式を生成する第3の過程と、前記走行車両挙動測定装置が、前記が第3の過程にて生成した座標変換式を用いて、前記路側カメラが前記観測区間を走行する走行車両を撮影した複数の撮影画像各々における前記走行車両の位置を算出し、前記走行車両の走行軌跡を生成する第4の過程とを備えることを特徴とする。
【0009】
(5)また、本発明のプログラムは、観測区間を撮影するように設置された路側カメラと、前記路側カメラにて撮影された前記観測区間を走行する走行車両の挙動を測定する車両走行軌跡観測装置と、自車両の位置を検出しながら前記観測区間を走行する計測車両とを具備する車両走行軌跡観測システムにおける前記車両走行軌跡観測装置のコンピュータを、前記路側カメラの位置と、前記路側カメラが撮影した少なくとも4つの撮影画像各々における前記計測車両の座標と、前記計測車両が検出した自車両の位置を表す情報であって、前記少なくとも4つの撮影画像各々の撮影時刻の位置を表す情報とを用いて、前記撮影画像中の座標から、前記観測区間の路面を近似した平面上の位置を算出する座標変換式を生成する座標変換式生成部、前記走行車両挙動測定装置が、前記座標変換式生成部が生成した座標変換式を用いて、前記路側カメラが撮影した複数の撮影画像各々における前記走行車両の位置を算出し、前記走行車両の走行軌跡を生成する走行軌跡生成部として機能させるプログラム。
【発明の効果】
【0010】
この発明によれば、計測車両が、自車の位置を測定しながら観測区間を走行し、該走行を路側カメラが撮影することで、路側カメラが撮影した複数の撮影画像各々における計測車両の座標と、計測車両が検出した自車両の位置を表す情報であって、複数の撮影画像各々の撮影時刻の位置を表す情報とに基づき、路側カメラの撮影画像中の座標から位置を算出する座標変換式を、容易に生成することができる。
【発明を実施するための最良の形態】
【0011】
以下、図面を参照して、本発明の実施の形態について説明する。図1は、この発明の一実施形態による車両走行軌跡観測システムの構成を示す概略ブロック図である。本実施形態による車両走行軌跡観測システムは、車両走行軌跡観測装置10、計測車両11、GPS(Global Positioning System;全地球測位システム)時計12、路側カメラ13、表示装置14を具備する。
【0012】
GPS時計12は、全地球測位システムの人工衛星が送信するGPS信号に含まれる時刻情報により内部時計を校正し、ビデオカメラのフレームレートである1/29.97秒間隔の時刻を表すタイムコード(SMPTE(Society of Motion Picture and Television Engineers)タイムコード)と同期信号(Black Burst信号)を出力する。
【0013】
路側カメラ13は、車両走行軌跡観測システムが走行車両の軌跡を観測する区間である観測区間を撮影するように固定した画角で路側に設置されたビデオカメラであり、そのフレームタイミングは、GPS時計12の出力する同期信号に従う。また、路側カメラ13は、撮影した各フレームに、GPS時計12の出力するタイムコードを記録する。本実施形態では、路側カメラ13が撮影した撮影画像は、路側カメラ13に挿入されたビデオテープにいったん記録される。
【0014】
計測車両11は、GPS時計111と自車位置測定器112を備え、自車両の位置(実空間における位置)を表す情報を検出しながら、観測区間を走行する。好ましくは、自車両の位置を表す情報に加えて、自車両の姿勢角を表す情報を検出し、固定した画角で設置されたビデオカメラである車載カメラ110を備え、走行中に路側カメラ13を撮影する。本実施形態では、計測車両11は、自車両の位置を表す情報と姿勢角を表す情報とを検出する自車位置測定器112として、進行方向の速度計、3軸の加速度計、GPS測位器、3軸回り角速度を測定する3軸ジャイロを備える。
【0015】
GPS測位器は、全地球測位システムの人工衛星が送信するGPS信号を受信し、GPS信号を受信したアンテナの実空間における位置を検出する。なお、GPS時計111は、GPS時計12と同様に、GPS信号に含まれる時刻情報により内部時計を校正し、ビデオカメラのフレームレートである1/29.97秒間隔のタイムコードと同期信号を出力する。車載カメラ110のフレームタイミングは、GPS時計111の出力する同期信号に従い、各フレームに、GPS時計111の出力するタイムコードを記録する。また、車載カメラ110は、車載カメラ110と路側カメラ13との距離を検出するレーザー測距装置を備える。自車位置測定器112は、GPS時計111の出力する同期信号に同期させて各値を検出し、検出した各値をGPS時計111の出力するタイムコードとともに記録する。
【0016】
車両走行軌跡観測装置10は、車両検出部100、計測車両位置算出部101、標定点選択部102、路側カメラ位置算出部103、座標変換式生成部104、座標変換式記憶部105、座標変換式選択部106、座標変換部107、車両位置記憶部108、軌跡表示部109を具備する。車両検出部100は、路側カメラ13が撮影した撮影画像中の計測車両11および走行車両を検出し、検出した計測車両11および走行車両の撮影画像中の座標を、検出したフレームのタイムコードおよび車両を識別する情報とともに出力する。車両検出部100は、計測車両11について検出した座標とタイムコードとを標定点選択部102に出力する。また車両検出部100は、走行車両について検出した座標とタイムコードとを座標変換式選択部106に出力する。なお、車両検出部100は、複数の走行車両について観測を行っているときは、座標とタイムコードに加えて、走行車両を識別する情報も座標変換式選択部106に出力する。
【0017】
なお、撮影画像中の計測車両11および走行車両の検出は、車両の大きさ、輝度、RGB値などの外観に関する特徴情報を用いた画像認識処理により、計測車両11および走行車両を検出し、そのナンバープレートなどの追跡点の座標を検出することで行なってもよいし、撮影画像を表示装置14などに表示させ、表示された撮影画像中の計測車両11および走行車両をマウスなどの入力デバイスを用いてオペレータが指定した追跡点の座標を取得することで、検出するようにしてもよい。このとき、車両検出部100が検出する計測車両11(追跡点)の座標は、路面を近似する平面を規定する標定点(詳細は後述)の撮影画像上の座標として用いられる。この計測車両11の追跡点が路面から離れている場合は、追跡点の高さに仮想路面があるとみなし、標定点は、この仮想路面上の点とする。
【0018】
計測車両位置算出部101は、計測車両11の自車位置測定器112が測定した各タイムコードにおける進行方向の速度、3軸の加速度、3軸の角速度、GPS測位器が観測した測位結果の実空間での位置とを受けて、計測車両11の状態遷移方程式と観測方程式とに対して、拡張カルマンスムーザを適用して、各タイムコードにおける計測車両11の実空間での位置(世界座標系での座標値)と姿勢角とを推定する。なお、本実施形態における計測車両位置算出部101が用いる計測車両11の状態遷移方程式と観測方程式の詳細については、後述する。ここで、実空間での位置を表す世界座標系とは、例えば、南北方向にx軸、東西方向にy軸をとり、鉛直方向にz軸をとった座標系である。
【0019】
標定点選択部102は、観測区間を複数の領域に分割し、各々の領域について路側カメラ13の撮影画像から実空間の位置を算出するための座標変換式の対象となる路面を規定する標定点を、計測車両位置算出部101が算出した計測車両11の実空間での位置の中から、各々の領域について少なくとも3つ選択する。この選択は、マウスなどの入力デバイスを用いて、オペレータが指定したものを選択するようにしてもよいし、一定時間毎の位置を選択するようにしてもよい。標定点選択部102は、計測車両位置算出部101が算出した位置の中から少なくとも3つを標定点として選択すると、車両検出部100から受けた計測車両11の撮影画像中の座標の中から、選択した標定点のタイムコードと、タイムコードが一致する座標を選択し、標定点(実空間での位置)と対応付けて、座標変換式生成部104に出力する。
【0020】
このとき、座標変換式は、観測区間の路面を平面で近似し、該平面から高さhを持った追跡点(走行車両のナンバープレートなど)の撮影画像上の座標から実空間における位置を表す座標への座標変換を表す式である。すなわち、撮影画像中の追跡点が、実空間において路面から高さhを持った位置に存在すると仮定して、座標変換することで、この追跡点の実空間における位置を算出する式である。標定点は、この路面を規定するための点であるので、3つの標定点は、実空間において正三角形に近い形状を成していることが望ましい。計測車両11を1回だけ走行させた場合、その軌跡は、ほぼ直線であるため、正三角形に近い形状を成す標定点を選択することが困難になる。これを避けるため、計測車両11を、複数回あるいは複数台、異なる車線などを走行させ、これらの計測結果から標定点を選択するとよい。なお、本実施形態では、観測区間を3つの標定点を頂点とする三角形の領域に分割し、各々の領域について座標変換式を求める。
【0021】
また、計測車両位置算出部101が算出する計測車両の位置は、自車位置測定器112のGPS測位器のアンテナの位置であるため、路側カメラ13の撮影画像路側カメラ13の撮影画像から車両検出部100が検出する追跡点とは一致していないという問題がある。この問題を解決するには、計測車両位置算出部101が算出した計測車両11の姿勢角と、既知の計測車両11の形状とに基づき、GPS測位器のアンテナが設置された位置から、標定点にするのに適した位置(例えば、ナンバープレートなど、路側カメラ13の撮影画像に含まれ、車両検出部100が検出可能な点)の値を算出し、これを標定点にすればよい。
【0022】
路側カメラ位置算出部103は、計測車両11の位置を表す情報および姿勢角を表す情報と、車載カメラ110が路側カメラ13を撮影した画像と、車載カメラ110から路側カメラ13までの距離とから、路側カメラ13の位置を算出する。より具体的には、路側カメラ位置算出部103は、車載カメラ110が路側カメラ13を撮影した画像から、路側カメラ13を検出し、路側カメラ13の画像中の座標を取得する。この路側カメラ13の検出は、車両検出部100における計測車両11および走行車両の検出と同様に、路側カメラ13の大きさ、輝度、RGB値などの外観に関する特徴情報を用いた画像認識処理により、路側カメラ13を検出することで行なってもよいし、撮影画像を表示装置14などに表示させ、表示された撮影画像中の路側カメラ13をマウスなどの入力デバイスを用いてオペレータが指定した座標を取得することで、検出するようにしてもよい。
【0023】
次に、路側カメラ位置算出部103は、検出した路側カメラ13の路側カメラ13の状態遷移方程式と観測方程式とに対して、拡張カルマンスムーザを適用して、各タイムコードに対応する計測車両11から路側カメラ13への相対座標を推定する。そして、路側カメラ位置算出部103は、推定した路側カメラ13への相対座標を、該相対座標のタイムコードに対応する計測車両11の位置と姿勢角とを用いて、路側カメラ13の実空間における位置に変換する。なお、本実施形態における路側カメラ位置算出部103が用いる路側カメラ13の状態遷移方程式と観測方程式の詳細については、後述する。
【0024】
座標変換式生成部104は、路側カメラ13の位置と、路側カメラ13が撮影した少なくとも4つの撮影画像各々における計測車両11の座標と、計測車両11が検出した自車両の位置を表す情報であって、これら少なくとも4つの撮影画像各々の撮影時刻の位置を表す情報とを用いて、すなわち路側カメラ位置算出部103が算出した路側カメラ13の実空間における位置と、標定点選択部102が選択した3つの標定点に少なくとも1つを加えた標定点の撮影画像における座標と、該標定点の実空間における位置とを用いて、撮影画像中の座標から、前記観測区間を近似した平面上の位置を算出する座標変換式を生成する。この際に追加する標定点は、標定点選択部102が選択した3つの標定点のそれぞれが形成する隣接する他の三角形領域の標定点のうちで、標定点選択部102が選択した3つの標定点が成す3次元平面からの高低差が最小のものを選択する。
【0025】
このとき、路側カメラ13の位置は、本実施形態では、路側カメラ位置算出部103が算出した路側カメラ13の実空間における位置を用いるが、測量により求めた値を用いてもよい。しかし、高速道路など人の立ち入りに制限がある場所などの理由で測量の実施が困難な場合であっても、本実施形態のように車載カメラ110の撮像結果と、計測車両位置算出部101が算出した計測車両11の位置および姿勢角を用いて、路側カメラ位置算出部103が路側カメラ13の位置を算出することで、路側カメラ13の実空間における位置を得ることができる。
【0026】
ここで、座標変換式を生成するとは、観測区間を分割した領域各々について、各領域の標定点の情報に基づき座標変換式である式(1)、(1)−1のパラメータα、β、γ、δ、b1〜b8を算出することである。本実施形態における座標変換式の詳細については後述する。図2は、本実施形態における座標変換式のうちの式(1)による、追跡点の路面からの高さの補正方法を説明する図である。図2に示すように、Xc、Ycは、路側カメラ13の実空間での位置を表す座標のうちのX座標とY座標の値であり、路側カメラ位置算出部103から得られる。hは、路側カメラ13で撮影した撮影画像から車両検出部100が走行車両を検出する追跡点T(例えば、ナンバープレート)の路面からの高さであり、初期値として予め固定値を決めておき、本実施形態では、後述する座標変換部107が推定する。なお、高さhの初期値は、車種毎に予め固定値を決めておき、走行車両の車種に応じて選択した固定値を用いてもよい。図2には表れないが、x、yは、路側カメラ13による撮影画像上の走行車両などの追跡点Tの座標であり、車両検出部100から得られる。また、路側カメラ13と追跡点Tを通る直線と路面との交点である投影点PのXY座標(Xp、Yp)は、走行車両などの追跡点Tの座標路の撮影画像上の座標(x、y)を用いて、2次元射影変換式である式(1)−1により表される。
【0027】
【数1】

【0028】
式(1)のパラメータα、β、γ、δは、標定点選択部102が選択した標定点H1〜3を含む平面、すなわち路面を近似した平面を表す正規化された式(2)を満たす値である。座標変換式生成部104は、これらα、β、γ、δの値を、観測区間を分割した領域各々に対して標定点選択部102が選択した3つの標定点の実空間での位置を表す座標から求める。
【0029】
【数2】

【0030】
さらに、撮影画像上の座標(x、y)と実空間における位置のXY座標値(Xp、Yp)との関係を表す式である式(1)−1を、x、yについて解くと式(3)が得られる。座標変換式生成部104は、この式(3)に標定点の値(撮影画像上の座標(x、y)と実空間における位置のXY座標値(Xp、Yp))を代入すると得られるb1〜b8を未知数とした方程式を、最小二乗法などを用いて解き、b1〜b8の値を得る。このとき、未知数は8つあるので、2つの式からなる式(3)を解くには、最少でも4つの標定点の値が必要となる。そこで、本実施形態では、座標変換式生成部104は、観測区間を分割した領域各々に対して標定点選択部102が選択した3つの標定点に加えて、隣接する領域の標定点のうち、前述の3つの標定点と一致せず、かつ、標定点選択部102が選択した3つの標定点が成す3次元平面(式(2)の平面)からのZ軸方向(鉛直方向)の差が最小の標定点の値を用いて、式(3)を解く。
【0031】
【数3】

【0032】
座標変換式生成部104は、観測区間を分割した路面の領域各々の路側カメラ13による撮影画像中の範囲を表す情報(本実施形態では標定点選択部102が選択した3つの標定点の座標)とともに、該領域に対応する座標変換式のパラメータα、β、γ、δ、b1〜b8の値を座標変換式記憶部105に格納する。
【0033】
座標変換式記憶部105は、観測区間を分割した領域の範囲を表す情報と、各々の領域に対応する座標変換式を表す情報とを対応付けて記憶する。本実施形態では、観測区間を分割した領域は、3つの標定点を頂点とする三角形であるので、観測区間を分割した領域の範囲を表す情報として、標定点選択部102が選択した3つの標定点の路側カメラ13で撮影した画像中の座標を記憶する。また、座標変換式を表す情報として、式(1)、(1)−1のパラメータα、β、γ、δ、b1〜b8の値を記憶する。
【0034】
座標変換式選択部106は、車両検出部100から走行車両の撮影画像中の座標とタイムコードを受け、対象の走行車両の位置をいずれの撮影画像についても算出していないときは、該座標に応じた領域を選択し、選択した該領域に対応する座標変換式のパラメータを座標変換式記憶部105から読み出し、車両検出部100から受けた走行車両の座標とタイムコードとともに、読み出した座標変換式のパラメータを座標変換部107に出力する。対象の走行車両の位置をいずれかの撮影画像について算出しているときは、座標変換式選択部106は、車両位置記憶部108が記憶する算出済の走行車両の位置(例えば、1フレーム前の撮影画像から算出した実空間における位置など、最も時間的に近い撮影画像から算出した位置が好ましい)に応じた領域を選択し、選択した該領域に対応する座標変換式のパラメータを座標変換式記憶部105から読み出し、車両検出部100から受けた走行車両の座標とタイムコードとともに、読み出した座標変換式のパラメータを座標変換部107に出力する。なお、撮影画像中の走行車両の座標に応じた領域の選択は、該座標を含む領域を選択する、あるいは、該座標に最も重心が近い領域を選択することで行う。また、算出済の走行車両の位置に応じた領域の選択も、該位置を含む領域を選択する、あるいは、該位置に最も重心が近い領域を選択することで行う。
【0035】
座標変換部107は、座標変換式生成部104が生成した座標変換式を用いて、路側カメラ13が観測区間を走行する走行車両を撮影した複数の撮影画像各々に対応する走行車両の位置を算出し、走行車両の走行軌跡を生成する。ここで、座標変換部107は、座標変換式生成部104が生成した座標変換式として、座標変換式選択部106から受けた座標変換式のパラメータを前述の式(1)に代入して作成した座標変換式を用いる。
【0036】
複数の撮影画像各々における走行車両の位置(実空間における位置のXY座標値)は、このパラメータを用いて作成した座標変換式に、座標変換式選択部106から受けた走行車両の座標を代入して演算することでも得られる。しかし、このように座標変換式により算出した結果には観測誤差などが含まれているため、座標変換式による算出結果である走行車両の位置を繋いだ軌跡は、滑らかな線にはならず、実際にはあり得ないジグザグな線になることがある。
そこで、本実施形態では、座標変換部107は、上述の座標変換式に誤差分散の項を加えた式と、運動方程式に基づく走行車両の状態遷移方程式(式(3)−1)とに対して、拡張カルマンスムーザを適用して、走行車両の位置を含む状態量を最小二乗推定により逐次更新しながら平滑化する。これにより、座標変換部107は、路側カメラ13が撮影した複数の撮影画像各々に対応する走行車両の位置(実空間における位置のXY座標値と路面からの高さh)を算出し、座標変換式選択部106から受けたタイムコードとともに、走行車両毎に車両位置記憶部108に記憶させる。
【0037】
【数4】

【0038】
状態遷移方程式(式(3)−1)のベクトルX(k)、ベクトルW、行列Fを式(3)−2に示す。状態遷移方程式(式(3)−1)は運動方程式であり、走行車両の位置、速度、加速度、加加速度、追跡点の高さを状態量X(k)としている。なお、3次項以下は無視している。加加速度とは加速度の1次微分でアクセルペダルまたはブレーキペダルの踏み込み量に相当する。また、追跡点の高さhを状態遷移方程式に含める事により座標変換において生じた誤差の補正に活用している。なお、hの時間変動は無いものとした。以上の状態量ベクトルの誤差分散には時間変動は無いものとして値を設定した。
【0039】
【数5】

【0040】
なお、本実施形態では、座標変換式選択部106と座標変換部107とで、走行軌跡生成部として機能する。
車両位置記憶部108は、走行車両毎に、座標変換部107が算出した走行車両の実空間における位置の座標値を、対応するタイムコードとともに記憶する。
軌跡表示部109は、車両位置記憶部108が記憶する各走行車両の実空間における位置の座標値を読み出し、各走行車両の走行軌跡を表示装置14に表示させる。
【0041】
図3は、本実施形態における座標変換式記憶部105が記憶内容例を示す図である。図3に示すように、本実施形態における座標変換式記憶部105は、観測区間を分割した三角形の全ての領域について、各領域に対応する撮影画像中の領域の3つの頂点、すなわち標定点選択部102が選択した3つの標定点である頂点1、頂点2、頂点3の座標(例えば、「x11、y11」「x12、y12」、「x13、y13」)と、座標変換式のパラメータ(例えば、α=α1、β=β1、γ=γ1、δ=δ1、b1=c11、b2=c12、b3=c13、b4=c14、b5=c15、b6=c16、b7=c17、b8=c18)とを対応付けて記憶する。(図3のα1〜α3、β1〜β3、γ1〜γ3、δ1〜δ3、x11〜x33、y11〜y33、c11〜c38は、各々数値を表す)
【0042】
図4は、本実施形態における車両位置記憶部108が記憶する走行車両の位置情報の例を示す図である。図4に示す例は、1台の走行車両に対する位置情報である。車両位置記憶部108は、車両走行軌跡観測装置10が観測する走行車両台数分の位置情報を記憶する。図4に示すように、車両位置記憶部108は、各タイムコードの時刻(例えば、Y1年M1月D1日h1時m1分s1秒t1ミリ秒を表す「Y1/M1/D1/h1:m1:s1:t1」)各々に対応付けて、該時刻における走行車両の実空間における位置を表す世界座標系の値(例えば、X座標「x1」、Y座標「y1」)を記憶する。(図4のY1、M1、D1、h1〜h3、m1〜m3、s1〜s3、t1〜t3、x1〜x3、y1〜y3は、各々数値を表す)
【0043】
図5は、本実施形態における車両走行軌跡観測システムの動作を説明するフローチャートである。まず、計測車両11が、GPS時計111が受信するGPS信号により同期された車載カメラ110による撮影と自車位置測定器112による測定とを行いながら観測区間を走行し、GPS時計12が受信するGPS信号により同期された路側カメラ13が、その計測車両11を撮影する(S1)。ここでは、このステップS1を観測区間にある全ての車線について行う。
【0044】
次に、路側カメラ13の撮影結果を車両検出部100に入力し、自車位置測定器112の測定結果を計測車両位置算出部101に入力する。自車位置測定器112の測定結果を受けて、計測車両位置算出部101は、計測車両11の状態遷移方程式と観測方程式とに対して、拡張カルマンスムーザを適用して、各タイムコードにおける計測車両11の実空間での位置(世界座標系での座標値)と姿勢角とを算出する(S2)。
【0045】
次に、車載カメラ110の撮影結果を路側カメラ位置算出部103に入力する。路側カメラ位置算出部103は、車載カメラ110の撮影結果と、ステップS2で算出した計測車両11の位置・姿勢角とから、路側カメラ13の実空間での位置を算出する(S3)。次に、標定点選択部102は、計測車両位置算出部101が算出した各タイムコードにおける計測車両11の位置、すなわち計測車両11の走行軌跡から、標定点を選択する(S4)。このとき、標定点を頂点とする正三角形にできるだけ近い形の領域で観測区間を分割できるように標定点を選択する。
【0046】
次に、座標変換式生成部104は、路側カメラ13の位置と、観測区間を分割した領域毎に、標定点選択部102が選択した該領域の標定点の撮影画像における座標と、実空間における位置とに基づき、撮影画像中の座標から位置を算出する座標変換式を生成し、該座標変換式のパラメータを座標変換式記憶部105に記憶させる(S5)。次に、走行車両を、観測区間を走行させ、路側カメラ13が、これを撮影する(S6)。
【0047】
路側カメラ13の撮影結果を車両検出部100に入力する。車両検出部100は、撮影画像中の走行車両の座標を検出する(S7)。座標変換式選択部106は、車両検出部100から撮影画像中の走行車両の座標を受けて、該座標を含む領域の座標変換式のパラメータを座標変換式記憶部105が記憶するパラメータから選択する。続いて、車両検出部100は、読み出したパラメータの座標変換式で走行車両の座標を変換し、走行車両の実空間での位置を算出する(S8)。この走行車両の実空間での位置を繋いで、走行車両の走行軌跡を表示する。
【0048】
このように、自車位置測定器112を備えた計測車両11が、自車の位置を測定しながら観測区間を走行し、該走行を路側カメラ13が撮影することで、路側カメラ13が撮影した複数の撮影画像各々における計測車両11の座標と、計測車両11が検出した自車両の位置を表す情報であって、複数の撮影画像各々の撮影時刻の位置を表す情報とに基づき、すなわち計測車両11の走行軌跡から選択した標定点に基づき、路側カメラ13の撮影画像中の座標から位置を算出する座標変換式を、容易に生成することができる。
また、計測車両11に車載カメラ110を搭載し、計測車両11が、自車の位置と姿勢角とを測定しながら観測区間を走行し、該走行中に車載カメラ110で路側カメラ13を撮影しつつ、路側カメラ13までの距離を測定することで、路側カメラ13の位置を算出し、路側カメラ13の撮影画像から位置を算出するための座標変換式を容易に生成することができる。
【0049】
また、観測区間を分割した領域各々について、各領域の標定点の情報に基づき座標変換式を生成するため、路側カメラ13のレンズを通して得られた撮影画像の各領域ごとに座標変換式を最適化できることになる。したがって、路側カメラ13として、写真測量用の高価なレンズを用いたカメラを使用しなくても、路側カメラ13の汎用レンズの歪みを補正し、所要の座標変換精度を実現することができる。
【0050】
次に、計測車両位置算出部101にて使用する、状態遷移方程式および観測方程式について説明する。状態遷移方程式は、状態変数(ここではベクトルx)の時間経過による遷移関係を記述した式であり、一般的に式(4)のように、ある時刻tからΔt経過したときの状態変数を、時刻tにおける状態変数に状態遷移ベクトル関数fを施したベクトルと白色雑音ベクトルwの和で表される。
【0051】
【数6】

【0052】
計測車両位置算出部101では、式(5)および式(6)に示すように、実空間の絶対座標系である世界座標系XYZにおける自車両の位置、速度、加速度、加加速度(加速度の時間微分)、自車両姿勢方向の加速度バイアス、自車両の姿勢角、自車両の姿勢角の角速度、自車両の姿勢角の角加速度、3軸ジャイロの移動座標系xyzに対する取付不整角、移動座標系xyzに3軸ジャイロの取付不整角を加えた方向の角速度のバイアスを状態変数とする。これらの状態変数は、それぞれ3要素からなるため、状態変数ベクトルxは、合計で30の要素からなるベクトルとなる。なお、ここで、<ψ、θ、φ>で表される姿勢角は、ヨー角(φ)、ピッチ角(θ)、ロール角(ψ)の順に回転変換して得られるNavigation角と呼ばれる姿勢角である(ベクトルの要素の並び順と回転変換の順は逆である)。
【0053】
【数7】

【0054】
【数8】

【0055】
本実施形態では、式(5)、(6)に示した状態変数に関する状態遷移方程式の状態遷移ベクトル関数fを式(7)、白色雑音ベクトルwを式(8)、(9)とする。
【0056】
【数9】

【0057】
【数10】

【0058】
【数11】

【0059】
状態遷移ベクトル関数f(式(7))を参照すると分かるように、状態遷移方程式は線形方程式となっているので、状態遷移方程式は式(10)のように行列表現できる。このとき、状態遷移行列Fは式(11)のようになる。
【0060】
【数12】

【0061】
【数13】

【0062】
観測方程式は、観測機器により観測した値と、状態変数の関係を表す式であり、一般的に、式(12)のように、観測変数ベクトルxを、状態変数ベクトルxに観測ベクトル関数hを施したベクトルと白色雑音ベクトルeの和で表される。
【0063】
【数14】

【0064】
計測車両位置算出部101は、自車位置測定器112であるGPS時計、速度計、3軸ジャイロの出力である世界座標系XYZにおける自車の位置、進行方向の速度、3軸ジャイロ取付方向に対する加速度と角速度が、観測変数ベクトルxの要素となるので、観測変数ベクトルxは、式(13)のように表され、観測ベクトル関数hは式(14)となる。
【0065】
【数15】

【0066】
【数16】

【0067】
観測ベクトル関数h(式(14))は、非線形であるため、状態遷移ベクトル関数fのように行列表現することはできないが、観測ベクトル関数hを状態変数ベクトルxで偏微分した、観測行列Hを用いて、近似的に表すことができる。このとき、観測方程式は、式(15)のように表され、観測行列Hは、式(16)で表される。
【0068】
【数17】

【0069】
【数18】

【0070】
【数19】

【0071】
【数20】

【0072】
【数21】

【0073】
【数22】

【0074】
【数23】

【0075】
【数24】

【0076】
【数25】

【0077】
【数26】

【0078】
また、計測車両位置算出部101における観測方程式の白色雑音ベクトルeは、式(25)である。
【0079】
【数27】

【0080】
次に、路側カメラ位置算出部103における状態遷移方程式は、計測車両位置算出部101と同様に、式(4)で表される。本実施形態では、式(26)に示すように、計測車両11に固定された移動座標系xyzにおける車載カメラ110からの路側カメラ13の相対位置、加速度、加加速度のxy成分、車載カメラ110の取付高さと路側カメラ13の取付高さの差、車載カメラ110の取付角と焦点距離、路側カメラ13までの距離を測定するレーザー測距装置の測距点と車載カメラ110によるトラッキング点との較差を状態変数ベクトルxとする。また、状態遷移ベクトル関数fは、式(27)とする。
【0081】
【数28】

【0082】
【数29】

【0083】
状態遷移ベクトル関数f(式(26))を参照すると分かるように、路側カメラ103位置算出部103においても、状態遷移方程式は線形方程式となっているので、状態遷移方程式は式(10)のように行列表現できる。このとき、状態遷移行列Fは式(28)のようになる。
【0084】
【数30】

【0085】
また、路側カメラ103位置算出部103における状態遷移方程式の白色雑音ベクトルwは、式(29)とする。
【0086】
【数31】

【0087】
次に、路側カメラ位置算出部103における観測方程式は、計測車両位置算出部101と同様に、式(30)で表される。本実施形態における路側カメラ位置算出部103では、車載カメラ110の出力画像より抽出した路側カメラ13の座標および車載カメラ110のレーザー測距装置の出力である路側カメラ13までの距離が、観測変数ベクトルyの要素となるので、観測変数ベクトルyは、式(31)のように表され、観測ベクトル関数hは式(32)となる。
【0088】
【数32】

【0089】
【数33】

【0090】
【数34】

【0091】
計測車両位置算出部101と同様に、路側カメラ位置算出部103においても、観測ベクトル関数h式(32)は、非線形であるため、状態遷移ベクトル関数fのように行列表現することはできないが、観測ベクトル関数hを状態変数ベクトルxで偏微分した、観測行列Hを用いて、近似的に表すことができる。このとき、観測方程式は、式(33)のように表され、観測行列Hは、式(34)で表される。
【0092】
【数35】

【0093】
【数36】

【0094】
【数37】

【0095】
【数38】

【0096】
また、路側カメラ位置算出部103における観測方程式の白色雑音ベクトルeは、式(37)である。
【0097】
【数39】

【0098】
次に、本実施形態における座標変換式(式(1))について説明する。一般に、平面(Xp、Yp)から平面(x、y)への2次元射影変換は、式(38)で表される。これが、式(1)−1である。
【0099】
【数40】

【0100】
図6と図7とは、本実施形態における座標変換式である式(1)を説明する図である。図6は、路側カメラ13と追跡点Pとを結ぶ線に垂直かつ、路面Rに平行な方向から見たときの、路側カメラ13と走行車両と路面Rとの関係を示す図である。図7は、世界座標系のX軸、Y軸を水平面にとり、Z軸方向から見たときの路側カメラ13と走行車両と投影点Pとの関係を示す図である。これらの図において、路側カメラ13から投影点Pまでの距離をLp、路側カメラ13から追跡点Tまでの距離をL、路面Rから路側カメラ13までの高さをhc、路面Rから追跡点Tまでの高さをhとする。
【0101】
図6に示すように、追跡点Tの路面Rへの垂線と路面Rとの交点、投影点P、追跡点Tの3点を頂点とする三角形と、路側カメラ13の路面Rへの垂線と路面Rとの交点、投影点P、路側カメラ13の3点を頂点とする三角形とは相似である。従って、式(39)が得られる。式(39)を変形すると式(40)が得られる。
hc:h=Lp:Lp−L …(39)
hc:hc−h=Lp:L …(40)
【0102】
また、路面Rを表す正規化された式は、αX+βY+δZ+γ=0であることから、路側カメラ13(Xc、Yc、Zc)から路面Rまでの距離hcは、式(41)で表される。
hc=αXc+βYc+δZc+γ …(41)
また、図7に示すように、路側カメラ13の水平面への射影と追跡点Tの水平面への射影と点(X,Yc)とからなる三角形と、路側カメラ13の水平面への射影と投影点Pと点(Xp,Yc)とからなる三角形とは相似である。従って、Xp−Xc:X−Xc=L’p:L’である。また、L’とL’pは、図6のLとLpの水平面への射影であることから、L’p:L’=Lp:Lである。従って、式(42)が得られる。
Xp−Xc:X−Xc=Lp:L …(42)
式(40)と式(42)とから、Xp−Xc:X−Xc=hc:hc−hであり、この式と、式(41)とから、式(43)が得られる。この式(43)を変形すると、式(1)のXpに関する式と一致する。また、式(1)のYpに関する式も同様にして得られる。このように、本実施形態における座標変換式である式(1)は、実空間における位置が座標(X、Y)で路面からの高さhの追跡点に関する撮影画像上の座標(x、y)を求める式となっている。
【0103】
【数41】

【0104】
なお、本実施形態において路側カメラ13は一つであるとして説明したが、複数の路側カメラ13を備え、各路側カメラ13について観測区間を分割した領域毎に座標変換式を生成し、これらの座標変換式を用いて算出した走行車両の走行軌跡を合成するようにしてもよい。
また、本実施形態において、車載カメラ110は、レーザー測距装置を備え、路側カメラ13までの距離を測定するとして説明したが、レーザー測距装置を備えなくてもよい。この場合、路側カメラ位置算出部103における状態変数ベクトル(式(26))における要素s’(レーザー測距装置の測距点とトラッキング点との較差)、状態遷移行列F(式(28))の最終列、白色雑音ベクトルw(式(29))の14番目(最後)の要素w、観測変数ベクトル(式(31))の3番目の要素g(t)、観測行列H(式(34))の3行目、白色雑音ベクトルe(式(37))の3番目の要素が不要となる。
【0105】
なお、座標変換式記憶部105および車両位置記憶部108は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、RAM(Random Access Memory)のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
【0106】
また、この車両走行軌跡観測装置10には、表示装置14に加えて、周辺機器として入力装置等(図示せず)が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置14とはCRT(Cathode Ray Tube)や液晶表示装置等のことをいう。
【0107】
また、図1における車両検出部100、計測車両位置算出部101、標定点選択部102、路側カメラ位置算出部103、座標変換式生成部104、座標変換式選択部106、座標変換部107、軌跡表示部108の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0108】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0109】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【産業上の利用可能性】
【0110】
本発明は、二輪自動車および自動車の走行軌跡を観測する車両走行軌跡観測システムに用いて好適であるが、これに限定されない。
【図面の簡単な説明】
【0111】
【図1】この発明の一実施形態による車両走行軌跡観測システムの構成を示すブロック図である。
【図2】同実施形態における座標変換式のうちの式(1)による、追跡点の路面からの高さの補正方法を説明する図である。
【図3】同実施形態における座標変換式記憶部105が記憶内容例を示す図である。
【図4】同実施形態における車両位置記憶部108が記憶する走行車両の位置情報の例を示す図である。
【図5】同実施形態における車両走行軌跡観測システムの動作を説明するフローチャートである。
【図6】同実施形態における座標変換式である式(1)を説明する図である。
【図7】同実施形態における座標変換式である式(1)を説明する図である。
【符号の説明】
【0112】
10…車両走行軌跡観測装置
100…車両検出部
101…計測車両位置算出部
102…標定点選択部
103…路側カメラ位置算出部
104…座標変換式生成部
105…座標変換式記憶部
106…座標変換式選択部
107…座標変換部
108…車両位置記憶部
109…軌跡表示部
11…計測車両
110…車載カメラ
111…GPS時計
112…自車位置測定器
12…GPS時計
13…路側カメラ
14…表示装置

【特許請求の範囲】
【請求項1】
観測区間を撮影するように設置された路側カメラと、前記路側カメラにて撮影された前記観測区間を走行する走行車両の走行軌跡を測定する車両走行軌跡観測装置とを具備する車両走行軌跡観測システムにおいて、
自車両の位置を表す情報を検出しながら前記観測区間を走行する計測車両を備え、
前記路側カメラは、前記観測区間を走行する前記計測車両を撮影し、
前記車両走行軌跡観測装置は、
前記路側カメラの位置と、前記路側カメラが撮影した少なくとも4つの撮影画像各々における前記計測車両の座標と、前記計測車両が検出した自車両の位置を表す情報であって、前記少なくとも4つの撮影画像各々の撮影時刻の位置を表す情報とを用いて、前記撮影画像中の座標から、前記観測区間の路面を近似した平面上の位置を算出する座標変換式を生成する座標変換式生成部と、
前記座標変換式生成部が生成した座標変換式を用いて、前記路側カメラが前記観測区間を走行する走行車両を撮影した複数の撮影画像各々に対応する前記走行車両の位置を算出し、前記走行車両の走行軌跡を生成する走行軌跡生成部と
を具備することを特徴とする車両走行軌跡観測システム。
【請求項2】
前記計測車両は、自車両の位置を表す情報に加えて、自車両の姿勢角を表す情報の検出と、前記路側カメラの撮影と、前記路側カメラまでの距離の測定とを行いながら走行し、
前記車両走行軌跡観測装置は、前記計測車両の位置を表す情報および姿勢角を表す情報と、前記路側カメラを撮影した画像と、前記路側カメラまでの距離とから、前記路側カメラの位置を算出する路側カメラ位置算出部を具備し、
前記座標変換式生成部が用いる前記路側カメラの位置は、前記路側カメラ位置算出部が算出した前記路側カメラの位置であること
を特徴とする請求項1に記載の車両走行軌跡観測システム。
【請求項3】
前記座標変換式生成部は、前記観測区間を複数の領域に分割し、該領域毎に前記座標変換式を生成し、
前記走行軌跡生成部は、前記走行車両の位置を算出する際に、前記領域のうち、前記撮影画像中の前記走行車両の座標に応じた領域、または算出済の前記走行車両の位置に応じた領域を選択し、選択した前記領域に対応する前記座標変換式を用いること
を特徴とする請求項1または請求項2に記載の車両走行軌跡観測システム。
【請求項4】
観測区間を撮影するように設置された路側カメラと、前記路側カメラにて撮影された前記観測区間を走行する走行車両の挙動を測定する車両走行軌跡観測装置と、自車両の位置を検出しながら走行する計測車両とを具備する車両走行軌跡観測システムにおける車両走行軌跡観測方法であって、
前記計測車両が、自車両の位置を検出しながら前記観測区間を走行する第1の過程と、
前記路側カメラが、前記観測区間を走行する前記計測車両を撮影する第2の過程と、
前記走行車両挙動測定装置が、前記路側カメラの位置と、前記路側カメラが撮影した少なくとも4つの撮影画像各々における前記計測車両の座標と、前記計測車両が検出した自車両の位置を表す情報であって、前記少なくとも4つの撮影画像各々の撮影時刻の位置を表す情報とを用いて、前記該撮影画像中の座標から、前記観測区間の路面を近似した平面上の位置を算出する座標変換式を生成する第3の過程と、
前記走行車両挙動測定装置が、前記が第3の過程にて生成した座標変換式を用いて、前記路側カメラが前記観測区間を走行する走行車両を撮影した複数の撮影画像各々における前記走行車両の位置を算出し、前記走行車両の走行軌跡を測定する射第4の過程と
を備えることを特徴とする車両走行軌跡観測方法。
【請求項5】
観測区間を撮影するように設置された路側カメラと、前記路側カメラにて撮影された前記観測区間を走行する走行車両の挙動を測定する車両走行軌跡観測装置と、自車両の位置を検出しながら前記観測区間を走行する計測車両とを具備する車両走行軌跡観測システムにおける前記車両走行軌跡観測装置のコンピュータを、
前記路側カメラの位置と、前記路側カメラが撮影した少なくとも4つの撮影画像各々における前記計測車両の座標と、前記計測車両が検出した自車両の位置を表す情報であって、前記少なくとも4つの撮影画像各々の撮影時刻の位置を表す情報とを用いて、前記撮影画像中の座標から、前記観測区間の路面を近似した平面上の位置を算出する座標変換式を生成する座標変換式生成部、
前記走行車両挙動測定装置が、前記座標変換式生成部が生成した座標変換式を用いて、前記路側カメラが前記観測区間を走行する走行車両を撮影した複数の撮影画像各々における前記走行車両の位置を算出し、前記走行車両の走行軌跡を生成する走行軌跡生成部
として機能させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2010−20729(P2010−20729A)
【公開日】平成22年1月28日(2010.1.28)
【国際特許分類】
【出願番号】特願2008−183228(P2008−183228)
【出願日】平成20年7月14日(2008.7.14)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 平成20年1月15日 学校法人千葉工業大学主催の「博士論文公聴会」に発表
【出願人】(501303840)株式会社アイ・トランスポート・ラボ (11)
【Fターム(参考)】