カメラキャリブレーションシステムと、その計測車両及び路側機
【課題】走行する車両を撮影するカメラの条件を設定するカメラキャリブレーションを容易に設定可能なカメラキャリブレーションシステムと、その計測車両及び路側機を提供すること。
【解決手段】目印を搭載した計測車両を走行させ、この車両の目印を認識する画像処理部を有する路側機で構成されるカメラキャリブレーションシステムにおいて、上記計測車両は、搭載したＧＰＳ受信機で受信した位置情報及び時計情報を送信するデータ送信機を備え、上記路側機は、走行する計測車両を撮影するカメラ映像の中の目印を認識する画像処理部と、ＧＰＳ受信機で受信した当該路側機の設置位置情報を原点とし、前記データ送信機から送信された時計情報及び位置情報、及び前記画像処理部が目印を認識したときの画像及び当該目印の座標を元に、目印の位置情報と、前記路側機の設置位置情報から当該２点間の距離を算出する。
【解決手段】目印を搭載した計測車両を走行させ、この車両の目印を認識する画像処理部を有する路側機で構成されるカメラキャリブレーションシステムにおいて、上記計測車両は、搭載したＧＰＳ受信機で受信した位置情報及び時計情報を送信するデータ送信機を備え、上記路側機は、走行する計測車両を撮影するカメラ映像の中の目印を認識する画像処理部と、ＧＰＳ受信機で受信した当該路側機の設置位置情報を原点とし、前記データ送信機から送信された時計情報及び位置情報、及び前記画像処理部が目印を認識したときの画像及び当該目印の座標を元に、目印の位置情報と、前記路側機の設置位置情報から当該２点間の距離を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、道路の路側に設置されたカメラで道路上の車両を監視する道路監視システムのカメラキャリブレーションシステムと、その計測車両及び路側機に関する。
【背景技術】
【０００２】
道路監視システムなどの路側に設置されたカメラで道路上の撮影を行い、得られる画像から画像処理を用いて車両などを抽出するシステムにおいて、設置場所によって撮影画像が異なるため、予め道路の線形情報などを抽出し、パラメータとして登録しておく必要がある。
【０００３】
この件に関し、専用の車両を撮像してその撮像画像における複数の特徴点の座標値を検出し、その座標値と相対的な位置関係から道路平面パラメータや監視カメラのパラメータ等を算出するカメラのキャリブレーション方法が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２３２８６９号公報（第４頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数の専用車両がカメラ撮影範囲を走行することで、画像上の座標値と、実空間における車両の相対的な位置関係から画像平面状の距離と道路平面状の距離の相関を求めることが可能である。しかし、これは被写体間の距離関係を示すものであり、画面上に撮影されていない任意の位置から被写体までの距離を導出するには線形補完を行うなどの必要があり、十分な精度を得ることができないという課題がある。
【０００６】
本発明は、上記課題を解決するためになされたもので、ＧＰＳ（Global Positioning System：全地球測位システム）受信機、データ送信機及び目印を搭載した計測車両と、当該車両を撮影するカメラ、ＧＰＳ受信機及びデータ受信機と接続された路側機を有するカメラキャリブレーションシステムにおいて、路側機は、走行する計測車両をカメラで撮影した映像を画像処理することにより計測車両の目印を検出し、そのときの画像、時計情報及び座標を、時計情報をパラメータとして登録し、さらに当該計測車両から送信されるＧＰＳ受信機が受信した時計情報及び位置情報を受信し登録することにより、カメラ設置位置から画面上に撮像された車両までの距離を算出することのできるカメラキャリブレーションシステム及び路側機を提供することができる。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の請求項１記載のカメラキャリブレーションシステムは、目印と、計測車両の位置情報及び時計情報を受信するＧＰＳ受信機と、このＧＰＳ受信機によって受信された時計情報及び位置情報を送信するデータ送信機と、を搭載した計測車両を走行させ、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムであって、前記路側機は、前記目印をテンプレートとして保存する保存部と、走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、当該路側機の時計情報及び設置位置情報を受信するＧＰＳ受信機と、このＧＰＳ受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、前記計測車両のデータ送信機から送信された時計情報及びこの時計情報に同期した位置情報を受信するデータ受信部と、前記画像処理部が目印を認識したときの画像及び当該目印の座標を、当該路側機のＧＰＳ受信機が受信した時計情報をパラメータとしてパラメータテーブルに登録するパラメータテーブル保存部と、このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該２点間の距離を算出する距離算出部と、を備えたことを特徴とする。
【０００８】
また、本発明の請求項２記載のカメラキャリブレーションシステムの計測車両は、目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムの計測車両であって、前記目印と、計測車両の位置情報及び時計情報を受信するＧＰＳ受信機と、このＧＰＳ受信機によって受信された時計情報及びこの時計情報に同期した位置情報を送信するデータ送信機と、を備えたことを特徴とするカメラキャリブレーションシステムの計測車両。
【０００９】
さらに、本発明の請求項３記載の路側機は、目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機であって、前記目印をテンプレートとして保存する保存部と、走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、当該路側機の時計情報及び設置位置情報を受信するＧＰＳ受信機と、このＧＰＳ受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、前記画像処理部が目印を認したときの画像及び当該目印の座標を、当該路側機のＧＰＳ受信機が受信した時計情報をパラメータとして登録するパラメータテーブル保存部と、このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該２点間の距離を算出する距離算出部と、を備えたことを特徴とするカメラキャリブレーションシステムの路側機。
【図面の簡単な説明】
【００１０】
【図１】本実施例１に係るカメラキャリブレーションシステム図の一例
【図２】図１に示す路側機の構成を示すブロック図
【図３】図１に示す車両（計測車両）に搭載した目印の一例
【図４】パラメータテーブルの一例
【図５】路側機において、原点座標から計測車両までの距離を算出する距離計算部の処理を示すフローチャート
【図６】本実施例２に係る原点座標から車両までの距離を算出する方法の説明に係るグラフ
【発明を実施するための形態】
【００１１】
本発明のカメラキャリブレーションシステムは、ＧＰＳ受信機、データ送信機及び目印を搭載した計測車両と、当該車両を撮影するカメラ、ＧＰＳ受信機及びデータ受信機と接続された路側機を有するカメラキャリブレーションシステムにおいて、路側機は走行する計測車両をカメラで撮影した映像を画像処理することにより計測車両の目印を検出することにより、カメラ設置位置から画面上に撮像された車両までの距離を算出することができる。本発明を実施するための形態を以下、図面を参照して説明する。
【実施例１】
【００１２】
図１は、本実施例１に係るカメラキャリブレーションシステム図の一例である。カメラキャリブレーションシステムは、例えば、カーブがあり前方の見通しが悪い場合に、カーブの先をカメラで撮影し、当該、カメラで撮像した範囲にいる対向する車両の位置を認識して表示又は無線通信による通知を行う際に用いられる。
【００１３】
本実施例のカメラキャリブレーションシステムは、カメラ部、路側機及び計測車両を有して構成される。
【００１４】
カメラ部１０は、カメラ支持台１１及びカメラ１２で構成される。カメラ支持台１１は、路面より所定の高さにカメラ１２を取付けた状態で路肩に設置される。カメラ１２を設置する高さは、監視範囲及び使用するカメラ１２の視野範囲・解像度などカメラの仕様により設定される。
【００１５】
図２は、路側機２０の構成を示すブロック図である。図３は、計測車両３０の前面に目印４０を搭載した場合の一例である。図示した例は、目印４０として三角マークを用いた場合を示す。
【００１６】
路側機２０は、画像処理部２２、テンプレート・原点情報保存部２１、パラメータテーブル保存部２３、ＧＰＳ受信部２４、データ受信部２５及び距離算出部２６を有して構成される。
【００１７】
ＧＰＳ受信部は、アンテナ２４ａに接続され、時計情報及び当該アンテナ２４ａが配置されている位置情報を取り込む。この位置情報は、アンテナ２４ａが路側機に組み込まれて固定されているため、実際には路側機の位置情報でもある。
【００１８】
テンプレート・原点情報保存部２１は、計測車両３０に搭載した目印（三角マーク）４０を撮像した画像をテンプレートとして登録する。また、当該路側機２０の設置位置情報（座標）を原点とし、その設置位置情報をテンプレート・原点情報保存部２１に登録する。
【００１９】
画像処理部２２は、カメラ１２と接続され、カメラ１２が撮影した映像を取込み計測車両３０に取付けた目印（三角マーク）４０を検出する。ここで、映像とは、画像の集合体であるため、画像処理部２２は、当該映像を構成する画像を取込み、当該画像の中にテンプレート保存部に登録した三角マークと一致する画像が検出されるか、例えば類似度法又はパターンマッチング法などによる認識処理を行う。
【００２０】
データ受信部２５は、アンテナ２５ａに接続され、計測車両３０から送出される時計情報及び当該計測車両３０の位置情報を受信する。
【００２１】
パラメータテーブル保存部２３は、上記ＧＰＳ受信部２４及びデータ受信部２５で受信したデータを保存する。
【００２２】
図４は、パラメータテーブル保存部２３に保存されているパラメータテーブルの一例である。図示した画像は、計測車両３０が遠方（図４（１））から図４（２）、図４（３）と近づいてくる場合を示す。
【００２３】
図４（１）は、路側機２０が設置されている原点座標から距離Ｄ１だけ離れている位置に計測車両３０があり、そのときの三角マーク４０が検出された場合の時計情報、画像、車両位置情報、距離及び車両座標を示す。
【００２４】
車両位置情報（Ｈ１、Ｖ１）は、計測車両３０に搭載されたＧＰＳ受信部３１が受信した経度Ｈ１及び緯度Ｖ１からなる地球上の絶対位置を示す。
【００２５】
車両座標（Ｘ１、Ｙ１）は、原点座標から距離Ｄ１離れた位置にいる計測車両３０の位置を示す表示装置２１ａ上の座標を示す。
【００２６】
なお、時計情報は、計測車両３０に搭載されたＧＰＳ受信機３１が当該車両の位置を受信した際の時刻を示す。従って、車両位置情報（Ｈ１、Ｖ１）は、そのときの絶対位置を示す。
【００２７】
図４（２）は、図４（１）に示す状態から前進し、路側機２０が設置されている原点座標から距離Ｄ２だけ離れている位置に計測車両３０が接近した位置で三角マーク４０が検出された場合の時計情報、画像、車両位置情報、距離及び車両座標を示す。
【００２８】
図４（３）は、図４（２）に示す状態からさらに前進し、路側機２０が設置されている原点座標から距離Ｄ３だけ離れている位置に計測車両３０が接近した位置で三角マーク４０が検出された場合の時計情報、画像、車両位置情報、距離及び車両座標を示す。
【００２９】
上述した内容から、一般に計測車両３０が地点ｎにいるときの車両位置情報は、地球上の絶対位置として経度Ｈｎ及び緯度Ｖｎを用いて位置（Ｈｎ、Ｖｎ）と表現できる。
【００３０】
また、計測車両３０が地点ｎにいるときの画面上の座標はＸ座標の位置Ｘｎ及びＹ座標の位置Ｙｎを用いて座標（Ｘｎ、Ｙｎ）と表現できる。このときの原点から座標（Ｘｎ、Ｙｎ）までの距離Ｄｎは下式（１）で示される（図４（４）（ａ））。
【００３１】
Ｄｎ＝√（Ｘｎ２＋Ｙｎ２）・・・・・・・・・・・・・・（１）
一方、路面上を走行する計測車両３０が地点（Ｈｎ、Ｖｎ）から原点位置まで走行した際の距離Ｌｎは下式（２）を用いて表現できる（図４（４）（ｂ））。
【００３２】
Ｌｎ＝√（Ｈｎ２＋Ｖｎ２）・・・・・・・・・・・・・・（２）
Ｈｎの値は計測車両３０が走行する道路幅が一定であれば、地点によらず一定と考えてよく、Ｖｎ》Ｈｎの範囲では、Ｈｎを省略できるので、その場合には、距離Ｌｎは下式（３）を用いて表現できる。
【００３３】
Ｌｎ＝√（Ｈｎ２＋Ｖｎ２）≒√Ｖｎ２＝Ｖｎ・・・・・・（３）
すなわち地点ｎのＶ座標Ｖｎは原点からの距離になる。
【００３４】
図５は、路側機２０において、原点座標から計測車両３０までの距離を算出する距離算出部２６の処理を示すフローチャートである。
【００３５】
距離算出部２６は、ＣＰＵ及びメモリで構成され、このメモリにプログラムをインストールし、実行することにより、当該フローチャートに示す処理が実行される。なお、上記ＣＰＵ及びメモリは、路側機２０を制御する制御プログラムがインストールされ、当該制御手段として用いることができるのは当然である。
【００３６】
路側機２０のＧＰＳ受信部２４が受信した位置情報を原点位置情報としてテンプレート・原点情報保存部２１に登録する。この登録により、車両座標上の原点として登録される。また、計測車両３０に搭載した三角マーク４０を目印としてテンプレート・原点情報保存部２１に登録する（Ｓ１）。
【００３７】
なお、この原点位置は任意に設定可能であり、路側機２０を設置した位置を位置情報として原点情報保存部に登録するし、その位置を原点とすることができるのは当然である。
【００３８】
画像処理部でカメラ１２から入力された画像がテンプレート・原点情報保存部２１に保存されているテンプレート（この場合、三角マーク）に一致するかマッチングを行う（テンプレートマッチング処理、Ｓ２）。
【００３９】
このマッチング処理で、マッチングした場合（Ｓ３）、マッチングした車両座標（Ｘｎ、Ｙｎ）を取得する（Ｓ４）。
【００４０】
このマッチングした車両座標（Ｘｎ、Ｙｎ）が取得できたときの時計情報を路側機２０側のＧＰＳ受信部２４からの時計情報によって抽出する（Ｓ５）。すなわち、三角マーク４０が検出できたときの時計情報（ここでは時刻）を路側機２０側ＧＰＳ受信部が受信した時計情報から抽出する。
【００４１】
図４に示すパラメータテーブルに上記取得した時計情報、及びその元になった画像及びその車両座標（上記マッチングした車両座標）をパラメータテーブル保存部２３に保存する（Ｓ６）。
【００４２】
次に、計測車両３０が送信したデータをデータ受信部２５が受信したか確認する（Ｓ７）。この確認の結果、データ受信部２５で受信したデータの中から当該計測車両に関する時計情報及び位置情報を抽出する（Ｓ１０）。抽出した計測車両に関する時計情報をパラメータとしてパラメータテーブル保存部２３を参照（検索）する（Ｓ１１）。
【００４３】
一方、ステップＳ７で、計測車両からのデータが受信できないとき（Ｓ７のＮ）、所定の時間が経過していなければ（Ｓ８のＮ）、再度計測車両からデータ受信があるか確認する（Ｓ７）。この確認の結果、所定の時間内に計測車両からのデータが受信できない場合（Ｓ８のＹ）、パラメータテーブルに登録した登録データをクリアする（Ｓ９）。
【００４４】
次にステップＳ１１の結果、パラメータテーブル内に同じ時間のパラメータテーブルを発見した場合（Ｓ１２のＹ）、該当テーブルへ車両位置情報を登録する（Ｓ１４）。
【００４５】
すなわち、路側機２０側で画像処理して検出した三角マーク４０の座標を当該路側機２０側の時計情報をパラメータとして登録しておき、計測車両３０から送信された時計情報との一致をとり、路側機２０側の時計情報（時刻）に近い時刻の送信データが検索された場合にはその送信データに含まれている車両位置情報を登録することにより、三角マーク４０が検出されたときの計測車両の位置を知ることができるということである。
【００４６】
距離算出部２６で路側機２０の位置情報と三角マーク４０が検出されたときの車両位置情報から２点間の距離算出する（Ｓ１５）。
【００４７】
算出された距離を該当パラメータテーブルの「距離」部分に登録する（Ｓ１６）。
【００４８】
以上説明したように本発明の実施例によれば、ＧＰＳ受信機、データ送信機及び目印を搭載した計測車両と、当該車両を撮影するカメラ、ＧＰＳ受信機及びデータ受信機と接続された路側機を有するカメラキャリブレーションシステムにおいて、路側機は、走行する計測車両をカメラで撮影した映像を画像処理することにより車両の目印を検出し、そのときの画像、時計情報及び座標を時計情報をパラメータとして登録し、さらに当該計測車両から送信されるＧＰＳ受信機が受信した時計情報及び位置情報を受信し登録することにより、画面上に撮像された車両の距離を算出することのできるカメラキャリブレーションシステムと、その計測車両及び路側機を提供することができる。
【実施例２】
【００４９】
図６は、本実施例２に係る原点座標から車両までの距離を算出する方法の説明に係るグラフである。実施例１に示したカメラキャリブレーションシステムによって、車両３０に搭載された三角マーク４０が検出されるとこの三角マーク４０が検出された経度Ｈ及び緯度Ｖからなる位置情報が路側機２０に送信される。また、このとき、検出された三角マーク４０の位置情報（Ｈｎ、Ｖｎ）を知ることができる。この位置情報は、カメラ１２が撮影している範囲を表示したときの、左下を基準点として水平方向をＨ座標、垂直方向をＹ座標として表現できる。表示装置がない場合は、パラメータテーブル２３内に設定したメモリ空間内で同様の座標設定をすることも可能あるが、一般的に被写体を認識することにより検出する場合には、認識される被写体を表示装置に表示する場合の方が理解しやすいので、本実施例では、表示装置２１ａに表示する場合を示す。
【００５０】
実施例１では、三角マーク４０が検出された位置情報を知ることができる。実施例１では、三角マーク４０が検出された時点で、その検出された位置及びその検出された位置から原点である路側機２０までの距離が算出される。実施例１では、この距離を算出することが目的であるため、ここで処理は終了するが、実際には計測車両３０が走行中にＧＰＳ受信機３１で受信した時計情報及びこの時計情報に同期した経度Ｈ及び緯度Ｖからなる位置情報が常時路側機２０に送信されている。
【００５１】
従って、この位置情報を上記座標（Ｘ、Ｙ）上にプロットして対応付けることにより任意の座標（Ｘ、Ｙ）から原点である路側機２０までの距離が算出される。図６は、Ｈ座標が車路の幅方向の距離に該当し、Ｖ座標が車路に設置された路側機２０からの距離を示す。
【００５２】
車路が１車線の場合、車両がその中央を走行すると、その座標Ｈaを遠方ＶｎからＶ１に向って走行することにより、対応する距離Ｌｎ、Ｌｎ−１，Ｌｎ−２・・・が算出されることになる。
【００５３】
以上のことから、カメラキャリブレーションシステムが補足対象とする領域内を走行する車両を認識し、同時に当該走行する車両までの距離を、例えば表示装置に表示することができる路側機２０を提供することができる。
【符号の説明】
【００５４】
１０ カメラ部
１２ カメラ
２０ 路側機
２１ 画像処理機
２１ａ 表示装置
２２ テンプレート保存部・原点情報保存部
２３ パラメータテーブル保存部
２４ ＧＰＳ受信部
２４ａ ＧＰＳ受信機
２５ データ受信部
２５ａ データ受信機
２６ 距離計算部
３０ 車両
３１ ＧＰＳ受信機
３２ データ送信機
４０ 目印（三角マーク）
【技術分野】
【０００１】
本発明の実施形態は、道路の路側に設置されたカメラで道路上の車両を監視する道路監視システムのカメラキャリブレーションシステムと、その計測車両及び路側機に関する。
【背景技術】
【０００２】
道路監視システムなどの路側に設置されたカメラで道路上の撮影を行い、得られる画像から画像処理を用いて車両などを抽出するシステムにおいて、設置場所によって撮影画像が異なるため、予め道路の線形情報などを抽出し、パラメータとして登録しておく必要がある。
【０００３】
この件に関し、専用の車両を撮像してその撮像画像における複数の特徴点の座標値を検出し、その座標値と相対的な位置関係から道路平面パラメータや監視カメラのパラメータ等を算出するカメラのキャリブレーション方法が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２３２８６９号公報（第４頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数の専用車両がカメラ撮影範囲を走行することで、画像上の座標値と、実空間における車両の相対的な位置関係から画像平面状の距離と道路平面状の距離の相関を求めることが可能である。しかし、これは被写体間の距離関係を示すものであり、画面上に撮影されていない任意の位置から被写体までの距離を導出するには線形補完を行うなどの必要があり、十分な精度を得ることができないという課題がある。
【０００６】
本発明は、上記課題を解決するためになされたもので、ＧＰＳ（Global Positioning System：全地球測位システム）受信機、データ送信機及び目印を搭載した計測車両と、当該車両を撮影するカメラ、ＧＰＳ受信機及びデータ受信機と接続された路側機を有するカメラキャリブレーションシステムにおいて、路側機は、走行する計測車両をカメラで撮影した映像を画像処理することにより計測車両の目印を検出し、そのときの画像、時計情報及び座標を、時計情報をパラメータとして登録し、さらに当該計測車両から送信されるＧＰＳ受信機が受信した時計情報及び位置情報を受信し登録することにより、カメラ設置位置から画面上に撮像された車両までの距離を算出することのできるカメラキャリブレーションシステム及び路側機を提供することができる。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の請求項１記載のカメラキャリブレーションシステムは、目印と、計測車両の位置情報及び時計情報を受信するＧＰＳ受信機と、このＧＰＳ受信機によって受信された時計情報及び位置情報を送信するデータ送信機と、を搭載した計測車両を走行させ、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムであって、前記路側機は、前記目印をテンプレートとして保存する保存部と、走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、当該路側機の時計情報及び設置位置情報を受信するＧＰＳ受信機と、このＧＰＳ受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、前記計測車両のデータ送信機から送信された時計情報及びこの時計情報に同期した位置情報を受信するデータ受信部と、前記画像処理部が目印を認識したときの画像及び当該目印の座標を、当該路側機のＧＰＳ受信機が受信した時計情報をパラメータとしてパラメータテーブルに登録するパラメータテーブル保存部と、このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該２点間の距離を算出する距離算出部と、を備えたことを特徴とする。
【０００８】
また、本発明の請求項２記載のカメラキャリブレーションシステムの計測車両は、目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムの計測車両であって、前記目印と、計測車両の位置情報及び時計情報を受信するＧＰＳ受信機と、このＧＰＳ受信機によって受信された時計情報及びこの時計情報に同期した位置情報を送信するデータ送信機と、を備えたことを特徴とするカメラキャリブレーションシステムの計測車両。
【０００９】
さらに、本発明の請求項３記載の路側機は、目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機であって、前記目印をテンプレートとして保存する保存部と、走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、当該路側機の時計情報及び設置位置情報を受信するＧＰＳ受信機と、このＧＰＳ受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、前記画像処理部が目印を認したときの画像及び当該目印の座標を、当該路側機のＧＰＳ受信機が受信した時計情報をパラメータとして登録するパラメータテーブル保存部と、このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該２点間の距離を算出する距離算出部と、を備えたことを特徴とするカメラキャリブレーションシステムの路側機。
【図面の簡単な説明】
【００１０】
【図１】本実施例１に係るカメラキャリブレーションシステム図の一例
【図２】図１に示す路側機の構成を示すブロック図
【図３】図１に示す車両（計測車両）に搭載した目印の一例
【図４】パラメータテーブルの一例
【図５】路側機において、原点座標から計測車両までの距離を算出する距離計算部の処理を示すフローチャート
【図６】本実施例２に係る原点座標から車両までの距離を算出する方法の説明に係るグラフ
【発明を実施するための形態】
【００１１】
本発明のカメラキャリブレーションシステムは、ＧＰＳ受信機、データ送信機及び目印を搭載した計測車両と、当該車両を撮影するカメラ、ＧＰＳ受信機及びデータ受信機と接続された路側機を有するカメラキャリブレーションシステムにおいて、路側機は走行する計測車両をカメラで撮影した映像を画像処理することにより計測車両の目印を検出することにより、カメラ設置位置から画面上に撮像された車両までの距離を算出することができる。本発明を実施するための形態を以下、図面を参照して説明する。
【実施例１】
【００１２】
図１は、本実施例１に係るカメラキャリブレーションシステム図の一例である。カメラキャリブレーションシステムは、例えば、カーブがあり前方の見通しが悪い場合に、カーブの先をカメラで撮影し、当該、カメラで撮像した範囲にいる対向する車両の位置を認識して表示又は無線通信による通知を行う際に用いられる。
【００１３】
本実施例のカメラキャリブレーションシステムは、カメラ部、路側機及び計測車両を有して構成される。
【００１４】
カメラ部１０は、カメラ支持台１１及びカメラ１２で構成される。カメラ支持台１１は、路面より所定の高さにカメラ１２を取付けた状態で路肩に設置される。カメラ１２を設置する高さは、監視範囲及び使用するカメラ１２の視野範囲・解像度などカメラの仕様により設定される。
【００１５】
図２は、路側機２０の構成を示すブロック図である。図３は、計測車両３０の前面に目印４０を搭載した場合の一例である。図示した例は、目印４０として三角マークを用いた場合を示す。
【００１６】
路側機２０は、画像処理部２２、テンプレート・原点情報保存部２１、パラメータテーブル保存部２３、ＧＰＳ受信部２４、データ受信部２５及び距離算出部２６を有して構成される。
【００１７】
ＧＰＳ受信部は、アンテナ２４ａに接続され、時計情報及び当該アンテナ２４ａが配置されている位置情報を取り込む。この位置情報は、アンテナ２４ａが路側機に組み込まれて固定されているため、実際には路側機の位置情報でもある。
【００１８】
テンプレート・原点情報保存部２１は、計測車両３０に搭載した目印（三角マーク）４０を撮像した画像をテンプレートとして登録する。また、当該路側機２０の設置位置情報（座標）を原点とし、その設置位置情報をテンプレート・原点情報保存部２１に登録する。
【００１９】
画像処理部２２は、カメラ１２と接続され、カメラ１２が撮影した映像を取込み計測車両３０に取付けた目印（三角マーク）４０を検出する。ここで、映像とは、画像の集合体であるため、画像処理部２２は、当該映像を構成する画像を取込み、当該画像の中にテンプレート保存部に登録した三角マークと一致する画像が検出されるか、例えば類似度法又はパターンマッチング法などによる認識処理を行う。
【００２０】
データ受信部２５は、アンテナ２５ａに接続され、計測車両３０から送出される時計情報及び当該計測車両３０の位置情報を受信する。
【００２１】
パラメータテーブル保存部２３は、上記ＧＰＳ受信部２４及びデータ受信部２５で受信したデータを保存する。
【００２２】
図４は、パラメータテーブル保存部２３に保存されているパラメータテーブルの一例である。図示した画像は、計測車両３０が遠方（図４（１））から図４（２）、図４（３）と近づいてくる場合を示す。
【００２３】
図４（１）は、路側機２０が設置されている原点座標から距離Ｄ１だけ離れている位置に計測車両３０があり、そのときの三角マーク４０が検出された場合の時計情報、画像、車両位置情報、距離及び車両座標を示す。
【００２４】
車両位置情報（Ｈ１、Ｖ１）は、計測車両３０に搭載されたＧＰＳ受信部３１が受信した経度Ｈ１及び緯度Ｖ１からなる地球上の絶対位置を示す。
【００２５】
車両座標（Ｘ１、Ｙ１）は、原点座標から距離Ｄ１離れた位置にいる計測車両３０の位置を示す表示装置２１ａ上の座標を示す。
【００２６】
なお、時計情報は、計測車両３０に搭載されたＧＰＳ受信機３１が当該車両の位置を受信した際の時刻を示す。従って、車両位置情報（Ｈ１、Ｖ１）は、そのときの絶対位置を示す。
【００２７】
図４（２）は、図４（１）に示す状態から前進し、路側機２０が設置されている原点座標から距離Ｄ２だけ離れている位置に計測車両３０が接近した位置で三角マーク４０が検出された場合の時計情報、画像、車両位置情報、距離及び車両座標を示す。
【００２８】
図４（３）は、図４（２）に示す状態からさらに前進し、路側機２０が設置されている原点座標から距離Ｄ３だけ離れている位置に計測車両３０が接近した位置で三角マーク４０が検出された場合の時計情報、画像、車両位置情報、距離及び車両座標を示す。
【００２９】
上述した内容から、一般に計測車両３０が地点ｎにいるときの車両位置情報は、地球上の絶対位置として経度Ｈｎ及び緯度Ｖｎを用いて位置（Ｈｎ、Ｖｎ）と表現できる。
【００３０】
また、計測車両３０が地点ｎにいるときの画面上の座標はＸ座標の位置Ｘｎ及びＹ座標の位置Ｙｎを用いて座標（Ｘｎ、Ｙｎ）と表現できる。このときの原点から座標（Ｘｎ、Ｙｎ）までの距離Ｄｎは下式（１）で示される（図４（４）（ａ））。
【００３１】
Ｄｎ＝√（Ｘｎ２＋Ｙｎ２）・・・・・・・・・・・・・・（１）
一方、路面上を走行する計測車両３０が地点（Ｈｎ、Ｖｎ）から原点位置まで走行した際の距離Ｌｎは下式（２）を用いて表現できる（図４（４）（ｂ））。
【００３２】
Ｌｎ＝√（Ｈｎ２＋Ｖｎ２）・・・・・・・・・・・・・・（２）
Ｈｎの値は計測車両３０が走行する道路幅が一定であれば、地点によらず一定と考えてよく、Ｖｎ》Ｈｎの範囲では、Ｈｎを省略できるので、その場合には、距離Ｌｎは下式（３）を用いて表現できる。
【００３３】
Ｌｎ＝√（Ｈｎ２＋Ｖｎ２）≒√Ｖｎ２＝Ｖｎ・・・・・・（３）
すなわち地点ｎのＶ座標Ｖｎは原点からの距離になる。
【００３４】
図５は、路側機２０において、原点座標から計測車両３０までの距離を算出する距離算出部２６の処理を示すフローチャートである。
【００３５】
距離算出部２６は、ＣＰＵ及びメモリで構成され、このメモリにプログラムをインストールし、実行することにより、当該フローチャートに示す処理が実行される。なお、上記ＣＰＵ及びメモリは、路側機２０を制御する制御プログラムがインストールされ、当該制御手段として用いることができるのは当然である。
【００３６】
路側機２０のＧＰＳ受信部２４が受信した位置情報を原点位置情報としてテンプレート・原点情報保存部２１に登録する。この登録により、車両座標上の原点として登録される。また、計測車両３０に搭載した三角マーク４０を目印としてテンプレート・原点情報保存部２１に登録する（Ｓ１）。
【００３７】
なお、この原点位置は任意に設定可能であり、路側機２０を設置した位置を位置情報として原点情報保存部に登録するし、その位置を原点とすることができるのは当然である。
【００３８】
画像処理部でカメラ１２から入力された画像がテンプレート・原点情報保存部２１に保存されているテンプレート（この場合、三角マーク）に一致するかマッチングを行う（テンプレートマッチング処理、Ｓ２）。
【００３９】
このマッチング処理で、マッチングした場合（Ｓ３）、マッチングした車両座標（Ｘｎ、Ｙｎ）を取得する（Ｓ４）。
【００４０】
このマッチングした車両座標（Ｘｎ、Ｙｎ）が取得できたときの時計情報を路側機２０側のＧＰＳ受信部２４からの時計情報によって抽出する（Ｓ５）。すなわち、三角マーク４０が検出できたときの時計情報（ここでは時刻）を路側機２０側ＧＰＳ受信部が受信した時計情報から抽出する。
【００４１】
図４に示すパラメータテーブルに上記取得した時計情報、及びその元になった画像及びその車両座標（上記マッチングした車両座標）をパラメータテーブル保存部２３に保存する（Ｓ６）。
【００４２】
次に、計測車両３０が送信したデータをデータ受信部２５が受信したか確認する（Ｓ７）。この確認の結果、データ受信部２５で受信したデータの中から当該計測車両に関する時計情報及び位置情報を抽出する（Ｓ１０）。抽出した計測車両に関する時計情報をパラメータとしてパラメータテーブル保存部２３を参照（検索）する（Ｓ１１）。
【００４３】
一方、ステップＳ７で、計測車両からのデータが受信できないとき（Ｓ７のＮ）、所定の時間が経過していなければ（Ｓ８のＮ）、再度計測車両からデータ受信があるか確認する（Ｓ７）。この確認の結果、所定の時間内に計測車両からのデータが受信できない場合（Ｓ８のＹ）、パラメータテーブルに登録した登録データをクリアする（Ｓ９）。
【００４４】
次にステップＳ１１の結果、パラメータテーブル内に同じ時間のパラメータテーブルを発見した場合（Ｓ１２のＹ）、該当テーブルへ車両位置情報を登録する（Ｓ１４）。
【００４５】
すなわち、路側機２０側で画像処理して検出した三角マーク４０の座標を当該路側機２０側の時計情報をパラメータとして登録しておき、計測車両３０から送信された時計情報との一致をとり、路側機２０側の時計情報（時刻）に近い時刻の送信データが検索された場合にはその送信データに含まれている車両位置情報を登録することにより、三角マーク４０が検出されたときの計測車両の位置を知ることができるということである。
【００４６】
距離算出部２６で路側機２０の位置情報と三角マーク４０が検出されたときの車両位置情報から２点間の距離算出する（Ｓ１５）。
【００４７】
算出された距離を該当パラメータテーブルの「距離」部分に登録する（Ｓ１６）。
【００４８】
以上説明したように本発明の実施例によれば、ＧＰＳ受信機、データ送信機及び目印を搭載した計測車両と、当該車両を撮影するカメラ、ＧＰＳ受信機及びデータ受信機と接続された路側機を有するカメラキャリブレーションシステムにおいて、路側機は、走行する計測車両をカメラで撮影した映像を画像処理することにより車両の目印を検出し、そのときの画像、時計情報及び座標を時計情報をパラメータとして登録し、さらに当該計測車両から送信されるＧＰＳ受信機が受信した時計情報及び位置情報を受信し登録することにより、画面上に撮像された車両の距離を算出することのできるカメラキャリブレーションシステムと、その計測車両及び路側機を提供することができる。
【実施例２】
【００４９】
図６は、本実施例２に係る原点座標から車両までの距離を算出する方法の説明に係るグラフである。実施例１に示したカメラキャリブレーションシステムによって、車両３０に搭載された三角マーク４０が検出されるとこの三角マーク４０が検出された経度Ｈ及び緯度Ｖからなる位置情報が路側機２０に送信される。また、このとき、検出された三角マーク４０の位置情報（Ｈｎ、Ｖｎ）を知ることができる。この位置情報は、カメラ１２が撮影している範囲を表示したときの、左下を基準点として水平方向をＨ座標、垂直方向をＹ座標として表現できる。表示装置がない場合は、パラメータテーブル２３内に設定したメモリ空間内で同様の座標設定をすることも可能あるが、一般的に被写体を認識することにより検出する場合には、認識される被写体を表示装置に表示する場合の方が理解しやすいので、本実施例では、表示装置２１ａに表示する場合を示す。
【００５０】
実施例１では、三角マーク４０が検出された位置情報を知ることができる。実施例１では、三角マーク４０が検出された時点で、その検出された位置及びその検出された位置から原点である路側機２０までの距離が算出される。実施例１では、この距離を算出することが目的であるため、ここで処理は終了するが、実際には計測車両３０が走行中にＧＰＳ受信機３１で受信した時計情報及びこの時計情報に同期した経度Ｈ及び緯度Ｖからなる位置情報が常時路側機２０に送信されている。
【００５１】
従って、この位置情報を上記座標（Ｘ、Ｙ）上にプロットして対応付けることにより任意の座標（Ｘ、Ｙ）から原点である路側機２０までの距離が算出される。図６は、Ｈ座標が車路の幅方向の距離に該当し、Ｖ座標が車路に設置された路側機２０からの距離を示す。
【００５２】
車路が１車線の場合、車両がその中央を走行すると、その座標Ｈaを遠方ＶｎからＶ１に向って走行することにより、対応する距離Ｌｎ、Ｌｎ−１，Ｌｎ−２・・・が算出されることになる。
【００５３】
以上のことから、カメラキャリブレーションシステムが補足対象とする領域内を走行する車両を認識し、同時に当該走行する車両までの距離を、例えば表示装置に表示することができる路側機２０を提供することができる。
【符号の説明】
【００５４】
１０ カメラ部
１２ カメラ
２０ 路側機
２１ 画像処理機
２１ａ 表示装置
２２ テンプレート保存部・原点情報保存部
２３ パラメータテーブル保存部
２４ ＧＰＳ受信部
２４ａ ＧＰＳ受信機
２５ データ受信部
２５ａ データ受信機
２６ 距離計算部
３０ 車両
３１ ＧＰＳ受信機
３２ データ送信機
４０ 目印（三角マーク）
【特許請求の範囲】
【請求項１】
目印と、計測車両の位置情報及び時計情報を受信するＧＰＳ受信機と、このＧＰＳ受信機によって受信された時計情報及び位置情報を送信するデータ送信機と、を搭載した計測車両を走行させ、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムであって、
前記路側機は、
前記目印をテンプレートとして保存する保存部と、
走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、
当該路側機の時計情報及び設置位置情報を受信するＧＰＳ受信機と、
このＧＰＳ受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、
前記計測車両のデータ送信機から送信された時計情報及びこの時計情報に同期した位置情報を受信するデータ受信部と、
前記画像処理部が目印を認識したときの画像及び当該目印の座標を、当該路側機のＧＰＳ受信機が受信した時計情報をパラメータとしてパラメータテーブルに登録するパラメータテーブル保存部と、
このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該２点間の距離を算出する距離算出部と、
を備えたことを特徴とするカメラキャリブレーションシステム。
【請求項２】
目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムの計測車両であって、
前記目印と、
計測車両の位置情報及び時計情報を受信するＧＰＳ受信機と、
このＧＰＳ受信機によって受信された時計情報及びこの時計情報に同期した位置情報を送信するデータ送信機と、
を備えたことを特徴とするカメラキャリブレーションシステムの計測車両。
【請求項３】
目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機であって、
前記目印をテンプレートとして保存する保存部と、
走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、
当該路側機の時計情報及び設置位置情報を受信するＧＰＳ受信機と、
このＧＰＳ受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、
前記画像処理部が目印を認したときの画像及び当該目印の座標を、当該路側機のＧＰＳ受信機が受信した時計情報をパラメータとして登録するパラメータテーブル保存部と、
このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該２点間の距離を算出する距離算出部と、
を備えたことを特徴とするカメラキャリブレーションシステムの路側機。
【請求項４】
請求項１記載のカメラキャリブレーションシステムの路側機であって、
当該カメラキャリブレーションシステムが補足対象とする領域を撮影する前記カメラから送信された映像を表示する表示装置と、
この表示装置上の座標に対応する位置情報が登録されたパラメータテーブル保存部と、
当該領域を通行する車両を認識する画像処理部と、を備え、
この画像処理部によって前記通行する車両が認識されたとき、当該車両の通行に伴なって当該路側機から車両までの距離を算出する距離算出部と、
を備えたことを特徴とするカメラキャリブレーションシステムの路側機。
【請求項１】
目印と、計測車両の位置情報及び時計情報を受信するＧＰＳ受信機と、このＧＰＳ受信機によって受信された時計情報及び位置情報を送信するデータ送信機と、を搭載した計測車両を走行させ、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムであって、
前記路側機は、
前記目印をテンプレートとして保存する保存部と、
走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、
当該路側機の時計情報及び設置位置情報を受信するＧＰＳ受信機と、
このＧＰＳ受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、
前記計測車両のデータ送信機から送信された時計情報及びこの時計情報に同期した位置情報を受信するデータ受信部と、
前記画像処理部が目印を認識したときの画像及び当該目印の座標を、当該路側機のＧＰＳ受信機が受信した時計情報をパラメータとしてパラメータテーブルに登録するパラメータテーブル保存部と、
このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該２点間の距離を算出する距離算出部と、
を備えたことを特徴とするカメラキャリブレーションシステム。
【請求項２】
目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機で構成されるカメラキャリブレーションシステムの計測車両であって、
前記目印と、
計測車両の位置情報及び時計情報を受信するＧＰＳ受信機と、
このＧＰＳ受信機によって受信された時計情報及びこの時計情報に同期した位置情報を送信するデータ送信機と、
を備えたことを特徴とするカメラキャリブレーションシステムの計測車両。
【請求項３】
目印を搭載した計測車両を走行させ、この車両の目印を撮影し、この計測車両の目印を撮影し、この撮影した映像から計測車両までの距離を算出する路側機であって、
前記目印をテンプレートとして保存する保存部と、
走行する計測車両の前記目印を撮影するカメラから送信される映像を取込み、その中の目印を認識する画像処理部と、
当該路側機の時計情報及び設置位置情報を受信するＧＰＳ受信機と、
このＧＰＳ受信機で受信した当該路側機の設置位置情報を原点として登録する原点情報保存部と、
前記画像処理部が目印を認したときの画像及び当該目印の座標を、当該路側機のＧＰＳ受信機が受信した時計情報をパラメータとして登録するパラメータテーブル保存部と、
このパラメータテーブル保存部に登録された時計情報から得られる時刻に対し前記データ受信部で受信した時計情報から得られる時刻の中で最も近い時刻に同期した位置情報及び前記路側機の設置位置情報から当該２点間の距離を算出する距離算出部と、
を備えたことを特徴とするカメラキャリブレーションシステムの路側機。
【請求項４】
請求項１記載のカメラキャリブレーションシステムの路側機であって、
当該カメラキャリブレーションシステムが補足対象とする領域を撮影する前記カメラから送信された映像を表示する表示装置と、
この表示装置上の座標に対応する位置情報が登録されたパラメータテーブル保存部と、
当該領域を通行する車両を認識する画像処理部と、を備え、
この画像処理部によって前記通行する車両が認識されたとき、当該車両の通行に伴なって当該路側機から車両までの距離を算出する距離算出部と、
を備えたことを特徴とするカメラキャリブレーションシステムの路側機。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１００３６（Ｐ２０１２−１００３６Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４３１６９（Ｐ２０１０−１４３１６９）
【出願日】平成２２年６月２３日（２０１０．６．２３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２３日（２０１０．６．２３）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]