位置座標対応テーブル作成システム及び位置座標対応テーブル作成方法
【課題】車両に搭載された車載装置にて取得される車両の世界座標系と路側装置にて取得される車両のカメラ座標系との対応テーブルを作成する処理の効率化を図る。
【解決手段】車両の世界座標系の位置座標データを取得するとともに、光源／熱源を、その間隔が不均等となるパターンで間欠出力する車載装置２０と、車両を撮影する路側装置１０と、車載装置２０における光源／熱源の出力タイミング情報と、路側装置１０にて撮影された画像に含まれる光源／熱源の出力タイミングとに基づいて、車両の世界座標系の位置座標データと車両のカメラ座標系の位置座標データとを時刻同期させ、車両についての世界座標系の位置座標データとカメラ系座標の位置座標データとの対応テーブルを作成する位置対応テーブル作成部３０とを有する。
【解決手段】車両の世界座標系の位置座標データを取得するとともに、光源／熱源を、その間隔が不均等となるパターンで間欠出力する車載装置２０と、車両を撮影する路側装置１０と、車載装置２０における光源／熱源の出力タイミング情報と、路側装置１０にて撮影された画像に含まれる光源／熱源の出力タイミングとに基づいて、車両の世界座標系の位置座標データと車両のカメラ座標系の位置座標データとを時刻同期させ、車両についての世界座標系の位置座標データとカメラ系座標の位置座標データとの対応テーブルを作成する位置対応テーブル作成部３０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路を走行する車両の位置座標についてカメラ座標系と世界座標系との対応テーブルを作成する位置座標対応テーブル作成システム及び位置座標対応テーブル作成方法に関する。
【背景技術】
【０００２】
道路沿いに設置されたカメラと画像処理技術により、対象となる道路を走行する車両等を検出するシステムでは、カメラの座標系と実際の道路面上の座標系となる世界座標系との位置関係を対応付けた情報を用意する必要がある。
【０００３】
図１３は、カメラ座標系と世界座標系との対応付けを説明するための図である。
【０００４】
図１３に示すように、カメラ座標系と世界座標系とを対応付けておくことにより、カメラ画像上のある画素に車両が存在する場合、その画素に対応付けられた道路面上の世界座標の位置を参照すれば、車両の実際の位置がわかり、これを時系列的に参照することで移動距離や速度の計算が可能となる。
【０００５】
この対応付けを行う具体的な手法として、例えば、車載装置と路側装置を用いた手法が特許文献１に開示されている。
【０００６】
図１４は、カメラ座標系と世界座標系とが対応付けられた対応表を作成する処理を説明するための図である。
【０００７】
カメラ座標系と世界座標系とが対応付けられた対応表を作成するために用いられる車載装置はＧＰＳ受信機や光源／熱源等で構成され、また、路側装置はカメラ及び記録装置で構成される。
【０００８】
図１４に示すように、車載装置において、車両が走行している状態にてＧＰＳ受信機にて緯度経度情報を受信し、この緯度経度情報と、車両から出力される車速パルスとから車両の道路面上における世界座標系での位置情報を算出する。また、ＧＰＳ時刻に同期して光源を点滅させる。
【０００９】
一方、路側装置においては、車載装置を搭載した車両の走行の様子をカメラで撮影し、その画像情報を記録部によって記録する。
【００１０】
そして、この両装置が取得した世界座標系の位置情報とカメラ画像情報とを、車載装置の光源のＧＰＳ時刻における点滅のタイミングと、それを撮影したカメラの画像における光源の点滅のタイミングとを用いて時刻同期させ、カメラ画像上の車両位置（画素）を指定することにより、その画素に対応する道路面上における世界座標系の位置情報を対応付ける。これを、例えば、カメラ画像１コマ毎といった時系列的に行うことにより、車両の走行軌跡に対する対応付けが完了する。また、車両の走行軌跡以外の各カメラ画素への対応付けは、線形補完等の計算によって求める。
【００１１】
これにより、カメラ座標系と世界座標系とが対応付けられた対応表を作成することになる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１０−２３６８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述したような手法を実際に行う場合、世界座標系の位置情報とカメラ画像上の位置情報との時刻同期の点と、カメラ画像上の車両位置の指定の点において問題点がある。
【００１４】
世界座標系の位置情報とカメラ画像上の位置情報との時刻同期を行うためには、例えば車載装置と路側装置とをネットワークを介して接続し、ＮＴＰ（Network Time Protocol）のような時刻合わせの仕組みを活用する等のシステムを構築する方法が考えられる。ところが、それぞれの装置がネットワークに接続できない場合等、案件毎に生じる制約条件の中で必ずしもそのような仕組みを構築することができるとは言いがたい。
【００１５】
そこで、このような案件毎の制約条件に左右されず確実に時刻同期が図れる方法として、上述したように、車載装置の光源のＧＰＳ時刻における点滅のタイミングをカメラの画像上にて人間が確認することにより、時刻同期をとることが考えられる。
【００１６】
図１５は、車載装置の光源の点滅のタイミングを用いて同期をとる場合の問題点を説明するための図である。
【００１７】
車載装置の光源のＧＰＳ時刻における点滅のタイミングをカメラの画像上にて人間が確認することにより、時刻同期をとる場合は、図１５に示すように、光源の点滅のタイミングが一定であると、どの点滅がカメラ画像上のどの位置を示しているのかを速やかに判断することが困難となってしまう。
【００１８】
本発明は、上述したような技術が有する問題点に鑑みてなされたものであって、道路を走行する車両に搭載された車載装置にて取得される車両の世界座標系と路側装置にて取得される車両のカメラ座標系との対応テーブルを作成する処理の効率化を図ることができる位置座標対応テーブル作成システム及び位置座標対応テーブル作成方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するために本発明は、
車載装置が搭載された車両の世界座標系の位置座標データと、路側装置にて撮影された前記車両のカメラ系座標の位置座標データとの対応テーブルを作成する位置座標対応テーブル作成システムであって、
前記車載装置は、
前記車両の世界座標系の位置座標データを取得する位置座標取得手段と、
光源または熱源を、その間隔が不均等となるパターンで間欠出力する光源／熱源出力手段と、
前記位置座標取得手段にて取得された前記車両の世界座標系の位置座標データと、前記光源／熱源出力手段における光源または熱源の出力タイミング情報とを時刻に対応付けて記録する車載データ記録手段とを有し、
前記路側装置は、
前記車両を撮影する撮影手段と、
前記撮影手段にて撮影された画像を記録する映像記録手段とを有し、
さらに、前記車載データ記録手段に記録された光源または熱源の出力タイミング情報と、前記映像記録手段に記録された画像に含まれる前記光源または熱源の出力タイミングとに基づいて、前記車両の世界座標系の位置座標データと前記車両のカメラ座標系の位置座標データとを時刻同期させ、前記車両についての前記世界座標系の位置座標データと前記カメラ系座標の位置座標データとの対応テーブルを作成する対応テーブル作成手段を有する。
【００２０】
また、車載装置が搭載された車両の世界座標系の位置座標データと、路側装置にて撮影された前記車両のカメラ系座標の位置座標データとの対応テーブルを作成する位置座標対応テーブル作成方法であって、
前記路側装置が、前記車両を撮影し、その画像を記録するステップと、
前記車載装置が、前記車両の世界座標系の位置座標データを取得するステップと、
前記車載装置が、その間隔が不均等となるパターンで光源または熱源を間欠出力するステップと、
前記車載装置が、前記車両の世界座標系の位置座標データと、前記光源または熱源の出力タイミング情報とを時刻に対応付けて記録するステップと、
前記光源または熱源の出力タイミング情報と、前記記録された画像に含まれる前記光源／熱源の出力タイミングとに基づいて、前記車両の世界座標系の位置座標データと前記車両のカメラ座標系の位置座標データとを時刻同期させ、前記車両についての前記世界座標系の位置座標データと前記カメラ系座標の位置座標データとの対応テーブルを作成するステップとを有する。
【発明の効果】
【００２１】
以上説明したように本発明は、その間隔が不均等となるパターンで間欠出力される光源または熱源の出力タイミングを用いて、道路を走行する車両に搭載された車載装置にて取得される車両の世界座標系と路側装置にて取得される車両のカメラ座標系との対応テーブルを作成することにより、処理が容易になってその効率化を図ることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の位置座標対応テーブル作成システムの実施の一形態を示す図である。
【図２】図１に示した路側装置の詳細な構成を示す図である。
【図３】図１に示した車載装置の構成を示す図であり、（ａ）は光源を出力するものの構成を示す図、（ｂ）は熱源を出力するものの構成を示す図である。
【図４】図１に示した位置対応テーブル作成部の詳細な構成を示す図である。
【図５】図１〜図４に示した位置座標対応テーブル作成システムにおける光源または熱源の出力パターンを説明するための図である。
【図６】図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の一例を説明するためのフローチャートである。
【図７】車載装置の画素指定用目印／光源部や画素指定用熱源部が車両の荷台上等の道路面よりも高い位置に取り付けられている場合の弊害を説明するための図である。
【図８】図１〜図４に示した位置座標対応テーブル作成システムにおける車載装置の画素指定用目印／光源部や画素指定用熱源部の設置位置を示す図である。
【図９】図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の他の例を説明するためのフローチャートである。
【図１０】図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の他の例を説明するためのフローチャートである。
【図１１】図１〜図４に示した位置座標対応テーブル作成システムにて時刻同期を自動で行うための処理を説明するための図である。
【図１２】図１〜図４に示した位置座標対応テーブル作成システムにて車両位置の指定を自動で行うための処理を説明するための図である。
【図１３】カメラ座標系と世界座標系との対応付けを説明するための図である。
【図１４】カメラ座標系と世界座標系とが対応付けられた対応表を作成する処理を説明するための図である。
【図１５】車載装置の光源の点滅のタイミングを用いて同期をとる場合の問題点を説明するための図である。
【発明を実施するための形態】
【００２３】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２４】
図１は、本発明の位置座標対応テーブル作成システムの実施の一形態を示す図である。
【００２５】
本形態は図１に示すように、車両が走行する道路に設置された路側装置１０と、車両に搭載された車載装置２０と、車載装置２０が搭載された車両の世界座標系の位置座標データと、路側装置１０にて撮影された車両のカメラ系座標の位置座標データとの対応テーブルを作成する位置対応テーブル作成部３０とから構成されている。
【００２６】
路側装置１０は、可視カメラまたは赤外カメラにより対象となる道路を撮像し、その画像を記録する装置である。
【００２７】
車載装置２０は、ＧＰＳまたは車速パルスにより世界座標系の位置情報を正確な時刻情報と共に記録する。また、車載装置２０は、光源または熱源を持ち、任意に設定した特定のタイミングで点滅またはシャッターの開閉が可能であり、その制御情報を正確な時刻情報と共に記録する。
【００２８】
位置対応テーブル作成部３０は、路側装置１０が記録した画像と、車載装置２０が記録した世界座標系の位置情報、並びに光源または熱源の制御情報を読み込み、カメラ座標系と世界座標系の対応テーブルを作成する。
【００２９】
図２は、図１に示した路側装置１０の詳細な構成を示す図である。
【００３０】
本形態における路側装置１０は図２に示すように、可視カメラまたは赤外カメラにより対象となる道路を撮像することにより、その道路を走行する車両を撮影する撮影手段であるカメラ部１１と、カメラ部１１にて撮影された画像を記録する映像記録部１２とを有している。
【００３１】
図３は、図１に示した車載装置１０の構成を示す図であり、（ａ）は光源を出力するものの構成を示す図、（ｂ）は熱源を出力するものの構成を示す図である。
【００３２】
本形態における車載装置１０としては、図３（ａ）に示すように、位置座標取得手段である位置算出／時刻同期部２１と、光源／熱源出力手段である光源制御部２２、光源部２３及び画素指定用目印／光源部２５と、車載データ記録部２４とを有する構成が考えられる。
【００３３】
位置算出／時刻同期部２１は、ＧＰＳまたは車速パルスの情報に基づいて車両の世界座標系の位置座標データを取得、算出するとともに、車載装置１０全体の時刻同期を計る。
【００３４】
光源部２３は、可視カメラで視認可能な光を放射し点灯／消灯の制御が可能なＬＥＤ等の照明からなる。
【００３５】
光源制御部２２は、光源部２３からの光源の出力が、その間隔が不均等となるパターンの間欠出力となるように、光源部２３の点灯／消灯を制御する。
【００３６】
画素指定用目印／光源部２５は、カメラ画像上での車両位置を指定するための目印を指す。
【００３７】
車載データ記録部２４は、位置算出／時刻同期部２１で取得、算出された位置座標データと、光源部２３からの光源の出力タイミング情報とを時刻に対応付けて記録する。
【００３８】
また、車載装置１０としては、図３（ａ）に示したものの他に図３（ｂ）に示すように、図３（ａ）に示した光源制御部２２、光源部２３及び画素指定用目印／光源部２５に代えて、光源／熱源出力手段として、熱源部１８、熱源シャッター部２７、熱源シャッター制御部２６及び画素指定用熱源部２９とを有するものが考えられる。
【００３９】
熱源部２８は、赤外カメラで視認可能な熱を放射するものである。
【００４０】
熱源シャッター部２７は、赤外線カメラから熱源を視認できないようにするための可動式の遮蔽物である。
【００４１】
熱源シャッター制御部２６は、熱源シャッター部２７の開閉を制御する。
【００４２】
画素指定用熱源部２９は、カメラ画像上での車両位置を指定するための目印を指す。
【００４３】
図４は、図１に示した位置対応テーブル作成部３０の詳細な構成を示す図である。
【００４４】
本形態における位置対応テーブル作成部３０は図４に示すように、対応テーブル代表点作成部３１と、対応テーブル補完部３２とから構成されている。
【００４５】
対応テーブル代表点作成部３１は、路側装置１０の映像記録部１２に記録されたカメラ画像と、車載装置２０の車載データ記録部２４に記録された世界座標系での車両の位置情報と、光源制御部２２や熱源シャッター制御部２６における光源または熱源シャッター制御情報とをそれぞれ読み込み、車載データ記録部２４に記録された光源または熱源の出力タイミング情報と、映像記録部１２に記録された画像に含まれる光源／熱源の出力タイミングとに基づいて、車両の世界座標系の位置座標データと、路側装置１０にて撮影された車両のカメラ座標系の位置座標データとを時刻同期させ、車両についての世界座標系の位置座標データとカメラ系座標の位置座標データとの対応テーブルを作成する。
【００４６】
対応テーブル補完部３２は、対応テーブル代表点作成部３１にて作成された代表点のカメラ座標系／世界座標系位置対応テーブルのうち、車載装置２０の車載データ記録部２４に記録された位置情報に対応するカメラ画素以外の画像処理対象となる画素（例として、道路面全体）に対応する値を計算によって算出し、テーブルを補完する。
【００４７】
以下に、上記のように構成された位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法について説明する。
【００４８】
図５は、図１〜図４に示した位置座標対応テーブル作成システムにおける光源または熱源の出力パターンを説明するための図である。
【００４９】
本形態においては、光源制御部２２による光源２３の出力や、熱源シャッター制御部２６による熱源シャッター部２７の開閉を、その間隔が不均等となるパターンで間欠的に行う。それにより、車載装置２０にて取得される車両の世界座標系の位置座標データと、路側装置１０にて撮影された車両のカメラ座標系の位置座標データとについて、その対応がわかりやすくなり、これら世界座標系の位置座標データと車両のカメラ座標系の位置座標データとの時刻同期を直感的にし、容易かつ素早く行えるようにする。なお、この光源制御部２２による光源２３の出力や、熱源シャッター制御部２６による熱源シャッター部２７の開閉のパターンは、そのパターンを実行するプログラムを実装し、このプログラムを用いて特定のタイミングで動作するように設定しておく。
【００５０】
図６は、図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の一例を説明するためのフローチャートである。
【００５１】
本例においては、まず、車載装置２０を搭載した車両を走行させ、その画像を路側装置１０のカメラ部１１にて撮影する（ステップ１）。路側装置１０では、カメラ部１１にて撮影した当該車両の画像を映像記録部１２に記録する（ステップ２）。
【００５２】
また、これと並行して車載装置２０では、位置算出／時刻同期部２１において、車両の世界座標系の位置座標データとなる正確な位置と時刻とを取得して車載データ記録部２４に記録するとともに（ステップ３）、光源制御部２２の制御によってその間隔が不均等となるパターンで光源部２３にて光源を点滅させ、あるいは、熱源シャッター制御部２６の制御によって熱源シャッター部２７をその間隔が不均等となるパターンで開閉し、その制御情報を時刻とともに車載データ記録部２４に記録する（ステップ４）。なお、以下の説明においては、上述した光源の出力と熱源の出力とを合わせて光源／熱源と称し、光源の出力と熱源の出力とのいずれか一方を指すこととする。
【００５３】
そして、当該車両がカメラ視野外またはカメラ視野内の任意の領域を通過したら、車載装置２０の記録及び路側装置１０の撮影を終了する（ステップ５，６）。
【００５４】
その後、車載装置２０の車載データ記録部２４に記録された光源／熱源シャッターの制御情報及び車両の位置情報と、路側装置１０の映像記録部１２に記録されたカメラ画像とを、位置対応テーブル作成部３０の対応テーブル代表点作成部３１に読み込んで視覚的に表示し、車載データ記録部２４に記録された光源／熱源の出力タイミング情報と、映像記録部１２に記録されたカメラ画像に含まれる光源／熱源の出力タイミングとに基づいて、車両の世界座標系の位置座標データと車両のカメラ座標系の位置座標データとを時刻同期させる。この際、光源／熱源の出力タイミングを、その間隔が不均等となる特定のパターンに設定したことにより、人が目視により時刻同期することが容易となり、時刻同期が効率化される（ステップ７）。
【００５５】
次に、車載装置２０の各フレームにおけるカメラ座標系上での車両位置を、光源／熱源の位置を参照して人が指定する。そして、その時刻に対応する、車載装置２０に記録された世界座標系での位置との対応テーブルを作成し、それにより、車両についての世界座標系の位置座標データとカメラ系座標の位置座標データとの対応テーブルを作成する（ステップ８）。
【００５６】
その後、対応テーブル代表点作成部３１を用いて作成された代表点の対応テーブルを対応テーブル補完部３２に読み込み、カメラ座標系における車両位置以外の画素全てについて、対応する世界座標系の位置を計算により求めて対応テーブルを補完する（ステップ９）。そして、全てのカメラ画素について対応付けが行われたカメラ座標系／世界座標系位置対応テーブルを出力する（ステップ１０）。
【００５７】
このように、光源の点滅や熱源シャッターの開閉のタイミングが、その間隔が不均等となる特定のパターンであることにより、同じタイミングで光源部２３における光源の点滅または熱源シャッター部２７の開閉が行われている部分（パターン）を簡単に見つけ出し、車載装置２０に記録された位置・制御情報と、路側装置１０に記録されたカメラ画像との時刻同期を人が視覚的に容易に行うことができる。
【００５８】
ここで、上述した車載装置２０の画素指定用目印／光源部２５や画素指定用熱源部２９が車両の荷台上等の道路面よりも高い位置に取り付けられている場合、その位置に誤差が生じる。以下に、その弊害について説明する。
【００５９】
図７は、車載装置２０の画素指定用目印／光源部２５や画素指定用熱源部２９が車両の荷台上等の道路面よりも高い位置に取り付けられている場合の弊害を説明するための図である。
【００６０】
車載装置２０の画素指定用目印／光源部２５や画素指定用熱源部２９が車両の荷台上等の道路面よりも高い位置に取り付けられている場合、図７に示すように、世界座標系にて誤差が生じ、路側装置１０の近傍で撮影された車両と路側装置１０の遠方で撮影された車両とで、その誤差が大きく異なってしまうことになる。そのため、車載装置２０の画素指定用目印／光源部２５や画素指定用熱源部２９の設置位置の高さを考慮した対応付けが必要となる。例えば、カメラ画像上の熱源／光源の直下に対応する道路面の画素位置を装置の実際の高さ情報やカメラの設置位置情報に基づいて三角関数等を用いた計算により算出し、本来対応付けを行いたい道路面の画素位置を求めることが考えられる。
【００６１】
ところが、このような方法は、準備すべき情報や計算が伴い複雑であると共に、熱源／光源の画素位置の指定は人が目視により行うため人的誤差が発生し、これが計算結果に更なる悪影響を及ぼす場合がある。
【００６２】
図８は、図１〜図４に示した位置座標対応テーブル作成システムにおける車載装置２０の画素指定用目印／光源部２５や画素指定用熱源部２９の設置位置を示す図である。
【００６３】
図８に示すように、画素指定用目印／光源部２５や画素指定用熱源部２９を、車両下部のなるべく路面に近い位置に取り付けることにより、位置の特定を容易にして処理を効率化するとともに、高さ方向のオフセット計算を行うことなく、画像上の高低差により生じる遠近方向の誤差を低減することができる。
【００６４】
図９は、図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の他の例を説明するためのフローチャートである。
【００６５】
本例においては、図６に示したステップ８の代わりに、光源や熱源等の目印を車両下部、例えば、路側装置１０のカメラ部１１が後方撮像の場合は後方下部に装着し、これを参照し位置を確定させる（ステップ１１）。
【００６６】
このように、車両下部に装着した光源／熱源等の目印を直接指定することにより、車両位置をより容易に求めることが可能になるとともに、人的誤差も削減することができる。
【００６７】
（他の実施の形態）
上述した実施の形態においては、人が介在する処理が含まれているが、その処理を位置対応テーブル作成部３０にて行うことが好ましい。本形態においては、上述した実施の形態において、人が視認により行っていた時刻同期及び車両位置の指定という２つの処理を、対応テーブル代表点作成部３１にてそれぞれコンピュータの画像処理技術及びパターンマッチング技術を実装することにより自動化する。
【００６８】
図１１は、図１〜図４に示した位置座標対応テーブル作成システムにて時刻同期を自動で行うための処理を説明するための図である。
【００６９】
時刻同期については、図１１に示すようにカメラ画像に記録された車両の光源／熱源の点滅タイミングを画像処理技術で抽出し、抽出したタイミング情報と車載装置２０の制御情報（車載装置２０側で記録された点滅のタイミング情報）とをパターンマッチングすることにより、人が介在せず自動的に時刻同期を取ることが可能となる。
【００７０】
図１２は、図１〜図４に示した位置座標対応テーブル作成システムにて車両位置の指定を自動で行うための処理を説明するための図である。
【００７１】
車両位置の指定については、図１２に示すようにカメラ画像に記録された車両の画素指定用目印／光源部２５もしくは画素指定用熱源部２９を画像処理技術で抽出することにより、人が介在せず自動的に車両位置を指定することが可能となる。
【００７２】
図１０は、図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の他の例を説明するためのフローチャートである。
【００７３】
本例においては、図６に示したステップ７の代わりに、上述した時刻同期を対応テーブル代表点作成部３１にて自動で行い（ステップ１２）、また、ステップ８の代わりに、上述した車両位置の指定を対応テーブル代表点作成部３１にて自動で行う（ステップ１３）。
【００７４】
このように、本形態は、人が時刻同期や車両位置の指定を行う代わりに、コンピュータによる画像処理とパターンマッチングの技術を用いて自動化することにより、人的誤差の排除と更なる効率化を図ることができる。
【００７５】
本発明の技術は、画像処理技術を用いてカメラ画像上の車両や物体の位置を検出するシステムの構築に利用されることから、主に道路管理者、交通管理者、施設管理者等が構築管理するインフラ整備等に適用することができる。
【符号の説明】
【００７６】
１０ 路側装置
１１ カメラ部
１２ 映像記録部
２０ 車載装置
２１ 位置算出／時刻同期部
２２ 光源制御部
２３ 光源部
２４ 車載データ記録部
２５ 画素指定用目印／光源部
２６ 熱源シャッター制御部
２７ 熱源シャッター部
２８ 熱源部
２９ 画素指定用熱源部
３０ 位置対応テーブル作成部
３１ 対応テーブル代表点作成部
３２ 対応テーブル補完部
【技術分野】
【０００１】
本発明は、道路を走行する車両の位置座標についてカメラ座標系と世界座標系との対応テーブルを作成する位置座標対応テーブル作成システム及び位置座標対応テーブル作成方法に関する。
【背景技術】
【０００２】
道路沿いに設置されたカメラと画像処理技術により、対象となる道路を走行する車両等を検出するシステムでは、カメラの座標系と実際の道路面上の座標系となる世界座標系との位置関係を対応付けた情報を用意する必要がある。
【０００３】
図１３は、カメラ座標系と世界座標系との対応付けを説明するための図である。
【０００４】
図１３に示すように、カメラ座標系と世界座標系とを対応付けておくことにより、カメラ画像上のある画素に車両が存在する場合、その画素に対応付けられた道路面上の世界座標の位置を参照すれば、車両の実際の位置がわかり、これを時系列的に参照することで移動距離や速度の計算が可能となる。
【０００５】
この対応付けを行う具体的な手法として、例えば、車載装置と路側装置を用いた手法が特許文献１に開示されている。
【０００６】
図１４は、カメラ座標系と世界座標系とが対応付けられた対応表を作成する処理を説明するための図である。
【０００７】
カメラ座標系と世界座標系とが対応付けられた対応表を作成するために用いられる車載装置はＧＰＳ受信機や光源／熱源等で構成され、また、路側装置はカメラ及び記録装置で構成される。
【０００８】
図１４に示すように、車載装置において、車両が走行している状態にてＧＰＳ受信機にて緯度経度情報を受信し、この緯度経度情報と、車両から出力される車速パルスとから車両の道路面上における世界座標系での位置情報を算出する。また、ＧＰＳ時刻に同期して光源を点滅させる。
【０００９】
一方、路側装置においては、車載装置を搭載した車両の走行の様子をカメラで撮影し、その画像情報を記録部によって記録する。
【００１０】
そして、この両装置が取得した世界座標系の位置情報とカメラ画像情報とを、車載装置の光源のＧＰＳ時刻における点滅のタイミングと、それを撮影したカメラの画像における光源の点滅のタイミングとを用いて時刻同期させ、カメラ画像上の車両位置（画素）を指定することにより、その画素に対応する道路面上における世界座標系の位置情報を対応付ける。これを、例えば、カメラ画像１コマ毎といった時系列的に行うことにより、車両の走行軌跡に対する対応付けが完了する。また、車両の走行軌跡以外の各カメラ画素への対応付けは、線形補完等の計算によって求める。
【００１１】
これにより、カメラ座標系と世界座標系とが対応付けられた対応表を作成することになる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１０−２３６８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述したような手法を実際に行う場合、世界座標系の位置情報とカメラ画像上の位置情報との時刻同期の点と、カメラ画像上の車両位置の指定の点において問題点がある。
【００１４】
世界座標系の位置情報とカメラ画像上の位置情報との時刻同期を行うためには、例えば車載装置と路側装置とをネットワークを介して接続し、ＮＴＰ（Network Time Protocol）のような時刻合わせの仕組みを活用する等のシステムを構築する方法が考えられる。ところが、それぞれの装置がネットワークに接続できない場合等、案件毎に生じる制約条件の中で必ずしもそのような仕組みを構築することができるとは言いがたい。
【００１５】
そこで、このような案件毎の制約条件に左右されず確実に時刻同期が図れる方法として、上述したように、車載装置の光源のＧＰＳ時刻における点滅のタイミングをカメラの画像上にて人間が確認することにより、時刻同期をとることが考えられる。
【００１６】
図１５は、車載装置の光源の点滅のタイミングを用いて同期をとる場合の問題点を説明するための図である。
【００１７】
車載装置の光源のＧＰＳ時刻における点滅のタイミングをカメラの画像上にて人間が確認することにより、時刻同期をとる場合は、図１５に示すように、光源の点滅のタイミングが一定であると、どの点滅がカメラ画像上のどの位置を示しているのかを速やかに判断することが困難となってしまう。
【００１８】
本発明は、上述したような技術が有する問題点に鑑みてなされたものであって、道路を走行する車両に搭載された車載装置にて取得される車両の世界座標系と路側装置にて取得される車両のカメラ座標系との対応テーブルを作成する処理の効率化を図ることができる位置座標対応テーブル作成システム及び位置座標対応テーブル作成方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するために本発明は、
車載装置が搭載された車両の世界座標系の位置座標データと、路側装置にて撮影された前記車両のカメラ系座標の位置座標データとの対応テーブルを作成する位置座標対応テーブル作成システムであって、
前記車載装置は、
前記車両の世界座標系の位置座標データを取得する位置座標取得手段と、
光源または熱源を、その間隔が不均等となるパターンで間欠出力する光源／熱源出力手段と、
前記位置座標取得手段にて取得された前記車両の世界座標系の位置座標データと、前記光源／熱源出力手段における光源または熱源の出力タイミング情報とを時刻に対応付けて記録する車載データ記録手段とを有し、
前記路側装置は、
前記車両を撮影する撮影手段と、
前記撮影手段にて撮影された画像を記録する映像記録手段とを有し、
さらに、前記車載データ記録手段に記録された光源または熱源の出力タイミング情報と、前記映像記録手段に記録された画像に含まれる前記光源または熱源の出力タイミングとに基づいて、前記車両の世界座標系の位置座標データと前記車両のカメラ座標系の位置座標データとを時刻同期させ、前記車両についての前記世界座標系の位置座標データと前記カメラ系座標の位置座標データとの対応テーブルを作成する対応テーブル作成手段を有する。
【００２０】
また、車載装置が搭載された車両の世界座標系の位置座標データと、路側装置にて撮影された前記車両のカメラ系座標の位置座標データとの対応テーブルを作成する位置座標対応テーブル作成方法であって、
前記路側装置が、前記車両を撮影し、その画像を記録するステップと、
前記車載装置が、前記車両の世界座標系の位置座標データを取得するステップと、
前記車載装置が、その間隔が不均等となるパターンで光源または熱源を間欠出力するステップと、
前記車載装置が、前記車両の世界座標系の位置座標データと、前記光源または熱源の出力タイミング情報とを時刻に対応付けて記録するステップと、
前記光源または熱源の出力タイミング情報と、前記記録された画像に含まれる前記光源／熱源の出力タイミングとに基づいて、前記車両の世界座標系の位置座標データと前記車両のカメラ座標系の位置座標データとを時刻同期させ、前記車両についての前記世界座標系の位置座標データと前記カメラ系座標の位置座標データとの対応テーブルを作成するステップとを有する。
【発明の効果】
【００２１】
以上説明したように本発明は、その間隔が不均等となるパターンで間欠出力される光源または熱源の出力タイミングを用いて、道路を走行する車両に搭載された車載装置にて取得される車両の世界座標系と路側装置にて取得される車両のカメラ座標系との対応テーブルを作成することにより、処理が容易になってその効率化を図ることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の位置座標対応テーブル作成システムの実施の一形態を示す図である。
【図２】図１に示した路側装置の詳細な構成を示す図である。
【図３】図１に示した車載装置の構成を示す図であり、（ａ）は光源を出力するものの構成を示す図、（ｂ）は熱源を出力するものの構成を示す図である。
【図４】図１に示した位置対応テーブル作成部の詳細な構成を示す図である。
【図５】図１〜図４に示した位置座標対応テーブル作成システムにおける光源または熱源の出力パターンを説明するための図である。
【図６】図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の一例を説明するためのフローチャートである。
【図７】車載装置の画素指定用目印／光源部や画素指定用熱源部が車両の荷台上等の道路面よりも高い位置に取り付けられている場合の弊害を説明するための図である。
【図８】図１〜図４に示した位置座標対応テーブル作成システムにおける車載装置の画素指定用目印／光源部や画素指定用熱源部の設置位置を示す図である。
【図９】図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の他の例を説明するためのフローチャートである。
【図１０】図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の他の例を説明するためのフローチャートである。
【図１１】図１〜図４に示した位置座標対応テーブル作成システムにて時刻同期を自動で行うための処理を説明するための図である。
【図１２】図１〜図４に示した位置座標対応テーブル作成システムにて車両位置の指定を自動で行うための処理を説明するための図である。
【図１３】カメラ座標系と世界座標系との対応付けを説明するための図である。
【図１４】カメラ座標系と世界座標系とが対応付けられた対応表を作成する処理を説明するための図である。
【図１５】車載装置の光源の点滅のタイミングを用いて同期をとる場合の問題点を説明するための図である。
【発明を実施するための形態】
【００２３】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２４】
図１は、本発明の位置座標対応テーブル作成システムの実施の一形態を示す図である。
【００２５】
本形態は図１に示すように、車両が走行する道路に設置された路側装置１０と、車両に搭載された車載装置２０と、車載装置２０が搭載された車両の世界座標系の位置座標データと、路側装置１０にて撮影された車両のカメラ系座標の位置座標データとの対応テーブルを作成する位置対応テーブル作成部３０とから構成されている。
【００２６】
路側装置１０は、可視カメラまたは赤外カメラにより対象となる道路を撮像し、その画像を記録する装置である。
【００２７】
車載装置２０は、ＧＰＳまたは車速パルスにより世界座標系の位置情報を正確な時刻情報と共に記録する。また、車載装置２０は、光源または熱源を持ち、任意に設定した特定のタイミングで点滅またはシャッターの開閉が可能であり、その制御情報を正確な時刻情報と共に記録する。
【００２８】
位置対応テーブル作成部３０は、路側装置１０が記録した画像と、車載装置２０が記録した世界座標系の位置情報、並びに光源または熱源の制御情報を読み込み、カメラ座標系と世界座標系の対応テーブルを作成する。
【００２９】
図２は、図１に示した路側装置１０の詳細な構成を示す図である。
【００３０】
本形態における路側装置１０は図２に示すように、可視カメラまたは赤外カメラにより対象となる道路を撮像することにより、その道路を走行する車両を撮影する撮影手段であるカメラ部１１と、カメラ部１１にて撮影された画像を記録する映像記録部１２とを有している。
【００３１】
図３は、図１に示した車載装置１０の構成を示す図であり、（ａ）は光源を出力するものの構成を示す図、（ｂ）は熱源を出力するものの構成を示す図である。
【００３２】
本形態における車載装置１０としては、図３（ａ）に示すように、位置座標取得手段である位置算出／時刻同期部２１と、光源／熱源出力手段である光源制御部２２、光源部２３及び画素指定用目印／光源部２５と、車載データ記録部２４とを有する構成が考えられる。
【００３３】
位置算出／時刻同期部２１は、ＧＰＳまたは車速パルスの情報に基づいて車両の世界座標系の位置座標データを取得、算出するとともに、車載装置１０全体の時刻同期を計る。
【００３４】
光源部２３は、可視カメラで視認可能な光を放射し点灯／消灯の制御が可能なＬＥＤ等の照明からなる。
【００３５】
光源制御部２２は、光源部２３からの光源の出力が、その間隔が不均等となるパターンの間欠出力となるように、光源部２３の点灯／消灯を制御する。
【００３６】
画素指定用目印／光源部２５は、カメラ画像上での車両位置を指定するための目印を指す。
【００３７】
車載データ記録部２４は、位置算出／時刻同期部２１で取得、算出された位置座標データと、光源部２３からの光源の出力タイミング情報とを時刻に対応付けて記録する。
【００３８】
また、車載装置１０としては、図３（ａ）に示したものの他に図３（ｂ）に示すように、図３（ａ）に示した光源制御部２２、光源部２３及び画素指定用目印／光源部２５に代えて、光源／熱源出力手段として、熱源部１８、熱源シャッター部２７、熱源シャッター制御部２６及び画素指定用熱源部２９とを有するものが考えられる。
【００３９】
熱源部２８は、赤外カメラで視認可能な熱を放射するものである。
【００４０】
熱源シャッター部２７は、赤外線カメラから熱源を視認できないようにするための可動式の遮蔽物である。
【００４１】
熱源シャッター制御部２６は、熱源シャッター部２７の開閉を制御する。
【００４２】
画素指定用熱源部２９は、カメラ画像上での車両位置を指定するための目印を指す。
【００４３】
図４は、図１に示した位置対応テーブル作成部３０の詳細な構成を示す図である。
【００４４】
本形態における位置対応テーブル作成部３０は図４に示すように、対応テーブル代表点作成部３１と、対応テーブル補完部３２とから構成されている。
【００４５】
対応テーブル代表点作成部３１は、路側装置１０の映像記録部１２に記録されたカメラ画像と、車載装置２０の車載データ記録部２４に記録された世界座標系での車両の位置情報と、光源制御部２２や熱源シャッター制御部２６における光源または熱源シャッター制御情報とをそれぞれ読み込み、車載データ記録部２４に記録された光源または熱源の出力タイミング情報と、映像記録部１２に記録された画像に含まれる光源／熱源の出力タイミングとに基づいて、車両の世界座標系の位置座標データと、路側装置１０にて撮影された車両のカメラ座標系の位置座標データとを時刻同期させ、車両についての世界座標系の位置座標データとカメラ系座標の位置座標データとの対応テーブルを作成する。
【００４６】
対応テーブル補完部３２は、対応テーブル代表点作成部３１にて作成された代表点のカメラ座標系／世界座標系位置対応テーブルのうち、車載装置２０の車載データ記録部２４に記録された位置情報に対応するカメラ画素以外の画像処理対象となる画素（例として、道路面全体）に対応する値を計算によって算出し、テーブルを補完する。
【００４７】
以下に、上記のように構成された位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法について説明する。
【００４８】
図５は、図１〜図４に示した位置座標対応テーブル作成システムにおける光源または熱源の出力パターンを説明するための図である。
【００４９】
本形態においては、光源制御部２２による光源２３の出力や、熱源シャッター制御部２６による熱源シャッター部２７の開閉を、その間隔が不均等となるパターンで間欠的に行う。それにより、車載装置２０にて取得される車両の世界座標系の位置座標データと、路側装置１０にて撮影された車両のカメラ座標系の位置座標データとについて、その対応がわかりやすくなり、これら世界座標系の位置座標データと車両のカメラ座標系の位置座標データとの時刻同期を直感的にし、容易かつ素早く行えるようにする。なお、この光源制御部２２による光源２３の出力や、熱源シャッター制御部２６による熱源シャッター部２７の開閉のパターンは、そのパターンを実行するプログラムを実装し、このプログラムを用いて特定のタイミングで動作するように設定しておく。
【００５０】
図６は、図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の一例を説明するためのフローチャートである。
【００５１】
本例においては、まず、車載装置２０を搭載した車両を走行させ、その画像を路側装置１０のカメラ部１１にて撮影する（ステップ１）。路側装置１０では、カメラ部１１にて撮影した当該車両の画像を映像記録部１２に記録する（ステップ２）。
【００５２】
また、これと並行して車載装置２０では、位置算出／時刻同期部２１において、車両の世界座標系の位置座標データとなる正確な位置と時刻とを取得して車載データ記録部２４に記録するとともに（ステップ３）、光源制御部２２の制御によってその間隔が不均等となるパターンで光源部２３にて光源を点滅させ、あるいは、熱源シャッター制御部２６の制御によって熱源シャッター部２７をその間隔が不均等となるパターンで開閉し、その制御情報を時刻とともに車載データ記録部２４に記録する（ステップ４）。なお、以下の説明においては、上述した光源の出力と熱源の出力とを合わせて光源／熱源と称し、光源の出力と熱源の出力とのいずれか一方を指すこととする。
【００５３】
そして、当該車両がカメラ視野外またはカメラ視野内の任意の領域を通過したら、車載装置２０の記録及び路側装置１０の撮影を終了する（ステップ５，６）。
【００５４】
その後、車載装置２０の車載データ記録部２４に記録された光源／熱源シャッターの制御情報及び車両の位置情報と、路側装置１０の映像記録部１２に記録されたカメラ画像とを、位置対応テーブル作成部３０の対応テーブル代表点作成部３１に読み込んで視覚的に表示し、車載データ記録部２４に記録された光源／熱源の出力タイミング情報と、映像記録部１２に記録されたカメラ画像に含まれる光源／熱源の出力タイミングとに基づいて、車両の世界座標系の位置座標データと車両のカメラ座標系の位置座標データとを時刻同期させる。この際、光源／熱源の出力タイミングを、その間隔が不均等となる特定のパターンに設定したことにより、人が目視により時刻同期することが容易となり、時刻同期が効率化される（ステップ７）。
【００５５】
次に、車載装置２０の各フレームにおけるカメラ座標系上での車両位置を、光源／熱源の位置を参照して人が指定する。そして、その時刻に対応する、車載装置２０に記録された世界座標系での位置との対応テーブルを作成し、それにより、車両についての世界座標系の位置座標データとカメラ系座標の位置座標データとの対応テーブルを作成する（ステップ８）。
【００５６】
その後、対応テーブル代表点作成部３１を用いて作成された代表点の対応テーブルを対応テーブル補完部３２に読み込み、カメラ座標系における車両位置以外の画素全てについて、対応する世界座標系の位置を計算により求めて対応テーブルを補完する（ステップ９）。そして、全てのカメラ画素について対応付けが行われたカメラ座標系／世界座標系位置対応テーブルを出力する（ステップ１０）。
【００５７】
このように、光源の点滅や熱源シャッターの開閉のタイミングが、その間隔が不均等となる特定のパターンであることにより、同じタイミングで光源部２３における光源の点滅または熱源シャッター部２７の開閉が行われている部分（パターン）を簡単に見つけ出し、車載装置２０に記録された位置・制御情報と、路側装置１０に記録されたカメラ画像との時刻同期を人が視覚的に容易に行うことができる。
【００５８】
ここで、上述した車載装置２０の画素指定用目印／光源部２５や画素指定用熱源部２９が車両の荷台上等の道路面よりも高い位置に取り付けられている場合、その位置に誤差が生じる。以下に、その弊害について説明する。
【００５９】
図７は、車載装置２０の画素指定用目印／光源部２５や画素指定用熱源部２９が車両の荷台上等の道路面よりも高い位置に取り付けられている場合の弊害を説明するための図である。
【００６０】
車載装置２０の画素指定用目印／光源部２５や画素指定用熱源部２９が車両の荷台上等の道路面よりも高い位置に取り付けられている場合、図７に示すように、世界座標系にて誤差が生じ、路側装置１０の近傍で撮影された車両と路側装置１０の遠方で撮影された車両とで、その誤差が大きく異なってしまうことになる。そのため、車載装置２０の画素指定用目印／光源部２５や画素指定用熱源部２９の設置位置の高さを考慮した対応付けが必要となる。例えば、カメラ画像上の熱源／光源の直下に対応する道路面の画素位置を装置の実際の高さ情報やカメラの設置位置情報に基づいて三角関数等を用いた計算により算出し、本来対応付けを行いたい道路面の画素位置を求めることが考えられる。
【００６１】
ところが、このような方法は、準備すべき情報や計算が伴い複雑であると共に、熱源／光源の画素位置の指定は人が目視により行うため人的誤差が発生し、これが計算結果に更なる悪影響を及ぼす場合がある。
【００６２】
図８は、図１〜図４に示した位置座標対応テーブル作成システムにおける車載装置２０の画素指定用目印／光源部２５や画素指定用熱源部２９の設置位置を示す図である。
【００６３】
図８に示すように、画素指定用目印／光源部２５や画素指定用熱源部２９を、車両下部のなるべく路面に近い位置に取り付けることにより、位置の特定を容易にして処理を効率化するとともに、高さ方向のオフセット計算を行うことなく、画像上の高低差により生じる遠近方向の誤差を低減することができる。
【００６４】
図９は、図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の他の例を説明するためのフローチャートである。
【００６５】
本例においては、図６に示したステップ８の代わりに、光源や熱源等の目印を車両下部、例えば、路側装置１０のカメラ部１１が後方撮像の場合は後方下部に装着し、これを参照し位置を確定させる（ステップ１１）。
【００６６】
このように、車両下部に装着した光源／熱源等の目印を直接指定することにより、車両位置をより容易に求めることが可能になるとともに、人的誤差も削減することができる。
【００６７】
（他の実施の形態）
上述した実施の形態においては、人が介在する処理が含まれているが、その処理を位置対応テーブル作成部３０にて行うことが好ましい。本形態においては、上述した実施の形態において、人が視認により行っていた時刻同期及び車両位置の指定という２つの処理を、対応テーブル代表点作成部３１にてそれぞれコンピュータの画像処理技術及びパターンマッチング技術を実装することにより自動化する。
【００６８】
図１１は、図１〜図４に示した位置座標対応テーブル作成システムにて時刻同期を自動で行うための処理を説明するための図である。
【００６９】
時刻同期については、図１１に示すようにカメラ画像に記録された車両の光源／熱源の点滅タイミングを画像処理技術で抽出し、抽出したタイミング情報と車載装置２０の制御情報（車載装置２０側で記録された点滅のタイミング情報）とをパターンマッチングすることにより、人が介在せず自動的に時刻同期を取ることが可能となる。
【００７０】
図１２は、図１〜図４に示した位置座標対応テーブル作成システムにて車両位置の指定を自動で行うための処理を説明するための図である。
【００７１】
車両位置の指定については、図１２に示すようにカメラ画像に記録された車両の画素指定用目印／光源部２５もしくは画素指定用熱源部２９を画像処理技術で抽出することにより、人が介在せず自動的に車両位置を指定することが可能となる。
【００７２】
図１０は、図１〜図４に示した位置座標対応テーブル作成システムにおける位置座標対応テーブル作成方法の他の例を説明するためのフローチャートである。
【００７３】
本例においては、図６に示したステップ７の代わりに、上述した時刻同期を対応テーブル代表点作成部３１にて自動で行い（ステップ１２）、また、ステップ８の代わりに、上述した車両位置の指定を対応テーブル代表点作成部３１にて自動で行う（ステップ１３）。
【００７４】
このように、本形態は、人が時刻同期や車両位置の指定を行う代わりに、コンピュータによる画像処理とパターンマッチングの技術を用いて自動化することにより、人的誤差の排除と更なる効率化を図ることができる。
【００７５】
本発明の技術は、画像処理技術を用いてカメラ画像上の車両や物体の位置を検出するシステムの構築に利用されることから、主に道路管理者、交通管理者、施設管理者等が構築管理するインフラ整備等に適用することができる。
【符号の説明】
【００７６】
１０ 路側装置
１１ カメラ部
１２ 映像記録部
２０ 車載装置
２１ 位置算出／時刻同期部
２２ 光源制御部
２３ 光源部
２４ 車載データ記録部
２５ 画素指定用目印／光源部
２６ 熱源シャッター制御部
２７ 熱源シャッター部
２８ 熱源部
２９ 画素指定用熱源部
３０ 位置対応テーブル作成部
３１ 対応テーブル代表点作成部
３２ 対応テーブル補完部
【特許請求の範囲】
【請求項１】
車載装置が搭載された車両の世界座標系の位置座標データと、路側装置にて撮影された前記車両のカメラ系座標の位置座標データとの対応テーブルを作成する位置座標対応テーブル作成システムであって、
前記車載装置は、
前記車両の世界座標系の位置座標データを取得する位置座標取得手段と、
光源または熱源を、その間隔が不均等となるパターンで間欠出力する光源／熱源出力手段と、
前記位置座標取得手段にて取得された前記車両の世界座標系の位置座標データと、前記光源／熱源出力手段における光源または熱源の出力タイミング情報とを時刻に対応付けて記録する車載データ記録手段とを有し、
前記路側装置は、
前記車両を撮影する撮影手段と、
前記撮影手段にて撮影された画像を記録する映像記録手段とを有し、
さらに、前記車載データ記録手段に記録された光源または熱源の出力タイミング情報と、前記映像記録手段に記録された画像に含まれる前記光源または熱源の出力タイミングとに基づいて、前記車両の世界座標系の位置座標データと前記車両のカメラ座標系の位置座標データとを時刻同期させ、前記車両についての前記世界座標系の位置座標データと前記カメラ系座標の位置座標データとの対応テーブルを作成する対応テーブル作成手段を有する位置座標対応テーブル作成システム。
【請求項２】
請求項１に記載の位置座標対応テーブル作成システムにおいて、
前記光源／熱源出力手段は、前記車両の下部に取り付けられている位置座標対応テーブル作成システム。
【請求項３】
請求項１または請求項２に記載の位置座標対応テーブル作成システムにおいて、
前記対応テーブル作成手段は、前記車載データ記録手段に記録された光源または熱源の出力タイミング情報と、前記映像記録手段に記録された画像に含まれる前記光源または熱源の出力タイミングとのパターンマッチングを行うことにより、前記車両の世界座標系の位置座標データと前記車両のカメラ座標系の位置座標データとを時刻同期させる位置座標対応テーブル作成システム。
【請求項４】
車載装置が搭載された車両の世界座標系の位置座標データと、路側装置にて撮影された前記車両のカメラ系座標の位置座標データとの対応テーブルを作成する位置座標対応テーブル作成方法であって、
前記路側装置が、前記車両を撮影し、その画像を記録するステップと、
前記車載装置が、前記車両の世界座標系の位置座標データを取得するステップと、
前記車載装置が、その間隔が不均等となるパターンで光源または熱源を間欠出力するステップと、
前記車載装置が、前記車両の世界座標系の位置座標データと、前記光源または熱源の出力タイミング情報とを時刻に対応付けて記録するステップと、
前記光源または熱源の出力タイミング情報と、前記記録された画像に含まれる前記光源／熱源の出力タイミングとに基づいて、前記車両の世界座標系の位置座標データと前記車両のカメラ座標系の位置座標データとを時刻同期させ、前記車両についての前記世界座標系の位置座標データと前記カメラ系座標の位置座標データとの対応テーブルを作成するステップとを有する位置座標対応テーブル作成方法。
【請求項１】
車載装置が搭載された車両の世界座標系の位置座標データと、路側装置にて撮影された前記車両のカメラ系座標の位置座標データとの対応テーブルを作成する位置座標対応テーブル作成システムであって、
前記車載装置は、
前記車両の世界座標系の位置座標データを取得する位置座標取得手段と、
光源または熱源を、その間隔が不均等となるパターンで間欠出力する光源／熱源出力手段と、
前記位置座標取得手段にて取得された前記車両の世界座標系の位置座標データと、前記光源／熱源出力手段における光源または熱源の出力タイミング情報とを時刻に対応付けて記録する車載データ記録手段とを有し、
前記路側装置は、
前記車両を撮影する撮影手段と、
前記撮影手段にて撮影された画像を記録する映像記録手段とを有し、
さらに、前記車載データ記録手段に記録された光源または熱源の出力タイミング情報と、前記映像記録手段に記録された画像に含まれる前記光源または熱源の出力タイミングとに基づいて、前記車両の世界座標系の位置座標データと前記車両のカメラ座標系の位置座標データとを時刻同期させ、前記車両についての前記世界座標系の位置座標データと前記カメラ系座標の位置座標データとの対応テーブルを作成する対応テーブル作成手段を有する位置座標対応テーブル作成システム。
【請求項２】
請求項１に記載の位置座標対応テーブル作成システムにおいて、
前記光源／熱源出力手段は、前記車両の下部に取り付けられている位置座標対応テーブル作成システム。
【請求項３】
請求項１または請求項２に記載の位置座標対応テーブル作成システムにおいて、
前記対応テーブル作成手段は、前記車載データ記録手段に記録された光源または熱源の出力タイミング情報と、前記映像記録手段に記録された画像に含まれる前記光源または熱源の出力タイミングとのパターンマッチングを行うことにより、前記車両の世界座標系の位置座標データと前記車両のカメラ座標系の位置座標データとを時刻同期させる位置座標対応テーブル作成システム。
【請求項４】
車載装置が搭載された車両の世界座標系の位置座標データと、路側装置にて撮影された前記車両のカメラ系座標の位置座標データとの対応テーブルを作成する位置座標対応テーブル作成方法であって、
前記路側装置が、前記車両を撮影し、その画像を記録するステップと、
前記車載装置が、前記車両の世界座標系の位置座標データを取得するステップと、
前記車載装置が、その間隔が不均等となるパターンで光源または熱源を間欠出力するステップと、
前記車載装置が、前記車両の世界座標系の位置座標データと、前記光源または熱源の出力タイミング情報とを時刻に対応付けて記録するステップと、
前記光源または熱源の出力タイミング情報と、前記記録された画像に含まれる前記光源／熱源の出力タイミングとに基づいて、前記車両の世界座標系の位置座標データと前記車両のカメラ座標系の位置座標データとを時刻同期させ、前記車両についての前記世界座標系の位置座標データと前記カメラ系座標の位置座標データとの対応テーブルを作成するステップとを有する位置座標対応テーブル作成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２１５５０２（Ｐ２０１２−２１５５０２Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８１８２７（Ｐ２０１１−８１８２７）
【出願日】平成２３年４月１日（２０１１．４．１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年４月１日（２０１１．４．１）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]