説明

位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法

【課題】車両が走行した位置を高精度に測位する。
【解決手段】位置姿勢標定装置100は、走行中の車両で取得された観測データ201、画像データ203およびレーザデータ205と予め位置が測量されている地物位置データ204とに基づいて車両の位置姿勢を標定する。地物DB検索GUI部120は、ユーザが指定した画像データ203を表示画像として表示し、地物位置データ204に基づいて撮像地域の地図を表示する。ユーザはランドマークが映っている画素とその地図表記とを指定する。三次元点群投影検索部140はレーザデータ205に基づく三次元点群モデル206を表示画像に投影し、指定画素に最も近い投影点を特定する。地物車両位置差分演算部150は投影点に対応するレーザデータ205を取得する。そして、車両位置姿勢標定部160はランドマークの既知座標とレーザデータ205が示す距離方位とに基づいて車両の位置を標定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、車両が走行した位置を標定するための位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法に関するものである。
【背景技術】
【0002】
高層ビルの並ぶ都市部や山間地では、衛星可視性が悪化し、十分なGPS(Global Positioning System)測位精度が得られない。また、慣性装置を用いた測位では、慣性装置の誤差増大により、位置姿勢精度の劣化が発生する。
【特許文献1】特開2005−098853号公報
【特許文献2】特開2006−234703号公報
【非特許文献1】DorotaA.Grejner−Brzezinska and Charles Toth、「High Accuracy Dynamic Highway Mapping Using a GPS/INS/CCD System with On−The−Fly GPS Ambiguity Resolution」、Center for Mapping Department of Civil and Environmental Engineering and Geodetic Science The Ohio State University、Ohio Department of Transportation,District1、September 2004
【非特許文献2】H.Gontran,J,Skaloud,P.−Y.Gilliron、「A MOBILE MAPPING SYSTEM FOR ROAD DATA CAPTURE VIA A SINGLE CAMERA」、[online]、[平成18年2月14日検索]、インターネット<URL:http://topo.epfl.ch/personnes/jsk/Papers/3dopt_hg.pdf
【非特許文献3】G.Manzoni,R.G.Rizzo,C.Robiglio、「MOBLE MAPPING SYSTEMS IN CULTURAL HERITAGES SURVEY」、CIPA 2005 XX International Symposium、26 September−01 October,2005、Torino,Italy
【発明の開示】
【発明が解決しようとする課題】
【0003】
本発明は、例えば、都市部や山間部において、十分な可視衛星数が得られなかったり、マルチパスの発生があっても、車両が走行した位置を精度を劣化させずに測位できるようにすることを目的とする。
【課題を解決するための手段】
【0004】
本発明の位置標定装置は、画像を撮像するカメラと地物に対する距離方位を示す複数の距離方位点を距離方位点群として取得するレーザレーダと位置姿勢の測位に用いられる測位情報を取得する測位センサとが設置された計測車両に対して位置を標定する位置標定装置であり、前記計測車両のカメラにより撮像された画像であり特定の地物が映っている画像を表示画像として表示装置に表示する画像表示部と、前記画像表示部により表示された前記表示画像に対して前記特定の地物が映っている画素が地物画素として指定された画素指定を入力機器から入力する地物画素入力部と、前記表示画像の撮像が行われた撮像地域を示す地図であり前記撮像地域に存在すると共に三次元座標が既知である複数の地物それぞれの表記が含まれる地図を表示地図として表示装置に表示する地図表示部と、前記地図表示部により表示された前記表示地図に対して前記特定の地物を示す表記が地物表記として指定された表記指定を入力機器から入力する地物表記入力部と、前記測位センサにより取得された測位情報に基づいて前記計測車両の位置姿勢を測位する測位部と、前記測位部により測位された前記計測車両の位置姿勢に基づいて、前記レーザレーダにより取得された前記距離方位点群に対応させて地物の三次元座標を示す三次元点群を生成する三次元点群生成部と、前記三次元点群生成部により生成された三次元点群を前記画像表示部により表示された前記表示画像に投影する三次元点群投影部と、前記三次元点群投影部により前記表示画像に投影された前記三次元点群に基づいて、前記地物画素入力部により入力された前記画素指定で指定された前記地物画素に対応する距離方位点を前記距離方位点群からCPU(Central Processing Unit)を用いて抽出する距離方位点抽出部と、前記地物表記入力部により入力された前記表記指定で指定された前記地物表記に対応する前記特定の地物の三次元座標と前記距離方位点抽出部により抽出された距離方位点が示す距離方位とに基づいて前記計測車両の位置をCPUを用いて標定する位置標定部とを備える。
【発明の効果】
【0005】
本発明によれば、例えば、都市部や山間部において、十分な可視衛星数が得られなかったり、マルチパスの発生があっても、車両が走行した位置を精度を劣化させずに測位することができる。
【発明を実施するための最良の形態】
【0006】
実施の形態1.
画像を撮像するカメラ340と、地物に対する距離方位を示す複数の距離方位点を距離方位点群として取得するレーザレーダ350と、位置姿勢の測位に用いられる測位情報を取得する測位センサとが設置された計測車両300に対して、位置姿勢を標定する位置姿勢標定装置100(位置標定装置)について、以下に説明する。
【0007】
図1は、実施の形態1における計測車両300を示す図である。
位置姿勢標定装置100による標定対象である計測車両300は、図1に示すような構成により、観測データ201、画像データ203およびレーザデータ205を取得する。
【0008】
計測車両300は、GPS受信機310、慣性センサ320、オドメトリ330、カメラ340およびレーザレーダ350を備える。
【0009】
GPS受信機310(測位センサの一例)は、天板301に1台または複数台設置され、測位衛星(GPS衛星)からの測位信号を受信する。
そして、GPS受信機310は、測位信号に設定されている航法メッセージや測位信号の搬送波位相などの情報をGPSデータ(測位情報の一例)として受信時刻(取得時刻)毎に観測データ記憶部191に記憶する。
【0010】
慣性センサ320(測位センサの一例)は、天板301に取り付けられ、走行中(一時停止中を含む)において計測車両300の三次元姿勢角の角速度の微小変異(測位情報の一例)を計測する。例えば、慣性センサ320は3軸ジャイロである。
そして、慣性センサ320は、計測値をIMU(Inertial Measuring Unit)データとして計測時刻(取得時刻)毎に観測データ記憶部191に記憶する。
【0011】
オドメトリ330(測位センサの一例)は、車輪の回転数を計数して計測車両300の走行速度の微小変位量(測位情報の一例)を計測する。
そして、330は、計測値をオドメトリデータとして計測時刻(取得時刻)毎に観測データ記憶部191に記憶する。
【0012】
以下、取得時刻毎に観測データ記憶部191に記憶されたGPSデータ、IMUデータおよびオドメトリデータを観測データ201という。
【0013】
カメラ340(画像センサ)は、計測車両300の前方または後方に向けて天板301に取り付けられ、計測車両300が走行する道路を撮像する。
そして、カメラ340は、撮像した画像を撮像時刻(取得時刻)毎に画像データ記憶部193に記憶する。
以下、取得時刻毎に画像データ記憶部193に記憶された画像を画像データ203という。
【0014】
レーザレーダ350(LRF:Laser. Range Finder)は、計測車両300の前方、後方または側方に向けて天板301に取り付けられている。計測車両300の走行中、レーザレーダ350は、左右に首振りしながらレーザ光を照射し、道路上(道路脇を含む)の地物で反射したレーザ光を受光する。そして、レーザレーダ350は、レーザ光の照射から受光までの時間とレーザ光の照射方向とに基づいて、レーザ光が照射された照射点毎に計測車両300(レーザレーダ350)からの距離および方位(レーザ距離/方位)を距離方位点として計測する。距離方位点は、道路上の地物に対する計測車両300(レーザレーダ350)からの距離および方位を示す。
レーザレーダ350は、計測した複数の距離方位点(距離方位点群)を計測時刻(取得時刻)毎にレーザデータ記憶部195に記憶する。
以下、取得時刻毎にレーザデータ記憶部195に記憶された距離方位点群をレーザデータ205という。
【0015】
実施の形態1における位置姿勢標定装置100は、観測データ201、画像データ203、レーザデータ205および地物位置データ204(既知である地物の三次元座標を示すもの)に基づいて、各時刻における計測車両300の三次元座標および三次元姿勢角(以下、位置姿勢という)を標定する。
【0016】
ここで、三次元座標とは、三次元空間における三次元座標系の座標を示すものとし、二次元で表わされる画像上の座標(uv座標)に相対するものとする。つまり、三次元座標の意味には、(緯度、経度)のような二次元座標(uv座標を除く)が含まれるものとする。同様に、三次元姿勢角の意味には、二次元姿勢角が含まれるものとする。
以下、(緯度、経度、高度)(LLHと記す)を三次元座標(位置)とし、(ロール角[回転角]、ピッチ角[仰角]、ヨー角[方位角])を三次元姿勢角(姿勢)とする。
【0017】
図2は、実施の形態1における位置姿勢標定装置100の位置姿勢標定方法の概要を示す図である。
実施の形態1における位置姿勢標定装置100の位置姿勢標定方法の概要について、図2に基づいて以下に説明する。
【0018】
まず、位置姿勢標定装置100は、観測データ201に基づいて計測車両300の位置姿勢の暫定値を測位する。位置姿勢の暫定値には、観測データ201の観測誤差(計測誤差)分の誤差が含まれる。暫定値が示す計測車両300の位置姿勢を点線で示す。
【0019】
次に、位置姿勢標定装置100は、三次元座標が既知であるランドマーク230(特定の地物)に対してレーザレーダ350により計測された距離方位点(対象距離方位点231)をユーザインタフェースを用いて特定する。計測車両300の位置姿勢(点線で示す暫定値)を基準として対象距離方位点231が示す距離方位231aだけ離れた地点に位置するランドマーク230(推定値)を点線で示す。また、実際のランドマーク230を実線で示す。
【0020】
そして、位置姿勢標定装置100は、実際のランドマーク230の既知の三次元座標(以下、既知座標という)(実線)と対象距離方位点231が示す距離方位231aとに基づいて、計測車両300の実際の位置姿勢(実線)を標定する。
【0021】
図3は、実施の形態1における位置姿勢標定装置100の機能構成図である。
実施の形態1における位置姿勢標定装置100の機能構成について、図3に基づいて以下に説明する。
【0022】
位置姿勢標定装置100は、計測車両300の走行時に取得された観測データ201、画像データ203およびレーザデータ205と予め計測されている地物位置データ204とに基づいて、各時刻における計測車両300の位置姿勢を標定する。
観測データ201、画像データ203、レーザデータ205および地物位置データ204はそれぞれ、観測データ記憶部191、画像データ記憶部193、レーザデータ記憶部195および地物位置データベース194に記憶されている。
【0023】
観測データ201、画像データ203およびレーザデータ205は、図1に基づいて説明したように、計測車両300の走行時に取得されたデータである。
【0024】
地物位置データ204には、道路上にあるキロポスト、白線、道路標識、道路標示、信号機、電柱、ガードレール、道路などの地物について、地物種別と地物位置(既知座標)とが含まれる。
例えば、地物位置データ204は、(ID番号、LO、LA、H)という形式で地物種別と地物位置とを示している。「ID番号」は地物の種類を識別する番号を示し、(LO、LA)は地物の地理座標系(緯度、経度)(単位:度[°])を示し、「H」は標高(単位:メートル[m])を示す。但し、地物位置データ204が示す地物位置は、通常の測量で用いられている19座標系で表わされていてもよい。地物位置データベース194には、地物毎に地物位置データ204が記憶されている。
例えば、地物位置データ204として、道路管理台帳と呼ばれる道路情報を使用することができる。
また例えば、地物位置データ204として、後述するように観測データ201、画像データ203およびレーザデータ205に基づいて標定できる地物位置を使用することができる。
【0025】
暫定車両位置姿勢標定部110(測位部)は、観測データ記憶部191から観測データ201を入力し、入力した観測データ201に基づいて各時刻における計測車両300の位置姿勢の暫定値を測位する。計測車両300の位置姿勢の暫定値には、観測データ201の観測誤差(計測誤差)分の誤差が含まれる。
例えば、暫定車両位置姿勢標定部110は、観測データ201に含まれるGPSデータに基づいてGPS測位を行って計測車両300の位置を測位する。GPS測位では、測位衛星とGPS受信機310との複数の疑似距離に基づいて位置が算出される。
また例えば、暫定車両位置姿勢標定部110は、観測データ201に含まれるIMUデータおよびオドメトリデータに基づいてデッドレコニング処理を行って計測車両300の位置姿勢を測位する。デッドレコニング処理では、姿勢角の角速度と走行速度との積分値に基づいて位置姿勢が算出される。
また例えば、暫定車両位置姿勢標定部110は、状態量(例えば、計測車両300の位置姿勢や201)のダイナミクス(時間変化)をモデル化した状態方程式と、特定の観測量と状態量との関係を定式化した観測方程式とに基づいて状態量の誤差推定を行うカルマンフィルタ処理を行う。そして、暫定車両位置姿勢標定部110は、誤差推定結果に基づいて状態量を補正して計測車両300の位置姿勢を測位する。例えば、観測データ201に基づく特定の観測値(実測値)と既知のデータに基づくその理論値(予測値)との差(観測残差)が特定の観測量となる。
暫定車両位置姿勢標定部110は、測位した計測車両300の位置姿勢(暫定値)と観測データ201の取得時刻とを暫定位置姿勢データ202として暫定車両位置姿勢記憶部192に記憶する。
暫定車両位置姿勢記憶部192は、暫定位置姿勢データ202を記憶機器を用いて記憶する。
【0026】
地物DB検索GUI部120(画像表示部)は、ユーザに指定された画像データ203を画像データ記憶部193から入力し、入力した画像データ203の画像を表示装置に表示する。
さらに、地物DB検索GUI部120(地物画素入力部)は、表示した画像(以下、表示画像という)に対してユーザが指定した画素の画像上のuv座標を特定する。以下、ユーザによる画素の指定命令を「画素指定」という。画素指定により、地物位置データ204が登録されている地物が映っている画素(以下、地物画素という)が指定される。以下、画素指定により指定された地物画素に映っている地物を「ランドマーク(特定の地物)」という。
さらに、地物DB検索GUI部120(地図表示部)は、表示画像の撮像が行われた撮像地域を示すと共に撮像地域に存在する地物の表記が含まれる地図を表示装置に表示する。
このとき、地物DB検索GUI部120は、表示画像の取得時刻(以下、対象時刻という)に対応する暫定位置姿勢データ202を暫定車両位置姿勢記憶部192から取得し、取得した暫定位置姿勢データ202が示す計測車両300の三次元座標の周辺に位置する地物の地物位置データ204を地物位置データベース194から取得する。そして、地物DB検索GUI部120は、取得した地物位置データ204に基づいて撮像地域の地図を生成し、生成した地図を表示する。
さらに、地物DB検索GUI部120(地物表記入力部)は、表示した地図(以下、表示地図という)に対してユーザが指定した表記に対応する地物の地物位置データ204を特定する。以下、ユーザによる表記の指定命令を表記指定という。表記指定により、地物画素に対応する地物(ランドマーク)の表記が指定される。
そして、地物DB検索GUI部120は、対象時刻(表示画像の取得時刻)、対象時刻の計測車両300の位置姿勢、地物画素のuv座標(画像中地物位置)およびランドマークの既知座標(対応地物位置)を地物画像位置データ211として三次元点群投影検索部140に出力する。
【0027】
三次元点群モデル復元部130(三次元点群生成部)は、レーザデータ記憶部195からレーザデータ205を入力し、入力したレーザデータ205の取得時刻に対応する暫定位置姿勢データ202を暫定車両位置姿勢記憶部192から取得する。そして、三次元点群モデル復元部130は、レーザデータ205の各距離方位点(レーザ距離/方位)それぞれに対応する三次元座標を計測車両300の暫定位置姿勢データ202に基づいて算出し、距離方位点群に対応する三次元点群を生成する。
【0028】
図4は、実施の形態1における計測車両300の位置姿勢、距離方位点の距離方位および距離方位点に対応する三次元点232の関係図である。
図4において、三次元点群モデル復元部130は、計測車両300の位置姿勢からレーザ方位θ(距離方位点が示す方位)にレーザ距離l(距離方位点が示す距離)だけ離れた地点の三次元座標を三次元点232として算出し、三次元点群を生成する。
【0029】
三次元点群モデル復元部130は、三次元点群と距離方位点群の取得時刻とを三次元点群モデル206として三次元点群モデル記憶部196に記憶する。三次元点群モデル206は、三次元点群の各三次元点について、三次元座標(位置)と、対応する距離方位点の取得時刻(レーザ距離取得時刻)とを示す。
三次元点群モデル記憶部196は、三次元点群モデル復元部130が生成した三次元点群モデル206を記憶機器を用いて記憶する。
【0030】
三次元点群投影検索部140(三次元点群投影部)は、地物DB検索GUI部120から入力された地物画像位置データ211に基づいて、表示画像の取得時刻(前後所定の時間を含む)に対応する三次元点群モデル206を三次元点群モデル記憶部196から取得し、三次元点群を表示画像に投影する。
ここで、投影とは、対応する画像上の画素のuv座標を求めることを意味し、点群が画像に重畳されて表示装置に表示されてもされなくても構わない。
【0031】
図5は、実施の形態1における投影点を示す図である。
図5において、撮像面233は、カメラ340の中心座標から焦点距離fだけ離れた点Pでカメラ340の視線方向と直交する平面であり、画像として映し出される平面である。カメラ340と撮像面233とを結んだ空間をuv座標空間237という。
三次元点群投影検索部140は、カメラ340の中心座標と三次元点232の座標とを結んだ直線Lと撮像面233との交点(投影点234)に三次元点232を投影する。投影点234は、表示画像上のuv座標を示す。
カメラ340の中心座標および視線方向は、計測車両300の位置姿勢に対するカメラ340の位置姿勢の相対値(ずれ量、取付オフセット)を計測車両300の位置姿勢に加えた値として求まる。
【0032】
さらに、三次元点群投影検索部140は、表示画像に投影された三次元点群(以下、投影点群という)から地物画像位置データ211に含まれる地物画素に対応する投影点を特定する。
例えば、三次元点群投影検索部140は、地物画素から最も近い画素に投影された投影点を特定する。
また例えば、三次元点群投影検索部140は、画像認識処理により表示画像に映っている各地物について映っている領域を認識し、地物画素が含まれる地物(ランドマーク)の領域内に投影された投影点を特定する。つまり、三次元点群投影検索部140は、ランドマーク上に投影された投影点を特定する。
【0033】
そして、三次元点群投影検索部140は、特定した投影点に対応する三次元点群モデル206に含まれるレーザ距離取得時刻と地物画像位置データ211に含まれる対応地物位置(ランドマークの既知座標)とを対応地物位置データ212として地物車両位置差分演算部150に出力する。
【0034】
地物車両位置差分演算部150(距離方位点抽出部)は、三次元点群投影検索部140から出力された対応地物位置データ212に含まれるレーザ距離取得時刻に対応するレーザデータ205をレーザデータ記憶部195から取得する。
さらに、地物車両位置差分演算部150は、取得したレーザデータ205に含まれるレーザ距離/方位を三次元座標のベクトル値(Δx、Δy、Δz)に変換する。この三次元座標のベクトル値は計測車両300とランドマーク230との三次元座標の差分(車両位置差分)を示す。つまり、車両位置差分(Δx、Δy、Δz)は、計測車両300からランドマーク230までの距離方位に相当するものである。
そして、地物車両位置差分演算部150は、車両位置差分と対応地物位置データ212に含まれる対応地物位置(ランドマークの既知座標)と対応地物位置データ212に含まれるレーザ距離取得時刻(差分計測時刻)とを車両位置差分データ207として地物車両位置差分記憶部197に記憶する。
地物車両位置差分記憶部197は、車両位置差分データ207を記憶機器を用いて記憶する。
【0035】
車両位置姿勢標定部160(位置標定部、距離方位算出部、距離方位残差算出部)は、地物車両位置差分記憶部197から車両位置差分データ207を取得し、車両位置差分と対応地物位置(ランドマークの既知座標)とに基づいて差分計測時刻における計測車両300の位置姿勢を標定する。
【0036】
図6は、実施の形態1における計測車両300とランドマーク230と車両位置差分235との関係図である。
例えば、図6において、車両位置姿勢標定部160は、ランドマーク230の既知座標(x、y、z)から車両位置差分235(Δx、Δy、Δz)だけ離れた地点の座標を計測車両300の位置の標定値(x、y、z)として算出する。
【0037】
また例えば、図6において、160は、差分計測時刻に取得された観測データ201を観測データ記憶部191から取得し、暫定車両位置姿勢標定部110と同様に計測車両300の位置姿勢を測位し、測位した計測車両300の位置(xvg、yvg、zvg)とランドマーク230の既知座標(x、y、z)との差分(Δx、Δy、Δz)(以下、車両位置差分G236という)を算出する。
次に、車両位置姿勢標定部160は、車両位置差分235(Δx、Δy、Δz)と車両位置差分G236(Δx、Δy、Δz)との差を観測残差としてカルマンフィルタ処理を実行して観測データ201の誤差を推定し、推定誤差に基づいて観測データ201を補正する。
そして、車両位置姿勢標定部160は、補正した観測データ201を用いて暫定車両位置姿勢標定部110と同様に計測車両300の位置姿勢を測位し、測位した結果を標定値とする。
【0038】
車両位置姿勢標定部160は、計測車両300の位置姿勢の標定値と差分計測時刻(時刻)とを車両位置姿勢データ208として車両位置姿勢記憶部198に記憶する。
車両位置姿勢記憶部198は、車両位置姿勢データ208を記憶機器を用いて記憶する。
【0039】
図7は、実施の形態1における位置姿勢標定装置100のハードウェア資源の一例を示す図である。
図7において、位置姿勢標定装置100は、プログラムを実行するCPU911(Central・Processing・Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう)を備えている。CPU911は、バス912を介してROM913、RAM914、通信ボード915、表示装置901、キーボード902、マウス903、FDD904(Flexible・Disk・Drive)、CDD905(コンパクトディスク装置)、プリンタ装置906、スキャナ装置907、磁気ディスク装置920と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置920の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。また、入力データが記憶されている記憶機器は入力機器、入力装置あるいは入力部の一例であり、出力データが記憶される記憶機器は出力機器、出力装置あるいは出力部の一例である。
通信ボード915、キーボード902、スキャナ装置907、FDD904などは、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード915、表示装置901、プリンタ装置906などは、出力機器、出力装置あるいは出力部の一例である。
【0040】
通信ボード915は、有線または無線で、LAN(ローカルエリアネットワーク)、インターネット、WAN(ワイドエリアネットワーク)、電話回線などの通信網に接続されている。
【0041】
磁気ディスク装置920には、OS921(オペレーティングシステム)、ウィンドウシステム922、プログラム群923、ファイル群924が記憶されている。プログラム群923のプログラムは、CPU911、OS921、ウィンドウシステム922により実行される。
【0042】
上記プログラム群923には、実施の形態において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、CPU911により読み出され実行される。
【0043】
ファイル群924には、実施の形態において、「〜部」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。情報などはファイル群924に含まれるものの一例である。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのCPUの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、FDD904のフレキシブルディスク、CDD905のコンパクトディスク、磁気ディスク装置920の磁気ディスク、その他光ディスク、ミニディスク、DVD(Digital・Versatile・Disc)等の記録媒体に記録される。また、データや信号値は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【0044】
また、実施の形態において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ROM913に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等の記録媒体に記憶される。プログラムはCPU911により読み出され、CPU911により実行される。すなわち、プログラムは、「〜部」としてコンピュータを機能させるものである。あるいは、「〜部」の手順や方法をコンピュータに実行させるものである。
【0045】
図8、図9は、実施の形態1における位置姿勢標定装置100の位置姿勢標定方法を示すフローチャートである。
実施の形態1における位置姿勢標定装置100の位置姿勢標定方法(位置標定方法)について、図8および図9に基づいて以下に説明する。
図8に画像表示処理(S110)〜地物情報出力処理(S160)を示し、図9に三次元点群投影処理(S210)〜位置標定処理(S260)を示す。
ここで、予め、暫定車両位置姿勢標定部110は観測データ201に基づいて各時刻における計測車両300の位置姿勢の暫定値をCPUを用いて測位し、各時刻における暫定位置姿勢データ202は暫定車両位置姿勢記憶部192に記憶されているものとする(測位処理)。
また、予め、三次元点群モデル復元部130はレーザデータ205に基づいて三次元点群モデル206をCPUを用いて生成し、三次元点群モデル206は三次元点群モデル記憶部196に記憶されているものとする(三次元点群生成処理)。
位置姿勢標定装置100のその他の各部は、CPUを用いて以下に説明する処理を実行する。
【0046】
<S110:画像表示処理>
図8において、地物DB検索GUI部120は、ユーザに指定された画像データ203を画像データ記憶部193から入力し、入力した画像データ203の画像を表示装置901に表示する。
【0047】
図10は、実施の形態1における地物DB検索画面220を示す図である。
地物DB検索GUI部120は、図10に示すような地物DB検索画面220を表示装置901に表示する。地物DB検索画面220には画像移動用ボタン群222が含まれる。
【0048】
ユーザは、入力機器(例えば、マウス903)を用いて画像移動用ボタン群222を操作し、地物DB検索画面220に表示させる表示画像221を選択する。
【0049】
例えば、ユーザは、マウス903を用いてスクロールバー222aのつまみ222a1を左右に動かして、表示画像221を選択する。
地物DB検索GUI部120は、つまみ222a1が左側に移動された場合、そのとき表示されている表示画像221の取得時刻よりつまみ222a1の移動量に対応する時間だけ古い取得時刻に撮像された画像を、表示画像221として地物DB検索画面220に表示させる。
また、地物DB検索GUI部120は、つまみ222a1が右側に移動された場合、そのとき表示されている表示画像221の取得時刻よりつまみ222a1の移動量に対応する時間だけ新しい取得時刻に撮像された画像を、表示画像221として地物DB検索画面220に表示させる。
【0050】
また例えば、ユーザは、マウス903を用いて先送りボタン222bまたは巻き戻しボタン222dを押下して、表示画像221を選択する。
地物DB検索GUI部120は、巻き戻しボタン222dが押下された場合、そのとき表示されている表示画像221より1つ前に撮像された画像を表示画像221として地物DB検索画面220に表示させる。
また、地物DB検索GUI部120は、先送りボタン222bが押下された場合、そのとき表示されている表示画像221より1つ後に撮像された画像を表示画像221として地物DB検索画面220に表示させる。
【0051】
また例えば、ユーザは、マウス903を用いて早戻しボタン222e、早送りボタン222cおよび停止ボタン222fを押下して、表示画像221を選択する。
地物DB検索GUI部120は、早戻しボタン222eが押下された場合、そのとき表示されている表示画像221より前に撮像された画像を表示画像221として、表示画像221を取得時刻の新しいものから古いものに連続的に切り替えて地物DB検索画面220に表示させる。
また、地物DB検索GUI部120は、早送りボタン222cが押下された場合、そのとき表示されている表示画像221より後に撮像された画像を表示画像221として、表示画像221を取得時刻の古いものから新たしいものに連続的に切り替えて地物DB検索画面220に表示させる。
そして、停止ボタン222fが押下された場合、表示画像221の切り替えを停止する。
【0052】
図8に戻り、位置姿勢標定方法の説明を続ける。
【0053】
<S120:地物画素入力処理>
次に、地物DB検索GUI部120は、表示画像221に対するユーザの画素指定により指定された画素(地物画素)の表示画像221上のuv座標を特定する。
【0054】
ユーザは、表示画像221に映っている地物の中からランドマークとする地物を選択し、選択したランドマークが映っている画素(地物画素)を入力機器(例えば、903)を用いて指定する。
例えば、図10において、kmポスト221aをランドマークとして選択したユーザは、マウス903を用いて、kmポスト221aが映っている画素(地物画素)にマウスカーソル(図示省略)を移動させ、マウスボタンをクリックして地物画素を指定する。
地物DB検索GUI部120は、ユーザに指定された地物画素の表示画像221上のuv座標を特定する。
【0055】
<S130:地図表示処理>
次に、地物DB検索GUI部120は、表示画像221の撮像が行われた撮像地域を示すと共に撮像地域に存在する地物の表記が含まれる地図を表示装置901に表示する。
このとき、地物DB検索GUI部120は、表示画像221の取得時刻(対象時刻)に対応する暫定位置姿勢データ202を暫定車両位置姿勢記憶部192から取得し、取得した暫定位置姿勢データ202が示す計測車両300の三次元座標の周辺に位置する地物の地物位置データ204を地物位置データベース194から取得する。
そして、地物DB検索GUI部120は、取得した地物位置データ204に基づいて表示画像221の撮像地域の地図を生成し、生成した地図を表示装置901に表示する。
【0056】
例えば、地物DB検索GUI部120は、図10において、表示画像221に対応する地図を表示地図223として生成し、生成した表示地図223を地物DB検索画面220に表示する。表示地図223には、表示画像221で表示されている地域周辺に存在しているkmポスト223b、信号機223d、標識223e、kmポスト223fなどの地物を示す表記が含まれる。
【0057】
<S140:地物表記入力処理>
次に、地物DB検索GUI部120は、表示地図223に対するユーザの表記指定により指定された表記に対応する地物の地物位置データ204を特定する。
【0058】
例えば、地物画素入力処理(S120)において表示画像221に対してkmポスト221aが映っている画素を地物画素として指定したユーザは、表示地図223に含まれるkmポスト223bの表記をマウス903を用いて指定する(図10参照)。
地物DB検索GUI部120は、ユーザに指定された表記に対応する地物(ランドマーク)の地物位置データ204を特定する。
【0059】
<S150:地物情報表示処理>
次に、地物DB検索GUI部120は、地物表記入力処理(S140)において特定した地物位置データ204に基づいて、地物種別および車両相対位置を地物情報224として地物DB検索画面220に表示する(図10参照)。
車両相対位置は、表示画像221の取得時刻に対応する暫定位置姿勢データ202が示す計測車両300の位置姿勢と、特定した地物位置データ204が示す地物位置とに基づいて算出される。
【0060】
<S160:地物画素位置出力処理>
そして、地物DB検索GUI部120は、対象時刻(表示画像221の取得時刻)、地物画素のuv座標(画像中地物位置)、対象時刻の計測車両300の位置姿勢およびランドマークの既知座標(対応地物位置)を地物画像位置データ211として三次元点群投影検索部140に出力する。
例えば、地物DB検索GUI部120は、図10において、ユーザがマウス903を用いて決定ボタン225を押下したときに、地物画像位置データ211を三次元点群投影検索部140に出力する。
対象時刻は、画像表示処理(S110)において表示された表示画像221の取得時刻である。
地物画素のuv座標(画素中地物位置)は、地物画素入力処理(S120)において特定された表示画像221上の座標である。
対象時刻の計測車両300の位置姿勢は、地図表示処理(S130)において取得された暫定位置姿勢データ202が示す値である。
ランドマークの既知座標(対応地物位置)は、地物表記入力処理(S140)において特定された地物位置データ204が示す地物位置である。
【0061】
<S210:三次元点群投影処理>
図9において、三次元点群投影検索部140は、地物DB検索GUI部120から入力された地物画像位置データ211に基づいて、表示画像221の取得時刻(前後所定の時間を含む)に対応する三次元点群モデル206を三次元点群モデル記憶部196から取得し、三次元点群を表示画像221に投影する。
ここで、投影とは、対応する画像上の画素のuv座標を求めることを意味し、点群が画像に重畳されて表示装置901に表示されてもされなくても構わない。
三次元点群投影検索部140は、前述において図5に基づいて説明したようにして、三次元点群を表示画像221に投影する。
【0062】
<S220:対応点特定処理>
次に、三次元点群投影検索部140は、表示画像221に投影した三次元点群(投影点群)から地物画像位置データ211に含まれる地物画素に対応する投影点を特定する。
例えば、三次元点群投影検索部140は、地物画素から最も近い画素に投影された投影点を特定する。
また例えば、三次元点群投影検索部140は、画像認識処理により表示画像221上に映っている各地物について映っている領域を認識し、地物画素が含まれる地物(ランドマーク)の領域内に投影された投影点を特定する。つまり、三次元点群投影検索部140は、ランドマーク上に投影された投影点を特定する。
【0063】
<S230:対応地物位置出力処理>
そして、三次元点群投影検索部140は、特定した投影点に対応するレーザ距離取得時刻と地物画像位置データ211に含まれる対応地物位置(ランドマークの既知座標)とを対応地物位置データ212として地物車両位置差分演算部150に出力する。
【0064】
<S240:距離方位点抽出処理>
次に、地物車両位置差分演算部150は、三次元点群投影検索部140から出力された対応地物位置データ212に含まれるレーザ距離取得時刻に対応するレーザデータ205をレーザデータ記憶部195から取得する。
【0065】
<S250:車両位置差分算出処理>
次に、地物車両位置差分演算部150は、取得したレーザデータ205に含まれるレーザ距離/方位を三次元座標のベクトル値(Δx、Δy、Δz)に変換する。この三次元座標のベクトル値は計測車両300とランドマーク230との三次元座標の差分(車両位置差分)を示す。つまり、車両位置差分(Δx、Δy、Δz)は、計測車両300からランドマーク230までの距離方位に相当するものである。
そして、地物車両位置差分演算部150は、車両位置差分と対応地物位置データ212に含まれる対応地物位置(ランドマークの既知座標)と対応地物位置データ212に含まれるレーザ距離取得時刻(差分計測時刻)とを車両位置差分データ207として地物車両位置差分記憶部197に記憶する。
【0066】
<S260:位置標定処理>
車両位置姿勢標定部160は、地物車両位置差分記憶部197から車両位置差分データ207を取得し、車両位置差分と対応地物位置(ランドマークの既知座標)とに基づいて差分計測時刻における計測車両300の位置姿勢を標定する。
そして、車両位置姿勢標定部160は、標定した計測車両300の位置姿勢と差分計測時刻(時刻)とを車両位置姿勢データ208として車両位置姿勢記憶部198に記憶する。
【0067】
例えば、前述において図6に基づいて説明したように、車両位置姿勢標定部160は、ランドマーク230の既知座標(x、y、z)から車両位置差分235(Δx、Δy、Δz)だけ離れた地点の座標を計測車両300の位置の標定値(x、y、z)として算出する。
【0068】
また例えば、車両位置姿勢標定部160は、差分計測時刻に取得された観測データ201を観測データ記憶部191から取得し、暫定車両位置姿勢標定部110と同様に計測車両300の位置姿勢を測位し、測位した計測車両300の位置(xvg、yvg、zvg)とランドマーク230の既知座標(x、y、z)との差分(Δx、Δy、Δz)(以下、車両位置差分Gという)を算出する。
次に、車両位置姿勢標定部160は、車両位置差分(Δx、Δy、Δz)と車両位置差分G(Δx、Δy、Δz)との差を観測残差としてカルマンフィルタ処理を実行して観測データ201の誤差を推定し、推定誤差に基づいて観測データ201を補正する。
そして、車両位置姿勢標定部160は、補正した観測データ201を用いて暫定車両位置姿勢標定部110と同様に計測車両300の位置姿勢を測位し、測位した結果を標定値とする。
【0069】
上記の位置標定方法では、画像表示処理(S110)で選択された画像に対応する地図を地図表示処理(S130)で表示しているが、地図表示処理(S130)を先に実行してユーザに地図を指定させ、表示地図の座標に対応する座標で撮像された画像を画像表示処理(S110)で表示してもよい。
【0070】
また、地物情報表示処理(S150)は実行しなくても構わない。
【0071】
また、車両位置差分算出処理(S250)を実行せず、車両位置姿勢標定部160は位置標定処理(S260)において車両位置差分ではなく距離方位に基づいて計測車両300の位置姿勢を標定してもよい。
【0072】
上記の位置標定方法により、計測車両300の位置姿勢が高精度に求められる。
高精度に計測車両300の位置姿勢が求まることにより、位置姿勢標定装置100は、道路地物計測装置として、地物位置データベース194に登録する地物位置データ204を生成することができる。
【0073】
例えば、図10において、ユーザは、表示地図223に表記が表示されていない地物、つまり、三次元座標が未知である未知地物を表示画像221から見つけて、未知地物が映っている画素(未知地物画素)と未知地物の地物種別とを指定する。
位置姿勢標定装置100は、上記の位置標定方法と同様に、三次元点群を表示画像221に投影し(S210)、未知地物画素に対応する対応点(三次元点)を特定し(S220)、特定した対応点(三次元点)が示す三次元座標を未知地物の位置として地物位置データ204を生成し、生成した地物位置データ204を地物位置データベース194に登録する。
【0074】
また、位置姿勢標定装置100(三次元点群モデル復元部130)は、高精度に求めた計測車両300の位置姿勢を用いて三次元点群モデル206を生成し直し、三次元点群モデル206の精度を高めることができる。
計測車両300に搭載されたレーザレーダ350を用いて計測した三次元点群モデル206は、計測車両300の位置姿勢(計測値)に誤差が含まれるため、適宜修正(補正)を行うことが好ましい。ユーザは、三次元点群モデル206の修正にあたり、ユーザインタフェースの画面を確認し、予め位置が判っている特定の地物(例えばKmポストなどのランドマーク)を指定する。つまり、ユーザは、画面上で地物の画像を確認しながらマウス作業(クリック)を行うことで、極めて簡単に、作業ミスも少なく、三次元点群モデル206を修正し、三次元点群モデル206の精度を高めることができる。
【0075】
また、ユーザは未知地物ではなく、地物位置データベース194に登録されている地物(既知地物)が映っている画素(既知地物画素)を指定し、位置姿勢標定装置100は新たに生成した三次元点群モデル206の三次元点群を表示画像221に投影し(S210)、既知地物画素に対応する対応点(三次元点)を特定し(S220)、特定した対応点(三次元点)が示す三次元座標を既知地物の位置として地物位置データ204を更新することができる。
【0076】
システムの構成として、地物位置データベース194を、位置姿勢標定装置100と同じ場所に設けるだけでなく、インターネット上に設ける構成としてもよい。つまり、位置姿勢標定装置100は、インターネットを介して、地物位置データベース194にアクセスし、地物位置データ204を取得してもよい。
【0077】
実施の形態1では、以下のような位置姿勢標定装置100について説明した。
位置姿勢標定装置100は、計測車両300の走行時に都市部や山間部で十分な可視衛星数が得られなかったり、マルチパスが発生しても、計測車両300の位置姿勢の測位精度の劣化を防ぐ。
例えば、ユーザは、入力画面内(図10参照)で、予め測量済みの地物(kmポスト、100Mポスト、道路標識、国土地理院や地方公共団体が管理する水準点、マンホール、電柱など)をマウスでクリックする。そして、位置姿勢標定装置100は、そのクリックされた地物に基づいて計測車両300の位置姿勢の残差を算出し、算出した残差をカルマンフィルタに入力して位置姿勢の誤差推定値を算出し、算出した誤差推定値に基づいて航法装置による位置姿勢(観測データ201に基づいて測位された位置姿勢)を補正する。
位置姿勢標定装置100は、ランドマークの“検出”および“認識”の段階を人間が画像確認しながら実施するため、画像処理がしづらい複雑な形状の地物でもランドマークとして使用できる。予め測量した部位を画像中で正しくマウス指定できれば、民家の屋根のアンテナ、ビルの窓、広告等など、なんでもランドマークとして使用できる。
さらに、位置姿勢標定装置100は、計測車両300の実走行時に取得された画像を用いて、ランドマークとして使用する測量済みの地物の地物位置の照合を実施する。このため、位置姿勢標定装置100は、暫定車両位置が真値から大きくずれていても、ランドマーク周辺の環境を地図から読み取り、画像風景との正確な照合ができ、結果的に位置姿勢の残差が計算でき、位置姿勢の精度を向上できる。
さらに、位置姿勢標定装置100は、ランドマークのデータベースが、単に位置と中身のIDを書く単純なファイルであり、特別な検索エンジンなど一切不要であり、データ更新や追加が極めて容易である。
【0078】
実施の形態2.
実施の形態2では、地物DB検索GUI部120を備えるユーザインタフェース装置と、位置姿勢標定装置100のその他の機能を備える標定サーバ装置とを有する位置姿勢標定システムについて説明する。
以下、実施の形態1と異なる事項について主に説明し、説明を省略する事項については実施の形態1と同様であるものとする。
【0079】
図11は、実施の形態2における位置姿勢標定システム400の構成図である。
実施の形態2における位置姿勢標定システム400の構成について、図11に基づいて以下に説明する。
【0080】
位置姿勢標定システム400(位置標定システム)は、ユーザインタフェース装置410と標定サーバ装置420とがインターネット940(通信網の一例)を介して通信接続している。
【0081】
ユーザインタフェース装置410は、実施の形態1で説明した地物DB検索GUI部120および車両位置姿勢記憶部198の他に、標定サーバ装置420と通信を行うユーザ側通信部411(指定側送信部、指定側受信部)を備える。ユーザインタフェース装置410の地物DB検索GUI部120はWebブラウザとして機能する。
同様に、標定サーバ装置420は、実施の形態1で説明した機能(地物DB検索GUI部120を除く)の他に、ユーザインタフェース装置410と通信を行うサーバ側通信部421(標定側受信部、標定側送信部)を備える。さらに、標定サーバ装置420は、Webサーバとして機能するサーバ制御部422を備える。
ユーザ側通信部411とサーバ側通信部421とは、通信機器を用いて、インターネット940を介して互いにデータの送受信を行う。
【0082】
実施の形態2における位置姿勢標定システム400の位置姿勢標定方法(位置標定方法)は、実施の形態1(図8、図9)と同様である。
以下、実施の形態2における位置姿勢標定システム400の位置姿勢標定方法について、図8および図9に基づいて捕捉説明する。
【0083】
まず、画像表示処理(S110)[図8]の捕捉説明を行う。
ユーザインタフェース装置410の地物DB検索GUI部120は、ユーザが指定した画像の識別情報(例えば、図10の画像移動用ボタン群222に対するユーザの操作情報)を含んだ画像要求をユーザ側通信部411を介して標定サーバ装置420に送信する。
標定サーバ装置420のサーバ制御部422は、サーバ側通信部421を介して画像要求を受信する。画像要求を受信した標定サーバ装置420は、画像要求に含まれる識別情報に基づいて、ユーザインタフェース装置410から要求された画像データ203を画像データ記憶部193から取得し、取得した画像データ203を含んだ画像応答をサーバ側通信部421を介してユーザインタフェース装置410に送信する。
そして、ユーザインタフェース装置410の地物DB検索GUI部120は、画像応答をユーザ側通信部411を介して受信し、画像応答に含まれる画像データ203の画像を表示画像221として地物DB検索画面220に表示する(図10参照)。
【0084】
次に、地図表示処理(S130)[図8]の捕捉説明を行う。
標定サーバ装置420のサーバ制御部422は、画像表示処理(S110)において画像要求によりユーザインタフェース装置410から要求された画像データ203の取得時刻に対応する暫定位置姿勢データ202を暫定車両位置姿勢記憶部192から取得し、取得した暫定位置姿勢データ202が示す計測車両300の三次元座標の周辺に位置する地物の地物位置データ204を地物位置データベース194から取得する。
そして、サーバ制御部422は、取得した地物位置データ204に基づいて地図を生成し、生成した地図を表す地図情報をサーバ側通信部421を介してユーザインタフェース装置410に送信する。
ユーザインタフェース装置410の地物DB検索GUI部120は、地図情報をユーザ側通信部411を介して受信し、受信した地図情報が表す地図を表示地図223として地物DB検索画面220に表示する(図10参照)。
【0085】
次に、地物表記入力処理(S140)および地物情報表示処理(S150)[図8]の捕捉説明を行う。
地物表記入力処理(S140)において、ユーザインタフェース装置410の地物DB検索GUI部120は、表示地図223に対するユーザの表記指定により指定された表記を識別する識別情報を含んだ表記情報をユーザ側通信部411を介して標定サーバ装置420に送信する。
標定サーバ装置420のサーバ制御部422は、サーバ側通信部421を介して表記情報を受信し、表記情報に含まれる識別情報に基づいて、ユーザに指定された表記に対応する地物(ランドマーク)の地物位置データ204を地物位置データベース194から取得する。
そして、サーバ制御部422は、取得した地物位置データ204に基づいて地物種別および車両相対位置を特定し、地物位置データ204の識別情報、地物種別および車両相対位置を地物情報224としてサーバ側通信部421を介してユーザインタフェース装置410に送信する。
地物情報表示処理(S150)において、ユーザインタフェース装置410の地物DB検索GUI部120は、ユーザ側通信部411を介して地物情報224を受信し、地物情報224(地物位置データ204の識別情報を除く)を地物DB検索画面220に表示する(図10参照)。
【0086】
次に、地物画素位置出力処理(S160)[図8]の捕捉説明を行う。
ユーザインタフェース装置410の地物DB検索GUI部120は、画像表示処理(S110)で表示した地物画像位置データ211の取得時刻(対象時刻)、地物画素入力処理(S120)でユーザに指定された画素のuv座標(画像中地物位置)(画素指定に相当)および地物情報表示処理(S150)で受信した地物情報224に含まれる地物位置データ204の識別情報(表記指定に相当)を指定情報としてユーザ側通信部411を介して標定サーバ装置420に送信する。
標定サーバ装置420のサーバ制御部422は、サーバ側通信部421を介して指定情報を受信し、指定情報に含まれる対象時刻の暫定位置姿勢データ202を暫定車両位置姿勢記憶部192から取得し、指定情報に含まれる地物位置データ204の識別情報で識別される地物位置データ204を地物位置データベース194から取得する。
そして、サーバ制御部422は、指定情報に含まれる対象時刻、指定情報に含まれる画像中地物位置、暫定位置姿勢データ202が示す計測車両300の位置姿勢および地物位置データ204が示すランドマークの既知座標(対応地物位置)を地物画像位置データ211として三次元点群投影検索部140に出力する。
【0087】
三次元点群投影処理(S210)〜車両位置差分算出処理(S250)は実施の形態1と同様である。
【0088】
次に、位置標定処理(S260)[図9]の捕捉説明を行う。
標定サーバ装置420のサーバ制御部422は、車両位置姿勢標定部160により標定された計測車両300の位置姿勢と時刻とを車両位置姿勢データ208としてサーバ側通信部421を介してユーザインタフェース装置410に送信する。
ユーザインタフェース装置410の地物DB検索GUI部120は、ユーザ側通信部411を介して車両位置姿勢データ208を受信し、受信した車両位置姿勢データ208を車両位置姿勢記憶部198に記憶する。
【0089】
システムの構成として、地物位置データベース194を、標定サーバ装置420と同じ場所に設けるだけでなく、インターネット940上に設ける構成としてもよい。つまり、標定サーバ装置420は、インターネット940を介して、地物位置データベース194にアクセスし、地物位置データ204を取得してもよい。
【0090】
実施の形態2により、観測データ記憶部191、画像データ記憶部193、レーザデータ記憶部195および地物位置データベース194をそれぞれに備えなくても、複数のユーザインタフェース装置410で計測車両300の位置姿勢を標定することができる。
【0091】
また、以下のように、ユーザインタフェース装置410を用いて、高精度な三次元点群モデル206を生成することができる。
ユーザインタフェース装置410の地物DB検索GUI部120(画像表示部)は、ユーザに指定されたカメラ画像を表示画像221として地物DB検索画面220に表示する。
そして、地物DB検索GUI部120(地物画素入力部)は、地物DB検索画面220に対してユーザが指定した画素を示す画素指定をマウス903から入力する。画素指定は、ランドマークが映っている画素を示す。
さらに、地物DB検索GUI部120(地図表示部)は、表示画像221の撮像が行われた撮像地域を示す表示地図223を地物DB検索画面220に表示する。
そして、地物DB検索GUI部120(地物表記入力部)は、表示地図223に対してユーザが指定した地物表記を示す表記指定をマウス903から入力する。表記指定は、画素指定されたランドマークの表記を示す。
ユーザ側通信部411(指定側送信部)は、画素指定と表記指定とを標定サーバ装置420に送信し、標定サーバ装置420に三次元点群モデル206を再生成させる。
標定サーバ装置420では、ユーザ側通信部411により送信された画素指定と表記指定とに基づいて以下の処理を行う。
車両位置姿勢標定部160は、地物画素とランドマークの三次元座標と計測車両300のレーザレーダ350により取得されたレーザデータ205とに基づいて算出される計測車両300の位置と、計測車両300の測位センサにより取得された観測データ201に基づいて算出される計測車両300の位置との差分に基づいて、計測車両300の位置姿勢を標定する。
そして、三次元点群モデル復元部130は、標定された計測車両300の位置姿勢に基づいて、三次元点群モデル206を再生成する。
【図面の簡単な説明】
【0092】
【図1】実施の形態1における計測車両300を示す図。
【図2】実施の形態1における位置姿勢標定装置100の位置姿勢標定方法の概要を示す図。
【図3】実施の形態1における位置姿勢標定装置100の機能構成図。
【図4】実施の形態1における計測車両300の位置姿勢、距離方位点の距離方位および距離方位点に対応する三次元点232の関係図。
【図5】実施の形態1における投影点を示す図。
【図6】実施の形態1における計測車両300とランドマーク230と車両位置差分235との関係図。
【図7】実施の形態1における位置姿勢標定装置100のハードウェア資源の一例を示す図。
【図8】実施の形態1における位置姿勢標定装置100の位置姿勢標定方法を示すフローチャート。
【図9】実施の形態1における位置姿勢標定装置100の位置姿勢標定方法を示すフローチャート。
【図10】実施の形態1における地物DB検索画面220を示す図。
【図11】実施の形態2における位置姿勢標定システム400の構成図。
【符号の説明】
【0093】
100 位置姿勢標定装置、110 暫定車両位置姿勢標定部、120 地物DB検索GUI部、121 画像表示部、122 地物DB表示部、130 三次元点群モデル復元部、140 三次元点群投影検索部、150 地物車両位置差分演算部、160 車両位置姿勢標定部、191 観測データ記憶部、192 暫定車両位置姿勢記憶部、193 画像データ記憶部、194 地物位置データベース、195 レーザデータ記憶部、196 三次元点群モデル記憶部、197 地物車両位置差分記憶部、198 車両位置姿勢記憶部、201 観測データ、202 暫定位置姿勢データ、203 画像データ、204 地物位置データ、205 レーザデータ、206 三次元点群モデル、207 車両位置差分データ、208 車両位置姿勢データ、211 地物画像位置データ、212 対応地物位置データ、220 地物DB検索画面、221 表示画像、221a kmポスト、221b 信号機、221c 車道、221d 白線、221e 歩道、222 画像移動用ボタン群、222a スクロールバー、222a1 つまみ、222b 先送りボタン、222c 早送りボタン、222d 巻き戻しボタン、222e 早戻しボタン、222f 停止ボタン、223 表示地図、223a 計測車両、223b kmポスト、223c 車道、223d 信号機、223e 標識、223f kmポスト、224 地物情報、225 決定ボタン、230 ランドマーク、231 対象距離方位点、231a 距離方位、232 三次元点、233 撮像面、234 投影点、235 車両位置差分、236 車両位置差分G、237 uv座標空間、300 計測車両、301 天板、310 GPS受信機、320 慣性センサ、330 オドメトリ、340 カメラ、350 レーザレーダ、400 位置姿勢標定システム、410 ユーザインタフェース装置、411 ユーザ側通信部、420 標定サーバ装置、421 サーバ側通信部、422 サーバ制御部、901 表示装置、902 キーボード、903 マウス、904 FDD、905 CDD、906 プリンタ装置、907 スキャナ装置、911 CPU、912 バス、913 ROM、914 RAM、915 通信ボード、920 磁気ディスク装置、921 OS、922 ウィンドウシステム、923 プログラム群、924 ファイル群、940 インターネット。

【特許請求の範囲】
【請求項1】
画像を撮像するカメラと地物に対する距離方位を示す複数の距離方位点を距離方位点群として取得するレーザレーダと位置姿勢の測位に用いられる測位情報を取得する測位センサとが設置された計測車両に対して位置を標定する位置標定装置であり、
前記計測車両のカメラにより撮像された画像であり特定の地物が映っている画像を表示画像として表示装置に表示する画像表示部と、
前記画像表示部により表示された前記表示画像に対して前記特定の地物が映っている画素が地物画素として指定された画素指定を入力機器から入力する地物画素入力部と、
前記表示画像の撮像が行われた撮像地域を示す地図であり前記撮像地域に存在すると共に三次元座標が既知である複数の地物それぞれの表記が含まれる地図を表示地図として表示装置に表示する地図表示部と、
前記地図表示部により表示された前記表示地図に対して前記特定の地物を示す表記が地物表記として指定された表記指定を入力機器から入力する地物表記入力部と、
前記測位センサにより取得された測位情報に基づいて前記計測車両の位置姿勢を測位する測位部と、
前記測位部により測位された前記計測車両の位置姿勢に基づいて、前記レーザレーダにより取得された前記距離方位点群に対応させて地物の三次元座標を示す三次元点群を生成する三次元点群生成部と、
前記三次元点群生成部により生成された三次元点群を前記画像表示部により表示された前記表示画像に投影する三次元点群投影部と、
前記三次元点群投影部により前記表示画像に投影された前記三次元点群に基づいて、前記地物画素入力部により入力された前記画素指定で指定された前記地物画素に対応する距離方位点を前記距離方位点群からCPU(Central Processing Unit)を用いて抽出する距離方位点抽出部と、
前記地物表記入力部により入力された前記表記指定で指定された前記地物表記に対応する前記特定の地物の三次元座標と前記距離方位点抽出部により抽出された距離方位点が示す距離方位とに基づいて前記計測車両の位置をCPUを用いて標定する位置標定部と
を備えたことを特徴とする位置標定装置。
【請求項2】
前記位置標定装置は、さらに、
前記測位部により測位された前記計測車両の位置と前記表記指定で指定された前記地物表記に対応する前記特定の地物の三次元座標とに基づいて前記計測車両から前記特定の地物までの距離方位を算出する距離方位算出部と、
前記距離方位算出部により算出された距離方位と前記距離方位点抽出部により抽出された距離方位点が示す距離方位との差を距離方位残差としてCPUを用いて算出する距離方位残差算出部と
を備え、
前記位置標定部は、前記距離方位残差算出部により算出された距離方位残差に基づいて前記計測車両の位置を標定する
ことを特徴とする請求項1記載の位置標定装置。
【請求項3】
画像を撮像するカメラと地物に対する距離方位を示す複数の距離方位点を距離方位点群として取得するレーザレーダと位置姿勢の測位に用いられる測位情報を取得する測位センサとが設置された計測車両に対して位置を標定する位置標定システムであり、
前記計測車両のカメラにより撮像された画像であり特定の地物が映っている画像を表示画像として表示装置に表示する画像表示部と、
前記画像表示部により表示された前記表示画像に対して前記特定の地物が映っている画素が地物画素として指定された画素指定を入力機器から入力する地物画素入力部と、
前記表示画像の撮像が行われた撮像地域を示す地図であり前記撮像地域に存在すると共に三次元座標が既知である複数の地物それぞれの表記が含まれる地図を表示地図として表示装置に表示する地図表示部と、
前記地図表示部により表示された前記表示地図に対して前記特定の地物を示す表記が地物表記として指定された表記指定を入力機器から入力する地物表記入力部と、
前記地物画素入力部により入力された前記画素指定と前記地物表記入力部により入力された前記表記指定とを含んだ指定情報を通信機器を用いて送信する指定側送信部と、
前記指定側送信部により送信された前記指定情報に基づいて標定された前記計測車両の位置を通信機器を用いて受信する指定側受信部と、
前記指定側受信部により受信された前記計測車両の位置を記憶機器を用いて記憶する位置記憶部と
を備えるユーザインタフェース装置と、
前記ユーザインタフェース装置の前記指定側送信部により送信された前記指定情報を通信機器を用いて受信する標定側受信部と、
前記測位センサにより取得された測位情報に基づいて前記計測車両の位置姿勢を測位する測位部と、
前記測位部により測位された前記計測車両の位置姿勢に基づいて、前記レーザレーダにより取得された前記距離方位点群に対応させて地物の三次元座標を示す三次元点群を生成する三次元点群生成部と、
前記三次元点群生成部により生成された三次元点群を前記画像表示部により表示された前記表示画像に投影する三次元点群投影部と、
前記三次元点群投影部により前記表示画像に投影された前記三次元点群と前記標定側受信部により受信された前記指定情報とに基づいて、前記地物画素に対応する距離方位点を前記距離方位点群からCPU(Central Processing Unit)を用いて抽出する距離方位点抽出部と、
前記標定側受信部により受信された前記指定情報に基づいて前記地物表記に対応する前記特定の地物の三次元座標を特定し、前記特定の地物の三次元座標と前記距離方位点抽出部により抽出された距離方位点が示す距離方位とに基づいて前記計測車両の位置をCPUを用いて標定する位置標定部と、
前記位置標定部により標定された前記計測車両の位置を前記ユーザインタフェース装置の前記指定側受信部に通信機器を用いて送信する標定側送信部と
を備える標定サーバ装置と
を有することを特徴とする位置標定システム。
【請求項4】
画像を撮像するカメラと地物に対する距離方位を示す複数の距離方位点を距離方位点群として取得するレーザレーダと位置姿勢の測位に用いられる測位情報を取得する測位センサとが設置された計測車両に対して位置を標定する位置標定システムのユーザインタフェース装置であり、
前記計測車両のカメラにより撮像された画像であり特定の地物が映っている画像を表示画像として表示装置に表示する画像表示部と、
前記画像表示部により表示された前記表示画像に対して前記特定の地物が映っている画素が地物画素として指定された画素指定を入力機器から入力する地物画素入力部と、
前記表示画像の撮像が行われた撮像地域を示す地図であり前記撮像地域に存在すると共に三次元座標が既知である複数の地物それぞれの表記が含まれる地図を表示地図として表示装置に表示する地図表示部と、
前記地図表示部により表示された前記表示地図に対して前記特定の地物を示す表記が地物表記として指定された表記指定を入力機器から入力する地物表記入力部と、
前記地物画素入力部により入力された前記画素指定と前記地物表記入力部により入力された前記表記指定とを含んだ指定情報を前記指定情報に基づいて前記計測車両の位置を標定する標定サーバ装置に対して通信機器を用いて送信する指定側送信部と、
前記指定側送信部により送信された前記指定情報に基づいて標定された前記計測車両の位置を前記標定サーバ装置から通信機器を用いて受信する指定側受信部と、
前記指定側受信部により受信された前記計測車両の位置を記憶機器を用いて記憶する位置記憶部と
を備えたことを特徴とする位置標定システムのユーザインタフェース装置。
【請求項5】
画像を撮像するカメラと地物に対する距離方位を示す複数の距離方位点を距離方位点群として取得するレーザレーダと位置姿勢の測位に用いられる測位情報を取得する測位センサとが設置された計測車両に対して位置を標定する位置標定システムの標定サーバ装置であり、
前記計測車両のカメラにより撮像された画像に対して特定の地物が映っている画素が地物画素として指定された画素指定を入力すると共に、前記地物画素が指定された画像の撮像が行われた撮像地域を示す地図であり前記撮像地域に存在すると共に三次元座標が既知である複数の地物それぞれの表記が含まれる地図に対して前記特定の地物を示す表記が地物表記として指定された表記指定を入力するユーザインタフェース装置から送信された前記画素指定と前記表記指定とを含んだ指定情報を通信機器を用いて受信する標定側受信部と、
前記測位センサにより取得された測位情報に基づいて前記計測車両の位置姿勢を測位する測位部と、
前記測位部により測位された前記計測車両の位置姿勢に基づいて、前記レーザレーダにより取得された前記距離方位点群に対応させて地物の三次元座標を示す三次元点群を生成する三次元点群生成部と、
前記三次元点群生成部により生成された三次元点群を前記画像表示部により表示された前記表示画像に投影する三次元点群投影部と、
前記三次元点群投影部により前記表示画像に投影された前記三次元点群と前記標定側受信部により受信された前記指定情報とに基づいて、前記地物画素に対応する距離方位点を前記距離方位点群からCPU(Central Processing Unit)を用いて抽出する距離方位点抽出部と、
前記標定側受信部により受信された前記指定情報に基づいて前記地物表記に対応する前記特定の地物の三次元座標を特定し、前記特定の地物の三次元座標と前記距離方位点抽出部により抽出された距離方位点が示す距離方位とに基づいて前記計測車両の位置をCPUを用いて標定する位置標定部と、
前記位置標定部により標定された前記計測車両の位置を前記ユーザインタフェース装置に通信機器を用いて送信する標定側送信部と
を備えたことを特徴とする位置標定システムの標定サーバ装置。
【請求項6】
画像を撮像するカメラと地物に対する距離方位を示す複数の距離方位点を距離方位点群として取得するレーザレーダと位置姿勢の測位に用いられる測位情報を取得する測位センサとが設置された計測車両に対して位置を標定する位置標定方法であり、
画像表示部が、前記計測車両のカメラにより撮像された画像であり特定の地物が映っている画像を表示画像として表示装置に表示する画像表示処理を行い、
地物画素入力部が、前記画像表示部により表示された前記表示画像に対して前記特定の地物が映っている画素が地物画素として指定された画素指定を入力機器から入力する地物画素入力処理を行い、
地図表示部が、前記表示画像の撮像が行われた撮像地域を示す地図であり前記撮像地域に存在すると共に三次元座標が既知である複数の地物それぞれの表記が含まれる地図を表示地図として表示装置に表示する地図表示処理を行い、
地物表記入力部が、前記地図表示部により表示された前記表示地図に対して前記特定の地物を示す表記が地物表記として指定された表記指定を入力機器から入力する地物表記入力処理を行い、
測位部が、前記測位センサにより取得された測位情報に基づいて前記計測車両の位置姿勢を測位する測位処理を行い、
三次元点群生成部が、前記測位部により測位された前記計測車両の位置姿勢に基づいて、前記レーザレーダにより取得された前記距離方位点群に対応させて地物の三次元座標を示す三次元点群を生成する三次元点群生成処理を行い、
三次元点群投影部が、前記三次元点群生成部により生成された三次元点群を前記画像表示部により表示された前記表示画像に投影する三次元点群投影処理を行い、
距離方位点抽出部が、前記三次元点群投影部により前記表示画像に投影された前記三次元点群に基づいて、前記地物画素入力部により入力された前記画素指定で指定された前記地物画素に対応する距離方位点を前記距離方位点群からCPU(Central Processing Unit)を用いて抽出する距離方位点抽出処理を行い、
位置標定部が、前記地物表記入力部により入力された前記表記指定で指定された前記地物表記に対応する前記特定の地物の三次元座標と前記距離方位点抽出部により抽出された距離方位点が示す距離方位とに基づいて前記計測車両の位置をCPUを用いて標定する位置標定処理を行う
ことを特徴とする位置標定方法。
【請求項7】
車両に搭載されたカメラにより撮像された画像であり三次元座標が既知である特定の地物が映っている画像を表示画像として表示装置に表示する画像表示部と、
前記画像表示部により表示された前記表示画像に対して前記特定の地物が映っている画素が地物画素として指定された画素指定を入力機器から入力する地物画素入力部と、
前記表示画像の撮像が行われた撮像地域を示す地図であり前記特定の地物を示す表記が含まれる地図を表示地図として表示装置に表示する地図表示部と、
前記地図表示部により表示された前記表示地図に対して前記特定の地物を示す表記が地物表記として指定された表記指定を入力機器から入力する地物表記入力部と、
前記地物画素入力部により入力された前記画素指定と前記地物表記入力部により入力された前記表記指定とを地物の三次元点群モデルを有する標定サーバ装置に対して送信し、前記標定サーバ装置に対して、前記地物画素と前記特定の地物の三次元座標と前記車両に搭載されたレーザレーダの取得情報とに基づいて算出される前記車両の位置と、前記車両に搭載された測位センサの取得情報に基づいて算出される前記車両の位置との差分に基づいて標定される前記車両の位置に基づいて前記地物の三次元点群モデルの再生成を開始させる指定側送信部と、
を備えたことを特徴とする位置標定システムのユーザインタフェース装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2009−264983(P2009−264983A)
【公開日】平成21年11月12日(2009.11.12)
【国際特許分類】
【出願番号】特願2008−116378(P2008−116378)
【出願日】平成20年4月25日(2008.4.25)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】