対象特定装置、対象特定方法および対象特定プログラム
【課題】道路周辺の地物の高精度な位置情報を容易に取得できるようにすることを目的とする。
【解決手段】計測車両２００は道路を走行し、カメラ２４０は異なる地点から同一の道路標識を撮像し、ＧＰＳ受信機２１０は各時刻における計測車両２００の位置を測定し、ＬＲＦ２５０は道路周辺の地物に対して距離方位データを取得する。三次元点群モデル復元部１３０は距離方位データを座標値で表した三次元点群モデルを生成し、点群画像投影部１４０は三次元点群モデルを撮像画像Ａおよび撮像画像Ｂに投影する。グルーピング部１５０は道路標識の撮像範囲に投影された点群を抽出し、撮像範囲内の点群をグループ分けする。そして、標識点群特定部１６０は撮像画像Ａの撮像範囲と撮像画像Ｂの撮像範囲とで一致したグループの点群を道路標識の点群として特定し、標識位置計算部１７０は特定された点群の座標値に基づいて道路標識の位置を算出する。
【解決手段】計測車両２００は道路を走行し、カメラ２４０は異なる地点から同一の道路標識を撮像し、ＧＰＳ受信機２１０は各時刻における計測車両２００の位置を測定し、ＬＲＦ２５０は道路周辺の地物に対して距離方位データを取得する。三次元点群モデル復元部１３０は距離方位データを座標値で表した三次元点群モデルを生成し、点群画像投影部１４０は三次元点群モデルを撮像画像Ａおよび撮像画像Ｂに投影する。グルーピング部１５０は道路標識の撮像範囲に投影された点群を抽出し、撮像範囲内の点群をグループ分けする。そして、標識点群特定部１６０は撮像画像Ａの撮像範囲と撮像画像Ｂの撮像範囲とで一致したグループの点群を道路標識の点群として特定し、標識位置計算部１７０は特定された点群の座標値に基づいて道路標識の位置を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、レーザレーダで計測したデータに基づいて生成された三次元点群モデルとカメラ画像とを用いて道路標識の位置を計測する対象特定装置、対象特定方法および対象特定プログラムに関するものである。
【背景技術】
【０００２】
近年、カーナビゲーションシステムなどに代表される、ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）とＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を組み合わせた製品が普及著しい。また、交通事故や交通渋滞などを解消するためにＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ）の開発が推進されている。また、各自治体では道路周辺（道路、道路上、道路脇など）の地物（道路標識、キロポスト、信号機、白線、ガードレール、電柱など）の情報を道路管理台帳として記録しており、この道路管理台帳の高度化・高精度化が望まれている。
これらの理由により、道路周辺の地物の位置情報を高精度に容易に取得することが重要となる。
【０００３】
しかしながら、道路周辺の地物の位置情報を高精度に容易に取得することは非常に困難なことである。
例えば、道路周辺の地物の位置情報を１／５００のスケールで記録した道路管理台帳の作成には、高い精度の測量が必要なため、ＧＰＳと距離・角度を計測するトータルステーションとを用いた静止測量が行われている。また、国道には往復３０ｋｍの区間に計測対象となる地物が約２０００も存在していることもある。そのため、全国の道路管理台帳の高度化・高精度化には莫大な費用と時間とを要する。
【０００４】
そこで、情報収集時間および費用の縮減を目的として道路を走行する車両から各種情報を取得するＭＭＳ（Ｍｏｂｉｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ）が注目され研究開発されている。
また、特許文献１では道路線形を測量する装置の一例を開示している。
【特許文献１】特開平１０−２６７６５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、例えば、ＭＭＳを用いて道路周辺の地物の高精度な位置情報を容易に取得できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の対象特定装置は、３次元座標を示す複数の３次元点データにより地物を３次元で表す３次元点群データを記憶機器を用いて記憶する点群データ記憶部と、異なる位置で撮像された２次元画像を表す第１の画像データと第２の画像データとを記憶機器を用いて記憶する画像データ記憶部と、前記画像データ記憶部に記憶された第１の画像データの表す２次元画像と前記画像データ記憶部に記憶された第２の画像データの表す２次元画像とから特定の対象物が撮像された対象撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する対象撮像範囲特定部と、前記点群データ記憶部に記憶された３次元点群データを前記画像データ記憶部に記憶された第１の画像データの表す２次元画像に対してＣＰＵを用いて投影する第１の点群画像投影部と、前記対象撮像範囲特定部が特定した第１の画像データの対象撮像範囲に対して前記第１の点群画像投影部が投影した３次元点群データをＣＰＵを用いて抽出する第１の対象投影点群抽出部と、前記第１の対象投影点群抽出部が抽出した３次元点群データを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする点群グルーピング部と、前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第２の画像データの表す２次元画像に対してＣＰＵを用いて投影する第２の点群画像投影部と、前記対象撮像範囲特定部が特定した第２の画像データの対象撮像範囲に対して前記第２の点群画像投影部が投影した各グループ点群データをＣＰＵを用いて抽出する第２の対象投影点群抽出部と、前記点群グルーピング部がグループ分けした各グループ点群データを前記第２の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データの中で３次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を３次元で表す対象点群データとしてＣＰＵを用いて特定する対象点群特定部とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、例えば、計測対象の地物を表す対象点群データを３次元点群データと画像データとを用いて特定することができる。そして、対象点群データに基づいて計測対象の地物の位置を高精度に算出することができる。また、３次元点群データと画像データとはＭＭＳで道路を走行することにより容易に取得できる。つまり、本発明によれば、道路周辺の地物の高精度な位置情報を容易に取得することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、実施の形態１における道路標識位置計測システム９００の機能構成図である。
図１に示すように、実施の形態１における道路標識位置計測システム９００は、道路を走行して道路周辺の画像データと道路周辺の地物を表す距離方位データとを取得する計測車両２００（ＭＭＳ）と、計測車両２００が取得した画像データと距離方位データとに基づいて道路標識の三次元座標を計測する道路標識位置計測装置１００とを有する。
実施の形態１の説明では道路標識の三次元座標を計測するが、道路標識位置計測装置１００はその他の道路周辺の地物（路面の白線、電柱、信号機、走行車両など）の三次元座標を道路標識と同様にして計測しても構わない。
【０００９】
計測車両２００（ＭＭＳ）は、ＧＰＳ受信機２１０、３軸ジャイロ２２０、オドメータ２３０、カメラ２４０およびＬＲＦ２５０（Ｌａｚｅｒ Ｒａｎｇｅ Ｆｉｎｄｅｒ）が屋根部分に設けられた天板２０１（基台）に固定して設置されている。
また、計測車両２００はＧＰＳ受信機２１０、３軸ジャイロ２２０、オドメータ２３０、カメラ２４０およびＬＲＦ２５０で取得されたデータを記憶機器を用いて記憶する観測データ記憶部２９１、画像データ記憶部２９２および距離方位点群記憶部２９３を備える。
【００１０】
ＧＰＳ受信機２１０は計測車両２００に３機備わり、各ＧＰＳ受信機２１０は複数のＧＰＳ衛星それぞれから発信された測位信号の搬送波を観測する。そして、各ＧＰＳ受信機２１０は、搬送波の観測情報に基づいて、各ＧＰＳ衛星と自ＧＰＳ受信機２１０との擬似距離、自ＧＰＳ受信機２１０のアンテナ位置を３次元座標で示す単独測位結果、搬送波の位相情報、測位信号が示す航法メッセージ（衛星軌道情報）などを観測データとして観測データ記憶部２９１に記憶する。
【００１１】
３軸ジャイロ２２０は計測車両２００の方位角［ヨー角］、仰角［ピッチ角］、回転角［ロール角］の角加速度（レートともいう）を計測し、各時刻における角加速度を角加速度データとして観測データ記憶部２９１に記憶する。
【００１２】
オドメータ２３０は計測車両２００の走行速度を計測し、各時刻における走行速度を車速データとして観測データ記憶部２９１に記憶する。
【００１３】
カメラ２４０は走行する計測車両２００の前方（走行方向）を異なる時刻に撮像し、撮像した各画像の画像データを画像データ記憶部２９２に記憶する。つまり、カメラ２４０は異なる地点で撮像した道路の画像データを画像データ記憶部２９２に記憶する。
以下、画像データ記憶部２９２には計測車両２００がＰ０地点を通過した際にカメラ２４０が撮像した道路の画像データ（以下、撮像画像Ａとする）と計測車両２００がＰ１地点を通過した際にカメラ２４０が撮像した道路の画像データ（以下、撮像画像Ｂとする）とが記憶されているものとする。また、撮像画像Ａと撮像画像Ｂとには同一の道路標識が写っているものとする。実施の形態１において道路標識位置計測装置１００は撮像画像Ａおよび撮像画像Ｂに写っている道路標識について三次元座標を計測する。
【００１４】
ＬＲＦ２５０は、走行する計測車両２００の側方にレーザを照射し、地物に反射して戻ってきたレーザを観測し、レーザを観測した各観測点での観測値に基づいて当該地物が位置するＬＲＦ２５０に対する相対距離および相対方位を示す複数の点データ（点群データ）を生成するレーザレーダである。ＬＲＦ２５０は生成した点群データを地物を表す距離方位点群データとして距離方位点群記憶部２９３に記憶する。
以下、距離方位点群記憶部２９３に記憶された距離方位点群データには、撮像画像Ａおよび撮像画像Ｂに写っている道路標識を表す点群データも含まれているものとする。実施の形態１において道路標識位置計測装置１００は距離方位点群データが表す道路標識について三次元座標を計測する。
【００１５】
道路標識位置計測装置１００（対象特定装置）は、車両位置姿勢標定部１１０、道路標識画像認識部１２０、三次元点群モデル復元部１３０、点群画像投影部１４０、グルーピング部１５０、標識点群特定部１６０および標識位置計算部１７０を備える。
また、道路標識位置計測装置１００は、各データを記憶機器を用いて記憶する車両位置姿勢記憶部１９１、認識画像記憶部１９２、三次元点群モデル記憶部１９３、二次元投影点群記憶部１９４および標識候補点群記憶部１９５を備える。また、道路標識位置計測装置１００は計測車両２００の観測データ記憶部２９１、画像データ記憶部２９２および距離方位点群記憶部２９３から記憶された各データを入力し、入力した各データを記憶機器を用いて記憶する。つまり、道路標識位置計測装置１００は観測データ記憶部２９１、画像データ記憶部２９２および距離方位点群記憶部２９３に相当する記憶部（図示省略）を備えるものとする。
【００１６】
車両位置姿勢標定部１１０は観測データ記憶部２９１に記憶されたＧＰＳ受信機２１０の観測データ、３軸ジャイロ２２０の角加速度データおよびオドメータ２３０の車速データに基づいて各時刻における計測車両２００の三次元座標および姿勢角（ロール、ピッチ、ヨー）を標定する。
車両位置姿勢標定部１１０は計測車両２００の三次元座標および姿勢角を車両位置・姿勢データとして車両位置姿勢記憶部１９１に記憶する。
【００１７】
道路標識画像認識部１２０（対象撮像範囲特定部）は画像データ記憶部２９２に記憶された撮像画像Ａ（第１の画像データ）の表す２次元画像と撮像画像Ｂ（第２の画像データ）の表す２次元画像とから道路標識（特定の対象物）が撮像された標識撮像範囲Ａａ・Ｂａ（対象撮像範囲、ウィンドウ）をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する。
道路標識画像認識部１２０は標識撮像範囲Ａａ、標識撮像範囲Ｂａを示す認識画像Ａｒ、認識画像Ｂｒを認識画像記憶部１９２に記憶する。
【００１８】
三次元点群モデル復元部１３０は、距離方位点群記憶部２９３に記憶された距離方位点群データに基づいて、３次元座標を示す複数の３次元点データにより道路周辺の地物を３次元で表す３次元点群データ（以下、三次元点群モデルとする）を生成する。
三次元点群モデル復元部１３０は三次元点群モデルを三次元点群モデル記憶部１９３（点群データ記憶部）に記憶する。
【００１９】
点群画像投影部１４０（第１の点群画像投影部）は三次元点群モデルを撮像画像Ａの表す２次元画像に対してＣＰＵを用いて投影する。
以下、撮像画像Ａの表す２次元画像に対して投影された点群データを画像投影点群Ａｉｐとする。
さらに、点群画像投影部１４０（第２の点群画像投影部）は標識点群ラベル限定部１５３が画像投影点群Ａｉｐから特定した各グループ点群データ（以下、標識候補点群Ａｃとする）を撮像画像Ｂの表す２次元画像に対してＣＰＵを用いて投影する。
以下、撮像画像Ｂの表す２次元画像に対して投影された点群データを画像投影点群Ｂｉｐとする。
点群画像投影部１４０は画像投影点群Ａｉｐ、画像投影点群Ｂｉｐを二次元投影点群記憶部１９４に記憶する。
【００２０】
グルーピング部１５０は標識投影点群抽出部１５１、標識点群ラベリング部１５２および標識点群ラベル限定部１５３を備え、標識撮像範囲Ａａに投影された点群データ（以下、標識投影点群Ａｓｐとする）を抽出し、標識投影点群Ａｓｐを異なる地物を表すグループ点群にグループ分けし、道路標識と同程度の大きさを示すグループ点群（標識候補点群Ａｃ）を特定する。
また、グルーピング部１５０は標識撮像範囲Ｂａに投影された点群データ（以下、標識投影点群Ｂｓｐとする）について標識候補点群Ｂｃを特定する。
グルーピング部１５０は標識候補点群Ａｃ、標識候補点群Ｂｃを標識候補点群記憶部１９５に記憶する。
【００２１】
標識投影点群抽出部１５１（第１の対象投影点群抽出部）は標識撮像範囲Ａａに投影された画像投影点群ＡｉｐをＣＰＵを用いて抽出する。
また、標識投影点群抽出部１５１（第２の対象投影点群抽出部）は標識撮像範囲Ｂａに投影された画像投影点群ＢｉｐをＣＰＵを用いて抽出する。
以下、標識撮像範囲Ａａに投影された点群データを標識投影点群Ａｓｐ、標識撮像範囲Ｂａに投影された点群データを標識投影点群Ｂｓｐとする。
【００２２】
標識点群ラベリング部１５２（点群グルーピング部）は標識投影点群Ａｓｐを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする。
特に、標識点群ラベリング部１５２は、複数の３次元領域（以下、ボクセルとする）に分割した３次元空間（以下、ボクセル空間とする）を設定し、標識投影点群Ａｓｐを各３次元点データの示す３次元座標に基づいてボクセル空間に投票し、隣接する各ボクセルに投票された各３次元点データを１つのグループ点群データとする。
【００２３】
標識点群ラベル限定部１５３（点群グループ限定部）は複数のグループ点群データのそれぞれが表す地物（グループ体）のサイズを各３次元点データの示す３次元座標に基づいてＣＰＵを用いて特定し、特定した地物のサイズを道路標識のサイズとＣＰＵを用いて比較し、地物のサイズが道路標識のサイズに対応する各グループ点群データ（標識候補点群Ａｃ）をＣＰＵを用いて特定する。
【００２４】
標識点群特定部１６０（対象点群特定部）は標識候補点群Ａｃを構成する各グループ点群データを標識投影点群Ｂｓｐを構成する当該グループ点群データと比較し、標識候補点群Ａｃを構成する各グループ点群データの中で標識投影点群Ｂｓｐにおいて３次元点データの残存率が最も大きいグループ点群データを道路標識を３次元で表す標識三次元点群（対象点群データ）としてＣＰＵを用いて特定する。
標識点群特定部１６０は標識三次元点群を標識三次元点群記憶部１９６に記憶する。
【００２５】
標識位置計算部１７０（対象位置算出部）は標識三次元点群を構成する各３次元点データの示す３次元座標に基づいて道路標識の中心を示す３次元座標を道路標識の位置としてＣＰＵを用いて算出する。
【００２６】
図２は、実施の形態１における道路標識位置計測装置１００のハードウェア資源の一例を示す図である。
図３は、実施の形態１における計測車両２００のハードウェア資源の一例を示す図である。
図２、図３において、道路標識位置計測装置１００および計測車両２００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりにその他の記憶装置（例えば、ＲＡＭやフラッシュメモリなどの半導体メモリ）を用いてもよい。
さらに、道路標識位置計測装置１００はＣＲＴ（Ｃａｔｈｏｄｅ・Ｒａｙ・Ｔｕｂｅ）やＬＣＤ（液晶）の表示画面を有する表示装置９０１、キーボード９０２（Ｋｅｙ・Ｂｏａｒｄ：Ｋ／Ｂ）、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、ＣＤＤ９０５（コンパクトディスク装置）も備え、ＣＰＵ９１１はこれらハードウェアデバイスも制御する。
また、計測車両２００は、さらに、カメラ２４０、ＧＰＳ受信機２１０、３軸ジャイロ２２０、オドメータ２３０、ＬＲＦ２５０も備え、ＣＰＵ９１１はこれらハードウェアデバイスも制御する。
【００２７】
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。また、入力データが記憶されている記憶機器は入力機器、入力装置あるいは入力部の一例であり、出力データが記憶される記憶機器は出力機器、出力装置あるいは出力部の一例である。
通信ボード９１５、キーボード９０２、マウス９０３、ＦＤＤ９０４、ＣＤＤ９０５は、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード９１５、表示装置９０１、ＦＤＤ９０４、ＣＤＤ９０５は、出力機器、出力装置あるいは出力部の一例である。
【００２８】
通信ボード９１５は、有線または無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）、電話回線などの通信網に接続されている。
【００２９】
磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、ＯＳ９２１により実行される。
【００３０】
上記プログラム群９２３には、実施の形態において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
【００３１】
ファイル群９２４には、実施の形態において、「〜部」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。撮像画像、観測データ、距離方位点群、車両位置・姿勢、認識画像、三次元点群モデル、画像投影点群、標識候補点群、標識三次元点群、道路標識位置などのデータはファイル群９２４に含まれるものの一例である。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、磁気ディスク装置９２０の磁気ディスク、その他の記録媒体に記録される。また、データや信号値は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００３２】
また、実施の形態において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスクやその他の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、対象特定プログラムは、「〜部」としてコンピュータを機能させるものである。あるいは、「〜部」の手順や方法をコンピュータに実行させるものである。
【００３３】
図４は、実施の形態１における計測車両２００の配置関係図である。
図５は、実施の形態１におけるＬＲＦ２５０のレーザ計測方法を示す図である。
実施の形態１におけるＬＲＦ２５０のレーザ計測方法について図４および図５に基づいて説明する。
図４に示すように、計測車両２００は車両本体２０２の屋根に天板２０１が固定して設置され、天板２０１には３台のＧＰＳ受信機２１０（２１０ａ〜２１０ｂ）、カメラ２４０、３軸ジャイロ２２０およびＬＲＦ２５０が固定して設置されている。
３軸ジャイロ２２０の設置点Ｏの座標および３軸ジャイロ２２０の設置点での姿勢角を計測車両２００の位置および姿勢角とする。
【００３４】
以下、３軸ジャイロ２２０の設置点Ｏを原点Ｏ（０，０，０）とする極座標系ｘｙｚを車両座標系とする。車両座標系で表された座標および姿勢角は計測車両２００に対する相対座標および相対姿勢角を示す。
ｚ軸は計測車両２００の進行方向（長手方向、奥行き方向、縦方向）を示し、ｘ軸は計測車両２００の幅方向（横方向）を示し、ｙ軸は計測車両２００の高さ方向（垂直方向）を示し、ｚ軸回りの角度Φは回転角（ロール角）を示し、ｘ軸回りの角度θは仰角（ピッチ角）を示し、ｙ軸回りの角度ψは方位角（ヨー角）を示す。
また、車両座標系におけるカメラ２４０の座標、姿勢角を（Δｘｃａｍ，Δｙｃａｍ，Δｚｃａｍ）、（Φｃａｍ，θｃａｍ，ψｃａｍ）とする。以下、（Δｘｃａｍ，Δｙｃａｍ，Δｚｃａｍ）、（Φｃａｍ，θｃａｍ，ψｃａｍ）をカメラ取付オフセットという。
また、車両座標系におけるＬＲＦ２５０の座標、姿勢角を（Δｘｌｒｆ，Δｙｌｒｆ，Δｚｌｒｆ）、（Φｌｒｆ，θｌｒｆ，ψｌｒｆ）とする。以下、（Δｘｌｒｆ，Δｙｌｒｆ，Δｚｌｒｆ）、（Φｌｒｆ，θｌｒｆ，ψｌｒｆ）をＬＲＦ取付オフセットという。
また、同様に、各ＧＰＳ受信機２１０の車両座標系における座標、姿勢角を受信機取付オフセットとする。
また、カメラ２４０の位置を原点としてカメラ２４０に対する相対座標および相対姿勢角を表す極座標系をカメラ座標系とし、ＬＲＦ２５０の位置を原点としてＬＲＦ２５０に対する相対座標および相対姿勢角を表す極座標系をＬＲＦ座標系とし、各ＧＰＳ受信機２１０の位置を原点として各ＧＰＳ受信機２１０に対する相対座標および相対姿勢角を表す極座標系を受信機座標系とする。
【００３５】
計測車両２００は走行中、継続して各ＧＰＳ受信機２１０によりＧＰＳ衛星からの搬送波を観測し、カメラ２４０により前方の道路周辺を撮像し、ＬＲＦ２５０により左側方の地物に対してレーザ計測する。
【００３６】
図５において、ＬＲＦ２５０は上下方向（ｙ軸方向）に機首を１°単位で１８０°振りながらレーザを照射し、地物に反射したレーザを観測して地物までの距離と方位とを計測し、これを繰り返す。
例えば、ＬＲＦ２５０は、ａ地点において走査ラインＳａの各点について地物までの距離と方位（方向）とを示す距離方位点群データを取得し、計測車両２００が進行したｂ地点において走査ラインＳｂの各点について距離方位点群データを取得する。そして、ＬＲＦ２５０は、計測車両２００の走行中、このレーザ計測を繰り返すことにより、計測車両２００が走行した道路の左方に位置する各地物について距離方位点群データを取得する。また、計測車両２００は、道路を往復して、道路の左右両側に位置する各地物について距離方位点群データを取得する。なお、ＬＲＦ２５０がレーザ計測する際に計測車両２００がａ地点、ｂ地点、・・・と各点で停車するのではなく、計測車両２００が連続走行しながらＬＲＦ２５０がレーザ計測を連続して行う。
例えば、距離方位点群データの示す各点の間隔が１０〜１４センチメートル程度になるような速さで、ＬＲＦ２５０は機首を上下動しながらレーザの照射・観測を行う。または、計測車両２００の走行速度を調整する。
【００３７】
図６は、実施の形態１における道路標識位置計測処理を示すフローチャートである。
図７は、実施の形態１における前処理（Ｓ１００）を示すフローチャートである。
実施の形態１における道路標識位置計測装置１００が実行する道路標識位置計測処理（対象特定方法）について、図６および図７に基づいて以下に説明する。
道路標識位置計測装置１００を構成する各部は、以下に説明する各処理をＣＰＵ９１１を用いて実行する。
【００３８】
＜Ｓ１００：前処理＞
まず、道路標識位置計測装置１００は計測車両２００から異なる地点で撮像された撮像画像Ａおよび撮像画像Ｂに対して道路標識が写っている範囲を特定した認識画像Ａｒおよび認識画像Ｂｒを認識画像記憶部１９２に記憶する。
また、道路標識位置計測装置１００は計測車両２００で計測された距離方位点群データに基づいて生成した三次元点群モデルを三次元点群モデル記憶部１９３に記憶する。
ここで、前処理（Ｓ１００）の詳細を図７に基づいて説明する。
【００３９】
＜Ｓ１１０＞
まず、車両位置姿勢標定部１１０は各時刻における計測車両２００の位置および姿勢角を特定の座標系で標定する。例えば、車両位置姿勢標定部１１０は座標を緯度、経度および高度で表す緯度経度座標系で計測車両２００の位置および姿勢角を標定する。また例えば、車両位置姿勢標定部１１０は、計測車両２００の走行開始地点を原点として、座標を東方向、北方向および上方向（垂直方向）で表すＥＮＵ（Ｅａｓｔ Ｎｏｒｔｈ Ｕｐ）座標系で計測車両２００の位置および姿勢角を標定する。
【００４０】
このとき、車両位置姿勢標定部１１０は観測データ記憶部２９１から各時刻における観測データ、角加速度データおよび車速データを入力し、入力した各データに基づいて各時刻における計測車両２００の位置および姿勢角（ロール角、ピッチ角、ヨー角）を標定する。車両位置姿勢標定部１１０は標定した各時刻における計測車両２００の位置および姿勢角を車両位置・姿勢データとして車両位置姿勢記憶部１９１に記憶する。
ここで、観測データには単独測位結果、擬似距離、搬送波位相、衛星軌道情報などが含まれている。
【００４１】
例えば、車両位置姿勢標定部１１０は、ＧＰＳ受信機２１０の単独測位結果を受信機取付オフセット分補正して、計測車両２００の三次元座標を標定する。
また例えば、車両位置姿勢標定部１１０は、３軸ジャイロ２２０の角加速度データおよびオドメータ２３０の車速データを積分した変化量を前回の標定値に加算して行うデッドレコニングにより、計測車両２００の三次元座標および姿勢角を標定する。
また例えば、車両位置姿勢標定部１１０はデッドレコニングの結果に含まれる誤差をカルマンフィルタ処理で推定し、推定誤差を用いてデッドレコニングの結果を補正して計測車両２００の三次元座標および姿勢角を標定する。カルマンフィルタ処理とは、状態量のダイナミクスをモデル化した状態方程式と、観測量と状態量との関係を定式化した観測方程式との両方程式に基づいて状態量の誤差を推定する処理である。カルマンフィルタ処理において、車両位置姿勢標定部１１０は擬似距離の観測残差や搬送波位相の観測残差を観測量とし、デッドレコニングによる標定結果を状態量とする。例えば、車両位置姿勢標定部１１０はデッドレコニングにより算出したＧＰＳ受信機２１０の位置と衛星軌道情報が示すＧＰＳ衛星の位置とによりＧＰＳ受信機２１０とＧＰＳ衛星との距離を算出し、算出した距離と観測データが示す擬似距離との差を観測残差とする。また例えば、車両位置姿勢標定部１１０はデッドレコニングにより算出したＧＰＳ受信機２１０の位置と衛星軌道情報が示すＧＰＳ衛星の位置とによりＧＰＳ受信機２１０から見たＧＰＳ衛星の位置する方向を示すＬＯＳ（Ｌｉｎｅ Ｏｆ Ｓｉｇｈｔ）ベクトルを算出し、受信機取付オフセットに基づいてＧＰＳ受信機２１０間の距離および方向を示す基線ベクトルを算出し、ＬＯＳベクトルと基線ベクトルとに基づいて搬送波位相を算出し、算出した搬送波位相と観測データが示す搬送波位相との差を観測残差とする。
【００４２】
＜Ｓ１２０：対象撮像範囲特定処理＞
次に、道路標識画像認識部１２０は撮像画像Ａおよび撮像画像Ｂから同一の道路標識が写っている標識撮像範囲Ａａおよび標識撮像範囲Ｂａを特定する。
このとき、道路標識画像認識部１２０は画像データ記憶部２９２から撮像画像Ａおよび撮像画像Ｂを入力し、撮像画像Ａおよび撮像画像Ｂに対して同一の道路標識を認識する任意の画像認識処理を行う。そして、道路標識画像認識部１２０は、画像認識処理結果に基づいて、撮像画像Ａに対して当該道路標識が写っている標識撮像範囲Ａａを特定し、撮像画像Ｂに対して当該道路標識が写っている標識撮像範囲Ｂａを特定する。例えば、道路標識画像認識部１２０は予め記憶機器に記憶された各道路標識の特徴情報（形状、色、模様など）とのパターンマッチングにより撮像画像から標識撮像範囲を特定する。または、道路標識画像認識部１２０は画像データ記憶部２９２から複数の撮像画像を入力し、各撮像画像に対して画像認識処理を行い、標識撮像範囲を特定できた２枚の撮像画像を撮像画像Ａおよび撮像画像Ｂとして選択する。
また、道路標識画像認識部１２０は車両位置姿勢記憶部１９１から撮像画像Ａを撮像時の計測車両２００の位置および姿勢角と撮像画像Ｂを撮像時の計測車両２００の位置および姿勢角とを取得する。
次に、道路標識画像認識部１２０は、計測車両２００の位置および姿勢角とカメラ取付オフセットとに基づいて、撮像画像Ａを撮像時のカメラ２４０の位置および姿勢角と撮像画像Ｂを撮像時のカメラ２４０の位置および姿勢角とを特定の座標系で算出する。カメラ取付オフセットは予め記憶機器に記憶されているものとする。
そして、道路標識画像認識部１２０は撮像画像Ａ、標識撮像範囲Ａａおよび撮像画像Ａを撮像時のカメラ２４０の位置・姿勢角を示す認識画像Ａｒと、撮像画像Ｂ、標識撮像範囲Ｂａおよび撮像画像Ｂを撮像時のカメラ２４０の位置・姿勢角を示す認識画像Ｂｒとを認識画像記憶部１９２に記憶する。
以下、標識撮像範囲は、四角形で表され、撮像画像の左上を原点として撮像画像のピクセル（画素）を単位とする画像座標系において、四角形を表す対角線上の２つの座標値を示すものとする。例えば、この画像座標系は、撮像画像が横１６００ピクセル×縦１２００ピクセルであれば、画像左上の座標が（０，０）、画像右上の座標が（１５９９，０）、画像左下の座標が（０，１１９９）、画像右下の座標が（１５９９，１１９９）となる。
【００４３】
＜Ｓ１３０＞
そして、三次元点群モデル復元部１３０は三次元座標を示す複数の三次元点データにより道路周辺の地物を三次元で表す三次元点群モデルを生成する。
このとき、三次元点群モデル復元部１３０は距離方位点群記憶部２９３から距離方位点群データを入力する。
次に、三次元点群モデル復元部１３０は、距離方位点群データの各点が示すＬＲＦ２５０に対する相対距離および相対方位（方向）に基づいて、距離方位点群データの各点についてＬＲＦ座標系における三次元座標を算出する。
次に、三次元点群モデル復元部１３０は車両位置姿勢記憶部１９１から各時刻における計測車両２００の位置および姿勢角を取得する。
そして、三次元点群モデル復元部１３０は、計測車両２００の位置および姿勢角とＬＲＦ取付オフセットとに基づいて、ＬＲＦ座標系における各点の三次元座標を三次元アフィン変換して三次元点群モデルを生成する。ＬＲＦ取付オフセットは予め記憶機器に記憶されているものとする。
三次元点群モデルの各点は特定の座標系（例えば、ＥＮＵ座標系および車両座標系）で表される。
三次元点群モデル復元部１３０は生成した三次元点群モデルを三次元点群モデル記憶部１９３に記憶する。
【００４４】
ここで、三次元アフィン変換について説明する。以下の各式で用いている各記号は図４に示す記号に対応している。
【００４５】
まず、距離方位点群データから得られたＬＲＦ座標系における各点の三次元座標（ｘ０，ｙ０，ｚ０）は、計測車両２００に対するＬＲＦ２５０の相対位置（Δｘｌｒｆ，Δｙｌｒｆ，Δｚｌｒｆ）および相対姿勢（Φｌｒｆ，θｌｒｆ，ψｌｒｆ）（ＬＲＦ取付オフセット）を用いた以下の式１、式２によって、車両座標系の三次元座標（ｘ２，ｙ２，ｚ２）に変換される。
【００４６】
【数１】
【００４７】
そして、車両座標系における各点の三次元座標（ｘ２，ｙ２，ｚ２）は、ＥＮＵ座標系における計測車両２００の座標（Ｅｖ，Ｎｖ，Ｕｖ）および姿勢角（Φｖ，θｖ，ψｖ）を用いた以下の式３、式４によって、ＥＮＵ座標系の三次元座標（Ｅｌｒｆ，Ｎｌｒｆ,Ｕｌｒｆ）に変換される。
【００４８】
【数２】
【００４９】
図８は、実施の形態１における三次元点群モデル復元部１３０が生成する三次元点群モデルの一例を示す図である。
三次元点群モデル復元部１３０が生成した三次元点群モデルは表示装置９０１により図８に示すような三次元画像として表示される。図８では、車道（計測車両２００の進行方向）と平行して道路脇に道路標識、電柱、木が順に並んでいることを示している。
【００５０】
なお、三次元点群モデル復元部１３０はＬＲＦ２５０からの水平距離が所定値以下である点のみについて三次元点群モデルを生成するものとする。例えば、図８は、塀の向こうに存在する地物が三次元点群モデルに含まれていないことを示している。
【００５１】
次に、図６に戻り、前処理（Ｓ１００）後の道路標識位置計測処理について説明する。
実施の形態１における道路標識位置計測装置１００は、三次元点群モデルを構成する複数の点のうち、どの点群が道路標識を表しているかを特定するために、撮像画像上で認識した道路標識に対応する点群を特定する。
そこで、前処理（Ｓ１００）後、道路標識位置計測装置１００は三次元点群モデルを構成する各点を撮像画像Ａおよび撮像画像Ｂに投影し（Ｓ１４０、Ｓ１６０）、投影した各点のうち道路標識が写っている標識撮像範囲Ａａ、標識撮像範囲Ｂａに位置する各点を抽出し（Ｓ１５１、Ｓ１７１）、抽出した各点をグルーピングし（Ｓ１５２）、各グループ点群のうち標識撮像範囲Ａａと標識撮像範囲Ｂａとで共通するグループ点群を道路標識を表すグループ点群として特定する（Ｓ１８０）。そして、道路標識位置計測装置１００は特定した道路標識を表すグループ点群を構成する各点が示す三次元座標に基づいて当該道路標識の三次元座標を算出する（Ｓ１９０）。
【００５２】
図９は、実施の形態１における道路標識位置計測処理の概念図である。
ここで、車道（計測車両２００の進行方向）と平行して道路標識、木および電柱が並ぶ三次元点群モデルを点Ｐ０で撮像された二次元の撮像画像Ａ（画像平面Ｉ０）に投影した場合、標識撮像範囲Ａａにはカメラ２４０のＬＯＳ（視線方向）に位置する道路標識、木および電柱のそれぞれを表す各グループ点群が重畳して投影される。しかし、同一の三次元点群モデルを点Ｐ１で撮像された二次元の撮像画像Ｂ（画像平面Ｉ１）に投影した場合、同一の道路標識に対する点Ｐ１からのＬＯＳは点Ｐ０からのＬＯＳと異なるため、標識撮像範囲Ｂａには道路標識を表す点群グループと木の一部を表す点群グループのみが投影される。このため、道路標識位置計測装置１００は視点が異なる標識撮像範囲Ａａと標識撮像範囲Ｂａとに共通して投影されたグループ点群を道路標識を表すグループ点群として特定することができる。
【００５３】
図６に従い、以下に、Ｓ１４０〜Ｓ１９０の各処理の詳細について説明する。
【００５４】
＜Ｓ１４０：点群画像投影処理Ａ＞
まず、点群画像投影部１４０は三次元点群モデルを撮像画像Ａに投影する。
このとき、点群画像投影部１４０は認識画像記憶部１９２から認識画像Ａを取得し、三次元点群モデル記憶部１９３から三次元点群モデルを取得する。ここで、認識画像Ａは、前述の通り、撮像画像Ａ、標識撮像範囲Ａａおよび撮像画像Ａを撮像時のカメラ２４０の位置・姿勢角を示す。
そして、以下のようにして、三次元点群モデルを構成する各点を撮像画像Ａに投影し、各点について三次元点群モデルが示す三次元座標と撮像画像Ａに投影後の二次元座標とを示す画像投影点群Ａｉｐを二次元投影点群記憶部１９４に記憶する。以下、三次元点群モデルを投影後の画像を投影画像とする。また、画像投影点群の二次元座標は、前述の標識撮像範囲と同様、撮像画像の左上を原点とし、撮像画像のピクセル（画素）を単位とする座標値を示すものとする。
【００５５】
図１０は、実施の形態１における二次元の画像平面Ｉに対する三次元座標の点の投影を示す概念図である。
以下の各式で用いている各記号は図４、図１０に示す記号に対応している。
【００５６】
まず、三次元点群モデルの点Ｄが示す車両座標系の座標（ｘｌｒｆ，ｙｌｒｆ，ｚｌｒｆ）は、車両座標系におけるカメラ２４０の座標（Δｘｃａｍ，Δｙｃａｍ，Δｚｃａｍ）および姿勢角（Φｃａｍ，θｃａｍ，ψｃａｍ）を用いた以下の式５、式６によって、カメラ座標系の座標（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）に変換される。
【００５７】
【数３】
【００５８】
そして、カメラ座標系における点Ｄの座標（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）とカメラ中心Ｃ（ｘｃａｍ０，ｙｃａｍ０，ｚｃａｍ０）とを結ぶ直線Ｌは以下の式７、式８、式９および式１０で表わされる。カメラ中心Ｃはカメラ２４０の撮像素子の中心またはカメラ座標の原点を示す。
【００５９】
【数４】
【００６０】
また、画像平面Ｉはカメラ２４０を理想的なピンホールカメラと仮定すると焦点距離ｆを用いて以下の式１１で表される。焦点距離ｆはカメラ中心Ｃと画像平面Ｉの中心Ｃ’との距離を示す。
ｚ＝ｆ ・・・（式１１）
【００６１】
点群画像投影部１４０は、上記式７〜式１１を用いて、画像平面Ｉと直線Ｌとの交点Ｄ’の座標を算出する。この交点Ｄ’の座標が撮像画像に投影した三次元点群モデルの点Ｄの二次元座標である。
【００６２】
図１１は、実施の形態１における投影画像Ａの一例を示す図である。
例えば、点群画像投影部１４０は三次元点群モデルを撮像画像Ａに投影して図１１に示すような投影画像Ａｐを生成する。図１１では、上記の点群画像投影処理Ａ（Ｓ１４０）により、三次元点群モデルを投影した画像投影点群Ａｉｐを構成する各点が撮像画像Ａに写っている各地物に対応していることを示している。例えば、図１１において、左側の画像のα部分を拡大した右側の画像は、電柱の伸張方向に沿って点群が投影されていることを示している。
【００６３】
＜Ｓ１５１：対象投影点群抽出処理Ａ＞
図６において、標識投影点群抽出部１５１は撮像画像Ａに対して標識撮像範囲Ａａに投影された標識投影点群Ａｓｐを抽出する。
このとき、標識投影点群抽出部１５１は認識画像記憶部１９２から認識画像Ａｒを取得し、二次元投影点群記憶部１９４から画像投影点群Ａｉｐを取得する。ここで、撮像画像Ａ、標識撮像範囲Ａａおよび撮像画像Ａを撮像時のカメラ２４０の位置・姿勢角を示し、画像投影点群Ａｉｐは各点について三次元座標と撮像画像Ａ上の二次元座標とを示す。
そして、標識投影点群抽出部１５１は、標識撮像範囲Ａａと撮像画像Ａ上の二次元座標とに基づいて、画像投影点群Ａｉｐから標識撮像範囲Ａａ内に位置する点群を抽出し、抽出した点群を標識投影点群Ａｓｐとする。標識投影点群Ａｓｐは標識撮像範囲Ａａ内に位置する各点について三次元座標と撮像画像Ａ上の二次元座標とを示す。
【００６４】
図１２は、実施の形態１における標識投影点群Ａｓｐ［２次元］の一例を示す図である。
図１３は、実施の形態１における標識投影点群Ａｓｐ［３次元］の一例を示す図である。
例えば、標識投影点群抽出部１５１は、図１２に示すように、認識画像Ａｒが示す標識撮像範囲Ａａ内に投影された標識投影点群Ａｓｐを抽出する。図１２では、左側に認識画像Ａｒの全体を示し、中央に拡大した標識撮像範囲Ａａを示している。なお、図１２の標識撮像範囲Ａａには、右図に示すように、横断歩道の標識、標識の背後に位置する電柱および木が写っている。
つまり、標識投影点群Ａｓｐは、図１３に示すように、道路標識を表す点群と電柱を表す点群と木を表す点群とを含んでいる。
【００６５】
＜Ｓ１５２：点群グルーピング処理＞
図６において、標識点群ラベリング部１５２は標識投影点群Ａｓｐをグループ毎にラベリングする。
例えば、図１３に示した標識投影点群Ａｓｐに対して、標識点群ラベリング部１５２は、以下のようにして、道路標識を表す点群と電柱を表す点群と木を表す点群とにグループ分けし、各グループ点群にラベルを設定する。
図１４は、実施の形態１におけるボクセルモデルを示す図である。
図１５は、実施の形態１におけるラベリング（グルーピング）を示す図である。
以下に、点群グルーピング処理（Ｓ１５２）の詳細について図１４および図１５に基づいて説明する。
【００６６】
まず、標識点群ラベリング部１５２はボクセル空間を設定する（Ｓ１５２ａ［図１４左図参照］）。
ボクセル空間とは三次元空間を立方体（ボクセル）を単位とする立方格子状に分割したものである。例えば、標識点群ラベリング部１５２は標識投影点群Ａｓｐを構成する各点の三次元座標について座標成分ｘ、ｙおよびｚそれぞれの最小値を検索し、最小値が示す座標を原点として一辺が２０センチメートルのボクセルを分割単位とするボクセル空間を設定する。但し、標識点群ラベリング部１５２は直方体や三角錐など他の立体形により三次元空間を分割してもよい。
次に、標識点群ラベリング部１５２は標識投影点群Ａｓｐを構成する各点を三次元座標に基づいて該当するボクセルに投票する。このとき、標識点群ラベリング部１５２は、標識投影点群Ａｓｐを構成する各点の三次元座標と各ボクセルが形成する三次元空間の座標とに基づいて、各ボクセル内に位置する標識投影点群Ａｓｐの点を特定する。以下、標識投影点群Ａｓｐを構成する各点が位置するボクセルを特定し、標識投影点群Ａｓｐの点とボクセルとを対応付けることを投票という（Ｓ１５２ｂ［図１４中央図参照］）。
次に、標識点群ラベリング部１５２は標識投影点群Ａｓｐのいずれかの点が投票されたボクセルをボクセルモデルとして抽出する（Ｓ１５２ｃ［図１４右図参照］）。
次に、標識点群ラベリング部１５２はボクセルモデルに対して隣接するボクセルを一つのグループとしてグループ分けし、各グループに対して当該グループを構成する各ボクセルに投票されたグループ点群にラベルを設定する（Ｓ１５２ｄ［図１５右図参照］）。
【００６７】
例えば、標識点群ラベリング部１５２は周囲２６方向において隣接するボクセルを連結してグループ分けを行い、各グループにラベルを設定する。つまり、ある一つのボクセルは自身を中心とした３×３×３のキューブ内に位置する他のボクセルと同じグループに属する。
【００６８】
図１５では、ボクセルモデルがグループ１、グループ２、グループ３およびグループ４の４つのグループにグループ分けされていることを示す。グループ１のボクセルに投票されたグループ点群はラベル１で識別され、グループ２のボクセルに投票されたグループ点群はラベル２で識別され、グループ３のボクセルに投票されたグループ点群はラベル３で識別され、グループ４のボクセルに投票されたグループ点群はラベル４で識別される。
【００６９】
Ｓ１５２ａにおいて設定されたボクセルのサイズが大きすぎる場合、道路標識を表す点群とその他の地物を表す点群とが同一のボクセルまたは隣接するボクセルに投票され、道路標識を表す点群とその他の地物を表す点群とにグループ分けすることができない。また、ボクセルのサイズが小さすぎる場合、同一の道路標識を表す各点が同一のボクセルにも隣接するボクセルにも投票されずにそれぞれ離れたボクセルに投票され、道路標識を表す各点を一つのグループ点群にすることができない。そこで、標識点群ラベリング部１５２はＬＲＦ２５０が計測する各点の間隔や計測対象とする道路標識の大きさなどに応じてボクセルのサイズを設定する。例えば、標識点群ラベリング部１５２はＬＲＦ２５０が計測する各点の間隔（例えば、１０〜１４センチメートル）の１．５倍以上２．０倍以下程度を一辺の長さとしてボクセルを設定する。また例えば、標識点群ラベリング部１５２は計測対象とする道路標識の一辺の長さ（例えば、４０〜１８０センチメートル）の０．１倍以上０．５倍以下程度を一辺の長さとしてボクセルを設定する。
【００７０】
図１６は、実施の形態１における点群グルーピング処理（Ｓ１５２）後の標識投影点群Ａｓｐ［３次元］の一例を示す図である。
標識点群ラベリング部１５２は、上記点群グルーピング処理（Ｓ１５２）により、図１３に示した標識投影点群Ａｓｐ［３次元］をラベル１で識別する点群、ラベル２で識別する点群およびラベル３で識別する点群にグループ分けすることができる。
【００７１】
＜Ｓ１５３：点群グループ限定処理＞
図６において、標識点群ラベル限定部１５３は標識点群ラベリング部１５２がグループ分けした各グループ点群に対して標識候補点群Ａｃとなる点群グループを限定する。
このとき、標識点群ラベル限定部１５３は各グループ点群について各点の三次元座標に基づいて当該グループ点群で表される地物のサイズ（幅、高さ、奥行き）を算出する。
次に、標識点群ラベル限定部１５３は計測対象とする道路標識の大きさを示すサイズ範囲と各グループ点群が表す地物のサイズとを比較して地物のサイズが道路標識のサイズ範囲内であるグループ点群を特定する。道路標識のサイズ範囲は予め記憶機器に定義されているものとする。
そして、標識点群ラベル限定部１５３は特定した各グループ点群を構成する点群それぞれを標識候補点群Ａｃとして標識候補点群記憶部１９５に記憶し、標識候補点群Ａｃ以外の点群を除去する。標識候補点群Ａは計測対象の道路標識と同程度のサイズである地物を表す各グループ点群について各点の三次元座標と各点の撮像画像Ａ上の二次元座標とを示す。
【００７２】
図１７は、実施の形態１における標識投影点群Ａｓｐ［３次元］がＥａｓｔ−Ｎｏｒｔｈ平面で存在する範囲の一例を示すグラフである。
図１８は、実施の形態１における標識投影点群Ａｓｐ［３次元］がＥａｓｔ−Ｕｐ平面で存在する範囲の一例を示すグラフである。
図１９は、実施の形態１における標識候補点群Ａｃ［３次元］の一例を示す図である
図１６に示したラベル１、ラベル２またはラベル３で識別される各グループ点群を構成する各点はＥａｓｔ−Ｎｏｒｔｈ平面において図１７のように存在し、Ｅａｓｔ−Ｕｐ平面において図１８のように存在する。図１７は上方から見た場合の各点の存在範囲を示し、図１８は側方から見た場合の各点の存在範囲を示している。図１７および図１８における目盛りはＬＲＦ２５０がレーザ計測を開始した地点からの距離を示している。なお、図１７においてカメラ２４０のＬＯＳ（視線方向）はグラフの右上からの方向であり、図１８においてカメラ２４０のＬＯＳはグラフの右下から方向である。
ここで、計測対象とする道路標識（例えば、横断歩道標識）のサイズ範囲を幅方向で０．４メートル以上１．８メートル以下、高さ方向で０．４メートル以上１．８メートル以下とした場合、図１８において、ラベル１、ラベル２またはラベル３で識別される各グループ点群はいずれも高さ方向のサイズ条件を充たしている。一方、図１７において、ラベル１またはラベル３で識別される各グループ点群は幅方向のサイズ条件を充たしているが、ラベル２で識別されるグループ点群は幅方向のサイズ条件を充たしていない。
この場合、標識点群ラベル限定部１５３は“ラベル２”で識別されるグループ点群を削除し、図１９に示すように、“ラベル３”で識別されていたグループ点群のラベル名を“ラベル２”に更新する。図１９において、“ラベル１”で識別されるグループ点群と“ラベル２（旧ラベル１）”で識別されるグループ点群とが標識候補点群Ａｃとなる。
【００７３】
＜Ｓ１６０：点群画像投影処理Ｂ＞
図６において、点群画像投影部１４０は標識候補点群Ａｃを撮像画像Ｂに投影する。
このとき、点群画像投影部１４０は認識画像記憶部１９２から認識画像Ｂを取得し、標識候補点群記憶部１９５から標識候補点群Ａｃを取得する。
そして、点群画像投影部１４０は、点群画像投影処理Ａ（Ｓ１４０）と同様に、標識候補点群Ａｃを撮像画像Ｂに投影し、撮像画像Ｂに投影した画像投影点群Ｂｉｐを二次元投影点群記憶部１９４に記憶する。
但し、点群画像投影部１４０は三次元点群モデルを構成する全ての点を撮像画像Ｂに投影するのではなく、標識点群ラベル限定部１５３が限定した標識候補点群Ａｃを構成する点のみを撮像画像Ｂに投影する。
ここで、認識画像Ｂｒは撮像画像Ｂ、標識撮像範囲Ｂａおよび撮像画像Ｂを撮像時のカメラ２４０の位置・姿勢角を示している。また、標識候補点群Ａｃは計測対象の道路標識と同程度のサイズである地物を表す各点群グループについて各点の三次元座標と撮像画像Ａ上の二次元座標とを示し、画像投影点群Ｂｉｐは標識候補点群Ａｃの各点の三次元座標と撮像画像Ｂ上の二次元座標とを示す。
【００７４】
＜Ｓ１７１：対象投影点群抽出処理Ｂ＞
次に、標識投影点群抽出部１５１は撮像画像Ｂに対して標識撮像範囲Ｂａに投影された標識投影点群Ｂｓｐを標識候補点群Ｂｃとして抽出する。
このとき、標識投影点群抽出部１５１は認識画像記憶部１９２から認識画像Ｂｒを取得し、二次元投影点群記憶部１９４から画像投影点群Ｂｉｐを取得する。
そして、標識投影点群抽出部１５１は、対象投影点群抽出処理Ａ（Ｓ１５１）と同様に、標識撮像範囲Ｂａに投影された標識投影点群Ｂｓｐを抽出する。標識投影点群抽出部１５１は抽出した標識投影点群Ｂｓｐを標識候補点群Ｂｃとして標識候補点群記憶部１９５に記憶 する。
つまり、標識投影点群抽出部１５１は標識候補点群Ａｃを構成する複数の点を標識撮像範囲Ｂａに投影された点に絞り込んで標識候補点群Ｂｃとしている。
【００７５】
＜Ｓ１８０：対象点群特定処理＞
次に、標識点群特定部１６０は標識候補点群Ａｃと標識候補点群Ｂｃとを比較して道路標識を表す標識三次元点群を特定する。
このとき、標識点群特定部１６０は標識候補点群記憶部１９５から標識候補点群Ａｃと標識候補点群Ｂｃとを取得する。
そして、標識点群特定部１６０は標識候補点群Ａｃを構成する各グループ点群と標識候補点群Ｂｃを構成する各グループ点群とを比較し、点群の一致度が最も大きいグループ点群を道路標識を表す標識三次元点群として標識三次元点群記憶部１９６に記憶する。標識候補点群Ｂｃを構成する各点は標識候補点群Ａｃを構成するいずれかの点であり、標識候補点群Ａｃにおけるグループと同じグループに属するものとして扱う。標識点群特定部１６０は、標識候補点群Ａｃを構成する各グループ点群の中で、当該グループ点群を構成する各点が標識候補点群Ｂｃを構成する点として残存した割合の最も高いグループ点群を標識三次元点群とする。標識三次元点群は道路標識を表す各点の三次元座標を示す。
【００７６】
ここで、図９に示したように、点Ｐ０で撮像された撮像画像Ａと点Ｐ１で撮像された撮像画像Ｂとでは道路標識に対するカメラ２４０のＬＯＳ（視線方向）が異なるため、標識撮像範囲Ａａに投影された標識投影点群Ａｓｐと標識撮像範囲Ｂａに投影された標識投影点群Ｂｓｐとは一致しない。しかし、撮像画像Ａと撮像画像Ｂとは共に同一の道路標識の全体を写しているため、標識投影点群Ａと標識投影点群Ｂとにおいて道路標識を表すグループ点群については一致する。つまり、図１９に示した標識候補点群Ａｃと標識候補点群Ｂｃとを比較した場合、道路標識を表すグループ点群（ラベル２）の方が木を表すグループ点群（ラベル１）より点群の一致度・残存率が高くなる。このため、標識点群特定部１６０は、図２０に示すように、木を表すグループ点群（ラベル１）を棄却し、道路標識を表すグループ点群（ラベル２）を標識三次元点群として特定することができる。
図２０は、実施の形態１における標識三次元点群の一例を示す図である。
【００７７】
＜Ｓ１９０：対象位置算出処理＞
図６において、標識位置計算部１７０は標識三次元点群に基づいて道路標識の位置を算出する。
このとき、標識位置計算部１７０は標識三次元点群記憶部１９６から標識三次元点群を取得する。
そして、標識位置計算部１７０は標識三次元点群が示す各点の三次元座標に基づいて道路標識の中心点（重心点）の三次元座標を道路標識の位置として算出する。このとき、標識位置計算部１７０は標識三次元点群を構成する各点の三次元座標について座標成分ｘ、ｙおよびｚそれぞれの平均値を道路標識の位置として算出する。例えば、標識位置計算部１７０は、座標成分ｘ、ｙおよびｚそれぞれについて、各点の座標値から最小値と最大値とを検索し、最小値と最大値との合計値を２で除算した値を道路標識の位置として算出する。また例えば、標識位置計算部１７０は、座標成分ｘ、ｙおよびｚそれぞれについて、各点の座標値を合計し、合計値を点の数で除算した値を道路標識の位置として算出する。
【００７８】
図２１は、実施の形態１における道路標識位置を示す図である。
標識位置計算部１７０は、図２１に示すように、図２０に示した標識三次元点群の中心点を道路標識位置として算出する。図２１は道路標識を正面から表した標識三次元点群（左図）と道路標識を側方から表した標識三次元点群（右図）とを示している。
【００７９】
実施の形態１では、高精度な車体位置姿勢を基にＬＲＦにより得られたデータから計算した三次元復元点群（三次元点群モデル）およびカメラ画像を用いて道路標識位置を計測する道路標識位置計測方法について説明した。本手法の特徴は、視点の異なる複数カメラ画像間の視差を利用することで、標識の周辺や裏に隠れている標識以外の地物に対応するレーザ計測点を棄却し、標識から直接反射して戻っているレーザ点のみを用いて標識の位置を計測する点である。
【００８０】
実施の形態１における道路標識位置計測装置１００は、点群画像投影部１４０が三次元点群モデルではなく標識候補点群Ａｃを撮像画像Ｂに投影することにより（Ｓ１６０）、処理する点データの数を減らし、処理時間を短縮することができる。
また、道路標識位置計測装置１００は、標識点群ラベル限定部１５３が各グループ点群の表す地物の大きさに基づいてグループ点群を限定することにより（Ｓ１５３）、道路標識とは大きさの異なる地物のグループ点群を標識三次元点群として誤検出することを防ぐことができる。
【００８１】
実施の形態２．
実施の形態２では、点群グループ限定処理（Ｓ１５３）を実行しない道路標識位置計測処理について説明する。
以下、実施の形態１と異なる事項について主に説明し、説明を省略する事項は実施の形態１と同様であるものとする。
【００８２】
図２２は、実施の形態２における道路標識位置計測処理を示すフローチャートである。
図２２に示すように、実施の形態２における道路標識位置計測装置１００は点群グループ限定処理（Ｓ１５３）を実行しない。
そして、点群グルーピング処理（Ｓ１５２ｂ）において、標識点群ラベリング部１５２は標識投影点群Ａｓｐを構成する各グループ点群を標識候補点群Ａｃとして標識候補点群記憶部１９５に記憶し、点群画像投影処理Ｂ（Ｓ１６０ｂ）において、点群画像投影部１４０は標識点群ラベリング部１５２が記憶した標識候補点群Ａｃを撮像画像Ｂに投影する。
【００８３】
これにより、道路標識位置計測装置１００は標識点群ラベル限定部１５３を備えなくても道路標識の位置を算出することができる。
【００８４】
実施の形態３．
実施の形態３では、実施の形態１とは異なる対象点群特定処理（Ｓ１８０）を実行する道路標識位置計測処理について説明する。
以下、実施の形態１と異なる事項について主に説明し、説明を省略する事項は実施の形態１と同様であるものとする。
【００８５】
図２３は、実施の形態３における道路標識位置計測処理を示すフローチャートである。
実施の形態３における道路標識位置計測処理について、図２３に基づいて以下に説明する。
対象点群特定処理（Ｓ１８０ｃ）において、標識点群特定部１６０は標識候補点群Ａｃと標識候補点群Ｂｃとを比較して算出した各グループ点群の一致度（残存率）を比較し、一致度が他の全てのグループ点群の一致度より所定の閾値以上大きい１つのグループ点群を標識三次元点群として特定する。
そして、Ｓ１８１ｃにおいて、道路標識位置計測装置１００は標識点群特定部１６０が標識三次元点群を特定できなかった場合、つまり、各グループ点群の一致度に所定の閾値以上の差が無かった場合、点群画像投影処理Ｂ（Ｓ１６０ｃ）から処理を繰り返す。
このとき、点群画像投影処理Ｂ（Ｓ１６０ｃ）では、点群画像投影部１４０が標識候補点群Ａｃを新たに別の撮像画像ｘ（第３の撮像画像）に投影する。
以後、標識投影点群抽出部１５１が撮像画像ｘについて標識候補点群ｘｃを抽出し（Ｓ１７１ｃ）、標識点群特定部１６０が標識候補点群Ａｃと標識候補点群ｘｃとを比較して標識三次元点群を特定する。
道路標識位置計測装置１００は標識三次元点群が特定できるまでＳ１６０ｃ〜Ｓ１８１ｃを異なる撮像画像を用いて繰り返す。
【００８６】
つまり、道路標識位置計測装置１００は撮像画像Ａと撮像画像Ｂとが近接する地点で撮像され、視点の差が小さい場合であっても、撮像画像Ａとの視点の差が大きい他の撮像画像を利用して標識三次元点群を特定することができる。これにより、道路標識位置計測装置１００は標識三次元点群の誤検出を防ぐことができる。
【００８７】
実施の形態４．
実施の形態４では、各撮像画像に対して、三次元点群モデルについて点群画像投影処理（Ｓ１４０ｄ）〜点群グループ限定処理（Ｓ１５３ｄ）を実行する道路標識位置計測処理について説明する。
以下、実施の形態１と異なる事項について主に説明し、説明を省略する事項は実施の形態１と同様であるものとする。
【００８８】
図２４は、実施の形態４における道路標識位置計測処理を示すフローチャートである。
実施の形態４における道路標識位置計測処理について、図２４に基づいて以下に説明する。
点群画像投影処理（Ｓ１４０ｄ）において、点群画像投影部１４０は撮像画像Ａと撮像画像Ｂとに対して三次元点群モデルを投影する。
そして、標識投影点群抽出部１５１は標識投影点群Ａｓｐおよび標識投影点群Ｂｓｐを抽出し（Ｓ１５１ｄ）、標識点群ラベリング部１５２は標識投影点群Ａｓｐおよび標識投影点群Ｂｓｐをグループ分けし（Ｓ１５２ｄ）、標識点群ラベル限定部１５３は標識候補点群Ａｃおよび標識候補点群Ｂｃを特定する（Ｓ１５３ｄ）。
【００８９】
これにより、道路標識位置計測装置１００は点群画像投影処理（Ｓ１４０ｄ）〜点群グループ限定処理（Ｓ１５３ｄ）を撮像画像毎に並列に実行し、処理時間を短縮することができる。
【００９０】
道路標識位置計測装置１００は実施の形態２と同様に点群グループ限定処理（Ｓ１５３ｄ）を省略しても構わない。
また、道路標識位置計測装置１００は３つ以上の撮像画像について処理を行い、３つ以上の標識候補点群を比較して標識三次元点群を特定しても構わない。
【図面の簡単な説明】
【００９１】
【図１】実施の形態１における道路標識位置計測システム９００の機能構成図。
【図２】実施の形態１における道路標識位置計測装置１００のハードウェア資源の一例を示す図。
【図３】実施の形態１における計測車両２００のハードウェア資源の一例を示す図。
【図４】実施の形態１における計測車両２００の配置関係図。
【図５】実施の形態１におけるＬＲＦ２５０のレーザ計測方法を示す図。
【図６】実施の形態１における道路標識位置計測処理を示すフローチャート。
【図７】実施の形態１における前処理（Ｓ１００）を示すフローチャート。
【図８】実施の形態１における三次元点群モデル復元部１３０が生成する三次元点群モデルの一例を示す図。
【図９】実施の形態１における道路標識位置計測処理の概念図。
【図１０】実施の形態１における二次元の画像平面Ｉに対する三次元座標の点の投影を示す概念図。
【図１１】実施の形態１における投影画像Ａの一例を示す図。
【図１２】実施の形態１における標識投影点群Ａ［２次元］の一例を示す図。
【図１３】実施の形態１における標識投影点群Ａ［３次元］の一例を示す図。
【図１４】実施の形態１におけるボクセルモデルを示す図。
【図１５】実施の形態１におけるラベリング（グルーピング）を示す図。
【図１６】実施の形態１における点群グルーピング処理（Ｓ１５２）後の標識投影点群Ａ［３次元］の一例を示す図。
【図１７】実施の形態１における標識投影点群Ａ［３次元］がＥａｓｔ−Ｎｏｒｔｈ平面で存在する範囲の一例を示すグラフ。
【図１８】実施の形態１における標識投影点群Ａ［３次元］がＥａｓｔ−Ｕｐ平面で存在する範囲の一例を示すグラフ。
【図１９】実施の形態１における標識候補点群Ａ［３次元］の一例を示す図。
【図２０】実施の形態１における標識三次元点群の一例を示す図。
【図２１】実施の形態１における道路標識位置を示す図。
【図２２】実施の形態２における道路標識位置計測処理を示すフローチャート。
【図２３】実施の形態３における道路標識位置計測処理を示すフローチャート。
【図２４】実施の形態４における道路標識位置計測処理を示すフローチャート。
【符号の説明】
【００９２】
１００ 道路標識位置計測装置、１１０ 車両位置姿勢標定部、１２０ 道路標識画像認識部、１３０ 三次元点群モデル復元部、１４０ 点群画像投影部、１５０ グルーピング部、１５１ 標識投影点群抽出部、１５２ 標識点群ラベリング部、１５３ 標識点群ラベル限定部、１６０ 標識点群特定部、１７０ 標識位置計算部、１９１ 車両位置姿勢記憶部、１９２ 認識画像記憶部、１９３ 三次元点群モデル記憶部、１９４ 二次元投影点群記憶部、１９５ 標識候補点群記憶部、１９６ 標識三次元点群記憶部、２００ 計測車両、２０１ 天板、２０２ 車両本体、２１０ ＧＰＳ受信機、２２０ ３軸ジャイロ、２３０ オドメータ、２４０ カメラ、２５０ ＬＲＦ、２９１ 観測データ記憶部、２９２ 画像データ記憶部、２９３ 距離方位点群記憶部、９００ 道路標識位置計測システム、９０１ 表示装置、９０２ キーボード、９０３ マウス、９０４ ＦＤＤ、９０５ ＣＤＤ、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信ボード、９２０ 磁気ディスク装置、９２１ ＯＳ、９２３ プログラム群、９２４ ファイル群。
【技術分野】
【０００１】
本発明は、例えば、レーザレーダで計測したデータに基づいて生成された三次元点群モデルとカメラ画像とを用いて道路標識の位置を計測する対象特定装置、対象特定方法および対象特定プログラムに関するものである。
【背景技術】
【０００２】
近年、カーナビゲーションシステムなどに代表される、ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）とＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を組み合わせた製品が普及著しい。また、交通事故や交通渋滞などを解消するためにＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ）の開発が推進されている。また、各自治体では道路周辺（道路、道路上、道路脇など）の地物（道路標識、キロポスト、信号機、白線、ガードレール、電柱など）の情報を道路管理台帳として記録しており、この道路管理台帳の高度化・高精度化が望まれている。
これらの理由により、道路周辺の地物の位置情報を高精度に容易に取得することが重要となる。
【０００３】
しかしながら、道路周辺の地物の位置情報を高精度に容易に取得することは非常に困難なことである。
例えば、道路周辺の地物の位置情報を１／５００のスケールで記録した道路管理台帳の作成には、高い精度の測量が必要なため、ＧＰＳと距離・角度を計測するトータルステーションとを用いた静止測量が行われている。また、国道には往復３０ｋｍの区間に計測対象となる地物が約２０００も存在していることもある。そのため、全国の道路管理台帳の高度化・高精度化には莫大な費用と時間とを要する。
【０００４】
そこで、情報収集時間および費用の縮減を目的として道路を走行する車両から各種情報を取得するＭＭＳ（Ｍｏｂｉｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ）が注目され研究開発されている。
また、特許文献１では道路線形を測量する装置の一例を開示している。
【特許文献１】特開平１０−２６７６５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、例えば、ＭＭＳを用いて道路周辺の地物の高精度な位置情報を容易に取得できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の対象特定装置は、３次元座標を示す複数の３次元点データにより地物を３次元で表す３次元点群データを記憶機器を用いて記憶する点群データ記憶部と、異なる位置で撮像された２次元画像を表す第１の画像データと第２の画像データとを記憶機器を用いて記憶する画像データ記憶部と、前記画像データ記憶部に記憶された第１の画像データの表す２次元画像と前記画像データ記憶部に記憶された第２の画像データの表す２次元画像とから特定の対象物が撮像された対象撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する対象撮像範囲特定部と、前記点群データ記憶部に記憶された３次元点群データを前記画像データ記憶部に記憶された第１の画像データの表す２次元画像に対してＣＰＵを用いて投影する第１の点群画像投影部と、前記対象撮像範囲特定部が特定した第１の画像データの対象撮像範囲に対して前記第１の点群画像投影部が投影した３次元点群データをＣＰＵを用いて抽出する第１の対象投影点群抽出部と、前記第１の対象投影点群抽出部が抽出した３次元点群データを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする点群グルーピング部と、前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第２の画像データの表す２次元画像に対してＣＰＵを用いて投影する第２の点群画像投影部と、前記対象撮像範囲特定部が特定した第２の画像データの対象撮像範囲に対して前記第２の点群画像投影部が投影した各グループ点群データをＣＰＵを用いて抽出する第２の対象投影点群抽出部と、前記点群グルーピング部がグループ分けした各グループ点群データを前記第２の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データの中で３次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を３次元で表す対象点群データとしてＣＰＵを用いて特定する対象点群特定部とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、例えば、計測対象の地物を表す対象点群データを３次元点群データと画像データとを用いて特定することができる。そして、対象点群データに基づいて計測対象の地物の位置を高精度に算出することができる。また、３次元点群データと画像データとはＭＭＳで道路を走行することにより容易に取得できる。つまり、本発明によれば、道路周辺の地物の高精度な位置情報を容易に取得することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、実施の形態１における道路標識位置計測システム９００の機能構成図である。
図１に示すように、実施の形態１における道路標識位置計測システム９００は、道路を走行して道路周辺の画像データと道路周辺の地物を表す距離方位データとを取得する計測車両２００（ＭＭＳ）と、計測車両２００が取得した画像データと距離方位データとに基づいて道路標識の三次元座標を計測する道路標識位置計測装置１００とを有する。
実施の形態１の説明では道路標識の三次元座標を計測するが、道路標識位置計測装置１００はその他の道路周辺の地物（路面の白線、電柱、信号機、走行車両など）の三次元座標を道路標識と同様にして計測しても構わない。
【０００９】
計測車両２００（ＭＭＳ）は、ＧＰＳ受信機２１０、３軸ジャイロ２２０、オドメータ２３０、カメラ２４０およびＬＲＦ２５０（Ｌａｚｅｒ Ｒａｎｇｅ Ｆｉｎｄｅｒ）が屋根部分に設けられた天板２０１（基台）に固定して設置されている。
また、計測車両２００はＧＰＳ受信機２１０、３軸ジャイロ２２０、オドメータ２３０、カメラ２４０およびＬＲＦ２５０で取得されたデータを記憶機器を用いて記憶する観測データ記憶部２９１、画像データ記憶部２９２および距離方位点群記憶部２９３を備える。
【００１０】
ＧＰＳ受信機２１０は計測車両２００に３機備わり、各ＧＰＳ受信機２１０は複数のＧＰＳ衛星それぞれから発信された測位信号の搬送波を観測する。そして、各ＧＰＳ受信機２１０は、搬送波の観測情報に基づいて、各ＧＰＳ衛星と自ＧＰＳ受信機２１０との擬似距離、自ＧＰＳ受信機２１０のアンテナ位置を３次元座標で示す単独測位結果、搬送波の位相情報、測位信号が示す航法メッセージ（衛星軌道情報）などを観測データとして観測データ記憶部２９１に記憶する。
【００１１】
３軸ジャイロ２２０は計測車両２００の方位角［ヨー角］、仰角［ピッチ角］、回転角［ロール角］の角加速度（レートともいう）を計測し、各時刻における角加速度を角加速度データとして観測データ記憶部２９１に記憶する。
【００１２】
オドメータ２３０は計測車両２００の走行速度を計測し、各時刻における走行速度を車速データとして観測データ記憶部２９１に記憶する。
【００１３】
カメラ２４０は走行する計測車両２００の前方（走行方向）を異なる時刻に撮像し、撮像した各画像の画像データを画像データ記憶部２９２に記憶する。つまり、カメラ２４０は異なる地点で撮像した道路の画像データを画像データ記憶部２９２に記憶する。
以下、画像データ記憶部２９２には計測車両２００がＰ０地点を通過した際にカメラ２４０が撮像した道路の画像データ（以下、撮像画像Ａとする）と計測車両２００がＰ１地点を通過した際にカメラ２４０が撮像した道路の画像データ（以下、撮像画像Ｂとする）とが記憶されているものとする。また、撮像画像Ａと撮像画像Ｂとには同一の道路標識が写っているものとする。実施の形態１において道路標識位置計測装置１００は撮像画像Ａおよび撮像画像Ｂに写っている道路標識について三次元座標を計測する。
【００１４】
ＬＲＦ２５０は、走行する計測車両２００の側方にレーザを照射し、地物に反射して戻ってきたレーザを観測し、レーザを観測した各観測点での観測値に基づいて当該地物が位置するＬＲＦ２５０に対する相対距離および相対方位を示す複数の点データ（点群データ）を生成するレーザレーダである。ＬＲＦ２５０は生成した点群データを地物を表す距離方位点群データとして距離方位点群記憶部２９３に記憶する。
以下、距離方位点群記憶部２９３に記憶された距離方位点群データには、撮像画像Ａおよび撮像画像Ｂに写っている道路標識を表す点群データも含まれているものとする。実施の形態１において道路標識位置計測装置１００は距離方位点群データが表す道路標識について三次元座標を計測する。
【００１５】
道路標識位置計測装置１００（対象特定装置）は、車両位置姿勢標定部１１０、道路標識画像認識部１２０、三次元点群モデル復元部１３０、点群画像投影部１４０、グルーピング部１５０、標識点群特定部１６０および標識位置計算部１７０を備える。
また、道路標識位置計測装置１００は、各データを記憶機器を用いて記憶する車両位置姿勢記憶部１９１、認識画像記憶部１９２、三次元点群モデル記憶部１９３、二次元投影点群記憶部１９４および標識候補点群記憶部１９５を備える。また、道路標識位置計測装置１００は計測車両２００の観測データ記憶部２９１、画像データ記憶部２９２および距離方位点群記憶部２９３から記憶された各データを入力し、入力した各データを記憶機器を用いて記憶する。つまり、道路標識位置計測装置１００は観測データ記憶部２９１、画像データ記憶部２９２および距離方位点群記憶部２９３に相当する記憶部（図示省略）を備えるものとする。
【００１６】
車両位置姿勢標定部１１０は観測データ記憶部２９１に記憶されたＧＰＳ受信機２１０の観測データ、３軸ジャイロ２２０の角加速度データおよびオドメータ２３０の車速データに基づいて各時刻における計測車両２００の三次元座標および姿勢角（ロール、ピッチ、ヨー）を標定する。
車両位置姿勢標定部１１０は計測車両２００の三次元座標および姿勢角を車両位置・姿勢データとして車両位置姿勢記憶部１９１に記憶する。
【００１７】
道路標識画像認識部１２０（対象撮像範囲特定部）は画像データ記憶部２９２に記憶された撮像画像Ａ（第１の画像データ）の表す２次元画像と撮像画像Ｂ（第２の画像データ）の表す２次元画像とから道路標識（特定の対象物）が撮像された標識撮像範囲Ａａ・Ｂａ（対象撮像範囲、ウィンドウ）をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する。
道路標識画像認識部１２０は標識撮像範囲Ａａ、標識撮像範囲Ｂａを示す認識画像Ａｒ、認識画像Ｂｒを認識画像記憶部１９２に記憶する。
【００１８】
三次元点群モデル復元部１３０は、距離方位点群記憶部２９３に記憶された距離方位点群データに基づいて、３次元座標を示す複数の３次元点データにより道路周辺の地物を３次元で表す３次元点群データ（以下、三次元点群モデルとする）を生成する。
三次元点群モデル復元部１３０は三次元点群モデルを三次元点群モデル記憶部１９３（点群データ記憶部）に記憶する。
【００１９】
点群画像投影部１４０（第１の点群画像投影部）は三次元点群モデルを撮像画像Ａの表す２次元画像に対してＣＰＵを用いて投影する。
以下、撮像画像Ａの表す２次元画像に対して投影された点群データを画像投影点群Ａｉｐとする。
さらに、点群画像投影部１４０（第２の点群画像投影部）は標識点群ラベル限定部１５３が画像投影点群Ａｉｐから特定した各グループ点群データ（以下、標識候補点群Ａｃとする）を撮像画像Ｂの表す２次元画像に対してＣＰＵを用いて投影する。
以下、撮像画像Ｂの表す２次元画像に対して投影された点群データを画像投影点群Ｂｉｐとする。
点群画像投影部１４０は画像投影点群Ａｉｐ、画像投影点群Ｂｉｐを二次元投影点群記憶部１９４に記憶する。
【００２０】
グルーピング部１５０は標識投影点群抽出部１５１、標識点群ラベリング部１５２および標識点群ラベル限定部１５３を備え、標識撮像範囲Ａａに投影された点群データ（以下、標識投影点群Ａｓｐとする）を抽出し、標識投影点群Ａｓｐを異なる地物を表すグループ点群にグループ分けし、道路標識と同程度の大きさを示すグループ点群（標識候補点群Ａｃ）を特定する。
また、グルーピング部１５０は標識撮像範囲Ｂａに投影された点群データ（以下、標識投影点群Ｂｓｐとする）について標識候補点群Ｂｃを特定する。
グルーピング部１５０は標識候補点群Ａｃ、標識候補点群Ｂｃを標識候補点群記憶部１９５に記憶する。
【００２１】
標識投影点群抽出部１５１（第１の対象投影点群抽出部）は標識撮像範囲Ａａに投影された画像投影点群ＡｉｐをＣＰＵを用いて抽出する。
また、標識投影点群抽出部１５１（第２の対象投影点群抽出部）は標識撮像範囲Ｂａに投影された画像投影点群ＢｉｐをＣＰＵを用いて抽出する。
以下、標識撮像範囲Ａａに投影された点群データを標識投影点群Ａｓｐ、標識撮像範囲Ｂａに投影された点群データを標識投影点群Ｂｓｐとする。
【００２２】
標識点群ラベリング部１５２（点群グルーピング部）は標識投影点群Ａｓｐを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする。
特に、標識点群ラベリング部１５２は、複数の３次元領域（以下、ボクセルとする）に分割した３次元空間（以下、ボクセル空間とする）を設定し、標識投影点群Ａｓｐを各３次元点データの示す３次元座標に基づいてボクセル空間に投票し、隣接する各ボクセルに投票された各３次元点データを１つのグループ点群データとする。
【００２３】
標識点群ラベル限定部１５３（点群グループ限定部）は複数のグループ点群データのそれぞれが表す地物（グループ体）のサイズを各３次元点データの示す３次元座標に基づいてＣＰＵを用いて特定し、特定した地物のサイズを道路標識のサイズとＣＰＵを用いて比較し、地物のサイズが道路標識のサイズに対応する各グループ点群データ（標識候補点群Ａｃ）をＣＰＵを用いて特定する。
【００２４】
標識点群特定部１６０（対象点群特定部）は標識候補点群Ａｃを構成する各グループ点群データを標識投影点群Ｂｓｐを構成する当該グループ点群データと比較し、標識候補点群Ａｃを構成する各グループ点群データの中で標識投影点群Ｂｓｐにおいて３次元点データの残存率が最も大きいグループ点群データを道路標識を３次元で表す標識三次元点群（対象点群データ）としてＣＰＵを用いて特定する。
標識点群特定部１６０は標識三次元点群を標識三次元点群記憶部１９６に記憶する。
【００２５】
標識位置計算部１７０（対象位置算出部）は標識三次元点群を構成する各３次元点データの示す３次元座標に基づいて道路標識の中心を示す３次元座標を道路標識の位置としてＣＰＵを用いて算出する。
【００２６】
図２は、実施の形態１における道路標識位置計測装置１００のハードウェア資源の一例を示す図である。
図３は、実施の形態１における計測車両２００のハードウェア資源の一例を示す図である。
図２、図３において、道路標識位置計測装置１００および計測車両２００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりにその他の記憶装置（例えば、ＲＡＭやフラッシュメモリなどの半導体メモリ）を用いてもよい。
さらに、道路標識位置計測装置１００はＣＲＴ（Ｃａｔｈｏｄｅ・Ｒａｙ・Ｔｕｂｅ）やＬＣＤ（液晶）の表示画面を有する表示装置９０１、キーボード９０２（Ｋｅｙ・Ｂｏａｒｄ：Ｋ／Ｂ）、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、ＣＤＤ９０５（コンパクトディスク装置）も備え、ＣＰＵ９１１はこれらハードウェアデバイスも制御する。
また、計測車両２００は、さらに、カメラ２４０、ＧＰＳ受信機２１０、３軸ジャイロ２２０、オドメータ２３０、ＬＲＦ２５０も備え、ＣＰＵ９１１はこれらハードウェアデバイスも制御する。
【００２７】
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶機器、記憶装置あるいは記憶部の一例である。また、入力データが記憶されている記憶機器は入力機器、入力装置あるいは入力部の一例であり、出力データが記憶される記憶機器は出力機器、出力装置あるいは出力部の一例である。
通信ボード９１５、キーボード９０２、マウス９０３、ＦＤＤ９０４、ＣＤＤ９０５は、入力機器、入力装置あるいは入力部の一例である。
また、通信ボード９１５、表示装置９０１、ＦＤＤ９０４、ＣＤＤ９０５は、出力機器、出力装置あるいは出力部の一例である。
【００２８】
通信ボード９１５は、有線または無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）、電話回線などの通信網に接続されている。
【００２９】
磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、ＯＳ９２１により実行される。
【００３０】
上記プログラム群９２３には、実施の形態において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
【００３１】
ファイル群９２４には、実施の形態において、「〜部」の機能を実行した際の「〜の判定結果」、「〜の計算結果」、「〜の処理結果」などの結果データ、「〜部」の機能を実行するプログラム間で受け渡しするデータ、その他の情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。撮像画像、観測データ、距離方位点群、車両位置・姿勢、認識画像、三次元点群モデル、画像投影点群、標識候補点群、標識三次元点群、道路標識位置などのデータはファイル群９２４に含まれるものの一例である。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、実施の形態において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、磁気ディスク装置９２０の磁気ディスク、その他の記録媒体に記録される。また、データや信号値は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００３２】
また、実施の形態において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスクやその他の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、対象特定プログラムは、「〜部」としてコンピュータを機能させるものである。あるいは、「〜部」の手順や方法をコンピュータに実行させるものである。
【００３３】
図４は、実施の形態１における計測車両２００の配置関係図である。
図５は、実施の形態１におけるＬＲＦ２５０のレーザ計測方法を示す図である。
実施の形態１におけるＬＲＦ２５０のレーザ計測方法について図４および図５に基づいて説明する。
図４に示すように、計測車両２００は車両本体２０２の屋根に天板２０１が固定して設置され、天板２０１には３台のＧＰＳ受信機２１０（２１０ａ〜２１０ｂ）、カメラ２４０、３軸ジャイロ２２０およびＬＲＦ２５０が固定して設置されている。
３軸ジャイロ２２０の設置点Ｏの座標および３軸ジャイロ２２０の設置点での姿勢角を計測車両２００の位置および姿勢角とする。
【００３４】
以下、３軸ジャイロ２２０の設置点Ｏを原点Ｏ（０，０，０）とする極座標系ｘｙｚを車両座標系とする。車両座標系で表された座標および姿勢角は計測車両２００に対する相対座標および相対姿勢角を示す。
ｚ軸は計測車両２００の進行方向（長手方向、奥行き方向、縦方向）を示し、ｘ軸は計測車両２００の幅方向（横方向）を示し、ｙ軸は計測車両２００の高さ方向（垂直方向）を示し、ｚ軸回りの角度Φは回転角（ロール角）を示し、ｘ軸回りの角度θは仰角（ピッチ角）を示し、ｙ軸回りの角度ψは方位角（ヨー角）を示す。
また、車両座標系におけるカメラ２４０の座標、姿勢角を（Δｘｃａｍ，Δｙｃａｍ，Δｚｃａｍ）、（Φｃａｍ，θｃａｍ，ψｃａｍ）とする。以下、（Δｘｃａｍ，Δｙｃａｍ，Δｚｃａｍ）、（Φｃａｍ，θｃａｍ，ψｃａｍ）をカメラ取付オフセットという。
また、車両座標系におけるＬＲＦ２５０の座標、姿勢角を（Δｘｌｒｆ，Δｙｌｒｆ，Δｚｌｒｆ）、（Φｌｒｆ，θｌｒｆ，ψｌｒｆ）とする。以下、（Δｘｌｒｆ，Δｙｌｒｆ，Δｚｌｒｆ）、（Φｌｒｆ，θｌｒｆ，ψｌｒｆ）をＬＲＦ取付オフセットという。
また、同様に、各ＧＰＳ受信機２１０の車両座標系における座標、姿勢角を受信機取付オフセットとする。
また、カメラ２４０の位置を原点としてカメラ２４０に対する相対座標および相対姿勢角を表す極座標系をカメラ座標系とし、ＬＲＦ２５０の位置を原点としてＬＲＦ２５０に対する相対座標および相対姿勢角を表す極座標系をＬＲＦ座標系とし、各ＧＰＳ受信機２１０の位置を原点として各ＧＰＳ受信機２１０に対する相対座標および相対姿勢角を表す極座標系を受信機座標系とする。
【００３５】
計測車両２００は走行中、継続して各ＧＰＳ受信機２１０によりＧＰＳ衛星からの搬送波を観測し、カメラ２４０により前方の道路周辺を撮像し、ＬＲＦ２５０により左側方の地物に対してレーザ計測する。
【００３６】
図５において、ＬＲＦ２５０は上下方向（ｙ軸方向）に機首を１°単位で１８０°振りながらレーザを照射し、地物に反射したレーザを観測して地物までの距離と方位とを計測し、これを繰り返す。
例えば、ＬＲＦ２５０は、ａ地点において走査ラインＳａの各点について地物までの距離と方位（方向）とを示す距離方位点群データを取得し、計測車両２００が進行したｂ地点において走査ラインＳｂの各点について距離方位点群データを取得する。そして、ＬＲＦ２５０は、計測車両２００の走行中、このレーザ計測を繰り返すことにより、計測車両２００が走行した道路の左方に位置する各地物について距離方位点群データを取得する。また、計測車両２００は、道路を往復して、道路の左右両側に位置する各地物について距離方位点群データを取得する。なお、ＬＲＦ２５０がレーザ計測する際に計測車両２００がａ地点、ｂ地点、・・・と各点で停車するのではなく、計測車両２００が連続走行しながらＬＲＦ２５０がレーザ計測を連続して行う。
例えば、距離方位点群データの示す各点の間隔が１０〜１４センチメートル程度になるような速さで、ＬＲＦ２５０は機首を上下動しながらレーザの照射・観測を行う。または、計測車両２００の走行速度を調整する。
【００３７】
図６は、実施の形態１における道路標識位置計測処理を示すフローチャートである。
図７は、実施の形態１における前処理（Ｓ１００）を示すフローチャートである。
実施の形態１における道路標識位置計測装置１００が実行する道路標識位置計測処理（対象特定方法）について、図６および図７に基づいて以下に説明する。
道路標識位置計測装置１００を構成する各部は、以下に説明する各処理をＣＰＵ９１１を用いて実行する。
【００３８】
＜Ｓ１００：前処理＞
まず、道路標識位置計測装置１００は計測車両２００から異なる地点で撮像された撮像画像Ａおよび撮像画像Ｂに対して道路標識が写っている範囲を特定した認識画像Ａｒおよび認識画像Ｂｒを認識画像記憶部１９２に記憶する。
また、道路標識位置計測装置１００は計測車両２００で計測された距離方位点群データに基づいて生成した三次元点群モデルを三次元点群モデル記憶部１９３に記憶する。
ここで、前処理（Ｓ１００）の詳細を図７に基づいて説明する。
【００３９】
＜Ｓ１１０＞
まず、車両位置姿勢標定部１１０は各時刻における計測車両２００の位置および姿勢角を特定の座標系で標定する。例えば、車両位置姿勢標定部１１０は座標を緯度、経度および高度で表す緯度経度座標系で計測車両２００の位置および姿勢角を標定する。また例えば、車両位置姿勢標定部１１０は、計測車両２００の走行開始地点を原点として、座標を東方向、北方向および上方向（垂直方向）で表すＥＮＵ（Ｅａｓｔ Ｎｏｒｔｈ Ｕｐ）座標系で計測車両２００の位置および姿勢角を標定する。
【００４０】
このとき、車両位置姿勢標定部１１０は観測データ記憶部２９１から各時刻における観測データ、角加速度データおよび車速データを入力し、入力した各データに基づいて各時刻における計測車両２００の位置および姿勢角（ロール角、ピッチ角、ヨー角）を標定する。車両位置姿勢標定部１１０は標定した各時刻における計測車両２００の位置および姿勢角を車両位置・姿勢データとして車両位置姿勢記憶部１９１に記憶する。
ここで、観測データには単独測位結果、擬似距離、搬送波位相、衛星軌道情報などが含まれている。
【００４１】
例えば、車両位置姿勢標定部１１０は、ＧＰＳ受信機２１０の単独測位結果を受信機取付オフセット分補正して、計測車両２００の三次元座標を標定する。
また例えば、車両位置姿勢標定部１１０は、３軸ジャイロ２２０の角加速度データおよびオドメータ２３０の車速データを積分した変化量を前回の標定値に加算して行うデッドレコニングにより、計測車両２００の三次元座標および姿勢角を標定する。
また例えば、車両位置姿勢標定部１１０はデッドレコニングの結果に含まれる誤差をカルマンフィルタ処理で推定し、推定誤差を用いてデッドレコニングの結果を補正して計測車両２００の三次元座標および姿勢角を標定する。カルマンフィルタ処理とは、状態量のダイナミクスをモデル化した状態方程式と、観測量と状態量との関係を定式化した観測方程式との両方程式に基づいて状態量の誤差を推定する処理である。カルマンフィルタ処理において、車両位置姿勢標定部１１０は擬似距離の観測残差や搬送波位相の観測残差を観測量とし、デッドレコニングによる標定結果を状態量とする。例えば、車両位置姿勢標定部１１０はデッドレコニングにより算出したＧＰＳ受信機２１０の位置と衛星軌道情報が示すＧＰＳ衛星の位置とによりＧＰＳ受信機２１０とＧＰＳ衛星との距離を算出し、算出した距離と観測データが示す擬似距離との差を観測残差とする。また例えば、車両位置姿勢標定部１１０はデッドレコニングにより算出したＧＰＳ受信機２１０の位置と衛星軌道情報が示すＧＰＳ衛星の位置とによりＧＰＳ受信機２１０から見たＧＰＳ衛星の位置する方向を示すＬＯＳ（Ｌｉｎｅ Ｏｆ Ｓｉｇｈｔ）ベクトルを算出し、受信機取付オフセットに基づいてＧＰＳ受信機２１０間の距離および方向を示す基線ベクトルを算出し、ＬＯＳベクトルと基線ベクトルとに基づいて搬送波位相を算出し、算出した搬送波位相と観測データが示す搬送波位相との差を観測残差とする。
【００４２】
＜Ｓ１２０：対象撮像範囲特定処理＞
次に、道路標識画像認識部１２０は撮像画像Ａおよび撮像画像Ｂから同一の道路標識が写っている標識撮像範囲Ａａおよび標識撮像範囲Ｂａを特定する。
このとき、道路標識画像認識部１２０は画像データ記憶部２９２から撮像画像Ａおよび撮像画像Ｂを入力し、撮像画像Ａおよび撮像画像Ｂに対して同一の道路標識を認識する任意の画像認識処理を行う。そして、道路標識画像認識部１２０は、画像認識処理結果に基づいて、撮像画像Ａに対して当該道路標識が写っている標識撮像範囲Ａａを特定し、撮像画像Ｂに対して当該道路標識が写っている標識撮像範囲Ｂａを特定する。例えば、道路標識画像認識部１２０は予め記憶機器に記憶された各道路標識の特徴情報（形状、色、模様など）とのパターンマッチングにより撮像画像から標識撮像範囲を特定する。または、道路標識画像認識部１２０は画像データ記憶部２９２から複数の撮像画像を入力し、各撮像画像に対して画像認識処理を行い、標識撮像範囲を特定できた２枚の撮像画像を撮像画像Ａおよび撮像画像Ｂとして選択する。
また、道路標識画像認識部１２０は車両位置姿勢記憶部１９１から撮像画像Ａを撮像時の計測車両２００の位置および姿勢角と撮像画像Ｂを撮像時の計測車両２００の位置および姿勢角とを取得する。
次に、道路標識画像認識部１２０は、計測車両２００の位置および姿勢角とカメラ取付オフセットとに基づいて、撮像画像Ａを撮像時のカメラ２４０の位置および姿勢角と撮像画像Ｂを撮像時のカメラ２４０の位置および姿勢角とを特定の座標系で算出する。カメラ取付オフセットは予め記憶機器に記憶されているものとする。
そして、道路標識画像認識部１２０は撮像画像Ａ、標識撮像範囲Ａａおよび撮像画像Ａを撮像時のカメラ２４０の位置・姿勢角を示す認識画像Ａｒと、撮像画像Ｂ、標識撮像範囲Ｂａおよび撮像画像Ｂを撮像時のカメラ２４０の位置・姿勢角を示す認識画像Ｂｒとを認識画像記憶部１９２に記憶する。
以下、標識撮像範囲は、四角形で表され、撮像画像の左上を原点として撮像画像のピクセル（画素）を単位とする画像座標系において、四角形を表す対角線上の２つの座標値を示すものとする。例えば、この画像座標系は、撮像画像が横１６００ピクセル×縦１２００ピクセルであれば、画像左上の座標が（０，０）、画像右上の座標が（１５９９，０）、画像左下の座標が（０，１１９９）、画像右下の座標が（１５９９，１１９９）となる。
【００４３】
＜Ｓ１３０＞
そして、三次元点群モデル復元部１３０は三次元座標を示す複数の三次元点データにより道路周辺の地物を三次元で表す三次元点群モデルを生成する。
このとき、三次元点群モデル復元部１３０は距離方位点群記憶部２９３から距離方位点群データを入力する。
次に、三次元点群モデル復元部１３０は、距離方位点群データの各点が示すＬＲＦ２５０に対する相対距離および相対方位（方向）に基づいて、距離方位点群データの各点についてＬＲＦ座標系における三次元座標を算出する。
次に、三次元点群モデル復元部１３０は車両位置姿勢記憶部１９１から各時刻における計測車両２００の位置および姿勢角を取得する。
そして、三次元点群モデル復元部１３０は、計測車両２００の位置および姿勢角とＬＲＦ取付オフセットとに基づいて、ＬＲＦ座標系における各点の三次元座標を三次元アフィン変換して三次元点群モデルを生成する。ＬＲＦ取付オフセットは予め記憶機器に記憶されているものとする。
三次元点群モデルの各点は特定の座標系（例えば、ＥＮＵ座標系および車両座標系）で表される。
三次元点群モデル復元部１３０は生成した三次元点群モデルを三次元点群モデル記憶部１９３に記憶する。
【００４４】
ここで、三次元アフィン変換について説明する。以下の各式で用いている各記号は図４に示す記号に対応している。
【００４５】
まず、距離方位点群データから得られたＬＲＦ座標系における各点の三次元座標（ｘ０，ｙ０，ｚ０）は、計測車両２００に対するＬＲＦ２５０の相対位置（Δｘｌｒｆ，Δｙｌｒｆ，Δｚｌｒｆ）および相対姿勢（Φｌｒｆ，θｌｒｆ，ψｌｒｆ）（ＬＲＦ取付オフセット）を用いた以下の式１、式２によって、車両座標系の三次元座標（ｘ２，ｙ２，ｚ２）に変換される。
【００４６】
【数１】
【００４７】
そして、車両座標系における各点の三次元座標（ｘ２，ｙ２，ｚ２）は、ＥＮＵ座標系における計測車両２００の座標（Ｅｖ，Ｎｖ，Ｕｖ）および姿勢角（Φｖ，θｖ，ψｖ）を用いた以下の式３、式４によって、ＥＮＵ座標系の三次元座標（Ｅｌｒｆ，Ｎｌｒｆ,Ｕｌｒｆ）に変換される。
【００４８】
【数２】
【００４９】
図８は、実施の形態１における三次元点群モデル復元部１３０が生成する三次元点群モデルの一例を示す図である。
三次元点群モデル復元部１３０が生成した三次元点群モデルは表示装置９０１により図８に示すような三次元画像として表示される。図８では、車道（計測車両２００の進行方向）と平行して道路脇に道路標識、電柱、木が順に並んでいることを示している。
【００５０】
なお、三次元点群モデル復元部１３０はＬＲＦ２５０からの水平距離が所定値以下である点のみについて三次元点群モデルを生成するものとする。例えば、図８は、塀の向こうに存在する地物が三次元点群モデルに含まれていないことを示している。
【００５１】
次に、図６に戻り、前処理（Ｓ１００）後の道路標識位置計測処理について説明する。
実施の形態１における道路標識位置計測装置１００は、三次元点群モデルを構成する複数の点のうち、どの点群が道路標識を表しているかを特定するために、撮像画像上で認識した道路標識に対応する点群を特定する。
そこで、前処理（Ｓ１００）後、道路標識位置計測装置１００は三次元点群モデルを構成する各点を撮像画像Ａおよび撮像画像Ｂに投影し（Ｓ１４０、Ｓ１６０）、投影した各点のうち道路標識が写っている標識撮像範囲Ａａ、標識撮像範囲Ｂａに位置する各点を抽出し（Ｓ１５１、Ｓ１７１）、抽出した各点をグルーピングし（Ｓ１５２）、各グループ点群のうち標識撮像範囲Ａａと標識撮像範囲Ｂａとで共通するグループ点群を道路標識を表すグループ点群として特定する（Ｓ１８０）。そして、道路標識位置計測装置１００は特定した道路標識を表すグループ点群を構成する各点が示す三次元座標に基づいて当該道路標識の三次元座標を算出する（Ｓ１９０）。
【００５２】
図９は、実施の形態１における道路標識位置計測処理の概念図である。
ここで、車道（計測車両２００の進行方向）と平行して道路標識、木および電柱が並ぶ三次元点群モデルを点Ｐ０で撮像された二次元の撮像画像Ａ（画像平面Ｉ０）に投影した場合、標識撮像範囲Ａａにはカメラ２４０のＬＯＳ（視線方向）に位置する道路標識、木および電柱のそれぞれを表す各グループ点群が重畳して投影される。しかし、同一の三次元点群モデルを点Ｐ１で撮像された二次元の撮像画像Ｂ（画像平面Ｉ１）に投影した場合、同一の道路標識に対する点Ｐ１からのＬＯＳは点Ｐ０からのＬＯＳと異なるため、標識撮像範囲Ｂａには道路標識を表す点群グループと木の一部を表す点群グループのみが投影される。このため、道路標識位置計測装置１００は視点が異なる標識撮像範囲Ａａと標識撮像範囲Ｂａとに共通して投影されたグループ点群を道路標識を表すグループ点群として特定することができる。
【００５３】
図６に従い、以下に、Ｓ１４０〜Ｓ１９０の各処理の詳細について説明する。
【００５４】
＜Ｓ１４０：点群画像投影処理Ａ＞
まず、点群画像投影部１４０は三次元点群モデルを撮像画像Ａに投影する。
このとき、点群画像投影部１４０は認識画像記憶部１９２から認識画像Ａを取得し、三次元点群モデル記憶部１９３から三次元点群モデルを取得する。ここで、認識画像Ａは、前述の通り、撮像画像Ａ、標識撮像範囲Ａａおよび撮像画像Ａを撮像時のカメラ２４０の位置・姿勢角を示す。
そして、以下のようにして、三次元点群モデルを構成する各点を撮像画像Ａに投影し、各点について三次元点群モデルが示す三次元座標と撮像画像Ａに投影後の二次元座標とを示す画像投影点群Ａｉｐを二次元投影点群記憶部１９４に記憶する。以下、三次元点群モデルを投影後の画像を投影画像とする。また、画像投影点群の二次元座標は、前述の標識撮像範囲と同様、撮像画像の左上を原点とし、撮像画像のピクセル（画素）を単位とする座標値を示すものとする。
【００５５】
図１０は、実施の形態１における二次元の画像平面Ｉに対する三次元座標の点の投影を示す概念図である。
以下の各式で用いている各記号は図４、図１０に示す記号に対応している。
【００５６】
まず、三次元点群モデルの点Ｄが示す車両座標系の座標（ｘｌｒｆ，ｙｌｒｆ，ｚｌｒｆ）は、車両座標系におけるカメラ２４０の座標（Δｘｃａｍ，Δｙｃａｍ，Δｚｃａｍ）および姿勢角（Φｃａｍ，θｃａｍ，ψｃａｍ）を用いた以下の式５、式６によって、カメラ座標系の座標（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）に変換される。
【００５７】
【数３】
【００５８】
そして、カメラ座標系における点Ｄの座標（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）とカメラ中心Ｃ（ｘｃａｍ０，ｙｃａｍ０，ｚｃａｍ０）とを結ぶ直線Ｌは以下の式７、式８、式９および式１０で表わされる。カメラ中心Ｃはカメラ２４０の撮像素子の中心またはカメラ座標の原点を示す。
【００５９】
【数４】
【００６０】
また、画像平面Ｉはカメラ２４０を理想的なピンホールカメラと仮定すると焦点距離ｆを用いて以下の式１１で表される。焦点距離ｆはカメラ中心Ｃと画像平面Ｉの中心Ｃ’との距離を示す。
ｚ＝ｆ ・・・（式１１）
【００６１】
点群画像投影部１４０は、上記式７〜式１１を用いて、画像平面Ｉと直線Ｌとの交点Ｄ’の座標を算出する。この交点Ｄ’の座標が撮像画像に投影した三次元点群モデルの点Ｄの二次元座標である。
【００６２】
図１１は、実施の形態１における投影画像Ａの一例を示す図である。
例えば、点群画像投影部１４０は三次元点群モデルを撮像画像Ａに投影して図１１に示すような投影画像Ａｐを生成する。図１１では、上記の点群画像投影処理Ａ（Ｓ１４０）により、三次元点群モデルを投影した画像投影点群Ａｉｐを構成する各点が撮像画像Ａに写っている各地物に対応していることを示している。例えば、図１１において、左側の画像のα部分を拡大した右側の画像は、電柱の伸張方向に沿って点群が投影されていることを示している。
【００６３】
＜Ｓ１５１：対象投影点群抽出処理Ａ＞
図６において、標識投影点群抽出部１５１は撮像画像Ａに対して標識撮像範囲Ａａに投影された標識投影点群Ａｓｐを抽出する。
このとき、標識投影点群抽出部１５１は認識画像記憶部１９２から認識画像Ａｒを取得し、二次元投影点群記憶部１９４から画像投影点群Ａｉｐを取得する。ここで、撮像画像Ａ、標識撮像範囲Ａａおよび撮像画像Ａを撮像時のカメラ２４０の位置・姿勢角を示し、画像投影点群Ａｉｐは各点について三次元座標と撮像画像Ａ上の二次元座標とを示す。
そして、標識投影点群抽出部１５１は、標識撮像範囲Ａａと撮像画像Ａ上の二次元座標とに基づいて、画像投影点群Ａｉｐから標識撮像範囲Ａａ内に位置する点群を抽出し、抽出した点群を標識投影点群Ａｓｐとする。標識投影点群Ａｓｐは標識撮像範囲Ａａ内に位置する各点について三次元座標と撮像画像Ａ上の二次元座標とを示す。
【００６４】
図１２は、実施の形態１における標識投影点群Ａｓｐ［２次元］の一例を示す図である。
図１３は、実施の形態１における標識投影点群Ａｓｐ［３次元］の一例を示す図である。
例えば、標識投影点群抽出部１５１は、図１２に示すように、認識画像Ａｒが示す標識撮像範囲Ａａ内に投影された標識投影点群Ａｓｐを抽出する。図１２では、左側に認識画像Ａｒの全体を示し、中央に拡大した標識撮像範囲Ａａを示している。なお、図１２の標識撮像範囲Ａａには、右図に示すように、横断歩道の標識、標識の背後に位置する電柱および木が写っている。
つまり、標識投影点群Ａｓｐは、図１３に示すように、道路標識を表す点群と電柱を表す点群と木を表す点群とを含んでいる。
【００６５】
＜Ｓ１５２：点群グルーピング処理＞
図６において、標識点群ラベリング部１５２は標識投影点群Ａｓｐをグループ毎にラベリングする。
例えば、図１３に示した標識投影点群Ａｓｐに対して、標識点群ラベリング部１５２は、以下のようにして、道路標識を表す点群と電柱を表す点群と木を表す点群とにグループ分けし、各グループ点群にラベルを設定する。
図１４は、実施の形態１におけるボクセルモデルを示す図である。
図１５は、実施の形態１におけるラベリング（グルーピング）を示す図である。
以下に、点群グルーピング処理（Ｓ１５２）の詳細について図１４および図１５に基づいて説明する。
【００６６】
まず、標識点群ラベリング部１５２はボクセル空間を設定する（Ｓ１５２ａ［図１４左図参照］）。
ボクセル空間とは三次元空間を立方体（ボクセル）を単位とする立方格子状に分割したものである。例えば、標識点群ラベリング部１５２は標識投影点群Ａｓｐを構成する各点の三次元座標について座標成分ｘ、ｙおよびｚそれぞれの最小値を検索し、最小値が示す座標を原点として一辺が２０センチメートルのボクセルを分割単位とするボクセル空間を設定する。但し、標識点群ラベリング部１５２は直方体や三角錐など他の立体形により三次元空間を分割してもよい。
次に、標識点群ラベリング部１５２は標識投影点群Ａｓｐを構成する各点を三次元座標に基づいて該当するボクセルに投票する。このとき、標識点群ラベリング部１５２は、標識投影点群Ａｓｐを構成する各点の三次元座標と各ボクセルが形成する三次元空間の座標とに基づいて、各ボクセル内に位置する標識投影点群Ａｓｐの点を特定する。以下、標識投影点群Ａｓｐを構成する各点が位置するボクセルを特定し、標識投影点群Ａｓｐの点とボクセルとを対応付けることを投票という（Ｓ１５２ｂ［図１４中央図参照］）。
次に、標識点群ラベリング部１５２は標識投影点群Ａｓｐのいずれかの点が投票されたボクセルをボクセルモデルとして抽出する（Ｓ１５２ｃ［図１４右図参照］）。
次に、標識点群ラベリング部１５２はボクセルモデルに対して隣接するボクセルを一つのグループとしてグループ分けし、各グループに対して当該グループを構成する各ボクセルに投票されたグループ点群にラベルを設定する（Ｓ１５２ｄ［図１５右図参照］）。
【００６７】
例えば、標識点群ラベリング部１５２は周囲２６方向において隣接するボクセルを連結してグループ分けを行い、各グループにラベルを設定する。つまり、ある一つのボクセルは自身を中心とした３×３×３のキューブ内に位置する他のボクセルと同じグループに属する。
【００６８】
図１５では、ボクセルモデルがグループ１、グループ２、グループ３およびグループ４の４つのグループにグループ分けされていることを示す。グループ１のボクセルに投票されたグループ点群はラベル１で識別され、グループ２のボクセルに投票されたグループ点群はラベル２で識別され、グループ３のボクセルに投票されたグループ点群はラベル３で識別され、グループ４のボクセルに投票されたグループ点群はラベル４で識別される。
【００６９】
Ｓ１５２ａにおいて設定されたボクセルのサイズが大きすぎる場合、道路標識を表す点群とその他の地物を表す点群とが同一のボクセルまたは隣接するボクセルに投票され、道路標識を表す点群とその他の地物を表す点群とにグループ分けすることができない。また、ボクセルのサイズが小さすぎる場合、同一の道路標識を表す各点が同一のボクセルにも隣接するボクセルにも投票されずにそれぞれ離れたボクセルに投票され、道路標識を表す各点を一つのグループ点群にすることができない。そこで、標識点群ラベリング部１５２はＬＲＦ２５０が計測する各点の間隔や計測対象とする道路標識の大きさなどに応じてボクセルのサイズを設定する。例えば、標識点群ラベリング部１５２はＬＲＦ２５０が計測する各点の間隔（例えば、１０〜１４センチメートル）の１．５倍以上２．０倍以下程度を一辺の長さとしてボクセルを設定する。また例えば、標識点群ラベリング部１５２は計測対象とする道路標識の一辺の長さ（例えば、４０〜１８０センチメートル）の０．１倍以上０．５倍以下程度を一辺の長さとしてボクセルを設定する。
【００７０】
図１６は、実施の形態１における点群グルーピング処理（Ｓ１５２）後の標識投影点群Ａｓｐ［３次元］の一例を示す図である。
標識点群ラベリング部１５２は、上記点群グルーピング処理（Ｓ１５２）により、図１３に示した標識投影点群Ａｓｐ［３次元］をラベル１で識別する点群、ラベル２で識別する点群およびラベル３で識別する点群にグループ分けすることができる。
【００７１】
＜Ｓ１５３：点群グループ限定処理＞
図６において、標識点群ラベル限定部１５３は標識点群ラベリング部１５２がグループ分けした各グループ点群に対して標識候補点群Ａｃとなる点群グループを限定する。
このとき、標識点群ラベル限定部１５３は各グループ点群について各点の三次元座標に基づいて当該グループ点群で表される地物のサイズ（幅、高さ、奥行き）を算出する。
次に、標識点群ラベル限定部１５３は計測対象とする道路標識の大きさを示すサイズ範囲と各グループ点群が表す地物のサイズとを比較して地物のサイズが道路標識のサイズ範囲内であるグループ点群を特定する。道路標識のサイズ範囲は予め記憶機器に定義されているものとする。
そして、標識点群ラベル限定部１５３は特定した各グループ点群を構成する点群それぞれを標識候補点群Ａｃとして標識候補点群記憶部１９５に記憶し、標識候補点群Ａｃ以外の点群を除去する。標識候補点群Ａは計測対象の道路標識と同程度のサイズである地物を表す各グループ点群について各点の三次元座標と各点の撮像画像Ａ上の二次元座標とを示す。
【００７２】
図１７は、実施の形態１における標識投影点群Ａｓｐ［３次元］がＥａｓｔ−Ｎｏｒｔｈ平面で存在する範囲の一例を示すグラフである。
図１８は、実施の形態１における標識投影点群Ａｓｐ［３次元］がＥａｓｔ−Ｕｐ平面で存在する範囲の一例を示すグラフである。
図１９は、実施の形態１における標識候補点群Ａｃ［３次元］の一例を示す図である
図１６に示したラベル１、ラベル２またはラベル３で識別される各グループ点群を構成する各点はＥａｓｔ−Ｎｏｒｔｈ平面において図１７のように存在し、Ｅａｓｔ−Ｕｐ平面において図１８のように存在する。図１７は上方から見た場合の各点の存在範囲を示し、図１８は側方から見た場合の各点の存在範囲を示している。図１７および図１８における目盛りはＬＲＦ２５０がレーザ計測を開始した地点からの距離を示している。なお、図１７においてカメラ２４０のＬＯＳ（視線方向）はグラフの右上からの方向であり、図１８においてカメラ２４０のＬＯＳはグラフの右下から方向である。
ここで、計測対象とする道路標識（例えば、横断歩道標識）のサイズ範囲を幅方向で０．４メートル以上１．８メートル以下、高さ方向で０．４メートル以上１．８メートル以下とした場合、図１８において、ラベル１、ラベル２またはラベル３で識別される各グループ点群はいずれも高さ方向のサイズ条件を充たしている。一方、図１７において、ラベル１またはラベル３で識別される各グループ点群は幅方向のサイズ条件を充たしているが、ラベル２で識別されるグループ点群は幅方向のサイズ条件を充たしていない。
この場合、標識点群ラベル限定部１５３は“ラベル２”で識別されるグループ点群を削除し、図１９に示すように、“ラベル３”で識別されていたグループ点群のラベル名を“ラベル２”に更新する。図１９において、“ラベル１”で識別されるグループ点群と“ラベル２（旧ラベル１）”で識別されるグループ点群とが標識候補点群Ａｃとなる。
【００７３】
＜Ｓ１６０：点群画像投影処理Ｂ＞
図６において、点群画像投影部１４０は標識候補点群Ａｃを撮像画像Ｂに投影する。
このとき、点群画像投影部１４０は認識画像記憶部１９２から認識画像Ｂを取得し、標識候補点群記憶部１９５から標識候補点群Ａｃを取得する。
そして、点群画像投影部１４０は、点群画像投影処理Ａ（Ｓ１４０）と同様に、標識候補点群Ａｃを撮像画像Ｂに投影し、撮像画像Ｂに投影した画像投影点群Ｂｉｐを二次元投影点群記憶部１９４に記憶する。
但し、点群画像投影部１４０は三次元点群モデルを構成する全ての点を撮像画像Ｂに投影するのではなく、標識点群ラベル限定部１５３が限定した標識候補点群Ａｃを構成する点のみを撮像画像Ｂに投影する。
ここで、認識画像Ｂｒは撮像画像Ｂ、標識撮像範囲Ｂａおよび撮像画像Ｂを撮像時のカメラ２４０の位置・姿勢角を示している。また、標識候補点群Ａｃは計測対象の道路標識と同程度のサイズである地物を表す各点群グループについて各点の三次元座標と撮像画像Ａ上の二次元座標とを示し、画像投影点群Ｂｉｐは標識候補点群Ａｃの各点の三次元座標と撮像画像Ｂ上の二次元座標とを示す。
【００７４】
＜Ｓ１７１：対象投影点群抽出処理Ｂ＞
次に、標識投影点群抽出部１５１は撮像画像Ｂに対して標識撮像範囲Ｂａに投影された標識投影点群Ｂｓｐを標識候補点群Ｂｃとして抽出する。
このとき、標識投影点群抽出部１５１は認識画像記憶部１９２から認識画像Ｂｒを取得し、二次元投影点群記憶部１９４から画像投影点群Ｂｉｐを取得する。
そして、標識投影点群抽出部１５１は、対象投影点群抽出処理Ａ（Ｓ１５１）と同様に、標識撮像範囲Ｂａに投影された標識投影点群Ｂｓｐを抽出する。標識投影点群抽出部１５１は抽出した標識投影点群Ｂｓｐを標識候補点群Ｂｃとして標識候補点群記憶部１９５に記憶 する。
つまり、標識投影点群抽出部１５１は標識候補点群Ａｃを構成する複数の点を標識撮像範囲Ｂａに投影された点に絞り込んで標識候補点群Ｂｃとしている。
【００７５】
＜Ｓ１８０：対象点群特定処理＞
次に、標識点群特定部１６０は標識候補点群Ａｃと標識候補点群Ｂｃとを比較して道路標識を表す標識三次元点群を特定する。
このとき、標識点群特定部１６０は標識候補点群記憶部１９５から標識候補点群Ａｃと標識候補点群Ｂｃとを取得する。
そして、標識点群特定部１６０は標識候補点群Ａｃを構成する各グループ点群と標識候補点群Ｂｃを構成する各グループ点群とを比較し、点群の一致度が最も大きいグループ点群を道路標識を表す標識三次元点群として標識三次元点群記憶部１９６に記憶する。標識候補点群Ｂｃを構成する各点は標識候補点群Ａｃを構成するいずれかの点であり、標識候補点群Ａｃにおけるグループと同じグループに属するものとして扱う。標識点群特定部１６０は、標識候補点群Ａｃを構成する各グループ点群の中で、当該グループ点群を構成する各点が標識候補点群Ｂｃを構成する点として残存した割合の最も高いグループ点群を標識三次元点群とする。標識三次元点群は道路標識を表す各点の三次元座標を示す。
【００７６】
ここで、図９に示したように、点Ｐ０で撮像された撮像画像Ａと点Ｐ１で撮像された撮像画像Ｂとでは道路標識に対するカメラ２４０のＬＯＳ（視線方向）が異なるため、標識撮像範囲Ａａに投影された標識投影点群Ａｓｐと標識撮像範囲Ｂａに投影された標識投影点群Ｂｓｐとは一致しない。しかし、撮像画像Ａと撮像画像Ｂとは共に同一の道路標識の全体を写しているため、標識投影点群Ａと標識投影点群Ｂとにおいて道路標識を表すグループ点群については一致する。つまり、図１９に示した標識候補点群Ａｃと標識候補点群Ｂｃとを比較した場合、道路標識を表すグループ点群（ラベル２）の方が木を表すグループ点群（ラベル１）より点群の一致度・残存率が高くなる。このため、標識点群特定部１６０は、図２０に示すように、木を表すグループ点群（ラベル１）を棄却し、道路標識を表すグループ点群（ラベル２）を標識三次元点群として特定することができる。
図２０は、実施の形態１における標識三次元点群の一例を示す図である。
【００７７】
＜Ｓ１９０：対象位置算出処理＞
図６において、標識位置計算部１７０は標識三次元点群に基づいて道路標識の位置を算出する。
このとき、標識位置計算部１７０は標識三次元点群記憶部１９６から標識三次元点群を取得する。
そして、標識位置計算部１７０は標識三次元点群が示す各点の三次元座標に基づいて道路標識の中心点（重心点）の三次元座標を道路標識の位置として算出する。このとき、標識位置計算部１７０は標識三次元点群を構成する各点の三次元座標について座標成分ｘ、ｙおよびｚそれぞれの平均値を道路標識の位置として算出する。例えば、標識位置計算部１７０は、座標成分ｘ、ｙおよびｚそれぞれについて、各点の座標値から最小値と最大値とを検索し、最小値と最大値との合計値を２で除算した値を道路標識の位置として算出する。また例えば、標識位置計算部１７０は、座標成分ｘ、ｙおよびｚそれぞれについて、各点の座標値を合計し、合計値を点の数で除算した値を道路標識の位置として算出する。
【００７８】
図２１は、実施の形態１における道路標識位置を示す図である。
標識位置計算部１７０は、図２１に示すように、図２０に示した標識三次元点群の中心点を道路標識位置として算出する。図２１は道路標識を正面から表した標識三次元点群（左図）と道路標識を側方から表した標識三次元点群（右図）とを示している。
【００７９】
実施の形態１では、高精度な車体位置姿勢を基にＬＲＦにより得られたデータから計算した三次元復元点群（三次元点群モデル）およびカメラ画像を用いて道路標識位置を計測する道路標識位置計測方法について説明した。本手法の特徴は、視点の異なる複数カメラ画像間の視差を利用することで、標識の周辺や裏に隠れている標識以外の地物に対応するレーザ計測点を棄却し、標識から直接反射して戻っているレーザ点のみを用いて標識の位置を計測する点である。
【００８０】
実施の形態１における道路標識位置計測装置１００は、点群画像投影部１４０が三次元点群モデルではなく標識候補点群Ａｃを撮像画像Ｂに投影することにより（Ｓ１６０）、処理する点データの数を減らし、処理時間を短縮することができる。
また、道路標識位置計測装置１００は、標識点群ラベル限定部１５３が各グループ点群の表す地物の大きさに基づいてグループ点群を限定することにより（Ｓ１５３）、道路標識とは大きさの異なる地物のグループ点群を標識三次元点群として誤検出することを防ぐことができる。
【００８１】
実施の形態２．
実施の形態２では、点群グループ限定処理（Ｓ１５３）を実行しない道路標識位置計測処理について説明する。
以下、実施の形態１と異なる事項について主に説明し、説明を省略する事項は実施の形態１と同様であるものとする。
【００８２】
図２２は、実施の形態２における道路標識位置計測処理を示すフローチャートである。
図２２に示すように、実施の形態２における道路標識位置計測装置１００は点群グループ限定処理（Ｓ１５３）を実行しない。
そして、点群グルーピング処理（Ｓ１５２ｂ）において、標識点群ラベリング部１５２は標識投影点群Ａｓｐを構成する各グループ点群を標識候補点群Ａｃとして標識候補点群記憶部１９５に記憶し、点群画像投影処理Ｂ（Ｓ１６０ｂ）において、点群画像投影部１４０は標識点群ラベリング部１５２が記憶した標識候補点群Ａｃを撮像画像Ｂに投影する。
【００８３】
これにより、道路標識位置計測装置１００は標識点群ラベル限定部１５３を備えなくても道路標識の位置を算出することができる。
【００８４】
実施の形態３．
実施の形態３では、実施の形態１とは異なる対象点群特定処理（Ｓ１８０）を実行する道路標識位置計測処理について説明する。
以下、実施の形態１と異なる事項について主に説明し、説明を省略する事項は実施の形態１と同様であるものとする。
【００８５】
図２３は、実施の形態３における道路標識位置計測処理を示すフローチャートである。
実施の形態３における道路標識位置計測処理について、図２３に基づいて以下に説明する。
対象点群特定処理（Ｓ１８０ｃ）において、標識点群特定部１６０は標識候補点群Ａｃと標識候補点群Ｂｃとを比較して算出した各グループ点群の一致度（残存率）を比較し、一致度が他の全てのグループ点群の一致度より所定の閾値以上大きい１つのグループ点群を標識三次元点群として特定する。
そして、Ｓ１８１ｃにおいて、道路標識位置計測装置１００は標識点群特定部１６０が標識三次元点群を特定できなかった場合、つまり、各グループ点群の一致度に所定の閾値以上の差が無かった場合、点群画像投影処理Ｂ（Ｓ１６０ｃ）から処理を繰り返す。
このとき、点群画像投影処理Ｂ（Ｓ１６０ｃ）では、点群画像投影部１４０が標識候補点群Ａｃを新たに別の撮像画像ｘ（第３の撮像画像）に投影する。
以後、標識投影点群抽出部１５１が撮像画像ｘについて標識候補点群ｘｃを抽出し（Ｓ１７１ｃ）、標識点群特定部１６０が標識候補点群Ａｃと標識候補点群ｘｃとを比較して標識三次元点群を特定する。
道路標識位置計測装置１００は標識三次元点群が特定できるまでＳ１６０ｃ〜Ｓ１８１ｃを異なる撮像画像を用いて繰り返す。
【００８６】
つまり、道路標識位置計測装置１００は撮像画像Ａと撮像画像Ｂとが近接する地点で撮像され、視点の差が小さい場合であっても、撮像画像Ａとの視点の差が大きい他の撮像画像を利用して標識三次元点群を特定することができる。これにより、道路標識位置計測装置１００は標識三次元点群の誤検出を防ぐことができる。
【００８７】
実施の形態４．
実施の形態４では、各撮像画像に対して、三次元点群モデルについて点群画像投影処理（Ｓ１４０ｄ）〜点群グループ限定処理（Ｓ１５３ｄ）を実行する道路標識位置計測処理について説明する。
以下、実施の形態１と異なる事項について主に説明し、説明を省略する事項は実施の形態１と同様であるものとする。
【００８８】
図２４は、実施の形態４における道路標識位置計測処理を示すフローチャートである。
実施の形態４における道路標識位置計測処理について、図２４に基づいて以下に説明する。
点群画像投影処理（Ｓ１４０ｄ）において、点群画像投影部１４０は撮像画像Ａと撮像画像Ｂとに対して三次元点群モデルを投影する。
そして、標識投影点群抽出部１５１は標識投影点群Ａｓｐおよび標識投影点群Ｂｓｐを抽出し（Ｓ１５１ｄ）、標識点群ラベリング部１５２は標識投影点群Ａｓｐおよび標識投影点群Ｂｓｐをグループ分けし（Ｓ１５２ｄ）、標識点群ラベル限定部１５３は標識候補点群Ａｃおよび標識候補点群Ｂｃを特定する（Ｓ１５３ｄ）。
【００８９】
これにより、道路標識位置計測装置１００は点群画像投影処理（Ｓ１４０ｄ）〜点群グループ限定処理（Ｓ１５３ｄ）を撮像画像毎に並列に実行し、処理時間を短縮することができる。
【００９０】
道路標識位置計測装置１００は実施の形態２と同様に点群グループ限定処理（Ｓ１５３ｄ）を省略しても構わない。
また、道路標識位置計測装置１００は３つ以上の撮像画像について処理を行い、３つ以上の標識候補点群を比較して標識三次元点群を特定しても構わない。
【図面の簡単な説明】
【００９１】
【図１】実施の形態１における道路標識位置計測システム９００の機能構成図。
【図２】実施の形態１における道路標識位置計測装置１００のハードウェア資源の一例を示す図。
【図３】実施の形態１における計測車両２００のハードウェア資源の一例を示す図。
【図４】実施の形態１における計測車両２００の配置関係図。
【図５】実施の形態１におけるＬＲＦ２５０のレーザ計測方法を示す図。
【図６】実施の形態１における道路標識位置計測処理を示すフローチャート。
【図７】実施の形態１における前処理（Ｓ１００）を示すフローチャート。
【図８】実施の形態１における三次元点群モデル復元部１３０が生成する三次元点群モデルの一例を示す図。
【図９】実施の形態１における道路標識位置計測処理の概念図。
【図１０】実施の形態１における二次元の画像平面Ｉに対する三次元座標の点の投影を示す概念図。
【図１１】実施の形態１における投影画像Ａの一例を示す図。
【図１２】実施の形態１における標識投影点群Ａ［２次元］の一例を示す図。
【図１３】実施の形態１における標識投影点群Ａ［３次元］の一例を示す図。
【図１４】実施の形態１におけるボクセルモデルを示す図。
【図１５】実施の形態１におけるラベリング（グルーピング）を示す図。
【図１６】実施の形態１における点群グルーピング処理（Ｓ１５２）後の標識投影点群Ａ［３次元］の一例を示す図。
【図１７】実施の形態１における標識投影点群Ａ［３次元］がＥａｓｔ−Ｎｏｒｔｈ平面で存在する範囲の一例を示すグラフ。
【図１８】実施の形態１における標識投影点群Ａ［３次元］がＥａｓｔ−Ｕｐ平面で存在する範囲の一例を示すグラフ。
【図１９】実施の形態１における標識候補点群Ａ［３次元］の一例を示す図。
【図２０】実施の形態１における標識三次元点群の一例を示す図。
【図２１】実施の形態１における道路標識位置を示す図。
【図２２】実施の形態２における道路標識位置計測処理を示すフローチャート。
【図２３】実施の形態３における道路標識位置計測処理を示すフローチャート。
【図２４】実施の形態４における道路標識位置計測処理を示すフローチャート。
【符号の説明】
【００９２】
１００ 道路標識位置計測装置、１１０ 車両位置姿勢標定部、１２０ 道路標識画像認識部、１３０ 三次元点群モデル復元部、１４０ 点群画像投影部、１５０ グルーピング部、１５１ 標識投影点群抽出部、１５２ 標識点群ラベリング部、１５３ 標識点群ラベル限定部、１６０ 標識点群特定部、１７０ 標識位置計算部、１９１ 車両位置姿勢記憶部、１９２ 認識画像記憶部、１９３ 三次元点群モデル記憶部、１９４ 二次元投影点群記憶部、１９５ 標識候補点群記憶部、１９６ 標識三次元点群記憶部、２００ 計測車両、２０１ 天板、２０２ 車両本体、２１０ ＧＰＳ受信機、２２０ ３軸ジャイロ、２３０ オドメータ、２４０ カメラ、２５０ ＬＲＦ、２９１ 観測データ記憶部、２９２ 画像データ記憶部、２９３ 距離方位点群記憶部、９００ 道路標識位置計測システム、９０１ 表示装置、９０２ キーボード、９０３ マウス、９０４ ＦＤＤ、９０５ ＣＤＤ、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信ボード、９２０ 磁気ディスク装置、９２１ ＯＳ、９２３ プログラム群、９２４ ファイル群。
【特許請求の範囲】
【請求項１】
３次元座標を示す複数の３次元点データにより地物を３次元で表す３次元点群データを記憶機器を用いて記憶する点群データ記憶部と、
異なる位置で撮像された２次元画像を表す第１の画像データと第２の画像データとを記憶機器を用いて記憶する画像データ記憶部と、
前記画像データ記憶部に記憶された第１の画像データの表す２次元画像と前記画像データ記憶部に記憶された第２の画像データの表す２次元画像とから特定の対象物が撮像された対象撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する対象撮像範囲特定部と、
前記点群データ記憶部に記憶された３次元点群データを前記画像データ記憶部に記憶された第１の画像データの表す２次元画像に対してＣＰＵを用いて投影する第１の点群画像投影部と、
前記対象撮像範囲特定部が特定した第１の画像データの対象撮像範囲に対して前記第１の点群画像投影部が投影した３次元点群データをＣＰＵを用いて抽出する第１の対象投影点群抽出部と、
前記第１の対象投影点群抽出部が抽出した３次元点群データを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする点群グルーピング部と、
前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第２の画像データの表す２次元画像に対してＣＰＵを用いて投影する第２の点群画像投影部と、
前記対象撮像範囲特定部が特定した第２の画像データの対象撮像範囲に対して前記第２の点群画像投影部が投影した各グループ点群データをＣＰＵを用いて抽出する第２の対象投影点群抽出部と、
前記点群グルーピング部がグループ分けした各グループ点群データを前記第２の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データの中で３次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を３次元で表す対象点群データとしてＣＰＵを用いて特定する対象点群特定部と
を備えたことを特徴とする対象特定装置。
【請求項２】
前記対象特定装置は、さらに、
前記点群グルーピング部がグループ分けした複数のグループ点群データのそれぞれが表すグループ体のサイズを各３次元点データの示す３次元座標に基づいてＣＰＵを用いて特定し、特定したグループ体のサイズを前記特定の対象物のサイズとＣＰＵを用いて比較し、グループ体のサイズが前記特定の対象物のサイズに対応する各グループ点群データをＣＰＵを用いて特定する点群グループ限定部を備え、
前記第２の点群画像投影部は、前記点群グループ限定部が特定した各グループ点群データを第２の画像データの表す２次元画像に対して投影する
ことを特徴とする請求項１記載の対象特定装置。
【請求項３】
前記対象特定装置は、さらに、
前記対象点群特定部が特定した対象点群データを構成する各３次元点データの示す３次元座標に基づいて前記特定の対象物の中心を示す３次元座標を前記特定の対象物の３次元座標としてＣＰＵを用いて算出する対象位置算出部
を備えたことを特徴とする請求項１〜請求項２いずれかに記載の対象特定装置。
【請求項４】
前記点群グルーピング部は、複数の３次元領域に分割した３次元空間を設定し、前記第１の対象投影点群抽出部が抽出した３次元点群データを各３次元点データの示す３次元座標に基づいて前記３次元空間に投票し、隣接する各３次元領域に投票された各３次元点データを１つのグループ点群データとする
ことを特徴とする請求項１〜請求項３いずれかに記載の対象特定装置。
【請求項５】
３次元座標を示す複数の３次元点データにより地物を３次元で表す３次元点群データを記憶機器を用いて記憶する点群データ記憶部と、
異なる位置で撮像された２次元画像を表す複数の画像データを記憶機器を用いて記憶する画像データ記憶部と、
前記画像データ記憶部に記憶された各画像データの表す２次元画像から特定の対象物が撮像された対象撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する対象撮像範囲特定部と、
前記点群データ記憶部に記憶された３次元点群データを前記画像データ記憶部に記憶された第１の画像データの表す２次元画像に対してＣＰＵを用いて投影する第１の点群画像投影部と、
前記対象撮像範囲特定部が特定した第１の画像データの対象撮像範囲に対して前記第１の点群画像投影部が投影した３次元点群データをＣＰＵを用いて抽出する第１の対象投影点群抽出部と、
前記第１の対象投影点群抽出部が抽出した３次元点群データを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする点群グルーピング部と、
前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第２の画像データの表す２次元画像に対してＣＰＵを用いて投影する第２の点群画像投影部と、
前記対象撮像範囲特定部が特定した第２の画像データの対象撮像範囲に対して前記第２の点群画像投影部が投影した各グループ点群データをＣＰＵを用いて抽出する第２の対象投影点群抽出部と、
前記点群グルーピング部がグループ分けした各グループ点群データを前記第２の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データを構成する各３次元点データの残存率を算出し、残存率が他の全てのグループ点群データの残存率より所定の閾値以上大きい１つのグループ点群データを前記特定の対象物を３次元で表す対象点群データとしてＣＰＵを用いて特定する対象点群特定部とを備え、
前記対象点群特定部が対象点群データとして１つのグループ点群データを特定できなかった場合、
前記第２の点群画像投影部は、第３の画像データの表す２次元画像に対して複数のグループ点群データを投影し、
前記第２の対象投影点群抽出部は、第３の画像データの対象撮像範囲に対して前記第２の画像投影部が投影した各グループ点群データを抽出し、
前記対象点群特定部は、前記点群グルーピング部がグループ分けした各グループ点群データを前記第２の対象投影点群抽出部が第３の画像データに対して抽出した各グループ点群データと比較して対象点群データを特定する
ことを特徴とする対象特定装置。
【請求項６】
３次元座標を示す複数の３次元点データにより地物を３次元で表す３次元点群データを記憶機器を用いて記憶する点群データ記憶部と、
異なる位置で撮像された２次元画像を示す複数の画像データを記憶機器を用いて記憶する画像データ記憶部と、
前記画像データ記憶部に記憶された各画像データの表す２次元画像から特定の対象物が撮像された対象撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する対象撮像範囲特定部と、
前記点群データ記憶部に記憶された３次元点群データを前記画像データ記憶部に記憶された各画像データの表す２次元画像に対してＣＰＵを用いて投影する点群画像投影部と、
前記対象撮像範囲特定部が特定した各画像データの対象撮像範囲に対して前記点群画像投影部が投影した３次元点群データを対象投影点群データとしてＣＰＵを用いて抽出する対象投影点群抽出部と、
前記対象投影点群抽出部が対象投影点群データを抽出した各画像データについて、当該画像データの対象投影点群データを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする点群グルーピング部と、
前記点群グルーピング部がグループ分けした複数のグループ点群データのうち、複数の画像データ間で当該グループ点群データに含まれる各３次元点データの一致度が最も大きいグループ点群データを前記特定の対象物を３次元で表す対象点群データとしてＣＰＵを用いて特定する対象点群特定部と
を備えたことを特徴とする対象特定装置。
【請求項７】
対象撮像範囲特定部が、異なる位置で撮像された２次元画像を表す第１の画像データと第２の画像データとを記憶機器を用いて記憶する画像データ記憶部に記憶された第１の画像データの表す２次元画像と前記画像データ記憶部に記憶された第２の画像データの表す２次元画像とから特定の対象物が撮像された対象撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する対象撮像範囲特定処理を行い、
第１の点群画像投影部が、３次元座標を示す複数の３次元点データにより地物を３次元で表す３次元点群データを記憶機器を用いて記憶する点群データ記憶部に記憶された３次元点群データを前記画像データ記憶部に記憶された第１の画像データの表す２次元画像に対してＣＰＵを用いて投影する第１の点群画像投影処理を行い、
第１の対象投影点群抽出部が、前記対象撮像範囲特定部の特定した第１の画像データの対象撮像範囲に対して前記第１の点群画像投影部の投影した３次元点群データをＣＰＵを用いて抽出する第１の対象投影点群抽出処理を行い、
点群グルーピング部が、前記第１の対象投影点群抽出部の抽出した３次元点群データを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする点群グルーピング処理を行い、
第２の点群画像投影部が、前記点群グルーピング部のグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第２の画像データの表す２次元画像に対してＣＰＵを用いて投影する第２の点群画像投影処理を行い、
第２の対象投影点群抽出部が、前記対象撮像範囲特定部の特定した第２の画像データの対象撮像範囲に対して前記第２の点群画像投影部の投影した各グループ点群データをＣＰＵを用いて抽出する第２の対象投影点群抽出処理を行い、
対象点群特定部が、前記点群グルーピング部のグループ分けした各グループ点群データを前記第２の対象投影点群抽出部の抽出した各グループ点群データと比較し、前記点群グルーピング部のグループ分けした各グループ点群データの中で３次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を３次元で表す対象点群データとしてＣＰＵを用いて特定する対象点群特定処理を行う
ことを特徴とする対象特定方法。
【請求項８】
請求項７記載の対象特定方法をコンピュータに実行させることを特徴とする対象特定プログラム。
【請求項１】
３次元座標を示す複数の３次元点データにより地物を３次元で表す３次元点群データを記憶機器を用いて記憶する点群データ記憶部と、
異なる位置で撮像された２次元画像を表す第１の画像データと第２の画像データとを記憶機器を用いて記憶する画像データ記憶部と、
前記画像データ記憶部に記憶された第１の画像データの表す２次元画像と前記画像データ記憶部に記憶された第２の画像データの表す２次元画像とから特定の対象物が撮像された対象撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する対象撮像範囲特定部と、
前記点群データ記憶部に記憶された３次元点群データを前記画像データ記憶部に記憶された第１の画像データの表す２次元画像に対してＣＰＵを用いて投影する第１の点群画像投影部と、
前記対象撮像範囲特定部が特定した第１の画像データの対象撮像範囲に対して前記第１の点群画像投影部が投影した３次元点群データをＣＰＵを用いて抽出する第１の対象投影点群抽出部と、
前記第１の対象投影点群抽出部が抽出した３次元点群データを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする点群グルーピング部と、
前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第２の画像データの表す２次元画像に対してＣＰＵを用いて投影する第２の点群画像投影部と、
前記対象撮像範囲特定部が特定した第２の画像データの対象撮像範囲に対して前記第２の点群画像投影部が投影した各グループ点群データをＣＰＵを用いて抽出する第２の対象投影点群抽出部と、
前記点群グルーピング部がグループ分けした各グループ点群データを前記第２の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データの中で３次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を３次元で表す対象点群データとしてＣＰＵを用いて特定する対象点群特定部と
を備えたことを特徴とする対象特定装置。
【請求項２】
前記対象特定装置は、さらに、
前記点群グルーピング部がグループ分けした複数のグループ点群データのそれぞれが表すグループ体のサイズを各３次元点データの示す３次元座標に基づいてＣＰＵを用いて特定し、特定したグループ体のサイズを前記特定の対象物のサイズとＣＰＵを用いて比較し、グループ体のサイズが前記特定の対象物のサイズに対応する各グループ点群データをＣＰＵを用いて特定する点群グループ限定部を備え、
前記第２の点群画像投影部は、前記点群グループ限定部が特定した各グループ点群データを第２の画像データの表す２次元画像に対して投影する
ことを特徴とする請求項１記載の対象特定装置。
【請求項３】
前記対象特定装置は、さらに、
前記対象点群特定部が特定した対象点群データを構成する各３次元点データの示す３次元座標に基づいて前記特定の対象物の中心を示す３次元座標を前記特定の対象物の３次元座標としてＣＰＵを用いて算出する対象位置算出部
を備えたことを特徴とする請求項１〜請求項２いずれかに記載の対象特定装置。
【請求項４】
前記点群グルーピング部は、複数の３次元領域に分割した３次元空間を設定し、前記第１の対象投影点群抽出部が抽出した３次元点群データを各３次元点データの示す３次元座標に基づいて前記３次元空間に投票し、隣接する各３次元領域に投票された各３次元点データを１つのグループ点群データとする
ことを特徴とする請求項１〜請求項３いずれかに記載の対象特定装置。
【請求項５】
３次元座標を示す複数の３次元点データにより地物を３次元で表す３次元点群データを記憶機器を用いて記憶する点群データ記憶部と、
異なる位置で撮像された２次元画像を表す複数の画像データを記憶機器を用いて記憶する画像データ記憶部と、
前記画像データ記憶部に記憶された各画像データの表す２次元画像から特定の対象物が撮像された対象撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する対象撮像範囲特定部と、
前記点群データ記憶部に記憶された３次元点群データを前記画像データ記憶部に記憶された第１の画像データの表す２次元画像に対してＣＰＵを用いて投影する第１の点群画像投影部と、
前記対象撮像範囲特定部が特定した第１の画像データの対象撮像範囲に対して前記第１の点群画像投影部が投影した３次元点群データをＣＰＵを用いて抽出する第１の対象投影点群抽出部と、
前記第１の対象投影点群抽出部が抽出した３次元点群データを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする点群グルーピング部と、
前記点群グルーピング部がグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第２の画像データの表す２次元画像に対してＣＰＵを用いて投影する第２の点群画像投影部と、
前記対象撮像範囲特定部が特定した第２の画像データの対象撮像範囲に対して前記第２の点群画像投影部が投影した各グループ点群データをＣＰＵを用いて抽出する第２の対象投影点群抽出部と、
前記点群グルーピング部がグループ分けした各グループ点群データを前記第２の対象投影点群抽出部が抽出した各グループ点群データと比較し、前記点群グルーピング部がグループ分けした各グループ点群データを構成する各３次元点データの残存率を算出し、残存率が他の全てのグループ点群データの残存率より所定の閾値以上大きい１つのグループ点群データを前記特定の対象物を３次元で表す対象点群データとしてＣＰＵを用いて特定する対象点群特定部とを備え、
前記対象点群特定部が対象点群データとして１つのグループ点群データを特定できなかった場合、
前記第２の点群画像投影部は、第３の画像データの表す２次元画像に対して複数のグループ点群データを投影し、
前記第２の対象投影点群抽出部は、第３の画像データの対象撮像範囲に対して前記第２の画像投影部が投影した各グループ点群データを抽出し、
前記対象点群特定部は、前記点群グルーピング部がグループ分けした各グループ点群データを前記第２の対象投影点群抽出部が第３の画像データに対して抽出した各グループ点群データと比較して対象点群データを特定する
ことを特徴とする対象特定装置。
【請求項６】
３次元座標を示す複数の３次元点データにより地物を３次元で表す３次元点群データを記憶機器を用いて記憶する点群データ記憶部と、
異なる位置で撮像された２次元画像を示す複数の画像データを記憶機器を用いて記憶する画像データ記憶部と、
前記画像データ記憶部に記憶された各画像データの表す２次元画像から特定の対象物が撮像された対象撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する対象撮像範囲特定部と、
前記点群データ記憶部に記憶された３次元点群データを前記画像データ記憶部に記憶された各画像データの表す２次元画像に対してＣＰＵを用いて投影する点群画像投影部と、
前記対象撮像範囲特定部が特定した各画像データの対象撮像範囲に対して前記点群画像投影部が投影した３次元点群データを対象投影点群データとしてＣＰＵを用いて抽出する対象投影点群抽出部と、
前記対象投影点群抽出部が対象投影点群データを抽出した各画像データについて、当該画像データの対象投影点群データを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする点群グルーピング部と、
前記点群グルーピング部がグループ分けした複数のグループ点群データのうち、複数の画像データ間で当該グループ点群データに含まれる各３次元点データの一致度が最も大きいグループ点群データを前記特定の対象物を３次元で表す対象点群データとしてＣＰＵを用いて特定する対象点群特定部と
を備えたことを特徴とする対象特定装置。
【請求項７】
対象撮像範囲特定部が、異なる位置で撮像された２次元画像を表す第１の画像データと第２の画像データとを記憶機器を用いて記憶する画像データ記憶部に記憶された第１の画像データの表す２次元画像と前記画像データ記憶部に記憶された第２の画像データの表す２次元画像とから特定の対象物が撮像された対象撮像範囲をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて特定する対象撮像範囲特定処理を行い、
第１の点群画像投影部が、３次元座標を示す複数の３次元点データにより地物を３次元で表す３次元点群データを記憶機器を用いて記憶する点群データ記憶部に記憶された３次元点群データを前記画像データ記憶部に記憶された第１の画像データの表す２次元画像に対してＣＰＵを用いて投影する第１の点群画像投影処理を行い、
第１の対象投影点群抽出部が、前記対象撮像範囲特定部の特定した第１の画像データの対象撮像範囲に対して前記第１の点群画像投影部の投影した３次元点群データをＣＰＵを用いて抽出する第１の対象投影点群抽出処理を行い、
点群グルーピング部が、前記第１の対象投影点群抽出部の抽出した３次元点群データを各３次元点データの示す３次元座標に基づいて複数のグループ点群データとしてＣＰＵを用いてグループ分けする点群グルーピング処理を行い、
第２の点群画像投影部が、前記点群グルーピング部のグループ分けした複数のグループ点群データを前記画像データ記憶部に記憶された第２の画像データの表す２次元画像に対してＣＰＵを用いて投影する第２の点群画像投影処理を行い、
第２の対象投影点群抽出部が、前記対象撮像範囲特定部の特定した第２の画像データの対象撮像範囲に対して前記第２の点群画像投影部の投影した各グループ点群データをＣＰＵを用いて抽出する第２の対象投影点群抽出処理を行い、
対象点群特定部が、前記点群グルーピング部のグループ分けした各グループ点群データを前記第２の対象投影点群抽出部の抽出した各グループ点群データと比較し、前記点群グルーピング部のグループ分けした各グループ点群データの中で３次元点データの残存率が最も大きいグループ点群データを前記特定の対象物を３次元で表す対象点群データとしてＣＰＵを用いて特定する対象点群特定処理を行う
ことを特徴とする対象特定方法。
【請求項８】
請求項７記載の対象特定方法をコンピュータに実行させることを特徴とする対象特定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１５】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図１１】
【図１２】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１５】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図１１】
【図１２】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−５３０５９（Ｐ２００９−５３０５９Ａ）
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願番号】特願２００７−２２０４０５（Ｐ２００７−２２０４０５）
【出願日】平成１９年８月２７日（２００７．８．２７）
【特許番号】特許第４２３２１６７号（Ｐ４２３２１６７）
【特許公報発行日】平成２１年３月４日（２００９．３．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 講演会等の名称：ロボティクス・メカトロニクス講演会２００７ ＲＯＢＯＭＥＣ ２００７ ｉｎ ＡＫＩＴＡ 豊かな社会を拓くロボティクス・メカトロニクス 主催学術団体名：社団法人 日本機械学会 ロボティクス・メカトロニクス部門 開催日：２００７年５月１０日〜１２日 文書（刊行物）の発行日：（ａ）ＤＶＤ−ＲＯＭ版講演論文集発行日：２００７年５月１０日 （ｂ）展示ポスター展示日：２００７年５月１１日 （ｃ）アブストラクト集発行日：２００７年５月１０日
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【Ｆターム（参考）】
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願日】平成１９年８月２７日（２００７．８．２７）
【特許番号】特許第４２３２１６７号（Ｐ４２３２１６７）
【特許公報発行日】平成２１年３月４日（２００９．３．４）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 講演会等の名称：ロボティクス・メカトロニクス講演会２００７ ＲＯＢＯＭＥＣ ２００７ ｉｎ ＡＫＩＴＡ 豊かな社会を拓くロボティクス・メカトロニクス 主催学術団体名：社団法人 日本機械学会 ロボティクス・メカトロニクス部門 開催日：２００７年５月１０日〜１２日 文書（刊行物）の発行日：（ａ）ＤＶＤ−ＲＯＭ版講演論文集発行日：２００７年５月１０日 （ｂ）展示ポスター展示日：２００７年５月１１日 （ｃ）アブストラクト集発行日：２００７年５月１０日
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【Ｆターム（参考）】
[ Back to top ]