道路付属物検出装置、道路付属物検出方法、及びプログラム
【課題】道路標識やガードレールなどの道路付属物を高精度に自動的に検出する。
【解決手段】記憶装置６は検出対象とする道路付属物の画像特徴情報３６及び、対象空間における検出対象の形状などに関する形態特徴情報３８を予め格納する。画像分割手段２０は対象空間を撮影した画像をそれぞれ類似する画素からなる複数の部分画像領域に分割する。候補画像領域抽出手段２２は画像特徴情報３６に基づいて、部分画像領域のうち検出対象に対応した候補画像領域を抽出する。壁面検出手段２４は、対象空間の地物表面の三次元形状を表す点群データに基づいて地物の壁面を検出する。候補壁面抽出手段２６は形態特徴情報３８に基づいて、検出された壁面のうち検出対象に対応した候補壁面を抽出する。照合手段２８は候補画像領域と、画像の撮影位置から見た候補壁面の投影像とを照合し、照合結果に基づいて検出対象を検出する。
【解決手段】記憶装置６は検出対象とする道路付属物の画像特徴情報３６及び、対象空間における検出対象の形状などに関する形態特徴情報３８を予め格納する。画像分割手段２０は対象空間を撮影した画像をそれぞれ類似する画素からなる複数の部分画像領域に分割する。候補画像領域抽出手段２２は画像特徴情報３６に基づいて、部分画像領域のうち検出対象に対応した候補画像領域を抽出する。壁面検出手段２４は、対象空間の地物表面の三次元形状を表す点群データに基づいて地物の壁面を検出する。候補壁面抽出手段２６は形態特徴情報３８に基づいて、検出された壁面のうち検出対象に対応した候補壁面を抽出する。照合手段２８は候補画像領域と、画像の撮影位置から見た候補壁面の投影像とを照合し、照合結果に基づいて検出対象を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像及び、地物表面の三次元形状を表す点群データに基づいて、道路付属物を検出する道路付属物検出装置、道路付属物検出方法、及びプログラムに関する。
【背景技術】
【０００２】
道路には安全かつ円滑な交通の確保等を目的として様々な付属物が設置される。例えば、道路付属物として、信号機、道路標識、道路標示、ガードレール、交通情報板、横断歩道橋、歩道、分離帯、道路照明灯、道路反射鏡等が挙げられる。また、道路付属物に関して、道路法第２条に細目が規定されている。また道路付属物には交通安全施設と称されるものがある。道路付属物のうち信号機についてはその位置を記載した道路地図が既に存在する。他の道路付属物についても位置を取得すれば、例えば、地図情報として利用することができ、さらに高精度の道路地図を作ることが可能となる。
【０００３】
従来、道路付属物の位置情報を取得する技術として、車載された単眼視カメラにより取得された二次元画像を用い、その輝度情報に基づいて解析を行いガードレールや白線を検出するものが下記特許文献１に開示されている。
【０００４】
また、下記特許文献２には、ステレオカメラにより取得したステレオ画像から三次元位置データを算出してカードレール等の側壁を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１−２４２９１６号公報
【特許文献２】特開平６−２６６８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
単眼視カメラで取得された画像を用いて道路付属物を検出する技術は、画像のスペクトル情報のみに基づいて解析を行うため、複雑な道路周辺環境において道路付属物に関する情報を正確に認識して抽出することは困難であると共に、位置情報の取得もできない。例えば、ガードレールと路面上の白線とを弁別することが困難である。
【０００７】
ステレオカメラを用いる技術では、ステレオ画像から地物の三次元データを求める解析が複雑となり、しかも、ステレオマッチングにより三次元データが求められる点の密度は比較的粗いので高精度の解析は難しい。また、道路の周辺環境は複雑であるため、道路標識及びガ−ドレール等の道路付属物を安定して自動検出することは容易ではない。
【０００８】
ここで、車載レーザを用いて路面や地物等に関する高密度の点群データを取得する技術があるが、当該技術では点群データにより表される形状から地物を推定することになる。そのため、道路付属物のうち、平板上に複数の色を用いて描かれた道路標識等についてはその表示内容の認識は困難である。また、従来、点群データをもとに地物を判読するためには人手を要しており、三次元ＣＡＤで編集ツール等を利用して手作業で地物の抽出作業が行われていた。
【０００９】
本発明は、上記問題点を解決するためになされたものであり、道路付属物を高精度に自動的に検出することを可能とする道路付属物検出装置、道路付属物検出方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る道路付属物検出装置は、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出するものであって、前記道路付属物のうち検出対象とするものの画像特徴及び、前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ当該検出対象の形態特徴を予め記憶する記憶手段と、それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段と、前記記憶手段に記憶された前記画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段と、前記点群データに基づいて前記地物の壁面を検出する壁面検出手段と、前記記憶手段に記憶された前記形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段と、前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段と、を有する。
【００１１】
本発明に係る道路付属物検出装置において、前記照合手段は、前記検出対象であるガードレールについて、前記対象空間のうち道路より外側部分と当該道路の車道部分とを除く領域で検出する構成とすることができる。
【００１２】
本発明に係る道路付属物検出装置において、前記照合手段は、前記検出対象である道路標識について、前記対象空間のうち道路より外側部分を除く領域で検出する構成とすることができる。また、本発明に係る当該道路付属物検出装置は、検出された前記道路標識について、当該道路標識に対応する画像領域でのテンプレートマッチングにより当該道路標識の種類又は表示内容を識別する道路標識識別手段を有する構成とすることができる。
【００１３】
他の本発明に係る道路付属物検出装置は、さらに、前記検出対象である道路標示を検出する道路標示検出手段と、前記点群データに基づいて、前記画像にて道路面に対応する路面画像領域を抽出する路面画像領域抽出手段と、を有し、前記候補画像領域抽出手段は、前記道路標示について前記候補画像領域である道路標示候補を抽出し、前記道路標示検出手段は、前記路面画像領域内の前記道路標示候補を前記道路標示と判定する。また、本発明に係る当該道路付属物検出装置において、前記道路標示検出手段が、前記道路標示と判定した前記道路標示候補について、テンプレートマッチングにより当該道路標示の内容を識別する構成とすることができる。
【００１４】
本発明に係る道路付属物検出方法は、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する方法であって、それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割ステップと、前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出ステップと、前記点群データに基づいて前記地物の壁面を検出する壁面検出ステップと、前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出ステップと、前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合ステップと、を有する。
【００１５】
本発明に係るプログラムは、コンピュータに、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する処理を行わせるためのプログラムであって、当該コンピュータを、それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段、前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段、前記点群データに基づいて前記地物の壁面を検出する壁面検出手段、前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段、及び前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段、として機能させる。
【発明の効果】
【００１６】
本発明によれば、道路付属物を高精度に自動的に検出することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る道路付属物検出システムの概略の構成を示すブロック図である。
【図２】道路標識の例を示す模式図である。
【図３】道路標識及びガードレールを検出対象とした本発明の道路付属物検出処理の概略のフロー図である。
【図４】検出対象が道路標識である場合の照合処理を説明するフロー図である。
【図５】検出対象がガードレールである場合の照合処理を説明するフロー図である。
【図６】道路標示を検出対象とした本発明の道路付属物検出処理の概略のフロー図である。
【図７】車載カメラで撮影した画像の模式図である。
【図８】図７の画像を画像分割手段により処理した結果を示す模式図である。
【図９】壁面検出手段の概略の構成を示すブロック図である。
【図１０】本発明の実施形態に係る壁面抽出システムによる壁面抽出処理の概略のフロー図である。
【図１１】部分空間設定手段及び部分空間選択手段による処理の概略のフロー図である。
【図１２】ブロック空間設定手段及び水平面内探索手段による処理の概略のフロー図である。
【図１３】ブロック空間でのエッジの探索処理を説明する模式図である。
【図１４】垂直位置決定手段及び壁面形状決定手段による処理の概略のフロー図である。
【図１５】垂直位置決定手段による垂直探索空間における点群のグループ化を説明するための説明図である。
【図１６】壁面要素の形状を求める処理を説明する模式図である。
【図１７】追跡手段による処理の概略のフロー図である。
【図１８】連続壁面追跡処理の概略のフロー図である。
【図１９】連続壁面追跡処理の概略のフロー図である。
【図２０】エッジの微調整処理の概略のフロー図である。
【図２１】エッジの微調整処理の概略のフロー図である。
【図２２】壁面要素登録手段による処理の概略のフロー図である。
【図２３】或る階層における主エッジについての処理を終えた後の処理フロー図である。
【図２４】多重エッジ処理の概略のフロー図である。
【図２５】多重エッジ処理を説明する模式図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態（以下実施形態という）である道路付属物検出システム２について、図面に基づいて説明する。本システムは、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する道路付属物検出装置である。画像及び点群データは例えば、自動車にカメラ及びレーザスキャナを搭載したモービルマッピングシステムを用いて、道路を走行しながら取得することができる。
【００１９】
モービルマッピングシステムでは、レーザスキャナは自動車の上部に搭載され、周囲にレーザを照射する。レーザの光軸は仰俯角及び方位角を変えることにより垂直方向及び水平方向に走査され、走査範囲内にて微小角度ごとにレーザパルスが発射される。レーザの発射から反射光の受信までの時間に基づいて距離が計測され、またその際、レーザの発射方向、時刻、及び車体の位置・姿勢などが計測される。それら計測データから、レーザパルスを反射した点の三次元座標を表す点群データが求められる。点群データの取得と同時に、カメラを用いてカラー画像が撮影される。車体の位置・姿勢の計測は例えば、ＧＰＳ／ＩＭＵ（Global Positioning System：全地球測位システム、Inertial Measurement Unit：慣性計測装置)を用いて行われる。なお、レーザスキャナやカメラを地上に設置して計測を行っても良い。
【００２０】
点群データが地物表面の三次元形状を表すには地物表面の凹凸のスケールに応じた点密度でレーザスキャンが行われる必要があり、また、画像は道路標識の表示内容を判読可能な解像度で撮影される必要がある。この点、車両や三脚を用いて道路等の地上から行うレーザスキャンや画像撮影は、例えば、道路に沿って設置される道路標識、道路標示、ガードレールなどの道路付属物、及び道路近傍に建つ建物、塀及び看板などが有する垂直面（壁面）の形状や当該面の模様を捉えることができる程度の走査密度、画像解像度を実現できる。
【００２１】
図１は、道路付属物検出システム２の概略の構成を示すブロック図である。本システムは、演算処理装置４、記憶装置６、入力装置８及び出力装置１０を含んで構成される。演算処理装置４として、本システムの各種演算処理を行う専用のハードウェアを作ることも可能であるが、本実施形態では演算処理装置４は、コンピュータ及び、当該コンピュータ上で実行されるプログラムを用いて構築される。
【００２２】
当該コンピュータのＣＰＵ（Central Processing Unit）が演算処理装置４を構成し、後述する画像分割手段２０、候補画像領域抽出手段２２、壁面検出手段２４、候補壁面抽出手段２６、照合手段２８、道路標識識別手段３０、路面画像領域抽出手段３２、及び道路標示検出手段３４として機能する。
【００２３】
記憶装置６はコンピュータに内蔵されるハードディスクなどで構成される。記憶装置６は演算処理装置４を画像分割手段２０、候補画像領域抽出手段２２、壁面検出手段２４、候補壁面抽出手段２６、照合手段２８、道路標識識別手段３０、路面画像領域抽出手段３２及び道路標示検出手段３４として機能させるためのプログラム、及びその他のプログラムや、本システムの処理に必要な各種データを記憶する。例えば、記憶装置６は、処理対象データとして解析の対象空間の点群データ及び対象空間を撮影した画像を格納される。例えば、道路及びその近傍領域が解析の対象空間とされる。また、カメラ、レーザスキャナを搭載した車両の位置・姿勢を計測した車載ＧＰＳ／ＩＭＵの計測データも記憶装置６に格納される。
【００２４】
また、記憶装置６は、道路付属物のうち検出対象とするものの画像特徴情報３６及び、検出対象のコンフィグレーション（configuration）に関する情報、すなわち対象空間における形状、大きさ及び配置（位置、向き）の少なくともいずれかに関する情報を含んだ当該検出対象の形態特徴情報３８を予め記憶する。
【００２５】
入力装置８は、キーボード、マウスなどであり、ユーザが本システムへの操作を行うために用いる。
【００２６】
出力装置１０は、ディスプレイ、プリンタなどであり、本システムにより求められた道路付属物の対象空間内での位置を画面表示、印刷等によりユーザに示す等に用いられる。
【００２７】
例えば、本システムは、道路標識、道路標示及びガードレールを検出対象とする。道路標識は案内標識、警戒標識、規制標識、指示標識の４種類に大別される本標識と、さらに本標識の意味を補足するための補助標識がある。
【００２８】
図２は道路標識の例を示す模式図である。案内標識は地名や交差点での行き先などの案内を示す標識である。基本的に、一般道路に関わる案内標識は青地に白で文字等が記され、自動車専用道路に関わる案内標識は緑地に白で文字等が記される。例えば、図２（ａ）に示す案内標識６０は一般道路にて方面、方向及び距離を標示するものであり、青地の矩形平板に文字・記号が白で描かれ、これが画像上の特徴となる。一般道路の案内標識には白地平板に青で枠と表示内容とが描かれるものもある。また、矩形以外の形状の案内標識も存在し、例えば、図２（ｂ）に示す国道番号の案内標識６２は丸みを帯びた逆三角形であり、図２（ｃ）に示す都道府県道番号の案内標識６４は六角形である。また、一般道路の案内標識には白地青枠の平板に青で文字等を記すものもある。例えば、図２（ｄ）に示す都府県の案内標識６６は白地の矩形平板に青で枠６６ａと都府県の標示６６ｂとが描かれる。
【００２９】
警戒標識は警戒すべきことを示す標識である。図２（ｅ）に示す警戒標識７０は黄色地で菱形（対角線を鉛直及び水平方向に向けた正方形）の平板に黒枠７０ａ及び基本的に黒色の絵柄７０ｂが描かれる。
【００３０】
規制標識は何らかの行動を禁止・規制する標識であり、多くが丸型で、禁止・徹底事項は赤の縁取りで内側に青で文字や絵柄が描かれたり、赤の斜線が描かれたりする。例えば、図２（ｆ）に示す通行止めの規制標識７２には赤の縁取り７２ａの内側に赤の斜線７２ｂ及び青文字７２ｃが描かれる。また、丸形や矩形の青地平板に白で絵柄を示す規制標識もある。
【００３１】
指示標識は何らかの許可や命令、横断歩道など道路上の施設を示す標識であり、多くは図２（ｇ）に示す指示標識７４のように正方形で青地７４ａに白で文字・図形７４ｂが描かれる。
【００３２】
道路標識は道路交通法および道路法に基づいて設置されるものであり、上述のように道路標識の形状、色及び、文字・図形の内容又はその表示方式は予め規定されている。当該規定に基づく特徴が画像特徴情報３６として記憶装置６に予め格納される。
【００３３】
また、道路標識の大きさ、設置位置（高さ）についても規定が存在する。形態特徴情報３８は、道路標識の形状、大きさ、又は配置に関する情報を含んで構成される。形態特徴情報３８は、それらについて予め設けられている規定に基づいて抽出され記憶装置６に予め格納される。
【００３４】
道路標示は道路交通法および道路法に基づき道路の路面に描かれた道路鋲、ペイント、石等による線、記号又は文字であり、例えば、路側帯や車線の境界線を示す白線などである。道路標示の画像特徴情報３６として、予め規定された標示パターンや色が記憶装置６に格納される。例えば、色には白、オレンジなどが規定されている。道路標示の形態特徴情報３８として、設置位置が路面であることが記憶装置６に予め記憶される。
【００３５】
ガードレールは、道路の路肩や歩道との境界や中央分離帯などに設けられる防護柵であり、８０ｃｍ程度の高さに道路に沿って水平方向に鋼板などが延在される。標準的な色は白色であるが、景観に配慮して黄色など白色以外の色も用いられ、また高速道路や国道などでは灰色のものや銀色のものがある。ガードレールの画像特徴情報３６として、水平方向に細長い形状や色が記憶装置６に格納される。また、形態特徴情報３８として、形状、垂直方向の寸法の範囲、設置高さなどが記憶装置６に予め記憶される。
【００３６】
図３は、道路付属物検出システム２による道路標識及びガードレールを検出対象とした道路付属物検出処理の概略のフロー図である。この図３を参照しながら、演算処理装置４の当該処理に関係する各手段を説明する。
【００３７】
画像分割手段２０は、車載カメラにより撮影されたカラー画像において画素値が互いに類似する隣接画素をまとめることで当該画像から複数の断片を抽出する（Ｓ１）。これにより、画像は、画素値が所定の類似性を有する画素からなる複数の画像断片（セグメント）に分割される。ここでは当該各画像断片を部分画像領域と称する。部分画像領域に分割する処理は一般にセグメンテーションと称される手法により実現される。例えば、代表的なセグメンテーションの方式としてｋ平均法や平均シフト法が知られている。
【００３８】
候補画像領域抽出手段２２は画像特徴情報３６を参照し、部分画像領域のうち検出対象の画像特徴（色彩、形状）を具備するものを候補画像領域として抽出する（Ｓ２）。
【００３９】
壁面検出手段２４は車載レーザスキャナにより取得された点群データに基づいて地物の壁面を検出する（Ｓ３）。この壁面検出処理Ｓ３についてはさらに後述する。
【００４０】
候補壁面抽出手段２６は形態特徴情報３８を参照し、検出された壁面のうち検出対象の形態特徴（形状、大きさ、配置）を具備するものを候補壁面として抽出する（Ｓ４）。
【００４１】
照合手段２８は候補画像領域と、画像の撮影位置から見た候補壁面の投影像とを照合し、照合結果に基づいて検出対象を検出する（Ｓ５）。具体的には、照合手段２８は車載カメラの視点・視線方向に基づいて投影面を設定して、当該投影面への候補壁面の投影像を求める。そして、候補画像領域の画像内での位置・形状・大きさと、投影画像内での候補壁面の投影像の位置・形状・大きさとを比較して、互いの位置・形状・大きさが同じと見なせる所定の範囲内にあることにより対応関係にあると判断される候補画像領域と候補壁面との組を求める。
【００４２】
図４は検出対象が道路標識である場合の照合処理Ｓ５を説明するフロー図である。道路標識の水平面内の位置は道路（車道部分、歩道部分及び路肩）であり、当該道路より外側部分には道路標識は配置されない。そこで、照合手段２８は、対象空間のうち道路より外側部分を除く領域で道路標識を検出する。つまり、道路標識の候補画像領域に対応する候補壁面が存在した場合、その水平面内の位置を調べ、道路より外側であれば道路標識として検出しない（Ｓ１０）。ここで水平面内での道路領域は予め得られている道路データを用いて判断することができる。また、車載レーザスキャナで取得した点群データを解析して、路面、道路沿いの建物の壁面位置、路肩や歩道の境界の段差位置を抽出することができ、当該解析結果を用いて道路標識が設置され得る道路領域を判断することもできる。
【００４３】
なお、上述の水平面内の位置に基づく道路標識の候補の絞り込みを照合手段２８で行う代わりに、候補壁面抽出手段２６が道路より外側部分を除く領域で道路標識の候補壁面を抽出するように構成してもよい。
【００４４】
照合手段２８は、道路標識について上述の水平面内の位置に基づく候補の絞り込みに加えてさらに、高さに基づく候補の絞り込みを行う（Ｓ１１）。道路標識の設置高さについては路側式、片持式、門型式及び添架式といった設置方法ごとに設置基準が設けられている。照合手段２８はレーザ点群データに基づく候補壁面の高さを用い、当該高さが道路標識の設置基準に適合していない場合、当該候補壁面に対応する候補画像領域が存在しても道路標識として検出しない。ここで、路側式の高さは比較的低い範囲に定められており、一方、標識の下を車両が通過する片持式、門型式及び添架式では比較的高い範囲が規定されている。そこで、水平面内の候補壁面の位置が路肩や歩道の縁である場合には路側式の設置基準に応じた高さ範囲の候補に絞り込み、一方、水平面内の候補壁面の位置が車道内である場合には片持式、門型式及び添架式の設置基準に応じた高さ範囲の候補に絞り込む構成とすることができる。
【００４５】
また、道路標識の大きさについても基準が定められており、照合手段２８はレーザ点群データに基づく候補壁面の大きさを用い、当該大きさが道路標識の基準に適合していない場合、当該候補壁面に対応する候補画像領域が存在しても道路標識として検出しない（Ｓ１２）。
【００４６】
互いに対応する候補画像領域と候補壁面との組のうち、上記処理Ｓ１０〜Ｓ１２による絞り込みで残ったものは道路標識であると確定される。
【００４７】
ここで、ステップＳ２において、光線の加減で画像上での色彩が不鮮明になったり、道路標識の一部が樹木などで隠されるなどして、道路標識に応じた形状に候補画像領域が抽出されないといった影響により、照合が成立せず抽出漏れが生じる可能性がある。照合手段２８は当該抽出漏れを補正する構成とすることができる（Ｓ１３）。例えば、道路標識の設置基準を満たす位置・大きさの候補壁面のうち、道路標識の候補画像領域に対応するものが見つからなかったものについて、当該候補壁面の上記投影像に対応する領域の画像情報に基づき道路標識であるか否かを判定する。例えば、当該投影像に対応する領域の画素値の色ヒストグラムを求め、道路標識に用いられる各色（青、緑、赤、黄、白、黒）の強度や色の強度のバランスから道路標識であるか否か、またどの種類の標識である可能性が高いかを判定することができる。また、当該判定に際しては、候補壁面の位置・形状・大きさを考慮してもよい。例えば、黄色と黒が多く存在する場合に、形状が菱形であれば道路標識である、または警戒標識であると判定するが、丸形のように他の形状であれば道路標識ではないと判定することができる。
【００４８】
照合手段２８はガードレールについても上述の道路標識についてと似た処理を行う。 図５は検出対象がガードレールである場合の照合処理Ｓ５を説明するフロー図である。ガードレールの水平面内の位置は基本的に路肩部分又は車道と歩道との境界部分や、中央分離帯の部分であり、当該道路（路肩）より外側部分、及び車道内（車両が走行する領域であり中央分離帯部分は除かれる）にはガードレールは配置されない。そこで、照合手段２８は、対象空間のうち道路より外側部分及び車道部分を除く領域でガードレールを検出する。つまり、ガードレールの候補画像領域に対応する候補壁面が存在した場合、その水平面内の位置を調べ、道路より外側又は車道内であればガードレールとして検出しない（Ｓ１５）。
【００４９】
なお、上述の水平面内の位置に基づくガードレールの候補の絞り込みを照合手段２８で行う代わりに、候補壁面抽出手段２６が道路より外側部分と車道部分とを除く領域でガードレールの候補壁面を抽出するように構成してもよい。
【００５０】
照合手段２８は、ガードレールについて上述の水平面内の位置に基づく候補の絞り込みに加えてさらに、高さに基づく候補の絞り込みを行う（Ｓ１６）。また、照合手段２８はレーザ点群データに基づいて候補壁面の大きさ、向きを計算し、それらがガードレールに適合していない場合、当該候補壁面に対応する候補画像領域が存在してもガードレールとして検出しない（Ｓ１７）。
【００５１】
互いに対応する候補画像領域と候補壁面との組のうち、上記処理Ｓ１５〜Ｓ１７による絞り込みで残ったものはガードレールであると確定される。
【００５２】
ここで、照合手段２８はガードレールについても抽出漏れを補正する構成とすることができる（Ｓ１８）。例えば、ガードレールの候補壁面に対応する候補画像領域が見つからなかった場合、当該候補壁面の投影像に対応する領域の画像情報に基づきガードレールであるか否かを判定する。例えば、当該投影像に対応する領域の画素値の色ヒストグラムを求め、白色が多ければガードレールと判定することができる。
【００５３】
以上、図３の照合処理Ｓ５について図４、図５を用いて説明した。演算処理装置４は照合処理Ｓ５に続いて図３に示すように道路標識の識別処理Ｓ６、及び検出された道路標識及びガードレールの位置決定処理Ｓ７を行う。
【００５４】
道路標識識別手段３０は道路標識の識別処理を行い、標識の種類（案内標識、警戒標識、規制標識、指示標識、補助標識のいずれであるか）、又は表示内容を識別する（Ｓ６）。道路標識識別手段３０は道路標識に対応する画像領域でのテンプレートマッチングにより当該道路標識の種類又は表示内容を識別する。道路標識の種類や表示内容のテンプレートは予め記憶装置６に、例えば画像特徴情報３６として格納される。あるいは、予め道路標識データベースが得られている場合にはこれを記憶装置６に格納し、画像特徴情報３６の代わりに用いてもよい。道路標識には表示内容が予め定まっているものと、地名や距離などに応じて表示内容が変更されるものとがある。これらのうち表示内容が予め固定されているものについては、その内容をテンプレートとして記憶装置６に格納し、これを道路標識と確定された候補画像領域とマッチング処理して、標識種類や表示内容が識別される。表示内容に地名や距離など変更される部分を含むものについては、当該変更される部分を除いたテンプレートが予め記憶装置６に格納されマッチング処理に用いられ、標識種類を識別することができる。この場合、地名や距離などの画像部分を別途、文字認識して表示内容まで特定することも可能である。なお、テンプレートマッチングは、候補壁面から所定距離離れた正面位置から見た画像としてテンプレートを記憶しておき、候補壁面の位置情報を用いて、例えば、候補画像領域の画像を候補壁面の正面から見た画像に変換するか、逆にテンプレートを候補画像領域に合わせて三次元空間内で座標変換した上で行うことが好適である。
【００５５】
演算処理装置４は、上述のようにして確定された道路標識及びガードレールについて、車載ＧＰＳ／ＩＭＵの計測データを用いて位置を求める（Ｓ７）。例えば、確定された道路標識及びガードレールについて、演算処理装置４は、候補壁面、候補画像領域（又は候補壁面の投影像に対応する領域の画像）、道路標識の種類・表示内容、及び位置を検出結果として記憶装置６に記憶したり出力装置１０に出力したりする。
【００５６】
図６は、道路付属物検出システム２による道路標示を検出対象とした道路付属物検出処理の概略のフロー図である。候補画像領域抽出手段２２は画像分割手段２０により得られた部分画像領域の中から、道路標示についての候補画像領域（道路標示候補）を抽出する（Ｓ２０）。記憶装置６には予め道路標示の画像特徴情報３６が格納される。あるいは、予め道路標示データベースが得られている場合にはこれを記憶装置６に格納し、画像特徴情報３６の代わりに用いてもよい。候補画像領域抽出手段２２はこれらを用いて、特徴情報や画像の対比により道路標示候補を抽出する。
【００５７】
道路標示の位置は道路面である。そこで、路面画像領域抽出手段３２は、レーザ点群データに基づいて、画像にて道路面に対応する路面画像領域を抽出する。そして、道路標示検出手段３４は道路標示候補の画像における位置が路面画像領域内であるか否かを調べ、路面画像領域内であれば当該道路標示候補を道路標示と判定する（Ｓ２１）。さらに、道路標示検出手段３４は、道路標示の表示内容（標示パターンや色）を識別してもよい。この場合、道路標示の表示内容を画像特徴情報３６や道路標示データベースとして記憶装置６に格納し、道路標示検出手段３４はこれを道路標示と判定した道路標示候補とマッチング処理して、表示内容を識別する。なお、テンプレートマッチングは、道路標示候補から道路面法線方向に所定距離離れた位置から見た画像としてテンプレートを記憶しておき、レーザ点群データが表す位置情報を用いて、例えば、道路標示候補の画像を道路面法線方向から見た画像に変換するか、逆にテンプレートを道路標示候補に合わせて三次元空間内で座標変換した上で行うことが好適である。
【００５８】
図７は車載カメラで撮影した画像の模式図であり、路側式の道路標識８０、片持式の道路標識８２、ガードレール８４、道路標示８６が撮影されている。図８は図７の画像を画像分割手段２０により処理した結果を示す模式図であり、複数の部分画像領域９０に分割される。
【００５９】
次に、壁面検出処理Ｓ３について説明する。図９は壁面検出手段２４の概略の構成を示すブロック図である。壁面検出手段２４は、部分空間設定手段４０、部分空間選択手段４２、ブロック空間設定手段４４、水平面内探索手段４６、垂直位置決定手段４８、壁面形状決定手段５０、追跡手段５２、及び壁面要素登録手段５４を有する。
【００６０】
図１０は、壁面検出手段２４による壁面抽出処理の概略のフロー図である。この図１０を参照しながら、壁面検出手段２４を構成する各手段を説明する。
【００６１】
部分空間設定手段４０は、対象空間を垂直面によって分割して得られる柱状の複数の部分空間を壁面抽出の処理の初期の単位空間として設定する（Ｓ４０）。本実施形態では、部分空間設定手段４０は、対象空間を水平面（ＸＹＺ直交座標系でＸ−Ｙ平面とする）内にて二次元直交格子（メッシュ）状に分割して四角柱形状の部分空間を生成する。例えば、部分空間の水平断面は幅Ｗ及び奥行きＤが５０ｃｍの正方形とすることができる。部分空間の高さＨは対象空間の高さ（Ｚ軸方向の寸法）と一致させることができ、その高さは検出目的とする壁面の高さ、具体的には道路標識やガードレールが配置された高さより大きく設定される。なお、部分空間設定手段４０を構成するプログラムでは、幅Ｗ、奥行きＤ及び高さＨはパラメータ化されており、例えば、ユーザが入力装置８を用いて変更することができる。
【００６２】
部分空間選択手段４２は部分空間のうち予め設定した閾値以上の高低差を有する点群を含むものを注目部分空間として選択する。具体的には、部分空間選択手段４２は、複数設定された部分空間を所定の順序で選択し、当該部分空間内の点群に閾値以上の高低差が存在する場合に、当該部分空間を注目部分空間とする。上述したように点群データは道路上の車両に搭載されたレーザスキャナからのレーザ照射によって取得され、当該レーザスキャナから見える壁面が点群データによる三次元形状上に捉えられる。そこで、部分空間選択手段４２は例えば、当該三次元形状にて道路等に対応する平面の部分に基づいて基準平面を決定し、また、道路に沿って道幅内に水平に当該三次元形状の中心線を設定する（Ｓ４２）。そして、当該中心線に沿って順番に部分空間の選択の起点を設定し、中心線に直交する線に沿って両側方向に当該起点から近い順に部分空間を選択して（Ｓ４４）、選択した部分空間内の点群の高低差が閾値以上であれば当該部分空間を注目部分空間と判定する（Ｓ４６）。
【００６３】
ブロック空間設定手段４４は、注目部分空間を水平面によって分割して、縦に積み重なる複数のブロック空間を設定する（Ｓ４８）。例えば、ブロック空間の高さＨＢは部分空間の幅Ｗ、奥行きＤと同程度に設定することができる。
【００６４】
水平面内探索手段４６は、ブロック空間ごとに、水平面内にて当該水平面に射影された点群が予め設定した基準以上に近傍に集まる線分を探索して、当該線分を水平面内における壁面の位置（水平面内壁面位置）と定める（Ｓ５０）。ブロック空間ごとに水平面内壁面位置を探索することで、垂直方向に細長い注目部分空間にて異なる高さに存在し得る、位置・向きが相違した複数の壁面を弁別できる。
【００６５】
垂直位置決定手段４８は、対象空間にて水平面内壁面位置に存在する壁面の垂直方向の位置を求める（Ｓ５２）。具体的には、垂直位置決定手段４８は、注目部分空間にて検出される水平面内壁面位置ごとに、当該注目部分空間の点群のうち水平面への射影位置が当該水平面内壁面位置から予め設定した距離内にあるものを注目点群として抽出する。そして、水平面内壁面位置ごとに抽出された注目点群について、垂直方向の位置に関して当該注目点群が予め設定した閾値以上存在する各範囲を当該水平面内壁面位置での垂直方向壁面位置と定める。これにより、或るブロック空間で検出された水平面内壁面位置に基づいて、当該ブロック空間以外の高さ範囲にて当該水平面内壁面位置に存在する壁面も検出される。例えば、連続する複数のブロック空間に跨がる壁面について一つの垂直方向壁面位置が定められる。また、高さ方向に分離した複数の壁面が同じ水平面内壁面位置に存在する、つまり壁面が垂直方向に階層をなす場合には、それら階層をなす壁面それぞれについて垂直方向壁面位置が求められる。
【００６６】
水平面内壁面位置と当該水平面内壁面位置に対する垂直方向壁面位置との組は、注目部分空間内の一枚の壁面の配置を表す。当該壁面は当該注目部分空間の外側、つまり横方向に広がるより大きな壁面の一部であり得ることから、ここでは壁面要素と称する。
【００６７】
壁面形状決定手段５０は、水平面内壁面位置において各垂直方向壁面位置に存在する壁面要素の形状を、当該垂直方向壁面位置での注目点群の分布範囲に基づいて求める（Ｓ５４）。具体的には、壁面形状決定手段５０は、水平面内壁面位置を通る鉛直面にて注目点群を射影し、射影された点群の分布範囲に基づいて壁面要素の形状を求める。当該形状は、平行な２辺である上底及び下底を鉛直方向に設定され、かつ鉛直面に射影された点群の分布範囲を近似する台形とされる。
【００６８】
追跡手段５２は、既に検出されている水平面内壁面位置における垂直方向壁面位置ごとに、当該水平面内壁面位置の端部に連なる新たな水平面内壁面位置を求める（Ｓ５６）。追跡手段５２は壁面要素の横方向に隣接する直方体の空間を設定し、当該隣接空間内の点群を水平面に射影し、射影された点群が予め設定した基準以上に近傍に集まる線分を探索して新たな水平面内壁面位置と定める。当該処理を順次繰り返すことで、注目部分空間にて特定された壁面要素から横方向に連続する壁面の水平面内壁面位置がトレースされる。
【００６９】
具体的には、隣接空間は、平面形状が既検出の水平面内壁面位置の端部に短辺の中点を接続された長方形である直方体に設定される。ここでは、当該長方形の長辺に沿った中心線を水平面内での隣接空間の向きとする。また、当該隣接空間の高さ、つまり直方体の上面と底面とで定義される垂直方向の範囲は、垂直方向壁面位置に対応した位置に配置される。
【００７０】
追跡手段５２はまず、既検出の水平面内壁面位置を真っ直ぐに延長した向きに隣接空間を設定する。つまり、隣接空間はその平面形状の長方形の上記中心線が既検出の水平面内壁面位置の延長線に一致するように配置される。そして、当該隣接空間内に点群が予め設定した基準以上に集まる場合には当該隣接空間内の点群の水平面内での分布に沿った線分を新たな水平面内壁面位置とする。一方、既検出の水平面内壁面位置の延長線に向きを一致させて設定した隣接空間にて新たな水平面内壁面位置が検出されなかった場合は、追跡手段５２は隣接空間の向きを変化させて水平面内壁面位置を探す。つまり、向きを変化させた隣接空間のうち内部に最も点群が集まるものを探索し、得られた当該隣接空間内の点群の水平面内での分布に沿った線分を新たな水平面内壁面位置とする。
【００７１】
上述のようにして対象空間にて検出された壁面要素に関する情報は壁面要素登録手段５４により記憶装置６に登録される。登録された壁面要素の形状の情報や接続関係の情報は道路標識やガードレールの壁面形状の認識に用いられる他、道路端の段差や沿道の建物の形状把握に用いることができる。
【００７２】
以下、壁面検出手段２４の処理例をより詳しく説明する。図１１、図１２、図１４、図１７〜図２４は、演算処理装置４が実行する一連の処理の流れを分割して示す処理フロー図である。図１１に示す処理は上述した部分空間設定手段４０及び部分空間選択手段４２による処理に当たる。壁面検出手段２４が壁面抽出処理を開始すると（Ｓ６０）、部分空間設定手段４０は、対象空間内に部分空間を順次作成する。例えば、対象空間をＸ軸方向及びＹ軸方向に沿ってメッシュ状に分割する場合、部分空間の幅Ｗ及び奥行きＤがパラメータとして設定されると、それらが当該メッシュの間隔（部分空間のサイズ）となり、対象空間のサイズに応じてＸ，Ｙ各方向の部分空間の配列個数が定まる。当該配列個数により、Ｘ，Ｙ各方向の部分空間の位置を示すインデックスの範囲が決定される。部分空間設定手段４０は、部分空間の二次元メッシュ状の配置を表すインデックスを所定の順番で変更し、設定されたインデックスに応じた位置（Ｘ，Ｙ各方向の座標範囲）で定義される部分空間を設定する（Ｓ６２）。
【００７３】
ここで、道路を走行する車両上からレーザ照射を行い点群データを取得した場合、上述したように、点群データが表す三次元形状にて道路等に対応する平面の部分に基づいて基準平面が設定され、道路に沿って当該三次元形状の中心線が設定される。説明を簡単にするために、当該中心線をＸ軸（つまりＹ＝０）とし、車両が走行する方向にＸ方向のインデックスが増加し、道幅方向に対応するＹ方向に関しては、中心線から離れるに従ってインデックスの絶対値が増加するものとする。例えば、Ｙ方向のインデックスは中心線の位置では０とし、走行方向に対して左向きに、１，２，３，…と設定し、右向きには−１，−２，−３，…と設定することができる。この場合、部分空間設定手段４０は例えば、Ｘ方向のインデックスを順番にインクリメントし、Ｘ方向のインデックスの各値にて、Ｙ軸の正方向と負方向との両方向にＹ方向のインデックスを変化させる。すなわち、部分空間設定手段４０はＸ方向の或るインデックスの値にて、Ｙ方向のインデックスを０から順番に増加させて部分空間を設定し、また−１から順番に減少させて部分空間を設定する。
【００７４】
インデックス指定されたメッシュの部分空間が未処理のものであれば（Ｓ６４にて「Ｎｏ」の場合）、部分空間選択手段４２は当該部分空間内の点群を例えば、ハードディスク等の記憶装置６からＲＡＭ（Random Access Memory）等の作業領域に取り込む（Ｓ６６）。部分空間に取り込んだ点群内に所定閾値Ｔｈ１以上の高低差がある場合（Ｓ６８にて「Ｙｅｓ」の場合）には、部分空間選択手段４２は当該部分空間を注目部分空間と判断して、当該注目部分空間での水平面内壁面位置や垂直方向壁面位置の探索等の処理が開始される（図１２のノードＢへ処理が進む）。例えば、閾値Ｔｈ１は道路等の地表の略平坦な部分のみを含む部分空間を排除できる程度に小さく設定することができる。また、閾値Ｔｈ１を、壁面を検出しようとする地物の高さに応じて設定して、関心のない低い地物の壁面は検出しないようにすることもできる。例えば、道路標識を検出対象としてガードレールは検出対象としない場合には閾値Ｔｈ１を１ｍ程度に設定することができる。
【００７５】
設定した部分空間から取り込んだ点群の高低差が閾値Ｔｈ１未満である場合（Ｓ６８にて「Ｎｏ」の場合）には、当該部分空間における壁面抽出処理は行わない。この場合は、部分空間設定手段４０が次の部分空間を設定する（ノードＡへ処理が戻る）。
【００７６】
全てのメッシュについて処理が終わっている場合は（Ｓ６４にて「Ｙｅｓ」の場合）、演算処理装置４は壁面抽出の処理を終える（Ｓ７０）。
【００７７】
図１２は演算処理装置４が実行する一連の処理のうち上述したブロック空間設定手段４４及び水平面内探索手段４６が行う部分の概略の処理フロー図である。
【００７８】
ブロック空間設定手段４４は、注目部分空間を一定の高さＨＢごとに水平面により分割して、縦に積み重なる複数のブロック空間を設定し、各ブロック空間内に位置する点群のデータを記憶装置６からＲＡＭ等の作業領域に取り込む（Ｓ８０）。例えば、部分空間の幅Ｗ、奥行きＤを５０ｃｍとする場合にはブロック空間の高さＨＢは２０〜５０ｃｍとすることができる。当該分割により設定されるブロック空間の段数をｎ段とし、インデックスＩを用いて下から順に第Ｉ階(Ｉ＝１，２，…，ｎ）と表す。
【００７９】
水平面内探索手段４６はｎ段のブロック空間を順番に選択して、当該ブロック空間にエッジ（水平面内壁面位置）が存在するかを調べる。例えば、水平面内探索手段４６はインデックスＩを１ずつ増加させて、エッジの存在を調べるブロック空間を選択する（Ｓ８２，Ｓ８４）。水平面内探索手段４６は、選択した第Ｉ階のブロック空間にエッジが存在するかを調べ（Ｓ８６）、存在しない場合には（Ｓ８８にて「Ｎｏ」の場合）次のブロック空間を選択する（Ｓ８４）。なお、Ｉがｎを越えた場合には、図１１のノードＡに戻り、次の注目部分空間を探す（Ｓ９０）。
【００８０】
図１３はブロック空間でのエッジの探索処理Ｓ８６を説明する模式図である。図１３は、ブロック空間を上面から見た図であり、ブロック空間の幅Ｗ及び奥行きＤで定義される矩形１００と、ブロック空間内の点群のＸ−Ｙ面内での配置の一例が示されている。水平面内探索手段４６は、ブロック空間内の点群から任意の２つのデータ点ＰＡ，ＰＢを選択し、それら２点を両端とするＸ−Ｙ面内での線分Ｌ０をエッジの候補線として設定すると共に、線分Ｌ０を中心としてその両側にそれぞれ幅ｗ（合計幅２ｗ）の帯状領域ＥＡを設定する。水平面内探索手段４６は点群のうちＸ−Ｙ平面での座標が当該領域ＥＡ内に位置するデータ点の個数をカウントする。データ点が領域ＥＡ内であるか否かは例えば、Ｘ−Ｙ平面上での当該データ点から線分Ｌ０への垂線の長さがｗ以下であるか否かによって判定可能である。また、エッジの条件として、領域ＥＡ内の点群が表す三次元形状が平坦でないことを課す。具体的には、水平面内探索手段４６は、領域ＥＡ内に包含されるデータ点の高低差（最大標高と最小標高との差）ΔＺが予め設定した段差閾値γ以上であれば平坦ではないと判定する。
【００８１】
ここで、幅ｗはパラメータであり、壁面に対応するデータ点のエッジに直交する方向の位置のばらつきを吸収する。例えば、ｗは３ｃｍ程度とすることができる。また、高低差の閾値γは例えば２ｃｍ程度に設定できる。
【００８２】
水平面内探索手段４６は、ブロック空間内の２つのデータ点の全ての組み合わせについて候補線を設定して上述の判定を行い、領域ＥＡ内に最もデータ点が多く集まり、かつΔＺが閾値γ以上である線分Ｌ０をブロック空間にて見つけられたエッジとする。エッジが存在した場合には（Ｓ８８にて「Ｙｅｓ」の場合）、当該エッジが壁面要素を決定するための処理を行われていない新規なものであるか判定される（Ｓ９２）。当該判定は、壁面要素を決定するための処理の対象とされたエッジを登録したリストを検索して、処理Ｓ８６で見つけられたエッジと同一のものが存在するか否かに基づいて行われる。リストに同一のものが存在しなければ新規なエッジと判定し（Ｓ９２にて「Ｎｏ」の場合）、リストにエッジの両端ＰＡ，ＰＢの座標（ａｘ，ａｙ），（ｂｘ，ｂｙ）を登録する（Ｓ９４）。このように或るブロック空間にて新たなエッジが検出されると、当該エッジについて当該注目部分空間での垂直方向壁面位置の探索、及び壁面要素の形状の決定が行われる（図１４のノードＤへ処理が進む）。一方、処理Ｓ８６にて見つけられたエッジと同一のエッジが他のブロック空間についての処理で既にリストに登録されると共に、垂直方向壁面位置の探索等の処理が行われている場合もあり、その場合は（Ｓ９２にて「Ｙｅｓ」の場合）、当該エッジについてのリストへの登録や垂直方向壁面位置の探索等の処理は省略され、水平面内探索手段４６は次のブロック空間について処理を行う（ノードＣへ処理が戻る）。
【００８３】
図１４は垂直位置決定手段４８及び壁面形状決定手段５０の概略の処理フロー図である。垂直位置決定手段４８は、処理Ｓ８６にて抽出されたエッジＬ０での垂直方向における壁面の位置を探索するための空間として垂直探索空間を設定し、当該垂直探索空間内に位置する点群のデータを記憶装置６からＲＡＭ等の作業領域に取り込む（Ｓ１１０）。垂直探索空間は、平面形状がエッジＬ０を長手方向の中心軸とする矩形である直方体形状の空間であり、その底面及び上面は部分空間の底面及び上面と同じ高さに位置する。平面形状の矩形の短辺の寸法ξは例えば、エッジを抽出した帯状領域ＥＡの幅２ｗと同じ、またはやや大きめに設定することができる。例えば、ξは１０ｃｍに設定することができる。
【００８４】
垂直位置決定手段４８は垂直探索空間内の点群をＺ方向の分布に基づいてグループ化する（Ｓ１１２）。これにより或る水平面内壁面位置における垂直方向の壁面の階層構造が捉えられる。
【００８５】
グループ化において垂直位置決定手段４８は例えば、垂直探索空間に取り込んだ点群の最小標高から上へ、又は最大標高から下へ向けて一定の刻み幅ｈでＺ方向に複数の区間を設定する。そして、当該区間に基づいて垂直探索空間内の点群を複数の階層（ランク）に区分し、ランクごとに点群の数（点数）を集計する。ここで刻み幅ｈに応じて、垂直方向に隣接した２つの壁面を分離して検出できる分解能が定まり、基本的にはｈはＨＢ以下に設定される。ここでｈが小さいほど分解能が高くなるが、ｈが小さすぎると、壁面が存在する高さ範囲の区間での点数が小さくなり、壁面が存在しない高さ範囲での点数（基本的には０であることが期待される）との弁別が難しくなる。ｈはこれらを勘案して設定される。垂直位置決定手段４８はランクごとに点群の数を集計した点群分布に基づいて、垂直探索空間における点群をグループ化する。具体的には、点群が集まっているランク範囲をそれぞれ点群の１つのグループとし、当該ランク範囲を１つの垂直方向壁面位置とする。
【００８６】
図１５はグループ化を説明するための説明図であり、ｈを０．２ｍとしてランクごとに点群の数を集計した結果である点群分布表の一例を示している。垂直位置決定手段４８は例えば、ランクを下（最小標高）から上へ順番に調べて、０より大きい点数を有するランクが連続する範囲ごとに順番にグループ番号を付与する。図１５に示す例では点数が０より大きいランク範囲は、ランク１〜４、ランク９〜１２、ランク１８〜２２、及びランク２５〜２６の４つであり、これらランク範囲に順番にグループ番号１〜４が付与される。なお、点数が０より大きいランクが単独で現れる場合、つまり当該ランクの前後では点数が０である場合には、垂直位置決定手段４８は当該１つのランクを１つのランク範囲としてグループ番号を付与する。
【００８７】
グループ化により定まる階層数をｍと表す。図１５に示す例ではｍは４である。壁面形状決定手段５０はｍ階層に設定されたランク範囲（垂直方向壁面位置）を順番に選択する。例えば、壁面形状決定手段５０はグループ番号Ｊを１ずつ増加させて、壁面要素の形状を決定するランク範囲を選択する（Ｓ１１４，Ｓ１１６）。そして、垂直探索空間に存在する点群のうち選択したランク範囲に存在するもののデータを記憶装置６からＲＡＭ等の作業領域に取り込み（Ｓ１２０）、当該点群データから壁面要素となる台形を決定する処理を行う（Ｓ１２２）。壁面要素の形状を決定できた場合には（Ｓ１２４にて「Ｙｅｓ」の場合）、当該壁面要素の横方向につながる壁面要素の水平面内壁面位置を順次求める追跡処理が開始される（図１７のノードＦへ処理が進む）。
【００８８】
なお、ｍ階層全てについて壁面要素の決定処理が終わると（Ｓ１１８にて「Ｙｅｓ」の場合）、図１２のノードＣへ戻り、次のエッジが探索され当該エッジについて同様の処理が繰り返される。また、或る階層にて壁面要素の形状を決定できなかった場合は（Ｓ１２４にて「Ｎｏ」の場合）、処理Ｓ１１６に戻り、次の階層についての処理が行われる。
【００８９】
図１６は壁面要素の形状を求める処理Ｓ１２２を説明する模式図であり、垂直探索空間に存在する点群のうち１つの階層に対応するものをエッジを通る鉛直面に射影した様子の一例を示している。図１６において矩形で示す鉛直面１３０に分布する黒点１３２が点群を射影した点である。矩形の鉛直面１３０は横方向がエッジに沿っており、左側がエッジの一方端ＰＡの側、右側が他方端ＰＢの側に対応している。また、鉛直面１３０の縦方向が鉛直方向であり、上端、下端はそれぞれランク範囲の上端、下端に対応している。壁面形状決定手段５０は鉛直面１３０を格子状に区切り、縦横に行列配置された複数の小矩形１３４を定義する。例えば、小矩形１３４の幅は１０ｃｍ程度、高さは５ｃｍ程度とすることができる。
【００９０】
壁面形状決定手段５０は、縦に並ぶ小矩形１３４の列を例えば左側から順に選択し、点群が射影される小矩形１３４が２つ以上存在する列を探す。そのような列が現れる範囲、つまり最初の位置（第ηＳ列）から最後の位置（第ηＥ列）までの列範囲が得られた場合には、さらに壁面要素の形状を特定する処理が行われる。一方、そのような列範囲が存在しない場合には当該階層には壁面要素は存在しないと判断される。
【００９１】
壁面形状決定手段５０は鉛直面１３０に射影された点群（黒点１３２）のうち左端部分に位置するものに基づいて台形の平行な２辺のうちの一方（ここではこれを台形の上底とする）とする鉛直線のＸ，Ｙ座標を定め、左端部分に分布する点群の標高に基づいて当該辺（上底）の両端のＺ座標を定める。また、右端部分に位置するものに基づいて台形の平行な２辺のうちの他方（ここではこれを台形の下底とする）とする鉛直線のＸ，Ｙ座標を定め、右端部分に分布する点群の標高に基づいて当該辺（下底）の両端のＺ座標を定める。例えば、壁面形状決定手段５０は、第ηＳ列と第（ηＳ＋１）列との２列における点群の分布に基づいて台形の上底のＸ，Ｙ座標及びその両端のＺ座標を定め、第ηＥ列と第（ηＥ−１）列との２列における点群の分布に基づいて台形の下底のＸ，Ｙ座標及びその両端のＺ座標を定める。この場合、具体的には、第ηＳ列と第（ηＳ＋１）列との２列における点群のＺ座標のうち最大値（点１３６に対応）及び最小値（点１３８に対応）を上底の両端のＺ座標とすることができ、第ηＥ列と第（ηＥ−１）列との２列における点群のＺ座標のうち最大値（点１４０に対応）及び最小値（点１４２に対応）を下底の両端のＺ座標とすることができる。上底のＸ，Ｙ座標は、点群のうち最も左側の点１４４や、第ηＳ列と第（ηＳ＋１）列との境界線１４６でのＸ，Ｙ座標で、また、下底のＸ，Ｙ座標は、点群のうち最も右側の点１４８や、第ηＥ列と第（ηＥ−１）列との境界線１５０でのＸ，Ｙ座標で定義することができる。
【００９２】
図１７は追跡手段５２の概略の処理フロー図である。追跡手段５２は注目部分空間にて検出されたエッジを連続追跡処理の基点として設定し（Ｓ１６０）、エッジリストＡ，Ｂを空にする初期化処理を行う（Ｓ１６２）。基点エッジについて取得された壁面要素が既に図形データベースに図形登録されているか調べ（Ｓ１６６）、登録されていない、つまり新規である場合には（Ｓ１６６にて「Ｎｏ」の場合）、当該壁面要素をエッジリストＡに追加する（Ｓ１６８）。
【００９３】
さらに追跡手段５２は、基点エッジの両端それぞれに連なるエッジを追跡する。具体的には、垂直方向壁面位置ごとに基点エッジの一方端ＰＡから伸びる向きに連なるエッジを順次検出し、検出したエッジに対応する壁面要素を求める連続壁面追跡処理が行われ、取得した壁面要素はエッジリストＡに追加登録される（Ｓ１７０）。同様に、基点エッジの他方端ＰＢから伸びる向きにも連続壁面追跡処理が行われ、取得された壁面要素はエッジリストＢに追加登録される（Ｓ１７２）。或る基点エッジについて追跡手段５２による処理が終わると、壁面要素登録手段５４による処理が行われる（図２２のノードＧへ処理が進む）。
【００９４】
一方、処理Ｓ１６６において、基点エッジでの壁面要素が既に図形データベースに図形登録されている場合には（Ｓ１６６にて「Ｙｅｓ」の場合）、演算処理装置４は、当該壁面要素についての追跡処理や登録処理は行わずに、処理を図２３に示すノードＨに進める。この場合の処理については後述する。
【００９５】
図１８、図１９は処理Ｓ１７０，Ｓ１７２にて行われる連続壁面追跡処理の概略のフロー図である。追跡手段５２は既に検出されているエッジに連続するエッジを探索する空間として直方体の探索空間を設定する。探索空間は既検出エッジの探索空間に隣接する空間であり、探索空間の平面形状である長方形の短辺の中点は既検出エッジの端部に配置される。また、探索空間のＺ値の範囲（上面及び底面の高さ）は、既検出エッジにおける壁面要素の垂直方向の位置に応じて設定される。例えば、既検出の壁面要素の形状である台形の上側の辺と下側の辺が勾配を有し得ることを考慮して、探索空間の上面の高さを既検出の壁面要素の鉛直な２辺のうち当該探索空間が接続される側の辺の上端より高く設定し、一方、探索空間の底面の高さを当該辺の下端より低く設定することができる。探索空間の平面形状の長辺の長さは部分空間の幅Ｗや奥行きＤと同程度に設定することができ、例えば５０ｃｍとすることができる。
【００９６】
まず、追跡手段５２は既険出のエッジである線分を追跡しようとする側に延長し、当該延長線の向きに探索空間を配置する（Ｓ１８０）。すなわち、探索空間はその平面形状である長方形の長辺に沿った中心線を当該延長線に一致させるように配置される。そして、当該探索空間内に位置する点群のデータを記憶装置６からＲＡＭ等の作業領域に取り込み（Ｓ１８０）、処理Ｓ８６と同様の手法により当該探索空間にてエッジを探す（Ｓ１８２）。当該探索空間にてエッジが存在した場合（Ｓ１８４にて「Ｙｅｓ」の場合）、追跡手段５２はさらに、処理Ｓ１２２と同様にして探索空間の点群データから壁面要素となる台形を決定する処理を行う（Ｓ１８６）。壁面要素の形状を取得できた場合には（Ｓ１８８にて「Ｙｅｓ」の場合）、エッジの微調整処理が行われる（Ｓ１９０）。そして処理は処理Ｓ１８０に戻り、今得られたエッジを既検出エッジとして、連続壁面の追跡処理が継続される。
【００９７】
既検出エッジの延長線上の探索空間にてエッジ又は壁面要素を検出できない場合（処理Ｓ１８４にて「Ｎｏ」の場合、及びＳ１８８にて「Ｎｏ」の場合）は、図１９のノードＣＢに進み、既検出エッジの延長線からずれた方向における探索処理が行われる。当該探索処理では、探索空間をその中心軸を水平面内にて当該延長線の位置から時計回り方向と反時計回り方向とに変化させて設定する。例えば、延長線の向きからの中心軸の向きの変化範囲（±θ）とその分割数ｋを設定し、θ／ｋずつ水平面内での角度が異なる複数の探索空間を設定し、各探索空間にてエッジを探し、そして角度を変えて設定した複数の探索空間にて得られたエッジのうち最も点群が集まるものを選択する（Ｓ２００）。
【００９８】
一番点群が集まるエッジを特定できた場合（Ｓ２０２にて「Ｙｅｓ」の場合）、追跡手段５２はさらに、処理Ｓ１２２と同様にして探索空間の点群データから壁面要素となる台形を決定する処理を行う（Ｓ２０４）。壁面要素の形状を取得できた場合には（Ｓ２０６にて「Ｙｅｓ」の場合）、後述する微調整処理が行われる（Ｓ２０８）。そして処理は図１８のノードＣＡに戻り、今得られたエッジを既検出エッジとして、連続壁面の追跡処理が継続される。
【００９９】
角度を変えた探索空間にてエッジ又は壁面要素を検出できない場合（処理Ｓ２０２にて「Ｎｏ」の場合、及びＳ２０６にて「Ｎｏ」の場合）は、連続壁面追跡処理は終了し、当該処理をサブルーチンとして呼び出した処理Ｓ１７０又はＳ１７２に戻る。
【０１００】
図２０及び図２１はエッジの微調整処理Ｓ１９０，Ｓ２０８の概略のフロー図である。演算処理装置４はエッジを示す線分が得られると、当該線分を一定の長さの区間に区切り（Ｓ２２０）、各区間にてエッジが通る点（代表点）を探索し、エッジをＸ−Ｙ面内にてＰＡ，ＰＢを結ぶ線分に代えて、各区間にて求めた代表点をつなぐ折れ線とする。ここでは区間数をＮとする。演算処理装置４は、選択した区間Ｋから代表点ＰＫが得られると、当該代表点ＰＫの水平面内の座標（ＸＫ，ＹＫ）と、当該区間での壁面要素の標高値の最小値ＺＬＫ及び最大値ＺＨＫとを、代表点情報として求める。例えば、ＺＬＫ，ＺＨＫはエッジの両端ＰＡ，ＰＢでの値を補間して求めることができる。
【０１０１】
演算処理装置４はまず、エッジの一方端ＰＡを代表点とし、ＰＡについての代表点情報をエッジ代表点リストに格納する（Ｓ２２２）。続いて、区間番号Ｋを１ずつ増加させて、区間を選択し（Ｓ２２４，Ｓ２２６）、各区間にて代表点を探索する（Ｓ２３０）。当該処理Ｓ２３０では、水平断面が選択した区間の近傍領域であり、垂直方向に壁面要素に応じた高さを有する空間を設定し、当該区間内の点群データを取り込んで、当該空間の水平断面内にて最も点群が密集する位置を求める。そして当該位置に密集する点の数が予め定めた個数以上であれば（Ｓ２３２にて「Ｙｅｓ」の場合）、当該位置を代表点としてエッジ代表点リストに追加する（Ｓ２３４）。一方、当該位置に密集する点の数が予め定めた個数未満であれば（Ｓ２３２にて「Ｎｏ」の場合）、当該区間からはエッジの代表点をエッジ代表点リストに追加せずに次の区間の処理に進む。全ての区間について処理が終わると（Ｓ２２８にて「Ｙｅｓ」の場合）、エッジの他方端ＰＢをエッジ代表点リストに追加し（Ｓ２３６）、図２１のノードＣＶ−Ｒに進む。
【０１０２】
演算処理装置４はエッジ代表点リストに格納されている代表点の数ｍをカウントする（Ｓ２４０）。そして、隣接する代表点ＰＪとＰＪ＋１の対をＪを１から（ｍ−１）まで１ずつ増加させて選択し（Ｓ２４２〜Ｓ２４６）、ＰＪの代表点情報とＰＪ＋１の代表点情報とで表される壁面要素が既に図形データベースに図形登録されているか調べる（Ｓ２４８）。登録されていない場合には（Ｓ２５０にて「Ｎｏ」の場合）、当該壁面要素をエッジリストＡ又はＢに追加し（Ｓ２５２）、処理Ｓ２４４に戻る。一方、既に図形データベースに図形登録されていた場合（Ｓ２５０にて「Ｙｅｓ」の場合）、エッジの微調整処理Ｓ１９０，Ｓ２０８を終了する。
【０１０３】
さて、図１７の説明で述べたように、或る基点エッジについて追跡手段５２による処理が終わると、壁面要素登録手段５４による処理が行われる。図２２は壁面要素登録手段５４の概略の処理フロー図である。壁面要素登録手段５４は、追跡手段５２により生成されたエッジリストＡ，Ｂが空でなければ（Ｓ２６０，Ｓ２６４にて「Ｎｏ」の場合）、それらエッジリストに格納されている壁面要素を図形データベースに登録し（Ｓ２６２，Ｓ２６６）、図２３のノードＨへ処理を進める。
【０１０４】
ここまで処理を行ってきた基点エッジは、処理Ｓ８４で指定される第Ｉ階のブロック空間から処理Ｓ８８で検出されたエッジである。演算処理装置４は当該基点エッジについて処理Ｓ１１６で指定された第Ｊ階層での処理を終えると、注目部分空間のうち当該階層に対応する高さ範囲にて、他のエッジを探索して壁面要素を決定する処理を行う。これにより例えば、同じ高さ範囲における多重エッジを検出して、それぞれに対応する壁面要素を決定することができる。図２３は第Ｊ階層にて最初のエッジ（主エッジと称する）についての処理を終えた後の処理フロー図である。演算処理装置４は第Ｊ階層にて主エッジの処理を終えると、当該階層に存在する他のエッジ（多重エッジと称する）を探索して壁面要素を決定する処理（多重エッジ処理）Ｓ２７０を行う。多重エッジ処理Ｓ２７０が終了すると、処理は図１４のノードＥに戻り、次の階層における主エッジの処理が開始される。
【０１０５】
図２４は多重エッジ処理の概略の処理フロー図である。多重エッジ処理では、主エッジの両側に別のエッジがないか探索する。図２５は多重エッジ処理を説明する模式図であり、部分空間の平面配置を示している。図２５（ａ）に示す例では、注目部分空間２８０には最も点群が集まるエッジ２８２と、エッジ２８２より点群の集まり度合いが低いエッジ２８４とが存在している。既に説明した水平面内探索手段４６、垂直位置決定手段４８、壁面形状決定手段５０、追跡手段５２及び壁面要素登録手段５４による処理で、主エッジとなるエッジ２８２が検出され、当該エッジ２８２について追跡や図形登録の処理が行われる。多重エッジ処理では、当該エッジ２８２を含まないようにその両側に多重エッジ探索空間２８６，２８８を設定する（図２５（ｂ））。多重エッジ探索空間は例えば、平面形状が部分空間と同程度の大きさ・形状の矩形であり、Ｚ値の範囲が第Ｊ階層と同程度である直方体の空間に設定される。例えば、主エッジ（図２５のエッジ２８２）が延びるいずれかの方向に向かって、当該エッジより左側の領域に多重エッジ探索空間を作成して当該空間内の点群を取り込み（Ｓ３００）、処理Ｓ８６と同様に当該多重エッジ探索空間でエッジの探索を行い、エッジが存在するかを判定する（Ｓ３０２）。エッジが存在する場合（Ｓ３０２で「Ｙｅｓ」の場合）は、多重エッジ探索空間内にて当該エッジを中心として図１４の処理Ｓ１１０における垂直探索空間と同様の平面形状の空間を設定し、当該空間内の点群から処理Ｓ１２２と同様にして壁面要素の形状を決定する処理を行う（Ｓ３０４）。壁面要素の形状を取得できた場合には（Ｓ３０６にて「Ｙｅｓ」の場合）、図１７で説明した追跡手段５２による連続壁面追跡処理Ｓ１６０〜Ｓ１７２、及び図２２で説明した壁面要素登録手段５４による登録処理Ｓ２６０〜Ｓ２６６と同様の処理Ｓ３０８が行われる。同様に主エッジより右側の領域に多重エッジ探索空間を作成して、上述した左側の場合の処理Ｓ３００〜Ｓ３０８と同様の処理Ｓ３１０〜Ｓ３１８が行われる。
【０１０６】
上記実施形態では、コンピュータを道路付属物検出システム２の各手段として動作させるプログラムは記憶装置６に格納され、コンピュータはこれを読み出して実行する構成としたが、他の構成では、当該プログラムはネットワーク等の通信媒体を介してコンピュータに提供することができ、この場合、道路付属物検出システム２は通信装置を備え当該通信装置がネットワーク等からプログラムを取得し、演算処理装置４に提供したり、記憶装置６に記憶させる。また、当該プログラムはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に格納して提供することも可能である。
【０１０７】
上記実施形態では、道路付属物のうち道路標識、ガードレール、及び道路標示を検出対象としているが、これは一例であり、他の道路付属物についても記憶装置６に画像特徴情報３６、形態特徴情報３８を格納して、それらの検出を行うことができる。
【符号の説明】
【０１０８】
２ 道路付属物検出システム、４ 演算処理装置、６ 記憶装置、８ 入力装置、１０ 出力装置、２０ 画像分割手段、２２ 候補画像領域抽出手段、２４ 壁面検出手段、２６ 候補壁面抽出手段、２８ 照合手段、３０ 道路標識識別手段、３２ 路面画像領域抽出手段、３４ 道路標示検出手段、３６ 画像特徴情報、３８ 形態特徴情報、４０ 部分空間設定手段、４２ 部分空間選択手段、４４ ブロック空間設定手段、４６ 水平面内探索手段、４８ 垂直位置決定手段、５０ 壁面形状決定手段、５２ 追跡手段、５４ 壁面要素登録手段、８０，８２ 道路標識、８４ ガードレール、８６ 道路標示。
【技術分野】
【０００１】
本発明は、画像及び、地物表面の三次元形状を表す点群データに基づいて、道路付属物を検出する道路付属物検出装置、道路付属物検出方法、及びプログラムに関する。
【背景技術】
【０００２】
道路には安全かつ円滑な交通の確保等を目的として様々な付属物が設置される。例えば、道路付属物として、信号機、道路標識、道路標示、ガードレール、交通情報板、横断歩道橋、歩道、分離帯、道路照明灯、道路反射鏡等が挙げられる。また、道路付属物に関して、道路法第２条に細目が規定されている。また道路付属物には交通安全施設と称されるものがある。道路付属物のうち信号機についてはその位置を記載した道路地図が既に存在する。他の道路付属物についても位置を取得すれば、例えば、地図情報として利用することができ、さらに高精度の道路地図を作ることが可能となる。
【０００３】
従来、道路付属物の位置情報を取得する技術として、車載された単眼視カメラにより取得された二次元画像を用い、その輝度情報に基づいて解析を行いガードレールや白線を検出するものが下記特許文献１に開示されている。
【０００４】
また、下記特許文献２には、ステレオカメラにより取得したステレオ画像から三次元位置データを算出してカードレール等の側壁を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１−２４２９１６号公報
【特許文献２】特開平６−２６６８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
単眼視カメラで取得された画像を用いて道路付属物を検出する技術は、画像のスペクトル情報のみに基づいて解析を行うため、複雑な道路周辺環境において道路付属物に関する情報を正確に認識して抽出することは困難であると共に、位置情報の取得もできない。例えば、ガードレールと路面上の白線とを弁別することが困難である。
【０００７】
ステレオカメラを用いる技術では、ステレオ画像から地物の三次元データを求める解析が複雑となり、しかも、ステレオマッチングにより三次元データが求められる点の密度は比較的粗いので高精度の解析は難しい。また、道路の周辺環境は複雑であるため、道路標識及びガ−ドレール等の道路付属物を安定して自動検出することは容易ではない。
【０００８】
ここで、車載レーザを用いて路面や地物等に関する高密度の点群データを取得する技術があるが、当該技術では点群データにより表される形状から地物を推定することになる。そのため、道路付属物のうち、平板上に複数の色を用いて描かれた道路標識等についてはその表示内容の認識は困難である。また、従来、点群データをもとに地物を判読するためには人手を要しており、三次元ＣＡＤで編集ツール等を利用して手作業で地物の抽出作業が行われていた。
【０００９】
本発明は、上記問題点を解決するためになされたものであり、道路付属物を高精度に自動的に検出することを可能とする道路付属物検出装置、道路付属物検出方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る道路付属物検出装置は、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出するものであって、前記道路付属物のうち検出対象とするものの画像特徴及び、前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ当該検出対象の形態特徴を予め記憶する記憶手段と、それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段と、前記記憶手段に記憶された前記画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段と、前記点群データに基づいて前記地物の壁面を検出する壁面検出手段と、前記記憶手段に記憶された前記形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段と、前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段と、を有する。
【００１１】
本発明に係る道路付属物検出装置において、前記照合手段は、前記検出対象であるガードレールについて、前記対象空間のうち道路より外側部分と当該道路の車道部分とを除く領域で検出する構成とすることができる。
【００１２】
本発明に係る道路付属物検出装置において、前記照合手段は、前記検出対象である道路標識について、前記対象空間のうち道路より外側部分を除く領域で検出する構成とすることができる。また、本発明に係る当該道路付属物検出装置は、検出された前記道路標識について、当該道路標識に対応する画像領域でのテンプレートマッチングにより当該道路標識の種類又は表示内容を識別する道路標識識別手段を有する構成とすることができる。
【００１３】
他の本発明に係る道路付属物検出装置は、さらに、前記検出対象である道路標示を検出する道路標示検出手段と、前記点群データに基づいて、前記画像にて道路面に対応する路面画像領域を抽出する路面画像領域抽出手段と、を有し、前記候補画像領域抽出手段は、前記道路標示について前記候補画像領域である道路標示候補を抽出し、前記道路標示検出手段は、前記路面画像領域内の前記道路標示候補を前記道路標示と判定する。また、本発明に係る当該道路付属物検出装置において、前記道路標示検出手段が、前記道路標示と判定した前記道路標示候補について、テンプレートマッチングにより当該道路標示の内容を識別する構成とすることができる。
【００１４】
本発明に係る道路付属物検出方法は、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する方法であって、それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割ステップと、前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出ステップと、前記点群データに基づいて前記地物の壁面を検出する壁面検出ステップと、前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出ステップと、前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合ステップと、を有する。
【００１５】
本発明に係るプログラムは、コンピュータに、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する処理を行わせるためのプログラムであって、当該コンピュータを、それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段、前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段、前記点群データに基づいて前記地物の壁面を検出する壁面検出手段、前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段、及び前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段、として機能させる。
【発明の効果】
【００１６】
本発明によれば、道路付属物を高精度に自動的に検出することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る道路付属物検出システムの概略の構成を示すブロック図である。
【図２】道路標識の例を示す模式図である。
【図３】道路標識及びガードレールを検出対象とした本発明の道路付属物検出処理の概略のフロー図である。
【図４】検出対象が道路標識である場合の照合処理を説明するフロー図である。
【図５】検出対象がガードレールである場合の照合処理を説明するフロー図である。
【図６】道路標示を検出対象とした本発明の道路付属物検出処理の概略のフロー図である。
【図７】車載カメラで撮影した画像の模式図である。
【図８】図７の画像を画像分割手段により処理した結果を示す模式図である。
【図９】壁面検出手段の概略の構成を示すブロック図である。
【図１０】本発明の実施形態に係る壁面抽出システムによる壁面抽出処理の概略のフロー図である。
【図１１】部分空間設定手段及び部分空間選択手段による処理の概略のフロー図である。
【図１２】ブロック空間設定手段及び水平面内探索手段による処理の概略のフロー図である。
【図１３】ブロック空間でのエッジの探索処理を説明する模式図である。
【図１４】垂直位置決定手段及び壁面形状決定手段による処理の概略のフロー図である。
【図１５】垂直位置決定手段による垂直探索空間における点群のグループ化を説明するための説明図である。
【図１６】壁面要素の形状を求める処理を説明する模式図である。
【図１７】追跡手段による処理の概略のフロー図である。
【図１８】連続壁面追跡処理の概略のフロー図である。
【図１９】連続壁面追跡処理の概略のフロー図である。
【図２０】エッジの微調整処理の概略のフロー図である。
【図２１】エッジの微調整処理の概略のフロー図である。
【図２２】壁面要素登録手段による処理の概略のフロー図である。
【図２３】或る階層における主エッジについての処理を終えた後の処理フロー図である。
【図２４】多重エッジ処理の概略のフロー図である。
【図２５】多重エッジ処理を説明する模式図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態（以下実施形態という）である道路付属物検出システム２について、図面に基づいて説明する。本システムは、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する道路付属物検出装置である。画像及び点群データは例えば、自動車にカメラ及びレーザスキャナを搭載したモービルマッピングシステムを用いて、道路を走行しながら取得することができる。
【００１９】
モービルマッピングシステムでは、レーザスキャナは自動車の上部に搭載され、周囲にレーザを照射する。レーザの光軸は仰俯角及び方位角を変えることにより垂直方向及び水平方向に走査され、走査範囲内にて微小角度ごとにレーザパルスが発射される。レーザの発射から反射光の受信までの時間に基づいて距離が計測され、またその際、レーザの発射方向、時刻、及び車体の位置・姿勢などが計測される。それら計測データから、レーザパルスを反射した点の三次元座標を表す点群データが求められる。点群データの取得と同時に、カメラを用いてカラー画像が撮影される。車体の位置・姿勢の計測は例えば、ＧＰＳ／ＩＭＵ（Global Positioning System：全地球測位システム、Inertial Measurement Unit：慣性計測装置)を用いて行われる。なお、レーザスキャナやカメラを地上に設置して計測を行っても良い。
【００２０】
点群データが地物表面の三次元形状を表すには地物表面の凹凸のスケールに応じた点密度でレーザスキャンが行われる必要があり、また、画像は道路標識の表示内容を判読可能な解像度で撮影される必要がある。この点、車両や三脚を用いて道路等の地上から行うレーザスキャンや画像撮影は、例えば、道路に沿って設置される道路標識、道路標示、ガードレールなどの道路付属物、及び道路近傍に建つ建物、塀及び看板などが有する垂直面（壁面）の形状や当該面の模様を捉えることができる程度の走査密度、画像解像度を実現できる。
【００２１】
図１は、道路付属物検出システム２の概略の構成を示すブロック図である。本システムは、演算処理装置４、記憶装置６、入力装置８及び出力装置１０を含んで構成される。演算処理装置４として、本システムの各種演算処理を行う専用のハードウェアを作ることも可能であるが、本実施形態では演算処理装置４は、コンピュータ及び、当該コンピュータ上で実行されるプログラムを用いて構築される。
【００２２】
当該コンピュータのＣＰＵ（Central Processing Unit）が演算処理装置４を構成し、後述する画像分割手段２０、候補画像領域抽出手段２２、壁面検出手段２４、候補壁面抽出手段２６、照合手段２８、道路標識識別手段３０、路面画像領域抽出手段３２、及び道路標示検出手段３４として機能する。
【００２３】
記憶装置６はコンピュータに内蔵されるハードディスクなどで構成される。記憶装置６は演算処理装置４を画像分割手段２０、候補画像領域抽出手段２２、壁面検出手段２４、候補壁面抽出手段２６、照合手段２８、道路標識識別手段３０、路面画像領域抽出手段３２及び道路標示検出手段３４として機能させるためのプログラム、及びその他のプログラムや、本システムの処理に必要な各種データを記憶する。例えば、記憶装置６は、処理対象データとして解析の対象空間の点群データ及び対象空間を撮影した画像を格納される。例えば、道路及びその近傍領域が解析の対象空間とされる。また、カメラ、レーザスキャナを搭載した車両の位置・姿勢を計測した車載ＧＰＳ／ＩＭＵの計測データも記憶装置６に格納される。
【００２４】
また、記憶装置６は、道路付属物のうち検出対象とするものの画像特徴情報３６及び、検出対象のコンフィグレーション（configuration）に関する情報、すなわち対象空間における形状、大きさ及び配置（位置、向き）の少なくともいずれかに関する情報を含んだ当該検出対象の形態特徴情報３８を予め記憶する。
【００２５】
入力装置８は、キーボード、マウスなどであり、ユーザが本システムへの操作を行うために用いる。
【００２６】
出力装置１０は、ディスプレイ、プリンタなどであり、本システムにより求められた道路付属物の対象空間内での位置を画面表示、印刷等によりユーザに示す等に用いられる。
【００２７】
例えば、本システムは、道路標識、道路標示及びガードレールを検出対象とする。道路標識は案内標識、警戒標識、規制標識、指示標識の４種類に大別される本標識と、さらに本標識の意味を補足するための補助標識がある。
【００２８】
図２は道路標識の例を示す模式図である。案内標識は地名や交差点での行き先などの案内を示す標識である。基本的に、一般道路に関わる案内標識は青地に白で文字等が記され、自動車専用道路に関わる案内標識は緑地に白で文字等が記される。例えば、図２（ａ）に示す案内標識６０は一般道路にて方面、方向及び距離を標示するものであり、青地の矩形平板に文字・記号が白で描かれ、これが画像上の特徴となる。一般道路の案内標識には白地平板に青で枠と表示内容とが描かれるものもある。また、矩形以外の形状の案内標識も存在し、例えば、図２（ｂ）に示す国道番号の案内標識６２は丸みを帯びた逆三角形であり、図２（ｃ）に示す都道府県道番号の案内標識６４は六角形である。また、一般道路の案内標識には白地青枠の平板に青で文字等を記すものもある。例えば、図２（ｄ）に示す都府県の案内標識６６は白地の矩形平板に青で枠６６ａと都府県の標示６６ｂとが描かれる。
【００２９】
警戒標識は警戒すべきことを示す標識である。図２（ｅ）に示す警戒標識７０は黄色地で菱形（対角線を鉛直及び水平方向に向けた正方形）の平板に黒枠７０ａ及び基本的に黒色の絵柄７０ｂが描かれる。
【００３０】
規制標識は何らかの行動を禁止・規制する標識であり、多くが丸型で、禁止・徹底事項は赤の縁取りで内側に青で文字や絵柄が描かれたり、赤の斜線が描かれたりする。例えば、図２（ｆ）に示す通行止めの規制標識７２には赤の縁取り７２ａの内側に赤の斜線７２ｂ及び青文字７２ｃが描かれる。また、丸形や矩形の青地平板に白で絵柄を示す規制標識もある。
【００３１】
指示標識は何らかの許可や命令、横断歩道など道路上の施設を示す標識であり、多くは図２（ｇ）に示す指示標識７４のように正方形で青地７４ａに白で文字・図形７４ｂが描かれる。
【００３２】
道路標識は道路交通法および道路法に基づいて設置されるものであり、上述のように道路標識の形状、色及び、文字・図形の内容又はその表示方式は予め規定されている。当該規定に基づく特徴が画像特徴情報３６として記憶装置６に予め格納される。
【００３３】
また、道路標識の大きさ、設置位置（高さ）についても規定が存在する。形態特徴情報３８は、道路標識の形状、大きさ、又は配置に関する情報を含んで構成される。形態特徴情報３８は、それらについて予め設けられている規定に基づいて抽出され記憶装置６に予め格納される。
【００３４】
道路標示は道路交通法および道路法に基づき道路の路面に描かれた道路鋲、ペイント、石等による線、記号又は文字であり、例えば、路側帯や車線の境界線を示す白線などである。道路標示の画像特徴情報３６として、予め規定された標示パターンや色が記憶装置６に格納される。例えば、色には白、オレンジなどが規定されている。道路標示の形態特徴情報３８として、設置位置が路面であることが記憶装置６に予め記憶される。
【００３５】
ガードレールは、道路の路肩や歩道との境界や中央分離帯などに設けられる防護柵であり、８０ｃｍ程度の高さに道路に沿って水平方向に鋼板などが延在される。標準的な色は白色であるが、景観に配慮して黄色など白色以外の色も用いられ、また高速道路や国道などでは灰色のものや銀色のものがある。ガードレールの画像特徴情報３６として、水平方向に細長い形状や色が記憶装置６に格納される。また、形態特徴情報３８として、形状、垂直方向の寸法の範囲、設置高さなどが記憶装置６に予め記憶される。
【００３６】
図３は、道路付属物検出システム２による道路標識及びガードレールを検出対象とした道路付属物検出処理の概略のフロー図である。この図３を参照しながら、演算処理装置４の当該処理に関係する各手段を説明する。
【００３７】
画像分割手段２０は、車載カメラにより撮影されたカラー画像において画素値が互いに類似する隣接画素をまとめることで当該画像から複数の断片を抽出する（Ｓ１）。これにより、画像は、画素値が所定の類似性を有する画素からなる複数の画像断片（セグメント）に分割される。ここでは当該各画像断片を部分画像領域と称する。部分画像領域に分割する処理は一般にセグメンテーションと称される手法により実現される。例えば、代表的なセグメンテーションの方式としてｋ平均法や平均シフト法が知られている。
【００３８】
候補画像領域抽出手段２２は画像特徴情報３６を参照し、部分画像領域のうち検出対象の画像特徴（色彩、形状）を具備するものを候補画像領域として抽出する（Ｓ２）。
【００３９】
壁面検出手段２４は車載レーザスキャナにより取得された点群データに基づいて地物の壁面を検出する（Ｓ３）。この壁面検出処理Ｓ３についてはさらに後述する。
【００４０】
候補壁面抽出手段２６は形態特徴情報３８を参照し、検出された壁面のうち検出対象の形態特徴（形状、大きさ、配置）を具備するものを候補壁面として抽出する（Ｓ４）。
【００４１】
照合手段２８は候補画像領域と、画像の撮影位置から見た候補壁面の投影像とを照合し、照合結果に基づいて検出対象を検出する（Ｓ５）。具体的には、照合手段２８は車載カメラの視点・視線方向に基づいて投影面を設定して、当該投影面への候補壁面の投影像を求める。そして、候補画像領域の画像内での位置・形状・大きさと、投影画像内での候補壁面の投影像の位置・形状・大きさとを比較して、互いの位置・形状・大きさが同じと見なせる所定の範囲内にあることにより対応関係にあると判断される候補画像領域と候補壁面との組を求める。
【００４２】
図４は検出対象が道路標識である場合の照合処理Ｓ５を説明するフロー図である。道路標識の水平面内の位置は道路（車道部分、歩道部分及び路肩）であり、当該道路より外側部分には道路標識は配置されない。そこで、照合手段２８は、対象空間のうち道路より外側部分を除く領域で道路標識を検出する。つまり、道路標識の候補画像領域に対応する候補壁面が存在した場合、その水平面内の位置を調べ、道路より外側であれば道路標識として検出しない（Ｓ１０）。ここで水平面内での道路領域は予め得られている道路データを用いて判断することができる。また、車載レーザスキャナで取得した点群データを解析して、路面、道路沿いの建物の壁面位置、路肩や歩道の境界の段差位置を抽出することができ、当該解析結果を用いて道路標識が設置され得る道路領域を判断することもできる。
【００４３】
なお、上述の水平面内の位置に基づく道路標識の候補の絞り込みを照合手段２８で行う代わりに、候補壁面抽出手段２６が道路より外側部分を除く領域で道路標識の候補壁面を抽出するように構成してもよい。
【００４４】
照合手段２８は、道路標識について上述の水平面内の位置に基づく候補の絞り込みに加えてさらに、高さに基づく候補の絞り込みを行う（Ｓ１１）。道路標識の設置高さについては路側式、片持式、門型式及び添架式といった設置方法ごとに設置基準が設けられている。照合手段２８はレーザ点群データに基づく候補壁面の高さを用い、当該高さが道路標識の設置基準に適合していない場合、当該候補壁面に対応する候補画像領域が存在しても道路標識として検出しない。ここで、路側式の高さは比較的低い範囲に定められており、一方、標識の下を車両が通過する片持式、門型式及び添架式では比較的高い範囲が規定されている。そこで、水平面内の候補壁面の位置が路肩や歩道の縁である場合には路側式の設置基準に応じた高さ範囲の候補に絞り込み、一方、水平面内の候補壁面の位置が車道内である場合には片持式、門型式及び添架式の設置基準に応じた高さ範囲の候補に絞り込む構成とすることができる。
【００４５】
また、道路標識の大きさについても基準が定められており、照合手段２８はレーザ点群データに基づく候補壁面の大きさを用い、当該大きさが道路標識の基準に適合していない場合、当該候補壁面に対応する候補画像領域が存在しても道路標識として検出しない（Ｓ１２）。
【００４６】
互いに対応する候補画像領域と候補壁面との組のうち、上記処理Ｓ１０〜Ｓ１２による絞り込みで残ったものは道路標識であると確定される。
【００４７】
ここで、ステップＳ２において、光線の加減で画像上での色彩が不鮮明になったり、道路標識の一部が樹木などで隠されるなどして、道路標識に応じた形状に候補画像領域が抽出されないといった影響により、照合が成立せず抽出漏れが生じる可能性がある。照合手段２８は当該抽出漏れを補正する構成とすることができる（Ｓ１３）。例えば、道路標識の設置基準を満たす位置・大きさの候補壁面のうち、道路標識の候補画像領域に対応するものが見つからなかったものについて、当該候補壁面の上記投影像に対応する領域の画像情報に基づき道路標識であるか否かを判定する。例えば、当該投影像に対応する領域の画素値の色ヒストグラムを求め、道路標識に用いられる各色（青、緑、赤、黄、白、黒）の強度や色の強度のバランスから道路標識であるか否か、またどの種類の標識である可能性が高いかを判定することができる。また、当該判定に際しては、候補壁面の位置・形状・大きさを考慮してもよい。例えば、黄色と黒が多く存在する場合に、形状が菱形であれば道路標識である、または警戒標識であると判定するが、丸形のように他の形状であれば道路標識ではないと判定することができる。
【００４８】
照合手段２８はガードレールについても上述の道路標識についてと似た処理を行う。 図５は検出対象がガードレールである場合の照合処理Ｓ５を説明するフロー図である。ガードレールの水平面内の位置は基本的に路肩部分又は車道と歩道との境界部分や、中央分離帯の部分であり、当該道路（路肩）より外側部分、及び車道内（車両が走行する領域であり中央分離帯部分は除かれる）にはガードレールは配置されない。そこで、照合手段２８は、対象空間のうち道路より外側部分及び車道部分を除く領域でガードレールを検出する。つまり、ガードレールの候補画像領域に対応する候補壁面が存在した場合、その水平面内の位置を調べ、道路より外側又は車道内であればガードレールとして検出しない（Ｓ１５）。
【００４９】
なお、上述の水平面内の位置に基づくガードレールの候補の絞り込みを照合手段２８で行う代わりに、候補壁面抽出手段２６が道路より外側部分と車道部分とを除く領域でガードレールの候補壁面を抽出するように構成してもよい。
【００５０】
照合手段２８は、ガードレールについて上述の水平面内の位置に基づく候補の絞り込みに加えてさらに、高さに基づく候補の絞り込みを行う（Ｓ１６）。また、照合手段２８はレーザ点群データに基づいて候補壁面の大きさ、向きを計算し、それらがガードレールに適合していない場合、当該候補壁面に対応する候補画像領域が存在してもガードレールとして検出しない（Ｓ１７）。
【００５１】
互いに対応する候補画像領域と候補壁面との組のうち、上記処理Ｓ１５〜Ｓ１７による絞り込みで残ったものはガードレールであると確定される。
【００５２】
ここで、照合手段２８はガードレールについても抽出漏れを補正する構成とすることができる（Ｓ１８）。例えば、ガードレールの候補壁面に対応する候補画像領域が見つからなかった場合、当該候補壁面の投影像に対応する領域の画像情報に基づきガードレールであるか否かを判定する。例えば、当該投影像に対応する領域の画素値の色ヒストグラムを求め、白色が多ければガードレールと判定することができる。
【００５３】
以上、図３の照合処理Ｓ５について図４、図５を用いて説明した。演算処理装置４は照合処理Ｓ５に続いて図３に示すように道路標識の識別処理Ｓ６、及び検出された道路標識及びガードレールの位置決定処理Ｓ７を行う。
【００５４】
道路標識識別手段３０は道路標識の識別処理を行い、標識の種類（案内標識、警戒標識、規制標識、指示標識、補助標識のいずれであるか）、又は表示内容を識別する（Ｓ６）。道路標識識別手段３０は道路標識に対応する画像領域でのテンプレートマッチングにより当該道路標識の種類又は表示内容を識別する。道路標識の種類や表示内容のテンプレートは予め記憶装置６に、例えば画像特徴情報３６として格納される。あるいは、予め道路標識データベースが得られている場合にはこれを記憶装置６に格納し、画像特徴情報３６の代わりに用いてもよい。道路標識には表示内容が予め定まっているものと、地名や距離などに応じて表示内容が変更されるものとがある。これらのうち表示内容が予め固定されているものについては、その内容をテンプレートとして記憶装置６に格納し、これを道路標識と確定された候補画像領域とマッチング処理して、標識種類や表示内容が識別される。表示内容に地名や距離など変更される部分を含むものについては、当該変更される部分を除いたテンプレートが予め記憶装置６に格納されマッチング処理に用いられ、標識種類を識別することができる。この場合、地名や距離などの画像部分を別途、文字認識して表示内容まで特定することも可能である。なお、テンプレートマッチングは、候補壁面から所定距離離れた正面位置から見た画像としてテンプレートを記憶しておき、候補壁面の位置情報を用いて、例えば、候補画像領域の画像を候補壁面の正面から見た画像に変換するか、逆にテンプレートを候補画像領域に合わせて三次元空間内で座標変換した上で行うことが好適である。
【００５５】
演算処理装置４は、上述のようにして確定された道路標識及びガードレールについて、車載ＧＰＳ／ＩＭＵの計測データを用いて位置を求める（Ｓ７）。例えば、確定された道路標識及びガードレールについて、演算処理装置４は、候補壁面、候補画像領域（又は候補壁面の投影像に対応する領域の画像）、道路標識の種類・表示内容、及び位置を検出結果として記憶装置６に記憶したり出力装置１０に出力したりする。
【００５６】
図６は、道路付属物検出システム２による道路標示を検出対象とした道路付属物検出処理の概略のフロー図である。候補画像領域抽出手段２２は画像分割手段２０により得られた部分画像領域の中から、道路標示についての候補画像領域（道路標示候補）を抽出する（Ｓ２０）。記憶装置６には予め道路標示の画像特徴情報３６が格納される。あるいは、予め道路標示データベースが得られている場合にはこれを記憶装置６に格納し、画像特徴情報３６の代わりに用いてもよい。候補画像領域抽出手段２２はこれらを用いて、特徴情報や画像の対比により道路標示候補を抽出する。
【００５７】
道路標示の位置は道路面である。そこで、路面画像領域抽出手段３２は、レーザ点群データに基づいて、画像にて道路面に対応する路面画像領域を抽出する。そして、道路標示検出手段３４は道路標示候補の画像における位置が路面画像領域内であるか否かを調べ、路面画像領域内であれば当該道路標示候補を道路標示と判定する（Ｓ２１）。さらに、道路標示検出手段３４は、道路標示の表示内容（標示パターンや色）を識別してもよい。この場合、道路標示の表示内容を画像特徴情報３６や道路標示データベースとして記憶装置６に格納し、道路標示検出手段３４はこれを道路標示と判定した道路標示候補とマッチング処理して、表示内容を識別する。なお、テンプレートマッチングは、道路標示候補から道路面法線方向に所定距離離れた位置から見た画像としてテンプレートを記憶しておき、レーザ点群データが表す位置情報を用いて、例えば、道路標示候補の画像を道路面法線方向から見た画像に変換するか、逆にテンプレートを道路標示候補に合わせて三次元空間内で座標変換した上で行うことが好適である。
【００５８】
図７は車載カメラで撮影した画像の模式図であり、路側式の道路標識８０、片持式の道路標識８２、ガードレール８４、道路標示８６が撮影されている。図８は図７の画像を画像分割手段２０により処理した結果を示す模式図であり、複数の部分画像領域９０に分割される。
【００５９】
次に、壁面検出処理Ｓ３について説明する。図９は壁面検出手段２４の概略の構成を示すブロック図である。壁面検出手段２４は、部分空間設定手段４０、部分空間選択手段４２、ブロック空間設定手段４４、水平面内探索手段４６、垂直位置決定手段４８、壁面形状決定手段５０、追跡手段５２、及び壁面要素登録手段５４を有する。
【００６０】
図１０は、壁面検出手段２４による壁面抽出処理の概略のフロー図である。この図１０を参照しながら、壁面検出手段２４を構成する各手段を説明する。
【００６１】
部分空間設定手段４０は、対象空間を垂直面によって分割して得られる柱状の複数の部分空間を壁面抽出の処理の初期の単位空間として設定する（Ｓ４０）。本実施形態では、部分空間設定手段４０は、対象空間を水平面（ＸＹＺ直交座標系でＸ−Ｙ平面とする）内にて二次元直交格子（メッシュ）状に分割して四角柱形状の部分空間を生成する。例えば、部分空間の水平断面は幅Ｗ及び奥行きＤが５０ｃｍの正方形とすることができる。部分空間の高さＨは対象空間の高さ（Ｚ軸方向の寸法）と一致させることができ、その高さは検出目的とする壁面の高さ、具体的には道路標識やガードレールが配置された高さより大きく設定される。なお、部分空間設定手段４０を構成するプログラムでは、幅Ｗ、奥行きＤ及び高さＨはパラメータ化されており、例えば、ユーザが入力装置８を用いて変更することができる。
【００６２】
部分空間選択手段４２は部分空間のうち予め設定した閾値以上の高低差を有する点群を含むものを注目部分空間として選択する。具体的には、部分空間選択手段４２は、複数設定された部分空間を所定の順序で選択し、当該部分空間内の点群に閾値以上の高低差が存在する場合に、当該部分空間を注目部分空間とする。上述したように点群データは道路上の車両に搭載されたレーザスキャナからのレーザ照射によって取得され、当該レーザスキャナから見える壁面が点群データによる三次元形状上に捉えられる。そこで、部分空間選択手段４２は例えば、当該三次元形状にて道路等に対応する平面の部分に基づいて基準平面を決定し、また、道路に沿って道幅内に水平に当該三次元形状の中心線を設定する（Ｓ４２）。そして、当該中心線に沿って順番に部分空間の選択の起点を設定し、中心線に直交する線に沿って両側方向に当該起点から近い順に部分空間を選択して（Ｓ４４）、選択した部分空間内の点群の高低差が閾値以上であれば当該部分空間を注目部分空間と判定する（Ｓ４６）。
【００６３】
ブロック空間設定手段４４は、注目部分空間を水平面によって分割して、縦に積み重なる複数のブロック空間を設定する（Ｓ４８）。例えば、ブロック空間の高さＨＢは部分空間の幅Ｗ、奥行きＤと同程度に設定することができる。
【００６４】
水平面内探索手段４６は、ブロック空間ごとに、水平面内にて当該水平面に射影された点群が予め設定した基準以上に近傍に集まる線分を探索して、当該線分を水平面内における壁面の位置（水平面内壁面位置）と定める（Ｓ５０）。ブロック空間ごとに水平面内壁面位置を探索することで、垂直方向に細長い注目部分空間にて異なる高さに存在し得る、位置・向きが相違した複数の壁面を弁別できる。
【００６５】
垂直位置決定手段４８は、対象空間にて水平面内壁面位置に存在する壁面の垂直方向の位置を求める（Ｓ５２）。具体的には、垂直位置決定手段４８は、注目部分空間にて検出される水平面内壁面位置ごとに、当該注目部分空間の点群のうち水平面への射影位置が当該水平面内壁面位置から予め設定した距離内にあるものを注目点群として抽出する。そして、水平面内壁面位置ごとに抽出された注目点群について、垂直方向の位置に関して当該注目点群が予め設定した閾値以上存在する各範囲を当該水平面内壁面位置での垂直方向壁面位置と定める。これにより、或るブロック空間で検出された水平面内壁面位置に基づいて、当該ブロック空間以外の高さ範囲にて当該水平面内壁面位置に存在する壁面も検出される。例えば、連続する複数のブロック空間に跨がる壁面について一つの垂直方向壁面位置が定められる。また、高さ方向に分離した複数の壁面が同じ水平面内壁面位置に存在する、つまり壁面が垂直方向に階層をなす場合には、それら階層をなす壁面それぞれについて垂直方向壁面位置が求められる。
【００６６】
水平面内壁面位置と当該水平面内壁面位置に対する垂直方向壁面位置との組は、注目部分空間内の一枚の壁面の配置を表す。当該壁面は当該注目部分空間の外側、つまり横方向に広がるより大きな壁面の一部であり得ることから、ここでは壁面要素と称する。
【００６７】
壁面形状決定手段５０は、水平面内壁面位置において各垂直方向壁面位置に存在する壁面要素の形状を、当該垂直方向壁面位置での注目点群の分布範囲に基づいて求める（Ｓ５４）。具体的には、壁面形状決定手段５０は、水平面内壁面位置を通る鉛直面にて注目点群を射影し、射影された点群の分布範囲に基づいて壁面要素の形状を求める。当該形状は、平行な２辺である上底及び下底を鉛直方向に設定され、かつ鉛直面に射影された点群の分布範囲を近似する台形とされる。
【００６８】
追跡手段５２は、既に検出されている水平面内壁面位置における垂直方向壁面位置ごとに、当該水平面内壁面位置の端部に連なる新たな水平面内壁面位置を求める（Ｓ５６）。追跡手段５２は壁面要素の横方向に隣接する直方体の空間を設定し、当該隣接空間内の点群を水平面に射影し、射影された点群が予め設定した基準以上に近傍に集まる線分を探索して新たな水平面内壁面位置と定める。当該処理を順次繰り返すことで、注目部分空間にて特定された壁面要素から横方向に連続する壁面の水平面内壁面位置がトレースされる。
【００６９】
具体的には、隣接空間は、平面形状が既検出の水平面内壁面位置の端部に短辺の中点を接続された長方形である直方体に設定される。ここでは、当該長方形の長辺に沿った中心線を水平面内での隣接空間の向きとする。また、当該隣接空間の高さ、つまり直方体の上面と底面とで定義される垂直方向の範囲は、垂直方向壁面位置に対応した位置に配置される。
【００７０】
追跡手段５２はまず、既検出の水平面内壁面位置を真っ直ぐに延長した向きに隣接空間を設定する。つまり、隣接空間はその平面形状の長方形の上記中心線が既検出の水平面内壁面位置の延長線に一致するように配置される。そして、当該隣接空間内に点群が予め設定した基準以上に集まる場合には当該隣接空間内の点群の水平面内での分布に沿った線分を新たな水平面内壁面位置とする。一方、既検出の水平面内壁面位置の延長線に向きを一致させて設定した隣接空間にて新たな水平面内壁面位置が検出されなかった場合は、追跡手段５２は隣接空間の向きを変化させて水平面内壁面位置を探す。つまり、向きを変化させた隣接空間のうち内部に最も点群が集まるものを探索し、得られた当該隣接空間内の点群の水平面内での分布に沿った線分を新たな水平面内壁面位置とする。
【００７１】
上述のようにして対象空間にて検出された壁面要素に関する情報は壁面要素登録手段５４により記憶装置６に登録される。登録された壁面要素の形状の情報や接続関係の情報は道路標識やガードレールの壁面形状の認識に用いられる他、道路端の段差や沿道の建物の形状把握に用いることができる。
【００７２】
以下、壁面検出手段２４の処理例をより詳しく説明する。図１１、図１２、図１４、図１７〜図２４は、演算処理装置４が実行する一連の処理の流れを分割して示す処理フロー図である。図１１に示す処理は上述した部分空間設定手段４０及び部分空間選択手段４２による処理に当たる。壁面検出手段２４が壁面抽出処理を開始すると（Ｓ６０）、部分空間設定手段４０は、対象空間内に部分空間を順次作成する。例えば、対象空間をＸ軸方向及びＹ軸方向に沿ってメッシュ状に分割する場合、部分空間の幅Ｗ及び奥行きＤがパラメータとして設定されると、それらが当該メッシュの間隔（部分空間のサイズ）となり、対象空間のサイズに応じてＸ，Ｙ各方向の部分空間の配列個数が定まる。当該配列個数により、Ｘ，Ｙ各方向の部分空間の位置を示すインデックスの範囲が決定される。部分空間設定手段４０は、部分空間の二次元メッシュ状の配置を表すインデックスを所定の順番で変更し、設定されたインデックスに応じた位置（Ｘ，Ｙ各方向の座標範囲）で定義される部分空間を設定する（Ｓ６２）。
【００７３】
ここで、道路を走行する車両上からレーザ照射を行い点群データを取得した場合、上述したように、点群データが表す三次元形状にて道路等に対応する平面の部分に基づいて基準平面が設定され、道路に沿って当該三次元形状の中心線が設定される。説明を簡単にするために、当該中心線をＸ軸（つまりＹ＝０）とし、車両が走行する方向にＸ方向のインデックスが増加し、道幅方向に対応するＹ方向に関しては、中心線から離れるに従ってインデックスの絶対値が増加するものとする。例えば、Ｙ方向のインデックスは中心線の位置では０とし、走行方向に対して左向きに、１，２，３，…と設定し、右向きには−１，−２，−３，…と設定することができる。この場合、部分空間設定手段４０は例えば、Ｘ方向のインデックスを順番にインクリメントし、Ｘ方向のインデックスの各値にて、Ｙ軸の正方向と負方向との両方向にＹ方向のインデックスを変化させる。すなわち、部分空間設定手段４０はＸ方向の或るインデックスの値にて、Ｙ方向のインデックスを０から順番に増加させて部分空間を設定し、また−１から順番に減少させて部分空間を設定する。
【００７４】
インデックス指定されたメッシュの部分空間が未処理のものであれば（Ｓ６４にて「Ｎｏ」の場合）、部分空間選択手段４２は当該部分空間内の点群を例えば、ハードディスク等の記憶装置６からＲＡＭ（Random Access Memory）等の作業領域に取り込む（Ｓ６６）。部分空間に取り込んだ点群内に所定閾値Ｔｈ１以上の高低差がある場合（Ｓ６８にて「Ｙｅｓ」の場合）には、部分空間選択手段４２は当該部分空間を注目部分空間と判断して、当該注目部分空間での水平面内壁面位置や垂直方向壁面位置の探索等の処理が開始される（図１２のノードＢへ処理が進む）。例えば、閾値Ｔｈ１は道路等の地表の略平坦な部分のみを含む部分空間を排除できる程度に小さく設定することができる。また、閾値Ｔｈ１を、壁面を検出しようとする地物の高さに応じて設定して、関心のない低い地物の壁面は検出しないようにすることもできる。例えば、道路標識を検出対象としてガードレールは検出対象としない場合には閾値Ｔｈ１を１ｍ程度に設定することができる。
【００７５】
設定した部分空間から取り込んだ点群の高低差が閾値Ｔｈ１未満である場合（Ｓ６８にて「Ｎｏ」の場合）には、当該部分空間における壁面抽出処理は行わない。この場合は、部分空間設定手段４０が次の部分空間を設定する（ノードＡへ処理が戻る）。
【００７６】
全てのメッシュについて処理が終わっている場合は（Ｓ６４にて「Ｙｅｓ」の場合）、演算処理装置４は壁面抽出の処理を終える（Ｓ７０）。
【００７７】
図１２は演算処理装置４が実行する一連の処理のうち上述したブロック空間設定手段４４及び水平面内探索手段４６が行う部分の概略の処理フロー図である。
【００７８】
ブロック空間設定手段４４は、注目部分空間を一定の高さＨＢごとに水平面により分割して、縦に積み重なる複数のブロック空間を設定し、各ブロック空間内に位置する点群のデータを記憶装置６からＲＡＭ等の作業領域に取り込む（Ｓ８０）。例えば、部分空間の幅Ｗ、奥行きＤを５０ｃｍとする場合にはブロック空間の高さＨＢは２０〜５０ｃｍとすることができる。当該分割により設定されるブロック空間の段数をｎ段とし、インデックスＩを用いて下から順に第Ｉ階(Ｉ＝１，２，…，ｎ）と表す。
【００７９】
水平面内探索手段４６はｎ段のブロック空間を順番に選択して、当該ブロック空間にエッジ（水平面内壁面位置）が存在するかを調べる。例えば、水平面内探索手段４６はインデックスＩを１ずつ増加させて、エッジの存在を調べるブロック空間を選択する（Ｓ８２，Ｓ８４）。水平面内探索手段４６は、選択した第Ｉ階のブロック空間にエッジが存在するかを調べ（Ｓ８６）、存在しない場合には（Ｓ８８にて「Ｎｏ」の場合）次のブロック空間を選択する（Ｓ８４）。なお、Ｉがｎを越えた場合には、図１１のノードＡに戻り、次の注目部分空間を探す（Ｓ９０）。
【００８０】
図１３はブロック空間でのエッジの探索処理Ｓ８６を説明する模式図である。図１３は、ブロック空間を上面から見た図であり、ブロック空間の幅Ｗ及び奥行きＤで定義される矩形１００と、ブロック空間内の点群のＸ−Ｙ面内での配置の一例が示されている。水平面内探索手段４６は、ブロック空間内の点群から任意の２つのデータ点ＰＡ，ＰＢを選択し、それら２点を両端とするＸ−Ｙ面内での線分Ｌ０をエッジの候補線として設定すると共に、線分Ｌ０を中心としてその両側にそれぞれ幅ｗ（合計幅２ｗ）の帯状領域ＥＡを設定する。水平面内探索手段４６は点群のうちＸ−Ｙ平面での座標が当該領域ＥＡ内に位置するデータ点の個数をカウントする。データ点が領域ＥＡ内であるか否かは例えば、Ｘ−Ｙ平面上での当該データ点から線分Ｌ０への垂線の長さがｗ以下であるか否かによって判定可能である。また、エッジの条件として、領域ＥＡ内の点群が表す三次元形状が平坦でないことを課す。具体的には、水平面内探索手段４６は、領域ＥＡ内に包含されるデータ点の高低差（最大標高と最小標高との差）ΔＺが予め設定した段差閾値γ以上であれば平坦ではないと判定する。
【００８１】
ここで、幅ｗはパラメータであり、壁面に対応するデータ点のエッジに直交する方向の位置のばらつきを吸収する。例えば、ｗは３ｃｍ程度とすることができる。また、高低差の閾値γは例えば２ｃｍ程度に設定できる。
【００８２】
水平面内探索手段４６は、ブロック空間内の２つのデータ点の全ての組み合わせについて候補線を設定して上述の判定を行い、領域ＥＡ内に最もデータ点が多く集まり、かつΔＺが閾値γ以上である線分Ｌ０をブロック空間にて見つけられたエッジとする。エッジが存在した場合には（Ｓ８８にて「Ｙｅｓ」の場合）、当該エッジが壁面要素を決定するための処理を行われていない新規なものであるか判定される（Ｓ９２）。当該判定は、壁面要素を決定するための処理の対象とされたエッジを登録したリストを検索して、処理Ｓ８６で見つけられたエッジと同一のものが存在するか否かに基づいて行われる。リストに同一のものが存在しなければ新規なエッジと判定し（Ｓ９２にて「Ｎｏ」の場合）、リストにエッジの両端ＰＡ，ＰＢの座標（ａｘ，ａｙ），（ｂｘ，ｂｙ）を登録する（Ｓ９４）。このように或るブロック空間にて新たなエッジが検出されると、当該エッジについて当該注目部分空間での垂直方向壁面位置の探索、及び壁面要素の形状の決定が行われる（図１４のノードＤへ処理が進む）。一方、処理Ｓ８６にて見つけられたエッジと同一のエッジが他のブロック空間についての処理で既にリストに登録されると共に、垂直方向壁面位置の探索等の処理が行われている場合もあり、その場合は（Ｓ９２にて「Ｙｅｓ」の場合）、当該エッジについてのリストへの登録や垂直方向壁面位置の探索等の処理は省略され、水平面内探索手段４６は次のブロック空間について処理を行う（ノードＣへ処理が戻る）。
【００８３】
図１４は垂直位置決定手段４８及び壁面形状決定手段５０の概略の処理フロー図である。垂直位置決定手段４８は、処理Ｓ８６にて抽出されたエッジＬ０での垂直方向における壁面の位置を探索するための空間として垂直探索空間を設定し、当該垂直探索空間内に位置する点群のデータを記憶装置６からＲＡＭ等の作業領域に取り込む（Ｓ１１０）。垂直探索空間は、平面形状がエッジＬ０を長手方向の中心軸とする矩形である直方体形状の空間であり、その底面及び上面は部分空間の底面及び上面と同じ高さに位置する。平面形状の矩形の短辺の寸法ξは例えば、エッジを抽出した帯状領域ＥＡの幅２ｗと同じ、またはやや大きめに設定することができる。例えば、ξは１０ｃｍに設定することができる。
【００８４】
垂直位置決定手段４８は垂直探索空間内の点群をＺ方向の分布に基づいてグループ化する（Ｓ１１２）。これにより或る水平面内壁面位置における垂直方向の壁面の階層構造が捉えられる。
【００８５】
グループ化において垂直位置決定手段４８は例えば、垂直探索空間に取り込んだ点群の最小標高から上へ、又は最大標高から下へ向けて一定の刻み幅ｈでＺ方向に複数の区間を設定する。そして、当該区間に基づいて垂直探索空間内の点群を複数の階層（ランク）に区分し、ランクごとに点群の数（点数）を集計する。ここで刻み幅ｈに応じて、垂直方向に隣接した２つの壁面を分離して検出できる分解能が定まり、基本的にはｈはＨＢ以下に設定される。ここでｈが小さいほど分解能が高くなるが、ｈが小さすぎると、壁面が存在する高さ範囲の区間での点数が小さくなり、壁面が存在しない高さ範囲での点数（基本的には０であることが期待される）との弁別が難しくなる。ｈはこれらを勘案して設定される。垂直位置決定手段４８はランクごとに点群の数を集計した点群分布に基づいて、垂直探索空間における点群をグループ化する。具体的には、点群が集まっているランク範囲をそれぞれ点群の１つのグループとし、当該ランク範囲を１つの垂直方向壁面位置とする。
【００８６】
図１５はグループ化を説明するための説明図であり、ｈを０．２ｍとしてランクごとに点群の数を集計した結果である点群分布表の一例を示している。垂直位置決定手段４８は例えば、ランクを下（最小標高）から上へ順番に調べて、０より大きい点数を有するランクが連続する範囲ごとに順番にグループ番号を付与する。図１５に示す例では点数が０より大きいランク範囲は、ランク１〜４、ランク９〜１２、ランク１８〜２２、及びランク２５〜２６の４つであり、これらランク範囲に順番にグループ番号１〜４が付与される。なお、点数が０より大きいランクが単独で現れる場合、つまり当該ランクの前後では点数が０である場合には、垂直位置決定手段４８は当該１つのランクを１つのランク範囲としてグループ番号を付与する。
【００８７】
グループ化により定まる階層数をｍと表す。図１５に示す例ではｍは４である。壁面形状決定手段５０はｍ階層に設定されたランク範囲（垂直方向壁面位置）を順番に選択する。例えば、壁面形状決定手段５０はグループ番号Ｊを１ずつ増加させて、壁面要素の形状を決定するランク範囲を選択する（Ｓ１１４，Ｓ１１６）。そして、垂直探索空間に存在する点群のうち選択したランク範囲に存在するもののデータを記憶装置６からＲＡＭ等の作業領域に取り込み（Ｓ１２０）、当該点群データから壁面要素となる台形を決定する処理を行う（Ｓ１２２）。壁面要素の形状を決定できた場合には（Ｓ１２４にて「Ｙｅｓ」の場合）、当該壁面要素の横方向につながる壁面要素の水平面内壁面位置を順次求める追跡処理が開始される（図１７のノードＦへ処理が進む）。
【００８８】
なお、ｍ階層全てについて壁面要素の決定処理が終わると（Ｓ１１８にて「Ｙｅｓ」の場合）、図１２のノードＣへ戻り、次のエッジが探索され当該エッジについて同様の処理が繰り返される。また、或る階層にて壁面要素の形状を決定できなかった場合は（Ｓ１２４にて「Ｎｏ」の場合）、処理Ｓ１１６に戻り、次の階層についての処理が行われる。
【００８９】
図１６は壁面要素の形状を求める処理Ｓ１２２を説明する模式図であり、垂直探索空間に存在する点群のうち１つの階層に対応するものをエッジを通る鉛直面に射影した様子の一例を示している。図１６において矩形で示す鉛直面１３０に分布する黒点１３２が点群を射影した点である。矩形の鉛直面１３０は横方向がエッジに沿っており、左側がエッジの一方端ＰＡの側、右側が他方端ＰＢの側に対応している。また、鉛直面１３０の縦方向が鉛直方向であり、上端、下端はそれぞれランク範囲の上端、下端に対応している。壁面形状決定手段５０は鉛直面１３０を格子状に区切り、縦横に行列配置された複数の小矩形１３４を定義する。例えば、小矩形１３４の幅は１０ｃｍ程度、高さは５ｃｍ程度とすることができる。
【００９０】
壁面形状決定手段５０は、縦に並ぶ小矩形１３４の列を例えば左側から順に選択し、点群が射影される小矩形１３４が２つ以上存在する列を探す。そのような列が現れる範囲、つまり最初の位置（第ηＳ列）から最後の位置（第ηＥ列）までの列範囲が得られた場合には、さらに壁面要素の形状を特定する処理が行われる。一方、そのような列範囲が存在しない場合には当該階層には壁面要素は存在しないと判断される。
【００９１】
壁面形状決定手段５０は鉛直面１３０に射影された点群（黒点１３２）のうち左端部分に位置するものに基づいて台形の平行な２辺のうちの一方（ここではこれを台形の上底とする）とする鉛直線のＸ，Ｙ座標を定め、左端部分に分布する点群の標高に基づいて当該辺（上底）の両端のＺ座標を定める。また、右端部分に位置するものに基づいて台形の平行な２辺のうちの他方（ここではこれを台形の下底とする）とする鉛直線のＸ，Ｙ座標を定め、右端部分に分布する点群の標高に基づいて当該辺（下底）の両端のＺ座標を定める。例えば、壁面形状決定手段５０は、第ηＳ列と第（ηＳ＋１）列との２列における点群の分布に基づいて台形の上底のＸ，Ｙ座標及びその両端のＺ座標を定め、第ηＥ列と第（ηＥ−１）列との２列における点群の分布に基づいて台形の下底のＸ，Ｙ座標及びその両端のＺ座標を定める。この場合、具体的には、第ηＳ列と第（ηＳ＋１）列との２列における点群のＺ座標のうち最大値（点１３６に対応）及び最小値（点１３８に対応）を上底の両端のＺ座標とすることができ、第ηＥ列と第（ηＥ−１）列との２列における点群のＺ座標のうち最大値（点１４０に対応）及び最小値（点１４２に対応）を下底の両端のＺ座標とすることができる。上底のＸ，Ｙ座標は、点群のうち最も左側の点１４４や、第ηＳ列と第（ηＳ＋１）列との境界線１４６でのＸ，Ｙ座標で、また、下底のＸ，Ｙ座標は、点群のうち最も右側の点１４８や、第ηＥ列と第（ηＥ−１）列との境界線１５０でのＸ，Ｙ座標で定義することができる。
【００９２】
図１７は追跡手段５２の概略の処理フロー図である。追跡手段５２は注目部分空間にて検出されたエッジを連続追跡処理の基点として設定し（Ｓ１６０）、エッジリストＡ，Ｂを空にする初期化処理を行う（Ｓ１６２）。基点エッジについて取得された壁面要素が既に図形データベースに図形登録されているか調べ（Ｓ１６６）、登録されていない、つまり新規である場合には（Ｓ１６６にて「Ｎｏ」の場合）、当該壁面要素をエッジリストＡに追加する（Ｓ１６８）。
【００９３】
さらに追跡手段５２は、基点エッジの両端それぞれに連なるエッジを追跡する。具体的には、垂直方向壁面位置ごとに基点エッジの一方端ＰＡから伸びる向きに連なるエッジを順次検出し、検出したエッジに対応する壁面要素を求める連続壁面追跡処理が行われ、取得した壁面要素はエッジリストＡに追加登録される（Ｓ１７０）。同様に、基点エッジの他方端ＰＢから伸びる向きにも連続壁面追跡処理が行われ、取得された壁面要素はエッジリストＢに追加登録される（Ｓ１７２）。或る基点エッジについて追跡手段５２による処理が終わると、壁面要素登録手段５４による処理が行われる（図２２のノードＧへ処理が進む）。
【００９４】
一方、処理Ｓ１６６において、基点エッジでの壁面要素が既に図形データベースに図形登録されている場合には（Ｓ１６６にて「Ｙｅｓ」の場合）、演算処理装置４は、当該壁面要素についての追跡処理や登録処理は行わずに、処理を図２３に示すノードＨに進める。この場合の処理については後述する。
【００９５】
図１８、図１９は処理Ｓ１７０，Ｓ１７２にて行われる連続壁面追跡処理の概略のフロー図である。追跡手段５２は既に検出されているエッジに連続するエッジを探索する空間として直方体の探索空間を設定する。探索空間は既検出エッジの探索空間に隣接する空間であり、探索空間の平面形状である長方形の短辺の中点は既検出エッジの端部に配置される。また、探索空間のＺ値の範囲（上面及び底面の高さ）は、既検出エッジにおける壁面要素の垂直方向の位置に応じて設定される。例えば、既検出の壁面要素の形状である台形の上側の辺と下側の辺が勾配を有し得ることを考慮して、探索空間の上面の高さを既検出の壁面要素の鉛直な２辺のうち当該探索空間が接続される側の辺の上端より高く設定し、一方、探索空間の底面の高さを当該辺の下端より低く設定することができる。探索空間の平面形状の長辺の長さは部分空間の幅Ｗや奥行きＤと同程度に設定することができ、例えば５０ｃｍとすることができる。
【００９６】
まず、追跡手段５２は既険出のエッジである線分を追跡しようとする側に延長し、当該延長線の向きに探索空間を配置する（Ｓ１８０）。すなわち、探索空間はその平面形状である長方形の長辺に沿った中心線を当該延長線に一致させるように配置される。そして、当該探索空間内に位置する点群のデータを記憶装置６からＲＡＭ等の作業領域に取り込み（Ｓ１８０）、処理Ｓ８６と同様の手法により当該探索空間にてエッジを探す（Ｓ１８２）。当該探索空間にてエッジが存在した場合（Ｓ１８４にて「Ｙｅｓ」の場合）、追跡手段５２はさらに、処理Ｓ１２２と同様にして探索空間の点群データから壁面要素となる台形を決定する処理を行う（Ｓ１８６）。壁面要素の形状を取得できた場合には（Ｓ１８８にて「Ｙｅｓ」の場合）、エッジの微調整処理が行われる（Ｓ１９０）。そして処理は処理Ｓ１８０に戻り、今得られたエッジを既検出エッジとして、連続壁面の追跡処理が継続される。
【００９７】
既検出エッジの延長線上の探索空間にてエッジ又は壁面要素を検出できない場合（処理Ｓ１８４にて「Ｎｏ」の場合、及びＳ１８８にて「Ｎｏ」の場合）は、図１９のノードＣＢに進み、既検出エッジの延長線からずれた方向における探索処理が行われる。当該探索処理では、探索空間をその中心軸を水平面内にて当該延長線の位置から時計回り方向と反時計回り方向とに変化させて設定する。例えば、延長線の向きからの中心軸の向きの変化範囲（±θ）とその分割数ｋを設定し、θ／ｋずつ水平面内での角度が異なる複数の探索空間を設定し、各探索空間にてエッジを探し、そして角度を変えて設定した複数の探索空間にて得られたエッジのうち最も点群が集まるものを選択する（Ｓ２００）。
【００９８】
一番点群が集まるエッジを特定できた場合（Ｓ２０２にて「Ｙｅｓ」の場合）、追跡手段５２はさらに、処理Ｓ１２２と同様にして探索空間の点群データから壁面要素となる台形を決定する処理を行う（Ｓ２０４）。壁面要素の形状を取得できた場合には（Ｓ２０６にて「Ｙｅｓ」の場合）、後述する微調整処理が行われる（Ｓ２０８）。そして処理は図１８のノードＣＡに戻り、今得られたエッジを既検出エッジとして、連続壁面の追跡処理が継続される。
【００９９】
角度を変えた探索空間にてエッジ又は壁面要素を検出できない場合（処理Ｓ２０２にて「Ｎｏ」の場合、及びＳ２０６にて「Ｎｏ」の場合）は、連続壁面追跡処理は終了し、当該処理をサブルーチンとして呼び出した処理Ｓ１７０又はＳ１７２に戻る。
【０１００】
図２０及び図２１はエッジの微調整処理Ｓ１９０，Ｓ２０８の概略のフロー図である。演算処理装置４はエッジを示す線分が得られると、当該線分を一定の長さの区間に区切り（Ｓ２２０）、各区間にてエッジが通る点（代表点）を探索し、エッジをＸ−Ｙ面内にてＰＡ，ＰＢを結ぶ線分に代えて、各区間にて求めた代表点をつなぐ折れ線とする。ここでは区間数をＮとする。演算処理装置４は、選択した区間Ｋから代表点ＰＫが得られると、当該代表点ＰＫの水平面内の座標（ＸＫ，ＹＫ）と、当該区間での壁面要素の標高値の最小値ＺＬＫ及び最大値ＺＨＫとを、代表点情報として求める。例えば、ＺＬＫ，ＺＨＫはエッジの両端ＰＡ，ＰＢでの値を補間して求めることができる。
【０１０１】
演算処理装置４はまず、エッジの一方端ＰＡを代表点とし、ＰＡについての代表点情報をエッジ代表点リストに格納する（Ｓ２２２）。続いて、区間番号Ｋを１ずつ増加させて、区間を選択し（Ｓ２２４，Ｓ２２６）、各区間にて代表点を探索する（Ｓ２３０）。当該処理Ｓ２３０では、水平断面が選択した区間の近傍領域であり、垂直方向に壁面要素に応じた高さを有する空間を設定し、当該区間内の点群データを取り込んで、当該空間の水平断面内にて最も点群が密集する位置を求める。そして当該位置に密集する点の数が予め定めた個数以上であれば（Ｓ２３２にて「Ｙｅｓ」の場合）、当該位置を代表点としてエッジ代表点リストに追加する（Ｓ２３４）。一方、当該位置に密集する点の数が予め定めた個数未満であれば（Ｓ２３２にて「Ｎｏ」の場合）、当該区間からはエッジの代表点をエッジ代表点リストに追加せずに次の区間の処理に進む。全ての区間について処理が終わると（Ｓ２２８にて「Ｙｅｓ」の場合）、エッジの他方端ＰＢをエッジ代表点リストに追加し（Ｓ２３６）、図２１のノードＣＶ−Ｒに進む。
【０１０２】
演算処理装置４はエッジ代表点リストに格納されている代表点の数ｍをカウントする（Ｓ２４０）。そして、隣接する代表点ＰＪとＰＪ＋１の対をＪを１から（ｍ−１）まで１ずつ増加させて選択し（Ｓ２４２〜Ｓ２４６）、ＰＪの代表点情報とＰＪ＋１の代表点情報とで表される壁面要素が既に図形データベースに図形登録されているか調べる（Ｓ２４８）。登録されていない場合には（Ｓ２５０にて「Ｎｏ」の場合）、当該壁面要素をエッジリストＡ又はＢに追加し（Ｓ２５２）、処理Ｓ２４４に戻る。一方、既に図形データベースに図形登録されていた場合（Ｓ２５０にて「Ｙｅｓ」の場合）、エッジの微調整処理Ｓ１９０，Ｓ２０８を終了する。
【０１０３】
さて、図１７の説明で述べたように、或る基点エッジについて追跡手段５２による処理が終わると、壁面要素登録手段５４による処理が行われる。図２２は壁面要素登録手段５４の概略の処理フロー図である。壁面要素登録手段５４は、追跡手段５２により生成されたエッジリストＡ，Ｂが空でなければ（Ｓ２６０，Ｓ２６４にて「Ｎｏ」の場合）、それらエッジリストに格納されている壁面要素を図形データベースに登録し（Ｓ２６２，Ｓ２６６）、図２３のノードＨへ処理を進める。
【０１０４】
ここまで処理を行ってきた基点エッジは、処理Ｓ８４で指定される第Ｉ階のブロック空間から処理Ｓ８８で検出されたエッジである。演算処理装置４は当該基点エッジについて処理Ｓ１１６で指定された第Ｊ階層での処理を終えると、注目部分空間のうち当該階層に対応する高さ範囲にて、他のエッジを探索して壁面要素を決定する処理を行う。これにより例えば、同じ高さ範囲における多重エッジを検出して、それぞれに対応する壁面要素を決定することができる。図２３は第Ｊ階層にて最初のエッジ（主エッジと称する）についての処理を終えた後の処理フロー図である。演算処理装置４は第Ｊ階層にて主エッジの処理を終えると、当該階層に存在する他のエッジ（多重エッジと称する）を探索して壁面要素を決定する処理（多重エッジ処理）Ｓ２７０を行う。多重エッジ処理Ｓ２７０が終了すると、処理は図１４のノードＥに戻り、次の階層における主エッジの処理が開始される。
【０１０５】
図２４は多重エッジ処理の概略の処理フロー図である。多重エッジ処理では、主エッジの両側に別のエッジがないか探索する。図２５は多重エッジ処理を説明する模式図であり、部分空間の平面配置を示している。図２５（ａ）に示す例では、注目部分空間２８０には最も点群が集まるエッジ２８２と、エッジ２８２より点群の集まり度合いが低いエッジ２８４とが存在している。既に説明した水平面内探索手段４６、垂直位置決定手段４８、壁面形状決定手段５０、追跡手段５２及び壁面要素登録手段５４による処理で、主エッジとなるエッジ２８２が検出され、当該エッジ２８２について追跡や図形登録の処理が行われる。多重エッジ処理では、当該エッジ２８２を含まないようにその両側に多重エッジ探索空間２８６，２８８を設定する（図２５（ｂ））。多重エッジ探索空間は例えば、平面形状が部分空間と同程度の大きさ・形状の矩形であり、Ｚ値の範囲が第Ｊ階層と同程度である直方体の空間に設定される。例えば、主エッジ（図２５のエッジ２８２）が延びるいずれかの方向に向かって、当該エッジより左側の領域に多重エッジ探索空間を作成して当該空間内の点群を取り込み（Ｓ３００）、処理Ｓ８６と同様に当該多重エッジ探索空間でエッジの探索を行い、エッジが存在するかを判定する（Ｓ３０２）。エッジが存在する場合（Ｓ３０２で「Ｙｅｓ」の場合）は、多重エッジ探索空間内にて当該エッジを中心として図１４の処理Ｓ１１０における垂直探索空間と同様の平面形状の空間を設定し、当該空間内の点群から処理Ｓ１２２と同様にして壁面要素の形状を決定する処理を行う（Ｓ３０４）。壁面要素の形状を取得できた場合には（Ｓ３０６にて「Ｙｅｓ」の場合）、図１７で説明した追跡手段５２による連続壁面追跡処理Ｓ１６０〜Ｓ１７２、及び図２２で説明した壁面要素登録手段５４による登録処理Ｓ２６０〜Ｓ２６６と同様の処理Ｓ３０８が行われる。同様に主エッジより右側の領域に多重エッジ探索空間を作成して、上述した左側の場合の処理Ｓ３００〜Ｓ３０８と同様の処理Ｓ３１０〜Ｓ３１８が行われる。
【０１０６】
上記実施形態では、コンピュータを道路付属物検出システム２の各手段として動作させるプログラムは記憶装置６に格納され、コンピュータはこれを読み出して実行する構成としたが、他の構成では、当該プログラムはネットワーク等の通信媒体を介してコンピュータに提供することができ、この場合、道路付属物検出システム２は通信装置を備え当該通信装置がネットワーク等からプログラムを取得し、演算処理装置４に提供したり、記憶装置６に記憶させる。また、当該プログラムはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に格納して提供することも可能である。
【０１０７】
上記実施形態では、道路付属物のうち道路標識、ガードレール、及び道路標示を検出対象としているが、これは一例であり、他の道路付属物についても記憶装置６に画像特徴情報３６、形態特徴情報３８を格納して、それらの検出を行うことができる。
【符号の説明】
【０１０８】
２ 道路付属物検出システム、４ 演算処理装置、６ 記憶装置、８ 入力装置、１０ 出力装置、２０ 画像分割手段、２２ 候補画像領域抽出手段、２４ 壁面検出手段、２６ 候補壁面抽出手段、２８ 照合手段、３０ 道路標識識別手段、３２ 路面画像領域抽出手段、３４ 道路標示検出手段、３６ 画像特徴情報、３８ 形態特徴情報、４０ 部分空間設定手段、４２ 部分空間選択手段、４４ ブロック空間設定手段、４６ 水平面内探索手段、４８ 垂直位置決定手段、５０ 壁面形状決定手段、５２ 追跡手段、５４ 壁面要素登録手段、８０，８２ 道路標識、８４ ガードレール、８６ 道路標示。
【特許請求の範囲】
【請求項１】
対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する道路付属物検出装置であって、
前記道路付属物のうち検出対象とするものの画像特徴及び、前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ当該検出対象の形態特徴を予め記憶する記憶手段と、
それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段と、
前記記憶手段に記憶された前記画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段と、
前記点群データに基づいて前記地物の壁面を検出する壁面検出手段と、
前記記憶手段に記憶された前記形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段と、
前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段と、
を有することを特徴とする道路付属物検出装置。
【請求項２】
請求項１に記載の道路付属物検出装置において、
前記照合手段は、前記検出対象であるガードレールについて、前記対象空間のうち道路より外側部分と当該道路の車道部分とを除く領域で検出すること、を特徴とする道路付属物検出装置。
【請求項３】
請求項１又は請求項２に記載の道路付属物検出装置において、
前記照合手段は、前記検出対象である道路標識について、前記対象空間のうち道路より外側部分を除く領域で検出すること、を特徴とする道路付属物検出装置。
【請求項４】
請求項３に記載の道路付属物検出装置において、
検出された前記道路標識について、当該道路標識に対応する画像領域でのテンプレートマッチングにより当該道路標識の種類又は表示内容を識別する道路標識識別手段を有すること、を特徴とする道路付属物検出装置。
【請求項５】
請求項１から請求項４のいずれかに記載の道路付属物検出装置において、
前記検出対象である道路標示を検出する道路標示検出手段と、
前記点群データに基づいて、前記画像にて道路面に対応する路面画像領域を抽出する路面画像領域抽出手段と、
を有し、
前記候補画像領域抽出手段は、前記道路標示について前記候補画像領域である道路標示候補を抽出し、
前記道路標示検出手段は、前記路面画像領域内の前記道路標示候補を前記道路標示と判定すること、
を特徴とする道路付属物検出装置。
【請求項６】
請求項５に記載の道路付属物検出装置において、
前記道路標示検出手段は、前記道路標示と判定した前記道路標示候補について、テンプレートマッチングにより当該道路標示の内容を識別すること、を特徴とする道路付属物検出装置。
【請求項７】
対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する道路付属物検出方法であって、
それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割ステップと、
前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出ステップと、
前記点群データに基づいて前記地物の壁面を検出する壁面検出ステップと、
前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出ステップと、
前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合ステップと、
を有することを特徴とする道路付属物検出方法。
【請求項８】
コンピュータに、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する処理を行わせるためのプログラムであって、当該コンピュータを、
それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段、
前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段、
前記点群データに基づいて前記地物の壁面を検出する壁面検出手段、
前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段、及び
前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段、として機能させることを特徴とするプログラム。
【請求項１】
対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する道路付属物検出装置であって、
前記道路付属物のうち検出対象とするものの画像特徴及び、前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ当該検出対象の形態特徴を予め記憶する記憶手段と、
それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段と、
前記記憶手段に記憶された前記画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段と、
前記点群データに基づいて前記地物の壁面を検出する壁面検出手段と、
前記記憶手段に記憶された前記形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段と、
前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段と、
を有することを特徴とする道路付属物検出装置。
【請求項２】
請求項１に記載の道路付属物検出装置において、
前記照合手段は、前記検出対象であるガードレールについて、前記対象空間のうち道路より外側部分と当該道路の車道部分とを除く領域で検出すること、を特徴とする道路付属物検出装置。
【請求項３】
請求項１又は請求項２に記載の道路付属物検出装置において、
前記照合手段は、前記検出対象である道路標識について、前記対象空間のうち道路より外側部分を除く領域で検出すること、を特徴とする道路付属物検出装置。
【請求項４】
請求項３に記載の道路付属物検出装置において、
検出された前記道路標識について、当該道路標識に対応する画像領域でのテンプレートマッチングにより当該道路標識の種類又は表示内容を識別する道路標識識別手段を有すること、を特徴とする道路付属物検出装置。
【請求項５】
請求項１から請求項４のいずれかに記載の道路付属物検出装置において、
前記検出対象である道路標示を検出する道路標示検出手段と、
前記点群データに基づいて、前記画像にて道路面に対応する路面画像領域を抽出する路面画像領域抽出手段と、
を有し、
前記候補画像領域抽出手段は、前記道路標示について前記候補画像領域である道路標示候補を抽出し、
前記道路標示検出手段は、前記路面画像領域内の前記道路標示候補を前記道路標示と判定すること、
を特徴とする道路付属物検出装置。
【請求項６】
請求項５に記載の道路付属物検出装置において、
前記道路標示検出手段は、前記道路標示と判定した前記道路標示候補について、テンプレートマッチングにより当該道路標示の内容を識別すること、を特徴とする道路付属物検出装置。
【請求項７】
対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する道路付属物検出方法であって、
それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割ステップと、
前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出ステップと、
前記点群データに基づいて前記地物の壁面を検出する壁面検出ステップと、
前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出ステップと、
前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合ステップと、
を有することを特徴とする道路付属物検出方法。
【請求項８】
コンピュータに、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する処理を行わせるためのプログラムであって、当該コンピュータを、
それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段、
前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段、
前記点群データに基づいて前記地物の壁面を検出する壁面検出手段、
前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段、及び
前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段、として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１３−５４５２２（Ｐ２０１３−５４５２２Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９１９６８（Ｐ２０１１−１９１９６８）
【出願日】平成２３年９月２日（２０１１．９．２）
【出願人】（０００１３５７７１）株式会社パスコ (102)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月２日（２０１１．９．２）
【出願人】（０００１３５７７１）株式会社パスコ (102)
【Ｆターム（参考）】
[ Back to top ]