説明

交差点位置抽出方法、交差点位置抽出プログラムおよび交差点位置抽出装置

【課題】交差点情報を抽出するのに要する計算時間を短縮することの可能な交差点位置抽出方法を提供する。
【解決手段】回転角θごとにT(θ;x,y)をI(x,y)の各画素に対してFFTを用いて畳み込むことによりH(θ;(x,y))を計算し(S201)、交差点モデルの各分枝の方向角θに対応するH(θ;(x,y))を足し合わせることにより交差点モデルでのD(Mθ(x,y))を計算し(S202)、各画素において、D(Mθ(x,y))をθに関して微分し、微分値がゼロとなるθの値を求め、その中で最大のD(Mθ(x,y))をR(x,y)として抽出し(S203)、R(x,y)の極大値を検出し、画像データI(x,y)の極大値に対応する位置を交差点位置として抽出する(S104)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、航空画像や衛星画像などの地表面画像から交差点を抽出する交差点抽出方法、交差点抽出プログラムおよび交差点抽出装置に関する。
【背景技術】
【0002】
紙面からデジタルへの地図媒体の移行により、利用者の目的に合わせて多様かつ詳細な情報を提供することが可能になった。カーナビゲーションシステム、交通情報の管理、防災および都市計画、といったITS(Intelligent Transport Systems; 高度交通システム)やGIS(Geographic Information System; 地理情報システム) のアプリケーションにおいて、デジタル地図は必要不可欠である。
【0003】
最近では、航空写真に地図情報を重ね合わせる技術や、デジタル地図を3次元でわかりやすく表示する技術が用いられている。これらの技術は、デジタル地図が十分な位置精度を持ち、かつ信頼できる情報であることを前提としている。しかし、現存するデジタル地図は既存の紙地図をトレースしたり、航空写真を測量したりするなど、手作業によって作成されており、コストの面で問題がある。そのため、画像認識技術を用いて紙地図や航空画像からデジタル地図を自動的に作成または更新する技術の実現に期待が高まっている。
【0004】
航空画像や衛星画像などの地表面画像から道路を抽出する手法は、主に二種類に分類することが可能である。一つは、初期条件を一通り与えるとバッチ処理などで自動的に地表物を認識するフルオートマチック(Full-Automatic)手法であり、もう一つは、オペレータと対話により地表物を抽出する、地図作りの支援ツール的な意味合いを持つセミオートマチック(Semi-Automatic)手法である。もっとも、これらの技術は互いに独立したものではなく、セミオートマチック手法の対話部分を自動化することにより、セミオートマチック手法をフルオートマチック手法にすることができる。
【0005】
なお、既存の数値地図の情報を利用して、新しい地図を作成する研究も行われている(非特許文献1,2,3)
【0006】
セミオートマチックな道路抽出手法の代表例であるロードトラッキング(Road Tracking)(非特許文献4,5,6,7)やスネークス(Snakes)(非特許文献8,9,10)は、初期条件が良ければ複雑な住宅街の画像においても道路を正しく抽出することができる優れた方法である。しかし、これらをフルオートマチック手法に移行する際に、良い初期条件を与える方法がなく、道路を抽出する地域が単純な農地に限られていた(非特許文献11,12,13)。
【0007】
【非特許文献1】D. Klang, “Automatic detection of changes in road databases using satellite imagery,”Proceedings of International Archives of Photogrammetry and Remote Sensing, vol.32, pp.293-298, 1998.
【非特許文献2】C. Zhang, Updating of Cartographic Road Database, Ph.D thesis, Institute of Geodesy and Photogrammetry, ETH Zurich, 2003.
【非特許文献3】上瀧剛,内村圭一,胡振程,“ネットワーク型active shape models による道路地図の位置精度の向上,” 情報処理学会論文誌,vol.47,pp.3079-3089,2006.
【非特許文献4】M. Fischler, J. Tenenbaum, and H. Wolf, “Detection of roads and linear structures in low resolution aerial images using multi-source knowledge integration techniques,” Defense Advanced Research Projects Agency, pp.87-100, 1979.
【非特許文献5】D. Geman, and B. Jedynak, “An active testing model for tracking roads in satellite images,” IEEE Transaction on Pattern Analysis and Machine Intelligence, vol.18, no.1, pp.1-14, 1996.
【非特許文献6】G. Vosselman, and J. Knecht, “Road tracing by profilematching and kalman filtering,” Proceedings of Automatic Extraction of Man-Made Objects, pp.255-264, 1995.
【非特許文献7】M.N. HuijingZhao, Jun Kumagai, and R. Shibasaki, “Semi-automatic road extraction from high-resolution satellite image,” Photogrammetric Computer Vision, pp.406-411, 2002.
【非特許文献8】M. Kass, A. Witkin, and D. Terzopoulos, “Snakes: Active contour models,” International Journal of Computer Vision, vol.1, no.4, pp.321-331, 1988.
【非特許文献9】P. Fua, and Y. Leclerc, “Model driven edge detection,” Computer Vision, vol.3, no.1, pp.45-56, 1990.
【非特許文献10】A. Gruen, and H. Li, “Road extraction from aerial and satellite images by dynamic programming,” ISPRS Journal of Photogrammetry and Remote Sensing, vol.50, pp.11-20, 1995.
【非特許文献11】R. Ruskone, and S. Airault, “Toward an automatic extraction of the road network by local interpretation of the scene,” 46th Photogrammetric Week, pp.147-157, 1997.
【非特許文献12】A. Baumgartner, W. Eckstein, H. Mayer, C. Heipke, and H. Ebner, “Context-supported road extraction,” Proceedings of Proceedings of Automatic Extraction of Man-Made Objects, pp.299-308, 1997.
【非特許文献13】I. Laptev, “Road extraction based on snakes and sophisticated line extraction,” Masters Thesis, Computational Vision and AcivePerception Lab, Royal Institute of Technology in Stockholm, Sweden, 1997.
【非特許文献14】上瀧剛,内村圭一,胡振程,脇阪信治,有田秀昶,“交差点モデルを用いたカラーオルソ航空画像からの道路網構成,” 電子情報通信学会論文誌A,vol.J88-A,pp.164-174,2005.
【発明の開示】
【発明が解決しようとする課題】
【0008】
ところで、本願発明者らは、上記したロードトラッキングの初期条件としてモデルマッチングにより検出した交差点位置と交差点枝方向とを利用することにより、農地以外の郊外住宅街での道路抽出に成功している(非特許文献14)。しかし、道路抽出に要する処理時間のほとんどが交差点のモデルマッチングに費やされており、計算時間の面で問題があった。
【0009】
本発明はかかる問題点に鑑みてなされたもので、その目的は、地表面画像を数値化した画像データから交差点情報を抽出するのに要する計算時間を短縮することの可能な交差点位置抽出方法、交差点位置抽出プログラムおよび交差点位置抽出装置を提供することにある。
【課題を解決するための手段】
【0010】
本発明による交差点位置抽出方法は、地表面画像を数値化した画像データI(x,y)から道路の交差点情報を抽出する交差点抽出装置で実行される方法であって、以下の(A1)〜(A4)の各工程を含むものである。
(A1)交差点枝モデルを交差点枝分解能Δθずつ回転させたときの回転角θ(=Δθ×n)(0≦n≦(360−Δθ)/Δθ)ごとに、交差点枝モデルを数値化したテンプレート値T(θ;x,y)を、地表面画像を数値化した画像データI(x,y)の各画素に対してFFT(Fast Fourier Transform)を用いて畳み込むことにより、回転角θごとの相関画像H(θ;(x,y))を生成する相関画像生成ステップ
(A2)複数の分枝を有する交差点モデルにおける複数の分枝の方向角θに対応する相関画像H(θ;(x,y))を足し合わせることにより、交差点モデルでのマッチング値D(Mθ(x,y))を計算するマッチング値計算ステップ
(A3)各画素において、マッチング値D(Mθ(x,y))をθに関して微分し、微分値がゼロとなるθの値を求め、微分値がゼロとなるθにおけるマッチング値D(Mθ(x,y))の中から最大値を抽出することにより、マッチング値マップR(x,y)を作成するマッチング値マップ作成ステップ
(A4)マッチング値マップR(x,y)の極大値を検出し、画像データI(x,y)の極大値に対応する位置を交差点位置として抽出する交差点位置抽出ステップ
【0011】
本発明による交差点位置抽出プログラムは、地表面画像を数値化した画像データI(x,y)から道路の交差点情報を抽出する交差点抽出装置で実行されるプログラムであって、以下の(B1)〜(B4)の各ステップを含むものである。
(B1)交差点枝モデルを交差点枝分解能Δθずつ回転させたときの回転角θ(=Δθ×n)(0≦n≦(360−Δθ)/Δθ)ごとに、交差点枝モデルを数値化したテンプレート値T(θ;x,y)を、地表面画像を数値化した画像データI(x,y)の各画素に対してFFT(Fast Fourier Transform)を用いて畳み込むことにより、回転角θごとの相関画像H(θ;(x,y))を生成する相関画像生成ステップ
(B2)複数の分枝を有する交差点モデルにおける複数の分枝の方向角θに対応する相関画像H(θ;(x,y))を足し合わせることにより、交差点モデルでのマッチング値D(Mθ(x,y))を計算するマッチング値計算ステップ
(B3)各画素において、マッチング値D(Mθ(x,y))をθに関して微分し、微分値がゼロとなるθの値を求め、微分値がゼロとなるθにおけるマッチング値D(Mθ(x,y))の中から最大値を抽出することにより、マッチング値マップR(x,y)を作成するマッチング値マップ作成ステップ
(B4)マッチング値マップR(x,y)の極大値を検出し、画像データI(x,y)の極大値に対応する位置を交差点位置として抽出する交差点位置抽出ステップ
【0012】
本発明による交差点位置抽出装置は、以下の(C1)〜(C4)の各構成を備えたものである。
(C1)交差点枝モデルを交差点枝分解能Δθずつ回転させたときの回転角θ(=Δθ×n)(0≦n≦(360−Δθ)/Δθ)ごとに、交差点枝モデルを数値化したテンプレート値T(θ;x,y)を、地表面画像を数値化した画像データI(x,y)の各画素に対してFFT(Fast Fourier Transform)を用いて畳み込むことにより、回転角θごとの相関画像H(θ;(x,y))を生成する相関画像生成部
(C2)複数の分枝を有する交差点モデルにおける複数の分枝の方向角θに対応する相関画像H(θ;(x,y))を足し合わせることにより、交差点モデルでのマッチング値D(Mθ(x,y))を計算するマッチング値計算部
(C3)各画素において、マッチング値D(Mθ(x,y))をθに関して微分し、微分値がゼロとなるθの値を求め、微分値がゼロとなるθにおけるマッチング値D(Mθ(x,y))の中から最大値を抽出することにより、マッチング値マップR(x,y)を作成するマッチング値マップ計算部
(C4)マッチング値マップR(x,y)の極大値を検出し、画像データI(x,y)の極大値に対応する位置を交差点位置として抽出する交差点位置抽出部
【0013】
本発明による交差点位置抽出方法、交差点位置抽出プログラムおよび交差点位置抽出装置では、回転角θごとに、テンプレート値T(θ;(x,y))を、I(x,y)の各画素に対してFFTを用いて畳み込むことにより、相関画像H(θ;(x,y))が生成される。これにより、交差点モデルの各枝のマッチング値D(Mθ(x,y))を事前に計算しておくことができるので、その計算結果から必要な枝のマッチング値D(Mθ(x,y))を抽出し、抽出したマッチング値D(Mθ(x,y))を足し合わせるだけで、交差点モデルのマッチング値D(Mθ(x,y))を作成することができる。
【0014】
ここで、本発明による交差点位置抽出方法、交差点位置抽出プログラムおよび交差点位置抽出装置において、相関画像H(θ;(x,y))をθ方向に対してフーリエ級数展開すると共に、所定の次数を超える項を打ち切ったものを足し合わせることにより、交差点モデルでのマッチング値D(Mθ(x,y))を計算することが可能である。また、テンプレート値T(θ;x,y)と、直交基底関数列φn(θ)との内積をとることにより導出した基底テンプレートB(x,y)を画像データI(x,y)の各画素に対して畳み込むことにより、フーリエ係数A(x,y)を計算したのち、フーリエ係数A(x,y)と直交基底関数列φn(θ)との内積をとることにより導出したものを足し合わせることにより、交差点モデルでのマッチング値D(Mθ(x,y))を計算することも可能である。
【発明の効果】
【0015】
本発明による交差点位置抽出方法、交差点位置抽出プログラムおよび交差点位置抽出装置によれば、事前に計算しておいた交差点モデルの各枝のマッチング値D(Mθ(x,y))から必要な枝のマッチング値D(Mθ(x,y))を抽出し、抽出したマッチング値D(Mθ(x,y))を足し合わせるだけで、交差点モデルのマッチング値D(Mθ(x,y))を作成することができるようにしたので、全パターンの交差点モデルとI(x,y)とのマッチングを、I(x,y)の全ての画素に対して直接に行う場合や、各画素で交差点枝モデルを回転させながら、FFTを用いずにI(x,y)と直接マッチングさせる場合と比べて、計算時間を大幅に短縮することができる。
【0016】
ここで、本発明による交差点位置抽出方法、交差点位置抽出プログラムおよび交差点位置抽出装置において、相関画像H(θ;(x,y))をθ方向に対してフーリエ級数展開し、次数をαで打ち切ったものを足し合わせることにより、交差点モデルでのマッチング値D(Mθ(x,y))を計算するようにした場合には、データ量をα/(360/Δθ)に圧縮することができる。これにより、実用的な容量のメモリを用いて交差点位置を算出することが可能となる。
【0017】
さらに、テンプレート値T(θ;x,y)と、直交基底関数列φn(θ)との内積をとることにより導出した基底テンプレートB(x,y)を画像データI(x,y)の各画素に対して畳み込むことにより、フーリエ係数A(x,y)を計算したのち、フーリエ係数A(x,y)と直交基底関数列φn(θ)との内積をとることにより導出したものを足し合わせることにより、交差点モデルでのマッチング値D(Mθ(x,y))を計算するようにした場合には、α枚の基底テンプレートB(x,y)をI(x,y)の各画素に対して畳み込むだけでよくなる。その結果、(360/Δθ)枚の枝テンプレートを畳み込む場合と比べて、畳み込みに要する計算時間をα/(360/Δθ)に圧縮することができる。
【発明を実施するための最良の形態】
【0018】
以下、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
【0019】
図1は、本発明の一実施の形態に係る交差点抽出装置1の概要構成を表したものである。なお、本発明の一実施の形態に係る交差点抽出方法は、この交差点抽出装置1の動作によって具現化されるものであるから、以下、それらを併せて説明する。
【0020】
この交差点抽出装置1は、制御部10、記憶部20、表示部30および入力部40を有している。制御部10は、プログラムの命令を解釈し、実行するためのもので、例えばCPU(Central Processing Unit )を含んで構成されている。記憶部20は、交差点抽出プログラム21、道路候補画像データ22および初期データ23を記憶している。
【0021】
ここで、交差点抽出プログラム21は、交差点抽出のための一連の手順を制御部10に実行させるためのものである。なお、この一連の手順の詳細については後述する。道路候補画像データ22は、航空画像や衛星画像などの地表面画像に対して所定の処理(例えば数値化処理)がなされた画像データであり、例えば、地表面画像の各画素に対して、教師つき分類を用いてあらかじめ切り出した道路サンプルとの尤度値を割り当てて、地表面画像をグレースケール化することにより得られる。なお、道路候補画像データ22は、これ以外の方法を用いて得られた画像データであってもよい。初期データ23は、交差点抽出プログラム21を実行する際にあらかじめ設定しておくデータであり、例えば、交差点テンプレート24、枝テンプレート25および入力パラメータ26を含んでいる。
【0022】
交差点テンプレート24は、交差点モデルをテンプレート値T(x,y)で表したものである。交差点モデルは、図2に示したように、交差点Cpを中心として放射状に延在する3本以上の道路(分枝24A)をモデル化したものであり、モデル内部の画素集合Sと、モデル外部の画素集合Bとにより構成されている。画素集合Sは、数1および図2に示したように、N(Nは3以上の整数)個の矩形枝S、S、……、S、……、Sからなり、画素集合Bは、数2および図2に示したように、矩形枝Sの外部領域B、矩形枝Sの外部領域B、……、矩形枝Sの外部領域B、……、矩形枝Sの外部領域Bからなる。なお、本実施の形態では、サフィックスiは、図2に示したように、反時計周りに増加するものとする。
【数1】


【数2】

【0023】
矩形枝Sは、図2に示したように、幅(2W)、長さLの矩形状となっており、交差点Cpを原点(x、y)とするxy座標のx軸に対して反時計回りに角度(θ+θ)の方向に延在している。なお、本実施の形態では、角度θの初期値が“0(2π)”となっているものとする。外部領域Bは、図2に示したように、矩形枝Sの両側面(矩形枝Sの延在方向vと直交する方向の両側面)に接する、幅W、長さLの矩形状の領域である。
【0024】
交差点モデルのテンプレート値T(x,y)は、数3に示したように、各矩形枝Sのテンプレート値T(S;(x,y))と外部領域Bのテンプレート値T(B;(x,y))とを足し合せたもののシグマで表される。
【数3】

【0025】
矩形枝Sのテンプレート値T(S;(x,y))は、例えば、数4に示したように、矩形枝Sの内部の画素において“1”となっており、矩形枝Sの外部の画素において“0(ゼロ)”となっている。
【数4】

【0026】
また、外部領域Bのテンプレート値T(B;(x,y))は、例えば、数5に示したように、外部領域Bの内部の画素においてB(u)となっており、外部領域Bの外部の画素において“0(ゼロ)”となっている。B(u)は、数6に示したような箱型の関数となっている。
【数5】


【数6】

【0027】
ここで、数6において、Pαはテンプレート値を調整するパラメータであり、H(u)はステップ関数である。なお、さらに、入力画像のノイズによる影響を低減するために、テンプレート値T(B;(x,y))に対して、u方向について分散σのガウス関数g(u;σ)を畳みこんでもよい。
【0028】
なお、本実施の形態では、交差点モデルの種類として、図3(A),(B)に示したような十字路の交差点モデルや、図4(A),(B)に示したようなT字路の交差点モデル、図5(A),(B)に示したような三叉路の交差点モデルがあらかじめ設定されており、各交差点モデルにおいて、矩形枝同士のなす角度の異なるモデルが複数設定されている。
【0029】
枝テンプレート25は、矩形状の交差点枝モデルをテンプレート値T(x,y)で表したものである。交差点枝モデルは、交差点Cpを中心として放射状に延在する3本以上の道路(分枝24A)のうちの1本の道路をモデル化したものであり、図6に示したように、モデル内部の画素集合Sと、モデル外部(モデル周辺部)の画素集合Bとにより構成されている。画素集合Sは、幅(2W)、長さLの矩形状となっており、交差点Cpを原点(x、y)とするxy座標のx軸に対して反時計回りに角度(θ+θ)の方向に延在している。なお、本実施の形態では、角度θの初期値が“0(2π)”となっているものとする。画素集合Bは、画素集合S以外の全ての領域に対応している。
【0030】
交差点枝モデルのテンプレート値T(x,y)は、数7に示したように、画素集合Sのテンプレート値T(S;(x,y))と、画素集合Bのテンプレート値T(B;(x,y))とを足し合わせたもので表される。
【数7】

【0031】
画素集合Sのテンプレート値T(S;(x,y))は、例えば、数8に示したように、画素集合Sの内部の画素において“1”となっており、矩形枝Sの外部の画素において“0(ゼロ)”となっている。
【数8】

【0032】
また、画素集合Bのテンプレート値T(B;(x,y))は、例えば、数9に示したように、画素集合Sの両側面(画素集合Sの延在方向vと直交する方向の両側面)に接する、幅W、長さLの矩形状の領域の内部の画素においてB(u)となっており、画素集合Sのうち上記の領域を除く領域の内部の画素において“0(ゼロ)”となっている。B(u)は、数10に示したような箱型の関数となっている。
【数9】


【数10】

【0033】
入力パラメータ26は、例えば、上記したW、WおよびLや、後述の交差点枝分解能Δθやフーリエ級数の次数αなどを含んでいる。表示部30は、例えば、制御部10におけるプログラムの実行結果(例えば交差点位置)を表示したり、制御部10におけるプログラムの実行に際して情報入力を支援するための表示をしたりするためのものであり、例えば液晶ディスプレイからなる。入力部40は、制御部10におけるプログラムの実行に際して情報を入力するためのものであり、例えばキーボードやマウスからなる。
【0034】
次に、本実施の形態の交差点抽出装置1の動作について詳細に説明する。図7は、本実施の形態の交差点抽出装置1の交差点抽出プログラム21における交差点抽出の手順を表したものである。
【0035】
まず、ユーザによって交差点抽出プログラム21の起動が要求されると、制御部10は交差点抽出プログラム21を記憶部20から読み出すと共に起動したのち(ステップS101)、ユーザに対して初期データ23の入力を要求する(ステップS102)。制御部10は、例えば、表示部30に入力フォームを表示する。なお、初期データ23の一部または全てがあらかじめ記憶部40に記憶されている場合には、ユーザによる初期データ23の入力を省略することも可能である。
【0036】
次に、ユーザによって初期データ23が入力されると、制御部10は初期データ23に基づいて交差点抽出処理を実行する。制御部10は、交差点抽出処理において、まず、道路候補画像データ22(I(x,y))の全ての画素に対して、交差点テンプレート24とのマッチングを行う(ステップS103)。
【0037】
具体的には、制御部10は、数11に示したように、画像データI(x,y)と各矩形枝Siのテンプレート値T(S;(x,y))との相関ψ(S)を計算すると共に、数12に示したように、画像データI(x,y)と外部領域Biのテンプレート値T(B;(x,y))との相関ψ(B)を計算する。さらに、制御部10は、数13に示したように、それぞれの画素集合の相関の平均値を足し合わせることにより、マッチング値D(Mθ(x,y))を計算する。このとき、個々の矩形枝Sのマッチング値(数14参照)がある閾値kよりも大きい場合、つまり、画像データI(x,y)とT(S;(x,y))との相関が大きい場合にだけ、上記の計算により得られた値をマッチング値D(Mθ(x,y))として採用する。その一方で、少なくとも1つの矩形枝Sのマッチング値(数14参照)がある閾値k以下となっている場合には、制御部10は、相関が小さいと判断して、マッチング値D(Mθ(x,y))を0(ゼロ)とする。次に、制御部10は、交差点モデルM(x,y)を交差点枝分解能Δθずつ360度まで回転させたときの回転角θ(=Δθ×n)(0≦n≦(360−Δθ)/Δθ)ごとに、マッチング値D(Mθ(x,y))を計算したのち、数15に示したように、各画素において、各回転角θのマッチング値D(Mθ(x,y))のうち最大値を抽出し、マッチング値マップR(x,y)を作成する。
【数11】


【数12】


【数13】


【数14】


【数15】

【0038】
例えば、画像データI(x,y)として図8に示したような2値画像のテストデータを、テンプレート値T(x,y)として図4(B)に示したようなT字路の交差点モデルをそれぞれ用意し、個々の矩形枝Sの半分未満の画素がテストデータの“0(ゼロ)”(黒)の画素と重なり合うときにマッチング値D(Mθ(x,y))を“0(ゼロ)”とするように閾値kを調整した場合には、図9(A),(B)に示したようなマッチング値マップR(x,y)の分布が得られる。
【0039】
なお、図8のモデルには、交差点テンプレート24(図2)における画素集合Sの幅と同じ幅の道路R1,R2が交差する交差点C1と、画素集合Sの幅と同じ幅の道路R1と画素集合Sの幅と異なる幅の道路R3とが交差する交差点C2とが含まれており、さらに、道路R1の付近に道路R1と同じ色の建物C3が含まれている。また、図9(A)は、R(x,y)の2次元分布を表しており、図9(B)は、図9(A)のA−A線における分布を表している。
【0040】
図9(A),(B)から、図8の交差点C1,C2に対応する位置にマッチング値マップR(x,y)の鋭いピークが得られ、図8の矩形状の地表物C3に対応する位置およびその近傍においてマッチング値マップR(x,y)がゼロもしくはほとんどゼロとなっていることがわかる。従って、上記の手順により、交差点の存在しない位置に交差点が存在すると誤認することなく、交差点位置を精確に抽出することができる。
【0041】
ところで、上記した数13は、非線形であり、線形フィルタ処理により一度の計算でマッチング値D(Mθ(x,y))を求めることが容易ではない。そこで、本実施の形態では、数13と同等の結果を得るために、以下に示す効率的なマッチング方法を用いる。
【0042】
最初に、数16に示したように、交差点枝モデルを交差点枝分解能Δθ(図10では5度)ずつ360度まで回転させたときの回転角θ(=Δθ×n)(0≦n≦(360−Δθ)/Δθ)ごとに、図6に示したような枝テンプレート25のテンプレート値T(θ;(x,y))を、画像データI(x,y)の各画素に対してFFTを用いて畳み込むことにより、回転角θごとの相関画像H(θ;(x,y))を生成する(ステップS201、図7参照)。
【数16】

【0043】
なお、数16を模式的に表すと、図10のようになる。この図には、図10の中段に例示したような回転角θ(=0°,5°,…,355°)ごとのテンプレート値T(θ;(x,y))を、図10の上段に例示したような画像データI(x,y)の各画素に対してFFTを用いて畳み込むと、図10の下段に例示したような回転角θごとの相関画像H(θ;(x,y))が生成される様子が示されている。
【0044】
次に、各種交差点モデルの分枝の方向角θに対応する相関画像H(θ;(x,y))を足し合わせることにより、各種交差点モデルでのマッチング値D(Mθ(x,y))を計算する(ステップS202)。例えば、図4(B)に示したような回転角θのT字路の交差点モデルのマッチング値D(Mθ(x,y))を、数17に示したようにして求めることができる。なお、ある画素におけるマッチング値D(Mθ(x,y))は、図11に示したようなグラフになる。
【数17】

【0045】
次に、各画素において、マッチング値D(Mθ(x,y))をθに関して微分し、そのときにゼロ交差する(微分値がゼロとなる)θの値を求め、ゼロ交差するθが一つの場合にはそのθにおけるマッチング値D(Mθ(x,y))を抽出し、ゼロ交差するθが複数ある場合にはその中で最大のマッチング値D(Mθ(x,y))を抽出し、マッチング値マップR(x,y)を作成する(ステップS203)。ただし、ゼロ交差する位置において、足し合わせる前の各枝のマッチング値(例えば、図4(B)に示したようなT字路の交差点モデルでは、H(θ;(x,y))、H(θ+π;(x,y))、H(θ+3π/2;(x,y)))のどれか1つでも所定の閾値以下となっているときには、マッチング値D(Mθ(x,y))を0(ゼロ)とする。このようにして、効率的なマッチングが行われる。
【0046】
次に、上記のようにしてマッチングを行ったのち、マッチングの結果を利用して、交差点情報を抽出する(ステップS104)。具体的には、上記のようにして数16を用いて求められた相関画像H(θ;(x,y))を利用して得られたマッチング値マップR(x,y)の極大値を検出し、画像データI(x,y)の極大値に対応する位置を交差点位置として抽出する。極大値の検出には、例えば、所定の画素(注目画素)を中心とする所定の半径の円形マスクを想定し、その円形マスク内において注目画素が円形マスク内において最大値をとる場合には、その注目画素の位置を交差点位置として抽出する。このようにして、本実施の形態では交差点位置が抽出される。
【0047】
本実施の形態では、回転角θごとに、テンプレート値T(θ;(x,y))を、画像データI(x,y)の各画素に対してFFTを用いて畳み込むことにより、相関画像H(θ;(x,y))が生成される。これにより、交差点モデルの各枝のマッチング値を事前に計算しておくことができるので、その計算結果から必要な枝のマッチング値を抽出し、抽出したマッチング値を足し合わせるだけで、交差点モデルのマッチング値D(Mθ(x,y))を作成することができる。その結果、交差点テンプレート24に含まれる全パターンの交差点モデルと画像データI(x,y)とのマッチングを、画像データI(x,y)の全ての画素に対して直接に行う場合や、各画素で交差点枝テンプレート25を回転させながら、FFTを用いずに画像データI(x,y)と直接マッチングさせる場合と比べて、計算時間を大幅に短縮することができる。
【0048】
ところで、上記の方法では、事前計算に際して、(360/Δθ)個の画像データI(x,y)のサイズと同じサイズのメモリが必要となるので、記憶部30のメモリ容量を大きくしておくことが必要となる。例えば、交差点枝分解能Δθを3度に設定して相関画像H(θ;(x,y))を計算すると、1画素あたり120枚の画像が必要となる。図8のような小さな画像では問題ないが、航空画像や衛星画像のような大きなサイズの画像を扱う場合には問題となる。
【0049】
そこで、数18に示したように、相関画像H(θ;(x,y))をθ方向に対してフーリエ級数展開(福田礼次郎著、“理工系の基礎数学 フーリエ解析”岩波書店 1997年出版、参照)すると共に、高次(例えば30を超える次数)の項を打ち切ったものを足し合わせる。そして、交差点モデルでのマッチング値D(Mθ(x,y))を計算することによりデータ量の圧縮を行うことが好ましい。数18において、φi(θ)は、直交基底関数列であり、数19のように表される。
【数18】


【数19】

【0050】
ここで、αは、フーリエ級数の次数である。また、A(x,y)は、相関画像H(θ;(x,y))の画素ごとのフーリエ係数であり、画像として表される。各画素におけるフーリエ係数A(x,y)は、相関画像H(θ;(x,y))と、直交基底関数列{φi(θ)}との内積により導出される。
【0051】
例えば、まず、i=0(θ=0)のときに得られる相関画像H(0;(x,y))に対して、フーリエ係数A(x,y)を全ての画素に対して計算する(図12(A)〜(D)参照)。次に、i=1(θ=2π/β)(β=(360/Δθ))のときに得られる相関画像H(2π/β;(x,y))に対して、同様に各フーリエ係数A(x,y)を全ての画素に対して計算する。つまり、同図の破線で囲まれた計算ステップを右方向にずらしていくことになる。最終的に、i=β−1(θ=2π(β−1)/β)まで同様の計算を行うことにより、α枚のフーリエ係数A(x,y)画像を完成させることができる。
【0052】
図13(A)〜(C)は、ある画素における相関画像H(θ;(x,y))をフーリエ級数展開した結果を表したものである。ここで、図13(A)はα=60のときの結果を、図13(B)はα=40のときの結果を、図13(C)はα=30のときの結果をそれぞれ表したものである。図13(D)は、数16を用いたときの結果(フーリエ級数展開前の結果)を表したものである。なお、図13(A)〜(D)の全てにおいて、交差点枝分解能Δθを3度とした。図13(A)〜(D)から、次数αを小さくした場合であっても、相関画像H(θ;(x,y))の形状を近似することができることがわかる。
【0053】
このように、フーリエ級数展開を用いて、データ量をα/βに圧縮することができるので、実用的な容量のメモリを用いて交差点位置を算出することが可能となる。しかし、フーリエ係数画像の生成には多くの処理時間を要する。α枚のフーリエ係数画像を生成するためには、β枚の枝テンプレートを畳み込む必要があるからである。この畳み込みには、β回のFFTと逆FFTが必要となる。また、βを十分に大きくとらないと、フーリエ係数からもとのマッチング値を復元する際に,数値的な誤差の影響で振動が生じる可能性がある。そこで、画像データI(x,y)から直接、フーリエ係数画像を求めることにより、相関画像H(θ;(x,y))を生成することがより好ましい。以下にその生成方法について説明する。
【0054】
数16に示した式に対して、θ方向に沿った直交基底関数列φn(θ)(n=0,1,2…)でのフーリエ級数展開を行うと、数20に示したようになる。ここで、< , >θは、θに関する内積演算を表す。内積演算および畳み込み演算は共に積分演算であるので、順序を交換することができ、数20から数21を得ることができる。なお、B(x,y)は、数22に示したように、交差点枝モデルのテンプレート値T(θ;x,y)と、直交基底関数列φn(θ)との内積で計算される基底テンプレートとなる。
【数20】


【数21】


【数22】

【0055】
数22を用いて事前に計算しておいた基底テンプレートB(x,y)を画像データI(x,y)の各画素に対して畳み込むことにより、直ちにフーリエ係数A(x,y)を得ることができることが数21からわかる。基底テンプレートB(x,y)は、交差点枝モデルのテンプレート値T(θ;x,y)だけに依存していることから、画像データI(x,y)に依存しない形で基底テンプレートB(x,y)を計算することができる。そのため、α枚の基底テンプレートB(x,y)を一度計算しておけば、後は任意の画像データI(x,y)にそのまま用いることができる.つまり、基底テンプレートB(x,y)を作成する際に、十分大きなβを用いて事前に計算しておくことが可能である。
【0056】
このように、本実施の形態において、画像データI(x,y)から直接、フーリエ係数A(x,y)を求めるようにした場合には、α枚の基底テンプレートB(x,y)を画像データI(x,y)の各画素に対して畳み込むだけでよくなる。その結果、β枚の枝テンプレートを畳み込む場合と比べて、畳み込みに要する計算時間をα/βに圧縮することができる。
【0057】
[実施例]
上記実施の形態において示した各手法の抽出位置精度および方向分解能の誤差を比較実験により求めた。
【0058】
一つ目の比較実験では、人工画像および航空画像として画素数が512×512のRGBカラー画像のものを用意し、航空画像の各画素に対して、教師つき分類を用いてあらかじめ切り出した道路サンプルとの尤度値を割り当てて、航空画像をグレースケール化したものを航空画像の画像データI(x,y)とした。一方、人工画像については、航空画像と同一箇所の縮尺1/2500の数値地図データから作成したものを画像データI(x,y)とした。そして、数16を利用して導出した交差点位置および交差点方向をリファレンス値とし、このリファレンス値と、数21を利用して導出した交差点位置および交差点方向との差(位置のRMS(Root Mean Square;平均二乗偏差)誤差、方向の絶対誤差)を計算した。その結果を表1,2に示した。なお、表1に人工画像における結果を示し、表2に航空画像における結果を示した。また、表1,2には、打ち切り次数αを20,30,60とした場合の結果をそれぞれ示した。また、本比較実験では、Intel(登録商標)Core2 Duo1.6GHzのCPUと、2Gバイトのメモリを搭載した計算機を使用した。
【表1】


【表2】

【0059】
表1,2から、位置のRMS誤差および方向の絶対誤差の双方において、誤差が十分に小さく、実用に耐えることがわかった。
【0060】
二つ目の比較では、一つ目の比較実験と同じものを画像データI(x,y)とした。そして、各画素で交差点枝テンプレート25を回転させながらFFTを用いずに、画像データI(x,y)と直接マッチングさせる手法(手法1)と、数16を利用してマッチングを行う手法(手法2)と、数18を利用してマッチングを行う手法(手法3)と、数21を利用してマッチングを行う手法(手法4)とにおける計算の所要時間と、所要メモリとを算出した。手法1,2,4についての結果を表3に示した。なお、表3には、手法4において、次数αを20、30、60に変えた場合の結果も示した。
【表3】

【0061】
表3から、手法2,4の所要時間が、手法1の所要時間よりも大幅に小さくなっていることがわかった。また、手法4の所要メモリが、手法1の所要メモリと大差ないことがわかった。
【0062】
三つ目の比較では、人工画像および航空画像として画素数が1024×1024のRGBカラー画像をそれぞれ4枚(シーン1〜4)用意し、航空画像の各画素に対して、教師つき分類を用いてあらかじめ切り出した道路サンプルとの尤度値を割り当てて、航空画像をグレースケール化したものを航空画像の画像データI(x,y)とした。一方、人工画像については、航空画像と同一箇所の縮尺1/2500の数値地図データから作成したものを画像データI(x,y)とした。なお、航空画像の対称エリアは典型的な3叉路および十字路交差点を多く含む郊外住宅街である。人工画像での抽出実験は、画像データI(x,y)において道路領域と背景領域が完全に分離されている場合を想定したものであり、手法4の性能限界を知ることができる。そして、抽出した交差点位置と真の交差点位置との中心位置のずれが4.5m以内で各交差点枝の方向差が全て20度以下であれば、交差点位置を精確に抽出できた(正解)と判定し、抽出率((正解個数/交差点の全数)×100)と、正しさ((正解個数/抽出個数)×100)とを算出した。また、その結果を表4,5,6,7に示した。なお、表4に人工画像における結果(全てのシーンの合計値)を示し、表5に航空画像における結果(全てのシーンの合計値)を示した。また、表6には、典型的なT字路交差点が多く、建物の影が少ないシーン(シーン1、図14参照)における航空画像での結果を示し、表7には、シーン1と比べて道路幅が狭く、道路が互いに直角に交わる交差点が少ない複雑なシーン(シーン3、図15参照)における航空画像での結果を示した。
【表4】


【表5】


【表6】


【表7】

【0063】
表4から、合計209個の交差点に対して、次数α=30以上のときに195個の交差点を正しく抽出することができたことがわかる。交差点抽出の失敗(交差点を検出できなかった場合と、検出した交差点位置が大きくずれていた場合)は、交差点モデルの形状と人工画像上の交差点の形状とが互いに異なる場合に生じていたが、それでも9割以上の交差点を正しく抽出することができたことから、交差点の形状モデルとして本モデルが有効であることがわかった。また、抽出率および正さが次数α=30で収束したことから、α=30程度にまでαを小さくした場合であっても、近似精度を高く維持することができることがわかった。
【0064】
また、表5から、抽出率および正さの双方において、数値が人工画像の場合よりも悪いことがわかった。これは、航空画像に多くのノイズが含まれていることに起因していると思われる。もっとも、抽出率および正さは次数α=30あたりで収束したことから、人工画像であるか航空画像であるかに拘わらず、次数α=30程度にまでαを小さくした場合であっても、近似精度を高く維持することができることがわかった。
【0065】
また、表6から、8割近くの交差点を正しく抽出することができたことがわかる。また、表7から、抽出率が表6の場合よりも悪いものの、7割程度の交差点を正しく抽出することができたことがわかる。なお、詳細な原因分析により、道路の色が特徴抽出での教師つき分類で用いる道路サンプルの色と異なっていたり、影により道路領域の特徴を抽出することができなかったり等の前処理部分での失敗に起因して、交差点抽出を失敗していることがわかったが、前処理の善し悪しに拘わらず、抽出率および正さがα=40あたり収束したことから、典型的な郊外住宅街の画像に対して、手法4を適用する場合には、近似精度を比較的高く維持しつつ、次数α=40程度にまでαを小さくすることができることがわかった。
【0066】
なお、手法4における計算時間については、次数α=40で画像サイズが512×512ピクセルの大きさで約12秒であり,1km平方メートルあたり192秒程度となる。例えば、北九州市の面積が500kmなので、単純に計算して約27時間となる。そして、地図の更新および作成サイクルが年に2〜3回程度だとすると、この計算時間は十分実用的であるといえる。また、手法3では、高速化のために多くのメモリを費やすが、必要なメモリ量は1024×1024ピクセルのサイズで約500Mバイトとなり、メモリに関しても十分実用範囲に収まっているといえる。
【0067】
以上、実施の形態およびその変形例ならびに実施例を挙げて本発明を説明したが、本発明はこれに限定されるものではなく、種々の変形が可能である。
【0068】
例えば、上記実施の形態では、交差点抽出プログラム21が制御部10にロードされることにより、上記実施の形態の交差点抽出方法が実行される場合について説明したが、図16に示したように、交差点抽出プログラム21を制御部10にロードする代わりに、図7のステップS201を実行する相関画像生成部10Aと、図7のステップS202を実行するマッチング値計算部10Bと、図7のステップS203を実行するマッチング値マップ計算部10Cと、図7のステップS106を実行する交差点位置抽出部10Dとをデバイス(ハードウェア)として制御部10内に備えていてもよい。
【図面の簡単な説明】
【0069】
【図1】本発明の一実施の形態に係る交差点位置抽出装置の概要構成図である。
【図2】交差点テンプレートの概念図である。
【図3】図2の交差点テンプレートの一構成例について説明するための概念図である。
【図4】図2の交差点テンプレートの他の構成例について説明するための概念図である。
【図5】図2の交差点テンプレートのその他の構成例について説明するための概念図である。
【図6】枝テンプレートの概念図である。
【図7】交差点位置の抽出手順について説明するための流れ図である。
【図8】道路候補画像データについて説明するための概念図である。
【図9】マッチング値マップについて説明するための概念図である。
【図10】数16の模式図である。
【図11】マッチング値について説明するための概念図である。
【図12】フーリエ係数について説明するための概念図である。
【図13】打ち切り次数について説明するための概念図である。
【図14】比較実験に用いた一の航空画像の画像データである。
【図15】比較実験に用いた他の航空画像の画像データである。
【図16】図1の交差点位置抽出装置の一変形例の概要構成図である。
【符号の説明】
【0070】
1…交差点抽出装置、10…制御部、10A…相関画像生成部、10B…マッチング値計算部10B、10C…マッチング値マップ計算部、10D…交差点位置抽出部、20…記憶部、21…交差点検出プログラム、22…道路候補画像データ、23…初期データ、24…交差点テンプレート、25…枝テンプレート、30…表示部、40…入力部、C1,C2…交差点、C3…建物、R1,R2,R3…道路。

【特許請求の範囲】
【請求項1】
地表面画像を数値化した画像データI(x,y)から道路の交差点情報を抽出する交差点抽出装置で実行される交差点位置抽出方法であって、
交差点枝モデルを交差点枝分解能Δθずつ回転させたときの回転角θ(=Δθ×n)(0≦n≦(360−Δθ)/Δθ)ごとに、前記交差点枝モデルを数値化したテンプレート値T(θ;x,y)を、前記画像データI(x,y)の各画素に対してFFT(Fast Fourier Transform)を用いて畳み込むことにより、回転角θごとの相関画像H(θ;(x,y))を生成する相関画像生成ステップと、
複数の分枝を有する交差点モデルにおける前記複数の分枝の方向角θに対応する前記相関画像H(θ;(x,y))を足し合わせることにより、前記交差点モデルでのマッチング値D(Mθ(x,y))を計算するマッチング値計算ステップと、
前記各画素において、前記マッチング値D(Mθ(x,y))をθに関して微分し、微分値がゼロとなるθの値を求め、微分値がゼロとなるθにおける前記マッチング値D(Mθ(x,y))の中から最大値を抽出することにより、マッチング値マップR(x,y)を作成するマッチング値マップ作成ステップと、
前記マッチング値マップR(x,y)の極大値を検出し、前記画像データI(x,y)の前記極大値に対応する位置を交差点位置として抽出する交差点位置抽出ステップと
を含むことを特徴とする交差点位置抽出方法。
【請求項2】
前記マッチング値計算ステップにおいて、前記相関画像H(θ;(x,y))をθ方向に対してフーリエ級数展開すると共に、所定の次数を超える項を打ち切ったものを足し合わせることにより、前記交差点モデルでのマッチング値D(Mθ(x,y))を計算する
ことを特徴とする請求項1に記載の交差点位置抽出方法。
【請求項3】
前記マッチング値計算ステップにおいて、前記テンプレート値T(θ;x,y)と、直交基底関数列φn(θ)との内積をとることにより導出した基底テンプレートB(x,y)を前記画像データI(x,y)の各画素に対して畳み込むことにより、フーリエ係数A(x,y)を計算したのち、前記フーリエ係数A(x,y)と前記直交基底関数列φn(θ)との内積をとることにより導出したものを足し合わせることにより、前記交差点モデルでのマッチング値D(Mθ(x,y))を計算する
ことを特徴とする請求項1または請求項2に記載の交差点位置抽出方法。
【請求項4】
地表面画像を数値化した画像データI(x,y)から道路の交差点情報を抽出する交差点抽出装置で実行される交差点位置抽出プログラムであって、
交差点枝モデルを交差点枝分解能Δθずつ回転させたときの回転角θ(=Δθ×n)(0≦n≦(360−Δθ)/Δθ)ごとに、前記交差点枝モデルを数値化したテンプレート値T(θ;x,y)を、前記画像データI(x,y)の各画素に対してFFT(Fast Fourier Transform)を用いて畳み込むことにより、回転角θごとの相関画像H(θ;(x,y))を生成する相関画像生成ステップと、
複数の分枝を有する交差点モデルにおける前記複数の分枝の方向角θに対応する前記相関画像H(θ;(x,y))を足し合わせることにより、前記交差点モデルでのマッチング値D(Mθ(x,y))を計算するマッチング値計算ステップと、
前記各画素において、前記マッチング値D(Mθ(x,y))をθに関して微分し、微分値がゼロとなるθの値を求め、微分値がゼロとなるθにおける前記マッチング値D(Mθ(x,y))の中から最大値を抽出することにより、マッチング値マップR(x,y)を作成するマッチング値マップ作成ステップと、
前記マッチング値マップR(x,y)の極大値を検出し、前記画像データI(x,y)の前記極大値に対応する位置を交差点位置として抽出する交差点位置抽出ステップと
を含むことを特徴とする交差点位置抽出プログラム。
【請求項5】
前記マッチング値計算ステップにおいて、前記相関画像H(θ;(x,y))をθ方向に対してフーリエ級数展開すると共に、所定の次数を超える項を打ち切ったものを足し合わせることにより、前記交差点モデルでのマッチング値D(Mθ(x,y))を計算する
ことを特徴とする請求項4に記載の交差点位置抽出プログラム。
【請求項6】
前記マッチング値計算ステップにおいて、前記テンプレート値T(θ;x,y)と、直交基底関数列φn(θ)との内積をとることにより導出した基底テンプレートB(x,y)を前記画像データI(x,y)の各画素に対して畳み込むことにより、フーリエ係数A(x,y)を計算したのち、前記フーリエ係数A(x,y)と前記直交基底関数列φn(θ)との内積をとることにより導出したものを足し合わせることにより、前記交差点モデルでのマッチング値D(Mθ(x,y))を計算する
ことを特徴とする請求項4または請求項5に記載の交差点位置抽出プログラム。
【請求項7】
交差点枝モデルを交差点枝分解能Δθずつ回転させたときの回転角θ(=Δθ×n)(0≦n≦(360−Δθ)/Δθ)ごとに、前記交差点枝モデルを数値化したテンプレート値T(θ;x,y)を、地表面画像を数値化した画像データI(x,y)の各画素に対してFFT(Fast Fourier Transform)を用いて畳み込むことにより、回転角θごとの相関画像H(θ;(x,y))を生成する相関画像生成部と、
複数の分枝を有する交差点モデルにおける前記複数の分枝の方向角θに対応する前記相関画像H(θ;(x,y))を足し合わせることにより、前記交差点モデルでのマッチング値D(Mθ(x,y))を計算するマッチング値計算部と、
前記各画素において、前記マッチング値D(Mθ(x,y))をθに関して微分し、微分値がゼロとなるθの値を求め、微分値がゼロとなるθにおける前記マッチング値D(Mθ(x,y))の中から最大値を抽出することにより、マッチング値マップR(x,y)を作成するマッチング値マップ計算部と、
前記マッチング値マップR(x,y)の極大値を検出し、前記画像データI(x,y)の前記極大値に対応する位置を交差点位置として抽出する交差点位置抽出部と
を備えたことを特徴とする交差点位置抽出装置。
【請求項8】
前記マッチング値計算部は、前記相関画像H(θ;(x,y))をθ方向に対してフーリエ級数展開すると共に、所定の次数を超える項を打ち切ったものを足し合わせることにより、前記交差点モデルでのマッチング値D(Mθ(x,y))を計算する
ことを特徴とする請求項7に記載の交差点位置抽出装置。
【請求項9】
前記マッチング値計算部は、前記テンプレート値T(θ;x,y)と、直交基底関数列φn(θ)との内積をとることにより導出した基底テンプレートB(x,y)を前記画像データI(x,y)の各画素に対して畳み込むことにより、フーリエ係数A(x,y)を計算したのち、前記フーリエ係数A(x,y)と前記直交基底関数列φn(θ)との内積をとることにより導出したものを足し合わせることにより、前記交差点モデルでのマッチング値D(Mθ(x,y))を計算する
ことを特徴とする請求項7または請求項8に記載の交差点位置抽出装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2009−140436(P2009−140436A)
【公開日】平成21年6月25日(2009.6.25)
【国際特許分類】
【出願番号】特願2007−318830(P2007−318830)
【出願日】平成19年12月10日(2007.12.10)
【出願人】(504159235)国立大学法人 熊本大学 (314)
【出願人】(597151563)株式会社ゼンリン (155)
【Fターム(参考)】