三次元地図作成装置およびその窓領域検出装置
【課題】写り込みや日照条件により窓領域の画像が均一にならない場合でも窓領域を高い精度で検出できる窓領域検出装置およびその検出結果を電波伝搬推定におけるシミュレーションに利用する三次元地図作成装置を提供する。
【解決手段】第１窓領域候補検出部４７は、ビルの低中層階では窓領域に隣接ビルなどの写り込みが生じることから撮影角度によって見え方が異なることに着目し、撮影角度の異なる３つの全方位画像IC，IR，ILを、それぞれの注目ビルの画像が重なるように位置合わせして各画素の対応関係を求め、対応する画像領域同士を比較して画素値の差異が大きい矩形領域を第１窓領域候補Rw1として検出する。
【解決手段】第１窓領域候補検出部４７は、ビルの低中層階では窓領域に隣接ビルなどの写り込みが生じることから撮影角度によって見え方が異なることに着目し、撮影角度の異なる３つの全方位画像IC，IR，ILを、それぞれの注目ビルの画像が重なるように位置合わせして各画素の対応関係を求め、対応する画像領域同士を比較して画素値の差異が大きい矩形領域を第１窓領域候補Rw1として検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラなどで撮影された街並画像を用いて、従来の地図データからは識別が難しいものの電波伝搬に大きな影響を及ぼすビル壁面の窓領域を検出し、電波伝搬推定におけるシミュレーションに利用する三次元地図の作成装置ならびにその窓領域検出装置に関する。
【背景技術】
【０００２】
携帯電話、PHSあるいは無線LANなどの無線通信システムでは、無線基地局から全方位に放射された電波が構造物で反射、透過、回折等を繰り返して受信点に到着し、到着した全ての電波の電界強度を加算して電界強度が算出される。非特許文献1には、無線通信システムにおいて、ある基地局の通信可能な範囲（サービスエリア）を推定するために、一の基地局から発射された電波の伝搬に関する特性を推定した電波伝搬特性推定データ（電波の軌跡、伝搬損失、受信信号強度など）をレイトレース（ray trace）法により計算する手法が開示されている。
【０００３】
また、屋外の主要な道路上において各基地局からの電波の受信信号強度を推定する従来技術として、非特許文献2には、広域のエリアを対象にして複数の基地局によるカバレッジや干渉の影響を評価し、主に2次元の無線エリアを設計する携帯電話用エリア設計ツールが開示されている。具体的には、エリアの平均建物高や道路幅など、建物環境の代表的な数値を抽出し、非特許文献1の第15章に記載される統計的な手法（推定式）を用いて各基地局からの信号の強度を推定している。非特許文献2の技術では、建物データを含む地図データベースを加工して、例えば25ｍ四方のメッシュごとに平均建物高が抽出された地図データ等が用いられる。
【０００４】
従来の電波伝搬推定では、評価対象エリアの地図データから障害物の属性情報として位置情報や高さ情報を取得し、これらの情報に基づいて電波伝搬が推定される。しかしながら、障害物がビルであっても、電波が衝突する壁面にガラス窓が存在するか否か、ガラス窓が存在する場合にはさらに、その壁面に占めるガラス窓の割合によって反射率や透過率が異なる。しかしながら、上記の従来技術ではビルのガラス窓領域が考慮されていなかったので、電波伝搬の推定精度が低下してしまう。
【０００５】
このような技術課題に対して、本発明の発明者等は、3次元地図データおよび街並画像を利用してビル壁面の窓領域を検出する技術を発明し、特許出願（特許文献1）した。この先行技術では、街並画像の窓領域は比較的均一であること、およびビル壁面の窓領域には規則的なパターンがあることを想定して窓領域を検出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特願2010-183909号
【非特許文献】
【０００７】
【非特許文献１】細矢良雄（監修）、"電波伝搬ハンドブック"、リアライズ社、第2部 第15章 15.5、1999年
【非特許文献２】Planet EV、［平成22年5月18日検索］、インターネット＜URL：http://mustafa.golam.googlepages.com/IntroductiontoPlanetEV.ppt＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献1の手法を利用すれば、街並画像から自動的に建物の窓領域を抽出することが可能であり、三次元地図データに情報を付加することができる。しかしながら、同手法では、窓領域がある程度均一領域であることが前提となっているので、撮影された街並画像において各窓領域の形状、模様、色彩などの画像特徴量が均一であれば高い検出精度を得られる。
【０００９】
しかしながら、実際の街並画像では、隣のビルの写り込みや日照条件により窓領域の画像特徴量が必ずしも均一ではないために検出精度が低下してしまう場合があるという技術課題があった。
【００１０】
本発明の目的は、上記した従来技術の課題を解決し、写り込みや日照条件により窓領域の画像が均一にならない場合でも窓領域を高い精度で検出できる窓領域検出装置およびその検出結果を電波伝搬推定におけるシミュレーションに利用する三次元地図作成装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、街並み画像からビル壁面の窓領域を検出する窓領域検出装置において、以下のような手段を講じた点に特徴がある。
【００１２】
(1)ビルの位置情報が記憶された地図データベースと、街並み画像を撮影位置の情報と対応付けて記憶する街並み画像記憶手段と、各ビルの位置情報に基づいて、当該ビルの壁面を異なる方向から撮影した複数の街並み画像を前記街並み画像記憶手段から取得する手段と、取得した複数の街並み画像の対応位置を検出する手段と、各街並み画像間での対応位置の画像を比較する手段と、画像の違いが所定の第１閾値よりも大きい矩形領域を検出して第１窓領域候補とする手段とを具備した。
【００１３】
(2)対応位置の画像の違いが所定の第２閾値よりも小さい矩形領域を検出して第２窓領域候補とする手段と、街並み画像のエッジ成分と重なる格子パターンを検出する手段と、格子パターンで囲まれた矩形領域について、前記第２窓領域候補として検出されている矩形領域の外枠領域と第２窓領域候補として検出されていない矩形領域の外枠領域との類似度を検出する手段と、第２窓領域候補として検出されていない矩形領域のうち、前記外枠領域の類似度が高い矩形領域まで前記第２窓領域候補を拡張する手段を具備し、第１窓領域候補および第２窓領域候補を窓領域に決定するようにした。
【発明の効果】
【００１４】
本発明によれば、以下のような効果が達成される。
【００１５】
(1)窓領域は写り込みの影響などで撮影角度により画像が変化することに着目し、撮影角度の異なる複数の画像を対応位置ごとに比較して画像成分の差が大きい矩形領域を窓領域として検出するので、窓領域と壁領域とを高い確度で識別できるようになる。
【００１６】
(2)ビルの高層階では中低層階に較べて、窓領域の画像が写り込みにより変化することが少ないので、特に高層階に関しては、撮影角度の異なる複数の画像間で画像成分の差が小さい矩形領域も窓領域として検出することにより、ビルの高さにかかわらず窓領域を正確に検出できるようになる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る窓領域検出装置の構成を示したブロック図である。
【図２】領域識別部４の構成を示した機能ブロック図である。
【図３】撮影角度の異なる３つの街並み画像について平面画像を生成する方法を説明した図である。
【図４】第１窓領域候補検出部４７の構成を示した機能ブロック図である。
【図５】窓領域候補取得部４７６による第１窓領域候補Rw1の検出方法を示したフローチャートである。
【図６】第２窓領域検出部４８の構成を示した機能ブロック図である。
【図７】窓への写り込みがビルの中低層階で顕著に表れる様子を示した図である。
【図８】窓領域の識別手順を模式的に示した図である。
【図９】窓領域の検出方法を模式的に示した図である。
【図１０】窓枠検出部４９による窓枠検出方法を示したフローチャートである。
【図１１】窓枠検出の各プロセスを模式的に表現した図である。
【図１２】窓領域決定部５０による窓領域の決定方法を示したフローチャートである。
【図１３】本発明に係る三次元地図作成装置の構成を示したブロック図である。
【図１４】窓領域に関する属性情報が追加された三次元地図データの一例を示した図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る窓領域検出装置の主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００１９】
本発明の窓領域検出装置は、車両等の移動体に搭載されて対象エリアの街並みを全方位カメラで撮影する撮影装置１と、街並み画像からパノラマ画像を生成する画像生成部２と、対象エリアの三次元地図データを記憶する地図データ記憶部３と、前記平面透視投影画像および地図データに基づいて、当該地図データのみからは識別できないが電波伝搬特性に影響を与える電波障害物としてビル壁面の窓領域を識別する窓領域識別部４とを主要な構成としている。
【００２０】
前記撮影装置１において、全方位カメラ１１は多数の撮像部を備えて全方位の静止画像を撮影する。位置検出部１２は、撮影タイミングの現在位置（撮影位置）を例えばGPS信号により測位する。方位検知部１３は、全方位カメラ１１の向きを検知し、これに基づいて各撮影画像の向きを検知する。撮影された各静止画は、その撮影位置および方位と紐付けられて記憶部１４に次々と記憶される。前記画像生成部２は、全方位カメラ１１で撮影された多数の静止画像に基づいてパノラマ画像を生成するパノラマ画像生成部２１を備える。
【００２１】
図２は、前記窓領域識別部４の構成を示した機能ブロック図である。注目ビル選択部４１は、図３(a)に示したように、対象エリアの地図データから、窓領域の検出対象として注目するビルを順次に選択し、その一辺を特定する。最近接画像取得部４２は、ビルの壁面は一般的に道路と平行であることを考慮し、今回の注目ビルの前記一辺に関する位置情報と各街並画像の撮影位置に関する位置情報とに基づいて、図３(a)，(b)に示したように、今回の注目ビルを前記一辺から最も近い正面位置から撮影した最近接の全方位画像Icを前記記憶部１４から取得する。
【００２２】
前後画像取得部４３は、図３(a)，(b)に示したように、前記最近接の全方位画像ICに対して道路の進行方向に沿って前後の時間に撮影された２つの全方位画像IR，IL、すなわち今回の注目ビルを前記全方位画像ICとは異なる角度から見込んだ２つの全方位画像IR，ILを前記記憶部１４から取得する。
【００２３】
空領域分離部４４および道路領域分離部４５は、図３(c)，(d)に示したように、前記各全方位画像IC，IR，ILから空領域および道路領域を分離してビル領域を抽出する。このような領域分離は、例えばHSV色空間のS成分が所定の閾値以下の領域を空領域や道路領域として分離しても良いし、また一般的な領域分割手法を利用しても良い。あるいは、クラスタリングに基づく色領域の領域分割（市村,"ロバストクラスタリングに基づいた特徴空間と画像空間の併用による領域分割",電子情報通信学会論文誌，Vol.J80-D-II,No.7,pp.1752-1763）を利用しても良い。
【００２４】
このように、本実施形態では空領域や道路領域の位置がある程度決まっていること(空領域は上部、道路領域は下部)を利用し、全方位にわたって広範囲に撮影されている複数の全方位画像IC，IR，ILに対して領域分割を行うので、ノイズの影響を排除して全体の色分布からビル領域を正確に抽出できるようになる。
【００２５】
正面化画像生成部４６は、図３(e)に示したように、空領域および道路領域が分離された３つの全方位画像IC，IR，IL、について、今回の注目ビルの正面を垂直方向から見込んだ平面透視投影画像（平面画像）をそれぞれ生成する。
【００２６】
なお、注目ビルの正面以外の位置からの撮影された全方位画像については、初めに注目ビルの全体が写っているような透視投影画像に変換される。次いで、ビル画像に対して、例えばCanny法を利用してエッジ検出が行われ、検出されたエッジに対して確率的Hough変換を利用することでビルの水平方向・垂直方向のエッジが検出される。次いで、この水平・垂直方向のエッジに基づいて消失点が算出され、この消失点を利用して、今回の注目ビルを正面から見込んだ画像に射影変換が行われる。このような消失点の検出には、例えば文献「無限平面内での消失点抽出：松藤，齋藤，情報処理学会研究報告，Vol.99, No.70, pp.25-30, 1999.」の手法を利用できる。
【００２７】
第１窓領域候補検出部４７は、ビルの低中層階では窓領域に隣接ビルなどの写り込みが生じることから撮影角度によって見え方が異なることに着目し、前記３つの全方位画像IC，IR，ILを、それぞれの注目ビルの画像が重なるように位置合わせして各画素の対応関係を求め、対応する画像領域同士を比較して画素値の差異が大きい矩形領域を第１窓領域候補Rw1として検出する。
【００２８】
第２窓領域候補検出部４８は、前記第１域候補検出部４７とは逆に、ビルの高層階では窓領域に写り込むのが模様や色彩が均質な空領域であって撮影角度による見え方の違いが小さいことに着目し、前記３つの全方位画像IC，IR，ILに関して対応する画像領域の画素値が同等の矩形領域を第２窓領域候補Rw2として検出する。
【００２９】
窓枠検出部４９は、ビル壁面では多数の窓が水平および垂直の各方向へ所定の規則性を持って配置されることに着目して窓枠の格子パターンを検出する。窓領域決定部５０は、前記各検出部４７，４８，４９により得られた検出結果に基づいて窓領域を最終的に決定する。
【００３０】
[第１窓領域候補検出]
図４は、前記第１窓領域候補検出部４７の構成を示した機能ブロック図であり、平面検出部４７１は、注目ビルの全方位画像ICに基づいて、三次元地図のビルの一辺に対応するビル平面を検出する。この検出には、空領域および道路領域が分離された後のビル領域に対してビルの高さ情報が利用される。
【００３１】
本実施形態では、初めに三次元地図から注目ビルの平均高さが抽出され、次いで、隣接するビルの平均高さも同様に抽出される。そして、これらの高さ情報とビルの上端の高さとの関係から注目ビルの領域が検出される。なお、注目ビルと隣接ビルとが同じ高さで隙間がほとんどない場合は画像をブロックに分割し、色領域に基づいてビル領域を判定する。これらは併用するようにしても良い。
【００３２】
ビル上部情報取得部４７２は、前記高さ情報に基づいて、空領域を含む注目ビルの上部画像を取得する。テンプレートマッチング部４７３は、前記全方位画像ICから取得された注目ビルの上部画像と他の全方位画像IR，ILとを比較し、テンプレートマッチングにより３つの全方位画像IC，IR，ILを重ね合わせる。対応位置取得部４７４は、重ね合わされた３つの全方位画像IC，IR，ILの対応位置を検出する。
【００３３】
このような手法は、ビルの下部（主に低中層階）では窓への写り込みなどがあり、テンプレートマッチングが正確に機能しないのに対して、ビルの上部（高層階）では写り込みの影響が少なく、テンプレートマッチングにより画像の対応関係を取得しやすいという経験則に基づいている。また、テンプレートマッチングの範囲をビル上部の空領域まで含めることにより、ビル上端の角部を抽出しやすくなり、これにより重ね合わせの精度を更に高められるようになる。
【００３４】
画像合成部４７５は、前記ビル上部の対応関係に基づき、3つの画像IC，IR，ILの同一画像領域同士を画素単位で合成することにより合成画像を生成する。ここで、各画像IC，IR，ILの座標を(x，y)とし、各画素のうち最大値をImax(x，y)、最小値をImin(x，y)とすると、その合成画像IA(x，y)は次式(1)で与えられる。
【００３５】
【数１】
【００３６】
上式(1)では、合成画像I A(x，y)は対象エリアの画素値が3つの画像間で異なるほど大きな値を示すので、IA(x，y)値の小さい領域は写り込みのない壁領域、IA(x，y)値の大きな領域は写り込みにより画像が変化した窓領域と推定できる。窓領域候補取得部４７６は、前記合成画像IA(x，y)に基づいて第１窓領域候補Rw1を取得する。
【００３７】
図５は、前記窓領域候補取得部４７６による第１窓領域候補Rw1の検出方法を示したフローチャートである。
【００３８】
ステップＳ１では、合成画像IAの画素値IA(x，y)に関してヒストグラムが作成される。ステップＳ２では、画素値IA(x，y)に関する今回の閾値tref(１≦t≦M)が選択される。ステップＳ３では、画素値IA(x，y)が今回の閾値trefを上回る画素がラベリングされる。ステップＳ４では、画素値IA(x，y)が今回の閾値ｔrefを上回る画素集合により形成される矩形領域が検出される。
【００３９】
ステップＳ５では、前記検出された全ての矩形領域の合計面積Usqの、当該矩形領域以外の面積の合計Uallに対する比tm(＝Usq/Uall）が算出される。ステップＳ６では、閾値trefに関して所定の探索範囲内の探索が完了したか否かが判定される。完了していなければステップＳ２へ戻り、前記閾値trefを探索範囲内で更新（漸減又は漸増）しながら上記の各処理が繰り返される。
【００４０】
その後、全ての探索範囲内で前記面積比tmの探索が完了するとステップＳ７へ進み、前記面積比tmの最大値が検出される。ステップＳ８では、前記面積比tmが最大値を示したときに抽出された矩形領域が第１窓領域候補Rw1として抽出される。
【００４１】
なお、このような第１窓領域候補Rw1の抽出は、ビルの低中層階における窓領域への写り込みを積極的に利用して行われるものなので、その抽出範囲はビルの低中層階の壁面に絞り込むことが望ましい。
【００４２】
[第２窓領域検出]
図６は、前記第２窓領域検出部４８の構成を示した機能ブロック図である。街並画像が地上約2m程度の位置に設置された車載カメラから撮影されていることを考慮すると、図７に示したように、注目ビルの低中層階の窓には近隣の他のビルが映り込むものの、高層階の窓は下方から撮影されることになるので移り込みが生じにくい。そこで、第２窓領域検出部４８は注目ビルの高層階の領域を対象に、画素値が均一の矩形領域を第２窓領域候補Rw2として検出するようにしている。
【００４３】
空領域分離部４８１は、図８(a)に示した平面透視投影画像から、その色情報に基づいて、同図(b)に示したように空領域を分離する。本実施形態では、平面透視投影画像をRGB画像としてHSV色空間に変換し、H成分およびS成分に基づいて空領域と道路領域とが大まかに検出される。前記空領域は、画像の各x,y座標のS成分の値をIs(x,y)としたとき、次式(2)を満足し、かつ画面上部から連続している領域として識別される。
【００４４】
【数２】
【００４５】
建物境界検出部４８２は、前記空領域以外の領域（建物領域）を対象に、周知のMSER(maximally stable extremal regions)手法を適用し、同図(c)に垂直実線で示した建物境界を検出する。
【００４６】
窓領域候補検出部４８３は、前記建物境界で挟まれた建物領域を対象に所定の大きさの矩形領域を探索し、これを窓領域候補として登録する。本実施形態では初めに、窓領域の大きさが建物領域の大きさに対して所定の比を有することに着目し、図８(d)に示したように、建物領域rbの相対領域に対して次式(2)を満足する矩形領域rwが抽出される。
【００４７】
【数３】
【００４８】
さらに、建物の壁面には一般的に同じ形状の窓が存在することに着目し、図８(e)に例示し、また図９(a)に模式的に示したように、大きや形状が類似している２箇所以上の矩形領域rwのペアが窓領域候補rwi(i＝１，２，３…)として検出される。本実施形態では、最小２乗誤差を指標としたテンプレートマッチングを利用して、前記類似している矩形領域rwのペアが検出される。
【００４９】
窓領域決定部４８４は、建物の窓が水平方向および垂直方向に整列することに着目し、図９(b)に模式的に示したように、前記各窓領域候補rwiの位置を基準に矩形領域を水平方向および垂直方向に優先探索し、類似形状の矩形領域が検出されると、図８(f)および図９(c)に示したように、前記窓領域候補および検出された矩形領域をいずれも第２窓領域候補に決定する。
【００５０】
なお、このような第２窓領域候補Rw2の抽出は、ビルの高層階では窓領域への写り込みが少ないことを利用して行われるものなので、その抽出範囲はビルの高層階の壁面に絞り込むことが望ましい。
[窓枠検出]
【００５１】
前記窓枠検出部４９は、ビル壁面では窓の水平・垂直方向に関する配置が格子パターンに近い規則性を示すことに着目し、直線検出の閾値を下げることにより窓枠の検出を行う。これにより、オクルージョンなどによりエッジ成分が他所欠損していても窓パターンを抽出しやすくなる。
【００５２】
図１０は、前記窓枠検出部４９による窓枠検出方法を示したフローチャートであり、図１１は、窓枠検出の各プロセスを模式的に表現した図である。
【００５３】
ステップＳ２１では、図１１(a)のビル画像ICが輝度画像に変換され、同図(b)に一例を示したエッジ画像が抽出される。このエッジ抽出には周知のCanny法を利用できる。ステップＳ２２では、同図(c)に示したように、所定の格子パターンと前記エッジ画像とが比較され、エッジ画像に合致する格子パターンの格子間隔p，qが探索される。
【００５４】
本実施形態では、垂直格子の間隔をp、水平格子の間隔をqとし、格子とエッジとが重なる座標(x，y)をI＋(x，y)、格子以外の領域がエッジでない座標(x，y)をI−(x，y)としたとき、ｐ，qを変化させながら格子とエッジとの重複を探索し、同図(d)に示したように、垂直格子とエッジとが最も重なる格子間隔p、および同図(e)に示したように、水平格子とエッジとが最も重なる格子間隔qが、それぞれ次式(4)，(5)により決定される。
【００５５】
【数４】
【００５６】
【数５】
【００５７】
前記窓領域決定部５０は、前記各検出部４７，４８，４９により得られた３つの検出結果に基づいて窓領域を最終的に決定する。図１２は、前記窓領域決定部５０による窓領域の決定方法を示したフローチャートである。
【００５８】
ステップＳ６１では、前記第２窓領域検出部４８により検出された全ての第２窓領域候補Ｒw2の外枠に相当する部分の画素値に関してヒストグラムが作成される。ステップＳ６２では、前記格子パターン検出部４９により検出された格子パターンに基づいて、前記第２窓領域候補Ｒw2としては検出されていないものの当該格子パターンから窓領域と推定される矩形領域の外枠部分のヒストグラムが作成される。
【００５９】
ステップＳ６３では、前記第２窓領域候補Ｒw2の外枠部分のヒストグラムと前記格子パターンから窓領域と推定された各矩形領域の外枠部分のヒストグラムとの類似度がテンプレートマッチングにより求められる。ステップＳ６４では、前記類似度が所定の閾値を上回る外枠部分で囲まれた矩形領域まで前記第２窓領域候補Ｒw2が拡張される。
【００６０】
ステップＳ６５では、前記第１窓領域検出部４７により検出された各第１窓領域候補Ｒw1の位置と前記拡張された各第２窓領域候補Ｒw2の位置とが比較され、いずれの検出部でも窓領域と推定された矩形領域がステップＳ６７で窓領域に決定される。
【００６１】
これに対して、一方の検出部では窓領域と推定されたものの他方の検出部では窓領域と推定されていない矩形領域に関しては、ステップＳ６６において、当該矩形領域とビル端部からの距離Dwが検出され、当該距離Dwが所定の閾値Dref以上の矩形領域に関しては、ステップＳ６７へ進んで窓領域に決定される。前記閾値Drefは、ビルの幅の5%程度であることが好ましい。これに対して、該距離Dwが所定の閾値Dref未満の矩形領域に関しては、ステップＳ６８へ進んで壁領域に決定される。
【００６２】
図１３は、本発明を適用した三次元地図作成装置の主要部の構成を示したブロック図であり、前記図１と同一の符号は同一または同等部分を表しているので、その説明は省略する。
【００６３】
三次元地図作成部５は、前記地図データに前記窓領域に関する属性情報を付加して電波伝搬推定に好適な三次元地図データを作成する。電波伝搬特性推定部６は、前記三次元地図データに基づいて電波伝搬特性を推定する。
【００６４】
前記三次元地図生成部５は、地図データの対応する建物に、前記ビルの方向別の窓領域の割合および向きを電波伝搬の属性情報として追加する。図１４は、前記各電波場外物に関する属性情報が追加された三次元地図データの一例を示した図である。
【００６５】
なお、前記窓領域の向きは、前記平面透視投影画像の生成にあたり、建物の平面は基本的に道路と平行であり、かつ建物の平面と窓領域との向きとは一般的に平行であるという考察に基づいて、連続するパノラマ画像の位置情報から道路の進行方向を検出しておき、これら道路と平行な向きと推定される。前記窓領域の位置情報や向き情報は、それらの立体的な位置情報として登録される。
【００６６】
電波伝搬推定部６は、以上のようにして生成された三次元地図データに基づいて電波伝搬特性を推定する。以下、非特許文献１に開示された送受信間のレイトレースに基づく電界強度計算モデルを利用した推定方法について説明する。
【００６７】
各レイ（電波）の電界強度は、反射、透過、回折されるごとに減衰し、また受信点までの延距離に応じて弱くなる。したがって、受信点に到達したi番目のレイの電界強度Eiは、i番目のレイに対する反射面jでの反射係数Ri,j、透過面mでの透過係数Ti,m、回折点lでの回折係数Di,l、送受信アンテナ特性GT(i)，GR(i)および送信点から最初の回折点までの延距離Si,jを用いて表される。受信点での電界強度をEとすれば、電界強度Eは各レイEiの電界強度の総和として次式(6)で与えられる。
【００６８】
【数６】
【００６９】
ここで、PTは送信電力、Kは波長等で決まる定数であり、kは波数である。また、Si,jはl−１番目の回折点からl番目の回折点までの延距離である。以下、構造物の壁面が厚さのある平面と仮定した場合のRi,j，Ti,m，Di,lの算出方法を示す。
【００７０】
(a)反射係数R
【００７１】
建物の壁面が波長に比べて十分に大きいと仮定すれば、反射係数Rは広さが無限大で、厚さが無限長である反射面に平面波が斜め入射した時のフレネルの反射係数で表せる。例えば、媒質定数（誘電率、透磁率、導電率）の媒質1(ε1，μ1，σ1)から媒質2(ε2，μ2，σ2)へ電波が入射する場合、反射係数r//(TE入射)、r┴(TM入射)は次式(7)，(8)で与えられる。
【００７２】
【数７】
【００７３】
【数８】
【００７４】
ここで、n12は媒質1に対する媒質2の比複素屈折率であり、次式(9)で表される。なお、θは入射角、ωは入射波の各周波数を表している。
【００７５】
【数９】
(b)透過係数T
【００７６】
建物の壁面が波長に比べて十分に大きいと仮定すれば、透過係数Tは有限の厚さ(Δω)を持つ物質に平面波が斜め入射した時のフレネルの透過係数で表せる。例えば媒質1(ε1，μ1，σ1)から媒質2(ε2，μ2，σ2)を経て媒質3(ε3，μ3，σ3)へ電波が透過する場合、透過係数Tは次式(10)で表される。
【００７７】
【数１０】
【００７８】
ここで、r12は媒質1の媒質2に対するフレネルの反射係数であり、r23は媒質2の媒質3に対するフレネルの反射係数である。一方、t12は媒質1から媒質2に入射波が透過する場合のフレネルの透過係数であり、t23は媒質2から媒質3に入射波が透過する場合のフレネルの透過係数である。一般に、媒質i(εi，μi，σi)から媒質j(εj，μj，σj)へ電波が透過する場合のフレネルの透過係数t//(TE入射)、t┴(TM入射)は次式(11)，(12)で与えられる。
【００７９】
【数１１】
【００８０】
【数１２】
【００８１】
ここで、nijは媒質iに対する媒質jの比複素屈折率を表している。βはΔωおよび媒質1内の波長λ1の関数であり、次式(13)で表される。
【００８２】
【数１３】
(c)回折係数D
【００８３】
幾何光学的に回折を扱える理論にGTD(Geometrical Theory of Diffraction)がある。建物の回折面となる壁面が波長に比べて十分に大きいと仮定すれば、回折係数Dはその形状が楔である媒質に電波が斜め入射した時のGTDによる回折で表せる。回折係数Dは、この場合次式(14)に示すダイアディックで与えられる。
【００８４】
【数１４】
【００８５】
ここで、[β'0]，[β0]および[φ']，[φ]は、それぞれβ'0，β0およびφ'，φの単位ベクトルであり、Ds，Dhは次式(15)で与えられる
【００８６】
【数１５】
【００８７】
上式(15)において、F(・)は次式で(16)で与えられるフレネル積分を表す。
【００８８】
【数１６】
【００８９】
また、Lおよびa±(・)は、それぞれ次式(17)，(18)の関数を表す。
【００９０】
【数１７】
【００９１】
【数１８】
【００９２】
ここで、s'はl−１番目の回折点からl番目の回折点までの延距離si,lを表し、sはl番目の回折点からl+１番目の開設点までの延距離si,l+1を表している。またN±は、次式(19)を満足する最も近い整数で与えられる。
【００９３】
【数１９】
【００９４】
これらの情報に対して、本実施形態には、窓の反射係数、透過係数、回折係数に基づいて壁と窓の混合の壁面のレイを算出し、電波伝搬推定装置に同情報を組み込む。
【符号の説明】
【００９５】
１…撮影装置，２…画像生成部，３…地図データ記憶部，４…窓領域識別部，５…三次元地図作成部，６…電波伝搬特性推定部
【技術分野】
【０００１】
本発明は、車載カメラなどで撮影された街並画像を用いて、従来の地図データからは識別が難しいものの電波伝搬に大きな影響を及ぼすビル壁面の窓領域を検出し、電波伝搬推定におけるシミュレーションに利用する三次元地図の作成装置ならびにその窓領域検出装置に関する。
【背景技術】
【０００２】
携帯電話、PHSあるいは無線LANなどの無線通信システムでは、無線基地局から全方位に放射された電波が構造物で反射、透過、回折等を繰り返して受信点に到着し、到着した全ての電波の電界強度を加算して電界強度が算出される。非特許文献1には、無線通信システムにおいて、ある基地局の通信可能な範囲（サービスエリア）を推定するために、一の基地局から発射された電波の伝搬に関する特性を推定した電波伝搬特性推定データ（電波の軌跡、伝搬損失、受信信号強度など）をレイトレース（ray trace）法により計算する手法が開示されている。
【０００３】
また、屋外の主要な道路上において各基地局からの電波の受信信号強度を推定する従来技術として、非特許文献2には、広域のエリアを対象にして複数の基地局によるカバレッジや干渉の影響を評価し、主に2次元の無線エリアを設計する携帯電話用エリア設計ツールが開示されている。具体的には、エリアの平均建物高や道路幅など、建物環境の代表的な数値を抽出し、非特許文献1の第15章に記載される統計的な手法（推定式）を用いて各基地局からの信号の強度を推定している。非特許文献2の技術では、建物データを含む地図データベースを加工して、例えば25ｍ四方のメッシュごとに平均建物高が抽出された地図データ等が用いられる。
【０００４】
従来の電波伝搬推定では、評価対象エリアの地図データから障害物の属性情報として位置情報や高さ情報を取得し、これらの情報に基づいて電波伝搬が推定される。しかしながら、障害物がビルであっても、電波が衝突する壁面にガラス窓が存在するか否か、ガラス窓が存在する場合にはさらに、その壁面に占めるガラス窓の割合によって反射率や透過率が異なる。しかしながら、上記の従来技術ではビルのガラス窓領域が考慮されていなかったので、電波伝搬の推定精度が低下してしまう。
【０００５】
このような技術課題に対して、本発明の発明者等は、3次元地図データおよび街並画像を利用してビル壁面の窓領域を検出する技術を発明し、特許出願（特許文献1）した。この先行技術では、街並画像の窓領域は比較的均一であること、およびビル壁面の窓領域には規則的なパターンがあることを想定して窓領域を検出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特願2010-183909号
【非特許文献】
【０００７】
【非特許文献１】細矢良雄（監修）、"電波伝搬ハンドブック"、リアライズ社、第2部 第15章 15.5、1999年
【非特許文献２】Planet EV、［平成22年5月18日検索］、インターネット＜URL：http://mustafa.golam.googlepages.com/IntroductiontoPlanetEV.ppt＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献1の手法を利用すれば、街並画像から自動的に建物の窓領域を抽出することが可能であり、三次元地図データに情報を付加することができる。しかしながら、同手法では、窓領域がある程度均一領域であることが前提となっているので、撮影された街並画像において各窓領域の形状、模様、色彩などの画像特徴量が均一であれば高い検出精度を得られる。
【０００９】
しかしながら、実際の街並画像では、隣のビルの写り込みや日照条件により窓領域の画像特徴量が必ずしも均一ではないために検出精度が低下してしまう場合があるという技術課題があった。
【００１０】
本発明の目的は、上記した従来技術の課題を解決し、写り込みや日照条件により窓領域の画像が均一にならない場合でも窓領域を高い精度で検出できる窓領域検出装置およびその検出結果を電波伝搬推定におけるシミュレーションに利用する三次元地図作成装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、街並み画像からビル壁面の窓領域を検出する窓領域検出装置において、以下のような手段を講じた点に特徴がある。
【００１２】
(1)ビルの位置情報が記憶された地図データベースと、街並み画像を撮影位置の情報と対応付けて記憶する街並み画像記憶手段と、各ビルの位置情報に基づいて、当該ビルの壁面を異なる方向から撮影した複数の街並み画像を前記街並み画像記憶手段から取得する手段と、取得した複数の街並み画像の対応位置を検出する手段と、各街並み画像間での対応位置の画像を比較する手段と、画像の違いが所定の第１閾値よりも大きい矩形領域を検出して第１窓領域候補とする手段とを具備した。
【００１３】
(2)対応位置の画像の違いが所定の第２閾値よりも小さい矩形領域を検出して第２窓領域候補とする手段と、街並み画像のエッジ成分と重なる格子パターンを検出する手段と、格子パターンで囲まれた矩形領域について、前記第２窓領域候補として検出されている矩形領域の外枠領域と第２窓領域候補として検出されていない矩形領域の外枠領域との類似度を検出する手段と、第２窓領域候補として検出されていない矩形領域のうち、前記外枠領域の類似度が高い矩形領域まで前記第２窓領域候補を拡張する手段を具備し、第１窓領域候補および第２窓領域候補を窓領域に決定するようにした。
【発明の効果】
【００１４】
本発明によれば、以下のような効果が達成される。
【００１５】
(1)窓領域は写り込みの影響などで撮影角度により画像が変化することに着目し、撮影角度の異なる複数の画像を対応位置ごとに比較して画像成分の差が大きい矩形領域を窓領域として検出するので、窓領域と壁領域とを高い確度で識別できるようになる。
【００１６】
(2)ビルの高層階では中低層階に較べて、窓領域の画像が写り込みにより変化することが少ないので、特に高層階に関しては、撮影角度の異なる複数の画像間で画像成分の差が小さい矩形領域も窓領域として検出することにより、ビルの高さにかかわらず窓領域を正確に検出できるようになる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る窓領域検出装置の構成を示したブロック図である。
【図２】領域識別部４の構成を示した機能ブロック図である。
【図３】撮影角度の異なる３つの街並み画像について平面画像を生成する方法を説明した図である。
【図４】第１窓領域候補検出部４７の構成を示した機能ブロック図である。
【図５】窓領域候補取得部４７６による第１窓領域候補Rw1の検出方法を示したフローチャートである。
【図６】第２窓領域検出部４８の構成を示した機能ブロック図である。
【図７】窓への写り込みがビルの中低層階で顕著に表れる様子を示した図である。
【図８】窓領域の識別手順を模式的に示した図である。
【図９】窓領域の検出方法を模式的に示した図である。
【図１０】窓枠検出部４９による窓枠検出方法を示したフローチャートである。
【図１１】窓枠検出の各プロセスを模式的に表現した図である。
【図１２】窓領域決定部５０による窓領域の決定方法を示したフローチャートである。
【図１３】本発明に係る三次元地図作成装置の構成を示したブロック図である。
【図１４】窓領域に関する属性情報が追加された三次元地図データの一例を示した図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る窓領域検出装置の主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００１９】
本発明の窓領域検出装置は、車両等の移動体に搭載されて対象エリアの街並みを全方位カメラで撮影する撮影装置１と、街並み画像からパノラマ画像を生成する画像生成部２と、対象エリアの三次元地図データを記憶する地図データ記憶部３と、前記平面透視投影画像および地図データに基づいて、当該地図データのみからは識別できないが電波伝搬特性に影響を与える電波障害物としてビル壁面の窓領域を識別する窓領域識別部４とを主要な構成としている。
【００２０】
前記撮影装置１において、全方位カメラ１１は多数の撮像部を備えて全方位の静止画像を撮影する。位置検出部１２は、撮影タイミングの現在位置（撮影位置）を例えばGPS信号により測位する。方位検知部１３は、全方位カメラ１１の向きを検知し、これに基づいて各撮影画像の向きを検知する。撮影された各静止画は、その撮影位置および方位と紐付けられて記憶部１４に次々と記憶される。前記画像生成部２は、全方位カメラ１１で撮影された多数の静止画像に基づいてパノラマ画像を生成するパノラマ画像生成部２１を備える。
【００２１】
図２は、前記窓領域識別部４の構成を示した機能ブロック図である。注目ビル選択部４１は、図３(a)に示したように、対象エリアの地図データから、窓領域の検出対象として注目するビルを順次に選択し、その一辺を特定する。最近接画像取得部４２は、ビルの壁面は一般的に道路と平行であることを考慮し、今回の注目ビルの前記一辺に関する位置情報と各街並画像の撮影位置に関する位置情報とに基づいて、図３(a)，(b)に示したように、今回の注目ビルを前記一辺から最も近い正面位置から撮影した最近接の全方位画像Icを前記記憶部１４から取得する。
【００２２】
前後画像取得部４３は、図３(a)，(b)に示したように、前記最近接の全方位画像ICに対して道路の進行方向に沿って前後の時間に撮影された２つの全方位画像IR，IL、すなわち今回の注目ビルを前記全方位画像ICとは異なる角度から見込んだ２つの全方位画像IR，ILを前記記憶部１４から取得する。
【００２３】
空領域分離部４４および道路領域分離部４５は、図３(c)，(d)に示したように、前記各全方位画像IC，IR，ILから空領域および道路領域を分離してビル領域を抽出する。このような領域分離は、例えばHSV色空間のS成分が所定の閾値以下の領域を空領域や道路領域として分離しても良いし、また一般的な領域分割手法を利用しても良い。あるいは、クラスタリングに基づく色領域の領域分割（市村,"ロバストクラスタリングに基づいた特徴空間と画像空間の併用による領域分割",電子情報通信学会論文誌，Vol.J80-D-II,No.7,pp.1752-1763）を利用しても良い。
【００２４】
このように、本実施形態では空領域や道路領域の位置がある程度決まっていること(空領域は上部、道路領域は下部)を利用し、全方位にわたって広範囲に撮影されている複数の全方位画像IC，IR，ILに対して領域分割を行うので、ノイズの影響を排除して全体の色分布からビル領域を正確に抽出できるようになる。
【００２５】
正面化画像生成部４６は、図３(e)に示したように、空領域および道路領域が分離された３つの全方位画像IC，IR，IL、について、今回の注目ビルの正面を垂直方向から見込んだ平面透視投影画像（平面画像）をそれぞれ生成する。
【００２６】
なお、注目ビルの正面以外の位置からの撮影された全方位画像については、初めに注目ビルの全体が写っているような透視投影画像に変換される。次いで、ビル画像に対して、例えばCanny法を利用してエッジ検出が行われ、検出されたエッジに対して確率的Hough変換を利用することでビルの水平方向・垂直方向のエッジが検出される。次いで、この水平・垂直方向のエッジに基づいて消失点が算出され、この消失点を利用して、今回の注目ビルを正面から見込んだ画像に射影変換が行われる。このような消失点の検出には、例えば文献「無限平面内での消失点抽出：松藤，齋藤，情報処理学会研究報告，Vol.99, No.70, pp.25-30, 1999.」の手法を利用できる。
【００２７】
第１窓領域候補検出部４７は、ビルの低中層階では窓領域に隣接ビルなどの写り込みが生じることから撮影角度によって見え方が異なることに着目し、前記３つの全方位画像IC，IR，ILを、それぞれの注目ビルの画像が重なるように位置合わせして各画素の対応関係を求め、対応する画像領域同士を比較して画素値の差異が大きい矩形領域を第１窓領域候補Rw1として検出する。
【００２８】
第２窓領域候補検出部４８は、前記第１域候補検出部４７とは逆に、ビルの高層階では窓領域に写り込むのが模様や色彩が均質な空領域であって撮影角度による見え方の違いが小さいことに着目し、前記３つの全方位画像IC，IR，ILに関して対応する画像領域の画素値が同等の矩形領域を第２窓領域候補Rw2として検出する。
【００２９】
窓枠検出部４９は、ビル壁面では多数の窓が水平および垂直の各方向へ所定の規則性を持って配置されることに着目して窓枠の格子パターンを検出する。窓領域決定部５０は、前記各検出部４７，４８，４９により得られた検出結果に基づいて窓領域を最終的に決定する。
【００３０】
[第１窓領域候補検出]
図４は、前記第１窓領域候補検出部４７の構成を示した機能ブロック図であり、平面検出部４７１は、注目ビルの全方位画像ICに基づいて、三次元地図のビルの一辺に対応するビル平面を検出する。この検出には、空領域および道路領域が分離された後のビル領域に対してビルの高さ情報が利用される。
【００３１】
本実施形態では、初めに三次元地図から注目ビルの平均高さが抽出され、次いで、隣接するビルの平均高さも同様に抽出される。そして、これらの高さ情報とビルの上端の高さとの関係から注目ビルの領域が検出される。なお、注目ビルと隣接ビルとが同じ高さで隙間がほとんどない場合は画像をブロックに分割し、色領域に基づいてビル領域を判定する。これらは併用するようにしても良い。
【００３２】
ビル上部情報取得部４７２は、前記高さ情報に基づいて、空領域を含む注目ビルの上部画像を取得する。テンプレートマッチング部４７３は、前記全方位画像ICから取得された注目ビルの上部画像と他の全方位画像IR，ILとを比較し、テンプレートマッチングにより３つの全方位画像IC，IR，ILを重ね合わせる。対応位置取得部４７４は、重ね合わされた３つの全方位画像IC，IR，ILの対応位置を検出する。
【００３３】
このような手法は、ビルの下部（主に低中層階）では窓への写り込みなどがあり、テンプレートマッチングが正確に機能しないのに対して、ビルの上部（高層階）では写り込みの影響が少なく、テンプレートマッチングにより画像の対応関係を取得しやすいという経験則に基づいている。また、テンプレートマッチングの範囲をビル上部の空領域まで含めることにより、ビル上端の角部を抽出しやすくなり、これにより重ね合わせの精度を更に高められるようになる。
【００３４】
画像合成部４７５は、前記ビル上部の対応関係に基づき、3つの画像IC，IR，ILの同一画像領域同士を画素単位で合成することにより合成画像を生成する。ここで、各画像IC，IR，ILの座標を(x，y)とし、各画素のうち最大値をImax(x，y)、最小値をImin(x，y)とすると、その合成画像IA(x，y)は次式(1)で与えられる。
【００３５】
【数１】
【００３６】
上式(1)では、合成画像I A(x，y)は対象エリアの画素値が3つの画像間で異なるほど大きな値を示すので、IA(x，y)値の小さい領域は写り込みのない壁領域、IA(x，y)値の大きな領域は写り込みにより画像が変化した窓領域と推定できる。窓領域候補取得部４７６は、前記合成画像IA(x，y)に基づいて第１窓領域候補Rw1を取得する。
【００３７】
図５は、前記窓領域候補取得部４７６による第１窓領域候補Rw1の検出方法を示したフローチャートである。
【００３８】
ステップＳ１では、合成画像IAの画素値IA(x，y)に関してヒストグラムが作成される。ステップＳ２では、画素値IA(x，y)に関する今回の閾値tref(１≦t≦M)が選択される。ステップＳ３では、画素値IA(x，y)が今回の閾値trefを上回る画素がラベリングされる。ステップＳ４では、画素値IA(x，y)が今回の閾値ｔrefを上回る画素集合により形成される矩形領域が検出される。
【００３９】
ステップＳ５では、前記検出された全ての矩形領域の合計面積Usqの、当該矩形領域以外の面積の合計Uallに対する比tm(＝Usq/Uall）が算出される。ステップＳ６では、閾値trefに関して所定の探索範囲内の探索が完了したか否かが判定される。完了していなければステップＳ２へ戻り、前記閾値trefを探索範囲内で更新（漸減又は漸増）しながら上記の各処理が繰り返される。
【００４０】
その後、全ての探索範囲内で前記面積比tmの探索が完了するとステップＳ７へ進み、前記面積比tmの最大値が検出される。ステップＳ８では、前記面積比tmが最大値を示したときに抽出された矩形領域が第１窓領域候補Rw1として抽出される。
【００４１】
なお、このような第１窓領域候補Rw1の抽出は、ビルの低中層階における窓領域への写り込みを積極的に利用して行われるものなので、その抽出範囲はビルの低中層階の壁面に絞り込むことが望ましい。
【００４２】
[第２窓領域検出]
図６は、前記第２窓領域検出部４８の構成を示した機能ブロック図である。街並画像が地上約2m程度の位置に設置された車載カメラから撮影されていることを考慮すると、図７に示したように、注目ビルの低中層階の窓には近隣の他のビルが映り込むものの、高層階の窓は下方から撮影されることになるので移り込みが生じにくい。そこで、第２窓領域検出部４８は注目ビルの高層階の領域を対象に、画素値が均一の矩形領域を第２窓領域候補Rw2として検出するようにしている。
【００４３】
空領域分離部４８１は、図８(a)に示した平面透視投影画像から、その色情報に基づいて、同図(b)に示したように空領域を分離する。本実施形態では、平面透視投影画像をRGB画像としてHSV色空間に変換し、H成分およびS成分に基づいて空領域と道路領域とが大まかに検出される。前記空領域は、画像の各x,y座標のS成分の値をIs(x,y)としたとき、次式(2)を満足し、かつ画面上部から連続している領域として識別される。
【００４４】
【数２】
【００４５】
建物境界検出部４８２は、前記空領域以外の領域（建物領域）を対象に、周知のMSER(maximally stable extremal regions)手法を適用し、同図(c)に垂直実線で示した建物境界を検出する。
【００４６】
窓領域候補検出部４８３は、前記建物境界で挟まれた建物領域を対象に所定の大きさの矩形領域を探索し、これを窓領域候補として登録する。本実施形態では初めに、窓領域の大きさが建物領域の大きさに対して所定の比を有することに着目し、図８(d)に示したように、建物領域rbの相対領域に対して次式(2)を満足する矩形領域rwが抽出される。
【００４７】
【数３】
【００４８】
さらに、建物の壁面には一般的に同じ形状の窓が存在することに着目し、図８(e)に例示し、また図９(a)に模式的に示したように、大きや形状が類似している２箇所以上の矩形領域rwのペアが窓領域候補rwi(i＝１，２，３…)として検出される。本実施形態では、最小２乗誤差を指標としたテンプレートマッチングを利用して、前記類似している矩形領域rwのペアが検出される。
【００４９】
窓領域決定部４８４は、建物の窓が水平方向および垂直方向に整列することに着目し、図９(b)に模式的に示したように、前記各窓領域候補rwiの位置を基準に矩形領域を水平方向および垂直方向に優先探索し、類似形状の矩形領域が検出されると、図８(f)および図９(c)に示したように、前記窓領域候補および検出された矩形領域をいずれも第２窓領域候補に決定する。
【００５０】
なお、このような第２窓領域候補Rw2の抽出は、ビルの高層階では窓領域への写り込みが少ないことを利用して行われるものなので、その抽出範囲はビルの高層階の壁面に絞り込むことが望ましい。
[窓枠検出]
【００５１】
前記窓枠検出部４９は、ビル壁面では窓の水平・垂直方向に関する配置が格子パターンに近い規則性を示すことに着目し、直線検出の閾値を下げることにより窓枠の検出を行う。これにより、オクルージョンなどによりエッジ成分が他所欠損していても窓パターンを抽出しやすくなる。
【００５２】
図１０は、前記窓枠検出部４９による窓枠検出方法を示したフローチャートであり、図１１は、窓枠検出の各プロセスを模式的に表現した図である。
【００５３】
ステップＳ２１では、図１１(a)のビル画像ICが輝度画像に変換され、同図(b)に一例を示したエッジ画像が抽出される。このエッジ抽出には周知のCanny法を利用できる。ステップＳ２２では、同図(c)に示したように、所定の格子パターンと前記エッジ画像とが比較され、エッジ画像に合致する格子パターンの格子間隔p，qが探索される。
【００５４】
本実施形態では、垂直格子の間隔をp、水平格子の間隔をqとし、格子とエッジとが重なる座標(x，y)をI＋(x，y)、格子以外の領域がエッジでない座標(x，y)をI−(x，y)としたとき、ｐ，qを変化させながら格子とエッジとの重複を探索し、同図(d)に示したように、垂直格子とエッジとが最も重なる格子間隔p、および同図(e)に示したように、水平格子とエッジとが最も重なる格子間隔qが、それぞれ次式(4)，(5)により決定される。
【００５５】
【数４】
【００５６】
【数５】
【００５７】
前記窓領域決定部５０は、前記各検出部４７，４８，４９により得られた３つの検出結果に基づいて窓領域を最終的に決定する。図１２は、前記窓領域決定部５０による窓領域の決定方法を示したフローチャートである。
【００５８】
ステップＳ６１では、前記第２窓領域検出部４８により検出された全ての第２窓領域候補Ｒw2の外枠に相当する部分の画素値に関してヒストグラムが作成される。ステップＳ６２では、前記格子パターン検出部４９により検出された格子パターンに基づいて、前記第２窓領域候補Ｒw2としては検出されていないものの当該格子パターンから窓領域と推定される矩形領域の外枠部分のヒストグラムが作成される。
【００５９】
ステップＳ６３では、前記第２窓領域候補Ｒw2の外枠部分のヒストグラムと前記格子パターンから窓領域と推定された各矩形領域の外枠部分のヒストグラムとの類似度がテンプレートマッチングにより求められる。ステップＳ６４では、前記類似度が所定の閾値を上回る外枠部分で囲まれた矩形領域まで前記第２窓領域候補Ｒw2が拡張される。
【００６０】
ステップＳ６５では、前記第１窓領域検出部４７により検出された各第１窓領域候補Ｒw1の位置と前記拡張された各第２窓領域候補Ｒw2の位置とが比較され、いずれの検出部でも窓領域と推定された矩形領域がステップＳ６７で窓領域に決定される。
【００６１】
これに対して、一方の検出部では窓領域と推定されたものの他方の検出部では窓領域と推定されていない矩形領域に関しては、ステップＳ６６において、当該矩形領域とビル端部からの距離Dwが検出され、当該距離Dwが所定の閾値Dref以上の矩形領域に関しては、ステップＳ６７へ進んで窓領域に決定される。前記閾値Drefは、ビルの幅の5%程度であることが好ましい。これに対して、該距離Dwが所定の閾値Dref未満の矩形領域に関しては、ステップＳ６８へ進んで壁領域に決定される。
【００６２】
図１３は、本発明を適用した三次元地図作成装置の主要部の構成を示したブロック図であり、前記図１と同一の符号は同一または同等部分を表しているので、その説明は省略する。
【００６３】
三次元地図作成部５は、前記地図データに前記窓領域に関する属性情報を付加して電波伝搬推定に好適な三次元地図データを作成する。電波伝搬特性推定部６は、前記三次元地図データに基づいて電波伝搬特性を推定する。
【００６４】
前記三次元地図生成部５は、地図データの対応する建物に、前記ビルの方向別の窓領域の割合および向きを電波伝搬の属性情報として追加する。図１４は、前記各電波場外物に関する属性情報が追加された三次元地図データの一例を示した図である。
【００６５】
なお、前記窓領域の向きは、前記平面透視投影画像の生成にあたり、建物の平面は基本的に道路と平行であり、かつ建物の平面と窓領域との向きとは一般的に平行であるという考察に基づいて、連続するパノラマ画像の位置情報から道路の進行方向を検出しておき、これら道路と平行な向きと推定される。前記窓領域の位置情報や向き情報は、それらの立体的な位置情報として登録される。
【００６６】
電波伝搬推定部６は、以上のようにして生成された三次元地図データに基づいて電波伝搬特性を推定する。以下、非特許文献１に開示された送受信間のレイトレースに基づく電界強度計算モデルを利用した推定方法について説明する。
【００６７】
各レイ（電波）の電界強度は、反射、透過、回折されるごとに減衰し、また受信点までの延距離に応じて弱くなる。したがって、受信点に到達したi番目のレイの電界強度Eiは、i番目のレイに対する反射面jでの反射係数Ri,j、透過面mでの透過係数Ti,m、回折点lでの回折係数Di,l、送受信アンテナ特性GT(i)，GR(i)および送信点から最初の回折点までの延距離Si,jを用いて表される。受信点での電界強度をEとすれば、電界強度Eは各レイEiの電界強度の総和として次式(6)で与えられる。
【００６８】
【数６】
【００６９】
ここで、PTは送信電力、Kは波長等で決まる定数であり、kは波数である。また、Si,jはl−１番目の回折点からl番目の回折点までの延距離である。以下、構造物の壁面が厚さのある平面と仮定した場合のRi,j，Ti,m，Di,lの算出方法を示す。
【００７０】
(a)反射係数R
【００７１】
建物の壁面が波長に比べて十分に大きいと仮定すれば、反射係数Rは広さが無限大で、厚さが無限長である反射面に平面波が斜め入射した時のフレネルの反射係数で表せる。例えば、媒質定数（誘電率、透磁率、導電率）の媒質1(ε1，μ1，σ1)から媒質2(ε2，μ2，σ2)へ電波が入射する場合、反射係数r//(TE入射)、r┴(TM入射)は次式(7)，(8)で与えられる。
【００７２】
【数７】
【００７３】
【数８】
【００７４】
ここで、n12は媒質1に対する媒質2の比複素屈折率であり、次式(9)で表される。なお、θは入射角、ωは入射波の各周波数を表している。
【００７５】
【数９】
(b)透過係数T
【００７６】
建物の壁面が波長に比べて十分に大きいと仮定すれば、透過係数Tは有限の厚さ(Δω)を持つ物質に平面波が斜め入射した時のフレネルの透過係数で表せる。例えば媒質1(ε1，μ1，σ1)から媒質2(ε2，μ2，σ2)を経て媒質3(ε3，μ3，σ3)へ電波が透過する場合、透過係数Tは次式(10)で表される。
【００７７】
【数１０】
【００７８】
ここで、r12は媒質1の媒質2に対するフレネルの反射係数であり、r23は媒質2の媒質3に対するフレネルの反射係数である。一方、t12は媒質1から媒質2に入射波が透過する場合のフレネルの透過係数であり、t23は媒質2から媒質3に入射波が透過する場合のフレネルの透過係数である。一般に、媒質i(εi，μi，σi)から媒質j(εj，μj，σj)へ電波が透過する場合のフレネルの透過係数t//(TE入射)、t┴(TM入射)は次式(11)，(12)で与えられる。
【００７９】
【数１１】
【００８０】
【数１２】
【００８１】
ここで、nijは媒質iに対する媒質jの比複素屈折率を表している。βはΔωおよび媒質1内の波長λ1の関数であり、次式(13)で表される。
【００８２】
【数１３】
(c)回折係数D
【００８３】
幾何光学的に回折を扱える理論にGTD(Geometrical Theory of Diffraction)がある。建物の回折面となる壁面が波長に比べて十分に大きいと仮定すれば、回折係数Dはその形状が楔である媒質に電波が斜め入射した時のGTDによる回折で表せる。回折係数Dは、この場合次式(14)に示すダイアディックで与えられる。
【００８４】
【数１４】
【００８５】
ここで、[β'0]，[β0]および[φ']，[φ]は、それぞれβ'0，β0およびφ'，φの単位ベクトルであり、Ds，Dhは次式(15)で与えられる
【００８６】
【数１５】
【００８７】
上式(15)において、F(・)は次式で(16)で与えられるフレネル積分を表す。
【００８８】
【数１６】
【００８９】
また、Lおよびa±(・)は、それぞれ次式(17)，(18)の関数を表す。
【００９０】
【数１７】
【００９１】
【数１８】
【００９２】
ここで、s'はl−１番目の回折点からl番目の回折点までの延距離si,lを表し、sはl番目の回折点からl+１番目の開設点までの延距離si,l+1を表している。またN±は、次式(19)を満足する最も近い整数で与えられる。
【００９３】
【数１９】
【００９４】
これらの情報に対して、本実施形態には、窓の反射係数、透過係数、回折係数に基づいて壁と窓の混合の壁面のレイを算出し、電波伝搬推定装置に同情報を組み込む。
【符号の説明】
【００９５】
１…撮影装置，２…画像生成部，３…地図データ記憶部，４…窓領域識別部，５…三次元地図作成部，６…電波伝搬特性推定部
【特許請求の範囲】
【請求項１】
街並み画像からビル壁面の窓領域を検出する窓領域検出装置において、
ビルの位置情報が記憶された地図データベースと、
街並み画像を撮影位置の情報と対応付けて記憶する街並み画像記憶手段と、
各ビルの位置情報に基づいて、当該ビルの壁面を異なる方向から撮影した複数の街並み画像を前記街並み画像記憶手段から取得する手段と、
前記取得した複数の街並み画像の対応位置を検出する手段と、
前記各街並み画像間での対応位置の画像を比較する手段と、
前記画像の違いが所定の第１閾値よりも大きい矩形領域を検出して第１窓領域候補とする手段とを具備したことを特徴とする窓領域検出装置。
【請求項２】
前記対応位置の画像の違いが所定の第２閾値よりも小さい矩形領域を検出して第２窓領域候補とする手段と、
前記画像のエッジ成分と重なる格子パターンを検出する手段と、
前記格子パターンで囲まれた矩形領域について、前記第２窓領域候補として検出されている矩形領域の外枠領域と前記第２窓領域候補として検出されていない矩形領域の外枠領域との類似度を検出する手段と、
前記第２窓領域候補として検出されていない矩形領域のうち、前記外枠領域の類似度が高い矩形領域まで前記第２窓領域候補を拡張する手段を具備し、
前記第１窓領域候補および第２窓領域候補を窓領域に決定することを特徴とする請求項１に記載の窓領域検出装置。
【請求項３】
前記街並み画像が全方位画像であり、 前記取得した複数の街並み画像を、前記ビル壁面を正面から見込んだ平面画像に変換する手段を具備し、
前記街並み画像の対応位置を検出する手段は、各街並み画像の平面画像の対応位置を検出することを特徴とする請求項１に記載の窓領域検出装置。
【請求項４】
前記第１窓領域候補は、前記ビルの低中層階から検出され、前記第２窓領域候補は、前記低中層階よりも上の高層階から検出されることを特徴とする請求項２に記載の窓領域検出装置。
【請求項５】
前記各街並み画像の対応位置を検出する手段は、各街並み画像のビル上部および空領域を含む画像領域同士をテンプレートマッチングにより比較して対応位置を検出することを特徴とする請求項１に記載の窓領域検出装置。
【請求項６】
前記ビル壁面を異なる方向から撮影した複数の街並み画像は、
当該ビル壁面を最も近い位置から撮影した再接近画像と、
前記ビル壁面と平行な道路に沿って前記再接近画像の前後の時間に撮影された前画像および後画像とを含むことを特徴とする請求項１に記載の窓領域検出装置。
【請求項７】
ビルの位置情報が記憶された地図データベースと、
街並み画像を撮影位置の情報と対応付けて記憶する街並み画像記憶手段と、
前記街並み画像からビル壁面の窓領域を検出する手段と、
前記ビルの位置情報および窓領域の識別結果に基づいて三次元地図データを作成する三次元地図データ作成手段とを具備し、
前記窓領域を検出する手段は、
各ビルの位置情報に基づいて、当該ビルの壁面を異なる方向から撮影した複数の街並み画像を前記街並み画像記憶手段から取得する手段と、
前記取得した複数の街並み画像の対応位置を検出する手段と、
前記各街並み画像間での対応位置の画像を比較する手段と、
前記画像の違いが所定の第１閾値よりも大きい矩形領域を検出して第１窓領域候補とする手段とを具備したことを特徴とする三次元地図作成装置。
【請求項８】
前記対応位置の画像の違いが所定の第２閾値よりも小さい矩形領域を検出して第２窓領域候補とする手段と、
前記街並み画像のエッジ成分と重なる格子パターンを検出する手段と、
前記格子パターンで囲まれた矩形領域について、前記第２窓領域候補として検出されている矩形領域の外枠領域と前記第２窓領域候補として検出されていない矩形領域の外枠領域との類似度を検出する手段と、
前記第２窓領域候補として検出されていない矩形領域のうち、前記外枠領域の類似度が高い矩形領域まで前記第２窓領域候補を拡張する手段を具備し、
前記第１窓領域候補および第２窓領域候補を窓領域に決定することを特徴とする請求項７に記載の三次元地図作成装置。
【請求項１】
街並み画像からビル壁面の窓領域を検出する窓領域検出装置において、
ビルの位置情報が記憶された地図データベースと、
街並み画像を撮影位置の情報と対応付けて記憶する街並み画像記憶手段と、
各ビルの位置情報に基づいて、当該ビルの壁面を異なる方向から撮影した複数の街並み画像を前記街並み画像記憶手段から取得する手段と、
前記取得した複数の街並み画像の対応位置を検出する手段と、
前記各街並み画像間での対応位置の画像を比較する手段と、
前記画像の違いが所定の第１閾値よりも大きい矩形領域を検出して第１窓領域候補とする手段とを具備したことを特徴とする窓領域検出装置。
【請求項２】
前記対応位置の画像の違いが所定の第２閾値よりも小さい矩形領域を検出して第２窓領域候補とする手段と、
前記画像のエッジ成分と重なる格子パターンを検出する手段と、
前記格子パターンで囲まれた矩形領域について、前記第２窓領域候補として検出されている矩形領域の外枠領域と前記第２窓領域候補として検出されていない矩形領域の外枠領域との類似度を検出する手段と、
前記第２窓領域候補として検出されていない矩形領域のうち、前記外枠領域の類似度が高い矩形領域まで前記第２窓領域候補を拡張する手段を具備し、
前記第１窓領域候補および第２窓領域候補を窓領域に決定することを特徴とする請求項１に記載の窓領域検出装置。
【請求項３】
前記街並み画像が全方位画像であり、 前記取得した複数の街並み画像を、前記ビル壁面を正面から見込んだ平面画像に変換する手段を具備し、
前記街並み画像の対応位置を検出する手段は、各街並み画像の平面画像の対応位置を検出することを特徴とする請求項１に記載の窓領域検出装置。
【請求項４】
前記第１窓領域候補は、前記ビルの低中層階から検出され、前記第２窓領域候補は、前記低中層階よりも上の高層階から検出されることを特徴とする請求項２に記載の窓領域検出装置。
【請求項５】
前記各街並み画像の対応位置を検出する手段は、各街並み画像のビル上部および空領域を含む画像領域同士をテンプレートマッチングにより比較して対応位置を検出することを特徴とする請求項１に記載の窓領域検出装置。
【請求項６】
前記ビル壁面を異なる方向から撮影した複数の街並み画像は、
当該ビル壁面を最も近い位置から撮影した再接近画像と、
前記ビル壁面と平行な道路に沿って前記再接近画像の前後の時間に撮影された前画像および後画像とを含むことを特徴とする請求項１に記載の窓領域検出装置。
【請求項７】
ビルの位置情報が記憶された地図データベースと、
街並み画像を撮影位置の情報と対応付けて記憶する街並み画像記憶手段と、
前記街並み画像からビル壁面の窓領域を検出する手段と、
前記ビルの位置情報および窓領域の識別結果に基づいて三次元地図データを作成する三次元地図データ作成手段とを具備し、
前記窓領域を検出する手段は、
各ビルの位置情報に基づいて、当該ビルの壁面を異なる方向から撮影した複数の街並み画像を前記街並み画像記憶手段から取得する手段と、
前記取得した複数の街並み画像の対応位置を検出する手段と、
前記各街並み画像間での対応位置の画像を比較する手段と、
前記画像の違いが所定の第１閾値よりも大きい矩形領域を検出して第１窓領域候補とする手段とを具備したことを特徴とする三次元地図作成装置。
【請求項８】
前記対応位置の画像の違いが所定の第２閾値よりも小さい矩形領域を検出して第２窓領域候補とする手段と、
前記街並み画像のエッジ成分と重なる格子パターンを検出する手段と、
前記格子パターンで囲まれた矩形領域について、前記第２窓領域候補として検出されている矩形領域の外枠領域と前記第２窓領域候補として検出されていない矩形領域の外枠領域との類似度を検出する手段と、
前記第２窓領域候補として検出されていない矩形領域のうち、前記外枠領域の類似度が高い矩形領域まで前記第２窓領域候補を拡張する手段を具備し、
前記第１窓領域候補および第２窓領域候補を窓領域に決定することを特徴とする請求項７に記載の三次元地図作成装置。
【図２】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図１４】
【図１】
【図３】
【図７】
【図８】
【図９】
【図１３】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図１４】
【図１】
【図３】
【図７】
【図８】
【図９】
【図１３】
【公開番号】特開２０１２−７８９２９（Ｐ２０１２−７８９２９Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２１４５４（Ｐ２０１０−２２１４５４）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]