三次元地図作成装置およびその窓領域検出装置
【課題】高層ビルを含む全てのビルを映し出すことの可能な鳥瞰画像に基づいて、建物の窓領域を自動的に抽出する三次元地図作成装置およびその窓領域検出装置を提供する。
【解決手段】本発明の窓領域検出装置は、注目ビルの鳥瞰画像から、画像特徴量が類似して周期的に検出される複数の窓領域候補を検出する窓領域候補検出部１０４と、複数の窓領域候補を、その特徴量および位置情報に基づいて複数のクラスタに分類するクラスタリング部１０５と、クラスタリングの結果に基づいて、注目ビルの窓パターンを分類する窓パターン分類部１０７と、窓パターンに応じたエッジ情報に基づいて注目ビルの消失点を算出する消失点算出部１０７と、消失点の算出結果に基づいて注目ビルの鳥瞰画像を正面化する正面化部１０９と、正面化された注目ビルの鳥瞰画像に、窓パターンに応じて欠損窓を補完する欠損窓補完部１１０とを具備した。
【解決手段】本発明の窓領域検出装置は、注目ビルの鳥瞰画像から、画像特徴量が類似して周期的に検出される複数の窓領域候補を検出する窓領域候補検出部１０４と、複数の窓領域候補を、その特徴量および位置情報に基づいて複数のクラスタに分類するクラスタリング部１０５と、クラスタリングの結果に基づいて、注目ビルの窓パターンを分類する窓パターン分類部１０７と、窓パターンに応じたエッジ情報に基づいて注目ビルの消失点を算出する消失点算出部１０７と、消失点の算出結果に基づいて注目ビルの鳥瞰画像を正面化する正面化部１０９と、正面化された注目ビルの鳥瞰画像に、窓パターンに応じて欠損窓を補完する欠損窓補完部１１０とを具備した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、従来の地図データからは識別が難しいものの電波伝搬に大きな影響を及ぼすビル壁面の窓領域を街並みの鳥瞰画像に基づいて検出し、電波伝搬推定におけるシミュレーションに利用する三次元地図の作成装置ならびにその窓領域検出装置に関する。
【背景技術】
【０００２】
携帯電話、PHSあるいは無線LANなどの無線通信システムでは、無線基地局から全方位に放射された電波が構造物で反射、透過、回折等を繰り返して受信点に到着し、到着した全ての電波の電界強度を加算して電界強度が算出される。非特許文献1には、無線通信システムにおいて、ある基地局の通信可能な範囲（サービスエリア）を推定するために、一の基地局から発射された電波の伝搬に関する特性を推定した電波伝搬特性推定データ（電波の軌跡、伝搬損失、受信信号強度など）をレイトレース（ray trace）法により計算する手法が開示されている。
【０００３】
また、屋外の主要な道路上において各基地局からの電波の受信信号強度を推定する従来技術として、非特許文献2には、広域のエリアを対象にして複数の基地局によるカバレッジや干渉の影響を評価し、主に2次元の無線エリアを設計する携帯電話用エリア設計ツールが開示されている。具体的には、エリアの平均建物高や道路幅など、建物環境の代表的な数値を抽出し、非特許文献1の第15章に記載される統計的な手法（推定式）を用いて各基地局からの信号の強度を推定している。非特許文献2の技術では、建物データを含む地図データベースを加工して、例えば25ｍ四方のメッシュごとに平均建物高が抽出された地図データ等が用いられる。
【０００４】
従来の電波伝搬推定では、評価対象エリアの地図データから障害物の属性情報として位置情報や高さ情報を取得し、これらの情報に基づいて電波伝搬が推定される。しかしながら、障害物がビルであっても、電波が衝突する壁面にガラス窓が存在するか否か、ガラス窓が存在する場合にはさらに、その壁面に占めるガラス窓の割合によって反射率や透過率が異なる。しかしながら、上記の従来技術ではビルのガラス窓領域が考慮されていなかったので、電波伝搬の推定精度が低下してしまう。
【０００５】
このような技術課題に対して、本発明の発明者等は、3次元地図データおよび街並画像を利用してビル壁面の窓領域を検出する技術を発明し、特許出願（特許文献１）した。この先行技術では、街並画像の窓領域は反射により画像特徴量が変化する傾向にあることを利用し、ビルを複数方向から撮影した画像から特徴を抽出して統合的に判断することにより、精度の高い窓領域検出を実現していた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特願２０１０−２２１４５４号
【非特許文献】
【０００７】
【非特許文献１】細矢良雄（監修）、"電波伝搬ハンドブック"、リアライズ社、第2部 第15章 15.5、1999年
【非特許文献２】Planet EV、［平成23年6月1日検索］、インターネット＜URL：http://mustafa.golam.googlepages.com/IntroductiontoPlanetEV.ppt＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１の手法を利用すれば、街並画像から自動的に建物の窓領域を抽出することが可能であり、三次元地図データに窓領域に関する属性情報を付加することができる。しかしながら、街並画像の多くは車載カメラから撮影され、低い位置から建物を見上げるような角度での撮影となるため、特に高層ビルでは、その全景を映し出すことが難しい。このため、特許文献１では高層ビルの窓領域を抽出することが困難であった。
【０００９】
本発明の目的は、上記した従来技術の課題を解決し、高層ビルを含む全てのビルを映し出すことの可能な航空画像、特に鳥瞰画像に基づいて、建物の窓領域を自動的に抽出できる三次元地図作成装置およびその窓領域検出装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、ビルの鳥瞰画像からビル壁面の窓領域を検出する窓領域検出装置において、注目ビルの鳥瞰画像をデータベースから取得するビル画像取得手段と、前記注目ビルの鳥瞰画像から、画像特徴量が類似して周期的に検出される複数の窓領域候補を検出する窓領域候補検出手段と、前記複数の窓領域候補を、その特徴量および位置情報に基づいて複数のクラスタに分類するクラスタリング手段と、複数のクラスタの中から、注目ビルの窓領域候補が最も多く所属すると推定される代表クラスタを選択する代表クラスタ選択手段と、代表クラスタに所属する窓領域候補に基づいて、注目ビルの窓パターンを分類する窓パターン分類手段と、窓パターンおよび代表クラスタに所属する各窓領域候補の位置情報に基づいて注目ビルの消失点を算出する消失点算出手段と、前記消失点の算出結果に基づいて注目ビルの画像を正面化する正面化手段とを具備した。
【発明の効果】
【００１１】
本発明によれば、鳥瞰画像のように、高層ビルでもその全景を映し出せるものの、ビルとビルとの間に空領域ではなく他のビルや道路などの構造物が出現するためにビルの輪郭を検出することが困難な画像からも、窓領域の周期性に基づいて各ビルの領域を抽出することができ、さらにその領域内の窓領域を識別できるので、特に高層ビルの窓領域を正確に検出できるようになる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る窓領域検出装置の主要部の構成を示したブロック図である。
【図２】注目ビルBiを含む周辺の3D地図の一例を示した図である。
【図３】鳥瞰画像の一例を示した図である。
【図４】窓領域のクラスタリング方法を説明するための図である。
【図５】３種類の窓パターンを示した図である。
【図６】窓パターンの推定方法を示した図である。
【図７】消失点の算出方法を示した図である。
【図８】第１窓パターンのビル（全ての窓が連続している）について、消失点算出用のエッジ情報の求め方を示した図である。
【図９】第２窓パターンのビル（フロアごとに水平連続窓が独立している）について、消失点算出用のエッジ情報の求め方を示した図である。
【図１０】第３窓パターンのビル（全ての窓が独立している）について、消失点算出用のエッジ情報の求め方を示した図である。
【図１１】第１窓パターンのビルを対象とした欠損窓の補完方法を示した図である。
【図１２】第２窓パターンのビルを対象とした欠損窓の補完方法を示した図である。
【図１３】第３窓パターンのビルを対象とした欠損窓の補完方法を示した図である。
【図１４】窓領域に関する属性情報が追加された三次元地図データの一例を示した図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態について詳細に説明する。本発明では、高層ビルでも全景を映し出せる鳥瞰画像からビル領域を識別し、各ビル領域から窓領域を抽出する。ここで、従来技術のように街並画像からビル領域を抽出するのであれば、街並み画像の多くがビルを見上げるような角度で撮影されており、ビルとビルとの間には空領域が出現する。そして、空領域の画像特徴量とビルの画像特徴量とは大きく異なるため、街並画像から各ビルの領域を抽出することは比較的容易であった。
【００１４】
これに対して、鳥瞰画像は上空から街並を見下ろすように撮影されるため、ビルとビルとの間には、空領域ではなく他のビルや道路などの構造物が出現する。そして、これらの構造物は画像特徴量がビルと類似しているので、従来技術と同様の手法ではビル領域を正確に抽出することができない。
【００１５】
そこで、本発明では以下に詳述するように、ビルの壁面では多数の窓が所定の規則で整列されていることに着目し、窓領域と推定される画像特徴量を有する領域が所定の規則性で検出される領域を、同一ビルの輪郭として領域を区別し、さらにその内部の窓領域を抽出するようにしている。
【００１６】
図１は、本発明の一実施形態に係る三次元地図作成装置およびその窓領域検出装置１の主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００１７】
地図データベース２には、ビルの位置情報および高さ情報が登録された3D地図が記憶されている。鳥瞰画像データベース３には、街並みを上空から見下ろすように撮影された鳥瞰画像あるいは類似画像が記憶されている。前記各データベース２，３は、予め購入等により用意されているものでも良いし、あるいは図１に示したように、ネットワーク上で地図データや鳥瞰画像を公開するWebサーバであ合っても良く、この場合、窓領域検出装置１は広域ネットワーク４を経由して各サーバ２，３にアクセスできる。
【００１８】
前記地図データベース２としては、例えば、主に都市部を対象として、車載の全方位カメラで撮影した位置情報付き街並画像を公開しているGoogle Maps Street View (http://www.google.co.jp/help/maps/streetview)を利用できる。前記鳥瞰画像データベース３としては、例えば、各地点を東西南北の４方向から撮影した画像を公開しているBing maps (http://www.bing.com/maps/)を利用できる。
【００１９】
ビル選択受付部１０１は、前記地図データベース２の3D地図上でオペレータにより適宜に選択された注目ビルの情報を当該地図データベース２から取得する。本実施形態では、注目ビルの識別子Bi、注目ビルBiを真上から観察した際の平面図における各辺および各角部の位置情報（緯度経度情報）、注目ビルの平均高さ情報、ならびに平均標高が取得される。平面図の各辺の位置情報が緯度経度表記でない場合には、適宜に変換処理を施して緯度経度情報を取得する。
【００２０】
なお、複数棟のビルを選択する場合には、上記の選択処理を繰り返せばよく、また3D地図上で範囲を指定することで、その範囲内の全てのビルが同時に注目ビルBiとして選択されるようにしても良い。ここでは、注目ビルBiが一つだけ選択されたものとして説明を続ける。
【００２１】
ビル画像取得部１０２は、前記選択された注目ビルBiの鳥瞰画像を、その位置情報に基づいて鳥瞰画像データベース３から取得する。図２は、前記注目ビルBi（識別子01）を含む周辺の3D地図であり、図３(a)は、注目ビルBiを南側上方から見下ろした鳥瞰画像、同図(b)は、注目ビルBiを西側上方から見下ろした鳥瞰画像の一例を示した図である。本実施形態では、図２の3D地図に印された各ビルに対して、その鳥瞰画像からビル壁面ごとに求まる窓領域の情報が付加される。
【００２２】
窓検出適性判定部１０３は、注目ビルBiの壁面が、その窓領域を検出できる程度まで鳥瞰画像内に映し出されているか否かに基づいて、当該ビル壁面の窓検出対象としての適性を判定する。
【００２３】
図２の3D地図からは、注目ビルBiのみならず、その周辺ビルの位置情報および高さ情報も取得できるので、鳥瞰画像の撮影角度θが解れば、注目ビルBiの壁面が周辺ビルと重なる場合に、その重なり率を算出できる。なお、鳥瞰画像の撮影角度θが非公開である場合には、一般的な角度（例えば、４５度）を採用しても良いし、あるいは予め鳥瞰画像を分析して撮影角度を算出するようにしても良い。
【００２４】
そして、図３(a)の南側壁面のように、その大部分が周辺ビル06によって遮られて可視領域が狭い場合には、当該南側壁面は窓検出対象としての適性を欠いていると判定される。これに対して、図３(b)の西側壁面のように、可視領域が十分に確保されていれば、当該西側壁面は窓検出対象としての適性を有していると判定される。
【００２５】
本実施形態では、このような窓検出対象としての適性判定が、当該注目ビルBiを４方向（東西南北）から撮影した全ての鳥瞰画像に対して行われ、可視領域が最も広い方向の壁面が窓検出の対象壁面とされる。そして、特に本発明が窓領域検出の対象とするような高層ビルは、全ての壁面が同様の窓配列である場合が多いので、前記可視領域が十分に確保された壁面で全てのビル壁面を代表するようにしている。
【００２６】
窓領域候補検出部１０４は、注目ビルBiについて、前記窓検出対象としての適性を有すると判定された壁面を撮影した鳥瞰画像から、窓に固有の画像特徴量で周期的あるいは規則的に配列されている単位領域を窓領域候補Wij（添字jは注目ビルBi近辺での窓領域識別子）として検出する。
【００２７】
本実施形態では、映り込みのない窓領域が壁面に少なくとも一部存在し、その窓内では均一の色分布をしていることを前提とし、blob領域検出器であるMSER(Maximally Stable Extremal Regions：Jiri Matas, Ondrej Chum, Martin Urban, and Tomas Pajdla. Robasut wide-baseline stereo from maximally stable extremal regions. Image and Vision Computing, 22(10):761-767, September 2004.)を利用して、鳥瞰画像から窓領域候補Wijを検出する。
【００２８】
MSERは、画素値の変化を起伏の変化として捉え、その局所的な窪み、もしくは山を検出する手法で、隣接する画素で類似する画素値を持つ場合に領域の結合を行うことで領域を分割する。このような技術は、OpenCV (http://opencv.jp/) で利用することができる。
【００２９】
MSERによる領域分割が完了すると、各窓領域候補WijからSIFT (Scale Invariant Feature Transform) descriptorに基づいて画像特徴量（記述子Dij）が抽出される。SIFT descriptorは、局所領域内を矩形に区分し、各矩形内で輝度勾配ベクトルをヒストグラム化したものとして、例えば、１２８次元のベクトル、スケールおよび方向ベクトルで表現される。この技術も前記OpenCVで利用することができる。
【００３０】
クラスタリング部１０５は、前記窓領域候補検出部１０４で検出された各窓領域候補Wijを、その記述子Dijおよび位置情報に基づいて複数のクラスタに分類する。本実施形態では、窓領域候補Wijごとに、その記述子Dijとの類似度が所定の閾値を超える記述子を有する窓領域候補Wiが最近傍探索により探索されて同一クラスタに分類される。このような類似記述子の探索は、木構造(KD-tree)を用いることで高速化できる。また、クラスタを順次に作成する過程で、先に生成されたクラスタの重心と新たに生成されたクラスタの重心とが近ければ、当該新たに生成されたクラスタは前記先に生成されたクラスタに統合されることもある。
【００３１】
前記最近傍探索では、各窓領域候補Wijの配列に関する規則性を考慮して、各クラスタを作成する際に局所特徴量の位置に関して図４のような拘束が加えられる。本実施形態では、注目ビルBiが正面から撮影されていないことを考慮し、探索対象の窓領域候補Wijを中心にビル壁面が４方向(R1，R2，R3，R4)に分割され、各セクタ（図４では、９０°の扇型で表現されている）内で記述子Dijが類似する窓領域候補が探索され、その個数が算出される。この際、探索範囲はSIFT descriptorが生成した特徴抽出エリア(ガウス窓3σ)を元にして、その数倍（本実施形態では、５倍）の半径内で制限される。
【００３２】
各セクタ内で類似の窓領域候補数が閾値NTS（本実施形態では、NTS=６）以上であれば、当該セクタ内の全ての窓領域候補が同一クラスタに分類される。したがって、全ての方向R1，R2，R3，R4の各セクタ内で類似の窓領域候補数が閾値NTSを超えれば、窓領域が探索範囲内で連続していると判定されて全ての窓領域候補が同一クラスタに分類される。また、類似の窓領域候補数が、方向R2，R4のセクタ内では閾値NTSを超える一方、方向R1，R3のセクタ内では閾値NTSを超えていなければ、窓領域が横方向のみに連続してフロアごとに分かれていると判定され、方向R2，R4の各セクタ内の窓領域候補のみが同一クラスタに分類される。本実施形態では、このようなクラスタリング処理が、注目する窓領域候補をシフトさせながら繰り返される。
【００３３】
図１へ戻り、代表クラスタ選択部１０６は、前記クラスタリング処理により得られた複数のクラスタの中から、注目ビルの窓領域候補が最も多く所属すると推定される代表クラスタを選択する。
【００３４】
本実施形態では、前記クラスタリング部１０５で生成された多数のクラスタが、窓領域候補数の多い順にソートされる。そして、各クラスタに所属する窓領域候補Wijの位置が参照され、各窓領域候補Wijが前記注目ビルBiの検出対象壁面の下辺部の上方に位置し、かつ前記ソート順位が最上位のクラスタが代表クラスタとして選択される。
【００３５】
窓パターン分類部１０７は、窓領域候補Wijの周期的な配列パターンに基づいて、今回の注目ビルBiを、図５に示した３種類の窓パターンのいずれかに分類する。本実施形態では、代表クラスタに所属する窓領域候補Wijの集合に基づいて分類が行われる。
【００３６】
第１窓パターン[同図(a)]：全ての窓が連続している全面ガラス張りのビル（一部に壁領域を含んでも良い）
【００３７】
第２窓パターン[同図(b)]：フロアごとに水平連続窓が独立しているビル
【００３８】
第３窓パターン[同図(c)]：全ての窓が独立しているビル
【００３９】
本実施形態では、代表クラスタに所属する各窓領域候補Wijの水平方向と鉛直方向とのアスペクト比(水平方向の長さ/鉛直方向の長さ)が3以上の幅を有する幅広であって、かつビルの高さ方向で異なる位置に複数存在していれば、図５(b)に示したように、水平連続窓がフロアごとに検出されていると推定され、当該注目ビルBiは第２窓パターンに分類される。
【００４０】
また、前記代表クラスタに所属する各窓領域候補Wijが、図６(a)に一例を示したように、その窓幅の平均サイズWと、隣接する窓同士の間隔L（ここでは、重心位置の間隔）との比L/Wが１に近ければ(例えば、閾値として０．９を利用)、図５(a)に示したように、多数の窓領域がほぼすき間無く連続して配置されていると推定され、当該注目ビルBiは第１窓パターンに分類される。
【００４１】
さらに、前記代表クラスタに所属する各窓領域候補Wijが、図６(b)に示したように、その窓幅の平均サイズWと、隣接する窓同士の間隔Lとの比L/Wが１よりも十分に大きい場合を含めて、上記のいずれの窓パターンにも分類されなければ、図５(c)に示したように、多数の窓領域が独立していると推定され、当該注目ビルは第３窓パターンに分類される。
【００４２】
図１へ戻り、消失点算出部１０７は、図７示したように、注目ビルBiの鳥瞰画像を正面から撮影した正面画像に変換するために、当該注目ビルBiの鉛直方向および水平方向の各消失点PV，PHを、前記窓パターンおよび前記代表クラスタに所属する窓領域候補の位置情報に基づいて算出する。
【００４３】
一般的な消失点算出では、画像からエッジ情報を抽出した後にHough変換で直線を検出し、その直線の交点が消失点として算出する。しかしながら、本実施形態にように注目ビルBiの鳥瞰画像がWeb上の低解像度あるいは低画質の画像であると、特に鉛直方向のエッジ情報を正しく抽出することが難しい。そこで、本実施形態ではエッジ情報の代わりに、前記検出されたクラスタ内での各窓領域候補の重心の連結情報を利用し、左右方向に配置される窓領域候補の各重心点を結ぶ線分をエッジ情報として利用する。そして、このようにして得られたエッジ情報のみ、あるいは従来と同様に検出されたビル輪郭のエッジ情報を更に追加することで、ビル輪郭のエッジ情報が少ないことが原因で鉛直および水平方向の消失点が算出できない場合においても、Hough変換により直線を検出し、その直線群からビルの消失点を算出できるようになる。
【００４４】
なお、消失点は画像座標で大きな値を取って画面内に存在しないことが多いので、本実施形態では、画像を円に投影することで無限遠点の消失点に対応する手法（松藤，齋藤：" 無限平面内での消失点抽出，"情報処理学会研究報告，Vol.99, No.70, pp.25-30, 1999.）を利用して消失点を算出する。
【００４５】
図８、９，１０は、前記窓パターンごとのエッジ情報の求め方を示した図である。図８(a)の第１窓パターン（全ての窓が連続している)および図１０(a)の第３窓パターン（全ての窓が独立している）に関しては、前記代表クラスタに所属する各窓領域候補Wijの重心を、同図(b)のように、注目ビルBiの水平角度との差分が所定の範囲内になることを拘束条件として結ぶことにより、同図(c)の線分を取得してエッジ情報と見なす。そして、これらの線分を延長して得られる直線の交点を算出することで水平方向の消失点が得られる。
【００４６】
本実施形態では、前記代表クラスタに所属する各窓領域候補Wijについて、初めに、前記MSERによる領域分割結果の重心同士が結び付けられる。ただし、全ての重心同士を結ぶと網目状になるので、これを水平および鉛直成分に分離するために、水平方向については、注目ビルの下辺部(footprint)と各窓領域候補の重心同士を結ぶ線分とのなす角度が所定の範囲内になることが前記拘束条件とされる。
【００４７】
垂直方向に関しては、前記水平方向の複数の線分の中から、前記消失点検出に利用できた線分の端点を結んで得られる線分をエッジ情報と見なし、これを延長して得られる直線の交点を算出することで垂直方向の消失点が得られる。
【００４８】
図９(a)の第２窓パターン（フロアごとに水平連続窓が独立しているビル）に関しては、前記代表クラスタに所属する各窓領域候補Wijから、同図(b)のように水平方向に沿った線分を取得し、この線分に対して周知の細線処理を行うことで、同図(ｃ)の線分情報が検出される。そして、水平方向の線分を延長して直線化し、これを結合することで水平方向の消失点を取得した後に、消失点検出に利用できた水平方向の線分の端点を結んで直線化することで、フロアをまたがる鉛直方向のエッジ成分が抽出され、その交点を算出することにより垂直方向の消失点が取得される。
【００４９】
図１へ戻り、正面化部１０９は、前記窓領域候補が検出されたビル領域の鳥瞰画像を、前記消失点に基づいて正面化する。欠損窓補完部１１０は、前記窓領域候補検出部１０４では検出できなかった窓領域を前記正面化されたビル領域から検出して補完する。窓領域決定部１１１は、前記補完された窓領域候補を含めて窓領域を最終的に決定する。
【００５０】
前記欠損窓補完部１１０は、正面化されたビル画像を対象に、窓の映り込み等が原因で、前記窓領域候補検出部１０４におけるblob検出では検出できなかった窓領域候補の欠損部を補完する。本実施形態では、ビルの窓領域が水平・垂直方向に規則的に並んでいる点に着目し、前記各ビルに固有の窓パターンごとに、水平・鉛直方向の類似形状に基づいて窓領域を補完する。
【００５１】
(1)第１窓パターンのビル（全ての窓が連続しているビル全面がガラス張り）に対しては、本発明の発明者等による文献（上野，川田："Web 街並画像を利用したビル壁面の窓面積比の推定手法の検討，"信学技報, vol.110, no.219, PRMU2010-93, pp. 29{34,2010年10月）に開示された手法により、主に窓の枠情報に基づいて欠損窓が補完される。
【００５２】
図１１は、前記窓の枠情報に基づいて欠損窓を補完する手順を示した図であり、初めに、同図(a)の正面画像から、同図(b)のエッジ画像が生成されてエッジの格子パターンが探索される。ここでは、格子の水平方向に関する間隔，垂直方向に関する間隔を変更しながら格子パターンとエッジとの重複が探索され、同図(c)に示したように、重複値が最も高い水平方向間隔pおよび垂直方向関間隔qが求まると、この格子パターンで囲まれて窓領域候補が未検出の領域に欠損窓が補完される。
【００５３】
(2)前記第２窓パターンのビル（フロアごとに水平連続窓が独立している）に対しては、初めに、鉛直方向のエッジの投影量を利用してフロアの階数を推定する。次いで、図１２に示したように、鉛直方向のエッジ投影から、窓領域に対応した山領域、および壁領域に対応した谷領域が求められ、既に検出されている窓領域候補のエッジ情報の規則性から欠損窓の範囲と推定される領域であって、かつ前記エッジ投影が山領域となっている領域に欠損窓が補完される。
【００５４】
(3)前記第３窓パターンのビル（全ての窓が独立している）に対しては、窓の内部では画像特徴量が映り込みにより変化しても、窓の外側の窓枠部分では映り込みの有無にかかわらず画像特徴量が一定であることに着目して欠損窓が補完される。
【００５５】
図１３は、第３窓パターンのビルに対して欠損窓を補完する手順を示した図であり、初めに、同図(a)の正面画像から、既に検出されている窓領域候補の窓枠部分について、その色ヒストグラムが求められ、前記窓間隔Lに基づいて欠損窓の存在範囲が推定される。次いで、同図(b)に示したように、当該存在範囲内で色ヒストグラムのパターンマッチングが実施されて前記窓枠部分に類似した枠形状が検知され、その枠内に欠損窓が補完される。本実施形態では、以上のようにして補完された欠損窓が、予め検出されている窓領域候補と共に注目ビルBiの窓領域とされる。
【００５６】
図１へ戻り、以上のようにして、注目ビルBiの窓領域が求まると、三次元地図作成部５では、ビル壁面の面積に対する窓領域の割合が算出され、これが前記地図データに注目ビルBiの属性情報として付加されて電波伝搬推定に好適な三次元地図DB６が作成される。図１４は、前記窓領域の割合が属性情報として追加された三次元地図データの一例を示した図である。
【符号の説明】
【００５７】
１…窓領域検出装置，２，６…地図データベース，３…鳥瞰画像データベース，４…広域ネットワーク，５…三次元地図作成部,１０１…ビル選択受付部，１０２…ビル画像取得部，１０３…窓検出適性判定部，１０４…窓領域候補検出部，１０５…クラスタリング部，１０６…代表クラスタ選択部，１０７…窓パターン分類部，１０７…消失点算出部，１０９…正面化部，１１０…欠損窓補完部，１１１…窓領域決定部
【技術分野】
【０００１】
本発明は、従来の地図データからは識別が難しいものの電波伝搬に大きな影響を及ぼすビル壁面の窓領域を街並みの鳥瞰画像に基づいて検出し、電波伝搬推定におけるシミュレーションに利用する三次元地図の作成装置ならびにその窓領域検出装置に関する。
【背景技術】
【０００２】
携帯電話、PHSあるいは無線LANなどの無線通信システムでは、無線基地局から全方位に放射された電波が構造物で反射、透過、回折等を繰り返して受信点に到着し、到着した全ての電波の電界強度を加算して電界強度が算出される。非特許文献1には、無線通信システムにおいて、ある基地局の通信可能な範囲（サービスエリア）を推定するために、一の基地局から発射された電波の伝搬に関する特性を推定した電波伝搬特性推定データ（電波の軌跡、伝搬損失、受信信号強度など）をレイトレース（ray trace）法により計算する手法が開示されている。
【０００３】
また、屋外の主要な道路上において各基地局からの電波の受信信号強度を推定する従来技術として、非特許文献2には、広域のエリアを対象にして複数の基地局によるカバレッジや干渉の影響を評価し、主に2次元の無線エリアを設計する携帯電話用エリア設計ツールが開示されている。具体的には、エリアの平均建物高や道路幅など、建物環境の代表的な数値を抽出し、非特許文献1の第15章に記載される統計的な手法（推定式）を用いて各基地局からの信号の強度を推定している。非特許文献2の技術では、建物データを含む地図データベースを加工して、例えば25ｍ四方のメッシュごとに平均建物高が抽出された地図データ等が用いられる。
【０００４】
従来の電波伝搬推定では、評価対象エリアの地図データから障害物の属性情報として位置情報や高さ情報を取得し、これらの情報に基づいて電波伝搬が推定される。しかしながら、障害物がビルであっても、電波が衝突する壁面にガラス窓が存在するか否か、ガラス窓が存在する場合にはさらに、その壁面に占めるガラス窓の割合によって反射率や透過率が異なる。しかしながら、上記の従来技術ではビルのガラス窓領域が考慮されていなかったので、電波伝搬の推定精度が低下してしまう。
【０００５】
このような技術課題に対して、本発明の発明者等は、3次元地図データおよび街並画像を利用してビル壁面の窓領域を検出する技術を発明し、特許出願（特許文献１）した。この先行技術では、街並画像の窓領域は反射により画像特徴量が変化する傾向にあることを利用し、ビルを複数方向から撮影した画像から特徴を抽出して統合的に判断することにより、精度の高い窓領域検出を実現していた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特願２０１０−２２１４５４号
【非特許文献】
【０００７】
【非特許文献１】細矢良雄（監修）、"電波伝搬ハンドブック"、リアライズ社、第2部 第15章 15.5、1999年
【非特許文献２】Planet EV、［平成23年6月1日検索］、インターネット＜URL：http://mustafa.golam.googlepages.com/IntroductiontoPlanetEV.ppt＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１の手法を利用すれば、街並画像から自動的に建物の窓領域を抽出することが可能であり、三次元地図データに窓領域に関する属性情報を付加することができる。しかしながら、街並画像の多くは車載カメラから撮影され、低い位置から建物を見上げるような角度での撮影となるため、特に高層ビルでは、その全景を映し出すことが難しい。このため、特許文献１では高層ビルの窓領域を抽出することが困難であった。
【０００９】
本発明の目的は、上記した従来技術の課題を解決し、高層ビルを含む全てのビルを映し出すことの可能な航空画像、特に鳥瞰画像に基づいて、建物の窓領域を自動的に抽出できる三次元地図作成装置およびその窓領域検出装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、ビルの鳥瞰画像からビル壁面の窓領域を検出する窓領域検出装置において、注目ビルの鳥瞰画像をデータベースから取得するビル画像取得手段と、前記注目ビルの鳥瞰画像から、画像特徴量が類似して周期的に検出される複数の窓領域候補を検出する窓領域候補検出手段と、前記複数の窓領域候補を、その特徴量および位置情報に基づいて複数のクラスタに分類するクラスタリング手段と、複数のクラスタの中から、注目ビルの窓領域候補が最も多く所属すると推定される代表クラスタを選択する代表クラスタ選択手段と、代表クラスタに所属する窓領域候補に基づいて、注目ビルの窓パターンを分類する窓パターン分類手段と、窓パターンおよび代表クラスタに所属する各窓領域候補の位置情報に基づいて注目ビルの消失点を算出する消失点算出手段と、前記消失点の算出結果に基づいて注目ビルの画像を正面化する正面化手段とを具備した。
【発明の効果】
【００１１】
本発明によれば、鳥瞰画像のように、高層ビルでもその全景を映し出せるものの、ビルとビルとの間に空領域ではなく他のビルや道路などの構造物が出現するためにビルの輪郭を検出することが困難な画像からも、窓領域の周期性に基づいて各ビルの領域を抽出することができ、さらにその領域内の窓領域を識別できるので、特に高層ビルの窓領域を正確に検出できるようになる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る窓領域検出装置の主要部の構成を示したブロック図である。
【図２】注目ビルBiを含む周辺の3D地図の一例を示した図である。
【図３】鳥瞰画像の一例を示した図である。
【図４】窓領域のクラスタリング方法を説明するための図である。
【図５】３種類の窓パターンを示した図である。
【図６】窓パターンの推定方法を示した図である。
【図７】消失点の算出方法を示した図である。
【図８】第１窓パターンのビル（全ての窓が連続している）について、消失点算出用のエッジ情報の求め方を示した図である。
【図９】第２窓パターンのビル（フロアごとに水平連続窓が独立している）について、消失点算出用のエッジ情報の求め方を示した図である。
【図１０】第３窓パターンのビル（全ての窓が独立している）について、消失点算出用のエッジ情報の求め方を示した図である。
【図１１】第１窓パターンのビルを対象とした欠損窓の補完方法を示した図である。
【図１２】第２窓パターンのビルを対象とした欠損窓の補完方法を示した図である。
【図１３】第３窓パターンのビルを対象とした欠損窓の補完方法を示した図である。
【図１４】窓領域に関する属性情報が追加された三次元地図データの一例を示した図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態について詳細に説明する。本発明では、高層ビルでも全景を映し出せる鳥瞰画像からビル領域を識別し、各ビル領域から窓領域を抽出する。ここで、従来技術のように街並画像からビル領域を抽出するのであれば、街並み画像の多くがビルを見上げるような角度で撮影されており、ビルとビルとの間には空領域が出現する。そして、空領域の画像特徴量とビルの画像特徴量とは大きく異なるため、街並画像から各ビルの領域を抽出することは比較的容易であった。
【００１４】
これに対して、鳥瞰画像は上空から街並を見下ろすように撮影されるため、ビルとビルとの間には、空領域ではなく他のビルや道路などの構造物が出現する。そして、これらの構造物は画像特徴量がビルと類似しているので、従来技術と同様の手法ではビル領域を正確に抽出することができない。
【００１５】
そこで、本発明では以下に詳述するように、ビルの壁面では多数の窓が所定の規則で整列されていることに着目し、窓領域と推定される画像特徴量を有する領域が所定の規則性で検出される領域を、同一ビルの輪郭として領域を区別し、さらにその内部の窓領域を抽出するようにしている。
【００１６】
図１は、本発明の一実施形態に係る三次元地図作成装置およびその窓領域検出装置１の主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００１７】
地図データベース２には、ビルの位置情報および高さ情報が登録された3D地図が記憶されている。鳥瞰画像データベース３には、街並みを上空から見下ろすように撮影された鳥瞰画像あるいは類似画像が記憶されている。前記各データベース２，３は、予め購入等により用意されているものでも良いし、あるいは図１に示したように、ネットワーク上で地図データや鳥瞰画像を公開するWebサーバであ合っても良く、この場合、窓領域検出装置１は広域ネットワーク４を経由して各サーバ２，３にアクセスできる。
【００１８】
前記地図データベース２としては、例えば、主に都市部を対象として、車載の全方位カメラで撮影した位置情報付き街並画像を公開しているGoogle Maps Street View (http://www.google.co.jp/help/maps/streetview)を利用できる。前記鳥瞰画像データベース３としては、例えば、各地点を東西南北の４方向から撮影した画像を公開しているBing maps (http://www.bing.com/maps/)を利用できる。
【００１９】
ビル選択受付部１０１は、前記地図データベース２の3D地図上でオペレータにより適宜に選択された注目ビルの情報を当該地図データベース２から取得する。本実施形態では、注目ビルの識別子Bi、注目ビルBiを真上から観察した際の平面図における各辺および各角部の位置情報（緯度経度情報）、注目ビルの平均高さ情報、ならびに平均標高が取得される。平面図の各辺の位置情報が緯度経度表記でない場合には、適宜に変換処理を施して緯度経度情報を取得する。
【００２０】
なお、複数棟のビルを選択する場合には、上記の選択処理を繰り返せばよく、また3D地図上で範囲を指定することで、その範囲内の全てのビルが同時に注目ビルBiとして選択されるようにしても良い。ここでは、注目ビルBiが一つだけ選択されたものとして説明を続ける。
【００２１】
ビル画像取得部１０２は、前記選択された注目ビルBiの鳥瞰画像を、その位置情報に基づいて鳥瞰画像データベース３から取得する。図２は、前記注目ビルBi（識別子01）を含む周辺の3D地図であり、図３(a)は、注目ビルBiを南側上方から見下ろした鳥瞰画像、同図(b)は、注目ビルBiを西側上方から見下ろした鳥瞰画像の一例を示した図である。本実施形態では、図２の3D地図に印された各ビルに対して、その鳥瞰画像からビル壁面ごとに求まる窓領域の情報が付加される。
【００２２】
窓検出適性判定部１０３は、注目ビルBiの壁面が、その窓領域を検出できる程度まで鳥瞰画像内に映し出されているか否かに基づいて、当該ビル壁面の窓検出対象としての適性を判定する。
【００２３】
図２の3D地図からは、注目ビルBiのみならず、その周辺ビルの位置情報および高さ情報も取得できるので、鳥瞰画像の撮影角度θが解れば、注目ビルBiの壁面が周辺ビルと重なる場合に、その重なり率を算出できる。なお、鳥瞰画像の撮影角度θが非公開である場合には、一般的な角度（例えば、４５度）を採用しても良いし、あるいは予め鳥瞰画像を分析して撮影角度を算出するようにしても良い。
【００２４】
そして、図３(a)の南側壁面のように、その大部分が周辺ビル06によって遮られて可視領域が狭い場合には、当該南側壁面は窓検出対象としての適性を欠いていると判定される。これに対して、図３(b)の西側壁面のように、可視領域が十分に確保されていれば、当該西側壁面は窓検出対象としての適性を有していると判定される。
【００２５】
本実施形態では、このような窓検出対象としての適性判定が、当該注目ビルBiを４方向（東西南北）から撮影した全ての鳥瞰画像に対して行われ、可視領域が最も広い方向の壁面が窓検出の対象壁面とされる。そして、特に本発明が窓領域検出の対象とするような高層ビルは、全ての壁面が同様の窓配列である場合が多いので、前記可視領域が十分に確保された壁面で全てのビル壁面を代表するようにしている。
【００２６】
窓領域候補検出部１０４は、注目ビルBiについて、前記窓検出対象としての適性を有すると判定された壁面を撮影した鳥瞰画像から、窓に固有の画像特徴量で周期的あるいは規則的に配列されている単位領域を窓領域候補Wij（添字jは注目ビルBi近辺での窓領域識別子）として検出する。
【００２７】
本実施形態では、映り込みのない窓領域が壁面に少なくとも一部存在し、その窓内では均一の色分布をしていることを前提とし、blob領域検出器であるMSER(Maximally Stable Extremal Regions：Jiri Matas, Ondrej Chum, Martin Urban, and Tomas Pajdla. Robasut wide-baseline stereo from maximally stable extremal regions. Image and Vision Computing, 22(10):761-767, September 2004.)を利用して、鳥瞰画像から窓領域候補Wijを検出する。
【００２８】
MSERは、画素値の変化を起伏の変化として捉え、その局所的な窪み、もしくは山を検出する手法で、隣接する画素で類似する画素値を持つ場合に領域の結合を行うことで領域を分割する。このような技術は、OpenCV (http://opencv.jp/) で利用することができる。
【００２９】
MSERによる領域分割が完了すると、各窓領域候補WijからSIFT (Scale Invariant Feature Transform) descriptorに基づいて画像特徴量（記述子Dij）が抽出される。SIFT descriptorは、局所領域内を矩形に区分し、各矩形内で輝度勾配ベクトルをヒストグラム化したものとして、例えば、１２８次元のベクトル、スケールおよび方向ベクトルで表現される。この技術も前記OpenCVで利用することができる。
【００３０】
クラスタリング部１０５は、前記窓領域候補検出部１０４で検出された各窓領域候補Wijを、その記述子Dijおよび位置情報に基づいて複数のクラスタに分類する。本実施形態では、窓領域候補Wijごとに、その記述子Dijとの類似度が所定の閾値を超える記述子を有する窓領域候補Wiが最近傍探索により探索されて同一クラスタに分類される。このような類似記述子の探索は、木構造(KD-tree)を用いることで高速化できる。また、クラスタを順次に作成する過程で、先に生成されたクラスタの重心と新たに生成されたクラスタの重心とが近ければ、当該新たに生成されたクラスタは前記先に生成されたクラスタに統合されることもある。
【００３１】
前記最近傍探索では、各窓領域候補Wijの配列に関する規則性を考慮して、各クラスタを作成する際に局所特徴量の位置に関して図４のような拘束が加えられる。本実施形態では、注目ビルBiが正面から撮影されていないことを考慮し、探索対象の窓領域候補Wijを中心にビル壁面が４方向(R1，R2，R3，R4)に分割され、各セクタ（図４では、９０°の扇型で表現されている）内で記述子Dijが類似する窓領域候補が探索され、その個数が算出される。この際、探索範囲はSIFT descriptorが生成した特徴抽出エリア(ガウス窓3σ)を元にして、その数倍（本実施形態では、５倍）の半径内で制限される。
【００３２】
各セクタ内で類似の窓領域候補数が閾値NTS（本実施形態では、NTS=６）以上であれば、当該セクタ内の全ての窓領域候補が同一クラスタに分類される。したがって、全ての方向R1，R2，R3，R4の各セクタ内で類似の窓領域候補数が閾値NTSを超えれば、窓領域が探索範囲内で連続していると判定されて全ての窓領域候補が同一クラスタに分類される。また、類似の窓領域候補数が、方向R2，R4のセクタ内では閾値NTSを超える一方、方向R1，R3のセクタ内では閾値NTSを超えていなければ、窓領域が横方向のみに連続してフロアごとに分かれていると判定され、方向R2，R4の各セクタ内の窓領域候補のみが同一クラスタに分類される。本実施形態では、このようなクラスタリング処理が、注目する窓領域候補をシフトさせながら繰り返される。
【００３３】
図１へ戻り、代表クラスタ選択部１０６は、前記クラスタリング処理により得られた複数のクラスタの中から、注目ビルの窓領域候補が最も多く所属すると推定される代表クラスタを選択する。
【００３４】
本実施形態では、前記クラスタリング部１０５で生成された多数のクラスタが、窓領域候補数の多い順にソートされる。そして、各クラスタに所属する窓領域候補Wijの位置が参照され、各窓領域候補Wijが前記注目ビルBiの検出対象壁面の下辺部の上方に位置し、かつ前記ソート順位が最上位のクラスタが代表クラスタとして選択される。
【００３５】
窓パターン分類部１０７は、窓領域候補Wijの周期的な配列パターンに基づいて、今回の注目ビルBiを、図５に示した３種類の窓パターンのいずれかに分類する。本実施形態では、代表クラスタに所属する窓領域候補Wijの集合に基づいて分類が行われる。
【００３６】
第１窓パターン[同図(a)]：全ての窓が連続している全面ガラス張りのビル（一部に壁領域を含んでも良い）
【００３７】
第２窓パターン[同図(b)]：フロアごとに水平連続窓が独立しているビル
【００３８】
第３窓パターン[同図(c)]：全ての窓が独立しているビル
【００３９】
本実施形態では、代表クラスタに所属する各窓領域候補Wijの水平方向と鉛直方向とのアスペクト比(水平方向の長さ/鉛直方向の長さ)が3以上の幅を有する幅広であって、かつビルの高さ方向で異なる位置に複数存在していれば、図５(b)に示したように、水平連続窓がフロアごとに検出されていると推定され、当該注目ビルBiは第２窓パターンに分類される。
【００４０】
また、前記代表クラスタに所属する各窓領域候補Wijが、図６(a)に一例を示したように、その窓幅の平均サイズWと、隣接する窓同士の間隔L（ここでは、重心位置の間隔）との比L/Wが１に近ければ(例えば、閾値として０．９を利用)、図５(a)に示したように、多数の窓領域がほぼすき間無く連続して配置されていると推定され、当該注目ビルBiは第１窓パターンに分類される。
【００４１】
さらに、前記代表クラスタに所属する各窓領域候補Wijが、図６(b)に示したように、その窓幅の平均サイズWと、隣接する窓同士の間隔Lとの比L/Wが１よりも十分に大きい場合を含めて、上記のいずれの窓パターンにも分類されなければ、図５(c)に示したように、多数の窓領域が独立していると推定され、当該注目ビルは第３窓パターンに分類される。
【００４２】
図１へ戻り、消失点算出部１０７は、図７示したように、注目ビルBiの鳥瞰画像を正面から撮影した正面画像に変換するために、当該注目ビルBiの鉛直方向および水平方向の各消失点PV，PHを、前記窓パターンおよび前記代表クラスタに所属する窓領域候補の位置情報に基づいて算出する。
【００４３】
一般的な消失点算出では、画像からエッジ情報を抽出した後にHough変換で直線を検出し、その直線の交点が消失点として算出する。しかしながら、本実施形態にように注目ビルBiの鳥瞰画像がWeb上の低解像度あるいは低画質の画像であると、特に鉛直方向のエッジ情報を正しく抽出することが難しい。そこで、本実施形態ではエッジ情報の代わりに、前記検出されたクラスタ内での各窓領域候補の重心の連結情報を利用し、左右方向に配置される窓領域候補の各重心点を結ぶ線分をエッジ情報として利用する。そして、このようにして得られたエッジ情報のみ、あるいは従来と同様に検出されたビル輪郭のエッジ情報を更に追加することで、ビル輪郭のエッジ情報が少ないことが原因で鉛直および水平方向の消失点が算出できない場合においても、Hough変換により直線を検出し、その直線群からビルの消失点を算出できるようになる。
【００４４】
なお、消失点は画像座標で大きな値を取って画面内に存在しないことが多いので、本実施形態では、画像を円に投影することで無限遠点の消失点に対応する手法（松藤，齋藤：" 無限平面内での消失点抽出，"情報処理学会研究報告，Vol.99, No.70, pp.25-30, 1999.）を利用して消失点を算出する。
【００４５】
図８、９，１０は、前記窓パターンごとのエッジ情報の求め方を示した図である。図８(a)の第１窓パターン（全ての窓が連続している)および図１０(a)の第３窓パターン（全ての窓が独立している）に関しては、前記代表クラスタに所属する各窓領域候補Wijの重心を、同図(b)のように、注目ビルBiの水平角度との差分が所定の範囲内になることを拘束条件として結ぶことにより、同図(c)の線分を取得してエッジ情報と見なす。そして、これらの線分を延長して得られる直線の交点を算出することで水平方向の消失点が得られる。
【００４６】
本実施形態では、前記代表クラスタに所属する各窓領域候補Wijについて、初めに、前記MSERによる領域分割結果の重心同士が結び付けられる。ただし、全ての重心同士を結ぶと網目状になるので、これを水平および鉛直成分に分離するために、水平方向については、注目ビルの下辺部(footprint)と各窓領域候補の重心同士を結ぶ線分とのなす角度が所定の範囲内になることが前記拘束条件とされる。
【００４７】
垂直方向に関しては、前記水平方向の複数の線分の中から、前記消失点検出に利用できた線分の端点を結んで得られる線分をエッジ情報と見なし、これを延長して得られる直線の交点を算出することで垂直方向の消失点が得られる。
【００４８】
図９(a)の第２窓パターン（フロアごとに水平連続窓が独立しているビル）に関しては、前記代表クラスタに所属する各窓領域候補Wijから、同図(b)のように水平方向に沿った線分を取得し、この線分に対して周知の細線処理を行うことで、同図(ｃ)の線分情報が検出される。そして、水平方向の線分を延長して直線化し、これを結合することで水平方向の消失点を取得した後に、消失点検出に利用できた水平方向の線分の端点を結んで直線化することで、フロアをまたがる鉛直方向のエッジ成分が抽出され、その交点を算出することにより垂直方向の消失点が取得される。
【００４９】
図１へ戻り、正面化部１０９は、前記窓領域候補が検出されたビル領域の鳥瞰画像を、前記消失点に基づいて正面化する。欠損窓補完部１１０は、前記窓領域候補検出部１０４では検出できなかった窓領域を前記正面化されたビル領域から検出して補完する。窓領域決定部１１１は、前記補完された窓領域候補を含めて窓領域を最終的に決定する。
【００５０】
前記欠損窓補完部１１０は、正面化されたビル画像を対象に、窓の映り込み等が原因で、前記窓領域候補検出部１０４におけるblob検出では検出できなかった窓領域候補の欠損部を補完する。本実施形態では、ビルの窓領域が水平・垂直方向に規則的に並んでいる点に着目し、前記各ビルに固有の窓パターンごとに、水平・鉛直方向の類似形状に基づいて窓領域を補完する。
【００５１】
(1)第１窓パターンのビル（全ての窓が連続しているビル全面がガラス張り）に対しては、本発明の発明者等による文献（上野，川田："Web 街並画像を利用したビル壁面の窓面積比の推定手法の検討，"信学技報, vol.110, no.219, PRMU2010-93, pp. 29{34,2010年10月）に開示された手法により、主に窓の枠情報に基づいて欠損窓が補完される。
【００５２】
図１１は、前記窓の枠情報に基づいて欠損窓を補完する手順を示した図であり、初めに、同図(a)の正面画像から、同図(b)のエッジ画像が生成されてエッジの格子パターンが探索される。ここでは、格子の水平方向に関する間隔，垂直方向に関する間隔を変更しながら格子パターンとエッジとの重複が探索され、同図(c)に示したように、重複値が最も高い水平方向間隔pおよび垂直方向関間隔qが求まると、この格子パターンで囲まれて窓領域候補が未検出の領域に欠損窓が補完される。
【００５３】
(2)前記第２窓パターンのビル（フロアごとに水平連続窓が独立している）に対しては、初めに、鉛直方向のエッジの投影量を利用してフロアの階数を推定する。次いで、図１２に示したように、鉛直方向のエッジ投影から、窓領域に対応した山領域、および壁領域に対応した谷領域が求められ、既に検出されている窓領域候補のエッジ情報の規則性から欠損窓の範囲と推定される領域であって、かつ前記エッジ投影が山領域となっている領域に欠損窓が補完される。
【００５４】
(3)前記第３窓パターンのビル（全ての窓が独立している）に対しては、窓の内部では画像特徴量が映り込みにより変化しても、窓の外側の窓枠部分では映り込みの有無にかかわらず画像特徴量が一定であることに着目して欠損窓が補完される。
【００５５】
図１３は、第３窓パターンのビルに対して欠損窓を補完する手順を示した図であり、初めに、同図(a)の正面画像から、既に検出されている窓領域候補の窓枠部分について、その色ヒストグラムが求められ、前記窓間隔Lに基づいて欠損窓の存在範囲が推定される。次いで、同図(b)に示したように、当該存在範囲内で色ヒストグラムのパターンマッチングが実施されて前記窓枠部分に類似した枠形状が検知され、その枠内に欠損窓が補完される。本実施形態では、以上のようにして補完された欠損窓が、予め検出されている窓領域候補と共に注目ビルBiの窓領域とされる。
【００５６】
図１へ戻り、以上のようにして、注目ビルBiの窓領域が求まると、三次元地図作成部５では、ビル壁面の面積に対する窓領域の割合が算出され、これが前記地図データに注目ビルBiの属性情報として付加されて電波伝搬推定に好適な三次元地図DB６が作成される。図１４は、前記窓領域の割合が属性情報として追加された三次元地図データの一例を示した図である。
【符号の説明】
【００５７】
１…窓領域検出装置，２，６…地図データベース，３…鳥瞰画像データベース，４…広域ネットワーク，５…三次元地図作成部,１０１…ビル選択受付部，１０２…ビル画像取得部，１０３…窓検出適性判定部，１０４…窓領域候補検出部，１０５…クラスタリング部，１０６…代表クラスタ選択部，１０７…窓パターン分類部，１０７…消失点算出部，１０９…正面化部，１１０…欠損窓補完部，１１１…窓領域決定部
【特許請求の範囲】
【請求項１】
ビルの鳥瞰画像からビル壁面の窓領域を検出する窓領域検出装置において、
注目ビルの鳥瞰画像をデータベースから取得するビル画像取得手段と、
前記注目ビルの鳥瞰画像から、画像特徴量が類似して周期的に検出される複数の窓領域候補を検出する窓領域候補検出手段と、
前記複数の窓領域候補を、その特徴量および位置情報に基づいて複数のクラスタに分類するクラスタリング手段と、
前記複数のクラスタの中から、前記注目ビルの窓領域候補が最も多く所属すると推定される代表クラスタを選択する代表クラスタ選択手段と、
前記代表クラスタに所属する窓領域候補に基づいて、注目ビルの窓パターンを分類する窓パターン分類手段と、
前記窓パターンおよび代表クラスタに所属する各窓領域候補の位置情報に基づいて注目ビルの消失点を算出する消失点算出手段と、
前記消失点の算出結果に基づいて注目ビルの鳥瞰画像を正面化する正面化手段とを具備したことを特徴とする窓領域検出装置。
【請求項２】
前記正面化された注目ビルの鳥瞰画像に、前記窓パターンに応じて欠損窓を補完する欠損窓補完手段をさらに具備し、
前記窓領域候補および補完された欠損窓を注目ビルの窓領域とすることを特徴とする請求項１に記載の窓領域検出装置。
【請求項３】
前記代表クラスタ選択手段は、各クラスタに所属する窓領域候補数および各窓領域候補の位置情報に基づいて代表クラスタを選択することを特徴とする請求項１または２に記載の窓領域検出装置。
【請求項４】
前記代表クラスタ選択手段は、分類されている窓領域候補数が相対的に多く、かつ各窓領域候補がビル壁面の下辺部の上方に位置しているクラスタを代表クラスタとして選択することを特徴とする請求項３に記載の窓領域検出装置。
【請求項５】
前記消失点算出手段は、前記代表クラスタに所属する複数の窓領域候補の重心同士を、前記注目ビルの水平角度との差分が所定の範囲内になることを拘束条件として結ぶことで複数の線分を取得し、当該線分をエッジ情報として水平方向の消失点を算出することを特徴とする請求項１ないし４のいずれかに記載の窓領域検出装置。
【請求項６】
前記拘束条件が、前記複数の窓領域候補の重心同士を結ぶ線分とビル壁面の下辺部とのなす角度が所定の範囲内になることである請求項５に記載の窓領域検出装置。
【請求項７】
前記消失点算出手段は、前記複数の線分の端点を結んで得られる直線をエッジ情報として垂直方向の消失点を算出することを特徴とする請求項５または６に記載の窓領域検出装置。
【請求項８】
前記消失点算出手段は、前記代表クラスタに所属する窓領域候補に細線化処理を実施して得られる線分に基づいて消失点を算出することを特徴とする請求項１ないし４のいずれかに記載の窓領域検出装置。
【請求項９】
前記窓パターン分類手段は、注目ビルを前記代表クラスタに基づいて、
・第１窓パターン：全ての窓が連続しているビル
・第２窓パターン：フロアごとに水平連続窓が独立しているビル
・第３窓パターン：全ての窓が独立しているビル
のいずれかに分類することを特徴とする請求項１ないし８のいずれかに記載の窓領域検出装置。
【請求項１０】
前記消失点算出手段は、前記第１窓パターンおよび第３窓パターンの注目ビルについて、前記代表クラスタに所属する複数の窓領域候補の重心同士を、前記注目ビルの水平角度との差分が所定の範囲内になることを拘束条件として結ぶことで複数の線分を取得し、当該線分をエッジ情報として水平方向の消失点を算出することを特徴とする請求項９に記載の窓領域検出装置。
【請求項１１】
前記消失点算出手段は、前記第２窓パターンの注目ビルについて、前記代表クラスタに所属する窓領域候補に細線化処理を実施して得られる線分に基づいて消失点を算出することを特徴とする請求項９に記載の窓領域検出装置。
【請求項１２】
前記欠損窓補完手段は、第１窓パターンの注目ビルに関して、正面化された鳥瞰画像から、その窓領域候補に基づいてエッジの格子パターンを検出し、格子で囲まれて窓領域候補が未検出の領域に窓領域候補を補完することを特徴とする請求項９に記載の窓領域検出装置。
【請求項１３】
前記欠損窓補完手段は、第２窓パターンの注目ビルに関して、正面化された鳥瞰画像から、水平連続窓を構成する窓領域候補の規則性に基づいて、水平連続窓が未検出の領域に窓領域候補を補完することを特徴とする請求項９に記載の窓領域検出装置。
【請求項１４】
前記欠損窓補完手段は、第３窓パターンの注目ビルに関して、正面化された鳥瞰画像から、その窓領域候補の窓枠領域を検出し、窓領域候補が未検出の領域で前記窓枠領域に類似する領域の内側に窓領域候補を補完することを特徴とする請求項９に記載の窓領域検出装置。
【請求項１５】
前記注目ビルを複数の方向から撮影した鳥瞰画像を比較し、窓検出用の鳥瞰画像としての適性を判定する窓検出適性判定手段を具備したことを特徴とする請求項１ないし１４のいずれかに記載の窓領域検出装置。
【請求項１６】
地図上のビルに窓領域の情報が記述された三次元地図を作成する三次元地図作成装置において、
注目ビルの鳥瞰画像をデータベースから取得するビル画像取得手段と、
前記注目ビルの鳥瞰画像から、画像特徴量が類似して周期的に検出される複数の窓領域候補を検出する窓領域候補検出手段と、
前記複数の窓領域候補を、その特徴量および位置情報に基づいて複数のクラスタに分類するクラスタリング手段と、
前記複数のクラスタの中から、前記注目ビルの窓領域候補が最も多く所属すると推定される代表クラスタを選択する代表クラスタ選択手段と、
前記代表クラスタに所属する窓領域候補に基づいて、注目ビルの窓パターンを分類する窓パターン分類手段と、
前記窓パターンおよび代表クラスタに所属する各窓領域候補の位置情報に基づいて注目ビルの消失点を算出する消失点算出手段と、
前記消失点の算出結果に基づいて注目ビルの鳥瞰画像を正面化する正面化手段と、
前記正面化された注目ビルの鳥瞰画像から検出された窓領域の割合を地図データに追加して三次元地図を作成する三次元地図作成手段とを具備したことを特徴とする三次元地図作成装置。
【請求項１７】
前記正面化された注目ビルの鳥瞰画像に、前記窓パターンに応じて欠損窓を補完する欠損窓補完手段をさらに具備し、
前記窓領域候補および補完された欠損窓を注目ビルの窓領域とすることを特徴とする請求項１６に記載の三次元地図作成装置。
【請求項１】
ビルの鳥瞰画像からビル壁面の窓領域を検出する窓領域検出装置において、
注目ビルの鳥瞰画像をデータベースから取得するビル画像取得手段と、
前記注目ビルの鳥瞰画像から、画像特徴量が類似して周期的に検出される複数の窓領域候補を検出する窓領域候補検出手段と、
前記複数の窓領域候補を、その特徴量および位置情報に基づいて複数のクラスタに分類するクラスタリング手段と、
前記複数のクラスタの中から、前記注目ビルの窓領域候補が最も多く所属すると推定される代表クラスタを選択する代表クラスタ選択手段と、
前記代表クラスタに所属する窓領域候補に基づいて、注目ビルの窓パターンを分類する窓パターン分類手段と、
前記窓パターンおよび代表クラスタに所属する各窓領域候補の位置情報に基づいて注目ビルの消失点を算出する消失点算出手段と、
前記消失点の算出結果に基づいて注目ビルの鳥瞰画像を正面化する正面化手段とを具備したことを特徴とする窓領域検出装置。
【請求項２】
前記正面化された注目ビルの鳥瞰画像に、前記窓パターンに応じて欠損窓を補完する欠損窓補完手段をさらに具備し、
前記窓領域候補および補完された欠損窓を注目ビルの窓領域とすることを特徴とする請求項１に記載の窓領域検出装置。
【請求項３】
前記代表クラスタ選択手段は、各クラスタに所属する窓領域候補数および各窓領域候補の位置情報に基づいて代表クラスタを選択することを特徴とする請求項１または２に記載の窓領域検出装置。
【請求項４】
前記代表クラスタ選択手段は、分類されている窓領域候補数が相対的に多く、かつ各窓領域候補がビル壁面の下辺部の上方に位置しているクラスタを代表クラスタとして選択することを特徴とする請求項３に記載の窓領域検出装置。
【請求項５】
前記消失点算出手段は、前記代表クラスタに所属する複数の窓領域候補の重心同士を、前記注目ビルの水平角度との差分が所定の範囲内になることを拘束条件として結ぶことで複数の線分を取得し、当該線分をエッジ情報として水平方向の消失点を算出することを特徴とする請求項１ないし４のいずれかに記載の窓領域検出装置。
【請求項６】
前記拘束条件が、前記複数の窓領域候補の重心同士を結ぶ線分とビル壁面の下辺部とのなす角度が所定の範囲内になることである請求項５に記載の窓領域検出装置。
【請求項７】
前記消失点算出手段は、前記複数の線分の端点を結んで得られる直線をエッジ情報として垂直方向の消失点を算出することを特徴とする請求項５または６に記載の窓領域検出装置。
【請求項８】
前記消失点算出手段は、前記代表クラスタに所属する窓領域候補に細線化処理を実施して得られる線分に基づいて消失点を算出することを特徴とする請求項１ないし４のいずれかに記載の窓領域検出装置。
【請求項９】
前記窓パターン分類手段は、注目ビルを前記代表クラスタに基づいて、
・第１窓パターン：全ての窓が連続しているビル
・第２窓パターン：フロアごとに水平連続窓が独立しているビル
・第３窓パターン：全ての窓が独立しているビル
のいずれかに分類することを特徴とする請求項１ないし８のいずれかに記載の窓領域検出装置。
【請求項１０】
前記消失点算出手段は、前記第１窓パターンおよび第３窓パターンの注目ビルについて、前記代表クラスタに所属する複数の窓領域候補の重心同士を、前記注目ビルの水平角度との差分が所定の範囲内になることを拘束条件として結ぶことで複数の線分を取得し、当該線分をエッジ情報として水平方向の消失点を算出することを特徴とする請求項９に記載の窓領域検出装置。
【請求項１１】
前記消失点算出手段は、前記第２窓パターンの注目ビルについて、前記代表クラスタに所属する窓領域候補に細線化処理を実施して得られる線分に基づいて消失点を算出することを特徴とする請求項９に記載の窓領域検出装置。
【請求項１２】
前記欠損窓補完手段は、第１窓パターンの注目ビルに関して、正面化された鳥瞰画像から、その窓領域候補に基づいてエッジの格子パターンを検出し、格子で囲まれて窓領域候補が未検出の領域に窓領域候補を補完することを特徴とする請求項９に記載の窓領域検出装置。
【請求項１３】
前記欠損窓補完手段は、第２窓パターンの注目ビルに関して、正面化された鳥瞰画像から、水平連続窓を構成する窓領域候補の規則性に基づいて、水平連続窓が未検出の領域に窓領域候補を補完することを特徴とする請求項９に記載の窓領域検出装置。
【請求項１４】
前記欠損窓補完手段は、第３窓パターンの注目ビルに関して、正面化された鳥瞰画像から、その窓領域候補の窓枠領域を検出し、窓領域候補が未検出の領域で前記窓枠領域に類似する領域の内側に窓領域候補を補完することを特徴とする請求項９に記載の窓領域検出装置。
【請求項１５】
前記注目ビルを複数の方向から撮影した鳥瞰画像を比較し、窓検出用の鳥瞰画像としての適性を判定する窓検出適性判定手段を具備したことを特徴とする請求項１ないし１４のいずれかに記載の窓領域検出装置。
【請求項１６】
地図上のビルに窓領域の情報が記述された三次元地図を作成する三次元地図作成装置において、
注目ビルの鳥瞰画像をデータベースから取得するビル画像取得手段と、
前記注目ビルの鳥瞰画像から、画像特徴量が類似して周期的に検出される複数の窓領域候補を検出する窓領域候補検出手段と、
前記複数の窓領域候補を、その特徴量および位置情報に基づいて複数のクラスタに分類するクラスタリング手段と、
前記複数のクラスタの中から、前記注目ビルの窓領域候補が最も多く所属すると推定される代表クラスタを選択する代表クラスタ選択手段と、
前記代表クラスタに所属する窓領域候補に基づいて、注目ビルの窓パターンを分類する窓パターン分類手段と、
前記窓パターンおよび代表クラスタに所属する各窓領域候補の位置情報に基づいて注目ビルの消失点を算出する消失点算出手段と、
前記消失点の算出結果に基づいて注目ビルの鳥瞰画像を正面化する正面化手段と、
前記正面化された注目ビルの鳥瞰画像から検出された窓領域の割合を地図データに追加して三次元地図を作成する三次元地図作成手段とを具備したことを特徴とする三次元地図作成装置。
【請求項１７】
前記正面化された注目ビルの鳥瞰画像に、前記窓パターンに応じて欠損窓を補完する欠損窓補完手段をさらに具備し、
前記窓領域候補および補完された欠損窓を注目ビルの窓領域とすることを特徴とする請求項１６に記載の三次元地図作成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−８３１０（Ｐ２０１３−８３１０Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１４２０４４（Ｐ２０１１−１４２０４４）
【出願日】平成２３年６月２７日（２０１１．６．２７）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２７日（２０１１．６．２７）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]