建物形状変化検出方法及び建物形状変化検出システム
【課題】航空機にて撮影された航空画像に基づいて建物の形状変化を検出するシステムにおいて、航空機の着陸を待たずに航空画像の処理を行うことを可能とする。
【解決手段】航空機２にて、中心投影された撮影画像のまま、エッジを抽出し（Ｓ２２）、これを地上基地局６へ無線伝送する。地上基地局６は、エッジから線分を抽出し、撮影画像における建物の形状を求める。一方、地上基地局６は既存三次元データを航空機２の飛行位置から中心投影した建物の投影像を生成し、これと撮影画像から得られた建物の形状とをマッチングする（Ｓ２８）。マッチングによる両者の類似度に応じて、建物の形状が既存三次元データの登録時点から変化しているか否かを判定する。
【解決手段】航空機２にて、中心投影された撮影画像のまま、エッジを抽出し（Ｓ２２）、これを地上基地局６へ無線伝送する。地上基地局６は、エッジから線分を抽出し、撮影画像における建物の形状を求める。一方、地上基地局６は既存三次元データを航空機２の飛行位置から中心投影した建物の投影像を生成し、これと撮影画像から得られた建物の形状とをマッチングする（Ｓ２８）。マッチングによる両者の類似度に応じて、建物の形状が既存三次元データの登録時点から変化しているか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、飛行体から撮影した画像に基づいて建物等の地物の形状の変化を検出する方法及びシステムに関する。
【背景技術】
【０００２】
航空機等の飛行体上にて、フレームセンサ型デジタルカメラで地表面の画像（航空画像）を取得し、当該航空画像に基づいて建物の変化を検出することが行われる。近年、この航空画像を利用した建物の形状の変化検出に基づいて、例えば、地震等の災害時における被災状況の把握を行うことが検討されている。
【０００３】
従来は、航空画像データは、航空機に搭載したデータ記録部に格納され、航空機の着陸後に地上のデータ処理装置に移され、処理、解析される。地上のデータ処理装置では、新たに取得された地表面の画像と、既存の地表面の画像との比較・照合に基づいて建物の形状変化を検出する。
【０００４】
画像の比較・照合の手法としては、航空画像同士の比較、オルソ画像の特徴点と建物ポリゴンデータとの比較、ＤＳＭ（Digital Surface Model）同士の比較などが考えられている。
【０００５】
図１２は、航空画像同士の比較を行う方法を説明するフロー図である。当該方法では、まず、新たに取得された航空画像と過去に取得されている既存の航空画像とのレジストレーション（位置合わせ）を行い、両画像間での輝度情報の変化に基づいて、地上の建物の有無や形状の変化を検出する。
【０００６】
図１３は、オルソ画像の特徴点と建物ポリゴンデータとの比較を行う方法を説明するフロー図である。当該方法では、まず、航空画像をオルソ補正してオルソ画像が生成される。フレームセンサ型デジタルカメラで撮影した航空画像は中心投影画像であり、撮影画像の周囲にいくにつれて大きくなる歪みを有する。オルソ補正はこの歪みを補正し、地表面を真上から見た正射影画像であるオルソ画像を生成する。続いて、生成されたオルソ画像に対して特徴点抽出等の処理を行って、オルソ画像に現れている建物の輪郭（又はその一部）を抽出する。この輪郭を既存の建物ポリゴンデータから得られる建物を真上から見た輪郭と比較することにより、建物の変化が検出される。
【０００７】
図１４は、ＤＳＭ同士の比較を行う方法を説明するフロー図である。当該方法では、航空画像からＤＳＭを生成し、当該ＤＳＭと既存のＤＳＭとの差分を求めることによって、建物の変化を検出する。ＤＳＭは地表面の高さ情報であり、航空画像から生成する場合には、例えば、飛行位置の異なる複数の航空画像を照合し、同一の地物の当該複数の航空画像での見え方の違いに基づいて当該地物の高さを求める。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
災害時における地上の状況把握等のような利用目的では即時性が要求される。この観点から、航空機の着陸を待たずに航空画像の処理を行うことが課題となる。
【０００９】
しかし、航空機上で撮影されるデジタル画像のデータ量は膨大となり得る一方、航空機と地上との間の伝送容量は比較的小さい。そのため、取得された画像データをそのまま航空機から地上へ無線伝送することは難しいという問題があった。
【００１０】
また、航空画像同士の比較を行う方法では、画像が高解像度であるほどレジストレーションを高精度に行うことが難しく、更に画像間の輝度情報に基づく変化検出は、検出率が低いという問題や、平面的な変化しか検出できず、高さ方向の変化を検出できないといった問題があった。
【００１１】
オルソ画像特徴点と建物ポリゴンデータとの比較を行う方法では、オルソ画像の生成処理の負荷が大きいという問題があり、航空機に搭載される装置の限られた処理能力では困難である。また、既存の建物ポリゴンデータとの比較による変化検出は、平面的な変化しか検出できないといった問題があった。
【００１２】
ＤＳＭ同士の比較を行う方法では、ＤＳＭ生成の負荷が大きいという問題があり、やはり航空機に搭載される装置の限られた処理能力では困難である。
【００１３】
本発明は上記問題点を解決するためになされたものであり、飛行体上にて撮影された画像の処理負荷が軽減され、ひいては、当該処理によるデータ量の低減によって飛行体から地上へのデータの無線伝送が容易となることにより、飛行体の着陸を待たずに地上にて建物形状の変化の検出処理を進めることができる建物形状変化検出方法及び建物形状変化検出システムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る建物形状変化検出方法は、飛行体上にて撮影した撮影地表画像から建物形状に対応する観測特徴点を抽出する観測特徴点抽出ステップと、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成ステップと、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出ステップと、を有する。
【００１５】
また、本発明に係る建物形状変化検出システムは、飛行体上にて撮影した撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出手段と、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成手段と、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出手段と、を有する。
【００１６】
本発明によれば、中心投影画像である撮影地表画像に対して特徴点抽出処理を行う。オルソ補正等の処理を行わないため、少ない処理負荷で観測特徴点が抽出される。また、観測特徴点は元の撮影地表画像より少ないデータ量で表すことが可能である。中心投影画像に対応した特徴点の投影方向における位置は、その点に対応する高さに応じて定まる。すなわち、特徴点の投影方向における位置は高さの情報を含んでおり、観測特徴点と建物投影像との対比によって当該特徴点の高さの変化を検出することが可能であり、建物形状の３次元的な変化を検出することができる。
【００１７】
他の本発明に係る建物形状変化検出方法は、飛行体から撮影地表画像を撮影する撮影ステップと、前記飛行体上にて、前記撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出ステップと、前記観測特徴点を表すデータを前記飛行体から地上基地局へ無線伝送するデータ伝送ステップと、前記地上基地局にて、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成ステップと、前記地上基地局にて、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出ステップと、を有する。
【００１８】
他の本発明に係る建物形状変化検出システムは、飛行体から撮影地表画像を撮影する撮影手段と、前記飛行体上にて、前記撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出手段と、前記観測特徴点を表すデータを前記飛行体から地上基地局へ無線伝送するデータ伝送手段と、前記地上基地局にて、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成手段と、前記地上基地局にて、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出手段と、を有する。
【００１９】
本発明によれば、飛行体上にて比較的少ない処理負荷でデータ量の削減が可能な観測特徴点抽出処理を行った後、飛行体から地上基地局への無線伝送を行う。これにより、飛行体の飛行中に速やかにデータを地上基地局へ伝送することが可能となる。
【００２０】
上記本発明に係る建物形状変化検出方法においては、前記観測特徴点抽出ステップが、デジタル画像である前記撮影地表画像にてエッジを構成する画素を前記観測特徴点として抽出し、前記建物形状記録情報が、建物の三次元データを含み、前記建物投影像生成ステップが、前記三次元データに基づいて前記建物の輪郭の投影像を生成し、前記変化検出ステップが、前記撮影地表画像から抽出されたエッジと前記投影像とのマッチングに基づいて、前記建物の平面形状及び高さの変化を検出するように構成することができる。
【００２１】
前記変化検出ステップは、前記建物投影像での前記建物の前記投影像と前記撮影地表画像における当該建物の像との、当該投影像に関する投影方向における位置の相違に基づいて、当該建物の高さの変化を検出する構成とすることができる。
【００２２】
上記本発明に係る建物形状変化検出システムにおいては、前記観測特徴点抽出手段が、デジタル画像である前記撮影地表画像にてエッジを構成する画素を前記観測特徴点として抽出し、前記建物形状記録情報が、建物の三次元データを含み、前記建物投影像生成手段は、前記三次元データに基づいて前記建物の輪郭の投影像を生成し、前記変化検出手段が、前記撮影地表画像から抽出されたエッジと前記投影像とのマッチングに基づいて、前記建物の平面形状及び高さの変化を検出するように構成することができる。
【００２３】
前記変化検出手段は、前記建物投影像での前記建物の前記投影像と前記撮影地表画像における当該建物の像との、当該投影像に関する投影方向における位置の相違に基づいて、当該建物の高さの変化を検出するように構成することができる。
【発明の効果】
【００２４】
本発明の建物形状変化検出方法及び建物形状変化検出システムは、データ量を低減し、処理負荷の軽減を図ることができる。また、飛行体にて取得した情報を地上基地局へ速やかに伝送し処理することで、建物等の形状の変化検出の即時性が向上する。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００２６】
本実施形態は、地表の建物の形状変化を検出する建物形状変化検出システムであり、本発明に係る地表形状変化検出方法を用いて実現される。本システムは例えば、地震等の災害時に起こり得る建物の倒壊や異動等の状況を迅速に把握し、その情報を救援・復旧活動に活用するために有効である。
【００２７】
図１は、本システムの概略構成を示す模式図である。航空機２はデジタルカメラを搭載し、上空から地表の画像を撮影する。また、航空機２はＧＰＳ／ＩＭＵ（Global Positioning System/Inertial Measurement Unit）を搭載し、ＧＰＳ衛星４からの信号、及び航空機上にて作用する慣性力に基づいて航空機２に搭載されたデジタルカメラの位置や傾き等を計測・記録し、これにより地表画像の撮影時におけるカメラの位置及び姿勢を把握することを可能としている。
【００２８】
航空機２は、機上で取得したデジタル画像の特徴点を抽出する処理を行い、この特徴点に関し抽出されたデータ、及びＧＰＳ／ＩＭＵにより得られるデータを地上基地局６へ無線伝送する。地上基地局６は、航空機２から伝送された特徴点データに基づいて建物の形状変化を検出する処理を行う。基準局８は、予め正確にその位置が分かっており、ＧＰＳで得られた位置と真の位置からその誤差を計算し、ディファレンシャル情報（補正値）としてＧＰＳの利用者に提供する。地上基地局６は、航空機２にて得られたＧＰＳ／ＩＭＵデータに基づいて、画像撮影位置を算出する際に、このディファレンシャル情報を利用して補正を行うことができる。
【００２９】
図２は、本システムの概略の処理の流れを示すフロー図である。航空機２にて地表画像が撮影され（ステップＳ２０）、当該画像から特徴点を抽出する（ステップＳ２２）。特徴点に関するデータは地上基地局６へ伝送され、特徴点群から線分を抽出し、線分からなる画像（線分画像）を生成する処理が行われる（ステップＳ２４）。さらに抽出された線分をつなぎ、建物の輪郭が表された画像（輪郭画像）を生成する処理を行っても良い。地上基地局６は建物の既存の三次元データを投影して、建物の輪郭の投影像（建物投影像）を生成する（ステップＳ２６）。この建物投影像と線分画像又は輪郭画像から抽出した抽出撮影像とのマッチング処理を行って（ステップＳ２８）、建物の形状変化が検出され（ステップＳ３０）、その結果が例えば、ユーザに認識容易な形式で出力される（ステップＳ３２）。
【００３０】
図３は本システムの航空機２に搭載される部分の概略の機能ブロック図である。計測部４０は、撮像部４２、ＧＰＳ／ＩＭＵ４４を備える。撮像部４２は、デジタルカメラを有し、地表画像を撮影する。デジタルカメラはフレームセンサを用いたものの他、ラインセンサを用いて画像を取得するものであってもよい。撮影された地表画像データは、特徴点抽出処理部４８へ出力される。特徴点抽出処理部４８は、画像に現れる建物等の地物の像のエッジを構成する画素を観測特徴点として抽出し、圧縮符号化処理部５０へ出力する。
【００３１】
ＧＰＳ／ＩＭＵ４４は、ＧＰＳ衛星４からＧＰＳ信号を受信すると共に、ＩＭＵにより航空機の加速度を計測し、それらに基づいて、航空機２の位置・姿勢を表すＧＰＳ／ＩＭＵデータを生成し、圧縮符号化処理部５０へ出力する。
【００３２】
圧縮符号化処理部５０は、特徴点抽出処理部４８からの特徴点に関するデータ及びＧＰＳ／ＩＭＵ４４からのＧＰＳ／ＩＭＵデータに圧縮符号化処理を施し、これにより送信処理部５２が送信すべきデータ量が圧縮される。
【００３３】
送信処理部５２は、ストリーミング処理部５４、伝送データ変換処理部５６及び送信部５８を含んで構成され、圧縮符号化処理部５０から圧縮符号化されたデータを受け取り、地上基地局６への無線伝送を行う。ストリーミング処理部５４は、データ伝送中に地上基地局６が当該データの解析を行うストリーミングを可能とするための処理をデータに施す。次いで、伝送データ変換処理部５６にて、搬送波の整形が行われ、送信部５８から無線信号として送出される。
【００３４】
図４は本システムの地上基地局６に設けられる部分の概略の機能ブロック図である。受信処理部７０は、受信部７２、復元データ変換処理部７４及びストリーミング処理部７６を含んで構成され、航空機２側の送信処理部５２に呼応した処理を行って、航空機２からの無線信号から特徴点データ、ＧＰＳ／ＩＭＵデータといった伝送データを受信する。
【００３５】
復元処理部７８は、圧縮符号化処理部５０にて圧縮符号化されている受信データを復号伸長し復元する処理を行い、処理後の特徴点データ及びＧＰＳ／ＩＭＵデータを保存したファイル８０を記憶部（図示せず）に格納する。また、ファイル８０には、デジタルカメラの焦点距離、主点位置等の内部標定要素が予め記憶されている。
【００３６】
ＧＰＳ／ＩＭＵデータ補正部８２は、記憶部に格納されたＧＰＳ／ＩＭＵデータに対し、基準局８にて得られるディファレンシャル情報を用いた補正処理を施す。
【００３７】
変化検出処理部８４は、記憶部に格納された内部標定要素及びＧＰＳ／ＩＭＵデータを用いて、航空機２が撮影した画像に対応する地表範囲を特定し、当該範囲での建物の形状変化を検出する処理を行う。変化検出処理部８４は、線分抽出部８６、投影計算部８８、マッチング処理部９０、変化検出部９２を有し、得られた変化検出結果を記憶部のファイル９４へ出力する。投影計算部８８での処理には、データベース９６に保存されている建物の既存三次元データが用いられる。
【００３８】
以下、航空機２上にて行われる特徴点抽出処理、及び地上基地局６での変化検出処理部８４の各処理についてさらに説明する。
【００３９】
航空機２にて撮像部４２は、地表のカラー画像又はモノクロ画像を撮影する。特徴点抽出処理部４８は、その画像内にて輝度や色の変化に基づいてエッジを構成する画素群を特徴点として抽出する。エッジ抽出は各種エッジフィルタを用いて行うことができる。例えば、エッジフィルタとしてＣａｎｎｙフィルタを用いて、エッジの位置を抽出し、エッジを１画素で捉える細線化処理を行うことができる。なお、特徴点抽出処理に先立って、例えばヒストグラム平滑化処理等によってデジタル画像の画像強調を行うように構成することができ、これにより特徴点抽出処理をより好適に行うことが可能となる。図５は、特徴点抽出処理部４８の出力として得られる特徴点データを画像として表示したもの（特徴点画像）の一例を示す模式図である。撮像部４２にて取得したデジタル画像は、各画素が輝度値やＲＧＢ値を有し、それら各値はそれぞれ複数ビットのバイナリデータで表される。これに対して、特徴点画像における各画素は特徴点である否かの相違を表現するものであり、当該画像は基本的に二値化画像として表される。よって、特徴点画像のデータ量は元の画像に比べて大幅に削減される。
【００４０】
また、この特徴点画像は圧縮符号化処理部５０にてさらに符号化されデータ量を圧縮することができる。例えば、特徴点画像は上述のように基本的に二値化画像であるため、ランレングス符号化等を用いて、高効率の圧縮が可能である。このようにデータ量を圧縮することにより、航空機２と地上基地局６との間の無線伝送路の容量が比較的小さい場合でも、その容量の制限を受けずに、航空機２でのデータ生成と同時並列的に迅速に地上基地局６へデータ伝送することができる。
【００４１】
地上基地局６では、線分抽出部８６での処理により、特徴点画像から線分画像が生成される。線分抽出部８６では、まず特徴点抽出処理部４８にて点群として抽出されているエッジに対して、トラッキング及び分割処理を行うフィルタリングを行い、当該点群をそれぞれひとまとまりとして捉えることができる単位の点の集合に分割し、また十分な大きさのまとまりを構成せずノイズと把握し得る点を除去する。次に、例えばハフ変換により、線分を抽出する。ここで、建物像の輪郭は直線部分を比較的多く有する。一方、本システムで検出対象としない樹木等のエッジは直線を形成することが少ない。よって、線分抽出処理により、もっぱら建物像のエッジを取り出すことができる。図６は、図５の特徴点画像に対応して線分抽出部８６の出力として得られる線分画像の一例を示す模式図である。
【００４２】
また、変化検出処理部８４は、線分抽出部８６にて生成される線分画像にPerceptual
Grouping技術を適用して建物の輪郭を抽出し、輪郭画像を生成する処理を行うように構成してもよい。図７は、図６に示す線分画像に対応して得られる輪郭画像の一例を示す模式図である。線分画像に現れる複数の線分のうち、同じ建物の輪郭を構成するものを見つけ出し、それらを接続等することにより輪郭が構成される。
【００４３】
上述の線分画像又は輪郭画像は、オルソ変換を行わずに生成されている。すなわち、それらは基本的に中心投影画像における建物のエッジ又は輪郭を抽出したものとなっている。投影計算部８８は、デジタルカメラの焦点距離、主点位置等の内部標定要素を、ファイル８０から取り出し、また同じくファイル８０から外部標定要素として補正後のＧＰＳ／ＩＭＵデータを取得する。これら内部標定要素及び外部標定要素と、データベース９６の建物の既存三次元データとに基づいて投影計算が行われ、特徴点画像の元となる画像の撮影と同じ条件にて建物を撮影画像に投影（中心投影）した像（建物投影像）が生成される。ここで建物投影像とは、既存三次元データの座標値から投影計算により求めた座標値の集合である輪郭像である。
【００４４】
マッチング処理部９０は、既存三次元データに基づいて投影計算部８８にて求められた建物投影像と、上記線分画像又は輪郭画像とのマッチングを行い、マッチングの程度を示す数値として類似度を算出する。例えば、マッチング処理は、Hausdorff距離を用いたマッチング法を用いて行うことができる。変化検出部９２は、この類似度に基づいて、建物の形状変化を検出する。図８は、マッチング処理部９０、変化検出部９２における処理の概要を示す処理フロー図である。マッチング処理部９０は、建物投影像に現れる各建物ごとにマッチング処理を行う。まず、マッチング処理部９０は、建物投影像におけるマッチング処理の対象とする建物（判定対象建物）の輪郭像（対象投影像）と、線分画像又は輪郭画像において対象投影像と同じ領域に現れる線分又は輪郭（抽出撮影像）とを対比し、類似度Ｒを計算する（ステップＳ１００）。
【００４５】
変化検出部９２は、閾値αと類似度Ｒとの大小関係を判定する（ステップＳ１０２）。ここでαは、対象投影像と抽出撮影像とが一致するとみなし得る類似度に設定される。すなわち、変化検出部９２は、α≦Ｒである場合、判定対象建物と同じ形状の建物が地上の同じ位置に存在すると判断し、判定対象建物の形状について三次元データ取得時と今回の航空機２からの撮影時とで「変化なし」と判定し、この判定を変化検出結果としてファイル９４へ出力する（ステップＳ１０４）。
【００４６】
一方、α＞Ｒである場合には、マッチング処理部９０は周辺領域内の探索を行う（ステップＳ１０６）。ここでは、周辺領域は基本的に中心投影の投影方向に向って、つまり、投影中心から判定対象建物に向かう方位に沿って伸びる細長い領域のうち、判定対象建物の高さの変化に伴って変化する領域として設定される。マッチング処理部９０は、その設定された領域内にて判定対象建物に応じた大きさのマッチング対象領域を移動させ、再度、類似度を計算する（これを類似度Ｓとする）。変化検出部９２は、類似度Ｓと類似度Ｒとの差分値（Ｓ−Ｒ）と閾値ωとの大小関係を判定する（ステップＳ１０８）。ここでωは、建物の高さが変化したとみなし得る値に設定される。ω≦（Ｓ−Ｒ）である場合には、建物の高さに変化が生じたと判定し、当該判定結果をファイル９４へ出力する（ステップＳ１１０）。
【００４７】
一方、ω＞（Ｓ−Ｒ）すなわち周辺領域内での探索により差分値（Ｓ−Ｒ）がω以上となる抽出建物像が得られなかった場合（ステップＳ１０８）、変化検出部９２は閾値βと類似度Ｒとの大小関係を判定する（ステップＳ１１２）。ここでβは、対象投影像と抽出撮影像とが不一致であるとみなし得る類似度に設定される（α＞β）。すなわち、変化検出部９２は、β≦Ｒである場合、建物の平面形状に変化が生じたと判定し、当該判定結果をファイル９４へ出力する（ステップＳ１１４）。
【００４８】
一方、β＞Ｒである場合、変化検出部９２は判定対象建物の位置にはそれに相当する建物が存在しないと判定し、「該当建物なし」との判定を変化検出結果としてファイル９４へ出力する（ステップＳ１１６）。「該当建物なし」となる場合の具体的な例としては、建物が人為的に解体、破壊された場合や、地震等の災害の後においては倒壊した場合などが挙げられる。
【００４９】
なお、変化検出部９２において、類似度Ｓと類似度Ｒとの差分値（Ｓ−Ｒ）の代わりに比率Ｓ／Ｒを用いることも可能である。この場合には、閾値ωを建物の高さが変化したとみなし得る比率に適宜変更する。
【００５０】
図９〜図１１は変化検出部９２にて行われる上述した建物形状の変化の検出処理を説明する模式図である。図９は、水平方向から見た航空機２と建物等との位置関係、及び建物等の形状を示す模式図である。航空機２は上空から地物が存在する地表を撮影する。同図には、地物として建物１２０及び樹木１２２が示されている。図９（ａ）は、建物形状に変化がない場合であり、建物１２０ａは既存三次元データに登録された形状と同じ形状を維持している。これに対して、図９（ｂ）は建物の高さに変化があった場合であり、建物１２０ｂの高さは既存三次元データに登録された形状１２４より低くなっている。また、図９（ｃ）は、建物の平面形状が変化した場合であり、建物１２０ｃは既存三次元データに登録された形状１２４と比較して、水平面内での二次元形状が変化している。
【００５１】
図１０は、航空機２から伝送される特徴点画像を示す模式図である。同図（ａ）〜（ｃ）はそれぞれ図９（ａ）〜（ｃ）の各ケースに対応した図であり、特徴点として抽出されたエッジからなる、建物の中心投影像１２６及び樹木の中心投影像１３２が表されている。
【００５２】
また図１１は、既存三次元データから生成した建物の輪郭像（対象投影像）と、線分画像又は輪郭画像から抽出した建物の抽出撮影像とを示す模式図であり、同図（ａ）〜（ｃ）はそれぞれ図９（ａ）〜（ｃ）の各ケースに対応した図である。ここで、直線的に並ぶ特徴点群を含んでいない樹木の中心投影像１３２は、線分抽出部８６での処理により除去されている一方、直線的に並ぶ特徴点群からなる部分建物の中心投影像１２６に対応して抽出撮影像１４０が得られている。
【００５３】
さて、航空機２から斜め下方に位置する建物１２０の中心投影像には屋上だけでなく側面も現れ得る。具体的には、形状が変化しない場合の特徴点画像（図１０（ａ））の建物の中心投影像１２６ａには、建物の屋上１２８ａ及び側壁面１３０ａが現れている。ちなみにこの図の屋上１２８ａの形状に表されるように、この建物は本来、Ｌ字型の平面形状（二次元形状）を有している。
【００５４】
図１１（ａ）において実線で表す建物の抽出撮影像１４０ａは、特徴点画像（図１０（ａ））に現れる中心投影像１２６ａに応じた形状及び位置を有する。一方、図１１（ａ）において、既存三次元データから生成した対象投影像１４２は点線で表している。この場合のように建物の形状に変化がない場合には、抽出撮影像１４０ａと対象投影像１４２とは類似度Ｒが高くなり、変化検出部９２における類似度判定処理Ｓ１０２においてＲ≧αを満たし、変化なしと判定される（Ｓ１０４）。
【００５５】
次に、建物の高さが変化すると、中心投影像に現れる側面の中心投影の投影方向に沿った寸法が変化する。例えば、図９（ｂ）に示すように建物の高さが低くなった場合には、対応する特徴点画像（図１０（ｂ））の建物の中心投影像１２６ｂに現れる建物の側壁面１３０ｂは、投影方向（同図において横方向）の寸法が、図１０（ａ）に示す側壁面１３０ａより縮まる。また、屋上１２８ｂは、図１０（ａ）に示す屋上１２８ａと同じＬ字型の形状を保つが、その位置は、建物の高さが低くなった分、投影方向に沿って略平行移動する。このような関係にある形状相互は、移動距離が大きくなるにつれて類似度Ｒが低下する。そのため、高さが変化した建物の抽出撮影像１４０ｂと対象投影像１４２との類似度ＲはＲ＜αとなり得、その場合、マッチング処理部９０は周辺領域探索処理Ｓ１０６を行う。例えば、マッチング対象領域を図１１（ｂ）において左側にすると、当該マッチング対象領域から抽出される抽出撮影像１４０ｂの屋上形状と対象投影像１４２の屋上形状との間の平行移動距離を縮小したマッチング処理Ｓ１００が行われ、類似度Ｒが改善し得る。変化検出部９２は、周辺領域の探索により、類似度Ｓと類似度Ｒとの差分値（Ｓ−Ｒ）が閾値ω以上に上昇した場合、建物の高さが変化していると判定する（ステップＳ１１０）。また、差分値（Ｓ−Ｒ）が最大となるマッチング対象領域の移動距離に基づいて、建物の高さの変化量を推定することができる。
【００５６】
これに対して、建物の平面形状が変化した場合は、周辺領域探索を行っても類似度が大きく上昇することを期待し得る特別の理由はない。例えば、図１１（ｃ）に示す建物の抽出撮影像１４０ｃと対象投影像１４２とは、側壁面の形状及び位置は一致しているにもかかわらず、屋上１２８ｃの形状が変化したために、周辺領域探索処理Ｓ１０６によりマッチング対象領域を投影方向に沿って移動させても、差分値（Ｓ−Ｒ）は閾値ω未満となる。この場合、変化検出部９２は類似度Ｒと閾値βとの大小関係を判定する。β≦Ｒの場合には、高さ変化とは特定できないが何らかの形状の変化が生じたものと判定する（ステップＳ１１４）。
【００５７】
一方、β＞Ｒの場合は、図９〜図１１には示していないが、上述したように「該当建物なし」との判定がなされる（ステップＳ１１６）。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施形態に係る建物形状変化検出システムの概略構成を示す模式図である。
【図２】本発明の実施形態に係る建物形状変化検出システムの概略の処理の流れを示すフロー図である。
【図３】本システムの航空機に搭載される部分の概略の機能ブロック図である。
【図４】本システムの地上基地局に設けられる部分の概略の機能ブロック図である。
【図５】特徴点抽出処理部の出力として得られる特徴点画像の一例を示す模式図である。
【図６】図５の特徴点画像に対応して線分抽出部の出力として得られる線分画像の一例を示す模式図である。
【図７】図６に示す線分画像に対応して得られる輪郭画像の一例を示す模式図である。
【図８】マッチング処理部、変化検出部における処理の概要を示す処理フロー図である。
【図９】水平方向から見た航空機と建物等との位置関係、及び建物等の形状を示す模式図である。
【図１０】航空機から伝送される特徴点画像を示す模式図である。
【図１１】既存三次元データから生成した建物の対象投影像と、線分画像又は輪郭画像から抽出した建物の抽出撮影像とを示す模式図である。
【図１２】従来方法である航空画像同士の比較を行う方法を説明するフロー図である。
【図１３】従来方法であるオルソ画像の特徴点と建物ポリゴンデータとの比較を行う方法を説明するフロー図である。
【図１４】従来方法であるＤＳＭ同士の比較を行う方法を説明するフロー図である。
【符号の説明】
【００５９】
２ 航空機、４ ＧＰＳ衛星、６ 地上基地局、８ 基準局、４０ 計測部、４２ 撮像部、４４ ＧＰＳ／ＩＭＵ、４８ 特徴点抽出処理部、５０ 圧縮符号化処理部、５２ 送信処理部、５４ ストリーミング処理部、５６ 伝送データ変換処理部、５８ 送信部、７０ 受信処理部、７２ 受信部、７４ 復元データ変換処理部、７６ ストリーミング処理部、７８ 復元処理部、８２ ＧＰＳ／ＩＭＵデータ補正部、８４ 変化検出処理部、８６ 線分抽出部、８８ 投影計算部、９０ マッチング処理部、９２ 変化検出部。
【技術分野】
【０００１】
本発明は、飛行体から撮影した画像に基づいて建物等の地物の形状の変化を検出する方法及びシステムに関する。
【背景技術】
【０００２】
航空機等の飛行体上にて、フレームセンサ型デジタルカメラで地表面の画像（航空画像）を取得し、当該航空画像に基づいて建物の変化を検出することが行われる。近年、この航空画像を利用した建物の形状の変化検出に基づいて、例えば、地震等の災害時における被災状況の把握を行うことが検討されている。
【０００３】
従来は、航空画像データは、航空機に搭載したデータ記録部に格納され、航空機の着陸後に地上のデータ処理装置に移され、処理、解析される。地上のデータ処理装置では、新たに取得された地表面の画像と、既存の地表面の画像との比較・照合に基づいて建物の形状変化を検出する。
【０００４】
画像の比較・照合の手法としては、航空画像同士の比較、オルソ画像の特徴点と建物ポリゴンデータとの比較、ＤＳＭ（Digital Surface Model）同士の比較などが考えられている。
【０００５】
図１２は、航空画像同士の比較を行う方法を説明するフロー図である。当該方法では、まず、新たに取得された航空画像と過去に取得されている既存の航空画像とのレジストレーション（位置合わせ）を行い、両画像間での輝度情報の変化に基づいて、地上の建物の有無や形状の変化を検出する。
【０００６】
図１３は、オルソ画像の特徴点と建物ポリゴンデータとの比較を行う方法を説明するフロー図である。当該方法では、まず、航空画像をオルソ補正してオルソ画像が生成される。フレームセンサ型デジタルカメラで撮影した航空画像は中心投影画像であり、撮影画像の周囲にいくにつれて大きくなる歪みを有する。オルソ補正はこの歪みを補正し、地表面を真上から見た正射影画像であるオルソ画像を生成する。続いて、生成されたオルソ画像に対して特徴点抽出等の処理を行って、オルソ画像に現れている建物の輪郭（又はその一部）を抽出する。この輪郭を既存の建物ポリゴンデータから得られる建物を真上から見た輪郭と比較することにより、建物の変化が検出される。
【０００７】
図１４は、ＤＳＭ同士の比較を行う方法を説明するフロー図である。当該方法では、航空画像からＤＳＭを生成し、当該ＤＳＭと既存のＤＳＭとの差分を求めることによって、建物の変化を検出する。ＤＳＭは地表面の高さ情報であり、航空画像から生成する場合には、例えば、飛行位置の異なる複数の航空画像を照合し、同一の地物の当該複数の航空画像での見え方の違いに基づいて当該地物の高さを求める。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
災害時における地上の状況把握等のような利用目的では即時性が要求される。この観点から、航空機の着陸を待たずに航空画像の処理を行うことが課題となる。
【０００９】
しかし、航空機上で撮影されるデジタル画像のデータ量は膨大となり得る一方、航空機と地上との間の伝送容量は比較的小さい。そのため、取得された画像データをそのまま航空機から地上へ無線伝送することは難しいという問題があった。
【００１０】
また、航空画像同士の比較を行う方法では、画像が高解像度であるほどレジストレーションを高精度に行うことが難しく、更に画像間の輝度情報に基づく変化検出は、検出率が低いという問題や、平面的な変化しか検出できず、高さ方向の変化を検出できないといった問題があった。
【００１１】
オルソ画像特徴点と建物ポリゴンデータとの比較を行う方法では、オルソ画像の生成処理の負荷が大きいという問題があり、航空機に搭載される装置の限られた処理能力では困難である。また、既存の建物ポリゴンデータとの比較による変化検出は、平面的な変化しか検出できないといった問題があった。
【００１２】
ＤＳＭ同士の比較を行う方法では、ＤＳＭ生成の負荷が大きいという問題があり、やはり航空機に搭載される装置の限られた処理能力では困難である。
【００１３】
本発明は上記問題点を解決するためになされたものであり、飛行体上にて撮影された画像の処理負荷が軽減され、ひいては、当該処理によるデータ量の低減によって飛行体から地上へのデータの無線伝送が容易となることにより、飛行体の着陸を待たずに地上にて建物形状の変化の検出処理を進めることができる建物形状変化検出方法及び建物形状変化検出システムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る建物形状変化検出方法は、飛行体上にて撮影した撮影地表画像から建物形状に対応する観測特徴点を抽出する観測特徴点抽出ステップと、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成ステップと、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出ステップと、を有する。
【００１５】
また、本発明に係る建物形状変化検出システムは、飛行体上にて撮影した撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出手段と、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成手段と、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出手段と、を有する。
【００１６】
本発明によれば、中心投影画像である撮影地表画像に対して特徴点抽出処理を行う。オルソ補正等の処理を行わないため、少ない処理負荷で観測特徴点が抽出される。また、観測特徴点は元の撮影地表画像より少ないデータ量で表すことが可能である。中心投影画像に対応した特徴点の投影方向における位置は、その点に対応する高さに応じて定まる。すなわち、特徴点の投影方向における位置は高さの情報を含んでおり、観測特徴点と建物投影像との対比によって当該特徴点の高さの変化を検出することが可能であり、建物形状の３次元的な変化を検出することができる。
【００１７】
他の本発明に係る建物形状変化検出方法は、飛行体から撮影地表画像を撮影する撮影ステップと、前記飛行体上にて、前記撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出ステップと、前記観測特徴点を表すデータを前記飛行体から地上基地局へ無線伝送するデータ伝送ステップと、前記地上基地局にて、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成ステップと、前記地上基地局にて、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出ステップと、を有する。
【００１８】
他の本発明に係る建物形状変化検出システムは、飛行体から撮影地表画像を撮影する撮影手段と、前記飛行体上にて、前記撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出手段と、前記観測特徴点を表すデータを前記飛行体から地上基地局へ無線伝送するデータ伝送手段と、前記地上基地局にて、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成手段と、前記地上基地局にて、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出手段と、を有する。
【００１９】
本発明によれば、飛行体上にて比較的少ない処理負荷でデータ量の削減が可能な観測特徴点抽出処理を行った後、飛行体から地上基地局への無線伝送を行う。これにより、飛行体の飛行中に速やかにデータを地上基地局へ伝送することが可能となる。
【００２０】
上記本発明に係る建物形状変化検出方法においては、前記観測特徴点抽出ステップが、デジタル画像である前記撮影地表画像にてエッジを構成する画素を前記観測特徴点として抽出し、前記建物形状記録情報が、建物の三次元データを含み、前記建物投影像生成ステップが、前記三次元データに基づいて前記建物の輪郭の投影像を生成し、前記変化検出ステップが、前記撮影地表画像から抽出されたエッジと前記投影像とのマッチングに基づいて、前記建物の平面形状及び高さの変化を検出するように構成することができる。
【００２１】
前記変化検出ステップは、前記建物投影像での前記建物の前記投影像と前記撮影地表画像における当該建物の像との、当該投影像に関する投影方向における位置の相違に基づいて、当該建物の高さの変化を検出する構成とすることができる。
【００２２】
上記本発明に係る建物形状変化検出システムにおいては、前記観測特徴点抽出手段が、デジタル画像である前記撮影地表画像にてエッジを構成する画素を前記観測特徴点として抽出し、前記建物形状記録情報が、建物の三次元データを含み、前記建物投影像生成手段は、前記三次元データに基づいて前記建物の輪郭の投影像を生成し、前記変化検出手段が、前記撮影地表画像から抽出されたエッジと前記投影像とのマッチングに基づいて、前記建物の平面形状及び高さの変化を検出するように構成することができる。
【００２３】
前記変化検出手段は、前記建物投影像での前記建物の前記投影像と前記撮影地表画像における当該建物の像との、当該投影像に関する投影方向における位置の相違に基づいて、当該建物の高さの変化を検出するように構成することができる。
【発明の効果】
【００２４】
本発明の建物形状変化検出方法及び建物形状変化検出システムは、データ量を低減し、処理負荷の軽減を図ることができる。また、飛行体にて取得した情報を地上基地局へ速やかに伝送し処理することで、建物等の形状の変化検出の即時性が向上する。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００２６】
本実施形態は、地表の建物の形状変化を検出する建物形状変化検出システムであり、本発明に係る地表形状変化検出方法を用いて実現される。本システムは例えば、地震等の災害時に起こり得る建物の倒壊や異動等の状況を迅速に把握し、その情報を救援・復旧活動に活用するために有効である。
【００２７】
図１は、本システムの概略構成を示す模式図である。航空機２はデジタルカメラを搭載し、上空から地表の画像を撮影する。また、航空機２はＧＰＳ／ＩＭＵ（Global Positioning System/Inertial Measurement Unit）を搭載し、ＧＰＳ衛星４からの信号、及び航空機上にて作用する慣性力に基づいて航空機２に搭載されたデジタルカメラの位置や傾き等を計測・記録し、これにより地表画像の撮影時におけるカメラの位置及び姿勢を把握することを可能としている。
【００２８】
航空機２は、機上で取得したデジタル画像の特徴点を抽出する処理を行い、この特徴点に関し抽出されたデータ、及びＧＰＳ／ＩＭＵにより得られるデータを地上基地局６へ無線伝送する。地上基地局６は、航空機２から伝送された特徴点データに基づいて建物の形状変化を検出する処理を行う。基準局８は、予め正確にその位置が分かっており、ＧＰＳで得られた位置と真の位置からその誤差を計算し、ディファレンシャル情報（補正値）としてＧＰＳの利用者に提供する。地上基地局６は、航空機２にて得られたＧＰＳ／ＩＭＵデータに基づいて、画像撮影位置を算出する際に、このディファレンシャル情報を利用して補正を行うことができる。
【００２９】
図２は、本システムの概略の処理の流れを示すフロー図である。航空機２にて地表画像が撮影され（ステップＳ２０）、当該画像から特徴点を抽出する（ステップＳ２２）。特徴点に関するデータは地上基地局６へ伝送され、特徴点群から線分を抽出し、線分からなる画像（線分画像）を生成する処理が行われる（ステップＳ２４）。さらに抽出された線分をつなぎ、建物の輪郭が表された画像（輪郭画像）を生成する処理を行っても良い。地上基地局６は建物の既存の三次元データを投影して、建物の輪郭の投影像（建物投影像）を生成する（ステップＳ２６）。この建物投影像と線分画像又は輪郭画像から抽出した抽出撮影像とのマッチング処理を行って（ステップＳ２８）、建物の形状変化が検出され（ステップＳ３０）、その結果が例えば、ユーザに認識容易な形式で出力される（ステップＳ３２）。
【００３０】
図３は本システムの航空機２に搭載される部分の概略の機能ブロック図である。計測部４０は、撮像部４２、ＧＰＳ／ＩＭＵ４４を備える。撮像部４２は、デジタルカメラを有し、地表画像を撮影する。デジタルカメラはフレームセンサを用いたものの他、ラインセンサを用いて画像を取得するものであってもよい。撮影された地表画像データは、特徴点抽出処理部４８へ出力される。特徴点抽出処理部４８は、画像に現れる建物等の地物の像のエッジを構成する画素を観測特徴点として抽出し、圧縮符号化処理部５０へ出力する。
【００３１】
ＧＰＳ／ＩＭＵ４４は、ＧＰＳ衛星４からＧＰＳ信号を受信すると共に、ＩＭＵにより航空機の加速度を計測し、それらに基づいて、航空機２の位置・姿勢を表すＧＰＳ／ＩＭＵデータを生成し、圧縮符号化処理部５０へ出力する。
【００３２】
圧縮符号化処理部５０は、特徴点抽出処理部４８からの特徴点に関するデータ及びＧＰＳ／ＩＭＵ４４からのＧＰＳ／ＩＭＵデータに圧縮符号化処理を施し、これにより送信処理部５２が送信すべきデータ量が圧縮される。
【００３３】
送信処理部５２は、ストリーミング処理部５４、伝送データ変換処理部５６及び送信部５８を含んで構成され、圧縮符号化処理部５０から圧縮符号化されたデータを受け取り、地上基地局６への無線伝送を行う。ストリーミング処理部５４は、データ伝送中に地上基地局６が当該データの解析を行うストリーミングを可能とするための処理をデータに施す。次いで、伝送データ変換処理部５６にて、搬送波の整形が行われ、送信部５８から無線信号として送出される。
【００３４】
図４は本システムの地上基地局６に設けられる部分の概略の機能ブロック図である。受信処理部７０は、受信部７２、復元データ変換処理部７４及びストリーミング処理部７６を含んで構成され、航空機２側の送信処理部５２に呼応した処理を行って、航空機２からの無線信号から特徴点データ、ＧＰＳ／ＩＭＵデータといった伝送データを受信する。
【００３５】
復元処理部７８は、圧縮符号化処理部５０にて圧縮符号化されている受信データを復号伸長し復元する処理を行い、処理後の特徴点データ及びＧＰＳ／ＩＭＵデータを保存したファイル８０を記憶部（図示せず）に格納する。また、ファイル８０には、デジタルカメラの焦点距離、主点位置等の内部標定要素が予め記憶されている。
【００３６】
ＧＰＳ／ＩＭＵデータ補正部８２は、記憶部に格納されたＧＰＳ／ＩＭＵデータに対し、基準局８にて得られるディファレンシャル情報を用いた補正処理を施す。
【００３７】
変化検出処理部８４は、記憶部に格納された内部標定要素及びＧＰＳ／ＩＭＵデータを用いて、航空機２が撮影した画像に対応する地表範囲を特定し、当該範囲での建物の形状変化を検出する処理を行う。変化検出処理部８４は、線分抽出部８６、投影計算部８８、マッチング処理部９０、変化検出部９２を有し、得られた変化検出結果を記憶部のファイル９４へ出力する。投影計算部８８での処理には、データベース９６に保存されている建物の既存三次元データが用いられる。
【００３８】
以下、航空機２上にて行われる特徴点抽出処理、及び地上基地局６での変化検出処理部８４の各処理についてさらに説明する。
【００３９】
航空機２にて撮像部４２は、地表のカラー画像又はモノクロ画像を撮影する。特徴点抽出処理部４８は、その画像内にて輝度や色の変化に基づいてエッジを構成する画素群を特徴点として抽出する。エッジ抽出は各種エッジフィルタを用いて行うことができる。例えば、エッジフィルタとしてＣａｎｎｙフィルタを用いて、エッジの位置を抽出し、エッジを１画素で捉える細線化処理を行うことができる。なお、特徴点抽出処理に先立って、例えばヒストグラム平滑化処理等によってデジタル画像の画像強調を行うように構成することができ、これにより特徴点抽出処理をより好適に行うことが可能となる。図５は、特徴点抽出処理部４８の出力として得られる特徴点データを画像として表示したもの（特徴点画像）の一例を示す模式図である。撮像部４２にて取得したデジタル画像は、各画素が輝度値やＲＧＢ値を有し、それら各値はそれぞれ複数ビットのバイナリデータで表される。これに対して、特徴点画像における各画素は特徴点である否かの相違を表現するものであり、当該画像は基本的に二値化画像として表される。よって、特徴点画像のデータ量は元の画像に比べて大幅に削減される。
【００４０】
また、この特徴点画像は圧縮符号化処理部５０にてさらに符号化されデータ量を圧縮することができる。例えば、特徴点画像は上述のように基本的に二値化画像であるため、ランレングス符号化等を用いて、高効率の圧縮が可能である。このようにデータ量を圧縮することにより、航空機２と地上基地局６との間の無線伝送路の容量が比較的小さい場合でも、その容量の制限を受けずに、航空機２でのデータ生成と同時並列的に迅速に地上基地局６へデータ伝送することができる。
【００４１】
地上基地局６では、線分抽出部８６での処理により、特徴点画像から線分画像が生成される。線分抽出部８６では、まず特徴点抽出処理部４８にて点群として抽出されているエッジに対して、トラッキング及び分割処理を行うフィルタリングを行い、当該点群をそれぞれひとまとまりとして捉えることができる単位の点の集合に分割し、また十分な大きさのまとまりを構成せずノイズと把握し得る点を除去する。次に、例えばハフ変換により、線分を抽出する。ここで、建物像の輪郭は直線部分を比較的多く有する。一方、本システムで検出対象としない樹木等のエッジは直線を形成することが少ない。よって、線分抽出処理により、もっぱら建物像のエッジを取り出すことができる。図６は、図５の特徴点画像に対応して線分抽出部８６の出力として得られる線分画像の一例を示す模式図である。
【００４２】
また、変化検出処理部８４は、線分抽出部８６にて生成される線分画像にPerceptual
Grouping技術を適用して建物の輪郭を抽出し、輪郭画像を生成する処理を行うように構成してもよい。図７は、図６に示す線分画像に対応して得られる輪郭画像の一例を示す模式図である。線分画像に現れる複数の線分のうち、同じ建物の輪郭を構成するものを見つけ出し、それらを接続等することにより輪郭が構成される。
【００４３】
上述の線分画像又は輪郭画像は、オルソ変換を行わずに生成されている。すなわち、それらは基本的に中心投影画像における建物のエッジ又は輪郭を抽出したものとなっている。投影計算部８８は、デジタルカメラの焦点距離、主点位置等の内部標定要素を、ファイル８０から取り出し、また同じくファイル８０から外部標定要素として補正後のＧＰＳ／ＩＭＵデータを取得する。これら内部標定要素及び外部標定要素と、データベース９６の建物の既存三次元データとに基づいて投影計算が行われ、特徴点画像の元となる画像の撮影と同じ条件にて建物を撮影画像に投影（中心投影）した像（建物投影像）が生成される。ここで建物投影像とは、既存三次元データの座標値から投影計算により求めた座標値の集合である輪郭像である。
【００４４】
マッチング処理部９０は、既存三次元データに基づいて投影計算部８８にて求められた建物投影像と、上記線分画像又は輪郭画像とのマッチングを行い、マッチングの程度を示す数値として類似度を算出する。例えば、マッチング処理は、Hausdorff距離を用いたマッチング法を用いて行うことができる。変化検出部９２は、この類似度に基づいて、建物の形状変化を検出する。図８は、マッチング処理部９０、変化検出部９２における処理の概要を示す処理フロー図である。マッチング処理部９０は、建物投影像に現れる各建物ごとにマッチング処理を行う。まず、マッチング処理部９０は、建物投影像におけるマッチング処理の対象とする建物（判定対象建物）の輪郭像（対象投影像）と、線分画像又は輪郭画像において対象投影像と同じ領域に現れる線分又は輪郭（抽出撮影像）とを対比し、類似度Ｒを計算する（ステップＳ１００）。
【００４５】
変化検出部９２は、閾値αと類似度Ｒとの大小関係を判定する（ステップＳ１０２）。ここでαは、対象投影像と抽出撮影像とが一致するとみなし得る類似度に設定される。すなわち、変化検出部９２は、α≦Ｒである場合、判定対象建物と同じ形状の建物が地上の同じ位置に存在すると判断し、判定対象建物の形状について三次元データ取得時と今回の航空機２からの撮影時とで「変化なし」と判定し、この判定を変化検出結果としてファイル９４へ出力する（ステップＳ１０４）。
【００４６】
一方、α＞Ｒである場合には、マッチング処理部９０は周辺領域内の探索を行う（ステップＳ１０６）。ここでは、周辺領域は基本的に中心投影の投影方向に向って、つまり、投影中心から判定対象建物に向かう方位に沿って伸びる細長い領域のうち、判定対象建物の高さの変化に伴って変化する領域として設定される。マッチング処理部９０は、その設定された領域内にて判定対象建物に応じた大きさのマッチング対象領域を移動させ、再度、類似度を計算する（これを類似度Ｓとする）。変化検出部９２は、類似度Ｓと類似度Ｒとの差分値（Ｓ−Ｒ）と閾値ωとの大小関係を判定する（ステップＳ１０８）。ここでωは、建物の高さが変化したとみなし得る値に設定される。ω≦（Ｓ−Ｒ）である場合には、建物の高さに変化が生じたと判定し、当該判定結果をファイル９４へ出力する（ステップＳ１１０）。
【００４７】
一方、ω＞（Ｓ−Ｒ）すなわち周辺領域内での探索により差分値（Ｓ−Ｒ）がω以上となる抽出建物像が得られなかった場合（ステップＳ１０８）、変化検出部９２は閾値βと類似度Ｒとの大小関係を判定する（ステップＳ１１２）。ここでβは、対象投影像と抽出撮影像とが不一致であるとみなし得る類似度に設定される（α＞β）。すなわち、変化検出部９２は、β≦Ｒである場合、建物の平面形状に変化が生じたと判定し、当該判定結果をファイル９４へ出力する（ステップＳ１１４）。
【００４８】
一方、β＞Ｒである場合、変化検出部９２は判定対象建物の位置にはそれに相当する建物が存在しないと判定し、「該当建物なし」との判定を変化検出結果としてファイル９４へ出力する（ステップＳ１１６）。「該当建物なし」となる場合の具体的な例としては、建物が人為的に解体、破壊された場合や、地震等の災害の後においては倒壊した場合などが挙げられる。
【００４９】
なお、変化検出部９２において、類似度Ｓと類似度Ｒとの差分値（Ｓ−Ｒ）の代わりに比率Ｓ／Ｒを用いることも可能である。この場合には、閾値ωを建物の高さが変化したとみなし得る比率に適宜変更する。
【００５０】
図９〜図１１は変化検出部９２にて行われる上述した建物形状の変化の検出処理を説明する模式図である。図９は、水平方向から見た航空機２と建物等との位置関係、及び建物等の形状を示す模式図である。航空機２は上空から地物が存在する地表を撮影する。同図には、地物として建物１２０及び樹木１２２が示されている。図９（ａ）は、建物形状に変化がない場合であり、建物１２０ａは既存三次元データに登録された形状と同じ形状を維持している。これに対して、図９（ｂ）は建物の高さに変化があった場合であり、建物１２０ｂの高さは既存三次元データに登録された形状１２４より低くなっている。また、図９（ｃ）は、建物の平面形状が変化した場合であり、建物１２０ｃは既存三次元データに登録された形状１２４と比較して、水平面内での二次元形状が変化している。
【００５１】
図１０は、航空機２から伝送される特徴点画像を示す模式図である。同図（ａ）〜（ｃ）はそれぞれ図９（ａ）〜（ｃ）の各ケースに対応した図であり、特徴点として抽出されたエッジからなる、建物の中心投影像１２６及び樹木の中心投影像１３２が表されている。
【００５２】
また図１１は、既存三次元データから生成した建物の輪郭像（対象投影像）と、線分画像又は輪郭画像から抽出した建物の抽出撮影像とを示す模式図であり、同図（ａ）〜（ｃ）はそれぞれ図９（ａ）〜（ｃ）の各ケースに対応した図である。ここで、直線的に並ぶ特徴点群を含んでいない樹木の中心投影像１３２は、線分抽出部８６での処理により除去されている一方、直線的に並ぶ特徴点群からなる部分建物の中心投影像１２６に対応して抽出撮影像１４０が得られている。
【００５３】
さて、航空機２から斜め下方に位置する建物１２０の中心投影像には屋上だけでなく側面も現れ得る。具体的には、形状が変化しない場合の特徴点画像（図１０（ａ））の建物の中心投影像１２６ａには、建物の屋上１２８ａ及び側壁面１３０ａが現れている。ちなみにこの図の屋上１２８ａの形状に表されるように、この建物は本来、Ｌ字型の平面形状（二次元形状）を有している。
【００５４】
図１１（ａ）において実線で表す建物の抽出撮影像１４０ａは、特徴点画像（図１０（ａ））に現れる中心投影像１２６ａに応じた形状及び位置を有する。一方、図１１（ａ）において、既存三次元データから生成した対象投影像１４２は点線で表している。この場合のように建物の形状に変化がない場合には、抽出撮影像１４０ａと対象投影像１４２とは類似度Ｒが高くなり、変化検出部９２における類似度判定処理Ｓ１０２においてＲ≧αを満たし、変化なしと判定される（Ｓ１０４）。
【００５５】
次に、建物の高さが変化すると、中心投影像に現れる側面の中心投影の投影方向に沿った寸法が変化する。例えば、図９（ｂ）に示すように建物の高さが低くなった場合には、対応する特徴点画像（図１０（ｂ））の建物の中心投影像１２６ｂに現れる建物の側壁面１３０ｂは、投影方向（同図において横方向）の寸法が、図１０（ａ）に示す側壁面１３０ａより縮まる。また、屋上１２８ｂは、図１０（ａ）に示す屋上１２８ａと同じＬ字型の形状を保つが、その位置は、建物の高さが低くなった分、投影方向に沿って略平行移動する。このような関係にある形状相互は、移動距離が大きくなるにつれて類似度Ｒが低下する。そのため、高さが変化した建物の抽出撮影像１４０ｂと対象投影像１４２との類似度ＲはＲ＜αとなり得、その場合、マッチング処理部９０は周辺領域探索処理Ｓ１０６を行う。例えば、マッチング対象領域を図１１（ｂ）において左側にすると、当該マッチング対象領域から抽出される抽出撮影像１４０ｂの屋上形状と対象投影像１４２の屋上形状との間の平行移動距離を縮小したマッチング処理Ｓ１００が行われ、類似度Ｒが改善し得る。変化検出部９２は、周辺領域の探索により、類似度Ｓと類似度Ｒとの差分値（Ｓ−Ｒ）が閾値ω以上に上昇した場合、建物の高さが変化していると判定する（ステップＳ１１０）。また、差分値（Ｓ−Ｒ）が最大となるマッチング対象領域の移動距離に基づいて、建物の高さの変化量を推定することができる。
【００５６】
これに対して、建物の平面形状が変化した場合は、周辺領域探索を行っても類似度が大きく上昇することを期待し得る特別の理由はない。例えば、図１１（ｃ）に示す建物の抽出撮影像１４０ｃと対象投影像１４２とは、側壁面の形状及び位置は一致しているにもかかわらず、屋上１２８ｃの形状が変化したために、周辺領域探索処理Ｓ１０６によりマッチング対象領域を投影方向に沿って移動させても、差分値（Ｓ−Ｒ）は閾値ω未満となる。この場合、変化検出部９２は類似度Ｒと閾値βとの大小関係を判定する。β≦Ｒの場合には、高さ変化とは特定できないが何らかの形状の変化が生じたものと判定する（ステップＳ１１４）。
【００５７】
一方、β＞Ｒの場合は、図９〜図１１には示していないが、上述したように「該当建物なし」との判定がなされる（ステップＳ１１６）。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施形態に係る建物形状変化検出システムの概略構成を示す模式図である。
【図２】本発明の実施形態に係る建物形状変化検出システムの概略の処理の流れを示すフロー図である。
【図３】本システムの航空機に搭載される部分の概略の機能ブロック図である。
【図４】本システムの地上基地局に設けられる部分の概略の機能ブロック図である。
【図５】特徴点抽出処理部の出力として得られる特徴点画像の一例を示す模式図である。
【図６】図５の特徴点画像に対応して線分抽出部の出力として得られる線分画像の一例を示す模式図である。
【図７】図６に示す線分画像に対応して得られる輪郭画像の一例を示す模式図である。
【図８】マッチング処理部、変化検出部における処理の概要を示す処理フロー図である。
【図９】水平方向から見た航空機と建物等との位置関係、及び建物等の形状を示す模式図である。
【図１０】航空機から伝送される特徴点画像を示す模式図である。
【図１１】既存三次元データから生成した建物の対象投影像と、線分画像又は輪郭画像から抽出した建物の抽出撮影像とを示す模式図である。
【図１２】従来方法である航空画像同士の比較を行う方法を説明するフロー図である。
【図１３】従来方法であるオルソ画像の特徴点と建物ポリゴンデータとの比較を行う方法を説明するフロー図である。
【図１４】従来方法であるＤＳＭ同士の比較を行う方法を説明するフロー図である。
【符号の説明】
【００５９】
２ 航空機、４ ＧＰＳ衛星、６ 地上基地局、８ 基準局、４０ 計測部、４２ 撮像部、４４ ＧＰＳ／ＩＭＵ、４８ 特徴点抽出処理部、５０ 圧縮符号化処理部、５２ 送信処理部、５４ ストリーミング処理部、５６ 伝送データ変換処理部、５８ 送信部、７０ 受信処理部、７２ 受信部、７４ 復元データ変換処理部、７６ ストリーミング処理部、７８ 復元処理部、８２ ＧＰＳ／ＩＭＵデータ補正部、８４ 変化検出処理部、８６ 線分抽出部、８８ 投影計算部、９０ マッチング処理部、９２ 変化検出部。
【特許請求の範囲】
【請求項１】
飛行体上にて撮影した撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出ステップと、
予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成ステップと、
前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出ステップと、
を有することを特徴とする建物形状変化検出方法。
【請求項２】
飛行体から撮影地表画像を撮影する撮影ステップと、
前記飛行体上にて、前記撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出ステップと、
前記観測特徴点を表すデータを前記飛行体から地上基地局へ無線伝送するデータ伝送ステップと、
前記地上基地局にて、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成ステップと、
前記地上基地局にて、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出ステップと、
を有することを特徴とする建物形状変化検出方法。
【請求項３】
請求項１又は請求項２に記載の建物形状変化検出方法において、
前記観測特徴点抽出ステップは、デジタル画像である前記撮影地表画像にてエッジを構成する画素を前記観測特徴点として抽出し、
前記建物形状記録情報は、建物の三次元データを含み、
前記建物投影像生成ステップは、前記三次元データに基づいて前記建物の輪郭の投影像を生成し、
前記変化検出ステップは、前記撮影地表画像から抽出されたエッジと前記投影像とのマッチングに基づいて、前記建物の平面形状及び高さの変化を検出すること、
を特徴とする建物形状変化検出方法。
【請求項４】
請求項３に記載の建物形状変化検出方法において、
前記変化検出ステップは、前記建物投影像での前記建物の前記投影像と前記撮影地表画像における当該建物の像との、当該投影像に関する投影方向における位置の相違に基づいて、当該建物の高さの変化を検出すること、
を特徴とする建物形状変化検出方法。
【請求項５】
飛行体上にて撮影した撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出手段と、
予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成手段と、
前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出手段と、
を有することを特徴とする建物形状変化検出システム。
【請求項６】
飛行体から撮影地表画像を撮影する撮影手段と、
前記飛行体上にて、前記撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出手段と、
前記観測特徴点を表すデータを前記飛行体から地上基地局へ無線伝送するデータ伝送手段と、
前記地上基地局にて、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成手段と、
前記地上基地局にて、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出手段と、
を有することを特徴とする建物形状変化検出システム。
【請求項７】
請求項５又は請求項６に記載の建物形状変化検出システムにおいて、
前記観測特徴点抽出手段は、デジタル画像である前記撮影地表画像にてエッジを構成する画素を前記観測特徴点として抽出し、
前記建物形状記録情報は、建物の三次元データを含み、
前記建物投影像生成手段は、前記三次元データに基づいて前記建物の輪郭の投影像を生成し、
前記変化検出手段は、前記撮影地表画像から抽出されたエッジと前記投影像とのマッチングに基づいて、前記建物の平面形状及び高さの変化を検出すること、
を特徴とする建物形状変化検出システム。
【請求項８】
請求項７に記載の建物形状変化検出システムにおいて、
前記変化検出手段は、前記建物投影像での前記建物の前記投影像と前記撮影地表画像における当該建物の像との、当該投影像に関する投影方向における位置の相違に基づいて、当該建物の高さの変化を検出すること、
を特徴とする建物形状変化検出システム。
【請求項１】
飛行体上にて撮影した撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出ステップと、
予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成ステップと、
前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出ステップと、
を有することを特徴とする建物形状変化検出方法。
【請求項２】
飛行体から撮影地表画像を撮影する撮影ステップと、
前記飛行体上にて、前記撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出ステップと、
前記観測特徴点を表すデータを前記飛行体から地上基地局へ無線伝送するデータ伝送ステップと、
前記地上基地局にて、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成ステップと、
前記地上基地局にて、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出ステップと、
を有することを特徴とする建物形状変化検出方法。
【請求項３】
請求項１又は請求項２に記載の建物形状変化検出方法において、
前記観測特徴点抽出ステップは、デジタル画像である前記撮影地表画像にてエッジを構成する画素を前記観測特徴点として抽出し、
前記建物形状記録情報は、建物の三次元データを含み、
前記建物投影像生成ステップは、前記三次元データに基づいて前記建物の輪郭の投影像を生成し、
前記変化検出ステップは、前記撮影地表画像から抽出されたエッジと前記投影像とのマッチングに基づいて、前記建物の平面形状及び高さの変化を検出すること、
を特徴とする建物形状変化検出方法。
【請求項４】
請求項３に記載の建物形状変化検出方法において、
前記変化検出ステップは、前記建物投影像での前記建物の前記投影像と前記撮影地表画像における当該建物の像との、当該投影像に関する投影方向における位置の相違に基づいて、当該建物の高さの変化を検出すること、
を特徴とする建物形状変化検出方法。
【請求項５】
飛行体上にて撮影した撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出手段と、
予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成手段と、
前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出手段と、
を有することを特徴とする建物形状変化検出システム。
【請求項６】
飛行体から撮影地表画像を撮影する撮影手段と、
前記飛行体上にて、前記撮影地表画像から地物に対応する観測特徴点を抽出する観測特徴点抽出手段と、
前記観測特徴点を表すデータを前記飛行体から地上基地局へ無線伝送するデータ伝送手段と、
前記地上基地局にて、予め記憶されている建物形状記録情報及び前記撮影地表画像の撮影時における前記飛行体の飛行位置及び姿勢に基づいて投影計算を行い、前記飛行位置から見た建物投影像を生成する建物投影像生成手段と、
前記地上基地局にて、前記観測特徴点と前記建物投影像とを対比して、前記建物形状の変化を検出する変化検出手段と、
を有することを特徴とする建物形状変化検出システム。
【請求項７】
請求項５又は請求項６に記載の建物形状変化検出システムにおいて、
前記観測特徴点抽出手段は、デジタル画像である前記撮影地表画像にてエッジを構成する画素を前記観測特徴点として抽出し、
前記建物形状記録情報は、建物の三次元データを含み、
前記建物投影像生成手段は、前記三次元データに基づいて前記建物の輪郭の投影像を生成し、
前記変化検出手段は、前記撮影地表画像から抽出されたエッジと前記投影像とのマッチングに基づいて、前記建物の平面形状及び高さの変化を検出すること、
を特徴とする建物形状変化検出システム。
【請求項８】
請求項７に記載の建物形状変化検出システムにおいて、
前記変化検出手段は、前記建物投影像での前記建物の前記投影像と前記撮影地表画像における当該建物の像との、当該投影像に関する投影方向における位置の相違に基づいて、当該建物の高さの変化を検出すること、
を特徴とする建物形状変化検出システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００７−２４８３６４（Ｐ２００７−２４８３６４Ａ）
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願番号】特願２００６−７４６３９（Ｐ２００６−７４６３９）
【出願日】平成１８年３月１７日（２００６．３．１７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度、総務省、「次世代ＧＩＳの実用化に向けた情報通信技術の研究開発」委託研究、産業再生法第３０条の適用を受ける特許出願
【出願人】（０００１３５７７１）株式会社パスコ (102)
【Ｆターム（参考）】
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願日】平成１８年３月１７日（２００６．３．１７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度、総務省、「次世代ＧＩＳの実用化に向けた情報通信技術の研究開発」委託研究、産業再生法第３０条の適用を受ける特許出願
【出願人】（０００１３５７７１）株式会社パスコ (102)
【Ｆターム（参考）】
[ Back to top ]