空撮画像の位置合わせ装置およびプログラム
【課題】画像中の地物の濃淡の不変度が保証されない場合、事前にほぼ同一領域を撮影したデータを持っていない場合にも空撮画像の位置合わせを行える。
【解決手段】機体より所定の時間間隔で地表の空撮対象領域を撮影して空撮画像を得る画像空撮手段、その撮影時刻、位置、姿勢データを空撮情報として得る空撮情報検出手段、撮影時に空撮対象領域内を移動する特定車両に搭載され車両位置と位置取得時刻を得る現在位置記録手段、特定車両の屋根の色彩を入力保持する色彩入力手段、撮影ごとの空撮対象領域を空撮情報に基づく仮位置合わせ、その空撮画像から特定車両と同じ色彩の色彩物を検出、検出色彩物から同時刻の特定車両の位置に近い色彩物を算出、算出色彩物の位置と対応する特定車両の位置から仮位置合わせした空撮対象領域の位置を補正する位置合わせ計算手段を備える。
【解決手段】機体より所定の時間間隔で地表の空撮対象領域を撮影して空撮画像を得る画像空撮手段、その撮影時刻、位置、姿勢データを空撮情報として得る空撮情報検出手段、撮影時に空撮対象領域内を移動する特定車両に搭載され車両位置と位置取得時刻を得る現在位置記録手段、特定車両の屋根の色彩を入力保持する色彩入力手段、撮影ごとの空撮対象領域を空撮情報に基づく仮位置合わせ、その空撮画像から特定車両と同じ色彩の色彩物を検出、検出色彩物から同時刻の特定車両の位置に近い色彩物を算出、算出色彩物の位置と対応する特定車両の位置から仮位置合わせした空撮対象領域の位置を補正する位置合わせ計算手段を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、航空機などから地表を撮影した画像を得て、空撮画像の撮影対象領域を緯度・経度で把握するという位置合わせの作業を効率化する空撮画像の位置合わせ装置およびプログラムに関するものである。
【背景技術】
【０００２】
航空機などから地表を撮影した空撮画像には、地表を撮影した光学的な色彩画像および地表の位置・高度情報を記録した電波高度画像などがある。取得された空撮画像は、これを処理して名称、等高線などの他の情報を加えた地図などを作成するのに用いられている。また、空撮画像は、過去に撮影された参照用空撮画像や地図と比較することにより、撮影対象領域の地物（地形ないし物体）の変化の判別に用いられている。地物の変化としては、建造物や道路の生成・消滅、河川の氾濫を含むくぼ地の生成・消滅、がけ崩れを含む一定傾斜斜面の生成・消滅、海岸線や湖岸線の移動等がある。これは、高度情報を記録した電波高度画像の場合でも同様である。
このように、空撮画像をもって地図作成の原材料とし、あるいは地物の変化を求めるためには、前提として、空撮画像の位置が厳密に判明している必要がある。そのため、空撮画像の位置を空撮画像の四隅の緯度・経度として求め、空撮画像の内部の位置を四隅の位置からの内分比で求めることが行なわれている。
【０００３】
従来の空撮画像の位置合わせ技術では、過去の該当地区の精密に位置の判明している空撮画像ないし地図を参照画像とし、これに対し、今回撮影した空撮画像の位置を、航空機や人工衛星の飛行軌跡情報、カメラやセンサの地軸に対する傾きの情報などを基にして位置合わせを行なうが、そのままの結果では位置精度に誤差がある。この空撮画像の位置精度の誤差をなくす、あるいは最小限に抑えるために、測量の際には、地上に位置を厳密に測定した対空標識を設置して位置合わせの基準とする方法がある（例えば非特許文献１参照）。しかし、測量を意図して準備した測定以外の場合、特に災害が発生した後の地上の撮影においては、このような位置合わせ用の対空標識は被写体である地上には設定されない。また、緊急出動するヘリコプターなどでは、測量用の航空機と違ってカメラを厳密に鉛直下向きに設定することが困難で、またカメラの傾きの情報などにも誤差が出やすい。
【０００４】
また、空撮画像の位置合わせを自動化する技術も開発されており（例えば非特許文献２、３参照）、これらの非特許文献の技術に共通するのは、おおよその位置合わせの後に、画像の濃淡あるいはスペクトル差により得られるパターンを基にして、空撮画像と参照用空撮画像との間の共通のパターンを探索し、共通のパターンが得られる場所を基にして位置合わせをすることである。
また、空撮画像同士の位置合わせにおいて、空撮画像から抽出した特徴点と過去の空撮画像上の特徴点との対応付けを基に位置合わせを行う技術（例えば特許文献１参照）、また空撮画像同士の位置合わせにおいて、空撮画像から抽出される色彩領域が過去の空撮画像上の色彩領域と対応付けられるという性質をもとに位置合わせを行う技術がある（例えば特許文献２参照）。しかし、これらは、いずれも同一特徴の表れる画像が用意できる、いいかえればほぼ同じ領域を複数回撮影できる場合にのみ有効となる方法である。
【０００５】
また、ＧＰＳを利用した技術として、ＧＰＳで得た精密な位置を利用して、地図原画像、すなわち空撮画像の位置合わせを行なう手法がある（例えば特許文献３参照）。しかし、この方法はＧＰＳ受信機を設置する位置を人間が意図をもって選択することを前提としていて、空撮画像からＧＰＳ受信機の設置場所を自動的に決定する方法については開示していない。
また、空撮画像としてレーダ撮影で得た高度を記録した電波画像を対象として、地上の地物において、その位置・高度をＧＰＳなどの測位手段で記録し、この地物の位置・高度により電波画像の位置合わせを行なう方法がある（例えば特許文献４参照）。しかし、この方法は、地物の位置を、精密な位置が記録されている地図上におくことにより可能となったものであり、電波画像自体から測位手段で記録されている位置を特定する方法については開示していない。
【０００６】
一方、地物の変化を判別する過程を人間の目視能力によらずに自動的に行う方法が発明されている。その一つは、建造物や自然物等の物体が存在する地域の空撮画像からエッジ画像を生成し、生成したエッジ画像毎に当該画像全体に対する存在確度を算出すると共に、存在確度が一定値以下となるエッジ画像を当該撮影画像の該当領域から除去し、物体の日照に影響される影成分が削除された前処理画像を生成する画像処理技術である（例えば特許文献５参照）。
また他例として、同一地域に対し時間を置いて上空から撮影した新旧画像間を用意し、上記新旧画像の夫々から第１の画像変換手法により第１及び第２の変換画像を求め、該第１及び第２の変換画像を比較し、変化領域と推定されるデータを有する第１の２値化画像を求め、上記新旧画像の夫々から第２の画像変換手法により第３及び第４の変換画像を求め、該第３及び第４の変換画像を比較し、変化領域と推定されるデータを有する第２の２値化画像を求め、上記第１の２値化画像を所定画素数からなる複数の画素領域に分割し、夫々の画素領域中の領域変化を示す画素数を求め、該画素数をしきい値と比較して第３の２値化画像を求め、上記第２の２値化画像を所定画素数からなる複数の画素領域に分割し、夫々の画素領域中の領域変化を示す画素数を求め、該画素数をしきい値と比較して第４の２値化画像を求め、上記第３及び第４の２値化画像に基づいて上記新旧画像間の変化領域を特定する画像データ処理方法がある（例えば特許文献６参照）。この特許文献６における地物変化の検出手法においては、新旧の該当地域を撮影した画像を正確に位置合わせしてから、その後に地表変化を検出する必要があるが、この際の位置合わせの手法については、同一縮尺の平行移動のみで位置合わせをすることのみを示しており、手作業で位置合わせを行うことを前提として記述されている。
【０００７】
【特許文献１】特開２００４−１５１２７８号公報
【特許文献２】特開平５−１８１４１１号公報
【特許文献３】特開２０００−２９８４３０号公報
【特許文献４】特開２００４−３３３４４５公報
【特許文献５】特開平１０−３１２４６６号公報
【特許文献６】特開２００１−１０９８７２号公報
【非特許文献１】国土交通省公共測量作業規定、国土交通省大臣官房技術調査課監修、社団法人 日本測量協会、平成１４年６月６日、第３章 空中写真測量、第１節 要旨、第９８条、Ｐ．４３
【非特許文献２】李、佐藤、村上(産総研)「マルチモーダル画像位置合わせアルゴリズムをもちいたロバストな自動システムの構築に向けて」、リモートセンシング学会第４０回学術講演会、２００６年５月
【非特許文献３】萩原、瀬戸、吉光（日立）、賀来（資源・環境観測解析センター）「異種スペクトル間画像レジストレーションアルゴリズムの開発」、電子情報通信学会技術研究所報告（信学技報）ＳＡＮＥ９５−７，１９９５年５月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
以上のような従来の空撮画像の位置合わせ技術によれば、事前に精密な位置を測定した対空標識の設置がない場合、画像同士から画像の濃淡や色彩の変化、特徴などを捉えて位置合わせを行なうが、市街地における建物や交差点のように画像の濃淡や色彩が周囲とは際立っていて不変である場合、あるいは角や直線のような特徴点や特徴ある線分が抽出される場合、事前にほぼ同一領域を撮影して特徴を予め把握している場合を除いては自動位置合わせが困難であった。
また、従来の空撮画像の位置合わせ技術においては、地上の地物の位置の測定をＧＰＳ装置などで精密に行なった場合でも、該当の地物を空撮画像から直接抽出することはできず、事前に用意されているほぼ同一領域の地図などに頼らざるをえないという問題があった。
【０００９】
この発明は、上記問題点を解決するためになされたもので、空撮画像の位置合わせを、画像中の地物の濃淡の不変度が保証されない場合、また事前にほぼ同一領域を撮影したデータを持っていない場合にも行えるようにする空撮画像の位置合わせ装置およびそのプログラムを得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る空撮画像の位置合わせ装置は、上空を移動する機体に搭載され、光学的カメラにより所定の時間間隔で地表の空撮対象領域を撮影してそれぞれの空撮画像を得る画像空撮手段と、機体に搭載され、画像空撮手段による撮影の時刻、その時のカメラの位置、カメラの姿勢データを空撮情報として検出する空撮情報検出手段と、画像空撮手段による撮影時に空撮対象領域内を移動する特定車両に搭載され、当該特定車両の現在位置と当該位置の取得時刻を取得し車両の位置情報として順次記録する現在位置記録手段と、特定車両の屋根の色彩を含む色彩情報を予め入力保持する色彩入力手段と、画像空撮手段で撮影時刻ごとに得られる空撮画像の空撮対象領域について空撮情報検出手段で取得された空撮情報に基づいて仮位置合わせを行い、仮位置合わせされた空撮画像の中から色彩情報に基づいて特定車両と同じ色彩を持つ色彩物を検出し、当該色彩物の位置の中から車両の位置情報の同時刻に対応する特定車両の位置に近い色彩物の位置を算出し、当該算出された色彩物の位置とこれに対応する特定車両の位置に基づいて仮位置合わせされた空撮対象領域の位置を補正する位置合わせ計算手段を備えたものである。
【発明の効果】
【００１１】
この発明によれば、撮影した空撮画像中の地物の濃淡の不変度が保証されない場合、また事前にほぼ同一領域を撮影したデータを持っていない場合にも空撮画像の位置合わせを自動的に、精度よく行うことができる。
【発明を実施するための最良の形態】
【００１２】
実施の形態１．
図１は、この発明の実施の形態１による空撮画像の位置合わせ装置の機能構成を示すブロック図である。
この空撮画像の位置合わせ装置は、空撮画像の位置を、被写体中の特定の色彩の物体（車両の屋根）から位置合わせするもので、そのため、航空機１００、車両（特定車両）２００および位置合わせ計算手段３００に分かれた処理構成を持つ。
航空機１００内には、画像空撮手段１０１、空撮画像メモリ１０２、空撮情報検出手段１０３、空撮情報メモリ１０４が備えられている。
画像空撮手段１０１は、例えば地上を可視光領域で撮影するデジタルカメラを有し、地上を所定の時間間隔で撮影してそれぞれの空撮画像を得て、付属の空撮画像メモリ１０２に格納する手段である。空撮画像メモリ１０２内では、画像は画素ごとに、三原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分に分解して保持される。空撮情報検出手段１０３は、例えばＧＰＳ受信機とジャイロ姿勢制御装置を組み合わせたものであり、画像空撮手段１０１で撮影した時刻、その時のカメラの位置（緯度・経度）およびカメラの姿勢データを検出し、これらの時刻、位置、カメラの姿勢データを空撮情報として付属の空撮情報メモリ１０４に格納する手段である。なお、カメラの姿勢データは、図３で後述するカメラの視線傾き角、視線方向角および撮影範囲角などである。
【００１３】
車両２００は屋根の色が原則的に一色である自動車で、その中には、現在位置記録手段２０１、現在位置メモリ２０２、色彩入力手段２０３、色彩メモリ２０４が備えられている。
現在位置記録手段２０１は、例えばＧＰＳ受信機であり、車両２００に設置され車両の現在位置（緯度・経度）と当該位置の取得時刻を検出し、これらの位置と時刻を車両の位置情報とし付属の順次現在位置メモリ２０２に記録する手段である。色彩入力手段２０３は、例えばデジタルカメラであり、該当の車両２００の屋根を視野いっぱいに撮影し、該当車両の屋根の色彩を含むデジタルの色彩情報を取得し予め付属の色彩メモリ２０４に格納する手段である。
【００１４】
位置合わせ計算手段３００は、例えば汎用のコンピュータ、入出力装置、記憶装置および位置合わせプログラムから構成することができるもので、機能構成として空撮画像メモリ１０２Ａ、空撮情報メモリ１０４Ａ、現在位置メモリ２０２Ａ、色彩メモリ２０４Ａ、時刻同期手段３０１、仮位置合わせ手段３０２、画像表示手段３０３、色彩物検出手段３０４、車両位置決定手段３０５、精密位置合わせ手段３０６、色彩決定手段３１１を備えている。
空撮画像メモリ１０２Ａ、空撮情報メモリ１０４Ａ、現在位置メモリ２０２Ａ、色彩メモリ２０４Ａは、航空機１００側および車両２００側にある同名称のメモリ内のデータを移して格納するメモリである。仮位置合わせ手段３０２は、空撮情報検出手段１０３で得られた空撮情報に含まれる空撮画像の取得位置とカメラの姿勢データに基づいて、対応する空撮対象領域の四隅の位置を算出する手段である。色彩決定手段３１１は、色彩入力手段２０３で得られた色彩情報に基づいて色彩ベクトルの分布の平均値をとることにより車両２００の色彩範囲を決定する手段である。色彩物検出手段３０４は、仮位置合わせされた空撮画像の中から車両２００の色彩範囲と同じ色彩物をそれぞれ検出する手段である。車両位置決定手段３０５は、色彩物検出手段３０４で検出された色彩物の位置の中から車両の位置情報に対応する時刻の車両２００の位置に近いと想定される色彩物の位置を空撮画像上の特定車両の位置と決定する手段である。精密位置合わせ手段３０６は、車両位置決定手段３０５で決定された空撮画像上の特定車両の位置と対応する時刻の車両２００の位置に基づいて、仮位置合わせ手段３０２で仮位置合わせされた空撮対象領域の四隅の位置を補正する手段である。
【００１５】
図２から図１０は、後述する空撮画像の位置合わせ装置の一連の動作説明で引用する図である。
図２は、航空機１００が空中を進路方向５００に飛行しながら地表の空撮対象領域５０１の範囲を空撮する状況を模式的に表わす。この空撮対象領域５０１の一部分を拡大したものが空撮対象領域部分５０１Ｂである。この空撮対象領域部分５０１Ｂには、この発明の一要素である車両２００と、一般の非該当車両２１０が走行している様子が描かれている。
【００１６】
図３は、航空機１００、進路方向５００、空撮対象領域５０１などを、地上の緯度・経度で表わされる地理座標空間５１０と対応させて示している。図において、地理座標空間５１０は緯度軸（Ｕ軸）、経度軸（Ｖ軸）からなる。５１１はカメラからの鉛直ベクトルであり、航空機１００内の画像空撮手段１０１であるカメラ位置Ｐから鉛直下向きに伸びている。点Ｑは、カメラからの鉛直ベクトル５１１の地表と交わる「足」である。５１２は、カメラ位置Ｐからの視線ベクトルである。ωは、視線傾き角であって、カメラからの鉛直ベクトル５１１とカメラの視線ベクトル５１２のなす角を表わす。φは視線方向角であって、カメラの視線ベクトル５１２の地上への投影が進路方向５００となす角を表わす。ρは、撮影範囲角であって、カメラの撮影範囲に入る限界（視野線）を進路方向５００にとった場合の視野線とカメラの視線ベクトル５１２のなす角であり、カメラによって定まる定数であるが、空撮情報検出手段１０３から出力される。なお、ここでは撮影範囲角ρは、進路方向５００の右側、左側、後側へも適用されるとして、一般性を失わない。ｈは、対地高度であり、カメラ位置Ｐと点Ｑとの距離を表わす。
【００１７】
図４は、空撮対象領域５０１などとカメラの撮影範囲角ρの対応関係を示しており、図４（ａ）は、カメラの視線ベクトル５１２が鉛直下向きの場合の空撮範囲の想定図である。５０１Ｂは、視線が鉛直下向きの場合の鉛直撮影時の空撮対象領域であり、地上において、撮影範囲角ρで区切られた、紙面に向かって左上端点Ａ、右上端点Ｂ、左下端点Ｃ、右下端点Ｄの四隅を持つ正方形領域である。図４（ｂ）は、カメラの視線ベクトル５１２が進路方向５００に向かって、視線傾き角ωだけ前方に傾いている場合の想定図である。５０１は、撮影時の空撮対象領域であり、撮影範囲で区切られた、紙面に向かって左上端点Ｅ、右上端点Ｆ、左下端点Ｇ、右下端点Ｈの四隅を持つ台形領域となる。
【００１８】
図５は、空撮対象領域５０１を地理座標空間５１０上で表している。空撮対象領域５０１は、図４に示した空撮対象領域を再び示したものであるが、ここでは地理座標空間５１０において、進路方向５００は、緯度方向（Ｕ軸）に対して、視線方向角φの傾きを持っていることを表している。空撮対象領域５０１において、四隅の端点Ｅ，Ｆ，Ｇ，Ｈはそれぞれ図４（ｂ）に対応した端点である。
【００１９】
図６は、表示座標空間５０３と地理座標空間５１０の対応関係を示している。図６（ａ）は、表示画素数が水平のＳ軸、垂直のＴ軸とも１０００である表示座標空間５０３において、空撮対象領域５０１が画像表示手段３０３上に表示されている様子を示している。空撮対象領域５０１において、進路方向５００に対して、紙面に向かって左上端点がＥ、右上端点がＦ、左下端点がＧ、右下端点がＨである。Ｒは、空撮対象領域５０１内の任意の着目点であり、表示座標空間５０３において、Ｓ軸の値がＲｓ、Ｔ軸の値がＲｔであることを示している。図６（ｂ）は、地理座標空間５１０上の空撮対象領域５０１を示したものであり、図６（ａ）に対応した符号が付されて表されている。
【００２０】
図７は、色彩決定手段３１１で用いられる色彩決定の原理を示している。図７（ａ）は、三次元色彩空間６００を表しており、３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各成分は、値が０から最大値（例えば２５５）で構成される。その色彩空間中で、ある色彩を表わす色彩ベクトル６０１はＣ（ｒ０，ｇ０，ｂ０）として定義される。図７（ｂ）は、ニ次元色彩空間６００Ａを表しており、ここでは色彩ベクトル６０１は、説明を簡単化するために赤（Ｒ）、緑（Ｇ）成分のみで表されている。
【００２１】
図８は、画像表示手段３０３の表示画面上に表示された空撮画像の例を示している。画像表示手段３０３の表示画面上には、右向きをＳ軸、上向きをＴ軸とした表示座標空間５０３が表示されている。ここでは、進路方向５００は原則としてＴ軸方向に合わせている。空撮対象領域５０１内には、車両候補Ａと、車両候補Ｂの画像が表示されている。また、５０６Ａは画像処理的に求められた車両候補Ａの重心で、５０６Ｂは同様に画像処理的に求められた車両候補Ｂの重心である。なお、後述するが車両候補Ｂは車両２００ではない非該当車両とする。
【００２２】
図９は、画像表示手段３０３の表示画面上に表示された車両候補位置とその誤差の例を示す。図９には、図８と同様に、表示画面上で右向きをＳ軸、上向きをＴ軸とした表示座標空間５０３が表示されており、進路方向５００は原則としてＴ軸方向に合わせている。空撮対象領域５０１内には、画像処理的に求められた、車両候補Ａの重心５０６Ａと車両候補Ｂの重心５０６Ｂが表示されている。また表示画面上には、車両候補現在位置５１８が表示されている。この車両候補現在位置５１８は、現在位置記録手段２０１で得た位置を基に車両２００の現在の位置を算出したものである。
【００２３】
図１０は、上記図９で表示された状態から微小時間経過後における車両候補位置とその誤差の例を示す。図１０は、図９と同様にして示している。車両候補Ａ重心５０６Ａは、微小時間（例：１秒）経過後には後時刻車両候補Ａ重心５２６Ａとして表示され、車両候補Ｂ重心５０６Ｂは、微小時間経過後には後時刻車両候補Ｂ重心５２６Ｂとして表示されている。また、車両候補現在位置５１８に対応して、微小時間経過後には車両候補後時刻位置５２８が表示されている。
【００２４】
次に動作について説明する。
進路方向５００に飛行する航空機１００に搭載された画像空撮手段１０１は、地上の空撮対象領域５０１を撮影すると、撮影した画像を、進路方向５００を画面上部とするデジタル画像（空撮画像）にして画像メモリ１０２に蓄える。現行の技術では、地上解像度として例えば１画素４０ｃｍの撮影が行なわれている。さらに微小時間（例：１秒）経過後に再び撮影を行なう。ところで、空撮対象領域５０１内にあり被写体となる車両２００として普通乗用車を例にとると、その屋根の寸法は、おおむね幅が１２０〜１５０ｃｍ、長さが１８０ｃｍ〜２５０ｃｍである。そこで、車両２００の屋根の幅を１２０ｃｍ、長さを１８０ｃｍとした場合、屋根は空撮画像においては、３×４＝１２画素程度で表わされる。また、屋根の幅を１５０ｃｍ、長さを２５０ｃｍとした場合、屋根は４×６＝２４画素程度で表わされる。
【００２５】
空撮情報検出手段１０３では、航空機１００からの撮影の時刻を協定世界時ＵＴＣとして取得し、画像空撮手段１０１の撮影時における位置（緯度・経度・対地高度）をＧＰＳ受信機によって取得し、空撮情報メモリ１０４に格納する。また、ジャイロ姿勢制御装置により、画像空撮手段１０１のカメラの視線傾き角ω、視線方向角φを検出し、またカメラ固有の定数として撮影範囲角ρを出力し、あわせて空撮情報として付属の空撮情報メモリ１０４に格納する。
ここで、カメラの視線傾き角ωは、カメラの視線ベクトル５１２が鉛直下向きより進路方向５００に向けて傾いている角度である。視線方向角φは、進路方向５００が緯度の増加方向（真北）から水平方向に傾いている角度である。また、撮影範囲角ρは、カメラにより定まる定数であり、カメラの視線ベクトル５１２に対し、撮影範囲を定める角度である。画像空撮手段１０１による空撮は、微小時間（例：１秒）間隔で行なわれるものとする。
【００２６】
一方、車両２００内において、現在位置記録手段２０１は、ＧＰＳ受信機によって、走行中の車両の位置・時刻を検出して車両の位置情報として付属の現在位置メモリ２０２に格納していく。この場合の現在位置記録手段２０１で取得する時刻は、協定世界時ＵＴＣとしており、画像空撮手段１０１の時刻と厳密に同期する。また、車両２００には、デジタルカメラを用いた色彩入力手段２０３があり、車両の屋根を視野の大部分に入れて撮影することにより、車両２００の屋根の色彩をデジタルカメラのメモリからなる色彩メモリ２０４に格納する。ここで、車両２００の屋根の色彩を単色と限定することは本技術の有効性を失わせない。現在位置の記録は、微小時間（例：１秒）間隔で行なうものとする。
【００２７】
位置合わせ計算手段３００においては、航空機１００での撮影後、取得された空撮画像は空撮画像メモリ１０２から空撮画像メモリ１０２Ａに移され、また空撮情報は空撮情報メモリ１０４から空撮情報メモリ１０４Ａに移される。さらに、航空機１００による撮影と同時刻に走行していた車両２００で取得された現在位置情報は現在位置メモリ２０２から現在位置メモリ２０２Ａに移される。また、色彩情報については、撮影後または事前に色彩メモリ２０４から色彩メモリ２０４Ａに移される。
【００２８】
仮位置合わせ手段３０２では、空撮情報メモリ１０４Ａ内の空撮情報に基づいて、空撮画像メモリ１０２Ａ内にある空撮画像の空撮対象領域５０１の四隅の緯度・経度などを、ある程度の誤差を許容して算出する仮位置合わせを行なう。この仮位置合わせ手段３０２の具体的な処理について図３〜図６を用いて説明する。なお、この仮位置合わせは、空撮情報メモリ１０４Ａ内の時刻情報を基に、ある時刻ｔ１で行ない、次に微小時間後の時刻ｔ２で行なう。この時刻ｔ１、ｔ２は時刻同期手段３０１を通して現在位置メモリ２０２Ａに伝えられる。
図３において、点Ｐをカメラ位置として、地上に鉛直線を降ろした足を点Ｑとする。一般に画像空撮手段１０１はカメラの視線方向ベクトル５１２を鉛直下向きに保持するよう試みるが、実際には航空機１００の飛行姿勢や、画像空撮手段１０１を鉛直に保持する機構の誤差などで、カメラからの鉛直ベクトル５１１に対して、カメラの視線傾き角ωを持つ。なお、ここでは、カメラの視線傾き角ωは進路方向５００の方向のみに対して存在するとして以後の話を進めるが、カメラの視線傾きが進路５００以外に向かっている場合にも類似の幾何計算が適用されるので一般性を失わない。ここで、カメラの視線方向ベクトル５１２が大地と交わる点をＲとする。線分ＱＲの緯度方向となす角を視線方向角φとする。
【００２９】
空撮対象領域５０１の四隅の地理座標（緯度・経度）の推定であるが、説明の順序として、まず視線傾き角ωの値が０の場合、すなわち、視線が鉛直下向きの場合を図４（ａ）により説明する。
画像空撮手段１０１の特性として、被写体が映りこまれる範囲を、画面上方向、下方向、左方向、右方向に対して、おのおの撮影範囲角ρの正方形の範囲とする。前述のように、紙面上方向は、航空機１００の進路方向５００である。航空機１００の対地高度をｈとし、点Ｑを航空機１００の位置の鉛直下向きの線が地上（対地高度０）上の点、すなわち「足」とすると、足Ｑから上端までの距離＝足Ｑから下端までの距離＝足Ｑから右端までの距離＝足Ｑから左端までの距離であり、この距離をｉとおくと、式（１）が成り立つ。
ｉ＝ｈ×ｔａｎρ （１）
【００３０】
次に、視線傾き角ωが、図３にあるように進路方向５００に対して存在する場合を説明する。図４（ｂ）において、地面（対地高度＝０)で作られる空撮対象領域５０１の、紙面に向かって左上端をＥ、右上端をＦ、左下端をＧ、右下端をＨとし、右をｘ軸の正方向、上（航空機の進路方向５００）をｙ軸の正方向とする。足Ｑから上端までの距離をｋ、足Ｑから下端までの距離をｌとおくと、（２）、（３）式が成り立つ。
ｋ＝ｈ×ｔａｎ（ρ＋ω） （２）
ｌ＝ｈ×ｔａｎ（ρ−ω） （３）
また、足Ｑを通るｙ軸から左上端Ｅまでの距離をｍ、右上端Ｆまでの距離をｎとおくと、（４）、（５）式が成り立つ。
ｍ＝ｈ×ｔａｎρ／ｃｏｓ（ρ＋ω） （４）
ｎ＝ｈ×ｔａｎρ／ｃｏｓ（ρ−ω） （５）
【００３１】
ところで、図３にあるように、カメラの視線方向ベクトル５１２は地理座標空間５１０に対して視線方向角φを持っている。したがって、図５に示すように、空撮対象領域５０１は、地理座標空間５１０に対して、ある傾きのある形状を持っている。そこで、カメラの視線の上方（進路方向５００）が、緯度・経度をおのおの軸Ｕ・軸Ｖ方向とする座標で、視線方向角φを持っているとすると、足Ｑから左上端Ｅまでの緯度方向の差ｅｕ、経度方向の差ｅｖは（６）、（７）式のようになる。
ｅｕ＝ｋ×ｃｏｓφ＋ｍ×ｓｉｎφ （６）
ｅｖ＝−ｋ×ｓｉｎφ＋ｍ×ｃｏｓφ （７）
足Ｑの緯度・経度の値をＱ（Ｑｕ，Ｑｖ)とするとき、点Ｅの緯度・経度の値Ｅ（Ｅｕ，Ｅｖ）は、（８）、（９）式のようになる。
Ｅｕ＝Ｑｕ＋ｅｕ （８）
Ｅｖ＝Ｑｖ＋ｅｖ （９）
この（８）、（９）式を（２）〜（５）式を用いて展開すると、（１０）、（１１）式のようになる。
Ｅｕ＝Ｑｕ＋ｈ×｛ｔａｎ（ρ＋ω）×ｃｏｓφ＋ｔａｎρ／ｃｏｓ（ρ＋ω）×ｓｉｎφ｝ （１０）
Ｅｖ＝Ｑｖ−ｈ×｛ｔａｎ（ρ＋ω）×ｓｉｎφ＋ｔａｎρ／ｃｏｓ（ρ＋ω）×ｃｏｓφ｝ （１１）
Ｆ，Ｇ，Ｈの緯度・経度も（１０）、（１１）式と同様にして求めることができる。これにより、仮位置合わせ手段３０２は空撮対称領域５０１の地理座標空間５１０に対する仮位置合わせを達成する。この結果の、誤差を含みつつも、地理座標が付された仮位置合わせ後の空撮画像は、空撮画像メモリ１０２Ａに入力され保持される。
【００３２】
位置合わせ計算手段３００において、空撮画像メモリ１０２Ａの内容は、画像表示手段３０３に表示される。画像表示手段３０３は、仮位置合わせされた空撮画像を図６（ａ）に示されるように、画面上、進路方向５００を上にして表示する。ここで、空撮画像メモリ１０２Ａ内の空撮画像の左上端Ｅの座標を（０，１０００）、右上端Ｆの座標を（１０００，１０００）、左下Ｇの座標を（０，０）、右下Ｈの座標を（１０００，０）とする。この範囲内の任意の着目点Ｒの座標を（Ｒｓ，Ｒｔ）とする。ここで、水平に着目点Ｒを通る線を引き、画面左枠との交点をＩ、右枠との交点をＪとし、また垂直に着目点Ｒを通る線を引き、画面上枠との交点をＫ、下枠との交点をＬとする。
交点Ｉの位置を緯度Ｉｕ・経度Ｉｖとして求めると（１２）、（１３）式のようになる。
Ｉｕ＝Ｇｕ＋Ｒｔ×（Ｅｕ−Ｇｕ）／１０００ （１２）
Ｉｖ＝Ｇｖ＋Ｒｔ×（Ｅｖ−Ｇｖ）／１０００ （１３）
同様に、交点Ｊ、Ｋ、Ｌの緯度・経度もそれぞれ下記の各式のように求めることができる。
Ｊｕ＝Ｈｕ＋Ｒｔ×（Ｆｕ−Ｈｕ）／１０００ （１４）
Ｊｖ＝Ｈｖ＋Ｒｔ×（Ｆｖ−Ｈｖ）／１０００ （１５）
Ｋｕ＝Ｅｕ＋Ｒｓ×（Ｆｕ−Ｅｕ）／１０００ （１６）
Ｋｖ＝Ｅｖ＋Ｒｓ×（Ｆｖ−Ｅｖ）／１０００ （１７）
Ｌｕ＝Ｇｕ＋Ｒｓ×（Ｈｕ−Ｇｕ）／１０００ （１８）
Ｌｖ＝Ｇｖ＋Ｒｓ×（Ｈｖ−Ｇｖ）／１０００ （１９）
よって、着目点Ｒ（Ｒｓ，Ｒｔ）の位置は、線分Ｉ−Ｊと線分Ｋ−Ｌの交点として求めることができる。
【００３３】
以上の図３〜図６を用いた説明に示されるように、仮位置合わせ手段３０２を用いることにより、ある程度の誤差を含みつつも、空撮画像メモリ１０２Ａ内の空撮画像は、画像表示手段３０３において、その位置を表示座標空間５０３上で表わすことができ、また地理座標空間５１０上で表すことができ、これらの値は計算によりに相互に変換できるものとなる。なお、この説明は任意の時刻に適用できるものであり、したがって、ある時刻ｔ１と、微小時間Δｔ後の時刻ｔ２の仮位置合わせ各々に適用できる。
【００３４】
次に、空撮画像メモリ１０２Ａ内の仮位置合わせされた空撮画像から、車両２００を検出する処理があるが、その説明の前に、画像表示手段３０３上の車両２００の色彩範囲を色彩決定手段３１１で決定する処理があるので、この処理について説明する。
色彩メモリ２０４Ａ内の被写体のほとんどは車両２００の単色の屋根である。一般に色彩メモリ２０４Ａ内の被写体の色彩は、画素ごとに図７（ａ）の三次元色彩空間６００内の色彩ベクトル６０１で表わされ、色彩の３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）成分でＣ（ｒ，ｇ，ｂ）として表わす。したがって、色彩メモリ２０４Ａ内の車両の屋根の色彩を含む色彩情報を色彩決定手段３１１に入力して、色彩ベクトル６０１の分布の平均値をとることにより、車両２００の色彩はＣ０（ｒ０，ｇ０，ｂ０）のように表わされる。また、ばらつきの範囲として、α１、α２を定数として、
ｒ＜ｒ０−α１＝ｒ１、かつ ｒ０＋α２＝ｒ２＜ｒ （２０）
の範囲を該当車両２００の色彩ベクトルの赤（Ｒ）成分の範囲とし、同様に、
ｇ＜ｇ０−α１＝ｇ１、かつ ｇ０＋α２＝ｇ２＜ｇ （２１）
ｂ＜ｂ０−α１＝ｂ１、かつ ｂ０＋α２＝ｂ２＜ｂ （２２）
を、該当車両２００の色彩ベクトルの緑（Ｇ）成分と青成分（Ｂ）の範囲とする。
【００３５】
また、このｒ，ｇ，ｂの範囲ではベクトルの向きで表現される色相に差が出るので、β、γ１、γ２を定数として、
ｔａｎγ＜ｔａｎ（ｒ０／ｇ０−β）＝ｔａｎγ１、かつ ｔａｎ（ｒ０／ｇ０＋β）＝ｔａｎγ２＜ｔａｎγ （２３）
という制限を設け、また同様にｂ０／ｒ０、ｇ０／ｂ０の値についても
ｔａｎγ＜ｔａｎ（ｂ０／ｒ０−β）＝ｔａｎγ１、かつ ｔａｎ（ｂ０／ｒ０＋β）＝ｔａｎγ２＜ｔａｎγ （２４）
ｔａｎγ＜ｔａｎ（ｇ０／ｂ０−β）＝ｔａｎγ１、かつ ｔａｎ（ｇ０／ｂ０＋β）＝ｔａｎγ２＜ｔａｎγ （２５）
という制限を設けて、
論理式＝式（２０）、かつ式（２１）、かつ式（２２）、かつ式（２３）、かつ式（２４）、かつ式（２５） （２６）
において、論理式（２６）が成り立つ範囲内の色彩ベクトルを該当車両２００の屋根の色と定義する。
以上のようにして色彩決定手段３１１では、画素の色ベクトルに対して、該当車両２００の屋根の色とすべき色彩ベクトル６０１の範囲を決定する。
【００３６】
色彩物検出手段３０４では、空撮画像メモリ１０２Ａ内の仮位置合わせされた空撮画像の中から車両２００と同じ色彩範囲を持つ色彩物を検出する処理を行う。この処理について説明する。
時刻同期手段３０１で指定された時刻（ｔ１ないしｔ２）の空撮画像が空撮画像メモリ１０２Ａから色彩物検出手段３０４に出力される。色彩物検出手段３０４では、画素単位に論理式（２６）を適用し、成り立つ範囲の画素の値を１（黒）、成り立たない範囲の画素の値を０（白）とする。この結果、図８に示すように、該当の色の車両２００を構成するところは値１の画素が集まる。そこで、画像処理上の画素に関するノイズの影響をなくすため、この値１の画素を上下左右、斜め上下左右の８近傍を連結して車両候補Ａとする。なお、色彩物検出手段３０４は、現在位置記録手段２０１を持たないため、同じ色彩を持つ非該当車両があった場合でも同様の処理をするので、車両候補Ｂも得られることになる。次に、車両候補Ａ，Ｂについて、画像処理的に、その上下の中心、左右の中心をとって、車両候補Ａ，Ｂの重心５０６Ａ，５０６Ｂを得る。図９に示すように、この車両候補Ａ重心５０６Ａの表示座標空間５０３上の位置を基に、地理座標空間５１０上の位置を仮位置合わせ手段３０２で合わせて、緯度・経度を（Ａｕ，Ａｖ）とする。同様に車両候補Ｂ重心５０５Ｂの表示座標空間５０３上の位置を基に、地理座標空間５１０上の位置を合わせて、緯度・経度を（Ｂｕ，Ｂｖ）とする。
【００３７】
次に、車両位置決定手段３０５により、表示座標５０３上の車両２００の位置を決定する。
もともと車両２００の位置は、現在位置記録手段２０１で、緯度・経度座標で記録されており、位置合わせ計算手段３００内では現在位置メモリ２０２Ａに地理座標空間５１０上の緯度・経度として記録されている。車両位置決定手段３０５では、時刻同期手段３０１を通して同期をとった時刻（ｔ１ないしｔ２）における車両２００の位置を現在位置メモリ２０２Ａ内から探索し、この位置に車両２００を表わす記号を付けて、図９のように、画像表示手段３０３上に車両候補現在位置５１８として、すでに表示されている車両候補Ａ，Ｂの重心５０６Ａ，５０６Ｂと共に表示する。
【００３８】
さまざまな要因により、同一車両２００に対しても、車両候補Ａ重心５０６Ａと車両候補現在位置５１８とは重ならないことが多い。この理由は、空撮情報検出手段１０３の検出精度、現在位置記録手段２０１の検出精度の双方に誤差が含まれているためである。この誤差について考察すると、車両２００の位置の精度は、車両候補現在位置５１８においては、現在位置記録手段２０１の精度にのみ由来するが、現在位置記録手段２０１では、車両の走行程度の移動物体に対する位置の精度を、既出のＧＰＳ装置に対して次の手段で補正することができる。その手段としては、いわゆるディファレンシャルＧＰＳ装置などの地上のＧＰＳ基地局との交信で行なう手段、車速パルスやジャイロによる補正を行なう手段、地図上を車両が走行していることを前提として現在位置を道路上にもってくるマップマッチング手段などがある。これらを適用することで、現在の技術水準で５ｍ程度以内の誤差を達成している。
【００３９】
これに対し、航空機１００からの計測を基にした車両候補Ａ重心５０６Ａの場合、空撮情報検出手段１０３を構成するＧＰＳ装置の誤差、慣性航法装置の誤差、カメラの光軸と計測装置との角度の誤差、さらには地表面の対地高度を０として計算してきたことに対し、実際の空撮対象領域５０１の四隅や車両２００の高度が、対地高度の基準からずれていることからの誤差、色彩決定手段３１１での色彩抽出の誤差などがある。したがって、車両位置決定手段３０５においては、車両２００に由来する車両候補現在位置５１８を地理座標空間５１０上の正しい位置とみなし、航空機１００に由来する車両候補Ａ重心５０６Ａを誤差があるものとして扱う。ただし、画像上は車両候補Ａ重心５０６Ａが実際の車両２００を表示座標空間５０３上で表わしているものとみなす。
【００４０】
図８、図９では説明の簡略化のため、空撮対象領域５０１内の特定の車両２００が１台で、非対象車両も１台とした例を示したが、実際には複数の特定車両、複数の非対象車両が存在することもあるので、これに対処するために複数時点の車両位置を用いて、車両位置決定手段３０５は車両２００の位置を決定する。
なお、時速３６０ｋｍの航空機は１秒に移動するのは１００ｍ、時速３６ｋｍの車両は１秒に移動するのは１０ｍであり、１秒ごとに空撮を行なえば、航空機と車両とが逆方向に移動していたとしても離れる距離は１２０ｍであり、空撮対象領域のかなりの部分を重ねることができる。したがって、複数時点として、微小時間Δｔの間隔を１秒ないし２秒とおいた空撮画像を用いることは実用上問題がない。また、ヘリコプターを車両とほぼ同期して飛行させるという使い方では、空撮対象領域は車両の速度に応じて変化するので問題がない。
【００４１】
車両位置決定手段３０５は、時刻ｔ１において、図１０のように、車両候補Ａ重心５０６Ａ、車両候補Ｂ重心５０６Ｂ、車両候補現在位置５１８を画像表示手段３０３に表示すると共に、その時刻ｔ１から微小時間後の時刻ｔ２における後時刻車両候補Ａ重心５２６Ａ、後時刻車両候補Ｂ重心５２６Ｂ、車両候補後時刻位置５２８を表示する。なお、時刻ｔ２においては、空撮対象領域５０１も移動しているが、これは元の時刻ｔ１の空撮対象領域５０１に合わせて表示するものとする。このとき、車両候補現在位置５１８からは、車両候補Ａ重心５０６Ａ、車両候補Ｂ重心５０６Ｂがほぼ等しい距離にあり、どちらが本来の車両２００の位置であるか判定できにくくなる。その場合でも、時刻ｔ２の表示の場合、車両候補後時刻位置５２８からの車両候補Ａ重心５２６Ａ、車両候補Ｂ重心５２６Ｂの距離を判定した場合、距離の近い後時刻車両候補Ａ重心５２６Ａ側を該当車両２００とみなすことができる。このように、移動している車両２００の移動情報を用いることにより、車両位置決定手段３０５は該当車両２００を識別することができる。
【００４２】
さらに、空撮対象領域５０１内に現在位置記録手段２０１を持った複数の車両２００がいる場合には、前述の処理で１台ごとに該当車両の位置を確定させたあと、全車両候補走行位置の重心をもって仮想的な車両の走行位置とし、全車両の車両候補Ａ重心をもって仮想的な車両候補の重心とする。
以上の処理により、車両位置決定手段３０５は、車両２００の地理座標空間５１０上の位置と表示座標空間５０３上との位置を決定する。
なお、車両候補現在位置５１８より一定の距離のしきい値以内に車両候補重心が見出されない場合は、次に示す精密位置合わせ手段３０６による補正を行なわず、仮位置合わせ手段３０２の値を位置合わせに用い、「位置補正なし」との付加情報をつけて出力する。
【００４３】
次に、精密位置合わせ手段３０６では、図９に示すように、表示座標空間５０３上の該当車両の車両候補Ａ重心５０６Ａの位置を地理座標空間５１０で表わした時の座標値（Ａｕ，Ａｖ）を正として、車両候補現在位置５１８を地理座標空間５１０で表わした時の座標値（Ｚｕ，Ｚｖ）を、誤差があるものとして補正する。具体的には、空撮対象領域５０１の四隅、すなわち左上端Ｅ、右上端Ｆ、左下端Ｇ、右下端Ｈの地理座標空間５１０による座標を、各々、仮位置合わせ手段３０２で得たものに対して（Ａｕ−Ｚｕ，Ａｖ−Ｚｖ）を加えることによって補正して、精密な位置座標を得る。
【００４４】
このようにして、位置合わせ計算手段３００は、画像空撮手段１０１が撮影した空撮対象領域５０１の四隅の座標を、空撮情報検出手段１０３から算出される地理座標空間５１０上の位置を基にして、車両２００の現在位置記録手段２０１が指し示す位置で補正して出力するものである。空撮対象領域５０１の四隅の座標が算出されれば、空撮対象領域５０１内の任意の着目点Ｒの座標が、図６で説明される補間方式により再度、位置合わせ後の座標値によって算出されるので、該当空撮対象領域５０１全体について、位置が確定し、位置合わせが終了する。
【００４５】
以上のように、この実施の形態１によれば、仮位置合わせ手段３０２により、空撮情報検出手段１０３で得られた空撮情報に含まれる空撮画像の取得位置とカメラの姿勢データに基づいて、対応する空撮対象領域の位置を算出する仮位置合わせを行い、色彩決定手段３１１で、色彩入力手段２０３から入力された色彩情報に基づいて色彩ベクトルの分布の平均値をとることにより特定車両２００の色彩範囲を決定し、色彩物検出手段３０４で、仮位置合わせされた空撮画像の中から特定車両２００の色彩範囲と同じ色彩物を検出し、車両位置決定手段３０５において、色彩物検出手段３０４で検出された色彩物の位置の中から現在位置記録手段２０１の車両の位置情報にある対応する時刻の特定車両の位置に近いと想定される色彩物の位置を空撮画像上の特定車両の位置と決定し、当該決定された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置に基づいて、上記仮位置合わせされた空撮対象領域の四隅の位置を補正するようにしている。したがって、空撮画像中の地物の濃淡の不変度が保証されない場合、また事前にほぼ同一領域を撮影したデータを持っていない場合にも空撮画像の位置合わせを精度よく行うことができる。
上記例では、空撮画像の位置を地理座標上で確定する位置合わせまでを説明してきた。この位置合わせ後の画像については、地図ないし既存の過去の位置合わせ済み空撮画像などと隣接して表示し、あるいは重畳して表示することにより、地図補正の原材料とすることや、地表の変化を求めるという技術に応用することが可能である。
【００４６】
なお、上記例では、画像空撮手段１０１は航空機に搭載しているとして説明してきたが、この画像空撮手段１０１は人工衛星などの上空を移動する移動体に搭載したものであってもよい。また、例えば車両に気球を搭載して移動し、車両上ないし車両脇の停車地から気球を打ち上げて空撮を行なうようにしたものであってもよい。
また、上記例では、現在位置記録手段２０１は地上を走行する車両に搭載していると説明してきたが、代わって、移動する人物、落下させたパラシュート、航行する船舶に保持または搭載してもよい。あるいは、位置が固定している建物あるいは電子基準点でもよい。ただし、撮影した画像で該当の色彩の画素が複数並ぶように、人物やパラシュートの場合は特定の色彩の板、布などを広げるように設定するとよい。また、建物の場合は、同一色の屋根が相当広い面積を占めるため、該当色彩物の重心を求めるだけでは位置の誤差が生じる可能性がある。そのため、現在位置メモリ２０２に、例えば建物の北端の位置と色彩を格納し、色彩物検出手段３０４としては該当の色彩領域の北端の位置を検出するように構成することが有効である。
【００４７】
また、上記例では、色彩入力手段２０３は該当の車両２００を撮影した画像を用いるとして説明してきたが、これに代わって、事前に車両の塗料見本の画像を入力すること、あるいは事前に車両の塗料の情報などをもとに数値的に色彩ベクトルの範囲を入力することも可能である。また、色彩決定手段３１１は可視スペクトル内の色彩ベクトルから該当車両を色彩により判別するとして説明したが、空撮の際に車両の屋根の色に合わせた特定スペクトルでの撮影を行なうことも可能である。
また、上記例では、車両２００の屋根の色は単色として説明してきたが、類似の屋根の色を持つ車両との区別を明瞭にするため、大型トラックの幌などを２色に塗り分け、該当の２色を色彩物検出手段３０４で検出するように構成してもよい。
また、上記例では、色彩情報を取得するのは自車両の屋根のみとして説明してきたが、車両２００の屋根に、他の車両の屋根乃至地面を撮影するデジタルカメラをおき、当該カメラの中央部に映る他の物体（車両の屋根乃至地面）の色彩を記録し、また当該カメラの視線方向を車両上のジャイロなどで記録することにより、デジタルカメラの中央部に映る物体の位置を推測することにより、車両の前後の色彩物を基にした位置計測を行なって、精密位置合わせの精度を上げることができる。
【００４８】
また、上記例では、地上の位置は移動する車両の位置を用いるために、画像空撮手段１０１と車両の現在位置記録手段２０１との時刻の同期を条件として説明してきた。前述のように、地上の位置を時刻変動のない建物の屋根をもとに求めることも可能である。この場合、該当の建物の位置の把握は空撮より前に行なったものでもよい。また、空撮の後、画像表示手段３０３に表示されている建物や特異な色彩の物体を見つけて、そこへＧＰＳ受信機などを持参して位置を把握してもよい。
また、上記例では、航空機１００で得た空撮画像メモリ１０２と空撮情報メモリ１０４の内容を、それぞれ位置合わせ計算手段３００内の同機能のメモリ１０２Ａ，１０４Ａに移し、また車両で得た現在位置メモリ２０２、色彩メモリ２０４の内容を位置合わせ計算手段内３００の同機能のメモリ２０２Ａ，２０４Ａに移し、その上で位置合わせを行なうと説明してきた。この構成に対して、航空機１００の取得情報を直接無線で位置合わせ計算手段３００に送るようにしてもよく、そうすれば航空機側における空撮画像メモリ１０２や空撮情報メモリ１０４を省略することができる。同様に、車両２００の取得情報も直接無線で位置合わせ計算手段３００に送るようにすれば、車両側の現在位置メモリ２０２や色彩メモリ２０４も省略することができる。
【００４９】
実施の形態２．
この実施の形態２では、センサから電波（レーザ光を含む）を地上に照射し、地上の反射波から得られる電波画像を空撮画像（以下、空撮電波画像とする）に生成し、この空撮電波画像の空撮対称領域の位置を、被写体中の地物の三次元形状を基に位置合わせする空撮画像の位置合わせ装置について説明する。
図１１は、この発明の実施の形態２による空撮画像の位置合わせ装置の機能構成を示すブロック図である。図において、図１に相当する機能部分には同一符号を付す。
航空機１００内には、空撮情報検出手段１０３、空撮情報メモリ１０４、電波画像空撮手段１１１、空撮電波画像メモリ１１２、電波画像位置決め手段１１５が備えられている。
電波画像空撮手段１１１は、上空を移動する機体に搭載され、レーザレーダ（ＬＩＤＡＲとも称する）や干渉合成開口レーダ（ＩＳＡＲとも称する）などのセンサにより所定の時間間隔で電波を照射して地表の空撮対象領域を撮影して地表の位置・高度を含むそれぞれの空撮電波画像を得る手段である。空撮情報検出手段１０３は、上記実施の形態１と同様で、電波画像空撮手段１１１による撮影の時刻、その時のセンサの位置（緯度・経度）およびセンサの姿勢データを取得し空撮情報として付属の空撮情報メモリ１０４に格納すると共に、空撮情報を電波画像位置決め手段１１５にも与える手段である。電波画像位置決め手段１１５は、電波画像空撮手段１１１で取得した空撮電波画像に対して、空撮情報検出手段１０３の空撮情報に基づいて、地上の地点の緯度、経度、標高の座標で位置決めした空撮電波画像を生成して付属の空撮電波画像メモリ１１２へ格納する手段である。
【００５０】
車両２００内には、現在位置記録手段２０１、現在位置メモリ２０２、三次元地上計測手段２１３、地上形状メモリ２１４、地上形状位置決め手段２１５が備えられている。
現在位置記録手段２０１および現在位置メモリ２０２は、上記実施の形態１と同じ機能を持つ。なお、現在位置記録手段２０１は、記録した車両の位置情報を地上形状位置決め手段２１５にも与える。三次元地上計測手段２１３は、車両２００に搭載した例えばレーザ距離計で、車両２００と当該車両の側面にある道路、斜面、建物の壁面などの地物の三次元形状物との距離を計測し車両側方計測情報（距離データ）として取得する手段である。地上形状位置決め手段２１５は、現在位置記録手段２０１の車両の位置情報と三次元地上計測手段２１３の車両側方計測情報に基づいて、車両位置の取得時刻に対応して車両１００の側面方向に存在する地上形状物である地物の位置・標高・地物度合い判定値を算出し、地上形状位置情報として付属の地上形状メモリ２１４に格納する手段である。ここで、地上形状位置決め手段２１５は、地上形状位置情報として、車両の側面から照射されレーザの反射点の座標（ｕ，ｖ，ｔ、ｆ）（ｕは緯度、ｖは経度、ｔは標高、ｆはフラグ）を算出するが、反射点が垂直の壁面上にあった場合、同一の緯度・経度に異なる標高の点が重なるので、反射点の座標としては最大の標高の点のみ出力し、地物度合い判定値としてフラグをｆ＝１と設定する。また、レーザの到達範囲は限界があるので、その限界点に達しても反射がない場合は、該当限界点を反射点とみなし、反射点の標高を車両２００の標高より低いと判断し、車両自身の標高値を限界点の標高として出力し、フラグをｆ＝−１と設定する。また、これらの二つの場合を除いた反射点のフラグをｆ＝０と設定する。
【００５１】
位置合わせ計算手段３００は、例えば汎用のコンピュータ、入出力装置、記憶装置および位置合わせプログラムから構成することができるもので、空撮情報メモリ１０４Ａ、空撮電波画像メモリ１１２Ａ、現在位置メモリ２０２Ａ、地上形状メモリ２１４Ａ、時刻同期手段３０１、仮位置合わせ手段３０２、画像表示手段３０３、車両位置決定手段３０５、精密位置合わせ手段３０６を備えている。
空撮情報メモリ１０４Ａ、空撮電波画像メモリ１１２Ａ、現在位置メモリ２０２Ａ、地上形状メモリ２１４Ａは、航空機１００側および車両２００側にある同名称のメモリ内のデータを移して格納するメモリである。
仮位置合わせ手段３０２は、実施の形態１の場合と同様で、空撮情報検出手段１０３で得られた空撮情報に含まれる空撮電波画像の取得位置とセンサの姿勢データに基づいて、対応する空撮対象領域の四隅の位置を算出する仮位置合わせを行う手段である。車両位置決定手段３０５は、地上形状位置決め手段２１５で算出された地上形状位置情報に含まれる地物の標高と仮位置合わせされた空撮電波画像上における地上の地点の標高との差が最小となる場合の地物の位置を空撮電波画像上の特定車両の位置と決定する手段である。精密位置合わせ手段３０６は、車両位置決定手段３０５で決定された空撮画像上の特定車両の位置と対応する時刻の車両２００の位置に基づいて、仮位置合わせされた空撮対象領域の四隅の位置を補正する手段である。
【００５２】
図１２はこの発明の実施の形態２に係る三次元形状空間を表す模式図である。
図１２（ａ）は、航空機１００から得られる三次元形状空間７００の例であり、地上を二次元平面とみなしておかれた仮想格子７０１の上に、電波画像位置決め手段１１５で生成された高度に応じた空撮電波画像上の点７０２を表している。これら空撮電波画像の点７０２の位置は、座標（Ｕ，Ｖ，Ｔ）（Ｕは緯度、Ｖは経度、Ｔは標高）で表わされる。一方、図１２（ｂ）は、車両２００から得られる三次元形状空間７００の例であり、車両の側面の鉛直状に広がる二次元平面におかれた仮想格子７０１の上に、地上形状位置決め手段２１５で得られた車両からの距離に応じた地上形状の点７１２が存在している様子を表している。これら地上形状の点７１２の位置は、フラグを含み、座標（ｕ，ｖ，ｔ，ｆ）（ｕは緯度、ｖは経度、ｔは標高，ｆはフラグ）で表わされる。フラグｆ＝１は、該当の地上形状の点７１２の標高が、与えられた標高以上であることを示し、フラグｆ＝−１は、該当の地上形状の点７１２の標高が、与えられた標高以下であることを示し、またフラグｆ＝０は、該当の地上形状の点７１２の標高が、与えられた標高値そのものであることを示す。
【００５３】
次に、動作について説明する。
電波画像空撮手段１１１は、進路方向５００に進む航空機１００に搭載されていて地上の空撮対象領域５０１を撮影し、進路方向５００を画面上部とする三次元デジタルの電波画像を取得する。現行の技術では、地上における水平方向の間隔として例えば４０ｃｍ、鉛直方向の解像度として１０ｃｍの三次元データが得られる。この三次元データに対して、水平方向の絶対値を、実施の形態１と同様に空撮情報検出手段１０３により取得し、電波画像位置決め手段１１５で位置決めすることにより、図１２（ａ）に示すような空撮電波画像の点７０２の集まりを得て、これを空撮電波画像メモリ１１２に格納する。
【００５４】
位置合わせ計算手段３００において、航空機１００における撮影後、空撮電波画像が空撮電波画像メモリ１１２から空撮電波画像メモリ１１２Ａに移され、また空撮情報が空撮情報メモリ１０４から空撮情報メモリ１０４Ａに移される。
次に、仮位置合わせ手段３０２では、時刻同期手段３０１の指示する時刻に従って、空撮情報メモリ１０４Ａの空撮情報に含まれる空撮画像の取得位置とセンサの姿勢データに基づいて、空撮電波画像メモリ１１２Ａ内にある空撮電波画像の空撮対象領域５０１の四隅の位置（緯度・経度）を、ある程度の誤差を許容して算出する仮位置合わせを行う。仮位置合わせ手段３０２内の詳細な処理は、実施の形態１の場合と同様であるので、ここでは説明を省略する。この結果の、誤差を含みつつも、地理座標が付された空撮電波画像は、空撮電波画像メモリ１１２Ａに入力され保持される。
【００５５】
一方、車両２００内においては、現在位置記録手段２０１が、実施の形態１と同様にＧＰＳ受信機によって、走行中の車両の位置・時刻を検出し車両の位置情報として現在位置メモリ２０２に格納する。三次元地上計測手段２１３では、車両２００の側面方向にレーザを照射し、その反射波から車両２００の側面ある建物の壁面や崖など三次元形状の地物との距離を測定し車両側方計測情報として地上形状位置決め手段２１５に出力する。この測定結果は三次元地上計測手段２１３からの相対値である。そのため、地上形状位置決め手段２１５では、車両側方計測情報に対して現在位置記録手段２０１で取得された車両の位置情報（緯度・経度）を加え、車両２００の側面方向の各測定距離の地理座標上における位置を算出する。また、この際に、三次元形状の地物がどのようなレベルのものであるかを判定し、フラグで表す地物度合い判定値を算出する。結果、図１２（ｂ）に示すような地上形状の点７１２の集まり（地物の位置・標高・地物度合い判定値からなる地上形状位置情報）を収集して、これを地上形状メモリ２１４に格納する。
車両２００の走行後に、この地上形状メモリ２１４の内容は位置合わせ計算手段３００側の地上形状メモリ２１４Ａに移されて保持され、また、現在位置メモリ２０２から車両の位置情報も現在位置メモリ２０２Ａに移されて保持される。
【００５６】
次に、位置合わせ計算手段３００内において、車両位置決定手段３０５は、地上形状メモリ２１４Ａに格納されている地上形状位置情報に含まれる地物度合い判定値に応じた地物の標高と空撮電波画像メモリ１１２Ａに格納されている空撮電波画像上における地上の地点の標高との差が最小となる場合の地物の位置を空撮電波画像上の特定車両の位置として求める。具体的には、時刻同期手段３０１の指示する時刻について、地上形状メモリ２１４Ａ内にある地上形状の点７１２の集合が、空撮電波画像メモリ１１２Ａ内のどこに相当するかを検出する。この処理を行うのは、実施の形態１で説明したように、航空機１００側からの計測の誤差により、同じ地理座標を用いていても、空撮電波画像メモリ１１２Ａ内の空撮電波画像の点７０２と地上形状の点７１２が重ならないからである。
【００５７】
もとより、図１２に示された空撮電波画像の点７０２は緯度・経度的に離散的に存在し、地上形状の点７１２も緯度・経度的に離散的に存在する。そのため、車両位置決定手段３０５では、まず、緯度・経度上の誤差がないと仮定して、地上形状の点７１２のある緯度・経度における空撮電波画像の標高を、地上形状の点７１２を囲む空撮電波画像の点７０２からの内分比で算出する。ただし、地上形状の点７１２の標高の範囲は限られていることに鑑み、算出された値が地上形状の点７１２のフラグがｆ＝１ないしｆ＝−１のときは、地上形状の点７１２の標高を空撮電波画像の該当点の標高とする。車両位置決定手段３０５では、この計算を、地上形状メモリ２１４Ａ上の各点で行い、空撮電波画像の点７０２の標高と三次元形状空間７００の標高の差の平均二乗誤差を求める。この平均二乗誤差を最小にする位置（ただし、複数あるときは、もとの位置にもっとも近い位置）をもって、車両２００の位置と空撮電波画像の位置とを確定させる。時刻同期手段３０１により、この処理を時刻ｔ１、ｔ２、…について行なうことにより、車両２００の位置を精度よく算出することができる。
【００５８】
精密位置合わせ手段３０６は、実施の形態１と同様に、車両位置決定手段３０５で決定された空撮画像上の特定車両の位置と対応する時刻の車両２００の位置に基づいて、仮位置合わせされた空撮対象領域の四隅の位置を補正し、精密な位置座標を得る。
以上のようにして、位置合わせ計算手段３００は、電波画像空撮手段１１１で撮影した空撮対象領域５０１の四隅の座標を、空撮情報検出手段１０３から算出される地理座標空間５１０上の位置を基にして、車両２００の現在位置記録手段２０１が指し示す位置で補正して出力する。空撮対象領域５０１の四隅の座標が算出されれば、実施の形態１と同様に、空撮対象領域５０１内の任意の着目点Ｒの座標が、図６で説明される補間方式により再度、位置合わせ後の座標値によって算出されるので、該当空撮対象領域５０１全体について、位置が確定し、位置合わせは終了する。
【００５９】
以上のように、この実施の形態２によれば、位置合わせ計算手段３００内において、仮位置合わせ手段３０２により、空撮情報検出手段１０３で得られた空撮情報に含まれる空撮電波画像の取得位置とセンサの姿勢データに基づいて、対応する空撮対象領域の四隅の位置を算出する仮位置合わせを行い、車両位置決定手段３０５により、地上形状位置決め手段２１５で算出された地上形状位置情報に含まれる地物度合い判定値に応じた地物の標高と仮位置合わせされた空撮電波画像上における地上の地点の標高との差が最小となる場合の地物の位置を空撮電波画像上の特定車両の位置として算出し、精密位置合わせ手段３０６で、上記算出された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置に基づいて、前記仮位置合わせされた空撮対象領域の四隅の位置を補正するようにしたので、実施の形態１と同様、空撮電波画像中の地物の濃淡の不変度が保証されない場合、また事前にほぼ同一領域を撮影したデータを持っていない場合にも空撮電波画像の位置合わせを精度よく行うことができる。
上記例では、空撮電波画像の位置を地理座標上で確定する位置合わせまでを説明してきた。この位置合わせ後の画像については、地図ないし既存の過去の位置合わせ済み空撮電波画像などと隣接して表示し、あるいは重畳して表示することにより、地図補正の原材料とすることや、地表の変化を求めるという技術に応用することが可能である。
【００６０】
なお、上記例では、電波画像空撮手段１１１は航空機に搭載しているとして説明してきたが、この電波画像空撮手段１１１は人工衛星などの上空を移動する移動体に搭載したものであってもよい。また、例えば車両に気球を搭載して移動し、車両上ないし車両脇の停車地から気球を打ち上げて空撮を行なうようにしたものであってもよい。
また、上記例では、現在位置記録手段２０１は地上を走行する車両に搭載していると説明してきたが、代わって、移動する人物、落下させたパラシュート、航行する船舶に保持または搭載してもよい。あるいは、位置が固定している建物あるいは電子基準点でもよい。
【００６１】
また、上記例では、航空機１００で得た空撮電波画像メモリ１１２と空撮情報メモリ１０４の内容を、それぞれ位置合わせ計算手段３００内の同機能のメモリ１１２Ａ，１０４Ａに移し、また車両で得た現在位置メモリ２０２、地上形状メモリ２１４の内容を、それぞれ位置合わせ計算手段３００内の同機能のメモリ２０２Ａ，２１４Ａに移し、その上で位置合わせを行なうと説明してきた。この構成に対して、無線で直接航空機１００から取得情報を位置合わせ計算手段３００に送るようにしてもよく、そうすれば航空機側における空撮電波画像メモリ１１２や空撮情報メモリ１０４を省略することができる。同様に、取得情報を無線で車両から位置合わせ計算手段３００に送るようにすれば、車両側の現在位置メモリ２０２や地上形状メモリ２１４も省略することができる。
【図面の簡単な説明】
【００６２】
【図１】この発明の実施の形態１による空撮画像の位置合わせ装置の機能構成を示すブロック図である。
【図２】この発明の実施の形態１に係る空撮状況を表わす模式図である。
【図３】同実施の形態１に係る航空機、進路、空撮対象領域などを地理座標空間に対応させて表した模式図である。
【図４】同実施の形態１に係る空撮の撮影対象領域などとカメラの撮影範囲角の対応関係を示す説明図である。
【図５】同実施の形態１に係る空撮の撮影対象領域を地理座標空間上に示す説明図である。
【図６】同実施の形態１に係る仮位置合わせ後の空撮画像の表示座標空間と地理座標空間の対応関係を示す説明図である。
【図７】同実施の形態１に係る色彩決定手段で用いられる色彩決定の原理を示す説明図である。
【図８】同実施の形態１に係る画像表示手段に表示された空撮画像の例である。
【図９】同実施の形態１に係る画像表示手段に表示された車両候補位置とその誤差の例を示す説明図である。
【図１０】図９の状態から微小時間経過後における車両候補位置とその誤差の例を示す説明図である。
【図１１】この発明の実施の形態２による空撮画像の位置合わせ装置の機能構成を示すブロック図である。
【図１２】この発明の実施の形態２に係る三次元形状空間を表す模式図である。
【符号の説明】
【００６３】
１００ 航空機、１０１ 画像空撮手段、１０２，１０２Ａ 空撮画像メモリ、１０３ 空撮情報検出手段、１０４，１０４Ａ 空撮情報メモリ、１１１ 電波画像空撮手段、１１２，１１２Ａ 空撮電波画像メモリ、１１５ 電波画像位置決め手段、２００ 車両、２０１ 現在位置記録手段、２０２，２０２Ａ 現在位置メモリ、２０３ 色彩入力手段、２０４，２０４Ａ 色彩メモリ、２１０ 非該当車両、２１３ 三次元地上計測手段、２１４，２１４Ａ 地上形状メモリ、２１５ 地上形状位置決め手段、３００ 位置合わせ計算手段、３０１ 時刻同期手段、３０２ 仮位置合わせ手段、３０３ 画像表示手段、３０４ 色彩物検出手段、３０５ 車両位置決定手段、３０６ 精密位置合わせ手段、３１１ 色彩決定手段、５００ 進路方向、５０１ 空撮対象領域、５０１Ｂ 空撮対象領域部分、５０３表示座標空間、５０６Ａ 車両候補Ａ重心、５０６Ｂ 車両候補Ｂ重心、５１０ 地理座標空間、５１１ カメラからの鉛直ベクトル、５１２ カメラの視線ベクトル、５１８ 車両候補現在位置、５２６Ａ 後時刻車両候補Ａ重心、５２６Ｂ 後時刻車両候補Ｂ重心、５２８ 車両候補後時刻位置、６００ 三次元色彩空間、６００Ａ 二次元色彩空間、６０１ 色彩ベクトル、７００ 三次元形状空間、７０１ 仮想格子、７０２ 空撮電波画像の点、７１２ 地上形状の点、Ａ，Ｂ 車両候補、ω 視線傾き角、φ 視線方向角、ρ 撮影範囲角、ｈ 対地高度、Ｒ 着目点。
【技術分野】
【０００１】
この発明は、航空機などから地表を撮影した画像を得て、空撮画像の撮影対象領域を緯度・経度で把握するという位置合わせの作業を効率化する空撮画像の位置合わせ装置およびプログラムに関するものである。
【背景技術】
【０００２】
航空機などから地表を撮影した空撮画像には、地表を撮影した光学的な色彩画像および地表の位置・高度情報を記録した電波高度画像などがある。取得された空撮画像は、これを処理して名称、等高線などの他の情報を加えた地図などを作成するのに用いられている。また、空撮画像は、過去に撮影された参照用空撮画像や地図と比較することにより、撮影対象領域の地物（地形ないし物体）の変化の判別に用いられている。地物の変化としては、建造物や道路の生成・消滅、河川の氾濫を含むくぼ地の生成・消滅、がけ崩れを含む一定傾斜斜面の生成・消滅、海岸線や湖岸線の移動等がある。これは、高度情報を記録した電波高度画像の場合でも同様である。
このように、空撮画像をもって地図作成の原材料とし、あるいは地物の変化を求めるためには、前提として、空撮画像の位置が厳密に判明している必要がある。そのため、空撮画像の位置を空撮画像の四隅の緯度・経度として求め、空撮画像の内部の位置を四隅の位置からの内分比で求めることが行なわれている。
【０００３】
従来の空撮画像の位置合わせ技術では、過去の該当地区の精密に位置の判明している空撮画像ないし地図を参照画像とし、これに対し、今回撮影した空撮画像の位置を、航空機や人工衛星の飛行軌跡情報、カメラやセンサの地軸に対する傾きの情報などを基にして位置合わせを行なうが、そのままの結果では位置精度に誤差がある。この空撮画像の位置精度の誤差をなくす、あるいは最小限に抑えるために、測量の際には、地上に位置を厳密に測定した対空標識を設置して位置合わせの基準とする方法がある（例えば非特許文献１参照）。しかし、測量を意図して準備した測定以外の場合、特に災害が発生した後の地上の撮影においては、このような位置合わせ用の対空標識は被写体である地上には設定されない。また、緊急出動するヘリコプターなどでは、測量用の航空機と違ってカメラを厳密に鉛直下向きに設定することが困難で、またカメラの傾きの情報などにも誤差が出やすい。
【０００４】
また、空撮画像の位置合わせを自動化する技術も開発されており（例えば非特許文献２、３参照）、これらの非特許文献の技術に共通するのは、おおよその位置合わせの後に、画像の濃淡あるいはスペクトル差により得られるパターンを基にして、空撮画像と参照用空撮画像との間の共通のパターンを探索し、共通のパターンが得られる場所を基にして位置合わせをすることである。
また、空撮画像同士の位置合わせにおいて、空撮画像から抽出した特徴点と過去の空撮画像上の特徴点との対応付けを基に位置合わせを行う技術（例えば特許文献１参照）、また空撮画像同士の位置合わせにおいて、空撮画像から抽出される色彩領域が過去の空撮画像上の色彩領域と対応付けられるという性質をもとに位置合わせを行う技術がある（例えば特許文献２参照）。しかし、これらは、いずれも同一特徴の表れる画像が用意できる、いいかえればほぼ同じ領域を複数回撮影できる場合にのみ有効となる方法である。
【０００５】
また、ＧＰＳを利用した技術として、ＧＰＳで得た精密な位置を利用して、地図原画像、すなわち空撮画像の位置合わせを行なう手法がある（例えば特許文献３参照）。しかし、この方法はＧＰＳ受信機を設置する位置を人間が意図をもって選択することを前提としていて、空撮画像からＧＰＳ受信機の設置場所を自動的に決定する方法については開示していない。
また、空撮画像としてレーダ撮影で得た高度を記録した電波画像を対象として、地上の地物において、その位置・高度をＧＰＳなどの測位手段で記録し、この地物の位置・高度により電波画像の位置合わせを行なう方法がある（例えば特許文献４参照）。しかし、この方法は、地物の位置を、精密な位置が記録されている地図上におくことにより可能となったものであり、電波画像自体から測位手段で記録されている位置を特定する方法については開示していない。
【０００６】
一方、地物の変化を判別する過程を人間の目視能力によらずに自動的に行う方法が発明されている。その一つは、建造物や自然物等の物体が存在する地域の空撮画像からエッジ画像を生成し、生成したエッジ画像毎に当該画像全体に対する存在確度を算出すると共に、存在確度が一定値以下となるエッジ画像を当該撮影画像の該当領域から除去し、物体の日照に影響される影成分が削除された前処理画像を生成する画像処理技術である（例えば特許文献５参照）。
また他例として、同一地域に対し時間を置いて上空から撮影した新旧画像間を用意し、上記新旧画像の夫々から第１の画像変換手法により第１及び第２の変換画像を求め、該第１及び第２の変換画像を比較し、変化領域と推定されるデータを有する第１の２値化画像を求め、上記新旧画像の夫々から第２の画像変換手法により第３及び第４の変換画像を求め、該第３及び第４の変換画像を比較し、変化領域と推定されるデータを有する第２の２値化画像を求め、上記第１の２値化画像を所定画素数からなる複数の画素領域に分割し、夫々の画素領域中の領域変化を示す画素数を求め、該画素数をしきい値と比較して第３の２値化画像を求め、上記第２の２値化画像を所定画素数からなる複数の画素領域に分割し、夫々の画素領域中の領域変化を示す画素数を求め、該画素数をしきい値と比較して第４の２値化画像を求め、上記第３及び第４の２値化画像に基づいて上記新旧画像間の変化領域を特定する画像データ処理方法がある（例えば特許文献６参照）。この特許文献６における地物変化の検出手法においては、新旧の該当地域を撮影した画像を正確に位置合わせしてから、その後に地表変化を検出する必要があるが、この際の位置合わせの手法については、同一縮尺の平行移動のみで位置合わせをすることのみを示しており、手作業で位置合わせを行うことを前提として記述されている。
【０００７】
【特許文献１】特開２００４−１５１２７８号公報
【特許文献２】特開平５−１８１４１１号公報
【特許文献３】特開２０００−２９８４３０号公報
【特許文献４】特開２００４−３３３４４５公報
【特許文献５】特開平１０−３１２４６６号公報
【特許文献６】特開２００１−１０９８７２号公報
【非特許文献１】国土交通省公共測量作業規定、国土交通省大臣官房技術調査課監修、社団法人 日本測量協会、平成１４年６月６日、第３章 空中写真測量、第１節 要旨、第９８条、Ｐ．４３
【非特許文献２】李、佐藤、村上(産総研)「マルチモーダル画像位置合わせアルゴリズムをもちいたロバストな自動システムの構築に向けて」、リモートセンシング学会第４０回学術講演会、２００６年５月
【非特許文献３】萩原、瀬戸、吉光（日立）、賀来（資源・環境観測解析センター）「異種スペクトル間画像レジストレーションアルゴリズムの開発」、電子情報通信学会技術研究所報告（信学技報）ＳＡＮＥ９５−７，１９９５年５月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
以上のような従来の空撮画像の位置合わせ技術によれば、事前に精密な位置を測定した対空標識の設置がない場合、画像同士から画像の濃淡や色彩の変化、特徴などを捉えて位置合わせを行なうが、市街地における建物や交差点のように画像の濃淡や色彩が周囲とは際立っていて不変である場合、あるいは角や直線のような特徴点や特徴ある線分が抽出される場合、事前にほぼ同一領域を撮影して特徴を予め把握している場合を除いては自動位置合わせが困難であった。
また、従来の空撮画像の位置合わせ技術においては、地上の地物の位置の測定をＧＰＳ装置などで精密に行なった場合でも、該当の地物を空撮画像から直接抽出することはできず、事前に用意されているほぼ同一領域の地図などに頼らざるをえないという問題があった。
【０００９】
この発明は、上記問題点を解決するためになされたもので、空撮画像の位置合わせを、画像中の地物の濃淡の不変度が保証されない場合、また事前にほぼ同一領域を撮影したデータを持っていない場合にも行えるようにする空撮画像の位置合わせ装置およびそのプログラムを得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る空撮画像の位置合わせ装置は、上空を移動する機体に搭載され、光学的カメラにより所定の時間間隔で地表の空撮対象領域を撮影してそれぞれの空撮画像を得る画像空撮手段と、機体に搭載され、画像空撮手段による撮影の時刻、その時のカメラの位置、カメラの姿勢データを空撮情報として検出する空撮情報検出手段と、画像空撮手段による撮影時に空撮対象領域内を移動する特定車両に搭載され、当該特定車両の現在位置と当該位置の取得時刻を取得し車両の位置情報として順次記録する現在位置記録手段と、特定車両の屋根の色彩を含む色彩情報を予め入力保持する色彩入力手段と、画像空撮手段で撮影時刻ごとに得られる空撮画像の空撮対象領域について空撮情報検出手段で取得された空撮情報に基づいて仮位置合わせを行い、仮位置合わせされた空撮画像の中から色彩情報に基づいて特定車両と同じ色彩を持つ色彩物を検出し、当該色彩物の位置の中から車両の位置情報の同時刻に対応する特定車両の位置に近い色彩物の位置を算出し、当該算出された色彩物の位置とこれに対応する特定車両の位置に基づいて仮位置合わせされた空撮対象領域の位置を補正する位置合わせ計算手段を備えたものである。
【発明の効果】
【００１１】
この発明によれば、撮影した空撮画像中の地物の濃淡の不変度が保証されない場合、また事前にほぼ同一領域を撮影したデータを持っていない場合にも空撮画像の位置合わせを自動的に、精度よく行うことができる。
【発明を実施するための最良の形態】
【００１２】
実施の形態１．
図１は、この発明の実施の形態１による空撮画像の位置合わせ装置の機能構成を示すブロック図である。
この空撮画像の位置合わせ装置は、空撮画像の位置を、被写体中の特定の色彩の物体（車両の屋根）から位置合わせするもので、そのため、航空機１００、車両（特定車両）２００および位置合わせ計算手段３００に分かれた処理構成を持つ。
航空機１００内には、画像空撮手段１０１、空撮画像メモリ１０２、空撮情報検出手段１０３、空撮情報メモリ１０４が備えられている。
画像空撮手段１０１は、例えば地上を可視光領域で撮影するデジタルカメラを有し、地上を所定の時間間隔で撮影してそれぞれの空撮画像を得て、付属の空撮画像メモリ１０２に格納する手段である。空撮画像メモリ１０２内では、画像は画素ごとに、三原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分に分解して保持される。空撮情報検出手段１０３は、例えばＧＰＳ受信機とジャイロ姿勢制御装置を組み合わせたものであり、画像空撮手段１０１で撮影した時刻、その時のカメラの位置（緯度・経度）およびカメラの姿勢データを検出し、これらの時刻、位置、カメラの姿勢データを空撮情報として付属の空撮情報メモリ１０４に格納する手段である。なお、カメラの姿勢データは、図３で後述するカメラの視線傾き角、視線方向角および撮影範囲角などである。
【００１３】
車両２００は屋根の色が原則的に一色である自動車で、その中には、現在位置記録手段２０１、現在位置メモリ２０２、色彩入力手段２０３、色彩メモリ２０４が備えられている。
現在位置記録手段２０１は、例えばＧＰＳ受信機であり、車両２００に設置され車両の現在位置（緯度・経度）と当該位置の取得時刻を検出し、これらの位置と時刻を車両の位置情報とし付属の順次現在位置メモリ２０２に記録する手段である。色彩入力手段２０３は、例えばデジタルカメラであり、該当の車両２００の屋根を視野いっぱいに撮影し、該当車両の屋根の色彩を含むデジタルの色彩情報を取得し予め付属の色彩メモリ２０４に格納する手段である。
【００１４】
位置合わせ計算手段３００は、例えば汎用のコンピュータ、入出力装置、記憶装置および位置合わせプログラムから構成することができるもので、機能構成として空撮画像メモリ１０２Ａ、空撮情報メモリ１０４Ａ、現在位置メモリ２０２Ａ、色彩メモリ２０４Ａ、時刻同期手段３０１、仮位置合わせ手段３０２、画像表示手段３０３、色彩物検出手段３０４、車両位置決定手段３０５、精密位置合わせ手段３０６、色彩決定手段３１１を備えている。
空撮画像メモリ１０２Ａ、空撮情報メモリ１０４Ａ、現在位置メモリ２０２Ａ、色彩メモリ２０４Ａは、航空機１００側および車両２００側にある同名称のメモリ内のデータを移して格納するメモリである。仮位置合わせ手段３０２は、空撮情報検出手段１０３で得られた空撮情報に含まれる空撮画像の取得位置とカメラの姿勢データに基づいて、対応する空撮対象領域の四隅の位置を算出する手段である。色彩決定手段３１１は、色彩入力手段２０３で得られた色彩情報に基づいて色彩ベクトルの分布の平均値をとることにより車両２００の色彩範囲を決定する手段である。色彩物検出手段３０４は、仮位置合わせされた空撮画像の中から車両２００の色彩範囲と同じ色彩物をそれぞれ検出する手段である。車両位置決定手段３０５は、色彩物検出手段３０４で検出された色彩物の位置の中から車両の位置情報に対応する時刻の車両２００の位置に近いと想定される色彩物の位置を空撮画像上の特定車両の位置と決定する手段である。精密位置合わせ手段３０６は、車両位置決定手段３０５で決定された空撮画像上の特定車両の位置と対応する時刻の車両２００の位置に基づいて、仮位置合わせ手段３０２で仮位置合わせされた空撮対象領域の四隅の位置を補正する手段である。
【００１５】
図２から図１０は、後述する空撮画像の位置合わせ装置の一連の動作説明で引用する図である。
図２は、航空機１００が空中を進路方向５００に飛行しながら地表の空撮対象領域５０１の範囲を空撮する状況を模式的に表わす。この空撮対象領域５０１の一部分を拡大したものが空撮対象領域部分５０１Ｂである。この空撮対象領域部分５０１Ｂには、この発明の一要素である車両２００と、一般の非該当車両２１０が走行している様子が描かれている。
【００１６】
図３は、航空機１００、進路方向５００、空撮対象領域５０１などを、地上の緯度・経度で表わされる地理座標空間５１０と対応させて示している。図において、地理座標空間５１０は緯度軸（Ｕ軸）、経度軸（Ｖ軸）からなる。５１１はカメラからの鉛直ベクトルであり、航空機１００内の画像空撮手段１０１であるカメラ位置Ｐから鉛直下向きに伸びている。点Ｑは、カメラからの鉛直ベクトル５１１の地表と交わる「足」である。５１２は、カメラ位置Ｐからの視線ベクトルである。ωは、視線傾き角であって、カメラからの鉛直ベクトル５１１とカメラの視線ベクトル５１２のなす角を表わす。φは視線方向角であって、カメラの視線ベクトル５１２の地上への投影が進路方向５００となす角を表わす。ρは、撮影範囲角であって、カメラの撮影範囲に入る限界（視野線）を進路方向５００にとった場合の視野線とカメラの視線ベクトル５１２のなす角であり、カメラによって定まる定数であるが、空撮情報検出手段１０３から出力される。なお、ここでは撮影範囲角ρは、進路方向５００の右側、左側、後側へも適用されるとして、一般性を失わない。ｈは、対地高度であり、カメラ位置Ｐと点Ｑとの距離を表わす。
【００１７】
図４は、空撮対象領域５０１などとカメラの撮影範囲角ρの対応関係を示しており、図４（ａ）は、カメラの視線ベクトル５１２が鉛直下向きの場合の空撮範囲の想定図である。５０１Ｂは、視線が鉛直下向きの場合の鉛直撮影時の空撮対象領域であり、地上において、撮影範囲角ρで区切られた、紙面に向かって左上端点Ａ、右上端点Ｂ、左下端点Ｃ、右下端点Ｄの四隅を持つ正方形領域である。図４（ｂ）は、カメラの視線ベクトル５１２が進路方向５００に向かって、視線傾き角ωだけ前方に傾いている場合の想定図である。５０１は、撮影時の空撮対象領域であり、撮影範囲で区切られた、紙面に向かって左上端点Ｅ、右上端点Ｆ、左下端点Ｇ、右下端点Ｈの四隅を持つ台形領域となる。
【００１８】
図５は、空撮対象領域５０１を地理座標空間５１０上で表している。空撮対象領域５０１は、図４に示した空撮対象領域を再び示したものであるが、ここでは地理座標空間５１０において、進路方向５００は、緯度方向（Ｕ軸）に対して、視線方向角φの傾きを持っていることを表している。空撮対象領域５０１において、四隅の端点Ｅ，Ｆ，Ｇ，Ｈはそれぞれ図４（ｂ）に対応した端点である。
【００１９】
図６は、表示座標空間５０３と地理座標空間５１０の対応関係を示している。図６（ａ）は、表示画素数が水平のＳ軸、垂直のＴ軸とも１０００である表示座標空間５０３において、空撮対象領域５０１が画像表示手段３０３上に表示されている様子を示している。空撮対象領域５０１において、進路方向５００に対して、紙面に向かって左上端点がＥ、右上端点がＦ、左下端点がＧ、右下端点がＨである。Ｒは、空撮対象領域５０１内の任意の着目点であり、表示座標空間５０３において、Ｓ軸の値がＲｓ、Ｔ軸の値がＲｔであることを示している。図６（ｂ）は、地理座標空間５１０上の空撮対象領域５０１を示したものであり、図６（ａ）に対応した符号が付されて表されている。
【００２０】
図７は、色彩決定手段３１１で用いられる色彩決定の原理を示している。図７（ａ）は、三次元色彩空間６００を表しており、３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各成分は、値が０から最大値（例えば２５５）で構成される。その色彩空間中で、ある色彩を表わす色彩ベクトル６０１はＣ（ｒ０，ｇ０，ｂ０）として定義される。図７（ｂ）は、ニ次元色彩空間６００Ａを表しており、ここでは色彩ベクトル６０１は、説明を簡単化するために赤（Ｒ）、緑（Ｇ）成分のみで表されている。
【００２１】
図８は、画像表示手段３０３の表示画面上に表示された空撮画像の例を示している。画像表示手段３０３の表示画面上には、右向きをＳ軸、上向きをＴ軸とした表示座標空間５０３が表示されている。ここでは、進路方向５００は原則としてＴ軸方向に合わせている。空撮対象領域５０１内には、車両候補Ａと、車両候補Ｂの画像が表示されている。また、５０６Ａは画像処理的に求められた車両候補Ａの重心で、５０６Ｂは同様に画像処理的に求められた車両候補Ｂの重心である。なお、後述するが車両候補Ｂは車両２００ではない非該当車両とする。
【００２２】
図９は、画像表示手段３０３の表示画面上に表示された車両候補位置とその誤差の例を示す。図９には、図８と同様に、表示画面上で右向きをＳ軸、上向きをＴ軸とした表示座標空間５０３が表示されており、進路方向５００は原則としてＴ軸方向に合わせている。空撮対象領域５０１内には、画像処理的に求められた、車両候補Ａの重心５０６Ａと車両候補Ｂの重心５０６Ｂが表示されている。また表示画面上には、車両候補現在位置５１８が表示されている。この車両候補現在位置５１８は、現在位置記録手段２０１で得た位置を基に車両２００の現在の位置を算出したものである。
【００２３】
図１０は、上記図９で表示された状態から微小時間経過後における車両候補位置とその誤差の例を示す。図１０は、図９と同様にして示している。車両候補Ａ重心５０６Ａは、微小時間（例：１秒）経過後には後時刻車両候補Ａ重心５２６Ａとして表示され、車両候補Ｂ重心５０６Ｂは、微小時間経過後には後時刻車両候補Ｂ重心５２６Ｂとして表示されている。また、車両候補現在位置５１８に対応して、微小時間経過後には車両候補後時刻位置５２８が表示されている。
【００２４】
次に動作について説明する。
進路方向５００に飛行する航空機１００に搭載された画像空撮手段１０１は、地上の空撮対象領域５０１を撮影すると、撮影した画像を、進路方向５００を画面上部とするデジタル画像（空撮画像）にして画像メモリ１０２に蓄える。現行の技術では、地上解像度として例えば１画素４０ｃｍの撮影が行なわれている。さらに微小時間（例：１秒）経過後に再び撮影を行なう。ところで、空撮対象領域５０１内にあり被写体となる車両２００として普通乗用車を例にとると、その屋根の寸法は、おおむね幅が１２０〜１５０ｃｍ、長さが１８０ｃｍ〜２５０ｃｍである。そこで、車両２００の屋根の幅を１２０ｃｍ、長さを１８０ｃｍとした場合、屋根は空撮画像においては、３×４＝１２画素程度で表わされる。また、屋根の幅を１５０ｃｍ、長さを２５０ｃｍとした場合、屋根は４×６＝２４画素程度で表わされる。
【００２５】
空撮情報検出手段１０３では、航空機１００からの撮影の時刻を協定世界時ＵＴＣとして取得し、画像空撮手段１０１の撮影時における位置（緯度・経度・対地高度）をＧＰＳ受信機によって取得し、空撮情報メモリ１０４に格納する。また、ジャイロ姿勢制御装置により、画像空撮手段１０１のカメラの視線傾き角ω、視線方向角φを検出し、またカメラ固有の定数として撮影範囲角ρを出力し、あわせて空撮情報として付属の空撮情報メモリ１０４に格納する。
ここで、カメラの視線傾き角ωは、カメラの視線ベクトル５１２が鉛直下向きより進路方向５００に向けて傾いている角度である。視線方向角φは、進路方向５００が緯度の増加方向（真北）から水平方向に傾いている角度である。また、撮影範囲角ρは、カメラにより定まる定数であり、カメラの視線ベクトル５１２に対し、撮影範囲を定める角度である。画像空撮手段１０１による空撮は、微小時間（例：１秒）間隔で行なわれるものとする。
【００２６】
一方、車両２００内において、現在位置記録手段２０１は、ＧＰＳ受信機によって、走行中の車両の位置・時刻を検出して車両の位置情報として付属の現在位置メモリ２０２に格納していく。この場合の現在位置記録手段２０１で取得する時刻は、協定世界時ＵＴＣとしており、画像空撮手段１０１の時刻と厳密に同期する。また、車両２００には、デジタルカメラを用いた色彩入力手段２０３があり、車両の屋根を視野の大部分に入れて撮影することにより、車両２００の屋根の色彩をデジタルカメラのメモリからなる色彩メモリ２０４に格納する。ここで、車両２００の屋根の色彩を単色と限定することは本技術の有効性を失わせない。現在位置の記録は、微小時間（例：１秒）間隔で行なうものとする。
【００２７】
位置合わせ計算手段３００においては、航空機１００での撮影後、取得された空撮画像は空撮画像メモリ１０２から空撮画像メモリ１０２Ａに移され、また空撮情報は空撮情報メモリ１０４から空撮情報メモリ１０４Ａに移される。さらに、航空機１００による撮影と同時刻に走行していた車両２００で取得された現在位置情報は現在位置メモリ２０２から現在位置メモリ２０２Ａに移される。また、色彩情報については、撮影後または事前に色彩メモリ２０４から色彩メモリ２０４Ａに移される。
【００２８】
仮位置合わせ手段３０２では、空撮情報メモリ１０４Ａ内の空撮情報に基づいて、空撮画像メモリ１０２Ａ内にある空撮画像の空撮対象領域５０１の四隅の緯度・経度などを、ある程度の誤差を許容して算出する仮位置合わせを行なう。この仮位置合わせ手段３０２の具体的な処理について図３〜図６を用いて説明する。なお、この仮位置合わせは、空撮情報メモリ１０４Ａ内の時刻情報を基に、ある時刻ｔ１で行ない、次に微小時間後の時刻ｔ２で行なう。この時刻ｔ１、ｔ２は時刻同期手段３０１を通して現在位置メモリ２０２Ａに伝えられる。
図３において、点Ｐをカメラ位置として、地上に鉛直線を降ろした足を点Ｑとする。一般に画像空撮手段１０１はカメラの視線方向ベクトル５１２を鉛直下向きに保持するよう試みるが、実際には航空機１００の飛行姿勢や、画像空撮手段１０１を鉛直に保持する機構の誤差などで、カメラからの鉛直ベクトル５１１に対して、カメラの視線傾き角ωを持つ。なお、ここでは、カメラの視線傾き角ωは進路方向５００の方向のみに対して存在するとして以後の話を進めるが、カメラの視線傾きが進路５００以外に向かっている場合にも類似の幾何計算が適用されるので一般性を失わない。ここで、カメラの視線方向ベクトル５１２が大地と交わる点をＲとする。線分ＱＲの緯度方向となす角を視線方向角φとする。
【００２９】
空撮対象領域５０１の四隅の地理座標（緯度・経度）の推定であるが、説明の順序として、まず視線傾き角ωの値が０の場合、すなわち、視線が鉛直下向きの場合を図４（ａ）により説明する。
画像空撮手段１０１の特性として、被写体が映りこまれる範囲を、画面上方向、下方向、左方向、右方向に対して、おのおの撮影範囲角ρの正方形の範囲とする。前述のように、紙面上方向は、航空機１００の進路方向５００である。航空機１００の対地高度をｈとし、点Ｑを航空機１００の位置の鉛直下向きの線が地上（対地高度０）上の点、すなわち「足」とすると、足Ｑから上端までの距離＝足Ｑから下端までの距離＝足Ｑから右端までの距離＝足Ｑから左端までの距離であり、この距離をｉとおくと、式（１）が成り立つ。
ｉ＝ｈ×ｔａｎρ （１）
【００３０】
次に、視線傾き角ωが、図３にあるように進路方向５００に対して存在する場合を説明する。図４（ｂ）において、地面（対地高度＝０)で作られる空撮対象領域５０１の、紙面に向かって左上端をＥ、右上端をＦ、左下端をＧ、右下端をＨとし、右をｘ軸の正方向、上（航空機の進路方向５００）をｙ軸の正方向とする。足Ｑから上端までの距離をｋ、足Ｑから下端までの距離をｌとおくと、（２）、（３）式が成り立つ。
ｋ＝ｈ×ｔａｎ（ρ＋ω） （２）
ｌ＝ｈ×ｔａｎ（ρ−ω） （３）
また、足Ｑを通るｙ軸から左上端Ｅまでの距離をｍ、右上端Ｆまでの距離をｎとおくと、（４）、（５）式が成り立つ。
ｍ＝ｈ×ｔａｎρ／ｃｏｓ（ρ＋ω） （４）
ｎ＝ｈ×ｔａｎρ／ｃｏｓ（ρ−ω） （５）
【００３１】
ところで、図３にあるように、カメラの視線方向ベクトル５１２は地理座標空間５１０に対して視線方向角φを持っている。したがって、図５に示すように、空撮対象領域５０１は、地理座標空間５１０に対して、ある傾きのある形状を持っている。そこで、カメラの視線の上方（進路方向５００）が、緯度・経度をおのおの軸Ｕ・軸Ｖ方向とする座標で、視線方向角φを持っているとすると、足Ｑから左上端Ｅまでの緯度方向の差ｅｕ、経度方向の差ｅｖは（６）、（７）式のようになる。
ｅｕ＝ｋ×ｃｏｓφ＋ｍ×ｓｉｎφ （６）
ｅｖ＝−ｋ×ｓｉｎφ＋ｍ×ｃｏｓφ （７）
足Ｑの緯度・経度の値をＱ（Ｑｕ，Ｑｖ)とするとき、点Ｅの緯度・経度の値Ｅ（Ｅｕ，Ｅｖ）は、（８）、（９）式のようになる。
Ｅｕ＝Ｑｕ＋ｅｕ （８）
Ｅｖ＝Ｑｖ＋ｅｖ （９）
この（８）、（９）式を（２）〜（５）式を用いて展開すると、（１０）、（１１）式のようになる。
Ｅｕ＝Ｑｕ＋ｈ×｛ｔａｎ（ρ＋ω）×ｃｏｓφ＋ｔａｎρ／ｃｏｓ（ρ＋ω）×ｓｉｎφ｝ （１０）
Ｅｖ＝Ｑｖ−ｈ×｛ｔａｎ（ρ＋ω）×ｓｉｎφ＋ｔａｎρ／ｃｏｓ（ρ＋ω）×ｃｏｓφ｝ （１１）
Ｆ，Ｇ，Ｈの緯度・経度も（１０）、（１１）式と同様にして求めることができる。これにより、仮位置合わせ手段３０２は空撮対称領域５０１の地理座標空間５１０に対する仮位置合わせを達成する。この結果の、誤差を含みつつも、地理座標が付された仮位置合わせ後の空撮画像は、空撮画像メモリ１０２Ａに入力され保持される。
【００３２】
位置合わせ計算手段３００において、空撮画像メモリ１０２Ａの内容は、画像表示手段３０３に表示される。画像表示手段３０３は、仮位置合わせされた空撮画像を図６（ａ）に示されるように、画面上、進路方向５００を上にして表示する。ここで、空撮画像メモリ１０２Ａ内の空撮画像の左上端Ｅの座標を（０，１０００）、右上端Ｆの座標を（１０００，１０００）、左下Ｇの座標を（０，０）、右下Ｈの座標を（１０００，０）とする。この範囲内の任意の着目点Ｒの座標を（Ｒｓ，Ｒｔ）とする。ここで、水平に着目点Ｒを通る線を引き、画面左枠との交点をＩ、右枠との交点をＪとし、また垂直に着目点Ｒを通る線を引き、画面上枠との交点をＫ、下枠との交点をＬとする。
交点Ｉの位置を緯度Ｉｕ・経度Ｉｖとして求めると（１２）、（１３）式のようになる。
Ｉｕ＝Ｇｕ＋Ｒｔ×（Ｅｕ−Ｇｕ）／１０００ （１２）
Ｉｖ＝Ｇｖ＋Ｒｔ×（Ｅｖ−Ｇｖ）／１０００ （１３）
同様に、交点Ｊ、Ｋ、Ｌの緯度・経度もそれぞれ下記の各式のように求めることができる。
Ｊｕ＝Ｈｕ＋Ｒｔ×（Ｆｕ−Ｈｕ）／１０００ （１４）
Ｊｖ＝Ｈｖ＋Ｒｔ×（Ｆｖ−Ｈｖ）／１０００ （１５）
Ｋｕ＝Ｅｕ＋Ｒｓ×（Ｆｕ−Ｅｕ）／１０００ （１６）
Ｋｖ＝Ｅｖ＋Ｒｓ×（Ｆｖ−Ｅｖ）／１０００ （１７）
Ｌｕ＝Ｇｕ＋Ｒｓ×（Ｈｕ−Ｇｕ）／１０００ （１８）
Ｌｖ＝Ｇｖ＋Ｒｓ×（Ｈｖ−Ｇｖ）／１０００ （１９）
よって、着目点Ｒ（Ｒｓ，Ｒｔ）の位置は、線分Ｉ−Ｊと線分Ｋ−Ｌの交点として求めることができる。
【００３３】
以上の図３〜図６を用いた説明に示されるように、仮位置合わせ手段３０２を用いることにより、ある程度の誤差を含みつつも、空撮画像メモリ１０２Ａ内の空撮画像は、画像表示手段３０３において、その位置を表示座標空間５０３上で表わすことができ、また地理座標空間５１０上で表すことができ、これらの値は計算によりに相互に変換できるものとなる。なお、この説明は任意の時刻に適用できるものであり、したがって、ある時刻ｔ１と、微小時間Δｔ後の時刻ｔ２の仮位置合わせ各々に適用できる。
【００３４】
次に、空撮画像メモリ１０２Ａ内の仮位置合わせされた空撮画像から、車両２００を検出する処理があるが、その説明の前に、画像表示手段３０３上の車両２００の色彩範囲を色彩決定手段３１１で決定する処理があるので、この処理について説明する。
色彩メモリ２０４Ａ内の被写体のほとんどは車両２００の単色の屋根である。一般に色彩メモリ２０４Ａ内の被写体の色彩は、画素ごとに図７（ａ）の三次元色彩空間６００内の色彩ベクトル６０１で表わされ、色彩の３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）成分でＣ（ｒ，ｇ，ｂ）として表わす。したがって、色彩メモリ２０４Ａ内の車両の屋根の色彩を含む色彩情報を色彩決定手段３１１に入力して、色彩ベクトル６０１の分布の平均値をとることにより、車両２００の色彩はＣ０（ｒ０，ｇ０，ｂ０）のように表わされる。また、ばらつきの範囲として、α１、α２を定数として、
ｒ＜ｒ０−α１＝ｒ１、かつ ｒ０＋α２＝ｒ２＜ｒ （２０）
の範囲を該当車両２００の色彩ベクトルの赤（Ｒ）成分の範囲とし、同様に、
ｇ＜ｇ０−α１＝ｇ１、かつ ｇ０＋α２＝ｇ２＜ｇ （２１）
ｂ＜ｂ０−α１＝ｂ１、かつ ｂ０＋α２＝ｂ２＜ｂ （２２）
を、該当車両２００の色彩ベクトルの緑（Ｇ）成分と青成分（Ｂ）の範囲とする。
【００３５】
また、このｒ，ｇ，ｂの範囲ではベクトルの向きで表現される色相に差が出るので、β、γ１、γ２を定数として、
ｔａｎγ＜ｔａｎ（ｒ０／ｇ０−β）＝ｔａｎγ１、かつ ｔａｎ（ｒ０／ｇ０＋β）＝ｔａｎγ２＜ｔａｎγ （２３）
という制限を設け、また同様にｂ０／ｒ０、ｇ０／ｂ０の値についても
ｔａｎγ＜ｔａｎ（ｂ０／ｒ０−β）＝ｔａｎγ１、かつ ｔａｎ（ｂ０／ｒ０＋β）＝ｔａｎγ２＜ｔａｎγ （２４）
ｔａｎγ＜ｔａｎ（ｇ０／ｂ０−β）＝ｔａｎγ１、かつ ｔａｎ（ｇ０／ｂ０＋β）＝ｔａｎγ２＜ｔａｎγ （２５）
という制限を設けて、
論理式＝式（２０）、かつ式（２１）、かつ式（２２）、かつ式（２３）、かつ式（２４）、かつ式（２５） （２６）
において、論理式（２６）が成り立つ範囲内の色彩ベクトルを該当車両２００の屋根の色と定義する。
以上のようにして色彩決定手段３１１では、画素の色ベクトルに対して、該当車両２００の屋根の色とすべき色彩ベクトル６０１の範囲を決定する。
【００３６】
色彩物検出手段３０４では、空撮画像メモリ１０２Ａ内の仮位置合わせされた空撮画像の中から車両２００と同じ色彩範囲を持つ色彩物を検出する処理を行う。この処理について説明する。
時刻同期手段３０１で指定された時刻（ｔ１ないしｔ２）の空撮画像が空撮画像メモリ１０２Ａから色彩物検出手段３０４に出力される。色彩物検出手段３０４では、画素単位に論理式（２６）を適用し、成り立つ範囲の画素の値を１（黒）、成り立たない範囲の画素の値を０（白）とする。この結果、図８に示すように、該当の色の車両２００を構成するところは値１の画素が集まる。そこで、画像処理上の画素に関するノイズの影響をなくすため、この値１の画素を上下左右、斜め上下左右の８近傍を連結して車両候補Ａとする。なお、色彩物検出手段３０４は、現在位置記録手段２０１を持たないため、同じ色彩を持つ非該当車両があった場合でも同様の処理をするので、車両候補Ｂも得られることになる。次に、車両候補Ａ，Ｂについて、画像処理的に、その上下の中心、左右の中心をとって、車両候補Ａ，Ｂの重心５０６Ａ，５０６Ｂを得る。図９に示すように、この車両候補Ａ重心５０６Ａの表示座標空間５０３上の位置を基に、地理座標空間５１０上の位置を仮位置合わせ手段３０２で合わせて、緯度・経度を（Ａｕ，Ａｖ）とする。同様に車両候補Ｂ重心５０５Ｂの表示座標空間５０３上の位置を基に、地理座標空間５１０上の位置を合わせて、緯度・経度を（Ｂｕ，Ｂｖ）とする。
【００３７】
次に、車両位置決定手段３０５により、表示座標５０３上の車両２００の位置を決定する。
もともと車両２００の位置は、現在位置記録手段２０１で、緯度・経度座標で記録されており、位置合わせ計算手段３００内では現在位置メモリ２０２Ａに地理座標空間５１０上の緯度・経度として記録されている。車両位置決定手段３０５では、時刻同期手段３０１を通して同期をとった時刻（ｔ１ないしｔ２）における車両２００の位置を現在位置メモリ２０２Ａ内から探索し、この位置に車両２００を表わす記号を付けて、図９のように、画像表示手段３０３上に車両候補現在位置５１８として、すでに表示されている車両候補Ａ，Ｂの重心５０６Ａ，５０６Ｂと共に表示する。
【００３８】
さまざまな要因により、同一車両２００に対しても、車両候補Ａ重心５０６Ａと車両候補現在位置５１８とは重ならないことが多い。この理由は、空撮情報検出手段１０３の検出精度、現在位置記録手段２０１の検出精度の双方に誤差が含まれているためである。この誤差について考察すると、車両２００の位置の精度は、車両候補現在位置５１８においては、現在位置記録手段２０１の精度にのみ由来するが、現在位置記録手段２０１では、車両の走行程度の移動物体に対する位置の精度を、既出のＧＰＳ装置に対して次の手段で補正することができる。その手段としては、いわゆるディファレンシャルＧＰＳ装置などの地上のＧＰＳ基地局との交信で行なう手段、車速パルスやジャイロによる補正を行なう手段、地図上を車両が走行していることを前提として現在位置を道路上にもってくるマップマッチング手段などがある。これらを適用することで、現在の技術水準で５ｍ程度以内の誤差を達成している。
【００３９】
これに対し、航空機１００からの計測を基にした車両候補Ａ重心５０６Ａの場合、空撮情報検出手段１０３を構成するＧＰＳ装置の誤差、慣性航法装置の誤差、カメラの光軸と計測装置との角度の誤差、さらには地表面の対地高度を０として計算してきたことに対し、実際の空撮対象領域５０１の四隅や車両２００の高度が、対地高度の基準からずれていることからの誤差、色彩決定手段３１１での色彩抽出の誤差などがある。したがって、車両位置決定手段３０５においては、車両２００に由来する車両候補現在位置５１８を地理座標空間５１０上の正しい位置とみなし、航空機１００に由来する車両候補Ａ重心５０６Ａを誤差があるものとして扱う。ただし、画像上は車両候補Ａ重心５０６Ａが実際の車両２００を表示座標空間５０３上で表わしているものとみなす。
【００４０】
図８、図９では説明の簡略化のため、空撮対象領域５０１内の特定の車両２００が１台で、非対象車両も１台とした例を示したが、実際には複数の特定車両、複数の非対象車両が存在することもあるので、これに対処するために複数時点の車両位置を用いて、車両位置決定手段３０５は車両２００の位置を決定する。
なお、時速３６０ｋｍの航空機は１秒に移動するのは１００ｍ、時速３６ｋｍの車両は１秒に移動するのは１０ｍであり、１秒ごとに空撮を行なえば、航空機と車両とが逆方向に移動していたとしても離れる距離は１２０ｍであり、空撮対象領域のかなりの部分を重ねることができる。したがって、複数時点として、微小時間Δｔの間隔を１秒ないし２秒とおいた空撮画像を用いることは実用上問題がない。また、ヘリコプターを車両とほぼ同期して飛行させるという使い方では、空撮対象領域は車両の速度に応じて変化するので問題がない。
【００４１】
車両位置決定手段３０５は、時刻ｔ１において、図１０のように、車両候補Ａ重心５０６Ａ、車両候補Ｂ重心５０６Ｂ、車両候補現在位置５１８を画像表示手段３０３に表示すると共に、その時刻ｔ１から微小時間後の時刻ｔ２における後時刻車両候補Ａ重心５２６Ａ、後時刻車両候補Ｂ重心５２６Ｂ、車両候補後時刻位置５２８を表示する。なお、時刻ｔ２においては、空撮対象領域５０１も移動しているが、これは元の時刻ｔ１の空撮対象領域５０１に合わせて表示するものとする。このとき、車両候補現在位置５１８からは、車両候補Ａ重心５０６Ａ、車両候補Ｂ重心５０６Ｂがほぼ等しい距離にあり、どちらが本来の車両２００の位置であるか判定できにくくなる。その場合でも、時刻ｔ２の表示の場合、車両候補後時刻位置５２８からの車両候補Ａ重心５２６Ａ、車両候補Ｂ重心５２６Ｂの距離を判定した場合、距離の近い後時刻車両候補Ａ重心５２６Ａ側を該当車両２００とみなすことができる。このように、移動している車両２００の移動情報を用いることにより、車両位置決定手段３０５は該当車両２００を識別することができる。
【００４２】
さらに、空撮対象領域５０１内に現在位置記録手段２０１を持った複数の車両２００がいる場合には、前述の処理で１台ごとに該当車両の位置を確定させたあと、全車両候補走行位置の重心をもって仮想的な車両の走行位置とし、全車両の車両候補Ａ重心をもって仮想的な車両候補の重心とする。
以上の処理により、車両位置決定手段３０５は、車両２００の地理座標空間５１０上の位置と表示座標空間５０３上との位置を決定する。
なお、車両候補現在位置５１８より一定の距離のしきい値以内に車両候補重心が見出されない場合は、次に示す精密位置合わせ手段３０６による補正を行なわず、仮位置合わせ手段３０２の値を位置合わせに用い、「位置補正なし」との付加情報をつけて出力する。
【００４３】
次に、精密位置合わせ手段３０６では、図９に示すように、表示座標空間５０３上の該当車両の車両候補Ａ重心５０６Ａの位置を地理座標空間５１０で表わした時の座標値（Ａｕ，Ａｖ）を正として、車両候補現在位置５１８を地理座標空間５１０で表わした時の座標値（Ｚｕ，Ｚｖ）を、誤差があるものとして補正する。具体的には、空撮対象領域５０１の四隅、すなわち左上端Ｅ、右上端Ｆ、左下端Ｇ、右下端Ｈの地理座標空間５１０による座標を、各々、仮位置合わせ手段３０２で得たものに対して（Ａｕ−Ｚｕ，Ａｖ−Ｚｖ）を加えることによって補正して、精密な位置座標を得る。
【００４４】
このようにして、位置合わせ計算手段３００は、画像空撮手段１０１が撮影した空撮対象領域５０１の四隅の座標を、空撮情報検出手段１０３から算出される地理座標空間５１０上の位置を基にして、車両２００の現在位置記録手段２０１が指し示す位置で補正して出力するものである。空撮対象領域５０１の四隅の座標が算出されれば、空撮対象領域５０１内の任意の着目点Ｒの座標が、図６で説明される補間方式により再度、位置合わせ後の座標値によって算出されるので、該当空撮対象領域５０１全体について、位置が確定し、位置合わせが終了する。
【００４５】
以上のように、この実施の形態１によれば、仮位置合わせ手段３０２により、空撮情報検出手段１０３で得られた空撮情報に含まれる空撮画像の取得位置とカメラの姿勢データに基づいて、対応する空撮対象領域の位置を算出する仮位置合わせを行い、色彩決定手段３１１で、色彩入力手段２０３から入力された色彩情報に基づいて色彩ベクトルの分布の平均値をとることにより特定車両２００の色彩範囲を決定し、色彩物検出手段３０４で、仮位置合わせされた空撮画像の中から特定車両２００の色彩範囲と同じ色彩物を検出し、車両位置決定手段３０５において、色彩物検出手段３０４で検出された色彩物の位置の中から現在位置記録手段２０１の車両の位置情報にある対応する時刻の特定車両の位置に近いと想定される色彩物の位置を空撮画像上の特定車両の位置と決定し、当該決定された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置に基づいて、上記仮位置合わせされた空撮対象領域の四隅の位置を補正するようにしている。したがって、空撮画像中の地物の濃淡の不変度が保証されない場合、また事前にほぼ同一領域を撮影したデータを持っていない場合にも空撮画像の位置合わせを精度よく行うことができる。
上記例では、空撮画像の位置を地理座標上で確定する位置合わせまでを説明してきた。この位置合わせ後の画像については、地図ないし既存の過去の位置合わせ済み空撮画像などと隣接して表示し、あるいは重畳して表示することにより、地図補正の原材料とすることや、地表の変化を求めるという技術に応用することが可能である。
【００４６】
なお、上記例では、画像空撮手段１０１は航空機に搭載しているとして説明してきたが、この画像空撮手段１０１は人工衛星などの上空を移動する移動体に搭載したものであってもよい。また、例えば車両に気球を搭載して移動し、車両上ないし車両脇の停車地から気球を打ち上げて空撮を行なうようにしたものであってもよい。
また、上記例では、現在位置記録手段２０１は地上を走行する車両に搭載していると説明してきたが、代わって、移動する人物、落下させたパラシュート、航行する船舶に保持または搭載してもよい。あるいは、位置が固定している建物あるいは電子基準点でもよい。ただし、撮影した画像で該当の色彩の画素が複数並ぶように、人物やパラシュートの場合は特定の色彩の板、布などを広げるように設定するとよい。また、建物の場合は、同一色の屋根が相当広い面積を占めるため、該当色彩物の重心を求めるだけでは位置の誤差が生じる可能性がある。そのため、現在位置メモリ２０２に、例えば建物の北端の位置と色彩を格納し、色彩物検出手段３０４としては該当の色彩領域の北端の位置を検出するように構成することが有効である。
【００４７】
また、上記例では、色彩入力手段２０３は該当の車両２００を撮影した画像を用いるとして説明してきたが、これに代わって、事前に車両の塗料見本の画像を入力すること、あるいは事前に車両の塗料の情報などをもとに数値的に色彩ベクトルの範囲を入力することも可能である。また、色彩決定手段３１１は可視スペクトル内の色彩ベクトルから該当車両を色彩により判別するとして説明したが、空撮の際に車両の屋根の色に合わせた特定スペクトルでの撮影を行なうことも可能である。
また、上記例では、車両２００の屋根の色は単色として説明してきたが、類似の屋根の色を持つ車両との区別を明瞭にするため、大型トラックの幌などを２色に塗り分け、該当の２色を色彩物検出手段３０４で検出するように構成してもよい。
また、上記例では、色彩情報を取得するのは自車両の屋根のみとして説明してきたが、車両２００の屋根に、他の車両の屋根乃至地面を撮影するデジタルカメラをおき、当該カメラの中央部に映る他の物体（車両の屋根乃至地面）の色彩を記録し、また当該カメラの視線方向を車両上のジャイロなどで記録することにより、デジタルカメラの中央部に映る物体の位置を推測することにより、車両の前後の色彩物を基にした位置計測を行なって、精密位置合わせの精度を上げることができる。
【００４８】
また、上記例では、地上の位置は移動する車両の位置を用いるために、画像空撮手段１０１と車両の現在位置記録手段２０１との時刻の同期を条件として説明してきた。前述のように、地上の位置を時刻変動のない建物の屋根をもとに求めることも可能である。この場合、該当の建物の位置の把握は空撮より前に行なったものでもよい。また、空撮の後、画像表示手段３０３に表示されている建物や特異な色彩の物体を見つけて、そこへＧＰＳ受信機などを持参して位置を把握してもよい。
また、上記例では、航空機１００で得た空撮画像メモリ１０２と空撮情報メモリ１０４の内容を、それぞれ位置合わせ計算手段３００内の同機能のメモリ１０２Ａ，１０４Ａに移し、また車両で得た現在位置メモリ２０２、色彩メモリ２０４の内容を位置合わせ計算手段内３００の同機能のメモリ２０２Ａ，２０４Ａに移し、その上で位置合わせを行なうと説明してきた。この構成に対して、航空機１００の取得情報を直接無線で位置合わせ計算手段３００に送るようにしてもよく、そうすれば航空機側における空撮画像メモリ１０２や空撮情報メモリ１０４を省略することができる。同様に、車両２００の取得情報も直接無線で位置合わせ計算手段３００に送るようにすれば、車両側の現在位置メモリ２０２や色彩メモリ２０４も省略することができる。
【００４９】
実施の形態２．
この実施の形態２では、センサから電波（レーザ光を含む）を地上に照射し、地上の反射波から得られる電波画像を空撮画像（以下、空撮電波画像とする）に生成し、この空撮電波画像の空撮対称領域の位置を、被写体中の地物の三次元形状を基に位置合わせする空撮画像の位置合わせ装置について説明する。
図１１は、この発明の実施の形態２による空撮画像の位置合わせ装置の機能構成を示すブロック図である。図において、図１に相当する機能部分には同一符号を付す。
航空機１００内には、空撮情報検出手段１０３、空撮情報メモリ１０４、電波画像空撮手段１１１、空撮電波画像メモリ１１２、電波画像位置決め手段１１５が備えられている。
電波画像空撮手段１１１は、上空を移動する機体に搭載され、レーザレーダ（ＬＩＤＡＲとも称する）や干渉合成開口レーダ（ＩＳＡＲとも称する）などのセンサにより所定の時間間隔で電波を照射して地表の空撮対象領域を撮影して地表の位置・高度を含むそれぞれの空撮電波画像を得る手段である。空撮情報検出手段１０３は、上記実施の形態１と同様で、電波画像空撮手段１１１による撮影の時刻、その時のセンサの位置（緯度・経度）およびセンサの姿勢データを取得し空撮情報として付属の空撮情報メモリ１０４に格納すると共に、空撮情報を電波画像位置決め手段１１５にも与える手段である。電波画像位置決め手段１１５は、電波画像空撮手段１１１で取得した空撮電波画像に対して、空撮情報検出手段１０３の空撮情報に基づいて、地上の地点の緯度、経度、標高の座標で位置決めした空撮電波画像を生成して付属の空撮電波画像メモリ１１２へ格納する手段である。
【００５０】
車両２００内には、現在位置記録手段２０１、現在位置メモリ２０２、三次元地上計測手段２１３、地上形状メモリ２１４、地上形状位置決め手段２１５が備えられている。
現在位置記録手段２０１および現在位置メモリ２０２は、上記実施の形態１と同じ機能を持つ。なお、現在位置記録手段２０１は、記録した車両の位置情報を地上形状位置決め手段２１５にも与える。三次元地上計測手段２１３は、車両２００に搭載した例えばレーザ距離計で、車両２００と当該車両の側面にある道路、斜面、建物の壁面などの地物の三次元形状物との距離を計測し車両側方計測情報（距離データ）として取得する手段である。地上形状位置決め手段２１５は、現在位置記録手段２０１の車両の位置情報と三次元地上計測手段２１３の車両側方計測情報に基づいて、車両位置の取得時刻に対応して車両１００の側面方向に存在する地上形状物である地物の位置・標高・地物度合い判定値を算出し、地上形状位置情報として付属の地上形状メモリ２１４に格納する手段である。ここで、地上形状位置決め手段２１５は、地上形状位置情報として、車両の側面から照射されレーザの反射点の座標（ｕ，ｖ，ｔ、ｆ）（ｕは緯度、ｖは経度、ｔは標高、ｆはフラグ）を算出するが、反射点が垂直の壁面上にあった場合、同一の緯度・経度に異なる標高の点が重なるので、反射点の座標としては最大の標高の点のみ出力し、地物度合い判定値としてフラグをｆ＝１と設定する。また、レーザの到達範囲は限界があるので、その限界点に達しても反射がない場合は、該当限界点を反射点とみなし、反射点の標高を車両２００の標高より低いと判断し、車両自身の標高値を限界点の標高として出力し、フラグをｆ＝−１と設定する。また、これらの二つの場合を除いた反射点のフラグをｆ＝０と設定する。
【００５１】
位置合わせ計算手段３００は、例えば汎用のコンピュータ、入出力装置、記憶装置および位置合わせプログラムから構成することができるもので、空撮情報メモリ１０４Ａ、空撮電波画像メモリ１１２Ａ、現在位置メモリ２０２Ａ、地上形状メモリ２１４Ａ、時刻同期手段３０１、仮位置合わせ手段３０２、画像表示手段３０３、車両位置決定手段３０５、精密位置合わせ手段３０６を備えている。
空撮情報メモリ１０４Ａ、空撮電波画像メモリ１１２Ａ、現在位置メモリ２０２Ａ、地上形状メモリ２１４Ａは、航空機１００側および車両２００側にある同名称のメモリ内のデータを移して格納するメモリである。
仮位置合わせ手段３０２は、実施の形態１の場合と同様で、空撮情報検出手段１０３で得られた空撮情報に含まれる空撮電波画像の取得位置とセンサの姿勢データに基づいて、対応する空撮対象領域の四隅の位置を算出する仮位置合わせを行う手段である。車両位置決定手段３０５は、地上形状位置決め手段２１５で算出された地上形状位置情報に含まれる地物の標高と仮位置合わせされた空撮電波画像上における地上の地点の標高との差が最小となる場合の地物の位置を空撮電波画像上の特定車両の位置と決定する手段である。精密位置合わせ手段３０６は、車両位置決定手段３０５で決定された空撮画像上の特定車両の位置と対応する時刻の車両２００の位置に基づいて、仮位置合わせされた空撮対象領域の四隅の位置を補正する手段である。
【００５２】
図１２はこの発明の実施の形態２に係る三次元形状空間を表す模式図である。
図１２（ａ）は、航空機１００から得られる三次元形状空間７００の例であり、地上を二次元平面とみなしておかれた仮想格子７０１の上に、電波画像位置決め手段１１５で生成された高度に応じた空撮電波画像上の点７０２を表している。これら空撮電波画像の点７０２の位置は、座標（Ｕ，Ｖ，Ｔ）（Ｕは緯度、Ｖは経度、Ｔは標高）で表わされる。一方、図１２（ｂ）は、車両２００から得られる三次元形状空間７００の例であり、車両の側面の鉛直状に広がる二次元平面におかれた仮想格子７０１の上に、地上形状位置決め手段２１５で得られた車両からの距離に応じた地上形状の点７１２が存在している様子を表している。これら地上形状の点７１２の位置は、フラグを含み、座標（ｕ，ｖ，ｔ，ｆ）（ｕは緯度、ｖは経度、ｔは標高，ｆはフラグ）で表わされる。フラグｆ＝１は、該当の地上形状の点７１２の標高が、与えられた標高以上であることを示し、フラグｆ＝−１は、該当の地上形状の点７１２の標高が、与えられた標高以下であることを示し、またフラグｆ＝０は、該当の地上形状の点７１２の標高が、与えられた標高値そのものであることを示す。
【００５３】
次に、動作について説明する。
電波画像空撮手段１１１は、進路方向５００に進む航空機１００に搭載されていて地上の空撮対象領域５０１を撮影し、進路方向５００を画面上部とする三次元デジタルの電波画像を取得する。現行の技術では、地上における水平方向の間隔として例えば４０ｃｍ、鉛直方向の解像度として１０ｃｍの三次元データが得られる。この三次元データに対して、水平方向の絶対値を、実施の形態１と同様に空撮情報検出手段１０３により取得し、電波画像位置決め手段１１５で位置決めすることにより、図１２（ａ）に示すような空撮電波画像の点７０２の集まりを得て、これを空撮電波画像メモリ１１２に格納する。
【００５４】
位置合わせ計算手段３００において、航空機１００における撮影後、空撮電波画像が空撮電波画像メモリ１１２から空撮電波画像メモリ１１２Ａに移され、また空撮情報が空撮情報メモリ１０４から空撮情報メモリ１０４Ａに移される。
次に、仮位置合わせ手段３０２では、時刻同期手段３０１の指示する時刻に従って、空撮情報メモリ１０４Ａの空撮情報に含まれる空撮画像の取得位置とセンサの姿勢データに基づいて、空撮電波画像メモリ１１２Ａ内にある空撮電波画像の空撮対象領域５０１の四隅の位置（緯度・経度）を、ある程度の誤差を許容して算出する仮位置合わせを行う。仮位置合わせ手段３０２内の詳細な処理は、実施の形態１の場合と同様であるので、ここでは説明を省略する。この結果の、誤差を含みつつも、地理座標が付された空撮電波画像は、空撮電波画像メモリ１１２Ａに入力され保持される。
【００５５】
一方、車両２００内においては、現在位置記録手段２０１が、実施の形態１と同様にＧＰＳ受信機によって、走行中の車両の位置・時刻を検出し車両の位置情報として現在位置メモリ２０２に格納する。三次元地上計測手段２１３では、車両２００の側面方向にレーザを照射し、その反射波から車両２００の側面ある建物の壁面や崖など三次元形状の地物との距離を測定し車両側方計測情報として地上形状位置決め手段２１５に出力する。この測定結果は三次元地上計測手段２１３からの相対値である。そのため、地上形状位置決め手段２１５では、車両側方計測情報に対して現在位置記録手段２０１で取得された車両の位置情報（緯度・経度）を加え、車両２００の側面方向の各測定距離の地理座標上における位置を算出する。また、この際に、三次元形状の地物がどのようなレベルのものであるかを判定し、フラグで表す地物度合い判定値を算出する。結果、図１２（ｂ）に示すような地上形状の点７１２の集まり（地物の位置・標高・地物度合い判定値からなる地上形状位置情報）を収集して、これを地上形状メモリ２１４に格納する。
車両２００の走行後に、この地上形状メモリ２１４の内容は位置合わせ計算手段３００側の地上形状メモリ２１４Ａに移されて保持され、また、現在位置メモリ２０２から車両の位置情報も現在位置メモリ２０２Ａに移されて保持される。
【００５６】
次に、位置合わせ計算手段３００内において、車両位置決定手段３０５は、地上形状メモリ２１４Ａに格納されている地上形状位置情報に含まれる地物度合い判定値に応じた地物の標高と空撮電波画像メモリ１１２Ａに格納されている空撮電波画像上における地上の地点の標高との差が最小となる場合の地物の位置を空撮電波画像上の特定車両の位置として求める。具体的には、時刻同期手段３０１の指示する時刻について、地上形状メモリ２１４Ａ内にある地上形状の点７１２の集合が、空撮電波画像メモリ１１２Ａ内のどこに相当するかを検出する。この処理を行うのは、実施の形態１で説明したように、航空機１００側からの計測の誤差により、同じ地理座標を用いていても、空撮電波画像メモリ１１２Ａ内の空撮電波画像の点７０２と地上形状の点７１２が重ならないからである。
【００５７】
もとより、図１２に示された空撮電波画像の点７０２は緯度・経度的に離散的に存在し、地上形状の点７１２も緯度・経度的に離散的に存在する。そのため、車両位置決定手段３０５では、まず、緯度・経度上の誤差がないと仮定して、地上形状の点７１２のある緯度・経度における空撮電波画像の標高を、地上形状の点７１２を囲む空撮電波画像の点７０２からの内分比で算出する。ただし、地上形状の点７１２の標高の範囲は限られていることに鑑み、算出された値が地上形状の点７１２のフラグがｆ＝１ないしｆ＝−１のときは、地上形状の点７１２の標高を空撮電波画像の該当点の標高とする。車両位置決定手段３０５では、この計算を、地上形状メモリ２１４Ａ上の各点で行い、空撮電波画像の点７０２の標高と三次元形状空間７００の標高の差の平均二乗誤差を求める。この平均二乗誤差を最小にする位置（ただし、複数あるときは、もとの位置にもっとも近い位置）をもって、車両２００の位置と空撮電波画像の位置とを確定させる。時刻同期手段３０１により、この処理を時刻ｔ１、ｔ２、…について行なうことにより、車両２００の位置を精度よく算出することができる。
【００５８】
精密位置合わせ手段３０６は、実施の形態１と同様に、車両位置決定手段３０５で決定された空撮画像上の特定車両の位置と対応する時刻の車両２００の位置に基づいて、仮位置合わせされた空撮対象領域の四隅の位置を補正し、精密な位置座標を得る。
以上のようにして、位置合わせ計算手段３００は、電波画像空撮手段１１１で撮影した空撮対象領域５０１の四隅の座標を、空撮情報検出手段１０３から算出される地理座標空間５１０上の位置を基にして、車両２００の現在位置記録手段２０１が指し示す位置で補正して出力する。空撮対象領域５０１の四隅の座標が算出されれば、実施の形態１と同様に、空撮対象領域５０１内の任意の着目点Ｒの座標が、図６で説明される補間方式により再度、位置合わせ後の座標値によって算出されるので、該当空撮対象領域５０１全体について、位置が確定し、位置合わせは終了する。
【００５９】
以上のように、この実施の形態２によれば、位置合わせ計算手段３００内において、仮位置合わせ手段３０２により、空撮情報検出手段１０３で得られた空撮情報に含まれる空撮電波画像の取得位置とセンサの姿勢データに基づいて、対応する空撮対象領域の四隅の位置を算出する仮位置合わせを行い、車両位置決定手段３０５により、地上形状位置決め手段２１５で算出された地上形状位置情報に含まれる地物度合い判定値に応じた地物の標高と仮位置合わせされた空撮電波画像上における地上の地点の標高との差が最小となる場合の地物の位置を空撮電波画像上の特定車両の位置として算出し、精密位置合わせ手段３０６で、上記算出された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置に基づいて、前記仮位置合わせされた空撮対象領域の四隅の位置を補正するようにしたので、実施の形態１と同様、空撮電波画像中の地物の濃淡の不変度が保証されない場合、また事前にほぼ同一領域を撮影したデータを持っていない場合にも空撮電波画像の位置合わせを精度よく行うことができる。
上記例では、空撮電波画像の位置を地理座標上で確定する位置合わせまでを説明してきた。この位置合わせ後の画像については、地図ないし既存の過去の位置合わせ済み空撮電波画像などと隣接して表示し、あるいは重畳して表示することにより、地図補正の原材料とすることや、地表の変化を求めるという技術に応用することが可能である。
【００６０】
なお、上記例では、電波画像空撮手段１１１は航空機に搭載しているとして説明してきたが、この電波画像空撮手段１１１は人工衛星などの上空を移動する移動体に搭載したものであってもよい。また、例えば車両に気球を搭載して移動し、車両上ないし車両脇の停車地から気球を打ち上げて空撮を行なうようにしたものであってもよい。
また、上記例では、現在位置記録手段２０１は地上を走行する車両に搭載していると説明してきたが、代わって、移動する人物、落下させたパラシュート、航行する船舶に保持または搭載してもよい。あるいは、位置が固定している建物あるいは電子基準点でもよい。
【００６１】
また、上記例では、航空機１００で得た空撮電波画像メモリ１１２と空撮情報メモリ１０４の内容を、それぞれ位置合わせ計算手段３００内の同機能のメモリ１１２Ａ，１０４Ａに移し、また車両で得た現在位置メモリ２０２、地上形状メモリ２１４の内容を、それぞれ位置合わせ計算手段３００内の同機能のメモリ２０２Ａ，２１４Ａに移し、その上で位置合わせを行なうと説明してきた。この構成に対して、無線で直接航空機１００から取得情報を位置合わせ計算手段３００に送るようにしてもよく、そうすれば航空機側における空撮電波画像メモリ１１２や空撮情報メモリ１０４を省略することができる。同様に、取得情報を無線で車両から位置合わせ計算手段３００に送るようにすれば、車両側の現在位置メモリ２０２や地上形状メモリ２１４も省略することができる。
【図面の簡単な説明】
【００６２】
【図１】この発明の実施の形態１による空撮画像の位置合わせ装置の機能構成を示すブロック図である。
【図２】この発明の実施の形態１に係る空撮状況を表わす模式図である。
【図３】同実施の形態１に係る航空機、進路、空撮対象領域などを地理座標空間に対応させて表した模式図である。
【図４】同実施の形態１に係る空撮の撮影対象領域などとカメラの撮影範囲角の対応関係を示す説明図である。
【図５】同実施の形態１に係る空撮の撮影対象領域を地理座標空間上に示す説明図である。
【図６】同実施の形態１に係る仮位置合わせ後の空撮画像の表示座標空間と地理座標空間の対応関係を示す説明図である。
【図７】同実施の形態１に係る色彩決定手段で用いられる色彩決定の原理を示す説明図である。
【図８】同実施の形態１に係る画像表示手段に表示された空撮画像の例である。
【図９】同実施の形態１に係る画像表示手段に表示された車両候補位置とその誤差の例を示す説明図である。
【図１０】図９の状態から微小時間経過後における車両候補位置とその誤差の例を示す説明図である。
【図１１】この発明の実施の形態２による空撮画像の位置合わせ装置の機能構成を示すブロック図である。
【図１２】この発明の実施の形態２に係る三次元形状空間を表す模式図である。
【符号の説明】
【００６３】
１００ 航空機、１０１ 画像空撮手段、１０２，１０２Ａ 空撮画像メモリ、１０３ 空撮情報検出手段、１０４，１０４Ａ 空撮情報メモリ、１１１ 電波画像空撮手段、１１２，１１２Ａ 空撮電波画像メモリ、１１５ 電波画像位置決め手段、２００ 車両、２０１ 現在位置記録手段、２０２，２０２Ａ 現在位置メモリ、２０３ 色彩入力手段、２０４，２０４Ａ 色彩メモリ、２１０ 非該当車両、２１３ 三次元地上計測手段、２１４，２１４Ａ 地上形状メモリ、２１５ 地上形状位置決め手段、３００ 位置合わせ計算手段、３０１ 時刻同期手段、３０２ 仮位置合わせ手段、３０３ 画像表示手段、３０４ 色彩物検出手段、３０５ 車両位置決定手段、３０６ 精密位置合わせ手段、３１１ 色彩決定手段、５００ 進路方向、５０１ 空撮対象領域、５０１Ｂ 空撮対象領域部分、５０３表示座標空間、５０６Ａ 車両候補Ａ重心、５０６Ｂ 車両候補Ｂ重心、５１０ 地理座標空間、５１１ カメラからの鉛直ベクトル、５１２ カメラの視線ベクトル、５１８ 車両候補現在位置、５２６Ａ 後時刻車両候補Ａ重心、５２６Ｂ 後時刻車両候補Ｂ重心、５２８ 車両候補後時刻位置、６００ 三次元色彩空間、６００Ａ 二次元色彩空間、６０１ 色彩ベクトル、７００ 三次元形状空間、７０１ 仮想格子、７０２ 空撮電波画像の点、７１２ 地上形状の点、Ａ，Ｂ 車両候補、ω 視線傾き角、φ 視線方向角、ρ 撮影範囲角、ｈ 対地高度、Ｒ 着目点。
【特許請求の範囲】
【請求項１】
上空を移動する機体に搭載され、光学的カメラにより所定の時間間隔で地表の空撮対象領域を撮影してそれぞれの空撮画像を得る画像空撮手段と、
前記機体に搭載され、前記画像空撮手段による撮影の時刻、その時のカメラの位置、カメラの姿勢データを空撮情報として検出する空撮情報検出手段と、
前記画像空撮手段による撮影時に空撮対象領域内を移動する特定車両に搭載され、当該特定車両の現在位置と当該位置の取得時刻を取得し車両の位置情報として順次記録する現在位置記録手段と、
前記特定車両の屋根の色彩を含む色彩情報を予め入力保持する色彩入力手段と、
前記画像空撮手段で撮影時刻ごとに得られる空撮画像の空撮対象領域について前記空撮情報検出手段で取得された空撮情報に基づいて仮位置合わせを行い、前記仮位置合わせされた空撮画像の中から前記色彩情報に基づいて特定車両と同じ色彩を持つ色彩物を検出し、当該色彩物の位置の中から前記車両の位置情報の同時刻に対応する特定車両の位置に近い色彩物の位置を算出し、当該算出された色彩物の位置とこれに対応する特定車両の位置に基づいて前記仮位置合わせされた空撮対象領域の位置を補正する位置合わせ計算手段を備えたことを特徴とする空撮画像の位置合わせ装置。
【請求項２】
位置合わせ計算手段は、
空撮情報検出手段で得られた空撮情報に含まれる空撮画像の取得位置とカメラの姿勢データに基づいて、対応する空撮対象領域の四隅の位置を算出する仮位置合わせを行う仮位置合わせ手段と、
色彩入力手段で得られた色彩情報に基づいて色彩ベクトルの分布の平均値をとることにより特定車両の色彩範囲を決定する色彩決定手段と、
前記仮位置合わせされた空撮画像の中から前記特定車両の色彩範囲と同じ色彩物を検出する色彩物検出手段と、
前記色彩物検出手段で検出された前記色彩物の位置の中から車両の位置情報にある対応する時刻の特定車両の位置に近いと想定される色彩物の位置を空撮画像上の特定車両の位置と決定する車両位置決定手段と、
前記決定された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置に基づいて、前記仮位置合わせされた空撮対象領域の四隅の位置を補正する精密位置合わせ手段を有することを特徴とする請求項１記載の空撮画像の位置合わせ装置。
【請求項３】
上空を移動する機体に搭載され、センサにより所定の時間間隔で電波を照射して地表の空撮対象領域を撮影して地表の位置・高度を含むそれぞれの空撮電波画像を得る電波画像空撮手段と、
前記機体に搭載され、前記電波画像空撮手段による撮影の時刻、その時のセンサの位置、センサの姿勢データを空撮情報として取得する空撮情報検出手段と、
前記機体に搭載され、前記電波画像空撮手段で取得した空撮電波画像に対して、前記空撮情報に基づいて、地上の地点の位置の緯度、経度、標高の位置座標で位置決めした空撮電波画像を生成する電波画像位置決め手段と、
前記電波画像空撮手段による撮影時に空撮対象領域内を移動する特定車両に搭載され、当該特定車両の現在位置と当該位置の取得時刻を取得し車両の位置情報として順次記録する現在位置記録手段と、
前記特定車両に搭載され、当該車両とその側面方向にある三次元形状物との距離を計測し車両側方計測情報として取得する三次元地上計測手段と、
前記特定車両に搭載され、前記車両の位置情報と前記車両側方計測情報に基づいて、前記車両位置の取得時刻に対応して前記特定車両の側面方向に存在する地上形状物である地物の位置・標高・地物度合い判定値を算出し、地上形状位置情報として格納する地上形状位置決め手段と、
前記電波画像空撮手段で撮影時刻ごとに得られる空撮電波画像の空撮対象領域について前記空撮情報検出手段で取得された前記空撮情報に基づいて仮位置合わせを行い、前記仮位置合わせされた空撮画像の中から前記地上形状位置情報にある地物度合い判定値に応じた地物の位置に近い地上形状物の位置を算出し、当該算出された地上形状物の位置とこれに対応する特定車両の位置に基づいて前記仮位置合わせされた空撮対象領域の位置を補正する位置合わせ計算手段を備えたことを特徴とする空撮画像の位置合わせ装置。
【請求項４】
位置合わせ計算手段は、
空撮情報検出手段で得られた空撮情報に含まれる空撮電波画像の取得位置とセンサの姿勢データに基づいて、対応する空撮対象領域の四隅の位置を算出する仮位置合わせを行う仮位置合わせ手段と、
地上形状位置情報に含まれる地物度合い判定値に応じた地物の標高と前記仮位置合わせされた空撮電波画像上における地上の地点の標高との差が最小となる場合の地物の位置を空撮電波画像上の特定車両の位置と決定する車両位置決定手段と、
前記決定された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置に基づいて、前記仮位置合わせされた空撮対象領域の四隅の位置を補正する精密位置合わせ手段を有することを特徴とする請求項３記載の空撮画像の位置合わせ装置。
【請求項５】
上空を移動する機体に搭載された光学的カメラにより所定の時間間隔で地表の空撮対象領域を撮影してそれぞれ得られる空撮画像と、前記撮影の際に検出される撮影時刻、空撮画像の位置、カメラの姿勢データを含む空撮情報と、前記撮影時に空撮対象領域内を移動する特定車両において取得される当該特定車両の現在位置、当該位置の取得時刻を含む車両の位置情報と、前記特定車両の屋根の色彩を含む色彩情報とを入力とするコンピュータにインストールして空撮画像の位置合わせ処理を実行するプログラムであって、
指定された２つの時刻に取得された空撮画像の空撮対象領域について前記空撮情報に含まれる空撮画像の取得位置とカメラの姿勢データに基づいて各空撮対象領域の四隅の位置を算出する仮位置合わせを行い、
前記仮位置合わせした２つの時刻の空撮画像の中から前記色彩情報にある特定車両の色彩と同じ色彩物をそれぞれ検出し、
前記仮位置合わせした２つの時刻の空撮画像上で前記車両の位置情報にある対応する時刻の特定車両の位置と前記検出された色彩物の位置との距離をそれぞれ比較し、両時刻における距離さで変化が最も少ない色彩物の位置を空撮画像上の特定車両の位置と決定し、
当該決定された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置との座標上の距離差を算出し、
当該座標上の距離差を前記仮位置合わせされた空撮対象領域の四隅の位置に加算することにより空撮対象領域を補正することを特徴とする空撮画像の位置合わせプログラム。
【請求項６】
色彩物の検出処理は、色彩情報に基づいて色彩ベクトルの分布の平均値をとることにより特定車両の色彩範囲を決定し、当該決定された色彩範囲と同じ色彩を持つ色彩物を検出するものであることを特徴とする請求項５記載の空撮画像の位置合わせプログラム。
【請求項７】
上空を移動する機体に搭載されたセンサから所定の時間間隔で電波を照射して地表の空撮対象領域を撮影してそれぞれ得られる地表の位置・高度を含む空撮電波画像と、前記撮影の際に検出される撮影時刻、空撮電波画像の位置、センサの姿勢データを含む空撮情報と、前記撮影時に空撮対象領域内を移動する特定車両において取得される当該特定車両の現在位置、当該位置の取得時刻を含む車両の位置情報と、前記特定車両で計測された側面方向に存在する三次元形状物である地物の位置・標高・地物度合い判定値、前記車両位置の取得時刻を含む地上形状位置情報とを入力とするコンピュータにインストールして空撮電波画像の位置合わせ処理を実行するプログラムであって、
撮影時刻ごとに得られる空撮電波画像の空撮対象領域について前記空撮情報に含まれる空撮電波画像の取得位置とセンサの姿勢データに基づいて空撮対象領域の四隅の位置を算出する仮位置合わせを行い、
地上形状位置情報に含まれる地物度合い判定値に応じた地物の標高と前記仮位置合わせされた空撮電波画像上における地上の地点の標高を比較し、標高差が最小となる場合の地物の位置を空撮画像上の特定車両の位置として算出し、
当該算出された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置
との座標上の距離差を算出し、
当該座標上の距離差を前記仮位置合わせされた空撮対象領域の四隅の位置に加算することにより空撮対象領域を補正することを特徴とする空撮画像の位置合わせプログラム。
【請求項１】
上空を移動する機体に搭載され、光学的カメラにより所定の時間間隔で地表の空撮対象領域を撮影してそれぞれの空撮画像を得る画像空撮手段と、
前記機体に搭載され、前記画像空撮手段による撮影の時刻、その時のカメラの位置、カメラの姿勢データを空撮情報として検出する空撮情報検出手段と、
前記画像空撮手段による撮影時に空撮対象領域内を移動する特定車両に搭載され、当該特定車両の現在位置と当該位置の取得時刻を取得し車両の位置情報として順次記録する現在位置記録手段と、
前記特定車両の屋根の色彩を含む色彩情報を予め入力保持する色彩入力手段と、
前記画像空撮手段で撮影時刻ごとに得られる空撮画像の空撮対象領域について前記空撮情報検出手段で取得された空撮情報に基づいて仮位置合わせを行い、前記仮位置合わせされた空撮画像の中から前記色彩情報に基づいて特定車両と同じ色彩を持つ色彩物を検出し、当該色彩物の位置の中から前記車両の位置情報の同時刻に対応する特定車両の位置に近い色彩物の位置を算出し、当該算出された色彩物の位置とこれに対応する特定車両の位置に基づいて前記仮位置合わせされた空撮対象領域の位置を補正する位置合わせ計算手段を備えたことを特徴とする空撮画像の位置合わせ装置。
【請求項２】
位置合わせ計算手段は、
空撮情報検出手段で得られた空撮情報に含まれる空撮画像の取得位置とカメラの姿勢データに基づいて、対応する空撮対象領域の四隅の位置を算出する仮位置合わせを行う仮位置合わせ手段と、
色彩入力手段で得られた色彩情報に基づいて色彩ベクトルの分布の平均値をとることにより特定車両の色彩範囲を決定する色彩決定手段と、
前記仮位置合わせされた空撮画像の中から前記特定車両の色彩範囲と同じ色彩物を検出する色彩物検出手段と、
前記色彩物検出手段で検出された前記色彩物の位置の中から車両の位置情報にある対応する時刻の特定車両の位置に近いと想定される色彩物の位置を空撮画像上の特定車両の位置と決定する車両位置決定手段と、
前記決定された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置に基づいて、前記仮位置合わせされた空撮対象領域の四隅の位置を補正する精密位置合わせ手段を有することを特徴とする請求項１記載の空撮画像の位置合わせ装置。
【請求項３】
上空を移動する機体に搭載され、センサにより所定の時間間隔で電波を照射して地表の空撮対象領域を撮影して地表の位置・高度を含むそれぞれの空撮電波画像を得る電波画像空撮手段と、
前記機体に搭載され、前記電波画像空撮手段による撮影の時刻、その時のセンサの位置、センサの姿勢データを空撮情報として取得する空撮情報検出手段と、
前記機体に搭載され、前記電波画像空撮手段で取得した空撮電波画像に対して、前記空撮情報に基づいて、地上の地点の位置の緯度、経度、標高の位置座標で位置決めした空撮電波画像を生成する電波画像位置決め手段と、
前記電波画像空撮手段による撮影時に空撮対象領域内を移動する特定車両に搭載され、当該特定車両の現在位置と当該位置の取得時刻を取得し車両の位置情報として順次記録する現在位置記録手段と、
前記特定車両に搭載され、当該車両とその側面方向にある三次元形状物との距離を計測し車両側方計測情報として取得する三次元地上計測手段と、
前記特定車両に搭載され、前記車両の位置情報と前記車両側方計測情報に基づいて、前記車両位置の取得時刻に対応して前記特定車両の側面方向に存在する地上形状物である地物の位置・標高・地物度合い判定値を算出し、地上形状位置情報として格納する地上形状位置決め手段と、
前記電波画像空撮手段で撮影時刻ごとに得られる空撮電波画像の空撮対象領域について前記空撮情報検出手段で取得された前記空撮情報に基づいて仮位置合わせを行い、前記仮位置合わせされた空撮画像の中から前記地上形状位置情報にある地物度合い判定値に応じた地物の位置に近い地上形状物の位置を算出し、当該算出された地上形状物の位置とこれに対応する特定車両の位置に基づいて前記仮位置合わせされた空撮対象領域の位置を補正する位置合わせ計算手段を備えたことを特徴とする空撮画像の位置合わせ装置。
【請求項４】
位置合わせ計算手段は、
空撮情報検出手段で得られた空撮情報に含まれる空撮電波画像の取得位置とセンサの姿勢データに基づいて、対応する空撮対象領域の四隅の位置を算出する仮位置合わせを行う仮位置合わせ手段と、
地上形状位置情報に含まれる地物度合い判定値に応じた地物の標高と前記仮位置合わせされた空撮電波画像上における地上の地点の標高との差が最小となる場合の地物の位置を空撮電波画像上の特定車両の位置と決定する車両位置決定手段と、
前記決定された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置に基づいて、前記仮位置合わせされた空撮対象領域の四隅の位置を補正する精密位置合わせ手段を有することを特徴とする請求項３記載の空撮画像の位置合わせ装置。
【請求項５】
上空を移動する機体に搭載された光学的カメラにより所定の時間間隔で地表の空撮対象領域を撮影してそれぞれ得られる空撮画像と、前記撮影の際に検出される撮影時刻、空撮画像の位置、カメラの姿勢データを含む空撮情報と、前記撮影時に空撮対象領域内を移動する特定車両において取得される当該特定車両の現在位置、当該位置の取得時刻を含む車両の位置情報と、前記特定車両の屋根の色彩を含む色彩情報とを入力とするコンピュータにインストールして空撮画像の位置合わせ処理を実行するプログラムであって、
指定された２つの時刻に取得された空撮画像の空撮対象領域について前記空撮情報に含まれる空撮画像の取得位置とカメラの姿勢データに基づいて各空撮対象領域の四隅の位置を算出する仮位置合わせを行い、
前記仮位置合わせした２つの時刻の空撮画像の中から前記色彩情報にある特定車両の色彩と同じ色彩物をそれぞれ検出し、
前記仮位置合わせした２つの時刻の空撮画像上で前記車両の位置情報にある対応する時刻の特定車両の位置と前記検出された色彩物の位置との距離をそれぞれ比較し、両時刻における距離さで変化が最も少ない色彩物の位置を空撮画像上の特定車両の位置と決定し、
当該決定された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置との座標上の距離差を算出し、
当該座標上の距離差を前記仮位置合わせされた空撮対象領域の四隅の位置に加算することにより空撮対象領域を補正することを特徴とする空撮画像の位置合わせプログラム。
【請求項６】
色彩物の検出処理は、色彩情報に基づいて色彩ベクトルの分布の平均値をとることにより特定車両の色彩範囲を決定し、当該決定された色彩範囲と同じ色彩を持つ色彩物を検出するものであることを特徴とする請求項５記載の空撮画像の位置合わせプログラム。
【請求項７】
上空を移動する機体に搭載されたセンサから所定の時間間隔で電波を照射して地表の空撮対象領域を撮影してそれぞれ得られる地表の位置・高度を含む空撮電波画像と、前記撮影の際に検出される撮影時刻、空撮電波画像の位置、センサの姿勢データを含む空撮情報と、前記撮影時に空撮対象領域内を移動する特定車両において取得される当該特定車両の現在位置、当該位置の取得時刻を含む車両の位置情報と、前記特定車両で計測された側面方向に存在する三次元形状物である地物の位置・標高・地物度合い判定値、前記車両位置の取得時刻を含む地上形状位置情報とを入力とするコンピュータにインストールして空撮電波画像の位置合わせ処理を実行するプログラムであって、
撮影時刻ごとに得られる空撮電波画像の空撮対象領域について前記空撮情報に含まれる空撮電波画像の取得位置とセンサの姿勢データに基づいて空撮対象領域の四隅の位置を算出する仮位置合わせを行い、
地上形状位置情報に含まれる地物度合い判定値に応じた地物の標高と前記仮位置合わせされた空撮電波画像上における地上の地点の標高を比較し、標高差が最小となる場合の地物の位置を空撮画像上の特定車両の位置として算出し、
当該算出された空撮画像上の特定車両の位置と対応する時刻の特定車両の位置
との座標上の距離差を算出し、
当該座標上の距離差を前記仮位置合わせされた空撮対象領域の四隅の位置に加算することにより空撮対象領域を補正することを特徴とする空撮画像の位置合わせプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１２２３１５（Ｐ２００９−１２２３１５Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００７−２９５２３１（Ｐ２００７−２９５２３１）
【出願日】平成１９年１１月１４日（２００７．１１．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成１９年１１月１４日（２００７．１１．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]