監視カメラ画像を用いた連動表示計測システム
【課題】段階的な手段をとらなくとも一目で監視カメラ画像、三次元画像、平面図画像上での指定個所をそれぞれの画像上で正確に直に提供できる単眼視の監視カメラ映像を用いた連動表示計測システムを得る。
【解決手段】カメラ選択部３１と、モード判定部３２と、画角設定部３３と、表示処理部３４と、カメラ画像指定個所連像表示部１１と、ＧＩＳ画像指定個所連動表示部１２と、平面図指定個所連動表示部１３等を備えて、対象範囲が数キロに亘る広範囲で撮影されたカメラ画像を三次元地形モデルに対応付けて、その監視カメラが撮影した三次元ＧＩＳ画像並びに平面図画像を連動表示すると共に、いずれかの画像（カメラ画像、三次元ＧＩＳ画像若しくは平面図画像）上の指定位置（カーソル）を各々の画像上に連動表示し、かつその指定位置の三次元座標を知らせる。
【解決手段】カメラ選択部３１と、モード判定部３２と、画角設定部３３と、表示処理部３４と、カメラ画像指定個所連像表示部１１と、ＧＩＳ画像指定個所連動表示部１２と、平面図指定個所連動表示部１３等を備えて、対象範囲が数キロに亘る広範囲で撮影されたカメラ画像を三次元地形モデルに対応付けて、その監視カメラが撮影した三次元ＧＩＳ画像並びに平面図画像を連動表示すると共に、いずれかの画像（カメラ画像、三次元ＧＩＳ画像若しくは平面図画像）上の指定位置（カーソル）を各々の画像上に連動表示し、かつその指定位置の三次元座標を知らせる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影対象を監視カメラで撮影した監視カメラ画像及び該監視カメラ画像の擬似画像並びに前記撮影対象を含む平面画像を表示部に連動表示して、これらの画像上に指定個所を連動表示する監視カメラ画像を用いた連動表示計測システムに関する。
【背景技術】
【０００２】
火山噴火や土石流などの自然災害を監視する目的として、カメラによる監視機器（以下監視カメラという）を設置することがある。
【０００３】
しかし、監視カメラからの監視カメラ映像（以下監視カメラ画像という）は火砕流や噴石などの現象の概略的な理解には有効である反面、そこから発生・到達場所といった位置情報を詳細に捉えることは、現地を熟知した一部の者を除いては困難である。
【０００４】
特に、発生状況をいち早く伝達する必要性がある監視機関にとっては、この位置把握の問題は重要であり、監視カメラ画像内での事象と防災マップ等の地図情報との関係を即座に把握し得る手段が望まれている。
【０００５】
通常、監視カメラ画像から位置情報を取得する手段としては、２台の監視カメラによるステレオ計測法か、１台の監視カメラによる単写真計測手法がある。
【０００６】
ステレオ計測は、２台の監視カメラの映像がある程度同じ範囲を撮影するように重なり合う必要があり、単写真計測は、計測対象までの距離もしくは対象の標高が既知となっている必要がある。
【０００７】
また、これらの計測にはいずれも、監視カメラの撮像面の大きさ、撮像面中心とレンズの光学中心のズレ、撮像素子の画素数やレンズ歪みといった内部標定要素と、地理座標系における監視カメラの位置と三次元座標軸に対する回転角度といった外部標定要素が必要である。
【０００８】
前述の内部標定要素は、映像内にある三次元座標が既知の基準点９点以上により算出される。
【０００９】
一方、外部標定要素は、同様に映像内にある三次元地理座標が既知である基準点３点以上により算出する方法と、ＧＰＳやジャイロ等の測定機器を撮影装置に取り付けて直接的に求める方法とがある。
【００１０】
計測精度を向上させる上で最も理想的なのはステレオ計測法であるが、既存の監視カメラは、設置台数を最小化するためにカメラ間の重なりがあえて少なくなっておりステレオ計測が可能な映像ペアを確保できない場合が多い。
【００１１】
また、計測のために監視カメラを増設することがコスト面で不利になるという問題と、災害地域という性質上、安全のため現地で基準点を配置できないことや、撮影範囲が広範囲にわたると映像内で認識できる大きさの基準点を監視カメラからの遠方地点で配置することが出来ない等の問題があることから、１台の監視カメラで、かつ、現地に基準点を必要としない計測手段の実現が求められている。
【００１２】
そこで、監視カメラ画像と同じ様に見える画像を数値地図データや三次元形状データから生成し、写真映像とを重ね合わせて計測する手法が既に提案されている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００７−２７１８６９号公報
【特許文献２】特開２００７−１８３４７号公報
【非特許文献】
【００１４】
【非特許文献１】社団法人日本写真測量学会 解析写真測量 改訂版 Ｐ．４６−Ｐ５６
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、特許文献１、特許文献２ともに、三次元情報と写真映像の重ね合わせ処理とその利用方法が逐次的に提案されているが、即時性が求められる実際の監視現場（夜間に火山が爆発した等）においては、例えば、写真上の座標を選択し、対応する三次元座標を出力してから、地図ソフト上に表示するといった段階的な手段を採ることによって失う時間が問題となる場合がある。
【００１６】
また、実際に撮影した映像（画像）に擬似的な画像を合成表示しているので、実画像を正確に見ることはできない。見るためには、擬似的な画像を除去する等の手段をとらなければならない。
【００１７】
そこで、本発明では、監視カメラ画像には何等加工を施さないようにして、かつ段階的な手段をとらなくとも一目で監視カメラ画像、三次元画像、平面図画像上での指定個所をそれぞれの画像上で正確に直に提供できる単眼視の監視カメラ映像を用いた連動表示計測システムを得ることを目的とする。
【課題を解決するための手段】
【００１８】
本発明の監視カメラ画像を用いた連動表示計測システムは、
表示部の画面を分割して、撮影対象を監視カメラで撮影した監視カメラ画像及び該監視カメラ画像に対応する三次元画像並びに前記撮影対象を含む平面図画像を該当の画面に連動表示して、いずれかの画面に位置が指定されると、この位置にマーカを表示し、かつ他の画面の対応する位置にマーカを連動表示する監視カメラ画像を用いた連動表示計測システムであって、
前記撮影対象の三次元地形データ、前記監視カメラ画像、前記監視カメラの外部標評要素及び内部標定要素、前記撮影対象を含む平面図データを記憶した記憶手段と、
（ａ）前記外部標識、内部標定要素に基づいて前記三次元地形モデルに前記監視カメラの撮影地点における画角を定義する手段と、
（ｂ）前記監視カメラ画像の画面又は三次元画像の画面に前記位置が指定された場合は、監視カメラ画像の画面又は三次元画像の画面のマーカ座標をその画面に表示している画像の座標に変換し、前記設定された画角の写真座標に変換し、この写真座標から前記三次元地形モデル上の三次元座標に変換する手段と、
（ｃ）前記平面図画像の画面に前記位置が指定された場合は、この画面のマーク座標を前記平面図データ上の二次元座標に変換する手段と、
（ｄ）前記（ｂ）手段で前記三次元座標に変換される毎に、この変換された三次元座標を、前記（ｂ）手段の座標変換の過程を逆変換して前記カメラ画像の画面又は前記三次元画像の画面上の座標を算出し、該算出された画面上の座標に前記マークを表示させる手段と、
（ｅ）前記平面図画像の画面のマーク座標が二次元座標に変換されたとき、この変換された二次元座標を、前記三次元地形モデル上の三次元座標に変換し、該三次元座標を前記画角の写真座標に変換し、これを前記カメラ画像の画面及び三次元画像の画面の座標に変換し、該変換した画面の座標に前記マークを表示させる手段と
を備えたことを要旨とする。
【発明の効果】
【００１９】
以上のように本発明によれば、監視カメラ画像、三次元ＧＩＳ画像、平面図とを連動表示させて、いずれかの画面の指定個所を同じ位置に瞬時に連動表示させるので、段階的な手段を用いなくとも一目でこれらの画像上の相対位置関係を把握できる。
【００２０】
また、例えば噴火開始地点や被災範囲の位置特定・計測など、監視カメラのみでは知ることができない情報を得るようになる。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態の監視カメラ画像を用いた連動表示計測システムの概略構成図である。
【図２】本実施の形態の監視カメラ画像を用いた連動表示計測システムの特徴を説明する説明図である。
【図３】カメラ画像指定個所連動表示部１１、ＧＩＳ画像指定個所連動表示部１２、平面画像指定個所連動表示部１３の概略動作を説明する説明図である。
【図４】本実施の形態に用いる座標変換を説明する説明図である。
【図５】本実施の形態に用いる座標変換を説明する説明図である。
【図６】本実施の形態に用いる座標変換を説明する説明図である。
【図７】本実施の形態に用いる座標変換を説明する説明図である。
【図８】実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図である。
【図９】標定要素の説明図である。
【図１０】実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムの全体動作を説明するフローチャートである。
【図１１】実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムのカメラ画像指定個所連動表示部の動作を説明するフローチャートである。
【図１２】実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムのカメラ画像指定個所連動表示部の動作を説明するフローチャートである。
【図１３】実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムのカメラ画像指定個所連動表示部の動作を説明するフローチャートである。
【図１４】実施の形態２のＧＩＳ画像指定個所連動表示部１２の構成図である
【図１５】実施の形態２のＧＩＳ画像指定個所連動表示部１２を説明するフローチャートである。
【図１６】実施の形態２のＧＩＳ画像指定個所連動表示部１２を説明するフローチャートである。
【図１７】実施の形態２のＧＩＳ画像指定個所連動表示部１２を説明するフローチャートである。
【図１８】実施の形態３の平面図画像指定個所連動表示部１４の構成図である。
【図１９】実施の形態３の平面図画像指定個所連動表示部１４を説明するフローチャートである。
【図２０】実施の形態３の平面図画像指定個所連動表示部１４を説明するフローチャートである。
【図２１】実施の形態４の距離・面積計算処理の構成図である。
【図２２】実施の形態４の距離・面積計算処理を説明する説明図である。
【図２３】実施の形態５の視点変更の三次元画像を説明する説明図である。
【図２４】実施の形態６の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図である。
【図２５】実施の形態６の監視カメラの画像を用いた三次元連動計測表示システムの動作を説明するフローチャートである。
【図２６】実施の形態６の監視カメラの画像を用いた三次元連動計測表示システムの動作を説明するフローチャートである。
【図２７】実施の形態６のカーソル表示を説明する説明図である。
【図２８】画角の設定（算出）の手法を説明する説明図である。
【発明を実施するための形態】
【００２２】
本実施の形態は、監視カメラ（固定）で撮影した火山、海域、平野等の対象範囲が数キロに亘る広範囲の映像（以下単にカメラ画像：静止画又は動画）を、航空レーザ計測などによって得られたデジタル標高モデル（三次元地理座標モデル）に対応付けることによって、カメラ画像又はその監視カメラが撮影している撮影範囲（画角）の三次元画像（本実施の形態では三次元ＧＩＳ画像という）若しくは撮影範囲の二次元平面図画像（以下単に平面図画像という）を連動表示して、これらの画像のいずれかにおいて、指定された個所（位置、面積、線を含む）を十字マーク（本実施の形態ではカーソル又は対象地点という）で連動表示するシステムである。また、指定された個所の座標、面積、長さを表示する。
【００２３】
すなわち、本実施の形態は、三次元ＧＩＳ画像は三次元地形地理座標モデルに航空写真や衛星画像をテクスチャーとして貼り付けた立体画像であり、視点やテクスチャーの変更も自由に行えることを利用して、監視現場で必要とされる図面との位置の照合や、地形形状を把握するために視点を変更して観察することを可能とする。
【００２４】
つまり、三次元ＧＩＳ画像を用いるので、二次元の平面図画像も同様に画面（二次元平面図画面ともいう）に連動に表示することができるので、監視カメラ画像と三次元ＧＩＳ画像と平面図画像（例えば地図、防災マップ等）を連動表示した場合には、いずれかの画像上において、ある個所が指定されると、その指定個所（指定位置ともいう）の相互位置関係の把握が一目で容易にわかる。
【００２５】
従って、本実施の形態は、段階的な手段をとらなくとも、監視カメラ画像と、この三次元ＧＩＳ画像と、平面図画像とを連動表示して指定個所の相互位置関係を敏速に把握
させている。
【００２６】
以下に実施の形態を図面を用いて説明する。
【００２７】
図１は本実施の形態の監視カメラ映像を用いた連動表示計測システムの概略構成図である。
【００２８】
本実施の形態は、火山、山、河川、平野、島、海域等の広域な撮影対象Ａを単眼の監視カメラ１（固定カメラ：複数地点でもよい）で撮影し、このカメラ画像データをＬＡＮで遠隔地点の画像蓄積装置２（サーバ）に送信して蓄積する。
【００２９】
又は、カメラ画像データを外部記憶装置例えばＣＤ−ＲＯＭ３に保存させて、これを持ち帰って画像蓄積装置２に保存する。そして、これらのカメラ画像及び後述する内部標定要素、外部標定要素等をデータベース５に記憶（三次元計測用データセットとも称する）する（１）。
【００３０】
前述の外部標定要素、内部標定要素による画角の設定や、画面座標と三次元地理座標の相互変換には、非特許文献１に開示されている座標変換手法を用いて計算している。
【００３１】
また、データベース５に三次元地理座標モデルとそのテクスチャーデータ等（以下総称して三次元地形モデルという）を記憶していると共に、数値地図や防災マップ等の二次元平面図データを保存している。二次元地図データをテクスチャーとしても良い。
【００３２】
前述の三次元地形モデルの三次元地理座標モデルは、ヘッダー情報として４隅の地理座標（緯度経度）と縦横のメッシュ数を記憶し、実データとして、メッシュの交点の順番に標高のみが記録されているデータである。
【００３３】
さらに、データベース５には、カメラの内部標定要素、カメラの外部標定要素等を記憶している。
【００３４】
このカメラの内部標定要素、カメラの外部標定要素は前処理部６によって算出されている。
【００３５】
前処理部６は、予めトータルステーションなどで座標値が精密に計測されたターゲット板を用意し、テストターゲット板を監視カメラ１のレンズ前に設置して、このテスターターゲット板を撮影する（２）。これは、カメラの内部標定要素（撮像面の中心とレンズの光学中心のズレ＝主点位置ズレ、レンズ歪み、焦点距離、・・）を正確に算出するためである。なお、撮像面サイズや画素数は事前に既知である必要がある。
【００３６】
次に、各ターゲット板の座標値（トータルステーションなどで精密に求めた座標）とカメラの画像座標の関係から監視カメラの内部標定要素（主点位置ズレ、レンズ歪み、焦点距離）を算出してデータベース５に記憶する（３）。
【００３７】
次に、カメラ画像に映っている尾根などの特徴的な地形の対応点を三次元地形モデル上で複数求めて（カメラ画像の地上基準点を取得）、監視カメラの外部標定要素（監視カメラの位置、姿勢）を算出する（４）。この基準点の取得は、カメラ画像とこのカメラ画像の三次元ＧＩＳ画像とを画面（カメラ画像表示用画面、ＧＩＳ画像用表示用画面）に表示して取得する。
【００３８】
次に、三次元地形モデルから求めた三次元地理座標と、対応する監視カメラの画像座標の関係から監視カメラの外部標定要素（カメラの位置、姿勢）を求めてデータベース５に記憶する（５）。
【００３９】
そして、画角設定部１０が監視カメラの内部標定要素および外部標定要素を使用して監視カメラの画角を三次元地形モデル上に再現することにより、監視カメラが撮影している範囲の撮影対象Ａの擬似的なカメラ映像（三次元ＧＩＳ画像）を表示部２０に表示させることを可能とする。つまり、監視カメラの画角を三次元地形モデル上に再現することにより、撮影対象Ａに対応する三次元ＧＩＳ画像を表示部２０に表示している。
【００４０】
一方、カメラ画像指定個所連動表示部１１、ＧＩＳ画像指定個所連動表示部１２、平面画像指定個所連動表示部１３を備え、これらは互いに連動して動作している。
【００４１】
そして、カメラ画像、三次元ＧＩＳ画像又は平面図画像上に指定位置を示すカーソルが指定されると、三次元ＧＩＳ画像及び平面図画像の対応する座標位置に連動表示する（図２参照）。
【００４２】
図２においては夜に火山を監視カメラで撮影している場合に、三次元ＧＩＳ画像及び平面図画像にカーソルが連動表示されることを示している。
【００４３】
図３は、カメラ画像指定個所連動表示部１１、ＧＩＳ画像指定個所連動表示部１２、平面画像指定個所連動表示部１３の概略動作を説明する説明図である。
【００４４】
カメラ画像指定個所連動表示部１１は、カメラ画像上での位置計測、三次元ＧＩＳ画像および平面図画像上での連動計測表示を行う。
【００４５】
すなわち、カメラ画像指定個所連動表示部１１は、カメラ画像上の任意の位置を指定すると（７−１）、その位置にカーソルを表示（７−１−１）すると共に、三次元ＧＩＳ画像上での相対的な三次元座標を算出して（７−２）、その位置にカーソルを表示し（７−２−１；図２の点線Ｋ１−１を参照）、かつ撮影範囲ＧＩＳ画像上での三次元地理座標を算出し（７−３）、その三次元地形座標を表示する（７−３−１）と共に、高さ方向を除いた二次元地理座標を求め（７−４）、対応する平面図画像上の二次元地理座標にカーソルを表示する（７−４−１：図２の点線Ｋ１−２参照）。
【００４６】
つまり、カメラ画像上から位置を入力した場合に、監視カメラの画角を三次元地理座標に再現することによって、各種画面間のカーソルの動きの連動を可能としている。
【００４７】
さらに、カメラ画像上で任意の距離や面積を計測する場合は、距離または面積を構成する頂点（以下単に点という）をカメラ画像上で連続指定し、その都度求められる三次元地理座標を用いて、これらの距離や面積を求める（７−５）。
【００４８】
ＧＩＳ画像指定個所連動表示部１２は、三次元ＧＩＳ画像上での位置計測、平面図画像およびカメラ画像上での連動計測表示を行う。
【００４９】
三次元ＧＩＳ画像上の任意の位置を指定すると（８−１）、その位置（三次元ＧＩＳ画像上）にカーソルを表示する（８−１−１）と共に三次元地形モデルにおける三次元地理座標を算出し（８−２）、その三次元座標を三次元ＧＩＳ画像上に表示する（８−２−１）と共に、さらに高さ方向を除いた二次元地理座標を求め（８−３）、対応する平面図画像上にカーソルを表示する（８−３−１）；図２においては点線Ｋ２−１参照）。
【００５０】
そして、共線条件式（空間上の対象物、対象物の写真上の像点、カメラのレンズ中心の３点が同一直線上にあるためのカメラの幾何学的条件）を利用した関係式へ三次元地理座標を代入してカメラ画像上の画像座標を求め（８−４）、対応するカメラ画像上の位置にカーソルを表示する（８−４−１：図２においては点線Ｋ２−２参照）。
【００５１】
つまり、三次元ＧＩＳ画像上から位置を入力した場合の各種画面間のカーソルの動きの連動表示を可能としている。
【００５２】
さらに、三次元ＧＩＳ画像上で任意の距離や面積を計測する場合は、距離または面積を構成する点を三次元ＧＩＳ画像上で連続指定し、その都度求められる三次元地理座標を用いて、これらの距離や面積を求める（８−５）。
【００５３】
平面画像指定個所連動表示部１３は、平面図画像上での位置計測、三次元ＧＩＳ画像およびカメラ画像上での連動計測表示を行う。
【００５４】
平面図画像上の任意の位置を指定すると（９−１）、その平面図画像上にカーソルを表示する（９−１−１）と共に、この平面図画像の二次元地理座標系にそのカーソル位置を定義して三次元地形モデルに含まれる地理座標モデルの三次元地理座標を求め（９−２）、平面図画像に対応する三次元ＧＩＳ画像上にカーソルＫｉを表示する（９−２−１；図２においては点線Ｋ３−１参照）一方、三次元地理座標を求めて表示する（９−２−２）。このとき、同様に共線条件式を利用した関係式へ三次元地理座標を代入してカメラ画像上の画像座標を求め（９−３）、カメラ画像上の対応する位置にカーソルを表示する（９−３−１；図２においては点線Ｋ３−２参照）共に、平面図上の対応する位置にカーソルを連動を表示する（Ｋ１−２の点線参照）。
【００５５】
また、平面図画像上で任意の距離や面積を計測する場合は、距離または面積を構成する頂点を平面図上で連続指定し、その都度求められる三次元地理座標を用いて、これらの距離や面積を求める（９−５）。
【００５６】
なお、求めた三次元座標及び二次元座標は、座標値表示用のボックスを表示し、このボックスに表示させてもよい。
【００５７】
＜各座標系の説明＞
本実施の形態は以下に図４〜図７に説明する座標系を用いている。
【００５８】
（座標変換１：画面−画像座標変換）
座標変換１は、図４（ａ）及び図４（ｂ）に示すように表示画面の縦横のピクセル数と画像（画像データともいう）の縦横のピクセル数の比から、表示画面上のピクセル座標（Ｍｘ，Ｍｙ）をカメラ画像（画像データ）上のピクセル座標（Ｐｘ，Ｐｙ）に変換する。また、この座標変換１を逆変換することを逆座標変換１と称する。
【００５９】
（座標変換２：画像−写真座標変換）
座標変換２は、図４（ｃ）及び図４（ｄ）に示すように、カメラのＣＣＤ面（もしくはフィルム面）の実サイズとカメラ画像（画像データ）の縦横のピクセル数とを対応させることにより、画像データ上のピクセル座標（Ｐｘ，Ｐｙ）をカメラのＣＣＤ面上の実座標＝写真座標（Ｘ’，Ｙ’）に変換する。また、この座標変換２を逆変換することを逆座標変換２と称する。
【００６０】
さらに、上記座標変換２には、レンズの放射方向歪曲収差や主点位置ズレ（レンズの光軸中心とＣＣＤ中心のズレ）といった写真画像の系統的な歪みを補正する一般的な式を組み合わせることによって、歪みを取り除いた写真座標を得ている。
【００６１】
（座標変換３：写真−カメラ座標変換）
座標変換３は、写真座標平面をＸＹ軸、それに直行する軸をＺ軸とし、ＣＣＤ中心からＺ軸方向に焦点距離（ｆ）はなれた点＝光学中心を原点としたとした三次元空間を想定し、図５（ａ）及び図５（ｂ）に示すように二次元座標である写真座標（Ｘ’，Ｙ’）を光学中心からの三次元相対位置に置き換えたカメラ座標（Ｘ’，Ｙ’，Ｚ’）に変換する。
【００６２】
この座標変換３を逆変換する変換を逆座標変換３という。
【００６３】
（座標変換４：カメラ−地理座標変換）
図５（ｃ）及び図５（ｄ）に示すように、カメラの光学中心の地理座標、カメラ座標系の地理座標系に対する傾きを用いて、カメラ座標系を地理座標系に変換する。この座標変換４を逆変換する変換を逆座標変換４という。
【００６４】
（座標変換５：画面−平面図座標変換）
図６（ａ）及び図６（ｂ）に示すように、表示画面（平面図画像表示用画面）の縦横のピクセル数と平面図画像上の画面表示範囲の縦横のピクセル数の比から、表示画面上のピクセル座標（Ｍｘ，Ｍｙ）を画面表示範囲上のピクセル座標に変換し、さらに二次元平面図データ上の画面表示範囲の相対位置関係から、画面表示範囲上のピクセル座標を二次元平面図データ上のピクセル座標（Ｐｘ，Ｐｙ）に変換する。また、座標変換５の逆変換を逆座標変換５と称する。
【００６５】
（座標変換６：平面図−平面地理座標変換）
座標変換６は、図６（ｃ）及び図６（ｄ）に示すように、二次元平面図データの４隅の地理座標と、表示された平面図画像データの縦横のピクセル数を対応させることによって、平面図画像データ上（平面図画像）のピクセル座標（Ｐｘ，Ｐｙ）を平面地理座標（Ｘ，Ｙ）に変換する。また、座標変換６を逆変換することを逆座標変換６と称する。
【００６６】
（座標変換７：平面−三次元地理座標変換）
座標変換７は、図７（ａ）及び図７（ｂ）に示すように、平面地理座標（Ｘ，Ｙ）に対応する標高値（Ｚ）を、デジタル標高モデル（三次元地形モデル）より検索する。座標変換７の逆変換を逆座標変換７という。
【００６７】
＜実施の形態１＞
図８は実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図である。本実施の形態１はカーソルの連動表示について説明する。
【００６８】
図８に示すように、実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムは、表示部２０と、コンピュータ本体部３０（以下単に本体部３０という）と、図示しないマウス、キーボード等から構成されている。
【００６９】
そして、本体部３０は、図８に示すように、カメラ選択部３１と、モード判定部３２と、画角設定部３３と、表示処理部３４と、カメラ画像指定個所連像表示部１１と、ＧＩＳ画像指定個所連動表示部１２と、平面図指定個所連動表示部１３等を備えて、対象範囲が数キロに亘る広範囲で撮影されたカメラ画像（例えば火山を撮影した映像）を、三次元地理座標モデルに対応付けて、その監視カメラが撮影した三次元ＧＩＳ画像並びに平面図画像を連動表示すると共に、いずれかの画像（カメラ画像、三次元ＧＩＳ画像若しくは平面図画像）上の指定位置（カーソル）を各々の画像上に連動表示し、かつその指定位置の三次元座標を知らせる。
【００７０】
これによって、監視カメラ１が例えば夜に撮影していても、夜の監視カメラ画像上の隣に同じ三次元ＧＩＳ画像が表示されているので、夜であってもどこから撮影している監視カメラの映像かが直に分る（図２参照）。
【００７１】
さらに、カメラ画像上おいて指定された位置にカーソルを表示すると共に、このカメラ画像の隣に連動表示されている三次元ＧＩＳ画像上の同じ位置にカールを表示し、かつ平面図画像上の三次元ＧＩＳ画像上のカーソル位置の平面図画像上の位置にカーソルが連動表示されるので、段階的な手段によらなくとも一目でこれらの画像上におけるカーソルの位置関係を瞬時に把握できる。
【００７２】
なお、平面図画像又は三次元ＧＩＳ画像上にカーソルを表示して他の画像上（防災バップなど）にこのカーソルを連動表示することについては他の実施の形態で説明する。
【００７３】
また、カメラ画像指定個所連像表示部１１とＧＩＳ画像指定個所連動表示部１２と平面図指定個所連動表示部１３とを総称して指定個所連動表示部とも称し、ＧＩＳ画像指定個所連動表示部１２については後述する実施形態２として説明し、平面図指定個所連動表示部１３については後述する実施の形態３として説明する。
【００７４】
また、夜の監視カメラ映像上にカーソルを指定すると、三次元ＧＩＳ画像上及び平面図画像上にそのカーソルが連動表示され、かつ三次元座標が表示されるので、例えば火山が爆発して、溶岩が着地した地点の三次元位置が直に分る。
【００７５】
（各部の構成）
前述の監視カメラ１（固定）は異なる地点に各々配置され、これらの監視カメラ１が連続撮影した監視カメラ画像をＣＤ−ＲＯＭ２等に保存して、このＣＤ−ＲＯＭ２を監視員が定期的に解析センターに届ける。
【００７６】
データベース５には、監視カメラ画像と、三次元地形データと、二次元平面図データ（数値地図、防災マップ・・）と、内部標定要素と、外部標定要素等（図９参照）を保存している。これらの情報は撮影年月日毎であり、監視カメラ毎に区分けされて保存されている。
【００７７】
なお、監視カメラ画像は、映像蓄積サーバ（図示せず）に蓄積して、この映像蓄積サーバと本体部３０とＬＡＮで接続して、これを表示部に表示してもよい。
【００７８】
さらに、監視カメラ１と映像蓄積サーバとをＬＡＮで接続して、監視カメラからのカメラ画像データを取得するようにしてもよい。
【００７９】
内部標定要素は、主点位置ズレ、レンズの歪み、焦点距離、撮像面の大きさ、解像度等であり、外部標定要素は、撮影時の監視カメラの三次元位置、姿勢、等である。これらの標定要素に関しては後述する。
【００８０】
カメラ選択部３１は、データベース５に保存されている監視カメラの種類（設置場所、名称、年月日等）を表示し、選択された監視カメラの番号を表示処理部３４及び画角設定部３３に知らせる。
【００８１】
画角設定部３３は、カメラ選択部３１から知らせられた番号の監視カメラの標定要素（内部標定要素、外部標定要素）を使用して、三次元地形モデル上にその監視カメラの画角を定義する。この画角の設定については後述する。
【００８２】
表示処理部３４は、カメラ画像再生処理部３４ａと、ＧＩＳ画像表示処理部３４ｂと、平面図画像表示処理部３４ｃ等を備え、表示部２０の画面を分割して、これらの分割画面にカメラ画像、三次元ＧＩＳ画像、平面図画像、三次元位置等を表示する。
【００８３】
なお、カメラ画像が表示される画面をカメラ画像表示用画面、三次元ＧＩＳ画像が表示される画面をＧＩＳ画像表示用画面に、平面図画像が表示される画面を平面図画像表示用画面と称する。
【００８４】
また、平面図画像は、地図、防災マップ、住宅地図、衛星写真、航空写真、等々、他の図面であってもよいし、これらを組み合わせたものであってもよいが、本実施の形態では地図を平面図画像として説明する。
【００８５】
カメラ画像再生処理部３４ａは、カメラ選択部３１から知らせられた番号の監視カメラの監視カメラ画像をデータベース５から検索して、これを表示（カメラ表示用画面）する。
【００８６】
また、カメラ画像再生処理部３４ａは、カメラ画像が初めに指定されて、その画像上においてポイントが指定された場合は、そのポイント位置にカーソルを表示すると共に、ＧＩＳ画像表示処理部３４ｂ及び平面図画像表示処理部３４ｃにカーソル表示を行わせる。このカーソル表示は座標変換によって実現している。
【００８７】
さらに、カメラ画像再生処理部３４ａは、ＧＩＳ画像表示処理部３４ｂ又は平面図画像表示処理部３４ｃの各々の画像が初めに指定された場合に、後述する指定個所連動表示部からカーソルピクセル座標（カメラ画像表示用画面の座標）が知らせられると、このピクセル座標にカーソルを表示する。
【００８８】
ＧＩＳ画像表示処理部３４ｂは、データベース５の三次元地形モデル（三次元地形モデル及びテクスチャーデータ）を用いて監視カメラの撮影範囲（画角）に対応する三次元グラフィック画像（三次元ＧＩＳ画像）を表示（ＧＩＳ画像表示用画面）する。
【００８９】
また、ＧＩＳ画像表示処理部３４ｂは、三次元ＧＩＳ画像が初めに指定されて、その画像上においてポイントが指定された場合は、そのポイント位置にカーソルを表示すると共に、カメラ画像再生処理部３４ａ及び平面図画像表示処理部３４ｃにカーソル表示を行わせる。
【００９０】
さらに、ＧＩＳ画像表示処理部３４ｂは、カメラ画像再生処理部３４ａ又は平面図画像表示処理部３４ｃの各々の画像が初めに指定された場合に、後述する指定個所連動表示部からカーソルピクセル座標（ＧＩＳ画像表示用画面の座標：Ｍｘ、Ｍｙ）が知らせられると、このピクセル座標にカーソルを表示する。
【００９１】
平面図画像表示処理部３４ｃは、データベース５の三次元地形モデルの三次元地形モデルの平面座標及びその平面のテクスチャーデータを用いて監視カメラの位置、撮影対象物を含む平面図画像を表示（平面図画像表示画面）する。
【００９２】
また、平面図画像表示処理部３４ｃは、平面図画像が初めに指定されて、その画像上においてポイントが指定された場合は、そのポイント位置にカーソルを表示すると共に、カメラ画像再生処理部３４ａ及びＧＩＳ画像表示処理部３４ｂにカーソル表示を行わせる。
【００９３】
さらに、平面図画像表示処理部３４ｃは、カメラ画像再生処理部３４ａ又はＧＩＳ画像表示処理部３４ｂの各々の画像が初めに指定された場合に、後述する指定個所連動表示部からカーソルピクセル座標（平面図画像表示用画面の座標）が知らせられると、このピクセル座標にカーソルを表示する。
【００９４】
モード判定部３２は、表示部２０の図示しない各ボックスのカーソルボタン（位置指定ポイント）又は計測ボタンが選択された場合は、位置指定モード（単にカーソルモードともいう）又は計測モードと判定し、かつ選択された画面を判定し、この判定結果を表示処理部３４及び該当の指定個所連動表示部に知らせる。
【００９５】
カメラ画像指定個所連動表示部１１は、図８に示すように、カメラ画像指定個所三次元地理座標変換部４０と、ＧＩＳ画像用逆変換部４１と、平面図画像用逆変換部４２と、位置算出部４３等を備えている。
【００９６】
カメラ画像指定個所三次元地理座標変換部４０は、カメラ画像再生処理部３４ａがカメラ画像表示画面のカーソル位置（カメラ画面ピクセル座標Ｍｘ、Ｍｙ）を、カメラ画像データピクセル座標（Ｐｘ、Ｐｙ）に変換し（座標変換１：図４（ａ）及び図４（ｂ）参照）、このカメラ画像データピクセル座標（Ｐｘ、Ｐｙ）を写真座標（Ｘ´、Ｙ´）に変換する（座標変換２：図４（ｃ）及び図４（ｄ）参照）。このとき、レンズ歪みを補正している。
【００９７】
そして、写真座標（Ｘ´、Ｙ´）をカメラ座標（Ｘ´、Ｙ´、Ｚ´）に変換し（座標変換４：図５（ａ）及び図５（ｂ）参照）、カメラの光学中心の地理座標、カメラ座標系に対する傾きを用いてカメラ座標系を三次元地理座標系に変換する（座標変換４：図５（ｃ）及び図５（ｄ）参照）。
【００９８】
位置算出部４３は、三次元地理座標に変換されたカメラ座標系の光学中心と撮影範囲（写真上）のカーソルを結ぶ直線が三次元地形モデルの立体面と交差する点の座標（Ｘ，Ｙ，Ｚ）を三次元位置としても求め、これを表示する。
【００９９】
また、位置算出部４３は、二次元地理座標において、前述の点の座標（Ｘ、Ｙ）を算出して、これを表示する。
【０１００】
ＧＩＳ画像用逆変換部４１は、三次元地形モデルの立体面に点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上に変換し（逆座標変換４）、これを写真座標系（Ｘ´、Ｙ´）に変換する（逆座標変換３）。但し、ＧＩＳ画像用逆変換部における逆座標変換は、歪み逆補正は行わない。
【０１０１】
但し、場合によっては歪みのある三次元ＧＩＳ画像であった場合は、歪み逆補正を行うようにしてもよい。
【０１０２】
そして、これをＧＩＳ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換して（逆座標変換２）、さらにこれをＧＩＳ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換（逆座標変換１）して、ＧＩＳ画像表示処理部３４ｂに出力して、三次元ＧＩＳ画像上において、カメラ画像上のカーソルと同じ位置にカーソルを表示する。
【０１０３】
平面図画像用逆変換部４２は、三次元地形モデル上で求められたカーソル位置（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換して（逆座標変換７：図７（ａ）及び図７（ｂ）参照）、この平面地理座標系に撮影範囲を定義し、この撮影範囲を二次元平面図データの画像座標系に定義（変換）する（逆座標変換６：図６（ｃ）及び図６（ｄ）参照）。
【０１０４】
そして、この画像座標系のピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する（逆座標変換５：図６（ａ）及び図６（ｂ）参照）。
【０１０５】
そして、この平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに出力して、平面図画像上において、カメラ画像及び三次元ＧＩＳ画像のカーソルと同じ位置にカーソルを表示する。
【０１０６】
（動作）
図１０は実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムの全体動作を説明するフローチャートである。
【０１０７】
図１１〜図１３は実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムのカメラ画像指定個所連動表示部の動作を説明するフローチャートである。
【０１０８】
初めに初期設定処理を行う（Ｓ１）。この初期設定処理は、カメラ選択、前処理、平面図の種類（地図、防災マップのいずれか或いは両方）、各画面の表示枠のサイズ等である。
【０１０９】
次に、画角設定部３３が三次元地形モデル（三次元地形モデル）を用いて画角（撮影範囲）を設定する（Ｓ３）。この画角の設定は、データベース５に記憶されている選択されたカメラの内部標定要素、外部標定要素等を用いて三次元地形モデル上における画角を設定する。
【０１１０】
つまり、カメラ座標系にＣＣＤ中心からＺ方向に焦点距離はなれた点（カメラの光学中心）を原点とした三次元空間を想定し、さらにこのカメラ座標系をカメラの光学中心の三次元地形モデル上の地理座標、カメラ座標系の傾きを用いて画角を三次元地形モデル上に設定する（図１０のステップＳ３参照）。具体的な手法は、非特許文献１と同様な変換式で定義している。
【０１１１】
次に、カメラ画像再生部３４がデータベース５から選択されたカメラのカメラ画像を再生し、これを表示部２０のカメラ画像表示用画面に表示すると共に、三次元画像表示処理部３４ｂがデータベース５の三次元地形モデル（監視カメラが撮影している場所の三次元地理座標モデル）を用いてＧＩＳ画像表示用画面に三次元ＧＩＳ画像を表示し、かつ平面図画像表示処理部３４ｃがデータベース５の二次元平面図の平面図画像を平面図表示画面に表示する（Ｓ５）。
【０１１２】
このとき、平面図画像表示処理部３４ｃは、平面図の表示が例えば地図又は防災マップだけの場合は地図又は防災マップを読み出して表示し、若しくは両方表示の場合は両方を平面図画像表示用画面に表示する。
【０１１３】
次に、モード判定部３２がモードを判定し（Ｓ７）、この判定結果によって、カーソル連動表示、距離・面積計算処理又は視点変更処理のいずれかの処理を行う（Ｓ１０、Ｓ２０、Ｓ３０）。そして、終了かどうかを判断して処理を終了する（Ｓ４０）。
【０１１４】
次に、カーソル連動表示の処理を説明する。カーソル連動表示の処理は、カメラ画像指定個所連動表示部１１、ＧＩＳ画像指定個所連動表示部１２及び平面図指定個所連動表示部１３の処理が主である。
【０１１５】
図１１、図１２及び図１３を用いて図８に示すカメラ画像指定個所連動表示を説明する。
【０１１６】
モード判定部３２は、カーソル指示があるかどうかを監視する（Ｓ１０１）。次に、カーソル指示があった場合は、カメラ画像表示用画面、ＧＩＳ画像表示用画面又は平面図画像表示用画面のいずれかであるかを判定する（Ｓ１０２）。カメラ画像表示画面の場合はカメラ画像指定個所連動表示部１１が起動する。ＧＩＳ画像表示用画面の場合はＧＩＳ画像指定個所連動表示部１２が起動し（Ｓ１３０）、平面図画像表示用画面の場合は平面図指定個所連動表示部１３が起動する（Ｓ１５０）。本実施の形態では、カメラ画像表示用画面とする。
【０１１７】
カメラ画像表示用画面と判定した場合は、カメラ画像指定個所連動表示部１１が起動して以下の処理を行う。
【０１１８】
カメラ画像指定個所連動表示部１１のカメラ画像指定個所三次元地理座標変換部４０は、カメラ画像表示用画面の縦横のピクセル数とカメラ画像の縦横のピクセル数の比からカメラ画像表示用画面上のピクセル座標（Ｍｘ、Ｍｙ）をカメラ画像上のピクセル座標（Ｐｘ、Ｐｙ）に変換（カーソル含む）する座標変換１を行う（Ｓ１０３）。
【０１１９】
次に、カメラのＣＣＤ面（若しくはフィルム面）の実サイズ（撮影範囲）とカメラ画像上のピクセル座標（Ｐｘ、Ｐｙ）とを対応させることにより、カメラ画像上のピクセル座標（Ｐｘ，Ｐｙ）をカメラのＣＣＤ面上の実座標＝写真座標（Ｘ’，Ｙ’）に変換する座標変換２を行う（Ｓ１０４）。このとき、レンズの放射方向歪曲収差や主点位置ズレ（レンズの光軸中心とＣＣＤ中心のズレ）といった写真画像の系統的な歪みを補正する。
【０１２０】
次に、写真座標平面をＸＹ軸、それに直行する軸をＺ軸とし、ＣＣＤ中心からＺ軸方向に焦点距離（ｆ）はなれた点＝光学中心を原点としたとした三次元空間を想定し、二次元座標である写真座標（Ｘ’，Ｙ’）を光学中心からの三次元相対位置に置き換えたカメラ
座標（Ｘ’，Ｙ’，Ｚ’）に変換する座標変換３を行う（Ｓ１０５）。
【０１２１】
次に、図１２に示すように、カメラの光学中心の地理座標、カメラ座標系の地理座標系に対する傾きを用いて、カメラ座標系を地理座標系に変換する座標変換４を行う（Ｓ１０６）。つまり、三次元地形モデル上の画角を用いて設定する。
【０１２２】
なお、地理座標系に変換されたカメラの光学中心と写真上の対象物を結ぶ直線が、標高モデルの立体面と交差する点の座標＝三次元地理座標（Ｘ，Ｙ，Ｚ）は位置算出部４３で求めている。
【０１２３】
そして、ＧＩＳ画像用逆変換部４１及び平面図画像用逆変換部４２を起動する（Ｓ１０７）。
【０１２４】
ＧＩＳ画像用逆変換部４１及び平面図画像用逆変換部４２の処理を図１３を用いて説明する。これらの変換部は同時に動作している。
【０１２５】
ＧＩＳ画像用逆変換部４１は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上（撮影範囲に対応）に変換する逆座標変換４を行う（Ｓ１１０）。
【０１２６】
次に、これを写真座標系（Ｘ´、Ｙ´）に変換する逆座標変換３を行う（Ｓ１１１）。但し、ＧＩＳ画像用逆変換部における逆座標変換は、三次元地形モデルを用いているので歪み逆補正は行わない。但し、歪みのある三次元ＧＩＳ画像の場合は、逆歪み補正を
行う。
【０１２７】
そして、これをＧＩＳ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換する逆座標変換２を行い（Ｓ１１２）、さらにこれをＧＩＳ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換１を行う（Ｓ１１３）。
【０１２８】
そして、ＧＩＳ画像表示処理部３４ｂに表示指示情報を出力することによって、ＧＩＳ画像上において、カメラ画像上のカーソルと同じ位置にカーソルを表示させる（Ｓ１１４）。
【０１２９】
一方、平面図画像用逆変換部４２は、三次元地形モデル上で求められたカーソル位置（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換する逆座標変換７を行う（Ｓ
１２０）。
【０１３０】
次に、この平面地理座標を平面図画像データ上の座標に変換する逆座標変換６を行う（Ｓ１２１）。
【０１３１】
次に、このピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換５を行う（Ｓ１２２）。
【０１３２】
そして、この平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに表示指示情報を出力することにより、平面図画像上において、カメラ画像及び三次元ＧＩＳ画像のカーソルと同じ位置にカーソルを表示する（Ｓ１２３）。
【０１３３】
従って、例えば火山が夜に爆発して溶岩が飛んでも、その位置がどこかを三次元ＧＩＳ画像上から正確に確認できると共に、その着点の位置を三次元座標で正確に知ることができ、かつ平面図画像においてもその位置を知ることができる。
【０１３４】
＜実施の形態２＞
図１４は実施の形態２の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図であり、ＧＩＳ画像指定個所連動表示部１２の構成図である。図１４においてはカメラ選択部３１、画角設定部３３、モード判定部３２は省略する。また、位置算出部４３については説明を省略する。
【０１３５】
図１４に示すＧＩＳ画像指定個所連動表示部１２は、ＧＩＳ画像指定個所三次元地理座標変換部５０と、カメラ画像用逆変換部５１と、平面図画像用逆変換部５２等を備えている。
【０１３６】
ＧＩＳ画像指定個所三次元地理座標変換部５０は、ＧＩＳ画像表示処理部３４ｂがＧＩＳ画像表示画面のカーソル位置（ピクセル座標Ｍｘ、Ｍｙ）を、ＧＩＳ画像データピクセル座標（Ｐｘ、Ｐｙ）に変換し（座標変換１：図４（ａ）及び図４（ｂ）参照）、このＧＩＳ画像データピクセル座標（Ｐｘ、Ｐｙ）を写真座標（Ｘ´、Ｙ´）に変換する（座標変換２：図４（ｃ）及び図４（ｄ）参照）。このとき、レンズ歪みを補正は行わない。
【０１３７】
但し、歪みのある三次元ＧＩＳ画像の場合は、歪み補正を行う。
【０１３８】
そして、写真座標（Ｘ´、Ｙ´）をカメラ座標（Ｘ´、Ｙ´、Ｚ´）に変換し（座標変換４：図５（ａ）及び図５（ｂ）参照）、カメラの光学中心の地理座標、カメラ座標系に対する傾きを用いてカメラ座標系を三次元地理座標系に変換する（座標変換４：図５（ｃ）及び図５（ｄ）参照）。
【０１３９】
カメラ画像用逆変換部５１は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上に変換し（逆座標変換４）、これを写真座標系（Ｘ´、Ｙ´）に変換する（逆座標変換３）。このとき、レンズ歪み補正を行う。
【０１４０】
そして、これをカメラ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換して（逆座標変換２）、さらにこれをカメラ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換（逆座標変換１）して、カメラ画像表示処理部３４ａに表示指示情報を出力して、カメラ画像上において、三次元ＧＩＳ画像上のカーソルと同じ位置にカーソルを表示する。
【０１４１】
平面図画像用逆変換部５２は、三次元地形モデル上で求められたカーソル位置（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換して（逆座標変換７：図７（ａ）及び図７（ｂ）参照）、この平面地理座標系に定義（変換）する（逆座標変換６：図６（ｃ）及び図６（ｄ）参照）。
【０１４２】
そして、この画像座標系の撮影範囲のピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する（逆座標変換５：図６（ａ）及び図６（ｂ）参照）。
【０１４３】
そして、この平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに表示指示情報を出力して、平面図画像上において、カメラ画像及び三次元ＧＩＳ画像のカーソルと同じ位置にカーソルを表示する。
【０１４４】
（動作説明）
図１５〜図１７は実施の形態２のＧＩＳ画像指定個所連動表示部１２を説明するフローチャートである。
【０１４５】
ＧＩＳ画像指定個所三次元地理座標変換部５０は、ＧＩＳ画像表示画面上のピクセル座標（Ｍｘ、Ｍｙ）を三次元ＧＩＳ画像上のピクセル座標（Ｐｘ、Ｐｙ）に変換（カーソル含む）する座標変換１を行う（Ｓ１３１）。
【０１４６】
次に、画角（撮影範囲）と三次元ＧＩＳ画像上のピクセル座標（Ｐｘ、Ｐｙ）とを対応させることにより、三次元ＧＩＳ画像上のピクセル座標（Ｐｘ，Ｐｙ）を写真座標（Ｘ’，Ｙ’）に変換する座標変換２を行う（Ｓ１３２）。
【０１４７】
次に、写真座標平面をＸＹ軸、それに直行する軸をＺ軸とし、ＣＣＤ中心からＺ軸方向に焦点距離（ｆ）はなれた点＝光学中心を原点としたとした三次元空間を想定し、二次元座標である写真座標（Ｘ’，Ｙ’）を光学中心からの三次元相対位置に置き換えたカメラ座標（Ｘ’，Ｙ’，Ｚ’）に変換する座標変換３を行う（Ｓ１３３）。
【０１４８】
次に、図１６に示すように、このカメラ座標系の三次元地理座標系に対する傾きを用いて、カメラ座標系を地理座標系に変換する座標変換４を行う（Ｓ１３４）。つまり、三次元地理座標モデル上に設定された画角を用いて変換していることになる。
【０１４９】
そして、カメラ画像用逆変換部５１及び平面図画像用逆変換部５２を起動する（Ｓ１３５）。
【０１５０】
カメラ画像用逆変換部５１及び平面図画像用逆変換部５２の処理を図１７を用いて説明する。これらの変換部は同時に動作している。
【０１５１】
カメラ画像用逆変換部５１は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上（撮影範囲に対応）に変換する逆座標変換４を行う（Ｓ１３６）。
【０１５２】
次に、これを写真座標系（Ｘ´、Ｙ´）に変換する逆座標変換３を行う（Ｓ１３７）。このとき、歪み補正を行って変換している。
【０１５３】
次に、これをカメラ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換する逆座標変換２を行い（Ｓ１３８）、さらにこれをカメラ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換１を行う（Ｓ１３９）。
【０１５４】
そして、カメラ画像再生処理部３４ａに表示指示情報を出力することによって、カメラ画像上において、三次元ＧＩＳ画像上のカーソルと同じ位置にカーソルを表示させる（Ｓ１４０）。
【０１５５】
一方、平面図画像用逆変換部５２は、三次元地形モデル上で求められたカーソル位置（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換する逆座標変換７を行う（Ｓ１４１）。
【０１５６】
次に、この平面地理座標系に定義（変換）する逆座標変換６を行う（Ｓ１４２）。
【０１５７】
次に、この画像座標系のピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換５を行う（Ｓ１４３）。
【０１５８】
そして、この平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに表示指示情報を出力することにより、平面図画像上において、カメラ画像及び三次元ＧＩＳ画像のカーソルと同じ位置にカーソルを表示する（Ｓ１４４）。このとき、平面地理座標系のカーソルの二次元位置（Ｘ，Ｙ）を表示させる。
【０１５９】
従って、例えば火山が夜に爆発して溶岩が飛んでも、その位置がどこかを平面図画像上から正確に確認できると共に、その着点の位置を二次元座標で正確に知ることができ、かつカメラ画像及び三次元ＧＩＳ画像上においてもその位置を知ることができる。
【０１６０】
＜実施の形態３＞
図１８は実施の形態３の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図であり、平面図画像指定個所連動表示部１４の構成図である。図１８においてはカメラ選択部３１、モード判定部３２は省略する。また、位置算出部４３については説明を省略する。
【０１６１】
図１８に示す平面図画像指定個所連動表示部１４は、平面図画像指定個所三次元地理座標変換部６０と、カメラ画像用逆変換部６１と、ＧＩＳ画像用逆変換部６２等を備えている。
【０１６２】
平面図画像指定個所三次元地理座標変換部６０は、三次元地形モデル上で求められたカーソル位置（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換して（逆座標変換７：図７（ａ）及び図７（ｂ）参照）、この平面地理座標系に定義（変換）する（逆座標変換６：図６（ｃ）及び図６（ｄ）参照）。
【０１６３】
そして、この画像座標系の撮影範囲のピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する（逆座標変換５：図６（ａ）及び図６（ｂ）参照）。
【０１６４】
そして、この平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに出力して、平面図画像上において、カメラ画像及び三次元ＧＩＳ画像のカーソルと同じ位置にカーソルを表示する。
【０１６５】
カメラ画像用逆変換処理６１は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上に変換し（逆座標変換４）、これを写真座標系（Ｘ´、Ｙ´）に変換
する（逆座標変換３）。このとき、レンズ歪み補正を行う。
【０１６６】
そして、これをカメラ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換して（逆座標変換２）、さらにこれをカメラ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換（逆座標変換１）して、カメラ画像表示処理部３４ａに表示指示情報を出力して、カメラ画像上において、三次元ＧＩＳ画像上のカーソルと同じ位置にカーソルを表示する。
【０１６７】
ＧＩＳ画像用逆変換部６２は、三次元地形モデルの立体面の点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上に変換し（逆座標変換４）、これを写真座標系（Ｘ´、Ｙ´）に変換する（逆座標変換３）。但し、ＧＩＳ画像用逆変換部における逆座標変換は、歪み逆補正は行わない。但し、歪みのある三次元ＧＩＳ画像の場合は、歪み逆補正を行う。
【０１６８】
そして、これをＧＩＳ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換して（逆座標変換２）、さらにこれをＧＩＳ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換（逆座標変換１）して、ＧＩＳ画像表示処理部３４ｂに表示指示情報を出力して、三次元ＧＩＳ画像上において、カメラ画像上のカーソルと同じ位置にカーソルを表示する。
【０１６９】
（動作説明）
図１９及び図２０は実施の形態３の平面図画像指定個所連動表示部１４を説明するフローチャートである。
【０１７０】
平面図画像指定個所三次元地理座標変換部６０は、平面図画像表示画面の縦横のピクセル数と平面図画像上の画面表示範囲の縦横のピクセル数の比から、平面図表示画面上のピクセル座標（Ｍｘ，Ｍｙ）を平面図表示画面の表示範囲上（撮影範囲に対応）のピクセル座標に変換し、さらに二次元平面図データ上の画面表示範囲の相対位置関係から、画面表示範囲上のピクセル座標を二次元平面図データ上のピクセル座標（Ｐｘ，Ｐｙ）に変換する座標変換５を行う（Ｓ１５１：図６（ａ）及び図６（ｂ）参照）。
【０１７１】
次に、二次元平面図データの４隅の地理座標と、表示された平面図データ（撮影範囲の平面図画像）の縦横のピクセル数を対応させることによって、平面図画像上のピクセル座標（Ｐｘ，Ｐｙ）を平面地理座標（Ｘ，Ｙ）に変換する座標変換６を行う（Ｓ１５２）：図６（ｃ）及び図６（ｄ）参照）。
【０１７２】
次に、平面地理座標（Ｘ，Ｙ）に対応する標高値（Ｚ）を、デジタル標高モデル（三次元地理座標モデル）より検索する座標変換７を行う（Ｓ１５３：図７（ａ）及び図７（ｂ）参照）。
【０１７３】
そして、ＧＩＳ画像逆変換、カメラ画像用逆変換部を起動すると共に、位置算出部を起
動させる（Ｓ１５４）。
【０１７４】
ＧＩＳ画像用逆変換部６２は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上（撮影範囲に対応）に変換する逆座標変換４を行う（Ｓ１５５、Ｓ１５６）。
【０１７５】
次に、これを写真座標系（Ｘ´、Ｙ´）に変換する逆座標変換３を行う（Ｓ１５７）。但し、ＧＩＳ画像用逆変換部における逆座標変換は、三次元地形モデルを用いているので歪み逆補正は行わない。但し、歪みのある三次元ＧＩＳ画像の場合は歪み逆補正を行
う。
【０１７６】
そして、これをＧＩＳ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換する逆座標変換２を行い（Ｓ１５８）、さらにこれをＧＩＳ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換１を行う（Ｓ１５９）。
【０１７７】
そして、ＧＩＳ画像表示処理部３４ｂに出力することによって、三次元ＧＩＳ画像上において、カメラ画像上のカーソルと同じ位置にカーソルを表示させる（Ｓ１６０）。
【０１７８】
一方、カメラ画像用逆変換部６１は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上（撮影範囲に対応）に変換する逆座標変換４を行う（Ｓ１６１、Ｓ１６２）。
【０１７９】
次に、これを写真座標系（Ｘ´、Ｙ´）に変換する逆座標変換３を行う（Ｓ１６３）。このとき、歪み補正を行って変換している。
【０１８０】
次に、これをカメラ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換する逆座標変換２を行い（Ｓ１６４）、さらにこれをカメラ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換１を行う（Ｓ１６５）。
【０１８１】
そして、カメラ画像再生処理部３４ａに出力することによって、カメラ画像上において、三次元ＧＩＳ画像上のカーソルと同じ位置にカーソルを表示させる（Ｓ１６６）。
【０１８２】
従って、平面図画像上においてカーソルを指定すると、三次元ＧＩＳ画像およびカメラ画像上の対応する位置にカーソルが各々表示されると共に、三次元位置、二次元位置が表示されるので、一目で指定位置の相対関係を把握できることになる。
【０１８３】
＜実施の形態４＞
図２１は実施の形態４の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図であり、距離・面積計算処理の構成図である。距離・面積計算はいずれの画面からでも可能であるが、本実施の形態ではカメラ画像から距離・面積を算出する例を説明する。
【０１８４】
図２１に示すように、表面積・距離算出部７０を備える。表面積・距離算出部は輪郭データ生成部７１、輪郭点列データ生成部７２及び表面積・長さ算出部７３等を備える。
【０１８５】
また、表示処理部３４のカメラ画像再生処理部３４ａ及び平面図表示処理部３４ｃはそれぞれが指定範囲にポリゴンを形成する機能を有する。
【０１８６】
輪郭データ算出部７１は、カメラ画像上にポリゴン（始点と終点とを順次指定して閉じた面）が表示されると、このポリゴンの輪郭の頂点のピクセル座標を求め、これをカメラ画像指定個所連動表示部１１に送出する。
【０１８７】
輪郭点列データ生成部７２は、カメラ画像上にポリゴンが表示されると、このポリゴンの輪郭を形成する線の各々のピクセル座標を求め、これをカメラ画像指定個所連動表示部１１に送出する。
【０１８８】
すなわち、カメラ画像指定個所連動表示部１１のカメラ画像指定個所三次元地理座標変換部４０は、頂点のピクセル座標（カメラ画面ピクセル座標Ｍｘ、Ｍｙ）を、それぞれカメラ画像データピクセル座標（Ｐｘ、Ｐｙ）に変換し（座標変換１）、このカメラ画像データピクセル座標（Ｐｘ、Ｐｙ）を写真座標（Ｘ´、Ｙ´）に変換する（座標変換２）。このとき、レンズ歪みを補正している。
【０１８９】
そして、写真座標（Ｘ´、Ｙ´）をカメラ座標（Ｘ´、Ｙ´、Ｚ´）に変換し（座標変換４）、カメラ座標を三次元地理座標系に変換する（座標変換４）。
【０１９０】
そして、平面図画像用逆変換部４２が三次元地形モデル上で求められた４隅の三次元座標（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換して（逆座標変換７）、この平面地理座標系に定義（変換）する（逆座標変換６）。
【０１９１】
次に、この画像座標系の撮影範囲の頂点のピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）にそれぞれ変換する（逆座標変換５）。
【０１９２】
そして、この平面図画像表示画面の頂点のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに出力して、平面図画像上において、カメラ画像のポリゴンを同じ位置にを表示する。
【０１９３】
一方、ＧＩＳ画像用逆変換部４１は、輪郭点列データ生成部７２からの点列データ（ピクセル座標）が入力すると、各点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）に変換し（逆座標変換４）、これを写真座標系（Ｘ´、Ｙ´）に変換する（逆座標変換３）。但し、ＧＩＳ画像用逆変換部における逆座標変換は、歪み逆補正は行わない。但し、歪みのある三次元ＧＩＳ画像の場合は、歪み逆補正を行う。
【０１９４】
そして、これの点をＧＩＳ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換して（逆座標変換２）、さらにこれらの点をＧＩＳ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換（逆座標変換１）して、ＧＩＳ画像表示処理部３４ｂに出力する。
【０１９５】
従って、三次元ＧＩＳ画像上においては、図２２（ａ）に示すように三次元的にポリゴンに対応する範囲が表示されることになる。
【０１９６】
さらに、表面積・長さ算出部７３は、表面積の算出指示に伴って位置算出部４３が算出した三次元地形モデルのポリゴンに対応する各々の点の三次元を抽出して、表面積を求める（図２２（ｂ）参照。
【０１９７】
また、ポリゴン上において始点と終点が決定され距離指定がある場合は、始点と終点の間の各点の三次元座標を位置算出部４３から求めさせて、三次元的な長さ（地表面上の距離）をもとめる（図２２（ｂ）参照）。
【０１９８】
なお、直線距離又は地表面上の距離の二通りを選択可能である。
【０１９９】
＜実施の形態５＞
実施の形態５は図２３に示すように、視点変更ボタンの選択で視点を変えた三次元画像を表示する。このとき、三次元地形モデル上にカメラ位置を指定し、これを中心にして撮影範囲（画角）でコントロールボタン（上、左右、回転）に応じた視点の三次元ＧＩＳ画像を表示する。つまり、指定されたカメラ位置及び姿勢の画角を上記実施の形態と同様にして三次元地形モデル上に設定して、この画角での撮影範囲の三次元ＧＩＳ画像を表示させている。
【０２００】
従って、通常、多くの火山監視カメラでは、火砕流や噴石などの発生場所（三次元地理座標）や到達距離・面積等を三次元的に定量的に抑えることができる。
【０２０１】
さらに、カメラ映像上でデジタイズした災害粋を数値地図画像等の平面図へ正射投影することによって、被災範囲の想定や確認が可能となる。
【０２０２】
なお、上記各実施の形態では、監視カメラ１が連続撮影した監視カメラ画像をＣＤ−ＲＯＭ２等に保存して、このＣＤ−ＲＯＭ２を監視員が定期的に解析センターに届けるとして説明したが、監視カメラから直接ネットワークで映像蓄積サーバーに送信して保存させてもよい。
【０２０３】
＜実施の形態６＞
なお、上記実施の形態では、カメラ画像再生処理部３４ａにカメラ画像指定個所連像表示部１１を対応させて設け、ＧＩＳ画像表示処理部３４ｂにＧＩＳ画像指定個所連動表示部１２を対応させて設け、平面図画像表示処理部３４ｃに平面図指定個所連動表示部１３を設けて説明したが以下の図２４のように構成して連動表示を実現させてもよい。
【０２０４】
また、表示処理部３４は上記各実施の形態と同様であるが、本実施の形態６ではより具体的に説明する。なお、具体的処理については様々のやり方があり、本実施の形態はその一例であることは言うまでもない。
【０２０５】
さらに、カメラ画像再生処理部３４ａは、カメラ画像再生部３４ａｂ（ビデオキャプチャー）とカメラ画像表示処理部３４ａａとに分けて説明する。
【０２０６】
図２４は実施の形態６の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図である。但し、図２４はカメラ選択部３１、モード判定部、位置算出部４３については省略する。
【０２０７】
図２４に示すように、表示部２０の画面を制御する表示制御部８０と、この表示制御部８０が表示するための画像データを送出する表示処理部３４と、画面の種類に応じた数の画像処理部を生成させる画像表示処理部作成部８１等を備えている。
【０２０８】
さらに、座標変換部８４と、選択部８５等を備えている。
【０２０９】
表示制御部８０は、表示用バッファ８０ａを備え、画面表示処理部作成部８１からの分割数に基づく数の表示エリア（第１エリア、第２エリア・・）を表示用バッファ８０ａに生成する（例えば、４分割する）。
【０２１０】
つまり、表示制御部８０は、各表示エリアのサイズを把握する。そして、この表示用バッファ８０ａを定期的に読み出して、その画像データを表示部２０の画面に表示する。
【０２１１】
画像表示処理部作成部８１は、入力された画面の種類を判定し、この数のエリアを表示制御部８０の表示用バッファ８０ａ（画像メモリ）に生成させると共に、画面の種類（カメラ画像、三次元ＧＩＳ画像、平面図、・・・）に応じた画像表示処理部を表示処理部３４に生成させる。
【０２１２】
このとき、画像表示処理部作成部８１は、４種類の表示であれば、画面の左上のエリアはカメラ画像用のエリア（第１エリアともいう）、画面の右上は三次元ＧＩＳ画像のエリア（第２エリアともいう）、左下のエリアは平面図（地図）のエリア（第３エリアともいう）、右下のエリアは防災マップのエリア（第４エリアともいう）とすることを表示処理部３４に設定する。これらのエリアの条件は変更可能である。例えば、カメラ画像のエリア（第１エリア）の下の第３エリアを三次元ＧＩＳ画像用のエリアとしてもよい。
【０２１３】
表示処理部３４は、画面表示処理部作成部８１からの画面の種類に応じた数の画面表示処理部を生成する。本実施の形態では、カメラ画像表示処理部３４ａａ、ＧＩＳ画像表示処理部３４ｂ、平面画像表示処理部３４ｃ等を生成し、表示制御部８０の表示バッファ８０ａのエリアに関連付けさせ、各々が表示バッファのエリア上のイベントを監視する機能を有する。
【０２１４】
また、これらの画像表示処理部は、画像用表示バッファ３４ａｄ１、３４ｂｄ１、３４ｃｄ１・・・を生成する。また、これらの画像用表示バッファは、表示制御部８０の表示用バッファに生成されたエリアに対応する領域であるのが好ましい。
【０２１５】
また、これらの画像表示処理部は、画像用バッファに画像が書き込まれた後に、データの書き込み指示がある毎に、新たなバッファ３４ａｄ２、３４ｂｄ２・・（例えばカーソル用バッファ、三次元座標表示用バッファ・・）を生成する。この新たなバッファは、画像用バッファに対応するサイズである。
【０２１６】
さらに、これらの画像表示処理部は、それぞれが一定時間毎に画像用表示バッファ、新たなバッファに書き込まれたデータを合成して表示制御部８０に出力する。
【０２１７】
表示制御部８０は、各画像表示処理部から出力された画像データを表示バッファの該当のエリアに書き込む。
【０２１８】
例えば、カメラ画像表示処理部３４ａａは、起動に伴ってカメラ画像用表示バッファ３４ａｄ１を生成して、カメラ画像再生部３４ａｂを起動させ、このカメラ画像再生部３４ａｂからの再生画像が出力される毎に（動画）をカメラ画像表示用バッファ３４ａｄ１に書き込む。
【０２１９】
また、カメラ画像表示処理部３４ａａは、監視している画面（カメラ用画面：第１エリア）上においてカーソルが指定されたときは、直ちにカーソル用表示バッファ３４ａｄ２を生成すると共に、カメラ用画面の指定位置に対応するカーソル用表示バッファ３４ａｄ２の位置にカーソル（マーク）を書き込む。そして、カメラ画像表示用バッファ３４ａｄ１のカメラ画像及びカーソル用表示バッファ３４ａｄ２のカーソル画像を合成して表示制御部８０に出力する。
【０２２０】
さらに、他の画像表示処理部からカーソルモード（カーソル表示指示を含む）であることが知らせられると、直ちにカーソル用表示バッファ３４ａｄ２を生成すると共に、選択部８５で選択された座標変換によって得られたカメラ画像上のカーソル位置をカーソル用表示バッファ３４ａｄ２に書き込み、カメラ画像表示バッファ３４ａｄ１のカメラ画像と合成して表示制御部８０に出力する。
【０２２１】
ＧＩＳ画像表示処理部３４ｂは、起動に伴ってＧＩＳ画像用表示バッファ３４ｂｄ１を生成して、選択部８５で選択された座標変換によって得られた撮影範囲の三次元ＧＩＳ画像をデータベース５の三次元地形データから読み出して、これをＧＩＳ画像用表示バッファ３４ｂｄ１に書き込む。
【０２２２】
また、ＧＩＳ画像表示処理部３４ｂは、監視している画面（ＧＩＳ用画面：第２エリア）上においてカーソルが指定されたときは、直ちにカーソル用表示バッファ３４ｂｄ２を生成すると共に、カーソル用表示バッファ３４ｂｄ２に、ＧＩＳ用画面の指定位置に対応する位置にカーソル（マーク）を書き込む。そして、ＧＩＳ画像用表示バッファ３４ｂｄ１のＧＩＳ画像とカーソル用表示バッファ３４ｂｄ２のカーソル画像とを合成して表示制御部８０に出力する。
【０２２３】
さらに、他の画像表示処理部からカーソルモード（カーソル表示指示を含む）であることが知らせられると、直ちにカーソル用表示バッファ３４ｂｄ２を生成すると共に、選択部８５で選択された座標変換によって得られた三次元ＧＩＳ画像上のカーソル位置をカーソル用表示バッファ３４ａｄ２に書き込む。そして、ＧＩＳ画像用表示バッファ３４ｂｄ１のＧＩＳ画像とカーソル用表示バッファ３４ｂｄ２のカーソル画像とを合成して表示制御部８０に出力する。これによって、他の画面に指定されたカーソル位置に対応するカーソルを三次元ＧＩＳ画像上に表示させる。
【０２２４】
平面図画像表示処理部３４ｃは、起動に伴って平面図用表示バッファ３４ｃｄ１を生成して、選択部８５で選択された座標変換によって得られた所定範囲（監視カメラ位置及び撮影対象物を含む範囲）の平面図をデータベース５から読み出して、これを平面図用表示バッファ３４ｃｄ１に書き込んで表示制御部８０に出力する。
【０２２５】
また、平面図画像表示処理部３４ｃは、監視している画面（平面図用画面：第３エリア）上においてカーソルが指定されたときは、直ちにカーソル用表示バッファ３４ｃｄ２を生成すると共に、カーソル用表示バッファ３４ｃｄ２に、その画面の指定位置に対応する位置にカーソル（マーク）を書き込む。そして、平面図用表示バッファ３４ｃｄ１の平面図とカーソル用表示バッファ３４ｃｄ２のカーソル画像とを合成して表示制御部８０に出力する。
【０２２６】
さらに、他の画像表示処理部からカーソルモード（カーソル表示指示を含む）であることが知らせられると、直ちにカーソル用表示バッファ３４ｃｄ２を生成すると共に、選択部８５で選択された座標変換によって得られたピクセル座標（カーソル用表示バッファ３４ｃｄ２：平面図用画面）にカーソルを書き込みする。そして、平面図用表示バッファ３４ｃｄ１の平面図画像とカーソル用表示バッファ３４ｃｄ２のカーソル画像とを合成して表示制御部８０に出力する。
【０２２７】
座標変換部８４は、座標変換１処理部１０１ａ、逆座標変換１処理部１０１ｂ、座標変換２処理部１０２ａ、逆座標変換２処理部１０２ｂ、座標変換３処理部１０３ａ、逆座標変換３処理部１０３ｂ、座標変換４処理部１０４ａ、逆座標変換４処理部１０４ｂ、逆座標変換５処理部１０５ａ、座標変換５処理部１０５ｂ、逆座標変換６処理部１０６ａ、逆座標変換６処理部１０６ｂ、座標変換７処理部１０７ａ、座標変換７処理部１０７ｂを備え、メモリ９２を用いて座標変換を行う。
【０２２８】
座標変換１処理部１０１ａは、カーソル位置読込部８２からの表示画面（カメラ画像表示画面、ＧＩＳ画像表示画面又は平面図画像表示画面）におけるカーソルのピクセル座標（Ｍｘ、Ｍｙ）を、その表示画面の画像データのピクセル座標（Ｐｘ、Ｐｙ）に変換する（座標変換１）。つまり、座標変換１は、表示画面の縦横のピクセル数と画像データの縦横のピクセル数の比から、表示画面上のカーソルのピクセル座標（Ｍｘ，Ｍｙ）を画像データ上のピクセル座標（Ｐｘ，Ｐｙ）に変換する座標変換１を行う。
【０２２９】
以下に具体的に説明する。
【０２３０】
例えば、初めにカメラ画像表示用画面でカーソルが指定されてそのカメラ画像表示用画面にカーソルを表示した場合に、カメラ画像表示処理部３４ａａがカメラ画像表示画面（表示バッファ３４ａｄ２が対応する）のカーソルのピクセル座標Ｍｘ、Ｍｙ（カメラ画面のカーソル座標）を出力した場合には、このカメラ画面のカーゾル座標をカメラ画像のピクセル座標（Ｐｘ、Ｐｙ）に変換する（座標変換１：図４（ａ）及び図４（ｂ）参照）。
【０２３１】
また、初めにＧＩＳ画像表示画面でカーソルが指定されて、そのＧＩＳ画像表示用画面にカーソルを表示した場合に、ＧＩＳ画像表示処理部３４ｂがＧＩＳ画像表示画面（表示バッファ３４ｂｄ２が対応する）のカーソルのピクセル座標Ｍｘ、Ｍｙ（ＧＩＳ画像表示画面のカーソル座標）を出力した場合には、このＧＩＳ画像表示用画面のカーゾル座標をＧＩＳ画像データピクセル座標（Ｐｘ、Ｐｙ）に変換する（座標変換１：図４（ａ）及び図４（ｂ）参照）。
【０２３２】
また、初めに平面図画像表示用画面でカーソルが指定されて、その平面図画像表示用画面にカーソルを表示した場合に、平面図画像表示処理部３４ｃの表示バッファ３４ｃｄ２のカーソルのピクセル座標Ｍｘ、Ｍｙ（平面図画像表示画面のカーソル座標）を出力した場合には、この平面図画像表示画面のカーゾル座標を平面図画像データのピクセル座標（Ｐｘ、Ｐｙ）に変換する（座標変換１：図４（ａ）及び図４（ｂ）参照）。）。
【０２３３】
逆座標変換１処理部１０１ｂは、画像上（カメラ画像、三次元ＧＩＳ画像又は平面図画像）のピクセル座標（Ｐｘ，Ｐｙ）の縦横比のピクセル座標と表示画面のピクセル数との比から入力された画像上のカーソルのピクセル座標（Ｐｘ、Ｐｙ）を表示画面上のカーソルピクセル座標（Ｍｘ、Ｍｙ）に変換する逆変換座標変換１を行う。
【０２３４】
座標変換２処理部１０２ａは、画像データ上のカーソルのピクセル座標（Ｐｘ，Ｐｙ）を写真座標（Ｘ’，Ｙ’）に変換する座標変換２を行う。
【０２３５】
具体的に説明する。
初めにカメラ画像表示画面でカーソルが指定されてそのカメラ画像表示用画面にカーソルを表示して前述の座標変換１によって、カーソルのピクセル座標（Ｍｘ、Ｍｙ）がカメラ画像上のピクセル座標（Ｐｘ，Ｐｙ）に変換された場合は、カメラのＣＣＤ面上の実座標＝写真座標（Ｘ’，Ｙ’）に変換する。このとき、レンズの放射方向歪曲収差や主点位置ズレ（レンズの光軸中心とＣＣＤ中心のズレ）といった写真画像の系統的な歪みを補正する。
【０２３６】
また、初めにＧＩＳ画像表示画面でカーソルが指定されてそのＧＩＳ画像表示画面にカーソルを表示して前述の座標変換１によって、ＧＩＳ画像表示画面のカーソルのピクセル座標（Ｍｘ、Ｍｙ）がＧＩＳ画像上のピクセル座標（Ｐｘ，Ｐｙ）に変換された場合は、これをカメラのＣＣＤ面上の実座標＝写真座標（Ｘ’，Ｙ’）に変換する。
【０２３７】
また、初めに平面図画像表示用画面でカーソルが指定されてその平面図画像表示用画面にカーソルを表示して前述の座標変換１によって、平面図画像表示用画面のカーソルのピクセル座標（Ｍｘ、Ｍｙ）が平面図画像上のピクセル座標（Ｐｘ，Ｐｙ）に変換された場合は、これをカメラのＣＣＤ面上の実座標＝写真座標（Ｘ’，Ｙ’）に変換する。
【０２３８】
逆座標変換２処理部１０２ｂは、写真座標系（Ｘ’，Ｙ’）に変換されたカーソル座標を画像データ上のカーソルのピクセル座標（Ｐｘ，Ｐｙ）に変換する逆座標変換２を行う。
【０２３９】
座標変換３処理部１０３ａは、座標変換２によって、写真座標系（Ｘ´、Ｙ´）に変換された画像データ上のカーソルのピクセル座標をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の座標に変換する（図５（ａ）及び図５（ｂ）参照）。
【０２４０】
具体的に説明する。
【０２４１】
初めにカメラ画像表示用画面でカーソルが指定されて、そのカメラ画像表示用画面にカーソルを表示して前述の座標変換２（座標変換１を経由）によって、写真座標系（Ｘ´、Ｙ´）に変換されたカメラ画像上のカーソルのピクセル座標をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の座標に変換する。
【０２４２】
また、初めにＧＩＳ画像表示用画面でカーソルが指定されて、そのＧＩＳ画像表示用画面にカーソルを表示して前述の座標変換２（座標変換１を経由）によって、写真座標系（Ｘ´、Ｙ´）に変換された場合は、その写真座標系におけるカーソルのピクセル座標をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の座標に変換する。
【０２４３】
逆座標変換３処理部１０３ｂは、カメラ座標系（Ｘ´、Ｙ´、Ｚ´）のカーソル座標を写真座標系（Ｘ´、Ｙ´）に変換する。
【０２４４】
座標変換４処理部１０４ａは、画角設定処理部３３で設定されている画角（位置、傾き、撮影範囲；カメラ座標系に設定された写真（写真座標系））の撮影範囲の各点をデータベース５の三次元地形モデルの各点の座標に変換する。
【０２４５】
また、カメラ画像表示画面又はＧＩＳ画像表示画面においてカーソルが指定された場合は、座標変換１、座標変換２、座標変換３を経由して得られたカメラ座標系における写真上のカーソル位置と光学中心とを通る直線が三次元地形データの三次元地形モデルに交差する点の三次元地理座標に変換する。
【０２４６】
逆座標変換４処理部１０４ｂは、座標変換４の逆を行う変換である。座標変換４で変換された、画角（位置、傾き、撮影範囲；カメラ座標系に設定された写真（写真座標系））の撮影範囲の各点の三次元地形モデルの各点の三次元座標を前述のカメラ座標系に設定された写真上の座標に変換する。
【０２４７】
また、カメラ画像表示用画面又はＧＩＳ画像表示用画面においてカーソルが指定された場合は、座標変換４によって変換された、三次元地形モデルのカーソルの三次元地理座標を、前述のカメラ座標系に設定された写真上の座標に変換する逆変換を行う。
【０２４８】
座標変換５処理部１０５ｂは、カーソル位置読込部８２からの平面図画像表示用画面のカーソルのピクセル座標（Ｍｘ、Ｍｙ：表示バッファ３４ｃｄ２より）を、平面図表示用画面の縦横のピクセル数と平面図画像データ上（平面図用メモリ３５）の画面表示範囲の縦横のピクセル数との比から、平面図画像表示画面上のピクセル座標を画面表示範囲上のピクセル座標に変換する。そして、平面図画像データとこの平面画像図データ上の画面表示範囲との相対位置関係から画面表示範囲上のピクセル座標を、平面図画像データ上のピクセル座標（Ｐｘ、Ｐｙ）に変換する座標変換５の処理を行う（図６（ａ）及び図６（ｂ）参照）。
【０２４９】
逆座標変換５処理部１０５ｂは、座標変換５の逆変換である。これは、変換された画面表示範囲の平面図画像データのピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆変換を行う。
【０２５０】
座標変換６処理部１０６ａは、平面図画像データの４隅の座標と、二次元平面地理座標系の縦横のピクセル数とを対応させることによって、平面図画像データ上のピクセル座標（Ｐｘ、Ｐｙ）を二次元平面地理座標系の地理座標に変換する（図６（ｃ）及び図６（ｄ）参照）。
【０２５１】
逆座標変換６処理部１０６ｂは、座標変換６の逆変換である。これは、二次元平面地理座標系に変換された平面画像表示用画面のカーソル位置を平面図画像データ上のピクセル座標（Ｐｘ、Ｐｙ）に変換する。
【０２５２】
座標変換７処理部１０７ａは、二次元平面地理座標系の地理座標に変換されたカーソル位置を三次元地形モデル上の三次元座標に変換する座標変換７を行う。
【０２５３】
逆座標変換７処理部１０７ｂは、座標変換７の逆変換である。これは、三次元地形モデルに定義されたカーソルの三次元座標を二次元平面地理座標系に変換する。
【０２５４】
選択部８５は、画像表示の指示に伴って（システム開始）、表示処理部３４から初期のカーソルが指定された画面（カメラ表示用画面、ＧＩＳ表示用画面又は平面図表示用画面）を判断し、判断した画面の種類に応じて、前述の各種座標変換処理を選択する。また、選択するためのプログラムはメモリ９３に記憶している。
【０２５５】
これらの各種座標変換処理を選択することによって、上記の実施の形態のカメラ画像指定個所連動表示部１１、ＧＩＳ画像指定個所連動表示部１２又は平面図指定個所連動表示部１３の処理を行う。
【０２５６】
この選択部の動作について図２５及び図２６のフローチャートを用いて以下に説明する。
【０２５７】
なお、初期設定（Ｓ２００）として、
画角は画角設定処理部３３で既に設定（メモリ９１に記憶されている）され（Ｓ２０１）、カメラ画像が表示され（Ｓ２０２）、平面図画像が表示され（Ｓ２０３）、三次元ＧＩＳ画像が表示されている（Ｓ２０４）。
【０２５８】
前述のカメラ画像、三次元ＧＩＳ画像及び平面図画像を表示するときは、表示制御部８０は、画面表示処理部作成部８１からの分割数に基づく数のエリアを表示用バッファ８０ａに生成（４分割）し、表示処理部３４の各画像表示処理部（カメラ、三次元ＧＩＳ、平面図）が監視する画面（第１エリア：カメラ画像表示画面、第２エリア：三次元ＧＩＳ画像表示画面、・・）のサイズ（画面表示範囲ともいう）に対応したピクセル数の表示バッファ（３４ａｄ１、３４ｂｄ１・・）を生成する。
【０２５９】
そして、前述のカメラ画像は、カメラ画像表示処理部３４ａａがカメラ画像再生部３４ａｂを起動させ、このカメラ画像再生部３４ａｂからの再生画像が出力される毎に、この動画をカメラ画像表示用バッファ３４ａｄ１に書き込み、これを表示制御部８０に出力する。
【０２６０】
平面図画像表示処理部３４ｃが、入力された撮影対象物情報（撮影対象物の位置、監視カメラの位置等）を読み込み、データベース５の二次元平面図をカメラ画像表示画面のサイズに基づくピクセル座標（Ｐｘ、Ｐｙ）に変換し、この二次元平面図データの内で監視カメラの位置および撮影対象物を含む所定範囲を表示範囲として平面図用表示バッファ３４ｃｄ１に書き込んでこれを表示制御部８０に出力する。
【０２６１】
ＧＩＳ画像表示処理部３４ｂは、画角設定部３３で設定された画角での三次元地形データの領域の画像データ（テクスチャー）を、三次元画像表示用バッファ３４ｂｄ１に読み出し、これを表示制御部８０に出力する。
【０２６２】
この三次元ＧＩＳ画像の表示にあたっては、選択部８５が表示処理部３４のカメラ画像表示処理部３４ａａからカメラ画像の表示が完了したことが知らせられると、座標変換４処理部１０４ａを起動する。座標変換４処理部１０４ａは、画角設定処理部３３で設定されている画角（位置、傾き、撮影範囲；カメラ座標系に設定された写真（写真座標系））の写真エリア（撮影範囲ともいう）の各点をデータベース５の三次元地形データの各点の座標に変換する。つまり、三次元地形データにおける監視カメラの画角での撮影範囲に対応する領域を決定する。
【０２６３】
そして、選択部８が逆変換座標４処理部１０４ｂを起動させ、逆座標変換４処理部１０４ｂが三次元地形データに対応する領域の画像データの三次元座標を前述のカメラ座標系に変換し、逆座標変換３処理部を起動させて写真座標系の座標に変換させて、逆座標変換２処理部を起動させて、画像座標系（Ｐｘ−Ｐｙ）に変換させ、さらに逆座標変換１処理を起動させて三次元ＧＩＳ画像表示用画面座標系（Ｍｘ−Ｍｙ）に変換する。
【０２６４】
そして、ＧＩＳ画像表示処理部３４ｂにこの変換された三次元地形データの撮影範囲の画像データを出力する。三次元ＧＩＳ画像表示処理部３４ｂはこれを表示バッファに書き込み、表示制御部の第２エリアに書き込むことで、図２７（ａ）の三次元ＧＩＳ画像を表示している。
【０２６５】
このような状態で選択部８５は、カーソルが指定されたかどうかを監視する（Ｓ２０５）。
【０２６６】
これは、表示処理部３４の各画像処理部（カメラ、三次元ＧＩＳ、平面図）が、カーソルが指定された場合は、カーソル指定と画面の種類を選択部８５に出力することによって判定する。
【０２６７】
次に、選択部８５はカーソルが指定された画面（カメラ、三次元ＧＩＳ、平面図）を判定する（Ｓ２０６）。
【０２６８】
カメラ画像表示用画面でカーソルが指定されたと判定した場合は、選択部８５は座標変換１、座標変換２、座標変換３、座標変換４の順で選択起動させて監視カメラの撮影範囲に対応する三次元地形データのカーソル位置（三次元ＧＩＳ画像上のカーソル位置）を得る（Ｓ２０７〜Ｓ２１０）。
【０２６９】
さらに、逆座標変換４、逆座標変換３、逆座標変換２、逆座標変換１の順で選択起動させ（Ｓ２１１〜Ｓ２１４）、この結果得られたＧＩＳ画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を表示バッファ３４ｂｄ２に書き込むことで、三次元ＧＩＳ画像上にカメラ画面に指定されたカーソルと同じ位置にカーソルを表示する（Ｓ２１５）。
【０２７０】
さらに、選択部８５は図２６に示すように、逆座標変換７、逆座標変換６、逆座標変換５の順で選択起動させて三次元地形データの二次元平面にカーソル位置を定義し、さらに平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を求める（Ｓ２１６〜Ｓ２１８）。
【０２７１】
そして、この結果得られた平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示用の表示バッファ３４ｃｄ２に書き込むことで、平面図画像上にカメラ画面に指定されたカーソルの二次元位置にカーソルを表示する（Ｓ２１９）。
【０２７２】
次に、終了かどうかを判断する（Ｓ２２１）。終了でない場合は、処理をステップＳ２０５に戻す。
【０２７３】
また、ステップＳ２０５、２０６の処理によって三次元ＧＩＳ画像表示用画面でカーソルが指定されたと判定した場合は、選択部８５は座標変換１、座標変換２、座標変換３、座標変換４の順で選択起動させて三次元地形データの監視カメラの撮影範囲に対応する領域にカーソル位置を定義（Ｘ、Ｙ、Ｚ）する（Ｓ２３１〜Ｓ２３４）。
【０２７４】
さらに、逆座標変換４、逆座標変換３、逆座標変換２、逆座標変換１の順で選択起動させて三次元ＧＩＳ画像画面のカーソル位置と同じカメラ画像上におけるカメラ画像表示用画面での座標を求め（Ｓ２３５〜Ｓ２３８）、このピクセル座標（Ｍｘ、Ｍｙ）をカメラ画像表示用の表示バッファ３４ａｄ１に書き込むことで、カメラ画像上に三次元ＧＩＳ画像画面に指定されたカーソルと同じ位置にカーソルを表示する（Ｓ２３９）。
【０２７５】
さらに、選択部８５は図２６に示すように、逆座標変換７、逆座標変換６、逆座標変換５の順で選択起動させることで三次元ＧＩＳ画像上に指定されたカーソル位置に対応する二次元平面図画像上の位置を求め（Ｓ２４０〜Ｓ２４２）、この平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示用の表示バッファ３４ｃｄ１に書き込むことで、平面図画像上に三次元ＧＩＳ画像に指定されたカーソルの二次元位置にカーソルを表示する（Ｓ２４３）。
【０２７６】
さらに、ステップＳ２０５、２０６の処理によって平面図画像表示用画面でカーソルが指定されたと判定した場合は、選択部は座標変換５、座標変換６、座標変換７の順で選択起動させて平面図画像上で指定されたカーソル位置を三次元地形データに定義（Ｘ、Ｙ、Ｚ）する（Ｓ２５１〜Ｓ２５３）。
【０２７７】
そして、逆座標変換４、逆座標変換３、逆座標変換２、逆座標変換１の順で選択起動させて監視カメラの撮影範囲における三次元地形データのカーソル位置に対応する三次元ＧＩＳ画像上のカーソル位置を三次元ＧＩＳ画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）に変換し、これを三次元ＧＩＳ画像表示処理部３４ｂの表示バッファ３４ｂｄ１に書き込みさせる（（Ｓ２５４〜Ｓ２５８）。
【０２７８】
そして、選択部８５は図２６に示すように、逆座標変換４、逆座標変換３、逆座標変換２、逆座標変換１の順で選択起動させて平面図画像上のカーソル位置に対応するカメラ画像上の位置に、そのカーソルを表示させる（Ｓ２５９〜Ｓ２６３）。具体的には、カメラ画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）に変換し、これをカメラ画像表示処理部の表示バッファに書き込むことでカメラ画面にカーソルを表示する。
【０２７９】
つまり、カメラ画像表示処理部３４ａａがカメラ画像表示用バッファ３４ａｄ１のカメラ画像と、カーソル用表示バッファ３４ａｄ２のカーソル画像とを合成して表示制御部８０に出力し、ＧＩＳ画像表示処理部３４ｂがＧＩＳ画像用表示バッファ３４ｂｄ１の監視カメラの画角（撮影範囲）での三次元ＧＩＳ画像とカーソル用表示バッファ３４ｂｄ２のカーソル画像とを合成して表示制御部８０に出力する。
【０２８０】
また、平面図画像表示処理部３４ｃが平面図用表示バッファ３４ｃｄ１の平面図画像とカーソル用表示バッファ３４ｃｄ２のカーソル画像とを合成して表示制御部８０に出力する。
【０２８１】
そして、表示制御部８０が表示用バッファ８０ａの対応するエリアにこれらの画像を読み出して、表示バッファ８０ａのこれらの画像を表示部２０に表示する（図２７（ｂ）参照）。
【０２８２】
すなわち、選択部８５は、上記実施の形態と同様に、カメラ画像上でカーソルが指定された場合は、カメラ画像指定個所三次元座標変換部、ＧＩＳ画像用逆変換部、平面図画像用逆変換部の機能を実行させている。
【０２８３】
また、ＧＩＳ画像上でカーソルが指定された場合は、ＧＩＳ画像指定個所三次元座標変換部、カメラ画像用逆変換部、平面図画像用逆変換部の機能を実行させている。
【０２８４】
さらに、平面図画像上でカーソルが指定された場合は、平面図画像指定個所三次元座標変換部、ＧＩＳ画像用逆変換部、カメラ画像用逆変換部の機能を実行させている。
【０２８５】
従って、一つの画面において、監視カメラからのカメラ画像と、三次元ＧＩＳ画像と、平面図画像とを連動表示しても、カメラ画像は何等加工が加えられていないリアルな画像であるから、このカメラ画像は信頼ができる。
【０２８６】
さらに、いずれかの画面において、カーソルが指定されると他の画面上の対応する位置にも同じカーソルを表示するので、信頼できるリアルなカメラ画像を見ながら位置の特定を平面図、ＧＩＳ画像、カメラ画像上で地理的な空間位置を一目で把握できる。
【０２８７】
ここで、画角の設定について図２８を用いて説明を補充する。
【０２８８】
地上対象物Ｐの地理座標系における座標（Ｘ、Ｙ、Ｚ）とカメラ座標系における座標Ｐ（ｘｐ、ｙｐ、ｚｐ）は、次の関係式で求められる。
【０２８９】
このとき、カメラ座標系の地理座標系に対する傾きを（ω、ψ、κ）、カメラ投影中心の地理座標を０（Ｘ０、Ｙ０、Ｚ０）とする。
【数１】
【０２９０】
次に、上記式の回転行列Rは式2）のように表せる。
【数２】
【０２９１】
ここで、カメラの焦点距離をｃ、対象物Ｐとカメラ投影中心０（Ｘ０、Ｙ０、Ｚ０）とを結ぶ直線とＣＣＤ面との交点の画面座標をｐ（ｘ，ｙ）とすると、投影中心、画面座標、地上対象物が一直線上にあるという共線条件式は次のようにして求められる。
【数３】
【０２９２】
よってこの関係式を用いて、カメラの地理座標系に対する位置と姿勢（（Ｘ０、Ｙ０、Ｚ０）＆（ω、ψ、κ））すなわち外部標定要素と、カメラの焦点距離ｃが既知であれば、任意の地理座標（Ｘ、Ｙ、Ｚ）に対応するＣＣＤ面上の座標（ｘ、ｙ）を導きだせる。
【０２９３】
また、上記の式を変形し以下の式とすることで、ＣＣＤ上の画面座標（ｘ、ｙ）と標高（Ｚ）から、地理座標（Ｘ、Ｙ）を求めることできる。
【数４】
【０２９４】
画面座標（ｘ、ｙ）から地理座標（Ｘ、Ｙ、Ｚ）を求める場合は、カメラ投影中心の標高（Ｚ０）等を初期値とし、連続的に標高Ｚの値を変更して上記式より地理座標（Ｘ、Ｙ）をもとめ、求められた地理座標（Ｘ、Ｙ）に対応する三次元地形モデルにおける実際の標高とを比較し、合致した地点を真値とする方法などがある。この際に、最もカメラに近い合致地点を選択することで地形の影に隠れて本来見えない地点を選ぶような間違いを回避することが出来る。
【０２９５】
なお、上記各実施の形態では、平面図画像は等高線付きの地図として説明したが、平面図は、等高線付きの地図、防災マップ、特別に凹凸を強調した赤色地図とからなる合計３種類であってもよい、この場合は、画面を５分割して上記のように各画像表示処理部を生成し、それぞれの画面においてカーソルが指定されたときに、他の対応する位置にカーソルを連動表示するようにする。
【符号の説明】
【０２９６】
１１ カメラ画像指定個所連像表示部
１２ ＧＩＳ画像指定個所連動表示部
１３ 平面図指定個所連動表示部
３１ カメラ選択部
３２ モード判定部
３３ 画角設定部
３４ 表示処理部
【技術分野】
【０００１】
本発明は、撮影対象を監視カメラで撮影した監視カメラ画像及び該監視カメラ画像の擬似画像並びに前記撮影対象を含む平面画像を表示部に連動表示して、これらの画像上に指定個所を連動表示する監視カメラ画像を用いた連動表示計測システムに関する。
【背景技術】
【０００２】
火山噴火や土石流などの自然災害を監視する目的として、カメラによる監視機器（以下監視カメラという）を設置することがある。
【０００３】
しかし、監視カメラからの監視カメラ映像（以下監視カメラ画像という）は火砕流や噴石などの現象の概略的な理解には有効である反面、そこから発生・到達場所といった位置情報を詳細に捉えることは、現地を熟知した一部の者を除いては困難である。
【０００４】
特に、発生状況をいち早く伝達する必要性がある監視機関にとっては、この位置把握の問題は重要であり、監視カメラ画像内での事象と防災マップ等の地図情報との関係を即座に把握し得る手段が望まれている。
【０００５】
通常、監視カメラ画像から位置情報を取得する手段としては、２台の監視カメラによるステレオ計測法か、１台の監視カメラによる単写真計測手法がある。
【０００６】
ステレオ計測は、２台の監視カメラの映像がある程度同じ範囲を撮影するように重なり合う必要があり、単写真計測は、計測対象までの距離もしくは対象の標高が既知となっている必要がある。
【０００７】
また、これらの計測にはいずれも、監視カメラの撮像面の大きさ、撮像面中心とレンズの光学中心のズレ、撮像素子の画素数やレンズ歪みといった内部標定要素と、地理座標系における監視カメラの位置と三次元座標軸に対する回転角度といった外部標定要素が必要である。
【０００８】
前述の内部標定要素は、映像内にある三次元座標が既知の基準点９点以上により算出される。
【０００９】
一方、外部標定要素は、同様に映像内にある三次元地理座標が既知である基準点３点以上により算出する方法と、ＧＰＳやジャイロ等の測定機器を撮影装置に取り付けて直接的に求める方法とがある。
【００１０】
計測精度を向上させる上で最も理想的なのはステレオ計測法であるが、既存の監視カメラは、設置台数を最小化するためにカメラ間の重なりがあえて少なくなっておりステレオ計測が可能な映像ペアを確保できない場合が多い。
【００１１】
また、計測のために監視カメラを増設することがコスト面で不利になるという問題と、災害地域という性質上、安全のため現地で基準点を配置できないことや、撮影範囲が広範囲にわたると映像内で認識できる大きさの基準点を監視カメラからの遠方地点で配置することが出来ない等の問題があることから、１台の監視カメラで、かつ、現地に基準点を必要としない計測手段の実現が求められている。
【００１２】
そこで、監視カメラ画像と同じ様に見える画像を数値地図データや三次元形状データから生成し、写真映像とを重ね合わせて計測する手法が既に提案されている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００７−２７１８６９号公報
【特許文献２】特開２００７−１８３４７号公報
【非特許文献】
【００１４】
【非特許文献１】社団法人日本写真測量学会 解析写真測量 改訂版 Ｐ．４６−Ｐ５６
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、特許文献１、特許文献２ともに、三次元情報と写真映像の重ね合わせ処理とその利用方法が逐次的に提案されているが、即時性が求められる実際の監視現場（夜間に火山が爆発した等）においては、例えば、写真上の座標を選択し、対応する三次元座標を出力してから、地図ソフト上に表示するといった段階的な手段を採ることによって失う時間が問題となる場合がある。
【００１６】
また、実際に撮影した映像（画像）に擬似的な画像を合成表示しているので、実画像を正確に見ることはできない。見るためには、擬似的な画像を除去する等の手段をとらなければならない。
【００１７】
そこで、本発明では、監視カメラ画像には何等加工を施さないようにして、かつ段階的な手段をとらなくとも一目で監視カメラ画像、三次元画像、平面図画像上での指定個所をそれぞれの画像上で正確に直に提供できる単眼視の監視カメラ映像を用いた連動表示計測システムを得ることを目的とする。
【課題を解決するための手段】
【００１８】
本発明の監視カメラ画像を用いた連動表示計測システムは、
表示部の画面を分割して、撮影対象を監視カメラで撮影した監視カメラ画像及び該監視カメラ画像に対応する三次元画像並びに前記撮影対象を含む平面図画像を該当の画面に連動表示して、いずれかの画面に位置が指定されると、この位置にマーカを表示し、かつ他の画面の対応する位置にマーカを連動表示する監視カメラ画像を用いた連動表示計測システムであって、
前記撮影対象の三次元地形データ、前記監視カメラ画像、前記監視カメラの外部標評要素及び内部標定要素、前記撮影対象を含む平面図データを記憶した記憶手段と、
（ａ）前記外部標識、内部標定要素に基づいて前記三次元地形モデルに前記監視カメラの撮影地点における画角を定義する手段と、
（ｂ）前記監視カメラ画像の画面又は三次元画像の画面に前記位置が指定された場合は、監視カメラ画像の画面又は三次元画像の画面のマーカ座標をその画面に表示している画像の座標に変換し、前記設定された画角の写真座標に変換し、この写真座標から前記三次元地形モデル上の三次元座標に変換する手段と、
（ｃ）前記平面図画像の画面に前記位置が指定された場合は、この画面のマーク座標を前記平面図データ上の二次元座標に変換する手段と、
（ｄ）前記（ｂ）手段で前記三次元座標に変換される毎に、この変換された三次元座標を、前記（ｂ）手段の座標変換の過程を逆変換して前記カメラ画像の画面又は前記三次元画像の画面上の座標を算出し、該算出された画面上の座標に前記マークを表示させる手段と、
（ｅ）前記平面図画像の画面のマーク座標が二次元座標に変換されたとき、この変換された二次元座標を、前記三次元地形モデル上の三次元座標に変換し、該三次元座標を前記画角の写真座標に変換し、これを前記カメラ画像の画面及び三次元画像の画面の座標に変換し、該変換した画面の座標に前記マークを表示させる手段と
を備えたことを要旨とする。
【発明の効果】
【００１９】
以上のように本発明によれば、監視カメラ画像、三次元ＧＩＳ画像、平面図とを連動表示させて、いずれかの画面の指定個所を同じ位置に瞬時に連動表示させるので、段階的な手段を用いなくとも一目でこれらの画像上の相対位置関係を把握できる。
【００２０】
また、例えば噴火開始地点や被災範囲の位置特定・計測など、監視カメラのみでは知ることができない情報を得るようになる。
【図面の簡単な説明】
【００２１】
【図１】本実施の形態の監視カメラ画像を用いた連動表示計測システムの概略構成図である。
【図２】本実施の形態の監視カメラ画像を用いた連動表示計測システムの特徴を説明する説明図である。
【図３】カメラ画像指定個所連動表示部１１、ＧＩＳ画像指定個所連動表示部１２、平面画像指定個所連動表示部１３の概略動作を説明する説明図である。
【図４】本実施の形態に用いる座標変換を説明する説明図である。
【図５】本実施の形態に用いる座標変換を説明する説明図である。
【図６】本実施の形態に用いる座標変換を説明する説明図である。
【図７】本実施の形態に用いる座標変換を説明する説明図である。
【図８】実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図である。
【図９】標定要素の説明図である。
【図１０】実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムの全体動作を説明するフローチャートである。
【図１１】実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムのカメラ画像指定個所連動表示部の動作を説明するフローチャートである。
【図１２】実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムのカメラ画像指定個所連動表示部の動作を説明するフローチャートである。
【図１３】実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムのカメラ画像指定個所連動表示部の動作を説明するフローチャートである。
【図１４】実施の形態２のＧＩＳ画像指定個所連動表示部１２の構成図である
【図１５】実施の形態２のＧＩＳ画像指定個所連動表示部１２を説明するフローチャートである。
【図１６】実施の形態２のＧＩＳ画像指定個所連動表示部１２を説明するフローチャートである。
【図１７】実施の形態２のＧＩＳ画像指定個所連動表示部１２を説明するフローチャートである。
【図１８】実施の形態３の平面図画像指定個所連動表示部１４の構成図である。
【図１９】実施の形態３の平面図画像指定個所連動表示部１４を説明するフローチャートである。
【図２０】実施の形態３の平面図画像指定個所連動表示部１４を説明するフローチャートである。
【図２１】実施の形態４の距離・面積計算処理の構成図である。
【図２２】実施の形態４の距離・面積計算処理を説明する説明図である。
【図２３】実施の形態５の視点変更の三次元画像を説明する説明図である。
【図２４】実施の形態６の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図である。
【図２５】実施の形態６の監視カメラの画像を用いた三次元連動計測表示システムの動作を説明するフローチャートである。
【図２６】実施の形態６の監視カメラの画像を用いた三次元連動計測表示システムの動作を説明するフローチャートである。
【図２７】実施の形態６のカーソル表示を説明する説明図である。
【図２８】画角の設定（算出）の手法を説明する説明図である。
【発明を実施するための形態】
【００２２】
本実施の形態は、監視カメラ（固定）で撮影した火山、海域、平野等の対象範囲が数キロに亘る広範囲の映像（以下単にカメラ画像：静止画又は動画）を、航空レーザ計測などによって得られたデジタル標高モデル（三次元地理座標モデル）に対応付けることによって、カメラ画像又はその監視カメラが撮影している撮影範囲（画角）の三次元画像（本実施の形態では三次元ＧＩＳ画像という）若しくは撮影範囲の二次元平面図画像（以下単に平面図画像という）を連動表示して、これらの画像のいずれかにおいて、指定された個所（位置、面積、線を含む）を十字マーク（本実施の形態ではカーソル又は対象地点という）で連動表示するシステムである。また、指定された個所の座標、面積、長さを表示する。
【００２３】
すなわち、本実施の形態は、三次元ＧＩＳ画像は三次元地形地理座標モデルに航空写真や衛星画像をテクスチャーとして貼り付けた立体画像であり、視点やテクスチャーの変更も自由に行えることを利用して、監視現場で必要とされる図面との位置の照合や、地形形状を把握するために視点を変更して観察することを可能とする。
【００２４】
つまり、三次元ＧＩＳ画像を用いるので、二次元の平面図画像も同様に画面（二次元平面図画面ともいう）に連動に表示することができるので、監視カメラ画像と三次元ＧＩＳ画像と平面図画像（例えば地図、防災マップ等）を連動表示した場合には、いずれかの画像上において、ある個所が指定されると、その指定個所（指定位置ともいう）の相互位置関係の把握が一目で容易にわかる。
【００２５】
従って、本実施の形態は、段階的な手段をとらなくとも、監視カメラ画像と、この三次元ＧＩＳ画像と、平面図画像とを連動表示して指定個所の相互位置関係を敏速に把握
させている。
【００２６】
以下に実施の形態を図面を用いて説明する。
【００２７】
図１は本実施の形態の監視カメラ映像を用いた連動表示計測システムの概略構成図である。
【００２８】
本実施の形態は、火山、山、河川、平野、島、海域等の広域な撮影対象Ａを単眼の監視カメラ１（固定カメラ：複数地点でもよい）で撮影し、このカメラ画像データをＬＡＮで遠隔地点の画像蓄積装置２（サーバ）に送信して蓄積する。
【００２９】
又は、カメラ画像データを外部記憶装置例えばＣＤ−ＲＯＭ３に保存させて、これを持ち帰って画像蓄積装置２に保存する。そして、これらのカメラ画像及び後述する内部標定要素、外部標定要素等をデータベース５に記憶（三次元計測用データセットとも称する）する（１）。
【００３０】
前述の外部標定要素、内部標定要素による画角の設定や、画面座標と三次元地理座標の相互変換には、非特許文献１に開示されている座標変換手法を用いて計算している。
【００３１】
また、データベース５に三次元地理座標モデルとそのテクスチャーデータ等（以下総称して三次元地形モデルという）を記憶していると共に、数値地図や防災マップ等の二次元平面図データを保存している。二次元地図データをテクスチャーとしても良い。
【００３２】
前述の三次元地形モデルの三次元地理座標モデルは、ヘッダー情報として４隅の地理座標（緯度経度）と縦横のメッシュ数を記憶し、実データとして、メッシュの交点の順番に標高のみが記録されているデータである。
【００３３】
さらに、データベース５には、カメラの内部標定要素、カメラの外部標定要素等を記憶している。
【００３４】
このカメラの内部標定要素、カメラの外部標定要素は前処理部６によって算出されている。
【００３５】
前処理部６は、予めトータルステーションなどで座標値が精密に計測されたターゲット板を用意し、テストターゲット板を監視カメラ１のレンズ前に設置して、このテスターターゲット板を撮影する（２）。これは、カメラの内部標定要素（撮像面の中心とレンズの光学中心のズレ＝主点位置ズレ、レンズ歪み、焦点距離、・・）を正確に算出するためである。なお、撮像面サイズや画素数は事前に既知である必要がある。
【００３６】
次に、各ターゲット板の座標値（トータルステーションなどで精密に求めた座標）とカメラの画像座標の関係から監視カメラの内部標定要素（主点位置ズレ、レンズ歪み、焦点距離）を算出してデータベース５に記憶する（３）。
【００３７】
次に、カメラ画像に映っている尾根などの特徴的な地形の対応点を三次元地形モデル上で複数求めて（カメラ画像の地上基準点を取得）、監視カメラの外部標定要素（監視カメラの位置、姿勢）を算出する（４）。この基準点の取得は、カメラ画像とこのカメラ画像の三次元ＧＩＳ画像とを画面（カメラ画像表示用画面、ＧＩＳ画像用表示用画面）に表示して取得する。
【００３８】
次に、三次元地形モデルから求めた三次元地理座標と、対応する監視カメラの画像座標の関係から監視カメラの外部標定要素（カメラの位置、姿勢）を求めてデータベース５に記憶する（５）。
【００３９】
そして、画角設定部１０が監視カメラの内部標定要素および外部標定要素を使用して監視カメラの画角を三次元地形モデル上に再現することにより、監視カメラが撮影している範囲の撮影対象Ａの擬似的なカメラ映像（三次元ＧＩＳ画像）を表示部２０に表示させることを可能とする。つまり、監視カメラの画角を三次元地形モデル上に再現することにより、撮影対象Ａに対応する三次元ＧＩＳ画像を表示部２０に表示している。
【００４０】
一方、カメラ画像指定個所連動表示部１１、ＧＩＳ画像指定個所連動表示部１２、平面画像指定個所連動表示部１３を備え、これらは互いに連動して動作している。
【００４１】
そして、カメラ画像、三次元ＧＩＳ画像又は平面図画像上に指定位置を示すカーソルが指定されると、三次元ＧＩＳ画像及び平面図画像の対応する座標位置に連動表示する（図２参照）。
【００４２】
図２においては夜に火山を監視カメラで撮影している場合に、三次元ＧＩＳ画像及び平面図画像にカーソルが連動表示されることを示している。
【００４３】
図３は、カメラ画像指定個所連動表示部１１、ＧＩＳ画像指定個所連動表示部１２、平面画像指定個所連動表示部１３の概略動作を説明する説明図である。
【００４４】
カメラ画像指定個所連動表示部１１は、カメラ画像上での位置計測、三次元ＧＩＳ画像および平面図画像上での連動計測表示を行う。
【００４５】
すなわち、カメラ画像指定個所連動表示部１１は、カメラ画像上の任意の位置を指定すると（７−１）、その位置にカーソルを表示（７−１−１）すると共に、三次元ＧＩＳ画像上での相対的な三次元座標を算出して（７−２）、その位置にカーソルを表示し（７−２−１；図２の点線Ｋ１−１を参照）、かつ撮影範囲ＧＩＳ画像上での三次元地理座標を算出し（７−３）、その三次元地形座標を表示する（７−３−１）と共に、高さ方向を除いた二次元地理座標を求め（７−４）、対応する平面図画像上の二次元地理座標にカーソルを表示する（７−４−１：図２の点線Ｋ１−２参照）。
【００４６】
つまり、カメラ画像上から位置を入力した場合に、監視カメラの画角を三次元地理座標に再現することによって、各種画面間のカーソルの動きの連動を可能としている。
【００４７】
さらに、カメラ画像上で任意の距離や面積を計測する場合は、距離または面積を構成する頂点（以下単に点という）をカメラ画像上で連続指定し、その都度求められる三次元地理座標を用いて、これらの距離や面積を求める（７−５）。
【００４８】
ＧＩＳ画像指定個所連動表示部１２は、三次元ＧＩＳ画像上での位置計測、平面図画像およびカメラ画像上での連動計測表示を行う。
【００４９】
三次元ＧＩＳ画像上の任意の位置を指定すると（８−１）、その位置（三次元ＧＩＳ画像上）にカーソルを表示する（８−１−１）と共に三次元地形モデルにおける三次元地理座標を算出し（８−２）、その三次元座標を三次元ＧＩＳ画像上に表示する（８−２−１）と共に、さらに高さ方向を除いた二次元地理座標を求め（８−３）、対応する平面図画像上にカーソルを表示する（８−３−１）；図２においては点線Ｋ２−１参照）。
【００５０】
そして、共線条件式（空間上の対象物、対象物の写真上の像点、カメラのレンズ中心の３点が同一直線上にあるためのカメラの幾何学的条件）を利用した関係式へ三次元地理座標を代入してカメラ画像上の画像座標を求め（８−４）、対応するカメラ画像上の位置にカーソルを表示する（８−４−１：図２においては点線Ｋ２−２参照）。
【００５１】
つまり、三次元ＧＩＳ画像上から位置を入力した場合の各種画面間のカーソルの動きの連動表示を可能としている。
【００５２】
さらに、三次元ＧＩＳ画像上で任意の距離や面積を計測する場合は、距離または面積を構成する点を三次元ＧＩＳ画像上で連続指定し、その都度求められる三次元地理座標を用いて、これらの距離や面積を求める（８−５）。
【００５３】
平面画像指定個所連動表示部１３は、平面図画像上での位置計測、三次元ＧＩＳ画像およびカメラ画像上での連動計測表示を行う。
【００５４】
平面図画像上の任意の位置を指定すると（９−１）、その平面図画像上にカーソルを表示する（９−１−１）と共に、この平面図画像の二次元地理座標系にそのカーソル位置を定義して三次元地形モデルに含まれる地理座標モデルの三次元地理座標を求め（９−２）、平面図画像に対応する三次元ＧＩＳ画像上にカーソルＫｉを表示する（９−２−１；図２においては点線Ｋ３−１参照）一方、三次元地理座標を求めて表示する（９−２−２）。このとき、同様に共線条件式を利用した関係式へ三次元地理座標を代入してカメラ画像上の画像座標を求め（９−３）、カメラ画像上の対応する位置にカーソルを表示する（９−３−１；図２においては点線Ｋ３−２参照）共に、平面図上の対応する位置にカーソルを連動を表示する（Ｋ１−２の点線参照）。
【００５５】
また、平面図画像上で任意の距離や面積を計測する場合は、距離または面積を構成する頂点を平面図上で連続指定し、その都度求められる三次元地理座標を用いて、これらの距離や面積を求める（９−５）。
【００５６】
なお、求めた三次元座標及び二次元座標は、座標値表示用のボックスを表示し、このボックスに表示させてもよい。
【００５７】
＜各座標系の説明＞
本実施の形態は以下に図４〜図７に説明する座標系を用いている。
【００５８】
（座標変換１：画面−画像座標変換）
座標変換１は、図４（ａ）及び図４（ｂ）に示すように表示画面の縦横のピクセル数と画像（画像データともいう）の縦横のピクセル数の比から、表示画面上のピクセル座標（Ｍｘ，Ｍｙ）をカメラ画像（画像データ）上のピクセル座標（Ｐｘ，Ｐｙ）に変換する。また、この座標変換１を逆変換することを逆座標変換１と称する。
【００５９】
（座標変換２：画像−写真座標変換）
座標変換２は、図４（ｃ）及び図４（ｄ）に示すように、カメラのＣＣＤ面（もしくはフィルム面）の実サイズとカメラ画像（画像データ）の縦横のピクセル数とを対応させることにより、画像データ上のピクセル座標（Ｐｘ，Ｐｙ）をカメラのＣＣＤ面上の実座標＝写真座標（Ｘ’，Ｙ’）に変換する。また、この座標変換２を逆変換することを逆座標変換２と称する。
【００６０】
さらに、上記座標変換２には、レンズの放射方向歪曲収差や主点位置ズレ（レンズの光軸中心とＣＣＤ中心のズレ）といった写真画像の系統的な歪みを補正する一般的な式を組み合わせることによって、歪みを取り除いた写真座標を得ている。
【００６１】
（座標変換３：写真−カメラ座標変換）
座標変換３は、写真座標平面をＸＹ軸、それに直行する軸をＺ軸とし、ＣＣＤ中心からＺ軸方向に焦点距離（ｆ）はなれた点＝光学中心を原点としたとした三次元空間を想定し、図５（ａ）及び図５（ｂ）に示すように二次元座標である写真座標（Ｘ’，Ｙ’）を光学中心からの三次元相対位置に置き換えたカメラ座標（Ｘ’，Ｙ’，Ｚ’）に変換する。
【００６２】
この座標変換３を逆変換する変換を逆座標変換３という。
【００６３】
（座標変換４：カメラ−地理座標変換）
図５（ｃ）及び図５（ｄ）に示すように、カメラの光学中心の地理座標、カメラ座標系の地理座標系に対する傾きを用いて、カメラ座標系を地理座標系に変換する。この座標変換４を逆変換する変換を逆座標変換４という。
【００６４】
（座標変換５：画面−平面図座標変換）
図６（ａ）及び図６（ｂ）に示すように、表示画面（平面図画像表示用画面）の縦横のピクセル数と平面図画像上の画面表示範囲の縦横のピクセル数の比から、表示画面上のピクセル座標（Ｍｘ，Ｍｙ）を画面表示範囲上のピクセル座標に変換し、さらに二次元平面図データ上の画面表示範囲の相対位置関係から、画面表示範囲上のピクセル座標を二次元平面図データ上のピクセル座標（Ｐｘ，Ｐｙ）に変換する。また、座標変換５の逆変換を逆座標変換５と称する。
【００６５】
（座標変換６：平面図−平面地理座標変換）
座標変換６は、図６（ｃ）及び図６（ｄ）に示すように、二次元平面図データの４隅の地理座標と、表示された平面図画像データの縦横のピクセル数を対応させることによって、平面図画像データ上（平面図画像）のピクセル座標（Ｐｘ，Ｐｙ）を平面地理座標（Ｘ，Ｙ）に変換する。また、座標変換６を逆変換することを逆座標変換６と称する。
【００６６】
（座標変換７：平面−三次元地理座標変換）
座標変換７は、図７（ａ）及び図７（ｂ）に示すように、平面地理座標（Ｘ，Ｙ）に対応する標高値（Ｚ）を、デジタル標高モデル（三次元地形モデル）より検索する。座標変換７の逆変換を逆座標変換７という。
【００６７】
＜実施の形態１＞
図８は実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図である。本実施の形態１はカーソルの連動表示について説明する。
【００６８】
図８に示すように、実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムは、表示部２０と、コンピュータ本体部３０（以下単に本体部３０という）と、図示しないマウス、キーボード等から構成されている。
【００６９】
そして、本体部３０は、図８に示すように、カメラ選択部３１と、モード判定部３２と、画角設定部３３と、表示処理部３４と、カメラ画像指定個所連像表示部１１と、ＧＩＳ画像指定個所連動表示部１２と、平面図指定個所連動表示部１３等を備えて、対象範囲が数キロに亘る広範囲で撮影されたカメラ画像（例えば火山を撮影した映像）を、三次元地理座標モデルに対応付けて、その監視カメラが撮影した三次元ＧＩＳ画像並びに平面図画像を連動表示すると共に、いずれかの画像（カメラ画像、三次元ＧＩＳ画像若しくは平面図画像）上の指定位置（カーソル）を各々の画像上に連動表示し、かつその指定位置の三次元座標を知らせる。
【００７０】
これによって、監視カメラ１が例えば夜に撮影していても、夜の監視カメラ画像上の隣に同じ三次元ＧＩＳ画像が表示されているので、夜であってもどこから撮影している監視カメラの映像かが直に分る（図２参照）。
【００７１】
さらに、カメラ画像上おいて指定された位置にカーソルを表示すると共に、このカメラ画像の隣に連動表示されている三次元ＧＩＳ画像上の同じ位置にカールを表示し、かつ平面図画像上の三次元ＧＩＳ画像上のカーソル位置の平面図画像上の位置にカーソルが連動表示されるので、段階的な手段によらなくとも一目でこれらの画像上におけるカーソルの位置関係を瞬時に把握できる。
【００７２】
なお、平面図画像又は三次元ＧＩＳ画像上にカーソルを表示して他の画像上（防災バップなど）にこのカーソルを連動表示することについては他の実施の形態で説明する。
【００７３】
また、カメラ画像指定個所連像表示部１１とＧＩＳ画像指定個所連動表示部１２と平面図指定個所連動表示部１３とを総称して指定個所連動表示部とも称し、ＧＩＳ画像指定個所連動表示部１２については後述する実施形態２として説明し、平面図指定個所連動表示部１３については後述する実施の形態３として説明する。
【００７４】
また、夜の監視カメラ映像上にカーソルを指定すると、三次元ＧＩＳ画像上及び平面図画像上にそのカーソルが連動表示され、かつ三次元座標が表示されるので、例えば火山が爆発して、溶岩が着地した地点の三次元位置が直に分る。
【００７５】
（各部の構成）
前述の監視カメラ１（固定）は異なる地点に各々配置され、これらの監視カメラ１が連続撮影した監視カメラ画像をＣＤ−ＲＯＭ２等に保存して、このＣＤ−ＲＯＭ２を監視員が定期的に解析センターに届ける。
【００７６】
データベース５には、監視カメラ画像と、三次元地形データと、二次元平面図データ（数値地図、防災マップ・・）と、内部標定要素と、外部標定要素等（図９参照）を保存している。これらの情報は撮影年月日毎であり、監視カメラ毎に区分けされて保存されている。
【００７７】
なお、監視カメラ画像は、映像蓄積サーバ（図示せず）に蓄積して、この映像蓄積サーバと本体部３０とＬＡＮで接続して、これを表示部に表示してもよい。
【００７８】
さらに、監視カメラ１と映像蓄積サーバとをＬＡＮで接続して、監視カメラからのカメラ画像データを取得するようにしてもよい。
【００７９】
内部標定要素は、主点位置ズレ、レンズの歪み、焦点距離、撮像面の大きさ、解像度等であり、外部標定要素は、撮影時の監視カメラの三次元位置、姿勢、等である。これらの標定要素に関しては後述する。
【００８０】
カメラ選択部３１は、データベース５に保存されている監視カメラの種類（設置場所、名称、年月日等）を表示し、選択された監視カメラの番号を表示処理部３４及び画角設定部３３に知らせる。
【００８１】
画角設定部３３は、カメラ選択部３１から知らせられた番号の監視カメラの標定要素（内部標定要素、外部標定要素）を使用して、三次元地形モデル上にその監視カメラの画角を定義する。この画角の設定については後述する。
【００８２】
表示処理部３４は、カメラ画像再生処理部３４ａと、ＧＩＳ画像表示処理部３４ｂと、平面図画像表示処理部３４ｃ等を備え、表示部２０の画面を分割して、これらの分割画面にカメラ画像、三次元ＧＩＳ画像、平面図画像、三次元位置等を表示する。
【００８３】
なお、カメラ画像が表示される画面をカメラ画像表示用画面、三次元ＧＩＳ画像が表示される画面をＧＩＳ画像表示用画面に、平面図画像が表示される画面を平面図画像表示用画面と称する。
【００８４】
また、平面図画像は、地図、防災マップ、住宅地図、衛星写真、航空写真、等々、他の図面であってもよいし、これらを組み合わせたものであってもよいが、本実施の形態では地図を平面図画像として説明する。
【００８５】
カメラ画像再生処理部３４ａは、カメラ選択部３１から知らせられた番号の監視カメラの監視カメラ画像をデータベース５から検索して、これを表示（カメラ表示用画面）する。
【００８６】
また、カメラ画像再生処理部３４ａは、カメラ画像が初めに指定されて、その画像上においてポイントが指定された場合は、そのポイント位置にカーソルを表示すると共に、ＧＩＳ画像表示処理部３４ｂ及び平面図画像表示処理部３４ｃにカーソル表示を行わせる。このカーソル表示は座標変換によって実現している。
【００８７】
さらに、カメラ画像再生処理部３４ａは、ＧＩＳ画像表示処理部３４ｂ又は平面図画像表示処理部３４ｃの各々の画像が初めに指定された場合に、後述する指定個所連動表示部からカーソルピクセル座標（カメラ画像表示用画面の座標）が知らせられると、このピクセル座標にカーソルを表示する。
【００８８】
ＧＩＳ画像表示処理部３４ｂは、データベース５の三次元地形モデル（三次元地形モデル及びテクスチャーデータ）を用いて監視カメラの撮影範囲（画角）に対応する三次元グラフィック画像（三次元ＧＩＳ画像）を表示（ＧＩＳ画像表示用画面）する。
【００８９】
また、ＧＩＳ画像表示処理部３４ｂは、三次元ＧＩＳ画像が初めに指定されて、その画像上においてポイントが指定された場合は、そのポイント位置にカーソルを表示すると共に、カメラ画像再生処理部３４ａ及び平面図画像表示処理部３４ｃにカーソル表示を行わせる。
【００９０】
さらに、ＧＩＳ画像表示処理部３４ｂは、カメラ画像再生処理部３４ａ又は平面図画像表示処理部３４ｃの各々の画像が初めに指定された場合に、後述する指定個所連動表示部からカーソルピクセル座標（ＧＩＳ画像表示用画面の座標：Ｍｘ、Ｍｙ）が知らせられると、このピクセル座標にカーソルを表示する。
【００９１】
平面図画像表示処理部３４ｃは、データベース５の三次元地形モデルの三次元地形モデルの平面座標及びその平面のテクスチャーデータを用いて監視カメラの位置、撮影対象物を含む平面図画像を表示（平面図画像表示画面）する。
【００９２】
また、平面図画像表示処理部３４ｃは、平面図画像が初めに指定されて、その画像上においてポイントが指定された場合は、そのポイント位置にカーソルを表示すると共に、カメラ画像再生処理部３４ａ及びＧＩＳ画像表示処理部３４ｂにカーソル表示を行わせる。
【００９３】
さらに、平面図画像表示処理部３４ｃは、カメラ画像再生処理部３４ａ又はＧＩＳ画像表示処理部３４ｂの各々の画像が初めに指定された場合に、後述する指定個所連動表示部からカーソルピクセル座標（平面図画像表示用画面の座標）が知らせられると、このピクセル座標にカーソルを表示する。
【００９４】
モード判定部３２は、表示部２０の図示しない各ボックスのカーソルボタン（位置指定ポイント）又は計測ボタンが選択された場合は、位置指定モード（単にカーソルモードともいう）又は計測モードと判定し、かつ選択された画面を判定し、この判定結果を表示処理部３４及び該当の指定個所連動表示部に知らせる。
【００９５】
カメラ画像指定個所連動表示部１１は、図８に示すように、カメラ画像指定個所三次元地理座標変換部４０と、ＧＩＳ画像用逆変換部４１と、平面図画像用逆変換部４２と、位置算出部４３等を備えている。
【００９６】
カメラ画像指定個所三次元地理座標変換部４０は、カメラ画像再生処理部３４ａがカメラ画像表示画面のカーソル位置（カメラ画面ピクセル座標Ｍｘ、Ｍｙ）を、カメラ画像データピクセル座標（Ｐｘ、Ｐｙ）に変換し（座標変換１：図４（ａ）及び図４（ｂ）参照）、このカメラ画像データピクセル座標（Ｐｘ、Ｐｙ）を写真座標（Ｘ´、Ｙ´）に変換する（座標変換２：図４（ｃ）及び図４（ｄ）参照）。このとき、レンズ歪みを補正している。
【００９７】
そして、写真座標（Ｘ´、Ｙ´）をカメラ座標（Ｘ´、Ｙ´、Ｚ´）に変換し（座標変換４：図５（ａ）及び図５（ｂ）参照）、カメラの光学中心の地理座標、カメラ座標系に対する傾きを用いてカメラ座標系を三次元地理座標系に変換する（座標変換４：図５（ｃ）及び図５（ｄ）参照）。
【００９８】
位置算出部４３は、三次元地理座標に変換されたカメラ座標系の光学中心と撮影範囲（写真上）のカーソルを結ぶ直線が三次元地形モデルの立体面と交差する点の座標（Ｘ，Ｙ，Ｚ）を三次元位置としても求め、これを表示する。
【００９９】
また、位置算出部４３は、二次元地理座標において、前述の点の座標（Ｘ、Ｙ）を算出して、これを表示する。
【０１００】
ＧＩＳ画像用逆変換部４１は、三次元地形モデルの立体面に点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上に変換し（逆座標変換４）、これを写真座標系（Ｘ´、Ｙ´）に変換する（逆座標変換３）。但し、ＧＩＳ画像用逆変換部における逆座標変換は、歪み逆補正は行わない。
【０１０１】
但し、場合によっては歪みのある三次元ＧＩＳ画像であった場合は、歪み逆補正を行うようにしてもよい。
【０１０２】
そして、これをＧＩＳ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換して（逆座標変換２）、さらにこれをＧＩＳ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換（逆座標変換１）して、ＧＩＳ画像表示処理部３４ｂに出力して、三次元ＧＩＳ画像上において、カメラ画像上のカーソルと同じ位置にカーソルを表示する。
【０１０３】
平面図画像用逆変換部４２は、三次元地形モデル上で求められたカーソル位置（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換して（逆座標変換７：図７（ａ）及び図７（ｂ）参照）、この平面地理座標系に撮影範囲を定義し、この撮影範囲を二次元平面図データの画像座標系に定義（変換）する（逆座標変換６：図６（ｃ）及び図６（ｄ）参照）。
【０１０４】
そして、この画像座標系のピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する（逆座標変換５：図６（ａ）及び図６（ｂ）参照）。
【０１０５】
そして、この平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに出力して、平面図画像上において、カメラ画像及び三次元ＧＩＳ画像のカーソルと同じ位置にカーソルを表示する。
【０１０６】
（動作）
図１０は実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムの全体動作を説明するフローチャートである。
【０１０７】
図１１〜図１３は実施の形態１の監視カメラの画像を用いた三次元連動計測表示システムのカメラ画像指定個所連動表示部の動作を説明するフローチャートである。
【０１０８】
初めに初期設定処理を行う（Ｓ１）。この初期設定処理は、カメラ選択、前処理、平面図の種類（地図、防災マップのいずれか或いは両方）、各画面の表示枠のサイズ等である。
【０１０９】
次に、画角設定部３３が三次元地形モデル（三次元地形モデル）を用いて画角（撮影範囲）を設定する（Ｓ３）。この画角の設定は、データベース５に記憶されている選択されたカメラの内部標定要素、外部標定要素等を用いて三次元地形モデル上における画角を設定する。
【０１１０】
つまり、カメラ座標系にＣＣＤ中心からＺ方向に焦点距離はなれた点（カメラの光学中心）を原点とした三次元空間を想定し、さらにこのカメラ座標系をカメラの光学中心の三次元地形モデル上の地理座標、カメラ座標系の傾きを用いて画角を三次元地形モデル上に設定する（図１０のステップＳ３参照）。具体的な手法は、非特許文献１と同様な変換式で定義している。
【０１１１】
次に、カメラ画像再生部３４がデータベース５から選択されたカメラのカメラ画像を再生し、これを表示部２０のカメラ画像表示用画面に表示すると共に、三次元画像表示処理部３４ｂがデータベース５の三次元地形モデル（監視カメラが撮影している場所の三次元地理座標モデル）を用いてＧＩＳ画像表示用画面に三次元ＧＩＳ画像を表示し、かつ平面図画像表示処理部３４ｃがデータベース５の二次元平面図の平面図画像を平面図表示画面に表示する（Ｓ５）。
【０１１２】
このとき、平面図画像表示処理部３４ｃは、平面図の表示が例えば地図又は防災マップだけの場合は地図又は防災マップを読み出して表示し、若しくは両方表示の場合は両方を平面図画像表示用画面に表示する。
【０１１３】
次に、モード判定部３２がモードを判定し（Ｓ７）、この判定結果によって、カーソル連動表示、距離・面積計算処理又は視点変更処理のいずれかの処理を行う（Ｓ１０、Ｓ２０、Ｓ３０）。そして、終了かどうかを判断して処理を終了する（Ｓ４０）。
【０１１４】
次に、カーソル連動表示の処理を説明する。カーソル連動表示の処理は、カメラ画像指定個所連動表示部１１、ＧＩＳ画像指定個所連動表示部１２及び平面図指定個所連動表示部１３の処理が主である。
【０１１５】
図１１、図１２及び図１３を用いて図８に示すカメラ画像指定個所連動表示を説明する。
【０１１６】
モード判定部３２は、カーソル指示があるかどうかを監視する（Ｓ１０１）。次に、カーソル指示があった場合は、カメラ画像表示用画面、ＧＩＳ画像表示用画面又は平面図画像表示用画面のいずれかであるかを判定する（Ｓ１０２）。カメラ画像表示画面の場合はカメラ画像指定個所連動表示部１１が起動する。ＧＩＳ画像表示用画面の場合はＧＩＳ画像指定個所連動表示部１２が起動し（Ｓ１３０）、平面図画像表示用画面の場合は平面図指定個所連動表示部１３が起動する（Ｓ１５０）。本実施の形態では、カメラ画像表示用画面とする。
【０１１７】
カメラ画像表示用画面と判定した場合は、カメラ画像指定個所連動表示部１１が起動して以下の処理を行う。
【０１１８】
カメラ画像指定個所連動表示部１１のカメラ画像指定個所三次元地理座標変換部４０は、カメラ画像表示用画面の縦横のピクセル数とカメラ画像の縦横のピクセル数の比からカメラ画像表示用画面上のピクセル座標（Ｍｘ、Ｍｙ）をカメラ画像上のピクセル座標（Ｐｘ、Ｐｙ）に変換（カーソル含む）する座標変換１を行う（Ｓ１０３）。
【０１１９】
次に、カメラのＣＣＤ面（若しくはフィルム面）の実サイズ（撮影範囲）とカメラ画像上のピクセル座標（Ｐｘ、Ｐｙ）とを対応させることにより、カメラ画像上のピクセル座標（Ｐｘ，Ｐｙ）をカメラのＣＣＤ面上の実座標＝写真座標（Ｘ’，Ｙ’）に変換する座標変換２を行う（Ｓ１０４）。このとき、レンズの放射方向歪曲収差や主点位置ズレ（レンズの光軸中心とＣＣＤ中心のズレ）といった写真画像の系統的な歪みを補正する。
【０１２０】
次に、写真座標平面をＸＹ軸、それに直行する軸をＺ軸とし、ＣＣＤ中心からＺ軸方向に焦点距離（ｆ）はなれた点＝光学中心を原点としたとした三次元空間を想定し、二次元座標である写真座標（Ｘ’，Ｙ’）を光学中心からの三次元相対位置に置き換えたカメラ
座標（Ｘ’，Ｙ’，Ｚ’）に変換する座標変換３を行う（Ｓ１０５）。
【０１２１】
次に、図１２に示すように、カメラの光学中心の地理座標、カメラ座標系の地理座標系に対する傾きを用いて、カメラ座標系を地理座標系に変換する座標変換４を行う（Ｓ１０６）。つまり、三次元地形モデル上の画角を用いて設定する。
【０１２２】
なお、地理座標系に変換されたカメラの光学中心と写真上の対象物を結ぶ直線が、標高モデルの立体面と交差する点の座標＝三次元地理座標（Ｘ，Ｙ，Ｚ）は位置算出部４３で求めている。
【０１２３】
そして、ＧＩＳ画像用逆変換部４１及び平面図画像用逆変換部４２を起動する（Ｓ１０７）。
【０１２４】
ＧＩＳ画像用逆変換部４１及び平面図画像用逆変換部４２の処理を図１３を用いて説明する。これらの変換部は同時に動作している。
【０１２５】
ＧＩＳ画像用逆変換部４１は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上（撮影範囲に対応）に変換する逆座標変換４を行う（Ｓ１１０）。
【０１２６】
次に、これを写真座標系（Ｘ´、Ｙ´）に変換する逆座標変換３を行う（Ｓ１１１）。但し、ＧＩＳ画像用逆変換部における逆座標変換は、三次元地形モデルを用いているので歪み逆補正は行わない。但し、歪みのある三次元ＧＩＳ画像の場合は、逆歪み補正を
行う。
【０１２７】
そして、これをＧＩＳ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換する逆座標変換２を行い（Ｓ１１２）、さらにこれをＧＩＳ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換１を行う（Ｓ１１３）。
【０１２８】
そして、ＧＩＳ画像表示処理部３４ｂに表示指示情報を出力することによって、ＧＩＳ画像上において、カメラ画像上のカーソルと同じ位置にカーソルを表示させる（Ｓ１１４）。
【０１２９】
一方、平面図画像用逆変換部４２は、三次元地形モデル上で求められたカーソル位置（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換する逆座標変換７を行う（Ｓ
１２０）。
【０１３０】
次に、この平面地理座標を平面図画像データ上の座標に変換する逆座標変換６を行う（Ｓ１２１）。
【０１３１】
次に、このピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換５を行う（Ｓ１２２）。
【０１３２】
そして、この平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに表示指示情報を出力することにより、平面図画像上において、カメラ画像及び三次元ＧＩＳ画像のカーソルと同じ位置にカーソルを表示する（Ｓ１２３）。
【０１３３】
従って、例えば火山が夜に爆発して溶岩が飛んでも、その位置がどこかを三次元ＧＩＳ画像上から正確に確認できると共に、その着点の位置を三次元座標で正確に知ることができ、かつ平面図画像においてもその位置を知ることができる。
【０１３４】
＜実施の形態２＞
図１４は実施の形態２の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図であり、ＧＩＳ画像指定個所連動表示部１２の構成図である。図１４においてはカメラ選択部３１、画角設定部３３、モード判定部３２は省略する。また、位置算出部４３については説明を省略する。
【０１３５】
図１４に示すＧＩＳ画像指定個所連動表示部１２は、ＧＩＳ画像指定個所三次元地理座標変換部５０と、カメラ画像用逆変換部５１と、平面図画像用逆変換部５２等を備えている。
【０１３６】
ＧＩＳ画像指定個所三次元地理座標変換部５０は、ＧＩＳ画像表示処理部３４ｂがＧＩＳ画像表示画面のカーソル位置（ピクセル座標Ｍｘ、Ｍｙ）を、ＧＩＳ画像データピクセル座標（Ｐｘ、Ｐｙ）に変換し（座標変換１：図４（ａ）及び図４（ｂ）参照）、このＧＩＳ画像データピクセル座標（Ｐｘ、Ｐｙ）を写真座標（Ｘ´、Ｙ´）に変換する（座標変換２：図４（ｃ）及び図４（ｄ）参照）。このとき、レンズ歪みを補正は行わない。
【０１３７】
但し、歪みのある三次元ＧＩＳ画像の場合は、歪み補正を行う。
【０１３８】
そして、写真座標（Ｘ´、Ｙ´）をカメラ座標（Ｘ´、Ｙ´、Ｚ´）に変換し（座標変換４：図５（ａ）及び図５（ｂ）参照）、カメラの光学中心の地理座標、カメラ座標系に対する傾きを用いてカメラ座標系を三次元地理座標系に変換する（座標変換４：図５（ｃ）及び図５（ｄ）参照）。
【０１３９】
カメラ画像用逆変換部５１は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上に変換し（逆座標変換４）、これを写真座標系（Ｘ´、Ｙ´）に変換する（逆座標変換３）。このとき、レンズ歪み補正を行う。
【０１４０】
そして、これをカメラ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換して（逆座標変換２）、さらにこれをカメラ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換（逆座標変換１）して、カメラ画像表示処理部３４ａに表示指示情報を出力して、カメラ画像上において、三次元ＧＩＳ画像上のカーソルと同じ位置にカーソルを表示する。
【０１４１】
平面図画像用逆変換部５２は、三次元地形モデル上で求められたカーソル位置（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換して（逆座標変換７：図７（ａ）及び図７（ｂ）参照）、この平面地理座標系に定義（変換）する（逆座標変換６：図６（ｃ）及び図６（ｄ）参照）。
【０１４２】
そして、この画像座標系の撮影範囲のピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する（逆座標変換５：図６（ａ）及び図６（ｂ）参照）。
【０１４３】
そして、この平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに表示指示情報を出力して、平面図画像上において、カメラ画像及び三次元ＧＩＳ画像のカーソルと同じ位置にカーソルを表示する。
【０１４４】
（動作説明）
図１５〜図１７は実施の形態２のＧＩＳ画像指定個所連動表示部１２を説明するフローチャートである。
【０１４５】
ＧＩＳ画像指定個所三次元地理座標変換部５０は、ＧＩＳ画像表示画面上のピクセル座標（Ｍｘ、Ｍｙ）を三次元ＧＩＳ画像上のピクセル座標（Ｐｘ、Ｐｙ）に変換（カーソル含む）する座標変換１を行う（Ｓ１３１）。
【０１４６】
次に、画角（撮影範囲）と三次元ＧＩＳ画像上のピクセル座標（Ｐｘ、Ｐｙ）とを対応させることにより、三次元ＧＩＳ画像上のピクセル座標（Ｐｘ，Ｐｙ）を写真座標（Ｘ’，Ｙ’）に変換する座標変換２を行う（Ｓ１３２）。
【０１４７】
次に、写真座標平面をＸＹ軸、それに直行する軸をＺ軸とし、ＣＣＤ中心からＺ軸方向に焦点距離（ｆ）はなれた点＝光学中心を原点としたとした三次元空間を想定し、二次元座標である写真座標（Ｘ’，Ｙ’）を光学中心からの三次元相対位置に置き換えたカメラ座標（Ｘ’，Ｙ’，Ｚ’）に変換する座標変換３を行う（Ｓ１３３）。
【０１４８】
次に、図１６に示すように、このカメラ座標系の三次元地理座標系に対する傾きを用いて、カメラ座標系を地理座標系に変換する座標変換４を行う（Ｓ１３４）。つまり、三次元地理座標モデル上に設定された画角を用いて変換していることになる。
【０１４９】
そして、カメラ画像用逆変換部５１及び平面図画像用逆変換部５２を起動する（Ｓ１３５）。
【０１５０】
カメラ画像用逆変換部５１及び平面図画像用逆変換部５２の処理を図１７を用いて説明する。これらの変換部は同時に動作している。
【０１５１】
カメラ画像用逆変換部５１は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上（撮影範囲に対応）に変換する逆座標変換４を行う（Ｓ１３６）。
【０１５２】
次に、これを写真座標系（Ｘ´、Ｙ´）に変換する逆座標変換３を行う（Ｓ１３７）。このとき、歪み補正を行って変換している。
【０１５３】
次に、これをカメラ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換する逆座標変換２を行い（Ｓ１３８）、さらにこれをカメラ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換１を行う（Ｓ１３９）。
【０１５４】
そして、カメラ画像再生処理部３４ａに表示指示情報を出力することによって、カメラ画像上において、三次元ＧＩＳ画像上のカーソルと同じ位置にカーソルを表示させる（Ｓ１４０）。
【０１５５】
一方、平面図画像用逆変換部５２は、三次元地形モデル上で求められたカーソル位置（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換する逆座標変換７を行う（Ｓ１４１）。
【０１５６】
次に、この平面地理座標系に定義（変換）する逆座標変換６を行う（Ｓ１４２）。
【０１５７】
次に、この画像座標系のピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換５を行う（Ｓ１４３）。
【０１５８】
そして、この平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに表示指示情報を出力することにより、平面図画像上において、カメラ画像及び三次元ＧＩＳ画像のカーソルと同じ位置にカーソルを表示する（Ｓ１４４）。このとき、平面地理座標系のカーソルの二次元位置（Ｘ，Ｙ）を表示させる。
【０１５９】
従って、例えば火山が夜に爆発して溶岩が飛んでも、その位置がどこかを平面図画像上から正確に確認できると共に、その着点の位置を二次元座標で正確に知ることができ、かつカメラ画像及び三次元ＧＩＳ画像上においてもその位置を知ることができる。
【０１６０】
＜実施の形態３＞
図１８は実施の形態３の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図であり、平面図画像指定個所連動表示部１４の構成図である。図１８においてはカメラ選択部３１、モード判定部３２は省略する。また、位置算出部４３については説明を省略する。
【０１６１】
図１８に示す平面図画像指定個所連動表示部１４は、平面図画像指定個所三次元地理座標変換部６０と、カメラ画像用逆変換部６１と、ＧＩＳ画像用逆変換部６２等を備えている。
【０１６２】
平面図画像指定個所三次元地理座標変換部６０は、三次元地形モデル上で求められたカーソル位置（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換して（逆座標変換７：図７（ａ）及び図７（ｂ）参照）、この平面地理座標系に定義（変換）する（逆座標変換６：図６（ｃ）及び図６（ｄ）参照）。
【０１６３】
そして、この画像座標系の撮影範囲のピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する（逆座標変換５：図６（ａ）及び図６（ｂ）参照）。
【０１６４】
そして、この平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに出力して、平面図画像上において、カメラ画像及び三次元ＧＩＳ画像のカーソルと同じ位置にカーソルを表示する。
【０１６５】
カメラ画像用逆変換処理６１は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上に変換し（逆座標変換４）、これを写真座標系（Ｘ´、Ｙ´）に変換
する（逆座標変換３）。このとき、レンズ歪み補正を行う。
【０１６６】
そして、これをカメラ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換して（逆座標変換２）、さらにこれをカメラ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換（逆座標変換１）して、カメラ画像表示処理部３４ａに表示指示情報を出力して、カメラ画像上において、三次元ＧＩＳ画像上のカーソルと同じ位置にカーソルを表示する。
【０１６７】
ＧＩＳ画像用逆変換部６２は、三次元地形モデルの立体面の点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上に変換し（逆座標変換４）、これを写真座標系（Ｘ´、Ｙ´）に変換する（逆座標変換３）。但し、ＧＩＳ画像用逆変換部における逆座標変換は、歪み逆補正は行わない。但し、歪みのある三次元ＧＩＳ画像の場合は、歪み逆補正を行う。
【０１６８】
そして、これをＧＩＳ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換して（逆座標変換２）、さらにこれをＧＩＳ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換（逆座標変換１）して、ＧＩＳ画像表示処理部３４ｂに表示指示情報を出力して、三次元ＧＩＳ画像上において、カメラ画像上のカーソルと同じ位置にカーソルを表示する。
【０１６９】
（動作説明）
図１９及び図２０は実施の形態３の平面図画像指定個所連動表示部１４を説明するフローチャートである。
【０１７０】
平面図画像指定個所三次元地理座標変換部６０は、平面図画像表示画面の縦横のピクセル数と平面図画像上の画面表示範囲の縦横のピクセル数の比から、平面図表示画面上のピクセル座標（Ｍｘ，Ｍｙ）を平面図表示画面の表示範囲上（撮影範囲に対応）のピクセル座標に変換し、さらに二次元平面図データ上の画面表示範囲の相対位置関係から、画面表示範囲上のピクセル座標を二次元平面図データ上のピクセル座標（Ｐｘ，Ｐｙ）に変換する座標変換５を行う（Ｓ１５１：図６（ａ）及び図６（ｂ）参照）。
【０１７１】
次に、二次元平面図データの４隅の地理座標と、表示された平面図データ（撮影範囲の平面図画像）の縦横のピクセル数を対応させることによって、平面図画像上のピクセル座標（Ｐｘ，Ｐｙ）を平面地理座標（Ｘ，Ｙ）に変換する座標変換６を行う（Ｓ１５２）：図６（ｃ）及び図６（ｄ）参照）。
【０１７２】
次に、平面地理座標（Ｘ，Ｙ）に対応する標高値（Ｚ）を、デジタル標高モデル（三次元地理座標モデル）より検索する座標変換７を行う（Ｓ１５３：図７（ａ）及び図７（ｂ）参照）。
【０１７３】
そして、ＧＩＳ画像逆変換、カメラ画像用逆変換部を起動すると共に、位置算出部を起
動させる（Ｓ１５４）。
【０１７４】
ＧＩＳ画像用逆変換部６２は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上（撮影範囲に対応）に変換する逆座標変換４を行う（Ｓ１５５、Ｓ１５６）。
【０１７５】
次に、これを写真座標系（Ｘ´、Ｙ´）に変換する逆座標変換３を行う（Ｓ１５７）。但し、ＧＩＳ画像用逆変換部における逆座標変換は、三次元地形モデルを用いているので歪み逆補正は行わない。但し、歪みのある三次元ＧＩＳ画像の場合は歪み逆補正を行
う。
【０１７６】
そして、これをＧＩＳ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換する逆座標変換２を行い（Ｓ１５８）、さらにこれをＧＩＳ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換１を行う（Ｓ１５９）。
【０１７７】
そして、ＧＩＳ画像表示処理部３４ｂに出力することによって、三次元ＧＩＳ画像上において、カメラ画像上のカーソルと同じ位置にカーソルを表示させる（Ｓ１６０）。
【０１７８】
一方、カメラ画像用逆変換部６１は、三次元地形モデルの点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の写真上（撮影範囲に対応）に変換する逆座標変換４を行う（Ｓ１６１、Ｓ１６２）。
【０１７９】
次に、これを写真座標系（Ｘ´、Ｙ´）に変換する逆座標変換３を行う（Ｓ１６３）。このとき、歪み補正を行って変換している。
【０１８０】
次に、これをカメラ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換する逆座標変換２を行い（Ｓ１６４）、さらにこれをカメラ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆座標変換１を行う（Ｓ１６５）。
【０１８１】
そして、カメラ画像再生処理部３４ａに出力することによって、カメラ画像上において、三次元ＧＩＳ画像上のカーソルと同じ位置にカーソルを表示させる（Ｓ１６６）。
【０１８２】
従って、平面図画像上においてカーソルを指定すると、三次元ＧＩＳ画像およびカメラ画像上の対応する位置にカーソルが各々表示されると共に、三次元位置、二次元位置が表示されるので、一目で指定位置の相対関係を把握できることになる。
【０１８３】
＜実施の形態４＞
図２１は実施の形態４の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図であり、距離・面積計算処理の構成図である。距離・面積計算はいずれの画面からでも可能であるが、本実施の形態ではカメラ画像から距離・面積を算出する例を説明する。
【０１８４】
図２１に示すように、表面積・距離算出部７０を備える。表面積・距離算出部は輪郭データ生成部７１、輪郭点列データ生成部７２及び表面積・長さ算出部７３等を備える。
【０１８５】
また、表示処理部３４のカメラ画像再生処理部３４ａ及び平面図表示処理部３４ｃはそれぞれが指定範囲にポリゴンを形成する機能を有する。
【０１８６】
輪郭データ算出部７１は、カメラ画像上にポリゴン（始点と終点とを順次指定して閉じた面）が表示されると、このポリゴンの輪郭の頂点のピクセル座標を求め、これをカメラ画像指定個所連動表示部１１に送出する。
【０１８７】
輪郭点列データ生成部７２は、カメラ画像上にポリゴンが表示されると、このポリゴンの輪郭を形成する線の各々のピクセル座標を求め、これをカメラ画像指定個所連動表示部１１に送出する。
【０１８８】
すなわち、カメラ画像指定個所連動表示部１１のカメラ画像指定個所三次元地理座標変換部４０は、頂点のピクセル座標（カメラ画面ピクセル座標Ｍｘ、Ｍｙ）を、それぞれカメラ画像データピクセル座標（Ｐｘ、Ｐｙ）に変換し（座標変換１）、このカメラ画像データピクセル座標（Ｐｘ、Ｐｙ）を写真座標（Ｘ´、Ｙ´）に変換する（座標変換２）。このとき、レンズ歪みを補正している。
【０１８９】
そして、写真座標（Ｘ´、Ｙ´）をカメラ座標（Ｘ´、Ｙ´、Ｚ´）に変換し（座標変換４）、カメラ座標を三次元地理座標系に変換する（座標変換４）。
【０１９０】
そして、平面図画像用逆変換部４２が三次元地形モデル上で求められた４隅の三次元座標（Ｘ、Ｙ、Ｚ）を平面地理座標系（Ｘ，Ｙ）の座標に変換して（逆座標変換７）、この平面地理座標系に定義（変換）する（逆座標変換６）。
【０１９１】
次に、この画像座標系の撮影範囲の頂点のピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）にそれぞれ変換する（逆座標変換５）。
【０１９２】
そして、この平面図画像表示画面の頂点のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示処理部３４ｃに出力して、平面図画像上において、カメラ画像のポリゴンを同じ位置にを表示する。
【０１９３】
一方、ＧＩＳ画像用逆変換部４１は、輪郭点列データ生成部７２からの点列データ（ピクセル座標）が入力すると、各点をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）に変換し（逆座標変換４）、これを写真座標系（Ｘ´、Ｙ´）に変換する（逆座標変換３）。但し、ＧＩＳ画像用逆変換部における逆座標変換は、歪み逆補正は行わない。但し、歪みのある三次元ＧＩＳ画像の場合は、歪み逆補正を行う。
【０１９４】
そして、これの点をＧＩＳ画像座標系のピクセル座標（Ｐｘ、Ｐｙ）に変換して（逆座標変換２）、さらにこれらの点をＧＩＳ画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換（逆座標変換１）して、ＧＩＳ画像表示処理部３４ｂに出力する。
【０１９５】
従って、三次元ＧＩＳ画像上においては、図２２（ａ）に示すように三次元的にポリゴンに対応する範囲が表示されることになる。
【０１９６】
さらに、表面積・長さ算出部７３は、表面積の算出指示に伴って位置算出部４３が算出した三次元地形モデルのポリゴンに対応する各々の点の三次元を抽出して、表面積を求める（図２２（ｂ）参照。
【０１９７】
また、ポリゴン上において始点と終点が決定され距離指定がある場合は、始点と終点の間の各点の三次元座標を位置算出部４３から求めさせて、三次元的な長さ（地表面上の距離）をもとめる（図２２（ｂ）参照）。
【０１９８】
なお、直線距離又は地表面上の距離の二通りを選択可能である。
【０１９９】
＜実施の形態５＞
実施の形態５は図２３に示すように、視点変更ボタンの選択で視点を変えた三次元画像を表示する。このとき、三次元地形モデル上にカメラ位置を指定し、これを中心にして撮影範囲（画角）でコントロールボタン（上、左右、回転）に応じた視点の三次元ＧＩＳ画像を表示する。つまり、指定されたカメラ位置及び姿勢の画角を上記実施の形態と同様にして三次元地形モデル上に設定して、この画角での撮影範囲の三次元ＧＩＳ画像を表示させている。
【０２００】
従って、通常、多くの火山監視カメラでは、火砕流や噴石などの発生場所（三次元地理座標）や到達距離・面積等を三次元的に定量的に抑えることができる。
【０２０１】
さらに、カメラ映像上でデジタイズした災害粋を数値地図画像等の平面図へ正射投影することによって、被災範囲の想定や確認が可能となる。
【０２０２】
なお、上記各実施の形態では、監視カメラ１が連続撮影した監視カメラ画像をＣＤ−ＲＯＭ２等に保存して、このＣＤ−ＲＯＭ２を監視員が定期的に解析センターに届けるとして説明したが、監視カメラから直接ネットワークで映像蓄積サーバーに送信して保存させてもよい。
【０２０３】
＜実施の形態６＞
なお、上記実施の形態では、カメラ画像再生処理部３４ａにカメラ画像指定個所連像表示部１１を対応させて設け、ＧＩＳ画像表示処理部３４ｂにＧＩＳ画像指定個所連動表示部１２を対応させて設け、平面図画像表示処理部３４ｃに平面図指定個所連動表示部１３を設けて説明したが以下の図２４のように構成して連動表示を実現させてもよい。
【０２０４】
また、表示処理部３４は上記各実施の形態と同様であるが、本実施の形態６ではより具体的に説明する。なお、具体的処理については様々のやり方があり、本実施の形態はその一例であることは言うまでもない。
【０２０５】
さらに、カメラ画像再生処理部３４ａは、カメラ画像再生部３４ａｂ（ビデオキャプチャー）とカメラ画像表示処理部３４ａａとに分けて説明する。
【０２０６】
図２４は実施の形態６の監視カメラの画像を用いた三次元連動計測表示システムの概略構成図である。但し、図２４はカメラ選択部３１、モード判定部、位置算出部４３については省略する。
【０２０７】
図２４に示すように、表示部２０の画面を制御する表示制御部８０と、この表示制御部８０が表示するための画像データを送出する表示処理部３４と、画面の種類に応じた数の画像処理部を生成させる画像表示処理部作成部８１等を備えている。
【０２０８】
さらに、座標変換部８４と、選択部８５等を備えている。
【０２０９】
表示制御部８０は、表示用バッファ８０ａを備え、画面表示処理部作成部８１からの分割数に基づく数の表示エリア（第１エリア、第２エリア・・）を表示用バッファ８０ａに生成する（例えば、４分割する）。
【０２１０】
つまり、表示制御部８０は、各表示エリアのサイズを把握する。そして、この表示用バッファ８０ａを定期的に読み出して、その画像データを表示部２０の画面に表示する。
【０２１１】
画像表示処理部作成部８１は、入力された画面の種類を判定し、この数のエリアを表示制御部８０の表示用バッファ８０ａ（画像メモリ）に生成させると共に、画面の種類（カメラ画像、三次元ＧＩＳ画像、平面図、・・・）に応じた画像表示処理部を表示処理部３４に生成させる。
【０２１２】
このとき、画像表示処理部作成部８１は、４種類の表示であれば、画面の左上のエリアはカメラ画像用のエリア（第１エリアともいう）、画面の右上は三次元ＧＩＳ画像のエリア（第２エリアともいう）、左下のエリアは平面図（地図）のエリア（第３エリアともいう）、右下のエリアは防災マップのエリア（第４エリアともいう）とすることを表示処理部３４に設定する。これらのエリアの条件は変更可能である。例えば、カメラ画像のエリア（第１エリア）の下の第３エリアを三次元ＧＩＳ画像用のエリアとしてもよい。
【０２１３】
表示処理部３４は、画面表示処理部作成部８１からの画面の種類に応じた数の画面表示処理部を生成する。本実施の形態では、カメラ画像表示処理部３４ａａ、ＧＩＳ画像表示処理部３４ｂ、平面画像表示処理部３４ｃ等を生成し、表示制御部８０の表示バッファ８０ａのエリアに関連付けさせ、各々が表示バッファのエリア上のイベントを監視する機能を有する。
【０２１４】
また、これらの画像表示処理部は、画像用表示バッファ３４ａｄ１、３４ｂｄ１、３４ｃｄ１・・・を生成する。また、これらの画像用表示バッファは、表示制御部８０の表示用バッファに生成されたエリアに対応する領域であるのが好ましい。
【０２１５】
また、これらの画像表示処理部は、画像用バッファに画像が書き込まれた後に、データの書き込み指示がある毎に、新たなバッファ３４ａｄ２、３４ｂｄ２・・（例えばカーソル用バッファ、三次元座標表示用バッファ・・）を生成する。この新たなバッファは、画像用バッファに対応するサイズである。
【０２１６】
さらに、これらの画像表示処理部は、それぞれが一定時間毎に画像用表示バッファ、新たなバッファに書き込まれたデータを合成して表示制御部８０に出力する。
【０２１７】
表示制御部８０は、各画像表示処理部から出力された画像データを表示バッファの該当のエリアに書き込む。
【０２１８】
例えば、カメラ画像表示処理部３４ａａは、起動に伴ってカメラ画像用表示バッファ３４ａｄ１を生成して、カメラ画像再生部３４ａｂを起動させ、このカメラ画像再生部３４ａｂからの再生画像が出力される毎に（動画）をカメラ画像表示用バッファ３４ａｄ１に書き込む。
【０２１９】
また、カメラ画像表示処理部３４ａａは、監視している画面（カメラ用画面：第１エリア）上においてカーソルが指定されたときは、直ちにカーソル用表示バッファ３４ａｄ２を生成すると共に、カメラ用画面の指定位置に対応するカーソル用表示バッファ３４ａｄ２の位置にカーソル（マーク）を書き込む。そして、カメラ画像表示用バッファ３４ａｄ１のカメラ画像及びカーソル用表示バッファ３４ａｄ２のカーソル画像を合成して表示制御部８０に出力する。
【０２２０】
さらに、他の画像表示処理部からカーソルモード（カーソル表示指示を含む）であることが知らせられると、直ちにカーソル用表示バッファ３４ａｄ２を生成すると共に、選択部８５で選択された座標変換によって得られたカメラ画像上のカーソル位置をカーソル用表示バッファ３４ａｄ２に書き込み、カメラ画像表示バッファ３４ａｄ１のカメラ画像と合成して表示制御部８０に出力する。
【０２２１】
ＧＩＳ画像表示処理部３４ｂは、起動に伴ってＧＩＳ画像用表示バッファ３４ｂｄ１を生成して、選択部８５で選択された座標変換によって得られた撮影範囲の三次元ＧＩＳ画像をデータベース５の三次元地形データから読み出して、これをＧＩＳ画像用表示バッファ３４ｂｄ１に書き込む。
【０２２２】
また、ＧＩＳ画像表示処理部３４ｂは、監視している画面（ＧＩＳ用画面：第２エリア）上においてカーソルが指定されたときは、直ちにカーソル用表示バッファ３４ｂｄ２を生成すると共に、カーソル用表示バッファ３４ｂｄ２に、ＧＩＳ用画面の指定位置に対応する位置にカーソル（マーク）を書き込む。そして、ＧＩＳ画像用表示バッファ３４ｂｄ１のＧＩＳ画像とカーソル用表示バッファ３４ｂｄ２のカーソル画像とを合成して表示制御部８０に出力する。
【０２２３】
さらに、他の画像表示処理部からカーソルモード（カーソル表示指示を含む）であることが知らせられると、直ちにカーソル用表示バッファ３４ｂｄ２を生成すると共に、選択部８５で選択された座標変換によって得られた三次元ＧＩＳ画像上のカーソル位置をカーソル用表示バッファ３４ａｄ２に書き込む。そして、ＧＩＳ画像用表示バッファ３４ｂｄ１のＧＩＳ画像とカーソル用表示バッファ３４ｂｄ２のカーソル画像とを合成して表示制御部８０に出力する。これによって、他の画面に指定されたカーソル位置に対応するカーソルを三次元ＧＩＳ画像上に表示させる。
【０２２４】
平面図画像表示処理部３４ｃは、起動に伴って平面図用表示バッファ３４ｃｄ１を生成して、選択部８５で選択された座標変換によって得られた所定範囲（監視カメラ位置及び撮影対象物を含む範囲）の平面図をデータベース５から読み出して、これを平面図用表示バッファ３４ｃｄ１に書き込んで表示制御部８０に出力する。
【０２２５】
また、平面図画像表示処理部３４ｃは、監視している画面（平面図用画面：第３エリア）上においてカーソルが指定されたときは、直ちにカーソル用表示バッファ３４ｃｄ２を生成すると共に、カーソル用表示バッファ３４ｃｄ２に、その画面の指定位置に対応する位置にカーソル（マーク）を書き込む。そして、平面図用表示バッファ３４ｃｄ１の平面図とカーソル用表示バッファ３４ｃｄ２のカーソル画像とを合成して表示制御部８０に出力する。
【０２２６】
さらに、他の画像表示処理部からカーソルモード（カーソル表示指示を含む）であることが知らせられると、直ちにカーソル用表示バッファ３４ｃｄ２を生成すると共に、選択部８５で選択された座標変換によって得られたピクセル座標（カーソル用表示バッファ３４ｃｄ２：平面図用画面）にカーソルを書き込みする。そして、平面図用表示バッファ３４ｃｄ１の平面図画像とカーソル用表示バッファ３４ｃｄ２のカーソル画像とを合成して表示制御部８０に出力する。
【０２２７】
座標変換部８４は、座標変換１処理部１０１ａ、逆座標変換１処理部１０１ｂ、座標変換２処理部１０２ａ、逆座標変換２処理部１０２ｂ、座標変換３処理部１０３ａ、逆座標変換３処理部１０３ｂ、座標変換４処理部１０４ａ、逆座標変換４処理部１０４ｂ、逆座標変換５処理部１０５ａ、座標変換５処理部１０５ｂ、逆座標変換６処理部１０６ａ、逆座標変換６処理部１０６ｂ、座標変換７処理部１０７ａ、座標変換７処理部１０７ｂを備え、メモリ９２を用いて座標変換を行う。
【０２２８】
座標変換１処理部１０１ａは、カーソル位置読込部８２からの表示画面（カメラ画像表示画面、ＧＩＳ画像表示画面又は平面図画像表示画面）におけるカーソルのピクセル座標（Ｍｘ、Ｍｙ）を、その表示画面の画像データのピクセル座標（Ｐｘ、Ｐｙ）に変換する（座標変換１）。つまり、座標変換１は、表示画面の縦横のピクセル数と画像データの縦横のピクセル数の比から、表示画面上のカーソルのピクセル座標（Ｍｘ，Ｍｙ）を画像データ上のピクセル座標（Ｐｘ，Ｐｙ）に変換する座標変換１を行う。
【０２２９】
以下に具体的に説明する。
【０２３０】
例えば、初めにカメラ画像表示用画面でカーソルが指定されてそのカメラ画像表示用画面にカーソルを表示した場合に、カメラ画像表示処理部３４ａａがカメラ画像表示画面（表示バッファ３４ａｄ２が対応する）のカーソルのピクセル座標Ｍｘ、Ｍｙ（カメラ画面のカーソル座標）を出力した場合には、このカメラ画面のカーゾル座標をカメラ画像のピクセル座標（Ｐｘ、Ｐｙ）に変換する（座標変換１：図４（ａ）及び図４（ｂ）参照）。
【０２３１】
また、初めにＧＩＳ画像表示画面でカーソルが指定されて、そのＧＩＳ画像表示用画面にカーソルを表示した場合に、ＧＩＳ画像表示処理部３４ｂがＧＩＳ画像表示画面（表示バッファ３４ｂｄ２が対応する）のカーソルのピクセル座標Ｍｘ、Ｍｙ（ＧＩＳ画像表示画面のカーソル座標）を出力した場合には、このＧＩＳ画像表示用画面のカーゾル座標をＧＩＳ画像データピクセル座標（Ｐｘ、Ｐｙ）に変換する（座標変換１：図４（ａ）及び図４（ｂ）参照）。
【０２３２】
また、初めに平面図画像表示用画面でカーソルが指定されて、その平面図画像表示用画面にカーソルを表示した場合に、平面図画像表示処理部３４ｃの表示バッファ３４ｃｄ２のカーソルのピクセル座標Ｍｘ、Ｍｙ（平面図画像表示画面のカーソル座標）を出力した場合には、この平面図画像表示画面のカーゾル座標を平面図画像データのピクセル座標（Ｐｘ、Ｐｙ）に変換する（座標変換１：図４（ａ）及び図４（ｂ）参照）。）。
【０２３３】
逆座標変換１処理部１０１ｂは、画像上（カメラ画像、三次元ＧＩＳ画像又は平面図画像）のピクセル座標（Ｐｘ，Ｐｙ）の縦横比のピクセル座標と表示画面のピクセル数との比から入力された画像上のカーソルのピクセル座標（Ｐｘ、Ｐｙ）を表示画面上のカーソルピクセル座標（Ｍｘ、Ｍｙ）に変換する逆変換座標変換１を行う。
【０２３４】
座標変換２処理部１０２ａは、画像データ上のカーソルのピクセル座標（Ｐｘ，Ｐｙ）を写真座標（Ｘ’，Ｙ’）に変換する座標変換２を行う。
【０２３５】
具体的に説明する。
初めにカメラ画像表示画面でカーソルが指定されてそのカメラ画像表示用画面にカーソルを表示して前述の座標変換１によって、カーソルのピクセル座標（Ｍｘ、Ｍｙ）がカメラ画像上のピクセル座標（Ｐｘ，Ｐｙ）に変換された場合は、カメラのＣＣＤ面上の実座標＝写真座標（Ｘ’，Ｙ’）に変換する。このとき、レンズの放射方向歪曲収差や主点位置ズレ（レンズの光軸中心とＣＣＤ中心のズレ）といった写真画像の系統的な歪みを補正する。
【０２３６】
また、初めにＧＩＳ画像表示画面でカーソルが指定されてそのＧＩＳ画像表示画面にカーソルを表示して前述の座標変換１によって、ＧＩＳ画像表示画面のカーソルのピクセル座標（Ｍｘ、Ｍｙ）がＧＩＳ画像上のピクセル座標（Ｐｘ，Ｐｙ）に変換された場合は、これをカメラのＣＣＤ面上の実座標＝写真座標（Ｘ’，Ｙ’）に変換する。
【０２３７】
また、初めに平面図画像表示用画面でカーソルが指定されてその平面図画像表示用画面にカーソルを表示して前述の座標変換１によって、平面図画像表示用画面のカーソルのピクセル座標（Ｍｘ、Ｍｙ）が平面図画像上のピクセル座標（Ｐｘ，Ｐｙ）に変換された場合は、これをカメラのＣＣＤ面上の実座標＝写真座標（Ｘ’，Ｙ’）に変換する。
【０２３８】
逆座標変換２処理部１０２ｂは、写真座標系（Ｘ’，Ｙ’）に変換されたカーソル座標を画像データ上のカーソルのピクセル座標（Ｐｘ，Ｐｙ）に変換する逆座標変換２を行う。
【０２３９】
座標変換３処理部１０３ａは、座標変換２によって、写真座標系（Ｘ´、Ｙ´）に変換された画像データ上のカーソルのピクセル座標をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の座標に変換する（図５（ａ）及び図５（ｂ）参照）。
【０２４０】
具体的に説明する。
【０２４１】
初めにカメラ画像表示用画面でカーソルが指定されて、そのカメラ画像表示用画面にカーソルを表示して前述の座標変換２（座標変換１を経由）によって、写真座標系（Ｘ´、Ｙ´）に変換されたカメラ画像上のカーソルのピクセル座標をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の座標に変換する。
【０２４２】
また、初めにＧＩＳ画像表示用画面でカーソルが指定されて、そのＧＩＳ画像表示用画面にカーソルを表示して前述の座標変換２（座標変換１を経由）によって、写真座標系（Ｘ´、Ｙ´）に変換された場合は、その写真座標系におけるカーソルのピクセル座標をカメラ座標系（Ｘ´、Ｙ´、Ｚ´）の座標に変換する。
【０２４３】
逆座標変換３処理部１０３ｂは、カメラ座標系（Ｘ´、Ｙ´、Ｚ´）のカーソル座標を写真座標系（Ｘ´、Ｙ´）に変換する。
【０２４４】
座標変換４処理部１０４ａは、画角設定処理部３３で設定されている画角（位置、傾き、撮影範囲；カメラ座標系に設定された写真（写真座標系））の撮影範囲の各点をデータベース５の三次元地形モデルの各点の座標に変換する。
【０２４５】
また、カメラ画像表示画面又はＧＩＳ画像表示画面においてカーソルが指定された場合は、座標変換１、座標変換２、座標変換３を経由して得られたカメラ座標系における写真上のカーソル位置と光学中心とを通る直線が三次元地形データの三次元地形モデルに交差する点の三次元地理座標に変換する。
【０２４６】
逆座標変換４処理部１０４ｂは、座標変換４の逆を行う変換である。座標変換４で変換された、画角（位置、傾き、撮影範囲；カメラ座標系に設定された写真（写真座標系））の撮影範囲の各点の三次元地形モデルの各点の三次元座標を前述のカメラ座標系に設定された写真上の座標に変換する。
【０２４７】
また、カメラ画像表示用画面又はＧＩＳ画像表示用画面においてカーソルが指定された場合は、座標変換４によって変換された、三次元地形モデルのカーソルの三次元地理座標を、前述のカメラ座標系に設定された写真上の座標に変換する逆変換を行う。
【０２４８】
座標変換５処理部１０５ｂは、カーソル位置読込部８２からの平面図画像表示用画面のカーソルのピクセル座標（Ｍｘ、Ｍｙ：表示バッファ３４ｃｄ２より）を、平面図表示用画面の縦横のピクセル数と平面図画像データ上（平面図用メモリ３５）の画面表示範囲の縦横のピクセル数との比から、平面図画像表示画面上のピクセル座標を画面表示範囲上のピクセル座標に変換する。そして、平面図画像データとこの平面画像図データ上の画面表示範囲との相対位置関係から画面表示範囲上のピクセル座標を、平面図画像データ上のピクセル座標（Ｐｘ、Ｐｙ）に変換する座標変換５の処理を行う（図６（ａ）及び図６（ｂ）参照）。
【０２４９】
逆座標変換５処理部１０５ｂは、座標変換５の逆変換である。これは、変換された画面表示範囲の平面図画像データのピクセル座標（Ｐｘ、Ｐｙ）を平面図画像表示画面のピクセル座標（Ｍｘ、Ｍｙ）に変換する逆変換を行う。
【０２５０】
座標変換６処理部１０６ａは、平面図画像データの４隅の座標と、二次元平面地理座標系の縦横のピクセル数とを対応させることによって、平面図画像データ上のピクセル座標（Ｐｘ、Ｐｙ）を二次元平面地理座標系の地理座標に変換する（図６（ｃ）及び図６（ｄ）参照）。
【０２５１】
逆座標変換６処理部１０６ｂは、座標変換６の逆変換である。これは、二次元平面地理座標系に変換された平面画像表示用画面のカーソル位置を平面図画像データ上のピクセル座標（Ｐｘ、Ｐｙ）に変換する。
【０２５２】
座標変換７処理部１０７ａは、二次元平面地理座標系の地理座標に変換されたカーソル位置を三次元地形モデル上の三次元座標に変換する座標変換７を行う。
【０２５３】
逆座標変換７処理部１０７ｂは、座標変換７の逆変換である。これは、三次元地形モデルに定義されたカーソルの三次元座標を二次元平面地理座標系に変換する。
【０２５４】
選択部８５は、画像表示の指示に伴って（システム開始）、表示処理部３４から初期のカーソルが指定された画面（カメラ表示用画面、ＧＩＳ表示用画面又は平面図表示用画面）を判断し、判断した画面の種類に応じて、前述の各種座標変換処理を選択する。また、選択するためのプログラムはメモリ９３に記憶している。
【０２５５】
これらの各種座標変換処理を選択することによって、上記の実施の形態のカメラ画像指定個所連動表示部１１、ＧＩＳ画像指定個所連動表示部１２又は平面図指定個所連動表示部１３の処理を行う。
【０２５６】
この選択部の動作について図２５及び図２６のフローチャートを用いて以下に説明する。
【０２５７】
なお、初期設定（Ｓ２００）として、
画角は画角設定処理部３３で既に設定（メモリ９１に記憶されている）され（Ｓ２０１）、カメラ画像が表示され（Ｓ２０２）、平面図画像が表示され（Ｓ２０３）、三次元ＧＩＳ画像が表示されている（Ｓ２０４）。
【０２５８】
前述のカメラ画像、三次元ＧＩＳ画像及び平面図画像を表示するときは、表示制御部８０は、画面表示処理部作成部８１からの分割数に基づく数のエリアを表示用バッファ８０ａに生成（４分割）し、表示処理部３４の各画像表示処理部（カメラ、三次元ＧＩＳ、平面図）が監視する画面（第１エリア：カメラ画像表示画面、第２エリア：三次元ＧＩＳ画像表示画面、・・）のサイズ（画面表示範囲ともいう）に対応したピクセル数の表示バッファ（３４ａｄ１、３４ｂｄ１・・）を生成する。
【０２５９】
そして、前述のカメラ画像は、カメラ画像表示処理部３４ａａがカメラ画像再生部３４ａｂを起動させ、このカメラ画像再生部３４ａｂからの再生画像が出力される毎に、この動画をカメラ画像表示用バッファ３４ａｄ１に書き込み、これを表示制御部８０に出力する。
【０２６０】
平面図画像表示処理部３４ｃが、入力された撮影対象物情報（撮影対象物の位置、監視カメラの位置等）を読み込み、データベース５の二次元平面図をカメラ画像表示画面のサイズに基づくピクセル座標（Ｐｘ、Ｐｙ）に変換し、この二次元平面図データの内で監視カメラの位置および撮影対象物を含む所定範囲を表示範囲として平面図用表示バッファ３４ｃｄ１に書き込んでこれを表示制御部８０に出力する。
【０２６１】
ＧＩＳ画像表示処理部３４ｂは、画角設定部３３で設定された画角での三次元地形データの領域の画像データ（テクスチャー）を、三次元画像表示用バッファ３４ｂｄ１に読み出し、これを表示制御部８０に出力する。
【０２６２】
この三次元ＧＩＳ画像の表示にあたっては、選択部８５が表示処理部３４のカメラ画像表示処理部３４ａａからカメラ画像の表示が完了したことが知らせられると、座標変換４処理部１０４ａを起動する。座標変換４処理部１０４ａは、画角設定処理部３３で設定されている画角（位置、傾き、撮影範囲；カメラ座標系に設定された写真（写真座標系））の写真エリア（撮影範囲ともいう）の各点をデータベース５の三次元地形データの各点の座標に変換する。つまり、三次元地形データにおける監視カメラの画角での撮影範囲に対応する領域を決定する。
【０２６３】
そして、選択部８が逆変換座標４処理部１０４ｂを起動させ、逆座標変換４処理部１０４ｂが三次元地形データに対応する領域の画像データの三次元座標を前述のカメラ座標系に変換し、逆座標変換３処理部を起動させて写真座標系の座標に変換させて、逆座標変換２処理部を起動させて、画像座標系（Ｐｘ−Ｐｙ）に変換させ、さらに逆座標変換１処理を起動させて三次元ＧＩＳ画像表示用画面座標系（Ｍｘ−Ｍｙ）に変換する。
【０２６４】
そして、ＧＩＳ画像表示処理部３４ｂにこの変換された三次元地形データの撮影範囲の画像データを出力する。三次元ＧＩＳ画像表示処理部３４ｂはこれを表示バッファに書き込み、表示制御部の第２エリアに書き込むことで、図２７（ａ）の三次元ＧＩＳ画像を表示している。
【０２６５】
このような状態で選択部８５は、カーソルが指定されたかどうかを監視する（Ｓ２０５）。
【０２６６】
これは、表示処理部３４の各画像処理部（カメラ、三次元ＧＩＳ、平面図）が、カーソルが指定された場合は、カーソル指定と画面の種類を選択部８５に出力することによって判定する。
【０２６７】
次に、選択部８５はカーソルが指定された画面（カメラ、三次元ＧＩＳ、平面図）を判定する（Ｓ２０６）。
【０２６８】
カメラ画像表示用画面でカーソルが指定されたと判定した場合は、選択部８５は座標変換１、座標変換２、座標変換３、座標変換４の順で選択起動させて監視カメラの撮影範囲に対応する三次元地形データのカーソル位置（三次元ＧＩＳ画像上のカーソル位置）を得る（Ｓ２０７〜Ｓ２１０）。
【０２６９】
さらに、逆座標変換４、逆座標変換３、逆座標変換２、逆座標変換１の順で選択起動させ（Ｓ２１１〜Ｓ２１４）、この結果得られたＧＩＳ画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を表示バッファ３４ｂｄ２に書き込むことで、三次元ＧＩＳ画像上にカメラ画面に指定されたカーソルと同じ位置にカーソルを表示する（Ｓ２１５）。
【０２７０】
さらに、選択部８５は図２６に示すように、逆座標変換７、逆座標変換６、逆座標変換５の順で選択起動させて三次元地形データの二次元平面にカーソル位置を定義し、さらに平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を求める（Ｓ２１６〜Ｓ２１８）。
【０２７１】
そして、この結果得られた平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示用の表示バッファ３４ｃｄ２に書き込むことで、平面図画像上にカメラ画面に指定されたカーソルの二次元位置にカーソルを表示する（Ｓ２１９）。
【０２７２】
次に、終了かどうかを判断する（Ｓ２２１）。終了でない場合は、処理をステップＳ２０５に戻す。
【０２７３】
また、ステップＳ２０５、２０６の処理によって三次元ＧＩＳ画像表示用画面でカーソルが指定されたと判定した場合は、選択部８５は座標変換１、座標変換２、座標変換３、座標変換４の順で選択起動させて三次元地形データの監視カメラの撮影範囲に対応する領域にカーソル位置を定義（Ｘ、Ｙ、Ｚ）する（Ｓ２３１〜Ｓ２３４）。
【０２７４】
さらに、逆座標変換４、逆座標変換３、逆座標変換２、逆座標変換１の順で選択起動させて三次元ＧＩＳ画像画面のカーソル位置と同じカメラ画像上におけるカメラ画像表示用画面での座標を求め（Ｓ２３５〜Ｓ２３８）、このピクセル座標（Ｍｘ、Ｍｙ）をカメラ画像表示用の表示バッファ３４ａｄ１に書き込むことで、カメラ画像上に三次元ＧＩＳ画像画面に指定されたカーソルと同じ位置にカーソルを表示する（Ｓ２３９）。
【０２７５】
さらに、選択部８５は図２６に示すように、逆座標変換７、逆座標変換６、逆座標変換５の順で選択起動させることで三次元ＧＩＳ画像上に指定されたカーソル位置に対応する二次元平面図画像上の位置を求め（Ｓ２４０〜Ｓ２４２）、この平面図画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）を平面図画像表示用の表示バッファ３４ｃｄ１に書き込むことで、平面図画像上に三次元ＧＩＳ画像に指定されたカーソルの二次元位置にカーソルを表示する（Ｓ２４３）。
【０２７６】
さらに、ステップＳ２０５、２０６の処理によって平面図画像表示用画面でカーソルが指定されたと判定した場合は、選択部は座標変換５、座標変換６、座標変換７の順で選択起動させて平面図画像上で指定されたカーソル位置を三次元地形データに定義（Ｘ、Ｙ、Ｚ）する（Ｓ２５１〜Ｓ２５３）。
【０２７７】
そして、逆座標変換４、逆座標変換３、逆座標変換２、逆座標変換１の順で選択起動させて監視カメラの撮影範囲における三次元地形データのカーソル位置に対応する三次元ＧＩＳ画像上のカーソル位置を三次元ＧＩＳ画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）に変換し、これを三次元ＧＩＳ画像表示処理部３４ｂの表示バッファ３４ｂｄ１に書き込みさせる（（Ｓ２５４〜Ｓ２５８）。
【０２７８】
そして、選択部８５は図２６に示すように、逆座標変換４、逆座標変換３、逆座標変換２、逆座標変換１の順で選択起動させて平面図画像上のカーソル位置に対応するカメラ画像上の位置に、そのカーソルを表示させる（Ｓ２５９〜Ｓ２６３）。具体的には、カメラ画像表示用画面のピクセル座標（Ｍｘ、Ｍｙ）に変換し、これをカメラ画像表示処理部の表示バッファに書き込むことでカメラ画面にカーソルを表示する。
【０２７９】
つまり、カメラ画像表示処理部３４ａａがカメラ画像表示用バッファ３４ａｄ１のカメラ画像と、カーソル用表示バッファ３４ａｄ２のカーソル画像とを合成して表示制御部８０に出力し、ＧＩＳ画像表示処理部３４ｂがＧＩＳ画像用表示バッファ３４ｂｄ１の監視カメラの画角（撮影範囲）での三次元ＧＩＳ画像とカーソル用表示バッファ３４ｂｄ２のカーソル画像とを合成して表示制御部８０に出力する。
【０２８０】
また、平面図画像表示処理部３４ｃが平面図用表示バッファ３４ｃｄ１の平面図画像とカーソル用表示バッファ３４ｃｄ２のカーソル画像とを合成して表示制御部８０に出力する。
【０２８１】
そして、表示制御部８０が表示用バッファ８０ａの対応するエリアにこれらの画像を読み出して、表示バッファ８０ａのこれらの画像を表示部２０に表示する（図２７（ｂ）参照）。
【０２８２】
すなわち、選択部８５は、上記実施の形態と同様に、カメラ画像上でカーソルが指定された場合は、カメラ画像指定個所三次元座標変換部、ＧＩＳ画像用逆変換部、平面図画像用逆変換部の機能を実行させている。
【０２８３】
また、ＧＩＳ画像上でカーソルが指定された場合は、ＧＩＳ画像指定個所三次元座標変換部、カメラ画像用逆変換部、平面図画像用逆変換部の機能を実行させている。
【０２８４】
さらに、平面図画像上でカーソルが指定された場合は、平面図画像指定個所三次元座標変換部、ＧＩＳ画像用逆変換部、カメラ画像用逆変換部の機能を実行させている。
【０２８５】
従って、一つの画面において、監視カメラからのカメラ画像と、三次元ＧＩＳ画像と、平面図画像とを連動表示しても、カメラ画像は何等加工が加えられていないリアルな画像であるから、このカメラ画像は信頼ができる。
【０２８６】
さらに、いずれかの画面において、カーソルが指定されると他の画面上の対応する位置にも同じカーソルを表示するので、信頼できるリアルなカメラ画像を見ながら位置の特定を平面図、ＧＩＳ画像、カメラ画像上で地理的な空間位置を一目で把握できる。
【０２８７】
ここで、画角の設定について図２８を用いて説明を補充する。
【０２８８】
地上対象物Ｐの地理座標系における座標（Ｘ、Ｙ、Ｚ）とカメラ座標系における座標Ｐ（ｘｐ、ｙｐ、ｚｐ）は、次の関係式で求められる。
【０２８９】
このとき、カメラ座標系の地理座標系に対する傾きを（ω、ψ、κ）、カメラ投影中心の地理座標を０（Ｘ０、Ｙ０、Ｚ０）とする。
【数１】
【０２９０】
次に、上記式の回転行列Rは式2）のように表せる。
【数２】
【０２９１】
ここで、カメラの焦点距離をｃ、対象物Ｐとカメラ投影中心０（Ｘ０、Ｙ０、Ｚ０）とを結ぶ直線とＣＣＤ面との交点の画面座標をｐ（ｘ，ｙ）とすると、投影中心、画面座標、地上対象物が一直線上にあるという共線条件式は次のようにして求められる。
【数３】
【０２９２】
よってこの関係式を用いて、カメラの地理座標系に対する位置と姿勢（（Ｘ０、Ｙ０、Ｚ０）＆（ω、ψ、κ））すなわち外部標定要素と、カメラの焦点距離ｃが既知であれば、任意の地理座標（Ｘ、Ｙ、Ｚ）に対応するＣＣＤ面上の座標（ｘ、ｙ）を導きだせる。
【０２９３】
また、上記の式を変形し以下の式とすることで、ＣＣＤ上の画面座標（ｘ、ｙ）と標高（Ｚ）から、地理座標（Ｘ、Ｙ）を求めることできる。
【数４】
【０２９４】
画面座標（ｘ、ｙ）から地理座標（Ｘ、Ｙ、Ｚ）を求める場合は、カメラ投影中心の標高（Ｚ０）等を初期値とし、連続的に標高Ｚの値を変更して上記式より地理座標（Ｘ、Ｙ）をもとめ、求められた地理座標（Ｘ、Ｙ）に対応する三次元地形モデルにおける実際の標高とを比較し、合致した地点を真値とする方法などがある。この際に、最もカメラに近い合致地点を選択することで地形の影に隠れて本来見えない地点を選ぶような間違いを回避することが出来る。
【０２９５】
なお、上記各実施の形態では、平面図画像は等高線付きの地図として説明したが、平面図は、等高線付きの地図、防災マップ、特別に凹凸を強調した赤色地図とからなる合計３種類であってもよい、この場合は、画面を５分割して上記のように各画像表示処理部を生成し、それぞれの画面においてカーソルが指定されたときに、他の対応する位置にカーソルを連動表示するようにする。
【符号の説明】
【０２９６】
１１ カメラ画像指定個所連像表示部
１２ ＧＩＳ画像指定個所連動表示部
１３ 平面図指定個所連動表示部
３１ カメラ選択部
３２ モード判定部
３３ 画角設定部
３４ 表示処理部
【特許請求の範囲】
【請求項１】
表示部の画面を分割して、撮影対象を監視カメラで撮影した監視カメラ画像及び該監視カメラ画像に対応する三次元画像並びに前記撮影対象を含む平面図画像を該当の画面に連動表示して、いずれかの画面に位置が指定されると、この位置にマーカを表示し、かつ他の画面の対応する位置にマーカを連動表示する監視カメラ画像を用いた連動表示計測システムであって、
前記撮影対象の三次元地形データ、前記監視カメラ画像、前記監視カメラの外部標評要素及び内部標定要素、前記撮影対象を含む平面図データを記憶した記憶手段と、
（ａ）前記外部標識、内部標定要素に基づいて前記三次元地形モデルに前記監視カメラの撮影地点における画角を定義する手段と、
（ｂ）前記監視カメラ画像の画面又は三次元画像の画面に前記位置が指定された場合は、監視カメラ画像の画面又は三次元画像の画面のマーカ座標をその画面に表示している画像の座標に変換し、前記設定された画角の写真座標に変換し、この写真座標から前記三次元地形モデル上の三次元座標に変換する手段と、
（ｃ）前記平面図画像の画面に前記位置が指定された場合は、この画面のマーク座標を前記平面図データ上の二次元座標に変換する手段と、
（ｄ）前記（ｂ）手段で前記三次元座標に変換される毎に、この変換された三次元座標を、前記（ｂ）手段の座標変換の過程を逆変換して前記カメラ画像の画面又は前記三次元画像の画面上の座標を算出し、該算出された画面上の座標に前記マークを表示させる手段と、
（ｅ）前記平面図画像の画面のマーク座標が二次元座標に変換されたとき、この変換された二次元座標を、前記三次元地形モデル上の三次元座標に変換し、該三次元座標を前記画角の写真座標に変換し、これを前記カメラ画像の画面及び三次元画像の画面の座標に変換し、該変換した画面の座標に前記マークを表示させる手段と
を有することを特徴とする監視カメラ画像を用いた連動表示計測システム。
【請求項２】
（ｆ）ポリゴン表示の場合は、
前記監視カメラ画像又は平面図画像の画面上において指定された範囲をポリゴン表示すると共に、前記平面図画像又は監視カメラ画像上若しくは両方の画像上の対応する範囲をポリゴン化する手段と
を有することを特徴とする請求項１記載の監視カメラ画像を用いた連動表示計測システム。
【請求項３】
前記ポリゴンの各点の三次元座標を三次元地形モデル上に定義し、これらの各座標（Ｘ、Ｙ、Ｚ）を繋げて前記ポリゴンの表面積を算出して、この表面積を前記表示部にする手段と
を有することを特徴とする請求項２記載の監視カメラ画像を用いた連動表示計測システム。
【請求項４】
始点と終点とが指定された距離算出の場合は、
前記始点と終点とに対応する前記三次元地形モデル上の座標（Ｘ、Ｙ、Ｚ）を求め、この２点の座標（Ｘ、Ｙ、Ｚ）を繋げた立体面の長さを求める手段と
を有することを特徴とする請求項１記載の監視カメラ画像を用いた連動表示計測システム。
【請求項５】
前記画角の設定は、
前記内部標定要素の基づく監視カメラの写真座標系（Ｘ´、Ｙ´）を前記外部標定要素の位置、姿勢に基づいて前記三次元地形モデル上に定義することを特徴とする請求項１記載の監視カメラ画像を用いた連動表示計測システム。
【請求項６】
前記三次元座標の変換は、
監視カメラ画像の表示画面の縦横のピクセル数と監視カメラ画像の縦横のピクセル数の比から監視カメラ画像の表示画面上のピクセル座標（Ｍｘ、Ｍｙ）を監視カメラ画像のピクセル座標（Ｐｘ、Ｐｙ）に変換する第１の座標変換手段と、
前記監視カメラの写真面の実サイズと監視カメラ画像の縦横のピクセル数とを対応させて、前記監視カメラ画像のピクセル座標（Ｐｘ、Ｐｙ）を監視カメラの写真座標（Ｘ´、Ｙ´）に変換する第２の座標変換手段と、
前記写真座標に対応する平面をＸ、Ｙ軸、この原点に直交する軸をＺ軸とし、前記写真面からＺ方向に焦点距離分だけ離れた点を光学中心とし、この光学中心を原点とした三次元空間を想定し、この三次元空間の二次元座標である写真座標（Ｘ´、Ｙ´）を前記光学中心から三次元相対位置に置き換えたカメラ座標（Ｘ´、Ｙ´、Ｚ´）に変換する第３の座標変換手段と、
前記監視カメラの前記光学中心の三次元地理座標及びカメラ座標系の前記三次元地理座標に対する傾きを用いて、前記カメラ座標系を前記地理座標系に変換し、前記地理座標系に変換された前記監視カメラの前記光学中心と写真上の対象物と結ぶ直線が標高モデルの立体面と交差する点の三次元座標（Ｘ，Ｙ，Ｚ）を求める第４の座標変換手段と
によって変換していることを特徴とする請求項１記載の監視カメラ画像を用いた連動表示計測システム。
【請求項７】
前記画像又はマークの連動表示は、
前記表示部の画面に画像を表示するための画像メモリを備え、該画像メモリを一定時間毎に読み出して記憶された画像を画面に表示する表示制御手段と、
前記表示部に表示するための画像の数を判定し、この数に応じて前記画像メモリのエリアを分割し、分割した各々のエリアを前記監視カメラ画像の画面、前記三次元画像の画面、前記平面図画像の画面用とする手段と、
前記監視カメラ画像の画面を監視し、前記記憶手段から読み出して前記表示制御部の監視カメラ画像のエリアに読込む手段と、
前記三次元画像の画面を監視し、前記画角での前記三次元地形モデル上の領域に対応する前記三次元画像を前記三次元画像のエリアに読込む手段と、
前記平面図画像の画面を監視し、撮影対象及び前記監視カメラの位置を含む所定範囲を表示範囲として前記記憶手段の平面図データから前記平面図画像のエリアに読込む手段と、
を備え、
前記各々の監視する手段は、
いずれかの画面に位置指定が行われたとき、この画面のエリアの前記位置にマークを書き込んで表示させると共に、該マークの画面座標を当該画面のエリアから算出し、これを前記画面のマーク座標として送出する手段と、
監視している当該画面に対してのマーク座標が入力したとき、当該画面のエリアの対応する位置にマークを書き込んで表示させる手段と
を有することを特徴とする請求項１記載の監視カメラ画像を用いた連動表示計測システム。
【請求項１】
表示部の画面を分割して、撮影対象を監視カメラで撮影した監視カメラ画像及び該監視カメラ画像に対応する三次元画像並びに前記撮影対象を含む平面図画像を該当の画面に連動表示して、いずれかの画面に位置が指定されると、この位置にマーカを表示し、かつ他の画面の対応する位置にマーカを連動表示する監視カメラ画像を用いた連動表示計測システムであって、
前記撮影対象の三次元地形データ、前記監視カメラ画像、前記監視カメラの外部標評要素及び内部標定要素、前記撮影対象を含む平面図データを記憶した記憶手段と、
（ａ）前記外部標識、内部標定要素に基づいて前記三次元地形モデルに前記監視カメラの撮影地点における画角を定義する手段と、
（ｂ）前記監視カメラ画像の画面又は三次元画像の画面に前記位置が指定された場合は、監視カメラ画像の画面又は三次元画像の画面のマーカ座標をその画面に表示している画像の座標に変換し、前記設定された画角の写真座標に変換し、この写真座標から前記三次元地形モデル上の三次元座標に変換する手段と、
（ｃ）前記平面図画像の画面に前記位置が指定された場合は、この画面のマーク座標を前記平面図データ上の二次元座標に変換する手段と、
（ｄ）前記（ｂ）手段で前記三次元座標に変換される毎に、この変換された三次元座標を、前記（ｂ）手段の座標変換の過程を逆変換して前記カメラ画像の画面又は前記三次元画像の画面上の座標を算出し、該算出された画面上の座標に前記マークを表示させる手段と、
（ｅ）前記平面図画像の画面のマーク座標が二次元座標に変換されたとき、この変換された二次元座標を、前記三次元地形モデル上の三次元座標に変換し、該三次元座標を前記画角の写真座標に変換し、これを前記カメラ画像の画面及び三次元画像の画面の座標に変換し、該変換した画面の座標に前記マークを表示させる手段と
を有することを特徴とする監視カメラ画像を用いた連動表示計測システム。
【請求項２】
（ｆ）ポリゴン表示の場合は、
前記監視カメラ画像又は平面図画像の画面上において指定された範囲をポリゴン表示すると共に、前記平面図画像又は監視カメラ画像上若しくは両方の画像上の対応する範囲をポリゴン化する手段と
を有することを特徴とする請求項１記載の監視カメラ画像を用いた連動表示計測システム。
【請求項３】
前記ポリゴンの各点の三次元座標を三次元地形モデル上に定義し、これらの各座標（Ｘ、Ｙ、Ｚ）を繋げて前記ポリゴンの表面積を算出して、この表面積を前記表示部にする手段と
を有することを特徴とする請求項２記載の監視カメラ画像を用いた連動表示計測システム。
【請求項４】
始点と終点とが指定された距離算出の場合は、
前記始点と終点とに対応する前記三次元地形モデル上の座標（Ｘ、Ｙ、Ｚ）を求め、この２点の座標（Ｘ、Ｙ、Ｚ）を繋げた立体面の長さを求める手段と
を有することを特徴とする請求項１記載の監視カメラ画像を用いた連動表示計測システム。
【請求項５】
前記画角の設定は、
前記内部標定要素の基づく監視カメラの写真座標系（Ｘ´、Ｙ´）を前記外部標定要素の位置、姿勢に基づいて前記三次元地形モデル上に定義することを特徴とする請求項１記載の監視カメラ画像を用いた連動表示計測システム。
【請求項６】
前記三次元座標の変換は、
監視カメラ画像の表示画面の縦横のピクセル数と監視カメラ画像の縦横のピクセル数の比から監視カメラ画像の表示画面上のピクセル座標（Ｍｘ、Ｍｙ）を監視カメラ画像のピクセル座標（Ｐｘ、Ｐｙ）に変換する第１の座標変換手段と、
前記監視カメラの写真面の実サイズと監視カメラ画像の縦横のピクセル数とを対応させて、前記監視カメラ画像のピクセル座標（Ｐｘ、Ｐｙ）を監視カメラの写真座標（Ｘ´、Ｙ´）に変換する第２の座標変換手段と、
前記写真座標に対応する平面をＸ、Ｙ軸、この原点に直交する軸をＺ軸とし、前記写真面からＺ方向に焦点距離分だけ離れた点を光学中心とし、この光学中心を原点とした三次元空間を想定し、この三次元空間の二次元座標である写真座標（Ｘ´、Ｙ´）を前記光学中心から三次元相対位置に置き換えたカメラ座標（Ｘ´、Ｙ´、Ｚ´）に変換する第３の座標変換手段と、
前記監視カメラの前記光学中心の三次元地理座標及びカメラ座標系の前記三次元地理座標に対する傾きを用いて、前記カメラ座標系を前記地理座標系に変換し、前記地理座標系に変換された前記監視カメラの前記光学中心と写真上の対象物と結ぶ直線が標高モデルの立体面と交差する点の三次元座標（Ｘ，Ｙ，Ｚ）を求める第４の座標変換手段と
によって変換していることを特徴とする請求項１記載の監視カメラ画像を用いた連動表示計測システム。
【請求項７】
前記画像又はマークの連動表示は、
前記表示部の画面に画像を表示するための画像メモリを備え、該画像メモリを一定時間毎に読み出して記憶された画像を画面に表示する表示制御手段と、
前記表示部に表示するための画像の数を判定し、この数に応じて前記画像メモリのエリアを分割し、分割した各々のエリアを前記監視カメラ画像の画面、前記三次元画像の画面、前記平面図画像の画面用とする手段と、
前記監視カメラ画像の画面を監視し、前記記憶手段から読み出して前記表示制御部の監視カメラ画像のエリアに読込む手段と、
前記三次元画像の画面を監視し、前記画角での前記三次元地形モデル上の領域に対応する前記三次元画像を前記三次元画像のエリアに読込む手段と、
前記平面図画像の画面を監視し、撮影対象及び前記監視カメラの位置を含む所定範囲を表示範囲として前記記憶手段の平面図データから前記平面図画像のエリアに読込む手段と、
を備え、
前記各々の監視する手段は、
いずれかの画面に位置指定が行われたとき、この画面のエリアの前記位置にマークを書き込んで表示させると共に、該マークの画面座標を当該画面のエリアから算出し、これを前記画面のマーク座標として送出する手段と、
監視している当該画面に対してのマーク座標が入力したとき、当該画面のエリアの対応する位置にマークを書き込んで表示させる手段と
を有することを特徴とする請求項１記載の監視カメラ画像を用いた連動表示計測システム。
【図８】
【図１４】
【図１８】
【図２１】
【図２２】
【図２４】
【図２７】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１９】
【図２０】
【図２３】
【図２５】
【図２６】
【図２８】
【図１４】
【図１８】
【図２１】
【図２２】
【図２４】
【図２７】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１９】
【図２０】
【図２３】
【図２５】
【図２６】
【図２８】
【公開番号】特開２０１１−１３３８４０（Ｐ２０１１−１３３８４０Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２０１０−２４０１８（Ｐ２０１０−２４０１８）
【出願日】平成２２年２月５日（２０１０．２．５）
【特許番号】特許第４６４２１３６号（Ｐ４６４２１３６）
【特許公報発行日】平成２３年３月２日（２０１１．３．２）
【出願人】（５９１０７４１６１）アジア航測株式会社 (48)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２２年２月５日（２０１０．２．５）
【特許番号】特許第４６４２１３６号（Ｐ４６４２１３６）
【特許公報発行日】平成２３年３月２日（２０１１．３．２）
【出願人】（５９１０７４１６１）アジア航測株式会社 (48)
【Ｆターム（参考）】
[ Back to top ]