撮影映像表示方法
空中より撮影された地表面の撮影映像の位置を３次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、地理情報システムの地図上に重ねて表示する撮影映像表示方法であって、地理情報システムの地図と撮影映像からそれぞれランドマークを抽出し、対応するランドマークを照合することにより、撮影された撮影範囲の計算に使用するパラメータを補正する。
【発明の詳細な説明】
【技術分野】
この発明は、例えばヘリコプタに搭載された撮影装置から送信された映像を、地理情報システムの地図上に重ね合わせて表示することにより、震災、火災等の天災や爆発、重大事故等の人災等の災害が発生した場合、地上の状況の判断を容易に、かつ精度良く行えるようにしたことを特徴とする撮影映像表示方法に関するものである。
【背景技術】
従来の位置特定方法および装置は例えば特許第２６９５３９３号公報に示されているように、空中における撮影位置を三次元的に特定し、撮影位置に対する目標物の方向を計測し、予め作成されている地表面の起伏についての高度情報を含む三次元地勢データから目標物の存在する地表面を求め、地表面と撮影位置から目標物の方向に延びる直線との交点位置として、空中から撮影した地表面の目標物の位置を特定している。
従来の位置特定方法および装置では、地表面における目標物の位置を特定するために、前提として、予め作成されている地表面の起伏についての高度情報を含む三次元地勢データが必要である。また、空中における撮影位置を三次元的に特定し、撮影位置に対する目標物の方向を計測するときに生じる計測誤差を補正することができず、正確な位置の特定が困難である。さらに、位置の特定が目標物一点に限られているために、地表面における状況を面的に把握することは不可能であるなどの問題があった。
【発明の開示】
この発明は上記のような問題を解決するためになされたものであり、撮影映像を地理情報システムの地図上に重ね合わせて表示することによって、撮影された地表面の状況を面的に把握することを可能とし、また、撮影映像と地図との照合により映像の地図上における表示位置を補正して高精度な重畳表示を行い、撮影された地表面の状況把握をより容易かつ速やかにできる撮影映像表示方法を提供することを目的とする。
この目的を達成するため、本発明に係る撮影映像表示方法は、空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示するものあって、空中における撮影位置を３次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、これを地理情報システムの地図上に重ね合わせて表示する。
また、空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示するものあって、空中における撮影位置を３次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、これを地理情報システムの地図上に重ね合わせて表示する撮影映像表示方法であって、地理情報システムの地図と撮影映像からそれぞれランドマークを抽出し、対応するランドマークを照合することにより、撮影された地表面の撮影範囲を計算する際に使用するパラメータを補正し、撮影映像を地理情報システムの地図上に精度良く重畳表示する。
この発明によれば、映像情報と地図との整合性を確認することが容易となり、目標地点の判別が容易にできるものである。
【図面の簡単な説明】
図１はこの発明の実施の形態１に係る撮影映像表示方法を実施するシステムを示すブロック図である。
図２は実施の形態１における地図処理手段の機能説明図である。
図３は実施の形態１による表示画面を示す写真である。
図４はこの発明の実施の形態２に係る撮影映像表示方法により得られた表示画面を示す写真である。
図５はこの発明の実施の形態３を説明する図である。
図６は実施の形態３における地図処理を説明する図である。
図７はこの発明の実施の形態４を説明する図である。
図８は実施の形態４における地図処理を説明する図である。
図９はこの発明の実施の形態５を説明する図である。
図１０は実施の形態５における地図処理を説明する図である。
図１１はこの発明の実施の形態６に係る撮影映像表示方法の地図処理を説明する図である。
図１２はこの発明の実施の形態７に係る撮影映像表示方法の地図処理を説明する図である。
図１３はこの発明の実施の形態８に係る撮影映像表示方法を説明する図である。
図１４はこの発明の実施の形態９に係る映像表示方法を実施するシステムを示すブロック図である。
図１５は実施の形態９における地図処理手段の機能説明図である。
図１６は実施の形態９による映像表示方法における動作を示すフローチャートである。
図１７は実施の形態９における地図処理手段の中の撮影画枠計算で使用する角度パラメータを説明する図である。
図１８は実施の形態９における地図処理手段の中の撮影画枠計算を説明する図である。
図１９は実施の形態９における地図処理手段の中のパラメータ補正を説明する図である。
図２０は実施の形態９による映像表示方法における効果を示す図である。
図２１はこの発明の実施の形態１１を説明する図である。
図２２はこの発明の実施の形態１２を説明する図である。
図２３はこの発明の実施の形態１４に係る映像表示方法における動作を示すフローチャートである。
図２４は実施の形態１４に係る映像表示方法における効果を示す図である。
図２５はこの発明の実施の形態１５を説明する図である。
図２６はこの発明の実施の形態１６を説明する図である。
【発明を実施するための最良の形態】
実施の形態１．
まず、この発明の概略を説明する。この発明は、空中から地上を撮影した撮影映像を、地理情報システム（ＧＩＳ＝Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ地図をコンピュータ画面上に表示するシステム）の地図上に重ね合わせて表示することによって、映像情報と地図との整合性の確認を容易にし、目標地点の判別を容易にするものである。ただし、空中からカメラで地上を撮影した場合、その映像はカメラの向きに関わらず常に一定の矩形形状にしか写らないため、撮影した映像を地理情報システムで得た地図上にそのまま重ね合わせる（貼り付ける）ことは困難である。そこで本発明では、映像を撮影時のカメラ情報と機体の姿勢情報を用いた計算により、地上に対するカメラの姿勢等に基づいて、矩形から台形あるいは菱形に近い形など、複雑に変わる撮影される地表面の撮影範囲（＝撮影画枠）を計算により求め、その画枠に合わせて映像を変形して地図上に貼り付け、表示するものである。
以下この発明の実施の形態１に係る撮影映像処理方法及び撮影映像処理システムについて図面を参照して説明する。図１はこの発明の方法を実施するシステムを説明するブロック図、図２は地図処理手段の機能を説明する図である。この発明の方法は、撮影装置（＝カメラ）等を搭載したヘリコプタ等の飛行体（＝機体）からなる機上系１００と、機上系１００からの信号を受信して処理する地上に設置された地上系２００とにより実現する。
機上系１００は、主に、空中から地表を撮影する撮影手段、撮影手段の撮影位置を３次元的に特定するための情報を取得する情報収集部としての機体位置計測手段１０８や機体姿勢計測手段１０７、上記撮影手段で撮影された撮影映像と上記情報収集部で取得された情報とを送信する送信手段を有する機上装置からなる。
即ち、機上系１００において、機体１０１には、空中から地上を撮影する撮影手段１０５であるカメラ１０２が搭載されている。機体１０１はＧＰＳ信号受信部であるアンテナ１０３により現在の位置情報を得て、機体位置検出を行う機体位置計測手段１０８、及びジャイロを備え、さらに、機体１０１の姿勢すなわち仰角（＝ピッチ）とロール角を検出する機体姿勢検出を行う機体姿勢計測手段１０７を備えている。
カメラ１０２を含む撮影手段１０５は、地上を撮影し、その映像信号を出力すると共に、カメラの絞り、ズームなどのカメラ情報も併せて出力する。カメラ１０２はジンバルに取り付けられ、このジンバルはカメラの回転角（＝パン）、傾き（＝チルト）を検出するカメラ姿勢計測手段１０６を有しておりその値を出力する。
上記機体位置計測手段１０８からの出力信号、機体姿勢計測手段１０７からの出力信号、カメラ撮影手段１０５の映像信号、カメラ情報信号、カメラ姿勢計測手段１０６からの出力信号は多重変調手段１０９で多重変調され、信号変換手段１１０でデジタル信号にされ、追尾手段１１１を有する送信手段１０４から地上系２００へ向けて送信される。
地上系２００は、主に、空中から撮影手段が撮影した地表の撮影映像及び上記撮影手段の撮影位置を３次元的に特定するための情報を入力する入力部、入力した情報に対し信号処理を行う信号処理部、画面に地図を表示する地理情報システム、信号処理部で処理された情報を含めて映像処理し表示部に表示する地図処理部とから構成される。
即ち、機上系１００からの信号は、追尾手段２０２を有する受信手段２０１で受信され、信号変換手段２０３で信号変換される。この信号は、さらに、多重復調手段２０４により、映像信号とその他機体位置、機体姿勢、カメラ姿勢、カメラ情報等の情報信号として取り出される。取り出されたこれらの信号を信号処理手段２０５で信号処理し、映像信号は動画データ２０７および静止画データ２０８として次のステップの地図処理手段２０６での地図処理に用いられる。その他、地理情報システムの２次元地図データ２０９、地勢データ２１０を含めた情報信号も地図処理手段２０６での地図処理に用いられる。２１１はモニタ表示手段である。
図２はこの実施の形態の撮影映像表示システムの地図処理手段の概略を示す図である。地図処理手段２０６は、図２に示すように、映像信号である動画データ２０７と静止画データ２０８、機体位置、機体姿勢、カメラ姿勢の情報信号、および地理情報システムの２次元地図データ２０９と３次元地勢データ２１０により処理を行うもので、主に、撮影手段が撮影した撮影映像の撮影範囲に対応する地理情報システムの地図上の撮影範囲を求める撮影範囲計算部（画枠計算２１２）、画枠計算２１２で求められた撮影範囲に合わせて上記撮影映像を変形する映像変形部（映像変形２１３）、上記地図上の上記撮影範囲に上記変形された撮影映像を重ね合わせて表示する表示部（重ね合わせ２１４等）から構成される。
地図処理手段２０６では、まず、画枠計算２１２で、機体位置の情報信号により空中における撮影位置を３次元的に特定し、カメラと機体の地表面に対する姿勢に基づいて、撮影した地表面の撮影範囲（＝撮影画枠）を計算により求める画枠計算を行う。この画枠に合わせて映像変形２１３を行う。この映像変形は、映像が地図に一致する台形あるいは菱形に近い形等になるように映像を変形するものである。次に、重ね合わせ２１４で、変形した映像を地理情報システムの地図上に重ね合わせ（貼り合わせ）、その後、これをＣＲＴなどのモニタ表示手段２１１で表示する。
図３は地理情報システムの地図３０１上に、撮影画枠３０３を地図に合わせて、撮影映像３０２を重ね合わせた写真である。３０４は機体の飛行経路、３０５は機体位置（カメラ位置）である。上述の変形処理を含む地図処理を地図処理手段２０６で行うことにより、図３に示すように、映像と地図とがほぼ完全に一致し、映像情報と地図との整合性を確認することが容易となり、目標地点の判別が容易にできる。
また、図３のように、カメラで撮影した画枠の映像を地図上に重ねて表示することができる他に、撮影映像３０２を消して画枠３０３だけを表示することも容易にできる。ここで撮影映像３０２は２次元の地図上に重ね合わされている。従って、例えは災害発生の場所（例えば火災を起しているビル）等を撮影映像３０２で視認し撮影映像３０２上でその位置をチェック（クリック）し、その後、撮影映像３０２を消して画枠３０３のみの表示として撮影映像３０２の下の２次元の地図を表示させれば撮影映像上でチェックした位置が地図上のどこに相当するのかを迅速に認識することができる。さらに、カメラの向きに関わらず、モニタの表示映像を一定の方向に表示するようにしておけば、目標地点の判別がさらに容易となる。
実施の形態２．
本実施形態では、機体１０１の現在位置を測定し、地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて、撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う際に、連続して撮影した撮影映像を、複数枚連続して所定の周期でサンプリングし、連続する複数枚の映像を地理情報システムの地図上に貼り合わせて表示を行い、その地図上に貼り合わされた映像から目標の地点を特定化しようとするものである。
図４はこの方法によるモニタ表示画面を示すもので、３０４は機体の飛行経路、３０５は機体位置（カメラ位置）である。飛行経路３０４に沿ってカメラから撮影した映像を所定のタイミングでサンプリングして各画枠を求め、撮影映像を画枠に合うように変形処理し、地図３０１上に貼り付ける。３０２ａ〜３０２ｆは貼り付けた映像、３０３ａ〜３０３ｆはその画枠である。
撮影画枠の計算及び各画枠への映像の変形は、実施の形態１で説明したように撮影時のカメラ情報と機体の姿勢情報を用いた計算により行なう。各画像のサンプル周期は、機体の速度に応じて変えてもよい。通常、機体の速度が速いときはサンプリング周期を短く、機体速度が遅いときはサンプリング周期を長くする。
本実施の形態２では、地図と複数枚の連続映像による広範囲の地表面の状況を確認しながら、地上の状況を識別することが可能となり、目標地点の判別を一層効果的に行うことができる。
実施の形態３．
本実施の形態では、機体１０１の現在位置と機体に対するカメラ１０２の回転角と傾き（パンとチルト＝カメラの姿勢）を測定し、このカメラの姿勢に基づいて地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。
本実施の形態３によれば、撮影手段であるカメラの姿勢に基づいて撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。
いま、機体１０１とカメラ１０２の関係を、図５のように、カメラ１０２がジンバル１１２に収容され、機体１０１は水平飛行を行うと仮定すると、同図（ｂ）（ｃ）に示すように、カメラ１０２の傾きは機体１０１の中心軸からの傾き（＝チルト）として、カメラ１０２の回転角度（パン）は機体１０１の進行方向からの回転角度として出力される。すなわち、（ｂ）の状態では、カメラ１０２が真下を向いているので傾きは０度、（ｃ）の状態ではカメラ１０２の傾きθが垂直面からの傾きとなることを示している。
カメラの撮影画枠の計算方法は、コンピュータグラフィックスの基礎として、３Ｄ座標内の矩形（画枠）の回転移動と投象処理で得ることが出来る。基本は、カメラの撮影画枠をカメラ情報と機体情報とによって変換処理を行い、地上へ投影した場合の図枠を計算することで、目的の画枠を得ることが出来る。３Ｄ座標内の各座標の計算方法は、以下の行列計算方法を使用して得る。
１）基準状態での撮影画枠の計算
まず、図６（ａ）に示すように、画枠４点の位置を機体の位置を原点として、相対座標として計算する。撮影画枠を、カメラの焦点距離と画角と高度によって、基準位置に計算、４点の座標を得る。
２）カメラのチルト（ｚ軸）にて、４点の回転後の位置を計算
図６（ｂ）に示すように、カメラのチルト角度θから、ｚ軸のまわりに撮影画枠を回転する。回転後の座標を次の数式１で変換して求める。
３）カメラの方位角（ｙ軸）にて、４点の回転後の位置を計算
図６（ｃ）に示すように、カメラの方位角θから、ｙ軸のまわりに撮影画枠を回転する。回転後の座標を次の数式２で変換して求める。
４）回転処理後の画枠を、原点（機体位置）から地表面（ｙ軸高度地点）に投影した図枠を計算
図６（ｄ）に示すように、撮影画枠を地表面（ｙ軸高度）に投象することで、投象平面（撮影画枠）を得る。投影後の座標を次の数式３で変換して求める。
次の数式４で、一般同次座標系［Ｘ，Ｙ，Ｚ，Ｗ］を得る。ただし、ｄは海抜高度である。
次に、Ｗ’（＝ｙ／ｄ）で割って３Ｄに戻すと次の数式５となる。
実施の形態４．
本実施の形態では、機体１０１の現在位置と、機体１０１の仰角とロール角を測定し、この仰角とロール角により、地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて、撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。本実施の形態４によれば、機体１０１の地上に対する位置情報から撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。
いま、機体とカメラの関係を図７のように、カメラ１０２が機体１０１に固定（つまりジンバルを使わない）されていると仮定すると、同図（ｂ）に示すように、機体１０１自身が地上から水平に飛行している場合は、カメラ１０２が真下を向いているので、カメラ１０２の傾きは０度となる。同図（ｃ）のように、機体１０１が傾いている場合はこれがカメラ１０２の姿勢となるので、機体１０１の仰角（ピッチ）、ロール角に基づいてカメラの撮影画枠の計算を行う。
１）基準状態での撮影画枠の計算
図８（ａ）に示すように、画枠４点の位置を機体の位置を原点として、相対座標として計算する。撮影画枠を、カメラの焦点距離と画角と高度によって、基準位置に計算、４点の座標を得る。
２）機体のロール（ｘ軸）にて、４点の回転後の位置を計算
図８（ｂ）に示すように、次式により機体のロール角度θから、ｘ軸のまわりに撮影画枠を回転する。回転後の座標を次の数式６で変換して求める。
３）機体のピッチ（ｚ軸）にて、４点の回転後の位置を計算
図８（ｃ）に示すように、機体のピッチ角度θから、ｚ軸のまわりに撮影画枠を回転する。回転後の座標を次の数式７で変換して求める。
４）回転処理後の画枠を、原点（機体位置）から地表面（ｙ軸高度地点）に投影した図枠を計算
図８（ｄ）に示すように、撮像画枠を地表面（ｙ軸高度）に投象することで、投象平面（撮影画枠）を得る。投象後の座標を次の数式８で変換して求める。
次の数式９により一般同次座標系［Ｘ，Ｙ，Ｚ，Ｗ］を得る。
次に、Ｗ’（＝ｙ／ｄ）で割って３Ｄに戻すと次の数式１０となる。
［００７２］
実施の形態５．
本実施の形態では、機体１０１の現在位置と、機体に対するカメラ１０２の回転角度と傾き、それに機体１０１の仰角とロール角を測定し、これらにより、地理情報システムの地図上に、機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて、撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。本実施の形態５によれば、カメラの姿勢情報、機体の姿勢情報から撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。
いま、機体１０１とカメラ１０２の関係を図９のように、カメラ１０２がジンバル１１２に収容され、また機体１０１は自由な姿勢で飛行を行うとすると、同図（ｂ）に示すように、ジンバル１１２からカメラ１０２の傾きとカメラの回転角度が出力される。また、ジャイロから機体１０１自身の地上に対する仰角とロール角が出力される。
カメラの撮影画枠の計算方法は、コンピュータグラフィックスの基礎として、３Ｄ座標内の矩形（画枠）の回転移動と投象処理で得ることが出来る。基本は、カメラの撮影画枠をカメラ情報と機体情報とによって変換処理を行い、地上へ投影した場合の図枠を計算することで、目的の画枠を得ることが出来る。３Ｄ座標内の各座標の計算方法は、以下の行列計算方法を使用して得る。
１）基準状態での撮影画枠の計算
図１０（ａ）に示すように、画枠４点の位置を機体の位置を原点として、相対座標として計算する。撮影画枠を、カメラの焦点距離と画角と高度によって、基準位置に計算、４点の座標を得る。
２）カメラのチルト（ｚ軸）にて、４点の回転後の位置を計算
図１０（ｂ）に示すように、カメラのチルト角度θから、ｚ軸のまわりに撮影画像を回転する変換をする。回転後の座標を次の数式１１で変換して求める。
３）カメラの方位角（ｙ軸）にて、４点の回転後の位置を計算
図１０（ｃ）に示すように、カメラの方位角度θからｙ軸のまわりに撮影画枠を回転する変換をする。回転後の座標を次の数式１２で変換して求める。
４）機体のロール（ｘ軸）にて、４点の回転後の位置を計算
図１０（ｄ）に示すように、機体のロール角度θから、ｘ軸のまわりに撮影画枠を回転する変換をする。回転後の座標を次の数式１３で変換して求める。
５）機体のピッチ（ｚ軸）にて、４点の回転後（回転角θ）の位置を計算
図１０（ｅ）に示すように、機体のピッチ角度θから、ｚ軸のまわりに撮影画枠を回転する変換をする。回転後の座標を次の数式１４で変換して求める。
６）回転処理後の画枠を、原点（機体位置）から地表面（ｙ軸高度地点）に投影した図枠を計算
図１０（ｆ）に示すように、撮像画枠を地表面（ｙ軸高度）に投象することで、投象平面（撮像画枠）を得る。投象後の座標を次の数式１５で変換して求める。
７）次の数式１６により、一般同次座標系［Ｘ，Ｙ，Ｚ，Ｗ］を得る。
８）次に、Ｗ’（＝ｙ／ｄ）で割って３Ｄに戻すと次の数式１７となる。
実施の形態６．
本実施の形態では、機体１０１の現在位置と、機体に対するカメラ１０２の回転角度と傾き、それに機体１０１の仰角とロール角を測定し、地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算する。その撮影画枠の４点の計算処理において、地勢高度データを利用し、機体１０１の飛行位置を補正して撮影画枠を計算する。その撮影画枠に合わせて撮影した映像を変形して地理情報システムの地図上に貼り合わせ、撮影映像と地図との照合を行う。
本実施の形態６によれば、機体の位置、高度、機体姿勢情報とカメラの姿勢情報を使用し、地表面の高度地勢情報によって補正を行い、撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。
図１１に示すように、前述の実施の形態５における回転後の地表面への撮影画枠の計算処理において、機体の高度を、ＧＰＳ装置から得られる海抜高度に対して、地表面の地勢高度情報を利用して撮影地点の地表面高度（相対高度ｄ＝海抜高度−地表面高度）を使用し、撮影画枠の４点の計算を実施する。
１）回転処理後の画枠を、原点（機体位置）から地表面（ｙ軸高度地点）に投影した図枠を計算
撮影画枠を地表面（ｙ軸高度）に投象することで、投象平面を得る。投象後の座標を次の数式１８で変換して求める。
次の数式１９により、一般同次座標系［Ｘ，Ｙ，Ｚ，Ｗ］を得る。
次に、Ｗ’（＝ｙ／ｄ）で割って３Ｄに戻すと次の数式２０となる。
ここで使用する相対高度ｄを、ＧＰＳ装置から得られる地平線からの絶対高度から目標地点の地勢高度を減算して求め、カメラからの相対高度を利用することで、精度の高い撮影画枠の位置を計算する。
実施の形態７．
本実施の形態では、機体１０１の現在位置を測定し、地理情報システムの地図上に、機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う際に、地図上に張り合わせる撮影映像を連続して複数枚、連続的に地理情報システムの地図上に張り合わせ表示を行い、その地図上に張り合わされた映像から目標の地点を特定化する。
複数枚の撮影映像を地理情報システムの地図上に張り合わせを行う処理において、計算された撮影画枠に従って配置を行い、各撮影映像の重複部分の接合状態を確認し、映像の重なり具合がもっとも多くなるように映像を移動して位置補正を行い、その補正値を使用して地理情報システムの地図上に撮影映像を撮影画枠に合わせて変形し、貼り合わせ処理を行う。
その手順を図１２に示す。機体１０１の移動に従って撮影した例えば２枚の撮影映像１（Ａ）と撮影映像２（Ｂ）を重ね、重複部分（図の太枠内Ｃを検出し、映像の重なり具合が最も多くなるように、ＡとＢを相対的に移動し、接合時の位置補正値を得て、位置補正Ｄを行い接合する。位置補正は、図２の映像接合・補正２１５で行う。
本実施の形態７によれば、複数枚の連続映像がより精度の高い接合となり、より広範囲の地表面の状況を確認しながら、地上の状況を識別することが可能となる。
実施の形態８．
本実施の形態では、機体１０１の現在位置と、機体に対するカメラ１０２の取り付け角度と傾き、それに機体１の仰角とロール角を測定し、地理情報システムの地図上に、機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。
この処理を行う場合、機上系１００から送信される諸情報が完全に同期して、地上系２００に受信されることが重要となり、それを実現するために機体位置計測手段の処理時間、カメラのジンバルによる姿勢計測手段の処理時間、映像送信の処理時間等の処理時間を調整し、撮影映像に同期して送信する必要がある。それを実現するために、図１に、バッファを設け、これに機上のカメラの映像信号を一時的に記憶手段１１３で記憶し、ＧＰＳ等による機体位置検出の計算処理時間の遅延と同期させて、地上系２００に送信する。
この関係を図１３により説明する。機体１０１がＧＰＳ信号を受信して、機体位置を検出するまでにはＴの時間を要し、この間に機体１０１はＰ１の位置からＰ２の位置まで移動している。このため、機体の位置検出が完了した時点では、カメラ１０２が撮影している領域はＰ１の位置で撮影した領域から距離Ｒだけ隔たった領域となり、誤差が生じる。
これを修正する手順を示すタイムチャートが図１３（ｂ）である。機体位置検出のためのＧＰＳ観測地点ｔ１からＧＰＳ計算時間Ｔの期間、映像信号をバッファで一時保存し、ｔ２において一時保存した映像信号と機体位置、機体姿勢、カメラ情報等を合わせて送信する。
本実施の形態によれば、撮影装置の取付情報から撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。
また、上記各実施の形態では、画枠を計算した後、その画枠に合わせて撮影映像を変形させ、その変形させた映像を地図に重ね合わせて貼り合わせるようにしているが、単に撮影手段が撮影した撮影映像に対応する地図上の撮影範囲を求め、地図上のその範囲に撮影映像を重ね合わせて表示するようにしてもよい。
また、上記各実施の形態では、機上系から送信される情報に基づいて地上系にて地図処理を行うようにしているが、これは特に限定するものではなく、機上系にディスプレイ等の表示装置を備え、機上系にて地図処理を行うようにし、それを機上系の表示装置に表示させたり、処理した情報を地上系に送信し、地上系にて表示を行うようにしてもよい。
実施の形態９．
本実施の形態は撮影映像から、地図上の特徴的な地点を示す例えば交差点や駅、大きな建物角などのいわゆるランドマークを抽出し、また地図上の撮影範囲に対応する領域から対応するランドマークを抽出し、映像と地図上のランドマークが合致するように画枠計算のパラメータ（以下、地表面におけるカメラの撮影範囲である撮影画枠を計算するために用いる、機体位置・機体姿勢・カメラ姿勢情報とカメラ設定情報を示す）を調整することで、ＧＩＳ画面上に精度良く映像を変形して重畳表示するものである。
以下、図面を参照して説明する。図１４は実施の形態９を示すブロック図である。なお、図１４では、図１のアンテナ１０３、多重変調手段１０９、信号変換手段１１０、追尾手段１１１、一時記憶手段１１３、送信手段１０４、受信手段２０１、追尾手段２０２、信号変換手段２０３、多重復調手段２０４は図示を省略している。図１５は地図処理手段を説明した機能説明図である。
図１４において、ヘリコプタ等の飛行体（＝機体）１０１に搭載されたＧＰＳ装置等の機体位置計測手段１０８により現在の位置情報を得て機体位置測定を行う。また機体１０１はジャイロ等を備え、この機体姿勢計測手段１０７により機体１０１の姿勢すなわち仰角（＝ピッチ）とロール角を計測する。機体１０１に搭載されたカメラ１０２による撮影手段１０５は地上を撮影し、その映像信号を出力すると共にカメラのズームなどのカメラ情報も併せて出力する。カメラ１０２はジンバル等に取り付けられ、このカメラ姿勢計測手段１０６によりカメラの回転角（＝パン）、傾き（＝チルト）が計測される。
これら機体位置計測手段１０８、機体姿勢計測手段１０７、撮影手段１０５、カメラ姿勢計測手段１０６の出力は信号処理手段２０５に入力されてそれぞれ信号処理され、カメラ撮影の映像信号は、動画データ２０７、静止画データ２０８に変換される。信号処理手段２０５の出力と２次元地図データ２０９は地図処理手段２２６に入力され地図処理を行う。
地図処理手段２２６は図１５に示す機能を有する。地図処理手段２２６では図１５に示すように、映像信号である動画データ２０７、静止画データ２０８と機体位置、機体姿勢、カメラ姿勢の情報信号および地理情報システムの２次元地図データ２０９により処理を行う。
地図処理手段２２６では、まず空中における撮影位置を３次元的に特定し、カメラと機体の地表面に対する姿勢に基づいて、撮影した地表面の撮影範囲（＝撮影画枠）を計算により求める画枠計算２１２を行う。次に、地理情報システムの地図上の撮影範囲周辺に対応する範囲においてランドマーク抽出２２０を行い、静止画データ２０８からもランドマーク抽出２２１を行う。これらのランドマークを合致させるためのランドマーク照合２２２を行い、ランドマーク照合２２２の結果に基づいて映像変形・補正２２３を行って、撮影映像の地図上への重畳表示位置を補正した後、映像を地理情報システムの地図上への重ね合わせ２１４を行う。最後に、これをＣＲＴなどのモニタ表示手段２１１によりモニタ表示する。
次に図１６のフローチャートに基づき動作について説明する。まず、図１４における機体位置計測手段１０８の出力である機体位置と、機体姿勢計測手段１０７の出力であるピッチ仰角、ロール角、カメラ姿勢計測手段１０６の出力であるパン、チルト、撮影手段１０５の出力であるカメラ１０２のズーム、信号処理手段２０５で得られた静止画データ２０８、および２次元地図データ２０９をそれぞれ入力データとして読み込む（Ｓ２１）。次に、機体位置、ピッチ仰角、ロール角、カメラのパン、チルト、ズームをパラメータとして画枠計算２１２を行う（Ｓ２２）。続いて地理情報システムの地図上の、画枠計算２１２で求めた撮影範囲に対応する領域の周辺でランドマーク抽出を行う（Ｓ２３）。Ｓ２３でランドマークが抽出された場合は、静止画データ２０８から対応するランドマークの抽出を行う（Ｓ２４）（Ｓ２５）。
Ｓ２５で映像からもランドマークが抽出された場合は、Ｓ２３とＳ２５で得られた対応するランドマークを照合し、これらのランドマークが合致するようにＳ２２の画枠計算で用いたパラメータ（例えばパン・チルト）値を補正する（Ｓ２６）（Ｓ２７）（Ｓ２８）。さらにＳ２８で求めたパラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ２０８を変形し、地理情報システムの地図上に重畳表示する（Ｓ２９）（Ｓ３０）（Ｓ３１）。
Ｓ２３またはＳ２５でランドマークが抽出されなかった場合は、Ｓ２２で求めた撮影画枠にあわせて静止画データ２０８を変形し、地理情報システムの地図上に重畳表示する（Ｓ２４）（Ｓ２６）（Ｓ３０）（Ｓ３１）。図１７は画枠計算２１２で使用する角度パラメータであるピッチ仰角、ロール角、カメラのパン、チルトを示す。
撮影画枠の計算方法は前述の方法を用い、基準状態での撮影画枠を各角度パラメータによって回転処理した後、地表面へ投影することにより、地表面におけるカメラの撮影範囲、すなわち撮影画枠を得る。図１８に示すように、機体位置を原点とし、機体進行方向にｘ軸、地表面に対して垂直上向きにｚ軸、これらｘ軸、ｚ軸に対して垂直となるようにｙ軸をとると、具体的計算は以下の通りである。
基準状態での撮影画枠の計算
カメラのチルトによるｙ軸まわりの回転
カメラのパンによるｚ軸まわりの回転
機体のロール角によるｘ軸まわりの回転
機体のピッチ仰角によるｙ軸まわりの回転
地表面（絶対高度（＝海抜高度）０の水平面）への投影
図１８（ａ）は基準状態での撮影画枠４２を計算した状態を、図１８（ｂ）は、基準状態での撮影画枠４２を各角度パラメータによって回転処理した後、地表面へ投影した状態を示す。
カメラのパン・チルトを補正する方法を図１９を用いて説明する。機体高度をｈ、チルトの計測値をθ、パンの計測値をφ、画像上のランドマーク座標（ｘ，ｙ）、地図上でのランドマーク座標（ｘ０，ｙ０）としたとき、補正後のチルト、パンの値θ０、φ０は、次の数式２１を解くことで求めることができる。
ただし、ここで照合する地図上でのランドマーク座標（ｘ０，ｙ０）は、以下の変換を行った後の座標である。
機体のピッチ仰角によるｙ軸まわりの逆回転
機体のロール角によるｘ軸まわりの逆回転
地表面（絶対高度（＝海抜高度）０の水平面）への投影
図２０（ａ）は、本発明による補正を行わずに、地理情報システムの地図４１上に撮影画枠４２と撮影映像４３を重ね合わせた写真であり、図２０（ｂ）は本発明による補正を行い、地理情報システムの地図４１上に撮影画枠４２と撮影映像４３を重ね合わせた写真である。４４は機体位置（カメラ位置）である。上述の補正処理を含む地図処理手段２２６による処理を行うことにより、図２０（ｂ）に示すように、映像と地図とが完全に一致し、高精度な重畳表示を行うことができ、撮影された地表面の状況把握をより容易かつ速やかにできる。
この実施の形態９によれば、各パラメータを計測する各種計測機器の計測誤差を修正することができるだけでなく、機体に搭載されたカメラを操作中に撮影された映像を地図上に重畳表示する場合にも、撮影タイミングとカメラ姿勢情報（パン・チルト）のデータ取得タイミングのずれによって発生した誤差を修正することが可能となる。
実施の形態１０．
本実施の形態は、上記実施の形態９のパラメータ調整を、パン・チルトの補正ではなく、機体の姿勢情報（ロール・ピッチ）を補正することで、撮影画枠の位置の補正を行う方法であり、ロール・ピッチの補正は、以下の計算により行う。
チルト・パンによる回転処理までを行ったときの映像上のランドマーク座標を（ｘ１，ｙ１，ｚ１）としたとき、さらにロールθ・ピッチφによる回転を行ったときのランドマーク座標（ｘ２，ｙ２，ｚ２）は、数式２２で求められる。
さらに、地表面への投影を行うと、ランドマーク座標（ｘ，ｙ，ｚ）は、数式２３で求められる。
ここで、ｈは機体高度であり、地図上でのランドマーク座標を（ｘ０，ｙ０）としたときの数式２４、
を満たすθ、φが補正後のロールθ０、ピッチφ０である。
本実施の形態１０によれば、カメラが機体に固定的に取り付けられ、パン・チルトの角度が変化しないように設置されているためにパン・チルトの補正が有効でない場合にも、機体の姿勢情報、すなわちロール・ピッチを修正することで、より現実に近い状態でのパラメータの補正が可能となり、高精度な重畳表示を行うことができるので、撮影された地表面の状況把握をより容易かつ速やかにできる。
実施の形態１１．
本実施の形態はランドマーク２点を抽出し、この２点間の距離により機体の高度補正を行うものである。実施形態９（図１６）のＳ２３でランドマークが２点抽出された場合は、静止画データ２０８からも同様に対応する２点のランドマークの抽出を行う（Ｓ２４）（Ｓ２５）。
Ｓ２５で映像からも対応するランドマークが抽出された場合は、Ｓ２３とＳ２５で得られたランドマークを照合し、映像上のランドマーク２点間の距離とＧＩＳ地図上のランドマーク２点間の距離が同じになるように、機体高度（この場合、機体高度はＧＰＳ装置による海面からの絶対高度として取得されているため、この高度補正は、地表面の相対高度となる）を補正する（Ｓ２７）（Ｓ２８）。
さらにＳ２８で求めたパラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ２０８を変形し、地理情報システムの地図上に重畳表示する（Ｓ２９）（Ｓ３０）（Ｓ３１）。
図２１（ｂ）から分かるように、この発明によるランドマーク間の距離による補正を行った高度（相対高度）ｈ′は、機体の絶対高度をｈとして
により求まる。なお、Ｅは地図上の距離、Ｆは画像上の距離である。
上述の補正処理を含む地図処理手段２２６による処理を行うことにより、地表面が海面よりも高度がある地点に対する撮影映像も、高精度な重畳表示を行うことができ、撮影された地表面の状況把握をより容易かつ速やかにできる。
実施の形態１２．
本実施の形態はランドマークの数に応じてパラメータの補正を行うことにより、より精度の高い撮影映像と地図との重畳表示を可能にしようとするものである。実施の形態９（図１６）のＳ２２でランドマークが２点抽出された場合は、静止画データ２０８からも同様に対応する２点のランドマークの抽出を行う（Ｓ２４）（Ｓ２５）。Ｓ２５で映像からもランドマークが抽出された場合は、Ｓ２３とＳ２５で得られた対応するランドマークを照合する（Ｓ２７）。
まず、１点目の対応するランドマークが合致するようにＳ２２の画枠計算で用いたパラメータ（パン・チルト）値を補正し、次に、２点目の対応するランドマークの差分を修正するように、機体姿勢パラメータ（ロール・ピッチ）値を修正する（Ｓ２７）（Ｓ２８）。さらにＳ２８で求めた各パラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ２０８を変形して、地理情報システムの地図上に重畳表示する（Ｓ２９）（Ｓ３０）（Ｓ３１）。
図２２はこれを説明する図であり、黒丸印は地図上のランドマークを、黒三角印は画像上のランドマークを示している。図２２（ａ）はＧＩＳ地図上に撮影映像が重畳表示された状態を示し、図２２（ｂ）は上記実施の形態１１による高度補正を行った後の状態、図２２（ｃ）はその後パン・チルト補正を行った後の状態、図２２（ｄ）は、さらにロール・ピッチ補正を行った後の状態を示す。
この実施の形態１２によれば、１点のみのランドマークの合致によるパラメータの調整では、撮影範囲全般にわたっては、精度の高い撮影映像と地図の重畳表示が困難であるような場合にも、２点のランドマークを使用することによって、より高精度な重畳表示を行うことができ、撮影された地表面の状況把握をより容易かつ速やかにできる。
実施の形態１３．
本実施の形態はランドマークが３点以上抽出された場合、すべての２点間のパラメータ補正値を求め、その平均値をパラメータ補正値とするものである。実施の形態９（図１６）のＳ２３でランドマークが２点以上の複数点抽出された場合は、静止画データ２０８からも同様に対応する２点以上の複数点のランドマークの抽出を行う（Ｓ２４）（Ｓ２５）。
Ｓ２５で映像からもランドマークが抽出された場合は、Ｓ２３とＳ２５で得られたランドマークから対応する２点を選択し、それぞれ照合を行うことによってパラメータの補正値を求める。これをランドマーク２点の選び方すべてについて行うことによって複数のパラメータ補正値を取得し、パラメータ毎にこれら補正値の平均をとり、これら平均値をそれぞれのパラメータの補正値とする（Ｓ２７）（Ｓ２８）。さらにＳ２８で求めたパラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ２０８を変形し、地理情報システムの地図上に重畳表示する（Ｓ２９）（Ｓ３０）（Ｓ３１）。
上述の補正処理を含む地図処理を行うことにより、ランドマーク１点あるいは２点の位置に基づいて映像と地図の重畳を表示の補正を行う場合と比較して、より高精度な重畳表示を行うことができ、撮影された地表面の状況把握をより容易かつ速やかにできる。
実施の形態１４．
本実施の形態は、撮影映像を連続して所定の周期で複数枚撮影し、連続する複数枚の映像が静止画データとして与えられる場合の地図上への重畳表示処理に関するものである。得られた静止画映像に対してランドマークの抽出処理を行い、その結果ランドマークが抽出されればＧＩＳ地図との照合によって補正を行うが、全ての静止画映像からランドマークの抽出を行うことができるとは限らない。撮影しながら重畳表示を行うライブ表示処理において、全ての撮影画像に対して、画像処理を即時に実行してランドマークを抽出し、補正を行うことは処理時間の関係で困難である。
そのために、ランドマークが抽出されない静止画の地図上への重畳表示は、前回補正を行ったときの補正値に基づいて再度画枠計算を行い、求めた撮影画枠にあわせて映像を変形し、地理情報システムの地図上に重畳表示することにより、重畳位置精度を向上させるものである。
この処理は、図２３のＳ２４、Ｓ２６、Ｓ３２、Ｓ３３、Ｓ３１に相当し、Ｓ２４で対応するランドマークが抽出された場合は実施の形態９と同じ処理を行う。図２４はこの方法によるモニタ表示画面を示すもので、４１は地図、４４は機体位置（カメラ位置）、４５は機体の飛行経路である。飛行経路４５に沿ってカメラから撮影した映像を所定のタイミングでサンプリングして、それぞれ重畳位置補正を行った後、地理情報システムの地図４１上に重畳表示している。４３ａ〜４３ｇは貼り付けた画像、４２は最新の画像４３ｇの撮影画枠である。
本実施の形態１４では、ランドマークが抽出されない場合にも、重畳表示位置の補正を行うことができ、高精度の重畳表示を行うことができるとともに、撮影された広範囲にわたる地表面の状況把握をより容易かつ速やかにできる。
実施の形態１５．
本実施の形態１５では、撮影映像を連続して所定の周期で複数枚撮影し、連続する複数枚の映像が静止画データとして与えられる場合の地図上への重畳表示処理に関するものである。連続撮影映像には、ランドマークの照合により重畳位置補正を実行した映像と、ランドマークが抽出できず、照合による重畳位置補正が行えない撮影映像が存在する。
この場合、リアルフライト時には、上記実施の形態１４で示したように、次にランドマークが抽出されるまで前回の補正値を継続使用するが、過去のフライト映像を使用して地図上に映像の重畳表示を行う処理においては、ライブフライト時に比べ、位置補正の処理時間に余裕ができる。そこで、過去のフライト映像を地図上に重畳表示する場合は、図２５に示すように、次にランドマークが抽出された地点で求めた各パラメータの補正値を、前回ランドマーク照合による補正を行った地点との中間地点までさかのぼって適用することにより重畳表示位置の補正を行う。
図２５において、グレーの四角はランドマーク抽出画像を、白の四角はランドマークマークが抽出されなかった画像を示す。また、矢印Ｇはランドマークが抽出されて重畳位置補正を行った画像からその重畳位置補正値を流用して重畳位置を補正することを示している。この実施の形態１５により、ランドマークの照合による補正ができない場合の画像間の重複状態は、図２５に示すように改善される。
図２５（ａ）は本実施の形態を適用しない場合を示し、図２５（ｂ）は本実施の形態を適用した場合を示す。ランドマークの照合による映像の重畳表示位置補正が行えた撮影映像を基点とし、重畳表示補正が行われた撮影映像間の中間地点を目指して、前後に映像の重複部分の合致率を最大にするように映像の配置を調整することで、連続して撮影された映像を、ＧＩＳ地図上に、より高精度に重畳表示することができる。
本実施の形態１５によれば、過去の飛行映像をＧＩＳ地図上に重畳表示する処理において、ランドマークが抽出されない場合にも、重畳表示位置の補正を行うことができる。また、画像間の重複具合がランドマーク抽出画像で分断されることなく、より滑らかに、連続した高精度な重畳表示を行うことができるとともに、撮影された広範囲にわたる地表面の状況把握をより容易かつ速やかにできる。
実施の形態１６．
本実施の形態では、過去の飛行映像から抽出される撮影映像の高度補正データを、位置にリンクして登録することによって、撮影映像からランドマークを抽出できない場合も、撮影地点の高度補正を行うものである。
ランドマークの合致によって高度補正処理が実行できた場合に、絶対高度と相対高度の差で与えられる高度補正値は、撮影地点にその地点の高度補正値として登録管理することによって、いつでも利用することができ、次回以降、その地点に近い地点を機体が飛行した場合には、処理時間の限られたライブフライト時や、静止画と地図で対応するランドマークが２点以上抽出できない場合にも、高度補正を行うことができる。
図２６は、連続して撮影された静止画像を、ＧＩＳ地図上に重畳表示された状態を示す。この図の中で、最後の１枚の画像５１と中間の１枚の画像５２で２点のランドマークが抽出され、高度の補正値が取得できた場合を説明している。
画像５１と画像５２においては、２点以上のランドマークが合致することから高度の補正値が取得できその補正値をそれぞれ６１、６２とすると、地図の地点としての高度補正値６１、６２をシンボルとして登録を行い、２点以上のランドマークが抽出できない映像に対して、その地点の高度補正値を提供することによって、カメラの取付角度のみならず、地表の高度による誤差の補正を行い、連続して撮影された映像を、ＧＩＳ地図上に、より高精度に重畳表示することができる。
本実施の形態１６では、過去の飛行フライト映像から抽出された高度補正データを地図上の地点に登録することで、２点以上のランドマークを抽出できない映像に対しても、高度補正を行うことができ、より高精度な重畳表示を行うことができる。
【産業上の利用可能性】
震災、火災等の天災や、爆発、重大事故等の人災が発生した場合、ヘリコプタ等の機上から地上の状況を撮影する撮影映像表示装置に利用できる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【技術分野】
この発明は、例えばヘリコプタに搭載された撮影装置から送信された映像を、地理情報システムの地図上に重ね合わせて表示することにより、震災、火災等の天災や爆発、重大事故等の人災等の災害が発生した場合、地上の状況の判断を容易に、かつ精度良く行えるようにしたことを特徴とする撮影映像表示方法に関するものである。
【背景技術】
従来の位置特定方法および装置は例えば特許第２６９５３９３号公報に示されているように、空中における撮影位置を三次元的に特定し、撮影位置に対する目標物の方向を計測し、予め作成されている地表面の起伏についての高度情報を含む三次元地勢データから目標物の存在する地表面を求め、地表面と撮影位置から目標物の方向に延びる直線との交点位置として、空中から撮影した地表面の目標物の位置を特定している。
従来の位置特定方法および装置では、地表面における目標物の位置を特定するために、前提として、予め作成されている地表面の起伏についての高度情報を含む三次元地勢データが必要である。また、空中における撮影位置を三次元的に特定し、撮影位置に対する目標物の方向を計測するときに生じる計測誤差を補正することができず、正確な位置の特定が困難である。さらに、位置の特定が目標物一点に限られているために、地表面における状況を面的に把握することは不可能であるなどの問題があった。
【発明の開示】
この発明は上記のような問題を解決するためになされたものであり、撮影映像を地理情報システムの地図上に重ね合わせて表示することによって、撮影された地表面の状況を面的に把握することを可能とし、また、撮影映像と地図との照合により映像の地図上における表示位置を補正して高精度な重畳表示を行い、撮影された地表面の状況把握をより容易かつ速やかにできる撮影映像表示方法を提供することを目的とする。
この目的を達成するため、本発明に係る撮影映像表示方法は、空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示するものあって、空中における撮影位置を３次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、これを地理情報システムの地図上に重ね合わせて表示する。
また、空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示するものあって、空中における撮影位置を３次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、これを地理情報システムの地図上に重ね合わせて表示する撮影映像表示方法であって、地理情報システムの地図と撮影映像からそれぞれランドマークを抽出し、対応するランドマークを照合することにより、撮影された地表面の撮影範囲を計算する際に使用するパラメータを補正し、撮影映像を地理情報システムの地図上に精度良く重畳表示する。
この発明によれば、映像情報と地図との整合性を確認することが容易となり、目標地点の判別が容易にできるものである。
【図面の簡単な説明】
図１はこの発明の実施の形態１に係る撮影映像表示方法を実施するシステムを示すブロック図である。
図２は実施の形態１における地図処理手段の機能説明図である。
図３は実施の形態１による表示画面を示す写真である。
図４はこの発明の実施の形態２に係る撮影映像表示方法により得られた表示画面を示す写真である。
図５はこの発明の実施の形態３を説明する図である。
図６は実施の形態３における地図処理を説明する図である。
図７はこの発明の実施の形態４を説明する図である。
図８は実施の形態４における地図処理を説明する図である。
図９はこの発明の実施の形態５を説明する図である。
図１０は実施の形態５における地図処理を説明する図である。
図１１はこの発明の実施の形態６に係る撮影映像表示方法の地図処理を説明する図である。
図１２はこの発明の実施の形態７に係る撮影映像表示方法の地図処理を説明する図である。
図１３はこの発明の実施の形態８に係る撮影映像表示方法を説明する図である。
図１４はこの発明の実施の形態９に係る映像表示方法を実施するシステムを示すブロック図である。
図１５は実施の形態９における地図処理手段の機能説明図である。
図１６は実施の形態９による映像表示方法における動作を示すフローチャートである。
図１７は実施の形態９における地図処理手段の中の撮影画枠計算で使用する角度パラメータを説明する図である。
図１８は実施の形態９における地図処理手段の中の撮影画枠計算を説明する図である。
図１９は実施の形態９における地図処理手段の中のパラメータ補正を説明する図である。
図２０は実施の形態９による映像表示方法における効果を示す図である。
図２１はこの発明の実施の形態１１を説明する図である。
図２２はこの発明の実施の形態１２を説明する図である。
図２３はこの発明の実施の形態１４に係る映像表示方法における動作を示すフローチャートである。
図２４は実施の形態１４に係る映像表示方法における効果を示す図である。
図２５はこの発明の実施の形態１５を説明する図である。
図２６はこの発明の実施の形態１６を説明する図である。
【発明を実施するための最良の形態】
実施の形態１．
まず、この発明の概略を説明する。この発明は、空中から地上を撮影した撮影映像を、地理情報システム（ＧＩＳ＝Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ地図をコンピュータ画面上に表示するシステム）の地図上に重ね合わせて表示することによって、映像情報と地図との整合性の確認を容易にし、目標地点の判別を容易にするものである。ただし、空中からカメラで地上を撮影した場合、その映像はカメラの向きに関わらず常に一定の矩形形状にしか写らないため、撮影した映像を地理情報システムで得た地図上にそのまま重ね合わせる（貼り付ける）ことは困難である。そこで本発明では、映像を撮影時のカメラ情報と機体の姿勢情報を用いた計算により、地上に対するカメラの姿勢等に基づいて、矩形から台形あるいは菱形に近い形など、複雑に変わる撮影される地表面の撮影範囲（＝撮影画枠）を計算により求め、その画枠に合わせて映像を変形して地図上に貼り付け、表示するものである。
以下この発明の実施の形態１に係る撮影映像処理方法及び撮影映像処理システムについて図面を参照して説明する。図１はこの発明の方法を実施するシステムを説明するブロック図、図２は地図処理手段の機能を説明する図である。この発明の方法は、撮影装置（＝カメラ）等を搭載したヘリコプタ等の飛行体（＝機体）からなる機上系１００と、機上系１００からの信号を受信して処理する地上に設置された地上系２００とにより実現する。
機上系１００は、主に、空中から地表を撮影する撮影手段、撮影手段の撮影位置を３次元的に特定するための情報を取得する情報収集部としての機体位置計測手段１０８や機体姿勢計測手段１０７、上記撮影手段で撮影された撮影映像と上記情報収集部で取得された情報とを送信する送信手段を有する機上装置からなる。
即ち、機上系１００において、機体１０１には、空中から地上を撮影する撮影手段１０５であるカメラ１０２が搭載されている。機体１０１はＧＰＳ信号受信部であるアンテナ１０３により現在の位置情報を得て、機体位置検出を行う機体位置計測手段１０８、及びジャイロを備え、さらに、機体１０１の姿勢すなわち仰角（＝ピッチ）とロール角を検出する機体姿勢検出を行う機体姿勢計測手段１０７を備えている。
カメラ１０２を含む撮影手段１０５は、地上を撮影し、その映像信号を出力すると共に、カメラの絞り、ズームなどのカメラ情報も併せて出力する。カメラ１０２はジンバルに取り付けられ、このジンバルはカメラの回転角（＝パン）、傾き（＝チルト）を検出するカメラ姿勢計測手段１０６を有しておりその値を出力する。
上記機体位置計測手段１０８からの出力信号、機体姿勢計測手段１０７からの出力信号、カメラ撮影手段１０５の映像信号、カメラ情報信号、カメラ姿勢計測手段１０６からの出力信号は多重変調手段１０９で多重変調され、信号変換手段１１０でデジタル信号にされ、追尾手段１１１を有する送信手段１０４から地上系２００へ向けて送信される。
地上系２００は、主に、空中から撮影手段が撮影した地表の撮影映像及び上記撮影手段の撮影位置を３次元的に特定するための情報を入力する入力部、入力した情報に対し信号処理を行う信号処理部、画面に地図を表示する地理情報システム、信号処理部で処理された情報を含めて映像処理し表示部に表示する地図処理部とから構成される。
即ち、機上系１００からの信号は、追尾手段２０２を有する受信手段２０１で受信され、信号変換手段２０３で信号変換される。この信号は、さらに、多重復調手段２０４により、映像信号とその他機体位置、機体姿勢、カメラ姿勢、カメラ情報等の情報信号として取り出される。取り出されたこれらの信号を信号処理手段２０５で信号処理し、映像信号は動画データ２０７および静止画データ２０８として次のステップの地図処理手段２０６での地図処理に用いられる。その他、地理情報システムの２次元地図データ２０９、地勢データ２１０を含めた情報信号も地図処理手段２０６での地図処理に用いられる。２１１はモニタ表示手段である。
図２はこの実施の形態の撮影映像表示システムの地図処理手段の概略を示す図である。地図処理手段２０６は、図２に示すように、映像信号である動画データ２０７と静止画データ２０８、機体位置、機体姿勢、カメラ姿勢の情報信号、および地理情報システムの２次元地図データ２０９と３次元地勢データ２１０により処理を行うもので、主に、撮影手段が撮影した撮影映像の撮影範囲に対応する地理情報システムの地図上の撮影範囲を求める撮影範囲計算部（画枠計算２１２）、画枠計算２１２で求められた撮影範囲に合わせて上記撮影映像を変形する映像変形部（映像変形２１３）、上記地図上の上記撮影範囲に上記変形された撮影映像を重ね合わせて表示する表示部（重ね合わせ２１４等）から構成される。
地図処理手段２０６では、まず、画枠計算２１２で、機体位置の情報信号により空中における撮影位置を３次元的に特定し、カメラと機体の地表面に対する姿勢に基づいて、撮影した地表面の撮影範囲（＝撮影画枠）を計算により求める画枠計算を行う。この画枠に合わせて映像変形２１３を行う。この映像変形は、映像が地図に一致する台形あるいは菱形に近い形等になるように映像を変形するものである。次に、重ね合わせ２１４で、変形した映像を地理情報システムの地図上に重ね合わせ（貼り合わせ）、その後、これをＣＲＴなどのモニタ表示手段２１１で表示する。
図３は地理情報システムの地図３０１上に、撮影画枠３０３を地図に合わせて、撮影映像３０２を重ね合わせた写真である。３０４は機体の飛行経路、３０５は機体位置（カメラ位置）である。上述の変形処理を含む地図処理を地図処理手段２０６で行うことにより、図３に示すように、映像と地図とがほぼ完全に一致し、映像情報と地図との整合性を確認することが容易となり、目標地点の判別が容易にできる。
また、図３のように、カメラで撮影した画枠の映像を地図上に重ねて表示することができる他に、撮影映像３０２を消して画枠３０３だけを表示することも容易にできる。ここで撮影映像３０２は２次元の地図上に重ね合わされている。従って、例えは災害発生の場所（例えば火災を起しているビル）等を撮影映像３０２で視認し撮影映像３０２上でその位置をチェック（クリック）し、その後、撮影映像３０２を消して画枠３０３のみの表示として撮影映像３０２の下の２次元の地図を表示させれば撮影映像上でチェックした位置が地図上のどこに相当するのかを迅速に認識することができる。さらに、カメラの向きに関わらず、モニタの表示映像を一定の方向に表示するようにしておけば、目標地点の判別がさらに容易となる。
実施の形態２．
本実施形態では、機体１０１の現在位置を測定し、地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて、撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う際に、連続して撮影した撮影映像を、複数枚連続して所定の周期でサンプリングし、連続する複数枚の映像を地理情報システムの地図上に貼り合わせて表示を行い、その地図上に貼り合わされた映像から目標の地点を特定化しようとするものである。
図４はこの方法によるモニタ表示画面を示すもので、３０４は機体の飛行経路、３０５は機体位置（カメラ位置）である。飛行経路３０４に沿ってカメラから撮影した映像を所定のタイミングでサンプリングして各画枠を求め、撮影映像を画枠に合うように変形処理し、地図３０１上に貼り付ける。３０２ａ〜３０２ｆは貼り付けた映像、３０３ａ〜３０３ｆはその画枠である。
撮影画枠の計算及び各画枠への映像の変形は、実施の形態１で説明したように撮影時のカメラ情報と機体の姿勢情報を用いた計算により行なう。各画像のサンプル周期は、機体の速度に応じて変えてもよい。通常、機体の速度が速いときはサンプリング周期を短く、機体速度が遅いときはサンプリング周期を長くする。
本実施の形態２では、地図と複数枚の連続映像による広範囲の地表面の状況を確認しながら、地上の状況を識別することが可能となり、目標地点の判別を一層効果的に行うことができる。
実施の形態３．
本実施の形態では、機体１０１の現在位置と機体に対するカメラ１０２の回転角と傾き（パンとチルト＝カメラの姿勢）を測定し、このカメラの姿勢に基づいて地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。
本実施の形態３によれば、撮影手段であるカメラの姿勢に基づいて撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。
いま、機体１０１とカメラ１０２の関係を、図５のように、カメラ１０２がジンバル１１２に収容され、機体１０１は水平飛行を行うと仮定すると、同図（ｂ）（ｃ）に示すように、カメラ１０２の傾きは機体１０１の中心軸からの傾き（＝チルト）として、カメラ１０２の回転角度（パン）は機体１０１の進行方向からの回転角度として出力される。すなわち、（ｂ）の状態では、カメラ１０２が真下を向いているので傾きは０度、（ｃ）の状態ではカメラ１０２の傾きθが垂直面からの傾きとなることを示している。
カメラの撮影画枠の計算方法は、コンピュータグラフィックスの基礎として、３Ｄ座標内の矩形（画枠）の回転移動と投象処理で得ることが出来る。基本は、カメラの撮影画枠をカメラ情報と機体情報とによって変換処理を行い、地上へ投影した場合の図枠を計算することで、目的の画枠を得ることが出来る。３Ｄ座標内の各座標の計算方法は、以下の行列計算方法を使用して得る。
１）基準状態での撮影画枠の計算
まず、図６（ａ）に示すように、画枠４点の位置を機体の位置を原点として、相対座標として計算する。撮影画枠を、カメラの焦点距離と画角と高度によって、基準位置に計算、４点の座標を得る。
２）カメラのチルト（ｚ軸）にて、４点の回転後の位置を計算
図６（ｂ）に示すように、カメラのチルト角度θから、ｚ軸のまわりに撮影画枠を回転する。回転後の座標を次の数式１で変換して求める。
３）カメラの方位角（ｙ軸）にて、４点の回転後の位置を計算
図６（ｃ）に示すように、カメラの方位角θから、ｙ軸のまわりに撮影画枠を回転する。回転後の座標を次の数式２で変換して求める。
４）回転処理後の画枠を、原点（機体位置）から地表面（ｙ軸高度地点）に投影した図枠を計算
図６（ｄ）に示すように、撮影画枠を地表面（ｙ軸高度）に投象することで、投象平面（撮影画枠）を得る。投影後の座標を次の数式３で変換して求める。
次の数式４で、一般同次座標系［Ｘ，Ｙ，Ｚ，Ｗ］を得る。ただし、ｄは海抜高度である。
次に、Ｗ’（＝ｙ／ｄ）で割って３Ｄに戻すと次の数式５となる。
実施の形態４．
本実施の形態では、機体１０１の現在位置と、機体１０１の仰角とロール角を測定し、この仰角とロール角により、地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて、撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。本実施の形態４によれば、機体１０１の地上に対する位置情報から撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。
いま、機体とカメラの関係を図７のように、カメラ１０２が機体１０１に固定（つまりジンバルを使わない）されていると仮定すると、同図（ｂ）に示すように、機体１０１自身が地上から水平に飛行している場合は、カメラ１０２が真下を向いているので、カメラ１０２の傾きは０度となる。同図（ｃ）のように、機体１０１が傾いている場合はこれがカメラ１０２の姿勢となるので、機体１０１の仰角（ピッチ）、ロール角に基づいてカメラの撮影画枠の計算を行う。
１）基準状態での撮影画枠の計算
図８（ａ）に示すように、画枠４点の位置を機体の位置を原点として、相対座標として計算する。撮影画枠を、カメラの焦点距離と画角と高度によって、基準位置に計算、４点の座標を得る。
２）機体のロール（ｘ軸）にて、４点の回転後の位置を計算
図８（ｂ）に示すように、次式により機体のロール角度θから、ｘ軸のまわりに撮影画枠を回転する。回転後の座標を次の数式６で変換して求める。
３）機体のピッチ（ｚ軸）にて、４点の回転後の位置を計算
図８（ｃ）に示すように、機体のピッチ角度θから、ｚ軸のまわりに撮影画枠を回転する。回転後の座標を次の数式７で変換して求める。
４）回転処理後の画枠を、原点（機体位置）から地表面（ｙ軸高度地点）に投影した図枠を計算
図８（ｄ）に示すように、撮像画枠を地表面（ｙ軸高度）に投象することで、投象平面（撮影画枠）を得る。投象後の座標を次の数式８で変換して求める。
次の数式９により一般同次座標系［Ｘ，Ｙ，Ｚ，Ｗ］を得る。
次に、Ｗ’（＝ｙ／ｄ）で割って３Ｄに戻すと次の数式１０となる。
［００７２］
実施の形態５．
本実施の形態では、機体１０１の現在位置と、機体に対するカメラ１０２の回転角度と傾き、それに機体１０１の仰角とロール角を測定し、これらにより、地理情報システムの地図上に、機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて、撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。本実施の形態５によれば、カメラの姿勢情報、機体の姿勢情報から撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。
いま、機体１０１とカメラ１０２の関係を図９のように、カメラ１０２がジンバル１１２に収容され、また機体１０１は自由な姿勢で飛行を行うとすると、同図（ｂ）に示すように、ジンバル１１２からカメラ１０２の傾きとカメラの回転角度が出力される。また、ジャイロから機体１０１自身の地上に対する仰角とロール角が出力される。
カメラの撮影画枠の計算方法は、コンピュータグラフィックスの基礎として、３Ｄ座標内の矩形（画枠）の回転移動と投象処理で得ることが出来る。基本は、カメラの撮影画枠をカメラ情報と機体情報とによって変換処理を行い、地上へ投影した場合の図枠を計算することで、目的の画枠を得ることが出来る。３Ｄ座標内の各座標の計算方法は、以下の行列計算方法を使用して得る。
１）基準状態での撮影画枠の計算
図１０（ａ）に示すように、画枠４点の位置を機体の位置を原点として、相対座標として計算する。撮影画枠を、カメラの焦点距離と画角と高度によって、基準位置に計算、４点の座標を得る。
２）カメラのチルト（ｚ軸）にて、４点の回転後の位置を計算
図１０（ｂ）に示すように、カメラのチルト角度θから、ｚ軸のまわりに撮影画像を回転する変換をする。回転後の座標を次の数式１１で変換して求める。
３）カメラの方位角（ｙ軸）にて、４点の回転後の位置を計算
図１０（ｃ）に示すように、カメラの方位角度θからｙ軸のまわりに撮影画枠を回転する変換をする。回転後の座標を次の数式１２で変換して求める。
４）機体のロール（ｘ軸）にて、４点の回転後の位置を計算
図１０（ｄ）に示すように、機体のロール角度θから、ｘ軸のまわりに撮影画枠を回転する変換をする。回転後の座標を次の数式１３で変換して求める。
５）機体のピッチ（ｚ軸）にて、４点の回転後（回転角θ）の位置を計算
図１０（ｅ）に示すように、機体のピッチ角度θから、ｚ軸のまわりに撮影画枠を回転する変換をする。回転後の座標を次の数式１４で変換して求める。
６）回転処理後の画枠を、原点（機体位置）から地表面（ｙ軸高度地点）に投影した図枠を計算
図１０（ｆ）に示すように、撮像画枠を地表面（ｙ軸高度）に投象することで、投象平面（撮像画枠）を得る。投象後の座標を次の数式１５で変換して求める。
７）次の数式１６により、一般同次座標系［Ｘ，Ｙ，Ｚ，Ｗ］を得る。
８）次に、Ｗ’（＝ｙ／ｄ）で割って３Ｄに戻すと次の数式１７となる。
実施の形態６．
本実施の形態では、機体１０１の現在位置と、機体に対するカメラ１０２の回転角度と傾き、それに機体１０１の仰角とロール角を測定し、地理情報システムの地図上に機上から撮影した地上の撮影画枠を計算する。その撮影画枠の４点の計算処理において、地勢高度データを利用し、機体１０１の飛行位置を補正して撮影画枠を計算する。その撮影画枠に合わせて撮影した映像を変形して地理情報システムの地図上に貼り合わせ、撮影映像と地図との照合を行う。
本実施の形態６によれば、機体の位置、高度、機体姿勢情報とカメラの姿勢情報を使用し、地表面の高度地勢情報によって補正を行い、撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。
図１１に示すように、前述の実施の形態５における回転後の地表面への撮影画枠の計算処理において、機体の高度を、ＧＰＳ装置から得られる海抜高度に対して、地表面の地勢高度情報を利用して撮影地点の地表面高度（相対高度ｄ＝海抜高度−地表面高度）を使用し、撮影画枠の４点の計算を実施する。
１）回転処理後の画枠を、原点（機体位置）から地表面（ｙ軸高度地点）に投影した図枠を計算
撮影画枠を地表面（ｙ軸高度）に投象することで、投象平面を得る。投象後の座標を次の数式１８で変換して求める。
次の数式１９により、一般同次座標系［Ｘ，Ｙ，Ｚ，Ｗ］を得る。
次に、Ｗ’（＝ｙ／ｄ）で割って３Ｄに戻すと次の数式２０となる。
ここで使用する相対高度ｄを、ＧＰＳ装置から得られる地平線からの絶対高度から目標地点の地勢高度を減算して求め、カメラからの相対高度を利用することで、精度の高い撮影画枠の位置を計算する。
実施の形態７．
本実施の形態では、機体１０１の現在位置を測定し、地理情報システムの地図上に、機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う際に、地図上に張り合わせる撮影映像を連続して複数枚、連続的に地理情報システムの地図上に張り合わせ表示を行い、その地図上に張り合わされた映像から目標の地点を特定化する。
複数枚の撮影映像を地理情報システムの地図上に張り合わせを行う処理において、計算された撮影画枠に従って配置を行い、各撮影映像の重複部分の接合状態を確認し、映像の重なり具合がもっとも多くなるように映像を移動して位置補正を行い、その補正値を使用して地理情報システムの地図上に撮影映像を撮影画枠に合わせて変形し、貼り合わせ処理を行う。
その手順を図１２に示す。機体１０１の移動に従って撮影した例えば２枚の撮影映像１（Ａ）と撮影映像２（Ｂ）を重ね、重複部分（図の太枠内Ｃを検出し、映像の重なり具合が最も多くなるように、ＡとＢを相対的に移動し、接合時の位置補正値を得て、位置補正Ｄを行い接合する。位置補正は、図２の映像接合・補正２１５で行う。
本実施の形態７によれば、複数枚の連続映像がより精度の高い接合となり、より広範囲の地表面の状況を確認しながら、地上の状況を識別することが可能となる。
実施の形態８．
本実施の形態では、機体１０１の現在位置と、機体に対するカメラ１０２の取り付け角度と傾き、それに機体１の仰角とロール角を測定し、地理情報システムの地図上に、機上から撮影した地上の撮影画枠を計算し、その撮影画枠に合わせて撮影した映像を変形して貼り合わせ、撮影映像と地図との照合を行う。
この処理を行う場合、機上系１００から送信される諸情報が完全に同期して、地上系２００に受信されることが重要となり、それを実現するために機体位置計測手段の処理時間、カメラのジンバルによる姿勢計測手段の処理時間、映像送信の処理時間等の処理時間を調整し、撮影映像に同期して送信する必要がある。それを実現するために、図１に、バッファを設け、これに機上のカメラの映像信号を一時的に記憶手段１１３で記憶し、ＧＰＳ等による機体位置検出の計算処理時間の遅延と同期させて、地上系２００に送信する。
この関係を図１３により説明する。機体１０１がＧＰＳ信号を受信して、機体位置を検出するまでにはＴの時間を要し、この間に機体１０１はＰ１の位置からＰ２の位置まで移動している。このため、機体の位置検出が完了した時点では、カメラ１０２が撮影している領域はＰ１の位置で撮影した領域から距離Ｒだけ隔たった領域となり、誤差が生じる。
これを修正する手順を示すタイムチャートが図１３（ｂ）である。機体位置検出のためのＧＰＳ観測地点ｔ１からＧＰＳ計算時間Ｔの期間、映像信号をバッファで一時保存し、ｔ２において一時保存した映像信号と機体位置、機体姿勢、カメラ情報等を合わせて送信する。
本実施の形態によれば、撮影装置の取付情報から撮影画枠を計算することによって、撮影映像と地図との位置関係を確認しながら、より精度の高い地上の状況を識別することが可能となる。
また、上記各実施の形態では、画枠を計算した後、その画枠に合わせて撮影映像を変形させ、その変形させた映像を地図に重ね合わせて貼り合わせるようにしているが、単に撮影手段が撮影した撮影映像に対応する地図上の撮影範囲を求め、地図上のその範囲に撮影映像を重ね合わせて表示するようにしてもよい。
また、上記各実施の形態では、機上系から送信される情報に基づいて地上系にて地図処理を行うようにしているが、これは特に限定するものではなく、機上系にディスプレイ等の表示装置を備え、機上系にて地図処理を行うようにし、それを機上系の表示装置に表示させたり、処理した情報を地上系に送信し、地上系にて表示を行うようにしてもよい。
実施の形態９．
本実施の形態は撮影映像から、地図上の特徴的な地点を示す例えば交差点や駅、大きな建物角などのいわゆるランドマークを抽出し、また地図上の撮影範囲に対応する領域から対応するランドマークを抽出し、映像と地図上のランドマークが合致するように画枠計算のパラメータ（以下、地表面におけるカメラの撮影範囲である撮影画枠を計算するために用いる、機体位置・機体姿勢・カメラ姿勢情報とカメラ設定情報を示す）を調整することで、ＧＩＳ画面上に精度良く映像を変形して重畳表示するものである。
以下、図面を参照して説明する。図１４は実施の形態９を示すブロック図である。なお、図１４では、図１のアンテナ１０３、多重変調手段１０９、信号変換手段１１０、追尾手段１１１、一時記憶手段１１３、送信手段１０４、受信手段２０１、追尾手段２０２、信号変換手段２０３、多重復調手段２０４は図示を省略している。図１５は地図処理手段を説明した機能説明図である。
図１４において、ヘリコプタ等の飛行体（＝機体）１０１に搭載されたＧＰＳ装置等の機体位置計測手段１０８により現在の位置情報を得て機体位置測定を行う。また機体１０１はジャイロ等を備え、この機体姿勢計測手段１０７により機体１０１の姿勢すなわち仰角（＝ピッチ）とロール角を計測する。機体１０１に搭載されたカメラ１０２による撮影手段１０５は地上を撮影し、その映像信号を出力すると共にカメラのズームなどのカメラ情報も併せて出力する。カメラ１０２はジンバル等に取り付けられ、このカメラ姿勢計測手段１０６によりカメラの回転角（＝パン）、傾き（＝チルト）が計測される。
これら機体位置計測手段１０８、機体姿勢計測手段１０７、撮影手段１０５、カメラ姿勢計測手段１０６の出力は信号処理手段２０５に入力されてそれぞれ信号処理され、カメラ撮影の映像信号は、動画データ２０７、静止画データ２０８に変換される。信号処理手段２０５の出力と２次元地図データ２０９は地図処理手段２２６に入力され地図処理を行う。
地図処理手段２２６は図１５に示す機能を有する。地図処理手段２２６では図１５に示すように、映像信号である動画データ２０７、静止画データ２０８と機体位置、機体姿勢、カメラ姿勢の情報信号および地理情報システムの２次元地図データ２０９により処理を行う。
地図処理手段２２６では、まず空中における撮影位置を３次元的に特定し、カメラと機体の地表面に対する姿勢に基づいて、撮影した地表面の撮影範囲（＝撮影画枠）を計算により求める画枠計算２１２を行う。次に、地理情報システムの地図上の撮影範囲周辺に対応する範囲においてランドマーク抽出２２０を行い、静止画データ２０８からもランドマーク抽出２２１を行う。これらのランドマークを合致させるためのランドマーク照合２２２を行い、ランドマーク照合２２２の結果に基づいて映像変形・補正２２３を行って、撮影映像の地図上への重畳表示位置を補正した後、映像を地理情報システムの地図上への重ね合わせ２１４を行う。最後に、これをＣＲＴなどのモニタ表示手段２１１によりモニタ表示する。
次に図１６のフローチャートに基づき動作について説明する。まず、図１４における機体位置計測手段１０８の出力である機体位置と、機体姿勢計測手段１０７の出力であるピッチ仰角、ロール角、カメラ姿勢計測手段１０６の出力であるパン、チルト、撮影手段１０５の出力であるカメラ１０２のズーム、信号処理手段２０５で得られた静止画データ２０８、および２次元地図データ２０９をそれぞれ入力データとして読み込む（Ｓ２１）。次に、機体位置、ピッチ仰角、ロール角、カメラのパン、チルト、ズームをパラメータとして画枠計算２１２を行う（Ｓ２２）。続いて地理情報システムの地図上の、画枠計算２１２で求めた撮影範囲に対応する領域の周辺でランドマーク抽出を行う（Ｓ２３）。Ｓ２３でランドマークが抽出された場合は、静止画データ２０８から対応するランドマークの抽出を行う（Ｓ２４）（Ｓ２５）。
Ｓ２５で映像からもランドマークが抽出された場合は、Ｓ２３とＳ２５で得られた対応するランドマークを照合し、これらのランドマークが合致するようにＳ２２の画枠計算で用いたパラメータ（例えばパン・チルト）値を補正する（Ｓ２６）（Ｓ２７）（Ｓ２８）。さらにＳ２８で求めたパラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ２０８を変形し、地理情報システムの地図上に重畳表示する（Ｓ２９）（Ｓ３０）（Ｓ３１）。
Ｓ２３またはＳ２５でランドマークが抽出されなかった場合は、Ｓ２２で求めた撮影画枠にあわせて静止画データ２０８を変形し、地理情報システムの地図上に重畳表示する（Ｓ２４）（Ｓ２６）（Ｓ３０）（Ｓ３１）。図１７は画枠計算２１２で使用する角度パラメータであるピッチ仰角、ロール角、カメラのパン、チルトを示す。
撮影画枠の計算方法は前述の方法を用い、基準状態での撮影画枠を各角度パラメータによって回転処理した後、地表面へ投影することにより、地表面におけるカメラの撮影範囲、すなわち撮影画枠を得る。図１８に示すように、機体位置を原点とし、機体進行方向にｘ軸、地表面に対して垂直上向きにｚ軸、これらｘ軸、ｚ軸に対して垂直となるようにｙ軸をとると、具体的計算は以下の通りである。
基準状態での撮影画枠の計算
カメラのチルトによるｙ軸まわりの回転
カメラのパンによるｚ軸まわりの回転
機体のロール角によるｘ軸まわりの回転
機体のピッチ仰角によるｙ軸まわりの回転
地表面（絶対高度（＝海抜高度）０の水平面）への投影
図１８（ａ）は基準状態での撮影画枠４２を計算した状態を、図１８（ｂ）は、基準状態での撮影画枠４２を各角度パラメータによって回転処理した後、地表面へ投影した状態を示す。
カメラのパン・チルトを補正する方法を図１９を用いて説明する。機体高度をｈ、チルトの計測値をθ、パンの計測値をφ、画像上のランドマーク座標（ｘ，ｙ）、地図上でのランドマーク座標（ｘ０，ｙ０）としたとき、補正後のチルト、パンの値θ０、φ０は、次の数式２１を解くことで求めることができる。
ただし、ここで照合する地図上でのランドマーク座標（ｘ０，ｙ０）は、以下の変換を行った後の座標である。
機体のピッチ仰角によるｙ軸まわりの逆回転
機体のロール角によるｘ軸まわりの逆回転
地表面（絶対高度（＝海抜高度）０の水平面）への投影
図２０（ａ）は、本発明による補正を行わずに、地理情報システムの地図４１上に撮影画枠４２と撮影映像４３を重ね合わせた写真であり、図２０（ｂ）は本発明による補正を行い、地理情報システムの地図４１上に撮影画枠４２と撮影映像４３を重ね合わせた写真である。４４は機体位置（カメラ位置）である。上述の補正処理を含む地図処理手段２２６による処理を行うことにより、図２０（ｂ）に示すように、映像と地図とが完全に一致し、高精度な重畳表示を行うことができ、撮影された地表面の状況把握をより容易かつ速やかにできる。
この実施の形態９によれば、各パラメータを計測する各種計測機器の計測誤差を修正することができるだけでなく、機体に搭載されたカメラを操作中に撮影された映像を地図上に重畳表示する場合にも、撮影タイミングとカメラ姿勢情報（パン・チルト）のデータ取得タイミングのずれによって発生した誤差を修正することが可能となる。
実施の形態１０．
本実施の形態は、上記実施の形態９のパラメータ調整を、パン・チルトの補正ではなく、機体の姿勢情報（ロール・ピッチ）を補正することで、撮影画枠の位置の補正を行う方法であり、ロール・ピッチの補正は、以下の計算により行う。
チルト・パンによる回転処理までを行ったときの映像上のランドマーク座標を（ｘ１，ｙ１，ｚ１）としたとき、さらにロールθ・ピッチφによる回転を行ったときのランドマーク座標（ｘ２，ｙ２，ｚ２）は、数式２２で求められる。
さらに、地表面への投影を行うと、ランドマーク座標（ｘ，ｙ，ｚ）は、数式２３で求められる。
ここで、ｈは機体高度であり、地図上でのランドマーク座標を（ｘ０，ｙ０）としたときの数式２４、
を満たすθ、φが補正後のロールθ０、ピッチφ０である。
本実施の形態１０によれば、カメラが機体に固定的に取り付けられ、パン・チルトの角度が変化しないように設置されているためにパン・チルトの補正が有効でない場合にも、機体の姿勢情報、すなわちロール・ピッチを修正することで、より現実に近い状態でのパラメータの補正が可能となり、高精度な重畳表示を行うことができるので、撮影された地表面の状況把握をより容易かつ速やかにできる。
実施の形態１１．
本実施の形態はランドマーク２点を抽出し、この２点間の距離により機体の高度補正を行うものである。実施形態９（図１６）のＳ２３でランドマークが２点抽出された場合は、静止画データ２０８からも同様に対応する２点のランドマークの抽出を行う（Ｓ２４）（Ｓ２５）。
Ｓ２５で映像からも対応するランドマークが抽出された場合は、Ｓ２３とＳ２５で得られたランドマークを照合し、映像上のランドマーク２点間の距離とＧＩＳ地図上のランドマーク２点間の距離が同じになるように、機体高度（この場合、機体高度はＧＰＳ装置による海面からの絶対高度として取得されているため、この高度補正は、地表面の相対高度となる）を補正する（Ｓ２７）（Ｓ２８）。
さらにＳ２８で求めたパラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ２０８を変形し、地理情報システムの地図上に重畳表示する（Ｓ２９）（Ｓ３０）（Ｓ３１）。
図２１（ｂ）から分かるように、この発明によるランドマーク間の距離による補正を行った高度（相対高度）ｈ′は、機体の絶対高度をｈとして
により求まる。なお、Ｅは地図上の距離、Ｆは画像上の距離である。
上述の補正処理を含む地図処理手段２２６による処理を行うことにより、地表面が海面よりも高度がある地点に対する撮影映像も、高精度な重畳表示を行うことができ、撮影された地表面の状況把握をより容易かつ速やかにできる。
実施の形態１２．
本実施の形態はランドマークの数に応じてパラメータの補正を行うことにより、より精度の高い撮影映像と地図との重畳表示を可能にしようとするものである。実施の形態９（図１６）のＳ２２でランドマークが２点抽出された場合は、静止画データ２０８からも同様に対応する２点のランドマークの抽出を行う（Ｓ２４）（Ｓ２５）。Ｓ２５で映像からもランドマークが抽出された場合は、Ｓ２３とＳ２５で得られた対応するランドマークを照合する（Ｓ２７）。
まず、１点目の対応するランドマークが合致するようにＳ２２の画枠計算で用いたパラメータ（パン・チルト）値を補正し、次に、２点目の対応するランドマークの差分を修正するように、機体姿勢パラメータ（ロール・ピッチ）値を修正する（Ｓ２７）（Ｓ２８）。さらにＳ２８で求めた各パラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ２０８を変形して、地理情報システムの地図上に重畳表示する（Ｓ２９）（Ｓ３０）（Ｓ３１）。
図２２はこれを説明する図であり、黒丸印は地図上のランドマークを、黒三角印は画像上のランドマークを示している。図２２（ａ）はＧＩＳ地図上に撮影映像が重畳表示された状態を示し、図２２（ｂ）は上記実施の形態１１による高度補正を行った後の状態、図２２（ｃ）はその後パン・チルト補正を行った後の状態、図２２（ｄ）は、さらにロール・ピッチ補正を行った後の状態を示す。
この実施の形態１２によれば、１点のみのランドマークの合致によるパラメータの調整では、撮影範囲全般にわたっては、精度の高い撮影映像と地図の重畳表示が困難であるような場合にも、２点のランドマークを使用することによって、より高精度な重畳表示を行うことができ、撮影された地表面の状況把握をより容易かつ速やかにできる。
実施の形態１３．
本実施の形態はランドマークが３点以上抽出された場合、すべての２点間のパラメータ補正値を求め、その平均値をパラメータ補正値とするものである。実施の形態９（図１６）のＳ２３でランドマークが２点以上の複数点抽出された場合は、静止画データ２０８からも同様に対応する２点以上の複数点のランドマークの抽出を行う（Ｓ２４）（Ｓ２５）。
Ｓ２５で映像からもランドマークが抽出された場合は、Ｓ２３とＳ２５で得られたランドマークから対応する２点を選択し、それぞれ照合を行うことによってパラメータの補正値を求める。これをランドマーク２点の選び方すべてについて行うことによって複数のパラメータ補正値を取得し、パラメータ毎にこれら補正値の平均をとり、これら平均値をそれぞれのパラメータの補正値とする（Ｓ２７）（Ｓ２８）。さらにＳ２８で求めたパラメータの補正値に基づいて再度撮影画枠を計算し、この撮影画枠にあわせて静止画データ２０８を変形し、地理情報システムの地図上に重畳表示する（Ｓ２９）（Ｓ３０）（Ｓ３１）。
上述の補正処理を含む地図処理を行うことにより、ランドマーク１点あるいは２点の位置に基づいて映像と地図の重畳を表示の補正を行う場合と比較して、より高精度な重畳表示を行うことができ、撮影された地表面の状況把握をより容易かつ速やかにできる。
実施の形態１４．
本実施の形態は、撮影映像を連続して所定の周期で複数枚撮影し、連続する複数枚の映像が静止画データとして与えられる場合の地図上への重畳表示処理に関するものである。得られた静止画映像に対してランドマークの抽出処理を行い、その結果ランドマークが抽出されればＧＩＳ地図との照合によって補正を行うが、全ての静止画映像からランドマークの抽出を行うことができるとは限らない。撮影しながら重畳表示を行うライブ表示処理において、全ての撮影画像に対して、画像処理を即時に実行してランドマークを抽出し、補正を行うことは処理時間の関係で困難である。
そのために、ランドマークが抽出されない静止画の地図上への重畳表示は、前回補正を行ったときの補正値に基づいて再度画枠計算を行い、求めた撮影画枠にあわせて映像を変形し、地理情報システムの地図上に重畳表示することにより、重畳位置精度を向上させるものである。
この処理は、図２３のＳ２４、Ｓ２６、Ｓ３２、Ｓ３３、Ｓ３１に相当し、Ｓ２４で対応するランドマークが抽出された場合は実施の形態９と同じ処理を行う。図２４はこの方法によるモニタ表示画面を示すもので、４１は地図、４４は機体位置（カメラ位置）、４５は機体の飛行経路である。飛行経路４５に沿ってカメラから撮影した映像を所定のタイミングでサンプリングして、それぞれ重畳位置補正を行った後、地理情報システムの地図４１上に重畳表示している。４３ａ〜４３ｇは貼り付けた画像、４２は最新の画像４３ｇの撮影画枠である。
本実施の形態１４では、ランドマークが抽出されない場合にも、重畳表示位置の補正を行うことができ、高精度の重畳表示を行うことができるとともに、撮影された広範囲にわたる地表面の状況把握をより容易かつ速やかにできる。
実施の形態１５．
本実施の形態１５では、撮影映像を連続して所定の周期で複数枚撮影し、連続する複数枚の映像が静止画データとして与えられる場合の地図上への重畳表示処理に関するものである。連続撮影映像には、ランドマークの照合により重畳位置補正を実行した映像と、ランドマークが抽出できず、照合による重畳位置補正が行えない撮影映像が存在する。
この場合、リアルフライト時には、上記実施の形態１４で示したように、次にランドマークが抽出されるまで前回の補正値を継続使用するが、過去のフライト映像を使用して地図上に映像の重畳表示を行う処理においては、ライブフライト時に比べ、位置補正の処理時間に余裕ができる。そこで、過去のフライト映像を地図上に重畳表示する場合は、図２５に示すように、次にランドマークが抽出された地点で求めた各パラメータの補正値を、前回ランドマーク照合による補正を行った地点との中間地点までさかのぼって適用することにより重畳表示位置の補正を行う。
図２５において、グレーの四角はランドマーク抽出画像を、白の四角はランドマークマークが抽出されなかった画像を示す。また、矢印Ｇはランドマークが抽出されて重畳位置補正を行った画像からその重畳位置補正値を流用して重畳位置を補正することを示している。この実施の形態１５により、ランドマークの照合による補正ができない場合の画像間の重複状態は、図２５に示すように改善される。
図２５（ａ）は本実施の形態を適用しない場合を示し、図２５（ｂ）は本実施の形態を適用した場合を示す。ランドマークの照合による映像の重畳表示位置補正が行えた撮影映像を基点とし、重畳表示補正が行われた撮影映像間の中間地点を目指して、前後に映像の重複部分の合致率を最大にするように映像の配置を調整することで、連続して撮影された映像を、ＧＩＳ地図上に、より高精度に重畳表示することができる。
本実施の形態１５によれば、過去の飛行映像をＧＩＳ地図上に重畳表示する処理において、ランドマークが抽出されない場合にも、重畳表示位置の補正を行うことができる。また、画像間の重複具合がランドマーク抽出画像で分断されることなく、より滑らかに、連続した高精度な重畳表示を行うことができるとともに、撮影された広範囲にわたる地表面の状況把握をより容易かつ速やかにできる。
実施の形態１６．
本実施の形態では、過去の飛行映像から抽出される撮影映像の高度補正データを、位置にリンクして登録することによって、撮影映像からランドマークを抽出できない場合も、撮影地点の高度補正を行うものである。
ランドマークの合致によって高度補正処理が実行できた場合に、絶対高度と相対高度の差で与えられる高度補正値は、撮影地点にその地点の高度補正値として登録管理することによって、いつでも利用することができ、次回以降、その地点に近い地点を機体が飛行した場合には、処理時間の限られたライブフライト時や、静止画と地図で対応するランドマークが２点以上抽出できない場合にも、高度補正を行うことができる。
図２６は、連続して撮影された静止画像を、ＧＩＳ地図上に重畳表示された状態を示す。この図の中で、最後の１枚の画像５１と中間の１枚の画像５２で２点のランドマークが抽出され、高度の補正値が取得できた場合を説明している。
画像５１と画像５２においては、２点以上のランドマークが合致することから高度の補正値が取得できその補正値をそれぞれ６１、６２とすると、地図の地点としての高度補正値６１、６２をシンボルとして登録を行い、２点以上のランドマークが抽出できない映像に対して、その地点の高度補正値を提供することによって、カメラの取付角度のみならず、地表の高度による誤差の補正を行い、連続して撮影された映像を、ＧＩＳ地図上に、より高精度に重畳表示することができる。
本実施の形態１６では、過去の飛行フライト映像から抽出された高度補正データを地図上の地点に登録することで、２点以上のランドマークを抽出できない映像に対しても、高度補正を行うことができ、より高精度な重畳表示を行うことができる。
【産業上の利用可能性】
震災、火災等の天災や、爆発、重大事故等の人災が発生した場合、ヘリコプタ等の機上から地上の状況を撮影する撮影映像表示装置に利用できる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【特許請求の範囲】
【請求項１】
空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示する撮影映像表示方法であって、
空中における撮影位置を３次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、これを地理情報システムの地図上に重ね合わせて表示するようにしたことを特徴とする撮影映像表示方法。
【請求項２】
空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示する撮影映像表示方法であって、
空中における撮影位置を３次元的に特定し、連続して撮影された複数枚の地表面の各撮影範囲を計算して求め、その各撮影範囲にあわせて各撮影映像を変形した後、これら複数枚の撮影映像を地理情報システムの地図上に重ね合わせて表示するようにしたことを特徴とする撮影映像表示方法。
【請求項３】
重ね合わせる複数の撮影映像は、互いに一部を重複させ、その重複部における重複状態が最も多くなるように撮影映像を移動補正した後、接合するようにしたことを特徴とする請求項２に記載の撮影映像表示方法。
【請求項４】
重ね合わせる複数の撮影映像は、連続して撮影した映像を所定の周期でサンプリングして得るようにした請求項２に記載の撮影映像表示方法。
【請求項５】
撮影された地表面の撮影範囲を、上記撮影装置の上記機体に対する傾きと回転角度に基づいて計算して求めるようにした請求項１に記載の撮影映像表示方法。
【請求項６】
撮影された地表面の撮影範囲を、上記機体の地表面に対する傾きとロール角度に基づいて計算して求めるようにした請求項１に記載の撮影映像表示方法。
【請求項７】
撮影された地表面の撮影範囲を、上記撮影装置の上記機体に対する傾きと回転角度及び上記機体の地表面に対する傾きとロール角度とに基づいて計算して求めるようにした請求項１に記載の撮影映像表示方法。
【請求項８】
地表面の撮影範囲を計算して求めた後、上記撮影範囲の地表面の高度を、予め作成されている地表面の起伏についての高度情報を含む３次元地勢データを利用して取得し、撮影地点の高度を、機体の絶対高度から地表面の高度を減算した相対高度として計算し、その撮影範囲に合わせて、撮影映像を変形して地理情報システムの地図上に重ね合わせて表示するようにした請求項１に記載の撮影映像表示方法。
【請求項９】
空中の機体に搭載された撮影装置により地表面を撮影し、その地表面に存在する状況を識別することを目的とする撮影映像表示方法であって、
空中における撮影位置を３次元的に特定し、撮影した映像に、上記機体位置情報、カメラ情報、機体情報を同期させて送信し、
受信側では撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、地理情報システムの地図上に重ね合わせて表示するようにしたことを特徴とする撮影映像表示方法。
【請求項１０】
地図上に重ね合わせた撮影映像を、撮影範囲枠のみ残して消すことができるようにした請求項１に記載の撮影映像表示方法。
【請求項１１】
上記地理情報システムの地図と上記撮影映像からそれぞれランドマークを抽出し、対応するランドマークを照合することにより、撮影された地表面の撮影範囲を計算する際に使用するパラメータを補正し、撮影映像を地理情報システムの地図上に精度良く重畳表示するようにしたことを特徴とする請求項１に記載の撮影映像表示方法。
【請求項１２】
上記地理情報システムの地図と連続して撮影された上記複数枚の撮影映像からそれぞれランドマークを抽出し、対応するランドマークを照合することにより、撮影された地表面の撮影範囲を計算する際に使用するパラメータを補正し、撮影映像を地理情報システムの地図上に精度良く重畳表示するようにしたことを特徴とする請求項２に記載の撮影映像表示方法。
【請求項１３】
抽出したランドマークの数に応じて、補正するパラメータを変更するようにしたことを特徴とする請求項１１に記載の撮影映像表示方法。
【請求項１４】
抽出したランドマークを基に、上記撮影装置の上記機体に対する傾きと回転角度を補正して、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項１１に記載の撮影映像表示方法。
【請求項１５】
抽出したランドマークを基に、上記機体の地表面に対する傾きとロール角度を補正して、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項１１に記載の撮影映像表示方法。
【請求項１６】
抽出したランドマーク２点を用い、２点間の距離に基づいて上記機体の高度を補正し、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項１１に記載の撮影映像表示方法。
【請求項１７】
抽出したランドマークが３つ以上の場合に、各ランドマークの２点間におけるパラメータ補正値の平均値を用いて、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項１１に記載の撮影映像表示方法。
【請求項１８】
上記地理情報システムの地図と各撮影映像の複数枚からそれぞれランドマークを抽出する際に、対応するランドマークがない場合、撮影された地表面の撮影範囲を計算する際に使用するパラメータを、前回ランドマークを抽出したときの補正値に基づいて補正し、互いに一部を重複して接合させて地図上に重畳表示する撮影映像を、その重複部における重複状態が最も多くなるように移動した後、接合するようにしたことを特徴とする請求項１２に記載の撮影映像表示方法。
【請求項１９】
地理情報システムの地図と各撮影映像からそれぞれランドマークを抽出し、前回ランドマークを抽出したときの撮影映像と現在の撮影映像の中間地点まで遡り、連続して撮影された地表面の各撮影範囲を計算する際に使用するパラメータを現在の補正値に基づいて補正し、これら複数枚の撮影映像を地理情報システムの地図上に精度良く重畳表示するようにしたことを特徴とする請求項１２に記載の撮影映像表示方法。
【請求項２０】
ランドマークの合致によって撮影映像の高度補正処理が実行された地点に、高度補正値として登録を行い、次回以降、その地点に近い地点を飛行した場合に、上記登録した高度補正値を高度補正の基準値として再度利用することを可能としたことを特徴とする請求項１６に記載の撮影映像表示方法。
【請求項１】
空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示する撮影映像表示方法であって、
空中における撮影位置を３次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、これを地理情報システムの地図上に重ね合わせて表示するようにしたことを特徴とする撮影映像表示方法。
【請求項２】
空中の機体に搭載された撮影装置により撮影された地表面の撮影映像を画像処理して表示する撮影映像表示方法であって、
空中における撮影位置を３次元的に特定し、連続して撮影された複数枚の地表面の各撮影範囲を計算して求め、その各撮影範囲にあわせて各撮影映像を変形した後、これら複数枚の撮影映像を地理情報システムの地図上に重ね合わせて表示するようにしたことを特徴とする撮影映像表示方法。
【請求項３】
重ね合わせる複数の撮影映像は、互いに一部を重複させ、その重複部における重複状態が最も多くなるように撮影映像を移動補正した後、接合するようにしたことを特徴とする請求項２に記載の撮影映像表示方法。
【請求項４】
重ね合わせる複数の撮影映像は、連続して撮影した映像を所定の周期でサンプリングして得るようにした請求項２に記載の撮影映像表示方法。
【請求項５】
撮影された地表面の撮影範囲を、上記撮影装置の上記機体に対する傾きと回転角度に基づいて計算して求めるようにした請求項１に記載の撮影映像表示方法。
【請求項６】
撮影された地表面の撮影範囲を、上記機体の地表面に対する傾きとロール角度に基づいて計算して求めるようにした請求項１に記載の撮影映像表示方法。
【請求項７】
撮影された地表面の撮影範囲を、上記撮影装置の上記機体に対する傾きと回転角度及び上記機体の地表面に対する傾きとロール角度とに基づいて計算して求めるようにした請求項１に記載の撮影映像表示方法。
【請求項８】
地表面の撮影範囲を計算して求めた後、上記撮影範囲の地表面の高度を、予め作成されている地表面の起伏についての高度情報を含む３次元地勢データを利用して取得し、撮影地点の高度を、機体の絶対高度から地表面の高度を減算した相対高度として計算し、その撮影範囲に合わせて、撮影映像を変形して地理情報システムの地図上に重ね合わせて表示するようにした請求項１に記載の撮影映像表示方法。
【請求項９】
空中の機体に搭載された撮影装置により地表面を撮影し、その地表面に存在する状況を識別することを目的とする撮影映像表示方法であって、
空中における撮影位置を３次元的に特定し、撮影した映像に、上記機体位置情報、カメラ情報、機体情報を同期させて送信し、
受信側では撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、地理情報システムの地図上に重ね合わせて表示するようにしたことを特徴とする撮影映像表示方法。
【請求項１０】
地図上に重ね合わせた撮影映像を、撮影範囲枠のみ残して消すことができるようにした請求項１に記載の撮影映像表示方法。
【請求項１１】
上記地理情報システムの地図と上記撮影映像からそれぞれランドマークを抽出し、対応するランドマークを照合することにより、撮影された地表面の撮影範囲を計算する際に使用するパラメータを補正し、撮影映像を地理情報システムの地図上に精度良く重畳表示するようにしたことを特徴とする請求項１に記載の撮影映像表示方法。
【請求項１２】
上記地理情報システムの地図と連続して撮影された上記複数枚の撮影映像からそれぞれランドマークを抽出し、対応するランドマークを照合することにより、撮影された地表面の撮影範囲を計算する際に使用するパラメータを補正し、撮影映像を地理情報システムの地図上に精度良く重畳表示するようにしたことを特徴とする請求項２に記載の撮影映像表示方法。
【請求項１３】
抽出したランドマークの数に応じて、補正するパラメータを変更するようにしたことを特徴とする請求項１１に記載の撮影映像表示方法。
【請求項１４】
抽出したランドマークを基に、上記撮影装置の上記機体に対する傾きと回転角度を補正して、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項１１に記載の撮影映像表示方法。
【請求項１５】
抽出したランドマークを基に、上記機体の地表面に対する傾きとロール角度を補正して、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項１１に記載の撮影映像表示方法。
【請求項１６】
抽出したランドマーク２点を用い、２点間の距離に基づいて上記機体の高度を補正し、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項１１に記載の撮影映像表示方法。
【請求項１７】
抽出したランドマークが３つ以上の場合に、各ランドマークの２点間におけるパラメータ補正値の平均値を用いて、撮影された地表面の撮影範囲を計算するようにしたことを特徴とする請求項１１に記載の撮影映像表示方法。
【請求項１８】
上記地理情報システムの地図と各撮影映像の複数枚からそれぞれランドマークを抽出する際に、対応するランドマークがない場合、撮影された地表面の撮影範囲を計算する際に使用するパラメータを、前回ランドマークを抽出したときの補正値に基づいて補正し、互いに一部を重複して接合させて地図上に重畳表示する撮影映像を、その重複部における重複状態が最も多くなるように移動した後、接合するようにしたことを特徴とする請求項１２に記載の撮影映像表示方法。
【請求項１９】
地理情報システムの地図と各撮影映像からそれぞれランドマークを抽出し、前回ランドマークを抽出したときの撮影映像と現在の撮影映像の中間地点まで遡り、連続して撮影された地表面の各撮影範囲を計算する際に使用するパラメータを現在の補正値に基づいて補正し、これら複数枚の撮影映像を地理情報システムの地図上に精度良く重畳表示するようにしたことを特徴とする請求項１２に記載の撮影映像表示方法。
【請求項２０】
ランドマークの合致によって撮影映像の高度補正処理が実行された地点に、高度補正値として登録を行い、次回以降、その地点に近い地点を飛行した場合に、上記登録した高度補正値を高度補正の基準値として再度利用することを可能としたことを特徴とする請求項１６に記載の撮影映像表示方法。
【国際公開番号】ＷＯ２００４／１１３８３６
【国際公開日】平成１６年１２月２９日（２００４．１２．２９）
【発行日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願番号】特願２００５−５００９１３（Ｐ２００５−５００９１３）
【国際出願番号】ＰＣＴ／ＪＰ２００３／００７８６１
【国際出願日】平成１５年６月２０日（２００３．６．２０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【国際公開日】平成１６年１２月２９日（２００４．１２．２９）
【発行日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００３／００７８６１
【国際出願日】平成１５年６月２０日（２００３．６．２０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]