撮影映像処理システム及び撮影映像処理装置並びに撮影映像表示方法
【課題】機上系から一般的な撮影装置で撮影された映像を、地上系で地図上に重ね合わせて表示する撮影映像処理システムを得る。
【解決手段】機上系１００は、一般的な撮影装置１０１と、機体の位置を検出する機体位置検出部１０３とを有し、撮影装置１０１により撮影された映像及び機体位置検出部１０３により検出された機体位置情報を地上系２００に送信し、地上系２００は、機上系１００から送信された映像及び機体位置情報に基き、地図処理部２０９によって、予め記憶された地図上に映像を重ね合わせ、この重ね合わせた映像をモニタ表示部２１０により表示するようにし、地図処理部２０９では、映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように映像を変形して重ね合わせを行うようにした。
【解決手段】機上系１００は、一般的な撮影装置１０１と、機体の位置を検出する機体位置検出部１０３とを有し、撮影装置１０１により撮影された映像及び機体位置検出部１０３により検出された機体位置情報を地上系２００に送信し、地上系２００は、機上系１００から送信された映像及び機体位置情報に基き、地図処理部２０９によって、予め記憶された地図上に映像を重ね合わせ、この重ね合わせた映像をモニタ表示部２１０により表示するようにし、地図処理部２０９では、映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように映像を変形して重ね合わせを行うようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、機上系の撮影装置によって撮影された映像を、地上系の地理情報システムの地図上に重ね合わせ表示する撮影映像処理システム及び撮影映像処理装置並びに撮影映像表示方法に関するものである。
【背景技術】
【０００２】
特許文献１に記載された従来の撮影映像処理システムは、撮影装置（カメラ）等を搭載したヘリコプタなどの飛行体（機体）からなる機上系と、機上系からの映像及び信号を受信して処理する地上に設置された地上系とによって構成される。
【０００３】
機上系には、空中から地上を撮影するジンバル機構支持の撮影装置であるカメラが搭載されている。機体は、アンテナによるＧＰＳ信号受信により、現在の位置情報を得て、機体位置検出を行う機体位置検出部、及び機体の姿勢すなわち仰角（ピッチ）とロール角を検出する機体姿勢検出部を備えている。
機上系の撮影装置であるジンバル機構支持のカメラは、地上を撮影し、その映像信号を出力すると共にカメラの絞り、ズームなどのカメラ情報も併せて出力する。カメラはジンバル機構に取り付けられ、このジンバル機構は、カメラの回転角、傾き（チルト）を検出するカメラ姿勢検出部を有しており、その値を出力する。
機体姿勢検出部からの出力信号、カメラの映像信号、カメラ情報信号、カメラ姿勢検出部からの出力信号は、一時記憶にてバッファされ、機体位置検出部からの出力信号のタイミングに同期してデータを出力し、多重変換部で多重変調され、信号変換部でデジタル信号に信号変換され、追尾機能を有するアンテナから地上系に向けて送信される。
【０００４】
地上系では、機上系からの信号を追尾機能を有するアンテナで受信し、信号変換部で信号変換し、多重復調部を経て、映像信号及び機体位置、機体姿勢、カメラ姿勢、カメラ情報等の情報信号を取り出す。取り出されたこれらの信号を信号処理部で信号処理し、映像信号は、動画データ、静止画データとして格納され、次のステップである地図処理部での地図処理に用いられる。
地図処理部は、撮影信号である動画データ、静止画データと機体位置、機体姿勢、カメラ姿勢の情報信号及び地理情報システムの２次元地図データ、３次元地勢データにより処理を行うもので、撮影装置の撮影位置を３次元的に特定するための情報に基づいて、撮影装置が撮影した撮影映像の撮影範囲に対応する地理情報システムの地図上の撮影範囲を求め、この求められた撮影範囲に併せて、撮影映像を変形して重ね合わせてモニタ表示する。
【０００５】
【特許文献１】特開２００３−３１６２５９（第５〜１２頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の従来の撮影映像処理システムでは、機上系として、ジンバル機構に支持されたカメラが搭載され、カメラの映像信号の他に、カメラ情報、カメラ姿勢等の情報を検出・出力するカメラ姿勢検出部を有する必要がある。これらの撮影装置は、防振制御を行うための専用の機器であり、それなりの体積と質量を持つことになる。
撮影映像処理システムを消防・防災や、警備・哨戒の目的で、ヘリコプタ等の飛行体に適用する場合、事故・災害時に怪我人・病人等を搭載するスペース、救援物資など必要な荷物を搭載する質量・スペースの確保を優先させなければならないという問題や、撮影装置の搭載のために時間が必要なため、緊急出動できないという問題があった。
【０００７】
この発明は、上記のような課題を解決するためになされたものであり、機上系から撮影情報、撮影装置の姿勢などの情報を検出・出力しない撮影装置で撮影された映像を、地上系で地図上に重ね合わせて表示する撮影映像処理システム及び撮影映像処理装置並びに撮影映像表示方法を得ることを目的としている。
【課題を解決するための手段】
【０００８】
この発明に係わる撮影映像処理システムにおいては、機体に搭載され、撮影装置を搭載した撮影系、及び撮影装置により撮影された映像を地図上に重ね合わせて表示する映像処理系を備え、
撮影系は、撮影装置と、機体の位置を検出する機体位置検出手段と、撮影装置により撮影された映像及び機体位置検出手段により検出された機体位置情報を映像処理系に送信する送信手段とを有し、
映像処理系は、撮影系から送信された映像及び機体位置情報に基き、予め記憶された地図上に映像を重ね合わせる地図処理手段と、この地図処理手段により地図上に重ね合わせた映像を表示するモニタ表示手段とを有し、
地図処理手段は、映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように映像を変形して重ね合わせを行うものである。
【発明の効果】
【０００９】
この発明は、以上説明したように、機体に搭載され、撮影装置を搭載した撮影系、及び撮影装置により撮影された映像を地図上に重ね合わせて表示する映像処理系を備え、
撮影系は、撮影装置と、機体の位置を検出する機体位置検出手段と、撮影装置により撮影された映像及び機体位置検出手段により検出された機体位置情報を映像処理系に送信する送信手段とを有し、
映像処理系は、撮影系から送信された映像及び機体位置情報に基き、予め記憶された地図上に映像を重ね合わせる地図処理手段と、この地図処理手段により地図上に重ね合わせた映像を表示するモニタ表示手段とを有し、
地図処理手段は、映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように映像を変形して重ね合わせを行うので、撮影系の撮影装置は、撮影情報、撮影装置の姿勢等の情報を検出・出力する必要がなく、したがって一般的な撮影装置を用いて、撮影映像を地図上に重ね合わせて表示することができる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
以下、この発明の実施の形態１を図に基づいて説明する。
図１は、この発明の実施の形態１による撮影映像処理システムを示す機能構成図である。
図１において、撮影映像処理システムは、ヘリコプタ等の機体等に搭載され、撮影装置等を有する機上系１００（機上装置）（撮影系）と、地上にて機上系１００からの信号を受信して処理する地上系２００（地上装置）（映像処理系）から成る。
機上系１００は、上空から地表を撮影するカメラである撮影装置１０１を有し、撮影装置１０１は、撮影した撮影映像を出力する。この撮影装置１０１は、ハンディカメラのような一般の撮影装置であり、カメラの絞り、ズーム等のカメラ情報や、カメラの撮影角度（パン、チルト）情報を持たない。機上系１００は、さらに撮影装置１０１の位置を３次元的に特定するための情報をＧＰＳ信号受信部１０２を介して取得する機体位置検出部１０３（機体位置検出手段）を有している。
また、機上系１００は、撮影装置１０１からの撮影映像、機体位置検出部１０３からの機体位置情報を多重変調部１０４で多重変調し、信号変換部１０５でデジタル信号に信号変換し、追尾機能部１０６を有するアンテナ（送信手段）から地上系２００に向けて送信する。
【００１１】
地上系２００は、機上系１００からの信号を追尾機能部２０１を有するアンテナで受信し、信号変換部２０２で信号変換し、多重復調部２０３によって、映像情報、機体位置情報の信号を取り出す。また、取り出した情報に対し、信号処理を行うための信号処理部２０４と、画面に地図を表示する地理情報システム（信号処理部２０４で処理された情報を含めて映像処理し、地図データに重畳させてモニタ表示部２１０（モニタ表示手段）に表示する地図処理部２０９（地図処理手段））とを有している。
多重復調部２０３によって取り出されたこれらの信号を信号処理部２０４で信号処理し、映像信号は、動画データ２０６、静止画データ２０５として格納され、次のステップである地図処理部２０９での地図処理に用いられる。その他、地理情報システムの２次元地図データ２０８、地表の起伏をデータ化した地勢データ２０７を含めた情報信号も地図処理部２０９での地図処理に用いられる。
【００１２】
図２は、この発明の実施の形態１による撮影映像処理システムの地図処理部を示す概略図である。
図２において、地図処理部２０９は、映像信号である静止画データ２０５、動画データ２０６、機体位置の情報信号、及び地理情報システムの地勢データ２０７、２次元地図データ２０８に基き、処理を行う。
この地図処理部２０９は、静止画データ２０５にある特徴となる数点を選択し、地理情報システムの２次元地図データ２０８上で、画像の中心点及び静止画データから選択した特徴点に対応する地図上の対応点を選択・対応付けする対応点入力部２１１と、ヘリコプタの機体位置と対応点（数点）から、カメラの姿勢情報を計算するカメラ姿勢計算部２１２（撮影装置姿勢計算手段）と、撮影装置が撮影した撮影映像の撮影範囲に対応する地理情報システムの２次元地図データ２０８上の撮影範囲を求める画枠計算部２１３と、画枠計算部２１３で求められた撮影範囲に合わせて静止画データ２０５を変形する映像変形部２１４と、地図上の撮影範囲に、変形された撮影映像を重ね合わせ表示する重ね合わせ部２１５とから構成される。
【００１３】
図３は、この発明の実施の形態１による撮影映像処理システムの対応点入力部の入力方法を説明する図であり、図３（ａ）は静止画データ、図３（ｂ）は地図データである。
図３において、画像の中心点●と、特徴点★が示されている。
【００１４】
図４は、この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中の撮影画枠計算で使用する画像中心点の角度パラメータを説明する図である。
図４において、ヘリコプタの機体位置を原点とする座標軸ｘ、ｙ、ｚに、カメラの回転角φ０、カメラの傾きθ０が示されている。ｚ軸が高さ方向を示している。
【００１５】
図５は、この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中の撮影画枠計算で使用する画像対応点の角度パラメータを説明する図である。
図５において、ヘリコプタの機体位置を原点とする座標軸ｘ、ｙ、ｚに、ヘリコプタの機体位置からの回転角、傾きと、画像の中心点で求めたカメラの回転角、カメラの傾きとの差分△φ、△θが示されている。
【００１６】
図６は、この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中のカメラ姿勢計算方法を説明する図である。
図７は、この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中のカメラフレーム平面とカメラ画枠平面を説明する図である。
図７において、カメラの結像面であるカメラフレーム平面と、カメラによって撮影される地表の撮影平面であるカメラ画枠平面との関係が示されている。
【００１７】
図８は、この発明の実施の形態１による撮影映像処理システムのカメラ画枠計算部を説明する図である。
図８（ａ）は、画枠４点の位置を機体の位置を原点として相対座標として計算することを示し、図８（ｂ）は、カメラのチルト角度θ０からｚ軸方向に撮影画枠を回転することを示し、図８（ｃ）は、カメラの方位角φ０からｙ軸方向に撮影画枠を回転することを示し、図８（ｄ）は、カメラの撮影画枠を地表面に投象することで、地表面に投象された投象平面（撮影画枠）を得ることを示している。
【００１８】
次に、図２の地図処理部２０９の処理について説明する。
図２の地図処理部２０９では、まず、対応点入力部２１１で、静止画データ２０５から数点特徴点（例えば建物や交差点等）を選択し、地理情報システムの２次元地図データ２０８から、画像の中心点及び選択した特徴点に対応する地図上のポイントを選択・対応付けを行う。
次に、カメラ姿勢計算部２１２で、対応点入力部２１１で対応付けされた数点の情報と、ヘリコプタの機体位置情報とを元に、カメラ姿勢情報（カメラの回転角、傾き（チルト）、焦点距離）を計算する。
さらに、画枠計算部２１３で、機体位置情報により、空中における撮影位置を３次元的に特定し、カメラ姿勢情報に基づいて、撮影した地表面の撮影範囲（撮影画枠）を計算により求める画枠計算を行う。この画枠に合わせて映像変形部２１４により撮影映像の映像変形を行う。この映像変形は、撮影した映像が地図に一致する四角形になるように映像を変形するものである。
最後に、重ね合わせ部２１５で、変形した映像を地理情報システムの地図上に重ね合わせ（貼り合わせ）、その後、これをＣＲＴなどのモニタ表示手段２１０で表示する。
【００１９】
以下、地図処理部２０９の各部の処理について、さらに詳しく説明する。
まず、対応点入力部２１１の処理について説明する。
図３は、対応点入力部２１１で設定する静止画データ２０５と２次元地図データ２０８との画像の中心点及び特徴点とこれらの対応する地図上の対応点とを図に示したものである。図３（ａ）の●は、静止画データ２０５の画像の中心点を示し、図３（ａ）の★は、静止画データ２０５から選んだ特徴点である。図３（ｂ）の地図データにある●、★は、それぞれ図３（ａ）の静止画データで選択した画像の中心点及び特徴点に対応する地図上の対応点を示している。
対応点入力部２１１では、このように画像と地図の対応点を選択し、その位置情報をカメラ姿勢計算部２１２に送る。
【００２０】
次に、カメラ姿勢計算部２１２の処理について説明する。
画像の中心点に対応する地図上の対応点（図３における●印）を対応点入力部２１１で指定することにより、カメラ姿勢情報のうち、カメラの回転角および傾きを、まず求める。
地図処理部２０９には、機体位置情報（緯度、経度、高度）が入力されており、地図上で画像の中心点に対応する地点を選択することにより、その地点の３次元的位置情報（緯度、経度、高度）は、２次元地図データ２０８、地勢データ２０７から得られる。したがって、機体位置と画像中心点に対応する地点の相対的な位置関係を求めることができる。
そこで、図４に示すように、ヘリコプタの機体位置を原点（０、０、０）とし、地図上で指定した画像の中心点に対応する地点の座標を（ｘ０、ｙ０、ｈ）として、相対座標としてカメラ姿勢情報の計算を行う。
このカメラ姿勢情報として、カメラの回転角（φ０）、傾き（θ０）は、（式１）で求めることができる。
【００２１】
【数１】
【００２２】
同様に、静止画データ２０５上で選択した特徴点に対応した２次元地図データ２０８の対応点について、図５に示すように、ヘリコプタの機体位置（カメラ位置Ｃ）を原点（０、０、０）とし、地図で選択した対応点Ｂの座標を（ｘ１、ｙ１、ｈ）、ヘリコプタの機体位置からの回転角（φ１）、傾き（θ１）と、画像の中心点で求めたカメラ姿勢情報のカメラの回転角（φ０）、傾き（θ０）との差分を、それぞれ△φ、△θとするｘｙｚ空間を考えると、各点の座標は、以下のような（式２）で表すことができる。
【００２３】
【数２】
【００２４】
ここで、ｚ軸のまわりに角度φ０の回転を行う座標変換、画枠中心が原点になるように並進座標変換、ｘ軸のまわりに角度θ０の回転を行う座標変換を行うと、座標変換後のｘ’ｙ’ｚ’空間上の各座標は、図６に示すところにより、（式３）となる。
【００２５】
【数３】
【００２６】
直線Ｂ’Ｃ’とｘ’ｙ’平面との交点である地図対応点Ｂ"の座標（ｘ１”、ｙ１”、ｚ１”）は、（式４）となる。
【００２７】
【数４】
【００２８】
この（式３）、（式４）を整理すると、（式５）が求められる。
【００２９】
【数５】
【００３０】
次に、図５の地図対応点Ｂに対応するカメラフレームの静止画上の対応点βについて考えてみる。今、幅ＰＸ，高さＰＹ（ピクセル）上の静止画上の位置（ｐｘ、ｐｙ）に対応点βがある場合、画像中心を原点とした時の座標β（δｘ、δｙ）は、（式６）となる。
【００３１】
【数６】
【００３２】
また、カメラのフレームサイズを幅ＣＸ、高さＣＹ（ｍｍ）とすると、カメラフレーム上の対応点β’の座標は、（式７）となる。（カメラフレームの中心点の座標α’は（０、０、０）である）
【００３３】
【数７】
【００３４】
図７は、カメラ位置からカメラの焦点距離ｆ１（ｍｍ）離れた位置にあるカメラフレーム平面ＸＹと、カメラ位置からｈ／ｃｏｓθ０離れたｘ’ｙ’平面（図６）との関係を示している。
カメラフレーム平面ＸＹ上にある画像対応点β’（ｘｆ、ｙｆ）をｘ’ｙ’平面上に投影した座標β”（ｘｆ’、ｙｆ’）は、（式８）となる。
【００３５】
【数８】
【００３６】
今、画像対応点β’をｘ’ｙ’平面上に投影した座標β”と、地図対応点Ｂ”は、一致するので、（式９）の関係が成り立つ。
【００３７】
【数９】
【００３８】
上述の（式５）、（式８）、（式９）より、（式１０）が得られる。
【００３９】
【数１０】
【００４０】
このように、カメラ姿勢計算部２１２で、カメラの焦点距離ｆ、カメラの角度情報（回転角、傾き）を計算し、求めることができる。
【００４１】
次に、画枠計算部２１３の処理について説明する。
画枠計算部２１３は、カメラの撮影画枠の計算を行うが、この計算方法は、コンピュータグラフィックの基礎として、３Ｄ座標内の矩形（画枠）の回転移動と投象処理で得ることができる。
基本は、カメラの撮影画枠をカメラ姿勢情報と機体位置情報とによって変換処理を行い、地上へ投影した場合の図枠を計算することで、目的の画枠を得ることができる。
３次元座標内の各座標の計算方法は、以下（１）（２）（３）（４）に述べる行列計算方法を使用して得る。
【００４２】
（１）基準状態での撮影画枠の計算
まず、図８（ａ）に示すように、画枠４点の位置を機体の位置を原点として、相対座標として計算する。撮影画枠を、カメラの焦点距離、カメラの角度情報、高度によって、基準位置に計算し、４点の座標を得る。
【００４３】
（２）カメラのチルト（ｙ軸）にて、４点の回転後の位置を計算
図８（ｂ）に示すように、カメラのチルト角度θ０から、ｙ軸方向に撮影画枠を回転する。回転後の座標を、（式１１）で変換して求める。（式１１）では、ｘ、ｙ、ｚが図８（ａ）の４点の座標、ｘ’、ｙ’、ｚ’がこれに対応する図８（ｂ）の座標である。
【００４４】
【数１１】
【００４５】
（３）カメラの方位角（ｚ軸）にて、４点の回転後の位置を計算
図８（ｃ）に示すように、カメラの方位角φ０から、ｚ軸方向に撮影画枠を回転する。回転後の座標を、（式１２）で変換して求める。（式１２）では、ｘ、ｙ、ｚが図８（ｂ）の４点の座標、ｘ’、ｙ’、ｚ’がこれに対応する図８（ｃ）の座標である。
【００４６】
【数１２】
【００４７】
（４）回転処理後画枠を、原点（機体位置）から地表面（ｚ軸高度地点）に投影した図枠を計算
図８（ｄ）に示すように、撮影画枠を地表面（ｚ軸高度地点）に投象することで投象平面（撮影画枠）を得る。投影後の座標を、（式１３）で変換して求める。（式１３）では、ｘ、ｙ、ｚが図８（ｃ）の４点の座標、ｘ’、ｙ’、ｚ’がこれに対応する図８（ｄ）の座標である。
【００４８】
【数１３】
【００４９】
次の（式１４）で、一般同次座標系［Ｘ、Ｙ、Ｚ、Ｗ］を得る。但し、ｄは海抜高度である。
【００５０】
【数１４】
【００５１】
次に、一般同次座標系［Ｘ、Ｙ、Ｚ、Ｗ］をＷ（ｚ／ｄ）で割って、３次元座標系に戻すと、（式１５）となる。
【００５２】
【数１５】
【００５３】
次に、映像変形部２１４の処理について説明する。
上述のように、画枠計算部２１３で求めた画枠に合わせて、映像変形部２１４により映像変形を行う。この映像変形は、映像が地図に一致する台形あるいは菱形に近い形等になるように映像を変形するものである。
【００５４】
最後に、重ね合わせ部２１５により、変形した映像を地理情報システムの地図上に重ね合わせ（貼り合わせ）、その後、これをＣＲＴなどのモニタ表示手段２１０で表示する。
【００５５】
実施の形態１によれば、機上系として、特別な機構を持たない、ハンディカメラのような一般的な撮影装置で撮影された映像を元に、映像内の特徴点とそれに対応する地図上の対応点を対応付けすることにより、撮影装置が撮影した撮影映像の撮影範囲に対応する地理情報システムの地図上の撮影範囲を求め、この求められた撮影範囲に併せるように変形された撮影映像を、地図上の撮影範囲に重ね合わせて表示すると、映像と地図とが完全に一致し、映像情報と地図情報の整合性を確認することが容易となり、目標地点の判別が容易にできる。
このため、撮影装置は、ジンバル機構に支持されたカメラとして、カメラの映像信号の他に、カメラ情報、カメラ姿勢等の情報を検出・出力するカメラ姿勢検出部を有する専用のカメラである必要がなく、一般的なハンディカメラを用いることができる。
【００５６】
また、カメラで撮影した画枠の映像を地図上に重ね合わせて表示することができる他に、映像情報を消して、画枠だけを表示することも容易にできる。例えば、災害発生時の映像がある場合、画枠のみの表示にすることによって、災害現場が地図上の何処に相当するかが迅速に認識することができる。
【００５７】
実施の形態２．
図９は、この発明の実施の形態２による撮影映像処理システムの対応点入力部の入力方法を説明する図であり、図９（ａ）は静止画データ、図９（ｂ）は地図データである。
図９において、画像の中心点●と、特徴点★、▲が示されている。
【００５８】
図９は、対応点入力部２１１で設定する静止画データ２０５と２次元地図データ２０８の画像の中心点及び特徴点と地図上の対応点を図に示しており、図９（ａ）では、画像の中心点●と、それぞれ静止画データ２０５から選んだ特徴点★、▲が示されている。図９（ｂ）の地図データにある●、★、▲は、それぞれ図９（ａ）の静止画データで選択した画像の中心点及び特徴点に対応する地図上の対応点を示している。
対応点入力部２１１では、このように画像（静止画データ）と地図（地図データ）の対応点を複数点選択し、その位置情報をカメラ姿勢計算部２１２に送る。
（式１０）の通り、複数点の画像特徴点と地図対応点を指定すれば、同様に焦点距離ｆ１、ｆ２、・・・を求めることができる。カメラ姿勢計算部２１２では、求めた複数の焦点距離の平均値を求め、その値を採用することとする。
【００５９】
実施の形態２によれば、複数の画像上の特徴点及びそれに対応する地図の対応点を指定した場合、より精度の高い焦点距離を求められる。それにより、地図上に重ね合わせ表示される映像の貼り合わせ精度を向上させることができる。
【００６０】
実施の形態３．
図１０は、この発明の実施の形態３による撮影映像処理システムのカメラ姿勢計算部により計算されたカメラの姿勢情報を微調整するための画面を示す図である。
図１０において、画面３０１には、カメラ姿勢計算部２１２で求めたカメラの姿勢情報（パン、チルト、ズーム）を手動で微調節するためのパン３０２、チルト３０３、ズーム３０４の各数値設定部を設けている。
【００６１】
画面３０１には、カメラ姿勢計算部２１２で求めたカメラの姿勢情報のパン３０２、チルト３０３、ズーム３０４の各数値が、デフォルトで入力されており、それぞれの値を任意の値に変更することができる。
【００６２】
実施の形態３によれば、画像と地図の対応点の微妙なずれを修正し、かつ画面で重畳状態を確認することができるので、より精度の高い重ね合わせ表示を実現することができる。
【００６３】
実施の形態４．
図１１は、この発明の実施の形態４による撮影映像処理システムの撮影装置を機体に固定させた状態を示す概念図である。
図１１において、撮影装置１０１は、ヘリコプタ機体４００に固定されている。
図１２は、この発明の実施の形態４による撮影映像処理システムの画面イメージを示す図である。
【００６４】
図１１では、撮影装置１０１（カメラ）をヘリコプタ機体４００に固定させることで、ヘリコプタ機体４００から常に一定の角度で地上を撮影することになる。
これにより、実施の形態１〜実施の形態３のように、対応点入力部２１１で画像と地図上の対応を入力し、カメラ姿勢計算部２１２でカメラ姿勢情報の計算を一度行うと、ヘリコプタ機体４００の姿勢が変化しない場合には、それ以降、そのカメラ姿勢情報を用いて、図１２に示すように連続して撮影した映像を、地理情報システムの地図上に重ね合わせて表示することができる。
【００６５】
実施の形態４によれば、撮影した映像を広範囲に地図上に重ね合わせ表示することで、例えば、災害地域の広範囲な状況とその正確な位置情報を得ることができる。
【００６６】
実施の形態５．
図１３は、この発明の実施の形態５による撮影映像処理システムを示す機能構成図である。
図１３において、１００〜１０６、２００〜２１０は図１におけるものと同一のものである。図１３では、機上系１００に機体姿勢を検出する機体姿勢検出部１０７を設けている。
図１４は、この発明の実施の形態５による撮影映像処理システムのヘリコプタ機体の傾きを説明する図である。
図１４において、ヘリコプタ機体が傾いたときのロール角、進行方向ピッチ角並びに撮影装置の回転角と傾きが示されている。
【００６７】
実施の形態５は、ヘリコプタ等の機体等に搭載され、撮影装置などを有する機上系１００（機上装置）と、地上にて機上系１００からの信号を受信して処理する地上系２００（地上装置）から成る。
機上系１００は、上空から地表を撮影するカメラである撮影装置１０１を有し、撮影装置１０１は、撮影した撮影映像を出力する。この撮影装置１０１は、ハンディカメラのような一般の撮影装置であり、カメラの絞り、ズーム等のカメラ情報や、カメラの撮影角度（パン、チルト）情報を持たない。
機上系１００は、さらに撮影装置１０１の位置を３次元的に特定するための情報をＧＰＳ信号受信部１０２を介して取得する機体位置検出部１０３（機体位置検出手段）と、ヘリコプタ等の機体の姿勢を３次元的に特定するための機体姿勢検出部１０７（機体姿勢検出手段）を有している。
また、機上系１００は、撮影装置１０１からの撮影映像、機体位置検出部１０３からの位置情報、機体姿勢検出部１０７からの機体姿勢情報を多重変調部１０４で多重変調し、信号変換部１０５でデジタル信号に信号変換し、追尾機能部１０６を有するアンテナ（送信手段）から地上系２００に向けて送信する。
【００６８】
地上系２００は、機上系１００からの信号を追尾機能部２０１を有するアンテナで受信し、信号変換部２０２で信号変換し、多重復調部２０３によって、映像情報、機体位置情報、機体姿勢情報の信号を取り出す。
また、取り出した情報に対し、信号処理を行うための信号処理部２０４と、画面に地図を表示する地理情報システム（信号処理部２０４で処理された情報を含めて映像処理し、地図データに重畳させてモニタ表示部２１０に表示する地図処理部２０９）とを有している。
多重復調部２０３によって取り出された、機体姿勢情報を含むこれらの信号を信号処理部２０４で信号処理し、映像信号は、動画データ２０６、静止画データ２０５として格納され、次のステップである地図処理部２０９での地図処理に用いられる。その他、地理情報システムの２次元地図データ２０８、地勢データ２０７を含めた情報信号も地図処理部２０９での地図処理に用いられる。
【００６９】
これにより、図１４に示すように、ヘリコプタ等の機体が傾いて航行しながら撮影をした場合、そのヘリコプタの機体姿勢（ロール角、ピッチ角）を考慮した、地表面からのカメラ角度を得ることができる。
【００７０】
実施の形態５によれば、機上系に機体姿勢検出部を設けたので、ヘリコプタ等の機体が傾いて航行しながら撮影をした場合でも、そのヘリコプタの機体姿勢（ロール角、ピッチ角）を考慮した、地表面からのカメラ角度を得ることができ、地図上に重ね合わせ表示される映像の貼り合わせ精度を向上させることができる。
【００７１】
実施の形態６．
図１５は、この発明の実施の形態６による撮影映像処理システムを示す機能構成図である。
図１５において、１００〜１０６、２００〜２１０は図１におけるものと同一のものである。図１５では、機上系１００に、地上系と同様な信号処理部１０８、地図処理部１１３、モニタ表示部１１４、静止画データ１０９、動画データ１１０、地勢データ１１１、２次元地図データ１１２を設けている。
【００７２】
実施の形態６の撮影映像処理システムは、ヘリコプタ等の機体等に搭載され、撮影装置などを有する機上系１００（機上装置）と、地上にて機上系１００からの信号を受信して処理する地上系２００（地上装置）から成る。
機上系１００は、上空から地表を撮影するカメラである撮影装置１０１を有し、撮影装置１０１は、撮影した撮影映像を出力する。この撮影装置１０１は、ハンディカメラのような一般の撮影装置であり、カメラの絞り、ズーム等のカメラ情報や、カメラの撮影角度（パン、チルト）情報を持たない。
機上系１００は、さらに撮影装置１０１の位置を３次元的に特定するための情報をＧＰＳ信号受信部１０２を介して取得する機体位置検出部１０３（機体位置検出手段）を有している。
また、機上系１００は、撮影装置１０１からの撮影映像、機体位置検出部１０３からの機体位置情報を多重変調部１０４で多重変調し、信号変換部１０５でデジタル信号に信号変換し、追尾機能部１０６を有するアンテナ（送信手段）から地上系２００に向けて送信する。
【００７３】
さらに、機上系１００は、多重変調部１０４で変調する撮影装置１０１からの撮影映像、機体位置検出部１０３からの機体位置情報に対して、信号処理を行うための信号処理部１０８と、画面に地図を表示する地理情報システム（信号処理部１０８で処理された情報を含めて映像処理し、地図データに重畳させてモニタ表示部１１４に表示する地図処理部１１３）とを有している。
信号処理部１０８で信号処理し、映像信号は、動画データ１１０、静止画データ１０９として格納され、次のステップである地図処理部１１３での地図処理に用いられる。その他、地理情報システムの２次元地図データ１１２、地勢データ１１１を含めた情報信号も地図処理部１１３での地図処理に用いられる。
【００７４】
地上系２００は、機上系１００からの信号を、追尾機能部２０１を有するアンテナで受信し、信号変換部２０２で信号変換し、多重復調部２０３によって、映像情報、機体位置情報の信号を取り出す。
また、取り出した情報に対し、信号処理を行うための信号処理部２０４と、画面に地図を表示する地理情報システム（信号処理部２０４で処理された情報を含めて映像処理し、地図データに重畳させてモニタ表示部２１０に表示する地図処理部２０９）とを有している。
多重復調部２０３によって取り出された、これらの信号を信号処理部２０４で信号処理し、映像信号は、動画データ２０６、静止画データ２０５として格納され、次のステップである地図処理部２０９での地図処理に用いられる。その他、地理情報システムの２次元地図データ２０８、地勢データ２０７を含めた情報信号も地図処理部２０９での地図処理に用いられる。
これにより、撮影映像の地理情報システムの地図上への重ね合わせ表示をヘリコプタ搭乗員も見ることができる。
【００７５】
実施の形態６によれば、撮影映像の地理情報システムの地図上への重ね合わせ表示をヘリコプタ搭乗員も見ることができ、地上にいる人間と同じ撮影映像の位置情報等の状況認識が行えることとなり、例えば災害現場での被災情報収集作業や、人命救助作業や復旧作業等の効率的な連携作業を行うことができるようになる。
【００７６】
実施の形態７．
図１６は、この発明の実施の形態７による撮影映像処理システムを示す機能構成図である。
図１６において、撮影映像処理システムは、ヘリコプタ等の機体等に搭載され、撮影装置等を有する機上系１００（機上装置）と、地上系２００（地上装置）から成る。
機上系１００は、上空から地表を撮影するカメラである撮影装置１０１を有し、撮影装置１０１は、撮影した撮影映像を出力する。この撮影装置１０１は、ハンディカメラのような一般の撮影装置であり、カメラの絞り、ズーム等のカメラ情報や、カメラの撮影角度（パン、チルト）情報を持たない。
機上系１００は、さらに撮影装置１０１の位置を３次元的に特定するための情報をＧＰＳ信号受信部１０２を介して取得する機体位置検出部１０３（機体位置検出手段）を有している。
また、機上系１００は、撮影装置１０１からの撮影映像、機体位置検出部１０３からの機体位置情報を信号処理部１１５にて信号処理し、信号保存部１１６（保存手段）にて、記録メディア４０１にデジタル信号化された撮影映像、機体位置情報を保存する。
【００７７】
一方、地上系２００は、記録メディア４０１に保存された撮影映像、機体位置情報を再生する信号再生部２２０（再生手段）と、信号処理を行うための信号処理部２０４と、画面に地図を表示する地理情報システム（信号処理部２０４で処理された情報を含めて映像処理し、地図データに重畳させてモニタ表示部２１０に表示する地図処理部２０９）とを有している。地図処理部２０９の処理には、静止画データ２０５、動画データ２０６、地勢データ２０７、２次元地図データ２０８が用いられる。
【００７８】
実施の形態７では、記録メディア４０１に保存された撮影映像、機体位置情報は、撮影フライト終了後（ヘリコプタ帰還後）に、信号再生部２２０にて再生され、再生されたこれらの信号を信号処理部２０４で信号処理し、映像信号は、動画データ２０６、静止画データ２０５として格納され、次のステップである地図処理部２０９での地図処理に用いられる。その他、地理情報システムの２次元地図データ２０８、地勢データ２０７を含めた情報信号も、地図処理部２０９での地図処理に用いられる。地図処理部２０９の処理は、実施の形態１で説明したのと同じであり、撮影映像の地図上への重ね合わせ表示をモニタ表示部２１０により行う。
【００７９】
実施の形態７によれば、機上系１００に信号保存部１１６、地上系２００に信号再生部２２０を設けることで、図１における機上系１００の多重変調部１０４、信号変換部１０５、追尾機能部１０６と、地上系２００の追尾機能部２０１、信号変換部２０２、多重復調部２０３がない場合でも、撮影映像を地上系２００の地理情報システムの地図上にて重ね合わせ表示することができる。
【図面の簡単な説明】
【００８０】
【図１】この発明の実施の形態１による撮影映像処理システムを示す機能構成図である。
【図２】この発明の実施の形態１による撮影映像処理システムの地図処理部を示す概略図である。
【図３】この発明の実施の形態１による撮影映像処理システムの対応点入力部の入力方法を説明する図である。
【図４】この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中の撮影画枠計算で使用する画像中心点の角度パラメータを説明する図である。
【図５】この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中の撮影画枠計算で使用する画像対応点の角度パラメータを説明する図である。
【図６】この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中のカメラ姿勢計算方法を説明する図である。
【図７】この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中のカメラフレーム平面とカメラ画枠平面を説明する図である。
【図８】この発明の実施の形態１による撮影映像処理システムのカメラ画枠計算部を説明する図である。
【図９】この発明の実施の形態２による撮影映像処理システムの対応点入力部の入力方法を説明する図である。
【図１０】この発明の実施の形態３による撮影映像処理システムのカメラ姿勢計算部により計算されたカメラの姿勢情報を微調整するための画面を示す図である。
【図１１】この発明の実施の形態４による撮影映像処理システムの撮影装置を機体に固定させた状態を示す概念図である。
【図１２】この発明の実施の形態４による撮影映像処理システムの画面イメージを示す図である。
【図１３】この発明の実施の形態５による撮影映像処理システムを示す機能構成図である。
【図１４】この発明の実施の形態５による撮影映像処理システムのヘリコプタ機体の傾きを説明する図である。
【図１５】この発明の実施の形態６による撮影映像処理システムを示す機能構成図である。
【図１６】この発明の実施の形態７による撮影映像処理システムを示す機能構成図である。
【符号の説明】
【００８１】
１００ 機上系、１０１ 撮影装置、１０２ ＧＰＳ信号受信部、
１０３ 機体位置検出部、１０４ 多重変調部、１０５ 信号変換部、
１０６ 追尾機能部、１０７ 機体姿勢検出部、１０８ 信号処理部、
１０９ 静止画データ、１１０ 動画データ、１１１ 地勢データ、
１１２ ２次元地図データ、１１３ 地図処理部、１１４ モニタ表示部、
１１５ 信号処理部、１１６ 信号保存部、
２００ 地上系、２０１ 追尾機能部、２０２ 信号変換部、
２０３ 多重復調部、２０４ 信号処理部、２０５ 静止画データ、
２０６ 動画データ、２０７ 地勢データ、２０８ ２次元地図データ、
２０９ 地図処理部、２１０ モニタ表示部、２１１ 対応点入力部、
２１２ カメラ姿勢計算部、２１３ 画枠計算部、２１４ 映像変形部、
２１５ 重ね合わせ部、２２０ 信号再生部、
３０１ 画面、３０２ パン、３０３ チルト、３０４ ズーム、
４００ ヘリコプタ機体、４０１ 記録メディア。
【技術分野】
【０００１】
この発明は、機上系の撮影装置によって撮影された映像を、地上系の地理情報システムの地図上に重ね合わせ表示する撮影映像処理システム及び撮影映像処理装置並びに撮影映像表示方法に関するものである。
【背景技術】
【０００２】
特許文献１に記載された従来の撮影映像処理システムは、撮影装置（カメラ）等を搭載したヘリコプタなどの飛行体（機体）からなる機上系と、機上系からの映像及び信号を受信して処理する地上に設置された地上系とによって構成される。
【０００３】
機上系には、空中から地上を撮影するジンバル機構支持の撮影装置であるカメラが搭載されている。機体は、アンテナによるＧＰＳ信号受信により、現在の位置情報を得て、機体位置検出を行う機体位置検出部、及び機体の姿勢すなわち仰角（ピッチ）とロール角を検出する機体姿勢検出部を備えている。
機上系の撮影装置であるジンバル機構支持のカメラは、地上を撮影し、その映像信号を出力すると共にカメラの絞り、ズームなどのカメラ情報も併せて出力する。カメラはジンバル機構に取り付けられ、このジンバル機構は、カメラの回転角、傾き（チルト）を検出するカメラ姿勢検出部を有しており、その値を出力する。
機体姿勢検出部からの出力信号、カメラの映像信号、カメラ情報信号、カメラ姿勢検出部からの出力信号は、一時記憶にてバッファされ、機体位置検出部からの出力信号のタイミングに同期してデータを出力し、多重変換部で多重変調され、信号変換部でデジタル信号に信号変換され、追尾機能を有するアンテナから地上系に向けて送信される。
【０００４】
地上系では、機上系からの信号を追尾機能を有するアンテナで受信し、信号変換部で信号変換し、多重復調部を経て、映像信号及び機体位置、機体姿勢、カメラ姿勢、カメラ情報等の情報信号を取り出す。取り出されたこれらの信号を信号処理部で信号処理し、映像信号は、動画データ、静止画データとして格納され、次のステップである地図処理部での地図処理に用いられる。
地図処理部は、撮影信号である動画データ、静止画データと機体位置、機体姿勢、カメラ姿勢の情報信号及び地理情報システムの２次元地図データ、３次元地勢データにより処理を行うもので、撮影装置の撮影位置を３次元的に特定するための情報に基づいて、撮影装置が撮影した撮影映像の撮影範囲に対応する地理情報システムの地図上の撮影範囲を求め、この求められた撮影範囲に併せて、撮影映像を変形して重ね合わせてモニタ表示する。
【０００５】
【特許文献１】特開２００３−３１６２５９（第５〜１２頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の従来の撮影映像処理システムでは、機上系として、ジンバル機構に支持されたカメラが搭載され、カメラの映像信号の他に、カメラ情報、カメラ姿勢等の情報を検出・出力するカメラ姿勢検出部を有する必要がある。これらの撮影装置は、防振制御を行うための専用の機器であり、それなりの体積と質量を持つことになる。
撮影映像処理システムを消防・防災や、警備・哨戒の目的で、ヘリコプタ等の飛行体に適用する場合、事故・災害時に怪我人・病人等を搭載するスペース、救援物資など必要な荷物を搭載する質量・スペースの確保を優先させなければならないという問題や、撮影装置の搭載のために時間が必要なため、緊急出動できないという問題があった。
【０００７】
この発明は、上記のような課題を解決するためになされたものであり、機上系から撮影情報、撮影装置の姿勢などの情報を検出・出力しない撮影装置で撮影された映像を、地上系で地図上に重ね合わせて表示する撮影映像処理システム及び撮影映像処理装置並びに撮影映像表示方法を得ることを目的としている。
【課題を解決するための手段】
【０００８】
この発明に係わる撮影映像処理システムにおいては、機体に搭載され、撮影装置を搭載した撮影系、及び撮影装置により撮影された映像を地図上に重ね合わせて表示する映像処理系を備え、
撮影系は、撮影装置と、機体の位置を検出する機体位置検出手段と、撮影装置により撮影された映像及び機体位置検出手段により検出された機体位置情報を映像処理系に送信する送信手段とを有し、
映像処理系は、撮影系から送信された映像及び機体位置情報に基き、予め記憶された地図上に映像を重ね合わせる地図処理手段と、この地図処理手段により地図上に重ね合わせた映像を表示するモニタ表示手段とを有し、
地図処理手段は、映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように映像を変形して重ね合わせを行うものである。
【発明の効果】
【０００９】
この発明は、以上説明したように、機体に搭載され、撮影装置を搭載した撮影系、及び撮影装置により撮影された映像を地図上に重ね合わせて表示する映像処理系を備え、
撮影系は、撮影装置と、機体の位置を検出する機体位置検出手段と、撮影装置により撮影された映像及び機体位置検出手段により検出された機体位置情報を映像処理系に送信する送信手段とを有し、
映像処理系は、撮影系から送信された映像及び機体位置情報に基き、予め記憶された地図上に映像を重ね合わせる地図処理手段と、この地図処理手段により地図上に重ね合わせた映像を表示するモニタ表示手段とを有し、
地図処理手段は、映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように映像を変形して重ね合わせを行うので、撮影系の撮影装置は、撮影情報、撮影装置の姿勢等の情報を検出・出力する必要がなく、したがって一般的な撮影装置を用いて、撮影映像を地図上に重ね合わせて表示することができる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
以下、この発明の実施の形態１を図に基づいて説明する。
図１は、この発明の実施の形態１による撮影映像処理システムを示す機能構成図である。
図１において、撮影映像処理システムは、ヘリコプタ等の機体等に搭載され、撮影装置等を有する機上系１００（機上装置）（撮影系）と、地上にて機上系１００からの信号を受信して処理する地上系２００（地上装置）（映像処理系）から成る。
機上系１００は、上空から地表を撮影するカメラである撮影装置１０１を有し、撮影装置１０１は、撮影した撮影映像を出力する。この撮影装置１０１は、ハンディカメラのような一般の撮影装置であり、カメラの絞り、ズーム等のカメラ情報や、カメラの撮影角度（パン、チルト）情報を持たない。機上系１００は、さらに撮影装置１０１の位置を３次元的に特定するための情報をＧＰＳ信号受信部１０２を介して取得する機体位置検出部１０３（機体位置検出手段）を有している。
また、機上系１００は、撮影装置１０１からの撮影映像、機体位置検出部１０３からの機体位置情報を多重変調部１０４で多重変調し、信号変換部１０５でデジタル信号に信号変換し、追尾機能部１０６を有するアンテナ（送信手段）から地上系２００に向けて送信する。
【００１１】
地上系２００は、機上系１００からの信号を追尾機能部２０１を有するアンテナで受信し、信号変換部２０２で信号変換し、多重復調部２０３によって、映像情報、機体位置情報の信号を取り出す。また、取り出した情報に対し、信号処理を行うための信号処理部２０４と、画面に地図を表示する地理情報システム（信号処理部２０４で処理された情報を含めて映像処理し、地図データに重畳させてモニタ表示部２１０（モニタ表示手段）に表示する地図処理部２０９（地図処理手段））とを有している。
多重復調部２０３によって取り出されたこれらの信号を信号処理部２０４で信号処理し、映像信号は、動画データ２０６、静止画データ２０５として格納され、次のステップである地図処理部２０９での地図処理に用いられる。その他、地理情報システムの２次元地図データ２０８、地表の起伏をデータ化した地勢データ２０７を含めた情報信号も地図処理部２０９での地図処理に用いられる。
【００１２】
図２は、この発明の実施の形態１による撮影映像処理システムの地図処理部を示す概略図である。
図２において、地図処理部２０９は、映像信号である静止画データ２０５、動画データ２０６、機体位置の情報信号、及び地理情報システムの地勢データ２０７、２次元地図データ２０８に基き、処理を行う。
この地図処理部２０９は、静止画データ２０５にある特徴となる数点を選択し、地理情報システムの２次元地図データ２０８上で、画像の中心点及び静止画データから選択した特徴点に対応する地図上の対応点を選択・対応付けする対応点入力部２１１と、ヘリコプタの機体位置と対応点（数点）から、カメラの姿勢情報を計算するカメラ姿勢計算部２１２（撮影装置姿勢計算手段）と、撮影装置が撮影した撮影映像の撮影範囲に対応する地理情報システムの２次元地図データ２０８上の撮影範囲を求める画枠計算部２１３と、画枠計算部２１３で求められた撮影範囲に合わせて静止画データ２０５を変形する映像変形部２１４と、地図上の撮影範囲に、変形された撮影映像を重ね合わせ表示する重ね合わせ部２１５とから構成される。
【００１３】
図３は、この発明の実施の形態１による撮影映像処理システムの対応点入力部の入力方法を説明する図であり、図３（ａ）は静止画データ、図３（ｂ）は地図データである。
図３において、画像の中心点●と、特徴点★が示されている。
【００１４】
図４は、この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中の撮影画枠計算で使用する画像中心点の角度パラメータを説明する図である。
図４において、ヘリコプタの機体位置を原点とする座標軸ｘ、ｙ、ｚに、カメラの回転角φ０、カメラの傾きθ０が示されている。ｚ軸が高さ方向を示している。
【００１５】
図５は、この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中の撮影画枠計算で使用する画像対応点の角度パラメータを説明する図である。
図５において、ヘリコプタの機体位置を原点とする座標軸ｘ、ｙ、ｚに、ヘリコプタの機体位置からの回転角、傾きと、画像の中心点で求めたカメラの回転角、カメラの傾きとの差分△φ、△θが示されている。
【００１６】
図６は、この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中のカメラ姿勢計算方法を説明する図である。
図７は、この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中のカメラフレーム平面とカメラ画枠平面を説明する図である。
図７において、カメラの結像面であるカメラフレーム平面と、カメラによって撮影される地表の撮影平面であるカメラ画枠平面との関係が示されている。
【００１７】
図８は、この発明の実施の形態１による撮影映像処理システムのカメラ画枠計算部を説明する図である。
図８（ａ）は、画枠４点の位置を機体の位置を原点として相対座標として計算することを示し、図８（ｂ）は、カメラのチルト角度θ０からｚ軸方向に撮影画枠を回転することを示し、図８（ｃ）は、カメラの方位角φ０からｙ軸方向に撮影画枠を回転することを示し、図８（ｄ）は、カメラの撮影画枠を地表面に投象することで、地表面に投象された投象平面（撮影画枠）を得ることを示している。
【００１８】
次に、図２の地図処理部２０９の処理について説明する。
図２の地図処理部２０９では、まず、対応点入力部２１１で、静止画データ２０５から数点特徴点（例えば建物や交差点等）を選択し、地理情報システムの２次元地図データ２０８から、画像の中心点及び選択した特徴点に対応する地図上のポイントを選択・対応付けを行う。
次に、カメラ姿勢計算部２１２で、対応点入力部２１１で対応付けされた数点の情報と、ヘリコプタの機体位置情報とを元に、カメラ姿勢情報（カメラの回転角、傾き（チルト）、焦点距離）を計算する。
さらに、画枠計算部２１３で、機体位置情報により、空中における撮影位置を３次元的に特定し、カメラ姿勢情報に基づいて、撮影した地表面の撮影範囲（撮影画枠）を計算により求める画枠計算を行う。この画枠に合わせて映像変形部２１４により撮影映像の映像変形を行う。この映像変形は、撮影した映像が地図に一致する四角形になるように映像を変形するものである。
最後に、重ね合わせ部２１５で、変形した映像を地理情報システムの地図上に重ね合わせ（貼り合わせ）、その後、これをＣＲＴなどのモニタ表示手段２１０で表示する。
【００１９】
以下、地図処理部２０９の各部の処理について、さらに詳しく説明する。
まず、対応点入力部２１１の処理について説明する。
図３は、対応点入力部２１１で設定する静止画データ２０５と２次元地図データ２０８との画像の中心点及び特徴点とこれらの対応する地図上の対応点とを図に示したものである。図３（ａ）の●は、静止画データ２０５の画像の中心点を示し、図３（ａ）の★は、静止画データ２０５から選んだ特徴点である。図３（ｂ）の地図データにある●、★は、それぞれ図３（ａ）の静止画データで選択した画像の中心点及び特徴点に対応する地図上の対応点を示している。
対応点入力部２１１では、このように画像と地図の対応点を選択し、その位置情報をカメラ姿勢計算部２１２に送る。
【００２０】
次に、カメラ姿勢計算部２１２の処理について説明する。
画像の中心点に対応する地図上の対応点（図３における●印）を対応点入力部２１１で指定することにより、カメラ姿勢情報のうち、カメラの回転角および傾きを、まず求める。
地図処理部２０９には、機体位置情報（緯度、経度、高度）が入力されており、地図上で画像の中心点に対応する地点を選択することにより、その地点の３次元的位置情報（緯度、経度、高度）は、２次元地図データ２０８、地勢データ２０７から得られる。したがって、機体位置と画像中心点に対応する地点の相対的な位置関係を求めることができる。
そこで、図４に示すように、ヘリコプタの機体位置を原点（０、０、０）とし、地図上で指定した画像の中心点に対応する地点の座標を（ｘ０、ｙ０、ｈ）として、相対座標としてカメラ姿勢情報の計算を行う。
このカメラ姿勢情報として、カメラの回転角（φ０）、傾き（θ０）は、（式１）で求めることができる。
【００２１】
【数１】
【００２２】
同様に、静止画データ２０５上で選択した特徴点に対応した２次元地図データ２０８の対応点について、図５に示すように、ヘリコプタの機体位置（カメラ位置Ｃ）を原点（０、０、０）とし、地図で選択した対応点Ｂの座標を（ｘ１、ｙ１、ｈ）、ヘリコプタの機体位置からの回転角（φ１）、傾き（θ１）と、画像の中心点で求めたカメラ姿勢情報のカメラの回転角（φ０）、傾き（θ０）との差分を、それぞれ△φ、△θとするｘｙｚ空間を考えると、各点の座標は、以下のような（式２）で表すことができる。
【００２３】
【数２】
【００２４】
ここで、ｚ軸のまわりに角度φ０の回転を行う座標変換、画枠中心が原点になるように並進座標変換、ｘ軸のまわりに角度θ０の回転を行う座標変換を行うと、座標変換後のｘ’ｙ’ｚ’空間上の各座標は、図６に示すところにより、（式３）となる。
【００２５】
【数３】
【００２６】
直線Ｂ’Ｃ’とｘ’ｙ’平面との交点である地図対応点Ｂ"の座標（ｘ１”、ｙ１”、ｚ１”）は、（式４）となる。
【００２７】
【数４】
【００２８】
この（式３）、（式４）を整理すると、（式５）が求められる。
【００２９】
【数５】
【００３０】
次に、図５の地図対応点Ｂに対応するカメラフレームの静止画上の対応点βについて考えてみる。今、幅ＰＸ，高さＰＹ（ピクセル）上の静止画上の位置（ｐｘ、ｐｙ）に対応点βがある場合、画像中心を原点とした時の座標β（δｘ、δｙ）は、（式６）となる。
【００３１】
【数６】
【００３２】
また、カメラのフレームサイズを幅ＣＸ、高さＣＹ（ｍｍ）とすると、カメラフレーム上の対応点β’の座標は、（式７）となる。（カメラフレームの中心点の座標α’は（０、０、０）である）
【００３３】
【数７】
【００３４】
図７は、カメラ位置からカメラの焦点距離ｆ１（ｍｍ）離れた位置にあるカメラフレーム平面ＸＹと、カメラ位置からｈ／ｃｏｓθ０離れたｘ’ｙ’平面（図６）との関係を示している。
カメラフレーム平面ＸＹ上にある画像対応点β’（ｘｆ、ｙｆ）をｘ’ｙ’平面上に投影した座標β”（ｘｆ’、ｙｆ’）は、（式８）となる。
【００３５】
【数８】
【００３６】
今、画像対応点β’をｘ’ｙ’平面上に投影した座標β”と、地図対応点Ｂ”は、一致するので、（式９）の関係が成り立つ。
【００３７】
【数９】
【００３８】
上述の（式５）、（式８）、（式９）より、（式１０）が得られる。
【００３９】
【数１０】
【００４０】
このように、カメラ姿勢計算部２１２で、カメラの焦点距離ｆ、カメラの角度情報（回転角、傾き）を計算し、求めることができる。
【００４１】
次に、画枠計算部２１３の処理について説明する。
画枠計算部２１３は、カメラの撮影画枠の計算を行うが、この計算方法は、コンピュータグラフィックの基礎として、３Ｄ座標内の矩形（画枠）の回転移動と投象処理で得ることができる。
基本は、カメラの撮影画枠をカメラ姿勢情報と機体位置情報とによって変換処理を行い、地上へ投影した場合の図枠を計算することで、目的の画枠を得ることができる。
３次元座標内の各座標の計算方法は、以下（１）（２）（３）（４）に述べる行列計算方法を使用して得る。
【００４２】
（１）基準状態での撮影画枠の計算
まず、図８（ａ）に示すように、画枠４点の位置を機体の位置を原点として、相対座標として計算する。撮影画枠を、カメラの焦点距離、カメラの角度情報、高度によって、基準位置に計算し、４点の座標を得る。
【００４３】
（２）カメラのチルト（ｙ軸）にて、４点の回転後の位置を計算
図８（ｂ）に示すように、カメラのチルト角度θ０から、ｙ軸方向に撮影画枠を回転する。回転後の座標を、（式１１）で変換して求める。（式１１）では、ｘ、ｙ、ｚが図８（ａ）の４点の座標、ｘ’、ｙ’、ｚ’がこれに対応する図８（ｂ）の座標である。
【００４４】
【数１１】
【００４５】
（３）カメラの方位角（ｚ軸）にて、４点の回転後の位置を計算
図８（ｃ）に示すように、カメラの方位角φ０から、ｚ軸方向に撮影画枠を回転する。回転後の座標を、（式１２）で変換して求める。（式１２）では、ｘ、ｙ、ｚが図８（ｂ）の４点の座標、ｘ’、ｙ’、ｚ’がこれに対応する図８（ｃ）の座標である。
【００４６】
【数１２】
【００４７】
（４）回転処理後画枠を、原点（機体位置）から地表面（ｚ軸高度地点）に投影した図枠を計算
図８（ｄ）に示すように、撮影画枠を地表面（ｚ軸高度地点）に投象することで投象平面（撮影画枠）を得る。投影後の座標を、（式１３）で変換して求める。（式１３）では、ｘ、ｙ、ｚが図８（ｃ）の４点の座標、ｘ’、ｙ’、ｚ’がこれに対応する図８（ｄ）の座標である。
【００４８】
【数１３】
【００４９】
次の（式１４）で、一般同次座標系［Ｘ、Ｙ、Ｚ、Ｗ］を得る。但し、ｄは海抜高度である。
【００５０】
【数１４】
【００５１】
次に、一般同次座標系［Ｘ、Ｙ、Ｚ、Ｗ］をＷ（ｚ／ｄ）で割って、３次元座標系に戻すと、（式１５）となる。
【００５２】
【数１５】
【００５３】
次に、映像変形部２１４の処理について説明する。
上述のように、画枠計算部２１３で求めた画枠に合わせて、映像変形部２１４により映像変形を行う。この映像変形は、映像が地図に一致する台形あるいは菱形に近い形等になるように映像を変形するものである。
【００５４】
最後に、重ね合わせ部２１５により、変形した映像を地理情報システムの地図上に重ね合わせ（貼り合わせ）、その後、これをＣＲＴなどのモニタ表示手段２１０で表示する。
【００５５】
実施の形態１によれば、機上系として、特別な機構を持たない、ハンディカメラのような一般的な撮影装置で撮影された映像を元に、映像内の特徴点とそれに対応する地図上の対応点を対応付けすることにより、撮影装置が撮影した撮影映像の撮影範囲に対応する地理情報システムの地図上の撮影範囲を求め、この求められた撮影範囲に併せるように変形された撮影映像を、地図上の撮影範囲に重ね合わせて表示すると、映像と地図とが完全に一致し、映像情報と地図情報の整合性を確認することが容易となり、目標地点の判別が容易にできる。
このため、撮影装置は、ジンバル機構に支持されたカメラとして、カメラの映像信号の他に、カメラ情報、カメラ姿勢等の情報を検出・出力するカメラ姿勢検出部を有する専用のカメラである必要がなく、一般的なハンディカメラを用いることができる。
【００５６】
また、カメラで撮影した画枠の映像を地図上に重ね合わせて表示することができる他に、映像情報を消して、画枠だけを表示することも容易にできる。例えば、災害発生時の映像がある場合、画枠のみの表示にすることによって、災害現場が地図上の何処に相当するかが迅速に認識することができる。
【００５７】
実施の形態２．
図９は、この発明の実施の形態２による撮影映像処理システムの対応点入力部の入力方法を説明する図であり、図９（ａ）は静止画データ、図９（ｂ）は地図データである。
図９において、画像の中心点●と、特徴点★、▲が示されている。
【００５８】
図９は、対応点入力部２１１で設定する静止画データ２０５と２次元地図データ２０８の画像の中心点及び特徴点と地図上の対応点を図に示しており、図９（ａ）では、画像の中心点●と、それぞれ静止画データ２０５から選んだ特徴点★、▲が示されている。図９（ｂ）の地図データにある●、★、▲は、それぞれ図９（ａ）の静止画データで選択した画像の中心点及び特徴点に対応する地図上の対応点を示している。
対応点入力部２１１では、このように画像（静止画データ）と地図（地図データ）の対応点を複数点選択し、その位置情報をカメラ姿勢計算部２１２に送る。
（式１０）の通り、複数点の画像特徴点と地図対応点を指定すれば、同様に焦点距離ｆ１、ｆ２、・・・を求めることができる。カメラ姿勢計算部２１２では、求めた複数の焦点距離の平均値を求め、その値を採用することとする。
【００５９】
実施の形態２によれば、複数の画像上の特徴点及びそれに対応する地図の対応点を指定した場合、より精度の高い焦点距離を求められる。それにより、地図上に重ね合わせ表示される映像の貼り合わせ精度を向上させることができる。
【００６０】
実施の形態３．
図１０は、この発明の実施の形態３による撮影映像処理システムのカメラ姿勢計算部により計算されたカメラの姿勢情報を微調整するための画面を示す図である。
図１０において、画面３０１には、カメラ姿勢計算部２１２で求めたカメラの姿勢情報（パン、チルト、ズーム）を手動で微調節するためのパン３０２、チルト３０３、ズーム３０４の各数値設定部を設けている。
【００６１】
画面３０１には、カメラ姿勢計算部２１２で求めたカメラの姿勢情報のパン３０２、チルト３０３、ズーム３０４の各数値が、デフォルトで入力されており、それぞれの値を任意の値に変更することができる。
【００６２】
実施の形態３によれば、画像と地図の対応点の微妙なずれを修正し、かつ画面で重畳状態を確認することができるので、より精度の高い重ね合わせ表示を実現することができる。
【００６３】
実施の形態４．
図１１は、この発明の実施の形態４による撮影映像処理システムの撮影装置を機体に固定させた状態を示す概念図である。
図１１において、撮影装置１０１は、ヘリコプタ機体４００に固定されている。
図１２は、この発明の実施の形態４による撮影映像処理システムの画面イメージを示す図である。
【００６４】
図１１では、撮影装置１０１（カメラ）をヘリコプタ機体４００に固定させることで、ヘリコプタ機体４００から常に一定の角度で地上を撮影することになる。
これにより、実施の形態１〜実施の形態３のように、対応点入力部２１１で画像と地図上の対応を入力し、カメラ姿勢計算部２１２でカメラ姿勢情報の計算を一度行うと、ヘリコプタ機体４００の姿勢が変化しない場合には、それ以降、そのカメラ姿勢情報を用いて、図１２に示すように連続して撮影した映像を、地理情報システムの地図上に重ね合わせて表示することができる。
【００６５】
実施の形態４によれば、撮影した映像を広範囲に地図上に重ね合わせ表示することで、例えば、災害地域の広範囲な状況とその正確な位置情報を得ることができる。
【００６６】
実施の形態５．
図１３は、この発明の実施の形態５による撮影映像処理システムを示す機能構成図である。
図１３において、１００〜１０６、２００〜２１０は図１におけるものと同一のものである。図１３では、機上系１００に機体姿勢を検出する機体姿勢検出部１０７を設けている。
図１４は、この発明の実施の形態５による撮影映像処理システムのヘリコプタ機体の傾きを説明する図である。
図１４において、ヘリコプタ機体が傾いたときのロール角、進行方向ピッチ角並びに撮影装置の回転角と傾きが示されている。
【００６７】
実施の形態５は、ヘリコプタ等の機体等に搭載され、撮影装置などを有する機上系１００（機上装置）と、地上にて機上系１００からの信号を受信して処理する地上系２００（地上装置）から成る。
機上系１００は、上空から地表を撮影するカメラである撮影装置１０１を有し、撮影装置１０１は、撮影した撮影映像を出力する。この撮影装置１０１は、ハンディカメラのような一般の撮影装置であり、カメラの絞り、ズーム等のカメラ情報や、カメラの撮影角度（パン、チルト）情報を持たない。
機上系１００は、さらに撮影装置１０１の位置を３次元的に特定するための情報をＧＰＳ信号受信部１０２を介して取得する機体位置検出部１０３（機体位置検出手段）と、ヘリコプタ等の機体の姿勢を３次元的に特定するための機体姿勢検出部１０７（機体姿勢検出手段）を有している。
また、機上系１００は、撮影装置１０１からの撮影映像、機体位置検出部１０３からの位置情報、機体姿勢検出部１０７からの機体姿勢情報を多重変調部１０４で多重変調し、信号変換部１０５でデジタル信号に信号変換し、追尾機能部１０６を有するアンテナ（送信手段）から地上系２００に向けて送信する。
【００６８】
地上系２００は、機上系１００からの信号を追尾機能部２０１を有するアンテナで受信し、信号変換部２０２で信号変換し、多重復調部２０３によって、映像情報、機体位置情報、機体姿勢情報の信号を取り出す。
また、取り出した情報に対し、信号処理を行うための信号処理部２０４と、画面に地図を表示する地理情報システム（信号処理部２０４で処理された情報を含めて映像処理し、地図データに重畳させてモニタ表示部２１０に表示する地図処理部２０９）とを有している。
多重復調部２０３によって取り出された、機体姿勢情報を含むこれらの信号を信号処理部２０４で信号処理し、映像信号は、動画データ２０６、静止画データ２０５として格納され、次のステップである地図処理部２０９での地図処理に用いられる。その他、地理情報システムの２次元地図データ２０８、地勢データ２０７を含めた情報信号も地図処理部２０９での地図処理に用いられる。
【００６９】
これにより、図１４に示すように、ヘリコプタ等の機体が傾いて航行しながら撮影をした場合、そのヘリコプタの機体姿勢（ロール角、ピッチ角）を考慮した、地表面からのカメラ角度を得ることができる。
【００７０】
実施の形態５によれば、機上系に機体姿勢検出部を設けたので、ヘリコプタ等の機体が傾いて航行しながら撮影をした場合でも、そのヘリコプタの機体姿勢（ロール角、ピッチ角）を考慮した、地表面からのカメラ角度を得ることができ、地図上に重ね合わせ表示される映像の貼り合わせ精度を向上させることができる。
【００７１】
実施の形態６．
図１５は、この発明の実施の形態６による撮影映像処理システムを示す機能構成図である。
図１５において、１００〜１０６、２００〜２１０は図１におけるものと同一のものである。図１５では、機上系１００に、地上系と同様な信号処理部１０８、地図処理部１１３、モニタ表示部１１４、静止画データ１０９、動画データ１１０、地勢データ１１１、２次元地図データ１１２を設けている。
【００７２】
実施の形態６の撮影映像処理システムは、ヘリコプタ等の機体等に搭載され、撮影装置などを有する機上系１００（機上装置）と、地上にて機上系１００からの信号を受信して処理する地上系２００（地上装置）から成る。
機上系１００は、上空から地表を撮影するカメラである撮影装置１０１を有し、撮影装置１０１は、撮影した撮影映像を出力する。この撮影装置１０１は、ハンディカメラのような一般の撮影装置であり、カメラの絞り、ズーム等のカメラ情報や、カメラの撮影角度（パン、チルト）情報を持たない。
機上系１００は、さらに撮影装置１０１の位置を３次元的に特定するための情報をＧＰＳ信号受信部１０２を介して取得する機体位置検出部１０３（機体位置検出手段）を有している。
また、機上系１００は、撮影装置１０１からの撮影映像、機体位置検出部１０３からの機体位置情報を多重変調部１０４で多重変調し、信号変換部１０５でデジタル信号に信号変換し、追尾機能部１０６を有するアンテナ（送信手段）から地上系２００に向けて送信する。
【００７３】
さらに、機上系１００は、多重変調部１０４で変調する撮影装置１０１からの撮影映像、機体位置検出部１０３からの機体位置情報に対して、信号処理を行うための信号処理部１０８と、画面に地図を表示する地理情報システム（信号処理部１０８で処理された情報を含めて映像処理し、地図データに重畳させてモニタ表示部１１４に表示する地図処理部１１３）とを有している。
信号処理部１０８で信号処理し、映像信号は、動画データ１１０、静止画データ１０９として格納され、次のステップである地図処理部１１３での地図処理に用いられる。その他、地理情報システムの２次元地図データ１１２、地勢データ１１１を含めた情報信号も地図処理部１１３での地図処理に用いられる。
【００７４】
地上系２００は、機上系１００からの信号を、追尾機能部２０１を有するアンテナで受信し、信号変換部２０２で信号変換し、多重復調部２０３によって、映像情報、機体位置情報の信号を取り出す。
また、取り出した情報に対し、信号処理を行うための信号処理部２０４と、画面に地図を表示する地理情報システム（信号処理部２０４で処理された情報を含めて映像処理し、地図データに重畳させてモニタ表示部２１０に表示する地図処理部２０９）とを有している。
多重復調部２０３によって取り出された、これらの信号を信号処理部２０４で信号処理し、映像信号は、動画データ２０６、静止画データ２０５として格納され、次のステップである地図処理部２０９での地図処理に用いられる。その他、地理情報システムの２次元地図データ２０８、地勢データ２０７を含めた情報信号も地図処理部２０９での地図処理に用いられる。
これにより、撮影映像の地理情報システムの地図上への重ね合わせ表示をヘリコプタ搭乗員も見ることができる。
【００７５】
実施の形態６によれば、撮影映像の地理情報システムの地図上への重ね合わせ表示をヘリコプタ搭乗員も見ることができ、地上にいる人間と同じ撮影映像の位置情報等の状況認識が行えることとなり、例えば災害現場での被災情報収集作業や、人命救助作業や復旧作業等の効率的な連携作業を行うことができるようになる。
【００７６】
実施の形態７．
図１６は、この発明の実施の形態７による撮影映像処理システムを示す機能構成図である。
図１６において、撮影映像処理システムは、ヘリコプタ等の機体等に搭載され、撮影装置等を有する機上系１００（機上装置）と、地上系２００（地上装置）から成る。
機上系１００は、上空から地表を撮影するカメラである撮影装置１０１を有し、撮影装置１０１は、撮影した撮影映像を出力する。この撮影装置１０１は、ハンディカメラのような一般の撮影装置であり、カメラの絞り、ズーム等のカメラ情報や、カメラの撮影角度（パン、チルト）情報を持たない。
機上系１００は、さらに撮影装置１０１の位置を３次元的に特定するための情報をＧＰＳ信号受信部１０２を介して取得する機体位置検出部１０３（機体位置検出手段）を有している。
また、機上系１００は、撮影装置１０１からの撮影映像、機体位置検出部１０３からの機体位置情報を信号処理部１１５にて信号処理し、信号保存部１１６（保存手段）にて、記録メディア４０１にデジタル信号化された撮影映像、機体位置情報を保存する。
【００７７】
一方、地上系２００は、記録メディア４０１に保存された撮影映像、機体位置情報を再生する信号再生部２２０（再生手段）と、信号処理を行うための信号処理部２０４と、画面に地図を表示する地理情報システム（信号処理部２０４で処理された情報を含めて映像処理し、地図データに重畳させてモニタ表示部２１０に表示する地図処理部２０９）とを有している。地図処理部２０９の処理には、静止画データ２０５、動画データ２０６、地勢データ２０７、２次元地図データ２０８が用いられる。
【００７８】
実施の形態７では、記録メディア４０１に保存された撮影映像、機体位置情報は、撮影フライト終了後（ヘリコプタ帰還後）に、信号再生部２２０にて再生され、再生されたこれらの信号を信号処理部２０４で信号処理し、映像信号は、動画データ２０６、静止画データ２０５として格納され、次のステップである地図処理部２０９での地図処理に用いられる。その他、地理情報システムの２次元地図データ２０８、地勢データ２０７を含めた情報信号も、地図処理部２０９での地図処理に用いられる。地図処理部２０９の処理は、実施の形態１で説明したのと同じであり、撮影映像の地図上への重ね合わせ表示をモニタ表示部２１０により行う。
【００７９】
実施の形態７によれば、機上系１００に信号保存部１１６、地上系２００に信号再生部２２０を設けることで、図１における機上系１００の多重変調部１０４、信号変換部１０５、追尾機能部１０６と、地上系２００の追尾機能部２０１、信号変換部２０２、多重復調部２０３がない場合でも、撮影映像を地上系２００の地理情報システムの地図上にて重ね合わせ表示することができる。
【図面の簡単な説明】
【００８０】
【図１】この発明の実施の形態１による撮影映像処理システムを示す機能構成図である。
【図２】この発明の実施の形態１による撮影映像処理システムの地図処理部を示す概略図である。
【図３】この発明の実施の形態１による撮影映像処理システムの対応点入力部の入力方法を説明する図である。
【図４】この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中の撮影画枠計算で使用する画像中心点の角度パラメータを説明する図である。
【図５】この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中の撮影画枠計算で使用する画像対応点の角度パラメータを説明する図である。
【図６】この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中のカメラ姿勢計算方法を説明する図である。
【図７】この発明の実施の形態１による撮影映像処理システムのカメラ姿勢計算部の中のカメラフレーム平面とカメラ画枠平面を説明する図である。
【図８】この発明の実施の形態１による撮影映像処理システムのカメラ画枠計算部を説明する図である。
【図９】この発明の実施の形態２による撮影映像処理システムの対応点入力部の入力方法を説明する図である。
【図１０】この発明の実施の形態３による撮影映像処理システムのカメラ姿勢計算部により計算されたカメラの姿勢情報を微調整するための画面を示す図である。
【図１１】この発明の実施の形態４による撮影映像処理システムの撮影装置を機体に固定させた状態を示す概念図である。
【図１２】この発明の実施の形態４による撮影映像処理システムの画面イメージを示す図である。
【図１３】この発明の実施の形態５による撮影映像処理システムを示す機能構成図である。
【図１４】この発明の実施の形態５による撮影映像処理システムのヘリコプタ機体の傾きを説明する図である。
【図１５】この発明の実施の形態６による撮影映像処理システムを示す機能構成図である。
【図１６】この発明の実施の形態７による撮影映像処理システムを示す機能構成図である。
【符号の説明】
【００８１】
１００ 機上系、１０１ 撮影装置、１０２ ＧＰＳ信号受信部、
１０３ 機体位置検出部、１０４ 多重変調部、１０５ 信号変換部、
１０６ 追尾機能部、１０７ 機体姿勢検出部、１０８ 信号処理部、
１０９ 静止画データ、１１０ 動画データ、１１１ 地勢データ、
１１２ ２次元地図データ、１１３ 地図処理部、１１４ モニタ表示部、
１１５ 信号処理部、１１６ 信号保存部、
２００ 地上系、２０１ 追尾機能部、２０２ 信号変換部、
２０３ 多重復調部、２０４ 信号処理部、２０５ 静止画データ、
２０６ 動画データ、２０７ 地勢データ、２０８ ２次元地図データ、
２０９ 地図処理部、２１０ モニタ表示部、２１１ 対応点入力部、
２１２ カメラ姿勢計算部、２１３ 画枠計算部、２１４ 映像変形部、
２１５ 重ね合わせ部、２２０ 信号再生部、
３０１ 画面、３０２ パン、３０３ チルト、３０４ ズーム、
４００ ヘリコプタ機体、４０１ 記録メディア。
【特許請求の範囲】
【請求項１】
機体に搭載され、撮影装置を搭載した撮影系、及び上記撮影装置により撮影された映像を地図上に重ね合わせて表示する映像処理系を備え、
上記撮影系は、上記撮影装置と、上記機体の位置を検出する機体位置検出手段と、上記撮影装置により撮影された映像及び上記機体位置検出手段により検出された機体位置情報を上記映像処理系に送信する送信手段とを有し、
上記映像処理系は、上記撮影系から送信された上記映像及び機体位置情報に基き、予め記憶された地図上に上記映像を重ね合わせる地図処理手段と、この地図処理手段により上記地図上に重ね合わせた映像を表示するモニタ表示手段とを有し、
上記地図処理手段は、上記映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、上記映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように上記映像を変形して上記重ね合わせを行うことを特徴とする撮影映像処理システム。
【請求項２】
上記撮影系は、上記機体の姿勢を取得する機体姿勢検出手段を有し、この機体姿勢検出手段により取得された機体の姿勢情報は、上記映像処理系に送信され、上記地図処理手段による上記映像の重ね合わせに用いられることを特徴とする請求項１記載の撮影映像処理システム。
【請求項３】
上記撮影系の撮影装置は、上記機体に固定されていることを特徴とする請求項１記載の撮影映像処理システム。
【請求項４】
上記地図処理手段は、映像内の特徴点とそれに対応する地図上の対応点に基き、上記撮影装置の姿勢を計算する撮影装置姿勢計算手段を有し、この撮影装置姿勢計算手段によって計算された上記撮影装置の姿勢に基き、上記映像の撮影範囲に対応する地図上の撮影範囲を求めることを特徴とする請求項１記載の撮影映像表示方法。
【請求項５】
上記撮影装置姿勢計算手段により計算された上記撮影装置の姿勢は、上記計算後に数値入力によって微調整されることを特徴とする請求項４記載の撮影映像表示方法。
【請求項６】
上記映像処理系の上記地図処理手段と上記モニタ表示手段とを、上記撮影系にも設けたことを特徴とする請求項１記載の撮影映像処理システム。
【請求項７】
機体に搭載され、撮影装置を搭載した撮影系、及び上記撮影装置により撮影された映像を地図上に重ね合わせて表示する映像処理系を備え、
上記撮影系は、上記撮影装置と、上記機体の位置を検出する機体位置検出手段と、上記撮影装置により撮影された映像及び上記機体位置検出手段により検出された機体位置情報を保存する保存手段とを有し、
上記映像処理系は、上記保存手段により保存された映像及び機体位置情報を再生する再生手段と、この再生手段により再生された上記映像及び機体位置情報に基き、予め記憶された地図上に上記映像を重ね合わせる地図処理手段と、この地図処理手段により上記地図上に重ね合わせた映像を表示するモニタ表示手段とを有し、
上記地図処理手段は、上記映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、上記映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように上記映像を変形して上記重ね合わせを行うことを特徴とする撮影映像処理システム。
【請求項８】
機体に搭載された撮影装置により撮影され、機体位置検出手段により検出された機体位置情報と共に送信された映像を地図上に重ね合わせて表示する撮影映像処理装置において、
上記送信された上記映像及び機体位置情報に基き、予め記憶された地図上に上記映像を重ね合わせる地図処理手段を備え、
上記地図処理手段は、上記映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、上記映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように上記映像を変形して上記重ね合わせを行うことを特徴とする撮影映像処理装置。
【請求項９】
空中から撮影された映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、上記映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように上記映像を変形して上記地図上の撮影範囲に上記映像を重ね合わせて表示することを特徴とする撮影映像表示方法。
【請求項１０】
上記映像内の特徴点とこれに対応する地図上の対応点は、それぞれ複数について対応付けされることを特徴とする請求項９記載の撮影映像表示方法。
【請求項１１】
映像内の特徴点とそれに対応する地図上の対応点に基き、上記撮影装置の姿勢が計算され、この計算された上記撮影装置の姿勢に基き、上記映像の撮影範囲に対応する地図上の撮影範囲が求められると共に、上記撮影装置の姿勢は、上記計算後に数値入力によって微調整されることを特徴とする請求項９または請求項１０記載の撮影映像表示方法。
【請求項１】
機体に搭載され、撮影装置を搭載した撮影系、及び上記撮影装置により撮影された映像を地図上に重ね合わせて表示する映像処理系を備え、
上記撮影系は、上記撮影装置と、上記機体の位置を検出する機体位置検出手段と、上記撮影装置により撮影された映像及び上記機体位置検出手段により検出された機体位置情報を上記映像処理系に送信する送信手段とを有し、
上記映像処理系は、上記撮影系から送信された上記映像及び機体位置情報に基き、予め記憶された地図上に上記映像を重ね合わせる地図処理手段と、この地図処理手段により上記地図上に重ね合わせた映像を表示するモニタ表示手段とを有し、
上記地図処理手段は、上記映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、上記映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように上記映像を変形して上記重ね合わせを行うことを特徴とする撮影映像処理システム。
【請求項２】
上記撮影系は、上記機体の姿勢を取得する機体姿勢検出手段を有し、この機体姿勢検出手段により取得された機体の姿勢情報は、上記映像処理系に送信され、上記地図処理手段による上記映像の重ね合わせに用いられることを特徴とする請求項１記載の撮影映像処理システム。
【請求項３】
上記撮影系の撮影装置は、上記機体に固定されていることを特徴とする請求項１記載の撮影映像処理システム。
【請求項４】
上記地図処理手段は、映像内の特徴点とそれに対応する地図上の対応点に基き、上記撮影装置の姿勢を計算する撮影装置姿勢計算手段を有し、この撮影装置姿勢計算手段によって計算された上記撮影装置の姿勢に基き、上記映像の撮影範囲に対応する地図上の撮影範囲を求めることを特徴とする請求項１記載の撮影映像表示方法。
【請求項５】
上記撮影装置姿勢計算手段により計算された上記撮影装置の姿勢は、上記計算後に数値入力によって微調整されることを特徴とする請求項４記載の撮影映像表示方法。
【請求項６】
上記映像処理系の上記地図処理手段と上記モニタ表示手段とを、上記撮影系にも設けたことを特徴とする請求項１記載の撮影映像処理システム。
【請求項７】
機体に搭載され、撮影装置を搭載した撮影系、及び上記撮影装置により撮影された映像を地図上に重ね合わせて表示する映像処理系を備え、
上記撮影系は、上記撮影装置と、上記機体の位置を検出する機体位置検出手段と、上記撮影装置により撮影された映像及び上記機体位置検出手段により検出された機体位置情報を保存する保存手段とを有し、
上記映像処理系は、上記保存手段により保存された映像及び機体位置情報を再生する再生手段と、この再生手段により再生された上記映像及び機体位置情報に基き、予め記憶された地図上に上記映像を重ね合わせる地図処理手段と、この地図処理手段により上記地図上に重ね合わせた映像を表示するモニタ表示手段とを有し、
上記地図処理手段は、上記映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、上記映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように上記映像を変形して上記重ね合わせを行うことを特徴とする撮影映像処理システム。
【請求項８】
機体に搭載された撮影装置により撮影され、機体位置検出手段により検出された機体位置情報と共に送信された映像を地図上に重ね合わせて表示する撮影映像処理装置において、
上記送信された上記映像及び機体位置情報に基き、予め記憶された地図上に上記映像を重ね合わせる地図処理手段を備え、
上記地図処理手段は、上記映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、上記映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように上記映像を変形して上記重ね合わせを行うことを特徴とする撮影映像処理装置。
【請求項９】
空中から撮影された映像内の特徴点とこれに対応する地図上の対応点とを対応付けされることにより、上記映像の撮影範囲に対応する地図上の撮影範囲を求め、この求めた撮影範囲に合わせるように上記映像を変形して上記地図上の撮影範囲に上記映像を重ね合わせて表示することを特徴とする撮影映像表示方法。
【請求項１０】
上記映像内の特徴点とこれに対応する地図上の対応点は、それぞれ複数について対応付けされることを特徴とする請求項９記載の撮影映像表示方法。
【請求項１１】
映像内の特徴点とそれに対応する地図上の対応点に基き、上記撮影装置の姿勢が計算され、この計算された上記撮影装置の姿勢に基き、上記映像の撮影範囲に対応する地図上の撮影範囲が求められると共に、上記撮影装置の姿勢は、上記計算後に数値入力によって微調整されることを特徴とする請求項９または請求項１０記載の撮影映像表示方法。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図３】
【図９】
【図１０】
【図１２】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図３】
【図９】
【図１０】
【図１２】
【公開番号】特開２００７−２４１０８５（Ｐ２００７−２４１０８５Ａ）
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願番号】特願２００６−６６１１７（Ｐ２００６−６６１１７）
【出願日】平成１８年３月１０日（２００６．３．１０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願日】平成１８年３月１０日（２００６．３．１０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]