目標物位置特定装置および目標物位置特定方法
【課題】機上で撮影した映像の３次元処理を機上で行うには重量および動作環境の点で問題があり、また撮影した被災地点の空間的な位置を簡単に特定できる目標物位置特定装置を得る必要があった。
【解決手段】ヘリコプタに搭載した送信局１００と地上の受信局２００で構成され、送信局は、映像入力装置１１１で撮影した映像を地上に送信すると共に、ヘリコプタのフライト情報、および機上の操作者が入力装置１３２で指定した目標物の座標情報と指定した時点の時刻情報のデータを地上に送信し、受信局は受信した時刻情報をキーに映像解析装置２３０で過去の撮影映像から３次元モデルを生成し、指定された目標物の３次元位置を特定するようにした。
【解決手段】ヘリコプタに搭載した送信局１００と地上の受信局２００で構成され、送信局は、映像入力装置１１１で撮影した映像を地上に送信すると共に、ヘリコプタのフライト情報、および機上の操作者が入力装置１３２で指定した目標物の座標情報と指定した時点の時刻情報のデータを地上に送信し、受信局は受信した時刻情報をキーに映像解析装置２３０で過去の撮影映像から３次元モデルを生成し、指定された目標物の３次元位置を特定するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、災害が発生している目標物などを空中から撮影し、その目標物の位置を正確に特定することができる目標物位置特定装置および目標物位置特定方法に関するものである。
【背景技術】
【０００２】
従来から、例えば水害や地震などの大規模な災害が発生すると、ヘリコプタなどによって災害現場を撮影し、その撮影映像から災害の程度や緊急対策が必要な箇所の有無の確認を行っている。また、火災が発生して直ちに消火活動を行わなければならないような場合は、撮影映像から火災現場の地点を特定して消防車両などを急行させている。このようなシステムはヘリテレシステムと称され、ヘリコプタ側に搭載された送信局と地上側に設置された受信局とで構成される。
【０００３】
このようにヘリコプタによって空中から災害現場を撮影し、その撮影映像の位置を正確に表示する方法として、撮影映像を地上に送信すると同時に、ヘリコプタの位置情報とテレビカメラの方向及び機体の姿勢情報から撮影位置の３次元的特定処理を行い、地上で受信した撮影位置データに対応する属性データ（住所や建物名など）を電子地図から抽出して、この属性データを文字データとして地上で受信した撮影映像に付加して表示装置に表示することにより、ヘリコプタからの撮影映像への位置情報を表示するようにしたものがある。（特許文献１参照）
また地面の３次元的形状を認識する地形認識装置および地形認識方法として、ステレオ画像を用いて最新の地勢データを計算する手法も知られている。（特許文献２参照）
【０００４】
【特許文献１】特開２００４−２２６１９０公報
【特許文献２】特開２００４−１５１８８３公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の特許文献１に記載されたものは、ヘリコプタから地上に伝送された撮影映像およびフライト情報と、電子地図に蓄積された地表面の起伏についての高度情報を含む三次元な地勢データとから、撮影範囲の中心点の地表面上での位置を特定しており、三次元な地勢データをあらかじめ作成しておく必要がある。このため、地勢データが存在しない地域では利用できなく、また任意の位置を指定することは出来ないという課題があった。また、地震や土砂崩れなどにより地形が変形した場合に、被災直後は変形を加味した最新の地勢データは入手できないため、正確な位置の特定ができないという課題があった。
【０００６】
さらに被災情報を収集してシステムに登録する作業にあたっては、情報が限られている地上の会議室ではなく、被災現場上空で作業をしているヘリコプタで行うことが望ましい。しかしながら、上記の空撮映像から三次元（３Ｄ）モデルを生成する方法では、三次元モデルの生成に多くの演算が必要であるため、演算部の高速化、大型化が必要である。ところが、ヘリコプタに搭載する機材は、温度特性、耐振動性、電波特性などの厳しい条件が求められる。また運用上の面でも、ヘリコプタの機内は設置スペースが限られており、積載重量にも制限があるため、機材は小型で軽量なものが望ましい。そのため、ヘリコプタの機内に三次元モデルを生成する高速な演算部を設置することは困難である。その結果、機上で被災情報の三次元情報を登録することは困難である、という課題があった。
【０００７】
また、三次元情報の登録を地上側で行う場合にも、ヘリコプタと地上の受信局間のデー
タ伝送路は一般に大量のデータ伝送には向いておらず、三次元モデルの生成に必要な静止画を地上ではリアルタイムに入手できないため、地上で三次元情報を登録することもできない、という課題があった。
【０００８】
この発明は、上記のような課題を解決するためになされたものであり、機上で被災地点などの目標物の位置を指定し、地上で三次元モデムを生成して目標物の空間的な位置を特定できる目標物位置特定装置および目標物位置特定方法を得ることを目的とするものである。
【課題を解決するための手段】
【０００９】
この発明の目標物位置特定装置は、空中移動体に搭載される送信局と地上に設置される受信局とで構成される目標物位置特定装置において、送信局には、映像を撮影して出力する映像入力装置と、映像入力装置で撮影した映像を表示する映像表示装置と、空中移動体のフライト情報を取得するフライト情報取得装置と、映像入力装置で撮影した映像から目標物を指定する入力装置と、フライト情報、入力装置により指定した目標物の座標情報および指定した時点の時刻情報を処理する信号処理装置と、映像入力装置で撮影した映像、信号処理装置で処理されたフライト情報、座標情報および時刻情報を受信局に送信する送信装置とを備え、受信局には、送信装置が送信した映像、フライト情報、座標情報および時刻情報を受信する受信装置と、受信した時刻情報をキーに過去の映像およびフライト情報を用いて３次元モデルを生成し、受信した目標物の座標情報の３次元位置を特定する映像解析装置とを備えたものである。
【００１０】
この発明の目標物位置特定方法は、空中移動体に搭載したテレビカメラにより地上の映像を撮影し、その撮影映像を地上に送信し、撮影映像を撮影した際の空中移動体の位置、姿勢、テレビカメラの向き、傾き、ズーム、時刻を有するフライト情報、および撮影映像中で指定した目標物の座標情報と指定した時点の時刻情報を地上に送信し、地上で受信した撮影映像と時刻情報をキーに過去の映像およびフライト情報を用いて３次元モデルを生成し、受信した目標物の座標情報の３次元位置を特定するようにしたものである。
【発明の効果】
【００１１】
この発明によれば、撮影映像を３次元モデルとして処理するのに、空中移動体側と地上側とで分割して行い、計算量の多い処理を地上側で行うことにより、空中移動体側の装置の処理量を減らすことができる。その結果空中移動体側の装置を簡易なものにでき、小型で軽量化できる。さらに、空中移動体側の映像画面中で指定した目標物の位置を、地上側で３次元位置として特定することができるので、あらかじめ地表面の起伏についての高度情報を含む三次元な地勢データが蓄積された電子地図を用意する必要もないし、映像中の任意の点を目標物として指定することもできる。
【発明を実施するための最良の形態】
【００１２】
実施の形態１．
以下、この発明の実施の形態１における目標物位置特定装置を図に基づいて説明する。図１はこの発明の実施の形態１を示すシステム構成図、図２はこの発明の実施形態１の動作を説明するフロー図である。
図１において、目標物位置特定装置は、ヘリコプタや飛行機などの空中移動体に搭載される送信局１００と地上に設置される受信局２００とで構成される。なお以下の説明では空中移動体としてヘリコプタを使用した場合について説明する。
【００１３】
ヘリコプタに搭載される送信局１００は、空中から災害現場などを撮影し、その撮影映像を地上の受信局２００に伝送するもので、現場の映像を撮影するテレビカメラとその映像信号を出力する手段からなる映像入力装置１１１と、撮影時のヘリコプタのフライト情
報を取得するフライト情報取得装置１１２と、映像やフライト情報を処理する信号処理装置１２０と、映像入力装置１１１で撮影した映像を表示する映像表示装置１３１と、撮影映像から目標物を指定する入力装置１３２と、映像入力装置１１１で撮影した映像とフライト情報取得装置１１２で取得したフライト情報等のデータとを受信局２００に送信する送信装置１４０とからなる。
【００１４】
さらに信号処理装置１２０は、映像入力装置１１１からの映像とフライト情報取得装置１１２からのフライト情報を分岐して、それぞれ蓄積、出力する情報管理部１２１と、入力装置１３２で指定された映像上での目標物の表示位置をピクセル座標値で取得すると共に指定した時点の時刻情報を取得する目標物情報取得部１２２とからなる。
なお映像入力装置１１１のテレビカメラはヘリコプタに搭載したジンバル機構に支持され、フライト情報取得装置１１２によってカメラの向き、傾き、ズームの情報は勿論のこと、ヘリコプタの位置や姿勢および時刻の情報がフライト情報として取得される。
送信装置１４０は、情報管理部１２１で得られたフライト情報と目標物座標取得部１２２で得られた目標物のピクセル座標値の座標情報および目標物を指定した時点の時刻情報とをデータとして受信局２００に送信するものである。
【００１５】
地上に設置される受信局２００は、送信装置１４０から伝送された映像信号とデータとを受信する受信装置２１０と、受信装置２１０で受信した映像とデータとを蓄積する情報管理部２２１と、情報管理部２２１に蓄積された映像から目標物の空間的な位置を特定する映像解析装置２３０とからなる。さらに映像解析装置２３０は、受信装置２１０で受信したデータから目標物の空間的な位置を演算する位置特定部２３１と、目標物の位置の特定に利用する三次元の擬似映像である３次元モデルを生成する３Ｄモデル生成部２３２とからなる。
【００１６】
次に図１に示す目標物位置特定装置における目標物位置特定方法を図２に基づいて説明する。図２に示すフロー図において、初めに、映像とフライト情報の伝送手順について説明する。
図２のステップＳ２１は、送信局１００において、映像入力装置１１１のテレビカメラが災害現場などにおける時々刻々の映像を撮影して信号処理装置１２０の情報管理部１２１に出力し、映像を蓄積する。
ステップＳ２２は、フライト情報取得装置１１２が映像と同期して送信局１００を搭載したヘリコプタにおける時々刻々のフライト情報を取得して、信号処理装置１２０の情報管理部１２１に出力し、フライト情報を蓄積する。ここでフライト情報とは、ヘリコプタの位置および姿勢、映像入力装置１１１のカメラの向き、傾き、ズーム、および時刻の情報である。
【００１７】
ステップＳ２３は、信号処理装置１２０の情報管理部１２１は入力された映像を、映像表示装置１３１に出力し、映像表示装置１３１は映像入力装置１１１が撮影した時々刻々の映像を画面に表示する。
ステップＳ２４は、映像入力装置１１１が撮影した時々刻々の映像を信号処理装置１２０の情報管理部１２１から送信装置１４０に出力し、送信装置１４０から受信局２００に送信する。また、フライト情報取得装置１１２が取得したフライト情報を信号処理装置１２０の情報管理部１２１から送信装置１４０に出力し、送信装置１４０は映像の送信と同期して時々刻々のフライト情報を受信局２００に送信する。このようにして送信局１００から受信局２００に対して、映像信号と、映像信号に同期してフライト情報が送信される。
【００１８】
次に、ステップＳ２５は、受信局２００において、送信局１００の送信装置１４０から送信された映像とフライト情報などのデータとを受信装置２１０で受信する。
ステップＳ２６は、受信装置２１０で受信した映像およびフライト情報を情報管理部２２１に蓄積する。映像とフライト情報は受信時にも同期がとれており、情報管理部２２１に蓄積する際には、映像とフライト情報は時刻などの情報をキーに、関連付けて蓄積する。
【００１９】
上記のように映像とフライト情報が同期して伝送され、蓄積されている状態で、機上の映像表示装置１３１で被災地点を確認した際に、その位置情報を地上で取得するための方法について説明する。
送信局１００において、操作者は映像表示装置１３１に表示された映像中で火災や倒壊などを確認すると、入力装置１３２によって映像中で火災や倒壊などの建物の目標物を指定することができる。
ステップＳ２７は、入力装置１３２により映像表示装置１３１に表示された映像中の画枠内で目標物を指定する。この目標物を指定する方法としてはマウスでクリックする、タッチパネルでタッチする、カメラを操作して目標物が映像中の中心等に来るようにして目標物をロックするなどで行うことができる。
ステップＳ２８は、入力装置１３２で指定された目標物の表示位置をピクセル座標値で得た座標情報と目標物が指定された時点の時刻情報を信号処理装置１２０の目標物情報取得部１２２で取得し蓄積する。
ステップＳ２９は、信号処理装置１２０の目標物情報取得部１２２で取得した、目標物の座標情報と目標物が指定された時点の時刻情報を、送信装置１４０に出力し、送信装置１４０から受信局２００に目標物の座標情報と時刻情報を送信する。
【００２０】
次に受信局２００で受信した撮影映像とフライト情報および目標物の座標情報と時刻情報に基づき目標物を特定する動作を説明する。
ステップＳ３１は、受信局２００において、送信装置１４０から送信された目標物の座標情報と時刻情報を受信装置２１０が受信する。
ステップＳ３２は、受信装置２１０が目標物の座標情報と時刻情報を受信すると、これらの情報を映像解析装置２３０の位置特定部２３１に出力し、映像解析装置２３０の位置特定部２３１は受信した座標情報と時刻情報を３Ｄモデル生成部２３２に出力する。３Ｄモデル生成部２３２は、位置特定部２３１から出力された時刻情報を基に、送信局１００で目標物を指定した時刻に対応したフライト情報を情報管理部２２１から取得する。
【００２１】
ステップＳ３３は、３Ｄモデル生成部２３２が時刻情報をキーとして、情報管理部２２１に蓄積されている過去の映像から目標物を指定した時刻前後の時刻に対応する静止画を生成する。
ステップＳ３４は、３Ｄモデル生成部２３２が、生成した静止画とフライト情報をソースとして、撮影映像の３次元モデルを生成する。こうして３Ｄモデル生成部２３２は、目標物を指定した時刻での３次元モデルを生成することになる。
【００２２】
ここで、静止画から３次元モデルを生成するので、静止画中の任意の点は、３次元モデル中の点に一意に対応づけることができる。また、３次元モデルの生成に使用した静止画に関しては、撮影時刻のフライト情報から撮影範囲が地表上のどこと対応するか、を計算することができるので、それを元に作成した３次元モデルも実空間中の位置を計算することができる。つまり、３次元モデル中の点を実空間の位置（緯度、経度、高度）に一意に対応付ける事ができる。
よって、ステップＳ３５は、３Ｄモデル生成部２３２が、機上から目標物の位置を画像中のピクセル座標値で指定して送信された座標情報を取得しているから、この座標情報をステップＳ３４で生成した３次元モデルに表示（例えば目標物に×印を付すなど）することで、目標物の位置を特定できる。こうして、地上側で撮影映像の３次元モデルに目標物の空間的な位置情報を取得することができる。
【００２３】
一般的に３次元処理には、映像からの画像フレームの抽出、画像解析による目標物の特定、画像同士のマッチング演算、３Ｄ基礎データとの照らし合わせ、など多くの処理が必要であるが、この発明の実施の形態１では、ヘリコプタ側の送信局では、映像、フライト情報、座標情報、時刻情報を地上の受信局に送り、これらのデータを用いる３次元処理を地上の受信局で行い、計算量の多い処理を地上側で実施しているから、ヘリコプタ側の装置の処理を減らして小型で軽量化できる。さらに、ヘリコプタ側の映像画面中で目標物の位置を任意に指定でき、地上側で３次元モデルの映像に目標物の位置として簡単に特定することができる。
【００２４】
実施の形態２．
次にこの発明の実施の形態２における目標物位置特定方法について説明する。上記した実施の形態１のステップＳ２４において、信号処理装置１２０の情報管理部１２１は、フライト情報取得装置１１２が取得したフライト情報を蓄積し圧縮を行う。さらに情報管理部１２１はあらかじめ設定された所定の送信周期、または都度入力されるユーザの送信命令をトリガーとして圧縮したフライト情報を映像とは非同期に送信装置１４０に出力し、送信装置１４０から受信局２００に目標物の座標情報と時刻情報を送信する。
このようにすることで、データの伝送頻度を下げることができる他、フライト情報を圧縮して送信することができるのでデータ送信装置で伝送されるデータ量を削減できる。
【００２５】
実施の形態３．
次にこの発明の実施の形態３における目標物位置特定装置について説明する。上記した実施の形態１では、映像とデータを送信装置１４０で送信する場合について述べたが、実施の形態３の発明では、映像とデータを別々にして送信するようにしたものである。
図３はこの発明の実施の形態３における目標物位置特定装置のシステム構成図である。送信装置１４０は、映像入力装置１１１で撮影した映像を受信局２００に送信する映像送信装置１４１と、フライト情報取得装置１１２で取得したフライト情報等のデータを受信局２００に送信するデータ送信装置１４２とで構成している。また受信装置２１０は、映像送信装置１４１から伝送された映像信号を受信する映像受信装置２１１と、データ送信装置１４２から伝送されたデータを受信するデータ受信装置２１２とで構成している。その他の構成は図１と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
【００２６】
次にこの発明の実施の形態３における目標物位置特定方法について説明する。上記した実施の形態１のステップＳ２４において、映像入力装置１１１が撮影した時々刻々の映像を信号処理装置１２０の情報管理部１２１から映像送信装置１４１に出力し、データ送信装置１４２は映像の送信と同期して時々刻々のフライト情報を受信局２００に送信するようにする。
ステップＳ２５においては、送信局１００の映像送信装置１４１から送信された映像を映像受信装置２１１で受信し、また送信局１００のデータ送信装置１４２から送信されたフライト情報などのデータをデータ受信装置２１２で受信するようにする。
【００２７】
ステップＳ２６においては、映像受信装置２１１で受信した映像およびデータ受信装置２１２で受信したフライト情報を情報管理部２２１に蓄積するようにする。ここで、データ受信装置２１２で受信したフライト情報には送信局１００でフライト情報を取得した時刻（＝送信局１００で映像を撮影した時刻）が含まれているので、時刻情報をキーにして、映像受信装置２１１で受信した映像およびデータ受信装置２１２で受信したフライト情報の同期を取ることができる。このようにして、情報管理部２２１に蓄積する際には、映像とフライト情報は時刻情報をキーに、関連付けて蓄積する。
その他のステップにおける動作は実施の形態１と同じにつき説明を省略する。このよう
にすることで、映像とフライト情報を別々の送信装置で送信することができる。
【００２８】
実施の形態４．
次にこの発明の実施の形態４における目標物位置特定装置を図に基づいて説明する。上記した実施の形態１では、映像とデータを送信装置１４０で送信する場合について述べたが、実施の形態４の発明では、データを映像信号に多重して送信するようにしたものである。
【００２９】
図４はこの発明の実施の形態４における目標物位置特定装置のシステム構成図である。送信局１００において、送信装置１４０は、映像入力装置１１１で撮影した映像信号上にフライト情報、時刻情報、座標情報のデータを多重化するデータ多重装置１４３と、データ多重装置１４３でデータが多重された多重化信号を受信局２００に送信する映像送信装置１４１とから構成する。
受信局２００において、受信装置２１０は、映像送信装置１４１から伝送された映像信号を受信する映像受信装置２１１と、映像受信装置２１１で受信した多重化信号から映像信号とデータを分離し、映像信号とフライト情報は情報管理部２２１に、座標情報と時刻情報のデータは映像解析装置２３０に出力するデータ取得装置２１３とから構成する。
その他の構成は図１と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
【００３０】
次に図４の動作について説明する。送信局１００においては、信号処理装置１２０の情報管理部１２１は、映像入力装置１１１から入力された映像と、フライト情報取得装置１１２から入力されたフライト情報とを、それぞれデータ多重装置１４３に出力する。また入力装置１３２によって映像中で指定した目標物のピクセル座標値を信号処理装置１２０の目標物情報取得部１２２に出力する。信号処理装置１２０の目標物情報取得部１２２は、目標物の座標情報と目標物が指定された時点の時刻情報とをデータ多重装置１４３に出力する。データ多重装置１４３は映像信号のブランクエリアにバーコードを書き込むなどして、映像信号上にフライト情報、座標情報および時刻情報のデータを多重化し、映像送信装置１４１に出力する。映像送信装置１４１は多重化された映像信号とデータ信号を受信局２００に送信する。
【００３１】
受信局２００においては、映像受信装置２１１は、送信局１００から送信された映像信号とデータ信号の多重化信号を受信するとデータ取得装置２１３に出力する。データ取得装置２１３は映像信号から、多重されたフライト情報、座標情報および時刻情報のデータを取得して、映像とフライト情報とを情報管理部２２１に蓄積する。またデータ取得装置２１３で得られた座標情報および時刻情報を映像解析装置２３０に出力し、映像解析装置２３０は送信局１００で目標物を指定した時刻に対応した３次元モデルを作成する。この３次元モデルの生成および目標物の位置特定は実施の形態１の図２で説明した方法と同じであるので説明を省略する。
【００３２】
以上により、この実施の形態４の発明はデータ送信装置を設置することなく、送信局１００にデータ多重装置１４３を設けて、フライト情報などのデータを映像信号に多重して送信するようにしたので、データ送信用の伝送路を不要とすることができる。一方、受信局２００ではデータ取得装置２１３で映像とデータを分離し、地上で３次元モデルを生成すると共に、目標物の空間的な位置情報を取得することができる。
【００３３】
実施の形態５．
次にこの発明の実施の形態５における目標物位置特定装置を図に基づいて説明する。
上記した実施の形態３では、映像とデータを別々にして送信する場合について述べたが、実施の形態５の発明はこれらデータをヘリコプタに一般的に備えられている音声通話用
の連絡用無線装置１４５から送信するようにしたものである。
【００３４】
図５はこの発明の実施の形態５における目標物位置特定装置のシステム構成図で、送信局１００の送信装置１４０は、データ送信装置１４２の代わりに、信号処理装置１２０からのフライト情報と座標情報および時刻情報のデータを音声信号に変換する変換装置１４４と、この変換装置１４４で変換した音声信号を送信する連絡用無線装置１４５を設けている。一方、受信局２００の受信装置２１０は、データ受信装置２１２の代わりに、音声信号を受信する連絡用無線装置２１５と、この連絡用無線装置２１５で受信した音声信号をデータに変換する変換装置２１４とを設けている。その他の構成は図１と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
【００３５】
次に図５の動作について説明する。送信局１００においては、信号処理装置１２０の情報管理部１２１は、フライト情報取得装置１１２から入力されたフライト情報を変換装置１４４に出力する。また信号処理装置１２０の目標物情報取得部１２２は、入力装置１３２によって映像中で指定した目標物のピクセル座標値の座標情報と目標物が指定された時点の時刻情報とを変換装置１４４に出力する。変換装置１４４はフライト情報および座標情報と時刻情報を音声信号に変換して連絡用無線機１４５を介して受信局２００に送信する。
【００３６】
受信局２００においては、連絡用無線機２１５は、受信した音声信号を変換装置２１４に出力する。変換装置２１４は音声信号からフライト情報および座標情報と時刻情報を取得し、フライト情報は情報管理部２２１に蓄積する。一方座標情報と時刻情報は映像解析装置２３０の位置特定部２３１に出力し、映像解析装置２３０は送信局１００で目標物を指定した時刻に対応した３次元モデルを作成する。この３次元モデルの生成および目標物の位置特定は実施の形態１の図２で説明した方法と同じであるので説明を省略する。
【００３７】
以上により、この実施の形態５の発明はデータ送信装置を設置することなく、元々備え付けられている連絡用無線装置で、フライト情報および座標情報と時刻情報のデータを送信でき、地上で目標物の空間的な位置情報を取得することができる。そのため送信局１００に、データ送信用の送信装置を不要とすることができ、また受信局２００にデータ受信用の受信装置を不要とすることができる。
【００３８】
実施の形態６．
次にこの発明の実施の形態６における目標物位置特定装置について説明する。
上記した実施の形態１〜５では、現在の映像と現在のフライト情報を送信する場合について述べたが、実施の形態６の発明は、過去の映像と過去のフライト情報を再生して送信するようにしたものである。
図１の信号処理装置１２０の情報管理部１２１は、現在の映像とフライト情報を出力する代わりに、あらかじめ蓄積した映像とフライト情報を再生して、映像表示装置１３１と送信装置１４０に出力する。この際に、座標情報および時刻情報は記録時のものを出力する。このようにすることで、例えば、空中と地上との無線の不感帯で撮影した場合にも、蓄積した情報を後で再生して利用することができる。
なお、座標情報および時刻情報は、映像表示装置１３１で表示される過去の映像に対して入力装置１３２により指定されたものを送信装置１４０に出力するようにしてもよい。その際に、時刻は、記録時の時刻でもよいし、再生時の時刻でもよい。映像、フライト情報、目標物を指定した際の時刻のすべてがそろっていればよい。
【００３９】
なお以上の実施形態ではヘリコプタに搭載した送信局と地上の受信局との間は無線で直接電波を送受信する場合について説明したが、ヘリコプタに搭載した送信局と地上の受信局との間は通信衛星を介して電波を送受信するようにしてもよい。
【図面の簡単な説明】
【００４０】
【図１】この発明の実施の形態１および実施の形態２を示すシステム構成図である。
【図２】この発明の実施の形態１における動作を説明するためのフロー図である。
【図３】この発明の実施の形態３を示すシステム構成図である。
【図４】この発明の実施の形態４を示すシステム構成図である。
【図５】この発明の実施の形態５を示すシステム構成図である。
【符号の説明】
【００４１】
１００：送信局 １１１：映像入力装置
１１２：フライト情報取得装置 １２０：信号処理装置
１２１：情報管理部 １２２：目標物情報取得部
１３０：送信装置 １３１：映像表示装置
１３２：入力装置 １４０：送信装置
１４１：映像送信装置 １４２：データ送信装置
１４３：データ多重装置 １４４：変換装置
１４５：連絡用無線装置
２００：受信局 ２１０：受信装置
２１１：映像受信装置 ２１２：データ受信装置
２１３：データ取得装置 ２１４：変換装置
２１５：連絡用無線装置 ２２１：情報管理部
２３０：映像解析装置 ２３１：位置特定部
２３２：３Ｄモデル生成部。
【技術分野】
【０００１】
この発明は、災害が発生している目標物などを空中から撮影し、その目標物の位置を正確に特定することができる目標物位置特定装置および目標物位置特定方法に関するものである。
【背景技術】
【０００２】
従来から、例えば水害や地震などの大規模な災害が発生すると、ヘリコプタなどによって災害現場を撮影し、その撮影映像から災害の程度や緊急対策が必要な箇所の有無の確認を行っている。また、火災が発生して直ちに消火活動を行わなければならないような場合は、撮影映像から火災現場の地点を特定して消防車両などを急行させている。このようなシステムはヘリテレシステムと称され、ヘリコプタ側に搭載された送信局と地上側に設置された受信局とで構成される。
【０００３】
このようにヘリコプタによって空中から災害現場を撮影し、その撮影映像の位置を正確に表示する方法として、撮影映像を地上に送信すると同時に、ヘリコプタの位置情報とテレビカメラの方向及び機体の姿勢情報から撮影位置の３次元的特定処理を行い、地上で受信した撮影位置データに対応する属性データ（住所や建物名など）を電子地図から抽出して、この属性データを文字データとして地上で受信した撮影映像に付加して表示装置に表示することにより、ヘリコプタからの撮影映像への位置情報を表示するようにしたものがある。（特許文献１参照）
また地面の３次元的形状を認識する地形認識装置および地形認識方法として、ステレオ画像を用いて最新の地勢データを計算する手法も知られている。（特許文献２参照）
【０００４】
【特許文献１】特開２００４−２２６１９０公報
【特許文献２】特開２００４−１５１８８３公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の特許文献１に記載されたものは、ヘリコプタから地上に伝送された撮影映像およびフライト情報と、電子地図に蓄積された地表面の起伏についての高度情報を含む三次元な地勢データとから、撮影範囲の中心点の地表面上での位置を特定しており、三次元な地勢データをあらかじめ作成しておく必要がある。このため、地勢データが存在しない地域では利用できなく、また任意の位置を指定することは出来ないという課題があった。また、地震や土砂崩れなどにより地形が変形した場合に、被災直後は変形を加味した最新の地勢データは入手できないため、正確な位置の特定ができないという課題があった。
【０００６】
さらに被災情報を収集してシステムに登録する作業にあたっては、情報が限られている地上の会議室ではなく、被災現場上空で作業をしているヘリコプタで行うことが望ましい。しかしながら、上記の空撮映像から三次元（３Ｄ）モデルを生成する方法では、三次元モデルの生成に多くの演算が必要であるため、演算部の高速化、大型化が必要である。ところが、ヘリコプタに搭載する機材は、温度特性、耐振動性、電波特性などの厳しい条件が求められる。また運用上の面でも、ヘリコプタの機内は設置スペースが限られており、積載重量にも制限があるため、機材は小型で軽量なものが望ましい。そのため、ヘリコプタの機内に三次元モデルを生成する高速な演算部を設置することは困難である。その結果、機上で被災情報の三次元情報を登録することは困難である、という課題があった。
【０００７】
また、三次元情報の登録を地上側で行う場合にも、ヘリコプタと地上の受信局間のデー
タ伝送路は一般に大量のデータ伝送には向いておらず、三次元モデルの生成に必要な静止画を地上ではリアルタイムに入手できないため、地上で三次元情報を登録することもできない、という課題があった。
【０００８】
この発明は、上記のような課題を解決するためになされたものであり、機上で被災地点などの目標物の位置を指定し、地上で三次元モデムを生成して目標物の空間的な位置を特定できる目標物位置特定装置および目標物位置特定方法を得ることを目的とするものである。
【課題を解決するための手段】
【０００９】
この発明の目標物位置特定装置は、空中移動体に搭載される送信局と地上に設置される受信局とで構成される目標物位置特定装置において、送信局には、映像を撮影して出力する映像入力装置と、映像入力装置で撮影した映像を表示する映像表示装置と、空中移動体のフライト情報を取得するフライト情報取得装置と、映像入力装置で撮影した映像から目標物を指定する入力装置と、フライト情報、入力装置により指定した目標物の座標情報および指定した時点の時刻情報を処理する信号処理装置と、映像入力装置で撮影した映像、信号処理装置で処理されたフライト情報、座標情報および時刻情報を受信局に送信する送信装置とを備え、受信局には、送信装置が送信した映像、フライト情報、座標情報および時刻情報を受信する受信装置と、受信した時刻情報をキーに過去の映像およびフライト情報を用いて３次元モデルを生成し、受信した目標物の座標情報の３次元位置を特定する映像解析装置とを備えたものである。
【００１０】
この発明の目標物位置特定方法は、空中移動体に搭載したテレビカメラにより地上の映像を撮影し、その撮影映像を地上に送信し、撮影映像を撮影した際の空中移動体の位置、姿勢、テレビカメラの向き、傾き、ズーム、時刻を有するフライト情報、および撮影映像中で指定した目標物の座標情報と指定した時点の時刻情報を地上に送信し、地上で受信した撮影映像と時刻情報をキーに過去の映像およびフライト情報を用いて３次元モデルを生成し、受信した目標物の座標情報の３次元位置を特定するようにしたものである。
【発明の効果】
【００１１】
この発明によれば、撮影映像を３次元モデルとして処理するのに、空中移動体側と地上側とで分割して行い、計算量の多い処理を地上側で行うことにより、空中移動体側の装置の処理量を減らすことができる。その結果空中移動体側の装置を簡易なものにでき、小型で軽量化できる。さらに、空中移動体側の映像画面中で指定した目標物の位置を、地上側で３次元位置として特定することができるので、あらかじめ地表面の起伏についての高度情報を含む三次元な地勢データが蓄積された電子地図を用意する必要もないし、映像中の任意の点を目標物として指定することもできる。
【発明を実施するための最良の形態】
【００１２】
実施の形態１．
以下、この発明の実施の形態１における目標物位置特定装置を図に基づいて説明する。図１はこの発明の実施の形態１を示すシステム構成図、図２はこの発明の実施形態１の動作を説明するフロー図である。
図１において、目標物位置特定装置は、ヘリコプタや飛行機などの空中移動体に搭載される送信局１００と地上に設置される受信局２００とで構成される。なお以下の説明では空中移動体としてヘリコプタを使用した場合について説明する。
【００１３】
ヘリコプタに搭載される送信局１００は、空中から災害現場などを撮影し、その撮影映像を地上の受信局２００に伝送するもので、現場の映像を撮影するテレビカメラとその映像信号を出力する手段からなる映像入力装置１１１と、撮影時のヘリコプタのフライト情
報を取得するフライト情報取得装置１１２と、映像やフライト情報を処理する信号処理装置１２０と、映像入力装置１１１で撮影した映像を表示する映像表示装置１３１と、撮影映像から目標物を指定する入力装置１３２と、映像入力装置１１１で撮影した映像とフライト情報取得装置１１２で取得したフライト情報等のデータとを受信局２００に送信する送信装置１４０とからなる。
【００１４】
さらに信号処理装置１２０は、映像入力装置１１１からの映像とフライト情報取得装置１１２からのフライト情報を分岐して、それぞれ蓄積、出力する情報管理部１２１と、入力装置１３２で指定された映像上での目標物の表示位置をピクセル座標値で取得すると共に指定した時点の時刻情報を取得する目標物情報取得部１２２とからなる。
なお映像入力装置１１１のテレビカメラはヘリコプタに搭載したジンバル機構に支持され、フライト情報取得装置１１２によってカメラの向き、傾き、ズームの情報は勿論のこと、ヘリコプタの位置や姿勢および時刻の情報がフライト情報として取得される。
送信装置１４０は、情報管理部１２１で得られたフライト情報と目標物座標取得部１２２で得られた目標物のピクセル座標値の座標情報および目標物を指定した時点の時刻情報とをデータとして受信局２００に送信するものである。
【００１５】
地上に設置される受信局２００は、送信装置１４０から伝送された映像信号とデータとを受信する受信装置２１０と、受信装置２１０で受信した映像とデータとを蓄積する情報管理部２２１と、情報管理部２２１に蓄積された映像から目標物の空間的な位置を特定する映像解析装置２３０とからなる。さらに映像解析装置２３０は、受信装置２１０で受信したデータから目標物の空間的な位置を演算する位置特定部２３１と、目標物の位置の特定に利用する三次元の擬似映像である３次元モデルを生成する３Ｄモデル生成部２３２とからなる。
【００１６】
次に図１に示す目標物位置特定装置における目標物位置特定方法を図２に基づいて説明する。図２に示すフロー図において、初めに、映像とフライト情報の伝送手順について説明する。
図２のステップＳ２１は、送信局１００において、映像入力装置１１１のテレビカメラが災害現場などにおける時々刻々の映像を撮影して信号処理装置１２０の情報管理部１２１に出力し、映像を蓄積する。
ステップＳ２２は、フライト情報取得装置１１２が映像と同期して送信局１００を搭載したヘリコプタにおける時々刻々のフライト情報を取得して、信号処理装置１２０の情報管理部１２１に出力し、フライト情報を蓄積する。ここでフライト情報とは、ヘリコプタの位置および姿勢、映像入力装置１１１のカメラの向き、傾き、ズーム、および時刻の情報である。
【００１７】
ステップＳ２３は、信号処理装置１２０の情報管理部１２１は入力された映像を、映像表示装置１３１に出力し、映像表示装置１３１は映像入力装置１１１が撮影した時々刻々の映像を画面に表示する。
ステップＳ２４は、映像入力装置１１１が撮影した時々刻々の映像を信号処理装置１２０の情報管理部１２１から送信装置１４０に出力し、送信装置１４０から受信局２００に送信する。また、フライト情報取得装置１１２が取得したフライト情報を信号処理装置１２０の情報管理部１２１から送信装置１４０に出力し、送信装置１４０は映像の送信と同期して時々刻々のフライト情報を受信局２００に送信する。このようにして送信局１００から受信局２００に対して、映像信号と、映像信号に同期してフライト情報が送信される。
【００１８】
次に、ステップＳ２５は、受信局２００において、送信局１００の送信装置１４０から送信された映像とフライト情報などのデータとを受信装置２１０で受信する。
ステップＳ２６は、受信装置２１０で受信した映像およびフライト情報を情報管理部２２１に蓄積する。映像とフライト情報は受信時にも同期がとれており、情報管理部２２１に蓄積する際には、映像とフライト情報は時刻などの情報をキーに、関連付けて蓄積する。
【００１９】
上記のように映像とフライト情報が同期して伝送され、蓄積されている状態で、機上の映像表示装置１３１で被災地点を確認した際に、その位置情報を地上で取得するための方法について説明する。
送信局１００において、操作者は映像表示装置１３１に表示された映像中で火災や倒壊などを確認すると、入力装置１３２によって映像中で火災や倒壊などの建物の目標物を指定することができる。
ステップＳ２７は、入力装置１３２により映像表示装置１３１に表示された映像中の画枠内で目標物を指定する。この目標物を指定する方法としてはマウスでクリックする、タッチパネルでタッチする、カメラを操作して目標物が映像中の中心等に来るようにして目標物をロックするなどで行うことができる。
ステップＳ２８は、入力装置１３２で指定された目標物の表示位置をピクセル座標値で得た座標情報と目標物が指定された時点の時刻情報を信号処理装置１２０の目標物情報取得部１２２で取得し蓄積する。
ステップＳ２９は、信号処理装置１２０の目標物情報取得部１２２で取得した、目標物の座標情報と目標物が指定された時点の時刻情報を、送信装置１４０に出力し、送信装置１４０から受信局２００に目標物の座標情報と時刻情報を送信する。
【００２０】
次に受信局２００で受信した撮影映像とフライト情報および目標物の座標情報と時刻情報に基づき目標物を特定する動作を説明する。
ステップＳ３１は、受信局２００において、送信装置１４０から送信された目標物の座標情報と時刻情報を受信装置２１０が受信する。
ステップＳ３２は、受信装置２１０が目標物の座標情報と時刻情報を受信すると、これらの情報を映像解析装置２３０の位置特定部２３１に出力し、映像解析装置２３０の位置特定部２３１は受信した座標情報と時刻情報を３Ｄモデル生成部２３２に出力する。３Ｄモデル生成部２３２は、位置特定部２３１から出力された時刻情報を基に、送信局１００で目標物を指定した時刻に対応したフライト情報を情報管理部２２１から取得する。
【００２１】
ステップＳ３３は、３Ｄモデル生成部２３２が時刻情報をキーとして、情報管理部２２１に蓄積されている過去の映像から目標物を指定した時刻前後の時刻に対応する静止画を生成する。
ステップＳ３４は、３Ｄモデル生成部２３２が、生成した静止画とフライト情報をソースとして、撮影映像の３次元モデルを生成する。こうして３Ｄモデル生成部２３２は、目標物を指定した時刻での３次元モデルを生成することになる。
【００２２】
ここで、静止画から３次元モデルを生成するので、静止画中の任意の点は、３次元モデル中の点に一意に対応づけることができる。また、３次元モデルの生成に使用した静止画に関しては、撮影時刻のフライト情報から撮影範囲が地表上のどこと対応するか、を計算することができるので、それを元に作成した３次元モデルも実空間中の位置を計算することができる。つまり、３次元モデル中の点を実空間の位置（緯度、経度、高度）に一意に対応付ける事ができる。
よって、ステップＳ３５は、３Ｄモデル生成部２３２が、機上から目標物の位置を画像中のピクセル座標値で指定して送信された座標情報を取得しているから、この座標情報をステップＳ３４で生成した３次元モデルに表示（例えば目標物に×印を付すなど）することで、目標物の位置を特定できる。こうして、地上側で撮影映像の３次元モデルに目標物の空間的な位置情報を取得することができる。
【００２３】
一般的に３次元処理には、映像からの画像フレームの抽出、画像解析による目標物の特定、画像同士のマッチング演算、３Ｄ基礎データとの照らし合わせ、など多くの処理が必要であるが、この発明の実施の形態１では、ヘリコプタ側の送信局では、映像、フライト情報、座標情報、時刻情報を地上の受信局に送り、これらのデータを用いる３次元処理を地上の受信局で行い、計算量の多い処理を地上側で実施しているから、ヘリコプタ側の装置の処理を減らして小型で軽量化できる。さらに、ヘリコプタ側の映像画面中で目標物の位置を任意に指定でき、地上側で３次元モデルの映像に目標物の位置として簡単に特定することができる。
【００２４】
実施の形態２．
次にこの発明の実施の形態２における目標物位置特定方法について説明する。上記した実施の形態１のステップＳ２４において、信号処理装置１２０の情報管理部１２１は、フライト情報取得装置１１２が取得したフライト情報を蓄積し圧縮を行う。さらに情報管理部１２１はあらかじめ設定された所定の送信周期、または都度入力されるユーザの送信命令をトリガーとして圧縮したフライト情報を映像とは非同期に送信装置１４０に出力し、送信装置１４０から受信局２００に目標物の座標情報と時刻情報を送信する。
このようにすることで、データの伝送頻度を下げることができる他、フライト情報を圧縮して送信することができるのでデータ送信装置で伝送されるデータ量を削減できる。
【００２５】
実施の形態３．
次にこの発明の実施の形態３における目標物位置特定装置について説明する。上記した実施の形態１では、映像とデータを送信装置１４０で送信する場合について述べたが、実施の形態３の発明では、映像とデータを別々にして送信するようにしたものである。
図３はこの発明の実施の形態３における目標物位置特定装置のシステム構成図である。送信装置１４０は、映像入力装置１１１で撮影した映像を受信局２００に送信する映像送信装置１４１と、フライト情報取得装置１１２で取得したフライト情報等のデータを受信局２００に送信するデータ送信装置１４２とで構成している。また受信装置２１０は、映像送信装置１４１から伝送された映像信号を受信する映像受信装置２１１と、データ送信装置１４２から伝送されたデータを受信するデータ受信装置２１２とで構成している。その他の構成は図１と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
【００２６】
次にこの発明の実施の形態３における目標物位置特定方法について説明する。上記した実施の形態１のステップＳ２４において、映像入力装置１１１が撮影した時々刻々の映像を信号処理装置１２０の情報管理部１２１から映像送信装置１４１に出力し、データ送信装置１４２は映像の送信と同期して時々刻々のフライト情報を受信局２００に送信するようにする。
ステップＳ２５においては、送信局１００の映像送信装置１４１から送信された映像を映像受信装置２１１で受信し、また送信局１００のデータ送信装置１４２から送信されたフライト情報などのデータをデータ受信装置２１２で受信するようにする。
【００２７】
ステップＳ２６においては、映像受信装置２１１で受信した映像およびデータ受信装置２１２で受信したフライト情報を情報管理部２２１に蓄積するようにする。ここで、データ受信装置２１２で受信したフライト情報には送信局１００でフライト情報を取得した時刻（＝送信局１００で映像を撮影した時刻）が含まれているので、時刻情報をキーにして、映像受信装置２１１で受信した映像およびデータ受信装置２１２で受信したフライト情報の同期を取ることができる。このようにして、情報管理部２２１に蓄積する際には、映像とフライト情報は時刻情報をキーに、関連付けて蓄積する。
その他のステップにおける動作は実施の形態１と同じにつき説明を省略する。このよう
にすることで、映像とフライト情報を別々の送信装置で送信することができる。
【００２８】
実施の形態４．
次にこの発明の実施の形態４における目標物位置特定装置を図に基づいて説明する。上記した実施の形態１では、映像とデータを送信装置１４０で送信する場合について述べたが、実施の形態４の発明では、データを映像信号に多重して送信するようにしたものである。
【００２９】
図４はこの発明の実施の形態４における目標物位置特定装置のシステム構成図である。送信局１００において、送信装置１４０は、映像入力装置１１１で撮影した映像信号上にフライト情報、時刻情報、座標情報のデータを多重化するデータ多重装置１４３と、データ多重装置１４３でデータが多重された多重化信号を受信局２００に送信する映像送信装置１４１とから構成する。
受信局２００において、受信装置２１０は、映像送信装置１４１から伝送された映像信号を受信する映像受信装置２１１と、映像受信装置２１１で受信した多重化信号から映像信号とデータを分離し、映像信号とフライト情報は情報管理部２２１に、座標情報と時刻情報のデータは映像解析装置２３０に出力するデータ取得装置２１３とから構成する。
その他の構成は図１と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
【００３０】
次に図４の動作について説明する。送信局１００においては、信号処理装置１２０の情報管理部１２１は、映像入力装置１１１から入力された映像と、フライト情報取得装置１１２から入力されたフライト情報とを、それぞれデータ多重装置１４３に出力する。また入力装置１３２によって映像中で指定した目標物のピクセル座標値を信号処理装置１２０の目標物情報取得部１２２に出力する。信号処理装置１２０の目標物情報取得部１２２は、目標物の座標情報と目標物が指定された時点の時刻情報とをデータ多重装置１４３に出力する。データ多重装置１４３は映像信号のブランクエリアにバーコードを書き込むなどして、映像信号上にフライト情報、座標情報および時刻情報のデータを多重化し、映像送信装置１４１に出力する。映像送信装置１４１は多重化された映像信号とデータ信号を受信局２００に送信する。
【００３１】
受信局２００においては、映像受信装置２１１は、送信局１００から送信された映像信号とデータ信号の多重化信号を受信するとデータ取得装置２１３に出力する。データ取得装置２１３は映像信号から、多重されたフライト情報、座標情報および時刻情報のデータを取得して、映像とフライト情報とを情報管理部２２１に蓄積する。またデータ取得装置２１３で得られた座標情報および時刻情報を映像解析装置２３０に出力し、映像解析装置２３０は送信局１００で目標物を指定した時刻に対応した３次元モデルを作成する。この３次元モデルの生成および目標物の位置特定は実施の形態１の図２で説明した方法と同じであるので説明を省略する。
【００３２】
以上により、この実施の形態４の発明はデータ送信装置を設置することなく、送信局１００にデータ多重装置１４３を設けて、フライト情報などのデータを映像信号に多重して送信するようにしたので、データ送信用の伝送路を不要とすることができる。一方、受信局２００ではデータ取得装置２１３で映像とデータを分離し、地上で３次元モデルを生成すると共に、目標物の空間的な位置情報を取得することができる。
【００３３】
実施の形態５．
次にこの発明の実施の形態５における目標物位置特定装置を図に基づいて説明する。
上記した実施の形態３では、映像とデータを別々にして送信する場合について述べたが、実施の形態５の発明はこれらデータをヘリコプタに一般的に備えられている音声通話用
の連絡用無線装置１４５から送信するようにしたものである。
【００３４】
図５はこの発明の実施の形態５における目標物位置特定装置のシステム構成図で、送信局１００の送信装置１４０は、データ送信装置１４２の代わりに、信号処理装置１２０からのフライト情報と座標情報および時刻情報のデータを音声信号に変換する変換装置１４４と、この変換装置１４４で変換した音声信号を送信する連絡用無線装置１４５を設けている。一方、受信局２００の受信装置２１０は、データ受信装置２１２の代わりに、音声信号を受信する連絡用無線装置２１５と、この連絡用無線装置２１５で受信した音声信号をデータに変換する変換装置２１４とを設けている。その他の構成は図１と同じにつき、同じまたは相当する構成部分には同一符号を付して説明を省略する。
【００３５】
次に図５の動作について説明する。送信局１００においては、信号処理装置１２０の情報管理部１２１は、フライト情報取得装置１１２から入力されたフライト情報を変換装置１４４に出力する。また信号処理装置１２０の目標物情報取得部１２２は、入力装置１３２によって映像中で指定した目標物のピクセル座標値の座標情報と目標物が指定された時点の時刻情報とを変換装置１４４に出力する。変換装置１４４はフライト情報および座標情報と時刻情報を音声信号に変換して連絡用無線機１４５を介して受信局２００に送信する。
【００３６】
受信局２００においては、連絡用無線機２１５は、受信した音声信号を変換装置２１４に出力する。変換装置２１４は音声信号からフライト情報および座標情報と時刻情報を取得し、フライト情報は情報管理部２２１に蓄積する。一方座標情報と時刻情報は映像解析装置２３０の位置特定部２３１に出力し、映像解析装置２３０は送信局１００で目標物を指定した時刻に対応した３次元モデルを作成する。この３次元モデルの生成および目標物の位置特定は実施の形態１の図２で説明した方法と同じであるので説明を省略する。
【００３７】
以上により、この実施の形態５の発明はデータ送信装置を設置することなく、元々備え付けられている連絡用無線装置で、フライト情報および座標情報と時刻情報のデータを送信でき、地上で目標物の空間的な位置情報を取得することができる。そのため送信局１００に、データ送信用の送信装置を不要とすることができ、また受信局２００にデータ受信用の受信装置を不要とすることができる。
【００３８】
実施の形態６．
次にこの発明の実施の形態６における目標物位置特定装置について説明する。
上記した実施の形態１〜５では、現在の映像と現在のフライト情報を送信する場合について述べたが、実施の形態６の発明は、過去の映像と過去のフライト情報を再生して送信するようにしたものである。
図１の信号処理装置１２０の情報管理部１２１は、現在の映像とフライト情報を出力する代わりに、あらかじめ蓄積した映像とフライト情報を再生して、映像表示装置１３１と送信装置１４０に出力する。この際に、座標情報および時刻情報は記録時のものを出力する。このようにすることで、例えば、空中と地上との無線の不感帯で撮影した場合にも、蓄積した情報を後で再生して利用することができる。
なお、座標情報および時刻情報は、映像表示装置１３１で表示される過去の映像に対して入力装置１３２により指定されたものを送信装置１４０に出力するようにしてもよい。その際に、時刻は、記録時の時刻でもよいし、再生時の時刻でもよい。映像、フライト情報、目標物を指定した際の時刻のすべてがそろっていればよい。
【００３９】
なお以上の実施形態ではヘリコプタに搭載した送信局と地上の受信局との間は無線で直接電波を送受信する場合について説明したが、ヘリコプタに搭載した送信局と地上の受信局との間は通信衛星を介して電波を送受信するようにしてもよい。
【図面の簡単な説明】
【００４０】
【図１】この発明の実施の形態１および実施の形態２を示すシステム構成図である。
【図２】この発明の実施の形態１における動作を説明するためのフロー図である。
【図３】この発明の実施の形態３を示すシステム構成図である。
【図４】この発明の実施の形態４を示すシステム構成図である。
【図５】この発明の実施の形態５を示すシステム構成図である。
【符号の説明】
【００４１】
１００：送信局 １１１：映像入力装置
１１２：フライト情報取得装置 １２０：信号処理装置
１２１：情報管理部 １２２：目標物情報取得部
１３０：送信装置 １３１：映像表示装置
１３２：入力装置 １４０：送信装置
１４１：映像送信装置 １４２：データ送信装置
１４３：データ多重装置 １４４：変換装置
１４５：連絡用無線装置
２００：受信局 ２１０：受信装置
２１１：映像受信装置 ２１２：データ受信装置
２１３：データ取得装置 ２１４：変換装置
２１５：連絡用無線装置 ２２１：情報管理部
２３０：映像解析装置 ２３１：位置特定部
２３２：３Ｄモデル生成部。
【特許請求の範囲】
【請求項１】
空中移動体に搭載される送信局と地上に設置される受信局とで構成される目標物位置特定装置において、
前記送信局には、映像を撮影して出力する映像入力装置と、
前記映像入力装置で撮影した映像を表示する映像表示装置と、
前記空中移動体のフライト情報を取得するフライト情報取得装置と、
前記映像入力装置で撮影した映像から目標物を指定する入力装置と、
前記フライト情報、前記入力装置により指定した目標物の座標情報および前記指定した時点の時刻情報を処理する信号処理装置と、
前記映像入力装置で撮影した映像、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を前記受信局に送信する送信装置とを備え、
前記受信局には、前記送信装置が送信した映像、フライト情報、座標情報および時刻情報を受信する受信装置と、
受信した時刻情報をキーに過去の映像およびフライト情報を用いて３次元モデルを生成し、受信した目標物の座標情報の３次元位置を特定する映像解析装置とを備えた目標物位置特定装置。
【請求項２】
前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を前記受信局に送信するデータ送信装置とを有し、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記データ送信装置で送信されたフライト情報、座標情報および時刻情報を受信するデータ受信装置とを有することを特徴とする請求項１に記載の目標物位置特定装置。
【請求項３】
前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、映像信号に前記信号処理装置で処理されたフライト情報、座標情報、時刻情報のデータを多重化するデータ多重装置とを有し、このデータ多重装置からの信号を前記映像送信装置から前記受信局に送信するようにし、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記映像受信装置で受信した映像信号から多重データを取得するデータ取得装置とを有することを特徴とする請求項１に記載の目標物位置特定装置。
【請求項４】
前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を音声信号に変換して受信局に送信する連絡用無線装置とを有し、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記送信局側の連絡用無線装置から送信されるフライト情報、座標情報および時刻情報を受信する連絡用無線装置とを有することを特徴とする請求項１に記載の目標物位置特定装置。
【請求項５】
前記信号処理装置はフライト情報、座標情報および時刻情報を蓄積して、前記映像とは非同期に前記送信装置に出力する情報管理部を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の目標物位置特定装置。
【請求項６】
前記信号処理装置は前記映像入力装置で撮影した映像と前記信号処理装置で処理されたフライト情報、座標情報および時刻情報とを蓄積し、蓄積された過去の映像、フライト情報、座標情報および時刻情報を前記送信装置に出力する情報管理部を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の目標物位置特定装置。
【請求項７】
前記信号処理装置は前記映像入力装置で撮影した映像と前記信号処理装置で処理された
フライト情報とを蓄積し、蓄積された過去の映像を前記映像表示装置および前記送信装置に出力し、蓄積された過去のフライト情報を前記送信装置に出力する情報管理部を有し、前記映像表示装置に表示された過去の映像から入力された前記座標情報および時刻情報が前記送信装置により送信されることを特徴とする請求項１乃至請求項４のいずれか１項に記載の目標物位置特定装置。
【請求項８】
前記フライト情報は、前記空中移動体の位置、姿勢および前記映像入力装置のカメラの向き、傾き、ズーム、および時刻の情報であることを特徴とする請求項１乃至請求項７のいずれか１項に記載の目標物位置特定装置。
【請求項９】
空中移動体に搭載したテレビカメラにより地上の映像を撮影し、その撮影映像を地上に送信し、撮影映像を撮影した際の前記空中移動体の位置、姿勢、前記テレビカメラの向き、傾き、ズーム、時刻を有するフライト情報、および撮影映像中で指定した目標物の座標情報と前記指定した時点の時刻情報を地上に送信し、地上で受信した前記撮影映像と前記時刻情報をキーに過去の映像およびフライト情報を用いて３次元モデルを生成し、受信した目標物の座標情報の３次元位置を特定するようにした目標物位置特定方法。
【請求項１】
空中移動体に搭載される送信局と地上に設置される受信局とで構成される目標物位置特定装置において、
前記送信局には、映像を撮影して出力する映像入力装置と、
前記映像入力装置で撮影した映像を表示する映像表示装置と、
前記空中移動体のフライト情報を取得するフライト情報取得装置と、
前記映像入力装置で撮影した映像から目標物を指定する入力装置と、
前記フライト情報、前記入力装置により指定した目標物の座標情報および前記指定した時点の時刻情報を処理する信号処理装置と、
前記映像入力装置で撮影した映像、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を前記受信局に送信する送信装置とを備え、
前記受信局には、前記送信装置が送信した映像、フライト情報、座標情報および時刻情報を受信する受信装置と、
受信した時刻情報をキーに過去の映像およびフライト情報を用いて３次元モデルを生成し、受信した目標物の座標情報の３次元位置を特定する映像解析装置とを備えた目標物位置特定装置。
【請求項２】
前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を前記受信局に送信するデータ送信装置とを有し、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記データ送信装置で送信されたフライト情報、座標情報および時刻情報を受信するデータ受信装置とを有することを特徴とする請求項１に記載の目標物位置特定装置。
【請求項３】
前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、映像信号に前記信号処理装置で処理されたフライト情報、座標情報、時刻情報のデータを多重化するデータ多重装置とを有し、このデータ多重装置からの信号を前記映像送信装置から前記受信局に送信するようにし、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記映像受信装置で受信した映像信号から多重データを取得するデータ取得装置とを有することを特徴とする請求項１に記載の目標物位置特定装置。
【請求項４】
前記送信装置が、前記映像入力装置で撮影した映像を前記受信局に送信する映像送信装置と、前記信号処理装置で処理されたフライト情報、座標情報および時刻情報を音声信号に変換して受信局に送信する連絡用無線装置とを有し、
前記受信装置が、前記映像送信装置で送信された映像を受信する映像受信装置と、前記送信局側の連絡用無線装置から送信されるフライト情報、座標情報および時刻情報を受信する連絡用無線装置とを有することを特徴とする請求項１に記載の目標物位置特定装置。
【請求項５】
前記信号処理装置はフライト情報、座標情報および時刻情報を蓄積して、前記映像とは非同期に前記送信装置に出力する情報管理部を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の目標物位置特定装置。
【請求項６】
前記信号処理装置は前記映像入力装置で撮影した映像と前記信号処理装置で処理されたフライト情報、座標情報および時刻情報とを蓄積し、蓄積された過去の映像、フライト情報、座標情報および時刻情報を前記送信装置に出力する情報管理部を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の目標物位置特定装置。
【請求項７】
前記信号処理装置は前記映像入力装置で撮影した映像と前記信号処理装置で処理された
フライト情報とを蓄積し、蓄積された過去の映像を前記映像表示装置および前記送信装置に出力し、蓄積された過去のフライト情報を前記送信装置に出力する情報管理部を有し、前記映像表示装置に表示された過去の映像から入力された前記座標情報および時刻情報が前記送信装置により送信されることを特徴とする請求項１乃至請求項４のいずれか１項に記載の目標物位置特定装置。
【請求項８】
前記フライト情報は、前記空中移動体の位置、姿勢および前記映像入力装置のカメラの向き、傾き、ズーム、および時刻の情報であることを特徴とする請求項１乃至請求項７のいずれか１項に記載の目標物位置特定装置。
【請求項９】
空中移動体に搭載したテレビカメラにより地上の映像を撮影し、その撮影映像を地上に送信し、撮影映像を撮影した際の前記空中移動体の位置、姿勢、前記テレビカメラの向き、傾き、ズーム、時刻を有するフライト情報、および撮影映像中で指定した目標物の座標情報と前記指定した時点の時刻情報を地上に送信し、地上で受信した前記撮影映像と前記時刻情報をキーに過去の映像およびフライト情報を用いて３次元モデルを生成し、受信した目標物の座標情報の３次元位置を特定するようにした目標物位置特定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１２２９７０（Ｐ２０１０−１２２９７０Ａ）
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願番号】特願２００８−２９６９５４（Ｐ２００８−２９６９５４）
【出願日】平成２０年１１月２０日（２００８．１１．２０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２２年６月３日（２０１０．６．３）
【国際特許分類】
【出願日】平成２０年１１月２０日（２００８．１１．２０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]