ビデオオンデマンド方法及び装置
ビデオフレームを処理し、かつ出力する本例の方法は、ビデオフレームのストリームを受信すること、地理位置データをビデオフレームに挿入して、修正ビデオフレームデータを生成すること、修正ビデオフレームを出力することを含んでいる。本例のシステムは、ビデオフレームのストリームを受信するアンテナと、地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成するプロセッサと、修正ビデオフレームを出力する出力器とを含んでいる。
【発明の詳細な説明】
【技術分野】
【0001】
この非仮出願は、米国特許商標庁に2003年4月25日に出願された、米国仮出願番号60/465,227号の優先権を主張するものである。米国仮出願番号60/465,227号は、参照することによって本明細書に組み込まれる。
【0002】
技術分野
米国特許第6,377,875号は、無人航空機(UAV:unmanned air vehicle)の遠隔制御方法を開示している。制御局(6)とUAV(1)間の無線通信が途絶えることを考慮して、UAV(1)は、事前にプログラムされた安全なルート(3)をファイルしている。UAVが飛行経路(2)を案内されること、つまり、制御局(6)から遠隔制御されることを必要とするときに、無線通信が中断する時には、遠隔制御局からの動的な介在なしで、UAVは搭載装置で計算される代替経路をファイルする。
【0003】
米国特許第6,130,705号は、航空偵察システムを開示していて、これは、自動的かつ自律的に対象物の観察分解能あるいは視野(resolution or field of view)に適合するシーンの画像を生成する。一実施形態では、一連の空中偵察カメラ画像から目標の範囲を自動的に計算するパッシブ(passive)方法が使用される。範囲情報は、フレーム単位で目標画像を生成するズームレンズの調整を制御するために使用し、この目標画像は、急激かつ著しい航空機の高度変化が発生するとしても、画像の中心において、所望の、例えば、一定の範囲での、観察分解能あるいは視野を持っている。画像単位のデジタル相関は、焦点面での目標物の変位を判定するために使用される。カメラのフレームレートと、航空機のINS/GPS情報は、フレーム単位の距離(基準線)を正確に判定するために使用される。そして、計算された範囲は、適切な焦点距離にズームレンズサーボ機構を駆動して、次の画像に対する、所望の観察分解能あるいは視野を生成するために使用される。この方法は、航空機の高度及び離間距離(stand off distance)のような範囲以外のパラメータに基づいて実行されても良い。
【0004】
米国特許第6,056,237号は、ソノチューブ(sonotube)互換無人航空機(UAV)と、UAVの発射及び制御用のシステムを開示している。UAVは、通常は、モジュラーセクションから構成され、これには、機首セクション、ペイロードセクション、翼及び燃料タンクセクション、及び動力装置セクションを含んでいる。モジュラーセクションは、均一なロックシーリングリングと関連コンポーネントによるセクションに隣接して接続されている。本発明は、かなり小さく、人間が携帯でき、弾道的に発射される(ballistically launched)、自律的あるいは半自律的制御車両を可能にする装置を構成する。これは、事前にプログラムされた、通信された、あるいは遠隔操作ミッションプログラミングで配置されるものである。防災用品、センサ及びアンテナ部品を含む、広い範囲でのペイロードパッケージは、飛行中に搬送され、使用され、あるいは配備されても良い。UAVは、ビデオ、データ及び音声信号を送信するために装備することができる。人間が持ち運べる操作は、発射管装置(launch canister apparatus)の使用によって達成される。発射管は、格納式発射安定脚(retractable launch stabilizing legs)、タービンエンジン排気口、及び各種アンテナを備えている。選択的には、発射管装置は、改良型「A」、「B」あるいは「C」ソノチューブ発射管を備える。本発明のシステムも、ポータブルコマンド、制御、通信、コンピュータ、及びインテリジェンス(C4I)制御及び検知解析コンソールを備えている。このコンソールは、耐久性、耐水性、耐震性を持つことが好ましく、また、制御及び解析コンピュータ、入力/出力装置、アンテナ、及び車両及びミッション制御用の関連するハードウェア及びソフトウェアを含んでいる。C4Iコンソール及び発射管の少なくとも一方は、携帯用に設計されたバックパックによって搬送されても良い。UAVは、光学あるいは非光学センサを含むことができる。このセンサは、「低コスト非冷却センサプロトタイプ」(LOCUSP)サーマルビジョンシステム、あるいは、米国のフェアチャイルドシステムによって製造されたロッキードマーチン「MICRO−FLIR」、あるいは米国のライセオン社、あるいはヒュージス エレクトロ オプティクス社によって製造されている、典型的な、他の既存のマイクロFLIR(前方赤外線監視装置)システムであっても良い。センサ13に適合可能な他の光学センサには、デイライトビデオ、第4世代の微光テレビジョン(LLTV)、ITTエレクトロニクスUSAによって開発された、典型的な全光テレビジョン(ALLTV)ナイトビジョンシステムを含んでいる。これらのセンサは、ロッキードマーチンAN/AAQ−13/14LANTIRN高精度射撃型システムに適合する従来型の設計のレーザ測距照準システム、あるいは他の長距離レーザ測距システムを含んでいても良い。
【0005】
要約
ビデオフレームを処理し、かつ出力する本例の方法は、ビデオフレームのストリームを受信すること、地理位置データをビデオフレームに挿入して、修正ビデオフレームデータを生成すること、修正ビデオフレームを出力することを含んでいる。
【0006】
本例のシステムは、ビデオフレームのストリームを受信するアンテナと、地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成するプロセッサと、修正ビデオフレームを出力する出力器とを含んでいる。
【0007】
本例のシステムは、少なくとも1つのセンサを含む第1航空機と、少なくとも1つのセンサを含む第2航空機と、通信局と、第1航空機、第2航空機及び通信局のそれぞれでノードを備えるデータリンクとを備える。このデータリンクは、第1航空機から、第2航空機のノードへデータを搬送する。このデータリンクは、第1及び第2航空機の少なくとも一方によって生成されるデータを記憶するように構成されているデータ記憶を含み、このデータ記憶は、第2航空機に配置されている。このデータリンクは、通信局から受信される命令に基づいて、データ記憶に記憶されているデータを処理し、かつ送信するように構成されている、第2航空機上の検索エンジンを含み、データは、画像、その画像に関連付けられている地理位置データ、その画像に関連付けられている時間タグを備える。
【0008】
本例の方法は、リモートユーザからの要求(デマンド)に応じて、そのリモートユーザが、その時間と空間でみたいものについての、フルモーションンビデオを検知プラットホームから提供する。リモート位置から、ユーザは、与えられる時間と空間から、あるいは関連するビデオを呼び出すことができ、また、検索エンジンを使用することで、どんなビデオとデータ生成物が、そのリモートユーザに利用可能であるかを判定することができる。この本例の方法は、ビデオフレームのストリームを受信すること、地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成すること、修正ビデオフレームを出力することを含めることができる。本例のシステムは、ビデオフレームのストリームを受信するアンテナと、地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成するプロセッサと、修正ビデオフレームを出力する出力器とを含んでいる。
【0009】
詳細説明
本実施形態はビデオオンデマンドについて言及するものであり、より詳しくは、戦術ビデオオンデマンドについて言及するものである。図7は、ビデオフレームの処理及び出力方法の例を示していて、ここでは、第1ブロック702で、ビデオフレームのストリームを受信し、次のブロック704で、地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成し、ブロック706で、その修正ビデオフレームを出力する。ブロック704での挿入は、例えば、TCDLエレクトロニクス(電子機器)220、605、553によって実行することができる。図7に示されるプロセスは、ビデオフレームの単一のストリーム及びビデオフレームの複数のストリームの少なくとも一方に関して、ブロック704及び706を繰り返すことによって繰り返すことができる。
【0010】
図8は別の例の方法を示している。第1ブロック802で、第1航空機は、ビデオフレームのストリームをキャプチャする。次のブロック804で、ビデオフレームのストリームが、第1航空機から受信される。ブロック804から、制御は、ブロック806に進み、ここでは、ビデオフレームのストリームが記憶される。ブロック806から、制御はブロック808に進み、ここでは、第2航空機が、そのビデオフレームのストリームの特定ビデオフレーム内のシーンの地理位置データと、その特定ビデオフレームに対する時間タグを判定する。地理位置データは、例えば、特定ビデオフレーム内のシーンと、第2航空機間の距離を判定し、第2航空機の方位角、高度、方向及び位置を判定することによって判定することでき、ここでは、全方位測位衛星(GPS)信号が、距離、方位角、高度、方向及び位置に従って用いられることで、地理位置データを判定する。地理位置データは、例えば、航空機の実際の慣性空間位置を基準として、かつビデオフレーム内の関心目標物あるいは対象物の範囲と組み合わされるジンバル(gimbals)/センサ、方位角及び高度角を使用することによっても、判定することができる。地理位置データは、例えば、ジンバル走査をして、別の航空機の位置とアスペクト角からビデオフレームを形成することによっても、判定することができる。
【0011】
ブロック808から、制御はブロック810に進み、ここでは、地理位置データと時間タグが受信される。ブロック810から、制御はブロック812に進み、ここでは、地理位置データと時間タグは、第1及び第2航空機からのセンサデータとともに記憶される。ここで、センサデータは、特定ビデオフレーム内の対象物(オブジェクト)を識別する。識別された対象物は、例えば、車両あるいは建物、あるいは他の関心目標物あるいは対象物であり得る。ブロック812から、制御はブロック814へ進み、ここでは、地理位置データと時間タグは、特定ビデオフレームに挿入されて、修正ビデオフレームを生成する。この挿入は、例えば、TCDL電子機器220、605、533によって実行することができる。地理位置データは、例えば、ビデオフレームの可視領域に挿入することができる、あるいはビデオフレームの不可視領域に挿入することができる。
【0012】
ブロック814から、制御はブロック816に進み、ここでは、ビデオフレームのストリームのインデックスが、地理位置データ及び時間タグを使用して生成される。ブロック816から、制御はブロック818に進み、ここでは、インデックスが、位置位置データ及び時間タグの少なくとも一方に基づいて検索される。ブロック818から、制御はブロック820に進み、ここでは、検索された地理位置データ及び時間タグの少なくとも一方に関連付けられている、1つ以上の修正ビデオフレームが出力される。例えば、修正ビデオフレームは、コンピュータによって生成された関心領域の地形図上に出力することができ、そうすることで、修正ビデオフレームと任意の関心目標物あるいは対象物が、表示された地形図内の適切な地理位置に配置される。ブロック820から、制御はブロック822に進み、ここでは、射撃統制レーダシステムに対するコマンドが受信される。ブロック820から、制御はブロック824に進み、ここでは、第1航空機へコマンドが送信される。
【0013】
図7−8に示される方法は、図1−6に示される装置を使用して実現することができる。図1に示されるように、無人航空機(UAV)110のような第1航空機は、自身のステータス情報、位置情報、センサ及び武器管理情報及び広帯域幅ビデオを、例えば、ヘリコプターである、第2航空機120へ送信することができる。第2航空機120は、制御情報を送信して、UAV110を制御することができ、また、第2航空機の位置、及びセンサ及び武器管理情報をUAV110へ送信することができる。
【0014】
図2は、第2航空機120に搭載することができる電子装置を示している。電子装置は、航空機インタフェースプロセッサ210、戦術共通データリンク(TCDL)電子機器220、ビデオマスメモリ(video mass memory)230及びサーボ電子機器240を含んでいる。TCDL電子機器220は、航空機120の射撃統制レーダ(FCR)システムと接続していて、そうすることによって、FCRコマンドが電子機器装置(ボックス)によって捕捉され、かつUAV110の制御用にUAV110へ送信される。また、TCDL電子機器220は、ビデオマスメモリ230に記憶されているビデオのスクリーン上への出力を可能とし、このスクリーンは、FCRシステムで従来より採用されている。サーボ電子機器240は、TVODTM(戦術ビデオオンデマンド)システムのアンテナを制御する。
【0015】
図3は、本実施形態に従うマスト搭載部品(MMA)を示している。詳しくは、MMA(マスト搭載部品)は、従来のFCR MMAを使用して構築することができる。従って、ダイプレクサ305、導波スイッチ310及びTCDLアンテナ315は、FCR MMA内のレーダを置換し、かつTVODTMシステムに追加する要素である。アンテナ315は、リニアテーパアンテナにすることができる。本実施形態では、アンテナ315のサイズ、例えば、アンテナ315の長さあるいは幅は、ロータリブレード幅あるいはコード(弦)(chord)よりも大きい。これは、アンテナ315に搭載される、回転翼(ロータリウイング)プラットホームのロータブレードアーク(rotor blade arc)あるいはロータディスクを介して、アンテナの送受信能力を向上することができる。ダイプレクサ305は、密集無線あるいはレーダ周波数(RF)信号の同時送受信を可能として、スイッチ310は、送信及び受信帯域の切替方法を提供し、TCDLアンテナ315は、RFエネルギーを、送受信用の狭ビームに集中させる。別の実施形態では、FCR MMAのようなMMA内のコンポーネントを置換する代わりに、本発明の実施形態を実現するために必要なコンポーネントを、MMAから既存のコンポーネントを取り除くことなく、既存のMMAに配置することができる。当業者は、MMAの任意の互換性のある設計あるいは構成を使用でき、また、本発明の特定用途に対して設計し、構築できることを認識するであろう。
【0016】
図3に示さるように、TVODTMサブシステムは、MMA電源コントローラ320、高度ジンバル325、ディロテータ(自転補正機)330、及びレーダ周波数干渉計335を含むことができ、これらのすべては、FCR MMAでも同様にある。MMA電源コントローラは、あらゆる必要な電力と制御信号を提供し、すべてのMMAハードウェアを駆動することができる。高度ジンバル325は、アンテナ及び高度モータを保持し、また、高度軸の指示を容易にする。ディロテータ330は、ヘリコプターロータシステムのコンポーネントであり、また、MMAはディロテータ330と繋がっている。レーダ周波数干渉計335は、レーダエミッタ用のベアリングデータ及び分類情報を提供する。
【0017】
本発明の実施形態に従えば、FCR MMAは、UAVとの通信用に、TCDLトランシーバ340(これは、従来のあるいは民生品(COTS)コンポーネントとすることができる)を含むように変形される。詳しくは、TCDLトランシーバ340は、送受信用に変調波形を増幅する。
【0018】
図9−10は、回転翼航空機のメインローダブレードによって、図3のマスト搭載部品に搭載されるアンテナの減衰例を示していて、ここで、マスト搭載部品はその回転翼航空機に搭載される。特に、図9は、0%のインデックスで、アンテナビーム上のAH−64アパッチヘリコプターのブレードの効果を示していて、また、図10は、46%のインデクスでの効果を示している。
【0019】
図4は、本発明の実施形態に従うビデオオンデマンドを提供する構成例を示している。図4に示されるように、ビデオ情報を提供する航空機、即ち、航空機410は、有人航空機とすることができる。図2の電子装置と、図3のMMAを従来の航空機に組み込むことによって、航空機410は、ビデオオンデマンドを別の有人航空機420、船舶430あるいは地上車両440に提供することができる。図示はしていないが、オンデマンドビデオは、地上局、例えば、建物に提供することもできる。加えて、ビデオオンデマンドを提供することができる距離を増やすために、図2の電子装置と図3のMMAを備える航空機420は、航空機420の送信範囲内ではあるが、航空機410の送信範囲内でない場所にビデオオンデマンドを提供するリレーとして動作することができる。
【0020】
図5は、本発明の実施形態に従うシステムの機能ブロック図である。図5では、破線部505内の要素は、単一の航空機、例えば、回転翼プラットホーム120、410及び420の外及び内の少なくとも一方に配置される。従って、航空機は、MMA507(図3に示される)、拡張前方アビオニクスベイ(EFAB:Extended Forward Avionics Bay)509(図2に示される電子装置)、パイロットインタフェース511、TADS電子表示制御(TEDAC)513、M−TADS515、無線機517、レーダ周波数インタフェース(RFI)測定ユニット519及び共通ロジスティカル環境(CLOE)診断モジュール521を含むことができる。パイロットインタフェース511は、第2航空機、例えば、回転翼プラットホーム上のマンマシンインタフェースである。TEDAC513は、回転翼プラットホーム上のマンマシンインタフェース用のディスプレイインタフェースである。M−TADS515は、電気光学センサを含む近代化目標設定指定システムである。無線機517は、プラットホーム間、例えば、航空機間、航空機と地上局間、及び航空機とSATCOM(衛星通信)間、航空機とJSTARS(統合目標攻撃監視レーダシステム)間の少なくとも1つの間で、音声及び制限されたデータ通信を提供する。RFI測定ユニット519は、レーダエミッタ用のベアリングデータ及び分類情報を提供する。CLOE診断モジュール521は、航空機用のヘルスモニタとして機能する。
【0021】
MMAは、トランシーバ523、アンテナ制御モジュール525、サーボ527、スリップリング529を含んでいる。トランシーバ523は、送受信用の変調波形を増幅する。アンテナ制御モジュール525は、アンテナを正確に指示することを維持するために必要なあらゆる信号を発信する。サーバ527は、アンテナ安定化を可能にするメカニズムを提供する。スリップリング529は、電気及びRF信号を生成して、継続的に回転するメカニカルインタフェースを介して継続性を維持することを可能にする。EFAB電子機器モジュール509は、サーボ制御及びマス記憶ユニット531と、TCDL制御及びレーダ周波数電子機器533を含んでいる。サーボ制御及びマス記憶ユニット531は、アンテナを正確に指示することを維持するために必要なあらゆる計算を実行し、MTADS(近代化目標設定指定システム)及びUAVセンサデータを記憶し、検索するためのインタフェース及び方法を提供する。TCDL制御及びRF電子機器533は、ビデオ圧縮/伸張、データ多重/分解、圧縮/伸張及び変調/復調を実行する。加えて、オプションのオムニアンテナ535を、航空機に搭載することで、その航空機を、他の同様の装備の航空機からのビデオ及び他の情報のリピータとして動作することを可能にする。例えば、アンテナ535は、TCDLに、地上局に対して、リピータモードで動作することを可能にする。しかしながら、オムニアンテナ535は、リピーティング機能に対してもに使用され、また、航空機がリピータとして使用されない場合は省略することができるが、このような航空機は、オムニアンテナを有する別の航空機によって繰り返される、自身のビデオ及び他の情報を依然として持つことができる。
【0022】
図6は、アパッチヘリコプターのようなヘリコプターへの搭載用のTVODTMシステムの例のブロック図である。TCDLシステムの従来のコンポーネントは、電子モジュール605及びTCDLトランシーバ610を含んでいる。TCDL電子機器605は、ビデオ圧縮/伸張、データ多重/分解、圧縮/伸張及び変調/復調を実行する。
【0023】
図6に示される航空機の従来の要素は、ジンバル安定化モジュール615、MMA PSコントローラ620、スリップリング/ロータリ625、IMU(慣性測定ユニット)630、MMAブラインドメータ635、RFIモジュール640、方位角電力増幅器645、方位角モータ650、レートモジュール655、ダイプレクサ/スイッチ660及び構造体665を含んでいる。ジンバル安定化モジュール615は、正確にアンテナを指示することを維持するために必要なあらゆる計算を実行することができる。スリップリング/ロータリジョイント625は、電気及びRF信号を生成して、継続的な回転メカニズムインタフェースを介して継続性を維持することを可能にする。IMU630は、慣性測定ユニットであり、これは、アンテナ安定化及び制御に必要な加速度及び方向データを提供する。MMAブラインドメータ635は、自律調整電気コネクタであり、これは、あらゆる入力及び出力信号をマスト搭載部品に供給する。RFIモジュール640は、レーダエミッタ用のベアリングデータ及び分類情報を提供する。方位角電力増幅器645は、アンテナの安定化に必要な信号増幅を行う。方位角モータ650は、方位軸内でマスト搭載アンテナを駆動する。レートモジュール655は、アンテナを安定化するために必要なデータを提供するレートセンサである。ダイプレクサ/スイッチ660は、密集RF信号の同時送受信を可能にし、また、送受信帯域の切替方法を提供する。構造体665は、回転翼環境内で構成されるコンポーネントを覆うことを可能にする複合材料/アルミニウムメカニズムである。
【0024】
ビデオオンデマンドシステムを実現する既存のハードウェアに対する変形には、航空機インタフェースモジュール667、M−TDASインタフェース/ビデオメモリモジュール670、全方位(オムニ)アンテナ675、TCDL高ゲインアンテナ680及び高度モータ/ジンバル685を含んでいる。航空機インタフェースモジュール667は、ホスト航空機と通信するために必要なあらゆる入力及び出力機能を提供する。M−TADSインタフェース/ビデオメモリモジュール670は、MTADS及びUAVセンサデータを記憶し、検索するためのインタフェース及び方法を提供する。全方位アンテナ675は、制限範囲での360度の受信範囲を提供する。高ゲインアンテナ680は、RFエネルギーを、送受信用の狭ビームに集中する。EI(高度)モータ/ジンバル685は、高度軸でアンテナを駆動する。
【0025】
本発明の実施形態に従えば、マスビデオ記憶メモリ(例えば、ブロック531)は、ビデオフレームのストリームと、そのビデオフレームのそれぞれに関連するデータを記憶する。この関連するデータには、地理位置データ、時間タグ、及びマスビデオ記憶メモリを搬送する車両上のセンサ及びビデオフレームのストリームをキャプチャする車両上のセンサの少なくとも一方からのセンサデータを含めることができる。従来のインデックス及び検索技術に従って、この関連するデータは、記憶されたビデオフレームに対してインデックスを付与することで、検索パラメータとしてその関連するデータを使用して、ビデオフレームの検索を可能にする。従って、マスビデオ記憶メモリへのアクセスを持っている、地上ユニット、別の航空機あるいは水上ユニット(例えば、高帯域幅データリンク、例えば、電子、無線あるいは光データリンクを介する)は、特定ビデオフレーム、特定の地理位置に対するフルモーションビデオフレームの、1つの以上の拡張ストリームあるいはセット、及び過去から現在の目標画像のページの少なくとも1つを選択し、検索することができる。加えて、ビデオフレームがマスビデオ記憶メモリから検索され、ビデオフレームの要求先へ送信される場合には、関連するデータをビデオフレームに挿入することができ、これによって、要求先が、ビデオ及び関連するデータの両方を同時に見ることを可能にする。
【0026】
本発明の実施形態は、他の複数の電子及びソフトウェア技術と、送信、記憶、配信及びセンサデータを演算する機能とを組み合わせた、標準化戦術共通データリンク(TCDL)ハードウェア及び波形(群)を使用することができる、システム及び方法を提供する。もちろん、他の通信プロトコル及びハードウェアを、本発明の様々な実施形態を実現するために使用することができ、これらは、本明細書で説明される様々な機能及び能力を提供することができる。このセンサデータには、スーパーインポーズされる他の特徴データと地理位置とを有する高解像度デジタルビデオのストリーミングを含んでいる。これは、航空偵察、射撃統制ネットワーク集中制御(network-centric weapon fire control)に対して有効な固有の能力群を提供する。例示の方法は、ビデオフレームのストリームの受信、修正ビデオフレームを生成するための地理位置データのビデオフレームへの挿入、修正ビデオフレームの出力を含んでいる。
【0027】
実施形態に従えば、ヘリコプタープラットホームの電子光学照準システムからの地理位置データは、TVODTMアーキテクチャの一部とする以下の方法で生成することができる:航空機の実際の慣性空間位置は、基準として使用することができ、また、関心目標物の範囲に組み込まれるジンバル/センサ方位角及び高度角は、計算の基礎を生成して、遠隔にある関心目標物の慣性空間内の位置を高精度に判定することができる。これらの計算は、オペレータの選択によって繰り返し実行することで、必要とされるできる限り多くのビデオフレームに地理位置データを追加することができる。異なる航空機の位置及びアスペクト角から画像を生成するジンバル走査は、TVODTMシステム内の地理位置データを計算する別の方法を生成することができる。照準システムは、例えば、近代化目標設定指定システム(M−TADS)あるいは他の電子光学画像検知システムを含めることができる、あるいはこれらを介して実現することができる。
【0028】
コンポジットビデオ(例えば、地理位置データを含むように修正されたビデオフレームを含むビデオフレームのストリーム)は、選択的に、関心領域のコンピュータ生成地形図上にスーパーインポーズすることができる、そのようにして、画像及びその関心目標物が、表示される地形図内の正確な地理位置上で描画される。
【0029】
本明細書で説明される実施形態及び方法は、いくつかの利点を与えるものである。例えば、回転翼プラットホームの通信能力は、地上及び航空用トランシーバを用いる、高大域幅通信まで適応することに向上していて、これには、例えば、空中間及び空中と地上間の少なくとも一方でのビデオストリーミングが含まれている。そして、そうすることによって、回転翼プラットホームは、ネットワーク集中型バトルフィールド(battlefield)内のデータソースとして効果的に動作することができる。回転翼プラットホームに対して、送受信される情報には、地理位置データと時間タグを有する画像を含むことができ、これらは、連続ストリーム、あるいは離散要素あるいはブロックで送信することができ、かつリアルタイムあるいは時間遅延を持たせて送信することができる。画像は、1つ以上のビデオ/テレビ画像、赤外線画像、レーダ画像、あるいは、UAVから受信されるセンサデータに基づいて生成される、あるいは回転翼プラットホームによって直接キャプチャされる他の任意の画像が含まれる。画像は、人工あるいは合成画像が含まれる。この画像は、一種のセンサからのデータに基づいて、回転翼プラットホーム上のプロセッサによって生成される。あるいは、この画像は、回転翼プラットホーム、回転翼プラットホーム上のセンサ、図4に示されるソース420、430、440のような、空中あるいは地上のソース、及び建物のような地上局の少なくともいずれかと通信する1つ以上のUAVから受信される様々な種類のセンサからのデータに基づいて、回転翼プラットホーム上のプロセッサによって生成される。プロセッサは、例えば、TCDL電子機器220、533、605内に配置することができる。
【0030】
本例は、リモートUAVあるいは航空機搭センサから発する時間及び地理位置のタグが付加された画像のリモートビデオ及びデータ検索を可能にする、双方向データリンクを使用すること、また、地上端末あるいは他の航空機端末のどちらかに搭載することができる標準的なグラフィックユーザインタフェースを使用することを含んでいる。データリンクのノードは、例えば、航空機110、120、410、420及び通信局430、440に搭載することができる。本方法は、センナの位置、角度、内部設定(視野、モード、ゲイン、レベル等)を含むアノテーションデータに従う、圧縮ビデオデータの記憶を開始することができる。また、このデータは、センサに関連する信号プロセッサ、例えば、センサによって出力される信号(例えば、原信号)を処理する信号プロセッサからの情報を含むことができ、また、ホストプラットホームからの情報を含むことができ、また、目標物検出トラックファイル、航空機ペイロードステータス及び特定ミッションの詳細のような、他のセンサからの情報を含むことができる。信号プロセッサは、センサに、あるいはセンサから離して配置することができる。双方向データリンクは、ユーザから、TVODソフトウェアを実行するプロセッサへ、検索コマンドを搬送するために使用することができる。TVODソフトウェアは、例えば、電子機器220、プロセッサ210、電子機器533、及びデータリンクの1つ以上のノードに配置される1つ以上のプロセッサあるいはコンピュータの少なくとも1つ以上を介して実現することができる。データリンクの1つ以上のノードに配置されるプロセッサあるいはコンピュータ上で動作するソフトウェア、例えば、航空機120、410上で動作するTVODソフトウェアは、検索コマンドを解釈する検索エンジンとして動作することができ、かつ圧縮ビデオに付随するデータセット上の検索コマンドに従って検索を実行することができる。検索条件が満足すると、ソフトウェアは、双方向データリンクを介してキューイング(cueing)情報をユーザに送信する。つまり、TVODソフトウェアは、検索エンジン能力及び機能を含むことができる。キューイング情報を用いることで、ユーザは、ディスプレイ用の双方向データリンクを介して、圧縮ビデオ及びデータ、例えば、検索によって配置されるあるいは識別されるデータの送信の開始を、TVODソフトウェアに指示することが可能になる。
【0031】
本例の方法は、データリンク内に、記憶媒体あるいはデータ記憶を組み込み、関連する地理位置及び時間タグデジタルデータに従う、すべてのセンサビデオ及びデータを記録することを含んでいる。記憶媒体及び検索エンジンは、1つ以上のUAV、航空機あるいは地上局データリンクに配置することができ、これらには、例えば、1つ以上の航空機110、120、410、420を含むデータリンクのノード及び通信局430、440上のデータリンクのノードがある。この構成あるいは処理は、自身のミッションを実行するためのUAV制御及びビデオ送信データリンク(これは、航空機110、120、410、420上のノードを有するデータリンクの一部とすることができる)のために、デジタル圧縮ビデオ及び関連データ生成物がリンク上で利用可能とならなければならないという事実を利用している。リンクあるいはそのリンクのノードにデータ記憶あるいは記憶媒体を配置することは、リンクに容易にアクセス可能な記憶されたデータを作り出し、また、リモートデータユーザに、例えば、航空機420あるいは通信局430、440に存在するユーザで、かつ/あるいはこれらの位置の1つにあるノードを介してデータリンクにアクセスするユーザに、他の重要な航空機処理と対話することなく、あるいは干渉することなく記憶された生成物にアクセスすることを可能にする。ここで、航空機処理の例には、航空機410、120及び110の少なくともいずれかの飛行制御、武器制御及びセンサ制御がある。具体的には、データリンク(例えば、航空機120、410上の)内にデータ記憶媒体を配置することは、ビデオオンデマンド機能に、航空機の任務飛行プログラムに有害な影響が発生しないことを可能にする。データ記憶は、例えば、ビデオマスメモリ230、モジュール531を含めることができ、また/あるいは、データリンクのノード、例えば、航空機110、120、410、420及び通信局430、440の少なくともいずれかに様々に配置される1つ以上の個別あるいは分散記憶装置を含めることができる。
【0032】
本例のデータ検索の方法は、プログラムの使用を含めることができ、これには、例えば、データリンク上にあり、そのデータリンクのノードの1つで動作するプログラム、あるいはデータリンクの複数のノード間で分散された構成で動作するプログラムがあり、これは、既存の地上局と互換性のあるグラフィックユーザインタフェース(GUI)を生成する、あるいは、地上局で実現されるGUIと互換性のあるあるいは有用となる情報を提供する。GUIは、例えば、これらの地上局でのデータリンクのノードで実現することができる、あるいはデータリンクのノードと通信する、コンピュータあるいは通信システム上で実現することができる。GUIは、例えば、コントロール及び画像を含むディスプレイによって形成することができる。ユーザ操作あるいはユーザ対話入力デバイスには、例えば、ポインティングデバイス、マウス、キーボード、ジョイスティック、マイクロフォン、光学センサあるいは他のデバイスの1つ以上が含まれ、これらは、ユーザからの入力あるいはコマンド(例えば、音声、移動、圧力/力、光あるいはユーザからの他の入力のいずれか1つ以上の形式で)を受信するものである。また、これらは、ユーザの位置、例えば、UAV制御地上局で、ユーザに、ディスプレイ上に示されるコントロールを作動させて、画像を操作することを可能にするために提供することができる。例えば、GUI画像は圧縮し、データリンクを使用して、別の局あるいはエンティティ、例えば、地上局に送信することができる。局は、受信したGUI画像を自動的に伸張して、それをユーザに表示することができる。ユーザは、受信したGUI画像に応じて、入力デバイスを操作し、ビデオ及びデータ生成物を選択し、レビューしたりダウンロードすることができる。
【0033】
データリンクの1つ以上のリンクにおけるデータリンクに、記憶媒体を組み込むことは、ビデオ及びデータ生成物の非リアルタイムリレーを容易することができる。例えば、シングル双方向データリンクは、時間位相技術を使用することで、デュアル双方向データリンクの機能を実行することができる。機体の重さとコストを節約しながら、リレー機能を発生させることを可能にする。
【0034】
本実施形態では、検出された目標物の地理位置の精度は、フレーム間の統合とセンサ融合、即ち、異なるセンサの出力の統合あるいは融合、及び異なる種類のセンサの出力の統合あるいは融合の少なくとも一方を介して改善することができ、これにより、画像データ、画像データに関連する地理位置データ及び時間タグの1つ以上の(具体的なあるいは総合的な)品質を改善する。複数フレームのビデオ及び他のセンサ目標物検出レポートは、収集され、例えば、データ記憶要素230、531及び本明細書で説明されるデータ記憶モジュールあるいはシステムの少なくともいずれかに記憶することができ、また、データ記憶とするデータリンクの同一のノードで、あるいは異なるノード(群)に配置されるコンピュータあるいはプロセッサによって、アルゴリズムをそのデータについて実行することができる。具体的には、複数のフレームからの検出、あるいは異なるフレームで検出される目標物は、アルゴリズムを使用して、関係付けられ、かつ解析あるいは処理されて、対象の位置(群)、例えば、目標物画像の中心を判定するあるいは改善することができ、これに加えて、目標物(群)に関連する不確定領域を判定することができる。与えられる目標物に対してより多くのデータが収集されると、不確定領域のサイズを削減することができ、これによって、検出位置がより正確になる。TVODシステムは、双方向データリンクを使用して、目標物検出レポートをユーザに渡すことで、そのレポートを、例えば、マルチフレーム処理によって生成される、より正確な地理位置データに付随させることができる。
【0035】
本実施形態では、リニアテーパアンテナは、回転翼プラットホーム上のTCDLアンテナとして使用され、ヘリコプタブレードオブスキュレーション(helicopter blade obscuration)中に、マイクロ波継続波(CW)動作を可能とする。これは、ロータブレードが部分的にアンテナを覆い隠す場合のデータの損失を招くことなく、ヘリコプター環境内のマイクロ波(X帯域以上)周波数データリンクシステムの使用を可能にする。典型的なパラボラマイクロ波アンテナは、ほとんどのRF(無線周波数)エネルギーをビームの中心に集約するテーパを持っている。このような典型的なアンテナは、ヘリコプターブレードを覆い隠すサイズよりもかなり大きくしなければならないであろう。リニアテーパ状に設計されたアンテナは、アンテナの表面に渡って均一にRFエネルギーを分散する。ヘリコプター環境内あるいはヘリコプター上で使用される場合には、ヘリコプターのロータブレードコード(翼弦)の2倍のサイズの開口を有するリニアテーパアンテナで、信号強度を3db損失するだけで、データリンクを維持することができる。つまり、アンテナ315は、リニアテーパアンテナを使用して実現することができる。
【0036】
本実施形態に従えば、システムを介して流れるデータに対する圧縮モード、例えば、データリンク(例えば、回転翼プラットホーム間、航空機から地上通信局への少なくとも一方)を介して流れるセンサデータに対する圧縮モードを、ユーザのコントロール入力に基づいて画像の品質に対するイメージレイテンシー(image latency)とトレードするために、自動的に選択することができる。圧縮は、例えば、航空機からの送信前、及びデータ記憶前の少なくとも一方の前に発生する。コントロール入力は、例えば、ユーザから、センサパッケージあるいはペイロードへのコマンドとすることができ、これは、センサが検知しているあるいは調査している環境について、及びペイロードが搭載されているあるいは搬送されているUAVあるいは回転翼プラットホームのようなプラットホームについての少なくとも一方についてのセンサの方向に影響を及ぼす。例えば、ペイロード、及びそのペイロードが搬送されるプラットホームの少なくとも一方は、ペイロードが検知しているあるいは測定している環境についてのペイロードの急旋回を必要とするコマンドを受信することができる。この急旋回は、ビデオフレーム間で劇的な画像変化をもたらし、この状況では、低レイテンシー圧縮技術を選択することができる。例えば、次のビデオフレームにおいて低レイテンシー圧縮を開始することによって、受信したコマンドが急旋回を発生する、あるいは発生させようとしていると判定した後に、データリンクは、低レイテンシーモードでビデオを圧縮することができる。データリンクは、また、メッセージあるいは情報を送信して、ユーザあるいはユーザのデータリンクに、例えば、データストリーム内の制御ビットで、低レイテンシーCODECが、ユーザに送信される圧縮データのビデオ伸張用に使用されるべきであることを通知する。わずかな旋回あるいは無旋回のコマンドが指示されている場合、あるいはペイロードが、目標物を自動的に追跡することを指示されている場合、高品位画像圧縮技術を自動的に選択することができる。高品位画像圧縮技術の選択においては、ビデオの次のフレームから、データリンクは、高品質モードでビデオを圧縮する。データリンクは、ユーザのデータリンクに、高品質モードCODECがビデオ伸張用に使用されるべきことを、例えば、データストリーム内の制御ビットを介して通知する。高くも低くもない中間の、指示された旋回レートに対しては、最適なビデオ圧縮技術を自動的に選択し、上述と同様の方法で使用することができる。この方法は、高品位ビデオ圧縮技術の使用と調和するあるいは釣り合うことができる。この高品位ビデオ圧縮技術は、低レイテンシー技術を用いるビデオ補間を向上する。この低レイテンシー技術は、コントローラとペイロード間のマンマシンインタフェースを最適化する。圧縮及び伸張は、例えば、図1、2及び4で示される航空機及び通信局上のデータリンクのノード内に配置されるコンピュータあるいはプロセッサによって実行することができる、また、あるいは、例えば、データリンクノードで提供される、電子機器220、530及び他のプロセッサあるいはコンピュータの少なくともいずれかによって実行することができる。
【0037】
本発明の実施形態に従えば、空間的に隣接するビデオフレームを一緒に結び付ける(stitching)ことができる、フレーム単位の画像強調を実行することができる、また、武器発射(weapon firing)データ、受動的なRFデータ及びレーダ検知データのような複数のソースからのデータは、融合してあるいは統合して、そのデータの品質及び有用性の少なくとも一方を向上させることができる。これは、記憶媒体上のデータリンク内に複数のビデオフレーム及びデータを最初に記憶することによって達成することができる。この記憶媒体は、例えば、ユニット531内のマス記憶あるいはビデオマスメモリ230、及びデータリンク内の別のデータ記憶の少なくとも一方がある。記憶されたビデオフレームとデータは、センサの視野方向から、各画素の空間位置を判定するために処理することができる。ビデオフレーム群は結び付けられ、また、同一空間位置を占める画素群はマージされる。画像処理アルゴリズムは、画像の歪みあるいは画像内の歪みを最小化するために使用される。記憶された目標物データと他の航空機データ(on-aircraft)及び航空機以外(off-aircraft)のデータは融合あるいは統合され、かつシンボル的なオーバレイを生成するために使用される。これには、例えば、様々な形状あるいは色、テキストラベル及びその他のものを有するシンボルあるいはアイコンがある。これらは、ビデオフレームの画像上にオーバレイして、ユーザが観察するビデオフレーム及びそのマシーン解析コンテンツのビデオフレームの少なくとも一方に追加の情報を提供することができる。これらの処理は、データリンクの末端、例えば、UAVあるいは回転翼プラットホームの類のセンサの位置で、UAVと他の空中、地上あるいは水中局と通信する回転翼プラットホームの類の中間位置で、あるいは、最終位置、例えば、データリンクを制御するあるいはそのデータリンクから情報を受信するユーザが存在する位置のいずれかの位置で実行することができる。
【0038】
本例の方法は、データリンクトランシーバと、対応するモジュレータ/デモジュレータを使用して、マルチモードレーダ機能を実行することを含んでいて、これには、例えば、航空機120、410上で、かつアンテナ315に接続されているトランシーバがある。回転翼プラットホーム上では、このレーダモードは、ロータブレードを介して動作することができる。このレーダモードは、データリンクにソフトウェア機能を追加することによって達成され、これにより、自身で波形ジェネレータを実現して、レーダ波形を生成することができる。データリンクのデジタル受信機は、再プログラムされることで、レーダ反射を受信して処理し、これは、移動目標物の検出及び分類と、地形及び障害物の検出と、合成開口レーダ画像の生成を可能にする。データリンクのRFセクションを変形あるいは構成することで、全二重データリンクモード及びレーダモードの少なくとも一方の選択を可能にする。この全二重データリンクモードでは、送信及び受信周波数が意図的に異なっていて、また、このレーダモードでは、送信及び受信周波数は同一であることが必要とされる。
【0039】
当業者には、本明細書で説明されるデータリンク(群)は、あらゆるトランシーバ、コンピュータ、マイクロプロセッサ、電子コンポーネント、デバイスあるいはサブシステム、アンテナ及びソフトウェア等、本明細書で説明されるデータリンクの機能を実行するために必要なものあるいは好ましいものを含むことができ、また、様々に配置することができ、また、独立して、協働して、分散形式で、あるいはそれらの任意の組み合わせで動作できることを理解するであろう。加えて、本発明の様々な実施形態及び方法は、本発明と整合性がとれる、任意の通信、データ解析及びデータ処理技術(圧縮、伸張、暗号化、解読、結び付け(stitching)等)とともに実現することができる。
【0040】
本発明は、その精神あるいは本質的な特徴から逸脱しない、他の特定の形式で実施することができる。また、本発明は、本明細書で説明される特定の実施形態に制限されるものではない。本例で開示する実施形態は、例示であり、限定するものではない。この範囲は、上述の記載ではなく、むしろ添付の請求項によって示されるものであり、それの意味の範囲内のあらゆる変更及び、それの範囲及び等価なものが、本発明に包含されることを意図するものである。
【図面の簡単な説明】
【0041】
【図1】無人航空機と回転翼航空機を含む構成例を示す図である。
【図2】図1の構成に使用することができる電子機器ボックスを示す図である。
【図3】図1に示される構成例の回転翼航空機上で使用するのに適しているマスト搭載部品(MMA)を示す図である。
【図4】図1の回転翼航空機と通信する追加のエンティティを含む構成例を示す図である。
【図5】本例のシステムのブロック図である。
【図6】図1の回転翼航空機のシステム例のブロック図である。
【図7】本例の方法に従うフロー図である。
【図8】本例の方法に従うフロー図である。
【図9】マスト搭載部品が搭載されている回転翼航空機のメインロータブレードによって、図3のマスト搭載部品に搭載されるアンテナの減衰例を示す図である。
【図10】マスト搭載部品が搭載されている回転翼航空機のメインロータブレードによって、図3のマスト搭載部品に搭載されるアンテナの減衰例を示す図である。
【技術分野】
【0001】
この非仮出願は、米国特許商標庁に2003年4月25日に出願された、米国仮出願番号60/465,227号の優先権を主張するものである。米国仮出願番号60/465,227号は、参照することによって本明細書に組み込まれる。
【0002】
技術分野
米国特許第6,377,875号は、無人航空機(UAV:unmanned air vehicle)の遠隔制御方法を開示している。制御局(6)とUAV(1)間の無線通信が途絶えることを考慮して、UAV(1)は、事前にプログラムされた安全なルート(3)をファイルしている。UAVが飛行経路(2)を案内されること、つまり、制御局(6)から遠隔制御されることを必要とするときに、無線通信が中断する時には、遠隔制御局からの動的な介在なしで、UAVは搭載装置で計算される代替経路をファイルする。
【0003】
米国特許第6,130,705号は、航空偵察システムを開示していて、これは、自動的かつ自律的に対象物の観察分解能あるいは視野(resolution or field of view)に適合するシーンの画像を生成する。一実施形態では、一連の空中偵察カメラ画像から目標の範囲を自動的に計算するパッシブ(passive)方法が使用される。範囲情報は、フレーム単位で目標画像を生成するズームレンズの調整を制御するために使用し、この目標画像は、急激かつ著しい航空機の高度変化が発生するとしても、画像の中心において、所望の、例えば、一定の範囲での、観察分解能あるいは視野を持っている。画像単位のデジタル相関は、焦点面での目標物の変位を判定するために使用される。カメラのフレームレートと、航空機のINS/GPS情報は、フレーム単位の距離(基準線)を正確に判定するために使用される。そして、計算された範囲は、適切な焦点距離にズームレンズサーボ機構を駆動して、次の画像に対する、所望の観察分解能あるいは視野を生成するために使用される。この方法は、航空機の高度及び離間距離(stand off distance)のような範囲以外のパラメータに基づいて実行されても良い。
【0004】
米国特許第6,056,237号は、ソノチューブ(sonotube)互換無人航空機(UAV)と、UAVの発射及び制御用のシステムを開示している。UAVは、通常は、モジュラーセクションから構成され、これには、機首セクション、ペイロードセクション、翼及び燃料タンクセクション、及び動力装置セクションを含んでいる。モジュラーセクションは、均一なロックシーリングリングと関連コンポーネントによるセクションに隣接して接続されている。本発明は、かなり小さく、人間が携帯でき、弾道的に発射される(ballistically launched)、自律的あるいは半自律的制御車両を可能にする装置を構成する。これは、事前にプログラムされた、通信された、あるいは遠隔操作ミッションプログラミングで配置されるものである。防災用品、センサ及びアンテナ部品を含む、広い範囲でのペイロードパッケージは、飛行中に搬送され、使用され、あるいは配備されても良い。UAVは、ビデオ、データ及び音声信号を送信するために装備することができる。人間が持ち運べる操作は、発射管装置(launch canister apparatus)の使用によって達成される。発射管は、格納式発射安定脚(retractable launch stabilizing legs)、タービンエンジン排気口、及び各種アンテナを備えている。選択的には、発射管装置は、改良型「A」、「B」あるいは「C」ソノチューブ発射管を備える。本発明のシステムも、ポータブルコマンド、制御、通信、コンピュータ、及びインテリジェンス(C4I)制御及び検知解析コンソールを備えている。このコンソールは、耐久性、耐水性、耐震性を持つことが好ましく、また、制御及び解析コンピュータ、入力/出力装置、アンテナ、及び車両及びミッション制御用の関連するハードウェア及びソフトウェアを含んでいる。C4Iコンソール及び発射管の少なくとも一方は、携帯用に設計されたバックパックによって搬送されても良い。UAVは、光学あるいは非光学センサを含むことができる。このセンサは、「低コスト非冷却センサプロトタイプ」(LOCUSP)サーマルビジョンシステム、あるいは、米国のフェアチャイルドシステムによって製造されたロッキードマーチン「MICRO−FLIR」、あるいは米国のライセオン社、あるいはヒュージス エレクトロ オプティクス社によって製造されている、典型的な、他の既存のマイクロFLIR(前方赤外線監視装置)システムであっても良い。センサ13に適合可能な他の光学センサには、デイライトビデオ、第4世代の微光テレビジョン(LLTV)、ITTエレクトロニクスUSAによって開発された、典型的な全光テレビジョン(ALLTV)ナイトビジョンシステムを含んでいる。これらのセンサは、ロッキードマーチンAN/AAQ−13/14LANTIRN高精度射撃型システムに適合する従来型の設計のレーザ測距照準システム、あるいは他の長距離レーザ測距システムを含んでいても良い。
【0005】
要約
ビデオフレームを処理し、かつ出力する本例の方法は、ビデオフレームのストリームを受信すること、地理位置データをビデオフレームに挿入して、修正ビデオフレームデータを生成すること、修正ビデオフレームを出力することを含んでいる。
【0006】
本例のシステムは、ビデオフレームのストリームを受信するアンテナと、地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成するプロセッサと、修正ビデオフレームを出力する出力器とを含んでいる。
【0007】
本例のシステムは、少なくとも1つのセンサを含む第1航空機と、少なくとも1つのセンサを含む第2航空機と、通信局と、第1航空機、第2航空機及び通信局のそれぞれでノードを備えるデータリンクとを備える。このデータリンクは、第1航空機から、第2航空機のノードへデータを搬送する。このデータリンクは、第1及び第2航空機の少なくとも一方によって生成されるデータを記憶するように構成されているデータ記憶を含み、このデータ記憶は、第2航空機に配置されている。このデータリンクは、通信局から受信される命令に基づいて、データ記憶に記憶されているデータを処理し、かつ送信するように構成されている、第2航空機上の検索エンジンを含み、データは、画像、その画像に関連付けられている地理位置データ、その画像に関連付けられている時間タグを備える。
【0008】
本例の方法は、リモートユーザからの要求(デマンド)に応じて、そのリモートユーザが、その時間と空間でみたいものについての、フルモーションンビデオを検知プラットホームから提供する。リモート位置から、ユーザは、与えられる時間と空間から、あるいは関連するビデオを呼び出すことができ、また、検索エンジンを使用することで、どんなビデオとデータ生成物が、そのリモートユーザに利用可能であるかを判定することができる。この本例の方法は、ビデオフレームのストリームを受信すること、地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成すること、修正ビデオフレームを出力することを含めることができる。本例のシステムは、ビデオフレームのストリームを受信するアンテナと、地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成するプロセッサと、修正ビデオフレームを出力する出力器とを含んでいる。
【0009】
詳細説明
本実施形態はビデオオンデマンドについて言及するものであり、より詳しくは、戦術ビデオオンデマンドについて言及するものである。図7は、ビデオフレームの処理及び出力方法の例を示していて、ここでは、第1ブロック702で、ビデオフレームのストリームを受信し、次のブロック704で、地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成し、ブロック706で、その修正ビデオフレームを出力する。ブロック704での挿入は、例えば、TCDLエレクトロニクス(電子機器)220、605、553によって実行することができる。図7に示されるプロセスは、ビデオフレームの単一のストリーム及びビデオフレームの複数のストリームの少なくとも一方に関して、ブロック704及び706を繰り返すことによって繰り返すことができる。
【0010】
図8は別の例の方法を示している。第1ブロック802で、第1航空機は、ビデオフレームのストリームをキャプチャする。次のブロック804で、ビデオフレームのストリームが、第1航空機から受信される。ブロック804から、制御は、ブロック806に進み、ここでは、ビデオフレームのストリームが記憶される。ブロック806から、制御はブロック808に進み、ここでは、第2航空機が、そのビデオフレームのストリームの特定ビデオフレーム内のシーンの地理位置データと、その特定ビデオフレームに対する時間タグを判定する。地理位置データは、例えば、特定ビデオフレーム内のシーンと、第2航空機間の距離を判定し、第2航空機の方位角、高度、方向及び位置を判定することによって判定することでき、ここでは、全方位測位衛星(GPS)信号が、距離、方位角、高度、方向及び位置に従って用いられることで、地理位置データを判定する。地理位置データは、例えば、航空機の実際の慣性空間位置を基準として、かつビデオフレーム内の関心目標物あるいは対象物の範囲と組み合わされるジンバル(gimbals)/センサ、方位角及び高度角を使用することによっても、判定することができる。地理位置データは、例えば、ジンバル走査をして、別の航空機の位置とアスペクト角からビデオフレームを形成することによっても、判定することができる。
【0011】
ブロック808から、制御はブロック810に進み、ここでは、地理位置データと時間タグが受信される。ブロック810から、制御はブロック812に進み、ここでは、地理位置データと時間タグは、第1及び第2航空機からのセンサデータとともに記憶される。ここで、センサデータは、特定ビデオフレーム内の対象物(オブジェクト)を識別する。識別された対象物は、例えば、車両あるいは建物、あるいは他の関心目標物あるいは対象物であり得る。ブロック812から、制御はブロック814へ進み、ここでは、地理位置データと時間タグは、特定ビデオフレームに挿入されて、修正ビデオフレームを生成する。この挿入は、例えば、TCDL電子機器220、605、533によって実行することができる。地理位置データは、例えば、ビデオフレームの可視領域に挿入することができる、あるいはビデオフレームの不可視領域に挿入することができる。
【0012】
ブロック814から、制御はブロック816に進み、ここでは、ビデオフレームのストリームのインデックスが、地理位置データ及び時間タグを使用して生成される。ブロック816から、制御はブロック818に進み、ここでは、インデックスが、位置位置データ及び時間タグの少なくとも一方に基づいて検索される。ブロック818から、制御はブロック820に進み、ここでは、検索された地理位置データ及び時間タグの少なくとも一方に関連付けられている、1つ以上の修正ビデオフレームが出力される。例えば、修正ビデオフレームは、コンピュータによって生成された関心領域の地形図上に出力することができ、そうすることで、修正ビデオフレームと任意の関心目標物あるいは対象物が、表示された地形図内の適切な地理位置に配置される。ブロック820から、制御はブロック822に進み、ここでは、射撃統制レーダシステムに対するコマンドが受信される。ブロック820から、制御はブロック824に進み、ここでは、第1航空機へコマンドが送信される。
【0013】
図7−8に示される方法は、図1−6に示される装置を使用して実現することができる。図1に示されるように、無人航空機(UAV)110のような第1航空機は、自身のステータス情報、位置情報、センサ及び武器管理情報及び広帯域幅ビデオを、例えば、ヘリコプターである、第2航空機120へ送信することができる。第2航空機120は、制御情報を送信して、UAV110を制御することができ、また、第2航空機の位置、及びセンサ及び武器管理情報をUAV110へ送信することができる。
【0014】
図2は、第2航空機120に搭載することができる電子装置を示している。電子装置は、航空機インタフェースプロセッサ210、戦術共通データリンク(TCDL)電子機器220、ビデオマスメモリ(video mass memory)230及びサーボ電子機器240を含んでいる。TCDL電子機器220は、航空機120の射撃統制レーダ(FCR)システムと接続していて、そうすることによって、FCRコマンドが電子機器装置(ボックス)によって捕捉され、かつUAV110の制御用にUAV110へ送信される。また、TCDL電子機器220は、ビデオマスメモリ230に記憶されているビデオのスクリーン上への出力を可能とし、このスクリーンは、FCRシステムで従来より採用されている。サーボ電子機器240は、TVODTM(戦術ビデオオンデマンド)システムのアンテナを制御する。
【0015】
図3は、本実施形態に従うマスト搭載部品(MMA)を示している。詳しくは、MMA(マスト搭載部品)は、従来のFCR MMAを使用して構築することができる。従って、ダイプレクサ305、導波スイッチ310及びTCDLアンテナ315は、FCR MMA内のレーダを置換し、かつTVODTMシステムに追加する要素である。アンテナ315は、リニアテーパアンテナにすることができる。本実施形態では、アンテナ315のサイズ、例えば、アンテナ315の長さあるいは幅は、ロータリブレード幅あるいはコード(弦)(chord)よりも大きい。これは、アンテナ315に搭載される、回転翼(ロータリウイング)プラットホームのロータブレードアーク(rotor blade arc)あるいはロータディスクを介して、アンテナの送受信能力を向上することができる。ダイプレクサ305は、密集無線あるいはレーダ周波数(RF)信号の同時送受信を可能として、スイッチ310は、送信及び受信帯域の切替方法を提供し、TCDLアンテナ315は、RFエネルギーを、送受信用の狭ビームに集中させる。別の実施形態では、FCR MMAのようなMMA内のコンポーネントを置換する代わりに、本発明の実施形態を実現するために必要なコンポーネントを、MMAから既存のコンポーネントを取り除くことなく、既存のMMAに配置することができる。当業者は、MMAの任意の互換性のある設計あるいは構成を使用でき、また、本発明の特定用途に対して設計し、構築できることを認識するであろう。
【0016】
図3に示さるように、TVODTMサブシステムは、MMA電源コントローラ320、高度ジンバル325、ディロテータ(自転補正機)330、及びレーダ周波数干渉計335を含むことができ、これらのすべては、FCR MMAでも同様にある。MMA電源コントローラは、あらゆる必要な電力と制御信号を提供し、すべてのMMAハードウェアを駆動することができる。高度ジンバル325は、アンテナ及び高度モータを保持し、また、高度軸の指示を容易にする。ディロテータ330は、ヘリコプターロータシステムのコンポーネントであり、また、MMAはディロテータ330と繋がっている。レーダ周波数干渉計335は、レーダエミッタ用のベアリングデータ及び分類情報を提供する。
【0017】
本発明の実施形態に従えば、FCR MMAは、UAVとの通信用に、TCDLトランシーバ340(これは、従来のあるいは民生品(COTS)コンポーネントとすることができる)を含むように変形される。詳しくは、TCDLトランシーバ340は、送受信用に変調波形を増幅する。
【0018】
図9−10は、回転翼航空機のメインローダブレードによって、図3のマスト搭載部品に搭載されるアンテナの減衰例を示していて、ここで、マスト搭載部品はその回転翼航空機に搭載される。特に、図9は、0%のインデックスで、アンテナビーム上のAH−64アパッチヘリコプターのブレードの効果を示していて、また、図10は、46%のインデクスでの効果を示している。
【0019】
図4は、本発明の実施形態に従うビデオオンデマンドを提供する構成例を示している。図4に示されるように、ビデオ情報を提供する航空機、即ち、航空機410は、有人航空機とすることができる。図2の電子装置と、図3のMMAを従来の航空機に組み込むことによって、航空機410は、ビデオオンデマンドを別の有人航空機420、船舶430あるいは地上車両440に提供することができる。図示はしていないが、オンデマンドビデオは、地上局、例えば、建物に提供することもできる。加えて、ビデオオンデマンドを提供することができる距離を増やすために、図2の電子装置と図3のMMAを備える航空機420は、航空機420の送信範囲内ではあるが、航空機410の送信範囲内でない場所にビデオオンデマンドを提供するリレーとして動作することができる。
【0020】
図5は、本発明の実施形態に従うシステムの機能ブロック図である。図5では、破線部505内の要素は、単一の航空機、例えば、回転翼プラットホーム120、410及び420の外及び内の少なくとも一方に配置される。従って、航空機は、MMA507(図3に示される)、拡張前方アビオニクスベイ(EFAB:Extended Forward Avionics Bay)509(図2に示される電子装置)、パイロットインタフェース511、TADS電子表示制御(TEDAC)513、M−TADS515、無線機517、レーダ周波数インタフェース(RFI)測定ユニット519及び共通ロジスティカル環境(CLOE)診断モジュール521を含むことができる。パイロットインタフェース511は、第2航空機、例えば、回転翼プラットホーム上のマンマシンインタフェースである。TEDAC513は、回転翼プラットホーム上のマンマシンインタフェース用のディスプレイインタフェースである。M−TADS515は、電気光学センサを含む近代化目標設定指定システムである。無線機517は、プラットホーム間、例えば、航空機間、航空機と地上局間、及び航空機とSATCOM(衛星通信)間、航空機とJSTARS(統合目標攻撃監視レーダシステム)間の少なくとも1つの間で、音声及び制限されたデータ通信を提供する。RFI測定ユニット519は、レーダエミッタ用のベアリングデータ及び分類情報を提供する。CLOE診断モジュール521は、航空機用のヘルスモニタとして機能する。
【0021】
MMAは、トランシーバ523、アンテナ制御モジュール525、サーボ527、スリップリング529を含んでいる。トランシーバ523は、送受信用の変調波形を増幅する。アンテナ制御モジュール525は、アンテナを正確に指示することを維持するために必要なあらゆる信号を発信する。サーバ527は、アンテナ安定化を可能にするメカニズムを提供する。スリップリング529は、電気及びRF信号を生成して、継続的に回転するメカニカルインタフェースを介して継続性を維持することを可能にする。EFAB電子機器モジュール509は、サーボ制御及びマス記憶ユニット531と、TCDL制御及びレーダ周波数電子機器533を含んでいる。サーボ制御及びマス記憶ユニット531は、アンテナを正確に指示することを維持するために必要なあらゆる計算を実行し、MTADS(近代化目標設定指定システム)及びUAVセンサデータを記憶し、検索するためのインタフェース及び方法を提供する。TCDL制御及びRF電子機器533は、ビデオ圧縮/伸張、データ多重/分解、圧縮/伸張及び変調/復調を実行する。加えて、オプションのオムニアンテナ535を、航空機に搭載することで、その航空機を、他の同様の装備の航空機からのビデオ及び他の情報のリピータとして動作することを可能にする。例えば、アンテナ535は、TCDLに、地上局に対して、リピータモードで動作することを可能にする。しかしながら、オムニアンテナ535は、リピーティング機能に対してもに使用され、また、航空機がリピータとして使用されない場合は省略することができるが、このような航空機は、オムニアンテナを有する別の航空機によって繰り返される、自身のビデオ及び他の情報を依然として持つことができる。
【0022】
図6は、アパッチヘリコプターのようなヘリコプターへの搭載用のTVODTMシステムの例のブロック図である。TCDLシステムの従来のコンポーネントは、電子モジュール605及びTCDLトランシーバ610を含んでいる。TCDL電子機器605は、ビデオ圧縮/伸張、データ多重/分解、圧縮/伸張及び変調/復調を実行する。
【0023】
図6に示される航空機の従来の要素は、ジンバル安定化モジュール615、MMA PSコントローラ620、スリップリング/ロータリ625、IMU(慣性測定ユニット)630、MMAブラインドメータ635、RFIモジュール640、方位角電力増幅器645、方位角モータ650、レートモジュール655、ダイプレクサ/スイッチ660及び構造体665を含んでいる。ジンバル安定化モジュール615は、正確にアンテナを指示することを維持するために必要なあらゆる計算を実行することができる。スリップリング/ロータリジョイント625は、電気及びRF信号を生成して、継続的な回転メカニズムインタフェースを介して継続性を維持することを可能にする。IMU630は、慣性測定ユニットであり、これは、アンテナ安定化及び制御に必要な加速度及び方向データを提供する。MMAブラインドメータ635は、自律調整電気コネクタであり、これは、あらゆる入力及び出力信号をマスト搭載部品に供給する。RFIモジュール640は、レーダエミッタ用のベアリングデータ及び分類情報を提供する。方位角電力増幅器645は、アンテナの安定化に必要な信号増幅を行う。方位角モータ650は、方位軸内でマスト搭載アンテナを駆動する。レートモジュール655は、アンテナを安定化するために必要なデータを提供するレートセンサである。ダイプレクサ/スイッチ660は、密集RF信号の同時送受信を可能にし、また、送受信帯域の切替方法を提供する。構造体665は、回転翼環境内で構成されるコンポーネントを覆うことを可能にする複合材料/アルミニウムメカニズムである。
【0024】
ビデオオンデマンドシステムを実現する既存のハードウェアに対する変形には、航空機インタフェースモジュール667、M−TDASインタフェース/ビデオメモリモジュール670、全方位(オムニ)アンテナ675、TCDL高ゲインアンテナ680及び高度モータ/ジンバル685を含んでいる。航空機インタフェースモジュール667は、ホスト航空機と通信するために必要なあらゆる入力及び出力機能を提供する。M−TADSインタフェース/ビデオメモリモジュール670は、MTADS及びUAVセンサデータを記憶し、検索するためのインタフェース及び方法を提供する。全方位アンテナ675は、制限範囲での360度の受信範囲を提供する。高ゲインアンテナ680は、RFエネルギーを、送受信用の狭ビームに集中する。EI(高度)モータ/ジンバル685は、高度軸でアンテナを駆動する。
【0025】
本発明の実施形態に従えば、マスビデオ記憶メモリ(例えば、ブロック531)は、ビデオフレームのストリームと、そのビデオフレームのそれぞれに関連するデータを記憶する。この関連するデータには、地理位置データ、時間タグ、及びマスビデオ記憶メモリを搬送する車両上のセンサ及びビデオフレームのストリームをキャプチャする車両上のセンサの少なくとも一方からのセンサデータを含めることができる。従来のインデックス及び検索技術に従って、この関連するデータは、記憶されたビデオフレームに対してインデックスを付与することで、検索パラメータとしてその関連するデータを使用して、ビデオフレームの検索を可能にする。従って、マスビデオ記憶メモリへのアクセスを持っている、地上ユニット、別の航空機あるいは水上ユニット(例えば、高帯域幅データリンク、例えば、電子、無線あるいは光データリンクを介する)は、特定ビデオフレーム、特定の地理位置に対するフルモーションビデオフレームの、1つの以上の拡張ストリームあるいはセット、及び過去から現在の目標画像のページの少なくとも1つを選択し、検索することができる。加えて、ビデオフレームがマスビデオ記憶メモリから検索され、ビデオフレームの要求先へ送信される場合には、関連するデータをビデオフレームに挿入することができ、これによって、要求先が、ビデオ及び関連するデータの両方を同時に見ることを可能にする。
【0026】
本発明の実施形態は、他の複数の電子及びソフトウェア技術と、送信、記憶、配信及びセンサデータを演算する機能とを組み合わせた、標準化戦術共通データリンク(TCDL)ハードウェア及び波形(群)を使用することができる、システム及び方法を提供する。もちろん、他の通信プロトコル及びハードウェアを、本発明の様々な実施形態を実現するために使用することができ、これらは、本明細書で説明される様々な機能及び能力を提供することができる。このセンサデータには、スーパーインポーズされる他の特徴データと地理位置とを有する高解像度デジタルビデオのストリーミングを含んでいる。これは、航空偵察、射撃統制ネットワーク集中制御(network-centric weapon fire control)に対して有効な固有の能力群を提供する。例示の方法は、ビデオフレームのストリームの受信、修正ビデオフレームを生成するための地理位置データのビデオフレームへの挿入、修正ビデオフレームの出力を含んでいる。
【0027】
実施形態に従えば、ヘリコプタープラットホームの電子光学照準システムからの地理位置データは、TVODTMアーキテクチャの一部とする以下の方法で生成することができる:航空機の実際の慣性空間位置は、基準として使用することができ、また、関心目標物の範囲に組み込まれるジンバル/センサ方位角及び高度角は、計算の基礎を生成して、遠隔にある関心目標物の慣性空間内の位置を高精度に判定することができる。これらの計算は、オペレータの選択によって繰り返し実行することで、必要とされるできる限り多くのビデオフレームに地理位置データを追加することができる。異なる航空機の位置及びアスペクト角から画像を生成するジンバル走査は、TVODTMシステム内の地理位置データを計算する別の方法を生成することができる。照準システムは、例えば、近代化目標設定指定システム(M−TADS)あるいは他の電子光学画像検知システムを含めることができる、あるいはこれらを介して実現することができる。
【0028】
コンポジットビデオ(例えば、地理位置データを含むように修正されたビデオフレームを含むビデオフレームのストリーム)は、選択的に、関心領域のコンピュータ生成地形図上にスーパーインポーズすることができる、そのようにして、画像及びその関心目標物が、表示される地形図内の正確な地理位置上で描画される。
【0029】
本明細書で説明される実施形態及び方法は、いくつかの利点を与えるものである。例えば、回転翼プラットホームの通信能力は、地上及び航空用トランシーバを用いる、高大域幅通信まで適応することに向上していて、これには、例えば、空中間及び空中と地上間の少なくとも一方でのビデオストリーミングが含まれている。そして、そうすることによって、回転翼プラットホームは、ネットワーク集中型バトルフィールド(battlefield)内のデータソースとして効果的に動作することができる。回転翼プラットホームに対して、送受信される情報には、地理位置データと時間タグを有する画像を含むことができ、これらは、連続ストリーム、あるいは離散要素あるいはブロックで送信することができ、かつリアルタイムあるいは時間遅延を持たせて送信することができる。画像は、1つ以上のビデオ/テレビ画像、赤外線画像、レーダ画像、あるいは、UAVから受信されるセンサデータに基づいて生成される、あるいは回転翼プラットホームによって直接キャプチャされる他の任意の画像が含まれる。画像は、人工あるいは合成画像が含まれる。この画像は、一種のセンサからのデータに基づいて、回転翼プラットホーム上のプロセッサによって生成される。あるいは、この画像は、回転翼プラットホーム、回転翼プラットホーム上のセンサ、図4に示されるソース420、430、440のような、空中あるいは地上のソース、及び建物のような地上局の少なくともいずれかと通信する1つ以上のUAVから受信される様々な種類のセンサからのデータに基づいて、回転翼プラットホーム上のプロセッサによって生成される。プロセッサは、例えば、TCDL電子機器220、533、605内に配置することができる。
【0030】
本例は、リモートUAVあるいは航空機搭センサから発する時間及び地理位置のタグが付加された画像のリモートビデオ及びデータ検索を可能にする、双方向データリンクを使用すること、また、地上端末あるいは他の航空機端末のどちらかに搭載することができる標準的なグラフィックユーザインタフェースを使用することを含んでいる。データリンクのノードは、例えば、航空機110、120、410、420及び通信局430、440に搭載することができる。本方法は、センナの位置、角度、内部設定(視野、モード、ゲイン、レベル等)を含むアノテーションデータに従う、圧縮ビデオデータの記憶を開始することができる。また、このデータは、センサに関連する信号プロセッサ、例えば、センサによって出力される信号(例えば、原信号)を処理する信号プロセッサからの情報を含むことができ、また、ホストプラットホームからの情報を含むことができ、また、目標物検出トラックファイル、航空機ペイロードステータス及び特定ミッションの詳細のような、他のセンサからの情報を含むことができる。信号プロセッサは、センサに、あるいはセンサから離して配置することができる。双方向データリンクは、ユーザから、TVODソフトウェアを実行するプロセッサへ、検索コマンドを搬送するために使用することができる。TVODソフトウェアは、例えば、電子機器220、プロセッサ210、電子機器533、及びデータリンクの1つ以上のノードに配置される1つ以上のプロセッサあるいはコンピュータの少なくとも1つ以上を介して実現することができる。データリンクの1つ以上のノードに配置されるプロセッサあるいはコンピュータ上で動作するソフトウェア、例えば、航空機120、410上で動作するTVODソフトウェアは、検索コマンドを解釈する検索エンジンとして動作することができ、かつ圧縮ビデオに付随するデータセット上の検索コマンドに従って検索を実行することができる。検索条件が満足すると、ソフトウェアは、双方向データリンクを介してキューイング(cueing)情報をユーザに送信する。つまり、TVODソフトウェアは、検索エンジン能力及び機能を含むことができる。キューイング情報を用いることで、ユーザは、ディスプレイ用の双方向データリンクを介して、圧縮ビデオ及びデータ、例えば、検索によって配置されるあるいは識別されるデータの送信の開始を、TVODソフトウェアに指示することが可能になる。
【0031】
本例の方法は、データリンク内に、記憶媒体あるいはデータ記憶を組み込み、関連する地理位置及び時間タグデジタルデータに従う、すべてのセンサビデオ及びデータを記録することを含んでいる。記憶媒体及び検索エンジンは、1つ以上のUAV、航空機あるいは地上局データリンクに配置することができ、これらには、例えば、1つ以上の航空機110、120、410、420を含むデータリンクのノード及び通信局430、440上のデータリンクのノードがある。この構成あるいは処理は、自身のミッションを実行するためのUAV制御及びビデオ送信データリンク(これは、航空機110、120、410、420上のノードを有するデータリンクの一部とすることができる)のために、デジタル圧縮ビデオ及び関連データ生成物がリンク上で利用可能とならなければならないという事実を利用している。リンクあるいはそのリンクのノードにデータ記憶あるいは記憶媒体を配置することは、リンクに容易にアクセス可能な記憶されたデータを作り出し、また、リモートデータユーザに、例えば、航空機420あるいは通信局430、440に存在するユーザで、かつ/あるいはこれらの位置の1つにあるノードを介してデータリンクにアクセスするユーザに、他の重要な航空機処理と対話することなく、あるいは干渉することなく記憶された生成物にアクセスすることを可能にする。ここで、航空機処理の例には、航空機410、120及び110の少なくともいずれかの飛行制御、武器制御及びセンサ制御がある。具体的には、データリンク(例えば、航空機120、410上の)内にデータ記憶媒体を配置することは、ビデオオンデマンド機能に、航空機の任務飛行プログラムに有害な影響が発生しないことを可能にする。データ記憶は、例えば、ビデオマスメモリ230、モジュール531を含めることができ、また/あるいは、データリンクのノード、例えば、航空機110、120、410、420及び通信局430、440の少なくともいずれかに様々に配置される1つ以上の個別あるいは分散記憶装置を含めることができる。
【0032】
本例のデータ検索の方法は、プログラムの使用を含めることができ、これには、例えば、データリンク上にあり、そのデータリンクのノードの1つで動作するプログラム、あるいはデータリンクの複数のノード間で分散された構成で動作するプログラムがあり、これは、既存の地上局と互換性のあるグラフィックユーザインタフェース(GUI)を生成する、あるいは、地上局で実現されるGUIと互換性のあるあるいは有用となる情報を提供する。GUIは、例えば、これらの地上局でのデータリンクのノードで実現することができる、あるいはデータリンクのノードと通信する、コンピュータあるいは通信システム上で実現することができる。GUIは、例えば、コントロール及び画像を含むディスプレイによって形成することができる。ユーザ操作あるいはユーザ対話入力デバイスには、例えば、ポインティングデバイス、マウス、キーボード、ジョイスティック、マイクロフォン、光学センサあるいは他のデバイスの1つ以上が含まれ、これらは、ユーザからの入力あるいはコマンド(例えば、音声、移動、圧力/力、光あるいはユーザからの他の入力のいずれか1つ以上の形式で)を受信するものである。また、これらは、ユーザの位置、例えば、UAV制御地上局で、ユーザに、ディスプレイ上に示されるコントロールを作動させて、画像を操作することを可能にするために提供することができる。例えば、GUI画像は圧縮し、データリンクを使用して、別の局あるいはエンティティ、例えば、地上局に送信することができる。局は、受信したGUI画像を自動的に伸張して、それをユーザに表示することができる。ユーザは、受信したGUI画像に応じて、入力デバイスを操作し、ビデオ及びデータ生成物を選択し、レビューしたりダウンロードすることができる。
【0033】
データリンクの1つ以上のリンクにおけるデータリンクに、記憶媒体を組み込むことは、ビデオ及びデータ生成物の非リアルタイムリレーを容易することができる。例えば、シングル双方向データリンクは、時間位相技術を使用することで、デュアル双方向データリンクの機能を実行することができる。機体の重さとコストを節約しながら、リレー機能を発生させることを可能にする。
【0034】
本実施形態では、検出された目標物の地理位置の精度は、フレーム間の統合とセンサ融合、即ち、異なるセンサの出力の統合あるいは融合、及び異なる種類のセンサの出力の統合あるいは融合の少なくとも一方を介して改善することができ、これにより、画像データ、画像データに関連する地理位置データ及び時間タグの1つ以上の(具体的なあるいは総合的な)品質を改善する。複数フレームのビデオ及び他のセンサ目標物検出レポートは、収集され、例えば、データ記憶要素230、531及び本明細書で説明されるデータ記憶モジュールあるいはシステムの少なくともいずれかに記憶することができ、また、データ記憶とするデータリンクの同一のノードで、あるいは異なるノード(群)に配置されるコンピュータあるいはプロセッサによって、アルゴリズムをそのデータについて実行することができる。具体的には、複数のフレームからの検出、あるいは異なるフレームで検出される目標物は、アルゴリズムを使用して、関係付けられ、かつ解析あるいは処理されて、対象の位置(群)、例えば、目標物画像の中心を判定するあるいは改善することができ、これに加えて、目標物(群)に関連する不確定領域を判定することができる。与えられる目標物に対してより多くのデータが収集されると、不確定領域のサイズを削減することができ、これによって、検出位置がより正確になる。TVODシステムは、双方向データリンクを使用して、目標物検出レポートをユーザに渡すことで、そのレポートを、例えば、マルチフレーム処理によって生成される、より正確な地理位置データに付随させることができる。
【0035】
本実施形態では、リニアテーパアンテナは、回転翼プラットホーム上のTCDLアンテナとして使用され、ヘリコプタブレードオブスキュレーション(helicopter blade obscuration)中に、マイクロ波継続波(CW)動作を可能とする。これは、ロータブレードが部分的にアンテナを覆い隠す場合のデータの損失を招くことなく、ヘリコプター環境内のマイクロ波(X帯域以上)周波数データリンクシステムの使用を可能にする。典型的なパラボラマイクロ波アンテナは、ほとんどのRF(無線周波数)エネルギーをビームの中心に集約するテーパを持っている。このような典型的なアンテナは、ヘリコプターブレードを覆い隠すサイズよりもかなり大きくしなければならないであろう。リニアテーパ状に設計されたアンテナは、アンテナの表面に渡って均一にRFエネルギーを分散する。ヘリコプター環境内あるいはヘリコプター上で使用される場合には、ヘリコプターのロータブレードコード(翼弦)の2倍のサイズの開口を有するリニアテーパアンテナで、信号強度を3db損失するだけで、データリンクを維持することができる。つまり、アンテナ315は、リニアテーパアンテナを使用して実現することができる。
【0036】
本実施形態に従えば、システムを介して流れるデータに対する圧縮モード、例えば、データリンク(例えば、回転翼プラットホーム間、航空機から地上通信局への少なくとも一方)を介して流れるセンサデータに対する圧縮モードを、ユーザのコントロール入力に基づいて画像の品質に対するイメージレイテンシー(image latency)とトレードするために、自動的に選択することができる。圧縮は、例えば、航空機からの送信前、及びデータ記憶前の少なくとも一方の前に発生する。コントロール入力は、例えば、ユーザから、センサパッケージあるいはペイロードへのコマンドとすることができ、これは、センサが検知しているあるいは調査している環境について、及びペイロードが搭載されているあるいは搬送されているUAVあるいは回転翼プラットホームのようなプラットホームについての少なくとも一方についてのセンサの方向に影響を及ぼす。例えば、ペイロード、及びそのペイロードが搬送されるプラットホームの少なくとも一方は、ペイロードが検知しているあるいは測定している環境についてのペイロードの急旋回を必要とするコマンドを受信することができる。この急旋回は、ビデオフレーム間で劇的な画像変化をもたらし、この状況では、低レイテンシー圧縮技術を選択することができる。例えば、次のビデオフレームにおいて低レイテンシー圧縮を開始することによって、受信したコマンドが急旋回を発生する、あるいは発生させようとしていると判定した後に、データリンクは、低レイテンシーモードでビデオを圧縮することができる。データリンクは、また、メッセージあるいは情報を送信して、ユーザあるいはユーザのデータリンクに、例えば、データストリーム内の制御ビットで、低レイテンシーCODECが、ユーザに送信される圧縮データのビデオ伸張用に使用されるべきであることを通知する。わずかな旋回あるいは無旋回のコマンドが指示されている場合、あるいはペイロードが、目標物を自動的に追跡することを指示されている場合、高品位画像圧縮技術を自動的に選択することができる。高品位画像圧縮技術の選択においては、ビデオの次のフレームから、データリンクは、高品質モードでビデオを圧縮する。データリンクは、ユーザのデータリンクに、高品質モードCODECがビデオ伸張用に使用されるべきことを、例えば、データストリーム内の制御ビットを介して通知する。高くも低くもない中間の、指示された旋回レートに対しては、最適なビデオ圧縮技術を自動的に選択し、上述と同様の方法で使用することができる。この方法は、高品位ビデオ圧縮技術の使用と調和するあるいは釣り合うことができる。この高品位ビデオ圧縮技術は、低レイテンシー技術を用いるビデオ補間を向上する。この低レイテンシー技術は、コントローラとペイロード間のマンマシンインタフェースを最適化する。圧縮及び伸張は、例えば、図1、2及び4で示される航空機及び通信局上のデータリンクのノード内に配置されるコンピュータあるいはプロセッサによって実行することができる、また、あるいは、例えば、データリンクノードで提供される、電子機器220、530及び他のプロセッサあるいはコンピュータの少なくともいずれかによって実行することができる。
【0037】
本発明の実施形態に従えば、空間的に隣接するビデオフレームを一緒に結び付ける(stitching)ことができる、フレーム単位の画像強調を実行することができる、また、武器発射(weapon firing)データ、受動的なRFデータ及びレーダ検知データのような複数のソースからのデータは、融合してあるいは統合して、そのデータの品質及び有用性の少なくとも一方を向上させることができる。これは、記憶媒体上のデータリンク内に複数のビデオフレーム及びデータを最初に記憶することによって達成することができる。この記憶媒体は、例えば、ユニット531内のマス記憶あるいはビデオマスメモリ230、及びデータリンク内の別のデータ記憶の少なくとも一方がある。記憶されたビデオフレームとデータは、センサの視野方向から、各画素の空間位置を判定するために処理することができる。ビデオフレーム群は結び付けられ、また、同一空間位置を占める画素群はマージされる。画像処理アルゴリズムは、画像の歪みあるいは画像内の歪みを最小化するために使用される。記憶された目標物データと他の航空機データ(on-aircraft)及び航空機以外(off-aircraft)のデータは融合あるいは統合され、かつシンボル的なオーバレイを生成するために使用される。これには、例えば、様々な形状あるいは色、テキストラベル及びその他のものを有するシンボルあるいはアイコンがある。これらは、ビデオフレームの画像上にオーバレイして、ユーザが観察するビデオフレーム及びそのマシーン解析コンテンツのビデオフレームの少なくとも一方に追加の情報を提供することができる。これらの処理は、データリンクの末端、例えば、UAVあるいは回転翼プラットホームの類のセンサの位置で、UAVと他の空中、地上あるいは水中局と通信する回転翼プラットホームの類の中間位置で、あるいは、最終位置、例えば、データリンクを制御するあるいはそのデータリンクから情報を受信するユーザが存在する位置のいずれかの位置で実行することができる。
【0038】
本例の方法は、データリンクトランシーバと、対応するモジュレータ/デモジュレータを使用して、マルチモードレーダ機能を実行することを含んでいて、これには、例えば、航空機120、410上で、かつアンテナ315に接続されているトランシーバがある。回転翼プラットホーム上では、このレーダモードは、ロータブレードを介して動作することができる。このレーダモードは、データリンクにソフトウェア機能を追加することによって達成され、これにより、自身で波形ジェネレータを実現して、レーダ波形を生成することができる。データリンクのデジタル受信機は、再プログラムされることで、レーダ反射を受信して処理し、これは、移動目標物の検出及び分類と、地形及び障害物の検出と、合成開口レーダ画像の生成を可能にする。データリンクのRFセクションを変形あるいは構成することで、全二重データリンクモード及びレーダモードの少なくとも一方の選択を可能にする。この全二重データリンクモードでは、送信及び受信周波数が意図的に異なっていて、また、このレーダモードでは、送信及び受信周波数は同一であることが必要とされる。
【0039】
当業者には、本明細書で説明されるデータリンク(群)は、あらゆるトランシーバ、コンピュータ、マイクロプロセッサ、電子コンポーネント、デバイスあるいはサブシステム、アンテナ及びソフトウェア等、本明細書で説明されるデータリンクの機能を実行するために必要なものあるいは好ましいものを含むことができ、また、様々に配置することができ、また、独立して、協働して、分散形式で、あるいはそれらの任意の組み合わせで動作できることを理解するであろう。加えて、本発明の様々な実施形態及び方法は、本発明と整合性がとれる、任意の通信、データ解析及びデータ処理技術(圧縮、伸張、暗号化、解読、結び付け(stitching)等)とともに実現することができる。
【0040】
本発明は、その精神あるいは本質的な特徴から逸脱しない、他の特定の形式で実施することができる。また、本発明は、本明細書で説明される特定の実施形態に制限されるものではない。本例で開示する実施形態は、例示であり、限定するものではない。この範囲は、上述の記載ではなく、むしろ添付の請求項によって示されるものであり、それの意味の範囲内のあらゆる変更及び、それの範囲及び等価なものが、本発明に包含されることを意図するものである。
【図面の簡単な説明】
【0041】
【図1】無人航空機と回転翼航空機を含む構成例を示す図である。
【図2】図1の構成に使用することができる電子機器ボックスを示す図である。
【図3】図1に示される構成例の回転翼航空機上で使用するのに適しているマスト搭載部品(MMA)を示す図である。
【図4】図1の回転翼航空機と通信する追加のエンティティを含む構成例を示す図である。
【図5】本例のシステムのブロック図である。
【図6】図1の回転翼航空機のシステム例のブロック図である。
【図7】本例の方法に従うフロー図である。
【図8】本例の方法に従うフロー図である。
【図9】マスト搭載部品が搭載されている回転翼航空機のメインロータブレードによって、図3のマスト搭載部品に搭載されるアンテナの減衰例を示す図である。
【図10】マスト搭載部品が搭載されている回転翼航空機のメインロータブレードによって、図3のマスト搭載部品に搭載されるアンテナの減衰例を示す図である。
【特許請求の範囲】
【請求項1】
ビデオフレームを処理し、出力する方法であって、
ビデオフレームのストリームを受信する工程と、
地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成する工程と、
前記修正ビデオフレームを出力する工程と
を備えることを特徴とする方法。
【請求項2】
前記地理位置データを受信する工程を更に備え、
特定ビデオフレームに挿入される前記地理位置データは、前記特定ビデオフレーム内のシーンの前記地理データに基づいている
ことを特徴とする請求項1に記載の方法。
【請求項3】
時間タグが、更に、前記ビデオフレームに挿入される
ことを特徴とする請求項1に記載の方法。
【請求項4】
前記ビデオフレームのストリームは、無人航空機から受信される
ことを特徴とする請求項1に記載の方法。
【請求項5】
射撃統制レーダシステムに対するコマンドを受信する工程と、
前記コマンドを無人航空機へ送信する工程と
を更に備えることを特徴とする請求項1に記載の方法。
【請求項6】
関連する前記地理位置データとともに、前記ビデオフレームのストリームを記憶する工程を更に備える
ことを特徴とする請求項1に記載の方法。
【請求項7】
少なくとも1つの検索コマンドで特定される条件を満足する地理位置データを識別するために、前記記憶された地理位置データを検索する工程と、
前記識別された地理位置データと、その識別された地理位置データに対応するビデオフレームとを送信する工程と
を備えることを特徴とする請求項6に記載の方法。
【請求項8】
前記ビデオフレームに関連づけられている時間タグは、前記地理位置データとともに記憶される
ことを特徴とする請求項6に記載の方法。
【請求項9】
前記ビデオフレームのストリームは第1航空機によってキャプチャされ、前記地理位置データと前記時間タグは第2航空機によって判定され、前記第1及び第2航空機からのセンサデータは前記地理位置データと前記時間タグとともに記憶される
ことを特徴とする請求項8に記載の方法。
【請求項10】
前記センサデータは、特定ビデオフレーム内の対象物を識別する
ことを特徴とする請求項9に記載の方法。
【請求項11】
前記識別された対象物は、車両あるいは建物である
ことを特徴とする請求項10に記載の方法。
【請求項12】
前記地理位置データと前記時間タグを使用するインデックスを生成する工程と、
前記地理位置データあるいは前記時間タグに基づいて、前記インデックスを検索する工程とを更に備え、
前記出力された修正ビデオフレームは、前記地理位置データあるいは前記時間タグに対して検索されたものに関連するビデオフレームである
ことを特徴とする請求項8に記載の方法。
【請求項13】
前記ビデオフレームのストリームは第1航空機によってキャプチャされ、前記地理位置データは第2航空機によって判定される
ことを特徴とする請求項1に記載の方法。
【請求項14】
前記地理位置データの判定は、
特定ビデオフレーム内のシーンと第2航空機間との距離を判定する工程と
前記第2航空機の方位角、高度、方向及び位置を判定する工程とを備え、
全方位測位衛星(GPS)信号が、前記距離、方位角、方向及び位置とともに適用されて、前記地理位置データを判定する
ことを特徴とする請求項13に記載の方法。
【請求項15】
前記地理位置データは、前記ビデオフレームの可視部分に挿入される
ことを特徴とする請求項1に記載の方法。
【請求項16】
前記地理位置データは、前記ビデオフレームの不可視部分に挿入される
ことを特徴とする請求項1に記載の方法。
【請求項17】
前記地理位置データは、航空機の実際の慣性空間位置とする基準と、前記ビデオフレームの関心目標物の範囲と組み合わされるジンバル/センサ方位角及び高度角とを使用して、判定される
ことを特徴とする請求項1に記載の方法。
【請求項18】
異なる航空機位置とアスペクト角からビデオフレームを形成するために、前記地理位置データは、ジンバル走査によって判定される
ことを特徴とする請求項1に記載の方法。
【請求項19】
前記修正ビデオフレームは、コンピュータ生成地形図の関心領域上に出力され、そうすることで、前記修正ビデオフレームと任意の関心目標物が、表示された前記地形図内の適切な地理位置に配置される
ことを特徴とする請求項1に記載の方法。
【請求項20】
システムであって、
ビデオフレームのストリームを受信するアンテナと、
地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成するプロセッサと、
前記修正ビデオフレームを出力する出力器と
を備えることを特徴とするシステム。
【請求項21】
前記アンテナは、リニアテーパアンテナである
ことを特徴とする請求項20に記載のシステム。
【請求項22】
前記アンテナは、レーダ信号を受信し、送信するように構成されている
ことを特徴とする請求項21に記載のシステム。
【請求項23】
前記修正ビデオフレームを送信する前記出力器と接続されている送信機を更に備える
ことを特徴とする請求項20に記載のシステム。
【請求項24】
関連する地理位置データとともに、前記ビデオフレームを記憶するメモリを更に備える
ことを特徴とする請求項20に記載のシステム。
【請求項25】
前記プロセッサは、前記地理位置データのインデックスを生成し、検索入力に基づいて前記地理位置データを検索し、
前記出力された修正ビデオフレームは、前記検索入力に対応するビデオフレームである
ことを特徴とする請求項24に記載のシステム。
【請求項26】
前記メモリは、更に、前記ビデオフレームそれぞれに関連付けられている時間タグとセンサデータとを記憶し、
前記プロセッサは、前記地理位置データのインデックスを生成し、検索入力に基づいて、前記地理位置データ、前記時間タグ及び前記センサデータの少なくともいずれかを検索し、
前記出力された修正ビデオフレームは、前記検索入力に対応するビデオフレームである
ことを特徴とする請求項24に記載のシステム。
【請求項27】
システムであって、
少なくとも1つのセンサを含む第1航空機と、
少なくとも1つのセンサを含む第2航空機と、
通信局と、
前記第1航空機、前記第2航空機及び前記通信局のそれぞれでノードを備えるデータリンクとを備え、
前記データリンクは、前記第1航空機から、前記第2航空機の前記ノードへデータを搬送し、
前記データリンクは、前記第1及び第2航空機の少なくとも一方によって生成されるデータを記憶するように構成されているデータ記憶を含み、前記データ記憶は、前記第2航空機に配置されていて、
前記データリンクは、前記通信局から受信される命令に基づいて、前記データ記憶に記憶されているデータを処理し、かつ送信するように構成されている、前記第2航空機上の検索エンジンを含み、
前記データは、画像、その画像に関連付けられている地理位置データ、その画像に関連付けられている時間タグを備える
ことを特徴とするシステム。
【請求項28】
前記命令は、検索条件、及び前記データを検索するためのリクエストを含み、かつ前記検索条件を満足する前記データの部分を前記通信局に送信し、
前記通信局の前記ノードは、前記命令及び前記送信されたデータを表示するように構成されているグラフィカルユーザインタフェースを備えている
ことを特徴とする請求項27に記載のシステム。
【請求項29】
前記データの部分は、非リアルタイムで、前記通信局に送信される
ことを特徴とする請求項28に記載のシステム。
【請求項30】
前記画像は、前記第1及び第2航空機の少なくとも一方からの出力を備える
ことを特徴とする請求項27に記載のシステム。
【請求項31】
前記第1航空機からのデータは、リアルタイムで、前記データリンクを介して前記通信局へ送信される
ことを特徴とする請求項27に記載のシステム。
【請求項32】
前記通信局は、地表面に基づいている
ことを特徴とする請求項27に記載のシステム。
【請求項33】
前記データリンクは、前記画像の異なる画像フレームからのデータを統合することによって、前記地理位置データを強調するように構成されている少なくとも1つのプロセッサを備える
ことを特徴とする請求項27に記載のシステム。
【請求項34】
前記異なる画像フレームからのデータの統合は、空間的に隣接する画像フレーム間を結びづけたものを含んでいる
ことを特徴とする請求項27に記載のシステム。
【請求項35】
前記プロセッサは、前記第1及び前記第2航空機上の異なるセンサの出力を統合することによって、前記地理位置データ及び前記画像の少なくとも一方を強調するように構成されている
ことを特徴とする請求項33に記載のシステム。
【請求項36】
前記センサ出力は、武器発射データ、受動的に検出された無線周波数送信及びレーダ検知データの1つ以上を備えている
ことを特徴とする請求項35に記載のシステム。
【請求項37】
前記データリンクは、前記第1及び第2航空機の少なくとも一方の内の少なくとも1つのセンサによるデータキャプチャを制御するユーザ制御入力に基づいて、前記データの圧縮モードを選択するように構成されている
ことを特徴とする請求項27に記載のシステム。
【請求項38】
前記選択された圧縮モードを使用する、前記キャプチャされたデータの圧縮は、前記第1及び第2航空機の内の1つから前記キャプチャされたデータを送信する前に実行される
ことを特徴とする請求項37に記載のシステム。
【請求項39】
前記選択された圧縮モードを使用する、前記キャプチャされたデータの圧縮は、前記データ記憶に前記キャプチャされたデータを記憶する前に実行される
ことを特徴とする請求項37に記載のシステム。
【請求項40】
前記少なくとも1つのセンサによるデータキャプチャを制御する前記ユーザ制御入力が、第1閾値を越える、連続する画像間の画像変化に対応する場合に、低レイテンシー圧縮モードが選択される
ことを特徴とする請求項37に記載のシステム。
【請求項41】
前記少なくとも1つのセンサによるデータキャプチャを制御する前記ユーザ制御入力が、第2閾値より少ない、連続する画像間の画像変化に対応する場合に、高品位圧縮モードが選択される
ことを特徴とする請求項37に記載のシステム。
【請求項42】
前記第1及び第2閾値は、同一である
ことを特徴とする請求項41に記載のシステム。
【請求項43】
前記第2航空機のノードは、前記データリンク上の他のノードとデータを交換し、かつ、レーダ信号を送信し、受信し、かつ処理するように構成されているトランシーバを備える
ことを特徴とする請求項27に記載のシステム。
【請求項1】
ビデオフレームを処理し、出力する方法であって、
ビデオフレームのストリームを受信する工程と、
地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成する工程と、
前記修正ビデオフレームを出力する工程と
を備えることを特徴とする方法。
【請求項2】
前記地理位置データを受信する工程を更に備え、
特定ビデオフレームに挿入される前記地理位置データは、前記特定ビデオフレーム内のシーンの前記地理データに基づいている
ことを特徴とする請求項1に記載の方法。
【請求項3】
時間タグが、更に、前記ビデオフレームに挿入される
ことを特徴とする請求項1に記載の方法。
【請求項4】
前記ビデオフレームのストリームは、無人航空機から受信される
ことを特徴とする請求項1に記載の方法。
【請求項5】
射撃統制レーダシステムに対するコマンドを受信する工程と、
前記コマンドを無人航空機へ送信する工程と
を更に備えることを特徴とする請求項1に記載の方法。
【請求項6】
関連する前記地理位置データとともに、前記ビデオフレームのストリームを記憶する工程を更に備える
ことを特徴とする請求項1に記載の方法。
【請求項7】
少なくとも1つの検索コマンドで特定される条件を満足する地理位置データを識別するために、前記記憶された地理位置データを検索する工程と、
前記識別された地理位置データと、その識別された地理位置データに対応するビデオフレームとを送信する工程と
を備えることを特徴とする請求項6に記載の方法。
【請求項8】
前記ビデオフレームに関連づけられている時間タグは、前記地理位置データとともに記憶される
ことを特徴とする請求項6に記載の方法。
【請求項9】
前記ビデオフレームのストリームは第1航空機によってキャプチャされ、前記地理位置データと前記時間タグは第2航空機によって判定され、前記第1及び第2航空機からのセンサデータは前記地理位置データと前記時間タグとともに記憶される
ことを特徴とする請求項8に記載の方法。
【請求項10】
前記センサデータは、特定ビデオフレーム内の対象物を識別する
ことを特徴とする請求項9に記載の方法。
【請求項11】
前記識別された対象物は、車両あるいは建物である
ことを特徴とする請求項10に記載の方法。
【請求項12】
前記地理位置データと前記時間タグを使用するインデックスを生成する工程と、
前記地理位置データあるいは前記時間タグに基づいて、前記インデックスを検索する工程とを更に備え、
前記出力された修正ビデオフレームは、前記地理位置データあるいは前記時間タグに対して検索されたものに関連するビデオフレームである
ことを特徴とする請求項8に記載の方法。
【請求項13】
前記ビデオフレームのストリームは第1航空機によってキャプチャされ、前記地理位置データは第2航空機によって判定される
ことを特徴とする請求項1に記載の方法。
【請求項14】
前記地理位置データの判定は、
特定ビデオフレーム内のシーンと第2航空機間との距離を判定する工程と
前記第2航空機の方位角、高度、方向及び位置を判定する工程とを備え、
全方位測位衛星(GPS)信号が、前記距離、方位角、方向及び位置とともに適用されて、前記地理位置データを判定する
ことを特徴とする請求項13に記載の方法。
【請求項15】
前記地理位置データは、前記ビデオフレームの可視部分に挿入される
ことを特徴とする請求項1に記載の方法。
【請求項16】
前記地理位置データは、前記ビデオフレームの不可視部分に挿入される
ことを特徴とする請求項1に記載の方法。
【請求項17】
前記地理位置データは、航空機の実際の慣性空間位置とする基準と、前記ビデオフレームの関心目標物の範囲と組み合わされるジンバル/センサ方位角及び高度角とを使用して、判定される
ことを特徴とする請求項1に記載の方法。
【請求項18】
異なる航空機位置とアスペクト角からビデオフレームを形成するために、前記地理位置データは、ジンバル走査によって判定される
ことを特徴とする請求項1に記載の方法。
【請求項19】
前記修正ビデオフレームは、コンピュータ生成地形図の関心領域上に出力され、そうすることで、前記修正ビデオフレームと任意の関心目標物が、表示された前記地形図内の適切な地理位置に配置される
ことを特徴とする請求項1に記載の方法。
【請求項20】
システムであって、
ビデオフレームのストリームを受信するアンテナと、
地理位置データをビデオフレームに挿入して、修正ビデオフレームを生成するプロセッサと、
前記修正ビデオフレームを出力する出力器と
を備えることを特徴とするシステム。
【請求項21】
前記アンテナは、リニアテーパアンテナである
ことを特徴とする請求項20に記載のシステム。
【請求項22】
前記アンテナは、レーダ信号を受信し、送信するように構成されている
ことを特徴とする請求項21に記載のシステム。
【請求項23】
前記修正ビデオフレームを送信する前記出力器と接続されている送信機を更に備える
ことを特徴とする請求項20に記載のシステム。
【請求項24】
関連する地理位置データとともに、前記ビデオフレームを記憶するメモリを更に備える
ことを特徴とする請求項20に記載のシステム。
【請求項25】
前記プロセッサは、前記地理位置データのインデックスを生成し、検索入力に基づいて前記地理位置データを検索し、
前記出力された修正ビデオフレームは、前記検索入力に対応するビデオフレームである
ことを特徴とする請求項24に記載のシステム。
【請求項26】
前記メモリは、更に、前記ビデオフレームそれぞれに関連付けられている時間タグとセンサデータとを記憶し、
前記プロセッサは、前記地理位置データのインデックスを生成し、検索入力に基づいて、前記地理位置データ、前記時間タグ及び前記センサデータの少なくともいずれかを検索し、
前記出力された修正ビデオフレームは、前記検索入力に対応するビデオフレームである
ことを特徴とする請求項24に記載のシステム。
【請求項27】
システムであって、
少なくとも1つのセンサを含む第1航空機と、
少なくとも1つのセンサを含む第2航空機と、
通信局と、
前記第1航空機、前記第2航空機及び前記通信局のそれぞれでノードを備えるデータリンクとを備え、
前記データリンクは、前記第1航空機から、前記第2航空機の前記ノードへデータを搬送し、
前記データリンクは、前記第1及び第2航空機の少なくとも一方によって生成されるデータを記憶するように構成されているデータ記憶を含み、前記データ記憶は、前記第2航空機に配置されていて、
前記データリンクは、前記通信局から受信される命令に基づいて、前記データ記憶に記憶されているデータを処理し、かつ送信するように構成されている、前記第2航空機上の検索エンジンを含み、
前記データは、画像、その画像に関連付けられている地理位置データ、その画像に関連付けられている時間タグを備える
ことを特徴とするシステム。
【請求項28】
前記命令は、検索条件、及び前記データを検索するためのリクエストを含み、かつ前記検索条件を満足する前記データの部分を前記通信局に送信し、
前記通信局の前記ノードは、前記命令及び前記送信されたデータを表示するように構成されているグラフィカルユーザインタフェースを備えている
ことを特徴とする請求項27に記載のシステム。
【請求項29】
前記データの部分は、非リアルタイムで、前記通信局に送信される
ことを特徴とする請求項28に記載のシステム。
【請求項30】
前記画像は、前記第1及び第2航空機の少なくとも一方からの出力を備える
ことを特徴とする請求項27に記載のシステム。
【請求項31】
前記第1航空機からのデータは、リアルタイムで、前記データリンクを介して前記通信局へ送信される
ことを特徴とする請求項27に記載のシステム。
【請求項32】
前記通信局は、地表面に基づいている
ことを特徴とする請求項27に記載のシステム。
【請求項33】
前記データリンクは、前記画像の異なる画像フレームからのデータを統合することによって、前記地理位置データを強調するように構成されている少なくとも1つのプロセッサを備える
ことを特徴とする請求項27に記載のシステム。
【請求項34】
前記異なる画像フレームからのデータの統合は、空間的に隣接する画像フレーム間を結びづけたものを含んでいる
ことを特徴とする請求項27に記載のシステム。
【請求項35】
前記プロセッサは、前記第1及び前記第2航空機上の異なるセンサの出力を統合することによって、前記地理位置データ及び前記画像の少なくとも一方を強調するように構成されている
ことを特徴とする請求項33に記載のシステム。
【請求項36】
前記センサ出力は、武器発射データ、受動的に検出された無線周波数送信及びレーダ検知データの1つ以上を備えている
ことを特徴とする請求項35に記載のシステム。
【請求項37】
前記データリンクは、前記第1及び第2航空機の少なくとも一方の内の少なくとも1つのセンサによるデータキャプチャを制御するユーザ制御入力に基づいて、前記データの圧縮モードを選択するように構成されている
ことを特徴とする請求項27に記載のシステム。
【請求項38】
前記選択された圧縮モードを使用する、前記キャプチャされたデータの圧縮は、前記第1及び第2航空機の内の1つから前記キャプチャされたデータを送信する前に実行される
ことを特徴とする請求項37に記載のシステム。
【請求項39】
前記選択された圧縮モードを使用する、前記キャプチャされたデータの圧縮は、前記データ記憶に前記キャプチャされたデータを記憶する前に実行される
ことを特徴とする請求項37に記載のシステム。
【請求項40】
前記少なくとも1つのセンサによるデータキャプチャを制御する前記ユーザ制御入力が、第1閾値を越える、連続する画像間の画像変化に対応する場合に、低レイテンシー圧縮モードが選択される
ことを特徴とする請求項37に記載のシステム。
【請求項41】
前記少なくとも1つのセンサによるデータキャプチャを制御する前記ユーザ制御入力が、第2閾値より少ない、連続する画像間の画像変化に対応する場合に、高品位圧縮モードが選択される
ことを特徴とする請求項37に記載のシステム。
【請求項42】
前記第1及び第2閾値は、同一である
ことを特徴とする請求項41に記載のシステム。
【請求項43】
前記第2航空機のノードは、前記データリンク上の他のノードとデータを交換し、かつ、レーダ信号を送信し、受信し、かつ処理するように構成されているトランシーバを備える
ことを特徴とする請求項27に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公表番号】特表2007−515847(P2007−515847A)
【公表日】平成19年6月14日(2007.6.14)
【国際特許分類】
【出願番号】特願2006−532467(P2006−532467)
【出願日】平成16年4月26日(2004.4.26)
【国際出願番号】PCT/US2004/012829
【国際公開番号】WO2005/009022
【国際公開日】平成17年1月27日(2005.1.27)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.INS
【出願人】(504019881)ロッキード マーティン コーポレイション (4)
【氏名又は名称原語表記】LOCKHEED MARTIN CORPORATION
【住所又は居所原語表記】6801 Rockledge Drive, Bethesda, MD 20817, U.S.A.
【Fターム(参考)】
【公表日】平成19年6月14日(2007.6.14)
【国際特許分類】
【出願日】平成16年4月26日(2004.4.26)
【国際出願番号】PCT/US2004/012829
【国際公開番号】WO2005/009022
【国際公開日】平成17年1月27日(2005.1.27)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.INS
【出願人】(504019881)ロッキード マーティン コーポレイション (4)
【氏名又は名称原語表記】LOCKHEED MARTIN CORPORATION
【住所又は居所原語表記】6801 Rockledge Drive, Bethesda, MD 20817, U.S.A.
【Fターム(参考)】
[ Back to top ]