航空機の目標物追跡のための自動警報方法及びシステム
【課題】目標物が何か意味のあることをしている時点を自動的に推測し、オペレータに警報を出すためのシステムを提供する。
【解決手段】リモートオペレータ１１８は、航空機ＡＶ１１２のセンサ１１４を用いて目標物１１６を自動的に追跡する。センサ１１４のフットプリントの座標を特定し、目標物１１６の追跡メトリックを計算して、追跡メトリックとしきい値とを比較して、追跡メトリックがしきい値から外れる場合に、リモートオペレータ１１８に警報を出す。警報は、目標物１１６が、突然停止する、急激に方向転換する、又は攻撃又は回避作戦行動に従事しているなどの何か意味のあることをしているときに出される。
【解決手段】リモートオペレータ１１８は、航空機ＡＶ１１２のセンサ１１４を用いて目標物１１６を自動的に追跡する。センサ１１４のフットプリントの座標を特定し、目標物１１６の追跡メトリックを計算して、追跡メトリックとしきい値とを比較して、追跡メトリックがしきい値から外れる場合に、リモートオペレータ１１８に警報を出す。警報は、目標物１１６が、突然停止する、急激に方向転換する、又は攻撃又は回避作戦行動に従事しているなどの何か意味のあることをしているときに出される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、航空機の目標物追跡のための自動警報方法及びシステムに関する。
政府実施許諾権
国防総省国防高等研究事業局との契約第ＦＡ８６５０−０４−Ｃ−７１４２号の条件によって規定されるように、米国政府は本発明において一定の権利を有する。
【背景技術】
【０００２】
航空機（ＡＶ）は、遠隔操縦することができるか、又は搭載コンピュータシステムによって自動操縦することができる有人航空機又は無人航空機であり、カメラ、センサ、通信装置又は他のペイロードを搭載することができる。ＡＶは、何年にもわたって、偵察及び情報収集の役割を果たすために用いられてきた。近年になって、ＡＶは、監視及び目標物追跡のために開発されている。
【０００３】
軍事又は民間のどちらの環境においても、ＡＶによって実行される自律的な監視及び目標物追跡は、情報収集の重要な側面となっている。典型的には、目標物が航空機（たとえば、１つのＡＶ）から追跡されているとき、人間オペレータは、航空機からストリームされる画像を注意深く監視して、目標物の挙動を評価すると共に目標物が常に確実に視野に入るようにしなければならない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、目標物が何か意味のあることをしている時点（たとえば、突然停止する、急激に方向転換する、又は追跡視界から出て行く）を自動的に推測し、オペレータに警報を出すためのシステム及び方法を提供する。
【課題を解決するための手段】
【０００５】
警報システムは、目標物が行なっていることの分類も提供する。システムは、画像のストリームを絶えず監視することからオペレータを解放するので、オペレータは他の任務を果たすことができる。
【０００６】
図面を参照して、以下の説明から、当業者には本発明の特徴が明らかになるであろう。図面は本発明の典型的な実施形態のみを示しており、それゆえ、範囲を限定するものと見なされるべきでないことを了解した上で、添付の図面を使用することによって、本発明がさらに具体的且つ詳細に説明される。
【発明を実施するための最良の形態】
【０００７】
以下の詳細な説明では、当業者が本発明を実施することができるようにするほど十分に詳しく実施形態が説明される。本発明の範囲から逸脱することなく、他の実施形態を利用することができることは理解されたい。それゆえ、以下の詳細な説明は、限定する意味に解釈されるべきではない。
【０００８】
図１は、ＡＶから目標物を自動的に追跡するためのシステム１００を示す簡略化された図である。図１に示されるように、そのシステムは、（１）少なくとも１つのセンサ１１４を備えるＡＶ１１２と、（２）目標物１１６と、（３）リモートオペレータ１１８とを含む。図１においてリモートオペレータ１１８が示されるが、リモートオペレータ１１８は、ＡＶ１１２及び目標物１１６から何マイルも離れていることがあることは理解されたい。
【０００９】
ＡＶ１１２は、遠隔操縦又は自動操縦することができる航空機である。ＡＶ１１２は、カメラ、センサ、通信装置、又は他のペイロードを搭載することができる。ＡＶ１１２は、ホバリング可能な航空機、又は固定翼航空機とすることがある。センサ１１４は、カメラ又はレーダのような、目標物を撮像することができる任意のデバイスとすることができる。目標物１１６は、ＡＶ１１２によって監視される任意のものとすることができる。たとえば、目標物１１６は、地上車両、飛行体、又は人等である。目標物を捕捉するために、ＡＶ１１２は典型的には、センサ１１４からリモートオペレータ１１８に画像を送信する。その際、リモートオペレータ１１８は、画像内の１つのエリアを目標物と定義し、その目標物をＡＶ１１２に送信する。
【００１０】
リモートオペレータ１１８は、ＡＶ１１２と通信することができる任意のデバイスとすることができる。さらに、リモートオペレータ１１８は、ＡＶ１１２を遠隔制御するように構成することができる。リモートオペレータ１１８は、たとえば、ジョイスティックを備えるデスクトップコンピュータ、ラップトップ、携帯情報端末（「ＰＤＡ」）のようなデバイスとすることができる。
【００１１】
本発明の態様は、ＡＶ１１２及び／またリモートオペレータ１１８（又はＡＶ１１２を制御することができる任意の他の実体）によって実行されることがある。図２は、本発明の種々の態様を実行するために、ＡＶ１１２及び／又はリモートオペレータ１１８内に含むことができる機能構成要素を示す。図２に示されるように、それらの構成要素は、通信インターフェース２００と、処理回路２０２と、データ記憶装置２０６とを含み、全てシステムバス、ネットワーク又は他の機構２１０によって互いに結合することができる。
【００１２】
通信インターフェース２００は、エアーインターフェース上で通信し、それによってＡＶ１１２とリモートオペレータ１１８との間の通信を容易にする機構を含む。さらに、通信インターフェース２００は、エアーインターフェース通信を容易にする１つ又は複数のアンテナを含むことがある。
【００１３】
処理ユニット２０２は、１つ若しくは複数の汎用プロセッサ（たとえば、ＩＮＴＥＬマイクロプロセッサ）及び／又は１つ若しくは複数の専用プロセッサ（たとえば、デジタルシグナルプロセッサ）を含む。さらに、データ記憶装置２０４は、たとえば、メモリ及び／又はディスクドライブ記憶装置のような１つ若しくは複数の揮発性及び／又は不揮発性の記憶機構を含み、それは全体的に、また部分的に処理ユニット２０２と統合することができる。
【００１４】
図に示されるように、データ記憶装置２０４は、プログラムロジック２０６と基準データ２０８とを含む。プログラムロジック２０６は、１つ又は複数の論理モジュール（アプリケーション）を含み、（１）センサ１１４のフットプリントの座標を特定すること、（２）目標物のフットプリントの中心に対する近さの関数として、正規化された追跡メトリックを計算すること、（３）追跡メトリックとしきい値とを比較すること、及び（４）追跡メトリック（又はその時間導関数）がしきい値から外れる場合には、リモートオペレータ１１８に警報を出すことのような、本明細書で記載される種々の機能を実行するために、処理ユニット２０４によって実行可能な機械語命令を含むことが好ましい。さらに、基準データ２０８は、センサ１１４によって収集される画像形成データのようなデータを含むことができる。
【００１５】
図３は、本発明の一実施形態による、ＡＶによって追跡されている車両の状態についてリモートオペレータに自動的に警報を出すことを示す流れ図である。詳細には、図３は、（１）センサ１１４のフットプリントの座標を特定すること、（２）目標物のフットプリントの中心に対する近さの関数として、正規化された追跡メトリックを計算すること、（３）追跡メトリックとしきい値とを比較すること、及び（４）追跡メトリック（又はその時間導関数）がしきい値から外れる場合には、リモートオペレータ１１８に警報を出すことを示す。
【００１６】
図３に示されるように、ステップ３０２では、ＡＶ１１２はセンサ１１４のフットプリント（すなわち、視認窓）の頂点及び中心の座標を特定する。センサフットプリントの例が図４に示される。図４に示されるように、ＡＶ１１２は前方監視センサ及び側方監視センサを備える。前方監視センサフットプリント４０２は、頂点｛ａ，ｂ，ｃ，ｄ｝を含む。フットプリント４０２の中心は、｛ｉ｝として特定される。側方監視センサフットプリント４０４は、頂点｛ｅ，ｆ，ｇ，ｈ｝を含む。側方監視センサフットプリントの中心は｛ｊ｝として特定される。
【００１７】
図６は、正規化されている（すなわち、長方形として表示されている）前方監視センサフットプリントを示す。図６に示されるように、そのフットプリントは、頂点｛ａ，ｂ，ｃ，ｄ｝と、中心｛ｉ｝と、中間点｛ａｄｃ，ａｂｃ，ｂｃｃ，ｄｃｃ｝と、角度｛αｖ／２，αｈ／２｝とを含む。ここで、αｈ及びαｖは、センサ１１４のための視野角の水平視野及び垂直視野である。
【００１８】
図３に戻ると、以下のデータを用いて、センサフットプリントの頂点及び中心の座標を計算することができる。
［αｈ，αｖ］、センサ１１４のための水平視野及び垂直視野；
［θ，φ，ψ］、ＡＶ１１２の姿勢角、ここで、θは縦揺れ（pitch）であり、φは横揺れ（roll）であり、ψは偏揺れ（yaw）である。この例では、上昇するのは正の縦揺れを必要とし、右翼を下げるのは正の横揺れであり、ＡＶの上から時計回りは正の偏揺れである；
［θｃ，φｃ，ψｃ］、センサ１１４の姿勢角、ここで、θは縦揺れであり、φは横揺れであり、ψは偏揺れである。この例では、縦揺れは、垂直下方向から測定して０度と９０度との間で測定される。カメラ下方監視角は（１−θｃ）であり、横揺れ角は右に正であり、偏揺れ角は時計回りにおいて正である。結果として、前方監視センサ１１４はψｃ＝０を有し、一方、左方監視カメラは、ψｃ＝−９０度を有する；
［Ｎ，Ｅ，ｈ］、ＡＶ１１２の位置座標、ここで、或る基準点からＮ＝北、Ｅ＝東及びｈ＝高さである（ＵＴＭ北距（northings）、東距（eastings）、高度等）。
【００１９】
フットプリントの頂点及び中心のローカル座標は以下のように特定される。
【００２０】
【数１】
【００２１】
ステップ３０４では、センサフットプリントの各辺の中間点のローカル座標が以下のように特定される。
【００２２】
【数２】
【００２３】
ステップ３０６では、その座標に、縦揺れ−横揺れ−偏揺れの回転行列［Ｒ］及び［Ｒｃ］を乗算することによって、各ローカル座標が、グローバル慣性座標に変換される。ここで、
【００２４】
【数３】
【００２５】
である。
したがって、以下の式が成り立つ。
【００２６】
【数４】
【００２７】
回転行列は当該技術分野において既知であり、ここで詳細には説明されない。
ステップ３０８では、ＡＶ１１２が地面の上方を飛行している高さ（ｈ）（目標物１１６が地上目標物である場合）、又はＡＶ１１２が目標物１１６の飛行している高さ（ｈ）（目標物１１６は必ずしも地上にはない）だけ慣性座標をスケーリングすることによって、センサフットプリントのスケーリングされた座標が計算される。フットプリントは、以下のように計算される。
【００２８】
【数５】
【００２９】
センサ１１４のセンサフットプリントの種々の座標を計算した後に、ステップ３１０では、（１）経時的に、一連の瞬時正規化追跡メトリック（ρＴＲ）を計算すること、及び（２）瞬時正規化追跡メトリックの重み付けされた移動平均を計算することによって、追跡メトリックρが計算される。
【００３０】
ρＴＲは、（１）地上における、カメラフットプリントの中心に対する目標物の位置（ｒｔａｒｇｅｔ）、（２）カメラフットプリントの中心から、目標物に最も近いフットプリントの辺（たとえば、［ＡＢｃｇＢＣｃｇＤＣｃｇＡＤｃｇ］）までの距離（ｒｓｉｄｅ）、（３）フレームの中心から目標物までの距離（ｒｔ）を用いて計算される。これらの位置が図５に示されており、図５は、ρＴＲを計算するために必要とされる変数を例示するフットプリントの図である。図５に示されるように、そのフレームは、中心点、目標物、ｒｔａｒｇｅｔ、ｒｔ、ｒｓｉｄｅ、及びフレームの移動方向を含む。
【００３１】
ρＴＲを計算するために、ｒｔａｒｇｅｔ及びｒｓｉｄｅの値が最初に計算される。以下の式を用いることによって、ｒｔａｒｇｅｔが計算される。
【００３２】
【数６】
【００３３】
式中、
【００３４】
【数７】
【００３５】
は目標物からフットプリントの中心までの線に沿った単位ベクトルであり、
【００３６】
【数８】
【００３７】
は最も近い辺の中間点から中心までの線に沿った単位ベクトルである。すなわち、
【００３８】
【数９】
【００３９】
はｒｔに沿った単位ベクトルであり、一方、
【００４０】
【数１０】
【００４１】
はｒｓｉｄｅに沿った単位ベクトルである。
ｒｓｉｄｅは、以下の式を用いて計算される。
【００４２】
【数１１】
【００４３】
式中、ｒＡＢｃｇ−ｒＡＤｃｇは、フレームの中心からフレームの辺までの距離である。
ｒｔａｒｇｅｔ及びｒｓｉｄｅを計算した後に、ρＴＲが以下のように計算される。
【００４４】
【数１２】
【００４５】
ρＴＲ＝０である場合には、目標物１１４は、フットプリントの中心の真上にある。これは、完全な追跡であると見なされる。ρＴＲ≧１である場合には、ＡＶ１１２は目標物１１４を見失っている。ＡＶ１１２（及びおそらく目標物１１６）は動いているので、ρＴＲは、ランダムな時間間隔でも計算することはできるが、規則的な時間間隔で計算されるべきである（すなわち、１０ｍｓ毎に１回）。
【００４６】
ρＴＲを計算した後に、ρＴＲの重み付けされた移動平均として、追跡メトリックρが計算され、ρＴＲの新たに計算された値には、より大きな重みがかけられる。
【００４７】
【数１３】
【００４８】
式中、ｂｉは重みであり、以下の式が成り立つ。
【００４９】
【数１４】
【００５０】
式中、ｋはサンプリング時刻であり、ｎは、平均化が行なわれる移動窓である。たとえば、そのアルゴリズムのサンプリング時刻がｔｓであり、平均化が、ｔ秒の時間窓にわたって行なわれる場合には、以下の式が成り立つ。
【００５１】
【数１５】
【００５２】
ρを計算することに加えて、ρの第１の時間導関数及び第２の時間導関数
【００５３】
【数１６】
【００５４】
の値を計算することができる。
ρを得た後に、ステップ３１２では、
【００５５】
【数１７】
【００５６】
の値がしきい値
【００５７】
【数１８】
【００５８】
を超えるとき、リモートオペレータ１１８が警報を受ける。しきい値は、静的値、又は動的値とすることができる。たとえば、ρのためのしきい値は、１よりもわずかに小さくなるように設定されることがあり、リモートオペレータ１１８は、ρがそのしきい値を超える場合に警報を受ける。非可動追跡センサを有し、最小旋回半径がＲｍｉｎであり、対気速度Ｖで飛行中の固定翼ＡＶの場合、
【００５９】
【数１９】
【００６０】
のためのしきい値は以下のように求めることができる。
【００６１】
【数２０】
【００６２】
こうして、
【００６３】
【数２１】
【００６４】
の値が、ＡＶ１１２の最大対気速度、及び目標物が追跡センサフレーム内で移動している方向に沿って分解される、ＡＶ１１２の現在の対気速度のうちの小さい方よりも大きい場合には、リモートオペレータ１１８は警報を受ける。
【００６５】
【数２２】
【００６６】
の値は以下のように求めることができる。
【００６７】
【数２３】
【００６８】
それゆえ、
【００６９】
【数２４】
【００７０】
がフレーム内の目標物の移動方向に沿ったＡＶの加速度よりも大きい場合には、リモートオペレータ１１８は警報を受ける。
ステップ３１２においてリモートオペレータ１１８に送信された警報は、複数のカテゴリに分類することができる。たとえば、その警報は、ＡＶ１１２が目標物１１６を見失いかけていることを指示することができ、それはρが１よりもわずかに小さく（すなわち、０．９）、
【００７１】
【数２５】
【００７２】
が正であるときに生じる。また、その警報は、目標物１１６が、たとえば、突然停止すること、急激に方向転換すること、又は攻撃又は回避作戦行動に従事していることのような、何か意味のあることをしていることを示すこともできる。そのような警報は、
【００７３】
【数２６】
【００７４】
がいずれもそのしきい値を超える場合に起動することができる。
本発明は、その不可欠な特徴から逸脱することなく、他の具体的な形で実施することができる。記述される実施形態は、全ての点において、例示にすぎず、限定するものと見なされるべきではない。それゆえ、本発明の範囲は、これまでの説明によってではなく、むしろ添付の特許請求の範囲によって指示される。特許請求の範囲の均等物の意味及び範囲内に入る全ての変更が、特許請求の範囲に包含される。
【図面の簡単な説明】
【００７５】
【図１】本発明の一実施形態による、地上車両を空中から追跡するためのシステムを示す概略図である。
【図２】例示的な実施形態の態様を実施するように構成される実体の簡略化されたブロック図である。
【図３】例示的な実施形態に従って実行することができる機能を示す流れ図である。
【図４】センサフットプリントの一例を示す図である。
【図５】瞬時追跡メトリックを計算するために必要とされる変数を示す図である。
【図６】正規化されている前方監視センサフットプリントを示す図である。
【技術分野】
【０００１】
本発明は、航空機の目標物追跡のための自動警報方法及びシステムに関する。
政府実施許諾権
国防総省国防高等研究事業局との契約第ＦＡ８６５０−０４−Ｃ−７１４２号の条件によって規定されるように、米国政府は本発明において一定の権利を有する。
【背景技術】
【０００２】
航空機（ＡＶ）は、遠隔操縦することができるか、又は搭載コンピュータシステムによって自動操縦することができる有人航空機又は無人航空機であり、カメラ、センサ、通信装置又は他のペイロードを搭載することができる。ＡＶは、何年にもわたって、偵察及び情報収集の役割を果たすために用いられてきた。近年になって、ＡＶは、監視及び目標物追跡のために開発されている。
【０００３】
軍事又は民間のどちらの環境においても、ＡＶによって実行される自律的な監視及び目標物追跡は、情報収集の重要な側面となっている。典型的には、目標物が航空機（たとえば、１つのＡＶ）から追跡されているとき、人間オペレータは、航空機からストリームされる画像を注意深く監視して、目標物の挙動を評価すると共に目標物が常に確実に視野に入るようにしなければならない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、目標物が何か意味のあることをしている時点（たとえば、突然停止する、急激に方向転換する、又は追跡視界から出て行く）を自動的に推測し、オペレータに警報を出すためのシステム及び方法を提供する。
【課題を解決するための手段】
【０００５】
警報システムは、目標物が行なっていることの分類も提供する。システムは、画像のストリームを絶えず監視することからオペレータを解放するので、オペレータは他の任務を果たすことができる。
【０００６】
図面を参照して、以下の説明から、当業者には本発明の特徴が明らかになるであろう。図面は本発明の典型的な実施形態のみを示しており、それゆえ、範囲を限定するものと見なされるべきでないことを了解した上で、添付の図面を使用することによって、本発明がさらに具体的且つ詳細に説明される。
【発明を実施するための最良の形態】
【０００７】
以下の詳細な説明では、当業者が本発明を実施することができるようにするほど十分に詳しく実施形態が説明される。本発明の範囲から逸脱することなく、他の実施形態を利用することができることは理解されたい。それゆえ、以下の詳細な説明は、限定する意味に解釈されるべきではない。
【０００８】
図１は、ＡＶから目標物を自動的に追跡するためのシステム１００を示す簡略化された図である。図１に示されるように、そのシステムは、（１）少なくとも１つのセンサ１１４を備えるＡＶ１１２と、（２）目標物１１６と、（３）リモートオペレータ１１８とを含む。図１においてリモートオペレータ１１８が示されるが、リモートオペレータ１１８は、ＡＶ１１２及び目標物１１６から何マイルも離れていることがあることは理解されたい。
【０００９】
ＡＶ１１２は、遠隔操縦又は自動操縦することができる航空機である。ＡＶ１１２は、カメラ、センサ、通信装置、又は他のペイロードを搭載することができる。ＡＶ１１２は、ホバリング可能な航空機、又は固定翼航空機とすることがある。センサ１１４は、カメラ又はレーダのような、目標物を撮像することができる任意のデバイスとすることができる。目標物１１６は、ＡＶ１１２によって監視される任意のものとすることができる。たとえば、目標物１１６は、地上車両、飛行体、又は人等である。目標物を捕捉するために、ＡＶ１１２は典型的には、センサ１１４からリモートオペレータ１１８に画像を送信する。その際、リモートオペレータ１１８は、画像内の１つのエリアを目標物と定義し、その目標物をＡＶ１１２に送信する。
【００１０】
リモートオペレータ１１８は、ＡＶ１１２と通信することができる任意のデバイスとすることができる。さらに、リモートオペレータ１１８は、ＡＶ１１２を遠隔制御するように構成することができる。リモートオペレータ１１８は、たとえば、ジョイスティックを備えるデスクトップコンピュータ、ラップトップ、携帯情報端末（「ＰＤＡ」）のようなデバイスとすることができる。
【００１１】
本発明の態様は、ＡＶ１１２及び／またリモートオペレータ１１８（又はＡＶ１１２を制御することができる任意の他の実体）によって実行されることがある。図２は、本発明の種々の態様を実行するために、ＡＶ１１２及び／又はリモートオペレータ１１８内に含むことができる機能構成要素を示す。図２に示されるように、それらの構成要素は、通信インターフェース２００と、処理回路２０２と、データ記憶装置２０６とを含み、全てシステムバス、ネットワーク又は他の機構２１０によって互いに結合することができる。
【００１２】
通信インターフェース２００は、エアーインターフェース上で通信し、それによってＡＶ１１２とリモートオペレータ１１８との間の通信を容易にする機構を含む。さらに、通信インターフェース２００は、エアーインターフェース通信を容易にする１つ又は複数のアンテナを含むことがある。
【００１３】
処理ユニット２０２は、１つ若しくは複数の汎用プロセッサ（たとえば、ＩＮＴＥＬマイクロプロセッサ）及び／又は１つ若しくは複数の専用プロセッサ（たとえば、デジタルシグナルプロセッサ）を含む。さらに、データ記憶装置２０４は、たとえば、メモリ及び／又はディスクドライブ記憶装置のような１つ若しくは複数の揮発性及び／又は不揮発性の記憶機構を含み、それは全体的に、また部分的に処理ユニット２０２と統合することができる。
【００１４】
図に示されるように、データ記憶装置２０４は、プログラムロジック２０６と基準データ２０８とを含む。プログラムロジック２０６は、１つ又は複数の論理モジュール（アプリケーション）を含み、（１）センサ１１４のフットプリントの座標を特定すること、（２）目標物のフットプリントの中心に対する近さの関数として、正規化された追跡メトリックを計算すること、（３）追跡メトリックとしきい値とを比較すること、及び（４）追跡メトリック（又はその時間導関数）がしきい値から外れる場合には、リモートオペレータ１１８に警報を出すことのような、本明細書で記載される種々の機能を実行するために、処理ユニット２０４によって実行可能な機械語命令を含むことが好ましい。さらに、基準データ２０８は、センサ１１４によって収集される画像形成データのようなデータを含むことができる。
【００１５】
図３は、本発明の一実施形態による、ＡＶによって追跡されている車両の状態についてリモートオペレータに自動的に警報を出すことを示す流れ図である。詳細には、図３は、（１）センサ１１４のフットプリントの座標を特定すること、（２）目標物のフットプリントの中心に対する近さの関数として、正規化された追跡メトリックを計算すること、（３）追跡メトリックとしきい値とを比較すること、及び（４）追跡メトリック（又はその時間導関数）がしきい値から外れる場合には、リモートオペレータ１１８に警報を出すことを示す。
【００１６】
図３に示されるように、ステップ３０２では、ＡＶ１１２はセンサ１１４のフットプリント（すなわち、視認窓）の頂点及び中心の座標を特定する。センサフットプリントの例が図４に示される。図４に示されるように、ＡＶ１１２は前方監視センサ及び側方監視センサを備える。前方監視センサフットプリント４０２は、頂点｛ａ，ｂ，ｃ，ｄ｝を含む。フットプリント４０２の中心は、｛ｉ｝として特定される。側方監視センサフットプリント４０４は、頂点｛ｅ，ｆ，ｇ，ｈ｝を含む。側方監視センサフットプリントの中心は｛ｊ｝として特定される。
【００１７】
図６は、正規化されている（すなわち、長方形として表示されている）前方監視センサフットプリントを示す。図６に示されるように、そのフットプリントは、頂点｛ａ，ｂ，ｃ，ｄ｝と、中心｛ｉ｝と、中間点｛ａｄｃ，ａｂｃ，ｂｃｃ，ｄｃｃ｝と、角度｛αｖ／２，αｈ／２｝とを含む。ここで、αｈ及びαｖは、センサ１１４のための視野角の水平視野及び垂直視野である。
【００１８】
図３に戻ると、以下のデータを用いて、センサフットプリントの頂点及び中心の座標を計算することができる。
［αｈ，αｖ］、センサ１１４のための水平視野及び垂直視野；
［θ，φ，ψ］、ＡＶ１１２の姿勢角、ここで、θは縦揺れ（pitch）であり、φは横揺れ（roll）であり、ψは偏揺れ（yaw）である。この例では、上昇するのは正の縦揺れを必要とし、右翼を下げるのは正の横揺れであり、ＡＶの上から時計回りは正の偏揺れである；
［θｃ，φｃ，ψｃ］、センサ１１４の姿勢角、ここで、θは縦揺れであり、φは横揺れであり、ψは偏揺れである。この例では、縦揺れは、垂直下方向から測定して０度と９０度との間で測定される。カメラ下方監視角は（１−θｃ）であり、横揺れ角は右に正であり、偏揺れ角は時計回りにおいて正である。結果として、前方監視センサ１１４はψｃ＝０を有し、一方、左方監視カメラは、ψｃ＝−９０度を有する；
［Ｎ，Ｅ，ｈ］、ＡＶ１１２の位置座標、ここで、或る基準点からＮ＝北、Ｅ＝東及びｈ＝高さである（ＵＴＭ北距（northings）、東距（eastings）、高度等）。
【００１９】
フットプリントの頂点及び中心のローカル座標は以下のように特定される。
【００２０】
【数１】
【００２１】
ステップ３０４では、センサフットプリントの各辺の中間点のローカル座標が以下のように特定される。
【００２２】
【数２】
【００２３】
ステップ３０６では、その座標に、縦揺れ−横揺れ−偏揺れの回転行列［Ｒ］及び［Ｒｃ］を乗算することによって、各ローカル座標が、グローバル慣性座標に変換される。ここで、
【００２４】
【数３】
【００２５】
である。
したがって、以下の式が成り立つ。
【００２６】
【数４】
【００２７】
回転行列は当該技術分野において既知であり、ここで詳細には説明されない。
ステップ３０８では、ＡＶ１１２が地面の上方を飛行している高さ（ｈ）（目標物１１６が地上目標物である場合）、又はＡＶ１１２が目標物１１６の飛行している高さ（ｈ）（目標物１１６は必ずしも地上にはない）だけ慣性座標をスケーリングすることによって、センサフットプリントのスケーリングされた座標が計算される。フットプリントは、以下のように計算される。
【００２８】
【数５】
【００２９】
センサ１１４のセンサフットプリントの種々の座標を計算した後に、ステップ３１０では、（１）経時的に、一連の瞬時正規化追跡メトリック（ρＴＲ）を計算すること、及び（２）瞬時正規化追跡メトリックの重み付けされた移動平均を計算することによって、追跡メトリックρが計算される。
【００３０】
ρＴＲは、（１）地上における、カメラフットプリントの中心に対する目標物の位置（ｒｔａｒｇｅｔ）、（２）カメラフットプリントの中心から、目標物に最も近いフットプリントの辺（たとえば、［ＡＢｃｇＢＣｃｇＤＣｃｇＡＤｃｇ］）までの距離（ｒｓｉｄｅ）、（３）フレームの中心から目標物までの距離（ｒｔ）を用いて計算される。これらの位置が図５に示されており、図５は、ρＴＲを計算するために必要とされる変数を例示するフットプリントの図である。図５に示されるように、そのフレームは、中心点、目標物、ｒｔａｒｇｅｔ、ｒｔ、ｒｓｉｄｅ、及びフレームの移動方向を含む。
【００３１】
ρＴＲを計算するために、ｒｔａｒｇｅｔ及びｒｓｉｄｅの値が最初に計算される。以下の式を用いることによって、ｒｔａｒｇｅｔが計算される。
【００３２】
【数６】
【００３３】
式中、
【００３４】
【数７】
【００３５】
は目標物からフットプリントの中心までの線に沿った単位ベクトルであり、
【００３６】
【数８】
【００３７】
は最も近い辺の中間点から中心までの線に沿った単位ベクトルである。すなわち、
【００３８】
【数９】
【００３９】
はｒｔに沿った単位ベクトルであり、一方、
【００４０】
【数１０】
【００４１】
はｒｓｉｄｅに沿った単位ベクトルである。
ｒｓｉｄｅは、以下の式を用いて計算される。
【００４２】
【数１１】
【００４３】
式中、ｒＡＢｃｇ−ｒＡＤｃｇは、フレームの中心からフレームの辺までの距離である。
ｒｔａｒｇｅｔ及びｒｓｉｄｅを計算した後に、ρＴＲが以下のように計算される。
【００４４】
【数１２】
【００４５】
ρＴＲ＝０である場合には、目標物１１４は、フットプリントの中心の真上にある。これは、完全な追跡であると見なされる。ρＴＲ≧１である場合には、ＡＶ１１２は目標物１１４を見失っている。ＡＶ１１２（及びおそらく目標物１１６）は動いているので、ρＴＲは、ランダムな時間間隔でも計算することはできるが、規則的な時間間隔で計算されるべきである（すなわち、１０ｍｓ毎に１回）。
【００４６】
ρＴＲを計算した後に、ρＴＲの重み付けされた移動平均として、追跡メトリックρが計算され、ρＴＲの新たに計算された値には、より大きな重みがかけられる。
【００４７】
【数１３】
【００４８】
式中、ｂｉは重みであり、以下の式が成り立つ。
【００４９】
【数１４】
【００５０】
式中、ｋはサンプリング時刻であり、ｎは、平均化が行なわれる移動窓である。たとえば、そのアルゴリズムのサンプリング時刻がｔｓであり、平均化が、ｔ秒の時間窓にわたって行なわれる場合には、以下の式が成り立つ。
【００５１】
【数１５】
【００５２】
ρを計算することに加えて、ρの第１の時間導関数及び第２の時間導関数
【００５３】
【数１６】
【００５４】
の値を計算することができる。
ρを得た後に、ステップ３１２では、
【００５５】
【数１７】
【００５６】
の値がしきい値
【００５７】
【数１８】
【００５８】
を超えるとき、リモートオペレータ１１８が警報を受ける。しきい値は、静的値、又は動的値とすることができる。たとえば、ρのためのしきい値は、１よりもわずかに小さくなるように設定されることがあり、リモートオペレータ１１８は、ρがそのしきい値を超える場合に警報を受ける。非可動追跡センサを有し、最小旋回半径がＲｍｉｎであり、対気速度Ｖで飛行中の固定翼ＡＶの場合、
【００５９】
【数１９】
【００６０】
のためのしきい値は以下のように求めることができる。
【００６１】
【数２０】
【００６２】
こうして、
【００６３】
【数２１】
【００６４】
の値が、ＡＶ１１２の最大対気速度、及び目標物が追跡センサフレーム内で移動している方向に沿って分解される、ＡＶ１１２の現在の対気速度のうちの小さい方よりも大きい場合には、リモートオペレータ１１８は警報を受ける。
【００６５】
【数２２】
【００６６】
の値は以下のように求めることができる。
【００６７】
【数２３】
【００６８】
それゆえ、
【００６９】
【数２４】
【００７０】
がフレーム内の目標物の移動方向に沿ったＡＶの加速度よりも大きい場合には、リモートオペレータ１１８は警報を受ける。
ステップ３１２においてリモートオペレータ１１８に送信された警報は、複数のカテゴリに分類することができる。たとえば、その警報は、ＡＶ１１２が目標物１１６を見失いかけていることを指示することができ、それはρが１よりもわずかに小さく（すなわち、０．９）、
【００７１】
【数２５】
【００７２】
が正であるときに生じる。また、その警報は、目標物１１６が、たとえば、突然停止すること、急激に方向転換すること、又は攻撃又は回避作戦行動に従事していることのような、何か意味のあることをしていることを示すこともできる。そのような警報は、
【００７３】
【数２６】
【００７４】
がいずれもそのしきい値を超える場合に起動することができる。
本発明は、その不可欠な特徴から逸脱することなく、他の具体的な形で実施することができる。記述される実施形態は、全ての点において、例示にすぎず、限定するものと見なされるべきではない。それゆえ、本発明の範囲は、これまでの説明によってではなく、むしろ添付の特許請求の範囲によって指示される。特許請求の範囲の均等物の意味及び範囲内に入る全ての変更が、特許請求の範囲に包含される。
【図面の簡単な説明】
【００７５】
【図１】本発明の一実施形態による、地上車両を空中から追跡するためのシステムを示す概略図である。
【図２】例示的な実施形態の態様を実施するように構成される実体の簡略化されたブロック図である。
【図３】例示的な実施形態に従って実行することができる機能を示す流れ図である。
【図４】センサフットプリントの一例を示す図である。
【図５】瞬時追跡メトリックを計算するために必要とされる変数を示す図である。
【図６】正規化されている前方監視センサフットプリントを示す図である。
【特許請求の範囲】
【請求項１】
センサのフットプリントの少なくとも１つの座標を特定するステップであって、該センサは航空機に備え付けられる、特定するステップ、
目標物の前記フットプリントの中心に対する近さの関数として追跡メトリックを計算するステップ、
前記追跡メトリックをしきい値と比較するステップ、及び
前記追跡メトリックが前記しきい値から外れる場合に、リモートオペレータに警報を出すステップを含む、方法。
【請求項２】
前記フットプリントの少なくとも１つの座標を特定するステップは、（ｉ）前記フットプリントの頂点及び（ｉｉ）前記フットプリントの中心の座標を特定するステップを含み、前記フットプリントの辺毎の中間点の座標を特定するステップをさらに含み、（ｉ）前記フットプリントの辺毎の前記中間点、（ｉｉ）前記フットプリントの前記頂点、及び（ｉｉｉ）前記フットプリントの前記中心の慣性座標を特定するステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記航空機が前記目標物の上方を飛行している高さによって、（ｉ）前記フットプリントの辺毎の前記中間点、（ｉｉ）前記フットプリントの前記頂点、及び（ｉｉｉ）前記フットプリントの前記中心の前記慣性座標をスケーリングするステップをさらに含む、請求項２に記載の方法。
【請求項１】
センサのフットプリントの少なくとも１つの座標を特定するステップであって、該センサは航空機に備え付けられる、特定するステップ、
目標物の前記フットプリントの中心に対する近さの関数として追跡メトリックを計算するステップ、
前記追跡メトリックをしきい値と比較するステップ、及び
前記追跡メトリックが前記しきい値から外れる場合に、リモートオペレータに警報を出すステップを含む、方法。
【請求項２】
前記フットプリントの少なくとも１つの座標を特定するステップは、（ｉ）前記フットプリントの頂点及び（ｉｉ）前記フットプリントの中心の座標を特定するステップを含み、前記フットプリントの辺毎の中間点の座標を特定するステップをさらに含み、（ｉ）前記フットプリントの辺毎の前記中間点、（ｉｉ）前記フットプリントの前記頂点、及び（ｉｉｉ）前記フットプリントの前記中心の慣性座標を特定するステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記航空機が前記目標物の上方を飛行している高さによって、（ｉ）前記フットプリントの辺毎の前記中間点、（ｉｉ）前記フットプリントの前記頂点、及び（ｉｉｉ）前記フットプリントの前記中心の前記慣性座標をスケーリングするステップをさらに含む、請求項２に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−１７６２８１（Ｐ２００９−１７６２８１Ａ）
【公開日】平成２１年８月６日（２００９．８．６）
【国際特許分類】
【外国語出願】
【出願番号】特願２００８−２９６６０２（Ｐ２００８−２９６６０２）
【出願日】平成２０年１１月２０日（２００８．１１．２０）
【出願人】（５００５７５８２４）ハネウェル・インターナショナル・インコーポレーテッド (1,504)
【Ｆターム（参考）】
【公開日】平成２１年８月６日（２００９．８．６）
【国際特許分類】
【出願番号】特願２００８−２９６６０２（Ｐ２００８−２９６６０２）
【出願日】平成２０年１１月２０日（２００８．１１．２０）
【出願人】（５００５７５８２４）ハネウェル・インターナショナル・インコーポレーテッド (1,504)
【Ｆターム（参考）】
[ Back to top ]