有効な帯域幅管理を用いる監視システム用のオープンシステムアーキテクチャ
【課題】収集した情報を広めるのに必要な時間を短縮できるデータ処理システムを提供する。
【解決手段】信号を処理する方法は、画素データワードの列を複数含む画像フレームを受信する工程であって、各列は開始画素データワード及び次の複数の画素データワードを含む工程と、列内の開始画素データワードから、列内の次の各画素データワードを抜き出す工程と、該差分画素データワードを格納及び／又は送信する工程を有する。該方法を実行する装置も本発明に含まれる。
【解決手段】信号を処理する方法は、画素データワードの列を複数含む画像フレームを受信する工程であって、各列は開始画素データワード及び次の複数の画素データワードを含む工程と、列内の開始画素データワードから、列内の次の各画素データワードを抜き出す工程と、該差分画素データワードを格納及び／又は送信する工程を有する。該方法を実行する装置も本発明に含まれる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、契約番号Ｆ３３６５７−０１−Ｃ−４６００に基づいて成された。米国政府は契約の下、本発明に対する権利を有する。
【０００２】
本発明は、監視システムに於けるデータ獲得及び処理する方法及び装置に関する。
【背景技術】
【０００３】
偵察、監視及び目標獲得システムは、複数の空挺プラットフォーム、即ち飛行物体を含み、各々が監視下の領域についての情報を収集するのに用いられる複数のセンサを携行している。空挺プラットフォームは、人又は装置を含み、センサによって収集されたデータにアクセスすることを所望し、１又は２以上の地上ステーションに位置する要求者と通信することができる。複雑な監視システムは、複数の通信及びセンサシステムを含み、該通信及びセンサシステムは、環境に関する情報を収集し、情報を処理して有意義な情報を得て、情報に基づいて行動するエンティティに情報を通信する。
【０００４】
対象となる領域の画像を生成するのに、合成開口レーダ(ＳＡＲ)、電気光学的(ＥＯ)又は赤外線(ＩＲ)センサが用いられる。これらの画像は、素早く処理され、監視システムの種々の装置及び／又はユーザに送られなければならない大量のデータを含む。通信する帯域幅、送信されるべきデータ量、送信されなければならないデータの距離は全て、応答時間に影響する。
【０００５】
センサの処理能力速度と同様にネットワークの帯域幅速度は、最新のブレードサーバが有効に処理することができる速度よりも速い。１Ｇｂ／ｓのイーサネット（登録商標）が現在の監視システムのアーキテクチャに用いられ、ハイパースペクトラル及びＨＤＴＶセンサのような先進の搭乗物(payload)によって要求される処理能力が高まることにより、１０Ｇｂ／ｓのイーサネットへの代替が予定されている。ブレードサーバは入力／出力(Ｉ／Ｏ)が障害となりつつあり、高帯域幅のデータネットワーク伝送に於ける要素が限定される。これは１つには、作られる必要があるペイロードデータの内部コピーが多数であることによる。これにより、ブレードの中央処理ユニット(ＣＰＵ)の内部メモリバスに負担を掛ける(overwhelm)。
【０００６】
センサ及び通信データリンクインターフェイスをより低いレベル及びより高いレベルに標準化して、センサ、通信データリンクインターフェイス、地上ステーションが機能向上することができるのが望ましい。また、十分な帯域幅を有するシステムがリアルタイムに近い信号処理及び通信を提供するのが好ましい。従って、収集した情報を広めるのに要求される時間を短縮できるデータ処理システムを求めるニーズがある。
発明の要約
【０００７】
本発明は信号処理方法を提供し、以下の工程を有する。画素データワードの列を複数含む画像フレームを受信する工程であって、各列は最初の画素データワードと複数の連続した画素データワードを含む工程と、列の最初の画素データワードから列の各連続した画素データワードを抜き出すことにより、各列を処理して、複数の差分画素データワードを生成する工程と、該差分画素データワードを格納し及び／又は送信する工程を有する。
【０００８】
本発明は更に装置に関し、該装置は、複数の画素データワードの列を含み、各列は最初の画素データワードと複数の連続した画素データワードを含む画像フレームを受信する入力と、列の最初の画素データワードから列の各連続した画素データワードを抜き出すことにより、各列を処理して、複数の差分画素データワードを生成するプロセッサと、該差分画素データワードを格納するメモリを有する。
【０００９】
他の態様に於いて、本発明は信号処理方法を提供し、以下の工程を有する。各々が複数の画素データワードを含む対応する画像フレームを受信する工程と、第１の画像フレーム内の対応する画素データから、第２の画像データフレーム内の各画素データワードを抜き出すことにより、画像フレームを処理して、複数の差分画素データワードを生成する工程と、該差分画素データワードを格納し及び／又は送信する工程を有する。
【００１０】
本発明は更に装置に関し、該装置は、各々が複数の画素データワードである対応する画像フレームを受信する入力と、第１の画像フレーム内の対応する画素データから、第２の画像データフレーム内の各画素データワードを抜き出すことにより、画像フレームを処理して、複数の差分画素データワードを生成するプロセッサと、該差分画素データワードを格納するメモリを具える。
【発明を実施するための最良の形態】
【００１１】
発明の詳細な説明
図面に関して、図１は、本発明に従って構成された要素を含む監視システム(10)を表す図である。システムは、無人の航空機(12)(14)(16)(ＵＡＶｓ)である複数のセンサプラットフォームを含む。各プラットフォームは監視下の領域についての情報を供給する１又は２以上のセンサを搭載する。ＵＡＶは、複数の地上ステーション(18)(20)(22)及び複数の衛星(24)(26)(28)と通信することができる。通信リンクが種々のシステム要素間に配備され、所望の機能を達成する。
【００１２】
監視システムの１つのタイプは、アドバンストペイロードプロセッサユニット(ＡＰＰＳ)アーキテクチャを用い、該アーキテクチャはネットワーク中心エンタープライズシステム(ＮＣＥＳ)の概念内にて空中のサーバのノードを支持するように設計されたオープンソースアーキテクチャである。そのようなシステムは、ＰＩＣＭＧ２.１６のような１Ｇｂ／ｓ又はそれ以上のネットワークにて支持されるネットワーク帯域幅速度で大量のデータ伝送を取り扱う必要がある。これはストレージがアドバンスド情報アーキテクチャ(ＡＩＡ)のような機上であっても、地上であっても、サーバ対サーバ、サーバ対クライアント、又はサーバ対ストレージに等しく適用される。
【００１３】
図２は、本発明を含む監視システム(30)の一部のブロック図である。システムは、対象となる領域の画像を生成するのに用いられる電気光学的センサ、赤外線センサ、又は合成開口レーダのような１又は２以上のセンサを含む一組のセンサ(32)を含む。センサは画像内の情報を表す信号を、アドバンストペイロードプロセッサユニット(ＡＰＰＳ)(34)に送信する。ＡＰＰＳは、ドーターボード(36)を用いて実施される信号処理回路、スイッチング回路(38)、ブレードサーバー(40)を含む種々の回路を含む。ＡＰＰＳの要素は、データ処理能力を改善するように修正された市販の要素である。例えば、この用途に必要でない動作を提供するファームウェアは無効にされ得る。ＡＰＰＳは、画像情報を処理し、処理された情報を一組の通信手段(42)に送り、該通信手段は情報をユーザ又は監視システム内の他の装置に送信する。
【００１４】
本発明は、スイッチファブリック技術に基づく最先端(state-of-the-art)のＰＩＣＭＧ２.１６と結び付けられる市販の(ＣＯＴＳ)ギガビットの最先端のイーサネット(ＧｂＥ)スイッチ／ルータを利用するオープンシステムアーキテクチャを提供し、情報監視及び偵察(ＩＳＲ)センサが収集する処理能力速度を高める要求に対応し、処理能力速度は１０Ｇｂｐｓ(１秒当たりギガビット)に達し得る。
【００１５】
ＡＰＰＳアーキテクチャは、フレキシブルでロバストな性能の故に、命令、制御、通信、コンピュータ、情報、監視及び偵察(Ｃ４ＩＳＲ)の用途に適しており、センサのデータ速度を速くすることに挑み、１０Ｇｂ／ｓのイーサネットデータネットワークとの接続に良好な移動経路を提供する。
【００１６】
ＡＰＰＳアーキテクチャは、伝送制御プロトコル(ＴＣＰ)、オフロードエンジン(ＴＯＥ)、遠隔直接メモリアクセス(ＲＤＭＡ)間の結合を実施することにより、ブレードＣＰＵを用いる問題(飽和)に或る程度、取り組む。本発明は、これらの開かれた標準的な技術を新規性があるＥＯ／ＩＲ及び／又はＳＰＯＴ画像処理に利用するものであって、該画像処理はワイヤ速度に近い速度で有効な帯域幅管理を実行することにより、Ｃ４ＩＳＲセンサにとっての有用なネットワーク帯域幅を増加させる。
【００１７】
本発明の実際的な２つの帯域幅管理用途は、ＥＯスポット画像及びＳＡＲステレオ画像処理に関する。図３は、ＥＯ画像の画像画素を表すＮXＭマトリックスである。図４は、合成開口レーダ画像の対応するフレームの画像画素を示すＮXＭマトリックスである。ここで開示されるように、対応する画像フレームとは、対象となる同じ目標又は領域の画像のフレームである。図３及び図４の画素は、Ｎ個の列とＭ個の行のマトリックスに配列される。各画素はＰ(ｘ、ｙ)として特定され、ｘは列でｙは行である。画素ラベルの前のＦは、画像フレームの番号である。
【００１８】
図５は、図２のシステムの一部のブロック図であり、ＥＯフレーム内パケット処理を示し、データワードとも画素データワードとも言及されるパケットは、画素の８ビット(又はそれ以上)デジタル化を表す。例えば、電気光学的センサ又は赤外線センサであり得る複数のセンサ(50)は、画像データを捉え、複数のイーサネットチャンネル(52)(54)上の該データを線(56)で示すように、ＰＩＣＭＧ２.１６スイッチファブリックに送信する．複数のブレードサーバ(58)(図では１つのみしか示さない)がイーサネットに接続されている。各サーバは線(62)及び(64)で示すＰＩＣＭＧ２.１６スイッチファブリックからデータを受信し、及びＰＩＣＭＧ２.１６スイッチファブリックにデータを搬送するリモートネットワークインターフェイスカード(ＲＮＩＣ)(60)を含む。画像データはセンサによって捉えられた画像を表す画素データを含む。本記載にてこれからは、パケット、データワード、及び画素データワードは、交互に用いられる。
【００１９】
図５の例は、図３に示す画素データを有する電気光学的画像のフレーム内処理を示す。データはメガバイト(Ｍバイト)ブロックに分離されて、ＲＮＩＣに送信され、各々は画像のフレーム内の各画素の輝度(intensity)を表す８ビットのパケットの組から構成される。
【００２０】
ＮXＭマトリックスの電気光学的画像については、ブレードサーバは、画像の画素の各列毎にＭ−２モジュラブロックを含む。これらのモジュラブロックの２つ(66)(68)が図５に開示されている。モジュラブロック(66)は２つのバッファ(70)(72)及び圧縮デバイス(74)を含む。モジュラブロック(68)はバッファ(76)(78)及び圧縮デバイス(80)を含む。電気光学的画像フレームは、図３の画素Ｐ(０,０)にて開始すると仮定する。各モジュラブロックの第１のバッファは、図３に描かれた蛇行経路に続く各列の第１の画素で満たされる。各モジュラブロックの第２のバッファは、列からの第２の画素で満たされ、この場合はＰ(０,１)である。
第２のモジュラブロックは、Ｐ(０,０)及びＰ(０,２)で満たされ、モジュラブロックＭ−２に達するまで続く。モジュラブロックＭ−２は、画素Ｐ(０,０)及びＰ(０,Ｍ−１)を比較する。各一対のバッファ内の第２の画素は、第１の画素から抜き出されて、画素値の差分(即ち、デルタ)を生成する。データ差分は、各一対の画素の第２の画素の箇所に格納される。デルタ差分値は、圧縮データとなる。しかし、更なる圧縮が所望されるなら、更にデータを圧縮する為にデルタ差分の値に適用されるデルタ符号化、即ち標準ＪＰＥＧ２０００のような他の圧縮技術がある。その最も簡略化した形式にて、デルタ符号化は以下の如く実行され得る。
【００２１】
元の画像データの８つの画素は、以下の輝度値を有すると仮定する。
１２７ １２９ １３０ １３７ １２９ １３１ １３３ １２８
次に、このデータを表すのに用いられるビットの数は、
８…８…８…８…８…８…８…８
となり、総計で６４ビットである。
【００２２】
圧縮された画像データは、第１の画素の輝度値であり、各次の画素と第１の画素との差の値である。このように圧縮された画像データは、
１２７＋２＋３＋１０＋２＋４＋６＋１である。
このデータを表すのに用いられるビットの数は、
８…４…４…４…４…４…４…４
となり、総計で３６ビットである。このように、圧縮比は６４／３６〜２：１となる。
【００２３】
第１の先端(開始)の８ビットの画素輝度値(即ち、８ビット)のみが送られると、第１の画素の輝度値と次の画素の輝度値の間のデルタも同様に送られる。列内のあらゆる画素について、元の画素の輝度値は、先端(開始)の画素の全輝度値(圧縮されていない)及び次の画素のデルタ値から再構築されることができる。
【００２４】
上記は、データ速度が制限されたパイプ(データリンク)を介して、データをグランドにダウンリンクするのに必要なビット速度を減速する典型的な例である。他の実施例に於いては、画素デルタ値は、各列内の次の画素間の差分を取ることにより決定される。上記の例については、元の画像データは、以下の輝度値を有する。
１２７ １２９ １３０ １３７ １２９ １３１ １３３ １２８
圧縮された画像データは、
１２７＋２＋１＋７−８＋２＋２−５である。
再びこのデータを示すのに用いられるビット数は、
８…４…４…４…４…４…４…４
となり、総計で３６ビットである。このように、圧縮比は６４／３６〜２：１となる。
【００２５】
列番号１の画素データの処理に続いて、画素Ｐ(１，Ｍ−１)から始まる列番号２に進む。同じモジュラーブロックが、列番号２の画素データを処理するのに用いられる。処理は画像データに亘って蛇行経路を用いて進められる。蛇行経路の使用は、各列についての次の関連する地点を、独立させる(de-correlate)。理論的には、次の各列の両端で取られる２つの参照した地点は、切り離される(de-couple)べきである。
【００２６】
全ての列が処理されると、Ｐ(０，０)、Ｐ(１，Ｍ−１)、……Ｐ９(Ｎ−１，Ｍ−１)の位置にある画素は元の輝度値を有し、一方、他の画素は各列の先頭(即ち、開始)画素に対して、圧縮された輝度値を示す。各列の先頭画素は、送信帯域幅の制限により圧縮することが求められているならば、また圧縮される。
【００２７】
図５のモジュラブロックは、例えば、Ｐ(０，０)データからＰ(０，１)を抜き出した結果であるデルタ画素の輝度値は、圧縮され、Ｐ(０，１)箇所に格納される。上記の例に於いて、８ビットの画素データは、４ビットの画素データに圧縮される。圧縮された画素データは、ＰＩＣＭＧ２.１６スイッチファブリックに搬送され、デジタル信号プロセッサ(82)、ＡＩＡ(84)、及び／又はラジオ(86)に分配されて、更に処理され、又は送信される。
【００２８】
パケット(88)(90)(92)は、矢印(94)で示すように、シリアルストリームに達し、上記の処理は画素データの各列について繰り返される。本発明は、ワイヤスピード速度に近い速度にて、監視システムによって実行されるＥＯ又はＩＲ ＳＰＯＴ画像シーンを収集した結果として生成される画像フレームを処理する帯域幅を十分に管理する。
【００２９】
図５のＡＰＳブレードは、入力フレームについてＴＯＥ'ｓ及びＲＤＭＡを実行する２つのポートの双方向リモートネットワークインターフェイスカード(ＲＮＩＣ)を有する。この例に於いて、各パケットはフレーム毎に平均１００８×１０１８の画素を有する画像フレームを有する。
【００３０】
図６は処理を示し、それによって、種々のＥＯ／ＩＲセンサフレームがＡＰＰＳブレードに到着した際に処理される。各センサチャンネルは、１つのＡＰＰＳブレードによって処理される。現在のデータのネットワーク構成は、１Ｇｂ／ｓのイーサネットに接続され、容易に１０Ｇｂ／ｓのイーサネットに格上げできる。
【００３１】
図６は、十分な帯域幅管理技術を用いて、ＥＯ／ＩＲシーンフレームを収集する方法を工程毎に記載している。本発明の一実施例に於いて、処理はブロック(100)にて開始し、各入力フレームは１００８×１０１８の画素を有し、画素毎に８ビットの格納空間を要する。ＵＤＰ／ＩＰ及びイーサネットをカプセル化(encapsulate)したフレームは、(ＴＯＥ'ｓを用いて)ＲＮＩＣ内にて開封され(deencapsulate)、生の画像画素は、センサからＡＰＰＳブレード(ゼロコピー)へＲＤＭＡを介して所定の格納箇所に格納される。ブロック(102)に示すように、フレームが格納された後は、処理はブロック(104)に示すように、列１にて開始する。最後の列に達していなければ(ブロック(106))、上記の如く及びブロック(108)に示すように、画素毎に抜き出し、圧縮し、該圧縮されたデータを格納することを進めていく。ブロック(110)は、図３に示す蛇行経路を用いて、各列にこれが繰り返されることを示す。列Ｎ−１に達すると、処理は終了し(112)、ブロック(114)に示すように、圧縮されたフレームはＲＮＩＣに送られて、更に処理され及び／又は分散される。
【００３２】
同じＥＯ／ＩＲシーン収集に属する処理されたフレームは、ＰＩＣＭＧ２.１６ １Ｇｂ／ｓスイッチファブリックに亘って、ＲＤＭＡとなり(非処理画像データに要求される処理速度よりも遅い処理速度で)、格納用にＡＩＡに送られ、又は送信用にラジオに送られ、又は更に処理されるべくＤＳＰに送られ、又は多数の動作を介して先の全ての目的地に送られる。
【００３３】
典型的なＥＯ／ＩＲ ＳＰＯＴシーンはトラックの横方向に１０のフレームを有し、トラックに沿って１４のフレームを有し、全部で１４０のフレームを有する。１４０のフレームの全てが処理されるまで、処理は繰り返される。処理されたフレームは、次にＵＰＤ／ＩＰ及びイーサネットに再びカプセル化される。
【００３４】
本発明はまた、ＳＡＲステレオ画像のフレーム内処理を含む。ＳＡＲステレオ画像イメーングは、同じ地点の多数の画像を捉え、１つの画像の解像度を上回って、該地点からのＳＡＲ画像の解像度を高める。ＳＡＲステレオ画像の処理は、その性質により、帯域幅に集約される。本発明の目的は、目標とした地点上で収集されたＳＡＲステレオ画像のフレームに対応する各画素間を画素毎に比較することにより、帯域幅のデータを減らすことにある。
【００３５】
図７は、ＳＡＲステレオのフレーム内処理を示す図２のシステムの一部のブロック図であり、またデータワード又は画素データワードと言及されるパケットは画素を表すデジタル化された８ビット(またはそれ以上)である。複数のセンサ(120)がＳＡＲ画像データを捉え、線(126)で示すように、複数のイーサネットチャンネル(122)(124)上のデータをＰＩＣＭＧ２.１６スイッチファブリックに送信する。複数のブレードサーバ(128)(この図では、１つのみが図示される)がイーサネットに接続される。各サーバは、線(132)及び(134)で示すＰＩＣＭＧ２.１６スイッチファブリックからデータを受信し、及びＰＩＣＭＧ２.１６スイッチファブリックにデータを搬送するリモートネットワークインターフェイスカード(ＲＮＩＣ)(130)を含む。画像データはセンサによって捉えられた画像を表す画素データを含む。
【００３６】
図７の例は、図４に示す画素データを有するＳＡＲ画像のフレーム内処理を示す。データはメガバイト(Ｍバイト)のブロックに分けられて送信され、各ブロックは画素密度を表す８ビットのパケットの組から構成される。
【００３７】
ＳＡＲ画像について、ブレードサーバは画像内の画素の列毎に、Ｍ個のモジュラブロックを有する。これらのモジュラブロックの２つ(136)(138)は、図７に示される。
モジュラブロック(136)は、２つのバッファ(140)(142)及び圧縮デバイス(144)を含む。モジュラブロック(138)は、バッファ(146)(148)及び圧縮デバイス(150)を含む。２つの連続したＳＡＲ画像フレームが図４に示される。連続したフレーム内の対応する画素が、点線の矢印で示される。各モジュラブロックの第１のバッファは、例えばＦ1Ｐ(０,０)である図４の第１のフレームの第１の画素で満たされる。第１のモジュラブロック内の第２のバッファは、第２のフレームからの対応する画素で満たされ、この例はＦ2Ｐ(０,０)である。第２のモジュラブロックは、画素Ｆ1Ｐ(０,１)及びＦ2Ｐ(０,１)で満たされ、モジュラブロックＭ−１に達するまで続く。モジュラブロックＭは、画素Ｆ1Ｐ(Ｎ−１,Ｍ−１)とＦ2Ｐ(Ｎ−１,Ｍ−１)を比較する。対応する画素の各対内の第２の画素は、第１の画素から抜き出されて、差分画素値(即ちデルタ)を生成する。差分値は、元の画素値よりも小さな値を有し、より小さなデータワードによって表される。差分データは、以前に第２のフレームデータが保持されていた箇所に格納される。更なる圧縮が所望されるなら、関連する圧縮デバイスが付加されて、差分データを更に圧縮するのに、既知の圧縮技術が適用される。
【００３８】
上記例の如く、８ビットの画素データは、４ビットの画素データに圧縮される。圧縮された画素データは次に、ＰＩＣＭＧ２.１６スイッチファブリックに送信され、デジタル信号プロセッサ(152)、ＡＩＡ(154)、及び／又はラジオ(156)に分配されて、更に処理され又は送信される。
【００３９】
データパケット(158)(160)(162)は矢印(164)で示すように、シリアル流れに達し、上記の処理は次の画素データのフレームについて繰り返される。本発明は、ワイヤ速度に近い速度にて、監視システムによって実行されるＳＡＲ画像シーンを収集した結果として生成される画像フレームを処理する帯域幅を十分に管理する。
【００４０】
ＳＡＲの例について、比較されるＳＡＲステレオ画素のフレームは、ＮXＭマトリックスを表す図４に示される。この場合、各列はＭ個のモジュラブロックを有する。第１のモジュラブロックに於いて、次に収集されるフレームであるフレーム１とフレーム２の為に、Ｆ1Ｐ(０,０)はＦ2Ｐ(０,０)と比較される。デルタ結果は圧縮されて、Ｆ2Ｐ(０,０)箇所に格納される。全てのＮXＭ画素が比較されると、フレーム１のマトリックスは、修正されたフレーム２のマトリックスとともに、ＲＮＩＣを介して、ＰＩＣＭＧ２.１６バス上に送られて、更に処理され及び／又は送信される。
【００４１】
図８は、ＳＡＲステレオフレーム内処理のアルゴリズムを示すフローチャートである。図８は、ＡＰＰＳブレードに達した種々のＳＡＲセンサフレームが処理される工程を示す。各センサチャンネルは、１つのＡＰＰＳブレードによって処理される。現在のデータのネットワーク構成は、１Ｇｂ／ｓのイーサネットに接続され、容易に１０Ｇｂ／ｓのイーサネットに格上げすることができる。
【００４２】
図８は、十分な帯域幅の管理技術を用いて、ＥＯ／ＩＲシーンフレームを収集する方法を工程毎に記載する。本発明の一実施例に於いて、処理はブロック(170)にて開始し、各入力フレームは１００８×１０１８の画素を有し、画素毎に８ビットの格納空間を要する。
ＵＤＰ／ＩＰ及びイーサネットが封入されたフレームは、ＲＮＩＣ内にて開封され(ＴＯＥ'ｓを用いて)、生の画像画素は、センサからＡＰＰＳブレード(ゼロコピー)へＲＤＭＡを介して所定の格納箇所に格納される。ブロック(172)に示すように、フレームが格納された後は、ブロック(174)に示すように、画素毎に抜き出し、圧縮し、該圧縮されたデータを格納することにより処理は続く。ブロック(176)は、対象である２つのフレームの最後の画素が比較されるまで、これが繰り返されることを示す。列Ｎ−１及び行Ｍ−１に達すると、処理は終了し、ブロック(178)に示すように、圧縮されたフレームはＲＮＩＣに送られて、更に処理され及び／又は分散される。
【００４３】
フレームＦ＋１内の８ビット／画素によって表される１００８×１０１８の画素は、先のフレームＦ内の対応する１００８×１０１８の８ビット画素から抜き出される。結果は例えば、Ｎ＝２,４,１０又は２０である因子Ｎ毎に圧縮され、フレームＦ＋１の元の画素位置と同じ箇所に格納されるが、今度は４ビット／画素格納箇所を用いる。
【００４４】
上記のデルタ符号化圧縮の例については、簡略化の為に、４ビット(１／２バイト)が用いられたが、４ビットは各例に於いて必要ではない。圧縮比は、用いられる圧縮の関数である。
【００４５】
同じ動作がフレームＦ＋１とＦ＋２に実行され、結果が格納される。この処理は最後のフレームが受信されるまで繰り返される。図８に記載された方法は、２つの連続したフレームＦ及びＦ＋１に夫々実行される。同じＳＡＲシーン収集に属する処理されたフレームは、ＰＩＣＭＧ２.１６Ｇｂ／ｓスイッチファブリックに亘って、ＲＤＭＡとなり(非処理画像データに要求される処理速度よりも遅い処理速度で)、格納用にＡＩＡに送られ、又は送信用にラジオに送られ、又は更に処理されるべくＤＳＰに送られ、又は多数の動作を介して先の全ての目的地に送られる。
【００４６】
本発明は、市販の(ＣＯＴＳ)要素を有するＯＳＡアーキテクチャを用いて実行され、該要素は例えば既知のサーバ、プロセッサ、スイッチファブリックその他を含み、このようにして最終生成物のコストを急激に減じる。双方向の、全二重、専用の、衝突のない、障害のない経路が、ＵＡＶ空中プラットフォームと地上の制御要素との間に配備される。
【００４７】
ロバスト化用の冗長(robust redundancy)が、ＯＳＡアーキテクチャ内に配備される。ＯＳＡアーキテクチャは、更に処理速度が向上するスイッチファブリック技術の進化を利用するように格上げされて、その一方で、ソフトウエア／ファームウエアへの投資(investment)を維持する。
【００４８】
システムは、種々のネットワークが作られたデータリンクと同様に、種々の多面情報型(multi-intelligence)センサを提供する“プラグアンドプレイ”ＯＳＡアーキテクチャを具える。ＵＡＶは、空中で移動可能なサーバを具える。
【００４９】
機上での先進のセンサ処理は、例えば自動目標キューイング(ＡＴＣ)；モザイク化；自動目標認識(ＡＴＲ)；多重仮想トラッキング(ＭＨＴ)；干渉変化探知(ＣＣＤ)；デジタル地域高度データ(ＤＴＥＤ)の生成；センサデータの融合；センサ交差キュー；無損失／ＪＰＥＧ２０００圧縮；情報帯域幅圧縮；予想及び回避(See & Avoid)(衝突回避)；レーダー警告受信器の再終結(rehost)；及び赤／黒の分離(Red/Black Separation)を含む。
【００５０】
システムにより、遠隔センサのペイロード制御ができ、ＡＳＡＲＳ−２Ａリンクと互換性がある。システムは、非飛行管理機能から飛行管理機能を物理的に分離する。赤及び黒の暗号化スキームが規定され得る。将来、多重情報ペイロード及び通信リンクが支持され得る。
【００５１】
本発明が種々の実施例について記載されてきたが、以下の請求の範囲で示された発明から離れることなく、開示された実施例に種々の変更がなされることは当業者には明らかであろう。
【図面の簡単な説明】
【００５２】
【図１】本発明に従って構成される要素を含む監視システムを示す図である。
【図２】本発明を含む監視システムの一部のブロック図である。
【図３】電気光学(ＥＯ)画像についての画像画素を表すＮXＭマトリックスである。
【図４】合成開口レーダ(ＳＡＲ)画像についての画像画素を表すＮXＭマトリックスである。
【図５】ＥＯ画像処理について用いられる図２のシステムの一部のブロック図である。
【図６】本発明の第１の態様に従った画像データの処理方法を示す流れ図である。
【図７】ＳＡＲ画像処理について用いられる図２のシステムの一部のブロック図である。
【図８】本発明の第２の態様に従った画像データの処理方法を示す流れ図である。
【技術分野】
【０００１】
本発明は、契約番号Ｆ３３６５７−０１−Ｃ−４６００に基づいて成された。米国政府は契約の下、本発明に対する権利を有する。
【０００２】
本発明は、監視システムに於けるデータ獲得及び処理する方法及び装置に関する。
【背景技術】
【０００３】
偵察、監視及び目標獲得システムは、複数の空挺プラットフォーム、即ち飛行物体を含み、各々が監視下の領域についての情報を収集するのに用いられる複数のセンサを携行している。空挺プラットフォームは、人又は装置を含み、センサによって収集されたデータにアクセスすることを所望し、１又は２以上の地上ステーションに位置する要求者と通信することができる。複雑な監視システムは、複数の通信及びセンサシステムを含み、該通信及びセンサシステムは、環境に関する情報を収集し、情報を処理して有意義な情報を得て、情報に基づいて行動するエンティティに情報を通信する。
【０００４】
対象となる領域の画像を生成するのに、合成開口レーダ(ＳＡＲ)、電気光学的(ＥＯ)又は赤外線(ＩＲ)センサが用いられる。これらの画像は、素早く処理され、監視システムの種々の装置及び／又はユーザに送られなければならない大量のデータを含む。通信する帯域幅、送信されるべきデータ量、送信されなければならないデータの距離は全て、応答時間に影響する。
【０００５】
センサの処理能力速度と同様にネットワークの帯域幅速度は、最新のブレードサーバが有効に処理することができる速度よりも速い。１Ｇｂ／ｓのイーサネット（登録商標）が現在の監視システムのアーキテクチャに用いられ、ハイパースペクトラル及びＨＤＴＶセンサのような先進の搭乗物(payload)によって要求される処理能力が高まることにより、１０Ｇｂ／ｓのイーサネットへの代替が予定されている。ブレードサーバは入力／出力(Ｉ／Ｏ)が障害となりつつあり、高帯域幅のデータネットワーク伝送に於ける要素が限定される。これは１つには、作られる必要があるペイロードデータの内部コピーが多数であることによる。これにより、ブレードの中央処理ユニット(ＣＰＵ)の内部メモリバスに負担を掛ける(overwhelm)。
【０００６】
センサ及び通信データリンクインターフェイスをより低いレベル及びより高いレベルに標準化して、センサ、通信データリンクインターフェイス、地上ステーションが機能向上することができるのが望ましい。また、十分な帯域幅を有するシステムがリアルタイムに近い信号処理及び通信を提供するのが好ましい。従って、収集した情報を広めるのに要求される時間を短縮できるデータ処理システムを求めるニーズがある。
発明の要約
【０００７】
本発明は信号処理方法を提供し、以下の工程を有する。画素データワードの列を複数含む画像フレームを受信する工程であって、各列は最初の画素データワードと複数の連続した画素データワードを含む工程と、列の最初の画素データワードから列の各連続した画素データワードを抜き出すことにより、各列を処理して、複数の差分画素データワードを生成する工程と、該差分画素データワードを格納し及び／又は送信する工程を有する。
【０００８】
本発明は更に装置に関し、該装置は、複数の画素データワードの列を含み、各列は最初の画素データワードと複数の連続した画素データワードを含む画像フレームを受信する入力と、列の最初の画素データワードから列の各連続した画素データワードを抜き出すことにより、各列を処理して、複数の差分画素データワードを生成するプロセッサと、該差分画素データワードを格納するメモリを有する。
【０００９】
他の態様に於いて、本発明は信号処理方法を提供し、以下の工程を有する。各々が複数の画素データワードを含む対応する画像フレームを受信する工程と、第１の画像フレーム内の対応する画素データから、第２の画像データフレーム内の各画素データワードを抜き出すことにより、画像フレームを処理して、複数の差分画素データワードを生成する工程と、該差分画素データワードを格納し及び／又は送信する工程を有する。
【００１０】
本発明は更に装置に関し、該装置は、各々が複数の画素データワードである対応する画像フレームを受信する入力と、第１の画像フレーム内の対応する画素データから、第２の画像データフレーム内の各画素データワードを抜き出すことにより、画像フレームを処理して、複数の差分画素データワードを生成するプロセッサと、該差分画素データワードを格納するメモリを具える。
【発明を実施するための最良の形態】
【００１１】
発明の詳細な説明
図面に関して、図１は、本発明に従って構成された要素を含む監視システム(10)を表す図である。システムは、無人の航空機(12)(14)(16)(ＵＡＶｓ)である複数のセンサプラットフォームを含む。各プラットフォームは監視下の領域についての情報を供給する１又は２以上のセンサを搭載する。ＵＡＶは、複数の地上ステーション(18)(20)(22)及び複数の衛星(24)(26)(28)と通信することができる。通信リンクが種々のシステム要素間に配備され、所望の機能を達成する。
【００１２】
監視システムの１つのタイプは、アドバンストペイロードプロセッサユニット(ＡＰＰＳ)アーキテクチャを用い、該アーキテクチャはネットワーク中心エンタープライズシステム(ＮＣＥＳ)の概念内にて空中のサーバのノードを支持するように設計されたオープンソースアーキテクチャである。そのようなシステムは、ＰＩＣＭＧ２.１６のような１Ｇｂ／ｓ又はそれ以上のネットワークにて支持されるネットワーク帯域幅速度で大量のデータ伝送を取り扱う必要がある。これはストレージがアドバンスド情報アーキテクチャ(ＡＩＡ)のような機上であっても、地上であっても、サーバ対サーバ、サーバ対クライアント、又はサーバ対ストレージに等しく適用される。
【００１３】
図２は、本発明を含む監視システム(30)の一部のブロック図である。システムは、対象となる領域の画像を生成するのに用いられる電気光学的センサ、赤外線センサ、又は合成開口レーダのような１又は２以上のセンサを含む一組のセンサ(32)を含む。センサは画像内の情報を表す信号を、アドバンストペイロードプロセッサユニット(ＡＰＰＳ)(34)に送信する。ＡＰＰＳは、ドーターボード(36)を用いて実施される信号処理回路、スイッチング回路(38)、ブレードサーバー(40)を含む種々の回路を含む。ＡＰＰＳの要素は、データ処理能力を改善するように修正された市販の要素である。例えば、この用途に必要でない動作を提供するファームウェアは無効にされ得る。ＡＰＰＳは、画像情報を処理し、処理された情報を一組の通信手段(42)に送り、該通信手段は情報をユーザ又は監視システム内の他の装置に送信する。
【００１４】
本発明は、スイッチファブリック技術に基づく最先端(state-of-the-art)のＰＩＣＭＧ２.１６と結び付けられる市販の(ＣＯＴＳ)ギガビットの最先端のイーサネット(ＧｂＥ)スイッチ／ルータを利用するオープンシステムアーキテクチャを提供し、情報監視及び偵察(ＩＳＲ)センサが収集する処理能力速度を高める要求に対応し、処理能力速度は１０Ｇｂｐｓ(１秒当たりギガビット)に達し得る。
【００１５】
ＡＰＰＳアーキテクチャは、フレキシブルでロバストな性能の故に、命令、制御、通信、コンピュータ、情報、監視及び偵察(Ｃ４ＩＳＲ)の用途に適しており、センサのデータ速度を速くすることに挑み、１０Ｇｂ／ｓのイーサネットデータネットワークとの接続に良好な移動経路を提供する。
【００１６】
ＡＰＰＳアーキテクチャは、伝送制御プロトコル(ＴＣＰ)、オフロードエンジン(ＴＯＥ)、遠隔直接メモリアクセス(ＲＤＭＡ)間の結合を実施することにより、ブレードＣＰＵを用いる問題(飽和)に或る程度、取り組む。本発明は、これらの開かれた標準的な技術を新規性があるＥＯ／ＩＲ及び／又はＳＰＯＴ画像処理に利用するものであって、該画像処理はワイヤ速度に近い速度で有効な帯域幅管理を実行することにより、Ｃ４ＩＳＲセンサにとっての有用なネットワーク帯域幅を増加させる。
【００１７】
本発明の実際的な２つの帯域幅管理用途は、ＥＯスポット画像及びＳＡＲステレオ画像処理に関する。図３は、ＥＯ画像の画像画素を表すＮXＭマトリックスである。図４は、合成開口レーダ画像の対応するフレームの画像画素を示すＮXＭマトリックスである。ここで開示されるように、対応する画像フレームとは、対象となる同じ目標又は領域の画像のフレームである。図３及び図４の画素は、Ｎ個の列とＭ個の行のマトリックスに配列される。各画素はＰ(ｘ、ｙ)として特定され、ｘは列でｙは行である。画素ラベルの前のＦは、画像フレームの番号である。
【００１８】
図５は、図２のシステムの一部のブロック図であり、ＥＯフレーム内パケット処理を示し、データワードとも画素データワードとも言及されるパケットは、画素の８ビット(又はそれ以上)デジタル化を表す。例えば、電気光学的センサ又は赤外線センサであり得る複数のセンサ(50)は、画像データを捉え、複数のイーサネットチャンネル(52)(54)上の該データを線(56)で示すように、ＰＩＣＭＧ２.１６スイッチファブリックに送信する．複数のブレードサーバ(58)(図では１つのみしか示さない)がイーサネットに接続されている。各サーバは線(62)及び(64)で示すＰＩＣＭＧ２.１６スイッチファブリックからデータを受信し、及びＰＩＣＭＧ２.１６スイッチファブリックにデータを搬送するリモートネットワークインターフェイスカード(ＲＮＩＣ)(60)を含む。画像データはセンサによって捉えられた画像を表す画素データを含む。本記載にてこれからは、パケット、データワード、及び画素データワードは、交互に用いられる。
【００１９】
図５の例は、図３に示す画素データを有する電気光学的画像のフレーム内処理を示す。データはメガバイト(Ｍバイト)ブロックに分離されて、ＲＮＩＣに送信され、各々は画像のフレーム内の各画素の輝度(intensity)を表す８ビットのパケットの組から構成される。
【００２０】
ＮXＭマトリックスの電気光学的画像については、ブレードサーバは、画像の画素の各列毎にＭ−２モジュラブロックを含む。これらのモジュラブロックの２つ(66)(68)が図５に開示されている。モジュラブロック(66)は２つのバッファ(70)(72)及び圧縮デバイス(74)を含む。モジュラブロック(68)はバッファ(76)(78)及び圧縮デバイス(80)を含む。電気光学的画像フレームは、図３の画素Ｐ(０,０)にて開始すると仮定する。各モジュラブロックの第１のバッファは、図３に描かれた蛇行経路に続く各列の第１の画素で満たされる。各モジュラブロックの第２のバッファは、列からの第２の画素で満たされ、この場合はＰ(０,１)である。
第２のモジュラブロックは、Ｐ(０,０)及びＰ(０,２)で満たされ、モジュラブロックＭ−２に達するまで続く。モジュラブロックＭ−２は、画素Ｐ(０,０)及びＰ(０,Ｍ−１)を比較する。各一対のバッファ内の第２の画素は、第１の画素から抜き出されて、画素値の差分(即ち、デルタ)を生成する。データ差分は、各一対の画素の第２の画素の箇所に格納される。デルタ差分値は、圧縮データとなる。しかし、更なる圧縮が所望されるなら、更にデータを圧縮する為にデルタ差分の値に適用されるデルタ符号化、即ち標準ＪＰＥＧ２０００のような他の圧縮技術がある。その最も簡略化した形式にて、デルタ符号化は以下の如く実行され得る。
【００２１】
元の画像データの８つの画素は、以下の輝度値を有すると仮定する。
１２７ １２９ １３０ １３７ １２９ １３１ １３３ １２８
次に、このデータを表すのに用いられるビットの数は、
８…８…８…８…８…８…８…８
となり、総計で６４ビットである。
【００２２】
圧縮された画像データは、第１の画素の輝度値であり、各次の画素と第１の画素との差の値である。このように圧縮された画像データは、
１２７＋２＋３＋１０＋２＋４＋６＋１である。
このデータを表すのに用いられるビットの数は、
８…４…４…４…４…４…４…４
となり、総計で３６ビットである。このように、圧縮比は６４／３６〜２：１となる。
【００２３】
第１の先端(開始)の８ビットの画素輝度値(即ち、８ビット)のみが送られると、第１の画素の輝度値と次の画素の輝度値の間のデルタも同様に送られる。列内のあらゆる画素について、元の画素の輝度値は、先端(開始)の画素の全輝度値(圧縮されていない)及び次の画素のデルタ値から再構築されることができる。
【００２４】
上記は、データ速度が制限されたパイプ(データリンク)を介して、データをグランドにダウンリンクするのに必要なビット速度を減速する典型的な例である。他の実施例に於いては、画素デルタ値は、各列内の次の画素間の差分を取ることにより決定される。上記の例については、元の画像データは、以下の輝度値を有する。
１２７ １２９ １３０ １３７ １２９ １３１ １３３ １２８
圧縮された画像データは、
１２７＋２＋１＋７−８＋２＋２−５である。
再びこのデータを示すのに用いられるビット数は、
８…４…４…４…４…４…４…４
となり、総計で３６ビットである。このように、圧縮比は６４／３６〜２：１となる。
【００２５】
列番号１の画素データの処理に続いて、画素Ｐ(１，Ｍ−１)から始まる列番号２に進む。同じモジュラーブロックが、列番号２の画素データを処理するのに用いられる。処理は画像データに亘って蛇行経路を用いて進められる。蛇行経路の使用は、各列についての次の関連する地点を、独立させる(de-correlate)。理論的には、次の各列の両端で取られる２つの参照した地点は、切り離される(de-couple)べきである。
【００２６】
全ての列が処理されると、Ｐ(０，０)、Ｐ(１，Ｍ−１)、……Ｐ９(Ｎ−１，Ｍ−１)の位置にある画素は元の輝度値を有し、一方、他の画素は各列の先頭(即ち、開始)画素に対して、圧縮された輝度値を示す。各列の先頭画素は、送信帯域幅の制限により圧縮することが求められているならば、また圧縮される。
【００２７】
図５のモジュラブロックは、例えば、Ｐ(０，０)データからＰ(０，１)を抜き出した結果であるデルタ画素の輝度値は、圧縮され、Ｐ(０，１)箇所に格納される。上記の例に於いて、８ビットの画素データは、４ビットの画素データに圧縮される。圧縮された画素データは、ＰＩＣＭＧ２.１６スイッチファブリックに搬送され、デジタル信号プロセッサ(82)、ＡＩＡ(84)、及び／又はラジオ(86)に分配されて、更に処理され、又は送信される。
【００２８】
パケット(88)(90)(92)は、矢印(94)で示すように、シリアルストリームに達し、上記の処理は画素データの各列について繰り返される。本発明は、ワイヤスピード速度に近い速度にて、監視システムによって実行されるＥＯ又はＩＲ ＳＰＯＴ画像シーンを収集した結果として生成される画像フレームを処理する帯域幅を十分に管理する。
【００２９】
図５のＡＰＳブレードは、入力フレームについてＴＯＥ'ｓ及びＲＤＭＡを実行する２つのポートの双方向リモートネットワークインターフェイスカード(ＲＮＩＣ)を有する。この例に於いて、各パケットはフレーム毎に平均１００８×１０１８の画素を有する画像フレームを有する。
【００３０】
図６は処理を示し、それによって、種々のＥＯ／ＩＲセンサフレームがＡＰＰＳブレードに到着した際に処理される。各センサチャンネルは、１つのＡＰＰＳブレードによって処理される。現在のデータのネットワーク構成は、１Ｇｂ／ｓのイーサネットに接続され、容易に１０Ｇｂ／ｓのイーサネットに格上げできる。
【００３１】
図６は、十分な帯域幅管理技術を用いて、ＥＯ／ＩＲシーンフレームを収集する方法を工程毎に記載している。本発明の一実施例に於いて、処理はブロック(100)にて開始し、各入力フレームは１００８×１０１８の画素を有し、画素毎に８ビットの格納空間を要する。ＵＤＰ／ＩＰ及びイーサネットをカプセル化(encapsulate)したフレームは、(ＴＯＥ'ｓを用いて)ＲＮＩＣ内にて開封され(deencapsulate)、生の画像画素は、センサからＡＰＰＳブレード(ゼロコピー)へＲＤＭＡを介して所定の格納箇所に格納される。ブロック(102)に示すように、フレームが格納された後は、処理はブロック(104)に示すように、列１にて開始する。最後の列に達していなければ(ブロック(106))、上記の如く及びブロック(108)に示すように、画素毎に抜き出し、圧縮し、該圧縮されたデータを格納することを進めていく。ブロック(110)は、図３に示す蛇行経路を用いて、各列にこれが繰り返されることを示す。列Ｎ−１に達すると、処理は終了し(112)、ブロック(114)に示すように、圧縮されたフレームはＲＮＩＣに送られて、更に処理され及び／又は分散される。
【００３２】
同じＥＯ／ＩＲシーン収集に属する処理されたフレームは、ＰＩＣＭＧ２.１６ １Ｇｂ／ｓスイッチファブリックに亘って、ＲＤＭＡとなり(非処理画像データに要求される処理速度よりも遅い処理速度で)、格納用にＡＩＡに送られ、又は送信用にラジオに送られ、又は更に処理されるべくＤＳＰに送られ、又は多数の動作を介して先の全ての目的地に送られる。
【００３３】
典型的なＥＯ／ＩＲ ＳＰＯＴシーンはトラックの横方向に１０のフレームを有し、トラックに沿って１４のフレームを有し、全部で１４０のフレームを有する。１４０のフレームの全てが処理されるまで、処理は繰り返される。処理されたフレームは、次にＵＰＤ／ＩＰ及びイーサネットに再びカプセル化される。
【００３４】
本発明はまた、ＳＡＲステレオ画像のフレーム内処理を含む。ＳＡＲステレオ画像イメーングは、同じ地点の多数の画像を捉え、１つの画像の解像度を上回って、該地点からのＳＡＲ画像の解像度を高める。ＳＡＲステレオ画像の処理は、その性質により、帯域幅に集約される。本発明の目的は、目標とした地点上で収集されたＳＡＲステレオ画像のフレームに対応する各画素間を画素毎に比較することにより、帯域幅のデータを減らすことにある。
【００３５】
図７は、ＳＡＲステレオのフレーム内処理を示す図２のシステムの一部のブロック図であり、またデータワード又は画素データワードと言及されるパケットは画素を表すデジタル化された８ビット(またはそれ以上)である。複数のセンサ(120)がＳＡＲ画像データを捉え、線(126)で示すように、複数のイーサネットチャンネル(122)(124)上のデータをＰＩＣＭＧ２.１６スイッチファブリックに送信する。複数のブレードサーバ(128)(この図では、１つのみが図示される)がイーサネットに接続される。各サーバは、線(132)及び(134)で示すＰＩＣＭＧ２.１６スイッチファブリックからデータを受信し、及びＰＩＣＭＧ２.１６スイッチファブリックにデータを搬送するリモートネットワークインターフェイスカード(ＲＮＩＣ)(130)を含む。画像データはセンサによって捉えられた画像を表す画素データを含む。
【００３６】
図７の例は、図４に示す画素データを有するＳＡＲ画像のフレーム内処理を示す。データはメガバイト(Ｍバイト)のブロックに分けられて送信され、各ブロックは画素密度を表す８ビットのパケットの組から構成される。
【００３７】
ＳＡＲ画像について、ブレードサーバは画像内の画素の列毎に、Ｍ個のモジュラブロックを有する。これらのモジュラブロックの２つ(136)(138)は、図７に示される。
モジュラブロック(136)は、２つのバッファ(140)(142)及び圧縮デバイス(144)を含む。モジュラブロック(138)は、バッファ(146)(148)及び圧縮デバイス(150)を含む。２つの連続したＳＡＲ画像フレームが図４に示される。連続したフレーム内の対応する画素が、点線の矢印で示される。各モジュラブロックの第１のバッファは、例えばＦ1Ｐ(０,０)である図４の第１のフレームの第１の画素で満たされる。第１のモジュラブロック内の第２のバッファは、第２のフレームからの対応する画素で満たされ、この例はＦ2Ｐ(０,０)である。第２のモジュラブロックは、画素Ｆ1Ｐ(０,１)及びＦ2Ｐ(０,１)で満たされ、モジュラブロックＭ−１に達するまで続く。モジュラブロックＭは、画素Ｆ1Ｐ(Ｎ−１,Ｍ−１)とＦ2Ｐ(Ｎ−１,Ｍ−１)を比較する。対応する画素の各対内の第２の画素は、第１の画素から抜き出されて、差分画素値(即ちデルタ)を生成する。差分値は、元の画素値よりも小さな値を有し、より小さなデータワードによって表される。差分データは、以前に第２のフレームデータが保持されていた箇所に格納される。更なる圧縮が所望されるなら、関連する圧縮デバイスが付加されて、差分データを更に圧縮するのに、既知の圧縮技術が適用される。
【００３８】
上記例の如く、８ビットの画素データは、４ビットの画素データに圧縮される。圧縮された画素データは次に、ＰＩＣＭＧ２.１６スイッチファブリックに送信され、デジタル信号プロセッサ(152)、ＡＩＡ(154)、及び／又はラジオ(156)に分配されて、更に処理され又は送信される。
【００３９】
データパケット(158)(160)(162)は矢印(164)で示すように、シリアル流れに達し、上記の処理は次の画素データのフレームについて繰り返される。本発明は、ワイヤ速度に近い速度にて、監視システムによって実行されるＳＡＲ画像シーンを収集した結果として生成される画像フレームを処理する帯域幅を十分に管理する。
【００４０】
ＳＡＲの例について、比較されるＳＡＲステレオ画素のフレームは、ＮXＭマトリックスを表す図４に示される。この場合、各列はＭ個のモジュラブロックを有する。第１のモジュラブロックに於いて、次に収集されるフレームであるフレーム１とフレーム２の為に、Ｆ1Ｐ(０,０)はＦ2Ｐ(０,０)と比較される。デルタ結果は圧縮されて、Ｆ2Ｐ(０,０)箇所に格納される。全てのＮXＭ画素が比較されると、フレーム１のマトリックスは、修正されたフレーム２のマトリックスとともに、ＲＮＩＣを介して、ＰＩＣＭＧ２.１６バス上に送られて、更に処理され及び／又は送信される。
【００４１】
図８は、ＳＡＲステレオフレーム内処理のアルゴリズムを示すフローチャートである。図８は、ＡＰＰＳブレードに達した種々のＳＡＲセンサフレームが処理される工程を示す。各センサチャンネルは、１つのＡＰＰＳブレードによって処理される。現在のデータのネットワーク構成は、１Ｇｂ／ｓのイーサネットに接続され、容易に１０Ｇｂ／ｓのイーサネットに格上げすることができる。
【００４２】
図８は、十分な帯域幅の管理技術を用いて、ＥＯ／ＩＲシーンフレームを収集する方法を工程毎に記載する。本発明の一実施例に於いて、処理はブロック(170)にて開始し、各入力フレームは１００８×１０１８の画素を有し、画素毎に８ビットの格納空間を要する。
ＵＤＰ／ＩＰ及びイーサネットが封入されたフレームは、ＲＮＩＣ内にて開封され(ＴＯＥ'ｓを用いて)、生の画像画素は、センサからＡＰＰＳブレード(ゼロコピー)へＲＤＭＡを介して所定の格納箇所に格納される。ブロック(172)に示すように、フレームが格納された後は、ブロック(174)に示すように、画素毎に抜き出し、圧縮し、該圧縮されたデータを格納することにより処理は続く。ブロック(176)は、対象である２つのフレームの最後の画素が比較されるまで、これが繰り返されることを示す。列Ｎ−１及び行Ｍ−１に達すると、処理は終了し、ブロック(178)に示すように、圧縮されたフレームはＲＮＩＣに送られて、更に処理され及び／又は分散される。
【００４３】
フレームＦ＋１内の８ビット／画素によって表される１００８×１０１８の画素は、先のフレームＦ内の対応する１００８×１０１８の８ビット画素から抜き出される。結果は例えば、Ｎ＝２,４,１０又は２０である因子Ｎ毎に圧縮され、フレームＦ＋１の元の画素位置と同じ箇所に格納されるが、今度は４ビット／画素格納箇所を用いる。
【００４４】
上記のデルタ符号化圧縮の例については、簡略化の為に、４ビット(１／２バイト)が用いられたが、４ビットは各例に於いて必要ではない。圧縮比は、用いられる圧縮の関数である。
【００４５】
同じ動作がフレームＦ＋１とＦ＋２に実行され、結果が格納される。この処理は最後のフレームが受信されるまで繰り返される。図８に記載された方法は、２つの連続したフレームＦ及びＦ＋１に夫々実行される。同じＳＡＲシーン収集に属する処理されたフレームは、ＰＩＣＭＧ２.１６Ｇｂ／ｓスイッチファブリックに亘って、ＲＤＭＡとなり(非処理画像データに要求される処理速度よりも遅い処理速度で)、格納用にＡＩＡに送られ、又は送信用にラジオに送られ、又は更に処理されるべくＤＳＰに送られ、又は多数の動作を介して先の全ての目的地に送られる。
【００４６】
本発明は、市販の(ＣＯＴＳ)要素を有するＯＳＡアーキテクチャを用いて実行され、該要素は例えば既知のサーバ、プロセッサ、スイッチファブリックその他を含み、このようにして最終生成物のコストを急激に減じる。双方向の、全二重、専用の、衝突のない、障害のない経路が、ＵＡＶ空中プラットフォームと地上の制御要素との間に配備される。
【００４７】
ロバスト化用の冗長(robust redundancy)が、ＯＳＡアーキテクチャ内に配備される。ＯＳＡアーキテクチャは、更に処理速度が向上するスイッチファブリック技術の進化を利用するように格上げされて、その一方で、ソフトウエア／ファームウエアへの投資(investment)を維持する。
【００４８】
システムは、種々のネットワークが作られたデータリンクと同様に、種々の多面情報型(multi-intelligence)センサを提供する“プラグアンドプレイ”ＯＳＡアーキテクチャを具える。ＵＡＶは、空中で移動可能なサーバを具える。
【００４９】
機上での先進のセンサ処理は、例えば自動目標キューイング(ＡＴＣ)；モザイク化；自動目標認識(ＡＴＲ)；多重仮想トラッキング(ＭＨＴ)；干渉変化探知(ＣＣＤ)；デジタル地域高度データ(ＤＴＥＤ)の生成；センサデータの融合；センサ交差キュー；無損失／ＪＰＥＧ２０００圧縮；情報帯域幅圧縮；予想及び回避(See & Avoid)(衝突回避)；レーダー警告受信器の再終結(rehost)；及び赤／黒の分離(Red/Black Separation)を含む。
【００５０】
システムにより、遠隔センサのペイロード制御ができ、ＡＳＡＲＳ−２Ａリンクと互換性がある。システムは、非飛行管理機能から飛行管理機能を物理的に分離する。赤及び黒の暗号化スキームが規定され得る。将来、多重情報ペイロード及び通信リンクが支持され得る。
【００５１】
本発明が種々の実施例について記載されてきたが、以下の請求の範囲で示された発明から離れることなく、開示された実施例に種々の変更がなされることは当業者には明らかであろう。
【図面の簡単な説明】
【００５２】
【図１】本発明に従って構成される要素を含む監視システムを示す図である。
【図２】本発明を含む監視システムの一部のブロック図である。
【図３】電気光学(ＥＯ)画像についての画像画素を表すＮXＭマトリックスである。
【図４】合成開口レーダ(ＳＡＲ)画像についての画像画素を表すＮXＭマトリックスである。
【図５】ＥＯ画像処理について用いられる図２のシステムの一部のブロック図である。
【図６】本発明の第１の態様に従った画像データの処理方法を示す流れ図である。
【図７】ＳＡＲ画像処理について用いられる図２のシステムの一部のブロック図である。
【図８】本発明の第２の態様に従った画像データの処理方法を示す流れ図である。
【特許請求の範囲】
【請求項１】
信号処理方法であって、
画素データワードの列を複数含む画像フレームを受信する工程であって、各列は開始画素データワード及び次の複数の画素データワードを含む工程と、
各列の画素を処理して、複数の差分画素データワードを生成する工程と、
該差分画素データワードを格納する工程を有する方法。
【請求項２】
各列の画素を処理して、複数の差分画素データワードを生成する工程は、列内の開始画素データワードから、列内の次の各画素データワードを抜き出す工程を有する、請求項１に記載の方法。
【請求項３】
各列の画素を処理して、複数の差分画素データワードを生成する工程は、列内の前の画素データワードから、列内の次の各画素データワードを抜き出す工程を有する、請求項１に記載の方法。
【請求項４】
次の列の開始画素は、次の列の後ろ側にある、請求項１に記載の方法。
【請求項５】
圧縮された差分画素データは、画素毎に４ビットである、請求項１に記載の方法。
【請求項６】
差分画素データワードを圧縮して、圧縮された差分画素データワードを生成する工程は、２，４，１０又は２０因子毎に差分画素データワードを圧縮する、請求項１に記載の方法。
【請求項７】
フレームには、電気光学的又は赤外線画像データが含まれる、請求項１に記載の方法。
【請求項８】
画素データワードの列を複数含む画像フレームを受信する入力であって、各列は開始画素データワード及び次の複数の画素データワードを含む入力と、
各列を処理して、複数の差分画素データワードを生成するプロセッサと、
該圧縮された差分画素データワードを格納するメモリを具えた装置。
【請求項９】
列内の次の各画素データワードは、列内の開始画素データワードから抜き出される、請求項８に記載の装置。
【請求項１０】
列内の次の各画素データワードは、列内の前の画素データワードから抜き出される、請求項８に記載の装置。
【請求項１１】
信号処理方法であって、
各々が複数の画素データワードである対応する画像フレームを受信する工程と、
第１の画像フレーム内の対応する画素データワードから、第２の画像データフレーム内の画素データワードを抜き出すことにより、画像フレームを処理して、複数の差分画素データワードを生成する工程と、
圧縮された差分画素データを格納する工程を具えた方法。
【請求項１２】
圧縮された差分画素データは、画素毎に４ビットである、請求項１１に記載の方法。
【請求項１３】
差分画素データワードを圧縮して、圧縮された差分画素データワードを生成する工程は、２，４，１０又は２０因子毎に元の画素データを圧縮する、請求項１１に記載の方法。
【請求項１４】
フレームは、合成開口レーダ画像データを具える、請求項１１に記載の方法。
【請求項１５】
各々が複数の画素データワードである対応する画像フレームを受信する入力と、
第１の画像フレーム内の対応する画素データワードから、第２の画像データフレーム内の画素データワードを抜き出すことにより、画像フレームを処理して、複数の差分画素データワードを生成するプロセッサと、
圧縮された差分画素データを格納するメモリを具えた装置。
【請求項１６】
圧縮された差分画素データは、画素毎に４ビットである、請求項１５に記載の装置。
【請求項１７】
差分画素データワードは、２，４，１０又は２０因子毎に元の画素データを圧縮する、請求項１５に記載の装置。
【請求項１８】
フレームには、合成開口レーダ画像データが含まれる、請求項１５に記載の装置。
【請求項１】
信号処理方法であって、
画素データワードの列を複数含む画像フレームを受信する工程であって、各列は開始画素データワード及び次の複数の画素データワードを含む工程と、
各列の画素を処理して、複数の差分画素データワードを生成する工程と、
該差分画素データワードを格納する工程を有する方法。
【請求項２】
各列の画素を処理して、複数の差分画素データワードを生成する工程は、列内の開始画素データワードから、列内の次の各画素データワードを抜き出す工程を有する、請求項１に記載の方法。
【請求項３】
各列の画素を処理して、複数の差分画素データワードを生成する工程は、列内の前の画素データワードから、列内の次の各画素データワードを抜き出す工程を有する、請求項１に記載の方法。
【請求項４】
次の列の開始画素は、次の列の後ろ側にある、請求項１に記載の方法。
【請求項５】
圧縮された差分画素データは、画素毎に４ビットである、請求項１に記載の方法。
【請求項６】
差分画素データワードを圧縮して、圧縮された差分画素データワードを生成する工程は、２，４，１０又は２０因子毎に差分画素データワードを圧縮する、請求項１に記載の方法。
【請求項７】
フレームには、電気光学的又は赤外線画像データが含まれる、請求項１に記載の方法。
【請求項８】
画素データワードの列を複数含む画像フレームを受信する入力であって、各列は開始画素データワード及び次の複数の画素データワードを含む入力と、
各列を処理して、複数の差分画素データワードを生成するプロセッサと、
該圧縮された差分画素データワードを格納するメモリを具えた装置。
【請求項９】
列内の次の各画素データワードは、列内の開始画素データワードから抜き出される、請求項８に記載の装置。
【請求項１０】
列内の次の各画素データワードは、列内の前の画素データワードから抜き出される、請求項８に記載の装置。
【請求項１１】
信号処理方法であって、
各々が複数の画素データワードである対応する画像フレームを受信する工程と、
第１の画像フレーム内の対応する画素データワードから、第２の画像データフレーム内の画素データワードを抜き出すことにより、画像フレームを処理して、複数の差分画素データワードを生成する工程と、
圧縮された差分画素データを格納する工程を具えた方法。
【請求項１２】
圧縮された差分画素データは、画素毎に４ビットである、請求項１１に記載の方法。
【請求項１３】
差分画素データワードを圧縮して、圧縮された差分画素データワードを生成する工程は、２，４，１０又は２０因子毎に元の画素データを圧縮する、請求項１１に記載の方法。
【請求項１４】
フレームは、合成開口レーダ画像データを具える、請求項１１に記載の方法。
【請求項１５】
各々が複数の画素データワードである対応する画像フレームを受信する入力と、
第１の画像フレーム内の対応する画素データワードから、第２の画像データフレーム内の画素データワードを抜き出すことにより、画像フレームを処理して、複数の差分画素データワードを生成するプロセッサと、
圧縮された差分画素データを格納するメモリを具えた装置。
【請求項１６】
圧縮された差分画素データは、画素毎に４ビットである、請求項１５に記載の装置。
【請求項１７】
差分画素データワードは、２，４，１０又は２０因子毎に元の画素データを圧縮する、請求項１５に記載の装置。
【請求項１８】
フレームには、合成開口レーダ画像データが含まれる、請求項１５に記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−１４９０７６（Ｐ２００７−１４９０７６Ａ）
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【外国語出願】
【出願番号】特願２００６−２９３４３７（Ｐ２００６−２９３４３７）
【出願日】平成１８年１０月３０日（２００６．１０．３０）
【出願人】（５０２２７０４５３）ノースロップ グラマン コーポレイション (31)
【Ｆターム（参考）】
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願番号】特願２００６−２９３４３７（Ｐ２００６−２９３４３７）
【出願日】平成１８年１０月３０日（２００６．１０．３０）
【出願人】（５０２２７０４５３）ノースロップ グラマン コーポレイション (31)
【Ｆターム（参考）】
[ Back to top ]