説明

ライダーとビデオ測定を使用する3次元画像の生成システム及び方法

システムはターゲットの6つの自由度の軌跡を評価するため、ライダーシステムからの距離及びドップラ速度測定と、ビデオシステムからの画像とを使用する。システムはこの軌跡を2つの段、即ちビデオシステムからの画像から得られた種々の特性測定と共にライダーシステムからの距離及びドップラ測定が前記ターゲットの第1の段の運動特徴(即ちターゲットの軌跡)を評価するために使用される第1の段と、ビデオシステムからの画像とターゲットの第1の段の運動特徴がターゲットの第2の段の運動特徴を評価するために使用される第2の段で、この軌跡を評価する。ターゲットの第2の段の運動特徴が評価されると、ターゲットの3次元画像が生成されることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明はターゲットの3次元画像を生成するためのライダー(即ちレーザレーダー)測定とビデオ画像との組み合わせに関し、特にターゲットについての運動が安定化された3次元画像を得るためライダー測定及びビデオ画像を介して運動ターゲットに関連される6度の自由度の軌跡の解析に関する。
【背景技術】
【0002】
本願発明は2009年2月20日に出願された米国特許暫定出願第61/154,207号明細書に対する優先権を主張しており、その全体が以下説明されているように参考文献とされている。
【0003】
種々の通常のシステムはライダー測定とビデオ画像を併合してターゲットの3次元画像を得ようとしている。典型的にこれらの通常のシステムはライダー測定とビデオ画像を組み合わせて3次元画像を形成するためにターゲットの幾つかの予め特定された初期モデルを必要とする。
【0004】
残念ながら、予め特定された初期モデルはライダー測定とビデオ画像を組み合わせるためのシステム能力に大きな制約を与え、その結果として3次元画像はターゲットの識別の目的に対してはほとんど十分とは言えない。
【0005】
さらに、これらの通常のシステムは典型的にターゲットの運動を適切に考慮することができず、したがってしばしば3次元システムが画像捕捉期間中にターゲットが実質的に運動していない状態であることを必要とする。
【0006】
ライダー及びビデオ測定を使用して3次元画像を捕捉するための改良されたシステム及び方法が必要とされている。
【発明の概要】
【0007】
本発明の種々の実施形態はライダーシステムにより発生された測定をビデオシステムにより発生された画像と組み合わせてターゲットの運動を示す6度の自由度の軌跡を解析する。この軌跡が解析されると、ターゲットの正確な3次元画像が生成されることができる。本発明の幾つかの実施形態では、ターゲットの運動を示す軌跡はターゲットの3次元の移動速度と3次元の回転速度を含んでいる。
【0008】
本発明の幾つかの実施形態では、ライダーシステム及びビデオシステムはターゲットの軌跡を解析するプロセッサに結合されている。本発明の幾つかの実施形態では、ライダーシステムはターゲットを走査する2以上のビームを含んでいる。本発明の実施形態では、ライダーシステムはターゲットを走査する4以上のビームを含んでいる。各ビームはターゲット上の複数のポイントのそれぞれの距離及びドップラ速度を発生する。本発明の幾つかの実施形態では、それらのポイントはライダーシステムに関して方位角および仰角に関して表される。本発明の幾つかの実施形態では、ビデオシステムはターゲットの複数のフレーム(即ち2次元画像)を提供するカメラを含んでいる。
【0009】
本発明の幾つかの実施形態では、プロセッサはライダーシステムからの距離及びドップラ速度測定と、ビデオシステムからの画像とを使用してターゲットの軌跡を解析する。本発明の幾つかの実施形態では、プロセッサはこれを2つの段、即ち画像から得られた種々の特性測定と共に距離およびドップラ測定がターゲットの第1の段の運動特徴(即ちターゲットの軌跡)を評価するために使用される第1の段と、画像がターゲットの第2の段の運動特徴を評価するために使用される第2の段で実現する。ターゲットの軌跡が(ターゲットの第2の段の運動特徴から)決定されると、ターゲットの3次元画像が生成されることができる。
【0010】
これらの実施形態において、本発明のそれらの特性及び他の特徴について以下さらに詳細に説明する。
【図面の簡単な説明】
【0011】
【図1】本発明の種々の実施形態による組合されたライダー及びビデオカメラシステムを示す図である。
【図2】本発明の種々の実施形態によるライダー(レーザレーダー)を示す図である。
【図3】本発明の種々の実施形態による2つのライダービームを使用するライダーサブシステムの走査パターンを示す図である。
【図4】本発明の種々の実施形態による4つのライダービームを使用するライダーサブシステムの走査パターンを示す図である。
【図5】本発明の種々の実施形態によるターゲットの角速度のx成分の評価に使用されることができる実質的に同じ時間的瞬間において別のビームからのライダーサブシステムから捕捉されたポイント間の関係を示す図である。
【図6】本発明の種々の実施形態によるターゲットの角速度のy成分の評価に使用されることができる実質的に同じ時間インスタンスにおいて別のビームからのライダーサブシステムから捕捉されたポイント間の関係を示す図である。
【図7】本発明の種々の実施形態によるターゲットの角速度の2次元(即ちxおよびy成分)の移動速度と角速度のz成分の評価に使用されることができるビデオサブシステムから捕捉されたポイント間の関係を示す図である。
【図8】本発明の種々の実施形態によるライダービームの走査パターンを示す図である。
【図9】本発明の種々の実施形態によるライダーサブシステムからの測定に関連される種々のタイミング特徴を示すのに有用なタイミング図である。
【図10】本発明の種々の実施形態によるビデオサブシステムからの測定に関してライダーサブシステムからの測定に関連される種々のタイミング特徴を示すのに有用なタイミング図である。
【図11】本発明の種々の実施形態によるライダー測定及びビデオ画像を処理するのに有用なブロック図である。
【図12】本発明の種々の実施形態によるライダー測定及びビデオ画像を処理するのに有用なブロック図である。
【図13】本発明の種々の実施形態によるライダー測定及びビデオ画像を処理するのに有用なブロック図である。
【図14】本発明の種々の実施形態によるライダー測定及びビデオ画像を処理するのに有用なブロック図である。
【図15】本発明の種々の実施形態によるライダー測定及びビデオ画像を処理するのに有用なブロック図である。
【発明を実施するための形態】
【0012】
図1は本発明の種々の実施形態による組合されたライダーおよびビデオカメラシステム100を示している。本発明の種々の実施形態はライダーまたはビデオカメラのいずれかの単独では可能ではない程度までターゲットの運動の6度の自由度を解析するためライダー測定とビデオ画像との相乗効果を使用する。
【0013】
組合されたシステム100はライダーサブシステム130、ビデオサブシステム150、処理システム160を含んでいる。示されているように、ライダーサブシステム130は(ビーム112A、ビーム112B、ビーム112(n-1)、ビーム112nとして示されている)2以上のライダービーム出力112と、それぞれがビーム112の1つに対応する(反射ビーム114A、反射ビーム114B、反射ビーム114(n-1)、反射ビーム114n)して示されている)2以上の反射ビーム入力114と、(ビーム112A/反射ビーム114Aと関連されるライダー出力116A、ビーム112B/反射ビーム114Bと関連されるライダー出力116B、ビーム112(n-1)/反射ビーム114(n-1)と関連されるライダー出力116(n-1)、ビーム112n/反射ビーム114nと関連されるライダー出力116nとして示されている)それぞれビーム112/反射ビーム114の対と関連される2以上のライダー出力116を含んでいる。
【0014】
本発明の幾つかの実施形態では、ビーム操縦機構140は1以上のビーム112をターゲット190の方向に操縦するために使用されることができる。本発明の幾つかの実施形態では、ビーム操縦機構140は、それぞれがビーム112をターゲット190の方向へ独立に操縦する操縦機構140A、操縦機構140B、操縦機構140C、操縦機構140Dのような個々の操縦機構を含むことができる。本発明の幾つかの実施形態では、1つのビーム操縦機構140は独立してビーム112の対またはグループをターゲット190方向へ操縦できる。
【0015】
本発明の幾つかの実施形態では、ビーム操縦機構140は、それぞれが別々に制御されてもよく、別々に制御されなくてもよい1以上のミラーを含むことができ、各ミラーは1以上のビーム12をターゲット190の方向へ操縦する。本発明の幾つかの実施形態では、ビーム操縦機構140はミラーを使用せずにビーム112の光ファイバを直接操縦できる。本発明の幾つかの実施形態では、ビーム操縦機構140は方位角および/または仰角でビーム112を操縦するように制御されることができる。種々の技術が認識されるようにビーム112をターゲット190の方向へ操縦するためのビーム操縦機構140により使用されることができる。
【0016】
本発明の幾つかの実施形態では、ビーム操縦機構140はターゲットの方向にビーム112の方位角と仰角の両者を制御するために使用されることができる。方位角と仰角の両者を制御することによって、2つのビーム112は潜在的なターゲットの体積を走査またはターゲット190のような特定のターゲットを追跡するために使用されることができる。他の走査機構も明白であるように使用されることができる。本発明の幾つかの実施形態では、2つのビーム112は相互にオフセットされることができる。本発明の幾つかの実施形態では、2つのビーム112は予め定められたオフセットおよび/または予め定められた角度により相互に垂直(例えば仰角で)又は水平(例えば方位角で)にオフセットされることができ、そのいずれかは調節可能または制御可能であることができる。
【0017】
本発明の幾つかの実施形態では、ビーム操縦機構140はターゲットの方向に4つのビーム112の方位角および仰角の両者を制御するように使用されることができる。本発明の幾つかの実施形態では、4つのビーム112は水平及び垂直に分離して配置されることができる。本発明の幾つかの実施形態では、4つのビームは少なくとも2つの直交する分離を形成するように構成されることができる。本発明の幾つかの実施形態では、4つのビームは長方形パターンで配置されることができ、ビーム112の対は相互に垂直及び水平にオフセットされている。本発明の幾つかの実施形態では、4つのビームは他のパターンで配置されることができ、ビーム112の対は相互にオフセットされている。4つのビーム112の分離は予め決定されたオフセットであってもよく、または予め決定された角度であってもよく、それは固定され、調節可能および/または制御されることができる。
【0018】
各ビーム112のある部分は反射ビーム114としてターゲット180からライダーサブシステム130へ反射されることができる。本発明の幾つかの実施形態では、図1に示されているように、反射ビーム114はビーム112として(逆方向ではあるが)同じ光路をたどる。本発明の幾つかの実施形態では、別々の光路は反射ビーム114に適合するためにライダーサブシステム130および/または組合されたシステム100に設けられることができる。
【0019】
本発明の幾つかの実施形態では、ライダーサブシステム130は各ビーム112に対応する反射ビーム114を受信し、反射ビーム114を処理し、ライダー出力116を処理システム160へ出力する。
【0020】
組合されたシステム100はまたビデオサブシステム150を含んでいる。ビデオサブシステム150はターゲット190の2次元画像155を捕捉するためのビデオカメラを含むことができる。種々のビデオカメラは明白であるように使用されることができる。本発明の幾つかの構成では、ビデオカメラは特定の解像度及び特定の画像又はフレームレートで画素として画像155を出力できる。ビデオサブシステム150により捕捉されるビデオ画像155は処理システム160へ転送される。本発明の幾つかの構成では、ライダーサブシステム130とビデオサブシステム150は位置および方位に関して相互にオフセットされる。特に、ライダー測定は典型的に3次元(例えばx、y、z)に対応し、一方、ビデオ画像は典型的に2次元(例えばxとy)に対応する。本発明の幾つかの構成は、明白であるように各システムにより与えられるデータが所定の座標系で同じ位置を指すことを確実にするためにライダーサブシステム130をビデオサブシステム150で較正する。
【0021】
組合されたシステム110は、明白であるように(他に示されていなければ)異なる位置、奥行きまたは角度からターゲット190の付加的な2次元画像155を捕捉するための1以上の随意選択的なビデオサブシステムを含むことができる。
【0022】
本発明の幾つかの構成では、処理システム160はライダーサブシステム130からライダー出力116を、またビデオサブシステム150から画像155を受信し、後に処理するためにこれらをメモリ又は他の記憶装置165に記憶する。処理システム160はターゲット190の3次元画像を生成するためにライダー出力116と画像155を処理する。本発明の幾つかの構成では、処理システム160はライダー出力116と画像155の組合せからターゲット190の軌跡を決定し、その軌跡をターゲット190の運動安定化された3次元画像を発生するために使用する。
【0023】
本発明の幾つかの構成では、ライダーサブシステム130は例えばそれぞれビーム112、二重周波数、明白に及び同時にターゲット190上の1ポイントの距離とドップラ速度の両者を測定できるチャープコヒーレントレーザレーダーシステムを含むことができる。このようなレーザレーダーシステムは同時米国出願番号第11/353,123号明細書(発明の名称“Chirped Coherent Laser Radar System and Method”(「チャープライダー仕様」))に記載されており、これはその全体において参考文献としてここに組み込まれている。明瞭にする目的で、チャープライダー仕様で呼ばれている「ビーム」はこの明細書で呼ばれている「ビーム」とは同じではない。特に、チャープライダー仕様では、2つのビームはレーザレーダーシステムからの出力、即ちターゲット上のポイントの距離とドップラ速度の両者の同時的な測定を行うためにターゲット上のポイントで同時に一致する第1の周波数(チャープされているかされていない)を有する第1のビームと、第2の周波数(チャープされているかされていない)を有する第2のビームとして説明されている。簡潔にし、明瞭にする目的で、単一の「ビーム」はここではチャープライダー仕様に記載されているレーザレーダーシステムから出力された組合された第1及び第2のビームを指している。チャープライダー仕様に記載されている個々のビームはここでは以下「信号」を指している。それにもかかわらず、本発明の種々の構成はこれらのビームがターゲット上のポイントにおいて同時に距離とドップラ速度の測定を行うならば、チャープライダー仕様に記載されているビーム以外のビームを使用できる。
【0024】
図2は本発明の種々の構成により、ライダー出力116を提供するためビーム112と反射ビーム114とを発生し処理するために使用されることができるライダー210を示している。各ライダー210はそのライダー210に関するターゲット180上の1ポイントの距離およびドップラ速度を明白に決定する。ライダー210は第1の周波数のライダーサブセクション274と第2の周波数のライダーサブセクション276とを含んでいる。第1の周波数のライダーサブセクション274はターゲット190方向に第1の周波数のターゲット信号212を発射し、第2の周波数ライダーサブセクション276はターゲット190方向に第2の周波数のターゲット信号214を発射する。第1のターゲット信号212と第2のターゲット信号214の周波数は二重チャープシステムを生成するためにチャープされることができる。
【0025】
第1の周波数ライダーサブセクション274はレーザ源制御装置236、第1のレーザ源218、第1の光結合器222、第1の信号遅延244、第1の局部発振器光結合器230および/または他のコンポーネントを含むことができる。第2の周波数ライダーサブセクション276はレーザ源制御装置238、第2のレーザ源220、第2の光結合器224、第2の信号遅延250、第2の局部発振器光結合器232および/または他のコンポーネントを含むことができる。
【0026】
第1の周波数ライダーサブセクション274は第1のターゲット信号212と第1の基準信号242を発生する。第1のターゲット信号212と第1の基準信号242は第1のチャープレートで変調されることができる第1の周波数で第1のレーザ源218により発生されることができる。第1のターゲット信号212は独立してまたは第2のターゲット信号214と組み合わせてターゲット190上の測定点方向に誘導されることができる。第1の周波数ライダーサブセクション274はターゲット190から反射されたターゲット信号256を第1の基準信号242と組み合わせることができ、これは既知の又は他の固定されたパス長を有するパスにわたって誘導され、組み合わせられた第1のターゲット信号262を発生する。
【0027】
第2の周波数ライダーサブセクション276は(ライダー210内の)第1の周波数ライダーサブセクション273に関して配置および固定されることができる。特に、それぞれのレーザ信号を送信及び受信するための関連する光学コンポーネントは配置及び固定されることができる。第2の周波数のライダーサブセクション276は第2のターゲット信号214と第2の基準信号248を発生できる。第2のターゲット信号214と第2の基準信号248は第2のチャープレートで変調されることができる第2の周波数で第2のレーザ源220により発生されることができる。本発明の幾つかの構成では、第2のチャープレートは第1のチャープレートとは異なっている。
【0028】
第2のターゲット信号214は第1のターゲットビーム212としてターゲット190上の同じ測定点の方向に誘導されることができる。第2の周波数のライダーサブセクション276はターゲット190から反射されたターゲット信号256の1つの部分を第2の基準信号248と組み合わせることができ、これは既知の又は他の固定されたパス長を有するパスにわたって誘導され、組み合わせられた第2のターゲット信号264を生成する。
【0029】
プロセッサ234は組合された第1のターゲット信号262と組合された第2のターゲット信号264とを受信し、各反射されたターゲット信号とその対応する基準信号とのパス長の差、およびライダー210に関するターゲット運動により生じる任意のドップラ周波数によって生じるビート周波数を測定する。ビート周波数はその後チャープライダー仕様で設定されているようにターゲット190の距離及びドップラ速度の明白な決定を行うために線形に組み合わせられることができる。幾つかの実施形態では、プロセッサ234は距離及びドップラ速度測定を処理システム160へ与え、このような実施形態では、処理システム160は組合された第1のターゲット信号262と組み合わされた第2のターゲット信号264を受信し、これらを使用して距離及びドップラ速度を決定する。
【0030】
説明したように、各ビーム112はライダー210に関するターゲット190上の1ポイントの距離及びドップラ速度の同時の測定を行う。本発明の種々の実施形態によれば、種々の数のビーム112はターゲット190のこれらの測定を行うために使用されることができる。本発明の幾つかの実施形態では、2以上のビーム112が使用されることができる。本発明の幾つかの実施形態では、2以上のビーム112が使用されることができる。本発明の幾つかの実施形態では、4以上のビーム112が使用されることができる。本発明の幾つかの実施形態では、5以上のビーム112が使用されることができる。
【0031】
本発明の種々の実施形態では、ビーム112は異なる目的に対する測定を集めるために使用されることができる。例えば本発明の幾つかの実施形態では、特定のビーム112はターゲット190を含む体積を走査する目的に使用されることができる。本発明の幾つかの実施形態では、多数のビーム113はこのような走査を実現するために使用されることができる、本発明の幾つかの実施形態では、特定のビーム112はターゲット190上の特定の特性または位置を監視するために使用されることができる。本発明の幾つかの実施形態では、1以上のビーム112はターゲット190を走査するために使用されることができ、1以上の他のビーム112はターゲット190上の1以上の特性および/または位置を監視するために使用されることができる。
【0032】
本発明の幾つかの実施形態では、1以上のビーム112はターゲット190の3次元画像を得るためにターゲット190を走査するために使用されることができ、1以上の他のビーム112はターゲット190上の1以上の特性および/または位置を監視することができる。本発明の幾つかの実施形態では、ターゲット190の3次元画像が得られた後、1以上のビーム112はターゲット190の運動特徴を監視および/または更新するためにターゲット190の走査を継続でき、一方、1以上の他のビーム112はターゲット110上の1以上の特性および/または位置を監視することができる。
【0033】
本発明の幾つかの実施形態では、ターゲット190の運動特性を監視および/または更新するために使用される1以上のビーム112を介して得られる測定は、ターゲット190上の1以上の特徴および/または位置を監視するために使用される1以上の他のビーム113を介して得られる測定を補償するために使用されることができる。本発明のこれらの実施形態では、ターゲット190の全体的運動はターゲット190上の特定のポイント又は領域の微細な運動を得るためにターゲット190上の種々の特徴および/または位置に関連される測定から除去されることができる。本発明の種々の実施形態では、ターゲット190の微細な運動は種々の振動と、発振と、または例えば質量中心、回転中心、ターゲット190或いは他の位置の表面上の別の位置に関するターゲット190の表面上のある位置の運動とを含むことができる。本発明の種々の構成では、ターゲット190の微細な運動は例えば目、瞼、唇、口角、顔面の筋肉又は神経、鼻孔、首の表面等のような種々の特徴、またはターゲット190の他の特性の相対的運動を含むことができる。
【0034】
本発明の幾つかの実施形態では、ターゲット190の全体的運動および/または微細な動作に基づいて、ターゲット190の1以上の生理学的機能および/または身体的活動が監視されることができる。例えば同時出願の米国特許出願第11/230,546号明細書(発明の名称“System and Method for Remotely Monitoring Physiological Functions”)は本人の生理学的機能および/または身体的活動を監視するための種々のシステム及び方法を記載しており、これはその全体として参考文献としてここに組み込まれている。
【0035】
本発明の幾つかの実施形態では、1以上のビーム112はターゲット190の眼球上の1以上の位置を監視し、これらの各位置における眼球の種々の位置及び運動特性を測定するために使用されることができる。同時出願の米国特許出願第11/610,867号明細書(発明の名称“System and Method for Tracking Eyeball Motion”)は眼球の動作を追跡するための種々のシステム及び方法を記載しており、これはその全体として参考文献としてここに組み込まれている。
【0036】
本発明の幾つかの実施形態では、1以上のビーム112はターゲット180の顔面上の種々の特徴又は位置に焦点を合わせ、ターゲット190の顔面上の特性又は位置に関して顔面の種々の特徴を測定するために使用される。例えばある顔面の特徴又は顔面の表情はターゲット190の精神状態を推測し、ターゲット190の意思を推測し、ターゲット190のごまかしレベルを推測し、またはターゲット190に関連される事象を予測するために時間インターバルにわたって監視されることができる(例えばある顔面の筋肉は表情の変化の直前または発話の前に痙攣する可能性がある)。
【0037】
本発明の幾つかの実施形態では、1以上のビーム112はターゲット190の首上の1以上の位置を監視するために使用されることができる。ターゲット190の首の測定された運動特徴は喉の動作パターン、声帯の振動、脈拍数および/または呼吸数を決定するために使用されることができる。本発明の幾つかの実施形態では、1以上のビーム112はターゲット190の発話に関連される振動を検出し測定するためにターゲット190の上唇上の1以上の位置を監視するために使用されることができる。これらの振動はターゲット190の発話を実質的に再生するために使用されることができる。
【0038】
本発明の幾つかの実施形態では、1以上のビーム112は第1の期間中または組合されたシステム100の動作モード期間中に1つの目的を行うことができ、第2の期間中または組合されたシステム100の動作モード期間中に異なる目的を行うように切換えることができる。例えば本発明の幾つかの実施形態では、多数のビーム112はターゲット190の種々の運動特徴を測定するために使用されることができ、それによって処理システム160はターゲット190の軌跡を決定又は捕捉することができる。ターゲット190の軌跡が捕捉されると、多数のビーム112の幾つかはターゲット190のある他の特徴又は特性を監視するように切換えられ、一方多数のビーム112のその他はターゲット190の軌跡が維持されることができるようにその運動特徴を測定する。
【0039】
本発明の幾つかの実施形態では、5つのビーム112がターゲット190の3次元画像を得るためにターゲット190を走査する。これらの実施形態では、これらのビーム112のうちの4つはそれぞれ(以下さらに詳細に説明するように種々の走査パターンを使用して)ターゲット190の一部を走査し、一方、第5のビーム112はターゲット190の「オーバースキャン」を実行する。オーバースキャンは円形、長円形、楕円形又は類似の丸い走査パターンであるか長方形、正方形、菱形又は類似の走査パターン或いは比較的短い時間インターバル内でターゲット190上の種々のポイント(または少なくとも相互に近接近した範囲内のポイント)の多数の測定を捕捉するのに有用なその他の走査パターンであってもよい。これらの多数の測定は第5のビーム112により行われる他の測定(即ち第5のビーム112による同じポイントへの多数のビジット)または他の4つのビーム112のうちの1以上により行われる測定(即ち第5のビームと他の4つのビーム112のうちの1以上による同じポイントへのビジット)に対応できる。幾つかの実施形態では、オーバースキャンのパターンはターゲット190の測定間の付加的な垂直および/または水平の拡がりを行うように選択されることができる。多数の測定と付加的な拡がりの両者はターゲット190の運動の評価を改良するために使用されることができる。ターゲット190をオーバースキャンするための第5のビーム112の使用は前述した動作の各異なるモード期間中に行われることができる。
【0040】
本発明の幾つかの実施形態では、ターゲット190の軌跡が適切に捕捉されると、1以上のビーム112はターゲット190の軌跡を維持するのに有用な測定を行い、同様にターゲット190の特性の他の特徴を監視できる。このような実施形態では、他のビーム112は走査する体積において他のターゲットの走査に使用されることができる。
【0041】
図1に示されているように、ターゲット座標フレーム180はターゲット190に関連される種々の測定を表すために使用されることができる。種々の座標フレームは、認識されるように使用されることができる。本発明の幾つかの実施形態では、サブシステム130、150のうちの種々のものは認識されようにターゲット座標フレーム180以外の座標フレームでターゲット190の特徴を表すことができる。例えば本発明の幾つかの実施形態では、球座標フレーム(例えば方位角、仰角、距離)はライダーサブシステム130を介して得られる測定を表すために使用されることができる。また例えば、本発明の幾つかの実施形態では、2次元の画素ベース座標フレームはビデオサブシステム150を介して得られる画像155を表すために使用されることができる。本発明の種々の実施形態は認識されるように処理の種々の段において1以上のこれらの座標フレームまたは他の座標フレームを使用できる。
【0042】
認識されるように、本発明の幾つかの実施形態では、ライダーサブシステム130を参照して球座標で表されることができる(時にはライダー測定スペースと呼ばれる)ライダーサブシステム130からの測定を、ターゲット190を参照してガウス座標で表されることができる(時にはターゲットスペースと呼ばれる)ターゲット190の運動特徴へ変換するために種々の座標変換が必要とされる可能性がある。同様に、種々の座標変換は、ビデオサブシステム150を参照してガウスまたは画素座標で表されることができる(時にはビデオ測定スペースと呼ばれる)ビデオサブシステム150からの測定を、ターゲット190の運動特徴へ変換することが必要とされる可能性がある。さらに、組合されたシステム100からの測定は補助ビデオ、赤外線、ハイパースペクトル、マルチスペクトル又は他の補助撮像システムのような外部の測定システムと関連される座標フレームへ変換されることができる。座標変換は通常よく知られている。
【0043】
認識されるように、本発明の幾つかの実施形態では、種々の座標変換は明白であるようにこのような各サブシステム130、150の位置および/または方位の差を考慮するためにライダーサブシステム130および/またはビデオサブシステム150からの測定を変換することが必要とされる可能性がある。
【0044】
図3は、本発明の種々の実施形態によるターゲット190の体積を走査するために使用されることができる走査パターン300を示している。走査パターン300は第1の走査パターンセクション310と第2の走査パターンセクション320を含んでいる。第1の走査パターンセクション310は体積(又はその一部)を走査するために使用されることができる第1のビーム112(例えばビーム112A)の走査パターンに対応する。第2の走査パターンセクション320は体積(又はその一部)を走査するために使用されることができる第2のビーム112(例えばビーム112B)の走査パターンに対応する。
【0045】
図3に示されているように、第1のビーム112は走査パターン300の上部領域を走査し、第2のビーム112は走査パターン300の下部領域を走査する。本発明の幾つかの実施形態では、走査パターンセクション310、320はオーバーラップ領域330を含むことができる。オーバーラップ領域330は第1の走査パターンセクション310と第2の走査パターンセクション320とを整列または「縫合」するために使用されることができる。本発明の幾つかの実施形態では、走査パターン310、320はオーバーラップ領域330(特に示されていなければ)を形成するためにオーバーラップしない。
【0046】
(図3に示されているように)ライダーサブシステム130が垂直に転移された走査パターン300を使用する本発明の実施形態では、第1のビーム112は第2のビーム112から垂直に(即ち幾らかの垂直距離、仰角、又は他の垂直転移により)転移される。このようにしてビーム112の対は既知のまたはその他の決定可能な垂直転移で走査されることができる。
【0047】
走査パターン300は図3の垂直に転移された走査パターンセクション310、320を有するように示されており、本発明の幾つかの実施形態では、走査パターンは水平に転移された走査セクションを有することができる。ライダーサブシステム130が水平に転移された走査パターンを使用する本発明の実施形態では(特に示されていなければ)、第1のビーム112は第2のビーム112から垂直に(即ち幾らかの水平距離、方位角、又は他の水平転移により)転移される。このようにして、ビーム112の対は既知またはその他の決定可能な水平転移で走査されることができる。
【0048】
図3は2つの垂直に転移された走査パターンセクション310、320を有する走査パターン300を示しているが、認識されるように対応する数の走査パターンセクションを生成するために種々の数のビームが積み重ねられることができる。例えば3つのビームは3つの走査パターンセクションを与えるために垂直転移または水平転移で構成されることができる。認識されるように、他のビーム数が水平又は垂直に使用されることができる。
【0049】
図4は本発明の種々の実施形態により4つのビーム112を使用するライダーシステム130の走査パターン400を示している。図4に示されているように、ライダーサブシステム130は走査パターン400を走査するように配置された4つのビーム112を含んでいる。走査パターン400はビーム112の第1の対を相互に水平に転移させ、ビーム112の第2の対を相互に水平におよびビーム112の第1の対から垂直に転移させそれによって長方形の走査配置を形成することにより実現されることができる。認識されるように、他の走査の幾何学形状が使用されることができる。走査パターン400はビーム走査機構140を介して、(水平又は垂直の)対としてまたは集合的に、相互に独立してビームを制御することにより実現されることができる。
【0050】
走査パターン400は第1の走査パターンセクション410と、第2の走査パターンセクション420と、第3の走査パターンセクション430と、第4の走査パターンセクション440を含んでいる。本発明の幾つかの実施形態では、それぞれの走査パターンセクション410、420、430、440は(オーバーラップ域450として図4に集合的に示されている)幾らかの量だけ隣接する走査パターンとオーバーラップできる。例えば本発明の幾つかの実施形態では、走査パターン400は第1の走査パターンセクション410と第3の走査パターンセクション430との間にオーバーラップ領域450を含んでいる。同様に、オーバーラップ領域450は第1の走査パターンセクション410と第2の走査パターンセクション420との間に存在する。本発明の幾つかの実施形態では、これらのオーバーラップ領域450の種々のものは発生しなくてもよく、又はそうでなければ使用される。本発明の幾つかの実施形態では、例えば垂直オーバーラップ領域450のみが発生されるか使用されることができる。本発明の幾つかの実施形態では、水平のオーバーラップ領域450だけが発生又は使用されることができる。本発明の幾つかの実施形態では、オーバーラップ領域450は生じないか使用されなくてもよい。本発明の幾つかの実施形態ではオーバーラップ領域450の他の組合せが使用されることができる。
【0051】
図3と図4に示されているように、多数のビーム112のライダーサブシステム130による使用は特定の体積(又は体積内の特別なターゲット)が走査されることができるレートを増加できる。例えば、所定の体積は1つのビーム112で同じ体積を走査することとは対照的に、2つのビーム112を使用して二倍の速度で走査されることができる。同様に、所定の体積は2つのビーム112で同じ体積を走査することとは対照的に、4つのビーム112を使用して二倍の速度で走査され、1つのビーム112で同じ体積を走査するときの4倍の速度で走査されることができる。さらに、多数のビーム112は以下さらに詳細に説明されるように、ターゲット190の運動に関連される種々のパラメータを測定または評価するために使用されることができる。
【0052】
本発明の種々の実施形態によれば、特定の走査パターン(及びそれらの対応するビーム構造)はターゲット190の運動特徴の測定および/または評価を行うために使用されることができる。前述したように、各ビーム112は距離測定とドップラ速度測定とを同時に各走査されるポイントで行うために使用されることができる。
【0053】
本発明の幾つかの実施形態では、各ビーム112では、そのビーム112により走査されるポイントは方位角、仰角、時間により記述されることができる。各ビーム112は距離測定とドップラ速度測定をそのポイント及び時間で行う。本発明の幾つかの実施形態では、ビーム112により走査される各ポイントは方位角、仰角、距離測定、ドップラ速度測定、時間として表されることができる。本発明の幾つかの実施形態では、ビーム112により走査される各ポイントは位置(x、y、z)としてガウス座標、ドップラ速度、及び時間で表される。
【0054】
本発明の種々の実施形態によれば、ライダーサブシステム130(即ちライダー出力116)からの測定とビデオサブシステム150からの測定(フレーム155)はターゲット190の種々の方位および/または運動特徴を測定および/または評価するために使用されることができる。ターゲット190のこれらの方位および/または運動特徴は位置、速度、加速、角度位置、角速度、角加速度等を含むことができる。これらの方位および/または運動特徴が測定および/または評価されるとき、ターゲット190の軌跡が決定されるか、またはそうでなければ近似される。本発明の幾つかの実施形態では、ターゲット190は所定の時間インターバルにわたって剛体と考えることができ、その運動はvtrans、vtrans、vtransとして3次元で表される移動速度成分として表され、角速度成分は所定の時間インターバルにわたってω、ω、ωで表される。集合的に、これらの移動速度と角速度は特定の時間インターバルにわたってターゲット190の運動の自由度の6つの度数に対応する。本発明の幾つかの実施形態では、これらの6つの成分の測定および/または評価はライダーサブシステム130から得られたターゲット190の3次元画像をビデオサブシステム150から得られたターゲット190の2次元画像と併合してターゲット190の3次元ビデオ画像を発生するのに使用されることができる。
【0055】
本発明の幾つかの実施形態では、認識されるように、ターゲット190における1ポイントの瞬間的な速度成分v(t)は距離測定、ドップラ速度測定、方位角、仰角に基づいてライダーサブシステム130から計算されることができる。
【0056】
ライダーサブシステム130はターゲット190の移動速度vtransと2つの角速度、即ちωとωを測定および/または評価するために使用されることができる。例えば図5は本発明の種々の実施形態によりターゲット190の角速度のxおよびy成分を評価することに使用されることができる2つのビーム112からの対応する測定を有するポイント間の例示的な関係を示している。特に、一般的に言えば、図5に示されているように、ビーム112がy軸に沿って相互に転移されている実施形態では、第1のビーム112を介して決定されたポイントPのz軸に沿った局部的速度と、第2のビーム112を介して決定されたポイントPの速度と、PとP間の距離は認識されるようにx軸を中心とするこれらのポイントの角速度(ここではωとして示されている)を評価するために使用されることができる。本発明の幾つかの実施形態では、これらの測定はωの初期評価を行うために使用されることができる。
【0057】
図6は本発明の種々の実施形態により角速度を評価するために使用されることができる2つのビーム112からの対応する測定によるポイント間の別の例示的な関係を示している。特に、図6に示されているように、ビーム112がx軸に沿ってターゲット190において相互に転移されている実施形態では、第1のビーム112を介して決定されたポイントPの速度と、第2のビーム112を介して決定されたポイントPの速度と、x軸に沿ったターゲット190上のPとP間の距離はy軸についてのこれらのポイントの角速度(ここではωとして示されている)を評価するために使用されることができる。本発明の幾つかの実施形態では、これらの測定はωの初期評価を行うために使用されることができる。
【0058】
図5と図6は2つのビームがそれぞれ垂直軸または水平軸に沿って相互に転移されている本発明の実施形態を示しており、(3次元座標x、y、zで表されることができる)対応する距離と各ポイントにおけるドップラ速度は実質的に同じ時間に測定される。(他に示されていなければ)単一軸に沿ったビーム112を使用する本発明の実施形態では、角速度は単一軸に沿って異なる時間に異なるポイントで測定されるドップラ速度に基づいて評価されることができる。認識されるように、角速度のさらに良好な評価は、1)ターゲット190の範囲のポイントにおける(即ち相互からさらに離れた距離における)測定と、2)(加速による任意の影響を最小にするため)最小の時間インターバル内で採取される測定とを使用して得られることができる。
【0059】
図5および図6は異なる軸、即ちx軸とy軸を中心とする角速度の概念的評価を示している。一般用語では、第1のビーム112が第2のビーム112から第1の軸に沿ってターゲット190上で転移される場合、第1の軸に直交する第2の軸を中心とする角速度はそれぞれのポイントで第1及び第2の軸の両者に直交する第3の軸に沿った速度から決定されることができる。
【0060】
2つのビームがy軸に沿って相互に変位され(即ち垂直に転移され)走査間の垂直分離により水平に走査される本発明の幾つかの実施形態では、ωとωの両者の評価が行われることができる。x軸に沿った同時的測定は利用可能ではないが、これらは加速効果を無視するために種々の実施形態で時間において十分に近接すべきである。2つのビーム112が相互にx軸に沿って変位され、少なくとも第3のビーム112がビーム112の対からy軸に沿って変位される本発明の幾つかの実施形態では、ωとωとvtransの両者の評価が行われることができる。本発明の幾つかの実施形態では、ωとωとvtransの評価は長方形に配置される4つのビーム112を使用して行われることができる。このような実施形態では、4つのビーム112から得られる測定はωとωとvtransを評価するのに必要であるよりも多くの情報を含んでいる。このいわゆる「過剰決定システム」は認識されるようにωとωとvtransの評価を改良するために使用されることができる。
【0061】
説明したように、ライダーサブシステム130により種々の方位角と仰角と、時間おける種々のポイントとで取られた距離及びドップラ速度測定は弾道運動を受ける剛体について、移動速度vtransの評価と、2つの角速度、即ちωとωの評価とに使用されることができる。
【0062】
本発明の幾つかの実施形態では、ωとωとvtransは認識されるように、種々のポイントで得られる測定から各測定時に決定されることができる。本発明の幾つかの実施形態では、ωとωとvtransは特定の時間インターバルにわたって一定であることが仮定されることができる。本発明の幾つかの実施形態では、認識されるようにωとωとvtransは種々の測定時間で決定され、その後特定の時間インターバルにわたって平均されることができ、それによってその特定の時間インターバルについてωとωとvtransの評価を行う。本発明の幾つかの実施形態では、特定の時間インターバルは固定されているかターゲット190の運動特徴に基づいて可変である。本発明の幾つかの実施形態では、認識されるように最小二乗評価装置が特定の時間インターバルにわたってωとωとvtransの評価を行うために使用されることができる。ωとωとvtransの評価は、認識されるように他の方法で得られることができる。
【0063】
本発明の幾つかの実施形態では、ビデオサブシステム150からの画像は所定の時間インターバルにわたってターゲット190の3つの他の運動特徴、即ち移動速度成分vtransとvtransと角速度成分ωの評価に使用されることができる。本発明の幾つかの実施形態では、ビデオサブシステム150により捕捉されるフレーム155はフレーム155間を移動するときターゲット190上のポイントについての速度のxとy成分を評価するために使用されることができる。図7は時間Tにおけるフレーム155とその後の時間T+Δtにおけるフレーム155との間の特定ポイントまたは特徴Iの位置の変化を示している。
【0064】
本発明の幾つかの実施形態では、この位置の変化は(他に示されていなければ)フレーム155中の少なくとも2つの各特定ポイントまたは特徴について決定される。本発明の幾つかの実施形態では、位置の変化は各多くのポイントまたは特性について決定される。本発明の幾つかの実施形態では、ターゲット190の移動速度成分vtransとvtransと角速度成分ωは、フレーム155間で、特性I(T)とI(T+Δt)の位置の差と時間Δtにおける差に基づいて評価されることができる。これらの位置及び時間における差は特徴のある速度、即ちvfeatとvfeatとを決定するのに使用され、この速度は代わりにターゲット190の移動速度成分vtransおよびvtransと角速度成分ωを評価するために使用されることができる。画像フレーム間の特性の速度と角速度のこのような評価は通常は認識されるように理解される。
【0065】
本発明の幾つかの実施形態では、ターゲット190の多くの特徴は連続的なフレーム155から抽出される。連続的なフレーム155間の時間インターバルにわたるこれらの特徴の速度vfeatとvfeatは連続的なフレーム155間の各それらの特性の位置における変化に基づいて決定されることができる。最小二乗評価装置は各抽出された特性の位置変化から移動速度vtransとvtransと、角速度ωを評価するために使用されることができる。
【0066】
本発明の幾つかの実施形態では、最小二乗評価装置はライダーサブシステム130からの測定と、ビデオサブシステム150からのフレーム155の特徴の位置における変化を使用することができ、それによってターゲット190の移動速度vtransとvtransとvtransおよび角速度ω、ω、ωを評価する。
【0067】
前述したように、ライダーサブシステム130とビデオサブシステム150はターゲット190の運動を示すために使用されることができる6つの成分の評価に使用されることができる。運動のこれらの成分はターゲット190の軌跡を計算するため時間にわたって集められることができる。この軌跡はその後ターゲット190の運動が安定化された3次元画像を得るためにターゲット190の運動の補償に使用されることができる。本発明の種々の実施形態では、ターゲット190の軌跡は種々の時間インターバルにわたる弾道運動を表すと想定されることができる。ターゲット190の軌跡が正確に決定される程、組み合わせられたシステム100は例えばターゲット190の3次元画像または他の特徴を表すためにより正確にターゲット190の測定を調節できる。
【0068】
本発明の種々の実施形態では、測定がライダーシステム130により行われる速度はフレーム155がビデオサブシステム150により捕捉される速度とは異なっている。本発明の幾つかの実施形態では、測定がライダーサブシステム130により行われる速度は実質的にフレーム155がビデオサブシステム150により捕捉される速度よりも高い。さらに、ビーム112はライダーサブシステム130による走査体積を通して走査されるので、走査体積における異なるポイントでの測定は相互に異なるときに行われることができ、一方所定のフレーム155の画素は(ビデオ撮像の文脈内で)実質的に同時に捕捉される。本発明の幾つかの実施形態では、これらの時間差はターゲット190のより正確な軌跡を与えるために解析される。
【0069】
図8に示されているように、本発明の幾つかの実施形態では、走査パターン840はターゲットの体積を走査するために使用されることができる。説明の目的で、走査パターン840は単一ビームによって取られる測定パターンを表している。幾つかの実施形態では、多数のビームが使用されることができ、それぞれ明白であるようにそれらの対応する走査パターンを有する。示されているように、走査パターン840は特定の走査体積が走査されるまで、第1の高度831で方位角において左から右に測定され、第2の高度832で方位角において右から左に測定され、第3の高度833で方位角において左から右へ測定される個々のポイント810を含んでいる。本発明の幾つかの実施形態では、走査パターン840は組合されたシステム100に関連される種々のタイミング特徴に対応して時間インターバルに分割されることができる。例えば本発明の幾つかの実施形態では、走査パターン840は特定の高度(即ち全体的に左から右または右から左への走査)を走査することに関連される時間インターバルに分割されることができる。本発明の幾つかの実施形態では、走査パターン840は1以上の高度(例えば同じまたは異なる高度で左から右および戻りが右から左)で(往復走査820A、往復走査820B、往復走査820Cとして図8に示されている)往復走査820に関連される時間インターバルに分割されることができる。類似のタイミング特徴は(方位角における水平とは反対に)仰角において垂直に走査される構成で使用されることができる。他のタイミング特徴も同様に使用されることができる。
【0070】
図8に示されているように、説明の目的で、各インターバルは単一の走査(例えば831、832、833等)または往復走査820で複数のポイント810に対応するN個のポイント810を含むことができる。特定の時間インターバルについてのポイント810の集合はここではサブポイントクラウドと呼ばれ、完全な走査パターン840に対するポイント810の集合はここではポイントクラウドと呼ばれる。本発明の幾つかの実施形態では、各ポイント810は特定の方位角、仰角、測定が行われた時間における距離及びドップラ速度のライダー測定に対応する。本発明の幾つかの実施形態では、各ポイント810は(x,y,z座標で表される)距離およびドップラ速度のライダー測定と測定が行われた時間に対応する。
【0071】
図9は本発明の種々の実施形態によりライダーサブシステム130からの測定に関連される種々のタイミング特徴を示すのに有用なタイミング図900を示している。タイミング図900はビーム112により走査されるポイント810と、それぞれのサブポイントクラウド920に対応するインターバルにわたって集められる複数のポイント810から形成されるサブポイントクラウド920と、走査パターンにわたって集められる複数のサブポイントクラウド920から形成されるポイントクラウド930とを含んでいる。タイミング図900は認識されるように多数のビーム112により走査されるポイント810を含むように拡張されることができる。
【0072】
各ポイント810はビーム112により走査され、各ポイント810に関連される測定はライダーサブシステム130により決定される。本発明の幾つかの実施形態では、ポイント810は走査パターン(または走査パターンセクション)を介して走査される。ライダーサブシステム130が特定のサブポイントクラウド920についての測定を集めるインターバルはTSPCと呼ばれる期間を有することができる。本発明の幾つかの実施形態では、サブポイントクラウド920の個々のポイント810に関連される測定のタイミングの差はそのポイントをサブポイントクラウド920の特定の基準時間(例えばtRSPC)へ調節するため各ポイントの運動特徴(例えば移動速度と角速度)を使用することにより実現されることができる。このプロセスはターゲット190の運動特徴の個々のポイント810を安定化するものとして参照されることができる。
【0073】
本発明の幾つかの実施形態では、速度は時間インターバルにわたって(即ち時間期間TSPC中)一定であると想定されることができる。本発明の幾つかの実施形態では、認識されるように、速度は走査パターン期間中に一定であると仮定されず、加速効果がポイント810の測定を基準時間へ調節するために考えられる必要がある。本発明の幾つかの実施形態では、時間インターバルの細分のために調節も適合されることを必要とする可能性がある。図9に示されているように、各サブポイントクラウド920の基準時間はインターバルの中間ポイントで選択されることができ、他の基準時間が使用されることもできる。
【0074】
本発明の幾つかの実施形態では、類似の調節はサブポイントクラウド920をポイントクラウド930へ組み合わせるときに行われることができる。特に本発明の幾つかの実施形態では、ポイントクラウド930のサブポイントクラウド920に関連される測定のタイミングの差は測定に関連される運動特徴を使用することにより適合されることができる。
【0075】
本発明の幾つかの実施形態では、ポイントクラウド930へ併合される各サブポイントクラウド920と関連される測定はポイントクラウド930に関連される基準時間に個々に調節される。本発明の幾つかの実施形態では、基準時間はフレーム時間(例えばフレーム155に関連される時間)に対応する。本発明の他の実施形態では、基準時間はポイントクラウド930のポイント1110の測定時間の初期、ポイントクラウド930のポイント1110の測定時間の後期、ポイントクラウド930のポイント1110の測定時間の平均または中間ポイント、或いはポイントクラウド930に関連される他の基準時間に対応する。
【0076】
他に示されていないが、本発明の幾つかの実施形態では、類似の調節は個々のビーム112からのポイントクラウド930を特定の基準時間の一体のポイントクラウドへ組合わせることができる。本発明の幾つかの実施形態では、これは認識されるように、個々のポイントレベル、サブポイントクラウドレベルまたはポイントクラウドレベルで実現されることができる。この説明の残りの部分の目的として、サブポイントクラウド920とポイントクラウド930はターゲット190を走査するためライダーサブシステム130により使用される各ビーム112からのそれらのそれぞれの基準時間におけるポイント810の集合を指している。
【0077】
本発明の幾つかの実施形態では、ターゲット190の運動特徴は種々の時間インターバルにわたって一定であることが仮定されることができる。例えばターゲット190の運動特徴はTSPCまたは他の時間インターバルにわたって一定であると仮定されることができる。本発明の幾つかの実施形態では、ターゲット190の運動特徴は所定のTSPCにわたって一定であることが仮定されることができるが、TPCにわたって一定である必要はない。本発明の幾つかの実施形態では、ターゲット190の運動特徴はTSPCのインクリメント部分にわたって一定であることが仮定されることができるが、TSPCにわたって一定である必要はない。結果として本発明の幾つかの実施形態では、ターゲット190の軌跡は時間の区分的関数として表されることができ、各「区分」は各個々の時間インターバルにわたるターゲット190の運動特徴に対応している。
【0078】
幾つかの実施形態では、運動を補償するためのタイミング調節は第1の時間から第2の時間へのポイントの運動を考慮した変換として表されることができる。この変換は例えばライダーサブシステム130からの測定に適用されるとき、特定ポイント(またはサブポイントクラウド或いはポイントクラウド等)に関連される測定時間から所望の基準時間へのタイミング調節を行う。さらに測定がベクトルとして表されるとき、この変換は変換マトリックスとして表されることができる。このような変換マトリックスとそれらの特性は通常良く知られている。
【0079】
認識されるように、変換マトリックスは任意の時間におけるポイントについての位置及び方位ベクトルを、ターゲット190の運動に基づいて、時間において前方または後方の任意の他の時間におけるそのポイントについての対応する位置及び方位ベクトルに置くことに容易に使用されることができる。変換マトリックスはサブポイントクラウド、多数のサブポイントクラウド、ポイントクラウドに同様に適用されることができる。幾つかの実施形態では、変換マトリックスは各インターバル(またはサブインターバル)について決定されることができ、それによって1つのインターバルで表されるポイントクラウドを次の逐次的なインターバルで表されるポイントクラウドに調節するために使用されることができる。これらの実施形態では、各インターバルはターゲット190の軌跡のポイントクラウドを次のインターバルへ調節するために関連される変換マトリックスを有する。幾つかの実施形態では、変換マトリックスは各インターバル(またはサブインターバル)について決定されることができ、それによって1つのインターバルで表されるポイントクラウドを先の逐次的なインターバルで表されるポイントクラウドへ調節するために使用されることができる。種々のインターバルの変換マトリックスを使用して、ポイントクラウドは任意の時間の、前方または後方に参照されることができる。
【0080】
図10は本発明の種々の実施形態にしたがってビデオサブシステム150からの測定に関してライダーサブシステム130からの測定に関連される種々のタイミング特徴を説明するのに有用なタイミング図1000を示している。本発明の幾つかの実施形態では、ポイントクラウド930はフレーム155間の時間インターバルの中間ポイントまたはフレーム155間の他の時間に参照されることができる。本発明の幾つかの実施形態では、ポイントクラウド930は特定のフレーム155に対応するフレーム時間を参照されることができる。ポイントクラウド930は認識されるように、特定のフレーム155に関して他の方法で参照されることができる。
【0081】
図10に示されているように、PCm−1はフレームIn−1のフレーム時間で参照されるポイントクラウド930の表現であり、PCはフレームIのフレーム時間で参照されるポイントクラウド930の表現であり、PCm+1はフレームIn+1のフレーム時間で参照されるポイントクラウド930の表現であり、PCm+2はフレームIn+2のフレーム時間で参照されるポイントクラウド930の表現である。幾つかの実施形態では、ポイントクラウド930は明白であるようにフレームとフレーム時間に関して他の時間で参照されることができる。
【0082】
前述したように、変換マトリックスTi,i+1はi番目のフレーム時間におけるポイントクラウド930の表現を(i+1)番目のフレーム時間におけるポイントクラウド930の表現に変換するために決定されることができる。図10を参照して、変換マトリックスTm−1,mはPCm−1をPCに変換するために使用され、変換マトリックスTm,m+1はPCをPCm+1に変換するために使用され、変換マトリックスTm+1,m+2はPCm+1をPCm+2に変換するために使用されることができる。このようにして変換マトリックスはフレーム155に対応する異なる時間におけるポイントクラウド930を表現するために使用されることができる。
【0083】
本発明の種々の実施形態によれば、第1の時間から第2の時間までのポイントクラウド930を表すためにポイントクラウド930に適用される変換マトリックスは異なる処理段で決定されることができる。一般的に言えば、変換マトリックスは、2つのステップ、即ちライダーサブシステムからの第1のω、ω、vtransと、ビデオサブシステムからの第2のvtrans、vtrans、ωで計算されることができる6度の運動パラメータ、ω、ω、ω、vtrans、vtrans、vtransに直接関連される。
【0084】
図11は本発明の種々の実施形態により、ターゲット190の軌跡を評価するため第1の処理段の第1の相期間中に使用されることができる処理システム160の構成のブロック図を示している。本発明の幾つかの実施形態では、第1の段の第1の相期間中に、(Ti,i+1(0)としてここでは呼ばれている)一連の初期変換マトリックスがターゲット190の運動特徴の種々の評価から決定される。示されているように、ライダーサブシステム130は一連の時間インターバルのそれぞれにわたる角速度ωおよびωと移動速度vtransを評価するように構成されている最小二乗評価装置1110への入力として、距離、ドップラ速度、方位角、仰角、各ポイントにおける時間を提供する。本発明の幾つかの実施形態では、明白であるように角速度ωおよびωと移動速度vtransは各特定の時間インターバルの最小二乗評価装置1110からの任意の残留エラーが許容可能なレベルに到達するまで、前述したように時間インターバルのサイズを変化(または時間インターバルをサブインターバルに分割)することによって反復的に評価される。このプロセスはターゲット190の時間測定がライダーサブシステム130により行われる期間に各連続的な時間インターバルで反復されることができる。
【0085】
ターゲット190が弾道運動(即ち加速のない一定の速度)を経験する剛体(即ちターゲット190の表面上のポイントは相互に関して固定された状態である)として所定の時間インターバルにわたって表されることができることを仮定すると、ターゲット190上の任意の所定のポイント810の瞬間速度は次式で表されることができる。
v=vtrans+[ω×(R−R−vtrans*+Δt)] 式(1)
ここで、
vは所定のポイントの瞬間速度ベクトルであり、
transは剛体の移動速度ベクトルであり、
ωは剛体の回転速度ベクトルであり、
Rはターゲット上の所定ポイントの位置であり、
はターゲットの回転の中心であり、
Δtは所定の基準時間からの各測定時間の時間差である。
【0086】
ライダーサブシステム130からの利用可能な測定を考慮すると、瞬間速度のz成分は次式として表されることができる。
=vtrans+[ω×(R−R−vtrans*+Δt)] 式(2)
ここで、
は瞬間速度ベクトルのz成分であり、
transは移動速度ベクトルのz成分であり、
[ω×(R−R−vtrans*+Δt)]はクロス積のz成分である。
【0087】
本発明の幾つかの実施形態では、画像155からの種々の特性に対応するフレーム毎の測定が行われることができる。これらの測定は各特徴と各フレーム毎の時間インターバルに対する位置(例えばxfeat、yfeat)と速度(例えばvfeat、vfeat)に対応できる。位置のz座標がビデオサブシステム150から利用可能ではない実施形態では、zの初期評価は例えばライダーサブシステム130からのポイントから平均的なz成分を使用して行われることができる。最小二乗評価装置1120は各関連する時間インターバルについて変換マトリックスTi,i+1(0)として表されることができる角速度ω、ω、ωと移動速度vtrans、vtrans、vtransを評価する。本発明の幾つかの実施形態では、随意選択的なフレーム毎の時間インターバルに対応する累積的な変換マトリックスが決定されることができる。
【0088】
図12は本発明の種々の実施形態によりターゲット190の軌跡を評価するために第1の処理段の第2の相中に使用されることができる処理システム160の構造のブロック図を示している。本発明の幾つかの実施形態では、第1の段の第2の相中に、(ここではTi,i+1(1)と呼ばれる)新しい変換マトリックスがターゲット190の運動特徴の種々の評価から決定される。示されているように、距離、ドップラ速度、方位角、仰角、各N個のポイントが処理システム160の最小二乗評価装置110へ入力されるための時間のライダーサブシステム130からの測定は、第1の相中に前述した方法と類似の方法で各一連の時間インターバルにわたって角速度ωおよびωと移動速度vtransを評価するため変換マトリックスTi,i+1(0)と共に処理システム160の最小二乗評価装置1110へ入力される。
【0089】
第2の相と第1の相との間の主要な差は最小二乗評価装置1120が単なるz位置の平均と反対に、Ti,i+1(0)に基づいて特徴の計算されたz位置を使用することである。最小二乗評価装置1120は新しい角速度ω、ω、ωと新しい移動速度vtrans、vtrans、vtransを評価し、これは各関連する時間インターバルの変換マトリックスTi,i+1(0)として表されることができる。本発明の幾つかの実施形態では、フレーム毎の時間インターバルに対応する累積的な変換マトリックスが決定されることができる。
【0090】
図13は本発明の種々の実施形態によるターゲット190の軌跡を評価するために第1の処理段の第3の相期間中に使用されることができる処理システム160の構成のブロック図を示している。本発明の幾つかの実施形態では、第1の段の第3の相期間に、(ここではTi,i+1(2)と呼ぶ)新しい変換マトリックスがターゲット190の運動特徴の種々の評価から決定される。示されているように、ライダーサブシステム130は、第1の相期間中に前述した方法と類似の方法で各一連の時間インターバルにわたって角速度ωおよびωと移動速度vtransを評価するために最小二乗評価装置1110への入力として、距離、ドップラ速度、方位角、仰角、各ポイントに対する時間を与える。この相では、前の相期間中に決定されたようなTi,i+1(1)に基づく各ポイントについてのvとvの計算された値は先に使用された特性測定とは反対に最小二乗評価装置1120へ入力される。
【0091】
第3の相と第2の相との間の主要な差は最小二乗評価装置1120が関連フレーム155間の運動を説明するためにTi,i+1(1)を使用することである。最小二乗評価装置1110、1120は新しい角速度ω、ω、ωと新しい移動速度vtrans、vtrans、vtransを評価し、これは各関連する時間インターバルに対する変換マトリックスTi,i+1(2)として表されることができる。本発明の幾つかの実施形態では、フレーム毎の時間インターバルに対応する累積的な変換マトリックスが決定されることができる。
【0092】
本発明の種々の実施形態では、第1の処理段の任意の相は付加的な情報がターゲット190の運動に関して得られるので任意の回数を反復される。例えば変換マトリックスが改良されるとき、各ポイント810はその測定時間に関して所定の基準時間でさらに良好に表されることができる。
【0093】
第1の処理段期間中、(ライダー測定から利用可能でなければ)各ポイントの移動速度はフレーム155からの特徴を使用して評価されることができる。全ての速度成分が各ポイントについて知られるか評価されると、変換マトリックスは図13に示されているような特徴測定を使用せずに決定されることができる。
【0094】
図14は本発明の種々の実施形態にしたがってターゲット190の軌跡を改善するため第2の処理段の第1の相期間中に使用されることができる処理システム160の構成のブロック図を示している。第1の処理段は画像155がそれぞれのフレーム時間でポイントクラウド830にマップされることを可能にするのに十分な変換マトリックスを提供する。このようにマップされると、連続的な画像155からの画素自体の差は(画像155中の特徴とは反対に)ターゲット190の軌跡をさらに改良するために使用されることができる。本発明の幾つかの実施形態では、第2の処理段の第1の相期間中に、(ここではTi,i+1(3)と呼ぶ)一連の新しい変換マトリックスは画像Iと画像Iとの間のオフセット、即ちΔxi,jとΔyi,jとに基づくTi,i+1(2)の改善である。示されているように、評価装置1410は同じフレーム時間における画像を表すため適切な変換マトリックスTi,i+1(2)を使用して画像Iと画像Iとの間の差を決定する。
【0095】
図15は本発明の種々の実施形態によりターゲット190の軌跡をさらに改良するため第2の処理段の第2の相期間中に使用されることができる処理システム160の構成のブロック図を示している。付加的な正確さが必要とされる程度まで、第2の処理段の第1の相からの変換マトリックス(例えばTi,i+1(3))は(ここではTi,i+1(4)と呼ぶ)変換マトリックスをさらに改良するためにライダーサブシステム130からの測定を伴って使用されることができる。本発明の幾つかの実施形態では、この相期間中、任意のオーバーラップ域360、450内で生じるライダーサブシステム130からの測定が使用される。これらの測定は異なるときに同じポイント(または実質的に同じポイント)について取られる多数の測定に対応する。この相は、異なるときに取られたターゲット190上の同じポイントの座標測定が完璧な変換マトリックスにより相互に正確に変換されるべきであるという前提に基づいている。換言すると、根本的なポイントの座標は時間において異なるポイントで相互へ直接マップすべきである。測定間の差(即ち補正)はΔzi,j、Δθxi,j、ΔθΔyi,jとして表され、最小二乗評価装置1510へ入力され、変換マトリックスTi,i+1(3)とTi,i+1(4)を改良する。本発明の幾つかの実施形態では、オーバースキャンビームの使用に対応する多数の測定は類似の方法で使用されることができる。
【0096】
本発明を種々の実施形態に関してここで説明したが、これは当業者により明白であるように、それ程限定されず、請求項の技術的範囲によってのみ限定される。本発明のこれら及びその他の実施形態は前述の説明と添付図面を考慮して明白になるであろう。さらに、本発明の1つの実施形態に関して説明した種々のコンポーネント及び特徴も同様に他の実施形態で使用されることができる。

【特許請求の範囲】
【請求項1】
ライダー測定及びビデオ画像からターゲットの3次元画像を生成するシステムにおいて、
前記ターゲットの方向に少なくとも2つのビームを誘導し、前記少なくとも2つのビームのそれぞれについてターゲット上の複数のポイントのそれぞれについての距離測定及びドップラ速度測定を行うライダーサブシステムと、
前記ターゲットの複数の2次元画像を与えるビデオサブシステムと、
プロセッサとを具備し、
前記プロセッサは、
前記ライダーサブシステムから、前記ターゲット上の前記複数の各ポイントについての前記距離測定及び前記ドップラ速度測定を受信し、
前記ビデオサブシステムから、前記ターゲットの前記複数の画像を受信し、
前記ライダーサブシステムからの距離測定及びドップラ速度測定から、および前記ターゲットの前記複数の画像から得られる前記ターゲットの少なくとも1つの特徴の2次元位置および速度測定からターゲットの第1の段の運動特徴を評価し、
前記複数の画像の第2の画像から前記複数の画像の第1の画像を差し引くことにより前記ターゲットの第2の段の運動特徴を評価し、前記複数の画像の第1の画像と前記複数の画像の第2の画像はそれぞれ前記ターゲットの第1の段の運動特徴を使用して特定の時間にそれぞれ参照され、
前記第2の段の運動特徴を使用して前記ターゲットの前記3次元画像を生成するシステム。
【請求項2】
前記第1の段の運動特徴は3次元の移動速度と3次元の角速度を含んでいる請求項1記載のシステム。
【請求項3】
前記プロセッサは最小二乗評価装置を使用して前記ターゲットの第1の段の運動特徴を評価する請求項1記載のシステム。
【請求項4】
前記ライダーサブシステムは少なくとも4つのビームをターゲットの方向へ誘導し、前記少なくとも4つのビームのそれぞれに対して前記ターゲット上の複数の各位置に対して距離測定及びドップラ速度測定を行う請求項1記載のシステム。
【請求項5】
前記少なくとも2つのビームは既知の距離または角度により相互から変位されている請求項1記載のシステム。
【請求項6】
前記少なくとも4つのビームの少なくとも2つは第1の軸に沿って既知の距離または角度により相互から変位され、前記少なくとも4つのビームの少なくとも2つは第2の軸に沿って既知の距離または角度により相互から変位される請求項4記載のシステム。
【請求項7】
前記第1の軸及び前記第2の軸は相互に直交している請求項6記載のシステム。
【請求項8】
ライダーサブシステムからの距離測定とドップラ速度測定とを使用して前記ターゲットの2つの各速度成分と移動速度成分を評価し、
前記ターゲットの評価された2つの角速度成分と前記移動速度成分と、前記ターゲットの前記少なくとも1つの特性の前記位置及び速度測定とを使用して、前記ターゲットの前記第1の段の運動特徴を評価することによって、
前記プロセッサは、前記ライダーサブシステムからの距離測定及びドップラ速度測定から、および前記ターゲットの前記複数の画像から得られる前記ターゲットの少なくとも1つの特徴の位置および速度測定から第1の段の運動特徴を評価する請求項1記載のシステム。
【請求項9】
前記ターゲットの評価された2つの角速度成分と前記移動速度成分と、前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定とを使用して、前記ターゲットの前記第1の段の運動特徴を評価するステップはさらに、前記ターゲットの評価された2つの角速度成分と前記移動速度成分と、前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定と、前記ターゲットの前記少なくとも1つの特徴に対する距離成分の評価とを使用して、前記ターゲットの前記第1の段の運動特徴を評価するステップを含んでいる請求項8記載のシステム。
【請求項10】
前記ターゲットの前記少なくとも1つの特徴に対する前記距離成分の前記評価は前記ライダーサブシステムからの前記距離測定に基づいて平均距離成分を決定するステップを含んでいる請求項9記載のシステム。
【請求項11】
前記ターゲットの評価された2つの角速度成分と前記移動速度成分と、前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定とを使用して、前記ターゲットの前記第1の段の運動特徴を評価するステップはさらに、前記ターゲットの評価された2つの角速度成分と前記移動速度成分と、前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定と、前記ターゲットの前記少なくとも1つの特徴の距離成分の評価とを使用して、前記ターゲットの前記第1の段の運動特徴を評価するステップを含んでいる請求項8記載のシステム。
【請求項12】
第1の反復期間中に、前記ターゲットの前記少なくとも1つの特徴に対する前記距離成分の前記評価は、前記ライダーサブシステムからの前記距離測定に基づいて平均距離成分を決定するステップを含んでいる請求項11記載のシステム。
【請求項13】
第2の反復期間中に、前記ターゲットの前記少なくとも1つの特徴に対する前記距離成分の前記評価は、前記第1の反復期間中に評価された前記ターゲットの前記第1の運動特徴から決定された前記ターゲットの前記少なくとも1つの特徴に対する距離を含んでいる請求項12記載のシステム。
【請求項14】
ライダーサブシステムからのライダー測定とビデオサブシステムからのビデオ画像からターゲットの3次元画像を生成する方法において、前記システムは、
ライダーサブシステムから、前記ライダーサブシステムの少なくとも2つのビームのそれぞれに対しての前記ターゲット上の複数の各ポイントの距離測定及びドップラ速度測定を受信し、
前記ビデオサブシステムから、前記ターゲットの複数の2次元画像を受信し、
前記ターゲットの前記複数の画像を使用して、前記ターゲットの少なくとも1つの特徴の2次元位置及び速度測定を決定し、
前記ライダーサブシステムからの前記距離測定及びドップラ速度測定、および前記ターゲットの前記複数の画像から決定された前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定から前記ターゲットの第1の段の運動特徴を評価し、
前記複数の画像の第2の画像から前記複数の画像の第1の画像を差し引くことにより前記ターゲットの第2の段の運動特徴を評価し、前記複数の画像の前記第1の画像と前記複数の画像の前記第2の画像はそれぞれ前記ターゲットの前記第1の段の運動特徴を使用して特定の時間にそれぞれ参照され、
前記ターゲットの前記第2の段の運動特徴を使用して前記ターゲットの前記3次元画像を生成するステップを含んでいる方法。
【請求項15】
前記ライダーサブシステムからの前記距離測定及びドップラ速度測定、および前記ターゲットの前記複数の画像から決定された前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定から前記ターゲットの第1の段の運動特徴を評価するステップは、少なくとも1つの最小二乗評価装置を使用して、前記ライダーサブシステムからの前記距離速度及びドップラ速度測定から、および前記ターゲットの前記複数の画像からの前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定から、前記ターゲットの第1の段の運動特徴を評価するステップを含んでいる請求項8記載のシステム。
【請求項16】
前記ライダーサブシステムから、前記ライダーサブシステムの少なくとも2つのビームのそれぞれについての前記ターゲット上の各複数の位置の距離測定及びドップラ速度測定を受信するステップは、前記ライダーサブシステムから、前記ライダーサブシステムの少なくとも4つのビームのそれぞれについての前記ターゲット上の各複数の位置の距離速度及びドップラ速度測定を受信するステップを含んでいる請求項14記載の方法。
【請求項17】
前記ライダーサブシステムからの前記距離測定およびドップラ速度測定から、および前記ターゲットの前記複数の画像から決定された前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定から、前記ターゲットの第1の段の運動特徴を評価するステップは、
前記ライダーサブシステムからの距離測定およびドップラ速度測定を使用して前記ターゲットの2つの角速度成分と移動速度成分を評価し、
前記ターゲットの前記評価された2つの角速度成分および前記移動速度成分と前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定とを使用して前記ターゲットの前記第1の段の運動特徴を評価するステップを含んでいる請求項14記載の方法。
【請求項18】
前記ターゲットの前記評価された2つの角速度成分および前記移動速度成分と、前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定とを使用して、前記ターゲットの前記第1の段の運動特徴を評価するステップは、
前記ターゲットの前記評価された2つの角速度成分および前記移動速度成分と、前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定と、前記ターゲットの前記少なくとも1つの特徴に対する距離成分の評価とを使用して、前記ターゲットの前記第1の段の運動特徴を反復して評価するステップを含んでいる請求項17記載の方法。
【請求項19】
前記ターゲットの前記評価された2つの角速度成分および前記移動速度成分と、前記ターゲットの前記少なくとも1つの特徴の前記位置及び速度測定と、前記ターゲットの前記少なくとも1つの特徴に対する距離成分の評価とを使用して、前記ターゲットの前記第1の段の運動特徴を反復して評価するステップは、
第1の反復期間中に、前記ターゲットの前記少なくとも1つの特徴に対する前記距離成分の評価として前記ライダーサブシステムからの距離測定に基づいて前記ターゲットの前記少なくとも1つの特徴に対する平均距離成分を決定し、
第2の反復期間中に、前記ターゲットの前記少なくとも1つの特徴に対する前記距離成分の評価として前記第1の反復期間中に決定された前記ターゲットの第1の段の運動特徴に基づいて前記ターゲットの前記少なくとも1つの特徴に対する距離成分を決定するステップを含んでいる請求項18記載の方法。
【請求項20】
さらに、前記第2の反復後に、前記第2の反復期間中に評価された前記ターゲットの2つの角速度成分および前記移動速度成分を使用して、および前記第2の反復期間中に評価された前記ターゲットの前記第1の段の運動特徴から決定された前記ターゲット上の各ポイントについての前記3次元位置及び2次元速度を使用して、前記ターゲットの前記第1の段の運動特徴を評価するステップを含んでいる請求項19記載の方法。
【請求項21】
前記複数の画像の第2の画像から前記複数の画像の第1の画像を差し引くことにより前記ターゲットの第2の段の運動特徴を評価する処理において、前記ターゲットの前記第1の段の運動特徴を使用して前記複数の画像の第1の画像と前記複数の画像の第2の画像は特定の時間それぞれ参照され、前記ターゲットの前記第1の段の運動特徴を使用して前記ターゲット上の前記複数のポイントへ前記ビデオサブシステムからの前記複数の画像をマッピングするステップを含んでいる請求項14記載の方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公表番号】特表2012−518793(P2012−518793A)
【公表日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2011−551278(P2011−551278)
【出願日】平成22年2月22日(2010.2.22)
【国際出願番号】PCT/US2010/024934
【国際公開番号】WO2010/141120
【国際公開日】平成22年12月9日(2010.12.9)
【出願人】(511204393)デジタル・シグナル・コーポレーション (1)
【Fターム(参考)】