説明

イメージ拡張型の慣性航行システム(IAINS)及び方法

【課題】輸送手段用のイメージ拡張型(image−augmented)の慣性航行システム及び方法を提供する。
【解決手段】輸送手段10上に搭載されたイメージ拡張型の慣性航行システムは、航行状態ベクトルを推定するように構成された慣性航行システムと、イメージャーの視野(x,y,z)を通過する地形特徴に関連するピクセル信号を出力するように構成されたイメージャー12とを含む。処理装置は、特徴ピクセル信号に関連する所与の画像フレームに対して、イメージャーからイメージャーの視野を通過する1つまたは複数の地形特徴の中心までの距離を感知し、地形特徴がイメージャーの視野を通過するにつれて、各地形特徴を追跡する。処理装置はさらに、追跡された地形特徴に関する慣性航行システムの計算されたNED(前、右、下)座標位置情報に基づき、慣性航行システムの航行状態ベクトルを更新する。

【発明の詳細な説明】
【技術分野】
【0001】
本出願は、その開示が参照により本明細書に組み込まれている、2004年6月2日に出願された、米国仮出願第60/576,037号の35U.S.C.§119(e)に基づく優先権の利益を主張するものである。
【0002】
本開示は輸送手段(vehicle)を航行させるためのシステム及び方法に関する。特に、本開示は輸送手段用のイメージ拡張型(image−augmented)の慣性航行システム及び方法に関する。
【背景技術】
【0003】
疎結合な慣性航行システム(INS)の一般的な方法は、車体の航行状態ベクトル(ナビゲーション状態ベクトル、navigation state vector)の推定値を決定するために2つのステップを実行する:すなわち、(1)感知された加速度(sensed accelerations)及び車体速度の数値(またはその他の)積分法による航行状態ベクトルの伝搬、及び(2)外部支援ソース(external aiding sources)を用いた航行状態ベクトルへの更新(または修正)である。外部支援ソースは1つまたは複数の幅広いソースであってよく、最も一般的なものは、例えば、米国の全地球測位システム(GPS)などの衛星ベースの航行システムである。そのようなINSソリューションは、その輸送手段が地上、空中、宇宙、または海のいずれを進む輸送手段であっても、輸送手段の航行に用いられる。しかし時には、GPSなどの外部支援ソースは様々な理由から利用不可能になる場合がある。例えば、GPSは妨害を受ける場合があり、または位置によって利用不可能になる場合がある。
【0004】
GPSなどの外部支援ソースの利用不可能性を克服する1つの可能な方法は、画像処理による伝統的な航行法を含む。画像処理による伝統的な航行法は、知られている保存された画像に関して新たに検出された画像の位置を登録する。そのような奏功する地理的登録では、画像位置の前、右、及び下(North,East,and Down)(NED)の座標はINSから得られた航行状態ベクトルを更新するための外部支援ソースとして用いられてよい。しかし、リアルタイムの地理的登録は非常に演算処理装置(CPU)に負荷がかかるため、そのような画像ベースの地理的登録は、通常、非常に強力なCPUを必要とする。非常に強力なCPUを使用することは、ひどく高価である可能性があり、または一定のアプリケーションに利用不可能な空き領域が必要になる可能性がある。
【0005】
前述の欠点の結果として、GPSなどのNED外部支援ソースが利用不可能になる状態においてさえ、そのようなシステムを搭載する輸送手段が継続的な航行ソリューションを得ることを可能にする航行システムを提供することが望ましい場合がある。さらに、強力なCPUを必要としない航行システムを提供することが望ましい場合がある。
【特許文献1】米国仮出願第60/576,037号
【発明の概要】
【発明が解決しようとする課題】
【0006】
1つまたは複数の前述の欠点を克服する要望が存在する可能性がある。開示された例示的なシステム及び方法は、1つまたは複数の前述の欠点を満たすことを探求する可能性がある。現在開示されたシステム及び方法は1つまたは複数の前述の欠点を回避する可能性があるが、開示されたシステム及び方法のいくつかの態様は、必ずしもこれら欠点を回避しない可能性があることを理解されたい。
【課題を解決するための手段】
【0007】
次の説明で、いくつかの態様及び実施形態が明らかになるであろう。本発明は、広義では、これらの態様及び実施形態の1つまたは複数の特徴を持たずに実施されることが可能である点を理解されたい。これらの態様及び実施形態は単に例示的である点を理解されたい。
【0008】
一態様では、本明細書で具体化されかつ広く説明されるように、本発明は、航行状態ベクトルを推定するように構成された慣性航行システムと、イメージャーの視野を通過する地形特徴に関連するピクセル信号を出力するように構成されたイメージャーとを含むイメージ拡張型の慣性航行システムを含む。システムは、慣性航行システムとイメージャーとに動作可能に接続された処理装置をさらに含む。処理装置は、ピクセル信号に基づき、所与の画像フレームに対して、イメージャーからイメージャーの視野を通過する1つまたは複数の地形特徴の中心までの距離を決定するように構成される。処理装置はまた、地形特徴がイメージャーの視野を通過するにつれて、第1の画像フレームから第2の画像フレームまでの各地形特徴を追跡し、各追跡された地形特徴のNED座標位置情報を計算するようにも構成される。処理装置はさらに、計算されたNED座標位置情報に基づき、慣性航行システムの航行状態ベクトルを更新するように構成される。
【0009】
別の態様によれば、輸送手段はイメージ拡張型の慣性航行システムを含む。システムは、航行状態ベクトルを推定するように構成された慣性航行システムと、イメージャーの視野を通過する地形特徴に関連するピクセル信号を出力するように構成されたイメージャーとを含む。システムは、慣性航行システムとイメージャーとに動作可能に接続された処理装置をさらに含む。処理装置は、ピクセル信号に基づき、所与の画像フレームに対して、イメージャーからイメージャーの視野を通過する1つまたは複数の地形特徴の中心までの距離を決定するように構成される。処理装置はまた、地形特徴がイメージャーの視野を通過するにつれて、第1の画像フレームから第2の画像フレームまでの各地形特徴を追跡し、各追跡された地形特徴のNED座標位置情報を計算するようにも構成される。処理装置はさらに、計算されたNED座標位置情報に基づき、慣性航行システムの航行状態ベクトルを更新するように構成される。
【0010】
さらに別の態様によれば、輸送手段に関連する慣性航行システムの航行状態ベクトルの更新方法は、所与の画像フレームに対して、輸送手段に関連するイメージャーからイメージャーの視野を通過する1つまたは複数の地形特徴の中心までの距離を決定することを含む。方法は、地形特徴がイメージャーの視野を通過するにつれて、第1の画像フレームから第2の画像フレームまでの各地形特徴を追跡することをさらに含む。方法はまた、追跡された地形特徴の各々に関するNED座標位置情報を計算し、計算されたNED座標位置情報に基づき、慣性航行システムの航行状態ベクトルを更新することも含む。
【0011】
上記の構造的構成及び手順上の構成の他に、本発明は以下に説明されるそれらの構成など、いくつかのその他の構成を含んでよい。前述の説明及び次の説明は両方とも例示的である点を理解されたい。
【0012】
添付の図面は本明細書に組み込まれ、かつ本明細書の一部を構成する。図面は本発明の例示的な実施形態を示し、説明とともに、本発明のいくつかの原理を説明するのに役立つ。
【図面の簡単な説明】
【0013】
【図1】例示的なイメージ拡張型の慣性航行システムを含む、NED座標システム内で方向づけられた輸送手段の概略図である。
【図2】慣性航行システムの航行状態ベクトルを更新する方法の実施例の概略ブロック図である。
【発明を実施するための形態】
【0014】
ここで、本発明のいくつかの可能な例示的実施形態を詳細に参照する。その実施例は添付の図面で例示される。可能な限り、図面及び説明では、同じ部品または類似部品を示すために同じ参照番号が用いられる。
【0015】
例示的なイメージ拡張型の慣性航行システム(IAINS)は、NED外部支援ソースが利用不可能になることのある状態においてさえ、そのようなIAINSを搭載する輸送手段が継続的な航行ソリューションを得ることを可能にする画像化ペイロード(imaging payload)を有するINSを含む。
【0016】
図1に概略的に示されるように、例えば、飛行機などのホスト輸送手段(host vehicle)10はイメージャー12を搭載する。イメージャー12は、例えば、カメラ、ライダ、レーダ、または当業者に知られているその他の類似装置であってよい。イメージャー12はCPU14を含んでよく、またはCPUはイメージャー12から離れて配置されてもよい。イメージャー12は画像化されることになる現場(例えば、輸送手段10がその上を飛行する地形の特徴)の方向に照準が定められる。輸送手段10とINS軸(x,y,z)に関して、イメージャー12の向きに何ら制約は存在しない。そのような方向は固定されてもよく、または輸送手段10とINS軸に関して常にイメージャー12の方向とオフセットとが判明している限り、リアルタイムで変更してもよい。
【0017】
輸送手段10が地形の上を移動するにつれて、イメージャー12は地上の現場を観察し、その現場の投影された画像はイメージャー12の画像平面の全域に渡って移動する。話を簡単にするために、図1は輸送手段10とINSz−軸にちょうど一致するものとしてイメージャー12の視野方向を示す。この場合、輸送手段10とINS軸とは位置合わせされた軸系(aligned axes systems)を有するが、これは必須ではない。
【0018】
例示的なイメージ拡張型の慣性航行システムによれば、この構想は2つの可能性を組み合わせる:すなわち、(1)INSシステムの可能性、及び(2)外部支援ソースの可能性である。この組合せは、(a)画像座標の形で画像情報のピクセル・アレイ、(b)イメージャー12(例えば、レーダ、ライダ、ビデオ、またはその他の画像化システム)からピクセルによって表された特徴の地上位置までの相対的距離を表す関連範囲値、及び(c)イメージャー12が画像を進むにつれて、この特徴の自動追跡を含むデータを提供する。いくつかの実施形態によるイメージ拡張型の航行システムは最低限の画像処理能力を必要とし、したがって強力なCPUを不要にする。実際に、いくつかの実施形態によれば、画像平面内で高コントラストの特徴を識別し、識別された特徴がイメージャー12の視野を進むにつれて、フレームからフレームまで識別された特徴を追跡すれば十分である可能性がある。
【0019】
例えば、イメージ拡張型の慣性航行システム関連航行外部支援ソースは、次の方法で航行状態ベクトルの更新のために用いられる。
【0020】
A.NED座標外部支援ソースが利用可能である時、
1.NED座標外部支援ソースはGPSであってよい、または
2.INSのNED座標位置の形で情報を提供する、画像、地上ベースのレーダ、またはその他の任意の外部支援ソース内の陸標の自動認識による地理的登録。INS航行状態ベクトルに対するこの直接的なNED座標更新は、そのような外部支援ソース更新が利用可能になるときはいつでも起こる。
【0021】
B.外部支援ソース内の新たな特徴が画像内で追跡され始めると、新たに識別された特徴の第1の受信後直ちに、この新たな第i番目の追跡された特徴のNED座標位置Xo(N,E,D)はタグ付けされ、イメージャー12の視野を離れるまで凍結される。これは、INSに関する画像方向及びオフセットによって、現在知られているINSの位置から、実際の特徴とイメージャー12との間の範囲を投影することによって実現されてもよい。
【0022】
C.新たな画像が利用可能になり、すべての追跡された特徴に関して新たな情報を提供する場合、
1.追跡された特徴のすべては、すでに少なくとも1画像フレームだけ古くなければならず、各特徴はXo(N,E,D)によって定義される初期NED位置を有する。
2.新たな画像が利用可能になるにつれて、次の方程式に基づき、現在追跡された特徴の各々を参照したINS相対的位置の新たな画像に基づくNED座標位置推定値を決定する。
X(t)=Xo(N,E,D)+CR(t)
式中、CR(t)は、INSに関するイメージャー方向及びオフセットによって投影された範囲を表す。
3.INSに対するNED位置更新として、各特徴X(t)に関して計算されたINSのNED位置推定値の各々を用いる。
【0023】
例えば、図2は、輸送手段に関連する慣性航行システムの航行状態ベクトルを更新する方法の一実施例を示すブロック図である。例えば、ステップ16において、慣性航行システム(INS)の航行状態ベクトルが処理装置14に入力される。ステップ18において、1つ又は複数の地形特徴がイメージャー(例えば、図1に示すイメージャー12)を介して生成される。ステップ20において、当該地形特徴が画像(イメージ)の視野に入る際に、地形特徴に関するNED座標位置情報が決定され、タグ付けされる。これらの決定及びタグ付けは、現在のINS位置、当該地形特徴までの範囲(距離)、INSに対するイメージャーの方向、及び/又はINSに対するイメージャーのオフセットに基いて行われる。
【0024】
例示される方法のステップ22において、イメージャーと地形特徴との間の距離が感知される。例えば、所与の画像フレームに対して、輸送手段に関連するイメージャーとイメージャーの視野を通過する1つ又は複数の地形特徴の中心との間の距離が感知される。ステップ24において、地形特徴がイメージャーの視野を通過する際、第1の画像フレームから後続の画像フレームまで、各地形特徴が追跡される。ステップ26において、後続の画像におけるイメージャーと地形特徴との間の距離が決定される。ステップ28において、INSの現在知られている位置に基いて、新たな地形特徴とイメージャーとの間の距離が決定される。ステップ30において、追跡された地形特徴の各々に関して、NED座標位置情報が計算される。ステップ32において、ステップ30で計算されたNED座標位置情報に基いて、INSの航行状態ベクトルが更新される。
【0025】
本開示の構造及び方法に様々な修正及び変更を行うことが可能であることは、当業者には明らかであろう。したがって、本開示は本明細書で議論された実施例に限定されないことを理解されたい。むしろ、本開示は修正形態及び変更形態を網羅することを意図している。

【特許請求の範囲】
【請求項1】
航行状態ベクトルを推定するように構成された慣性航行システムと、
複数の画像フレーム全体に渡ってイメージャーの視野を通過する地形特徴に関連するピクセル信号を出力するように構成されたイメージャーと、
該慣性航行システムと該イメージャーとに動作可能に接続された処理装置であって、
該ピクセル信号に基づき、所与の画像フレームに対して、該イメージャーから該イメージャーの該視野を通過する1つまたは複数の該地形特徴の中心までの距離を感知し、
該地形特徴は該イメージャーの該視野内にとどまると同時に、該地形特徴を含む第1の画像フレームから、任意のその後の画像フレームまで各地形特徴を追跡し、
各追跡された地形特徴の第1のタグ付けされた座標に関して、該慣性航行システムのNED座標位置情報を計算し、
システムのメモリ内に格納されているあらかじめ選択された飛行経路又はあらかじめ格納されている参照用画像に依存する必要なくして、該イメージャーを介して検知され計算されたリアルタイムの慣性航行システム位置情報のみに基づき、該慣性航行システムの該航行状態ベクトルを更新するように構成された処理装置とを含むイメージ拡張型の慣性航行システム。
【請求項2】
該処理装置は、新たな地形特徴が該イメージャーの該視野内を通過するにつれて、該イメージャーと該新たな地形特徴との間の距離を決定し、該慣性航行システムの現在知られている位置に基づき、該新たな地形特徴と該イメージャーとの間の距離を予測することにより、該新たな地形特徴を追跡するように構成された、請求項1に記載のシステム。
【請求項3】
該処理装置は、該新たな地形特徴が該イメージャーの該視野に初めて入る時に、該現在の慣性航行システム位置、該新たな地形特徴までの距離、該慣性航行システムに関する該イメージャーの方向及びオフセットに基づき、該新たな地形特徴に関するNED座標位置情報を決定し、タグ付けするように構成された、請求項1に記載のシステム。
【請求項4】
請求項1に記載のシステムを含む、飛行機等のホスト輸送手段。
【請求項5】
輸送手段に関連する慣性航行システムの航行状態ベクトルを更新する方法であって、
所与の画像フレームに対して、該輸送手段に関連するイメージャーから、該イメージャーの視野を通過する1つまたは複数の地形特徴の中心までの距離を感知することと、
該地形特徴が該イメージャーの該視野を通過するにつれて、第1の画像フレームからその後の画像フレームまで各地形特徴を追跡することと、
該追跡された地形特徴の各々に関してNED座標位置情報を計算することと、
システムのメモリ内に格納されているあらかじめ選択された飛行経路又はあらかじめ格納されている参照用画像に依存する必要なくして、該イメージャーを介して検知され計算されたリアルタイムのNED座標位置情報のみに基づき、該慣性航行システムの該航行状態ベクトルを更新することとを含む方法。
【請求項6】
新たな地形特徴が該イメージャーの該視野内を通過するにつれて、該イメージャーと該新たな地形特徴との間の距離を決定し、該慣性航行システムの現在の知られている位置に基づき、該新たな地形特徴と該イメージャーとの間の距離を予測することにより、該新たな地形特徴を追跡することをさらに含む、請求項5に記載の方法。
【請求項7】
新たな地形特徴が該イメージャーの該視野に初めて入る時に、現在の慣性航行システム位置、該新たな地形特徴までの距離、該慣性航行システムに関する該イメージャーの方向及びオフセットに基づき、該新たな地形特徴に関するNED座標位置情報を決定し、タグ付けすることをさらに含む、請求項5に記載の方法。

【図1】
image rotate

【図2】
image rotate


【公開番号】特開2011−227085(P2011−227085A)
【公開日】平成23年11月10日(2011.11.10)
【国際特許分類】
【出願番号】特願2011−117812(P2011−117812)
【出願日】平成23年5月26日(2011.5.26)
【分割の表示】特願2007−515576(P2007−515576)の分割
【原出願日】平成17年6月2日(2005.6.2)
【出願人】(506400306)ロックウェル コリンズ コントロール テクノロジーズ,インコーポレーテッド (4)
【Fターム(参考)】