周辺界の画像を表示するための装置及び方法
使用者に周辺状況の画像を表示するための装置及び方法は、周辺界の画像情報を記録し、伝達装置２０を介して中央ユニット３０に接続される画像センサー装置１０と、中央ユニット３０が前記画像センサー装置１０からの画像を表示する頭部搭載型の表示装置４０とを備えている。本発明は、中央ユニット３０が仮想３次元界を生成し、画像情報８が３次元界にテクスチャとして画像センサー装置１０から即時に投射される。そのとき、３次元界の一部が、表示装置４０に即時に表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、間接視によって、周辺状況の画像を使用者に表示するための装置及び方法に関するものである。
【背景技術】
【０００２】
軍事状況においては、周辺界の視覚的な認識は重要である。概して、周辺界は、直接、眼又は光学式潜望鏡によって観測される。この潜望鏡は、例えば、戦車や潜水艦で用いられる。しかしながら、新たな要求と脅威によって、画像センサー（一般にはカメラ）による周辺認識を取得する必要性が生み出され、この画像データが、表示装置等に表示される。この方法は、間接視と呼ばれる。これらの状況で、画像データが、瞬時（使用者が動作中に連続性を体験する画像速度）に、記録及び表示される。通常、瞬時（事情によっては速度が遅くなるが）表示のためには、最低２０の画像が構成される。
【０００３】
間接視を用いるのにいくつかの理由がある。理由の一つは、眼では見ることができない画像情報を記録可能なことである。例えば、暗視式の画像センサーや、赤外線熱放射線に敏感な画像センサーを用いることにより、周辺の認識を可能又は補強する。間接視を用いる他の理由は、レーザー放射による眼損傷に対して、眼を保護することにある。更に、軍事状況において、内部照明から放射される光又は放射線によって、光学式潜望鏡を通じて戦車が自分自身を露呈する。
【０００４】
即時的に間接視を介して使用者に表示される画像は、画像センサー装置で生成され、又使用者に記録される画像は、仮想環境やこれらの合成で生成される。画像センサー装置は、例えば、視野感度のよい一又は複数のビデオカメラ、赤外線領域（３〜５μｍ、８〜１２μｍ附近の赤外線）の一つに敏感な赤外線カメラ、紫外線カメラ、又はその他のレーダー又はレーザー・レーダー等の直接又は間接的な画像生成センサーシステムからなる。種々のセンサーシステムからの画像は、データ融合によって合成され、使用者に表示される。
【０００５】
間接視のシステムでは、画像センサーは、使用者の近辺に配置される必要がない。使用者は、画像センサーから隔離し、任意の物理的場所に配置されるが、仮想的にはセンサーの場所に存在する。使用者が周囲を的確に認識するため、周囲を自然に体験するように、可能な限り大きな視界を記録し表示するべきである。しかしながら、常に配置できるとは限らず、例えば、戦車内には大型の表示装置のための空間がない。この問題を解決するために、例えば、視角を拡大することにより観察可能な一又は複数の表示装置、使用者の眼の網膜にある画像を与え描写する装置等からなる頭部搭載型の表示装置、を使用者に提供する方法がある。
【０００６】
頭部搭載型の表示装置を使用する際、画像は、単眼の表示装置で単眼に表示される。二つの表示装置を使用する際には、同一の画像が、両眼の表示装置で両眼に表示されるか、異なる画像が、両眼の表示装置に表示される。両眼の表示装置では立体感を実現し得る。例えば、二つの追加表示装置を用いることによって、周辺視野感を実現し得る。表示装置は、好ましくは間接的に、メガネフレームやヘルメットタイプの装置によって使用者の頭部に固定される。
【０００７】
視覚的印象は、通常、使用者が頭部を動かすにつれて変化する。通常、頭部搭載型の表示装置を介して使用者に表示される画像は、周囲に関連して、使用者頭部の動作に影響されない。動作によって視覚的印象を変化できない感覚は、頭部搭載型の表示装置を使用するほとんどの者にとって、しばらくして苛立ちを感じる。頭部を動かして周囲を見ることによって周辺を観測するという正常な行動が機能しない。
【０００８】
この解決法は、頭部位置センサーによって、使用者の頭部の位置及び方向を検知することである。使用者に対して頭部搭載型の表示装置に表示される画像は、使用者が見回して体感するような方法で調節される。
【０００９】
間接視を用いることによって、使用者が頭部搭載型の表示装置を運搬した場所、使用者の頭部の位置及び方向が検知された場所で、戦車内の使用者は、戦車の壁を通して見るという感覚（即ち、「透視装甲（以下、ＳＴＡと略す）」）を取得できる。
【００１０】
画像センサー装置は、種々の方向に移動可能に、ジンバル（常平架）に設けられる。頭部位置センサーで制御されるジンバルは、加速・減速及び単位時間の回転能力に関して非常に機敏である。これにより、使用者は、頭部を機敏に動かしても、妨害表示を体験しないことは確実である。ジンバルは、複数の移動部を有する複雑な装置である。間接視の場合、ジンバルは使用者一人だけにより制御される。実質上、他の使用者は、画像センサーシステムからの情報の受信を妨げられるので、この点が欠点である。
【００１１】
ジンバルに設けられた画像センサーの代用として、複数の画像センサーからなる手段によって周囲の状況を記録する画像センサー装置が用いられ、各画像センサーが、広周囲の一部を記録する。
【００１２】
このようなシステムは、インターネット（http://www.cis.upenn.edu/~reich/paper11.htm）で公開されている「戦車視覚化システム（Combat Vehicle Visualization System）」（米国、プリンストン、サーノフ社、Ｒ．ベルト、Ｊ．ハウゲ、Ｊ．ケリー、Ｇ．ノールズ及びＲ．ル・バンドウスキー著）の記事で知られている。このシステムは、「透視砲塔視覚化システム（以下、ＳＴＴＶと略す）」と呼ばれている。
【００１３】
ＳＴＴＶでは、マルチカメラ装置からの画像が、種々の機能を有する複数のプリント基板カードからなるシステムによってデジタル化される。プリント基板カードは、とりわけ、画像処理プロセッサ、デジタル信号処理プロセッサ及び画像記憶部を有する。主処理プロセッサは、マルチカメラ装置からの画像情報をデジタル化し、使用者の頭部の方向に基づいて一又は二のカメラの画像情報を選択し、カメラレンズの歪曲を矯正するように画像の歪みをなくし、これらを画像記憶部に特別な合成なく組み合わせ、使用者の頭部の方向に応じて画像記憶部の一部を表示する。ＳＴＴＶは、単に仮想２次元（２Ｄ）画像情報を重ね合わせ、例えば、使用者がどちらの方向に頭部を向けるかを、十字線や矢印が示すだけである。ＳＴＴＶにおいて、使用者の頭部の方向は、３自由度（即ち、回転、横揺れ及び縦揺れ）を処理する頭部位置センサーにより検知される。
【００１４】
しかしながら、広範な応用分野を有する使い易いＳＴＡシステムは、単に２次元情報を記録して重ねて画像情報を表示するよりも広義に用いられる。
【発明の開示】
【００１５】
本発明は、一般的及びより柔軟な解決手段によって、これを解決する装置及び方法である。この解決手段は、独立項により画定され、従属項で有効な実施形態が画定される。
【００１６】
本発明について、添付した図面に基づき、より詳細に説明する。
【発明を実施するための最良の形態】
【００１７】
図１ａは、画像センサー装置１０の一実施形態を示す。画像センサー装置１０は、複数の画像センサー（例えば、３６０度領域を網羅するように環状に配置されたカメラ１，２，３，４）を備えている。カメラ１，２，３，４からの画像は、デジタル化され、中央ユニット３０（図２参照）へ送信される。中央ユニット３０は、中央演算処理装置（ＣＰＵ）を有するコンピューターユニット、記録手段及びコンピューターグラフィック処理ユニット３２を備えている。目的に応じたソフトウェアが、中央ユニット３０で実行される。
【００１８】
中央ユニット３０において、一又は複数の３次元モデルからなる仮想３次元界に、画像がテクスチャとして取り込まれる。このようなモデルは、例えば、円筒状に設計され、テクスチャが円筒内面に配置される（図１ｂ参照）。第一カメラ１の画像が、第一の映像面１’にテクスチャとして取り込まれ、第二カメラ２の画像が、第二の映像面２’に取り込まれたりする。画像は、円筒状よりも高機能な３次元モデル、例えば、好ましくは少し平坦な底を有する半球形状又は球形状に取り込むこともできる。
【００１９】
図１ｂに関する場合において、３次元界は、例えば、円筒状を描くモデル内に配置される戦車内装の仮想モデルにより開発される（図１ｃ参照）。図１ｃは、内装５及び窓６のモデルを図式的に示すものである。使用者が３次元界を観測している地点及び方角が、例えば、内装５のモデルに配置される（図３ｄ参照）。この地点及び方角は、位置センサー（例えば、頭部位置センサー５１）から取得される（図４参照）。３次元界に内装のモデルを取り込む利点は、このように使用者が一又はそれ以上の参照地点を取得できることである。
【００２０】
図２は、本発明に係る一実施形態を示す原理図である。複数のセンサー（例えば、図１ａにおける複数のカメラ）を備える画像センサー装置１０は、例えば、図４における戦車に取り付けられる。図１ａで図示された実施形態において、画像センサーは、戦車の３６０度周囲を対象とする。画像センサーは、戦車の回転の全体を網羅する必要はなく、全回転より少ない量で十分に網羅できる場合もある。例えば、上方及び下方、隠れた角度を網羅するための追加画像センサーや、可視域外を記録するためのセンサーも接続され得る。
【００２１】
画像センサー装置１０は、画像をデジタル化するための装置も備えており、中央ユニット３０へ画像情報を通信するための伝達装置２０に接続されている。伝達装置２０での通信は、単一方向性、即ち、画像センサー装置１０が画像情報をセンサーから中央ユニット３０へ送信するものであったり、双方向性、即ち、中央ユニット３０が、例えば中央センサー３０へ伝達される画像センサーからの画像情報の信号を画像センサー装置１０へ送信することができる。この伝達は時間のロスが小さい方が好ましいので、イーサネット（登録商標）やファイヤーワイヤーのような高速伝達が必要とされる。
【００２２】
中央ユニット３０は、メモリーを備えた中央演算処理装置（ＣＰＵ）、伝達装置２０に接続されたインターフェース３１、仮想３次元界を（可視可能に）生成するコンピュータ・グラフィック・プロセッシング・ユニット（ＧＰＵ）、位置センサー５０からのデータによって、表示装置４０にどの３次元世界の視界が描写されるかを制御するソフトウェア形式のコントロール手段、を備えている。位置センサー５０は、マウス又は同種のものでよいが、好ましくは使用者の位置５２及び視角５３を検出する頭部搭載型の頭部位置センサーがよい（図３ｂ参照）。頭部位置センサー５１からのデータに基づき、使用者が仮想３次元界に仮想的に配置される。使用者が移動すると、これについてのデータが、中央ユニット３０へ送られ、さらに、どの視界が使用者に描写されるかを計算するコンピュータ・グラフィック・プロセッシング・ユニットへ送られる。
【００２３】
一般的なコンピュータ・グラフィック・システムにおいて、仮想３次元界は、種々の特性が与えられる多数の映像面を用いて形成される。この映像面は、通常、好適な方法で組み合わされた複数の三角形状から構成されており、それにより、例えば、円筒又は球面の一部の形状に映像面を与える。図３ａは、仮想３次元界がどのように三角形状で構成されるかを示す。２次元画像が、これら三角形状にテクスチャとして配置され得る（図３ｃ参照）。この類型のテクスチャは、静的であって、画像だけでなく、色彩や特性（透明又は反射など）から構成することができる。概して、テクスチャは適時に取り込まれ、３次元界に表示される。
【００２４】
本発明によれば、この装置及び方法は、画像センサー装置１０からの画像情報を用いて、それを３次元界にテクスチャとして取り込む。これらテクスチャは、好ましくは、即時に、即ち画像センサーが画像情報を記録し中央ユニット３０に伝達可能な速度で、３次元界に取り込まれる。コンピューターグラフィック処理ユニット３２は、位置５２及び視角５３に依存する使用者９０に対して、テクスチャを有する３次元界を表示する方法を演算する。
【００２５】
他の仮想画像情報も３次元界に配置され得る。制御装置、ステアリングホイール、ボンネット及びビームを有するフロントガラスの周域を備えた戦車の内装５の仮想３次元界が、３次元界に配置され、使用者に一又はそれ以上の参照点を与え得る。更に、仮想のバック及びサイド・ミラーが配置され、好適な画像センサーからの画像情報を表示する。図５及び６は、使用者の附近（例えば、使用者の頭部）におけるセンサーからの画像情報がどのように用いられるかを示す。
【００２６】
図４は、本発明に係る装置を備えた戦車を示す。センサー装置１０は、例えば、図１に示すような複数のカメラを備えている。追加カメラ１２（例えば、後方カメラ）も戦車に配置され、引っ込んだ部分や隠れた部分も網羅する。頭部搭載型の表示装置４０及び頭部搭載型の位置装置５１を備えた使用者９０は、戦車８０内で着座している。
【００２７】
図５は、本発明に係る他の実施形態を示す。使用者９０は、頭部搭載型の表示装置４０、頭部位置センサー５１、使用者の附近（この場合は、使用者の頭部）に配置されたカメラ１３からなるセンサー装置も備えている。カメラ１３は、操縦者周辺の画像を使用者に表示するために用いられる。表示装置４０は、使用者の視野全体を頻繁に表示するので、使用者が手元、制御装置等を見下ろした際に、制御装置を見ることができないことになる。使用者９０の附近（例えば、頭部）に搭載されたカメラ１３は、画像情報を３次元界に取り込む中央ユニットへ、周辺に関する画像情報を伝達することにより、使用者を支援する。
【００２８】
図６は、使用者に表示される視界として、種々のカメラからの画像情報を組み立てる方法を示す。３次元界は、円筒状の一部として表示される。暗い部分４５は、表示装置４０を介して表示される使用者の視野を表す。他の暗い部分４６は、第二使用者に対する同様のものである。視野４５に、カメラ１３からの画像部分が表示され、３次元界の一部１３’に動的テクスチャとして情報が配置される。この動的テクスチャは、３次元界において、次々に動的に表示される。即ち種々の場所において、動的テクスチャは、使用者の頭部の位置及び視角によって制御される。例えば、後方カメラ１２からの画像は、周辺のモデルの一部１２’に動的テクスチャとして配置され、バック・ミラーとして機能し得る。
【００２９】
図１ａによるカメラ装置（例えば、２つのカメラ及び図５等における頭部搭載型のカメラ）からの画像情報（映像面１’，２’）が、使用者に表示され得る。種々のカメラからの画像情報は互いに合成され、使用者に表示され得る。画像を使用者に表示するために、画像センサー装置の複数のセンサーが、情報を提供する必要がある。本発明では、使用者の画像として組み立てられ得る情報数は限定されない。
【００３０】
本発明に係る方法を次に説明する。本方法は、使用者９０に対して一又はそれ以上の表示装置４０に周辺画像を表示するものである。画像センサー装置１０は、周辺の画像情報８を記録する。画像情報８は、伝達装置２０を介して中央ユニット３０に伝達される。コンピューターグラフィック処理ユニット３２を備えた中央ユニット３０は、例えば、図３等の仮想円筒状部分や、半球状や球状のさらに進歩した実施形態において、（可視的に）仮想３次元界を生成する。
【００３１】
位置センサーからの情報に基づき、使用者が仮想３次元界に仮想的に配置される。適宜に頭部位置センサー５１の形式で、位置センサー５０が、６自由度を検出することができ、使用者の位置５２及び視角５３に関する情報を中央ユニット３０に送信する。地点及び視角に基づいて、使用者が３次元界に配置され、中央ユニット３０が、どの画像情報を表示装置４０で表示するべきかを演算する。使用者９０が動き視角を変更すると、中央ユニット３０は、どの画像情報を使用者に表示するべきかを自動的に演算する。中央ユニット３０は、例えば使用者の頭部に搭載されたカメラ１３及び追加カメラ１２を備え得る画像センサー装置１０からの画像情報を要求する。要求した画像情報をデジタル化した後、画像センサー装置１０はこれを中央ユニット３０に送信する。中央ユニット３０におけるコンピューターグラフィック処理ユニット３２は、画像センサー装置１０からの画像情報８を動的テクスチャとして３次元界に即時に取り込む。中央ユニット３０は、使用者の地点及び視角に基づき、３次元界から表示装置４０へ最新の画像情報を伝達する。
【００３２】
本発明に係る間接視としての装置及び方法においては、画像センサーは表示装置や使用者の附近に配置される必要はない。使用者は、任意の実在する場所にいるが、仮想的には画像センサーの場所にいる。本発明は、軍事及び民間の双方において、戦車、空中プラットフォーム（例えば、無人調査航空機）、遠隔操作式小型車、大型車（例えば、鉱山車）、戦闘艦（例えば、潜水艦の光学的潜望鏡に替わるもの）等、多くの用途で使用可能である。これは、人に取り付けられ、個人の兵士に使用され得る。
【００３３】
複数の画像センサー（カメラ）からの情報は、動的テクスチャ（即ち、テクスチャは外部情報に基づいて即時に変更される）として仮想３次元界に映像面に配置される。結果的に、カメラレンズからの歪みは、カメラ画像が動的テクスチャとして配置される仮想映像面を修正することにより排除され得る。この修正は、例えば、ベンド方式でなされ得る。動的テクスチャが配置される映像面は、仮想３次元界において、他の映像面と合成され、戦車の内装のような使用者参照地点を与え得る。頭部位置センサーは、使用者の頭部の地点及び視角に関して、最大６自由度の情報を提供する。この情報に基づき、中央ユニットは、コンピューターグラフィック処理ユニットによって全映像面を処理でき、該当する画像情報を使用者に表示する。
【００３４】
本発明は、仮想３次元（３Ｄ）画像情報を、画像センサーによって記録された周辺画像に合成可能とする。例えば、戦車が、画像に取り込まれ、戦車が位置する場所を示すことができる。種々の理由から、実存の戦車は隠され発見困難な状況になり得る。仮想の戦車は、適当なテクスチャにより３Ｄモデルとなる。このモデルは、コンピュータ・グラフィックにより装飾され、モデル上及びモデルからの影が実態と合うようになっている。
【００３５】
画像センサー及び戦車の内装によって記録された周囲に対して、本発明の使用者が自身の位置をより確認し易いように、例えば、仮想内装が周囲の画像に合成され、使用者がこの内装を参照として使用可能となる点で、有利である。
【００３６】
本発明は、単に画像情報を記録したり表示するよりも広義に使用され得る。例えば、本発明に係る装置及び／又は方法を装備した戦車が任務を負っているとき、搭乗員が任務前、即ち、任務計画において準備できる点で好適である。この準備は、仮想的に任務を立てることも含み得る。この仮想任務が遂行される一方法を次に説明する。
【００３７】
有人又は無人の航空機は、任務が立てられる地域へ送り出される。この航空機は、データ収集、データ処理及び３次元界のモデリングを含む周辺の３次元マッピングのための機器を運搬し、周辺の３次元モデルを生成する。３次元モデルでは、動的作用、例えば、脅威、濃霧、天候及び一日の日光時間が導入され得る。これにより、任務を仮想的に訓練でき、別の手段を試すことができる。
【００３８】
周辺の３次元モデルが利用可能となった際に、実際の任務においても使用され得る。戦車の即時位置を取得可能になると、例えば、周辺からの画像センサー・データが３次元モデルに合成され、補強された周辺体験を与え得る。
【００３９】
本発明は、画像センサーからの情報に基づき、コンピュータ工学によって即時にモデル化される３次元モデルを適用できる。この方法は、「レンダリングに基づく画像」と呼ばれ、この画像の特性は、３次元モデルを構築することに用いられる。
【００４０】
通例のコンピューター・グラフィック工学を用いた一般解によって、上記したようなあらゆる２次元及び３次元の仮想情報が、迅速に画像センサーの画像に合成され、使用者にとって好ましい手法で表示され得る。ＳＴＴＶのような従来システムは、これらの選択が欠けており、単に２次元情報が重ね合わされるものである。
【図面の簡単な説明】
【００４１】
【図１】画像センサー装置及び３次元モデルを示す。
【図２】本発明の実施形態の原理図である。
【図３】３次元モデルを示す
【図４】本発明に係る装置を有する戦車を示す。
【図５】頭部搭載型表示装置を備えた使用者を示す。
【図６】使用者の表示装置への画像情報を示す。
【図１ａ】
【図１ｂ】
【図１ｃ】
【技術分野】
【０００１】
本発明は、間接視によって、周辺状況の画像を使用者に表示するための装置及び方法に関するものである。
【背景技術】
【０００２】
軍事状況においては、周辺界の視覚的な認識は重要である。概して、周辺界は、直接、眼又は光学式潜望鏡によって観測される。この潜望鏡は、例えば、戦車や潜水艦で用いられる。しかしながら、新たな要求と脅威によって、画像センサー（一般にはカメラ）による周辺認識を取得する必要性が生み出され、この画像データが、表示装置等に表示される。この方法は、間接視と呼ばれる。これらの状況で、画像データが、瞬時（使用者が動作中に連続性を体験する画像速度）に、記録及び表示される。通常、瞬時（事情によっては速度が遅くなるが）表示のためには、最低２０の画像が構成される。
【０００３】
間接視を用いるのにいくつかの理由がある。理由の一つは、眼では見ることができない画像情報を記録可能なことである。例えば、暗視式の画像センサーや、赤外線熱放射線に敏感な画像センサーを用いることにより、周辺の認識を可能又は補強する。間接視を用いる他の理由は、レーザー放射による眼損傷に対して、眼を保護することにある。更に、軍事状況において、内部照明から放射される光又は放射線によって、光学式潜望鏡を通じて戦車が自分自身を露呈する。
【０００４】
即時的に間接視を介して使用者に表示される画像は、画像センサー装置で生成され、又使用者に記録される画像は、仮想環境やこれらの合成で生成される。画像センサー装置は、例えば、視野感度のよい一又は複数のビデオカメラ、赤外線領域（３〜５μｍ、８〜１２μｍ附近の赤外線）の一つに敏感な赤外線カメラ、紫外線カメラ、又はその他のレーダー又はレーザー・レーダー等の直接又は間接的な画像生成センサーシステムからなる。種々のセンサーシステムからの画像は、データ融合によって合成され、使用者に表示される。
【０００５】
間接視のシステムでは、画像センサーは、使用者の近辺に配置される必要がない。使用者は、画像センサーから隔離し、任意の物理的場所に配置されるが、仮想的にはセンサーの場所に存在する。使用者が周囲を的確に認識するため、周囲を自然に体験するように、可能な限り大きな視界を記録し表示するべきである。しかしながら、常に配置できるとは限らず、例えば、戦車内には大型の表示装置のための空間がない。この問題を解決するために、例えば、視角を拡大することにより観察可能な一又は複数の表示装置、使用者の眼の網膜にある画像を与え描写する装置等からなる頭部搭載型の表示装置、を使用者に提供する方法がある。
【０００６】
頭部搭載型の表示装置を使用する際、画像は、単眼の表示装置で単眼に表示される。二つの表示装置を使用する際には、同一の画像が、両眼の表示装置で両眼に表示されるか、異なる画像が、両眼の表示装置に表示される。両眼の表示装置では立体感を実現し得る。例えば、二つの追加表示装置を用いることによって、周辺視野感を実現し得る。表示装置は、好ましくは間接的に、メガネフレームやヘルメットタイプの装置によって使用者の頭部に固定される。
【０００７】
視覚的印象は、通常、使用者が頭部を動かすにつれて変化する。通常、頭部搭載型の表示装置を介して使用者に表示される画像は、周囲に関連して、使用者頭部の動作に影響されない。動作によって視覚的印象を変化できない感覚は、頭部搭載型の表示装置を使用するほとんどの者にとって、しばらくして苛立ちを感じる。頭部を動かして周囲を見ることによって周辺を観測するという正常な行動が機能しない。
【０００８】
この解決法は、頭部位置センサーによって、使用者の頭部の位置及び方向を検知することである。使用者に対して頭部搭載型の表示装置に表示される画像は、使用者が見回して体感するような方法で調節される。
【０００９】
間接視を用いることによって、使用者が頭部搭載型の表示装置を運搬した場所、使用者の頭部の位置及び方向が検知された場所で、戦車内の使用者は、戦車の壁を通して見るという感覚（即ち、「透視装甲（以下、ＳＴＡと略す）」）を取得できる。
【００１０】
画像センサー装置は、種々の方向に移動可能に、ジンバル（常平架）に設けられる。頭部位置センサーで制御されるジンバルは、加速・減速及び単位時間の回転能力に関して非常に機敏である。これにより、使用者は、頭部を機敏に動かしても、妨害表示を体験しないことは確実である。ジンバルは、複数の移動部を有する複雑な装置である。間接視の場合、ジンバルは使用者一人だけにより制御される。実質上、他の使用者は、画像センサーシステムからの情報の受信を妨げられるので、この点が欠点である。
【００１１】
ジンバルに設けられた画像センサーの代用として、複数の画像センサーからなる手段によって周囲の状況を記録する画像センサー装置が用いられ、各画像センサーが、広周囲の一部を記録する。
【００１２】
このようなシステムは、インターネット（http://www.cis.upenn.edu/~reich/paper11.htm）で公開されている「戦車視覚化システム（Combat Vehicle Visualization System）」（米国、プリンストン、サーノフ社、Ｒ．ベルト、Ｊ．ハウゲ、Ｊ．ケリー、Ｇ．ノールズ及びＲ．ル・バンドウスキー著）の記事で知られている。このシステムは、「透視砲塔視覚化システム（以下、ＳＴＴＶと略す）」と呼ばれている。
【００１３】
ＳＴＴＶでは、マルチカメラ装置からの画像が、種々の機能を有する複数のプリント基板カードからなるシステムによってデジタル化される。プリント基板カードは、とりわけ、画像処理プロセッサ、デジタル信号処理プロセッサ及び画像記憶部を有する。主処理プロセッサは、マルチカメラ装置からの画像情報をデジタル化し、使用者の頭部の方向に基づいて一又は二のカメラの画像情報を選択し、カメラレンズの歪曲を矯正するように画像の歪みをなくし、これらを画像記憶部に特別な合成なく組み合わせ、使用者の頭部の方向に応じて画像記憶部の一部を表示する。ＳＴＴＶは、単に仮想２次元（２Ｄ）画像情報を重ね合わせ、例えば、使用者がどちらの方向に頭部を向けるかを、十字線や矢印が示すだけである。ＳＴＴＶにおいて、使用者の頭部の方向は、３自由度（即ち、回転、横揺れ及び縦揺れ）を処理する頭部位置センサーにより検知される。
【００１４】
しかしながら、広範な応用分野を有する使い易いＳＴＡシステムは、単に２次元情報を記録して重ねて画像情報を表示するよりも広義に用いられる。
【発明の開示】
【００１５】
本発明は、一般的及びより柔軟な解決手段によって、これを解決する装置及び方法である。この解決手段は、独立項により画定され、従属項で有効な実施形態が画定される。
【００１６】
本発明について、添付した図面に基づき、より詳細に説明する。
【発明を実施するための最良の形態】
【００１７】
図１ａは、画像センサー装置１０の一実施形態を示す。画像センサー装置１０は、複数の画像センサー（例えば、３６０度領域を網羅するように環状に配置されたカメラ１，２，３，４）を備えている。カメラ１，２，３，４からの画像は、デジタル化され、中央ユニット３０（図２参照）へ送信される。中央ユニット３０は、中央演算処理装置（ＣＰＵ）を有するコンピューターユニット、記録手段及びコンピューターグラフィック処理ユニット３２を備えている。目的に応じたソフトウェアが、中央ユニット３０で実行される。
【００１８】
中央ユニット３０において、一又は複数の３次元モデルからなる仮想３次元界に、画像がテクスチャとして取り込まれる。このようなモデルは、例えば、円筒状に設計され、テクスチャが円筒内面に配置される（図１ｂ参照）。第一カメラ１の画像が、第一の映像面１’にテクスチャとして取り込まれ、第二カメラ２の画像が、第二の映像面２’に取り込まれたりする。画像は、円筒状よりも高機能な３次元モデル、例えば、好ましくは少し平坦な底を有する半球形状又は球形状に取り込むこともできる。
【００１９】
図１ｂに関する場合において、３次元界は、例えば、円筒状を描くモデル内に配置される戦車内装の仮想モデルにより開発される（図１ｃ参照）。図１ｃは、内装５及び窓６のモデルを図式的に示すものである。使用者が３次元界を観測している地点及び方角が、例えば、内装５のモデルに配置される（図３ｄ参照）。この地点及び方角は、位置センサー（例えば、頭部位置センサー５１）から取得される（図４参照）。３次元界に内装のモデルを取り込む利点は、このように使用者が一又はそれ以上の参照地点を取得できることである。
【００２０】
図２は、本発明に係る一実施形態を示す原理図である。複数のセンサー（例えば、図１ａにおける複数のカメラ）を備える画像センサー装置１０は、例えば、図４における戦車に取り付けられる。図１ａで図示された実施形態において、画像センサーは、戦車の３６０度周囲を対象とする。画像センサーは、戦車の回転の全体を網羅する必要はなく、全回転より少ない量で十分に網羅できる場合もある。例えば、上方及び下方、隠れた角度を網羅するための追加画像センサーや、可視域外を記録するためのセンサーも接続され得る。
【００２１】
画像センサー装置１０は、画像をデジタル化するための装置も備えており、中央ユニット３０へ画像情報を通信するための伝達装置２０に接続されている。伝達装置２０での通信は、単一方向性、即ち、画像センサー装置１０が画像情報をセンサーから中央ユニット３０へ送信するものであったり、双方向性、即ち、中央ユニット３０が、例えば中央センサー３０へ伝達される画像センサーからの画像情報の信号を画像センサー装置１０へ送信することができる。この伝達は時間のロスが小さい方が好ましいので、イーサネット（登録商標）やファイヤーワイヤーのような高速伝達が必要とされる。
【００２２】
中央ユニット３０は、メモリーを備えた中央演算処理装置（ＣＰＵ）、伝達装置２０に接続されたインターフェース３１、仮想３次元界を（可視可能に）生成するコンピュータ・グラフィック・プロセッシング・ユニット（ＧＰＵ）、位置センサー５０からのデータによって、表示装置４０にどの３次元世界の視界が描写されるかを制御するソフトウェア形式のコントロール手段、を備えている。位置センサー５０は、マウス又は同種のものでよいが、好ましくは使用者の位置５２及び視角５３を検出する頭部搭載型の頭部位置センサーがよい（図３ｂ参照）。頭部位置センサー５１からのデータに基づき、使用者が仮想３次元界に仮想的に配置される。使用者が移動すると、これについてのデータが、中央ユニット３０へ送られ、さらに、どの視界が使用者に描写されるかを計算するコンピュータ・グラフィック・プロセッシング・ユニットへ送られる。
【００２３】
一般的なコンピュータ・グラフィック・システムにおいて、仮想３次元界は、種々の特性が与えられる多数の映像面を用いて形成される。この映像面は、通常、好適な方法で組み合わされた複数の三角形状から構成されており、それにより、例えば、円筒又は球面の一部の形状に映像面を与える。図３ａは、仮想３次元界がどのように三角形状で構成されるかを示す。２次元画像が、これら三角形状にテクスチャとして配置され得る（図３ｃ参照）。この類型のテクスチャは、静的であって、画像だけでなく、色彩や特性（透明又は反射など）から構成することができる。概して、テクスチャは適時に取り込まれ、３次元界に表示される。
【００２４】
本発明によれば、この装置及び方法は、画像センサー装置１０からの画像情報を用いて、それを３次元界にテクスチャとして取り込む。これらテクスチャは、好ましくは、即時に、即ち画像センサーが画像情報を記録し中央ユニット３０に伝達可能な速度で、３次元界に取り込まれる。コンピューターグラフィック処理ユニット３２は、位置５２及び視角５３に依存する使用者９０に対して、テクスチャを有する３次元界を表示する方法を演算する。
【００２５】
他の仮想画像情報も３次元界に配置され得る。制御装置、ステアリングホイール、ボンネット及びビームを有するフロントガラスの周域を備えた戦車の内装５の仮想３次元界が、３次元界に配置され、使用者に一又はそれ以上の参照点を与え得る。更に、仮想のバック及びサイド・ミラーが配置され、好適な画像センサーからの画像情報を表示する。図５及び６は、使用者の附近（例えば、使用者の頭部）におけるセンサーからの画像情報がどのように用いられるかを示す。
【００２６】
図４は、本発明に係る装置を備えた戦車を示す。センサー装置１０は、例えば、図１に示すような複数のカメラを備えている。追加カメラ１２（例えば、後方カメラ）も戦車に配置され、引っ込んだ部分や隠れた部分も網羅する。頭部搭載型の表示装置４０及び頭部搭載型の位置装置５１を備えた使用者９０は、戦車８０内で着座している。
【００２７】
図５は、本発明に係る他の実施形態を示す。使用者９０は、頭部搭載型の表示装置４０、頭部位置センサー５１、使用者の附近（この場合は、使用者の頭部）に配置されたカメラ１３からなるセンサー装置も備えている。カメラ１３は、操縦者周辺の画像を使用者に表示するために用いられる。表示装置４０は、使用者の視野全体を頻繁に表示するので、使用者が手元、制御装置等を見下ろした際に、制御装置を見ることができないことになる。使用者９０の附近（例えば、頭部）に搭載されたカメラ１３は、画像情報を３次元界に取り込む中央ユニットへ、周辺に関する画像情報を伝達することにより、使用者を支援する。
【００２８】
図６は、使用者に表示される視界として、種々のカメラからの画像情報を組み立てる方法を示す。３次元界は、円筒状の一部として表示される。暗い部分４５は、表示装置４０を介して表示される使用者の視野を表す。他の暗い部分４６は、第二使用者に対する同様のものである。視野４５に、カメラ１３からの画像部分が表示され、３次元界の一部１３’に動的テクスチャとして情報が配置される。この動的テクスチャは、３次元界において、次々に動的に表示される。即ち種々の場所において、動的テクスチャは、使用者の頭部の位置及び視角によって制御される。例えば、後方カメラ１２からの画像は、周辺のモデルの一部１２’に動的テクスチャとして配置され、バック・ミラーとして機能し得る。
【００２９】
図１ａによるカメラ装置（例えば、２つのカメラ及び図５等における頭部搭載型のカメラ）からの画像情報（映像面１’，２’）が、使用者に表示され得る。種々のカメラからの画像情報は互いに合成され、使用者に表示され得る。画像を使用者に表示するために、画像センサー装置の複数のセンサーが、情報を提供する必要がある。本発明では、使用者の画像として組み立てられ得る情報数は限定されない。
【００３０】
本発明に係る方法を次に説明する。本方法は、使用者９０に対して一又はそれ以上の表示装置４０に周辺画像を表示するものである。画像センサー装置１０は、周辺の画像情報８を記録する。画像情報８は、伝達装置２０を介して中央ユニット３０に伝達される。コンピューターグラフィック処理ユニット３２を備えた中央ユニット３０は、例えば、図３等の仮想円筒状部分や、半球状や球状のさらに進歩した実施形態において、（可視的に）仮想３次元界を生成する。
【００３１】
位置センサーからの情報に基づき、使用者が仮想３次元界に仮想的に配置される。適宜に頭部位置センサー５１の形式で、位置センサー５０が、６自由度を検出することができ、使用者の位置５２及び視角５３に関する情報を中央ユニット３０に送信する。地点及び視角に基づいて、使用者が３次元界に配置され、中央ユニット３０が、どの画像情報を表示装置４０で表示するべきかを演算する。使用者９０が動き視角を変更すると、中央ユニット３０は、どの画像情報を使用者に表示するべきかを自動的に演算する。中央ユニット３０は、例えば使用者の頭部に搭載されたカメラ１３及び追加カメラ１２を備え得る画像センサー装置１０からの画像情報を要求する。要求した画像情報をデジタル化した後、画像センサー装置１０はこれを中央ユニット３０に送信する。中央ユニット３０におけるコンピューターグラフィック処理ユニット３２は、画像センサー装置１０からの画像情報８を動的テクスチャとして３次元界に即時に取り込む。中央ユニット３０は、使用者の地点及び視角に基づき、３次元界から表示装置４０へ最新の画像情報を伝達する。
【００３２】
本発明に係る間接視としての装置及び方法においては、画像センサーは表示装置や使用者の附近に配置される必要はない。使用者は、任意の実在する場所にいるが、仮想的には画像センサーの場所にいる。本発明は、軍事及び民間の双方において、戦車、空中プラットフォーム（例えば、無人調査航空機）、遠隔操作式小型車、大型車（例えば、鉱山車）、戦闘艦（例えば、潜水艦の光学的潜望鏡に替わるもの）等、多くの用途で使用可能である。これは、人に取り付けられ、個人の兵士に使用され得る。
【００３３】
複数の画像センサー（カメラ）からの情報は、動的テクスチャ（即ち、テクスチャは外部情報に基づいて即時に変更される）として仮想３次元界に映像面に配置される。結果的に、カメラレンズからの歪みは、カメラ画像が動的テクスチャとして配置される仮想映像面を修正することにより排除され得る。この修正は、例えば、ベンド方式でなされ得る。動的テクスチャが配置される映像面は、仮想３次元界において、他の映像面と合成され、戦車の内装のような使用者参照地点を与え得る。頭部位置センサーは、使用者の頭部の地点及び視角に関して、最大６自由度の情報を提供する。この情報に基づき、中央ユニットは、コンピューターグラフィック処理ユニットによって全映像面を処理でき、該当する画像情報を使用者に表示する。
【００３４】
本発明は、仮想３次元（３Ｄ）画像情報を、画像センサーによって記録された周辺画像に合成可能とする。例えば、戦車が、画像に取り込まれ、戦車が位置する場所を示すことができる。種々の理由から、実存の戦車は隠され発見困難な状況になり得る。仮想の戦車は、適当なテクスチャにより３Ｄモデルとなる。このモデルは、コンピュータ・グラフィックにより装飾され、モデル上及びモデルからの影が実態と合うようになっている。
【００３５】
画像センサー及び戦車の内装によって記録された周囲に対して、本発明の使用者が自身の位置をより確認し易いように、例えば、仮想内装が周囲の画像に合成され、使用者がこの内装を参照として使用可能となる点で、有利である。
【００３６】
本発明は、単に画像情報を記録したり表示するよりも広義に使用され得る。例えば、本発明に係る装置及び／又は方法を装備した戦車が任務を負っているとき、搭乗員が任務前、即ち、任務計画において準備できる点で好適である。この準備は、仮想的に任務を立てることも含み得る。この仮想任務が遂行される一方法を次に説明する。
【００３７】
有人又は無人の航空機は、任務が立てられる地域へ送り出される。この航空機は、データ収集、データ処理及び３次元界のモデリングを含む周辺の３次元マッピングのための機器を運搬し、周辺の３次元モデルを生成する。３次元モデルでは、動的作用、例えば、脅威、濃霧、天候及び一日の日光時間が導入され得る。これにより、任務を仮想的に訓練でき、別の手段を試すことができる。
【００３８】
周辺の３次元モデルが利用可能となった際に、実際の任務においても使用され得る。戦車の即時位置を取得可能になると、例えば、周辺からの画像センサー・データが３次元モデルに合成され、補強された周辺体験を与え得る。
【００３９】
本発明は、画像センサーからの情報に基づき、コンピュータ工学によって即時にモデル化される３次元モデルを適用できる。この方法は、「レンダリングに基づく画像」と呼ばれ、この画像の特性は、３次元モデルを構築することに用いられる。
【００４０】
通例のコンピューター・グラフィック工学を用いた一般解によって、上記したようなあらゆる２次元及び３次元の仮想情報が、迅速に画像センサーの画像に合成され、使用者にとって好ましい手法で表示され得る。ＳＴＴＶのような従来システムは、これらの選択が欠けており、単に２次元情報が重ね合わされるものである。
【図面の簡単な説明】
【００４１】
【図１】画像センサー装置及び３次元モデルを示す。
【図２】本発明の実施形態の原理図である。
【図３】３次元モデルを示す
【図４】本発明に係る装置を有する戦車を示す。
【図５】頭部搭載型表示装置を備えた使用者を示す。
【図６】使用者の表示装置への画像情報を示す。
【図１ａ】
【図１ｂ】
【図１ｃ】
【特許請求の範囲】
【請求項１】
周辺界の画像情報を記録し、伝達装置２０を介して中央ユニット３０に接続される画像センサー装置１０と、前記中央ユニット３０で前記画像センサー装置１０からの画像を表示する頭部搭載型の表示装置４０とを備えた、使用者９０に周辺状況の画像を表示するための装置において、前記装置は、使用者の位置５２及び視角５３を検知する頭部位置センサー５１を備え、
前記中央ユニット３０は、コンピュータグラフィック処理ユニット３２を備え、
前記中央ユニット３０は、仮想３次元界を生成し、
前記中央ユニット３０は、前記３次元界にテクスチャとして前記画像センサー装置１０から即時に画像情報８を投射し、
前記中央ユニット３０は、前記表示装置４０に即時に前記３次元界の一部を表示することを特徴とする使用者に周辺状況の画像を表示するための装置。
【請求項２】
前記表示装置４０に表示される前記３次元界の一部は、前記頭部位置センサー５０からの情報によって決定されることを特徴とする請求項１に記載の装置。
【請求項３】
前記中央ユニット３０は、記憶された画像情報８をテクスチャとして前記３次元界に投射することを特徴とする請求項１又は２に記載の装置。
【請求項４】
前記仮想３次元界は、円筒状、球状又は半球状の一部の形式であることを特徴とする請求項１乃至３のいずれか１項に記載の装置。
【請求項５】
前記伝達装置２０の通信は、前記中央ユニットから要求される画像が前記中央ユニット３０へ送信されるように、双方向性であることを特徴とする請求項１乃至４のいずれか１項に記載の装置。
【請求項６】
前記表示装置４０は、使用者の視線に関連して移動する頭部搭載型の小型表示装置などの表示装置であることを特徴とする請求項１乃至５のいずれか１項に記載の装置。
【請求項７】
前記画像センサー装置１０は、前記画像センサーからの画像をデジタル化するための手段を備えていることを特徴とする請求項１乃至６のいずれか１項に記載の装置。
【請求項８】
前記画像センサー装置１０は、使用者の附近、好ましくは使用者の頭部に配置されるカメラ３０を備えていることを特徴とする請求項１乃至７のいずれか１項に記載の装置。
【請求項９】
前記画像センサー装置１０は、追加カメラ１２を備えていることを特徴とする請求項１乃至８のいずれか１項に記載の装置。
【請求項１０】
前記中央ユニット３０は、前記３次元界に仮想物体を投射することを特徴とする請求項１乃至９のいずれか１項に記載の装置。
【請求項１１】
２又はそれ以上の使用者９０に接続された頭部位置センサー５１と、各使用者９０に対応する前記３次元界の一部を表示するための２又はそれ以上の表示装置４０とを備えていることを特徴とする請求項１乃至１０のいずれか１項に記載の装置。
【請求項１２】
周辺界の画像情報８を記録する画像センサー装置１０と、伝達装置２０と、中央ユニット３０と、表示装置４０と、頭部位置センサー５０とを含む、使用者９０に周辺状況の画像を表示するための方法において、
コンピュータグラフィック処理ユニット３２を備えた前記中央ユニット３０が、仮想３次元界を生成し、
前記頭部位置センサー５０が、前記使用者の位置５２及び視角５３に関する情報を前記中央ユニット３０に送信し、
前記中央ユニットが、前記頭部位置センサー５０からの情報に基づき、仮想３次元界に仮想的に前記使用者９０を取り込み、
前記画像センサー装置１０が、前記伝達装置２０を通じて前記中央ユニット３０に画像情報８を送信し、
前記コンピュータグラフィック処理ユニット３２が、前記３次元界に即時にテクスチャとして前記画像センサー装置１０からの即時画像情報８を投射し、
前記中央ユニット３０が、前記使用者の視角周辺領域に配置される前記３次元界の一部を表示するために前記表示装置４０へ送信することを特徴とする使用者に周辺状況の画像を表示するための方法。
【請求項１３】
前記画像センサー装置１０は、前記画像８をデジタル化することを特徴とする請求項１２に記載の方法。
【請求項１４】
前記中央ユニット３０は、表示される画像情報８に対して前記画像センサー装置１０へ要求を送信することを特徴とする請求項１２又は１３に記載の方法。
【請求項１５】
前記画像センサー装置１０は、前記要求された画像情報８を前記中央ユニット３０へ送信することを特徴とする請求項１４に記載の方法。
【請求項１６】
前記中央ユニット３０は、車５の内装などを前記３次元界に取り込み、前記使用者９０に一又はそれ以上の参照点を与えることを特徴とする請求項１２乃至１５のいずれか１項に記載の方法。
【請求項１７】
前記中央ユニット３０は、戦車又は家屋などの仮想物体を前記３次元界に取り込み、より良い周辺状況の画像を与えて使用者を支援することを特徴とする請求項１２乃至１６のいずれか１項に記載の方法。
【請求項１８】
前記中央ユニット３０は、前記使用者の附近のカメラ、好ましくは前記使用者の頭部上のカメラ１３からの画像情報を前記３次元界に取り込むことを特徴とする請求項１２乃至１７のいずれか１項に記載の方法。
【請求項１９】
前記中央ユニット３０は、追加カメラ１２からの画像情報を前記３次元界に取り込むことを特徴とする請求項１２乃至１８のいずれか１項に記載の方法。
【請求項２０】
前記仮想３次元界は、円筒状、球状又は半球状の一部の形式であることを特徴とする請求項１２乃至２０のいずれか１項に記載の装置。
【請求項１】
周辺界の画像情報を記録し、伝達装置２０を介して中央ユニット３０に接続される画像センサー装置１０と、前記中央ユニット３０で前記画像センサー装置１０からの画像を表示する頭部搭載型の表示装置４０とを備えた、使用者９０に周辺状況の画像を表示するための装置において、前記装置は、使用者の位置５２及び視角５３を検知する頭部位置センサー５１を備え、
前記中央ユニット３０は、コンピュータグラフィック処理ユニット３２を備え、
前記中央ユニット３０は、仮想３次元界を生成し、
前記中央ユニット３０は、前記３次元界にテクスチャとして前記画像センサー装置１０から即時に画像情報８を投射し、
前記中央ユニット３０は、前記表示装置４０に即時に前記３次元界の一部を表示することを特徴とする使用者に周辺状況の画像を表示するための装置。
【請求項２】
前記表示装置４０に表示される前記３次元界の一部は、前記頭部位置センサー５０からの情報によって決定されることを特徴とする請求項１に記載の装置。
【請求項３】
前記中央ユニット３０は、記憶された画像情報８をテクスチャとして前記３次元界に投射することを特徴とする請求項１又は２に記載の装置。
【請求項４】
前記仮想３次元界は、円筒状、球状又は半球状の一部の形式であることを特徴とする請求項１乃至３のいずれか１項に記載の装置。
【請求項５】
前記伝達装置２０の通信は、前記中央ユニットから要求される画像が前記中央ユニット３０へ送信されるように、双方向性であることを特徴とする請求項１乃至４のいずれか１項に記載の装置。
【請求項６】
前記表示装置４０は、使用者の視線に関連して移動する頭部搭載型の小型表示装置などの表示装置であることを特徴とする請求項１乃至５のいずれか１項に記載の装置。
【請求項７】
前記画像センサー装置１０は、前記画像センサーからの画像をデジタル化するための手段を備えていることを特徴とする請求項１乃至６のいずれか１項に記載の装置。
【請求項８】
前記画像センサー装置１０は、使用者の附近、好ましくは使用者の頭部に配置されるカメラ３０を備えていることを特徴とする請求項１乃至７のいずれか１項に記載の装置。
【請求項９】
前記画像センサー装置１０は、追加カメラ１２を備えていることを特徴とする請求項１乃至８のいずれか１項に記載の装置。
【請求項１０】
前記中央ユニット３０は、前記３次元界に仮想物体を投射することを特徴とする請求項１乃至９のいずれか１項に記載の装置。
【請求項１１】
２又はそれ以上の使用者９０に接続された頭部位置センサー５１と、各使用者９０に対応する前記３次元界の一部を表示するための２又はそれ以上の表示装置４０とを備えていることを特徴とする請求項１乃至１０のいずれか１項に記載の装置。
【請求項１２】
周辺界の画像情報８を記録する画像センサー装置１０と、伝達装置２０と、中央ユニット３０と、表示装置４０と、頭部位置センサー５０とを含む、使用者９０に周辺状況の画像を表示するための方法において、
コンピュータグラフィック処理ユニット３２を備えた前記中央ユニット３０が、仮想３次元界を生成し、
前記頭部位置センサー５０が、前記使用者の位置５２及び視角５３に関する情報を前記中央ユニット３０に送信し、
前記中央ユニットが、前記頭部位置センサー５０からの情報に基づき、仮想３次元界に仮想的に前記使用者９０を取り込み、
前記画像センサー装置１０が、前記伝達装置２０を通じて前記中央ユニット３０に画像情報８を送信し、
前記コンピュータグラフィック処理ユニット３２が、前記３次元界に即時にテクスチャとして前記画像センサー装置１０からの即時画像情報８を投射し、
前記中央ユニット３０が、前記使用者の視角周辺領域に配置される前記３次元界の一部を表示するために前記表示装置４０へ送信することを特徴とする使用者に周辺状況の画像を表示するための方法。
【請求項１３】
前記画像センサー装置１０は、前記画像８をデジタル化することを特徴とする請求項１２に記載の方法。
【請求項１４】
前記中央ユニット３０は、表示される画像情報８に対して前記画像センサー装置１０へ要求を送信することを特徴とする請求項１２又は１３に記載の方法。
【請求項１５】
前記画像センサー装置１０は、前記要求された画像情報８を前記中央ユニット３０へ送信することを特徴とする請求項１４に記載の方法。
【請求項１６】
前記中央ユニット３０は、車５の内装などを前記３次元界に取り込み、前記使用者９０に一又はそれ以上の参照点を与えることを特徴とする請求項１２乃至１５のいずれか１項に記載の方法。
【請求項１７】
前記中央ユニット３０は、戦車又は家屋などの仮想物体を前記３次元界に取り込み、より良い周辺状況の画像を与えて使用者を支援することを特徴とする請求項１２乃至１６のいずれか１項に記載の方法。
【請求項１８】
前記中央ユニット３０は、前記使用者の附近のカメラ、好ましくは前記使用者の頭部上のカメラ１３からの画像情報を前記３次元界に取り込むことを特徴とする請求項１２乃至１７のいずれか１項に記載の方法。
【請求項１９】
前記中央ユニット３０は、追加カメラ１２からの画像情報を前記３次元界に取り込むことを特徴とする請求項１２乃至１８のいずれか１項に記載の方法。
【請求項２０】
前記仮想３次元界は、円筒状、球状又は半球状の一部の形式であることを特徴とする請求項１２乃至２０のいずれか１項に記載の装置。
【図２】
【図３ａ】
【図３ｂ】
【図３ｃ】
【図３ｄ】
【図４】
【図５】
【図６】
【図３ａ】
【図３ｂ】
【図３ｃ】
【図３ｄ】
【図４】
【図５】
【図６】
【公表番号】特表２００８−５０４５９７（Ｐ２００８−５０４５９７Ａ）
【公表日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００７−５１８００６（Ｐ２００７−５１８００６）
【出願日】平成１７年６月２１日（２００５．６．２１）
【国際出願番号】ＰＣＴ／ＳＥ２００５／０００９７４
【国際公開番号】ＷＯ２００５／１２４６９４
【国際公開日】平成１７年１２月２９日（２００５．１２．２９）
【出願人】（５００２８８１６４）トータルフェルスバレッツ フォルスクニングスインスティテュート (3)
【Ｆターム（参考）】
【公表日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１７年６月２１日（２００５．６．２１）
【国際出願番号】ＰＣＴ／ＳＥ２００５／０００９７４
【国際公開番号】ＷＯ２００５／１２４６９４
【国際公開日】平成１７年１２月２９日（２００５．１２．２９）
【出願人】（５００２８８１６４）トータルフェルスバレッツ フォルスクニングスインスティテュート (3)
【Ｆターム（参考）】
[ Back to top ]