説明

第2の対象物に対する第1対象物の相対位置を決定する方法及びシステム及び、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体

本発明は、第2の対象物に対する第1の対象物の相対位置を決定する方法及びシステム、並びに対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体に関する。この発明は、特に、多様な複雑性を有する環境において、測定装置の空間的な位置及び方向を決定することに使用することが出来る。
コンピュータシミュレーションで対象物の相対位置を決定し、そうして決定された位置及び方向に関するバーチャル座標から、対象物の位置及び方向の実際の座標を決定することを提案する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特に、複雑な環境で測定システムの空間的位置や方向を決定するために使用することの出来る、第2の対象物に対する第1対象物の相対位置を決定する方法及びシステム及び、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体に関する。
【背景技術】
【0002】
例えば、音響分析において、音を視覚化する際に、視覚化された音の表示が音響機器の画像上に重ねられる形で表示されることがある。そうした音響分析を行なうシステムを、一般的にアコースティックカメラと称する。
【0003】
アコースティックカメラを用いた音響分析を、2次元空間から3次元空間に拡張する形で実験が行なわれた。測定は、以下の処理フローに基づいて行なわれた。
1.アコースティックカメラを、所望する結果と測定状況に基づいて、測定すべき空間(自動車の室内空間、音響実験室など)にセットした。(図1参照);
2.該空間又は測定対象の3次元モデルと使用するカメラのモデルがコンピュータに読み込まれた。
3.空間内のカメラの位置(即ち、位置と方向)及び測定対象に対するカメラの相対位置が手動で決定された。
4.測定及び評価がなされた。
【0004】
個々の場合において、上記処理のステップ3は非常に不確実で、不正確かつ時間を要するものであることが判明した。
・位置及び方向を決定するために、定規や巻き尺及び分度器を用いて少なくとも6つの測定を行なわなければならない。また、距離及び立体角が決定されなければならない(X−、Y−、Z−位置、該X−、Y−、Z−軸を中心とする回転)。
・アコースティックカメラとモデル(モデルは基本的には、ユーザが提供する)は異なる座標系を持ち、歪んだ及び/又は曲がったしかも狭い空間及びモデル(自動車の内部空間)であり得ることから別の問題が生じる。
・位置決定の精度が一般的には曖昧である。
・処理に時間が掛かり、複雑で不正確であるため、これらのシステムは殆ど使用されない。
【0005】
ロボットアシストされた製造現場においてカメラの位置を決定して、製造環境のヴァーチャルモデル上に実際の画像を重ね合わせる為に、ドイツ公開公報DE10345743A1が提案された。それは、カメラをロボットの上に設置し、ロボットの内部測定システム、例えば、ロボットの角度駆動における角度センサを使用して、カメラの位置を決定するものである。しかし、この方法は、ロボットの座標系が既知であるとの仮定に基づく。この方法は、支持されていないカメラや他のセンサでは使用できない。
【0006】
従って、本発明の目的は、第2の対象物に対する第1の対象物の相対位置を決定する方法及びシステムを提供することであり、また、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体を提供することである。そして、それらは前述の欠点を取り除き、特にユーザに関する位置決めの問題を、明快かつ直感的、しかも簡単に短時間で解決するものである。
【0007】
この目的は、クレーム1,13,18及び19に示された特色による発明に基づいて達成された。本発明の更に有益な実施例は、従属クレームに示されている。
【0008】
本発明によると、第2の対象物に対する第1の対象物の相対位置を決定する方法と共に、少なくとも一つの、電磁的波及び/又は音響的波を記録する装置(以下、単に記録装置と称する)、例えば光学カメラを用いることで、方法ステップは大幅に自動化され、相対値の決定に要する時間は大きく削減される。第1の対象物と少なくとも一つの記録装置、例えば、第1の対象物に公知の所定の方法で固定的に接続された記録装置の間の位置関係は、規定されている。加えて少なくとも一つの記録装置は、第2の対象物から発せられる電磁的及び/又は音響的な波の少なくとも一部を、該少なくとも一つの記録装置で記録出来るように位置決めされている。光学カメラを記録装置として使用した場合には、第2の対象物の少なくとも一部が記録媒体(フィルム、CCDチップ)上に投影される。本発明によると、電磁的及び/又は音響的な記録は、例えば一つ又はいくつかのコンピュータプログラムの形で、対応するプログラムコードが格納されたデータ処理装置によりシミュレートされる。これは、コンピュータが生成した第2の対象物物のモデルと少なくとも一つの記録装置のモデルをバーチャル空間内に配置することで達成される。第2の対象物と記録装置のモデルの位置は、モデル座標システムによりバーチャル空間内で規定され、波の伝達と波の記録をシミュレートすることが出来る。これで、第1の対象物の第2の対象物に対する相対位置は、少なくとも一つの記録装置により測定値の少なくとも一部をデータ処理装置に伝達することで決定され、そこで、シミュレーションにより得られた値との類似点が比較され、評価される。もし、記録装置がカメラの場合には、これは、実際のカメラで記録された画像とシミュレーションにより記録された画像とを比較する、パターン比較により行なうことが出来る。もし、比較の結果十分な類似性が認められれば、このことにより、第2の対象物に対する記録装置の相対位置は、本質的にバーチャル空間内の第2の対象物のモデルに対する少なくとも一つの記録装置のモデルの相対位置と同一である。第1の対象物と記録装置との間の位置関係は十分に規定されることから、第2の対象物に対する第1の対象物の相対位置は、第2の対象物に対する少なくとも一つの記録装置の相対位置から簡単に導くことが出来る。類似性の評価には、ユーザが定義した基準を用いることが出来る。
【0009】
もし、類似性の基準が満たされなかった時は、少なくとも一つの記録装置の位置を該記録装置により記録される測定値が、シミュレートされた記録の値と合うように変化させる。この位置の変更は、手動又はコンピュータプログラムによる制御の下で自動的に行なうことが出来る。いくつかの実施例では、代りに又は追加的に、バーチャル空間内の少なくとも一つの記録装置のモデルの位置及び/又は第2の対象物のモデルの位置を変えることが有効である。少なくとも一つの記録装置により記録された値及び/又はシミュレーションにより生成された値はこうして変化し、再度比較及び再評価することが出来る。この処理は、所定の類似性の基準が満たされるまで継続することが出来る。
【0010】
第1の対象物は、少なくとも一つのセンサを持った測定装置とすることが出来る。好ましくは、該測定装置は、アレイセンサを有する。特に、このアレイは同一のセンサから構成されることが望ましい。少なくとも一つの記録装置は、第1の対象物に一時的に固定される形で一体化することで、所定の位置関係を保つことが望ましい。これは、例えば、取り外し自在なアタッチメント手段を用いることで可能となる。特に好ましい実施例によると、第1の対象物は、記録装置として少なくとも一時的に固定される形で一体化された光学カメラを有するアコースティックカメラである。即ち、前記測定装置は、少なくとも一時的に固定される形で一体化された光学カメラを有するマイクロフォンアレイとして実施される。
【0011】
この方法は、以下のような特有の効果を有する。
・3次元座標及び立体角の測定が不要である。
・記録装置は迅速に、かつ直感的にそして明快に位置決めし、方向付けることが出来る。
【0012】
実際の仕事によっては、少なくとも一つの記録装置の位置を変化させ、少なくとも一つの記録装置のモデル及び/又は第2の対象物のモデルの固定化されたバーチャル配列を維持することが望ましい場合がある。例えば、記録装置(例えば、カメラ)を前回の記録又は測定の位置に配置して実行された記録又は測定を再構築するために、又は、同一の条件下で記録又は測定を繰り返すために、である。例えば、前回記録した測定値が重ねられ、実際のカメラにより記録された生映像と比較される。その後、実際のカメラはもとの記録又は測定位置及び方向に移動される。
【0013】
もし、測定装置を、自動車の車内空間などの(複雑な)情景内で、好ましい測定位置に移動させた場合、他の問題が生じる。(少なくとも一つの記録装置に関して明確な位置にある)測定装置及び情景(第2の対象物)の位置が決定されなければならない。この場合、少なくとも一つの記録装置のモデル及び/又は第2の対象物のモデルの配列は、バーチャル空間内で変化され、第1の対象物(及び少なくとも一つの記録装置)を表す測定装置の位置は固定されたままである。
【0014】
少なくとも一つの記録装置により記録された測定値は、例えば有線又は無線の通信リングを介してコンピュータプログラムに供給される。
【0015】
コンピュータをベースにしたモデルでは、個々の要素はモデル座標系に基づいて方向付けられる。第2の対象物に対する第1の対象物の位置も所定の座標系に基づいて規定される。この座標系は、絶対項で規定することができ、即ち、第1の対象物及び第2の対象物とは独立している。しかし、第1の対象物と第2の対象物は固定的な関係を持つことも出来る。本発明の方法における好適な実施例では、実際及びバーチャルな第1の対象物と第2の対象物はそれぞれ対応する座標系に関連づけることが可能であり、第2の対象物に対する第1の対象物の相対位置は、少なくとも一つの記録装置のモデルと第2の対象物のモデルの相対位置から、座標変換により求めることが出来る。必要なものは、簡単な座標変換だけである。
【0016】
本発明の方法の別の好ましい実施例によると、記録装置がカメラの場合には、測定値の比較は、写真測量法、コンピュータグラフィックで用いられる処理ステップ及び/又は画像処理で用いられる処理ステップを含む。特に、写真測量法の処理ステップでは共線条件の評価を含み、更に/又は画像処理の処理ステップではパターン比較を含む。
【0017】
測定値の比較では、少なくとも一つの類似した値を決定することを含むことが望ましい。この類似した値に基づいて、モデルの実際の状況への適用(逆もまた同様)を終了させ、二つの対象物の相対位置を決定することが出来る。本発明の方法における他の好適な実施例においては、該類似した値は異なる分析により決定される。
【0018】
本発明の方法の別の好ましい実施例によると、少なくとも一つの記録装置により記録された値及び/又はシミュレーションで得られた値を可視化することが出来る。それは、データ処理装置のユーザインターフェース上で行なうことが望ましい。
【0019】
第2の対象物に対する第1の対象物の相対位置を決定する方法は、バーチャル空間内での少なくとも一つの記録装置のモデル及び/又は第2の対象物のモデルの配置を変化させること、及び/又は少なくとも一つの記録装置の位置を変化させることを最適化することで、加速させることが出来る。そうした最適化は、初期値として、少なくとも一つの記録装置により記録された測定値のセットから少なくとも一つの測定値を指定し、第2の対象物のモデルのそれぞれの点を関連するターゲット値として指定し、少なくとも一つの記録装置の位置及び/又は、バーチャル空間内の少なくとも一つの記録装置及び/又は第2の対象物のモデル配列を、指定された初期値及びターゲット値に基づいて自動的に変化させることで、達成される。行なうべきタスクに応じて(上述の議論を参照)、第2の対象物のモデルの少なくとも一つの点を初期値として指定することが良い。そして、少なくとも一つの記録装置により記録された測定値のセットからそれぞれの測定値を、関連するターゲット値として指定するとよい。この指定の後、位置又はバーチャルな配置はコンピュータプログラムの下、自動的に変更される。
【0020】
少なくとも一つの初期値及びターゲット値が、データ処理装置のユーザインターフェースを介してユーザが入力したデータにより指定されることが望ましい。データの入力には、コンピュータマウス、タッチスクリーンなど全ての入力手段を使用することが出来る。
【0021】
もし、記録装置が光学カメラの場合、第2の対象物のモデルの点(ターゲット値)とカメラのモデルの点(初期値)を通って伸びるこれらの点のペアを作ることで、接続線が定義される。その点は、実際の第2の対象物の点が投影される、実際の光学カメラにおける点に対応し、それは、該モデルのターゲット値に対応する。接続線は共線条件に関して評価され、少なくとも一つの記録装置の位置が変えられ、及び/又は第2の対象物のモデルがバーチャル空間内で変えられる。これらの位置変更の結果、ターゲット値は、それぞれの初期値上に記録されたカメラシミュレーションにより表示される。違う言い方をすると;バーチャルカメラ(少なくとも一つの記録装置のモデル)は、第2の対象物のモデルを、実際の光学カメラが実際の第2の対象物を見るのと同じ形で、見ることとなる。
【0022】
本発明の方法における別の好適な実施例によると、第2の対象物に対する第1の対象物の相対位置は、少なくとも一つの記録装置により測定値を記録しながら(オンライン)決定することが出来る。
【0023】
第2の対象物に対する第1の対象物の相対位置を決定する方法に基づくシステムは、データ処理装置及び、第1の対象物に対して明確な位置関係にある電磁的及び/又は音響的波に対する少なくとも一つの記録装置を有する。少なくとも一つの記録装置は、第2の対象物から発生する電磁的及び/又は音響的な波が該少なくとも一つの記録装置により少なくとも一部、記録されるように設けられている。システムは、第2の対象物に対するする第1の対象物の相対位置を決定する方法が、バーチャル空間内に少なくとも一つの記録装置のモデル及び第2の対象物のモデルを配置することで、データ処理装置にインストールされた一つ以上のコンピュータプログラムにより、電磁的及び/又は音響的な波をシミュレーション記録し、第2の対象物に対する第1の対象物の相対位置を決定する方法が実行されるように、構成されている。そして、この決定は、
−少なくとも一つの記録装置により記録された測定値をコンピュータプログラムに提供し、それらの類似性に関して該測定値をシミュレーション及び評価することで生成された値と該測定値を比較する、
−評価の結果、所定の基準を満足した場合、バーチャル空間内の第2の対象物のモデルに対する少なくとも一つの記録装置のモデルの相対位置から、第2の対象物に対する第1の対象物の相対位置を引き出し、又は、
−少なくとも一つの記録装置の位置を変化させ、及び/又はバーチャル空間内の少なくとも一つの記録装置のモデル及び/又は第2の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び/又は少なくとも一つの記録装置により記録される値を、変化させ比較し、再評価する。
【0024】
第2の対象物に対する第1の対象物の相対位置を決定する方法は、コンピュータプログラムにより実行されると好都合である。本発明によるコンピュータプログラムは、該コンピュータプログラムがコンピュータメモリにロードされると、第2の対象物に対する第1の対象物の相対位置を決定する方法をコンピュータに実行させる。この方法では、第1の対象物は、電磁的及び/又は音響的な波に対する少なくとも一つの記録装置に対して規定された位置関係を有しており、少なくとも一つの記録装置は、該少なくとも一つの記録装置により第2の対象物からの発生する電磁的及び/又は音響的な波を少なくとも一部記録することが出来るように配置されている。その電磁的及び/又は音響的な波の記録は、データ処理装置にインストールされた一つ以上のコンピュータプログラムを有する該データ処理装置内で、バーチャル空間内に少なくとも一つの記録装置のモデルと第2の対象物のモデルを配置する形でシミュレートされる。そして、第1の対象物の相対位置を第2の対象物に対して決定するには、
−該少なくとも一つの記録装置により記録された測定値をコンピュータプログラムに提供し、シミュレーションにより生成された値と該測定値を比較し、該測定値をその類似性に関して評価する、
−評価の結果、所定の基準を満足した場合、バーチャル空間内の第2の対象物のモデルに対する少なくとも一つの記録装置のモデルの相対位置から、第2の対象物に対する第1の対象物の相対位置を引き出し、又は、
−少なくとも一つの記録装置の位置を変化させ、及び/又はバーチャル空間内の少なくとも一つの記録装置のモデル及び/又は第2の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び/又は少なくとも一つの記録装置により記録される値を、変化させ比較し、再評価する。
【0025】
例えば、コンピュータプログラムは、(有料又は無料、自由アクセス又はパスワードにより保護された形で)ダウンロード用データ又は通信ネットワークで供給することが出来る。供給されたコンピュータプログラムは方法を使用することが出来る。クレーム18によるコンピュータプログラムは、例えば、インターネットなどの電子データネットワークから、該データネットワークに接続されたデータ処理システムにダウンロードされる。
【0026】
本発明のコンピュータプログラムはコンピュータ可読媒体に記録させて配布することが出来る。該媒体はプログラムを格納しており、該プログラムはコンピュータに、該コンピュータプログラムがコンピュータメモリにロードされると、第2の対象物に対する第1の対象物の相対位置を決定する方法を実行させる。この方法では、第1の対象物は、電磁的及び/又は音響的な波に対する少なくとも一つの記録装置に対して規定された位置関係を有しており、少なくとも一つの記録装置は、該少なくとも一つの記録装置により第2の対象物から発生する電磁的及び/又は音響的な波を少なくとも一部記録することが出来るように配置されている。その電磁的及び/又は音響的な波の記録は、データ処理装置にインストールされた一つ以上のコンピュータプログラムを有する該データ処理装置内で、バーチャル空間内に少なくとも一つの記録装置のモデルと第2の対象物のモデルを配置する形でシミュレートされる。そして、第1の対象物の相対位置を第2の対象物に対して決定するには、
−該少なくとも一つの記録装置により記録された測定値をコンピュータプログラムに提供し、シミュレーションにより生成された値と該測定値を比較し、該測定値をその類似性に関して評価する、
−評価の結果、所定の基準を満足した場合、バーチャル空間内の第2の対象物のモデルに対する少なくとも一つの記録装置のモデルの相対位置から、第2の対象物に対する第1の対象物の相対位置を引き出し、又は、
−少なくとも一つの記録装置の位置を変化させ、及び/又はバーチャル空間内の少なくとも一つの記録装置のモデル及び/又は第2の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び/又は少なくとも一つの記録装置により記録される値を、変化させ、再度比較し、再評価する。
【発明を実施するための最良の形態】
【0027】
本発明の例示的な実施例を添付した図面を参照して述べる。
【0028】
図1は、アコースティックカメラと測定すべき3次元対象を示し、a)はボックスモデルであり、b)は自動車の室内空間である。
【0029】
図2は、空間に投影された3次元対象物の生画像、3次元モデル(図2a ボックスモデル;図2b 自動車の室内空間)及びバーチャルカメラからみたアコースティックカメラのマイクロフォンを示すものであり(コンピュータのモニタスクリーン上に視覚化される)、該3次元対象物はアコースティックカメラに接続された光学カメラにより記録される。
【0030】
図3は、3次元モデル(図3aはボックスモデル、図3bは、自動車の室内空間)及び光学カメラによる光学画像を示すモニタの表示。
【0031】
図4a、bは、図3の画像において、アコースティックカメラのモデルと該アコースティックカメラに接続された光学カメラを、光学カメラによる光学画像(生画像)とバーチャルカメラで記録されたモデル画像の2次元投影像が、最初の近似的で一致するように、位置及び方向を決めたもの。
【0032】
図5a、bは、図4の画像において、バーチャルカメラで記録されたモデル画像の2次元投影像を光学カメラによる光学画像に自動適合させ、対応点を選択したもの。
【0033】
図6a、bは、図5の画像において、位置及び方向を演算改善したもの。
【0034】
図7a、bは、3次元モデル上の画像(図7aはボックスモデル、頭7bは自動車の室内空間)。位置と方向がうまく決定された後の、光学カメラを有するアコースティックカメラのマイクロフォン及びバーチャルカメラによる光学画像。
【0035】
本発明の例を、単純な幾何学形状を有する対象(ボックスモデル1)及び複雑な環境(自動車の室内空間2)に関連して、アコースティックカメラ3の位置を決定する特定の状況で説明する。以下に述べる方法では、アコースティックカメラ3は測定に都合の良い場所に配置され、光学カメラ7の実際の生画像6を、バーチャルカメラによる関連する記録と、該コンピュータによるモデル(3次元対象のモデル4又は自動車の室内空間2のモデル5)を改変することで整合させる。二つの画像が整合した後、光学カメラ7とボックスモデル1又は自動車の室内空間2との相対的な位置が分かり、アコースティックカメラ3とボックスモデル1又は自動車の室内空間2との間の相対的な位置が、光学カメラ7とアコースティックカメラ3との間の規定された位置関係から容易に計算することが出来る。
【0036】
本発明は、以下に述べる例示的な実施例に限定されることなく例えば、光学カメラ7を、生画像をバーチャルカメラの擬似的な記録と整合させる目的から、移動させる方法も使用可能であり、更に、異なる電磁的記録装置及び/又は音響的記録装置(例えば、アコースティックカメラ)を光学カメラ7の代りに使用する方法も可能である。
【0037】
例示的な実施例では、光学センサを組み込んだアコースティックカメラ3が使用される。例えば、生のビデオ画像を生成するデジタルビデオカメラなどである。カメラは物理的な形態で存在する。アコースティックカメラ3はここでは第1の対象物あり、光学カメラ7は少なくと一つの記録装置である。
【0038】
更に、好適な実施例では、光学カメラ7の測定値の取得をシミュレートするバーチャルカメラが用いられる。バーチャルカメラは、従って、3次元場面を見るために使用することが出来る特定のカメラを介したバーチャル画像を表示することが出来る。バーチャル画像には、モニタ又はディスプレイ上のアコースティックカメラのモデル8及び3次元対象のモデル4(図2a、b参照)からなる。特に、該シミュレーションには、(実際の)光学カメラ7のレンズ装置を介した実際の対象物から光路を辿ることや、(実際の)光学カメラ7の対応する記録媒体(CCDチップ又はフィルム)上に(実際の)3次元場面を投影することも含む。シミュレーションは、実際の光学カメラ7の光学パラメータ、例えば、焦点距離、開口角、及びおそらくは歪み、を考慮するので、該シミュレーションの結果は、対応する実際の情景が実際の光学カメラ7で記録されたかのような正確な、バーチャル3次元場面の2次元投影となる。
【0039】
ボックスモデル1又は自動車の室内空間2に対するアコースティックカメラ3の相対位置は、例えば、以下のような方法で、決定することが出来る(ここで、決定すべきアコースティックカメラ3の相対位置の関連において、ボックスモデル1又は自動車の室内空間2を第2の対象物と表示する)。
【0040】
1.アコースティックカメラ3を、適宜な空間(自動車の室内空間2、音響実験室、など)内に、所望の測定条件及び所望する想定結果に従って、配置する(図1a、b)。
【0041】
2.空間又は測定対象物(例えば、ボックスモデル1又は自動車の室内空間2)の3次元モデル及び使用するアコースティックカメラのモデルをコンピュータにロードする。この光景は、バーチャルカメラを介して見ることが出来、バーチャルカメラを介した表示は、コンピュータのディスプレイスクリーン上で見ることが出来る。図2a又は2bに示すものである。
【0042】
図2a及び2bは、光学カメラ7からの生画像6も示している。
【0043】
3.位置と方向の決定
・第1のステップでは、バーチャルカメラは自動的に光学カメラ9のモデルの位置及び方向へ移動される。コンピュータプログラムを用いると、グラフィックユーザインタフェースを介して入力を行なうことで、例えば、“カメラオリエンテーション”ボタンを押すことで、達成することが出来る。両方のカメラ位置が整合すると、バーチャルカメラと光学カメラのモデル9が“合体”する。ユーザは、ここで、アコースティックカメラのモデル8内に位置する光学カメラのモデル9の視野から情景を見ているかの印象をもつ。生映像6と3次元モデルは、画像の透明度を変化させることで共に見ることが出来る(図3a,3b参照)。
【0044】
・バーチャルカメラの位置及び方向は、マウス及びカーソルキーで(バーチャル)モデル空間内で変更させることが出来、これにより、3次元対象物(3次元対象物のモデル4又は、自動車の室内空間のモデル5)は実際の生画像6(追跡画像)と概略的に整合する。アコースティックカメラのモデルは、こうして同様な方法で追従する。
【0045】
・概略的な位置決めを行なうと、コンピュータのディスプレイは、生映像6と(実際の光学カメラ7による測定値の取得のシミュレーションの結果としての)バーチャル3次元情景の2次元投影11との、粗い整合を示す。後の全てのステップは、自動化することが出来る。例えば、コンピュータプログラムは位置決めモードに切替えることが出来る。引き続き、点ペア10(好ましくは、モデルの点と生映像6の対応する点)をコンピュータマウスを用いてコンピュータのディスプレイ上で選択する。(対応点ペアは、例えば、ボックスモデルの右上部の角と投影された箱の右上部の角などである。)点ペア10は、コンピュータのディスプレイ上で両側矢印として表示するとよい。少なくとも、空間的に離れた3つの点ペア10を選択すべきである。それぞれの追加的な点ペア10は、位置と方向を改善し、正確性の評価を高めることができる。ユーザによる入力ミス(孤立値)は自動的に判別することが出来る(図5a、b)。
【0046】
・点ペア10の入力により、使用すべきデータを持ったコンピュータプログラムは、バーチャルカメラを実際の光学カメラ7と同じ位置に自動的に移動させ、バーチャルカメラにより記録されたモデル情景の2次元投影11が生映像6と一致する。この目的のために多数の画像処理方法が知られている。前述の議論において、即ち、モデル上の点と生映像6の対応する点を選択する際に、共線性の条件を評価すると良い。これらの共線性の条件の評価を実行するコンピュータプログラムは、例えば、“計算”ボタンを押すことで実行することが出来る。正しいカメラ位置及び方向はこうして決定され、(“ぴったり”)が表示される。バーチャルカメラにより記録されたモデル情景の2次元投影像11は、いまや生映像6と一致することとなる。光学カメラのモデル9の位置及び方向そして、該光学カメラに接続されたアコースティックカメラ3の位置は、対応するモデルの座標が既知なので、測定対象に対して容易に決定される(図6a、6b)。
【0047】
点ペア10の入力時に間違いが生じやすい。他の実施例によれば、これらの間違いは、点ペア10を用いて整合を取った後、更に、3次元情景の2次元投影及び生映像6との間の図形を比較する追加的なステップを介して、ボックスモデル1又は自動車の室内空間2に対するアコースティックカメラ3の相対位置を参照することで、直すことが出来る。この追加的な図形の比較は、点ペア10の選択に際した入力エラーを直すためにも使用可能である。
【0048】
ボックスモデル1又は自動車の室内空間2に対するアコースティックカメラ3の相対位置を決定することは、バーチャル3次元情景の2次元投影像と生映像6間の図形の比較だけでも可能である。即ち、実際に生映像6の点とバーチャルモデルの点を結ぶ必要はない。この目的のために、光学カメラのモデル9は、3次元モデル内で仮想的に移動し、更なる移動方向について、又は生成された仮想3次元情景の2次元投影像11と生映像6の図形を比較することでこの方法を終わらせることを決定する(好ましくは、自動的に)。
【0049】
・バーチャルカメラは光学カメラのモデル9の位置及び方向から取り外すことが出来、情景を“外側”から見ることが出来る。モデル情景内のアコースティックカメラのモデル8及び3次元対象物のモデル4又は自動車の室内空間のモデル5は、実際のアコースティックカメラ3及び実際のボックスモデル1又は自動車の実際の室内空間2と正確に同じ状態(位置及び方向)である。
【0050】
本発明の実施に当たっては、前述した好適な例示的実施例に限定されることはない。本発明の方法及びシステムを全く異なった態様で使用する多数の変形が考えられるものである。
【図面の簡単な説明】
【0051】
【図1】図1は、アコースティックカメラと測定すべき3次元対象を示し、a)はボックスモデルであり、b)は自動車の室内空間である。
【図2】図2は、空間に投影された3次元対象物の生画像、3次元モデル(図2a ボックスモデル;図2b 自動車の室内空間)及びバーチャルカメラからみたアコースティックカメラのマイクロフォンを示すものであり(コンピュータのモニタスクリーン上に視覚化される)、該3次元対象物はアコースティックカメラに接続された光学カメラにより記録される。
【図3】図3は、3次元モデル(図3aはボックスモデル、図3bは、自動車の室内空間)及び光学カメラによる光学画像を示すモニタの表示。
【図4】図4a、bは、図3の画像において、アコースティックカメラのモデルと該アコースティックカメラに接続された光学カメラを、光学カメラによる光学画像(生画像)とバーチャルカメラで記録されたモデル画像の2次元投影像が、最初の近似的で一致するように、位置及び方向を決めたもの。
【図5】図5a、bは、図4の画像において、バーチャルカメラで記録されたモデル画像の2次元投影像を光学カメラによる光学画像に自動適合させ、対応点を選択したもの。
【図6】図6a、bは、図5の画像において、位置及び方向を演算改善したもの。
【図7】図7a、bは、3次元モデル上の画像(図7aはボックスモデル、頭7bは自動車の室内空間)。位置と方向がうまく決定された後の、光学カメラを有するアコースティックカメラのマイクロフォン及びバーチャルカメラによる光学画像。
【符号の説明】
【0052】
1……ボックスモデル
2……自動車の室内空間
3……アコースティックカメラ
4……3次元対象物のモデル
5……自動車の室内空間のモデル
6……生映像
7……光学カメラ
8……アコースティックカメラのモデル
9……光学カメラのモデル
10……点ペア
11……バーチャルカメラにより記録されたモデル情景の2次元投影画像
【図1a】

【図1b】

【図2a】

【図2b】

【図3a】

【図3b】

【図4a】

【図4b】

【図5a】

【図5b】

【図6a】

【図6b】

【図7a】

【図7b】


【特許請求の範囲】
【請求項1】
第2の対象物に対する第1の対象物の相対位置を決定する方法であって、前記第1の対象物は、少なくとも一つの、電磁的及び/又は音響的な波に対する記録装置に対して規定された位置関係を有し、該少なくとも一つの記録装置は、前記第2の対象物から発生する波を該少なくとも一つの記録装置により少なくとも一部記録することが出来るように設けられており、
前記電磁的及び/又は音響的な波の記録は、一つ以上のコンピュータプログラムがインストールされたデータ処理装置内で、バーチャル空間内に前記少なくとも一つの記録装置のモデル及び前記第2の対象物のモデルを配置する形でシミュレートされ、
前記第2の対象物に対する第1の対象物の相対位置は、
−前記少なくとも一つの記録装置により記録された測定値を前記コンピュータプログラムに供給し、前記シミュレーションにより生成された値と前記測定値を比較し、該測定値の類似性を評価する、
−もし該評価の結果が所定の基準を満足させたなら、バーチャル空間内の前記第2の対象物のモデルに対する前記少なくとも一つの記録装置のモデルの前記相対位置から、前記第2の対象物のモデルに対する前記第1の対象物の相対位置を導き出し、又は、
−前記少なくとも一つの記録装置の位置を変化させ、及び/又はバーチャル空間内の前記少なくとも一つの記録装置のモデル及び/又は前記第2の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び/又は、前記少なくとも一つの記録装置により記録される値を、変化させ、再度比較し、再評価する、
ことで決定される、
ことを特徴とする、第2の対象物に対する第1の対象物の相対位置を決定する方法。
【請求項2】
前記記録装置として、光学カメラ(7)及び/又はアコースティックカメラが使用される、
ことを特徴とする請求項1記載の方法。
【請求項3】
前記第1及び第2の第2の対象物並びに前記少なくとも一つの記録装置のモデル及び前記第2の対象物のモデルは、対応する座標系で関連づけられており、前記第2の対象物に対する前記第1の対象物の前記相対位置は、バーチャル空間内の前記第2の対象物のモデルに対する前記少なくとも一つの記録装置のモデルの相対位置から、座標変換により導かれる、
ことを特徴とする、請求項1又は2記載の第2の対象物に対する第1の対象物の相対位置を決定する方法。
【請求項4】
前記測定値の比較は、写真測量法、コンピュータグラフィックで使用される処理ステップ及び/又は画像処理で使用される処理ステップを含む、
ことを特徴とする、請求項1乃至3の内、いずれか1項記載の第2の対象物に対する第1の対象物の相対位置を決定する方法。
【請求項5】
前記測定値の比較は、少なくとも一つの類似値を決定することを含む、
ことを特徴とする、請求項1乃至4の内、いずれか1項記載の第2の対象物に対する第1の対象物の相対位置を決定する方法。
【請求項6】
前記類似値は、差分の分析によって決定される、
ことを特徴とする、請求項5に記載の第2の対象物に対する第1の対象物の相対位置を決定する方法。
【請求項7】
前記少なくとも一つの記録装置により記録された測定値のセットから、少なくとも一つの記録を初期値として指定し、前記第2の対象物のモデルの対応する点を関連するターゲット値と指定し、前記指定された初期値及びターゲット値に基づいて、前記少なくとも一つの記録装置の位置及び/又は、前記少なくとも一つの記録装置のモデル及び/又は第2の対象物のモデルの配列を、バーチャル空間内で自動的に変更する、
ことを特徴とする、請求項1乃至6の内、いずれか1項に記載の第2の対象物に対する第1の対象物の相対位置を決定する方法。
【請求項8】
前記第2の対象物のモデルの少なくとも一つの点を初期値として指定し、前記少なくとも一つの記録装置により記録された測定値のセットからそれぞれの測定値を、関連するターゲット値と指定し、前記指定された初期値及びターゲット値に基づいて、前記少なくとも一つの記録装置の位置及び/又は、前記少なくとも一つの記録装置のモデル及び/又は第2の対象物のモデルの配列を、バーチャル空間内で自動的に変更する、
ことを特徴とする、請求項1乃至6の内、いずれか1項に記載の第2の対象物に対する第1の対象物の相対位置を決定する方法。
【請求項9】
前記少なくとも一つの記録装置により記録された値及び/又は前記シミュレーションで得られた値を視覚化する、
ことを特徴とする、請求項1乃至8の内、いずれか1項に記載の第2の対象物に対する第1の対象物の相対位置を決定する方法。
【請求項10】
前記測定値はデータ処理装置のユーザインターフェース上で視覚化される、
ことを特徴とする、請求項9に記載の第2の対象物に対する第1の対象物の相対位置を決定する方法。
【請求項11】
前記少なくとも一つの初期値及びターゲット値は、前記データ処理装置のユーザインターフェースを介して入力されたデータにより指定される、
ことを特徴とする、請求項10に記載の第2の対象物に対する第1の対象物の相対位置を決定する方法。
【請求項12】
前記第2の対象物に対する第1の対象物の相対位置は、前記少なくとも一つの記録装置により前記測定値が記録されている間に決定される、
ことを特徴とする、請求項1乃至11の内、いずれか1項に記載の第2の対象物に対する第1の対象物の相対位置を決定する方法。
【請求項13】
第2の対象物に対する第1の対象物の相対位置を決定するシステムであって、該システムは、第1の対象物に対して規定された位置関係にある、少なくとも一つの、電磁的及び/又は音響的な波に対する記録装置並びにデータ処理装置を有し、前記少なくとも一つの記録装置は、前記第2の対象物から発生する電磁的及び/又は音響的な波を、該少なくとも一つの記録装置により少なくとも一部記録することが出来るように設けられており、前記システムは、第2の対象物に対する第1の対象物の相対位置を決定する方法を、
前記データ処理装置にインストールされた、一つ以上のコンピュータプログラムにより、前記電磁的及び/又は音響的な波を、バーチャル空間内に、前記少なくとも一つの記録装置のモデル及び前記第2の対象物のモデルを配置することで、シミュレーションして記録することで、
実行し、また、
前記第2の対象物に対する第1の対象物の相対位置は、
−前記少なくとも一つの記録装置により記録された測定値を前記コンピュータプログラムに供給し、前記シミュレーションにより生成された値と前記測定値を比較し、該測定値の類似性を評価する、
−もし該評価の結果が所定の基準を満足させたなら、バーチャル空間内の前記第2の対象物のモデルに対する前記少なくとも一つの記録装置のモデルの前記相対位置から、前記第2の対象物のモデルに対する前記第1の対象物の相対位置を導き出し、又は、
−前記少なくとも一つの記録装置の位置を変化させ、及び/又はバーチャル空間内の前記少なくとも一つの記録装置のモデル及び/又は前記第2の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び/又は、前記少なくとも一つの記録装置により記録される値を、変化させ、再度比較し、再評価する、
ことで決定される、
ことを特徴とする、第2の対象物に対する第1の対象物の相対位置を決定するシステム。
【請求項14】
前記少なくとも一つの記録装置は、前記第1の対象物に、少なくとも一時的に、一体的に固定されている、
ことを特徴とする、請求項13記載の第2の対象物に対する第1の対象物の相対位置を決定するシステム。
【請求項15】
前記第1の対象物は、少なくとも一つのセンサを有する測定装置である、
ことを特徴とする、請求項13又は14の内、いずれか1項記載の第2の対象物に対する第1の対象物の相対位置を決定するシステム。
【請求項16】
前記測定装置は、センサアレイを有する、
ことを特徴とする、請求項13乃至15の内、いずれか1項記載の第2の対象物に対する第1の対象物の相対位置を決定するシステム。
【請求項17】
前記測定装置は、マイクロフォンアレイであり、光学カメラが該測定装置に一体化可能に設けられている、
ことを特徴とする、請求項13乃至16の内、いずれか1項記載の第2の対象物に対する第1の対象物の相対位置を決定するシステム。
【請求項18】
コンピュータのメモリにプログラムをロードし、第2の対象物に対する第1の対象物の相対位置を決定する方法を、該コンピュータに実行させるコンピュータプログラムであり、前記第1の対象物は、少なくとも一つの、電磁的及び/又は音響的な波に対する記録装置に対して規定された位置関係を有し、該少なくとも一つの記録装置は、前記第2の対象物から発生する電磁的及び/又は音響的な波を該少なくとも一つの記録装置により少なくとも一部記録することが出来るように設けられており、
前記電磁的及び/又は音響的な波の記録は、一つ以上のコンピュータプログラムがインストールされたデータ処理装置内で、バーチャル空間内に前記少なくとも一つの記録装置のモデル及び前記第2の対象物のモデルを配置する形でシミュレートされ、
前記第2の対象物に対する第1の対象物の相対位置は、
−前記少なくとも一つの記録装置により記録された測定値を前記コンピュータプログラムに供給し、前記シミュレーションにより生成された値と前記測定値を比較し、該測定値の類似性を評価する、
−もし該評価の結果が所定の基準を満足させたなら、バーチャル空間内の前記第2の対象物のモデルに対する前記少なくとも一つの記録装置のモデルの前記相対位置から、前記第2の対象物のモデルに対する前記第1の対象物の相対位置を導き出し、又は、
−前記少なくとも一つの記録装置の位置を変化させ、及び/又はバーチャル空間内の前記少なくとも一つの記録装置のモデル及び/又は前記第2の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び/又は、前記少なくとも一つの記録装置により記録される値を、変化させ、再度比較し、再評価する、
ことで決定される、
ことを特徴とする、第2の対象物に対する第1の対象物の相対位置を決定する方法を、該コンピュータに実行させるコンピュータプログラム。
【請求項19】
コンピュータのメモリにプログラムをロードし、第2の対象物に対する第1の対象物の相対位置を決定する方法を、該コンピュータに実行させるコンピュータプログラムを格納した、コンピュータ可読記録媒体であり、前記第1の対象物は、少なくとも一つの、電磁的及び/又は音響的な波に対する記録装置に対して規定された位置関係を有し、該少なくとも一つの記録装置は、前記第2の対象物から発生する電磁的及び/又は音響的な波を該少なくとも一つの記録装置により少なくとも一部記録することが出来るように設けられており、
前記電磁的及び/又は音響的な波の記録は、一つ以上のコンピュータプログラムがインストールされたデータ処理装置内で、バーチャル空間内に前記少なくとも一つの記録装置のモデル及び前記第2の対象物のモデルを配置する形でシミュレートされ、
前記第2の対象物に対する第1の対象物の相対位置は、
−前記少なくとも一つの記録装置により記録された測定値を前記コンピュータプログラムに供給し、前記シミュレーションにより生成された値と前記測定値を比較し、該測定値の類似性を評価する、
−もし該評価の結果が所定の基準を満足させたなら、バーチャル空間内の前記第2の対象物のモデルに対する前記少なくとも一つの記録装置のモデルの前記相対位置から、前記第2の対象物のモデルに対する前記第1の対象物の相対位置を導き出し、又は、
−前記少なくとも一つの記録装置の位置を変化させ、及び/又はバーチャル空間内の前記少なくとも一つの記録装置のモデル及び/又は前記第2の対象物のモデルの配置を変更してシミュレーションすることで得られる値及び/又は、前記少なくとも一つの記録装置により記録される値を、変化させ、再度比較し、再評価する、
ことで決定される、
ことを特徴とする、第2の対象物に対する第1の対象物の相対位置を決定する方法を、コンピュータに実行させるコンピュータプログラムを格納したコンピュータ可読記録媒体。
【請求項20】
請求項18によるコンピュータプログラムを、例えばインターネットなどの電子的データネットワークから、該データネットワークに接続されたデータ処理装置にダウンロードする、
ことを特徴とする方法。


【公表番号】特表2009−503711(P2009−503711A)
【公表日】平成21年1月29日(2009.1.29)
【国際特許分類】
【出願番号】特願2008−524529(P2008−524529)
【出願日】平成18年8月4日(2006.8.4)
【国際出願番号】PCT/EP2006/065092
【国際公開番号】WO2007/014966
【国際公開日】平成19年2月8日(2007.2.8)
【出願人】(505287276)ゲゼルシャフト ツァ フェルデラング アンゲバンデル インフォマティク エー ファウ (2)
【Fターム(参考)】