モーショントラッカシステム及びその座標系設定方法
【課題】カメラ装置の撮影領域にカメラ座標系を再設定する際に、カメラ装置の撮影領域にカメラ座標系を短時間で簡単に正確に設定することができるモーショントラッカシステムの提供。
【解決手段】モーショントラッカシステムであって、基準対象物３０に取り付けられた少なくとも３個の光学マーカー４を備え、カメラ装置２の撮影領域にカメラ座標系を設定する座標系設定部２７と、カメラ座標系における少なくとも３個の光学マーカー４の位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部４７に記憶させるキャリブレーション情報記憶制御部３１と、基準対象物３０に取り付けられた光学マーカー４を撮影することで得られた光学マーカー位置情報と、キャリブレーション情報記憶部４７に記憶されたキャリブレーション情報とに基づいて、カメラ装置２の撮影領域にカメラ座標系を再設定する座標系再設定部３２とを備える。
【解決手段】モーショントラッカシステムであって、基準対象物３０に取り付けられた少なくとも３個の光学マーカー４を備え、カメラ装置２の撮影領域にカメラ座標系を設定する座標系設定部２７と、カメラ座標系における少なくとも３個の光学マーカー４の位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部４７に記憶させるキャリブレーション情報記憶制御部３１と、基準対象物３０に取り付けられた光学マーカー４を撮影することで得られた光学マーカー位置情報と、キャリブレーション情報記憶部４７に記憶されたキャリブレーション情報とに基づいて、カメラ装置２の撮影領域にカメラ座標系を再設定する座標系再設定部３２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ装置の撮影領域にカメラ座標系を設定することにより、カメラ座標系に対する測定対象物の現在位置や現在角度を測定するためのモーショントラッカシステム（以下、ＭＴシステムともいう）及びその座標系設定方法に関する。本発明は、特にゲーム機や乗物等の移動体に配置されたカメラ装置の撮影領域にカメラ座標系を設定することにより、カメラ座標系に対する搭乗者に装着される頭部装着型表示装置付ヘルメットの現在位置や現在角度（すなわち、頭部の現在位置や現在角度）を常に測定するために、角速度センサや加速度センサを組み合わせたヘッドモーショントラッカシステム（以下、ＨＭＴシステムともいう）及びその座標系設定方法等に利用される。
【背景技術】
【０００２】
時々刻々と変動する物体（測定対象物）の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機ではバーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）が利用されている。
【０００３】
また、救難飛行艇による救難活動において、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体（救難飛行艇）の緯度、経度、高度、姿勢に加えて、飛行体に対するパイロットの頭部の現在角度及び現在位置を測定している。このため、ＨＭＴ装置が利用されている。
【０００４】
頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。具体的には、複数の反射板を頭部装着型表示装置付ヘルメットの外周面上に取り付けるとともに、光源とカメラ装置（第一カメラ及び第二カメラ）とを飛行体に固定することにより、光源から光を照射したときの反射板からの反射光をカメラ装置でモニタする。また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のＨＭＴ装置もある（例えば、特許文献２参照）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、発光体であるＬＥＤ（発光ダイオード）を互いに離隔するようにして３箇所に取り付け、これら３個のＬＥＤの位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３個のＬＥＤを、立体視が可能でかつ飛行体に固定された第一カメラ及び第二カメラで同時に撮影することで、所謂、三角測量の原理により、現在の３個のＬＥＤの位置関係を測定している。これにより、カメラ装置に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を特定している。
【特許文献１】特表平９−５０６１９４号公報
【特許文献２】特願２００６−２８４４４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
さらに、本出願人は、ジャイロセンサ（角速度センサ）や加速度センサを組み合わせたＨＭＴ装置を開発した。これにより、第一カメラ及び第二カメラによる撮影と撮影との間隔時間にも、ジャイロセンサや加速度センサの測定結果を用いて、飛行体に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を算出することができるようにした。
ところで、上述したようなＨＭＴ装置では、カメラ装置で測定された現在の３個のＬＥＤの位置関係を空間座標で表現するために、予めカメラ装置の撮影領域にカメラ座標系が設定されて用いられている。ここで、カメラ装置２（第一カメラ２ａ及び第二カメラ２ｂ）の撮影領域にカメラ座標系を設定する従来の設定方法について図９及び図１０を用いて説明する。
カメラ座標系は、原点及び各ＸＹＺ座標軸の方向を、飛行体に予め設定された基準座標系と一致するように設定される。これにより、頭部装着型表示装置付ヘルメットの外周面上に取り付けられた反射板やＬＥＤの位置をカメラ座標系で表現するとともに、そのままの値を用いて基準座標系で表現することができるようになっている。また、ジャイロセンサや加速度センサを組み合わせたＨＭＴ装置においても、ジャイロセンサや加速度センサも基準座標系と位置合わせされて固定されているので、ジャイロセンサや加速度センサの測定結果と、カメラ装置での測定結果とを容易に組み合わせることが可能になっている。
【０００６】
そこで、カメラ装置２の撮影領域に、基準座標系と一致したカメラ座標系を設定するために、図９に示すような各頂点にＬＥＤ６１ａ〜６１ｈが配置されかつ各辺６２ａ〜６２ｌが設定距離となる立方格子６０を作製して用いている。このような立方格子６０を飛行体に予め定められた設定位置に取り付けることにより、ＬＥＤ６１ａの位置からＬＥＤ６１ｂの位置への方向をＸ軸方向とし、ＬＥＤ６１ａの位置からＬＥＤ６１ｄの位置への方向をＹ軸方向とし、ＬＥＤ６１ａの位置からＬＥＤ６１ｈの位置への方向をＺ軸方向とするように設定している。また、ＬＥＤ６１ａの位置からＬＥＤ６１ｂの位置までの距離と、ＬＥＤ６１ａの位置からＬＥＤ６１ｄの位置までの距離と、ＬＥＤ６１ａの位置からＬＥＤ６１ｈの位置までの距離とが各座標軸における基準距離となるように設定している。
【０００７】
しかしながら、立方格子６０を作製する際に使用した設計情報（設定距離等の立方格子の大きさ情報）を用いて各ＬＥＤ６１ａ〜６１ｈの位置関係を記憶させることになるが、カメラ座標系と基準座標系とが完全に一致しないという問題があった。
ここで、図１１は、一般的なＬＥＤの概略構成を示す断面図である。ＬＥＤ６１は、半導体部７１と、反射板７２と、レンズ７３とを有する。図１１に示すように、ＬＥＤ６１の外形形状から求めた中心と、実際にＬＥＤ６１が発光している中心とに、ＬＥＤ６１の製造の際に生じた差異が存在する。そして、ＬＥＤ６１の位置を記憶させるときには、カメラ装置２でＬＥＤ６１から出射された光線を検出するため、ＬＥＤ６１が発光している中心がＬＥＤ６１の位置として記憶されることになる。一方、立方格子６０は、ＬＥＤ６１の製造の際に生じた差異を容易に確認することができず、ＬＥＤ６１の外形形状の中心を容易に確認することができるため、ＬＥＤ６１の外形形状の中心が立方格子６０の頂点となるように作製されている。よって、設計情報を用いてＬＥＤ６１の位置関係を記憶させても、カメラ座標系と基準座標系との位置がずれることになっていた。
【０００８】
そこで、本出願人は、カメラ装置の撮影領域にカメラ座標系を正確に設定することができるキャリブレーション装置を開発した。図３は、キャリブレーション装置の概略構成を示す図であり、図４は、飛行体の設定位置にキャリブレーション装置を取り付けた図である。キャリブレーション装置５０は、ＬＥＤ５１と、ＬＥＤ５１をＸＹＺ方向に移動させるステージ機構５２とを備える。これにより、キャリブレーション装置５０のＬＥＤ５１をＸ方向に設定距離で移動させた後と、Ｙ方向に設定距離で移動させた後と、Ｚ方向に設定距離で移動させた後と、ＬＥＤ５１を移動させる前とに、それぞれカメラ装置２で撮影することにより、カメラ装置２の撮影領域にカメラ座標系を設定する。その結果、ＬＥＤ５１の外形形状から求めた中心と、実際にＬＥＤ５１が発光している中心とに、ＬＥＤ５１の製造の際に生じた差異が存在することがあっても、移動方向や移動量には差異は生じないので、カメラ装置２の撮影領域にカメラ座標系を正確に設定することができる。
【０００９】
ところで、カメラ装置２の撮影領域にカメラ座標系を設定するためには、立方格子６０やキャリブレーション装置５０を飛行体の予め定められた設定位置に正確に取り付ける（アライメントを取る）必要がある。そのため、飛行体を長時間拘束してしまうということがある。
そして、飛行体に取り付けられた第一カメラ２ａ若しくは第二カメラ２ｂのいずれかを交換したときには、カメラ装置２の撮影領域にカメラ座標系を再設定することになるが、再度、立方格子６０やキャリブレーション装置５０を飛行体の予め定められた設定位置に正確に取り付ける必要があり、飛行体を長時間拘束してしまうという問題点があった。
そこで、本発明は、カメラ装置の撮影領域にカメラ座標系を再設定する際に、カメラ装置の撮影領域にカメラ座標系を短時間で簡単に正確に設定することができるモーショントラッカシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するためになされた本発明のモーショントラッカシステムは、少なくとも３個の光学マーカーが取り付けられた測定対象物と、前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置が取り付けられた基準対象物と、前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記基準対象物に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカシステムであって、前記基準対象物中の設定位置に取り付け取り外し可能とされるとともに、光学マーカーと、当該光学マーカーをＸＹＺ方向に移動させるステージ機構とを備えるキャリブレーション装置と、前記基準対象物中に取り付けられた少なくとも３個の光学マーカーとを備え、前記キャリブレーション装置の光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、前記カメラ装置の撮影領域にカメラ座標系を設定した後に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ座標系における少なくとも３個の光学マーカーの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部に記憶させるキャリブレーション情報記憶制御部と、前記カメラ装置の撮影領域にカメラ座標系を再設定する際に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報と、前記キャリブレーション情報記憶部に記憶されたキャリブレーション情報とに基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系再設定部とを備えるようにしている。
【００１１】
ここで、「光学マーカー」としては、例えば、発光体（ランプ、ＬＥＤ等）、反射体、蛍光体等が挙げられる。
本発明のＭＴシステムによれば、少なくとも３個の光学マーカーが、基準対象物におけるカメラ装置の撮影領域中に取り付けられている。
そして、カメラ装置の撮影領域にカメラ座標系を１回目に設定する際に、まず、光学マーカーをＸＹＺ方向に移動させることが可能なキャリブレーション装置を、カメラ装置の撮影領域中の設定位置に取り付ける。次に、カメラ装置制御部はキャリブレーション装置の光学マーカーを撮影することで、第一画像と第二画像とを取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＸ方向に設定距離で移動させた後、カメラ装置制御部はキャリブレーション装置の光学マーカーを撮影することで、第一画像と第二画像とを取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＹ方向に設定距離で移動させた後、カメラ装置制御部はキャリブレーション装置の光学マーカーを撮影することで、第一画像と第二画像とを取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＺ方向に設定距離で移動させた後、カメラ装置制御部はキャリブレーション装置の光学マーカーを撮影することで、第一画像と第二画像とを取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。その結果、座標系設定部は、記憶された光学マーカー位置情報に基づいて、カメラ装置の撮影領域にカメラ座標系を設定する。次に、カメラ装置の撮影領域にカメラ座標系を設定した後、キャリブレーション装置を設定位置から取り外す。
【００１２】
ところで、本発明のＭＴシステムでは、カメラ装置の撮影領域にカメラ座標系を再設定する際に、立方格子やキャリブレーション装置等を基準対象物の予め定められた設定位置に取り付ける必要がないようにしている。そこで、本発明のＭＴシステムにおいて、キャリブレーション装置を設定位置から取り外した後に、カメラ装置制御部は、基準対象物中に取り付けられた少なくとも３個の光学マーカーを撮影することで、第一画像と第二画像とを取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出し、さらにキャリブレーション情報記憶制御部は、光学マーカー位置情報に基づいて、カメラ座標系に対する光学マーカーの座標位置であるキャリブレーション情報を算出してキャリブレーション情報記憶部に記憶させる。
【００１３】
その後、基準対象物に取り付けられた第一カメラ若しくは第二カメラの少なくともいずれかが交換されたとき等に、カメラ装置の撮影領域にカメラ座標系を再設定する必要ができた場合には、キャリブレーション情報記憶部に記憶されたキャリブレーション情報を用いる。
ここで、基準対象物中に取り付けられた少なくとも３個の光学マーカーの位置は、変動することがない。つまり、カメラ装置の撮影領域にカメラ座標系を再設定するときにも、カメラ座標系を１回目に設定したときと同様に設定するので、再設定されたカメラ座標系における光学マーカーの座標位置は、１回目に設定されたカメラ座標系における光学マーカーの座標位置と同一となることになる。逆に言えば、再設定されたカメラ座標系における光学マーカーの座標位置と、１回目に設定されたカメラ座標系における光学マーカーの座標位置とが同一になっていれば、再設定されたカメラ座標系と、１回目に設定されたカメラ座標系とも同一に設定されていることになる。
そこで、本発明のＭＴシステムにおいて、カメラ装置制御部は、基準対象物中に取り付けられた少なくとも３個の光学マーカーを撮影することで、第一画像及び第二画像を取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出し、さらに座標系再設定部は、光学マーカー位置情報と、キャリブレーション情報記憶部に記憶されたキャリブレーション情報とに基づいて、カメラ装置の撮影領域にカメラ座標系を設定する。このとき、１回目に設定されたカメラ座標系における各光学マーカーの座標位置と、得られた各光学マーカーの座標位置とがそれぞれ同一になるように、カメラ座標系を設定する。
【発明の効果】
【００１４】
以上のように、本発明のＭＴシステムによれば、カメラ装置の撮影領域にカメラ座標系を再設定する際に、立方格子やキャリブレーション装置を基準対象物の予め定められた設定位置に正確に取り付ける必要もなく、カメラ装置の撮影領域にカメラ座標系を短時間で簡単に正確に設定することができる。その結果、基準対象物を長時間拘束してしまうことがなくなる。
【００１５】
（他の課題を解決するための手段および効果）
また、本発明のＭＴシステムは、前記座標系設定部は、前記キャリブレーション装置の光学マーカーをＸ方向に設定距離で移動させた後と、Ｙ方向に設定距離で移動させた後と、Ｚ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前とに、それぞれ第一画像及び第二画像を取得することにより得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定するようにしてもよい。
また、本発明のＭＴシステムは、前記座標系再設定部は、前記基準対象物に取り付けられた第一カメラ若しくは第二カメラの少なくともいずれかが交換されたときに、前記カメラ装置の撮影領域にカメラ座標系を再設定するようにしてもよい。
【００１６】
また、本発明のＭＴシステムは、前記測定対象物に取り付けられた少なくとも３個の光学マーカーと、前記キャリブレーション装置に取り付けられた光学マーカーと、前記基準対象物中に取り付けられた少なくとも３個の光学マーカーとは、同一の波長の赤外光を発光するようにしてもよい。
そして、本発明のＭＴシステムは、前記基準対象物中には、少なくとも４個の光学マーカーが取り付けられ、少なくとも４個の光学マーカーは、同一の平面上には存在しないようにしてもよい。
【００１７】
さらに、本発明の座標系設定方法は、少なくとも３個の光学マーカーが取り付けられた測定対象物と、前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置が取り付けられた基準対象物と、前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記基準対象物に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部と、前記基準対象物中に取り付けられた少なくとも３個の光学マーカーと、前記基準対象物中の設定位置に取り付け取り外し可能とされるとともに、光学マーカーと、当該光学マーカーをＸＹＺ方向に移動させるステージ機構とを備えるキャリブレーション装置とを備えるモーショントラッカシステムに用いられるカメラ装置の撮影領域にカメラ座標系を設定する座標系設定方法であって、前記キャリブレーション装置の光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定工程と、前記カメラ装置の撮影領域にカメラ座標系を設定した後に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ座標系における少なくとも３個の光学マーカーの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部に記憶させるキャリブレーション情報記憶制御工程と、前記カメラ装置の撮影領域にカメラ座標系を再設定する際に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報と、前記キャリブレーション情報記憶部に記憶されたキャリブレーション情報とに基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系再設定工程とを含むようにしている。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【００１９】
本発明の一実施形態であるＨＭＴシステムは、ＨＭＴ装置１とキャリブレーション装置５０とからなる。図１は、本発明に係るＨＭＴ装置１の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメット（測定対象物）１０の平面図である。また、図３は、本発明に係るキャリブレーション装置５０の概略構成を示す図であり、図４は、ＨＭＴ装置１の設定位置にキャリブレーション装置５０を取り付けた図である。
なお、ＨＭＴ装置１は、カメラ装置２に設定されるカメラ座標系（ＸＹＺ座標系）に対するパイロット（搭乗者）３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出するものである。つまり、搭乗体３０（基準対象物）に設定されたカメラ座標系（ＸＹＺ座標系）に対する、パイロット３が着用する頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を算出する。
また、キャリブレーション装置５０は、パイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出するために、搭乗体３０に配置されるカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定するためのものである。本実施形態では、１回目のカメラ座標系（ＸＹＺ座標系）を設定する際には、キャリブレーション装置５０を用い、カメラ座標系（ＸＹＺ座標系）を再設定する際には、キャリブレーション装置５０を用いず、ＬＥＤ群４を用いることになる。
【００２０】
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、搭乗体３０に固定されたカメラ装置２と、搭乗体３０に取り付けられたＬＥＤ群４と、コンピュータにより構成される制御部２０とから構成される。
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、外周面上に取り付けられたＬＥＤ群７とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示画像とコンバイナ８の前方実在物とを視認することが可能となっている。
【００２１】
ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光を発光する３個のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして、頭部装着型表示装置付ヘルメット１０の外周面上に取り付けられたものである。
ここで、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をＬＥＤ７ａの位置とし、前方方向をＸ’軸方向とし、前方方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、後述するデータ記憶部４５に設定されている。また、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も、データ記憶部４５に記憶されている。これにより、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット１０の現在位置及び現在角度が、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を用いて表現されるようになっている。
【００２２】
搭乗体３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席する座席３０ａを備え、キャリブレーション装置５０を取り付けるための設定位置（後述する）が定められている。
カメラ装置２は、第一カメラ２ａと第二カメラ２ｂとからなる。第一カメラ２ａと第二カメラ２ｂとは、撮影方向が異なりかつ立体視が可能な一定の距離（ｄ１）を隔てるように、座席３０ａに固定されている。
ここで、図５に示すように、カメラ装置２に対するＬＥＤ７ａの位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができる。他のＬＥＤ７ｂ、７ｃのカメラ装置２に対する位置についても、同様に算出される。
【００２３】
このときの各ＬＥＤ７ａ、７ｂ、７ｃの位置を、空間座標で表現することができるようにするために、キャリブレーション装置５０やＬＥＤ群４等を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定している。なお、キャリブレーション装置５０を用いてカメラ座標系を設定する設定方法や、ＬＥＤ群４を用いてカメラ座標系を再設定する再設定方法や、カメラ座標系の具体的な原点位置やＸＹＺ軸方向等の説明については後述する。
カメラ装置２の撮影領域にカメラ座標系が設定されていれば、上述したように三角測量の手法で算出することにより、ＬＥＤ７ａ、７ｂ、７ｃの座標位置は、カメラ座標系を用いて表現できる。そして、３個のＬＥＤ７ａ、７ｂ、７ｃの座標位置が特定されれば、ＬＥＤ７ａ、７ｂ、７ｃが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット１０の位置及び角度は、カメラ座標系（ＸＹＺ座標系）に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を用いて表現できるようになる。なお、角度（Θｈ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（Φｈ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（Ψｈ）は、アジマス方向（Ｚ軸に対する回転）の角度である。また、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点であるＬＥＤ７ａの現在の座標位置で表現することとする。
なお、本実施形態では、後述する設定方法でカメラ座標系を設定するため、搭乗体３０に予め設定されている基準座標系とカメラ座標系とが完全に一致している。このため、カメラ座標系に対するヘルメット座標系の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）は、そのままの値を用いて、基準座標系に対するヘルメット座標系の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）として表現することができるようになる。
【００２４】
ＬＥＤ群４は、図１、図４及び図７に示すように、互いに異なる波長の赤外光を発光する９個のＬＥＤ４ａ〜４ｉが互いに離隔するようにして、搭乗体３０に取り付けられたものである。なお、９個のＬＥＤ４ａ〜４ｉは同一の平面に存在しないように搭乗体３０に取り付けられている。
そして、カメラ座標系（ＸＹＺ座標系）上での９個のＬＥＤ４ａ〜４ｉの位置関係であるキャリブレーション情報が、キャリブレーション情報記憶部４７に記憶されることになり、これにより、ＬＥＤ群４を用いてカメラ座標系をカメラ装置２に再設定することができるようになっている。
【００２５】
制御部２０は、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行う。制御部２０のＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、カメラ装置制御部２８と、光学マーカー位置情報算出部２２と、相対情報算出部２３と、座標系設定部２７と、駆動信号発生部２６と、映像表示部２５と、キャリブレーション情報記憶制御部３１と、座標系再設定部３２とからなる。
また、メモリ４１は、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、基準座標系を記憶する基準座標系記憶部４３と、カメラ座標系（ＸＹＺ座標系）を記憶するカメラ座標系記憶部４４と、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶するデータ記憶部４５と、光学マーカー位置情報を順次記憶する光学マーカー位置情報記憶部４６と、キャリブレーション情報を記憶するキャリブレーション情報記憶部４７とを有する。
なお、データ記憶部４５は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶し、さらに、Ｘ’Ｙ’Ｚ’座標系上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も記憶している。
【００２６】
ここで、基準座標系は、搭乗体３０とともに移動する座標系であり、原点及び各座標軸の方向を任意に予め定められているが、本実施形態では、キャリブレーション装置５０を取り付けるための設定位置のある点を原点とし、前方方向をＸ軸方向とし、前方方向に垂直方向をＹ軸方向とし、Ｘ軸方向及びＹ軸方向に垂直方向をＺ軸方向とするように、基準座標系記憶部４３に予め設定されているものとする。
そして、カメラ座標系（ＸＹＺ座標系）は、原点及び各ＸＹＺ座標軸の方向を、搭乗体３０に設定された基準座標系と一致するように設定される。これにより、搭乗体３０に設定された基準座標系と位置合わせされたジャイロセンサや加速度センサ（図示せず）の測定結果と組み合わせることが可能となる。
【００２７】
カメラ装置制御部２８は、第一カメラ２ａにより撮影された第一画像と、第一カメラ２ａが撮影すると同時に第二カメラ２ｂにより撮影された第二画像とを取得する制御を行う。
光学マーカー位置情報算出部２２は、第一画像と第二画像とに基づいて、カメラ装置２に対するＬＥＤ群７やＬＥＤ群４やＬＥＤ５１（後述する）の現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部４６に順次記憶させる制御を行う。
例えば、ＬＥＤ７ａのカメラ装置２に対する位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出する。
【００２８】
相対情報算出部２３は、カメラ装置２に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報を用いて、カメラ座標系に対する頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出する制御を行う。
具体的には、座標系設定部２７や座標系再設定部３２でカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定した後に、カメラ装置制御部２８に第一画像と第二画像とを取得させる。カメラ装置２の撮影領域にカメラ座標系が設定されているので、カメラ装置２に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報を用いて、カメラ座標系に対するＬＥＤ７ａ、７ｂ、７ｃの現在の座標位置を作成する。そして、カメラ座標系に対するＬＥＤ７ａ、７ｂ、７ｃの現在の座標位置と、データ記憶部４５に記憶されている初期データとを比較することにより、ＬＥＤ群７が固定された頭部装着型表示装置付ヘルメット１０のカメラ座標系に対する位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を算出する。
映像表示部２５は、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を含む相対情報に基づいて、表示器から画像表示光を出射する制御を行う。これにより、パイロット３は、表示器による表示画像を視認することになる。
【００２９】
次に、キャリブレーション装置５０を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する設定方法や、ＬＥＤ群４を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を再設定する再設定方法について図３、図４、図６及び図７を用いて説明する。
本実施形態では、１回目のカメラ座標系（ＸＹＺ座標系）を設定する際には、キャリブレーション装置５０を用い、カメラ座標系（ＸＹＺ座標系）を再設定する際には、キャリブレーション装置５０を用いず、ＬＥＤ群４を用いることになる。
【００３０】
まず、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定するためのキャリブレーション装置５０について説明する。
キャリブレーション装置５０は、赤外光を発光する１個のＬＥＤ５１と、１個のＬＥＤ５１をＸＹＺ方向に移動させることが可能なステージ機構５２とを備える。
ステージ機構５２は、上部板状体５２ａと中軸体５２ｂと下部板状体５２ｃと設置部材５２ｄとからなる。ＬＥＤ５１は、上部板状体５２ａ上に固定されている。上部板状体５２ａは、中軸体５２ｂに対してＺ方向に並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＺ方向に移動させることができる。また、中軸体６２ｂは、上部板状体５２ａとともに下部板状体５２ｃに対してＸ方向への並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＸ方向に移動させることができる。さらに、下部板状体５２ｃは、上部板状体５２ａと中軸体６２ｂとともに設置部材５２ｄに対してＹ方向への並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＹ方向に移動させることができる。そして、設置部材５２ｄは、設定位置に位置決めされて取り付け取り外し可能に形成されている。
なお、ステージ機構５２の制御は、キャリブレーション装置５０とコンピュータ２０とを配線コード５３で連結することで、コンピュータ２０の駆動信号発生部２６から出力された駆動信号が与えられることによって実行される。
【００３１】
そして、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する際には、図４に示すように、カメラ装置２の撮影領域中にキャリブレーション装置５０を取り付けることになる。このとき、基準座標系の原点にＬＥＤ５１が配置され、基準座標系のＸ軸方向とステージ機構５２のＸ方向とが位置合わせされ、基準座標系のＹ軸方向とステージ機構５２のＹ方向とが位置合わせされ、基準座標系のＺ軸方向とステージ機構５２のＺ方向とが位置合わせされて取り付けられる。そして、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定した後には、カメラ装置２の撮影領域中からキャリブレーション装置５０を取り外すことになる。
【００３２】
駆動信号発生部２６は、入力装置（図示せず）等によるキャリブレーション信号を受信することによって、キャリブレーション装置５０のステージ機構５２に駆動信号を出力する制御を行う。
例えば、図６に示すように、キャリブレーション信号を受信することによって、まず、ＬＥＤ５１の初期位置５１ａとして、カメラ装置制御部２８に第一画像と第二画像とを取得させる。次に、ステージ機構６２にＬＥＤ５１をＸ方向に設定距離で移動させる駆動信号を出力した後、ＬＥＤ５１の第二位置５１ｂとして、カメラ装置制御部２８に第一画像と第二画像とを取得させる。このように、ＬＥＤ５１を予め定められた位置に移動させる駆動信号を出力した後、ＬＥＤ５１の各位置として、カメラ装置制御部２８に第一画像と第二画像とを順に取得させていき、立方格子の各頂点に対応する合計８箇所の位置５１ａ〜５１ｈのＬＥＤ５１を撮影することにより、第一画像と第二画像とを取得していく。
【００３３】
座標系設定部２７は、カメラ装置２に対するＬＥＤ５１の各位置である光学マーカー位置情報に基づいて、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する制御を行う。
具体的には、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第二位置５１ｂへの方向をＸ軸方向とし、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第四位置５１ｄへの方向をＹ軸方向とし、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第八位置５１ｈへの方向をＺ軸方向とするように設定する。また、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第二位置５１ｂまでの距離と、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第四位置５１ｄまでの距離と、ＬＥＤ５１の初期位置からＬＥＤ５１の第八位置５１ｈまでの距離とが各座標軸における基準距離となるように設定する。
【００３４】
キャリブレーション情報記憶制御部３１は、座標系設定部２７でカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定した後に、ＬＥＤ群４を撮影することで得られた光学マーカー位置情報に基づいて、カメラ座標系における９個のＬＥＤ４ａ〜４ｉの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部４７に記憶させる制御を行う。
具体的には、図７に示すように、座標系設定部２７でカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定した後に、カメラ装置制御部２８に第一画像と第二画像とを取得させる。カメラ装置２の撮影領域にカメラ座標系が設定されているので、カメラ装置２に対する９個のＬＥＤ４ａ〜４ｉの位置である光学マーカー位置情報を用いて、カメラ座標系に対する９個のＬＥＤ４ａ〜４ｉの座標位置であるキャリブレーション情報を作成する。そして、キャリブレーション情報をキャリブレーション情報記憶部４７に記憶させる。
これにより、カメラ装置２の撮影領域にカメラ座標系を再設定する際に、立方格子６０やキャリブレーション装置５０等を搭乗体３０の予め定められた設定位置に取り付ける必要がないようにしている。
【００３５】
座標系再設定部３１は、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を再設定する際に、ＬＥＤ群４を撮影することで得られた光学マーカー位置情報と、キャリブレーション情報記憶部４７に記憶されたキャリブレーション情報とに基づいて、カメラ装置２の撮影領域にカメラ座標系を設定する制御を行う。
例えば、搭乗体３０に取り付けられた第一カメラ２ａ若しくは第二カメラ２ｂのいずれかを交換したときに、カメラ装置２の撮影領域にカメラ座標系を再設定する必要ができた場合に、まず、９個のＬＥＤ４ａ〜４ｉを撮影することで、カメラ装置制御部２８に第一画像と第二画像とを取得させる。これにより、カメラ装置２に対する９個のＬＥＤ４ａ〜４ｉの位置である光学マーカー位置情報を得る。一方、キャリブレーション情報記憶部４７に記憶されたキャリブレーション情報に基づいて、１回目に設定したカメラ座標系に対する９個のＬＥＤ４ａ〜４ｉの座標位置であるキャリブレーション情報を得る。そして、１回目に設定されたカメラ座標系における各ＬＥＤの座標位置と、得られた各ＬＥＤの座標位置とがそれぞれ同一になるように、カメラ座標系を設定する。
これにより、立方格子６０やキャリブレーション装置５０を搭乗体３０の予め定められた設定位置に正確に取り付ける必要もなく、再設定されたカメラ座標系と、１回目に設定されたカメラ座標系とが同一となるように設定されるようになっている。
【００３６】
ここで、ＨＭＴシステムにより、キャリブレーション装置５０を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する設定方法と、ＬＥＤ群４を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を再設定する再設定方法とについて説明する。図８は、設定方法と再設定方法とについて説明するためのフローチャートである。
まず、ステップＳ１０１の処理において、搭乗体３０にカメラ装置２を取り付ける。
次に、ステップＳ１０２の処理において、搭乗体３０レベリング（飛行体レベリング）を実行する。
【００３７】
次に、ステップＳ１０３の処理において、設定位置にキャリブレーション装置５０を取り付ける。
次に、ステップＳ１０４の処理において、キャリブレーション装置５０取付アライメントを実行する。
次に、ステップＳ１０５の処理において、駆動信号発生部２６は、入力装置等によるキャリブレーション信号を受信することによって、キャリブレーション装置５０のステージ機構５２に駆動信号を出力するとともに、カメラ装置制御部２８は、ＬＥＤ５１を撮影する。
【００３８】
次に、ステップＳ１０６の処理において、座標系設定部２７は、カメラ装置２に対するＬＥＤ５１の各位置である光学マーカー位置情報に基づいて、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する（座標系設定工程）。
次に、ステップＳ１０７の処理において、設定位置からキャリブレーション装置５０を取り外す。
次に、ステップＳ１０８の処理において、キャリブレーション情報記憶制御部３１は、ＬＥＤ群４を撮影することで得られた光学マーカー位置情報に基づいて、カメラ座標系における９個のＬＥＤ４ａ〜４ｉの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部４７に記憶させる（キャリブレーション情報記憶制御工程）。
【００３９】
次に、ステップＳ１０９の処理において、相対情報算出部２３は、ＬＥＤ群７を撮影することで得られたカメラ装置２に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報を用いて、カメラ座標系に対する頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出する。
次に、ステップＳ１１０の処理において、映像表示部２５は、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を含む相対情報に基づいて、表示器から画像表示光を出射する。
次に、ステップＳ１１１の処理において、カメラ装置２を交換するか否かを判断する。カメラ装置２を交換すると判断したときには、ステップＳ１１２の処理において、搭乗体３０にカメラ装置２を取り付ける。つまり、カメラ装置２の撮影領域にカメラ座標系を再設定しなければならなくなる。
【００４０】
次に、ステップＳ１１３の処理において、カメラ装置制御部２８は、ＬＥＤ群４を撮影する。
次に、ステップＳ１１４の処理において、座標系再設定部３１は、ＬＥＤ群４を撮影することで得られた光学マーカー位置情報と、キャリブレーション情報記憶部４７に記憶されたキャリブレーション情報とに基づいて、カメラ装置２の撮影領域にカメラ座標系を設定して（座標系再設定工程）、ステップＳ１０９の処理に戻る。つまり、立方格子６０やキャリブレーション装置５０を搭乗体３０の予め定められた設定位置に正確に取り付ける必要がなく、カメラ装置２の撮影領域にカメラ座標系を設定することができる。
一方、カメラ装置２を交換しないと判断したときには、ステップＳ１０９の処理に戻る。
【００４１】
以上のように、本発明のＨＭＴシステムによれば、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を再設定する際に、立方格子６０やキャリブレーション装置５０を搭乗体３０の予め定められた設定位置に正確に取り付ける必要もなく、カメラ装置２の撮影領域にカメラ座標系を短時間で簡単に正確に設定することができる。その結果、搭乗体３０を長時間拘束してしまうことがなくなる。
【００４２】
（他の実施形態）
（１）上述したＨＭＴシステムにおいて、ＬＥＤ群７は互いに異なる波長の赤外光を発光する３個のＬＥＤ７ａ〜７ｃや、ＬＥＤ群４は互いに異なる波長の赤外光を発光する９個のＬＥＤ４ａ〜４ｉが取り付けられた構成としたが、全て同一の波長の赤外光を発光するような構成としてもよい。
（２）上述したＨＭＴシステムにおいて、ＬＥＤ群４は、９個のＬＥＤ４ａ〜４ｉが取り付けられた構成としたが、３個以上のＬＥＤが取り付けられたような構成としてもよい。
【産業上の利用可能性】
【００４３】
本発明は、飛行体等に設定された基準座標系に対する頭部角度や頭部位置を測定するためのヘッドモーショントラッカ装置等に利用することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明に係るＨＭＴ装置の概略構成を示す図である。
【図２】図１に示す頭部装着型表示装置付ヘルメットの平面図である。
【図３】本発明に係るキャリブレーション装置の概略構成を示す図である。
【図４】ＨＭＴ装置の設定位置にキャリブレーション装置を取り付けた図である。
【図５】カメラ装置に対するＬＥＤの位置を算出する算出方法を説明するための図である。
【図６】カメラ装置の撮影領域にカメラ座標系を設定する設定方法について説明するための図である。
【図７】カメラ装置の撮影領域にカメラ座標系を再設定する再設定方法について説明するための図である。
【図８】設定方法と再設定方法とについて説明するためのフローチャートである。
【図９】カメラ装置の撮影領域にカメラ座標系を設定する従来の設定方法について説明するための図である。
【図１０】カメラ装置の撮影領域にカメラ座標系を設定する従来の設定方法について説明するための図である。
【図１１】ＬＥＤの概略構成を示す断面図である。
【符号の説明】
【００４５】
１ ヘッドモーショントラッカ装置（ＨＭＴ装置）
２ カメラ装置
２ａ 第一カメラ
２ｂ 第二カメラ
３ パイロット
４、７ ＬＥＤ群（光学マーカー群）
１０ 頭部装着型表示装置付ヘルメット（測定対象物）
２２ 光学マーカー位置情報算出部
２３ 相対情報算出部
２７ 座標系設定部
２８ カメラ装置制御部
３０ 搭乗体（基準対象物）
３１ キャリブレーション情報記憶制御部
３２ 座標系再設定部
４６ 光学マーカー位置情報記憶部
４７ キャリブレーション情報記憶部
５０ キャリブレーション装置
５１ ＬＥＤ（光学マーカー）
５２ ステージ機構
【技術分野】
【０００１】
本発明は、カメラ装置の撮影領域にカメラ座標系を設定することにより、カメラ座標系に対する測定対象物の現在位置や現在角度を測定するためのモーショントラッカシステム（以下、ＭＴシステムともいう）及びその座標系設定方法に関する。本発明は、特にゲーム機や乗物等の移動体に配置されたカメラ装置の撮影領域にカメラ座標系を設定することにより、カメラ座標系に対する搭乗者に装着される頭部装着型表示装置付ヘルメットの現在位置や現在角度（すなわち、頭部の現在位置や現在角度）を常に測定するために、角速度センサや加速度センサを組み合わせたヘッドモーショントラッカシステム（以下、ＨＭＴシステムともいう）及びその座標系設定方法等に利用される。
【背景技術】
【０００２】
時々刻々と変動する物体（測定対象物）の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機ではバーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）が利用されている。
【０００３】
また、救難飛行艇による救難活動において、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体（救難飛行艇）の緯度、経度、高度、姿勢に加えて、飛行体に対するパイロットの頭部の現在角度及び現在位置を測定している。このため、ＨＭＴ装置が利用されている。
【０００４】
頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。具体的には、複数の反射板を頭部装着型表示装置付ヘルメットの外周面上に取り付けるとともに、光源とカメラ装置（第一カメラ及び第二カメラ）とを飛行体に固定することにより、光源から光を照射したときの反射板からの反射光をカメラ装置でモニタする。また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のＨＭＴ装置もある（例えば、特許文献２参照）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、発光体であるＬＥＤ（発光ダイオード）を互いに離隔するようにして３箇所に取り付け、これら３個のＬＥＤの位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３個のＬＥＤを、立体視が可能でかつ飛行体に固定された第一カメラ及び第二カメラで同時に撮影することで、所謂、三角測量の原理により、現在の３個のＬＥＤの位置関係を測定している。これにより、カメラ装置に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を特定している。
【特許文献１】特表平９−５０６１９４号公報
【特許文献２】特願２００６−２８４４４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
さらに、本出願人は、ジャイロセンサ（角速度センサ）や加速度センサを組み合わせたＨＭＴ装置を開発した。これにより、第一カメラ及び第二カメラによる撮影と撮影との間隔時間にも、ジャイロセンサや加速度センサの測定結果を用いて、飛行体に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を算出することができるようにした。
ところで、上述したようなＨＭＴ装置では、カメラ装置で測定された現在の３個のＬＥＤの位置関係を空間座標で表現するために、予めカメラ装置の撮影領域にカメラ座標系が設定されて用いられている。ここで、カメラ装置２（第一カメラ２ａ及び第二カメラ２ｂ）の撮影領域にカメラ座標系を設定する従来の設定方法について図９及び図１０を用いて説明する。
カメラ座標系は、原点及び各ＸＹＺ座標軸の方向を、飛行体に予め設定された基準座標系と一致するように設定される。これにより、頭部装着型表示装置付ヘルメットの外周面上に取り付けられた反射板やＬＥＤの位置をカメラ座標系で表現するとともに、そのままの値を用いて基準座標系で表現することができるようになっている。また、ジャイロセンサや加速度センサを組み合わせたＨＭＴ装置においても、ジャイロセンサや加速度センサも基準座標系と位置合わせされて固定されているので、ジャイロセンサや加速度センサの測定結果と、カメラ装置での測定結果とを容易に組み合わせることが可能になっている。
【０００６】
そこで、カメラ装置２の撮影領域に、基準座標系と一致したカメラ座標系を設定するために、図９に示すような各頂点にＬＥＤ６１ａ〜６１ｈが配置されかつ各辺６２ａ〜６２ｌが設定距離となる立方格子６０を作製して用いている。このような立方格子６０を飛行体に予め定められた設定位置に取り付けることにより、ＬＥＤ６１ａの位置からＬＥＤ６１ｂの位置への方向をＸ軸方向とし、ＬＥＤ６１ａの位置からＬＥＤ６１ｄの位置への方向をＹ軸方向とし、ＬＥＤ６１ａの位置からＬＥＤ６１ｈの位置への方向をＺ軸方向とするように設定している。また、ＬＥＤ６１ａの位置からＬＥＤ６１ｂの位置までの距離と、ＬＥＤ６１ａの位置からＬＥＤ６１ｄの位置までの距離と、ＬＥＤ６１ａの位置からＬＥＤ６１ｈの位置までの距離とが各座標軸における基準距離となるように設定している。
【０００７】
しかしながら、立方格子６０を作製する際に使用した設計情報（設定距離等の立方格子の大きさ情報）を用いて各ＬＥＤ６１ａ〜６１ｈの位置関係を記憶させることになるが、カメラ座標系と基準座標系とが完全に一致しないという問題があった。
ここで、図１１は、一般的なＬＥＤの概略構成を示す断面図である。ＬＥＤ６１は、半導体部７１と、反射板７２と、レンズ７３とを有する。図１１に示すように、ＬＥＤ６１の外形形状から求めた中心と、実際にＬＥＤ６１が発光している中心とに、ＬＥＤ６１の製造の際に生じた差異が存在する。そして、ＬＥＤ６１の位置を記憶させるときには、カメラ装置２でＬＥＤ６１から出射された光線を検出するため、ＬＥＤ６１が発光している中心がＬＥＤ６１の位置として記憶されることになる。一方、立方格子６０は、ＬＥＤ６１の製造の際に生じた差異を容易に確認することができず、ＬＥＤ６１の外形形状の中心を容易に確認することができるため、ＬＥＤ６１の外形形状の中心が立方格子６０の頂点となるように作製されている。よって、設計情報を用いてＬＥＤ６１の位置関係を記憶させても、カメラ座標系と基準座標系との位置がずれることになっていた。
【０００８】
そこで、本出願人は、カメラ装置の撮影領域にカメラ座標系を正確に設定することができるキャリブレーション装置を開発した。図３は、キャリブレーション装置の概略構成を示す図であり、図４は、飛行体の設定位置にキャリブレーション装置を取り付けた図である。キャリブレーション装置５０は、ＬＥＤ５１と、ＬＥＤ５１をＸＹＺ方向に移動させるステージ機構５２とを備える。これにより、キャリブレーション装置５０のＬＥＤ５１をＸ方向に設定距離で移動させた後と、Ｙ方向に設定距離で移動させた後と、Ｚ方向に設定距離で移動させた後と、ＬＥＤ５１を移動させる前とに、それぞれカメラ装置２で撮影することにより、カメラ装置２の撮影領域にカメラ座標系を設定する。その結果、ＬＥＤ５１の外形形状から求めた中心と、実際にＬＥＤ５１が発光している中心とに、ＬＥＤ５１の製造の際に生じた差異が存在することがあっても、移動方向や移動量には差異は生じないので、カメラ装置２の撮影領域にカメラ座標系を正確に設定することができる。
【０００９】
ところで、カメラ装置２の撮影領域にカメラ座標系を設定するためには、立方格子６０やキャリブレーション装置５０を飛行体の予め定められた設定位置に正確に取り付ける（アライメントを取る）必要がある。そのため、飛行体を長時間拘束してしまうということがある。
そして、飛行体に取り付けられた第一カメラ２ａ若しくは第二カメラ２ｂのいずれかを交換したときには、カメラ装置２の撮影領域にカメラ座標系を再設定することになるが、再度、立方格子６０やキャリブレーション装置５０を飛行体の予め定められた設定位置に正確に取り付ける必要があり、飛行体を長時間拘束してしまうという問題点があった。
そこで、本発明は、カメラ装置の撮影領域にカメラ座標系を再設定する際に、カメラ装置の撮影領域にカメラ座標系を短時間で簡単に正確に設定することができるモーショントラッカシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するためになされた本発明のモーショントラッカシステムは、少なくとも３個の光学マーカーが取り付けられた測定対象物と、前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置が取り付けられた基準対象物と、前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記基準対象物に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカシステムであって、前記基準対象物中の設定位置に取り付け取り外し可能とされるとともに、光学マーカーと、当該光学マーカーをＸＹＺ方向に移動させるステージ機構とを備えるキャリブレーション装置と、前記基準対象物中に取り付けられた少なくとも３個の光学マーカーとを備え、前記キャリブレーション装置の光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、前記カメラ装置の撮影領域にカメラ座標系を設定した後に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ座標系における少なくとも３個の光学マーカーの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部に記憶させるキャリブレーション情報記憶制御部と、前記カメラ装置の撮影領域にカメラ座標系を再設定する際に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報と、前記キャリブレーション情報記憶部に記憶されたキャリブレーション情報とに基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系再設定部とを備えるようにしている。
【００１１】
ここで、「光学マーカー」としては、例えば、発光体（ランプ、ＬＥＤ等）、反射体、蛍光体等が挙げられる。
本発明のＭＴシステムによれば、少なくとも３個の光学マーカーが、基準対象物におけるカメラ装置の撮影領域中に取り付けられている。
そして、カメラ装置の撮影領域にカメラ座標系を１回目に設定する際に、まず、光学マーカーをＸＹＺ方向に移動させることが可能なキャリブレーション装置を、カメラ装置の撮影領域中の設定位置に取り付ける。次に、カメラ装置制御部はキャリブレーション装置の光学マーカーを撮影することで、第一画像と第二画像とを取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＸ方向に設定距離で移動させた後、カメラ装置制御部はキャリブレーション装置の光学マーカーを撮影することで、第一画像と第二画像とを取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＹ方向に設定距離で移動させた後、カメラ装置制御部はキャリブレーション装置の光学マーカーを撮影することで、第一画像と第二画像とを取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＺ方向に設定距離で移動させた後、カメラ装置制御部はキャリブレーション装置の光学マーカーを撮影することで、第一画像と第二画像とを取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。その結果、座標系設定部は、記憶された光学マーカー位置情報に基づいて、カメラ装置の撮影領域にカメラ座標系を設定する。次に、カメラ装置の撮影領域にカメラ座標系を設定した後、キャリブレーション装置を設定位置から取り外す。
【００１２】
ところで、本発明のＭＴシステムでは、カメラ装置の撮影領域にカメラ座標系を再設定する際に、立方格子やキャリブレーション装置等を基準対象物の予め定められた設定位置に取り付ける必要がないようにしている。そこで、本発明のＭＴシステムにおいて、キャリブレーション装置を設定位置から取り外した後に、カメラ装置制御部は、基準対象物中に取り付けられた少なくとも３個の光学マーカーを撮影することで、第一画像と第二画像とを取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出し、さらにキャリブレーション情報記憶制御部は、光学マーカー位置情報に基づいて、カメラ座標系に対する光学マーカーの座標位置であるキャリブレーション情報を算出してキャリブレーション情報記憶部に記憶させる。
【００１３】
その後、基準対象物に取り付けられた第一カメラ若しくは第二カメラの少なくともいずれかが交換されたとき等に、カメラ装置の撮影領域にカメラ座標系を再設定する必要ができた場合には、キャリブレーション情報記憶部に記憶されたキャリブレーション情報を用いる。
ここで、基準対象物中に取り付けられた少なくとも３個の光学マーカーの位置は、変動することがない。つまり、カメラ装置の撮影領域にカメラ座標系を再設定するときにも、カメラ座標系を１回目に設定したときと同様に設定するので、再設定されたカメラ座標系における光学マーカーの座標位置は、１回目に設定されたカメラ座標系における光学マーカーの座標位置と同一となることになる。逆に言えば、再設定されたカメラ座標系における光学マーカーの座標位置と、１回目に設定されたカメラ座標系における光学マーカーの座標位置とが同一になっていれば、再設定されたカメラ座標系と、１回目に設定されたカメラ座標系とも同一に設定されていることになる。
そこで、本発明のＭＴシステムにおいて、カメラ装置制御部は、基準対象物中に取り付けられた少なくとも３個の光学マーカーを撮影することで、第一画像及び第二画像を取得する。これにより、光学マーカー位置情報算出部はカメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出し、さらに座標系再設定部は、光学マーカー位置情報と、キャリブレーション情報記憶部に記憶されたキャリブレーション情報とに基づいて、カメラ装置の撮影領域にカメラ座標系を設定する。このとき、１回目に設定されたカメラ座標系における各光学マーカーの座標位置と、得られた各光学マーカーの座標位置とがそれぞれ同一になるように、カメラ座標系を設定する。
【発明の効果】
【００１４】
以上のように、本発明のＭＴシステムによれば、カメラ装置の撮影領域にカメラ座標系を再設定する際に、立方格子やキャリブレーション装置を基準対象物の予め定められた設定位置に正確に取り付ける必要もなく、カメラ装置の撮影領域にカメラ座標系を短時間で簡単に正確に設定することができる。その結果、基準対象物を長時間拘束してしまうことがなくなる。
【００１５】
（他の課題を解決するための手段および効果）
また、本発明のＭＴシステムは、前記座標系設定部は、前記キャリブレーション装置の光学マーカーをＸ方向に設定距離で移動させた後と、Ｙ方向に設定距離で移動させた後と、Ｚ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前とに、それぞれ第一画像及び第二画像を取得することにより得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定するようにしてもよい。
また、本発明のＭＴシステムは、前記座標系再設定部は、前記基準対象物に取り付けられた第一カメラ若しくは第二カメラの少なくともいずれかが交換されたときに、前記カメラ装置の撮影領域にカメラ座標系を再設定するようにしてもよい。
【００１６】
また、本発明のＭＴシステムは、前記測定対象物に取り付けられた少なくとも３個の光学マーカーと、前記キャリブレーション装置に取り付けられた光学マーカーと、前記基準対象物中に取り付けられた少なくとも３個の光学マーカーとは、同一の波長の赤外光を発光するようにしてもよい。
そして、本発明のＭＴシステムは、前記基準対象物中には、少なくとも４個の光学マーカーが取り付けられ、少なくとも４個の光学マーカーは、同一の平面上には存在しないようにしてもよい。
【００１７】
さらに、本発明の座標系設定方法は、少なくとも３個の光学マーカーが取り付けられた測定対象物と、前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置が取り付けられた基準対象物と、前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記基準対象物に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部と、前記基準対象物中に取り付けられた少なくとも３個の光学マーカーと、前記基準対象物中の設定位置に取り付け取り外し可能とされるとともに、光学マーカーと、当該光学マーカーをＸＹＺ方向に移動させるステージ機構とを備えるキャリブレーション装置とを備えるモーショントラッカシステムに用いられるカメラ装置の撮影領域にカメラ座標系を設定する座標系設定方法であって、前記キャリブレーション装置の光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定工程と、前記カメラ装置の撮影領域にカメラ座標系を設定した後に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ座標系における少なくとも３個の光学マーカーの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部に記憶させるキャリブレーション情報記憶制御工程と、前記カメラ装置の撮影領域にカメラ座標系を再設定する際に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報と、前記キャリブレーション情報記憶部に記憶されたキャリブレーション情報とに基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系再設定工程とを含むようにしている。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【００１９】
本発明の一実施形態であるＨＭＴシステムは、ＨＭＴ装置１とキャリブレーション装置５０とからなる。図１は、本発明に係るＨＭＴ装置１の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメット（測定対象物）１０の平面図である。また、図３は、本発明に係るキャリブレーション装置５０の概略構成を示す図であり、図４は、ＨＭＴ装置１の設定位置にキャリブレーション装置５０を取り付けた図である。
なお、ＨＭＴ装置１は、カメラ装置２に設定されるカメラ座標系（ＸＹＺ座標系）に対するパイロット（搭乗者）３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出するものである。つまり、搭乗体３０（基準対象物）に設定されたカメラ座標系（ＸＹＺ座標系）に対する、パイロット３が着用する頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を算出する。
また、キャリブレーション装置５０は、パイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出するために、搭乗体３０に配置されるカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定するためのものである。本実施形態では、１回目のカメラ座標系（ＸＹＺ座標系）を設定する際には、キャリブレーション装置５０を用い、カメラ座標系（ＸＹＺ座標系）を再設定する際には、キャリブレーション装置５０を用いず、ＬＥＤ群４を用いることになる。
【００２０】
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、搭乗体３０に固定されたカメラ装置２と、搭乗体３０に取り付けられたＬＥＤ群４と、コンピュータにより構成される制御部２０とから構成される。
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、外周面上に取り付けられたＬＥＤ群７とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示画像とコンバイナ８の前方実在物とを視認することが可能となっている。
【００２１】
ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光を発光する３個のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして、頭部装着型表示装置付ヘルメット１０の外周面上に取り付けられたものである。
ここで、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をＬＥＤ７ａの位置とし、前方方向をＸ’軸方向とし、前方方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、後述するデータ記憶部４５に設定されている。また、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も、データ記憶部４５に記憶されている。これにより、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット１０の現在位置及び現在角度が、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を用いて表現されるようになっている。
【００２２】
搭乗体３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席する座席３０ａを備え、キャリブレーション装置５０を取り付けるための設定位置（後述する）が定められている。
カメラ装置２は、第一カメラ２ａと第二カメラ２ｂとからなる。第一カメラ２ａと第二カメラ２ｂとは、撮影方向が異なりかつ立体視が可能な一定の距離（ｄ１）を隔てるように、座席３０ａに固定されている。
ここで、図５に示すように、カメラ装置２に対するＬＥＤ７ａの位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができる。他のＬＥＤ７ｂ、７ｃのカメラ装置２に対する位置についても、同様に算出される。
【００２３】
このときの各ＬＥＤ７ａ、７ｂ、７ｃの位置を、空間座標で表現することができるようにするために、キャリブレーション装置５０やＬＥＤ群４等を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定している。なお、キャリブレーション装置５０を用いてカメラ座標系を設定する設定方法や、ＬＥＤ群４を用いてカメラ座標系を再設定する再設定方法や、カメラ座標系の具体的な原点位置やＸＹＺ軸方向等の説明については後述する。
カメラ装置２の撮影領域にカメラ座標系が設定されていれば、上述したように三角測量の手法で算出することにより、ＬＥＤ７ａ、７ｂ、７ｃの座標位置は、カメラ座標系を用いて表現できる。そして、３個のＬＥＤ７ａ、７ｂ、７ｃの座標位置が特定されれば、ＬＥＤ７ａ、７ｂ、７ｃが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット１０の位置及び角度は、カメラ座標系（ＸＹＺ座標系）に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を用いて表現できるようになる。なお、角度（Θｈ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（Φｈ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（Ψｈ）は、アジマス方向（Ｚ軸に対する回転）の角度である。また、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点であるＬＥＤ７ａの現在の座標位置で表現することとする。
なお、本実施形態では、後述する設定方法でカメラ座標系を設定するため、搭乗体３０に予め設定されている基準座標系とカメラ座標系とが完全に一致している。このため、カメラ座標系に対するヘルメット座標系の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）は、そのままの値を用いて、基準座標系に対するヘルメット座標系の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）として表現することができるようになる。
【００２４】
ＬＥＤ群４は、図１、図４及び図７に示すように、互いに異なる波長の赤外光を発光する９個のＬＥＤ４ａ〜４ｉが互いに離隔するようにして、搭乗体３０に取り付けられたものである。なお、９個のＬＥＤ４ａ〜４ｉは同一の平面に存在しないように搭乗体３０に取り付けられている。
そして、カメラ座標系（ＸＹＺ座標系）上での９個のＬＥＤ４ａ〜４ｉの位置関係であるキャリブレーション情報が、キャリブレーション情報記憶部４７に記憶されることになり、これにより、ＬＥＤ群４を用いてカメラ座標系をカメラ装置２に再設定することができるようになっている。
【００２５】
制御部２０は、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行う。制御部２０のＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、カメラ装置制御部２８と、光学マーカー位置情報算出部２２と、相対情報算出部２３と、座標系設定部２７と、駆動信号発生部２６と、映像表示部２５と、キャリブレーション情報記憶制御部３１と、座標系再設定部３２とからなる。
また、メモリ４１は、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、基準座標系を記憶する基準座標系記憶部４３と、カメラ座標系（ＸＹＺ座標系）を記憶するカメラ座標系記憶部４４と、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶するデータ記憶部４５と、光学マーカー位置情報を順次記憶する光学マーカー位置情報記憶部４６と、キャリブレーション情報を記憶するキャリブレーション情報記憶部４７とを有する。
なお、データ記憶部４５は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶し、さらに、Ｘ’Ｙ’Ｚ’座標系上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も記憶している。
【００２６】
ここで、基準座標系は、搭乗体３０とともに移動する座標系であり、原点及び各座標軸の方向を任意に予め定められているが、本実施形態では、キャリブレーション装置５０を取り付けるための設定位置のある点を原点とし、前方方向をＸ軸方向とし、前方方向に垂直方向をＹ軸方向とし、Ｘ軸方向及びＹ軸方向に垂直方向をＺ軸方向とするように、基準座標系記憶部４３に予め設定されているものとする。
そして、カメラ座標系（ＸＹＺ座標系）は、原点及び各ＸＹＺ座標軸の方向を、搭乗体３０に設定された基準座標系と一致するように設定される。これにより、搭乗体３０に設定された基準座標系と位置合わせされたジャイロセンサや加速度センサ（図示せず）の測定結果と組み合わせることが可能となる。
【００２７】
カメラ装置制御部２８は、第一カメラ２ａにより撮影された第一画像と、第一カメラ２ａが撮影すると同時に第二カメラ２ｂにより撮影された第二画像とを取得する制御を行う。
光学マーカー位置情報算出部２２は、第一画像と第二画像とに基づいて、カメラ装置２に対するＬＥＤ群７やＬＥＤ群４やＬＥＤ５１（後述する）の現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部４６に順次記憶させる制御を行う。
例えば、ＬＥＤ７ａのカメラ装置２に対する位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出する。
【００２８】
相対情報算出部２３は、カメラ装置２に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報を用いて、カメラ座標系に対する頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出する制御を行う。
具体的には、座標系設定部２７や座標系再設定部３２でカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定した後に、カメラ装置制御部２８に第一画像と第二画像とを取得させる。カメラ装置２の撮影領域にカメラ座標系が設定されているので、カメラ装置２に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報を用いて、カメラ座標系に対するＬＥＤ７ａ、７ｂ、７ｃの現在の座標位置を作成する。そして、カメラ座標系に対するＬＥＤ７ａ、７ｂ、７ｃの現在の座標位置と、データ記憶部４５に記憶されている初期データとを比較することにより、ＬＥＤ群７が固定された頭部装着型表示装置付ヘルメット１０のカメラ座標系に対する位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を算出する。
映像表示部２５は、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を含む相対情報に基づいて、表示器から画像表示光を出射する制御を行う。これにより、パイロット３は、表示器による表示画像を視認することになる。
【００２９】
次に、キャリブレーション装置５０を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する設定方法や、ＬＥＤ群４を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を再設定する再設定方法について図３、図４、図６及び図７を用いて説明する。
本実施形態では、１回目のカメラ座標系（ＸＹＺ座標系）を設定する際には、キャリブレーション装置５０を用い、カメラ座標系（ＸＹＺ座標系）を再設定する際には、キャリブレーション装置５０を用いず、ＬＥＤ群４を用いることになる。
【００３０】
まず、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定するためのキャリブレーション装置５０について説明する。
キャリブレーション装置５０は、赤外光を発光する１個のＬＥＤ５１と、１個のＬＥＤ５１をＸＹＺ方向に移動させることが可能なステージ機構５２とを備える。
ステージ機構５２は、上部板状体５２ａと中軸体５２ｂと下部板状体５２ｃと設置部材５２ｄとからなる。ＬＥＤ５１は、上部板状体５２ａ上に固定されている。上部板状体５２ａは、中軸体５２ｂに対してＺ方向に並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＺ方向に移動させることができる。また、中軸体６２ｂは、上部板状体５２ａとともに下部板状体５２ｃに対してＸ方向への並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＸ方向に移動させることができる。さらに、下部板状体５２ｃは、上部板状体５２ａと中軸体６２ｂとともに設置部材５２ｄに対してＹ方向への並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＹ方向に移動させることができる。そして、設置部材５２ｄは、設定位置に位置決めされて取り付け取り外し可能に形成されている。
なお、ステージ機構５２の制御は、キャリブレーション装置５０とコンピュータ２０とを配線コード５３で連結することで、コンピュータ２０の駆動信号発生部２６から出力された駆動信号が与えられることによって実行される。
【００３１】
そして、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する際には、図４に示すように、カメラ装置２の撮影領域中にキャリブレーション装置５０を取り付けることになる。このとき、基準座標系の原点にＬＥＤ５１が配置され、基準座標系のＸ軸方向とステージ機構５２のＸ方向とが位置合わせされ、基準座標系のＹ軸方向とステージ機構５２のＹ方向とが位置合わせされ、基準座標系のＺ軸方向とステージ機構５２のＺ方向とが位置合わせされて取り付けられる。そして、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定した後には、カメラ装置２の撮影領域中からキャリブレーション装置５０を取り外すことになる。
【００３２】
駆動信号発生部２６は、入力装置（図示せず）等によるキャリブレーション信号を受信することによって、キャリブレーション装置５０のステージ機構５２に駆動信号を出力する制御を行う。
例えば、図６に示すように、キャリブレーション信号を受信することによって、まず、ＬＥＤ５１の初期位置５１ａとして、カメラ装置制御部２８に第一画像と第二画像とを取得させる。次に、ステージ機構６２にＬＥＤ５１をＸ方向に設定距離で移動させる駆動信号を出力した後、ＬＥＤ５１の第二位置５１ｂとして、カメラ装置制御部２８に第一画像と第二画像とを取得させる。このように、ＬＥＤ５１を予め定められた位置に移動させる駆動信号を出力した後、ＬＥＤ５１の各位置として、カメラ装置制御部２８に第一画像と第二画像とを順に取得させていき、立方格子の各頂点に対応する合計８箇所の位置５１ａ〜５１ｈのＬＥＤ５１を撮影することにより、第一画像と第二画像とを取得していく。
【００３３】
座標系設定部２７は、カメラ装置２に対するＬＥＤ５１の各位置である光学マーカー位置情報に基づいて、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する制御を行う。
具体的には、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第二位置５１ｂへの方向をＸ軸方向とし、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第四位置５１ｄへの方向をＹ軸方向とし、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第八位置５１ｈへの方向をＺ軸方向とするように設定する。また、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第二位置５１ｂまでの距離と、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第四位置５１ｄまでの距離と、ＬＥＤ５１の初期位置からＬＥＤ５１の第八位置５１ｈまでの距離とが各座標軸における基準距離となるように設定する。
【００３４】
キャリブレーション情報記憶制御部３１は、座標系設定部２７でカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定した後に、ＬＥＤ群４を撮影することで得られた光学マーカー位置情報に基づいて、カメラ座標系における９個のＬＥＤ４ａ〜４ｉの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部４７に記憶させる制御を行う。
具体的には、図７に示すように、座標系設定部２７でカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定した後に、カメラ装置制御部２８に第一画像と第二画像とを取得させる。カメラ装置２の撮影領域にカメラ座標系が設定されているので、カメラ装置２に対する９個のＬＥＤ４ａ〜４ｉの位置である光学マーカー位置情報を用いて、カメラ座標系に対する９個のＬＥＤ４ａ〜４ｉの座標位置であるキャリブレーション情報を作成する。そして、キャリブレーション情報をキャリブレーション情報記憶部４７に記憶させる。
これにより、カメラ装置２の撮影領域にカメラ座標系を再設定する際に、立方格子６０やキャリブレーション装置５０等を搭乗体３０の予め定められた設定位置に取り付ける必要がないようにしている。
【００３５】
座標系再設定部３１は、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を再設定する際に、ＬＥＤ群４を撮影することで得られた光学マーカー位置情報と、キャリブレーション情報記憶部４７に記憶されたキャリブレーション情報とに基づいて、カメラ装置２の撮影領域にカメラ座標系を設定する制御を行う。
例えば、搭乗体３０に取り付けられた第一カメラ２ａ若しくは第二カメラ２ｂのいずれかを交換したときに、カメラ装置２の撮影領域にカメラ座標系を再設定する必要ができた場合に、まず、９個のＬＥＤ４ａ〜４ｉを撮影することで、カメラ装置制御部２８に第一画像と第二画像とを取得させる。これにより、カメラ装置２に対する９個のＬＥＤ４ａ〜４ｉの位置である光学マーカー位置情報を得る。一方、キャリブレーション情報記憶部４７に記憶されたキャリブレーション情報に基づいて、１回目に設定したカメラ座標系に対する９個のＬＥＤ４ａ〜４ｉの座標位置であるキャリブレーション情報を得る。そして、１回目に設定されたカメラ座標系における各ＬＥＤの座標位置と、得られた各ＬＥＤの座標位置とがそれぞれ同一になるように、カメラ座標系を設定する。
これにより、立方格子６０やキャリブレーション装置５０を搭乗体３０の予め定められた設定位置に正確に取り付ける必要もなく、再設定されたカメラ座標系と、１回目に設定されたカメラ座標系とが同一となるように設定されるようになっている。
【００３６】
ここで、ＨＭＴシステムにより、キャリブレーション装置５０を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する設定方法と、ＬＥＤ群４を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を再設定する再設定方法とについて説明する。図８は、設定方法と再設定方法とについて説明するためのフローチャートである。
まず、ステップＳ１０１の処理において、搭乗体３０にカメラ装置２を取り付ける。
次に、ステップＳ１０２の処理において、搭乗体３０レベリング（飛行体レベリング）を実行する。
【００３７】
次に、ステップＳ１０３の処理において、設定位置にキャリブレーション装置５０を取り付ける。
次に、ステップＳ１０４の処理において、キャリブレーション装置５０取付アライメントを実行する。
次に、ステップＳ１０５の処理において、駆動信号発生部２６は、入力装置等によるキャリブレーション信号を受信することによって、キャリブレーション装置５０のステージ機構５２に駆動信号を出力するとともに、カメラ装置制御部２８は、ＬＥＤ５１を撮影する。
【００３８】
次に、ステップＳ１０６の処理において、座標系設定部２７は、カメラ装置２に対するＬＥＤ５１の各位置である光学マーカー位置情報に基づいて、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する（座標系設定工程）。
次に、ステップＳ１０７の処理において、設定位置からキャリブレーション装置５０を取り外す。
次に、ステップＳ１０８の処理において、キャリブレーション情報記憶制御部３１は、ＬＥＤ群４を撮影することで得られた光学マーカー位置情報に基づいて、カメラ座標系における９個のＬＥＤ４ａ〜４ｉの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部４７に記憶させる（キャリブレーション情報記憶制御工程）。
【００３９】
次に、ステップＳ１０９の処理において、相対情報算出部２３は、ＬＥＤ群７を撮影することで得られたカメラ装置２に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報を用いて、カメラ座標系に対する頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出する。
次に、ステップＳ１１０の処理において、映像表示部２５は、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を含む相対情報に基づいて、表示器から画像表示光を出射する。
次に、ステップＳ１１１の処理において、カメラ装置２を交換するか否かを判断する。カメラ装置２を交換すると判断したときには、ステップＳ１１２の処理において、搭乗体３０にカメラ装置２を取り付ける。つまり、カメラ装置２の撮影領域にカメラ座標系を再設定しなければならなくなる。
【００４０】
次に、ステップＳ１１３の処理において、カメラ装置制御部２８は、ＬＥＤ群４を撮影する。
次に、ステップＳ１１４の処理において、座標系再設定部３１は、ＬＥＤ群４を撮影することで得られた光学マーカー位置情報と、キャリブレーション情報記憶部４７に記憶されたキャリブレーション情報とに基づいて、カメラ装置２の撮影領域にカメラ座標系を設定して（座標系再設定工程）、ステップＳ１０９の処理に戻る。つまり、立方格子６０やキャリブレーション装置５０を搭乗体３０の予め定められた設定位置に正確に取り付ける必要がなく、カメラ装置２の撮影領域にカメラ座標系を設定することができる。
一方、カメラ装置２を交換しないと判断したときには、ステップＳ１０９の処理に戻る。
【００４１】
以上のように、本発明のＨＭＴシステムによれば、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を再設定する際に、立方格子６０やキャリブレーション装置５０を搭乗体３０の予め定められた設定位置に正確に取り付ける必要もなく、カメラ装置２の撮影領域にカメラ座標系を短時間で簡単に正確に設定することができる。その結果、搭乗体３０を長時間拘束してしまうことがなくなる。
【００４２】
（他の実施形態）
（１）上述したＨＭＴシステムにおいて、ＬＥＤ群７は互いに異なる波長の赤外光を発光する３個のＬＥＤ７ａ〜７ｃや、ＬＥＤ群４は互いに異なる波長の赤外光を発光する９個のＬＥＤ４ａ〜４ｉが取り付けられた構成としたが、全て同一の波長の赤外光を発光するような構成としてもよい。
（２）上述したＨＭＴシステムにおいて、ＬＥＤ群４は、９個のＬＥＤ４ａ〜４ｉが取り付けられた構成としたが、３個以上のＬＥＤが取り付けられたような構成としてもよい。
【産業上の利用可能性】
【００４３】
本発明は、飛行体等に設定された基準座標系に対する頭部角度や頭部位置を測定するためのヘッドモーショントラッカ装置等に利用することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明に係るＨＭＴ装置の概略構成を示す図である。
【図２】図１に示す頭部装着型表示装置付ヘルメットの平面図である。
【図３】本発明に係るキャリブレーション装置の概略構成を示す図である。
【図４】ＨＭＴ装置の設定位置にキャリブレーション装置を取り付けた図である。
【図５】カメラ装置に対するＬＥＤの位置を算出する算出方法を説明するための図である。
【図６】カメラ装置の撮影領域にカメラ座標系を設定する設定方法について説明するための図である。
【図７】カメラ装置の撮影領域にカメラ座標系を再設定する再設定方法について説明するための図である。
【図８】設定方法と再設定方法とについて説明するためのフローチャートである。
【図９】カメラ装置の撮影領域にカメラ座標系を設定する従来の設定方法について説明するための図である。
【図１０】カメラ装置の撮影領域にカメラ座標系を設定する従来の設定方法について説明するための図である。
【図１１】ＬＥＤの概略構成を示す断面図である。
【符号の説明】
【００４５】
１ ヘッドモーショントラッカ装置（ＨＭＴ装置）
２ カメラ装置
２ａ 第一カメラ
２ｂ 第二カメラ
３ パイロット
４、７ ＬＥＤ群（光学マーカー群）
１０ 頭部装着型表示装置付ヘルメット（測定対象物）
２２ 光学マーカー位置情報算出部
２３ 相対情報算出部
２７ 座標系設定部
２８ カメラ装置制御部
３０ 搭乗体（基準対象物）
３１ キャリブレーション情報記憶制御部
３２ 座標系再設定部
４６ 光学マーカー位置情報記憶部
４７ キャリブレーション情報記憶部
５０ キャリブレーション装置
５１ ＬＥＤ（光学マーカー）
５２ ステージ機構
【特許請求の範囲】
【請求項１】
少なくとも３個の光学マーカーが取り付けられた測定対象物と、
前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置が取り付けられた基準対象物と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記基準対象物に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカシステムであって、
前記基準対象物中の設定位置に取り付け取り外し可能とされるとともに、光学マーカーと、当該光学マーカーをＸＹＺ方向に移動させるステージ機構とを備えるキャリブレーション装置と、
前記基準対象物中に取り付けられた少なくとも３個の光学マーカーとを備え、
前記キャリブレーション装置の光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、
前記カメラ装置の撮影領域にカメラ座標系を設定した後に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ座標系における少なくとも３個の光学マーカーの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部に記憶させるキャリブレーション情報記憶制御部と、
前記カメラ装置の撮影領域にカメラ座標系を再設定する際に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報と、前記キャリブレーション情報記憶部に記憶されたキャリブレーション情報とに基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系再設定部とを備えることを特徴とするモーショントラッカシステム。
【請求項２】
前記座標系設定部は、前記キャリブレーション装置の光学マーカーをＸ方向に設定距離で移動させた後と、Ｙ方向に設定距離で移動させた後と、Ｚ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前とに、それぞれ第一画像及び第二画像を取得することにより得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定することを特徴とする請求項１に記載のモーショントラッカシステム。
【請求項３】
前記座標系再設定部は、前記基準対象物に取り付けられた第一カメラ若しくは第二カメラの少なくともいずれかが交換されたときに、前記カメラ装置の撮影領域にカメラ座標系を再設定することを特徴とする請求項１又は請求項２に記載のモーショントラッカシステム。
【請求項４】
前記測定対象物に取り付けられた少なくとも３個の光学マーカーと、前記キャリブレーション装置に取り付けられた光学マーカーと、前記基準対象物中に取り付けられた少なくとも３個の光学マーカーとは、同一の波長の赤外光を発光することを特徴とする請求項１〜請求項３のいずれかに記載のモーショントラッカシステム。
【請求項５】
前記基準対象物中には、少なくとも４個の光学マーカーが取り付けられ、
少なくとも４個の光学マーカーは、同一の平面上には存在しないことを特徴とする請求項１〜請求項４のいずれかに記載のモーショントラッカシステム。
【請求項６】
少なくとも３個の光学マーカーが取り付けられた測定対象物と、
前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置が取り付けられた基準対象物と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記基準対象物に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部と、
前記基準対象物中に取り付けられた少なくとも３個の光学マーカーと、
前記基準対象物中の設定位置に取り付け取り外し可能とされるとともに、光学マーカーと、当該光学マーカーをＸＹＺ方向に移動させるステージ機構とを備えるキャリブレーション装置とを備えるモーショントラッカシステムに用いられるカメラ装置の撮影領域にカメラ座標系を設定する座標系設定方法であって、
前記キャリブレーション装置の光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定工程と、
前記カメラ装置の撮影領域にカメラ座標系を設定した後に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ座標系における少なくとも３個の光学マーカーの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部に記憶させるキャリブレーション情報記憶制御工程と、
前記カメラ装置の撮影領域にカメラ座標系を再設定する際に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報と、前記キャリブレーション情報記憶部に記憶されたキャリブレーション情報とに基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系再設定工程とを含むことを特徴とする座標系設定方法。
【請求項１】
少なくとも３個の光学マーカーが取り付けられた測定対象物と、
前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置が取り付けられた基準対象物と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記基準対象物に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカシステムであって、
前記基準対象物中の設定位置に取り付け取り外し可能とされるとともに、光学マーカーと、当該光学マーカーをＸＹＺ方向に移動させるステージ機構とを備えるキャリブレーション装置と、
前記基準対象物中に取り付けられた少なくとも３個の光学マーカーとを備え、
前記キャリブレーション装置の光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、
前記カメラ装置の撮影領域にカメラ座標系を設定した後に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ座標系における少なくとも３個の光学マーカーの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部に記憶させるキャリブレーション情報記憶制御部と、
前記カメラ装置の撮影領域にカメラ座標系を再設定する際に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報と、前記キャリブレーション情報記憶部に記憶されたキャリブレーション情報とに基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系再設定部とを備えることを特徴とするモーショントラッカシステム。
【請求項２】
前記座標系設定部は、前記キャリブレーション装置の光学マーカーをＸ方向に設定距離で移動させた後と、Ｙ方向に設定距離で移動させた後と、Ｚ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前とに、それぞれ第一画像及び第二画像を取得することにより得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定することを特徴とする請求項１に記載のモーショントラッカシステム。
【請求項３】
前記座標系再設定部は、前記基準対象物に取り付けられた第一カメラ若しくは第二カメラの少なくともいずれかが交換されたときに、前記カメラ装置の撮影領域にカメラ座標系を再設定することを特徴とする請求項１又は請求項２に記載のモーショントラッカシステム。
【請求項４】
前記測定対象物に取り付けられた少なくとも３個の光学マーカーと、前記キャリブレーション装置に取り付けられた光学マーカーと、前記基準対象物中に取り付けられた少なくとも３個の光学マーカーとは、同一の波長の赤外光を発光することを特徴とする請求項１〜請求項３のいずれかに記載のモーショントラッカシステム。
【請求項５】
前記基準対象物中には、少なくとも４個の光学マーカーが取り付けられ、
少なくとも４個の光学マーカーは、同一の平面上には存在しないことを特徴とする請求項１〜請求項４のいずれかに記載のモーショントラッカシステム。
【請求項６】
少なくとも３個の光学マーカーが取り付けられた測定対象物と、
前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置が取り付けられた基準対象物と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記基準対象物に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部と、
前記基準対象物中に取り付けられた少なくとも３個の光学マーカーと、
前記基準対象物中の設定位置に取り付け取り外し可能とされるとともに、光学マーカーと、当該光学マーカーをＸＹＺ方向に移動させるステージ機構とを備えるキャリブレーション装置とを備えるモーショントラッカシステムに用いられるカメラ装置の撮影領域にカメラ座標系を設定する座標系設定方法であって、
前記キャリブレーション装置の光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定工程と、
前記カメラ装置の撮影領域にカメラ座標系を設定した後に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報に基づいて、前記カメラ座標系における少なくとも３個の光学マーカーの座標位置であるキャリブレーション情報を作成してキャリブレーション情報記憶部に記憶させるキャリブレーション情報記憶制御工程と、
前記カメラ装置の撮影領域にカメラ座標系を再設定する際に、前記基準対象物に取り付けられた光学マーカーを撮影することで得られた光学マーカー位置情報と、前記キャリブレーション情報記憶部に記憶されたキャリブレーション情報とに基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系再設定工程とを含むことを特徴とする座標系設定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−３８８４７（Ｐ２０１０−３８８４７Ａ）
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願番号】特願２００８−２０４９４５（Ｐ２００８−２０４９４５）
【出願日】平成２０年８月８日（２００８．８．８）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
【公開日】平成２２年２月１８日（２０１０．２．１８）
【国際特許分類】
【出願日】平成２０年８月８日（２００８．８．８）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
[ Back to top ]