ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置
【課題】 カメラ装置の撮影領域にカメラ座標系を正確に設定することができるヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置を提供する。
【解決手段】 カメラ装置２に対する光学マーカー５１の現在位置である光学マーカー位置情報を算出して記憶させる光学マーカー位置情報算出部２２と、光学マーカー位置情報に基づいて、カメラ装置２の撮影領域にカメラ座標系を設定する座標系設定部２７とを備えるヘッドモーショントラッカシステムであって、光学マーカー５１をＸＹＺ方向に移動させるステージ機構５２を備え、カメラ装置制御部２８は、光学マーカー５１をＸ方向に設定距離で移動させた後と、光学マーカー５１をＹ方向に設定距離で移動させた後と、光学マーカー５１をＺ方向に設定距離で移動させた後と、光学マーカー５１を移動させる前に、それぞれ第一画像及び第二画像を取得する。
【解決手段】 カメラ装置２に対する光学マーカー５１の現在位置である光学マーカー位置情報を算出して記憶させる光学マーカー位置情報算出部２２と、光学マーカー位置情報に基づいて、カメラ装置２の撮影領域にカメラ座標系を設定する座標系設定部２７とを備えるヘッドモーショントラッカシステムであって、光学マーカー５１をＸＹＺ方向に移動させるステージ機構５２を備え、カメラ装置制御部２８は、光学マーカー５１をＸ方向に設定距離で移動させた後と、光学マーカー５１をＹ方向に設定距離で移動させた後と、光学マーカー５１をＺ方向に設定距離で移動させた後と、光学マーカー５１を移動させる前に、それぞれ第一画像及び第二画像を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ装置の撮影領域にカメラ座標系を設定することにより、カメラ座標系に対する測定対象物の現在位置や現在角度を測定するためのヘッドモーショントラッカシステム（以下、ＨＭＴシステムともいう）及びそれに用いられるキャリブレーション装置に関する。本発明は、特に、ゲーム機や乗物等の移動体に配置されたカメラ装置の撮影領域にカメラ座標系を設定することにより、カメラ座標系に対する搭乗者に装着される頭部装着型表示装置付ヘルメットの現在位置や現在角度（すなわち、頭部の現在位置や現在角度）を常に測定するために、角速度センサや加速度センサを組み合わせたＨＭＴシステム等に利用される。
【背景技術】
【０００２】
時々刻々と変動する物体（測定対象物）の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）が利用されている。
【０００３】
また、救難飛行艇による救難活動において、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体（救難飛行艇）の緯度、経度、高度、姿勢に加えて、飛行体に対するパイロットの頭部の現在角度及び現在位置を測定している。このため、ＨＭＴ装置が利用されている。
【０００４】
頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。具体的には、複数の反射板を頭部装着型表示装置付ヘルメットの外周面上に取り付けるとともに、光源とカメラ装置（第一カメラ及び第二カメラ）とを飛行体に固定することにより、光源から光を照射したときの反射板からの反射光をカメラ装置でモニタする。また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のＨＭＴ装置もある（例えば、特許文献２参照）。例えば、頭部装着型表示装置付ヘルメットの外周面上に、発光体であるＬＥＤ（発光ダイオード）を互いに離隔するようにして３箇所に取り付け、これら３個のＬＥＤの位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３個のＬＥＤを、立体視が可能でかつ飛行体に固定された第一カメラ及び第二カメラで同時に撮影することで、所謂、三角測量の原理により、現在の３個のＬＥＤの位置関係を測定している。これにより、カメラ装置に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を特定している。
【特許文献１】特表平９−５０６１９４号公報
【特許文献２】特願２００５−１０６４１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
さらに、本出願人は、ジャイロセンサ（角速度センサ）や加速度センサを組み合わせたＨＭＴ装置を開発した。これにより、第一カメラ及び第二カメラによる撮影と撮影との間隔時間にも、ジャイロセンサ（角速度センサ）や加速度センサの測定結果を用いて、飛行体に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を算出することができるようにした。
ところで、上述したようなＨＭＴ装置では、カメラ装置で測定された現在の３個のＬＥＤの位置関係を空間座標で表現するために、予めカメラ装置の撮影領域にカメラ座標系が設定されて用いられている。ここで、カメラ装置２（第一カメラ２ａ及び第二カメラ２ｂ）の撮影領域にカメラ座標系を設定する従来の方法について図７及び図８を用いて説明する。
カメラ座標系は、原点及び各ＸＹＺ座標軸の方向を、飛行体に予め設定された基準座標系と一致するように設定される。これにより、頭部装着型表示装置付ヘルメットの外周面上に取り付けられた反射板やＬＥＤの位置をカメラ座標系で表現するとともに、そのままの値を用いて基準座標系で表現することができるようになっている。また、ジャイロセンサや加速度センサを組み合わせたＨＭＴ装置においても、ジャイロセンサや加速度センサも基準座標系と位置合わせされて固定されているので、ジャイロセンサや加速度センサの測定結果と、カメラ装置での測定結果とを容易に組み合わせることが可能となっている。
【０００６】
そこで、カメラ装置２の撮影領域に、基準座標系と一致したカメラ座標系を設定するために、図７に示すような各頂点にＬＥＤ６１ａ〜６１ｈが配置されかつ各辺６２ａ〜６２ｌが設定距離となる立方格子６０を作製して用いている。このような立方格子６０を飛行体に予め定められた設定位置に取り付けることにより、ＬＥＤ６１ａの位置からＬＥＤ６１ｂの位置への方向をＸ軸方向とし、ＬＥＤ６１ａの位置からＬＥＤ６１ｄの位置への方向をＹ軸方向とし、ＬＥＤ６１ａの位置からＬＥＤ６１ｈの位置への方向をＺ軸方向とするように設定している。また、ＬＥＤ６１ａの位置からＬＥＤ６１ｂの位置までの距離と、ＬＥＤ６１ａの位置からＬＥＤ６１ｄの位置までの距離と、ＬＥＤ６１ａの位置からＬＥＤ６１ｈの位置までの距離とが各座標軸における基準距離となるように設定している。
【０００７】
しかしながら、立方格子６０を作製する際に使用した設計情報（設定距離等の立方格子の大きさ情報）を用いて各ＬＥＤ６１ａ〜６１ｈの位置関係を記憶させることになるが、カメラ座標系と基準座標系とが完全に一致しないという問題があった。
ここで、図９は、一般的なＬＥＤの概略構成を示す断面図である。ＬＥＤ６１は、半導体部７１と、反射板７２と、レンズ７３とを有する。図９に示すように、ＬＥＤ６１の外形形状から求めた中心と、実際にＬＥＤ６１が発光している中心とに、ＬＥＤ６１の製造の際に生じた差異が存在する。そして、ＬＥＤ６１の位置を記憶させるときには、カメラ装置２でＬＥＤ６１から出射された光線を検出するため、ＬＥＤ６１が発光している中心がＬＥＤ６１の位置として記憶されることになる。一方、立方格子６０は、ＬＥＤ６１の製造の際に生じた差異を容易に確認することができず、ＬＥＤ６１の外形形状の中心を容易に確認することができるため、ＬＥＤ６１の外形形状の中心が立方格子６０の頂点となるように作製されている。よって、設計情報を用いてＬＥＤ６１の位置関係を記憶させても、カメラ座標系と基準座標系との位置がずれることになっていた。
そこで、本発明は、カメラ装置の撮影領域にカメラ座標系を正確に設定することができるヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するためになされた本発明のヘッドモーショントラッカシステムは、光学マーカーと、前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカシステムであって、前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、前記カメラ装置制御部は、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像を取得するようにしている。
【０００９】
ここで、「光学マーカー」としては、例えば、発光体（ランプ、ＬＥＤ等）、反射体、蛍光体等が挙げられる。
本発明のＨＭＴシステムによれば、まず、光学マーカーをＸＹＺ方向に移動させることが可能なステージ機構を、カメラ装置の撮影領域中の設定位置に取り付ける。そして、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＸ方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＹ方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＺ方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。そして、座標系設定部は、記憶された光学マーカー位置情報に基づいて、カメラ装置の撮影領域にカメラ座標系を設定する。最後に、ステージ機構を設定位置から取り外す。
【発明の効果】
【００１０】
以上のように、本発明のＨＭＴシステムによれば、カメラ装置制御部は、光学マーカーをＸ方向に設定距離で移動させた後と、光学マーカーをＹ方向に設定距離で移動させた後と、光学マーカーをＺ方向に設定距離で移動させた後と、光学マーカーを移動させる前に、それぞれ第一画像及び第二画像を取得する。つまり、１個の光学マーカーをＸＹＺ方向に移動させることにより、光学マーカーの外形形状から求めた中心と、実際に光学マーカーが発光している中心とに、光学マーカーの製造の際に生じた差異が存在することがあっても、移動方向や移動量には差異は生じないので、カメラ装置の撮影領域にカメラ座標系を正確に設定することができる。
【００１１】
（他の課題を解決するための手段および効果）
また、上記課題を解決するためになされた本発明のキャリブレーション装置は、光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカ装置に用いられるキャリブレーション装置であって、前記光学マーカーと、前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、前記カメラ装置制御部によって、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像が取得されるようにしている。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【００１３】
本発明の一実施形態であるＨＭＴシステムは、ＨＭＴ装置１とキャリブレーション装置５０とからなる。図１は、本発明に係るＨＭＴ装置１の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメット（測定対象物）１０の平面図である。また、図３は、本発明の一実施形態であるキャリブレーション装置５０の概略構成を示す図であり、図４は、ＨＭＴ装置１の設定位置３０ｂにキャリブレーション装置５０を取り付けた図である。なお、ＨＭＴ装置１は、カメラ装置２に設定されるカメラ座標系（ＸＹＺ座標系）に対するパイロット（搭乗者）３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出するものである。つまり、搭乗体３０に設定されたカメラ座標系（ＸＹＺ座標系）に対する、パイロット３が着用する頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を算出する。また、キャリブレーション装置５０は、パイロット（搭乗者）３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出するために、搭乗体３０に配置されたカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を予め設定するためのものである。
【００１４】
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、搭乗体３０に固定されたカメラ装置２と、コンピュータにより構成される制御部２０とから構成される。
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、ＬＥＤ群７とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示画像とコンバイナ８の前方実在物とを視認することが可能となっている。
【００１５】
ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光を発光する３個のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして、頭部装着型表示装置付ヘルメット１０の外周面上に取り付けられものである。
ここで、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をＬＥＤ７ａの位置とし、前方方向をＸ’軸方向とし、前方方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、後述するデータ記憶部４５に設定されている。また、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も、データ記憶部４５に記憶されている。これにより、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット１０の現在位置及び現在角度が、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を用いて表現されるようになっている。
【００１６】
搭乗体３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席する座席３０ａと、キャリブレーション装置５０を取り付けるための設定位置３０ｂ（後述する）を備える。
カメラ装置２は、第一カメラ２ａと第二カメラ２ｂとからなる。第一カメラ２ａと第二カメラ２ｂとは、撮影方向が異なりかつ立体視が可能な一定の距離（ｄ１）を隔てるように、座席３０ａに固定されている。
ここで、図５に示すように、カメラ装置２に対するＬＥＤ７ａの位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができる。他のＬＥＤ７ｂ、７ｃのカメラ装置２に対する位置についても、同様に算出される。
【００１７】
このときの各ＬＥＤ７ａ、７ｂ、７ｃの位置を、空間座標で表現することができるようにするために、キャリブレーション装置５０を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定している。なお、キャリブレーション装置５０を用いてカメラ座標系を設定する設定方法や、カメラ座標系の具体的な原点位置やＸＹＺ軸方向の説明については後述する。
カメラ装置２の撮影領域にカメラ座標系が設定されていれば、上述したように三角測量の手法で算出することで、ＬＥＤ７ａ、７ｂ、７ｃの位置座標は、カメラ座標系を用いて表現できる。そして、３個のＬＥＤ７ａ、７ｂ、７ｃの位置座標が特定されれば、ＬＥＤ７ａ、７ｂ、７ｃが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット１０の位置及び角度は、カメラ座標系に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を用いて表現できるようになる。なお、角度（Θｈ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（Φｈ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（Ψｈ）は、アジマス方向（Ｚ軸に対する回転）の角度である。また、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点であるＬＥＤ７ａの現在の位置座標で表現することとする。
なお、本実施形態では、後述する設定方法でカメラ座標系を設定するため、搭乗体３０に予め設定されている基準座標系とカメラ座標系とが完全に一致している。このため、カメラ座標系に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）は、そのままの値を用いて、基準座標系に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）として表現することができるようになる。
【００１８】
制御部２０は、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行う。制御部２０のＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、カメラ装置制御部２８と、光学マーカー位置情報算出部２２と、相対情報算出部２３と、座標系設定部２７と、駆動信号発生部２６と、映像表示部２５とからなる。
また、メモリ４１は、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、基準座標系を記憶する基準座標系記憶部４３と、カメラ座標系を記憶するカメラ座標系記憶部４４と、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶するデータ記憶部４５と、光学マーカー位置情報を順次記憶する光学マーカー位置情報記憶部４６とを有する。
【００１９】
なお、データ記憶部４５は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶し、さらに、Ｘ’Ｙ’Ｚ’座標系上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も記憶している。
基準座標系は、搭乗体３０とともに移動する座標系であり、原点及び各座標軸の方向を任意に予め定められているが、本実施形態では、キャリブレーション装置５０を取り付けるための設定位置３０ｂのある点を原点とし、前方方向をＸ軸方向とし、前方方向に垂直方向をＹ軸方向とし、Ｘ軸方向及びＹ軸方向に垂直方向をＺ軸方向とするように、後述する基準座標系記憶部４３に予め設定されているものとする。
次に、カメラ座標系（ＸＹＺ座標系）について説明する。カメラ座標系は、原点及び各ＸＹＺ座標軸の方向を、搭乗体３０に設定された基準座標系と一致するように設定される。これにより、搭乗体３０に設定された基準座標系と位置合わせされた加速度センサや加速度センサ（図示せず）の測定結果と組み合わせることが可能となる。
なお、キャリブレーション装置５０を用いてカメラ座標系を設定する設定方法や、カメラ座標系の具体的な原点位置やＸＹＺ軸方向の説明については後述する。
【００２０】
カメラ装置制御部２８は、第一カメラ２ａにより撮影された第一画像と、第一カメラ２ａが撮影すると同時に第二カメラ２ｂにより撮影された第二画像とを取得する制御を行うものである。
光学マーカー位置情報算出部２２は、第一画像と第二画像とに基づいて、カメラ装置２に対するＬＥＤ７ａ、７ｂ、７ｃ又はＬＥＤ５１（後述する）の現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部４６に順次記憶させる制御を行うものである。
例えば、ＬＥＤ７ａのカメラ装置２に対する位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出する。
【００２１】
相対情報算出部２３は、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）が設定された後には、カメラ装置２（カメラ座標系）に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報を用いて、カメラ座標系に対する頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出する制御を行うものである。
具体的には、カメラ装置２（カメラ座標系）に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報と、データ記憶部４５に記憶されている初期データとを比較することにより、ＬＥＤ群７が固定された頭部装着型表示装置付ヘルメット１０のカメラ座標系（ＸＹＺ座標系）に対する位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を算出する。
映像表示部２５は、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を含む相対情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することになる。
【００２２】
ここで、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する設定方法について図３、図４及び図６を用いて説明する。
本実施形態では、赤外光を発光する１個のＬＥＤ５１と、１個のＬＥＤ５１をＸＹＺ方向に移動させることが可能なステージ機構５２を備えるキャリブレーション装置５０を用いる（図３参照）。
ステージ機構５２は、上部板状体５２ａと中軸体５２ｂと下部板状体５２ｃと設置部材５２ｄとからなる。ＬＥＤ５１は、上部板状体５２ａ上に固定されている。上部板状体５２ａは、中軸体５２ｂに対してＺ方向に移動可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＺ方向に移動させることができる。また、中軸体６２ｂは、上部板状体５２ａとともに下部板状体５２ｃに対してＸ方向への並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＸ方向に移動させることができる。さらに、下部板状体５２ｃは、上部板状体５２ａと中軸体６２ｂとともに設置部材５２ｄに対してＹ方向への並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＹ方向に移動させることができる。そして、設置部材５２ｄは、設定位置３０ｂに位置決めされて取り付け取り外し可能に形成されている。
なお、ステージ機構５２の制御は、キャリブレーション５０とコンピュータ２０とを配線コード５３で連結することで、コンピュータ２０の駆動信号発生部２６から出力された駆動信号が与えられることによって実行される。
そして、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する際には、図４に示すように、カメラ装置２の撮影領域中にキャリブレーション装置５０を取り付けることになる。このとき、基準座標系の原点にＬＥＤ５１が配置され、基準座標系のＸ軸方向とステージ機構５２のＸ方向とが位置合わせされ、基準座標系のＹ軸方向とステージ機構５２のＹ方向とが位置合わせされ、基準座標系のＺ軸方向とステージ機構５２のＺ方向とが位置合わせされて取り付けられる。そして、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定した後には、カメラ装置２の撮影領域中からキャリブレーション装置５０を取り外すことになる。
【００２３】
駆動信号発生部２６は、入力装置（図示せず）等によるキャリブレーション信号を受信することによって、キャリブレーション装置５０のステージ機構５２に駆動信号を出力する制御を行うものである。
例えば、図６に示すように、キャリブレーション信号を受信することによって、まず、ＬＥＤ５１の初期位置５１ａとして、カメラ装置制御部２８に第二画像と第二画像とを取得させる。次に、ステージ機構６２にＬＥＤ５１をＸ方向に設定距離で移動させる駆動信号を出力した後、ＬＥＤ５１の第二位置５１ｂとして、カメラ装置制御部２８に第二画像と第二画像とを取得させる。このように、ＬＥＤ５１を予め定められた位置に移動させる駆動信号を出力した後、ＬＥＤ５１の各位置として、カメラ装置制御部２８に第二画像と第二画像とを順に取得させていき、立方格子の各頂点に対応する合計８箇所の位置５１ａ〜５１ｈのＬＥＤ５１を撮影することにより、第二画像と第二画像とを取得する。
【００２４】
座標系設定部２７は、カメラ装置２（カメラ座標系）に対するＬＥＤ５１の各位置である光学マーカー位置情報に基づいて、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する制御を行うものである。
具体的には、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第二位置５１ｂへの方向をＸ軸方向とし、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第四位置５１ｄへの方向をＹ軸方向とし、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第八位置５１ｈへの方向をＺ軸方向とするように設定している。また、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第二位置５１ｂまでの距離と、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第四位置５１ｄまでの距離と、ＬＥＤ５１の初期位置からＬＥＤ５１の第八位置５１ｈまでの距離とが各座標軸における基準距離となるように設定する。
【００２５】
以上のように、本発明のＨＭＴシステムによれば、カメラ装置制御部２８は、ＬＥＤ５１をＸ方向に設定距離で移動させた後と、ＬＥＤ５１をＹ方向に設定距離で移動させた後と、ＬＥＤ５１をＺ方向に設定距離で移動させた後と、ＬＥＤ５１を移動させる前に、それぞれ第一画像及び第二画像を取得する。つまり、１個のＬＥＤ５１をＸＹＺ方向に移動させることにより、ＬＥＤ５１の外形形状から求めた中心と、実際にＬＥＤ５１が発光している中心とに、ＬＥＤ５１の製造の際に生じた差異が存在することがあっても、移動方向や移動量には差異は生じないので、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を正確に設定することができる。
【産業上の利用可能性】
【００２６】
本発明は、飛行体に設定された基準座標系に対する頭部角度や頭部位置を測定するためのヘッドモーショントラッカ装置に利用することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明に係るＨＭＴ装置の概略構成を示す図である。
【図２】図１に示す頭部装着型表示装置付ヘルメットの平面図である。
【図３】本発明の一実施形態であるキャリブレーション装置の概略構成を示す図である。
【図４】ＨＭＴ装置の設定位置にキャリブレーション装置を取り付けた図である。
【図５】カメラ装置に対するＬＥＤの位置を算出する算出方法を説明するための図である。
【図６】カメラ装置の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する設定方法について説明するための図である。
【図７】カメラ装置の撮影領域にカメラ座標系を設定する従来の方法について説明するための図である。
【図８】カメラ装置の撮影領域にカメラ座標系を設定する従来の方法について説明するための図である。
【図９】ＬＥＤの概略構成を示す断面図である。
【符号の説明】
【００２８】
１ ヘッドモーショントラッカ装置（ＨＭＴ装置）
２ カメラ装置
２ａ 第一カメラ
２ｂ 第二カメラ
３ パイロット
７ ＬＥＤ群
１０ 頭部装着型表示装置付ヘルメット
２２ 光学マーカー位置情報算出部
２３ 相対情報算出部
２７ 座標系設定部
２８ カメラ装置制御部
３０ 搭乗体
４６ 光学マーカー位置情報記憶部
５１ ＬＥＤ（光学マーカー）
５２ ステージ機構
【技術分野】
【０００１】
本発明は、カメラ装置の撮影領域にカメラ座標系を設定することにより、カメラ座標系に対する測定対象物の現在位置や現在角度を測定するためのヘッドモーショントラッカシステム（以下、ＨＭＴシステムともいう）及びそれに用いられるキャリブレーション装置に関する。本発明は、特に、ゲーム機や乗物等の移動体に配置されたカメラ装置の撮影領域にカメラ座標系を設定することにより、カメラ座標系に対する搭乗者に装着される頭部装着型表示装置付ヘルメットの現在位置や現在角度（すなわち、頭部の現在位置や現在角度）を常に測定するために、角速度センサや加速度センサを組み合わせたＨＭＴシステム等に利用される。
【背景技術】
【０００２】
時々刻々と変動する物体（測定対象物）の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）が利用されている。
【０００３】
また、救難飛行艇による救難活動において、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体（救難飛行艇）の緯度、経度、高度、姿勢に加えて、飛行体に対するパイロットの頭部の現在角度及び現在位置を測定している。このため、ＨＭＴ装置が利用されている。
【０００４】
頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。具体的には、複数の反射板を頭部装着型表示装置付ヘルメットの外周面上に取り付けるとともに、光源とカメラ装置（第一カメラ及び第二カメラ）とを飛行体に固定することにより、光源から光を照射したときの反射板からの反射光をカメラ装置でモニタする。また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のＨＭＴ装置もある（例えば、特許文献２参照）。例えば、頭部装着型表示装置付ヘルメットの外周面上に、発光体であるＬＥＤ（発光ダイオード）を互いに離隔するようにして３箇所に取り付け、これら３個のＬＥＤの位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３個のＬＥＤを、立体視が可能でかつ飛行体に固定された第一カメラ及び第二カメラで同時に撮影することで、所謂、三角測量の原理により、現在の３個のＬＥＤの位置関係を測定している。これにより、カメラ装置に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を特定している。
【特許文献１】特表平９−５０６１９４号公報
【特許文献２】特願２００５−１０６４１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
さらに、本出願人は、ジャイロセンサ（角速度センサ）や加速度センサを組み合わせたＨＭＴ装置を開発した。これにより、第一カメラ及び第二カメラによる撮影と撮影との間隔時間にも、ジャイロセンサ（角速度センサ）や加速度センサの測定結果を用いて、飛行体に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を算出することができるようにした。
ところで、上述したようなＨＭＴ装置では、カメラ装置で測定された現在の３個のＬＥＤの位置関係を空間座標で表現するために、予めカメラ装置の撮影領域にカメラ座標系が設定されて用いられている。ここで、カメラ装置２（第一カメラ２ａ及び第二カメラ２ｂ）の撮影領域にカメラ座標系を設定する従来の方法について図７及び図８を用いて説明する。
カメラ座標系は、原点及び各ＸＹＺ座標軸の方向を、飛行体に予め設定された基準座標系と一致するように設定される。これにより、頭部装着型表示装置付ヘルメットの外周面上に取り付けられた反射板やＬＥＤの位置をカメラ座標系で表現するとともに、そのままの値を用いて基準座標系で表現することができるようになっている。また、ジャイロセンサや加速度センサを組み合わせたＨＭＴ装置においても、ジャイロセンサや加速度センサも基準座標系と位置合わせされて固定されているので、ジャイロセンサや加速度センサの測定結果と、カメラ装置での測定結果とを容易に組み合わせることが可能となっている。
【０００６】
そこで、カメラ装置２の撮影領域に、基準座標系と一致したカメラ座標系を設定するために、図７に示すような各頂点にＬＥＤ６１ａ〜６１ｈが配置されかつ各辺６２ａ〜６２ｌが設定距離となる立方格子６０を作製して用いている。このような立方格子６０を飛行体に予め定められた設定位置に取り付けることにより、ＬＥＤ６１ａの位置からＬＥＤ６１ｂの位置への方向をＸ軸方向とし、ＬＥＤ６１ａの位置からＬＥＤ６１ｄの位置への方向をＹ軸方向とし、ＬＥＤ６１ａの位置からＬＥＤ６１ｈの位置への方向をＺ軸方向とするように設定している。また、ＬＥＤ６１ａの位置からＬＥＤ６１ｂの位置までの距離と、ＬＥＤ６１ａの位置からＬＥＤ６１ｄの位置までの距離と、ＬＥＤ６１ａの位置からＬＥＤ６１ｈの位置までの距離とが各座標軸における基準距離となるように設定している。
【０００７】
しかしながら、立方格子６０を作製する際に使用した設計情報（設定距離等の立方格子の大きさ情報）を用いて各ＬＥＤ６１ａ〜６１ｈの位置関係を記憶させることになるが、カメラ座標系と基準座標系とが完全に一致しないという問題があった。
ここで、図９は、一般的なＬＥＤの概略構成を示す断面図である。ＬＥＤ６１は、半導体部７１と、反射板７２と、レンズ７３とを有する。図９に示すように、ＬＥＤ６１の外形形状から求めた中心と、実際にＬＥＤ６１が発光している中心とに、ＬＥＤ６１の製造の際に生じた差異が存在する。そして、ＬＥＤ６１の位置を記憶させるときには、カメラ装置２でＬＥＤ６１から出射された光線を検出するため、ＬＥＤ６１が発光している中心がＬＥＤ６１の位置として記憶されることになる。一方、立方格子６０は、ＬＥＤ６１の製造の際に生じた差異を容易に確認することができず、ＬＥＤ６１の外形形状の中心を容易に確認することができるため、ＬＥＤ６１の外形形状の中心が立方格子６０の頂点となるように作製されている。よって、設計情報を用いてＬＥＤ６１の位置関係を記憶させても、カメラ座標系と基準座標系との位置がずれることになっていた。
そこで、本発明は、カメラ装置の撮影領域にカメラ座標系を正確に設定することができるヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するためになされた本発明のヘッドモーショントラッカシステムは、光学マーカーと、前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカシステムであって、前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、前記カメラ装置制御部は、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像を取得するようにしている。
【０００９】
ここで、「光学マーカー」としては、例えば、発光体（ランプ、ＬＥＤ等）、反射体、蛍光体等が挙げられる。
本発明のＨＭＴシステムによれば、まず、光学マーカーをＸＹＺ方向に移動させることが可能なステージ機構を、カメラ装置の撮影領域中の設定位置に取り付ける。そして、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＸ方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＹ方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。次に、光学マーカーをＺ方向に設定距離で移動させた後、カメラ装置制御部は、第一画像と第二画像とを取得する。これにより、カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して記憶させる。そして、座標系設定部は、記憶された光学マーカー位置情報に基づいて、カメラ装置の撮影領域にカメラ座標系を設定する。最後に、ステージ機構を設定位置から取り外す。
【発明の効果】
【００１０】
以上のように、本発明のＨＭＴシステムによれば、カメラ装置制御部は、光学マーカーをＸ方向に設定距離で移動させた後と、光学マーカーをＹ方向に設定距離で移動させた後と、光学マーカーをＺ方向に設定距離で移動させた後と、光学マーカーを移動させる前に、それぞれ第一画像及び第二画像を取得する。つまり、１個の光学マーカーをＸＹＺ方向に移動させることにより、光学マーカーの外形形状から求めた中心と、実際に光学マーカーが発光している中心とに、光学マーカーの製造の際に生じた差異が存在することがあっても、移動方向や移動量には差異は生じないので、カメラ装置の撮影領域にカメラ座標系を正確に設定することができる。
【００１１】
（他の課題を解決するための手段および効果）
また、上記課題を解決するためになされた本発明のキャリブレーション装置は、光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカ装置に用いられるキャリブレーション装置であって、前記光学マーカーと、前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、前記カメラ装置制御部によって、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像が取得されるようにしている。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【００１３】
本発明の一実施形態であるＨＭＴシステムは、ＨＭＴ装置１とキャリブレーション装置５０とからなる。図１は、本発明に係るＨＭＴ装置１の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメット（測定対象物）１０の平面図である。また、図３は、本発明の一実施形態であるキャリブレーション装置５０の概略構成を示す図であり、図４は、ＨＭＴ装置１の設定位置３０ｂにキャリブレーション装置５０を取り付けた図である。なお、ＨＭＴ装置１は、カメラ装置２に設定されるカメラ座標系（ＸＹＺ座標系）に対するパイロット（搭乗者）３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出するものである。つまり、搭乗体３０に設定されたカメラ座標系（ＸＹＺ座標系）に対する、パイロット３が着用する頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を算出する。また、キャリブレーション装置５０は、パイロット（搭乗者）３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出するために、搭乗体３０に配置されたカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を予め設定するためのものである。
【００１４】
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、搭乗体３０に固定されたカメラ装置２と、コンピュータにより構成される制御部２０とから構成される。
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、ＬＥＤ群７とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示画像とコンバイナ８の前方実在物とを視認することが可能となっている。
【００１５】
ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光を発光する３個のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして、頭部装着型表示装置付ヘルメット１０の外周面上に取り付けられものである。
ここで、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をＬＥＤ７ａの位置とし、前方方向をＸ’軸方向とし、前方方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、後述するデータ記憶部４５に設定されている。また、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も、データ記憶部４５に記憶されている。これにより、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット１０の現在位置及び現在角度が、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を用いて表現されるようになっている。
【００１６】
搭乗体３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席する座席３０ａと、キャリブレーション装置５０を取り付けるための設定位置３０ｂ（後述する）を備える。
カメラ装置２は、第一カメラ２ａと第二カメラ２ｂとからなる。第一カメラ２ａと第二カメラ２ｂとは、撮影方向が異なりかつ立体視が可能な一定の距離（ｄ１）を隔てるように、座席３０ａに固定されている。
ここで、図５に示すように、カメラ装置２に対するＬＥＤ７ａの位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができる。他のＬＥＤ７ｂ、７ｃのカメラ装置２に対する位置についても、同様に算出される。
【００１７】
このときの各ＬＥＤ７ａ、７ｂ、７ｃの位置を、空間座標で表現することができるようにするために、キャリブレーション装置５０を用いてカメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定している。なお、キャリブレーション装置５０を用いてカメラ座標系を設定する設定方法や、カメラ座標系の具体的な原点位置やＸＹＺ軸方向の説明については後述する。
カメラ装置２の撮影領域にカメラ座標系が設定されていれば、上述したように三角測量の手法で算出することで、ＬＥＤ７ａ、７ｂ、７ｃの位置座標は、カメラ座標系を用いて表現できる。そして、３個のＬＥＤ７ａ、７ｂ、７ｃの位置座標が特定されれば、ＬＥＤ７ａ、７ｂ、７ｃが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット１０の位置及び角度は、カメラ座標系に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を用いて表現できるようになる。なお、角度（Θｈ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（Φｈ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（Ψｈ）は、アジマス方向（Ｚ軸に対する回転）の角度である。また、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点であるＬＥＤ７ａの現在の位置座標で表現することとする。
なお、本実施形態では、後述する設定方法でカメラ座標系を設定するため、搭乗体３０に予め設定されている基準座標系とカメラ座標系とが完全に一致している。このため、カメラ座標系に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）は、そのままの値を用いて、基準座標系に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）として表現することができるようになる。
【００１８】
制御部２０は、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行う。制御部２０のＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、カメラ装置制御部２８と、光学マーカー位置情報算出部２２と、相対情報算出部２３と、座標系設定部２７と、駆動信号発生部２６と、映像表示部２５とからなる。
また、メモリ４１は、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、基準座標系を記憶する基準座標系記憶部４３と、カメラ座標系を記憶するカメラ座標系記憶部４４と、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶するデータ記憶部４５と、光学マーカー位置情報を順次記憶する光学マーカー位置情報記憶部４６とを有する。
【００１９】
なお、データ記憶部４５は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶し、さらに、Ｘ’Ｙ’Ｚ’座標系上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期データ）も記憶している。
基準座標系は、搭乗体３０とともに移動する座標系であり、原点及び各座標軸の方向を任意に予め定められているが、本実施形態では、キャリブレーション装置５０を取り付けるための設定位置３０ｂのある点を原点とし、前方方向をＸ軸方向とし、前方方向に垂直方向をＹ軸方向とし、Ｘ軸方向及びＹ軸方向に垂直方向をＺ軸方向とするように、後述する基準座標系記憶部４３に予め設定されているものとする。
次に、カメラ座標系（ＸＹＺ座標系）について説明する。カメラ座標系は、原点及び各ＸＹＺ座標軸の方向を、搭乗体３０に設定された基準座標系と一致するように設定される。これにより、搭乗体３０に設定された基準座標系と位置合わせされた加速度センサや加速度センサ（図示せず）の測定結果と組み合わせることが可能となる。
なお、キャリブレーション装置５０を用いてカメラ座標系を設定する設定方法や、カメラ座標系の具体的な原点位置やＸＹＺ軸方向の説明については後述する。
【００２０】
カメラ装置制御部２８は、第一カメラ２ａにより撮影された第一画像と、第一カメラ２ａが撮影すると同時に第二カメラ２ｂにより撮影された第二画像とを取得する制御を行うものである。
光学マーカー位置情報算出部２２は、第一画像と第二画像とに基づいて、カメラ装置２に対するＬＥＤ７ａ、７ｂ、７ｃ又はＬＥＤ５１（後述する）の現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部４６に順次記憶させる制御を行うものである。
例えば、ＬＥＤ７ａのカメラ装置２に対する位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出する。
【００２１】
相対情報算出部２３は、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）が設定された後には、カメラ装置２（カメラ座標系）に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報を用いて、カメラ座標系に対する頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）を含む相対情報を算出する制御を行うものである。
具体的には、カメラ装置２（カメラ座標系）に対するＬＥＤ７ａ、７ｂ、７ｃの現在位置である光学マーカー位置情報と、データ記憶部４５に記憶されている初期データとを比較することにより、ＬＥＤ群７が固定された頭部装着型表示装置付ヘルメット１０のカメラ座標系（ＸＹＺ座標系）に対する位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を算出する。
映像表示部２５は、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を含む相対情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することになる。
【００２２】
ここで、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する設定方法について図３、図４及び図６を用いて説明する。
本実施形態では、赤外光を発光する１個のＬＥＤ５１と、１個のＬＥＤ５１をＸＹＺ方向に移動させることが可能なステージ機構５２を備えるキャリブレーション装置５０を用いる（図３参照）。
ステージ機構５２は、上部板状体５２ａと中軸体５２ｂと下部板状体５２ｃと設置部材５２ｄとからなる。ＬＥＤ５１は、上部板状体５２ａ上に固定されている。上部板状体５２ａは、中軸体５２ｂに対してＺ方向に移動可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＺ方向に移動させることができる。また、中軸体６２ｂは、上部板状体５２ａとともに下部板状体５２ｃに対してＸ方向への並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＸ方向に移動させることができる。さらに、下部板状体５２ｃは、上部板状体５２ａと中軸体６２ｂとともに設置部材５２ｄに対してＹ方向への並進移動が可能となるようにしてあり、上部板状体５２ａに固定されたＬＥＤ５１をＹ方向に移動させることができる。そして、設置部材５２ｄは、設定位置３０ｂに位置決めされて取り付け取り外し可能に形成されている。
なお、ステージ機構５２の制御は、キャリブレーション５０とコンピュータ２０とを配線コード５３で連結することで、コンピュータ２０の駆動信号発生部２６から出力された駆動信号が与えられることによって実行される。
そして、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する際には、図４に示すように、カメラ装置２の撮影領域中にキャリブレーション装置５０を取り付けることになる。このとき、基準座標系の原点にＬＥＤ５１が配置され、基準座標系のＸ軸方向とステージ機構５２のＸ方向とが位置合わせされ、基準座標系のＹ軸方向とステージ機構５２のＹ方向とが位置合わせされ、基準座標系のＺ軸方向とステージ機構５２のＺ方向とが位置合わせされて取り付けられる。そして、キャリブレーション装置５０により、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定した後には、カメラ装置２の撮影領域中からキャリブレーション装置５０を取り外すことになる。
【００２３】
駆動信号発生部２６は、入力装置（図示せず）等によるキャリブレーション信号を受信することによって、キャリブレーション装置５０のステージ機構５２に駆動信号を出力する制御を行うものである。
例えば、図６に示すように、キャリブレーション信号を受信することによって、まず、ＬＥＤ５１の初期位置５１ａとして、カメラ装置制御部２８に第二画像と第二画像とを取得させる。次に、ステージ機構６２にＬＥＤ５１をＸ方向に設定距離で移動させる駆動信号を出力した後、ＬＥＤ５１の第二位置５１ｂとして、カメラ装置制御部２８に第二画像と第二画像とを取得させる。このように、ＬＥＤ５１を予め定められた位置に移動させる駆動信号を出力した後、ＬＥＤ５１の各位置として、カメラ装置制御部２８に第二画像と第二画像とを順に取得させていき、立方格子の各頂点に対応する合計８箇所の位置５１ａ〜５１ｈのＬＥＤ５１を撮影することにより、第二画像と第二画像とを取得する。
【００２４】
座標系設定部２７は、カメラ装置２（カメラ座標系）に対するＬＥＤ５１の各位置である光学マーカー位置情報に基づいて、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する制御を行うものである。
具体的には、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第二位置５１ｂへの方向をＸ軸方向とし、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第四位置５１ｄへの方向をＹ軸方向とし、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第八位置５１ｈへの方向をＺ軸方向とするように設定している。また、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第二位置５１ｂまでの距離と、ＬＥＤ５１の初期位置５１ａからＬＥＤ５１の第四位置５１ｄまでの距離と、ＬＥＤ５１の初期位置からＬＥＤ５１の第八位置５１ｈまでの距離とが各座標軸における基準距離となるように設定する。
【００２５】
以上のように、本発明のＨＭＴシステムによれば、カメラ装置制御部２８は、ＬＥＤ５１をＸ方向に設定距離で移動させた後と、ＬＥＤ５１をＹ方向に設定距離で移動させた後と、ＬＥＤ５１をＺ方向に設定距離で移動させた後と、ＬＥＤ５１を移動させる前に、それぞれ第一画像及び第二画像を取得する。つまり、１個のＬＥＤ５１をＸＹＺ方向に移動させることにより、ＬＥＤ５１の外形形状から求めた中心と、実際にＬＥＤ５１が発光している中心とに、ＬＥＤ５１の製造の際に生じた差異が存在することがあっても、移動方向や移動量には差異は生じないので、カメラ装置２の撮影領域にカメラ座標系（ＸＹＺ座標系）を正確に設定することができる。
【産業上の利用可能性】
【００２６】
本発明は、飛行体に設定された基準座標系に対する頭部角度や頭部位置を測定するためのヘッドモーショントラッカ装置に利用することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明に係るＨＭＴ装置の概略構成を示す図である。
【図２】図１に示す頭部装着型表示装置付ヘルメットの平面図である。
【図３】本発明の一実施形態であるキャリブレーション装置の概略構成を示す図である。
【図４】ＨＭＴ装置の設定位置にキャリブレーション装置を取り付けた図である。
【図５】カメラ装置に対するＬＥＤの位置を算出する算出方法を説明するための図である。
【図６】カメラ装置の撮影領域にカメラ座標系（ＸＹＺ座標系）を設定する設定方法について説明するための図である。
【図７】カメラ装置の撮影領域にカメラ座標系を設定する従来の方法について説明するための図である。
【図８】カメラ装置の撮影領域にカメラ座標系を設定する従来の方法について説明するための図である。
【図９】ＬＥＤの概略構成を示す断面図である。
【符号の説明】
【００２８】
１ ヘッドモーショントラッカ装置（ＨＭＴ装置）
２ カメラ装置
２ａ 第一カメラ
２ｂ 第二カメラ
３ パイロット
７ ＬＥＤ群
１０ 頭部装着型表示装置付ヘルメット
２２ 光学マーカー位置情報算出部
２３ 相対情報算出部
２７ 座標系設定部
２８ カメラ装置制御部
３０ 搭乗体
４６ 光学マーカー位置情報記憶部
５１ ＬＥＤ（光学マーカー）
５２ ステージ機構
【特許請求の範囲】
【請求項１】
光学マーカーと、
前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、
前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカシステムであって、
前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、
前記カメラ装置制御部は、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像を取得することを特徴とするヘッドモーショントラッカシステム。
【請求項２】
光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、
前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカ装置に用いられるキャリブレーション装置であって、
前記光学マーカーと、
前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、
前記カメラ装置制御部によって、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像が取得されることを特徴とするキャリブレーション装置。
【請求項１】
光学マーカーと、
前記光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、
前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカシステムであって、
前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、
前記カメラ装置制御部は、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像を取得することを特徴とするヘッドモーショントラッカシステム。
【請求項２】
光学マーカーを撮影する第一カメラと、前記第一カメラと異なる方向から光学マーカーを撮影する第二カメラとを有するカメラ装置と、
前記第一カメラにより撮影された第一画像と、前記第一カメラが撮影すると同時に第二カメラにより撮影された第二画像とを取得するカメラ装置制御部と、
前記第一画像及び第二画像に基づいて、前記カメラ装置に対する光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記カメラ装置の撮影領域にカメラ座標系を設定する座標系設定部と、
前記カメラ座標系に対する測定対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるヘッドモーショントラッカ装置に用いられるキャリブレーション装置であって、
前記光学マーカーと、
前記カメラ装置の撮影領域中の設定位置に取り付け取り外し可能とされるとともに、前記光学マーカーをＸＹＺ方向に移動させるステージ機構を備え、
前記カメラ装置制御部によって、前記光学マーカーをＸ方向に設定距離で移動させた後と、前記光学マーカーをＹ方向に設定距離で移動させた後と、前記光学マーカーをＺ方向に設定距離で移動させた後と、前記光学マーカーを移動させる前に、それぞれ第一画像及び第二画像が取得されることを特徴とするキャリブレーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−８５８０６（Ｐ２００９−８５８０６Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００７−２５７１４６（Ｐ２００７−２５７１４６）
【出願日】平成１９年１０月１日（２００７．１０．１）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成１９年１０月１日（２００７．１０．１）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
[ Back to top ]