ヘッドモーショントラッカ装置
【課題】頭部装着装置を装着した装着者の視界の広範囲の視界を確保しつつ、装着者があらゆる方向に向いても、装着者の頭部の動きを測定することができるヘッドモーショントラッカ装置を提供する。
【解決手段】頭頂部材１１と透明な顔面部材１２とを有する頭部装着装置１０と、頭頂部材１１に取り付けられる複数の光学マーカーと、顔面部材１２に取り付けられ、赤外光を反射する複数の透明な反射マーカーと、赤外光を照射する光源と、立体視で赤外光を検出するカメラ装置と、カメラ装置で検出された赤外光に基づいて、光学マーカー及び／又は反射マーカーのそれぞれの現在位置を含むマーカー位置情報を算出するマーカー位置情報算出部と、マーカー位置情報に基づいて、カメラ装置に対する頭部装着装置１０の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備える。
【解決手段】頭頂部材１１と透明な顔面部材１２とを有する頭部装着装置１０と、頭頂部材１１に取り付けられる複数の光学マーカーと、顔面部材１２に取り付けられ、赤外光を反射する複数の透明な反射マーカーと、赤外光を照射する光源と、立体視で赤外光を検出するカメラ装置と、カメラ装置で検出された赤外光に基づいて、光学マーカー及び／又は反射マーカーのそれぞれの現在位置を含むマーカー位置情報を算出するマーカー位置情報算出部と、マーカー位置情報に基づいて、カメラ装置に対する頭部装着装置１０の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学方式のヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）に関し、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度（すなわち、現在の頭部位置及び頭部角度）を測定するＨＭＴ装置等に利用される。
ここで、光学方式のＨＭＴ装置とは、反射板や発光体等のマーカーを取り付けたヘルメット等を頭部に装着して、マーカーの位置を立体視が可能なカメラ装置で測定することにより、頭部の動きを追跡する装置をいう。
【背景技術】
【０００２】
時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ＨＭＴ装置が利用されている。
【０００３】
また、救難飛行艇による救難活動では、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットのバイザーに表示される照準画像と、バイザーを通して視認される救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体（救難飛行艇）の緯度、経度、高度、姿勢に加えて、飛行体に設定された相対座標系に対するパイロットの頭部位置及び頭部角度を測定している。このときに、ＨＭＴ装置が利用されている。
【０００４】
このような頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカー群として発光体であるＬＥＤ（発光ダイオード）を互いに離隔するようにして複数箇所に取り付け、これらのＬＥＤの頭部装着型表示装置付ヘルメット上における相対的な位置関係をＨＭＴ装置に予め記憶させておく。そして、これらのＬＥＤを、設置場所が固定された２台のカメラで同時に撮影することで、所謂、三角測量の原理により、現在の少なくとも３個のＬＥＤの相対的な位置関係を測定している。これにより、頭部装着型表示装置付ヘルメット上に固定された３点の位置（３つのＬＥＤの位置）を特定することで、頭部装着型表示装置付ヘルメットの現在位置や現在角度を算出している。
【０００５】
ここで、上述したような光学方式のＨＭＴ装置で、３個のＬＥＤの相対的な位置関係を測定するためには、３個のＬＥＤをそれぞれ識別する必要がある。よって、頭部装着型表示装置付ヘルメットには、それぞれが識別可能なＬＥＤが取り付けられている。例えば、頭部装着型表示装置付ヘルメットの外周面上に、互いに異なる波長の赤外光を発光するＬＥＤを互いに離隔するようにして取り付け、各ＬＥＤのそれぞれの相対的な位置関係をＨＭＴ装置に予め記憶させておく。そして、３個のＬＥＤを波長差によりそれぞれ識別することで、３個のＬＥＤのそれぞれの現在位置を測定していた。
なお、識別情報を有さない各ＬＥＤを、１個１個順番に点灯させることにより、識別することも考えられるが、１個１個順番に点灯させなければならないので、時々刻々と変化する頭部装着型表示装置付ヘルメットの動きをモニタリングすることは困難である。
【０００６】
そこで、本出願人は、図４に示すような頭部装着型表示装置付ヘルメット５０に取り付けられた、複数個のＬＥＤ１５ａ〜１５ｉのそれぞれの位置を識別する際に、ＬＥＤ１５ａ〜１５ｉに識別情報を持たせたり、１個１個順番に点灯させたりすることもなく、ＬＥＤ１５ａ〜１５ｉを同一の材料で形成しても、ＬＥＤ１５ａ〜１５ｉのそれぞれの位置を識別することができるものを開示した（例えば、特許文献２参照）。
具体的には、まず、図５に示すように、第一カメラ２ａの撮影方向と第二カメラ２ｂの撮影方向とが定まった状態において、エピポーラ幾何学に基づく予測により、第一カメラ２ａで撮影された第一画像Ａと第二カメラ２ｂで撮影された第二画像Ｂとの間での共通のＬＥＤの組を認識した。
【０００７】
ここで、第一画像Ａと第二画像Ｂとの間での共通のＬＥＤの組を認識する方法の一例について簡単に説明する。第一カメラ２ａで撮影された第一画像Ａには、３個のＬＥＤ１５ａ、１５ｂ、１５ｅのいずれにそれぞれ対応するかは認識できないが、３つのＬＥＤ像１５ｘ、１５ｙ、１５ｚが映し出されている。一方、第二カメラ２ｂで撮影された第二画像Ｂにも、３個のＬＥＤ１５ａ、１５ｂ、１５ｅのいずれにそれぞれ対応するかは認識できないが、３個のＬＥＤ像１５ｓ、１５ｔ、１５ｕが映し出されている。このとき、第一画像Ａにおける各ＬＥＤ像１５ｘ、１５ｙ、１５ｚが、第二画像ＢにおけるＬＥＤ像１５ｓ、１５ｔ、１５ｕのいずれにそれぞれ対応するかは認識できない。
【０００８】
そこで、第一画像Ａにおける各ＬＥＤ像１５ｘ、１５ｙ、１５ｚと、第二画像ＢにおけるＬＥＤ像１５ｓ、１５ｔ、１５ｕとの組を対応付けるため、図５に示すように、第一カメラ２ａと１５ａ、１５ｂ、１５ｅとを結ぶそれぞれのエピポーラライン（仮想直線）が存在するとして、エピポーララインを第二カメラ２ｂで撮影したとすると、第二画像Ｂ上にエピポーララインＬｘ、Ｌｙ、Ｌｚが作成されることになる。なお、第二画像Ｂ上のエピポーララインＬｘ、Ｌｙ、Ｌｚの位置は、第一画像Ａ上でのＬＥＤ像１５ｘ、１５ｙ、１５ｚが映し出される位置、及び、第一カメラ２ａの撮影方向と第二カメラ２ｂの撮影方向との関係に基づいて一意的に定まる。
【０００９】
このとき、第二画像Ｂにおいて、３個のＬＥＤ１５ａ、１５ｂ、１５ｅに対応する各ＬＥＤ像１５ｓ、１５ｔ、１５ｕは、３個のＬＥＤ１５ａ、１５ｂ、１５ｅを映し出したものであるので、それぞれ対応することになるエピポーララインＬｘ、Ｌｙ、Ｌｚのいずれかの上の位置に存在することになる。したがって、第二画像Ｂ上に映し出されるＬＥＤ像のうちで、エピポーララインＬｘ上に存在するものがあれば、それがＬＥＤ像１５ｘに対応するＬＥＤ像であると特定することができる。同様に、他の２個のＬＥＤ像１５ｙ、１５ｚに対応するＬＥＤ像ついても特定することにより、第一画像Ａに映し出された３個のＬＥＤ像１５ｘ、１５ｙ、１５ｚと、第二画像Ｂに映し出された３個のＬＥＤ像１５ｓ、１５ｔ、１５ｕとのそれぞれの組の対応付けを行う。
【００１０】
次に、ＬＥＤ像１５ｘ、１５ｙ、１５ｚとＬＥＤ像１５ｓ、１５ｔ、１５ｕとのそれぞれの組の対応付けを行うことができれば、図６に示すように、第一画像Ａ及び第二画像Ｂ中に映し出されているＬＥＤ像の組の位置により、第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを算出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることで、所謂、三角測量の手法でＬＥＤ１５ｏのカメラ装置２（２ａ、２ｂ）に対する位置を算出する。他のＬＥＤ１５ｐ、１５ｑのカメラ装置２（２ａ、２ｂ）に対する位置についても、同様に算出する。このとき、算出された各ＬＥＤ１５ｏ、１５ｐ、１５ｑが、頭部装着型表示装置付ヘルメット５０に取り付けられたＬＥＤ１５ａ〜１５ｉのいずれにそれぞれ対応するかは認識できない。
【００１１】
そこで、図７に示すように、時間ｔ１（直前）にＬＥＤ１５ａ、１５ｂ、１５ｅのそれぞれの位置を記憶するとともに、記憶されたそれぞれのＬＥＤ１５ａ、１５ｂ、１５ｅの位置を中心とする一定の大きさの球状である各予想移動範囲（Ｄａ、Ｄｂ、Ｄｅ）を設定することにより、時間ｔ２（現在）に予想移動範囲（Ｄａ、Ｄｂ、Ｄｅ）に存在するＬＥＤを、時間ｔ１に設定された予想移動範囲（Ｄａ、Ｄｂ、Ｄｅ）に対応するＬＥＤと同一のものであると識別した。つまり、時間ｔ２に、予想移動範囲（Ｄａ）に存在するＬＥＤ１５ｏ（ｔ２）を、時間ｔ１に設定された予想移動範囲（Ｄａ）に対応するＬＥＤ１５ａ（ｔ１）と同一のものであると識別する。同様に、予想移動範囲（Ｄｂ）に存在するＬＥＤ１５ｐ（ｔ２）を、ＬＥＤ１５ｂ（ｔ１）と同一のものであるとし、予想移動範囲（Ｄｅ）に存在するＬＥＤ１５ｑ（ｔ２）を、ＬＥＤ１５ｅ（ｔ１）と同一のものであると識別する。これにより、ＬＥＤ１５ａ、１５ｂ、１５ｅのそれぞれの現在位置が算出される。
よって、各ＬＥＤ１５ａ〜１５ｉに識別情報を持たせたり、１個１個順番に点灯させたりすることなく、各ＬＥＤ１５ａ〜１５ｉのそれぞれの現在位置を識別することができ、その結果、時々刻々と変化する頭部装着型表示装置付ヘルメット５０の動きをモニタリングすることができる。
【特許文献１】特表平９−５０６１９４号公報
【特許文献２】特開２００６−２８４４４２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、設置場所が固定されたカメラ装置２（２ａ、２ｂ）により、頭部装着型表示装置付ヘルメット５０に取り付けられた複数個のＬＥＤ１５ａ〜１５ｉを検出するときに、頭部装着型表示装置付ヘルメット５０のヘルメット１１全面にＬＥＤ１５ａ〜１５ｉを取り付けても、カメラ装置２（２ａ、２ｂ）でＬＥＤ１５ａ〜１５ｉのうち３個未満のＬＥＤしか検出することができないことがあった。例えば、図８に示すように、飛行体３０の天井に固定されたカメラ装置２（２ａ、２ｂ）では、頭部装着型表示装置付ヘルメット５０を装着したパイロット３が天井を見たときに、３個未満のＬＥＤしか検出することができなかった。つまり、頭部装着型表示装置付ヘルメット５０の現在位置や現在角度を算出することができなかった。
【００１３】
なお、頭部装着型表示装置付ヘルメット５０を装着したパイロット３が天井を見たときにも、少なくとも３個のＬＥＤを検出することができるように、頭部装着型表示装置付ヘルメット５０のバイザー１２にＬＥＤを取り付けることも考えられるが、パイロット３の視界の妨げになり、その結果、目標（例えば、救難目標等）を見失う可能性があり問題があった。また、頭部装着型表示装置付ヘルメット５０のバイザー１２を小さくして、その部分にＬＥＤを取り付けることも考えられるが、パイロット３の視界を狭めることになり、その結果、目標を見失う可能性があり問題があった。つまり、頭部装着型表示装置付ヘルメット５０を装着したパイロット３の広範囲の視界を確保しつつ、パイロット３があらゆる方向に向いても、パイロット３の頭部の動きを測定することができるヘッドモーショントラッカ装置はなかった。
【００１４】
そこで、本発明は、頭部装着装置を装着した装着者の視界の広範囲の視界を確保しつつ、装着者があらゆる方向に向いても、装着者の頭部の動きを測定することができるヘッドモーショントラッカ装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するためになされた本発明のヘッドモーショントラッカ装置は、頭頂部材と透明な顔面部材とを有する頭部装着装置と、前記頭頂部材に取り付けられる複数の光学マーカーと、前記顔面部材に取り付けられ、赤外光及び／又は紫外光を反射する複数の透明な反射マーカーと、赤外光及び／又は紫外光を照射する光源と、立体視で赤外光及び／又は紫外光を検出するカメラ装置と、前記カメラ装置で検出された赤外光及び／又は紫外光に基づいて、前記光学マーカー及び／又は反射マーカーのそれぞれの現在位置を含むマーカー位置情報を算出するマーカー位置情報算出部と、前記マーカー位置情報に基づいて、前記カメラ装置に対する頭部装着装置の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるようにしている。
【００１６】
ここで、「頭頂部材」としては、例えば、ヘルメット、ヘッドセット等が挙げられる。
また、「顔面部材」としては、顔正面を覆うように配置されるものが挙げられ、例えば、バイザー、コンバイナー等が挙げられる。
さらに、「光学マーカー」としては、自発光するマーカーでもよく、赤外光及び／又は紫外光を反射するマーカーでもよい。なお、自発光するマーカーを用いた場合、お互いに異なる波長の赤外光を発光するＬＥＤでもよく、互いに同じ波長の赤外光を発光するＬＥＤでもよい。
そして、「反射マーカー」としては、赤外光及び／又は紫外光を反射するとともに、可視光を透過する性質のマーカーであればよく、例えば、誘電体多層膜等で形成されたマーカー等が挙げられる。なお、お互いに異なる形状のマーカーでもよく、互いに同じ形状のマーカーでもよい。
【００１７】
本発明のモーショントラッカ装置によれば、例えば、飛行体の天井にカメラ装置及び光源を設置する。また、頭部装着装置の頭頂部材の外周面上に、光学マーカーを互いに離隔するようにして複数箇所に取り付けるとともに、頭部装着装置の顔面部材の外周面上に、反射マーカーを互いに離隔するようにして複数箇所に取り付ける。さらに、これらの光学マーカー及び反射マーカーの頭部装着装置上における相対的な位置関係を予め記憶させておく。そして、これらの複数の光学マーカー及び複数の反射マーカーの内の少なくとも３個をカメラ装置で撮影することで、所謂、三角測量の原理により、現在の光学マーカー及び反射マーカーの相対的な位置関係を測定する。例えば、飛行体の天井に設置されたカメラ装置で、頭部装着装置を装着した装着者が正面を見ているときには、３個の光学マーカーを検出し、一方、頭部装着装置を装着した装着者が天井を見ているときには、１個の光学マーカーと２個の反射マーカーとを検出する。これにより、頭部装着型表示装置付ヘルメット上に固定された少なくとも３点の位置（３つの光学マーカー及び／又は反射マーカーの位置）を特定することで、頭部装着装置の現在位置や現在角度を算出する。
【発明の効果】
【００１８】
以上のように、本発明のモーショントラッカ装置によれば、装着者があらゆる方向に向いても、装着者の頭部の現在位置や現在角度を算出することができる。
また、反射マーカーは透明であり、かつ、赤外光や紫外光を反射するものであるため、装着者の視界を狭めたり妨げたりすることはなく、頭部装着装置を装着した装着者の広範囲の視界を確保することができる。
【００１９】
（他の課題を解決するための手段および効果）
また、上記の発明において、前記反射マーカーは、半球形状の凸部であるようにしてもよい。
ここで、「半球形状」は、実質的に半球形状であればよく、半球形状に近い形状（多角形状）であってもよい。
本発明によれば、光源から照射された赤外光や紫外光を、半球形状の反射マーカーが適切に反射することで、反射マーカーをカメラ装置が確実に検出することができる。
【００２０】
また、上記の発明において、算出されたマーカー位置情報を記憶するマーカー記憶部と、前記マーカー位置情報算出部は、直前に記憶されたマーカー位置情報を用いて、光学マーカー及び／又は反射マーカーの球状の予想移動範囲を設定することにより、光学マーカー及び反射マーカーをそれぞれ識別するようにしてもよい。
本発明によれば、上述したように、各光学マーカー及び反射マーカーに識別情報を持たせたりすることなく、光学マーカー及び反射マーカーのそれぞれの現在位置を識別することができる。よって、反射マーカーを同一の材料や形状で形成することができる。
【００２１】
そして、上記の発明において、前記光学マーカーは、赤外光を出射する発光ダイオードであるようにしてもよい。
本発明によれば、複数の光学マーカーの内で特定の光学マーカーだけを点灯したり消灯したりすることができるため、頭部装着装置上における光学マーカーの相対的な位置関係を、初期のマーカー位置情報としてマーカー記憶部に容易に記憶することができる。
さらに、上記の発明において、前記頭頂部材は、装着者の頭部に装着されるヘルメットであり、かつ、前記顔面部材は、装着者の顔面に配置されるバイザーであるようにしてもよい。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【００２３】
図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメットの側面図であり、図３は、図１に示す頭部装着型表示装置付ヘルメットの平面図である。本実施形態は、飛行体でパイロットが着用する頭部装着型表示装置付ヘルメットの現在位置及び現在角度を算出するものである。つまり、ＨＭＴ装置１は、搭乗体３０に設定された相対座標系（ＸＹＺ座標系）に対する、パイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を含む相対情報を算出するものである。なお、相対座標系（ＸＹＺ座標系）は、後述するカメラ装置２（２ａ、２ｂ）を基準とするものであり、相対座標記憶部４３に記憶されている。
【００２４】
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット（頭部装着装置）１０と、搭乗体３０の天井に取り付けられたカメラ装置２（２ａ、２ｂ）及び赤外光を照射する光源５（５ａ、５ｂ）と、コンピュータにより構成される制御部２０とから構成される。
搭乗体３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席する座席３０ａを備える。
【００２５】
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くバイザー（顔面部材）１２と、ヘルメット（頭頂部材）１１と、頭部位置や頭部角度を測定する際の指標として機能するＬＥＤ群（光学マーカー群）１５及び反射コーティング膜群（反射マーカー群）１６とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示映像とバイザー１２の前方実在物とを視認することが可能となっている。
ＬＥＤ群１５は、図２及び図３に示すように、同じ波長の赤外光を発光する複数個（１４個）のＬＥＤ１５ａ〜１５ｎがお互い一定の距離（ｄ２）を隔てるようにして取り付けられたものである。
【００２６】
反射コーティング膜群１６は、図２及び図３に示すように、同じ波長の赤外光（後述する光源５からの赤外光）を反射することができる複数個（４個）の反射コーティング膜１６ａ〜１６ｄが距離（例えば、お互い一定の距離（ｄ２））を隔てるようにして取り付けられたものである。
また、反射コーティング膜１６ａ〜１６ｄは、透明な材料で形成されている。よって、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、反射コーティング膜１６ａ〜１６ｄの前方実在物を視認することが可能となっている。
なお、上記反射コーティング膜としては、例えば、赤外光を反射するとともに、可視光を透過する性質の誘電体多層膜等で形成されたものが挙げられる。また、光源として、例えば、紫外光を照射するものを用い、反射コーティング膜として、例えば、紫外光のみを反射するとともに、可視光を透過する性質の誘電体多層膜等で形成されたものが用いられてもよい。また、反射コーティング膜の形状としては、例えば、半球形状等が挙げられる。
【００２７】
カメラ装置２は、第一カメラ２ａと第二カメラ２ｂとからなり、撮影方向が頭部装着型表示装置付ヘルメット１０に向けられているとともに、頭部装着型表示装置付ヘルメット１０の立体視が可能な一定の距離（ｄ１）を隔てるように、搭乗体３０の天井に設置されている。これにより、第一カメラ２ａで撮影された第一画像Ａが作成されるとともに、第二カメラ２ｂで撮影された第二画像Ｂが作成されることになる。
よって、上述したように、第一画像Ａ及び第二画像Ｂ中に映し出されているＬＥＤ１５ａ〜１５ｎ及び／又は反射コーティング膜１６ａ〜１６ｄの位置により、第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを算出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、所謂、三角測量の手法でＬＥＤ１５ａ〜１５ｎ及び／又は反射コーティング膜１６ａ〜１６ｄのカメラ装置２（２ａ、２ｂ）に対する位置を算出できるようにしてある（図６参照）。
このとき、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの位置を、空間座標で表現することができるようにするために、カメラ装置２（２ａ、２ｂ）に固定され、カメラ装置２とともに移動する座標系である相対座標系（ＸＹＺ座標系）を用いる。なお、相対座標系（ＸＹＺ座標系）の具体的な原点位置やＸＹＺ軸方向の説明については後述する。
【００２８】
光源５は、第一光源５ａと第二光源５ｂとからなり、赤外光の照射方向が頭部装着型表示装置付ヘルメット１０に向けられている。また、第一光源５ａは、第一カメラ２ａを中心とした環状形状に設置されるとともに、第二光源５ｂは、第二カメラ２ｂを中心とした環状形状に設置されている。なお、第一光源５ａと第二光源５ｂとは、同じ波長の赤外光を照射するものである。
【００２９】
制御部２０は、図１に示すように、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。ＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部２８と、相対情報算出部２２と、マーカー位置情報算出部２４と、映像表示部２５とを有する。
また、メモリ４１には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、相対座標系（ＸＹＺ座標系）を記憶する相対座標記憶部４３と、ＬＥＤ１５ａ〜１５ｎ及び／又は反射コーティング膜１６ａ〜１６ｄのそれぞれの位置を含むマーカー位置情報を記憶するマーカー記憶部４４と、（ｄ２）／２を直径とする球状とする予想移動範囲の大きさを記憶する予想移動範囲記憶部４５とを有する。
【００３０】
なお、相対座標系（ＸＹＺ座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では、第二カメラ２ｂから第一カメラ２ａへの方向をＸ軸方向とし、Ｘ軸方向に垂直かつ天井に垂直で下向き方向をＺ軸方向とし、Ｘ軸方向に垂直かつ天井に水平で右向き方向をＹ軸方向とするように定義し、原点を第一カメラ２ａと第二カメラ２ｂとの中点として定義するように相対座標記憶部４３に設定されている。また、後述する角度（Θ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（Φ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（Ψ）は、アジマス方向（Ｚ軸に対する回転）の角度である。
また、マーカー記憶部４４には、予め、初期のマーカー位置情報として、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの頭部装着型表示装置付ヘルメット１０上におけるそれぞれの相対的な位置関係が記憶されている。
【００３１】
モーショントラッカ駆動部２８は、ＬＥＤ群１５及び光源５を点灯させる指令信号を出力するとともに、カメラ装置２（２ａ、２ｂ）で赤外光の画像データ（第一画像Ａ及び第二画像Ｂ）を検出させる制御を行うものである。しかし、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄは、同じ波長の赤外光を出射するものなので、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄを識別することはできない。
そこで、上述したように、エピポーラ幾何学に基づく予測により、第一カメラ２ａで撮影された第一画像Ａと第二カメラ２ｂで撮影された第二画像Ｂとの間での共通の像の組を認識する（図５参照）。しかし、第一画像Ａの像と第二画像Ｂの像とのそれぞれの組の対応付けを行った各像の組が、頭部装着型表示装置付ヘルメット１０に取り付けられたＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄのいずれにそれぞれ対応するかはここでは認識できない。
【００３２】
マーカー位置情報算出部２４は、直前に記憶されたＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄのそれぞれの位置に基づいて、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄのそれぞれの予想移動範囲Ｄを設定することにより、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄのそれぞれの現在位置を含むマーカー位置情報を算出する制御を行うものである。
具体的には、まず、上述したように、マーカー記憶部４４に時間ｔ１（直前）に記憶されたＬＥＤ１５ａ、１５ｂ、１５ｅのそれぞれの位置を中心とする（ｄ２）／２を直径とする球状である各予想移動範囲Ｄを相対座標系（ＸＹＺ座標系）に設定する。次に、時間ｔ２（現在）の画像データを用いて、時間ｔ２（現在）に予想移動範囲Ｄに存在するものを、時間ｔ１に設定された予想移動範囲Ｄに対応するものと同一のものであると識別する（図７参照）。つまり、時間ｔ２に、予想移動範囲Ｄａに存在するＬＥＤ１５ｏ（ｔ２）を、時間ｔ１に設定された予想移動範囲Ｄａに対応するＬＥＤ１５ａ（ｔ１）と同一のものであると識別する。同様に、時間ｔ２（現在）に予想移動範囲Ｄｂに存在するＬＥＤ１５ｐ（ｔ２）を、ＬＥＤ１５ｂ（ｔ１）と同一のものであるとし、時間ｔ２（現在）に予想移動範囲Ｄｅに存在するＬＥＤ１５ｑ（ｔ２）を、ＬＥＤ１５ｅ（ｔ１）と同一のものであると識別する。これにより、ＬＥＤ１５ａ、１５ｂ、１５ｅのそれぞれの現在位置を算出する。このとき、時間ｔ２（現在）の画像データ（第一画像Ａ及び第二画像Ｂ）に３個のＬＥＤ１５ａ、１５ｂ、１５ｅのみしか撮影されていなくても、３個のＬＥＤ１５ａ、１５ｂ、１５ｅが識別できれば、予め、初期情報としてＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの相対的な位置関係が記憶されているので、他のＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの現在位置も算出することができる。これにより、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの現在位置を含むマーカー位置情報がマーカー記憶部４４に記憶される。このようにマーカー位置情報を時々刻々と算出してマーカー記憶部４４に蓄積していく。
【００３３】
相対情報算出部２２は、マーカー位置情報に基づいて、カメラ装置２（２ａ、２ｂ）（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を含む相対情報を算出する制御を行うものである。
具体的には、カメラ装置２（２ａ、２ｂ）に対するＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの現在位置が特定されるので、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄが取り付けられている頭部装着型表示装置付ヘルメット１０の現在位置や現在角度が相対座標系（ＸＹＺ座標系）を用いて特定できるようになる。つまり、カメラ装置２（２ａ、２ｂ）に対する頭部装着型表示装置付ヘルメット１０の現在位置や現在角度を算出でき、位置座標や座標軸に対する角度で表現できる。
【００３４】
映像表示部２５は、相対情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することができるようになる。
【００３５】
以上のように、ＨＭＴ装置１によれば、例えば、飛行体の天井に設置されたカメラ装置２で、頭部装着型表示装置付ヘルメット１０を装着したパイロット３が正面を見ているときには、３個のＬＥＤ１５ａ、１５ｂ、１５ｅを検出し、一方、頭部装着型表示装置付ヘルメット１０を装着したパイロット３が天井を見ているときには、１個のＬＥＤ１５ａと２個の反射コーティング膜１６ａ、１６ｂを検出する。したがって、パイロット３があらゆる方向に向いても、パイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を算出することができる。
また、反射コーティング膜１６ａ〜１６ｄは透明であり、かつ、赤外光を反射するものであるため、パイロット３の視界を狭めたり妨げたりすることはなく、頭部装着型表示装置付ヘルメット１０を装着したパイロット３の広範囲の視界を確保することができる。
さらに、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄに識別情報を持たせたりすることなく、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄのそれぞれの現在位置を識別することができる。よって、反射コーティング膜１６ａ〜１６ｄを同一の材料や形状で形成することができる。
【００３６】
（他の実施形態）
（１）上述したＨＭＴ装置１では、カメラ装置２は、搭乗体３０の天井に設置されている構成としたが、カメラ装置２は、搭乗体３０の前面に２台のカメラ２ａ、２ｂが水平となるように設置されているような構成としてもよい（図９参照）。つまり、本発明によれば、パイロットがあらゆる方向に向いても、パイロットの頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を算出することができ、これにより、カメラ装置の設置場所の自由度が高くなり、その結果、カメラ装置が天井に設置できなくても問題がない。
【産業上の利用可能性】
【００３７】
本発明のＨＭＴ装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度を検出するものとして、利用される。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態であるＨＭＴ装置の概略構成を示す図である。
【図２】図１に示す頭部装着型表示装置付ヘルメットの側面図である。
【図３】図１に示す頭部装着型表示装置付ヘルメットの平面図である。
【図４】従来の頭部装着型表示装置付ヘルメットの側面図である。
【図５】第一画像と第二画像との間での共通のＬＥＤの組を認識する方法について説明するための図である。
【図６】ＬＥＤのカメラ装置に対する位置を算出する方法について説明するための図である。
【図７】算出された各ＬＥＤが頭部装着型表示装置付ヘルメットに取り付けられたＬＥＤのいずれかに対応付ける方法について説明するための図である。
【図８】従来のＨＭＴ装置の概略構成を示す図である。
【図９】本発明の他の一実施形態であるＨＭＴ装置の概略構成を示す図である。
【符号の説明】
【００３９】
１ ヘッドモーショントラッカ装置
２ カメラ装置
３ パイロット
５ 光源
１０ 頭部装着型表示装置付ヘルメット（頭部装着装置）
１１ 頭頂部材（ヘルメット）
１２ 顔面部材（バイザー）
１５ 光学マーカー（ＬＥＤ）
１６ 反射マーカー（反射コーティング膜）
２２ 相対情報算出部
２４ マーカー位置情報算出部
４４ マーカー記憶部
【技術分野】
【０００１】
本発明は、光学方式のヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）に関し、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度（すなわち、現在の頭部位置及び頭部角度）を測定するＨＭＴ装置等に利用される。
ここで、光学方式のＨＭＴ装置とは、反射板や発光体等のマーカーを取り付けたヘルメット等を頭部に装着して、マーカーの位置を立体視が可能なカメラ装置で測定することにより、頭部の動きを追跡する装置をいう。
【背景技術】
【０００２】
時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ＨＭＴ装置が利用されている。
【０００３】
また、救難飛行艇による救難活動では、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットのバイザーに表示される照準画像と、バイザーを通して視認される救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体（救難飛行艇）の緯度、経度、高度、姿勢に加えて、飛行体に設定された相対座標系に対するパイロットの頭部位置及び頭部角度を測定している。このときに、ＨＭＴ装置が利用されている。
【０００４】
このような頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカー群として発光体であるＬＥＤ（発光ダイオード）を互いに離隔するようにして複数箇所に取り付け、これらのＬＥＤの頭部装着型表示装置付ヘルメット上における相対的な位置関係をＨＭＴ装置に予め記憶させておく。そして、これらのＬＥＤを、設置場所が固定された２台のカメラで同時に撮影することで、所謂、三角測量の原理により、現在の少なくとも３個のＬＥＤの相対的な位置関係を測定している。これにより、頭部装着型表示装置付ヘルメット上に固定された３点の位置（３つのＬＥＤの位置）を特定することで、頭部装着型表示装置付ヘルメットの現在位置や現在角度を算出している。
【０００５】
ここで、上述したような光学方式のＨＭＴ装置で、３個のＬＥＤの相対的な位置関係を測定するためには、３個のＬＥＤをそれぞれ識別する必要がある。よって、頭部装着型表示装置付ヘルメットには、それぞれが識別可能なＬＥＤが取り付けられている。例えば、頭部装着型表示装置付ヘルメットの外周面上に、互いに異なる波長の赤外光を発光するＬＥＤを互いに離隔するようにして取り付け、各ＬＥＤのそれぞれの相対的な位置関係をＨＭＴ装置に予め記憶させておく。そして、３個のＬＥＤを波長差によりそれぞれ識別することで、３個のＬＥＤのそれぞれの現在位置を測定していた。
なお、識別情報を有さない各ＬＥＤを、１個１個順番に点灯させることにより、識別することも考えられるが、１個１個順番に点灯させなければならないので、時々刻々と変化する頭部装着型表示装置付ヘルメットの動きをモニタリングすることは困難である。
【０００６】
そこで、本出願人は、図４に示すような頭部装着型表示装置付ヘルメット５０に取り付けられた、複数個のＬＥＤ１５ａ〜１５ｉのそれぞれの位置を識別する際に、ＬＥＤ１５ａ〜１５ｉに識別情報を持たせたり、１個１個順番に点灯させたりすることもなく、ＬＥＤ１５ａ〜１５ｉを同一の材料で形成しても、ＬＥＤ１５ａ〜１５ｉのそれぞれの位置を識別することができるものを開示した（例えば、特許文献２参照）。
具体的には、まず、図５に示すように、第一カメラ２ａの撮影方向と第二カメラ２ｂの撮影方向とが定まった状態において、エピポーラ幾何学に基づく予測により、第一カメラ２ａで撮影された第一画像Ａと第二カメラ２ｂで撮影された第二画像Ｂとの間での共通のＬＥＤの組を認識した。
【０００７】
ここで、第一画像Ａと第二画像Ｂとの間での共通のＬＥＤの組を認識する方法の一例について簡単に説明する。第一カメラ２ａで撮影された第一画像Ａには、３個のＬＥＤ１５ａ、１５ｂ、１５ｅのいずれにそれぞれ対応するかは認識できないが、３つのＬＥＤ像１５ｘ、１５ｙ、１５ｚが映し出されている。一方、第二カメラ２ｂで撮影された第二画像Ｂにも、３個のＬＥＤ１５ａ、１５ｂ、１５ｅのいずれにそれぞれ対応するかは認識できないが、３個のＬＥＤ像１５ｓ、１５ｔ、１５ｕが映し出されている。このとき、第一画像Ａにおける各ＬＥＤ像１５ｘ、１５ｙ、１５ｚが、第二画像ＢにおけるＬＥＤ像１５ｓ、１５ｔ、１５ｕのいずれにそれぞれ対応するかは認識できない。
【０００８】
そこで、第一画像Ａにおける各ＬＥＤ像１５ｘ、１５ｙ、１５ｚと、第二画像ＢにおけるＬＥＤ像１５ｓ、１５ｔ、１５ｕとの組を対応付けるため、図５に示すように、第一カメラ２ａと１５ａ、１５ｂ、１５ｅとを結ぶそれぞれのエピポーラライン（仮想直線）が存在するとして、エピポーララインを第二カメラ２ｂで撮影したとすると、第二画像Ｂ上にエピポーララインＬｘ、Ｌｙ、Ｌｚが作成されることになる。なお、第二画像Ｂ上のエピポーララインＬｘ、Ｌｙ、Ｌｚの位置は、第一画像Ａ上でのＬＥＤ像１５ｘ、１５ｙ、１５ｚが映し出される位置、及び、第一カメラ２ａの撮影方向と第二カメラ２ｂの撮影方向との関係に基づいて一意的に定まる。
【０００９】
このとき、第二画像Ｂにおいて、３個のＬＥＤ１５ａ、１５ｂ、１５ｅに対応する各ＬＥＤ像１５ｓ、１５ｔ、１５ｕは、３個のＬＥＤ１５ａ、１５ｂ、１５ｅを映し出したものであるので、それぞれ対応することになるエピポーララインＬｘ、Ｌｙ、Ｌｚのいずれかの上の位置に存在することになる。したがって、第二画像Ｂ上に映し出されるＬＥＤ像のうちで、エピポーララインＬｘ上に存在するものがあれば、それがＬＥＤ像１５ｘに対応するＬＥＤ像であると特定することができる。同様に、他の２個のＬＥＤ像１５ｙ、１５ｚに対応するＬＥＤ像ついても特定することにより、第一画像Ａに映し出された３個のＬＥＤ像１５ｘ、１５ｙ、１５ｚと、第二画像Ｂに映し出された３個のＬＥＤ像１５ｓ、１５ｔ、１５ｕとのそれぞれの組の対応付けを行う。
【００１０】
次に、ＬＥＤ像１５ｘ、１５ｙ、１５ｚとＬＥＤ像１５ｓ、１５ｔ、１５ｕとのそれぞれの組の対応付けを行うことができれば、図６に示すように、第一画像Ａ及び第二画像Ｂ中に映し出されているＬＥＤ像の組の位置により、第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを算出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることで、所謂、三角測量の手法でＬＥＤ１５ｏのカメラ装置２（２ａ、２ｂ）に対する位置を算出する。他のＬＥＤ１５ｐ、１５ｑのカメラ装置２（２ａ、２ｂ）に対する位置についても、同様に算出する。このとき、算出された各ＬＥＤ１５ｏ、１５ｐ、１５ｑが、頭部装着型表示装置付ヘルメット５０に取り付けられたＬＥＤ１５ａ〜１５ｉのいずれにそれぞれ対応するかは認識できない。
【００１１】
そこで、図７に示すように、時間ｔ１（直前）にＬＥＤ１５ａ、１５ｂ、１５ｅのそれぞれの位置を記憶するとともに、記憶されたそれぞれのＬＥＤ１５ａ、１５ｂ、１５ｅの位置を中心とする一定の大きさの球状である各予想移動範囲（Ｄａ、Ｄｂ、Ｄｅ）を設定することにより、時間ｔ２（現在）に予想移動範囲（Ｄａ、Ｄｂ、Ｄｅ）に存在するＬＥＤを、時間ｔ１に設定された予想移動範囲（Ｄａ、Ｄｂ、Ｄｅ）に対応するＬＥＤと同一のものであると識別した。つまり、時間ｔ２に、予想移動範囲（Ｄａ）に存在するＬＥＤ１５ｏ（ｔ２）を、時間ｔ１に設定された予想移動範囲（Ｄａ）に対応するＬＥＤ１５ａ（ｔ１）と同一のものであると識別する。同様に、予想移動範囲（Ｄｂ）に存在するＬＥＤ１５ｐ（ｔ２）を、ＬＥＤ１５ｂ（ｔ１）と同一のものであるとし、予想移動範囲（Ｄｅ）に存在するＬＥＤ１５ｑ（ｔ２）を、ＬＥＤ１５ｅ（ｔ１）と同一のものであると識別する。これにより、ＬＥＤ１５ａ、１５ｂ、１５ｅのそれぞれの現在位置が算出される。
よって、各ＬＥＤ１５ａ〜１５ｉに識別情報を持たせたり、１個１個順番に点灯させたりすることなく、各ＬＥＤ１５ａ〜１５ｉのそれぞれの現在位置を識別することができ、その結果、時々刻々と変化する頭部装着型表示装置付ヘルメット５０の動きをモニタリングすることができる。
【特許文献１】特表平９−５０６１９４号公報
【特許文献２】特開２００６−２８４４４２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、設置場所が固定されたカメラ装置２（２ａ、２ｂ）により、頭部装着型表示装置付ヘルメット５０に取り付けられた複数個のＬＥＤ１５ａ〜１５ｉを検出するときに、頭部装着型表示装置付ヘルメット５０のヘルメット１１全面にＬＥＤ１５ａ〜１５ｉを取り付けても、カメラ装置２（２ａ、２ｂ）でＬＥＤ１５ａ〜１５ｉのうち３個未満のＬＥＤしか検出することができないことがあった。例えば、図８に示すように、飛行体３０の天井に固定されたカメラ装置２（２ａ、２ｂ）では、頭部装着型表示装置付ヘルメット５０を装着したパイロット３が天井を見たときに、３個未満のＬＥＤしか検出することができなかった。つまり、頭部装着型表示装置付ヘルメット５０の現在位置や現在角度を算出することができなかった。
【００１３】
なお、頭部装着型表示装置付ヘルメット５０を装着したパイロット３が天井を見たときにも、少なくとも３個のＬＥＤを検出することができるように、頭部装着型表示装置付ヘルメット５０のバイザー１２にＬＥＤを取り付けることも考えられるが、パイロット３の視界の妨げになり、その結果、目標（例えば、救難目標等）を見失う可能性があり問題があった。また、頭部装着型表示装置付ヘルメット５０のバイザー１２を小さくして、その部分にＬＥＤを取り付けることも考えられるが、パイロット３の視界を狭めることになり、その結果、目標を見失う可能性があり問題があった。つまり、頭部装着型表示装置付ヘルメット５０を装着したパイロット３の広範囲の視界を確保しつつ、パイロット３があらゆる方向に向いても、パイロット３の頭部の動きを測定することができるヘッドモーショントラッカ装置はなかった。
【００１４】
そこで、本発明は、頭部装着装置を装着した装着者の視界の広範囲の視界を確保しつつ、装着者があらゆる方向に向いても、装着者の頭部の動きを測定することができるヘッドモーショントラッカ装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するためになされた本発明のヘッドモーショントラッカ装置は、頭頂部材と透明な顔面部材とを有する頭部装着装置と、前記頭頂部材に取り付けられる複数の光学マーカーと、前記顔面部材に取り付けられ、赤外光及び／又は紫外光を反射する複数の透明な反射マーカーと、赤外光及び／又は紫外光を照射する光源と、立体視で赤外光及び／又は紫外光を検出するカメラ装置と、前記カメラ装置で検出された赤外光及び／又は紫外光に基づいて、前記光学マーカー及び／又は反射マーカーのそれぞれの現在位置を含むマーカー位置情報を算出するマーカー位置情報算出部と、前記マーカー位置情報に基づいて、前記カメラ装置に対する頭部装着装置の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるようにしている。
【００１６】
ここで、「頭頂部材」としては、例えば、ヘルメット、ヘッドセット等が挙げられる。
また、「顔面部材」としては、顔正面を覆うように配置されるものが挙げられ、例えば、バイザー、コンバイナー等が挙げられる。
さらに、「光学マーカー」としては、自発光するマーカーでもよく、赤外光及び／又は紫外光を反射するマーカーでもよい。なお、自発光するマーカーを用いた場合、お互いに異なる波長の赤外光を発光するＬＥＤでもよく、互いに同じ波長の赤外光を発光するＬＥＤでもよい。
そして、「反射マーカー」としては、赤外光及び／又は紫外光を反射するとともに、可視光を透過する性質のマーカーであればよく、例えば、誘電体多層膜等で形成されたマーカー等が挙げられる。なお、お互いに異なる形状のマーカーでもよく、互いに同じ形状のマーカーでもよい。
【００１７】
本発明のモーショントラッカ装置によれば、例えば、飛行体の天井にカメラ装置及び光源を設置する。また、頭部装着装置の頭頂部材の外周面上に、光学マーカーを互いに離隔するようにして複数箇所に取り付けるとともに、頭部装着装置の顔面部材の外周面上に、反射マーカーを互いに離隔するようにして複数箇所に取り付ける。さらに、これらの光学マーカー及び反射マーカーの頭部装着装置上における相対的な位置関係を予め記憶させておく。そして、これらの複数の光学マーカー及び複数の反射マーカーの内の少なくとも３個をカメラ装置で撮影することで、所謂、三角測量の原理により、現在の光学マーカー及び反射マーカーの相対的な位置関係を測定する。例えば、飛行体の天井に設置されたカメラ装置で、頭部装着装置を装着した装着者が正面を見ているときには、３個の光学マーカーを検出し、一方、頭部装着装置を装着した装着者が天井を見ているときには、１個の光学マーカーと２個の反射マーカーとを検出する。これにより、頭部装着型表示装置付ヘルメット上に固定された少なくとも３点の位置（３つの光学マーカー及び／又は反射マーカーの位置）を特定することで、頭部装着装置の現在位置や現在角度を算出する。
【発明の効果】
【００１８】
以上のように、本発明のモーショントラッカ装置によれば、装着者があらゆる方向に向いても、装着者の頭部の現在位置や現在角度を算出することができる。
また、反射マーカーは透明であり、かつ、赤外光や紫外光を反射するものであるため、装着者の視界を狭めたり妨げたりすることはなく、頭部装着装置を装着した装着者の広範囲の視界を確保することができる。
【００１９】
（他の課題を解決するための手段および効果）
また、上記の発明において、前記反射マーカーは、半球形状の凸部であるようにしてもよい。
ここで、「半球形状」は、実質的に半球形状であればよく、半球形状に近い形状（多角形状）であってもよい。
本発明によれば、光源から照射された赤外光や紫外光を、半球形状の反射マーカーが適切に反射することで、反射マーカーをカメラ装置が確実に検出することができる。
【００２０】
また、上記の発明において、算出されたマーカー位置情報を記憶するマーカー記憶部と、前記マーカー位置情報算出部は、直前に記憶されたマーカー位置情報を用いて、光学マーカー及び／又は反射マーカーの球状の予想移動範囲を設定することにより、光学マーカー及び反射マーカーをそれぞれ識別するようにしてもよい。
本発明によれば、上述したように、各光学マーカー及び反射マーカーに識別情報を持たせたりすることなく、光学マーカー及び反射マーカーのそれぞれの現在位置を識別することができる。よって、反射マーカーを同一の材料や形状で形成することができる。
【００２１】
そして、上記の発明において、前記光学マーカーは、赤外光を出射する発光ダイオードであるようにしてもよい。
本発明によれば、複数の光学マーカーの内で特定の光学マーカーだけを点灯したり消灯したりすることができるため、頭部装着装置上における光学マーカーの相対的な位置関係を、初期のマーカー位置情報としてマーカー記憶部に容易に記憶することができる。
さらに、上記の発明において、前記頭頂部材は、装着者の頭部に装着されるヘルメットであり、かつ、前記顔面部材は、装着者の顔面に配置されるバイザーであるようにしてもよい。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【００２３】
図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメットの側面図であり、図３は、図１に示す頭部装着型表示装置付ヘルメットの平面図である。本実施形態は、飛行体でパイロットが着用する頭部装着型表示装置付ヘルメットの現在位置及び現在角度を算出するものである。つまり、ＨＭＴ装置１は、搭乗体３０に設定された相対座標系（ＸＹＺ座標系）に対する、パイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を含む相対情報を算出するものである。なお、相対座標系（ＸＹＺ座標系）は、後述するカメラ装置２（２ａ、２ｂ）を基準とするものであり、相対座標記憶部４３に記憶されている。
【００２４】
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット（頭部装着装置）１０と、搭乗体３０の天井に取り付けられたカメラ装置２（２ａ、２ｂ）及び赤外光を照射する光源５（５ａ、５ｂ）と、コンピュータにより構成される制御部２０とから構成される。
搭乗体３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席する座席３０ａを備える。
【００２５】
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くバイザー（顔面部材）１２と、ヘルメット（頭頂部材）１１と、頭部位置や頭部角度を測定する際の指標として機能するＬＥＤ群（光学マーカー群）１５及び反射コーティング膜群（反射マーカー群）１６とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示映像とバイザー１２の前方実在物とを視認することが可能となっている。
ＬＥＤ群１５は、図２及び図３に示すように、同じ波長の赤外光を発光する複数個（１４個）のＬＥＤ１５ａ〜１５ｎがお互い一定の距離（ｄ２）を隔てるようにして取り付けられたものである。
【００２６】
反射コーティング膜群１６は、図２及び図３に示すように、同じ波長の赤外光（後述する光源５からの赤外光）を反射することができる複数個（４個）の反射コーティング膜１６ａ〜１６ｄが距離（例えば、お互い一定の距離（ｄ２））を隔てるようにして取り付けられたものである。
また、反射コーティング膜１６ａ〜１６ｄは、透明な材料で形成されている。よって、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、反射コーティング膜１６ａ〜１６ｄの前方実在物を視認することが可能となっている。
なお、上記反射コーティング膜としては、例えば、赤外光を反射するとともに、可視光を透過する性質の誘電体多層膜等で形成されたものが挙げられる。また、光源として、例えば、紫外光を照射するものを用い、反射コーティング膜として、例えば、紫外光のみを反射するとともに、可視光を透過する性質の誘電体多層膜等で形成されたものが用いられてもよい。また、反射コーティング膜の形状としては、例えば、半球形状等が挙げられる。
【００２７】
カメラ装置２は、第一カメラ２ａと第二カメラ２ｂとからなり、撮影方向が頭部装着型表示装置付ヘルメット１０に向けられているとともに、頭部装着型表示装置付ヘルメット１０の立体視が可能な一定の距離（ｄ１）を隔てるように、搭乗体３０の天井に設置されている。これにより、第一カメラ２ａで撮影された第一画像Ａが作成されるとともに、第二カメラ２ｂで撮影された第二画像Ｂが作成されることになる。
よって、上述したように、第一画像Ａ及び第二画像Ｂ中に映し出されているＬＥＤ１５ａ〜１５ｎ及び／又は反射コーティング膜１６ａ〜１６ｄの位置により、第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを算出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、所謂、三角測量の手法でＬＥＤ１５ａ〜１５ｎ及び／又は反射コーティング膜１６ａ〜１６ｄのカメラ装置２（２ａ、２ｂ）に対する位置を算出できるようにしてある（図６参照）。
このとき、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの位置を、空間座標で表現することができるようにするために、カメラ装置２（２ａ、２ｂ）に固定され、カメラ装置２とともに移動する座標系である相対座標系（ＸＹＺ座標系）を用いる。なお、相対座標系（ＸＹＺ座標系）の具体的な原点位置やＸＹＺ軸方向の説明については後述する。
【００２８】
光源５は、第一光源５ａと第二光源５ｂとからなり、赤外光の照射方向が頭部装着型表示装置付ヘルメット１０に向けられている。また、第一光源５ａは、第一カメラ２ａを中心とした環状形状に設置されるとともに、第二光源５ｂは、第二カメラ２ｂを中心とした環状形状に設置されている。なお、第一光源５ａと第二光源５ｂとは、同じ波長の赤外光を照射するものである。
【００２９】
制御部２０は、図１に示すように、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。ＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部２８と、相対情報算出部２２と、マーカー位置情報算出部２４と、映像表示部２５とを有する。
また、メモリ４１には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、相対座標系（ＸＹＺ座標系）を記憶する相対座標記憶部４３と、ＬＥＤ１５ａ〜１５ｎ及び／又は反射コーティング膜１６ａ〜１６ｄのそれぞれの位置を含むマーカー位置情報を記憶するマーカー記憶部４４と、（ｄ２）／２を直径とする球状とする予想移動範囲の大きさを記憶する予想移動範囲記憶部４５とを有する。
【００３０】
なお、相対座標系（ＸＹＺ座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では、第二カメラ２ｂから第一カメラ２ａへの方向をＸ軸方向とし、Ｘ軸方向に垂直かつ天井に垂直で下向き方向をＺ軸方向とし、Ｘ軸方向に垂直かつ天井に水平で右向き方向をＹ軸方向とするように定義し、原点を第一カメラ２ａと第二カメラ２ｂとの中点として定義するように相対座標記憶部４３に設定されている。また、後述する角度（Θ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（Φ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（Ψ）は、アジマス方向（Ｚ軸に対する回転）の角度である。
また、マーカー記憶部４４には、予め、初期のマーカー位置情報として、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの頭部装着型表示装置付ヘルメット１０上におけるそれぞれの相対的な位置関係が記憶されている。
【００３１】
モーショントラッカ駆動部２８は、ＬＥＤ群１５及び光源５を点灯させる指令信号を出力するとともに、カメラ装置２（２ａ、２ｂ）で赤外光の画像データ（第一画像Ａ及び第二画像Ｂ）を検出させる制御を行うものである。しかし、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄは、同じ波長の赤外光を出射するものなので、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄを識別することはできない。
そこで、上述したように、エピポーラ幾何学に基づく予測により、第一カメラ２ａで撮影された第一画像Ａと第二カメラ２ｂで撮影された第二画像Ｂとの間での共通の像の組を認識する（図５参照）。しかし、第一画像Ａの像と第二画像Ｂの像とのそれぞれの組の対応付けを行った各像の組が、頭部装着型表示装置付ヘルメット１０に取り付けられたＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄのいずれにそれぞれ対応するかはここでは認識できない。
【００３２】
マーカー位置情報算出部２４は、直前に記憶されたＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄのそれぞれの位置に基づいて、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄのそれぞれの予想移動範囲Ｄを設定することにより、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄのそれぞれの現在位置を含むマーカー位置情報を算出する制御を行うものである。
具体的には、まず、上述したように、マーカー記憶部４４に時間ｔ１（直前）に記憶されたＬＥＤ１５ａ、１５ｂ、１５ｅのそれぞれの位置を中心とする（ｄ２）／２を直径とする球状である各予想移動範囲Ｄを相対座標系（ＸＹＺ座標系）に設定する。次に、時間ｔ２（現在）の画像データを用いて、時間ｔ２（現在）に予想移動範囲Ｄに存在するものを、時間ｔ１に設定された予想移動範囲Ｄに対応するものと同一のものであると識別する（図７参照）。つまり、時間ｔ２に、予想移動範囲Ｄａに存在するＬＥＤ１５ｏ（ｔ２）を、時間ｔ１に設定された予想移動範囲Ｄａに対応するＬＥＤ１５ａ（ｔ１）と同一のものであると識別する。同様に、時間ｔ２（現在）に予想移動範囲Ｄｂに存在するＬＥＤ１５ｐ（ｔ２）を、ＬＥＤ１５ｂ（ｔ１）と同一のものであるとし、時間ｔ２（現在）に予想移動範囲Ｄｅに存在するＬＥＤ１５ｑ（ｔ２）を、ＬＥＤ１５ｅ（ｔ１）と同一のものであると識別する。これにより、ＬＥＤ１５ａ、１５ｂ、１５ｅのそれぞれの現在位置を算出する。このとき、時間ｔ２（現在）の画像データ（第一画像Ａ及び第二画像Ｂ）に３個のＬＥＤ１５ａ、１５ｂ、１５ｅのみしか撮影されていなくても、３個のＬＥＤ１５ａ、１５ｂ、１５ｅが識別できれば、予め、初期情報としてＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの相対的な位置関係が記憶されているので、他のＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの現在位置も算出することができる。これにより、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの現在位置を含むマーカー位置情報がマーカー記憶部４４に記憶される。このようにマーカー位置情報を時々刻々と算出してマーカー記憶部４４に蓄積していく。
【００３３】
相対情報算出部２２は、マーカー位置情報に基づいて、カメラ装置２（２ａ、２ｂ）（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を含む相対情報を算出する制御を行うものである。
具体的には、カメラ装置２（２ａ、２ｂ）に対するＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄの現在位置が特定されるので、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄが取り付けられている頭部装着型表示装置付ヘルメット１０の現在位置や現在角度が相対座標系（ＸＹＺ座標系）を用いて特定できるようになる。つまり、カメラ装置２（２ａ、２ｂ）に対する頭部装着型表示装置付ヘルメット１０の現在位置や現在角度を算出でき、位置座標や座標軸に対する角度で表現できる。
【００３４】
映像表示部２５は、相対情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することができるようになる。
【００３５】
以上のように、ＨＭＴ装置１によれば、例えば、飛行体の天井に設置されたカメラ装置２で、頭部装着型表示装置付ヘルメット１０を装着したパイロット３が正面を見ているときには、３個のＬＥＤ１５ａ、１５ｂ、１５ｅを検出し、一方、頭部装着型表示装置付ヘルメット１０を装着したパイロット３が天井を見ているときには、１個のＬＥＤ１５ａと２個の反射コーティング膜１６ａ、１６ｂを検出する。したがって、パイロット３があらゆる方向に向いても、パイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を算出することができる。
また、反射コーティング膜１６ａ〜１６ｄは透明であり、かつ、赤外光を反射するものであるため、パイロット３の視界を狭めたり妨げたりすることはなく、頭部装着型表示装置付ヘルメット１０を装着したパイロット３の広範囲の視界を確保することができる。
さらに、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄに識別情報を持たせたりすることなく、ＬＥＤ１５ａ〜１５ｎ及び反射コーティング膜１６ａ〜１６ｄのそれぞれの現在位置を識別することができる。よって、反射コーティング膜１６ａ〜１６ｄを同一の材料や形状で形成することができる。
【００３６】
（他の実施形態）
（１）上述したＨＭＴ装置１では、カメラ装置２は、搭乗体３０の天井に設置されている構成としたが、カメラ装置２は、搭乗体３０の前面に２台のカメラ２ａ、２ｂが水平となるように設置されているような構成としてもよい（図９参照）。つまり、本発明によれば、パイロットがあらゆる方向に向いても、パイロットの頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を算出することができ、これにより、カメラ装置の設置場所の自由度が高くなり、その結果、カメラ装置が天井に設置できなくても問題がない。
【産業上の利用可能性】
【００３７】
本発明のＨＭＴ装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度を検出するものとして、利用される。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態であるＨＭＴ装置の概略構成を示す図である。
【図２】図１に示す頭部装着型表示装置付ヘルメットの側面図である。
【図３】図１に示す頭部装着型表示装置付ヘルメットの平面図である。
【図４】従来の頭部装着型表示装置付ヘルメットの側面図である。
【図５】第一画像と第二画像との間での共通のＬＥＤの組を認識する方法について説明するための図である。
【図６】ＬＥＤのカメラ装置に対する位置を算出する方法について説明するための図である。
【図７】算出された各ＬＥＤが頭部装着型表示装置付ヘルメットに取り付けられたＬＥＤのいずれかに対応付ける方法について説明するための図である。
【図８】従来のＨＭＴ装置の概略構成を示す図である。
【図９】本発明の他の一実施形態であるＨＭＴ装置の概略構成を示す図である。
【符号の説明】
【００３９】
１ ヘッドモーショントラッカ装置
２ カメラ装置
３ パイロット
５ 光源
１０ 頭部装着型表示装置付ヘルメット（頭部装着装置）
１１ 頭頂部材（ヘルメット）
１２ 顔面部材（バイザー）
１５ 光学マーカー（ＬＥＤ）
１６ 反射マーカー（反射コーティング膜）
２２ 相対情報算出部
２４ マーカー位置情報算出部
４４ マーカー記憶部
【特許請求の範囲】
【請求項１】
頭頂部材と透明な顔面部材とを有する頭部装着装置と、
前記頭頂部材に取り付けられる複数の光学マーカーと、
前記顔面部材に取り付けられ、赤外光及び／又は紫外光を反射する複数の透明な反射マーカーと、
赤外光及び／又は紫外光を照射する光源と、
立体視で赤外光及び／又は紫外光を検出するカメラ装置と、
前記カメラ装置で検出された赤外光及び／又は紫外光に基づいて、前記光学マーカー及び／又は反射マーカーのそれぞれの現在位置を含むマーカー位置情報を算出するマーカー位置情報算出部と、
前記マーカー位置情報に基づいて、前記カメラ装置に対する頭部装着装置の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えることを特徴とするヘッドモーショントラッカ装置。
【請求項２】
前記反射マーカーは、半球形状の凸部であることを特徴とする請求項１に記載のヘッドモーショントラッカ装置。
【請求項３】
算出されたマーカー位置情報を記憶するマーカー記憶部と、
前記マーカー位置情報算出部は、直前に記憶されたマーカー位置情報を用いて、光学マーカー及び／又は反射マーカーの球状の予想移動範囲を設定することにより、光学マーカー及び反射マーカーをそれぞれ識別することを特徴とする請求項１又は２に記載のヘッドモーショントラッカ装置。
【請求項４】
前記光学マーカーは、赤外光を出射する発光ダイオードであることを特徴とする請求項３に記載のヘッドモーショントラッカ装置。
【請求項５】
前記頭頂部材は、装着者の頭部に装着されるヘルメットであり、かつ、
前記顔面部材は、装着者の顔面に配置されるバイザーであることを特徴とする請求項１〜４のいずれか１項に記載のヘッドモーショントラッカ装置。
【請求項１】
頭頂部材と透明な顔面部材とを有する頭部装着装置と、
前記頭頂部材に取り付けられる複数の光学マーカーと、
前記顔面部材に取り付けられ、赤外光及び／又は紫外光を反射する複数の透明な反射マーカーと、
赤外光及び／又は紫外光を照射する光源と、
立体視で赤外光及び／又は紫外光を検出するカメラ装置と、
前記カメラ装置で検出された赤外光及び／又は紫外光に基づいて、前記光学マーカー及び／又は反射マーカーのそれぞれの現在位置を含むマーカー位置情報を算出するマーカー位置情報算出部と、
前記マーカー位置情報に基づいて、前記カメラ装置に対する頭部装着装置の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えることを特徴とするヘッドモーショントラッカ装置。
【請求項２】
前記反射マーカーは、半球形状の凸部であることを特徴とする請求項１に記載のヘッドモーショントラッカ装置。
【請求項３】
算出されたマーカー位置情報を記憶するマーカー記憶部と、
前記マーカー位置情報算出部は、直前に記憶されたマーカー位置情報を用いて、光学マーカー及び／又は反射マーカーの球状の予想移動範囲を設定することにより、光学マーカー及び反射マーカーをそれぞれ識別することを特徴とする請求項１又は２に記載のヘッドモーショントラッカ装置。
【請求項４】
前記光学マーカーは、赤外光を出射する発光ダイオードであることを特徴とする請求項３に記載のヘッドモーショントラッカ装置。
【請求項５】
前記頭頂部材は、装着者の頭部に装着されるヘルメットであり、かつ、
前記顔面部材は、装着者の顔面に配置されるバイザーであることを特徴とする請求項１〜４のいずれか１項に記載のヘッドモーショントラッカ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−２６２２６４（Ｐ２００８−２６２２６４Ａ）
【公開日】平成２０年１０月３０日（２００８．１０．３０）
【国際特許分類】
【出願番号】特願２００７−１０２５３７（Ｐ２００７−１０２５３７）
【出願日】平成１９年４月１０日（２００７．４．１０）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
【公開日】平成２０年１０月３０日（２００８．１０．３０）
【国際特許分類】
【出願日】平成１９年４月１０日（２００７．４．１０）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
[ Back to top ]