ヘッドモーショントラッカ装置
【課題】搭乗者の頭部の現在位置及び現在角度を正確に算出することができるヘッドモーショントラッカ装置を提供する。
【解決手段】頭部マーカー群７と、頭部マーカー群７からの光線を検出するカメラ装置２と、カメラ装置２に対する搭乗者３の光学検出頭部情報を算出する光学検出頭部情報算出部２２とを備え、移動体３０の一の位置と異なる位置に取り付けられる基準マーカー５と、移動体３０が静止状態であるときに検出された光線に基づいて、カメラ装置２に対する基準マーカー５の初期位置を含む基準初期情報を記憶する基準初期情報記憶部４２と、移動体３０が移動状態であるときに検出された光線及び基準初期情報に基づいて、カメラ装置２に対する基準マーカー５の移動量を含む移動情報を算出する移動情報算出部２３と、光学検出頭部情報及び移動情報に基づいて、搭乗者３の頭部位置及び頭部角度を含む移動体頭部情報を算出する頭部情報補正部２６とを備える。
【解決手段】頭部マーカー群７と、頭部マーカー群７からの光線を検出するカメラ装置２と、カメラ装置２に対する搭乗者３の光学検出頭部情報を算出する光学検出頭部情報算出部２２とを備え、移動体３０の一の位置と異なる位置に取り付けられる基準マーカー５と、移動体３０が静止状態であるときに検出された光線に基づいて、カメラ装置２に対する基準マーカー５の初期位置を含む基準初期情報を記憶する基準初期情報記憶部４２と、移動体３０が移動状態であるときに検出された光線及び基準初期情報に基づいて、カメラ装置２に対する基準マーカー５の移動量を含む移動情報を算出する移動情報算出部２３と、光学検出頭部情報及び移動情報に基づいて、搭乗者３の頭部位置及び頭部角度を含む移動体頭部情報を算出する頭部情報補正部２６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学方式のヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）に関し、さらに詳細には、衝撃や振動等による位置ズレを補正する機能を備える光学方式のＨＭＴ装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度（すなわち現在の頭部位置および頭部角度）を検出するＨＭＴ装置等に利用される。
【０００２】
ここで、光学方式のＨＭＴ装置とは、反射板や発光体等の頭部マーカー（光学マーカー）を取り付けたヘルメット等を頭部に装着して、頭部マーカーの位置を立体視が可能なカメラ装置で測定することにより、頭部の動きを追跡する装置をいう。
【背景技術】
【０００３】
時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ＨＭＴ装置が利用されている。
【０００４】
また、救難飛行艇による救難活動では、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体の緯度、経度、高度、姿勢に加えて、飛行体に設定された移動体座標系に対するパイロットの頭部角度及び頭部位置を測定している。このために、ＨＭＴ装置が利用されている。
【０００５】
頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（特許文献１参照）。例えば、複数の反射板を頭部装着型表示装置付ヘルメットに取り付けるとともに光源から光を照射したときの反射光をカメラ装置でモニタする光学方式のＨＭＴ装置が開示されている。また、本出願人が先に出願している光学方式のＨＭＴ装置もある（特願２００５−１０６４１８号）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、頭部マーカー群として、発光体であるＬＥＤを互いに離隔するようにして３箇所に取り付け、これら３つの頭部マーカーの相対的な位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３つの頭部マーカーを、ステレオ視が可能でかつ設置場所が固定された２台のカメラで同時に立体視で撮影することで、所謂、三角測量の原理により、現在の３つの頭部マーカーの相対的な位置関係を測定している。頭部装着型表示装置付ヘルメットに固定された３点の位置（３つのＬＥＤの位置）が特定できれば、ヘルメットの位置や向き（角度）が特定できるので、これにより、カメラ装置に対する頭部装着型表示装置付ヘルメットの移動距離量や移動角度量を算出している。
【特許文献１】特表平９−５０６１９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、図６に示すように、例えば、飛行体８０でＨＭＴ装置５１を使用するときに、パイロット６３が飛行体８０のコックピットに搭乗することになるが、飛行体８０の飛行中にコックピットが振動する場合がある。このとき、コックピットの天井に固定軸５２ｃを介して２台のカメラ５２ａ、５２ｂを設置してあると、２台のカメラ５２ａ、５２ｂが振動の影響を強く受けるため、カメラ５２ａ、５２ｂに対する頭部装着型表示装置付ヘルメット６０の現在位置及び現在角度を算出しても精度よく測定できないことがあった。例えば、パイロット６３の頭部が現在位置より前方に移動したときに、パイロット６３の頭部の移動量よりカメラ装置５２ａ、５２ｂが前方に一時的に振動した場合には、パイロット６３の頭部位置は後方に移動したように、ＨＭＴ装置５１に判断されていた。
さらに、衝撃や強い重力加速度を受けた場合に、カメラ５２ａ、５２ｂの取付状態が変化（変形）することもあるが、そのような場合にも、カメラ５２ａ、５２ｂに対する頭部装着型表示装置付ヘルメット６０の現在位置及び現在角度を算出しても精度よく測定できない問題があった。
【０００７】
そこで、本発明は、カメラ装置が振動したり、カメラ装置の取付状態が変化したりしたときにも、振動や変化等による位置ズレ量を算出して補正することにより、搭乗者の頭部の現在位置及び現在角度を正確に算出することができるヘッドモーショントラッカ装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するためになされた本発明のＨＭＴ装置は、搭乗者の頭部に配置される頭部マーカー群と、前記搭乗者が搭乗する移動体の一の位置に取り付けられるとともに、前記頭部マーカー群からの光線を立体視で検出するカメラ装置と、検出された光線に基づいて、前記カメラ装置に対する搭乗者の頭部位置及び頭部角度を含む光学検出頭部情報を算出する光学検出頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、 前記移動体の一の位置と異なる位置に取り付けられる基準マーカーと、前記移動体が静止状態であるときに、前記基準マーカーから検出された光線に基づいて、前記カメラ装置に対する基準マーカーの初期位置を含む基準初期情報を算出する基準初期情報算出部と、算出された基準初期情報を記憶する基準初期情報記憶部と、前記移動体が移動状態であるときに、前記基準マーカーから検出された光線に基づいて、前記カメラ装置に対する基準マーカーの現在位置を含む基準現在位置情報を算出するとともに、算出した基準現在位置情報と前記基準初期情報とに基づいて、前記カメラ装置に対する基準マーカーの移動量を含む移動情報を算出する移動情報算出部と、移動情報に基づいて、前記光学検出頭部情報を補正する頭部情報補正部を備えるようにしている。
【発明の効果】
【０００９】
本発明のＨＭＴ装置によれば、カメラ装置の取付位置は、頭部マーカー群からの光線を検出する必要上、例えば、頭部の上方となる天井等になるが、基準マーカーの取付位置は、カメラ装置の取付位置とは異なり、衝撃や重力加速度を受けたときに振動しにくく変化しにくい位置とすることができる。よって、予め移動体が静止状態であるときに、基準マーカーから検出された光線に基づいて、カメラ装置に対する基準マーカーの初期位置を含む基準初期情報を測定することにより、カメラ装置が本来の位置に存在するカメラ装置の基準的な位置を記憶させることができる。これにより、移動体が移動状態であるときに、基準マーカーから検出された光線に基づいて、カメラ装置に対する基準マーカーの現在位置を算出し、基準マーカーの現在位置と基準初期情報とを比較することにより、カメラ装置に対する基準マーカーの移動量を含む移動情報を算出することができる。つまり、移動情報から、逆にカメラ装置の移動量を算出することができる。したがって、搭乗者の頭部位置及び頭部角度を含む移動体頭部情報を算出する際に、例えば、カメラ装置が振動したときにも、振動の影響を低減・除去する補正を行うことができたり、何らかの理由でカメラ装置の取付位置が位置ズレしたときにも、位置ズレの影響を低減・除去する補正を行うことができたりする。
【００１０】
（他の課題を解決するための手段および効果）
また、上記の発明において、基準マーカーは２個以上であるようにしてもよい。
本発明のＨＭＴ装置によれば、基準マーカーの移動量を含む移動情報から、カメラ装置の並進移動や回転移動を算出することができる。
【００１１】
さらに上記発明において、基準マーカーは、３個以上であるようにしてもよい。
本発明のＨＭＴ装置によれば、基準マーカーの移動量を含む移動情報から、カメラ装置の並進移動とともに三次元的な回転移動も算出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
以下に説明する実施形態は、飛行体に搭乗するパイロットが着用する頭部装着型表示装置付ヘルメットの現在位置及び現在角度を算出するものであり、飛行体が重力加速度を受けてカメラ装置の取付状態が変形したり、振動でカメラ装置の取付位置が位置ズレしたりした場合にも、正確に頭部装着型表示装置付ヘルメットの現在位置及び現在角度を算出することができるものである。
【００１３】
図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメット及び基準マーカー部の平面図である。
【００１４】
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、飛行体３０に固定された固定軸２ｃにより支持されるカメラ装置２（２ａ、２ｂ）と、飛行体３０が移動しているときに、飛行体３０の中で振動や衝撃の影響を受けにくい位置である前面パネル部３０ｂに取り付けられた基準マーカー部４０と、コンピュータにより構成される制御部２０とから構成される。
【００１５】
飛行体３０は、パイロット３が搭乗するコックピットであり、パイロット３が着席する座席３０ａと、前面パネル部３０ｂとを備える。飛行体３０は飛行することにより、パイロット３が搭乗するコックピットの各部は振動することになる。このとき、前面パネル部３０ｂは、上述したように振動の影響を受けにくいので、基準マーカー部４０はほとんど振動しない。なお、基準マーカー部４０は、振動の影響がない位置であれば、他の位置に取り付けられてもよい。
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、ヘルメット１０の位置や向き（すなわち頭部位置や頭部角度）を測定する際の指標となる頭部マーカーとして機能するＬＥＤ群７とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示映像とコンバイナ８の前方実在物とを視認することが可能となっている。
【００１６】
ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光を発光する３個（あるいは３個以上の数）のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして取り付けてある。なお、頭部装着型表示装置付ヘルメット１０の３個のＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係とヘルメット１０に対する取り付け位置とが、予め、後述するメモリ４１の初期頭部データ記憶部４４に記憶するようにしてある。よって、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期頭部データ記憶部４４に記憶されたデータを参照することにより、現時点でのＬＥＤ７ａ、７ｂ、７ｃの位置を特定することができ、ひいてはＬＥＤ７ａ、７ｂ、７ｃが固定されているヘルメット１０の位置や角度（向き）が特定できるようにしてある。
【００１７】
基準マーカー部４０は、ＬＥＤ群５を有する。ＬＥＤ群５は、図２に示すように、互いに異なる波長の赤外光を発光する２個のＬＥＤ５ａ、５ｂが一定の距離（ｄ２）を隔てるようにして取り付けられたものである。また、ＬＥＤ群５とＬＥＤ群７とは、識別できるように、互いに異なる波長の赤外光を発光するものである。なお、基準マーカー部４０は、上述したようにほとんど振動しない位置に取り付けられていることにより、カメラ装置２（２ａ、２ｂ）が初期の位置（本来の設定位置）から振動や変形により位置ずれした際に、位置ずれに伴うカメラ装置２（２ａ，２ｂ）の移動距離や移動角度を算出する際に利用されるものである。
【００１８】
カメラ装置２（２ａ、２ｂ）は、撮影方向が頭部装着型表示装置付ヘルメット１０及び基準マーカー部４０に向けられているとともに、頭部装着型表示装置付ヘルメット１０のＬＥＤ群７及び基準マーカー部４０のＬＥＤ群５の立体視が同時に可能であるようにするため一定の距離（ｄ１）を隔てるように、飛行体３０の天井に固定軸２ｃを介して設置されている。
【００１９】
よって、頭部マーカーであるＬＥＤ７ａのカメラ装置２（２ａ、２ｂ）に対する位置は、カメラ装置２（２ａ，２ｂ）に撮影された画像中に映し出されているマーカーの位置を抽出し、さらにカメラ２ａからの方向角度とカメラ２ｂからの方向角度とを抽出し、カメラ２ａとカメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができるようにしてある。他の頭部マーカーであるＬＥＤ７ｂ、７ｃのカメラ装置２（２ａ、２ｂ）に対する位置についても、同様に算出されるようにしてある。
【００２０】
このときの各頭部マーカーの位置を、空間座標で表現することができるようにするために、カメラ装置２（２ａ、２ｂ）に固定され、カメラ装置２とともに移動する座標系である光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）を用いる。なお、光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）の具体的な原点位置やＸ’Ｙ’Ｚ’軸方向の説明については後述する。光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）によりＬＥＤ７ａ、７ｂ、７ｃの位置座標は、（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）として表現できる。カメラ装置２（２ａ、２ｂ）に対する３つのＬＥＤ７ａ、７ｂ、７ｃの位置座標（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）が特定されることにより、ＬＥＤ７ａ、７ｂ、７ｃが固定されているヘルメット１０の位置や角度（向き）が座標系を用いて特定できるようになる。
つまり、頭部マーカーであるＬＥＤ群７から発光される赤外光を検出することにより３個のＬＥＤ７ａ、７ｂ、７ｃの現在の位置座標を得ることで、カメラ装置２（２ａ、２ｂ）に対する頭部装着型表示装置付ヘルメット１０の現在の位置や向き（角度）を算出でき、位置座標や座標軸に対する角度で表現できるようにしてある。
【００２１】
図３は、カメラ装置２（２ａ，２ｂ）と基準マーカー部４０との関係を説明する図である。
基準マーカー部４０のＬＥＤ５ａのカメラ２ａ、カメラ２ｂに対する光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）での現在位置（ｘ１’、ｙ１’、ｚ１’）は、カメラ２ａからの方向角度（α）と、カメラ２ｂからの方向角度（β）と、カメラ２ａとカメラ２ｂとの間の距離（ｄ１）とにより、三角測量の手法で算出されるようにしてある。ＬＥＤ５ｂのカメラ２ａ、カメラ２ｂに対する現在位置（ｘ２’、ｙ２’、ｚ２’）についても、同様に算出されるようにしてある。よって、カメラ２ａ、カメラ２ｂに対する２つの現在位置座標（ｘ１’、ｙ１’、ｚ１’）、（ｘ２’、ｙ２’、ｚ２’）が特定されることにより、ＬＥＤ５ａとＬＥＤ５ｂとの位置関係および角度関係が特定されるようになっている。
【００２２】
次に、制御部２０について説明する。図４は、ＨＭＴ装置の制御系２０で行われる演算処理の流れを説明する図である。
制御部２０は、図１に示すように、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。ＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、光学マーカー駆動部２８と、基準初期情報算出部２７と、光学検出頭部情報算出部２２と、移動情報算出部２３と、頭部情報補正部２６と、映像表示部２５とを有する。
また、メモリ４１には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、カメラ装置２（２ａ，２ｂ）とともに移動する座標系である光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）を設定するために必要な原点位置および軸方向を記憶する光学検出座標記憶部４３と、カメラ装置２（２ａ，２ｂ）に対するＬＥＤ群５の初期位置を含む基準初期情報を記憶する基準初期情報記憶部４２と、３個のＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係およびヘルメット１０に対する取り付け位置を（初期頭部データ）記憶する初期頭部データ記憶部４４とを有する。
【００２３】
ここで、光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）について説明する。光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）は、カメラ装置２（２ａ，２ｂ）とともに移動する３次元座標系であり、原点および各座標軸の方向を任意に定めることができるが、本実施形態では図３に示すように、飛行体３０が停止した状態（初期状態）のときの、カメラ２ｂからカメラ２ａへの方向をＸ軸方向とし、Ｘ軸方向に垂直かつ天井に垂直で下向きな方向をＺ軸方向とし、Ｘ軸方向に垂直かつ天井に水平で右向き方向をＹ軸方向とするように定義し、原点をカメラ２ａ、カメラ２ｂの中点として定義するようにしてある。
【００２４】
そして、光学検出座標記憶部４３には、このＸ’Ｙ’Ｚ’座標系の設定に必要な軸方向の情報および原点の情報が蓄積してある。
【００２５】
基準初期情報記憶部４２は、予め飛行体３０が停止した状態（初期状態）のときに測定した、カメラ装置２（２ａ，２ｂ）（すなわちＸ’Ｙ’Ｚ’座標系）に対するＬＥＤ５ａの位置（ｘ１’、ｙ１’、ｚ１’）及びＬＥＤ５ｂの位置（ｘ２’、ｙ２’、ｚ２’）を、基準初期情報として記憶する。記憶された基準初期情報は、ＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）と表現する。
【００２６】
光学マーカー駆動部２８は、ＬＥＤ群７及びＬＥＤ群５を点灯する指令信号を出力するとともに、カメラ装置２ａ、２ｂでＬＥＤ群７及びＬＥＤ群５を撮影し、画像による位置情報を取得する制御を行うものである。
【００２７】
基準初期情報算出部２７は、予め飛行体３０が停止した状態（初期状態）のときに取得した画像からＬＥＤ５ａの位置（ｘ１’、ｙ１’、ｚ１’）及びＬＥＤ５ｂの位置（ｘ２’、ｙ２’、ｚ２’）を算出する演算を行うものである。算出された位置は、基準初期情報、すなわちＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）として上述した基準初期情報記憶部４２に記憶される。
【００２８】
光学検出頭部情報算出部２２は、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するパイロット３の頭部位置及び頭部角度を含む光学検出頭部情報を算出する制御を行うものである。
つまり、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対する３つのＬＥＤ７ａ、７ｂ、７ｃの位置（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）を算出し、これら３つの位置座標を、初期頭部データ記憶部４４に記憶されているＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係とヘルメット１０に対する取り付け位置のデータを参照することにより、ＬＥＤ７ａ、７ｂ、７ｃが固定されたヘルメット１０の現在位置と現在角度とを決定する。
【００２９】
決定されたヘルメット１０の現在位置と現在角度を、Ｘ’Ｙ’Ｚ’座標系を用いて表現するために、ヘルメット１０上の一点をヘルメット基準点（Ｐ）と定め、さらにヘルメット基準点を始点とする一方向をヘルメット基準方向（Ｍ）と定める。本実施形態では、図２に示すように、ヘルメット基準点（Ｐ）としてＬＥＤ７ａの位置を指定し、ヘルメット基準方向（Ｍ）としてヘルメット１０の前方方向を指定することにする。これにより、決定されたヘルメット１０の現在位置と現在角度とは、このヘルメット基準点Ｐの位置座標（Ｘ’、Ｙ’、Ｚ’）、ヘルメット基準方向（Ｍ）のＸ’軸、Ｙ’軸、Ｚ’軸に対する角度（Θ’、Φ’、Ψ’）とを用いて表現することができる。
【００３０】
つまり、光学検出頭部情報算出部２２は、３つのＬＥＤ７ａ、７ｂ、７ｃの位置（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）を算出し、これに基づいて
ヘルメット基準点Ｐの位置座標（Ｘ’、Ｙ’、Ｚ’）、ヘルメット基準方向（Ｍ）のＸ’軸、Ｙ’軸、Ｚ’軸に対する角度（Θ’、Φ’、Ψ’）を、頭部位置情報（Ｘ’、Ｙ’、Ｚ’）および頭部角度情報（Θ’、Φ’、Ψ’）として算出する。
【００３１】
移動情報算出部２３は、カメラ装置２（２ａ、２ｂ）に、振動等による位置ずれが生じたときの移動距離および移動角度を、移動情報として算出する演算を行うものである。
移動距離量をＸ’軸、Ｙ’軸、Ｚ’軸方向に対する位置変化量（Δｘ、Δｙ、Δｚ）、移動角度量をＸ’軸、Ｙ’軸、Ｚ’軸に対する角度変化量（Δθ、Δφ、Δψ）として表現する。すなわち、記憶された基準初期情報であるカメラ装置２（２ａ、２ｂ）に対するＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）と、カメラ装置２（２ａ、２ｂ）に対するＬＥＤ５ａの現在位置（ｘ１’、ｙ１’、ｚ１’）及びＬＥＤ５ｂの現在位置（ｘ２’、ｙ２’、ｚ２’）とを比較することにより、ＬＥＤ群５の移動距離量（Δｘ、Δｙ、Δｚ）及び移動角度量（Δθ、Δφ、Δψ）が算出される。ＬＥＤ群５の移動距離量（Δｘ、Δｙ、Δｚ）及び移動角度量（Δθ、Δφ、Δψ）を算出し、これらの正負を逆にすることで、逆にカメラ装置２ａ、２ｂの移動距離量（Δｘ、Δｙ、Δｚ）及び移動角度量（Δθ、Δφ、Δψ）が移動情報として算出される。
【００３２】
頭部情報補正部２６は、光学検出頭部情報及び移動情報に基づいて、カメラ装置２ａ、２ｂの振動による位置ズレを補正する制御を行い、補正されたパイロット３の頭部位置及び頭部角度を、移動体頭部情報として算出する制御を行うものである。つまり、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対して算出されたパイロット３の頭部位置（Ｘ’、Ｙ’、Ｚ’）及び頭部角度（Θ’、Φ’、Ψ’）に、カメラ装置２（２ａ、２ｂ）の移動距離量（Δｘ、Δｙ、Δｚ）を並進させる演算と、移動角度量（Δθ、Δφ、Δψ）を回転させる演算とを行うことにより（座標変換行列による座標変換処理）、Ｘ’Ｙ’Ｚ’座標系に代えて、移動体３０の基準マーカー部４０に固定され、基準マーカー部４０とともに移動する座標系である移動体座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を算出する。そして、算出結果を移動体頭部情報として出力する。
出力された頭部位置（Ｘ、Ｙ、Ｚ）、頭部角度（Θ、Φ、Ψ）である移動体頭部情報は、振動等にともなって移動する光学座標検出系（Ｘ’Ｙ’Ｚ’座標系）ではなく、振動等による位置ズレが補正された移動体座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置及び頭部角度となる。そして時々刻々変化する移動体頭部情報と、初期頭部データ記憶部４４に記憶されている３個のＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係およびヘルメット１０に対する取り付け位置（初期頭部データ）とを比較することにより、移動体座標系（ＸＹＺ座標系）に対する頭部装着型表示装置付ヘルメット１０の移動距離量及び移動角度量が決定される。
【００３３】
映像表示部２５は、カメラ装置２（２ａ、２ｂ）の振動等による位置ズレが補正された移動体頭部情報に基づいて、映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することができるようになる。
【００３４】
次に、ＨＭＴ装置１による移動体座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を測定する測定動作について説明する。図５はＨＭＴ装置１による測定動作を示すフローチャートである。
【００３５】
まず、ステップＳ１０１の処理において、飛行体が停止した（振動がない）状態のときに、カメラ装置２（２ａ、２ｂ）でＬＥＤ群５から発光される赤外光を検出することにより、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）を測定する。
次に、ステップＳ１０２の処理において、基準初期情報記憶部４２にＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）を記憶させる。
【００３６】
次に、ステップＳ１０３の処理において、飛行体が飛行している（振動がある）状態のときに、カメラ装置２（２ａ、２ｂ）でＬＥＤ群５及びＬＥＤ群７から発光される赤外光を検出することにより、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するＬＥＤ５ａの現在位置（ｘ１’、ｙ１’、ｚ１’）及びＬＥＤ５ｂの現在位置（ｘ２’、ｙ２’、ｚ２’）を測定するとともに、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するＬＥＤ７ａの頭部マーカー位置（Ｘ１’、Ｙ１’、Ｚ１’）、ＬＥＤ７ｂの頭部マーカー位置（Ｘ２’、Ｙ２’、Ｚ２’）及びＬＥＤ７ｃの頭部マーカー位置（Ｘ３’、Ｙ３’、Ｚ３’）を測定する。
【００３７】
次に、ステップＳ１０４の処理において、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対する３つのＬＥＤ７ａ、７ｂ、７ｃの頭部マーカー位置（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）が測定され、初期頭部データとして記憶されている頭部マーカーどうしの相対位置およびヘルメット１０に対する取付位置関係のデータを参照することにより、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するパイロット３の頭部位置（Ｘ’、Ｙ’、Ｚ’）及び頭部角度（Θ’、Φ’、Ψ’）を算出させる。
【００３８】
次に、ステップＳ１０５の処理において、移動情報算出部２３により、ＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）と、ＬＥＤ５ａの現在位置（ｘ１’、ｙ１’、ｚ１’）及びＬＥＤ５ｂの現在位置（ｘ２’、ｙ２’、ｚ２’）とを比較することにより、カメラ装置２ａ、２ｂの移動距離量（Δｘ、Δｙ、Δｚ）及び移動角度量（Δθ、Δφ、Δψ）を算出させる。
【００３９】
次に、ステップＳ１０６の処理において、移動体頭部情報算出部２６により、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するパイロット３の頭部位置（Ｘ’、Ｙ’、Ｚ’）及び頭部角度（Θ’、Φ’、Ψ’）に対し、カメラ装置２ａ、２ｂの移動距離量（Δｘ、Δｙ、Δｚ）を並進させる演算を行い、移動角度量（Δθ、Δφ、Δψ）を回転させる演算を行うことにより、基準マーカー部４０に固定された移動体座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を算出させる。
【００４０】
次に、ステップＳ１０７の処理において、飛行体３０が飛行しているか否かを判断する。飛行体３０が飛行していると判定されたときには、ステップＳ１０３の処理に戻る。つまり、飛行体３０が飛行していていないと判定されるときまで、ステップＳ１０３〜ステップＳ１０６の処理は繰り返される。
一方、飛行体３０が飛行していないと判断されたときには、本フローチャートを終了させる。
【００４１】
以上のように、ＨＭＴ装置１によれば、カメラ装置２の取付位置は、ＬＥＤ群７からの光線を検出する必要上、頭部の上方となる天井になるが、ＬＥＤ群５の取付位置は、衝撃や重力加速度を受けたときに振動しにくく変化しにくい前面パネル部３０ｂとすることができる。よって、予め飛行体３０が静止状態であるときに、ＬＥＤ群５から検出された光線に基づいて、カメラ装置２に対するＬＥＤ群５の初期位置を含む基準初期情報を測定することにより、カメラ装置２が本来の位置に存在するカメラ装置２の基準的な位置を記憶させることができる。これにより、飛行体３０が移動状態であるときに、ＬＥＤ群５から検出された光線に基づいて、カメラ装置２に対するＬＥＤ群５の現在位置を算出し、ＬＥＤ群５の現在位置と基準初期情報とを比較することにより、カメラ装置２に対するＬＥＤ群５の移動量を含む移動情報を算出することができる。つまり、移動情報から、逆にカメラ装置２の移動量を算出することができる。したがって、パイロット３の頭部位置及び頭部角度を含む移動体頭部情報を算出する際に、カメラ装置２が振動したときにも、振動の影響を低減・除去することができる。
【００４２】
なお、ＬＥＤ群７及びＬＥＤ群５は、互いに異なる波長の赤外光を発光するように構成したが、全て同じ波長の赤外光を発光するように構成してもよい。つまり、他の識別方法により識別するようにしてもよい。
【００４３】
また、上記実施形態では、基準マーカー部４０には２つの基準マーカー５ａ、５ｂを配置したが、さらに５ｃを加えて３つ、あるいはそれ以上にしてもよい。
実用上は２つの基準マーカーで問題がないが、カメラ装置２の配置と基準マーカーの配置の関係によっては振動等を測定できない位置関係になりうる。一方、３つの基準マーカーを配置しておけば死角となる位置関係をなくすことができる。
【００４４】
また、逆に、カメラ装置２の固定方法を工夫して回転移動が生じないようにする場合は、基準マーカーを１つにして、並進移動のみを測定するようにしてもよい。
【産業上の利用可能性】
【００４５】
本発明のＨＭＴ装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度を検出するものとして、利用される。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施形態であるＨＭＴ装置の概略構成を示す図である。
【図２】図１に示す頭部装着型表示装置付ヘルメット及び基準マーカー部の平面図である。
【図３】光学検出座標系の設定を説明するための図である。
【図４】ＨＭＴ装置が移動体頭部情報を算出する際に実行する演算処理の流れを説明する図である。
【図５】ＨＭＴ装置による測定動作について説明するためのフローチャートである。
【図６】従来のＨＭＴ装置の概略構成を示す図である。
【符号の説明】
【００４７】
１、５１ ヘッドモーショントラッカ装置
２、５２ カメラ装置
３、６３ パイロット
５、７ ＬＥＤ群
２２ 光学検出頭部情報算出部
２３ 移動情報算出部
２６ 移動体頭部情報補正部
３０、８０ 飛行体
４２ 基準初期情報記憶部
Ｐ ヘルメット基準点
Ｍ ヘルメット基準方向
【技術分野】
【０００１】
本発明は、光学方式のヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）に関し、さらに詳細には、衝撃や振動等による位置ズレを補正する機能を備える光学方式のＨＭＴ装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度（すなわち現在の頭部位置および頭部角度）を検出するＨＭＴ装置等に利用される。
【０００２】
ここで、光学方式のＨＭＴ装置とは、反射板や発光体等の頭部マーカー（光学マーカー）を取り付けたヘルメット等を頭部に装着して、頭部マーカーの位置を立体視が可能なカメラ装置で測定することにより、頭部の動きを追跡する装置をいう。
【背景技術】
【０００３】
時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ＨＭＴ装置が利用されている。
【０００４】
また、救難飛行艇による救難活動では、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体の緯度、経度、高度、姿勢に加えて、飛行体に設定された移動体座標系に対するパイロットの頭部角度及び頭部位置を測定している。このために、ＨＭＴ装置が利用されている。
【０００５】
頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（特許文献１参照）。例えば、複数の反射板を頭部装着型表示装置付ヘルメットに取り付けるとともに光源から光を照射したときの反射光をカメラ装置でモニタする光学方式のＨＭＴ装置が開示されている。また、本出願人が先に出願している光学方式のＨＭＴ装置もある（特願２００５−１０６４１８号）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、頭部マーカー群として、発光体であるＬＥＤを互いに離隔するようにして３箇所に取り付け、これら３つの頭部マーカーの相対的な位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３つの頭部マーカーを、ステレオ視が可能でかつ設置場所が固定された２台のカメラで同時に立体視で撮影することで、所謂、三角測量の原理により、現在の３つの頭部マーカーの相対的な位置関係を測定している。頭部装着型表示装置付ヘルメットに固定された３点の位置（３つのＬＥＤの位置）が特定できれば、ヘルメットの位置や向き（角度）が特定できるので、これにより、カメラ装置に対する頭部装着型表示装置付ヘルメットの移動距離量や移動角度量を算出している。
【特許文献１】特表平９−５０６１９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、図６に示すように、例えば、飛行体８０でＨＭＴ装置５１を使用するときに、パイロット６３が飛行体８０のコックピットに搭乗することになるが、飛行体８０の飛行中にコックピットが振動する場合がある。このとき、コックピットの天井に固定軸５２ｃを介して２台のカメラ５２ａ、５２ｂを設置してあると、２台のカメラ５２ａ、５２ｂが振動の影響を強く受けるため、カメラ５２ａ、５２ｂに対する頭部装着型表示装置付ヘルメット６０の現在位置及び現在角度を算出しても精度よく測定できないことがあった。例えば、パイロット６３の頭部が現在位置より前方に移動したときに、パイロット６３の頭部の移動量よりカメラ装置５２ａ、５２ｂが前方に一時的に振動した場合には、パイロット６３の頭部位置は後方に移動したように、ＨＭＴ装置５１に判断されていた。
さらに、衝撃や強い重力加速度を受けた場合に、カメラ５２ａ、５２ｂの取付状態が変化（変形）することもあるが、そのような場合にも、カメラ５２ａ、５２ｂに対する頭部装着型表示装置付ヘルメット６０の現在位置及び現在角度を算出しても精度よく測定できない問題があった。
【０００７】
そこで、本発明は、カメラ装置が振動したり、カメラ装置の取付状態が変化したりしたときにも、振動や変化等による位置ズレ量を算出して補正することにより、搭乗者の頭部の現在位置及び現在角度を正確に算出することができるヘッドモーショントラッカ装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するためになされた本発明のＨＭＴ装置は、搭乗者の頭部に配置される頭部マーカー群と、前記搭乗者が搭乗する移動体の一の位置に取り付けられるとともに、前記頭部マーカー群からの光線を立体視で検出するカメラ装置と、検出された光線に基づいて、前記カメラ装置に対する搭乗者の頭部位置及び頭部角度を含む光学検出頭部情報を算出する光学検出頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、 前記移動体の一の位置と異なる位置に取り付けられる基準マーカーと、前記移動体が静止状態であるときに、前記基準マーカーから検出された光線に基づいて、前記カメラ装置に対する基準マーカーの初期位置を含む基準初期情報を算出する基準初期情報算出部と、算出された基準初期情報を記憶する基準初期情報記憶部と、前記移動体が移動状態であるときに、前記基準マーカーから検出された光線に基づいて、前記カメラ装置に対する基準マーカーの現在位置を含む基準現在位置情報を算出するとともに、算出した基準現在位置情報と前記基準初期情報とに基づいて、前記カメラ装置に対する基準マーカーの移動量を含む移動情報を算出する移動情報算出部と、移動情報に基づいて、前記光学検出頭部情報を補正する頭部情報補正部を備えるようにしている。
【発明の効果】
【０００９】
本発明のＨＭＴ装置によれば、カメラ装置の取付位置は、頭部マーカー群からの光線を検出する必要上、例えば、頭部の上方となる天井等になるが、基準マーカーの取付位置は、カメラ装置の取付位置とは異なり、衝撃や重力加速度を受けたときに振動しにくく変化しにくい位置とすることができる。よって、予め移動体が静止状態であるときに、基準マーカーから検出された光線に基づいて、カメラ装置に対する基準マーカーの初期位置を含む基準初期情報を測定することにより、カメラ装置が本来の位置に存在するカメラ装置の基準的な位置を記憶させることができる。これにより、移動体が移動状態であるときに、基準マーカーから検出された光線に基づいて、カメラ装置に対する基準マーカーの現在位置を算出し、基準マーカーの現在位置と基準初期情報とを比較することにより、カメラ装置に対する基準マーカーの移動量を含む移動情報を算出することができる。つまり、移動情報から、逆にカメラ装置の移動量を算出することができる。したがって、搭乗者の頭部位置及び頭部角度を含む移動体頭部情報を算出する際に、例えば、カメラ装置が振動したときにも、振動の影響を低減・除去する補正を行うことができたり、何らかの理由でカメラ装置の取付位置が位置ズレしたときにも、位置ズレの影響を低減・除去する補正を行うことができたりする。
【００１０】
（他の課題を解決するための手段および効果）
また、上記の発明において、基準マーカーは２個以上であるようにしてもよい。
本発明のＨＭＴ装置によれば、基準マーカーの移動量を含む移動情報から、カメラ装置の並進移動や回転移動を算出することができる。
【００１１】
さらに上記発明において、基準マーカーは、３個以上であるようにしてもよい。
本発明のＨＭＴ装置によれば、基準マーカーの移動量を含む移動情報から、カメラ装置の並進移動とともに三次元的な回転移動も算出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
以下に説明する実施形態は、飛行体に搭乗するパイロットが着用する頭部装着型表示装置付ヘルメットの現在位置及び現在角度を算出するものであり、飛行体が重力加速度を受けてカメラ装置の取付状態が変形したり、振動でカメラ装置の取付位置が位置ズレしたりした場合にも、正確に頭部装着型表示装置付ヘルメットの現在位置及び現在角度を算出することができるものである。
【００１３】
図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメット及び基準マーカー部の平面図である。
【００１４】
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、飛行体３０に固定された固定軸２ｃにより支持されるカメラ装置２（２ａ、２ｂ）と、飛行体３０が移動しているときに、飛行体３０の中で振動や衝撃の影響を受けにくい位置である前面パネル部３０ｂに取り付けられた基準マーカー部４０と、コンピュータにより構成される制御部２０とから構成される。
【００１５】
飛行体３０は、パイロット３が搭乗するコックピットであり、パイロット３が着席する座席３０ａと、前面パネル部３０ｂとを備える。飛行体３０は飛行することにより、パイロット３が搭乗するコックピットの各部は振動することになる。このとき、前面パネル部３０ｂは、上述したように振動の影響を受けにくいので、基準マーカー部４０はほとんど振動しない。なお、基準マーカー部４０は、振動の影響がない位置であれば、他の位置に取り付けられてもよい。
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、ヘルメット１０の位置や向き（すなわち頭部位置や頭部角度）を測定する際の指標となる頭部マーカーとして機能するＬＥＤ群７とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示映像とコンバイナ８の前方実在物とを視認することが可能となっている。
【００１６】
ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光を発光する３個（あるいは３個以上の数）のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして取り付けてある。なお、頭部装着型表示装置付ヘルメット１０の３個のＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係とヘルメット１０に対する取り付け位置とが、予め、後述するメモリ４１の初期頭部データ記憶部４４に記憶するようにしてある。よって、後述する三角測量の手法で、現時点における３個のＬＥＤ７ａ、７ｂ、７ｃの位置を算出し、初期頭部データ記憶部４４に記憶されたデータを参照することにより、現時点でのＬＥＤ７ａ、７ｂ、７ｃの位置を特定することができ、ひいてはＬＥＤ７ａ、７ｂ、７ｃが固定されているヘルメット１０の位置や角度（向き）が特定できるようにしてある。
【００１７】
基準マーカー部４０は、ＬＥＤ群５を有する。ＬＥＤ群５は、図２に示すように、互いに異なる波長の赤外光を発光する２個のＬＥＤ５ａ、５ｂが一定の距離（ｄ２）を隔てるようにして取り付けられたものである。また、ＬＥＤ群５とＬＥＤ群７とは、識別できるように、互いに異なる波長の赤外光を発光するものである。なお、基準マーカー部４０は、上述したようにほとんど振動しない位置に取り付けられていることにより、カメラ装置２（２ａ、２ｂ）が初期の位置（本来の設定位置）から振動や変形により位置ずれした際に、位置ずれに伴うカメラ装置２（２ａ，２ｂ）の移動距離や移動角度を算出する際に利用されるものである。
【００１８】
カメラ装置２（２ａ、２ｂ）は、撮影方向が頭部装着型表示装置付ヘルメット１０及び基準マーカー部４０に向けられているとともに、頭部装着型表示装置付ヘルメット１０のＬＥＤ群７及び基準マーカー部４０のＬＥＤ群５の立体視が同時に可能であるようにするため一定の距離（ｄ１）を隔てるように、飛行体３０の天井に固定軸２ｃを介して設置されている。
【００１９】
よって、頭部マーカーであるＬＥＤ７ａのカメラ装置２（２ａ、２ｂ）に対する位置は、カメラ装置２（２ａ，２ｂ）に撮影された画像中に映し出されているマーカーの位置を抽出し、さらにカメラ２ａからの方向角度とカメラ２ｂからの方向角度とを抽出し、カメラ２ａとカメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができるようにしてある。他の頭部マーカーであるＬＥＤ７ｂ、７ｃのカメラ装置２（２ａ、２ｂ）に対する位置についても、同様に算出されるようにしてある。
【００２０】
このときの各頭部マーカーの位置を、空間座標で表現することができるようにするために、カメラ装置２（２ａ、２ｂ）に固定され、カメラ装置２とともに移動する座標系である光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）を用いる。なお、光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）の具体的な原点位置やＸ’Ｙ’Ｚ’軸方向の説明については後述する。光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）によりＬＥＤ７ａ、７ｂ、７ｃの位置座標は、（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）として表現できる。カメラ装置２（２ａ、２ｂ）に対する３つのＬＥＤ７ａ、７ｂ、７ｃの位置座標（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）が特定されることにより、ＬＥＤ７ａ、７ｂ、７ｃが固定されているヘルメット１０の位置や角度（向き）が座標系を用いて特定できるようになる。
つまり、頭部マーカーであるＬＥＤ群７から発光される赤外光を検出することにより３個のＬＥＤ７ａ、７ｂ、７ｃの現在の位置座標を得ることで、カメラ装置２（２ａ、２ｂ）に対する頭部装着型表示装置付ヘルメット１０の現在の位置や向き（角度）を算出でき、位置座標や座標軸に対する角度で表現できるようにしてある。
【００２１】
図３は、カメラ装置２（２ａ，２ｂ）と基準マーカー部４０との関係を説明する図である。
基準マーカー部４０のＬＥＤ５ａのカメラ２ａ、カメラ２ｂに対する光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）での現在位置（ｘ１’、ｙ１’、ｚ１’）は、カメラ２ａからの方向角度（α）と、カメラ２ｂからの方向角度（β）と、カメラ２ａとカメラ２ｂとの間の距離（ｄ１）とにより、三角測量の手法で算出されるようにしてある。ＬＥＤ５ｂのカメラ２ａ、カメラ２ｂに対する現在位置（ｘ２’、ｙ２’、ｚ２’）についても、同様に算出されるようにしてある。よって、カメラ２ａ、カメラ２ｂに対する２つの現在位置座標（ｘ１’、ｙ１’、ｚ１’）、（ｘ２’、ｙ２’、ｚ２’）が特定されることにより、ＬＥＤ５ａとＬＥＤ５ｂとの位置関係および角度関係が特定されるようになっている。
【００２２】
次に、制御部２０について説明する。図４は、ＨＭＴ装置の制御系２０で行われる演算処理の流れを説明する図である。
制御部２０は、図１に示すように、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。ＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、光学マーカー駆動部２８と、基準初期情報算出部２７と、光学検出頭部情報算出部２２と、移動情報算出部２３と、頭部情報補正部２６と、映像表示部２５とを有する。
また、メモリ４１には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、カメラ装置２（２ａ，２ｂ）とともに移動する座標系である光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）を設定するために必要な原点位置および軸方向を記憶する光学検出座標記憶部４３と、カメラ装置２（２ａ，２ｂ）に対するＬＥＤ群５の初期位置を含む基準初期情報を記憶する基準初期情報記憶部４２と、３個のＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係およびヘルメット１０に対する取り付け位置を（初期頭部データ）記憶する初期頭部データ記憶部４４とを有する。
【００２３】
ここで、光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）について説明する。光学検出座標系（Ｘ’Ｙ’Ｚ’座標系）は、カメラ装置２（２ａ，２ｂ）とともに移動する３次元座標系であり、原点および各座標軸の方向を任意に定めることができるが、本実施形態では図３に示すように、飛行体３０が停止した状態（初期状態）のときの、カメラ２ｂからカメラ２ａへの方向をＸ軸方向とし、Ｘ軸方向に垂直かつ天井に垂直で下向きな方向をＺ軸方向とし、Ｘ軸方向に垂直かつ天井に水平で右向き方向をＹ軸方向とするように定義し、原点をカメラ２ａ、カメラ２ｂの中点として定義するようにしてある。
【００２４】
そして、光学検出座標記憶部４３には、このＸ’Ｙ’Ｚ’座標系の設定に必要な軸方向の情報および原点の情報が蓄積してある。
【００２５】
基準初期情報記憶部４２は、予め飛行体３０が停止した状態（初期状態）のときに測定した、カメラ装置２（２ａ，２ｂ）（すなわちＸ’Ｙ’Ｚ’座標系）に対するＬＥＤ５ａの位置（ｘ１’、ｙ１’、ｚ１’）及びＬＥＤ５ｂの位置（ｘ２’、ｙ２’、ｚ２’）を、基準初期情報として記憶する。記憶された基準初期情報は、ＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）と表現する。
【００２６】
光学マーカー駆動部２８は、ＬＥＤ群７及びＬＥＤ群５を点灯する指令信号を出力するとともに、カメラ装置２ａ、２ｂでＬＥＤ群７及びＬＥＤ群５を撮影し、画像による位置情報を取得する制御を行うものである。
【００２７】
基準初期情報算出部２７は、予め飛行体３０が停止した状態（初期状態）のときに取得した画像からＬＥＤ５ａの位置（ｘ１’、ｙ１’、ｚ１’）及びＬＥＤ５ｂの位置（ｘ２’、ｙ２’、ｚ２’）を算出する演算を行うものである。算出された位置は、基準初期情報、すなわちＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）として上述した基準初期情報記憶部４２に記憶される。
【００２８】
光学検出頭部情報算出部２２は、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するパイロット３の頭部位置及び頭部角度を含む光学検出頭部情報を算出する制御を行うものである。
つまり、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対する３つのＬＥＤ７ａ、７ｂ、７ｃの位置（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）を算出し、これら３つの位置座標を、初期頭部データ記憶部４４に記憶されているＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係とヘルメット１０に対する取り付け位置のデータを参照することにより、ＬＥＤ７ａ、７ｂ、７ｃが固定されたヘルメット１０の現在位置と現在角度とを決定する。
【００２９】
決定されたヘルメット１０の現在位置と現在角度を、Ｘ’Ｙ’Ｚ’座標系を用いて表現するために、ヘルメット１０上の一点をヘルメット基準点（Ｐ）と定め、さらにヘルメット基準点を始点とする一方向をヘルメット基準方向（Ｍ）と定める。本実施形態では、図２に示すように、ヘルメット基準点（Ｐ）としてＬＥＤ７ａの位置を指定し、ヘルメット基準方向（Ｍ）としてヘルメット１０の前方方向を指定することにする。これにより、決定されたヘルメット１０の現在位置と現在角度とは、このヘルメット基準点Ｐの位置座標（Ｘ’、Ｙ’、Ｚ’）、ヘルメット基準方向（Ｍ）のＸ’軸、Ｙ’軸、Ｚ’軸に対する角度（Θ’、Φ’、Ψ’）とを用いて表現することができる。
【００３０】
つまり、光学検出頭部情報算出部２２は、３つのＬＥＤ７ａ、７ｂ、７ｃの位置（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）を算出し、これに基づいて
ヘルメット基準点Ｐの位置座標（Ｘ’、Ｙ’、Ｚ’）、ヘルメット基準方向（Ｍ）のＸ’軸、Ｙ’軸、Ｚ’軸に対する角度（Θ’、Φ’、Ψ’）を、頭部位置情報（Ｘ’、Ｙ’、Ｚ’）および頭部角度情報（Θ’、Φ’、Ψ’）として算出する。
【００３１】
移動情報算出部２３は、カメラ装置２（２ａ、２ｂ）に、振動等による位置ずれが生じたときの移動距離および移動角度を、移動情報として算出する演算を行うものである。
移動距離量をＸ’軸、Ｙ’軸、Ｚ’軸方向に対する位置変化量（Δｘ、Δｙ、Δｚ）、移動角度量をＸ’軸、Ｙ’軸、Ｚ’軸に対する角度変化量（Δθ、Δφ、Δψ）として表現する。すなわち、記憶された基準初期情報であるカメラ装置２（２ａ、２ｂ）に対するＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）と、カメラ装置２（２ａ、２ｂ）に対するＬＥＤ５ａの現在位置（ｘ１’、ｙ１’、ｚ１’）及びＬＥＤ５ｂの現在位置（ｘ２’、ｙ２’、ｚ２’）とを比較することにより、ＬＥＤ群５の移動距離量（Δｘ、Δｙ、Δｚ）及び移動角度量（Δθ、Δφ、Δψ）が算出される。ＬＥＤ群５の移動距離量（Δｘ、Δｙ、Δｚ）及び移動角度量（Δθ、Δφ、Δψ）を算出し、これらの正負を逆にすることで、逆にカメラ装置２ａ、２ｂの移動距離量（Δｘ、Δｙ、Δｚ）及び移動角度量（Δθ、Δφ、Δψ）が移動情報として算出される。
【００３２】
頭部情報補正部２６は、光学検出頭部情報及び移動情報に基づいて、カメラ装置２ａ、２ｂの振動による位置ズレを補正する制御を行い、補正されたパイロット３の頭部位置及び頭部角度を、移動体頭部情報として算出する制御を行うものである。つまり、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対して算出されたパイロット３の頭部位置（Ｘ’、Ｙ’、Ｚ’）及び頭部角度（Θ’、Φ’、Ψ’）に、カメラ装置２（２ａ、２ｂ）の移動距離量（Δｘ、Δｙ、Δｚ）を並進させる演算と、移動角度量（Δθ、Δφ、Δψ）を回転させる演算とを行うことにより（座標変換行列による座標変換処理）、Ｘ’Ｙ’Ｚ’座標系に代えて、移動体３０の基準マーカー部４０に固定され、基準マーカー部４０とともに移動する座標系である移動体座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を算出する。そして、算出結果を移動体頭部情報として出力する。
出力された頭部位置（Ｘ、Ｙ、Ｚ）、頭部角度（Θ、Φ、Ψ）である移動体頭部情報は、振動等にともなって移動する光学座標検出系（Ｘ’Ｙ’Ｚ’座標系）ではなく、振動等による位置ズレが補正された移動体座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置及び頭部角度となる。そして時々刻々変化する移動体頭部情報と、初期頭部データ記憶部４４に記憶されている３個のＬＥＤ７ａ、７ｂ、７ｃの相対的な位置関係およびヘルメット１０に対する取り付け位置（初期頭部データ）とを比較することにより、移動体座標系（ＸＹＺ座標系）に対する頭部装着型表示装置付ヘルメット１０の移動距離量及び移動角度量が決定される。
【００３３】
映像表示部２５は、カメラ装置２（２ａ、２ｂ）の振動等による位置ズレが補正された移動体頭部情報に基づいて、映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することができるようになる。
【００３４】
次に、ＨＭＴ装置１による移動体座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を測定する測定動作について説明する。図５はＨＭＴ装置１による測定動作を示すフローチャートである。
【００３５】
まず、ステップＳ１０１の処理において、飛行体が停止した（振動がない）状態のときに、カメラ装置２（２ａ、２ｂ）でＬＥＤ群５から発光される赤外光を検出することにより、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）を測定する。
次に、ステップＳ１０２の処理において、基準初期情報記憶部４２にＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）を記憶させる。
【００３６】
次に、ステップＳ１０３の処理において、飛行体が飛行している（振動がある）状態のときに、カメラ装置２（２ａ、２ｂ）でＬＥＤ群５及びＬＥＤ群７から発光される赤外光を検出することにより、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するＬＥＤ５ａの現在位置（ｘ１’、ｙ１’、ｚ１’）及びＬＥＤ５ｂの現在位置（ｘ２’、ｙ２’、ｚ２’）を測定するとともに、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するＬＥＤ７ａの頭部マーカー位置（Ｘ１’、Ｙ１’、Ｚ１’）、ＬＥＤ７ｂの頭部マーカー位置（Ｘ２’、Ｙ２’、Ｚ２’）及びＬＥＤ７ｃの頭部マーカー位置（Ｘ３’、Ｙ３’、Ｚ３’）を測定する。
【００３７】
次に、ステップＳ１０４の処理において、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対する３つのＬＥＤ７ａ、７ｂ、７ｃの頭部マーカー位置（Ｘ１’、Ｙ１’、Ｚ１’）、（Ｘ２’、Ｙ２’、Ｚ２’）、（Ｘ３’、Ｙ３’、Ｚ３’）が測定され、初期頭部データとして記憶されている頭部マーカーどうしの相対位置およびヘルメット１０に対する取付位置関係のデータを参照することにより、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するパイロット３の頭部位置（Ｘ’、Ｙ’、Ｚ’）及び頭部角度（Θ’、Φ’、Ψ’）を算出させる。
【００３８】
次に、ステップＳ１０５の処理において、移動情報算出部２３により、ＬＥＤ５ａの初期位置（ｘ１、ｙ１、ｚ１）及びＬＥＤ５ｂの初期位置（ｘ２、ｙ２、ｚ２）と、ＬＥＤ５ａの現在位置（ｘ１’、ｙ１’、ｚ１’）及びＬＥＤ５ｂの現在位置（ｘ２’、ｙ２’、ｚ２’）とを比較することにより、カメラ装置２ａ、２ｂの移動距離量（Δｘ、Δｙ、Δｚ）及び移動角度量（Δθ、Δφ、Δψ）を算出させる。
【００３９】
次に、ステップＳ１０６の処理において、移動体頭部情報算出部２６により、カメラ装置２（２ａ、２ｂ）（Ｘ’Ｙ’Ｚ’座標系）に対するパイロット３の頭部位置（Ｘ’、Ｙ’、Ｚ’）及び頭部角度（Θ’、Φ’、Ψ’）に対し、カメラ装置２ａ、２ｂの移動距離量（Δｘ、Δｙ、Δｚ）を並進させる演算を行い、移動角度量（Δθ、Δφ、Δψ）を回転させる演算を行うことにより、基準マーカー部４０に固定された移動体座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を算出させる。
【００４０】
次に、ステップＳ１０７の処理において、飛行体３０が飛行しているか否かを判断する。飛行体３０が飛行していると判定されたときには、ステップＳ１０３の処理に戻る。つまり、飛行体３０が飛行していていないと判定されるときまで、ステップＳ１０３〜ステップＳ１０６の処理は繰り返される。
一方、飛行体３０が飛行していないと判断されたときには、本フローチャートを終了させる。
【００４１】
以上のように、ＨＭＴ装置１によれば、カメラ装置２の取付位置は、ＬＥＤ群７からの光線を検出する必要上、頭部の上方となる天井になるが、ＬＥＤ群５の取付位置は、衝撃や重力加速度を受けたときに振動しにくく変化しにくい前面パネル部３０ｂとすることができる。よって、予め飛行体３０が静止状態であるときに、ＬＥＤ群５から検出された光線に基づいて、カメラ装置２に対するＬＥＤ群５の初期位置を含む基準初期情報を測定することにより、カメラ装置２が本来の位置に存在するカメラ装置２の基準的な位置を記憶させることができる。これにより、飛行体３０が移動状態であるときに、ＬＥＤ群５から検出された光線に基づいて、カメラ装置２に対するＬＥＤ群５の現在位置を算出し、ＬＥＤ群５の現在位置と基準初期情報とを比較することにより、カメラ装置２に対するＬＥＤ群５の移動量を含む移動情報を算出することができる。つまり、移動情報から、逆にカメラ装置２の移動量を算出することができる。したがって、パイロット３の頭部位置及び頭部角度を含む移動体頭部情報を算出する際に、カメラ装置２が振動したときにも、振動の影響を低減・除去することができる。
【００４２】
なお、ＬＥＤ群７及びＬＥＤ群５は、互いに異なる波長の赤外光を発光するように構成したが、全て同じ波長の赤外光を発光するように構成してもよい。つまり、他の識別方法により識別するようにしてもよい。
【００４３】
また、上記実施形態では、基準マーカー部４０には２つの基準マーカー５ａ、５ｂを配置したが、さらに５ｃを加えて３つ、あるいはそれ以上にしてもよい。
実用上は２つの基準マーカーで問題がないが、カメラ装置２の配置と基準マーカーの配置の関係によっては振動等を測定できない位置関係になりうる。一方、３つの基準マーカーを配置しておけば死角となる位置関係をなくすことができる。
【００４４】
また、逆に、カメラ装置２の固定方法を工夫して回転移動が生じないようにする場合は、基準マーカーを１つにして、並進移動のみを測定するようにしてもよい。
【産業上の利用可能性】
【００４５】
本発明のＨＭＴ装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度を検出するものとして、利用される。
【図面の簡単な説明】
【００４６】
【図１】本発明の一実施形態であるＨＭＴ装置の概略構成を示す図である。
【図２】図１に示す頭部装着型表示装置付ヘルメット及び基準マーカー部の平面図である。
【図３】光学検出座標系の設定を説明するための図である。
【図４】ＨＭＴ装置が移動体頭部情報を算出する際に実行する演算処理の流れを説明する図である。
【図５】ＨＭＴ装置による測定動作について説明するためのフローチャートである。
【図６】従来のＨＭＴ装置の概略構成を示す図である。
【符号の説明】
【００４７】
１、５１ ヘッドモーショントラッカ装置
２、５２ カメラ装置
３、６３ パイロット
５、７ ＬＥＤ群
２２ 光学検出頭部情報算出部
２３ 移動情報算出部
２６ 移動体頭部情報補正部
３０、８０ 飛行体
４２ 基準初期情報記憶部
Ｐ ヘルメット基準点
Ｍ ヘルメット基準方向
【特許請求の範囲】
【請求項１】
搭乗者の頭部に配置される頭部マーカー群と、
前記搭乗者が搭乗する移動体の一の位置に取り付けられるとともに、前記頭部マーカー群からの光線を立体視で検出するカメラ装置と、
検出された光線に基づいて、前記カメラ装置に対する搭乗者の頭部位置及び頭部角度を含む光学検出頭部情報を算出する光学検出頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、
前記移動体の一の位置と異なる位置に取り付けられる基準マーカーと、
前記移動体が静止状態であるときに、前記基準マーカーから検出された光線に基づいて、前記カメラ装置に対する基準マーカーの初期位置を含む基準初期情報を算出する基準初期情報算出部と、
算出された基準初期情報を記憶する基準初期情報記憶部と、
前記移動体が移動状態であるときに、前記基準マーカーから検出された光線に基づいて、前記カメラ装置に対する基準マーカーの現在位置を含む基準現在位置情報を算出するとともに、算出した基準現在位置情報と前記基準初期情報とに基づいて、前記カメラ装置に対する基準マーカーの移動量を含む移動情報を算出する移動情報算出部と、
移動情報に基づいて、前記光学検出頭部情報を補正する頭部情報補正部とを備えることを特徴とするヘッドモーショントラッカ装置。
【請求項２】
前記基準マーカーは２個以上であることを特徴とする請求項１に記載のヘッドモーショントラッカ装置。
【請求項３】
前記基準マーカーは、３個以上であることを特徴とする請求項２に記載のヘッドモーショントラッカ装置。
【請求項１】
搭乗者の頭部に配置される頭部マーカー群と、
前記搭乗者が搭乗する移動体の一の位置に取り付けられるとともに、前記頭部マーカー群からの光線を立体視で検出するカメラ装置と、
検出された光線に基づいて、前記カメラ装置に対する搭乗者の頭部位置及び頭部角度を含む光学検出頭部情報を算出する光学検出頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、
前記移動体の一の位置と異なる位置に取り付けられる基準マーカーと、
前記移動体が静止状態であるときに、前記基準マーカーから検出された光線に基づいて、前記カメラ装置に対する基準マーカーの初期位置を含む基準初期情報を算出する基準初期情報算出部と、
算出された基準初期情報を記憶する基準初期情報記憶部と、
前記移動体が移動状態であるときに、前記基準マーカーから検出された光線に基づいて、前記カメラ装置に対する基準マーカーの現在位置を含む基準現在位置情報を算出するとともに、算出した基準現在位置情報と前記基準初期情報とに基づいて、前記カメラ装置に対する基準マーカーの移動量を含む移動情報を算出する移動情報算出部と、
移動情報に基づいて、前記光学検出頭部情報を補正する頭部情報補正部とを備えることを特徴とするヘッドモーショントラッカ装置。
【請求項２】
前記基準マーカーは２個以上であることを特徴とする請求項１に記載のヘッドモーショントラッカ装置。
【請求項３】
前記基準マーカーは、３個以上であることを特徴とする請求項２に記載のヘッドモーショントラッカ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−２７３６３（Ｐ２００８−２７３６３Ａ）
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願番号】特願２００６−２０２１７４（Ｐ２００６−２０２１７４）
【出願日】平成１８年７月２５日（２００６．７．２５）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願日】平成１８年７月２５日（２００６．７．２５）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
[ Back to top ]