説明

ヘッドモーショントラッカ装置

【課題】 光学検出手段に対して外乱光の位置が変動するときにも、光学マーカーの位置を精度よく測定することにより、移動体に対する搭乗者の頭部の位置及び角度を精度よく算出することができるヘッドモーショントラッカ装置の提供。
【解決手段】 光学マーカー7に点灯と消灯とを繰り返させる光学マーカー駆動部28と、移動体センサ4から検出された角速度及び/又は加速度に基づいて、外乱光に対する移動体30の移動角度量を含む絶対移動体情報を算出する絶対移動体情報算出部24と、光学検出手段2に対する外乱光の移動位置量を算出することにより、光線の点灯データから外乱光の位置を補正した光線の補正点灯データを作成するとともに、光線の消灯データから外乱光の位置を補正した光線の補正消灯データを作成して差分することで、光学マーカー7のみからの光線の差分データを生成する差分生成部23とを備えることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光線を出射する光学マーカーの位置を検出する機能を備えるヘッドモーショントラッカ(HMT)装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの位置及び角度を検出するHMT装置等に利用される。
【背景技術】
【0002】
時々刻々と変動する物体の位置や角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ(VR)を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの位置や角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの位置や角度を測定するために、HMT装置が利用されている。
【0003】
また、救難飛行艇による救難活動において、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体の緯度、経度、高度、姿勢に加えて、飛行体に設定された相対座標系に対するパイロットの頭部角度及び頭部位置を測定している。このときに、HMT装置が利用されている。
【0004】
頭部装着型表示装置付ヘルメットに利用されるHMT装置としては、光学的に頭部装着型表示装置付ヘルメットの位置や角度を測定するものが開示されている(例えば、特許文献1参照)。具体的には、光学マーカーとして、複数の反射板を頭部装着型表示装置付ヘルメットの外周上に取り付けるとともに、光源と2台のカメラ装置とを設置場所に固定することにより、光源から光を照射したときの反射板からの反射光を2台のカメラ装置でモニタするものである。また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のHMT装置もある(例えば、特許文献2参照)。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカーとして、発光体であるLED(発光ダイオード)を互いに離隔するようにして3箇所に取り付け、これら3つのLEDの位置関係をHMT装置に予め記憶させておく。そして、これら3つのLEDを、立体視が可能でかつ設置場所が固定された2台のカメラ装置で同時に撮影することで、所謂、三角測量の原理により、現在の3つのLEDの位置関係を測定している。これにより、2台のカメラ装置に対する頭部装着型表示装置付ヘルメットの位置や角度を特定している。
【特許文献1】特表平9−506194号公報
【特許文献2】特願2005−106418号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上述したような光学方式のHMT装置では、3つのLEDを常に点灯させたままの状態で光線を検出しているため、太陽光等の外乱光がない場所で光線を検出するときには問題なかったが、外乱光がある場所で光線を検出するときには、外乱光をLEDと誤認識したり、LEDからの光量が低下したりすることが原因で、3つのLEDの位置を精度よく測定することができないことがあった。
そこで、本出願人は、3つのLEDに点灯と消灯とを繰り返させることで、3つのLEDの点灯時に検出された光線の点灯データと、3つのLEDの消灯時に検出された光線の消灯データとを差分することにより、3つのLEDのみから出射されることになる光線の差分データを生成することができるHMT装置を出願した。これにより、差分データでは外乱光が除去されているので、外乱光をLEDと誤認識したりすることなく、3つのLEDの位置を精度よく測定することができた。
【0006】
しかし、航空機(例えば、救難飛行艇等)や船舶や車両等の移動体で、差分データを生成することができる光学方式のHMT装置を使用する場合には、移動体が姿勢変化するような移動を行うことにより、移動体に取り付けられた2台のカメラ装置に対する外乱光(特に、太陽光)の位置が変動することがあった。このため、3つのLEDの点灯時に検出された光線の点灯データと、3つのLEDの消灯時に検出された光線の消灯データとを差分する差分データにおいて、完全に外乱光を除去しきれないことがあり、その結果、除去しきれなかった外乱光をLEDと誤認識したりすることが原因で、3つのLEDの位置を測定することができない場合があった。
そこで、本発明は、移動体に取り付けられた光学検出手段に対して外乱光の位置が変化するときにも、外乱光の影響を受けることなく光学マーカーの位置を正確に測定することにより、移動体に対する搭乗者の頭部の位置及び角度を精度よく算出することができるヘッドモーショントラッカ装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するためになされた本発明のHMT装置は、搭乗者の頭部に装着されるともに、光線を出射する光学マーカーと、前記搭乗者が搭乗する移動体に取り付けられるとともに、前記光学マーカーからの光線を検出する立体視可能な光学検出手段と、検出された光線に基づいて、前記移動体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する相対頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、前記光学マーカーに点灯と消灯とを繰り返させる光学マーカー駆動部と、前記移動体に取り付けられるとともに、前記移動体に作用する角速度及び/又は加速度を検出する移動体センサと、前記移動体センサから検出された角速度及び/又は加速度に基づいて、外乱光に対する移動体の移動角度量を含む絶対移動体情報を算出する絶対移動体情報算出部と、前記絶対移動体情報に基づいて、前記光学検出手段に対する外乱光の移動位置量を算出することにより、前記光学マーカーの点灯時に検出された光線の点灯データから外乱光の位置を補正した光線の補正点灯データを作成するとともに、前記光学マーカーの消灯時に検出された光線の消灯データから外乱光の位置を補正した光線の補正消灯データを作成して、当該補正点灯データ及び補正消灯データを用いて、前記光学マーカーのみからの光線の差分データを生成する差分生成部とを備え、前記相対頭部情報算出部は、前記差分データに基づいて相対頭部情報を算出するようにしている。
【0008】
ここで、「移動体センサ」とは、移動体センサ自体に3軸が定義されて、この3軸を基準とする角速度や3軸方向の加速度を検出できるもののことをいい、具体的には、ジャイロセンサや、加速度センサ等が挙げられる。
また、「外乱光」としては、例えば、太陽光や、太陽光の反射光等が挙げられる。
本発明のHMT装置によれば、まず、立体視が可能でかつ移動体に固定された光学検出手段により、光学マーカーの消灯時に光線を検出する。このとき、光学マーカーが消灯されているので、検出された光線が外乱光によるものであると判定することで、現在の移動体と外乱光との位置関係を算出する。
その後、絶対移動体情報算出部が、移動体センサにより検出された角速度及び/又は加速度により、外乱光に対する移動体の移動角度量を含む絶対移動体情報を算出する。これにより、移動体に固定された光学検出手段で検出される外乱光による光線の移動位置量が算出される。
一方、光学マーカー駆動部は、光学マーカーに点灯と消灯とを繰り返させることで、光学マーカーの点灯時に検出された光線の点灯データと、光学マーカーの消灯時に検出された光線の消灯データとを交互に順に得ていく。このとき、点灯データと消灯データとには、外乱光等による光線も含まれており、移動体が姿勢変化するような移動を行うことにより、外乱光等による光線の位置は変化している。
よって、差分生成部は、光学検出手段で検出される外乱光による光線の移動位置量を用いて、光学マーカーの点灯時に検出された光線の点灯データから外乱光の位置を補正した光線の補正点灯データを作成するとともに、光学マーカーの消灯時に検出された光線の消灯データから外乱光の位置を補正した光線の補正消灯データを作成する。これにより、補正点灯データと消灯データとを差分したり、点灯データと補正消灯データとを差分したりすることで、光学マーカーのみから出射されることになる光線の差分データを生成する。
最後に、相対頭部情報算出部は、差分生成部により生成された差分データに基づいて、光学マーカーの位置を測定することにより、移動体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する。
【発明の効果】
【0009】
以上のように、本発明のHMT装置によれば、移動体に取り付けられた光学検出手段に対して外乱光の位置が変動しても、外乱光の位置を補正することにより、差分データから外乱光が完全に除去されるので、外乱光を光学マーカーと誤認識したりせずに、光学マーカーの位置を精度よく測定することができる。
【0010】
(他の課題を解決するための手段および効果)
また、上記の発明において、前記光学マーカーは、3個以上のLEDであり、かつ、前記光学検出手段は、2台以上のカメラ装置であるようにしてもよい。
また、上記の発明において、前記外乱光は、太陽光であるようにしてもよい。
【発明を実施するための最良の形態】
【0011】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【0012】
図1は、本発明の一実施形態であるHMT装置の概略構成を示す図であり、図2は、図1に示す頭部装着型表示装置付ヘルメットの平面図である。本実施形態のHMT装置1は、飛行体(移動体)に対するパイロット(搭乗者)3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を含む相対頭部情報を算出するものである。つまり、飛行体に設定された相対座標系(XYZ座標系)に対する、パイロット3が着用する頭部装着型表示装置付ヘルメット10に設定されたヘルメット座標系(X’Y’Z’座標系)の位置及び角度を算出する。なお、相対座標系(XYZ座標系)は、後述するカメラ装置(光学検出手段)2を基準として設定されたものであり、メモリ41の相対座標記憶部43に記憶され、一方、ヘルメット座標系(X’Y’Z’座標系)は、後述するLED群7を基準として設定されたものであり、メモリ41の点灯データ記憶部44に記憶されている。
【0013】
HMT装置1は、パイロット3の頭部に装着される頭部装着型表示装置付ヘルメット10と、搭乗体30の天井に取り付けられたカメラ装置2と、搭乗体30に取り付けられた3軸ジャイロセンサ(移動体センサ)4と、コンピュータにより構成される制御部20とから構成される。
搭乗体30は、パイロット3が搭乗する飛行体のコックピットであり、パイロット3が着席する座席30aを備える。そして、パイロット3が搭乗する搭乗体30には、太陽光(外乱光)が入ってくることもある。なお、本実施形態は、この太陽光(外乱光)の影響を除去するものである。
頭部装着型表示装置付ヘルメット10は、表示器(図示せず)と、表示器から出射される画像表示光を反射することにより、パイロット3の目に導くコンバイナ8と、LED群(光学マーカー)7とを有する。なお、頭部装着型表示装置付ヘルメット10を装着したパイロット3は、表示器による表示映像とコンバイナ8の前方実在物とを視認することが可能となっている。
【0014】
LED群7は、図2に示すように、互いに異なる波長の赤外光を発光する3個(あるいは3個以上の数)のLED7a、7b、7cが互いに離隔するようにして、頭部装着型表示装置付ヘルメット10の外周上に取り付けられたものである。
ここで、ヘルメット座標系(X’Y’Z’座標系)は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図2に示すように、原点をLED7aの位置とし、前方方向をX’軸方向とし、前方方向に垂直方向をY’軸方向とし、X’軸方向及びY’軸方向に垂直方向をZ’軸方向とするように定義するように、後述する点灯データ記憶部44に設定されている。また、ヘルメット座標系(X’Y’Z’座標系)上での3個のLED7a、7b、7cの位置関係(初期データ)も、点灯データ記憶部44に記憶されている。これにより、後述する三角測量の手法で、現時点における3個のLED7a、7b、7cの位置を算出し、初期データを参照することで、頭部装着型表示装置ヘルメット10の現在位置及び現在角度が、ヘルメット座標系(X’Y’Z’座標系)を用いて表現されるようになっている。
【0015】
カメラ装置2は、第一カメラ装置2aと第二カメラ装置2bとからなる。第一カメラ装置2aと第二カメラ装置2bとは、撮影方向が異なりかつ頭部装着型表示装置付ヘルメット10に向けられているとともに、頭部装着型表示装置付ヘルメット10の立体視が可能な一定の距離(d1)を隔てるように、搭乗体30の天井に固定軸を介して設置されている。
これにより、図3に示すように、LED7aのカメラ装置2に対する位置は、第一カメラ装置2aと第二カメラ装置2bとに撮影された点灯データ(画像データ)中に映し出されているLED7aの位置を抽出し、さらに第一カメラ装置2aからの方向角度(α)と第二カメラ装置2bからの方向角度(β)とを抽出し、第一カメラ装置2aと第二カメラ装置2bとの間の距離(d1)を用いることにより、三角測量の手法で算出することができるようになる。他の光学マーカーであるLED7b、7cのカメラ装置2に対する位置についても、同様に算出される。
このときの各LED7a、7b、7cの位置を、空間座標で表現することができるようにするために、カメラ装置2に固定され、カメラ装置2とともに移動する座標系である相対座標系(XYZ座標系)を用いる。なお、相対座標系(XYZ座標系)の具体的な原点位置やXYZ軸方向の説明については後述する。相対座標系(XYZ座標系)におけるLED7a、7b、7cの位置座標は、(Xa、Ya、Za)、(Xb、Yb、Zb)、(Xc、Yc、Zc)として表現できる。これにより、カメラ装置2に対する3つのLED7a、7b、7cの位置座標(Xa、Ya、Za)、(Xb、Yb、Zb)、(Xc、Yc、Zc)が特定されるので、LED7a、7b、7cが位置決めされて取り付けられている頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)及び角度(Θh、Φh、Ψh)は、相対座標系(XYZ座標系)に対する、ヘルメット座標系(X’Y’Z’座標系)の位置及び角度を用いて表現できるようになる。なお、角度(Θ)は、ロール方向(X軸に対する回転)の角度であり、角度(Φ)は、エレベーション方向(Y軸に対する回転)の角度であり、角度(Ψ)は、アジマス方向(Z軸に対する回転)の角度である。また、頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)は、ヘルメット座標系(X’Y’Z’座標系)の原点であるLED7aの現在の位置座標(Xa、Ya、Za)で表現することとする。
【0016】
3軸ジャイロセンサ4は、搭乗体30の角速度(Vθs、Vφs、Vψs)を検出するものである。なお、3軸ジャイロセンサ自体に座標系が定められるが、相対座標系(XYZ座標系)と正確に軸合わせされて取り付けられている。よって、ロール方向(X軸に対する回転)、エレベーション方向(Y軸に対する回転)、アジマス方向(Z軸に対する回転)における移動である角速度(Vθs、Vφs、Vψs)が検出される。また、軸合わせされずに取り付けられている場合は、座標変換行列を求めておくことで、相対座標系(XYZ座標系)と関連付けを行うことになる。
【0017】
制御部20は、CPU21、メモリ41等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。CPU21が実行する処理を、機能ブロックごとに分けて説明すると、光学マーカー駆動部28と、相対頭部情報算出部22と、絶対移動体情報算出部24と、差分生成部23と、映像表示部25とを有する。
また、メモリ41には、制御部20が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、相対座標系(XYZ座標系)を記憶する相対座標記憶部43と、時間記憶部42と、補正点灯データ(画像データ)と点灯データ(画像データ)とを記憶する点灯データ記憶部44と、補正消灯データ(画像データ)と消灯データ(画像データ)とを記憶する消灯データ記憶部45とを有する。
なお、図4は、HMT装置1が実行する流れを説明するためのタイムチャートであり、図5は、第一カメラ装置2aが検出する画像データを処理する流れを説明するための図である。
【0018】
ここで、相対座標系(XYZ座標系)は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図3に示すように、第二カメラ装置2bから第一カメラ装置2aへの方向をX軸方向とし、X軸方向に垂直かつ天井に垂直で下向き方向をZ軸方向とし、X軸方向に垂直かつ天井に水平で右向き方向をY軸方向とするように定義し、原点を第一カメラ装置2aと第二カメラ装置2bとの中点として定義するように相対座標記憶部43に設定されている。
また、点灯データ記憶部44は、上述したように、ヘルメット座標系(X’Y’Z’座標系)を記憶し、さらに、X’Y’Z’座標系上での3個のLED7a、7b、7cの位置関係(初期データ)も記憶している。
また、時間記憶部44は、カメラ装置2で光線が検出されるとともに、3軸ジャイロセンサ4で角速度(Vθs、Vφs、Vψs)が検出される毎に更新される時間tを記憶する。
【0019】
光学マーカー駆動部28は、LED群7に点灯と消灯とを繰り返させる指令信号を出力するとともに、第一カメラ装置2a及び第二カメラ装置2bでLED群7の点灯時に検出された光線の点灯データ(画像データ)と、LED群7の消灯時に検出された光線の消灯データ(画像データ)とを検出させる制御を行うものである。
具体的には、図4に示すように、点灯時間幅と消灯時間幅とが同じ時間幅となるように、LED群7に点灯と消灯とを所定の周期で繰り返させるとともに、第一カメラ装置2a及び第二カメラ装置2bで光線を所定の周期の半分の周期tで検出させる。これにより、例えば、図5に示すように、第一カメラ装置2aで、画像データとして消灯データ#1a、点灯データ#2a、消灯データ#3a、点灯データ#4a・・・が順に検出される。また、第二カメラ装置2bでも同様に、画像データとして消灯データ#1b、点灯データ#2b、消灯データ#3b、点灯データ#4b・・・が順に検出される。このとき、消灯データ#1aと消灯データ#1b、点灯データ#2aと点灯データ#2b、消灯データ#3aと消灯データ#3b、点灯データ#4bと点灯データ#4b・・・は、それぞれ同時に検出される。
なお、点灯データには、LED群7から出射された光線と外乱光とが含まれることになる。一方、消灯データには、外乱光のみが含まれることになる。
よって、消灯データには外乱光のみが含まれるので、本実施形態では、検出された光線が外乱光によるものであると判断する。その後、飛行体が姿勢変化するような移動を行ったときに、飛行体に対するこの外乱光の位置関係が変動することになるので、この外乱光の影響を除去するために、変動していく飛行体に対する外乱光の位置関係を算出していくことになる。
【0020】
絶対移動体情報算出部24は、角速度(Vθs、Vφs、Vψs)に基づいて、外乱光に対する飛行体の移動角度量(ΔΘs、ΔΦs、ΔΨs)を含む絶対移動体情報を算出する制御を行うものである。
具体的には、時間tから時間t+1までの角速度(Vθs、Vφs、Vψs)を積分演算することにより、時間tの飛行体の角度からの移動角度量(ΔΘs、ΔΦs、ΔΨs)を算出していく。すなわち、カメラ装置2により消灯データが検出された時間から点灯データが検出された時間までの飛行体の移動角度量(ΔΘs、ΔΦs、ΔΨs)が算出されていく。
このように飛行体の移動角度量(ΔΘs、ΔΦs、ΔΨs)が算出されれば、飛行体が時間tの角度であったときに、飛行体に対してある角度にあった外乱光の光源は、飛行体に対してはある角度から移動角度量(−ΔΘs、−ΔΦs、−ΔΨs)で変動していることがわかることになる。つまり、カメラ装置2で検出される画像データ上での外乱光による光線の移動位置量(ΔX’’、ΔY’’)を算出することができるようになる。
【0021】
差分生成部23は、移動角度量(ΔΘs、ΔΦs、ΔΨs)を含む絶対移動体情報に基づいてカメラ装置2で検出される画像データ上での外乱光の移動位置量(ΔX’’、ΔY’’)を算出することにより、LED群7の点灯時に検出された光線の点灯データ(画像データ)から外乱光の位置を補正した光線の補正点灯データを作成するとともに、LED群7の消灯時に検出された光線の消灯データ(画像データ)から外乱光の位置を補正した光線の補正消灯データを作成して、補正点灯データと補正消灯データとを用いて、LED群7のみからの光線の差分データを生成する制御を行うものである。
例えば、図5に示すように光学マーカー駆動部28により第一カメラ装置2aで、画像データとして消灯データ#1a、点灯データ#2a、消灯データ#3a、点灯データ#4a・・・が順に検出されていく。一方、絶対移動体情報算出部24により画像データ間で飛行体が移動した移動角度量(ΔΘs、ΔΦs、ΔΨs)が順次算出されていく。
そこで、差分生成部23は、まず、消灯データ#1aが検出された時間t1から点灯データ#2aが検出された時間t2までの移動角度量(ΔΘs、ΔΦs、ΔΨs)を用いて、飛行体に対する外乱光の光源の移動角度量(−ΔΘs、−ΔΦs、−ΔΨs)を算出する。さらに、第一カメラ装置2aで検出される点灯データ#2a上での外乱光による光線の移動位置量(ΔX’’、ΔY’’)を算出する。これにより、点灯データ#2aにおいて、外乱光の位置(X’’、Y’’)を(X’’−ΔX’’、Y’’−ΔY’’)と補正した光線の補正点灯データ#2a’を作成する。そして、補正点灯データ#2a’から消灯データ#1aを引くことにより、LED群7のみから出射される光線の第一差分データ(#2a’−#1a)を生成する。
【0022】
次に、差分生成部23は、点灯データ#2aが検出された時間t2から消灯データ#3aが検出された時間t3までの移動角度量(ΔΘs、ΔΦs、ΔΨs)を用いて、飛行体に対する外乱光の光源の移動角度量(−ΔΘs、−ΔΦs、−ΔΨs)を算出する。さらに、第一カメラ装置2aで検出される消灯データ#3a上での外乱光による光線の移動位置量(ΔX’’、ΔY’’)を算出する。これにより、消灯データ#3aにおいて、外乱光の位置(X’’、Y’’)を(X’’−ΔX’’、Y’’−ΔY’’)と補正した光線の補正消灯データ#3a’を作成する。そして、補正消灯データ#3a’から点灯データ#2aを引くことにより、LED群7のみから出射される光線の第一差分データ(#2a−#3a’)を生成する。
このような作業を繰り返すことにより、第一差分データを順次生成していく。また、第二カメラ装置2bでも同様に、LED群7のみから出射される光線の第二差分データを生成する。このとき、第一差分データ及び第二差分データでは、外乱光が完全に除去されているので、LED群7の位置を精度よく測定することができるようになる。
なお、補正点灯データと点灯データとは、点灯データ記憶部44に記憶されるとともに、補正消灯データと消灯データとは、消灯データ記憶部45に記憶される。
【0023】
相対頭部情報算出部22は、差分データ(第一差分データ及び第二差分データ)に基づいて、カメラ装置2(相対座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を含む相対頭部情報を算出する制御を行うものである。
具体的には、LED7aのカメラ装置2に対する位置は、第一カメラ装置2aと第二カメラ装置2bとに撮影された第一差分データと第二差分データ中に映し出されているLED7aの位置を抽出し、さらに第一カメラ装置2aからの方向角度(α)と第二カメラ装置2bからの方向角度(β)とを抽出し、第一カメラ装置2aと第二カメラ装置2bとの間の距離(d1)を用いることにより、三角測量の手法で算出する。LED7b、7cのカメラ装置2に対する位置についても、同様に算出する。このとき、差分データ(第一差分データ及び第二差分データ)から外乱光が完全に除去されるので、外乱光をLEDと誤認識したりせずに、LED群7の位置を精度よく測定することができる。
そして、算出されたLED群7と、点灯データ記憶部44に記憶されている初期データとを比較することにより、カメラ装置2(相対座標系)に対する、LED群7が固定された頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)及び角度(Θh、Φh、Ψh)を算出する。
映像表示部25は、パイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を含む相対頭部情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット3は、表示器による表示映像を視認することになる。
【0024】
次に、HMT装置1により、相対座標系(XYZ座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を測定する測定動作について説明する。図6及び図7は、HMT装置1による測定動作について説明するためのフローチャートである。
まず、ステップS101の処理において、時間tに+1と更新するように、t=t+1と時間記憶部42に記憶させる。
次に、ステップS102の処理において、光学マーカー駆動部28が、LED群7に消灯させる指令信号を出力することにより、LED群7が消灯する。
【0025】
次に、ステップS103の処理において、光学マーカー駆動部28は、第一カメラ装置2a及び第二カメラ装置2bで消灯データ(画像データ)を検出させ、t=t+1の消灯データを消灯データ記憶部45に記憶させる(図5中、#1a及び#3a参照)。このとき、消灯データには、外乱光のみが含まれる。なお、t=0の消灯データを検出したときに、検出された光線が外乱光によるものであると判定する。
また、ステップS103の処理を実行すると同時に、ステップS104の処理において、3軸ジャイロセンサ4は、時間tから時間t+1までの搭乗体30の角速度(Vθs、Vφs、Vψs)を検出する。
次に、ステップS105の処理において、絶対移動体情報算出部24は、時間tから時間t+1までの角速度(Vθp、Vφp、Vψp)に基づいて、外乱光に対する飛行体の時間tから時間t+1までの移動角度量(ΔΘs、ΔΦs、ΔΨs)を含む絶対移動体情報を算出する。
【0026】
次に、ステップS106の処理において、差分生成部23は、移動角度量(ΔΘs、ΔΦs、ΔΨs)を用いて、t=t+1の消灯データから外乱光の位置を補正したt=t+1の補正消灯データを作成して、t=t+1の補正消灯データを消灯データ記憶部45に記憶させる(図5中、#3a’参照)。
次に、ステップS107の処理において、t=tの点灯データが記憶されているか否かを判定する。t=tの点灯データが記憶されていないと判定されたときには、ステップS110の処理に進む。
一方、t=tの点灯データが記憶されていると判定されたときには、ステップS108の処理において、差分生成部23は、t=t+1の補正消灯データとt=tの点灯データとを差分することにより、差分データ(第一差分データ及び第二差分データ)を生成する。このとき、t=tの点灯データからt=t+1の補正消灯データを引くことにより、LED群7のみから出射される光線の差分データを生成することになる(図5中、#2a−#3a’参照)。
【0027】
次に、ステップS109の処理において、相対頭部情報算出部22は、差分データ(第一差分データ及び第二差分データ)に基づいて、第一カメラ装置2a及び第二カメラ装置2b(相対座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を算出する。
次に、ステップS110の処理において、時間tに+1と更新するように、t=t+1と時間記憶部42に記憶させる。
次に、ステップS111の処理において、光学マーカー駆動部28が、LED群7に点灯させる指令信号を出力することにより、LED群7が点灯する。
【0028】
次に、ステップS112の処理において、光学マーカー駆動部28は、第一カメラ装置2a及び第二カメラ装置2bで点灯データ(画像データ)を同時に検出させ、t=t+1の点灯データを点灯データ記憶部44に記憶させる。このとき、点灯データには、LED群7から出射された光線と外乱光とが含まれる(図5中、#2a及び#4a参照)。
また、ステップS112の処理を実行すると同時に、ステップS113の処理において、3軸ジャイロセンサ4は、時間tから時間t+1までの搭乗体30の角速度(Vθs、Vφs、Vψs)を検出する。
次に、ステップS114の処理において、絶対移動体情報算出部24は、角速度(Vθs、Vφs、Vψs)に基づいて、外乱光に対する飛行体の時間tから時間t+1までの移動角度量(ΔΘs、ΔΦs、ΔΨs)を含む絶対移動体情報を算出する。
【0029】
次に、ステップS115の処理において、差分生成部23は、移動角度量(ΔΘs、ΔΦs、ΔΨs)を用いて、t=t+1の点灯データから外乱光の位置を補正したt=t+1の補正点灯データを作成して、t=t+1の補正点灯データを点灯データ記憶部44に記憶させる(図5中、#2a’及び#4a’参照)。
次に、ステップS116の処理において、t=tの消灯データが記憶されているか否かを判定する。t=tの消灯データが記憶されていないと判定されたときには、ステップS119の処理に進む。
一方、t=tの消灯データが記憶されていると判定されたときには、ステップS117の処理において、差分生成部23は、t=t+1の補正点灯データとt=tの消灯データとを差分することにより、差分データ(第一差分データ及び第二差分データ)を生成する。このとき、t=t+1の補正点灯データからt=tの消灯データを引くことにより、LED群7のみから出射される光線の差分データを生成することになる(図5中、#2a’−#1a及び#4a’−#3a参照)。
【0030】
次に、ステップS118の処理において、相対頭部情報算出部22は、差分データ(第一差分データ及び第二差分データ)に基づいて、第一カメラ装置2a及び第二カメラ装置2b(相対座標系)に対するパイロット3の頭部位置(Xh、Yh、Zh)及び頭部角度(Θh、Φh、Ψh)を算出する。
次に、ステップS119の処理において、搭乗体30が飛行しているか否かを判定する。搭乗体30が飛行していると判定されたときには、ステップS101の処理に戻る。つまり、搭乗体30が飛行していていないと判定されるときまで、ステップS101〜ステップS118の処理は繰り返される。
一方、搭乗体30が飛行していると判定されたときには、本フローチャートを終了させる。
【0031】
以上のように、HMT装置1によれば、搭乗体30に取り付けられたカメラ装置2に対して外乱光の位置が変動しても、外乱光の位置を補正することにより、差分データから外乱光が完全に除去されるので、外乱光をLEDと誤認識したりせずに、LED群7の位置を精度よく測定することができる。
【0032】
(他の実施形態)
(1)上述したHMT装置1では、3軸ジャイロセンサ4を備える構成としたが、3軸ジャイロセンサ4に変えて加速度センサを備えるような構成としてもよい。なお、加速度センサでは、3軸ジャイロセンサのように角速度ではなく加速度が検出されるが、一般的な計算方法を用いて飛行体の加速度から飛行体の移動角度量を算出することになる。
【産業上の利用可能性】
【0033】
本発明のHMT装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの位置及び角度を測定するものとして利用される。
【図面の簡単な説明】
【0034】
【図1】本発明の一実施形態であるHMT装置の概略構成を示す図である。
【図2】図1に示す頭部装着型表示装置付ヘルメットの平面図である。
【図3】相対座標系の設定を説明するための図である。
【図4】HMT装置が実行する流れを説明するためのタイムチャートである。
【図5】第一カメラ装置が検出する画像データを処理する流れを説明するための図である。
【図6】HMT装置による測定動作について説明するためのフローチャートである。
【図7】HMT装置による測定動作について説明するためのフローチャートである。
【符号の説明】
【0035】
1 ヘッドモーショントラッカ装置
2 カメラ装置(光学検出手段)
3 パイロット(搭乗者)
4 3軸ジャイロセンサ(移動体センサ)
7 LED群(光学マーカー)
22 相対頭部情報算出部
23 差分生成部
24 絶対移動体情報算出部
28 光学マーカー駆動部
30 搭乗体

【特許請求の範囲】
【請求項1】
搭乗者の頭部に装着されるともに、光線を出射する光学マーカーと、
前記搭乗者が搭乗する移動体に取り付けられるとともに、前記光学マーカーからの光線を検出する立体視可能な光学検出手段と、
検出された光線に基づいて、前記移動体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する相対頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、
前記光学マーカーに点灯と消灯とを繰り返させる光学マーカー駆動部と、
前記移動体に取り付けられるとともに、前記移動体に作用する角速度及び/又は加速度を検出する移動体センサと、
前記移動体センサから検出された角速度及び/又は加速度に基づいて、外乱光に対する移動体の移動角度量を含む絶対移動体情報を算出する絶対移動体情報算出部と、
前記絶対移動体情報に基づいて、前記光学検出手段に対する外乱光の移動位置量を算出することにより、前記光学マーカーの点灯時に検出された光線の点灯データから外乱光の位置を補正した光線の補正点灯データを作成するとともに、前記光学マーカーの消灯時に検出された光線の消灯データから外乱光の位置を補正した光線の補正消灯データを作成して、当該補正点灯データ及び補正消灯データを用いて、前記光学マーカーのみからの光線の差分データを生成する差分生成部とを備え、
前記相対頭部情報算出部は、前記差分データに基づいて相対頭部情報を算出することを特徴とするヘッドモーショントラッカ装置。
【請求項2】
前記光学マーカーは、3個以上のLEDであり、かつ、
前記光学検出手段は、2台以上のカメラ装置であることを特徴とする請求項1に記載のヘッドモーショントラッカ装置。
【請求項3】
前記外乱光は、太陽光であることを特徴とする請求項1又は2に記載のヘッドモーショントラッカ装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2009−41919(P2009−41919A)
【公開日】平成21年2月26日(2009.2.26)
【国際特許分類】
【出願番号】特願2007−203997(P2007−203997)
【出願日】平成19年8月6日(2007.8.6)
【出願人】(000001993)株式会社島津製作所 (3,708)
【Fターム(参考)】