ヘッドモーショントラッカ装置
【課題】 測定を行う前に飛行体等を長時間拘束することもなく、測定を行う際には操縦室内部に対する搭乗者の頭部の現在位置や現在角度を広範囲で算出することができるヘッドモーショントラッカ装置を提供する。
【解決手段】 搭乗者Ｐの頭部に装着される装着体６と、画像データを取得するカメラ装置２と、画像データに基づいて、搭乗者Ｐが搭乗する操縦室内部３０に対する搭乗者Ｐの頭部の現在位置及び／又は現在角度である頭部情報を算出する制御部２０とを備えるヘッドモーショントラッカ装置１であって、操縦室内部３０の周囲環境情報を記憶するための記憶部４０を備え、カメラ装置２は、装着体６に取り付けられ、操縦室内部３０を撮影することにより画像データを取得し、制御部２０は、画像データ及び周囲環境情報に基づいて、頭部情報を算出することを特徴とする。
【解決手段】 搭乗者Ｐの頭部に装着される装着体６と、画像データを取得するカメラ装置２と、画像データに基づいて、搭乗者Ｐが搭乗する操縦室内部３０に対する搭乗者Ｐの頭部の現在位置及び／又は現在角度である頭部情報を算出する制御部２０とを備えるヘッドモーショントラッカ装置１であって、操縦室内部３０の周囲環境情報を記憶するための記憶部４０を備え、カメラ装置２は、装着体６に取り付けられ、操縦室内部３０を撮影することにより画像データを取得し、制御部２０は、画像データ及び周囲環境情報に基づいて、頭部情報を算出することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、搭乗者の頭部の現在位置及び／又は現在角度である頭部情報を算出する機能を備えるヘッドモーショントラッカ（ＨＭＴ）装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度を検出するＨＭＴ装置等に利用される。
【背景技術】
【０００２】
時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることで、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ＨＭＴ装置が利用されている。
【０００３】
このようなＨＭＴ装置として、例えば、磁気方式のＨＭＴ装置が挙げられる（例えば、特許文献１参照）。図５は、磁気方式のＨＭＴ装置を用いたシステム構成例である。
ＨＭＴ装置６１は、パイロットＰの頭部に装着される頭部装着型表示装置付ヘルメット６０に取り付けるセンサ６３と、コンピュータにより構成される制御部６４と、ソース６２とから構成される。
操縦室内部３０は、パイロットＰが搭乗する飛行体のコックピットであり、パイロットＰが着席するための座席３０ａと、操縦機器群３０ｂと、窓部３０ｃと、ソース６２とを備える。
ソース６２は、交流磁界を発生するものであり、操縦室内部３０の空間の各点には、それぞれの位置に固有の磁界が生じることになる。
頭部装着型表示装置付ヘルメット６０は、パイロットＰの頭部に装着されるヘルメット（装着体）と、表示器と、表示器から出射される画像表示光を反射することによりパイロットＰの目に導くバイザと、磁気データを検出するセンサ６３とを有する。なお、頭部装着型表示装置付ヘルメット６０を装着したパイロットＰは、表示器による表示映像とバイザの前方外界を視認することが可能となっている。
【０００４】
制御部６４は、ソース６２及びセンサ６３の制御を行うとともに、センサ６３が検出した磁界データに基づいてセンサ６３の現在位置及び現在角度を算出する機能を有する信号処理部６６と、メモリ６５とを備える。また、ソース６２の位置を中心とする操縦室内部３０の座標系（ＸＹＺ座標系）を設定し、センサ６３で検出した磁界データに基づいて、センサ６３の現在位置及び現在角度を求めることで、パイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を算出している。
【０００５】
また、磁気方式のＨＭＴ装置と異なるＨＭＴ装置として、光学方式のＨＭＴ装置もある（例えば、特許文献２参照）。図６は、光学方式のＨＭＴ装置を用いたシステム構成例である。なお、ＨＭＴ装置６１と同様のものについては、同じ符号を付している。
ＨＭＴ装置５１は、パイロットＰの頭部に装着される頭部装着型表示装置付ヘルメット５０に取り付ける発光ダイオード（ＬＥＤ）５７ａ〜５７ｃと、コンピュータにより構成される制御部５４と、カメラ装置５２とから構成される。
操縦室内部３０は、パイロットＰが搭乗する飛行体のコックピットであり、パイロットＰが着席するための座席３０ａと、操縦機器群３０ｂと、窓部３０ｃと、画像データを取得するカメラ装置５２とを備える。
カメラ装置５２は、ＣＣＤカメラ又はＣＭＯＳカメラ等で構成し、第一カメラ５２ａと第二カメラ（図示せず）とからなる。第一カメラ２ａと第二カメラとは、撮影方向が異なるとともに、立体視が可能な一定の距離を隔てるように運転室内部３０に固定されている。また、第一カメラ５２ａの撮影領域γの形状は、図３に示すようなカメラ５２ａを頂点とする円錐となる。第二カメラの撮影領域γの形状も、第一カメラ５２ａの撮影領域γの形状と同様である。
頭部装着型表示装置付ヘルメット５０は、パイロットＰの頭部に装着されるヘルメット（装着体）と、表示器と、表示器から出射される画像表示光を反射することによりパイロットＰの目に導くバイザと、ヘルメットの外周面に取り付けられた３個のＬＥＤ５７ａ〜５７ｃとを有する。
【０００６】
制御部５４は、カメラ装置５２及びＬＥＤ５７ａ〜５７ｃの制御を行うとともに、カメラ装置５２が検出した画像データに基づいてＬＥＤ５７ａ〜５７ｃの現在位置を算出する機能を有する信号処理部５６と、メモリ５５とを備える。また、操縦室内部３０には、座標系（ＸＹＺ座標系）が予め設定されており、カメラ装置５２で検出した画像データに基づいて、カメラ装置５２に対するＬＥＤ５７ａ〜５７ｃの現在位置を求めることで、座標系（ＸＹＺ座標系）に対するパイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を算出している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−０８１９０４号公報
【特許文献２】特願２００７−１５５３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、ＨＭＴ装置６１において、操縦室内部３０ではソース６２やセンサ６３の周辺に、金属等の導電性物質が存在するため、磁界により導電性物質に発生する渦電流による影響で、磁界に磁気歪が生じる。そのため、実際の測定を行う前に操縦室内部３０の磁界データを取得し、補正に用いる必要があり、非常に手間と時間とがかかった。つまり、磁界データ（補正用データ）取得のために、飛行体等を長時間拘束するという問題点があった。
【０００９】
一方、ＨＭＴ装置５１で、測定を行うためには、三角測量の原理を用いるため、第一カメラ５２ａにより撮影される撮影領域γと第二カメラにより撮影される撮影領域γとが重なった撮影領域に、３個のＬＥＤ５７ａ〜５７ｃの全てが存在していなければならなかった。
しかしながら、操縦室内部３０では、第一カメラ５２ａ及び第二カメラを設置することができる位置に制限があり、その結果、第一カメラ５２ａにより撮影される撮影領域γと第二カメラにより撮影される撮影領域γとが重なった撮影領域を広範囲に設定することができず制限されることになっていた。
【００１０】
よって、第一カメラ５２ａにより撮影される撮影領域γと第二カメラにより撮影される撮影領域γとの重なった撮影領域に、３個のＬＥＤ５７ａ〜５７ｃの全てが存在しなくなることがあった。すなわち、第一カメラ５２ａで撮影される画像データ若しくは第二カメラで撮影される画像データ中に３個のＬＥＤ５７ａ〜５７ｃの全てが撮影されていないことがあり、その結果、パイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を算出することができなくなることがあった。
そこで、本発明は、補正用データ取得のために飛行体等を長時間拘束することがなく、操縦室内部に対する搭乗者の頭部の現在位置や現在角度を広範囲で算出することができるヘッドモーショントラッカ装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するためになされた本発明のヘッドモーショントラッカ装置は、搭乗者の頭部に装着される装着体と、画像データを取得するカメラ装置と、前記画像データに基づいて、前記搭乗者が搭乗する操縦室内部に対する搭乗者の頭部の現在位置及び／又は現在角度である頭部情報を算出する制御部とを備えるヘッドモーショントラッカ装置であって、前記操縦室内部の周囲環境情報を記憶するための記憶部を備え、前記カメラ装置は、前記装着体に取り付けられ、前記操縦室内部を撮影することにより画像データを取得し、前記制御部は、前記画像データ及び周囲環境情報に基づいて、前記頭部情報を算出するようにしている。
【００１２】
ここで、「周囲環境情報」とは、操縦室内部にある操縦機器群や窓部等の寸法・形状・色情報や搭載位置情報等のデータのことをいう。このような周囲環境情報は、測定を行う前に、操縦機器群等の各種寸法・色・位置に関する情報や、ＣＡＤデータ等を用いて、記憶部に記憶させることになる。
本発明のＨＭＴ装置によれば、測定を行う前に記憶部に操縦室内部の周囲環境情報を記憶しておくのみで、飛行体等を長時間拘束する必要はない。
一方、カメラ装置は、装着体に取り付けられ、測定を行う際には画像データを取得する。このとき、カメラ装置は、操縦室内部のどこかの周囲環境情報を撮影する。
これにより、制御部は、カメラ装置で取得した画像データと、記憶部に記憶された周囲環境情報とを比較することにより、頭部情報を算出する。
【発明の効果】
【００１３】
以上のように、本発明のＨＭＴ装置によれば、測定を行う前に飛行体等を長時間拘束することもなく、測定を行う際には操縦室内部に対する搭乗者の頭部の現在位置や現在角度を広範囲で算出することができる。
【００１４】
（他の課題を解決するための手段および効果）
また、上記の発明において、前記カメラ装置は、３個以上のカメラであるようにしてもよい。
【００１５】
さらに、上記の発明において、前記周囲環境情報は、前記操縦室内部に位置決めして取り付けられた複数個の光学マーカーであるようにしてもよい。
ここで、「光学マーカー」としては、例えば、発光体（ランプ、ＬＥＤ等）、反射体、蛍光体等が挙げられる。
本発明のＨＭＴ装置によれば、測定を行う前には複数個の光学マーカーが、操縦室内部に位置決めして取り付けられる。このとき、光学マーカーは、小型でありかつ取り付けが容易であるため、設置することができる位置に制限もなく、運転室内部のあらゆる所に取り付けられることになる。そして、記憶部は、複数個の光学マーカーが取り付けられた運転室内部の位置を示す周囲環境情報を記憶することになる。
これにより、制御部は、測定を行う際には、カメラ装置で作成された画像データと、記憶部に記憶された周囲環境情報とを比較することにより、頭部情報を算出する。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態であるＨＭＴ装置を示す概略構成図である。
【図２】図１に示す頭部装着型表示装置付ヘルメットの側面図である。
【図３】図１に示す頭部装着型表示装置付ヘルメットの平面図である。
【図４】本発明の他の一実施形態であるＨＭＴ装置を示す概略構成図である。
【図５】磁気方式のＨＭＴ装置を用いたシステム構成例である。
【図６】光学方式のＨＭＴ装置を用いたシステム構成例である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【００１８】
図１は、本発明の一実施形態であるＨＭＴ装置を示す概略構成図である。また、図２は、図１に示す頭部装着型表示装置付ヘルメットの側面図であり、図３は、図１に示す頭部装着型表示装置付ヘルメットの平面図である。
本実施形態は、操縦室内部３０に対するパイロットＰの頭部の現在位置及び現在角度を算出するものである。つまり、ＨＭＴ装置１は、操縦室内部３０に設定された座標系（ＸＹＺ座標系）に対する、パイロットＰが装着する頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を含む頭部情報を算出するものである。
なお、詳細は後述するが、座標系（ＸＹＺ座標系）とヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、メモリ（記憶部）４０に予め記憶されている。
【００１９】
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０に取り付けるカメラ装置２と、コンピュータにより構成される制御部２０とから構成される。
操縦室内部３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席するための座席３０ａと、操縦機器群３０ｂと、窓部３０ｃ等とを備える。
運転室内部３０には、座標系（ＸＹＺ座標系）が予め設定されており、メモリ４０に予め記憶されている。座標系（ＸＹＺ座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態例では図１に示すように、原点を座席３０ａの位置とし、前方方向をＸ軸方向とし、前方方向に垂直方向をＹ軸方向とし、Ｘ軸方向及びＹ軸方向に垂直方向をＺ軸方向とするように定義するように、メモリ４０の座標系記憶領域４２に予め記憶されている。
【００２０】
さらに、座標系（ＸＹＺ座標系）に対する操縦機器群３０ｂや窓部３０ｃの位置（周囲環境情報）も、座標系記憶領域４２に予め記憶されることになる。ここで、「周囲環境情報」とは、運転室内部３０にある操縦機器群３０ｂや窓部３０ｃ等の寸法・形状・色情報や搭載位置情報等のデータのことをいう。このような周囲環境情報は、測定を行う前に、操縦機器群３０ｂの各種寸法・色・位置に関する情報や、ＣＡＤデータ等を用いて、座標系記憶領域４２に記憶させることになる。つまり、飛行体等を長時間拘束することもなく、周囲環境情報を記憶することができる。
【００２１】
頭部装着型表示装置付ヘルメット１０は、パイロットＰの頭部に装着されるヘルメット６と、表示器７と、表示器７から出射される画像表示光を反射することによりパイロットＰの目に導くバイザ８と、画像データを取得するカメラ装置２とを有する。
カメラ装置２はＣＣＤカメラ又はＣＭＯＳカメラ等で構成し、複数個のカメラ２ａ〜２ｇを有する。複数個のカメラ２ａ〜２ｇは、図２及び図３に示すように、ヘルメット６の外周面の全面にわたって取り付けられている。さらに、複数個のカメラ２ａ〜２ｇは、全周囲の映像を取得可能なよう撮影方向が異なるようにして、ヘルメット６の外周面に取り付けられている。
ところで、カメラ２ａ〜２ｇの撮影領域の形状は、図３に示すようなカメラ２ａ〜２ｇを頂点とする円錐となる。このとき、カメラ２ａ〜２ｇに使用されるレンズにより撮影できる撮影領域の大きさと形状と歪度合いとが定められる。そこで、精度が必要となる方向は視野角を小さくし、そうでない方向は広角レンズを用いて対応する（例：カメラ２ａ〜２ｃ等は視野角αの小さい低歪レンズ、カメラ２ｄ，２ｅ等は視野角βの大きい広角レンズで構成）。そして、後述するが、画像データ取得補正部２８で、各カメラ２ａ〜２ｇで取得した画像データの補正を行う。
これにより、複数個のカメラ２ａ〜２ｇで取得した画像データを結合すれば、操縦室内部３０の全周囲を撮影することができる。
【００２２】
また、頭部装着型表示装置付ヘルメット１０には、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）が予め設定されており、メモリ４０に予め記憶されている。ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をカメラ２ａの位置とし、カメラ２ａの位置からカメラ２ｂの位置への方向をＸ’軸方向とし、Ｘ’軸方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、メモリ４０のヘルメット座標系記憶領域４１に予め記憶されている。
さらに、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）に対する複数個のカメラ２ａ〜２ｇの位置と撮影方向も、ヘルメット座標系記憶領域４１に予め記憶されている。
【００２３】
制御部２０は、信号処理部２１、メモリ４０等からなるコンピュータにより構成され、各種の制御や演算処理を行う。信号処理部２１が実行する処理を、機能ブロックごとに分けて説明すると、画像データを取得し、歪補正する画像データ取得補正部２８と、それらの画像から全周囲画像データを作成する全周囲画像データ生成部２７と、データ比較部２６と、頭部情報を算出する頭部情報算出部２５とを有する。
また、メモリ４０には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）等を記憶するヘルメット座標系記憶領域４１と、座標系（ＸＹＺ座標系）等を記憶する座標系記憶領域４２と、画像データを記憶するための画像データ記憶領域４３とを有する。
【００２４】
画像データ取得補正部２８は、カメラ装置２で作成された画像データを取得して、画像データの光学歪を補正する。
全周囲画像データ生成部２７は、ヘルメット座標系記憶領域４１に記憶されたカメラ２ａ〜２ｇの位置と撮影方向と、光学歪を補正した画像データとに基づいて、全周囲画像データを作成して、画像データ記憶領域４３に記憶させる制御を行う。
【００２５】
データ比較部２６は、画像データ記憶領域４３に記憶された全周囲画像データと、座標系記憶領域４２に記憶された周囲環境情報とに基づいて、座標系（ＸＹＺ座標系）に対してヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）を算出する制御を行う。
頭部情報算出部２５は、座標系（ＸＹＺ座標系）に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）に基づいて、操縦室内部３０に対するパイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を含む頭部情報を算出する制御を行う。
そして、表示制御部２４は、制御部２０から受信したパイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を含む頭部情報に基づいて、表示器７から出射する映像信号の生成・制御を行う。これにより、パイロットＰは、表示器７による表示映像を視認することになる。
【００２６】
以上のように、ＨＭＴ装置１によれば、測定を行う前に飛行体等を長時間拘束することもなく、測定を行う際には操縦室内部３０に対するパイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）や現在角度（Θ、Φ、Ψ）を広範囲で算出することができる。
【００２７】
（他の実施形態）
（１）上述したＨＭＴ装置１では、周囲環境情報に、操縦室内部３０にある操縦機器群３０ｂや窓部３０ｃ等の寸法・形状・色情報や搭載位置情報等のデータを用いる構成としたが、操縦室内部３０に複数個のＬＥＤ又はマーカー７０を取り付けるような構成としてもよい（図４参照）。
（２）上述したＨＭＴ装置１では、カメラレンズは異なる種類としたが、全て同じ種類のカメラレンズで構成してもよい。
【産業上の利用可能性】
【００２８】
本発明のＨＭＴ装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものとして利用される。
【符号の説明】
【００２９】
１ ヘッドモーショントラッカ装置
２ カメラ装置
６ ヘルメット（装着体）
１０ 頭部装着型表示装置付ヘルメット
２０ 制御部
３０ 操縦室内部
４０ メモリ（記憶部）
Ｐ パイロット（搭乗者）
【技術分野】
【０００１】
本発明は、搭乗者の頭部の現在位置及び／又は現在角度である頭部情報を算出する機能を備えるヘッドモーショントラッカ（ＨＭＴ）装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度を検出するＨＭＴ装置等に利用される。
【背景技術】
【０００２】
時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることで、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ＨＭＴ装置が利用されている。
【０００３】
このようなＨＭＴ装置として、例えば、磁気方式のＨＭＴ装置が挙げられる（例えば、特許文献１参照）。図５は、磁気方式のＨＭＴ装置を用いたシステム構成例である。
ＨＭＴ装置６１は、パイロットＰの頭部に装着される頭部装着型表示装置付ヘルメット６０に取り付けるセンサ６３と、コンピュータにより構成される制御部６４と、ソース６２とから構成される。
操縦室内部３０は、パイロットＰが搭乗する飛行体のコックピットであり、パイロットＰが着席するための座席３０ａと、操縦機器群３０ｂと、窓部３０ｃと、ソース６２とを備える。
ソース６２は、交流磁界を発生するものであり、操縦室内部３０の空間の各点には、それぞれの位置に固有の磁界が生じることになる。
頭部装着型表示装置付ヘルメット６０は、パイロットＰの頭部に装着されるヘルメット（装着体）と、表示器と、表示器から出射される画像表示光を反射することによりパイロットＰの目に導くバイザと、磁気データを検出するセンサ６３とを有する。なお、頭部装着型表示装置付ヘルメット６０を装着したパイロットＰは、表示器による表示映像とバイザの前方外界を視認することが可能となっている。
【０００４】
制御部６４は、ソース６２及びセンサ６３の制御を行うとともに、センサ６３が検出した磁界データに基づいてセンサ６３の現在位置及び現在角度を算出する機能を有する信号処理部６６と、メモリ６５とを備える。また、ソース６２の位置を中心とする操縦室内部３０の座標系（ＸＹＺ座標系）を設定し、センサ６３で検出した磁界データに基づいて、センサ６３の現在位置及び現在角度を求めることで、パイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を算出している。
【０００５】
また、磁気方式のＨＭＴ装置と異なるＨＭＴ装置として、光学方式のＨＭＴ装置もある（例えば、特許文献２参照）。図６は、光学方式のＨＭＴ装置を用いたシステム構成例である。なお、ＨＭＴ装置６１と同様のものについては、同じ符号を付している。
ＨＭＴ装置５１は、パイロットＰの頭部に装着される頭部装着型表示装置付ヘルメット５０に取り付ける発光ダイオード（ＬＥＤ）５７ａ〜５７ｃと、コンピュータにより構成される制御部５４と、カメラ装置５２とから構成される。
操縦室内部３０は、パイロットＰが搭乗する飛行体のコックピットであり、パイロットＰが着席するための座席３０ａと、操縦機器群３０ｂと、窓部３０ｃと、画像データを取得するカメラ装置５２とを備える。
カメラ装置５２は、ＣＣＤカメラ又はＣＭＯＳカメラ等で構成し、第一カメラ５２ａと第二カメラ（図示せず）とからなる。第一カメラ２ａと第二カメラとは、撮影方向が異なるとともに、立体視が可能な一定の距離を隔てるように運転室内部３０に固定されている。また、第一カメラ５２ａの撮影領域γの形状は、図３に示すようなカメラ５２ａを頂点とする円錐となる。第二カメラの撮影領域γの形状も、第一カメラ５２ａの撮影領域γの形状と同様である。
頭部装着型表示装置付ヘルメット５０は、パイロットＰの頭部に装着されるヘルメット（装着体）と、表示器と、表示器から出射される画像表示光を反射することによりパイロットＰの目に導くバイザと、ヘルメットの外周面に取り付けられた３個のＬＥＤ５７ａ〜５７ｃとを有する。
【０００６】
制御部５４は、カメラ装置５２及びＬＥＤ５７ａ〜５７ｃの制御を行うとともに、カメラ装置５２が検出した画像データに基づいてＬＥＤ５７ａ〜５７ｃの現在位置を算出する機能を有する信号処理部５６と、メモリ５５とを備える。また、操縦室内部３０には、座標系（ＸＹＺ座標系）が予め設定されており、カメラ装置５２で検出した画像データに基づいて、カメラ装置５２に対するＬＥＤ５７ａ〜５７ｃの現在位置を求めることで、座標系（ＸＹＺ座標系）に対するパイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を算出している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−０８１９０４号公報
【特許文献２】特願２００７−１５５３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、ＨＭＴ装置６１において、操縦室内部３０ではソース６２やセンサ６３の周辺に、金属等の導電性物質が存在するため、磁界により導電性物質に発生する渦電流による影響で、磁界に磁気歪が生じる。そのため、実際の測定を行う前に操縦室内部３０の磁界データを取得し、補正に用いる必要があり、非常に手間と時間とがかかった。つまり、磁界データ（補正用データ）取得のために、飛行体等を長時間拘束するという問題点があった。
【０００９】
一方、ＨＭＴ装置５１で、測定を行うためには、三角測量の原理を用いるため、第一カメラ５２ａにより撮影される撮影領域γと第二カメラにより撮影される撮影領域γとが重なった撮影領域に、３個のＬＥＤ５７ａ〜５７ｃの全てが存在していなければならなかった。
しかしながら、操縦室内部３０では、第一カメラ５２ａ及び第二カメラを設置することができる位置に制限があり、その結果、第一カメラ５２ａにより撮影される撮影領域γと第二カメラにより撮影される撮影領域γとが重なった撮影領域を広範囲に設定することができず制限されることになっていた。
【００１０】
よって、第一カメラ５２ａにより撮影される撮影領域γと第二カメラにより撮影される撮影領域γとの重なった撮影領域に、３個のＬＥＤ５７ａ〜５７ｃの全てが存在しなくなることがあった。すなわち、第一カメラ５２ａで撮影される画像データ若しくは第二カメラで撮影される画像データ中に３個のＬＥＤ５７ａ〜５７ｃの全てが撮影されていないことがあり、その結果、パイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を算出することができなくなることがあった。
そこで、本発明は、補正用データ取得のために飛行体等を長時間拘束することがなく、操縦室内部に対する搭乗者の頭部の現在位置や現在角度を広範囲で算出することができるヘッドモーショントラッカ装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するためになされた本発明のヘッドモーショントラッカ装置は、搭乗者の頭部に装着される装着体と、画像データを取得するカメラ装置と、前記画像データに基づいて、前記搭乗者が搭乗する操縦室内部に対する搭乗者の頭部の現在位置及び／又は現在角度である頭部情報を算出する制御部とを備えるヘッドモーショントラッカ装置であって、前記操縦室内部の周囲環境情報を記憶するための記憶部を備え、前記カメラ装置は、前記装着体に取り付けられ、前記操縦室内部を撮影することにより画像データを取得し、前記制御部は、前記画像データ及び周囲環境情報に基づいて、前記頭部情報を算出するようにしている。
【００１２】
ここで、「周囲環境情報」とは、操縦室内部にある操縦機器群や窓部等の寸法・形状・色情報や搭載位置情報等のデータのことをいう。このような周囲環境情報は、測定を行う前に、操縦機器群等の各種寸法・色・位置に関する情報や、ＣＡＤデータ等を用いて、記憶部に記憶させることになる。
本発明のＨＭＴ装置によれば、測定を行う前に記憶部に操縦室内部の周囲環境情報を記憶しておくのみで、飛行体等を長時間拘束する必要はない。
一方、カメラ装置は、装着体に取り付けられ、測定を行う際には画像データを取得する。このとき、カメラ装置は、操縦室内部のどこかの周囲環境情報を撮影する。
これにより、制御部は、カメラ装置で取得した画像データと、記憶部に記憶された周囲環境情報とを比較することにより、頭部情報を算出する。
【発明の効果】
【００１３】
以上のように、本発明のＨＭＴ装置によれば、測定を行う前に飛行体等を長時間拘束することもなく、測定を行う際には操縦室内部に対する搭乗者の頭部の現在位置や現在角度を広範囲で算出することができる。
【００１４】
（他の課題を解決するための手段および効果）
また、上記の発明において、前記カメラ装置は、３個以上のカメラであるようにしてもよい。
【００１５】
さらに、上記の発明において、前記周囲環境情報は、前記操縦室内部に位置決めして取り付けられた複数個の光学マーカーであるようにしてもよい。
ここで、「光学マーカー」としては、例えば、発光体（ランプ、ＬＥＤ等）、反射体、蛍光体等が挙げられる。
本発明のＨＭＴ装置によれば、測定を行う前には複数個の光学マーカーが、操縦室内部に位置決めして取り付けられる。このとき、光学マーカーは、小型でありかつ取り付けが容易であるため、設置することができる位置に制限もなく、運転室内部のあらゆる所に取り付けられることになる。そして、記憶部は、複数個の光学マーカーが取り付けられた運転室内部の位置を示す周囲環境情報を記憶することになる。
これにより、制御部は、測定を行う際には、カメラ装置で作成された画像データと、記憶部に記憶された周囲環境情報とを比較することにより、頭部情報を算出する。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態であるＨＭＴ装置を示す概略構成図である。
【図２】図１に示す頭部装着型表示装置付ヘルメットの側面図である。
【図３】図１に示す頭部装着型表示装置付ヘルメットの平面図である。
【図４】本発明の他の一実施形態であるＨＭＴ装置を示す概略構成図である。
【図５】磁気方式のＨＭＴ装置を用いたシステム構成例である。
【図６】光学方式のＨＭＴ装置を用いたシステム構成例である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【００１８】
図１は、本発明の一実施形態であるＨＭＴ装置を示す概略構成図である。また、図２は、図１に示す頭部装着型表示装置付ヘルメットの側面図であり、図３は、図１に示す頭部装着型表示装置付ヘルメットの平面図である。
本実施形態は、操縦室内部３０に対するパイロットＰの頭部の現在位置及び現在角度を算出するものである。つまり、ＨＭＴ装置１は、操縦室内部３０に設定された座標系（ＸＹＺ座標系）に対する、パイロットＰが装着する頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を含む頭部情報を算出するものである。
なお、詳細は後述するが、座標系（ＸＹＺ座標系）とヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、メモリ（記憶部）４０に予め記憶されている。
【００１９】
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０に取り付けるカメラ装置２と、コンピュータにより構成される制御部２０とから構成される。
操縦室内部３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席するための座席３０ａと、操縦機器群３０ｂと、窓部３０ｃ等とを備える。
運転室内部３０には、座標系（ＸＹＺ座標系）が予め設定されており、メモリ４０に予め記憶されている。座標系（ＸＹＺ座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態例では図１に示すように、原点を座席３０ａの位置とし、前方方向をＸ軸方向とし、前方方向に垂直方向をＹ軸方向とし、Ｘ軸方向及びＹ軸方向に垂直方向をＺ軸方向とするように定義するように、メモリ４０の座標系記憶領域４２に予め記憶されている。
【００２０】
さらに、座標系（ＸＹＺ座標系）に対する操縦機器群３０ｂや窓部３０ｃの位置（周囲環境情報）も、座標系記憶領域４２に予め記憶されることになる。ここで、「周囲環境情報」とは、運転室内部３０にある操縦機器群３０ｂや窓部３０ｃ等の寸法・形状・色情報や搭載位置情報等のデータのことをいう。このような周囲環境情報は、測定を行う前に、操縦機器群３０ｂの各種寸法・色・位置に関する情報や、ＣＡＤデータ等を用いて、座標系記憶領域４２に記憶させることになる。つまり、飛行体等を長時間拘束することもなく、周囲環境情報を記憶することができる。
【００２１】
頭部装着型表示装置付ヘルメット１０は、パイロットＰの頭部に装着されるヘルメット６と、表示器７と、表示器７から出射される画像表示光を反射することによりパイロットＰの目に導くバイザ８と、画像データを取得するカメラ装置２とを有する。
カメラ装置２はＣＣＤカメラ又はＣＭＯＳカメラ等で構成し、複数個のカメラ２ａ〜２ｇを有する。複数個のカメラ２ａ〜２ｇは、図２及び図３に示すように、ヘルメット６の外周面の全面にわたって取り付けられている。さらに、複数個のカメラ２ａ〜２ｇは、全周囲の映像を取得可能なよう撮影方向が異なるようにして、ヘルメット６の外周面に取り付けられている。
ところで、カメラ２ａ〜２ｇの撮影領域の形状は、図３に示すようなカメラ２ａ〜２ｇを頂点とする円錐となる。このとき、カメラ２ａ〜２ｇに使用されるレンズにより撮影できる撮影領域の大きさと形状と歪度合いとが定められる。そこで、精度が必要となる方向は視野角を小さくし、そうでない方向は広角レンズを用いて対応する（例：カメラ２ａ〜２ｃ等は視野角αの小さい低歪レンズ、カメラ２ｄ，２ｅ等は視野角βの大きい広角レンズで構成）。そして、後述するが、画像データ取得補正部２８で、各カメラ２ａ〜２ｇで取得した画像データの補正を行う。
これにより、複数個のカメラ２ａ〜２ｇで取得した画像データを結合すれば、操縦室内部３０の全周囲を撮影することができる。
【００２２】
また、頭部装着型表示装置付ヘルメット１０には、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）が予め設定されており、メモリ４０に予め記憶されている。ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をカメラ２ａの位置とし、カメラ２ａの位置からカメラ２ｂの位置への方向をＸ’軸方向とし、Ｘ’軸方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、メモリ４０のヘルメット座標系記憶領域４１に予め記憶されている。
さらに、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）に対する複数個のカメラ２ａ〜２ｇの位置と撮影方向も、ヘルメット座標系記憶領域４１に予め記憶されている。
【００２３】
制御部２０は、信号処理部２１、メモリ４０等からなるコンピュータにより構成され、各種の制御や演算処理を行う。信号処理部２１が実行する処理を、機能ブロックごとに分けて説明すると、画像データを取得し、歪補正する画像データ取得補正部２８と、それらの画像から全周囲画像データを作成する全周囲画像データ生成部２７と、データ比較部２６と、頭部情報を算出する頭部情報算出部２５とを有する。
また、メモリ４０には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）等を記憶するヘルメット座標系記憶領域４１と、座標系（ＸＹＺ座標系）等を記憶する座標系記憶領域４２と、画像データを記憶するための画像データ記憶領域４３とを有する。
【００２４】
画像データ取得補正部２８は、カメラ装置２で作成された画像データを取得して、画像データの光学歪を補正する。
全周囲画像データ生成部２７は、ヘルメット座標系記憶領域４１に記憶されたカメラ２ａ〜２ｇの位置と撮影方向と、光学歪を補正した画像データとに基づいて、全周囲画像データを作成して、画像データ記憶領域４３に記憶させる制御を行う。
【００２５】
データ比較部２６は、画像データ記憶領域４３に記憶された全周囲画像データと、座標系記憶領域４２に記憶された周囲環境情報とに基づいて、座標系（ＸＹＺ座標系）に対してヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）を算出する制御を行う。
頭部情報算出部２５は、座標系（ＸＹＺ座標系）に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）に基づいて、操縦室内部３０に対するパイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を含む頭部情報を算出する制御を行う。
そして、表示制御部２４は、制御部２０から受信したパイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）及び現在角度（Θ、Φ、Ψ）を含む頭部情報に基づいて、表示器７から出射する映像信号の生成・制御を行う。これにより、パイロットＰは、表示器７による表示映像を視認することになる。
【００２６】
以上のように、ＨＭＴ装置１によれば、測定を行う前に飛行体等を長時間拘束することもなく、測定を行う際には操縦室内部３０に対するパイロットＰの頭部の現在位置（Ｘ、Ｙ、Ｚ）や現在角度（Θ、Φ、Ψ）を広範囲で算出することができる。
【００２７】
（他の実施形態）
（１）上述したＨＭＴ装置１では、周囲環境情報に、操縦室内部３０にある操縦機器群３０ｂや窓部３０ｃ等の寸法・形状・色情報や搭載位置情報等のデータを用いる構成としたが、操縦室内部３０に複数個のＬＥＤ又はマーカー７０を取り付けるような構成としてもよい（図４参照）。
（２）上述したＨＭＴ装置１では、カメラレンズは異なる種類としたが、全て同じ種類のカメラレンズで構成してもよい。
【産業上の利用可能性】
【００２８】
本発明のＨＭＴ装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものとして利用される。
【符号の説明】
【００２９】
１ ヘッドモーショントラッカ装置
２ カメラ装置
６ ヘルメット（装着体）
１０ 頭部装着型表示装置付ヘルメット
２０ 制御部
３０ 操縦室内部
４０ メモリ（記憶部）
Ｐ パイロット（搭乗者）
【特許請求の範囲】
【請求項１】
搭乗者の頭部に装着される装着体と、
画像データを取得するカメラ装置と、
前記画像データに基づいて、前記搭乗者が搭乗する操縦室に対する搭乗者の頭部の現在位置及び／又は現在角度である頭部情報を算出する制御部とを備えるヘッドモーショントラッカ装置であって、
前記操縦室の周囲環境情報を記憶するための記憶部を備え、
前記カメラ装置は、前記装着体に取り付けられ、前記操縦室の画像データを取得し、
前記制御部は、前記画像データ及び周囲環境情報に基づいて、前記頭部情報を算出することを特徴とするヘッドモーショントラッカ装置。
【請求項２】
前記カメラ装置は、３個以上のカメラであることを特徴とする請求項１に記載のヘッドモーショントラッカ装置。
【請求項３】
前記周囲環境情報は、前記操縦室に位置決めして取り付けられた複数個の光学マーカーであることを特徴とする請求項１または２に記載のヘッドモーショントラッカ装置。
【請求項１】
搭乗者の頭部に装着される装着体と、
画像データを取得するカメラ装置と、
前記画像データに基づいて、前記搭乗者が搭乗する操縦室に対する搭乗者の頭部の現在位置及び／又は現在角度である頭部情報を算出する制御部とを備えるヘッドモーショントラッカ装置であって、
前記操縦室の周囲環境情報を記憶するための記憶部を備え、
前記カメラ装置は、前記装着体に取り付けられ、前記操縦室の画像データを取得し、
前記制御部は、前記画像データ及び周囲環境情報に基づいて、前記頭部情報を算出することを特徴とするヘッドモーショントラッカ装置。
【請求項２】
前記カメラ装置は、３個以上のカメラであることを特徴とする請求項１に記載のヘッドモーショントラッカ装置。
【請求項３】
前記周囲環境情報は、前記操縦室に位置決めして取り付けられた複数個の光学マーカーであることを特徴とする請求項１または２に記載のヘッドモーショントラッカ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１５８３１（Ｐ２０１１−１５８３１Ａ）
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願番号】特願２００９−１６２５６６（Ｐ２００９−１６２５６６）
【出願日】平成２１年７月９日（２００９．７．９）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願日】平成２１年７月９日（２００９．７．９）
【出願人】（０００００１９９３）株式会社島津製作所 (3,708)
【Ｆターム（参考）】
[ Back to top ]