ヘッドマウントディスプレイ
【課題】ユーザが建造物の環境を、臨場感をもって把握することができるヘッドマウントディスプレイを提供する。
【解決手段】
建造物内に複数取り付けられた、センサ５００の「センシング情報」を読み取り、当該センシング情報６００を、ヘッドマウントディスプレイ１００で、視覚的に表示することができるようになっている。センサ５００が、ガス濃度を検知するセンサである場合には、高濃度のガス６００が滞留している領域を、ヘッドマウントディスプレイ１００で表示させることにより、ユーザが高濃度のガス６００が滞留している領域を、実際のユーザの視界に重ね合わせて視認することができ、ユーザが、環境情報を臨場感を持って把握することが可能となる。
【解決手段】
建造物内に複数取り付けられた、センサ５００の「センシング情報」を読み取り、当該センシング情報６００を、ヘッドマウントディスプレイ１００で、視覚的に表示することができるようになっている。センサ５００が、ガス濃度を検知するセンサである場合には、高濃度のガス６００が滞留している領域を、ヘッドマウントディスプレイ１００で表示させることにより、ユーザが高濃度のガス６００が滞留している領域を、実際のユーザの視界に重ね合わせて視認することができ、ユーザが、環境情報を臨場感を持って把握することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが、建造物等の環境を、臨場感をもって把握することができるヘッドマウントディスプレイに関する。
【背景技術】
【０００２】
従来特許文献１に示されるように、建造物の温度等の環境情報を、建造物の見取り図とともにディスプレイに表示することができる温熱環境ディスプレイ装置が知られている。このような装置は、建造物の温度等の環境を、視覚的に把握することができる。
【０００３】
しかしながら、実際には、ユーザが建造物の見取り図から、ユーザの視覚をイメージする必要があることから、ユーザが、建造物の環境情報を、臨場感をもって把握することが困難であった。
【０００４】
【特許文献１】特開平１１−１５３４９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記問題を解決し、ユーザが建造物等の環境を、臨場感をもって把握することができるヘッドマウントディスプレイを提供することを目的になされたものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するためになされた請求項１に記載の発明は、
ユーザの頭部に装着される頭部装着部と、
前記頭部装着部の前部に取り付けられ、画像を表示し、ユーザに当該画像を視認させる画像表示部を有するヘッドマウントディスプレイにおいて、
複数位置に設置されたセンサが計測したセンシング情報及び、前記各センサの個体識別情報、各センサの座標情報を取得する情報取得手段と、
ヘッドマウントディスプレイの座標を算出又は取得するヘッドマウントディスプレイ座標取得手段と、
ユーザの視線方向を計測する視線方向計測手段と、
前記情報取得手段が取得した前記各センサの座標情報及び、前記ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づいて、ヘッドマウントディスプレイの座標を基点とした前記各センサの相対座標を算出するセンサ相対座標算出手段と、
前記視線方向計測手段が計測したユーザの視線方向情報から、ユーザの視界領域を算出する視界領域算出手段と、
前記視界領域算出手段が算出した視界領域及び、前記センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記視界領域内および視界領域を視界方向に延長した領域内にある通信可能なセンサを選択するセンサ選択手段と、
前記センサ選択手段が選択した各センサのセンサ相対座標と前記情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成するセンシング情報画像生成手段と、
を有することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、
センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記センサ選択手段が選択した各センサの前記画像表示部で表示する画像上の座標である画像座標を算出する画像座標算出手段を有し、
センシング情報画像生成手段は、前記画像座標算出手段が算出した前記各センサの画像座標及び、情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成することを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、
視界領域内および視界領域を視界方向に延長した領域にあって、少なくともユーザが見ることができない領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができない領域又はユーザが見ることができない領域に加えてユーザが見ることができる領域のセンシング情報画像を生成する透過モードと、
少なくともユーザが見ることができる領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができる領域のみのセンシング情報画像を生成する非透過モードと、
を切り替えるモード切替手段を有することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
情報取得手段は、部屋に配置された複数のセンサが計測したセンシング情報及び前記各センサの座標情報を取得し、
前記部屋の境界情報を記憶した境界情報記憶部と、
視線方向計測手段が計測したユーザの視線方向及び、前記境界情報、ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づき、前記部屋の境界線をセンシング情報画像に合成する境界線合成手段と、
を有することを特徴とする。
【００１０】
請求項５に記載の発明は、請求項４に記載の発明において、
境界線合成手段は、
異なる部屋ごとに境界線の表示を変えて、これら境界線をセンシング情報画像に合成することを特徴とする。
【００１１】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
各センサのヘッドマウントディスプレイに対する距離情報を算出するセンサ距離算出手段を有し、
ヘッドマウントディスプレイ座標取得手段は、前記センサ距離算出手段が算出した距離情報及び、情報取得手段が取得した各センサの個体識別情報及び座標情報に基づいて、ヘッドマウントディスプレイの座標を算出することを特徴とする。
【発明の効果】
【００１２】
請求項１に記載の発明は、複数位置に設置されたセンサが計測したセンシング情報及び、前記各センサの個体識別情報、各センサの座標情報を取得する情報取得手段と、ヘッドマウントディスプレイの座標を算出又は取得するヘッドマウントディスプレイ座標取得手段と、ユーザの視線方向を計測する視線方向計測手段と、前記情報取得手段が取得した前記各センサの座標情報及び、前記ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づいて、ヘッドマウントディスプレイの座標を基点とした前記各センサの相対座標を算出するセンサ相対座標算出手段と、前記視線方向計測手段が計測したユーザの視線方向情報から、ユーザの視界領域を算出する視界領域算出手段と、前記視界領域算出手段が算出した視界領域及び、前記センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記視界領域内及び視界領域を視界方向に延長した領域内にある通信可能なセンサを選択するセンサ選択手段と、前記センサ選択手段が選択した各センサのセンサ相対座標と前記情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成するセンシング情報画像生成手段とを有することを特徴とする。
このため、ユーザがセンシング情報画像を、実際のユーザの視界に重ね合わせて視認することができることから、ユーザが、センサが検知したセンシング情報を臨場感を持って把握することが可能となる。
【００１３】
請求項２に記載の発明は、センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記センサ選択手段が選択した各センサの前記画像表示部で表示する画像上の座標である画像座標を算出する画像座標算出手段を有し、センシング情報画像生成手段は、前記画像座標算出手段が算出した前記各センサの画像座標及び、情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成することを特徴とする。
このため、画像生成部で表示するセンシング情報画像を正確に表示することが可能となる。
【００１４】
請求項３に記載の発明は、視界領域内および視界領域を視界方向に延長した領域にあって、少なくともユーザが見ることができない領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができない領域又はユーザが見ることができない領域に加えてユーザが見ることができる領域のセンシング情報画像を生成する透過モードと、少なくともユーザが見ることができる領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができる領域のみのセンシング情報画像を生成する非透過モードと、
を切り替えるモード切替手段を有することを特徴とする。
このため、必要に応じて、ユーザが見ることができない領域にあるセンサが計測したセンシング情報も視認することができ、例えば、隣の部屋に存在する一酸化炭素等の有毒ガスを、予め視認することができる。
【００１５】
請求項４に記載の発明は、部屋の境界情報と、視線方向計測手段が計測したユーザの視線方向及び、前記境界情報、ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づき、前記部屋の境界線をセンシング情報画像に合成する。このため、ユーザが見ることができない領域のセンシング情報とともに、ユーザが視認することができない領域の境界線も視認することができるので、大変臨場感がある。
【００１６】
請求項５に記載の発明は、境界線合成手段は、異なる部屋ごとに境界線の表示を変えて、これら境界線をセンシング情報画像に合成するので、ユーザは、奥にある部屋と、この部屋の更に奥にある部屋のセンシング情報画像を区別して認識することが可能となる。
【００１７】
請求項６に記載の発明は、各センサのヘッドマウントディスプレイに対する距離情報を算出するセンサ距離算出手段と、前記センサ距離算出手段が算出した距離情報及び、情報取得手段が取得した各センサの個体識別情報及び座標情報に基づいて、ヘッドマウントディスプレイの座標を算出するヘッドマウントディスプレイ座標算出手段を有することを特徴とする。
このため、ヘッドマウントディスプレイの座標を正確に算出することができることから、画像生成部で表示するセンシング情報画像を正確に表示することが可能となる。
【発明を実施するための最良の形態】
【００１８】
（本発明の概要）
以下に図面を示しつつ、本発明の概要を説明する。図１は本発明のヘッドマウントディスプレイ１００の全体図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着される頭部装着部１と、ユーザに視認させる画像を表示する画像表示部２とから構成されている。
【００１９】
ヘッドマウントディスプレイ１００の画像表示部２には、強度が画像に応じて変調されたレーザ光を２次元に走査した走査画像光を、ユーザの眼球に直接照射して、ユーザに画像を視認させる（以下「表示」とする）走査画像光照射部２０（図３に示す）を有している。本発明のヘッドマウントディスプレイ１００は、ユーザが、画像表示部２が表示する画像を視認しつつ、外界を見ることができる、所謂シースルー型のヘッドマウントディスプレイである。
【００２０】
図２は、ヘッドマウントディスプレイ１００を、頭部に装着したユーザの視界を表した図である。本発明のヘッドマウントディスプレイ１００は、建造物等内に複数取り付けられた、センサ５００が検知するセンシング情報を読み取り、当該センシング情報を、画像表示部２で、視覚的に表示することができるようになっている。前記センサ５００が、ガス濃度を検知するセンサである場合には、図２に示されるように、高濃度のガス６００が滞留している領域を、ヘッドマウントディスプレイ１００の画像表示部２で表示させることにより、ユーザが高濃度のガス６００が滞留している領域を、実際のユーザの視界に重ね合わせて視認することができ、ユーザがセンシング情報を臨場感を持って把握することが可能となる。なお、センサ５００が検知するセンシング情報には、都市ガスや一酸化炭素等のガス濃度、温度、湿度、気圧、音量、粉塵濃度、煙、放射線量、水の存否等が含まれる。以下に、本発明のヘッドマウントディスプレイ１００を詳細に説明する。
【００２１】
（ヘッドマウントディスプレイのブロック図）
図３は本発明のヘッドマウントディスプレイ１００のブロック図である。画像表示部２は、制御部４０を有している。制御部４０は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、不揮発性メモリ４４、入力インターフェース４５、無線インターフェース５５を有していて、これらは相互にバス４６で接続されている。
【００２２】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）４１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）４２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）４３と協動して、各種演算、処理を行う。
【００２３】
ＲＡＭ４２は、ＣＰＵ４１によって処理されるプログラムや、ＣＰＵ４１で処理するデータを、そのアドレス空間に一時的に保存する。
【００２４】
ＲＯＭ４３には、ヘッドマウントディスプレイ１００を制御する各種プログラムやパラメータが保存されている。当該各種プログラムが、ＣＰＵ４１で処理されることにより、各種機能を実現している。ＲＯＭ４３には、後述するセンサ距離算出手段４３ａ、ヘッドマウントディスプレイ座標算出手段４３ｂ、視線方向算出手段４３ｃ、センサ相対座標算出手段４３ｄ、視界領域算出手段４３ｅ、センサ選択手段４３ｆ、画像座標算出手段４３ｇ、センシング情報画像生成手段４３ｈ、境界情報合成手段４３ｉ等のプログラムが保存されている。なお、不揮発性メモリ４４に、これらプログラムを保存することにしても差し支えない。
【００２５】
センサ距離算出手段４３ａは、無線インターフェース５５が受信する、各センサ５００の受信電波強度から、ヘッドマウントディスプレイ１００と各センサ５００との距離を算出する手段である。
【００２６】
ヘッドマウントディスプレイ座標算出手段４３ｂ（ヘッドマウントディスプレイ座標取得手段）は、ヘッドマウントディスプレイ１００に近い複数のセンサ５００の「位置座標」及び、センサ距離算出手段４３ａが算出した、ヘッドマウントディスプレイ１００とセンサ５００との距離から、ヘッドマウントディスプレイ１００の位置座標を算出する手段である。
【００２７】
視線方向算出手段４３ｃは、方位センサ５３及び傾きセンサ５４が検出する信号に基づいて、ユーザの視線方向を算出する手段である。
【００２８】
センサ相対座標算出手段４３ｄは、各センサ５００の「位置座標」から、ヘッドマウントディスプレイ１００の「位置座標」を引いて、各センサ５００の「位置座標」を、ヘッドマウントディスプレイ１００を中心座標とする座標系に変換した「センサ相対座標」に変換する手段である。
【００２９】
視界領域算出手段４３ｅは、視線方向算出手段４３ｃが算出した、ユーザの視線方向から、ユーザの視界領域を算出する手段である。
【００３０】
センサ選択手段４３ｆは、視界領域算出手段４３ｅが算出したユーザの視界領域及び、センサ相対座標算出手段４３ｄが算出した各センサ５００の「センサ相対座標」に基づいて、ユーザの視界領域内および視界領域を視界方向に延長した領域内にある通信可能なセンサ５００を選択する手段である。
【００３１】
画像座標算出手段４３ｇは、センサ相対座標算出手段４３ｄが算出した各センサ５００の「センサ相対座標」に基づき、センサ選択手段４３ｆが選択した各センサ５００の画像表示部２で表示する画像上の座標である「画像座標」を算出する手段である。
【００３２】
センシング情報画像生成手段４３ｈは、センサ選択手段４３ｆが選択した各センサ５００の「画像座標」と、無線インターフェース５５が取得した前記各センサ５００の「センシング情報」に基づき、画像表示部２で表示する「センシング情報画像」を生成する手段である。
【００３３】
境界情報合成手段４３ｉは、視線方向算出手段４３ｃが算出したユーザの視線方向及び、不揮発性メモリ４４に保存された境界情報４４ｂ、ヘッドマウントディスプレイ座標算出手段４３ｂが取得したヘッドマウントディスプレイの座標に基づき、部屋の境界線を「センシング情報画像」に合成する手段である。
【００３４】
なお、センサ距離算出手段４３ａ、ヘッドマウントディスプレイ座標算出手段４３ｂ、視線方向算出手段４３ｃ、センサ相対座標算出手段４３ｄ、視界領域算出手段４３ｅ、センサ選択手段４３ｆ、画像座標算出手段４３ｇ、センシング情報画像生成手段４３ｈ、境界情報合成手段４３ｉを、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成することとしても差し支えない。
【００３５】
不揮発性メモリ４４は、ヘッドマウントディスプレイ１００の各種設定や、表示パターンテーブル４４ａ、境界情報４４ｂを保存する。表示パターンテーブル４４ａは、図１８に示されるように、「センシング情報」（計測値）の閾値と、当該閾値に応じ、どのように「センシング情報画像」として表示するかを表したテーブルである。境界情報４４ｂは、図７に示されるような各部屋の境界座標の情報である。
【００３６】
入力インターフェース４５は、電源ボタン５０、設定変更ボタン５１、モード切替ボタン５２、方位センサ５３、傾きセンサ５４と接続し、これらのボタン及びセンサが出力する信号の物理的、論理的な形式を変換し、バス４６に引き渡す。
【００３７】
電源ボタン５０は、ヘッドマウントディスプレイ１００への電源の投入・遮断を行うためのボタンである。設定変更ボタン５１は、ヘッドマウントディスプレイ１００の設定の変更を行うためのボタンである。モード切替ボタン５２は、後述する「透過モード」と「非透過モード」と「視界領域全センサ閲覧モード」（広義の透過モード）とを切り替えるための手段（モード切替手段）である。なお、図１に示されているように、電源ボタン５０、設定変更ボタン５１、モード切替ボタン５２は、画像表示部２に設けられている。
【００３８】
方位センサ５３は、地磁気を検知することにより、ヘッドマウントディスプレイ１００の正面方向の方位、つまり、ユーザの視線の水平方向の方位を計測するセンサである。
【００３９】
傾きセンサ５４は、ヘッドマウントディスプレイ１００の正面方向の水平面に対する仰角や俯角、つまり、ユーザの視線の水平面に対する角度を計測するセンサである。傾きセンサ５４には、ジャイロセンサが含まれる。
【００４０】
方位センサ５３及び傾きセンサ５４から、ユーザの視線方向を計測する「視線方向計測手段」が構成されている。
【００４１】
無線インターフェース５５は、複数にセンサ５００から、「センシング情報」、「個体識別情報」、「座標情報」を受信する「情報取得手段」である。
【００４２】
走査画像光照射部２０は、強度が画像に応じて変調されたレーザ光を２次元に走査した走査画像光を生成し、当該走査画像光をユーザの眼球に直接照射し、ユーザに画像を視認させる装置である。走査画像光照射部２０は、走査光生成部２１、コリメート光学系２２、垂直走査部２３、水平走査部２４、リレー光学系２５、リレー光学系２６を有している。
【００４３】
走査光生成部２１は、センシング情報画像生成手段４３ｈが生成した「センシング情報画像」を、ドットクロック毎に読み出し、読み出した「センシング情報画像」に応じて強度変調して走査光を生成する装置である。走査光生成部２１は、信号処理回路２１１、光源部２１２、光合成部２１３を有している。
【００４４】
信号処理回路２１１は、制御部４０のバス４６と接続している。信号処理回路２１１は、制御部４０のバス４６から入力された「センシング情報画像」に基づいて、走査画像光を生成するための要素となるＢ（青）、Ｇ（緑）、Ｒ（赤）の各画像信号２１４ａ〜２１４ｃを生成し、光源部２１２に出力する。また、信号処理回路２１１は、後述する垂直走査部２３の垂直走査制御回路２３ｂと接続している。信号処理回路２１１は、垂直駆動信号２１５を生成し、この垂直駆動信号２１５を垂直走査制御回路２３ｂに出力する。更に、信号処理回路２１１は、後述する水平走査制御回路２４ｂと接続している。信号処理回路２１１は、水平駆動信号２１６を生成し、この水平駆動信号２１６を水平走査制御回路２４ｂに出力する。
【００４５】
光源部２１２は、Ｂレーザドライバ２１２ａ、Ｇレーザドライバ２１２ｂ、Ｒレーザドライバ２１２ｃ、Ｂレーザ２１２ｄ、Ｇレーザ２１２ｅ、Ｒレーザ２１２ｆから構成されている。Ｂレーザドライバ２１２ａは、信号処理回路２１１からドットクロック毎に出力されたＢ（青）の画像信号２１４ａに基づき、Ｂレーザ２１２ｄを駆動させる。Ｂレーザ２１２ｄは、Ｂ（青）の画像信号２１４ａに基づき、強度変調された青色のレーザ光を出射する。Ｇレーザ２１２ｅ及びＲレーザ２１２ｆも、同様に、それぞれ強度変調された、緑色のレーザ光、赤色のレーザ光を出射する。
【００４６】
各レーザ２１２ｄ〜２１２ｆには、半導体レーザや、高調波発生機能付固定レーザが含まれる。なお、半導体レーザを用いる場合には、駆動電流を直接変調して、レーザ光の強度変調を行う。また、高調波発生機能付固定レーザを用いる場合には、各レーザ２１２ｄ〜２１２ｆそれぞれに、外部変調器を備えてレーザ光の強度変調を行う。
【００４７】
光合成部２１３は、コリメート光学系２１３ａ〜２１３ｃ、ダイクロイックミラー２１３ｄ〜２１３ｆ、結合光学系２１３ｇとから構成されている。コリメート光学系２１３ａ〜２１３ｃは、それぞれ、レーザ２１２ｄ〜２１２ｆの前方に配設されていて、各レーザ２１２ｄ〜２１２ｆが出射したレーザ光を、平行光化する。ダイクロイックミラー２１３ｄ〜２１３ｆは、それぞれ、コリメート光学系２１３ａ〜２１３ｃの前方に配設されていて、各コリメート光学系２１３ａ〜２１３ｃが平行化した各レーザ光を、所定の範囲の波長のレーザ光のみを選択的に、反射又は透過する。
【００４８】
結合光学系２１３ｇは、ダイクロイックミラー２１３ｄの前方に配設されている。ダイクロイックミラー２１３ｄを透過した青色のレーザ光及び、ダイクロイックミラー２１３ｅ、２１３ｆをそれぞれ反射した、緑色のレーザ光、赤色のレーザ光が、結合光学系２１３ｇに入射する。結合光学系２１３ｇは、各３原色のレーザ光を集光（混合）させて、光ファイバ２７に入射させる。
【００４９】
垂直走査部２３及び水平走査部２４は、光ファイバ２７に入射されたレーザ光を、画像として照射するために、当該レーザ光を垂直方向と水平方向に走査して走査画像光を生成する。
【００５０】
垂直走査部２３は、共振型偏向素子２３ａ、垂直走査制御回路２３ｂとから構成されている。光ファイバ２７に入射されたレーザ光は、コリメート光学系２２で平行光化され、共振型偏向素子２３ａに入射される。共振型偏向素子２３ａは、垂直走査制御回路２３ｂで揺動される反射面２３ｄを有し、入射されたレーザ光を、揺動する反射面２３ｄで反射させて垂直方向に走査する。垂直走査制御回路２３ｂは、信号処理回路２１１から出力される垂直駆動信号２１５に基づいて、共振型偏向素子２３ａの反射面２３ｄを揺動させる駆動信号を発生する。
【００５１】
水平走査部２４は、偏向素子２４ａ、水平走査制御回路２４ｂ、とから構成されている。偏向素子２４ａは、水平走査制御回路２４ｂで揺動される反射面２４ｄを有し、入射されたレーザ光を、揺動する反射面２４ｄで反射させて水平方向に走査し、２次元的に走査された画像光として、リレー光学系２６に出射する。水平走査制御回路２４ｂは、信号処理回路２１１から出力される水平駆動信号２１６に基づいて、偏向素子２４ａの反射面２４ｄを揺動させる駆動信号を発生する。
【００５２】
リレー光学系２５は、共振型偏向素子２３ａと偏向素子２４ａの間に配設されている。リレー光学系２５は、共振型偏向素子２３ａの反射面２３ｄで、垂直方向に走査されたレーザ光を収束させて、偏向素子２４ａの反射面２４ｄに入射させる。
【００５３】
信号処理回路２１１は、電源が投入されれば、垂直駆動信号２１５と水平駆動信号２１６を、それぞれ垂直走査制御回路２３ｂと水平走査制御回路２４ｂに出力し、反射面２３ｄ、２４ｄを振動させ、安定して２次元走査をさせるよう制御を行う。
【００５４】
リレー光学系２６は、正の屈折力を持つレンズ系２６ａ、２６ｂを有している。偏向素子２４ａから出射された画像光は、レンズ系２６ａによって、それぞれの画像光が、その走査画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。前記収束画像光は、レンズ系２６ｂによってそれぞれほぼ平行な走査画像光となるとともに、これらの走査画像光の中心線がユーザの瞳孔Ｅａに収束するように集光される。
【００５５】
なお、本実施形態では、光ファイバ２７から入射されたレーザ光を、垂直走査部２３で垂直方向に走査した後、水平走査部２４によって水平方向に走査することとしたが、垂直走査部２３と水平走査部２４の配置を入れ替え、水平走査部２４に水平方向に走査した後、垂直走査部２３で垂直方向に走査するように構成しても差し支えない。
【００５６】
（メイン処理）
図４にメイン処理のフロー図を示し、メイン処理について説明する。ユーザが電源ボタン５０を操作することにより、ヘッドマウントディスプレイ１００の電源が投入されると、Ｓ１１「初期化」の処理に進む。Ｓ１１の処理において、ユーザは、設定変更ボタン５１を操作することにより、「表示更新間隔」や「モード」を設定することができる。「表示更新間隔」とは、画像表示部２で表示する「センシング情報画像」を更新する間隔である。なお、「モード」には、「非透過モード」、「透過モード」、「視界領域全センサ閲覧モード」（広義の透過モード）がある。図２０に示されるように、「非透過モード」とは、ヘッドマウントディスプレイ１００がある領域、つまり、ユーザが見ることができる領域（例えば、ユーザが居る部屋）に取り付けられたセンサ５００が計測した「センシング情報」のみから、「センシング情報画像」を生成するモードである。「透過モード」とは、ヘッドマウントディスプレイ１００が無い領域、つまり、ユーザが見ることができない領域に取り付けられたセンサ５００が計測した「センシング情報」から、「センシング情報画像」を生成するモードである。Ｓ１１の処理が終了すると、Ｓ１２「センシング情報受信処理起動」の処理に進む。
【００５７】
Ｓ１２「センシング情報受信処理起動」の処理において、ＣＰＵ４１は、図５に示される、「センシング情報受信処理」を起動させる。当該処理については、図５を用いて後で詳細に説明する。Ｓ１２の処理が終了すると、Ｓ１３「タイマースタート」の処理に進む。
【００５８】
Ｓ１３「タイマースタート」の処理において、ＣＰＵ４１は、「センシング情報画像」を更新するためのタイマーをスタートさせる処理を行う。Ｓ１３の処理が終了すると、Ｓ１５「表示更新間隔時間経過？」の判断処理に進む。
【００５９】
Ｓ１５「表示更新間隔時間経過？」の判断処理において、ＣＰＵ４１は、Ｓ１３の処理でスタートさせたタイマーが、「表示更新間隔」を経過したか判断する。ＣＰＵ４１が、「表示更新間隔」を経過したと判断した場合には、Ｓ１６「ヘッドマウントディスプレイ位置座標算出処理」に進む。ＣＰＵ１１が、「表示更新間隔」を経過していないと判断した場合には、Ｓ２１「透過モードＯＮ？」の判断処理に進む。
【００６０】
Ｓ２１「透過モードＯＮ？」の判断処理において、ＣＰＵ４１は、ユーザがモード切替ボタン５２を押圧することにより「透過モード」が選択されたか否かを判断する。ＣＰＵ４１が、「透過モード」が選択されたと判断した場合には、Ｓ２２「透過モードに切替処理」の処理に進む。一方で、ＣＰＵ４１が、「透過モード」が選択されたと判断しない場合には、Ｓ２５「非透過モードＯＮ？」の判断処理に進む。
【００６１】
Ｓ２２「透過モードに切替処理」において、ＣＰＵ４１は、「透過モード」に切り替える処理を実行する。Ｓ２２の処理が終了すると、Ｓ１５の判断処理に戻る。
【００６２】
Ｓ２５「非透過モードＯＮ？」の判断処理において、ＣＰＵ４１は、ユーザがモード切替ボタン５２を押圧することにより「非透過モード」が選択されたか否かを判断する。ＣＰＵ４１が、「非透過モード」が選択されたと判断した場合には、Ｓ２６「非透過モードに切替処理」の処理に進む。一方で、ＣＰＵ４１が、「非透過モード」が選択されたと判断しない場合には、Ｓ２８「視界領域全センサ閲覧モードON？」の判断処理に進む。
【００６３】
Ｓ２６「非透過モードに切替処理」において、ＣＰＵ４１は、「非透過モード」に切り替える処理を実行する。Ｓ２６の処理が終了すると、Ｓ１５の判断処理に戻る。
【００６４】
Ｓ２８「視界領域全センサ閲覧モードON？」の判断処理において、ＣＰＵ４１は、ユーザがモード切替ボタン５２を押圧することにより「視界領域全センサ閲覧モード」が選択されたか否かを判断する。ＣＰＵ４１が、「視界領域全センサ閲覧モード」が選択されたと判断した場合には、Ｓ２９「視界領域全センサ閲覧モードに切替処理」の処理に進む。一方で、ＣＰＵ４１が、「視界領域全センサ閲覧モード」が選択されたと判断しない場合には、Ｓ１５の判断処理に戻る。
【００６５】
Ｓ２９「視界領域全センサ閲覧モードに切替処理」において、ＣＰＵ４１は、「視界領域全センサ閲覧モード」に切り替える処理を実行する。Ｓ２９の処理が終了すると、Ｓ１５の判断処理に戻る。
【００６６】
Ｓ１６「ヘッドマウントディスプレイ位置座標算出処理」において、図８を用いて後で詳細に説明するが、ヘッドマウントディスプレイ座標算出手段４３ｂは、ヘッドマウントディスプレイ１００の「位置座標」を算出する。Ｓ１６の処理が終了すると、Ｓ１７「センサ選択処理」に進む。
【００６７】
Ｓ１７「センサ選択処理」において。図１０を用いて後で詳細に説明するが、センサ選択手段４３ｆは、ユーザの「視界領域」内および「視界領域」を視界方向に延長した領域内にある通信可能なセンサ５００を選択する。Ｓ１７の処理が終了すると、Ｓ１８「センシング情報表示処理」に進む。
【００６８】
Ｓ１８「センシング情報画像表示処理」において、図１４を用いて後で詳細に説明するが、センシング情報画像生成手段４３ｈは、「センシング情報画像」を生成する。Ｓ１８の処理が終了すると、Ｓ１９「電源ＯＦＦ？」
【００６９】
Ｓ１９「電源ＯＦＦ？」の判断処理において、ＣＰＵ４１は、電源ボタン５０の押下を検知し、ユーザがヘッドマウントディスプレイ１００の電源をＯＦＦにする操作を行ったか否かを判断する。ＣＰＵ４１が、電源ボタン５０の押下を検知した場合には、Ｓ２０「起動中の全ての処理を中止」の処理に進む。ＣＰＵ４１が、電源ボタン５０の押下を検知しない場合には、Ｓ１３の処理に戻る。
【００７０】
Ｓ２０「起動中の全ての処理を中止」の処理において、ＣＰＵ４１は、起動中の全ての処理を終了させて、ヘッドマウントディスプレイ１００の電源をＯＦＦにする。Ｓ２０の処理が終了すると、「ヘッドマウントディスプレイメイン処理」が終了する。
【００７１】
（センシング情報受信処理）
図５にセンシング情報取得処理のフロー図を示して、当該処理について説明する。Ｓ１２の処理で、ＣＰＵ４１が、「センシング情報受信処理」を開始させると、以下の処理がメイン処理と並列に実行される。まず、Ｓ３１「センサからデータ受信？」の判断処理に進む。Ｓ３１の判断処理において、ＣＰＵ４１が、センサ５００からデータを受信したと判断した場合には、Ｓ３２「センサ情報テーブルに保存」の処理に進む。なお、前記データは、「個体識別情報」、「座標情報」、「部屋情報」、「センシング情報」である。ここで、通常、ユーザがいる部屋内のセンサ５００からは直接無線通信によりデータを受信できる。また一例としてユーザがいない部屋にあるセンサ５００からのデータは、ユーザが視界領域を視界方向に延長した方向の近くのセンサ５００に転送され、これを順次ユーザがいる部屋にあるセンサ５００にまで繰り返すことにより、ユーザがいない部屋のセンサ５００からのデータもユーザがいる部屋のセンサ５００から受信することができる。いわゆるセンサネットワークが形成され、センサ５００がマルチホップ通信（リレー通信）を行う場合には、建物内の離れた部屋、直接電波の届かないところにあるセンサ５００からのデータも全て受信することができることも可能である。
【００７２】
Ｓ３２「センサ情報テーブルに保存」の処理において、ＣＰＵ４１は、各センサ５００から受信した、「個体識別情報」（センサＩＤ）、「座標情報」（位置座標）、「部屋情報」（部屋）、「センシング情報」（計測値（％））を、図６に示されるような「センサ情報テーブル」として、ＲＡＭ４２の記憶領域に保存する。なお、図７に部屋の配置例を示す。センサ５００の位置座標は、建造物の所定位置を原点としたセンサ５００の位置座標である。Ｓ３２の処理が終了すると、Ｓ３３「センサとの距離を算出」の処理に進む。
【００７３】
Ｓ３３「センサとの距離を算出」の処理において、センサ距離算出手段４３ａは、無線インターフェース５５が受信する、直接電波を受信できた各センサ５００の受信電波強度と電波の減衰曲線から、ヘッドマウントディスプレイ１００と各センサ５００との距離を算出し、「センサ情報テーブル」に保存する。Ｓ３３の処理が終了すると、Ｓ３１の判断処理に戻る。
【００７４】
（ヘッドマウントディスプレイ位置座標算出処理）
図８にヘッドマウントディスプレイ位置座標算出処理のフロー図を示して、以下当該処理について説明をする。図４のＳ１６の処理が開始すると、図８のＳ４１「近い順にセンサを４つ選択」の処理において、ヘッドマウントディスプレイ座標算出手段４３ｂは、ＲＡＭ４２の記憶領域に記憶された「センサ情報テーブル」（図６に示す）を照合して、ヘッドマウントディスプレイ１００から、最も近いセンサ５００を４つ選択する。１つの部屋には複数のセンサ５００が設けられているため、距離を算出できたセンサ５００は部屋内のセンサ５００となる。隣接した部屋のセンサ５００から直接データが受信できた場合は、壁等の減衰により遠い距離にあるセンサ５００として算出されるので、ここでは部屋内にあるセンサ５００が選択されると考えて良い。Ｓ４１の処理が終了すると、Ｓ４２「ヘッドマウントディスプレイの位置座標算出」の処理に進む。
【００７５】
Ｓ４２「ヘッドマウントディスプレイの位置座標算出」の処理において、ヘッドマウントディスプレイ座標算出手段４３ｂは、Ｓ４１の処理で選択された４つのセンサ５００それぞれについて、センサ５００の位置座標を中心とし、ヘッドマウントディスプレイ１００との距離（図６に示される「距離（ｍ）」）を半径とする４つの球の交点の座標を算出する。前記４つの球の交点が、当該交点の座標が、ヘッドマウントディスプレイ１００の「位置座標」（図７に示される建造物の所定位置を原点とした座標）である。図９に、Ｓ４２の処理で算出されたヘッドマウントディスプレイ１００の位置座標を示す。ヘッドマウントディスプレイ座標算出手段４３ｂは、ヘッドマウントディスプレイ１００の「位置座標」と、不揮発性メモリ４４に保存された境界情報４４ｂと照合して、ヘッドマウントディスプレイ１００が建造物のどの部屋にある（ユーザがどの部屋にいるか）を認識する。Ｓ４２の処理が終了すると、「ヘッドマウントディスプレイ位置座標算出処理」が終了し、図４に示される「メイン処理」のＳ１７の処理に進む。
【００７６】
なお、ヘッドマウントディスプレイ１００の「位置座標」を算出する処理は、図８に示したフローの実施形態に限定されず、ＧＰＳ（ヘッドマウントディスプレイ座標取得手段）を使用したり、無線ＬＡＮやＰＨＳの基地局を利用したりして、当該基地局が発する電波の電波強度から、ヘッドマウントディスプレイ１００の「位置座標」を算出することにしても差し支えない。また、アクティブタグ方式により、ヘッドマウントディスプレイ１００の「位置座標」を算出することにしても差し支えない。
【００７７】
（センサ選択処理）
図１０にセンサ選択処理のフロー図を示し、以下、当該フローについて説明する。図４のＳ１７の処理が開始すると、図１０のＳ５１「初期化」の処理において、ＣＰＵ４１は、「視界水平角度」ｄｈ°及び「視界垂直角度」ｄｖ°を設定する。図１１の（Ｂ）に示されるように、「視界水平角度」ｄｈ°は、ユーザの視界の水平方向の角度であり、ユーザが操作ボタン５１を操作することにより任意に設定できるようになっている。図１１の（Ｃ）に示されるように、「視界垂直角度」ｄｖ°は、ユーザの視界の垂直方向の角度であり、ユーザが操作ボタン５１を操作することにより任意に設定できるようになっている。もちろん、人間の平均的な視界となるよう予め設定されていても良い。なお、図１１の（Ａ）〜（Ｃ）のｘ、ｙ、ｚ座標は、図７に示される建造物内にいるユーザの位置（ヘッドマウントディスプレイの位置）が原点となるように、建造物を基準としてセンサの座標を決定している座標軸を平行移動した相対座標である。Ｓ５１の処理が終了すると、Ｓ５２「視線水平角度を算出」の処理に進む。
【００７８】
Ｓ５２「視線水平角度を算出」の処理において、視線方向算出手段４３ｃは、方位センサ５３から出力される信号に基づいて、図１１の（Ｂ）に示されるように、ユーザの視線方向の水平角度ｈ°を算出する。なお、水平角度ｈ°は、図７に示される建造物内にいるユーザの位置を原点とした相対座標系のｘ軸に対し視線方向がなす角度である。Ｓ５２の処理が終了すると、Ｓ５３「視線垂直角度を算出」の処理に進む。
【００７９】
Ｓ５３「視線垂直角度を算出」の処理において、視線方向算出手段４３ｃは、傾きセンサ５４から出力される信号に基づいて、図１１の（Ｃ）に示されるように、ユーザの視線方向の垂直角度ｖ°を算出する。なお、垂直角度ｖ°は、図７に示される建造物内にいるユーザの位置を原点とした相対座標系のｘ−ｙ面に対して視線方向がなす角度である。Ｓ５３の処理が終了すると、Ｓ５４「未チェックのセンサあり？」の判断処理に進む。
【００８０】
Ｓ５４「未チェックのセンサあり？」の判断処理において、ＣＰＵ４１は、Ｓ５５〜Ｓ６の処理や判断処理を経ていない未チェックのセンサ５００があるか否かを判断する。ＣＰＵ４１が、未チェックのセンサ５００があると判断した場合には、Ｓ５５「センサ相対座標」の処理に進む。一方で、ＣＰＵ４１が、未チェックのセンサ５００がないと判断した場合には、「センサ選択処理」が終了し、図４に示される「メイン処理」のＳ１８の処理に進む。
【００８１】
Ｓ５５「センサ相対座標算出」の処理において、センサ相対座標算出手段４３ｄは、ＲＡＭ４２に記憶された「センサ情報テーブル」（図６に示す）を参照して、各センサ５００の建造物を基準とした「位置座標」から、ヘッドマウントディスプレイ１００の「位置座標」を引いて、各センサ５００の「位置座標」を、ヘッドマウントディスプレイ１００を中心座標とする相対座標系に変換した「センサ相対座標」に変換する。Ｓ５５の処理が終了すると、Ｓ５６「ヘッドマウントディスプレイに対するセンサの角度を算出」の処理に進む。
【００８２】
Ｓ５６「ヘッドマウントディスプレイに対するセンサの角度を算出」の処理において、センサ選択手段４３ｆは、図１２に示されるように、ヘッドマウントディスプレイ１００を中心座標とする座標系における、ヘッドマウントディスプレイ１００に対する各センサ５００の角度を算出する。具体的には、下式（式１、式２）に、Ｓ５５の処理で算出した各センサの「センサ相対座標」を代入することにより、ヘッドマウントディスプレイ１００に対する各センサ５００の水平方向角度θ＿ｈ°及び垂直方向角度θ＿ｖ°を算出する。
【数１】
【数２】
【００８３】
なお、上式（式１、式２）から導き出される水平方向角度θ＿ｈ°及び垂直方向角度θ＿ｖ°は、２つの値が導き出されるが、Ｓ５２、Ｓ５３の処理でそれぞれ算出した、ユーザの視線方向の水平角度ｈ°と垂直角度ｖ°に近い方の値を採用する。Ｓ５６の処理が終了すると、Ｓ５７「視界領域算出」の処理に進む。
【００８４】
Ｓ５７「視界領域算出」の処理において、視界領域算出手段４３ｅは、ユーザの視界領域を算出する。
具体的には、図１２の（Ａ）に示されるように、水平角度に関し、Ｓ５２の処理で算出したユーザの視線方向の水平角度ｈ°から、Ｓ５１に処理で設定された「視界水平角度」ｄｈ°を、加算、減算した角度の範囲が、水平方向の視界の領域（以下「水平視界領域」とする）である。
また、図１２の（Ｂ）に示されるように、垂直角度に関し、Ｓ５３の処理で算出したユーザの視線方向の垂直角度ｖ°から、Ｓ５１の処理で設定された「視界垂直角度」ｄｖ°を、加算、減算した角度の範囲が、垂直方向の視界の領域（以下、「垂直視界領域」とする）である。Ｓ５７の処理が終了すると、Ｓ５８「センサが水平視界領域内にある？」の判断処理に進む。
【００８５】
Ｓ５８「センサが水平視界領域内にある？」の判断処理において、センサ選択手段４３ｆは、通信可能なセンサ５００が図１２の（Ａ）に示される「水平視界領域」内および「水平視界領域」を視界方向に延長した領域内にあるか否かを判断する。具体的には、Ｓ５６の処理で算出した、センサ５００の水平方向角度θ＿ｈ°が、下式３に合致するか否かで判断する。
（ｈ°−視界水平角度ｄｈ°）≦θ＿ｈ°≦（ｈ°＋視界水平角度ｄｈ°）……（式３）
センサ選択手段４３ｆが、通信可能なセンサ５００が「水平視界領域」内および「水平視界領域」を視界方向に延長した領域内にあると判断した場合には、Ｓ５９「センサが垂直視界領域内にある？」の判断処理に進む。一方で、センサ選択手段４３ｆが、通信可能なセンサ５００が「水平視界領域」内および「水平視界領域」を視界方向に延長した領域内にないと判断した場合には、Ｓ５４の判断処理に戻る。
【００８６】
Ｓ５９「センサが垂直視界領域内にある？」の判断処理において、センサ選択手段４３ｆは、通信可能なセンサ５００が図１２の（Ｂ）に示される「垂直視界領域」内および「垂直視界領域」を視界方向に延長した領域内にあるか否かを判断する。具体的には、Ｓ５６の処理で算出した、センサ５００の垂直方向角度θ＿ｖ°が、下式４に合致するか否かで判断する。
（ｖ°−視界垂直角度ｄｖ°）≦θ＿ｖ°≦（ｖ°＋視界垂直角度ｄｖ°）……（式４）
センサ選択手段４３ｆが、通信可能なセンサ５００が「垂直視界領域」内および「垂直視界領域」を視界方向に延長した領域内にあると判断した場合には、Ｓ６０「センサを表示リストに登録」の処理に進む。一方で、センサ選択手段４３ｆが、通信可能なセンサ５００が「垂直視界領域」内および「垂直視界領域」を視界方向に延長した領域内にないと判断した場合には、Ｓ５４の判断処理に戻る。
【００８７】
Ｓ６０「センサを表示リストに登録」の処理において、Ｓ５８及びＳ５９の処理で、ユーザの視界領域内にあると判断されたセンサ５００を図１３に示されるような「表示リスト」に登録する。Ｓ６０処理が終了すると、Ｓ５４の判断処理に戻る。
【００８８】
（センシング情報画像表示処理）
図１４にセンシング情報画像表示処理のフロー図を示して、以下当該処理について説明をする。図４のＳ１８の処理が開始するとＳ７１「透過モード？」の判断処理で、ＣＰＵ４１は、ヘッドマウントディスプレイ１００の状態が「透過モード」であるか否かを判断する。ＣＰＵ４１が、ヘッドマウントディスプレイ１００の状態が「透過モード」であると判断した場合には、Ｓ７２「ユーザが見ることができる領域のセンサを表示リストから削除」の処理に進む。一方で、ＣＰＵ４１は、ヘッドマウントディスプレイ１００の状態が「透過モード」でないと判断した場合には、Ｓ７５「非透過モード？」の判断処理に進む。
【００８９】
Ｓ７２「ユーザが見ることができる領域のセンサを表示リストから削除」の処理において、センサ選択手段４３ｆは、ユーザが見ることができる領域（ユーザが現在いる部屋）のセンサ５００を、図１３に示される「表示リスト」から削除する処理を行う。図１３において、各センサの部屋情報がヘッドマウントディスプレイ１００の存在する部屋と一致するかを判定すればよい。Ｓ７２の処理が終了すると、Ｓ７３「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理に進む。
【００９０】
Ｓ７３「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理において、画像座標算出手段４３ｇは、センサ相対座標算出手段４３ｄが算出した各センサ５００の「センサ相対座標」に基づき、センサ選択手段４３ｆが選択した各センサ５００の画像表示部２で表示する画像上の座標である「画像座標」を算出する。つまり、３次元上に配置されたセンサ５００を、画像生成装置２が生成する２次元の画像上に表示させるための座標を算出する処理を行う。具体的に、図１５及び図１６に説明図を示して説明する。図１５はヘッドマウントディスプレイ１００を中心座標とする座標系の水平座標を示した図である。
（１）ユーザの視線方向の直線をｗ軸とする。
w軸に直交する軸を、ｐ軸とする。
（２）視野範囲内の任意のセンサ５００（図１５の例では、センサＡ）を選択し、当該センサＡを通りｗ軸と、直交する直線ｖを引く。 直線ｖは、ｗａ＝ｄ＿ａ×ｃｏｓ（ｈ°−θ＿ｈ°）＝√（ｘａ２＋ｙａ２）×ｃｏｓ（ｈ°−θ＿ｈ°）（式５）と表すことができる。
（３）右側最大視野方向の直線及び左側最大視野方向の直線は、いずれもｗ軸に対する角度は視野水平角度なので、（図１２に示す）、右側の視野水平角度をｄｈ１°、左側の視野水平角度をｄｈ２°とすると、Ｐ＝ａ１ｗ（式６）Ｐ＝ａ２ｗ（式７）と表すことができる。ここで、ａ１＝ｔａｎ（−ｄｈ１°)、ａ２＝ｔａｎ（ｄｈ２°）
（４）式５及び式６とから、直線Ｖと右側最大視野方向の直線との交点ｍの座標（ｐｍ、ｗｍ）を算出する。
また、式５及び式７とから、直線Ｖと左側最大視野方向の直線との交点ｎの座標（ｐｎ、ｗｎ）を算出する。
交点ｍの座標（ｐｍ、ｗｍ）及び交点ｎの座標（ｐｎ、ｗｎ）から、下式８に示されるように、仮画面の横幅を算出する。
｜ｐｍ−ｐｎ｜…（式８）
（５）また、ｗ軸（仮想画面の中心）からのセンサＡの距離ｐ＿ａは、下式９で求めることができる。
ｐ＿ａ＝ｄ＿ａ×ｓｉｎ（ｈ°−θ＿ｈ°）＝√（ｘａ２＋ｙａ２）×ｓｉｎ（ｈ°−θ＿ｈ°）…（式９）
（６）センサＢについては、ヘッドマウントディスプレイ原点及びセンサＢを通る直線の式と、直線ｖの式から、両直線の交点の座標を算出することができ（ｘｂ’、ｙｂ’）当該座標から、上記した（１）〜（５）と同じ手法で、ｗ軸（仮想画面の中心）からのセンサＢの距離ｐ＿ｂを算出する。他のセンサ５００についても同様の手法で、仮画面上の各センサ５００の横幅方向の位置を算出する。
（７）図１６に示されるように、同様の手法で、仮画面上の各センサ５００の縦幅方向の位置を算出する。
（８）図１７に示されるように、仮画面上のセンサの位置関係を保ったまま、画像表示部２が生成する画面のサイズに縮小することにより、画像生成装置２が表示する画像上の各センサ５００の「画像座標」が算出される。
Ｓ７３の処理が終了すると、Ｓ７４「センシング情報画像及び境界線をヘッドマウントディスプレイで表示」の処理に進む。
【００９１】
Ｓ７４「センシング情報画像及び境界線をヘッドマウントディスプレイで表示」の処理において、センシング情報画像生成手段４３ｈは、Ｓ７３の処理で算出した、各センサ５００の「画像座標」及び図１８に示されるような「表示パターンテーブル」基づいて、「センシング情報画像」を生成し、当該「センシング情報画像」を画像表示部２に出力して表示する。ここで、センサの値はセンサの各画像座標に与えられるが、良く知られた等高線処理や補間処理により、図１９に見られるような面を示す画像が生成される。このような観点から、視界水平角度ｄｈ°や視界垂直角度ｄｖ°は実際にユーザの視界よりもやや広めに設定し、等高線処理や補間処理の視度を上げるようにしても良い。更に、境界情報合成手段４３ｉは、視線方向算出手段４３ｃが計測したユーザの視線方向及び、不揮発性メモリ４４に保存された境界情報４４ｂ、ヘッドマウントディスプレイ座標算出手段４３ｂが取得したヘッドマウントディスプレイの座標に基づき、部屋の境界線７１０を「センシング情報画像」に合成する。なお、前記部屋には、建造物の区切られた領域を意味し、廊下やロビー等も、本発明において部屋と見なされる。図１９は「透過モード」の状態における、ユーザの視界を表した図である。本実施形態では、「透過モード」であるので、床面の下側に、センシング情報画像７００が表示されている。更に、ユーザが視認することができない領域の境界線７１０が表示されている。図１８、図１９に示される実施形態では、センシング情報画像７００は、高濃度の一酸化炭素が滞留している領域を表している。このように、本発明のヘッドマウントディスプレイ１００を使用すれば、ユーザが見ることができない領域の「センシング情報」とともに、ユーザが視認することができない領域の境界線７１０も視認することができるので、大変臨場感がある。なお、異なる部屋ごとに境界線７１０の表示を変えて、これら境界線７１０をセンシング情報画像に合成することが好ましい。このようにすると、ユーザは、奥にある部屋と、この部屋の更に奥にある部屋のセンシング情報画像７００を区別して認識することができる。Ｓ７４の処理が終了すると、「センシング情報画像表示処理」が終了し、図４に示される「メイン処理」のＳ１９の判断処理に進む。
【００９２】
Ｓ７５「非透過モード？」の判断処理において、ＣＰＵ４１は、ヘッドマウントディスプレイ１００の状態が「非透過モード」であるか否かを判断する。ＣＰＵ４１が、ヘッドマウントディスプレイ１００の状態が「非透過モード」であると判断した場合には、Ｓ７６「ユーザが見ることができる領域以外のセンサを表示リストから削除」の処理に進む。一方で、ＣＰＵ４１は、ヘッドマウントディスプレイ１００の状態が「非透過モード」でなく「視界領域全センサ閲覧モード」と判断した場合には、Ｓ７９「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理に進む。
【００９３】
Ｓ７６「ユーザが見ることができる領域以外のセンサを表示リストから削除」の処理において、センサ選択手段４３ｆは、ユーザが見ることができる領域以外（ユーザが現在いる部屋以外の）のセンサ５００を、図１３に示される「表示リスト」から削除する処理を行う。Ｓ７６の処理が終了すると、Ｓ７７「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理に進む。
【００９４】
Ｓ７７「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理において、画像座標算出手段４３ｇは、Ｓ７３の処理と同様に、センサ相対座標算出手段４３ｄが算出した各センサ５００の「センサ相対座標」に基づき、センサ選択手段４３ｆが選択した各センサ５００の画像表示部２で表示する画像上の座標である「画像座標」を算出する。Ｓ７７の処理が終了すると、Ｓ７８「センシング情報画像をヘッドマウントディスプレイで表示」の処理に進む。
【００９５】
Ｓ７８「センシング情報画像をヘッドマウントディスプレイで表示」の処理において、センシング情報画像生成手段４３ｈは、Ｓ７７の処理で算出した、各センサ５００の「画像座標」及び、図１８に示されるような「表示パターンテーブル」基づいて、「センシング情報画像」を生成し、当該「センシング情報画像」を画像表示部２に出力して表示する。Ｓ７８の処理では、ヘッドマウントディスプレイ１００は、「非透過モード」なので、図２に示されるように、ユーザが見ることができる領域の、「センシング情報」が、画像表示部２で表示される。Ｓ７８の処理が終了すると、「センシング情報画像表示処理」が終了し、図４に示される「メイン処理」のＳ１９の判断処理に進む。
【００９６】
Ｓ７９「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理において、画像座標算出手段４３ｇは、Ｓ７３の処理やＳ７７の処理と同様に、センサ相対座標算出手段４３ｄが算出した各センサ５００の「センサ相対座標」に基づき、センサ選択手段４３ｆが選択した「表示リスト」にある全てのセンサ５００の画像表示部２で表示する画像上の座標である「画像座標」を算出する。Ｓ７９の処理が終了すると、Ｓ８０「センシング情報画像をヘッドマウントディスプレイで表示」の処理に進む。
【００９７】
Ｓ８０「センシング情報画像をヘッドマウントディスプレイで表示」の処理において、センシング情報画像生成手段４３ｈは、Ｓ７９の処理で算出した、各センサ５００の「画像座標」及び、図１８に示されるような「表示パターンテーブル」基づいて、「センシング情報画像」を生成し、当該「センシング情報画像」を画像表示部２に出力して表示する。Ｓ８０の処理では、ヘッドマウントディスプレイ１００は、「視界領域全センサ閲覧モード」なので、ユーザが見ることができる領域及びユーザが見ることができない領域の、「センシング情報」が、画像表示部２で表示される。Ｓ８０の処理が終了すると、「センシング情報画像表示処理」が終了し、図４に示される「メイン処理」のＳ１９の判断処理に進む。
【００９８】
以上説明した実施形態では、制御部４０を画像表示部２に取り付けているが、制御部４０を画像表示部２と別体構造にしても差し支えない。
【００９９】
図１に示される頭部装着部１は、眼鏡のフレーム形状をしている。頭部装着部１は、この形状に限定されず、ヘルメット形状等であってもよく、ユーザの頭部に装着される構造のものであれはすべて含まれる。頭部装着部１の側前部には、画像表示部２が取り付けられている。なお、図１に示されるヘッドマウントディスプレイ１００は、１つの画像表示部２が、頭部装着部１の側前部に取り付けられているが、２つの画像表示部２が頭部装着部１の両側前部に取り付けられ、ユーザが両眼で画像を視認することができるヘッドマウントディスプレイであっても差し支えない。また、センシング情報を受信するときに、ユーザの視界内か判断して、視界内に位置するセンサからのデータを受信するようにしても良い。これにより、処理負荷を軽減できる。
【０１００】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。
【図面の簡単な説明】
【０１０１】
【図１】本発明のヘッドマウントディスプレイの外観図である。
【図２】ヘッドマウントディスプレイを装着したユーザの視界を表した図である。
【図３】ヘッドマウントディスプレイのブロック図である。
【図４】メイン処理のフロー図である。
【図５】センシング情報取得処理のフロー図である。
【図６】センサ情報デーブルの説明図である。
【図７】部屋配置の説明図である。
【図８】ヘッドマウントディスプレイ位置座標算出処理のフロー図である。
【図９】ヘッドマウントディスプレイの位置座標を表した図である。
【図１０】センサ選択処理のフロー図である。
【図１１】視線水平角度及び視線垂直角度の説明図である。
【図１２】視界領域及びセンサ角度を求める説明図である。
【図１３】表示リストの説明図である。
【図１４】センシング情報画像表示処理のフロー図である。
【図１５】ヘッドマウントディスプレイを中心座標とする座標系の水平座標を示した図である。
【図１６】ヘッドマウントディスプレイを中心座標とする座標系の垂直座標を示した図である。
【図１７】仮画面上のセンサの位置関係を保ったまま、画像表示部が生成する画面のサイズに縮小し、画像生成装置が生成する画像上の各センサの座標を算出する説明図である。
【図１８】表示パターンテーブルの説明図である。
【図１９】ヘッドマウントディスプレイを装着したユーザの視界を表した図である。（透過モード、境界線情報を表示した図）
【図２０】非透過モードと透過モードの説明図である。
【符号の説明】
【０１０２】
１ 頭部装着部
２ 画像表示部
２０ 走査画像光照射部
２１ 走査光生成部
２２ コリメート光学系
２３ 垂直走査部
２３ａ 共振型偏向素子
２３ｂ 垂直走査制御回路
２４ 水平走査部
２４ａ 偏向素子
２４ｂ 水平走査制御回路
２５ リレー光学系
２６ リレー光学系
２６ａ レンズ系
２６ｂ レンズ系
２７ 光ファイバ
４０ 制御部
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
４３ａ センサ距離算出手段
４３ｂ ヘッドマウントディスプレイ座標算出手段
４３ｃ 視線方向算出手段
４３ｄ センサ相対座標算出手段
４３ｅ 視界領域算出手段
４３ｆ センサ選択手段
４３ｇ 画像座標算出手段
４３ｈ センシング情報画像生成手段
４３ｉ 境界情報合成手段
４４ 不揮発性メモリ
４４ａ 表示パターンテーブル
４４ｂ 境界情報
４５ 入力インターフェース
４６ バス
５０ 電源ボタン
５１ 設定変更ボタン
５２ モード切替ボタン
５３ 包囲センサ
５４ 傾きセンサ
５５ 無線インターフェース
１００ ヘッドマウントディスプレイ
２１１ 信号処理回路
２１２ 光源部
２１２ａ Ｂレーザドライバ
２１２ｂ Ｇレーザドライバ
２１２ｃ Ｒレーザドライバ
２１２ｄ Ｂレーザ
２１２ｅ Ｇレーザ
２１２ｆ Ｒレーザ
２１３ 光合成部
２１３ａ〜２１３ｃ コリメート光学系
２１３ｄ〜２１３ｆ ダイクロイックミラー
２１３ｇ 結合光学系
２１４ 画像信号
２１５ 垂直駆動信号
２１６ 水平駆動信号
５００ センサ
６００ 高濃度のガスが滞留している領域
７００ センシング情報画像（高濃度の一酸化炭素が滞留している領域）
７１０ 境界線
Ｅ 眼球
Ｅａ 瞳孔
【技術分野】
【０００１】
本発明は、ユーザが、建造物等の環境を、臨場感をもって把握することができるヘッドマウントディスプレイに関する。
【背景技術】
【０００２】
従来特許文献１に示されるように、建造物の温度等の環境情報を、建造物の見取り図とともにディスプレイに表示することができる温熱環境ディスプレイ装置が知られている。このような装置は、建造物の温度等の環境を、視覚的に把握することができる。
【０００３】
しかしながら、実際には、ユーザが建造物の見取り図から、ユーザの視覚をイメージする必要があることから、ユーザが、建造物の環境情報を、臨場感をもって把握することが困難であった。
【０００４】
【特許文献１】特開平１１−１５３４９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記問題を解決し、ユーザが建造物等の環境を、臨場感をもって把握することができるヘッドマウントディスプレイを提供することを目的になされたものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するためになされた請求項１に記載の発明は、
ユーザの頭部に装着される頭部装着部と、
前記頭部装着部の前部に取り付けられ、画像を表示し、ユーザに当該画像を視認させる画像表示部を有するヘッドマウントディスプレイにおいて、
複数位置に設置されたセンサが計測したセンシング情報及び、前記各センサの個体識別情報、各センサの座標情報を取得する情報取得手段と、
ヘッドマウントディスプレイの座標を算出又は取得するヘッドマウントディスプレイ座標取得手段と、
ユーザの視線方向を計測する視線方向計測手段と、
前記情報取得手段が取得した前記各センサの座標情報及び、前記ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づいて、ヘッドマウントディスプレイの座標を基点とした前記各センサの相対座標を算出するセンサ相対座標算出手段と、
前記視線方向計測手段が計測したユーザの視線方向情報から、ユーザの視界領域を算出する視界領域算出手段と、
前記視界領域算出手段が算出した視界領域及び、前記センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記視界領域内および視界領域を視界方向に延長した領域内にある通信可能なセンサを選択するセンサ選択手段と、
前記センサ選択手段が選択した各センサのセンサ相対座標と前記情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成するセンシング情報画像生成手段と、
を有することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、
センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記センサ選択手段が選択した各センサの前記画像表示部で表示する画像上の座標である画像座標を算出する画像座標算出手段を有し、
センシング情報画像生成手段は、前記画像座標算出手段が算出した前記各センサの画像座標及び、情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成することを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、
視界領域内および視界領域を視界方向に延長した領域にあって、少なくともユーザが見ることができない領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができない領域又はユーザが見ることができない領域に加えてユーザが見ることができる領域のセンシング情報画像を生成する透過モードと、
少なくともユーザが見ることができる領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができる領域のみのセンシング情報画像を生成する非透過モードと、
を切り替えるモード切替手段を有することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
情報取得手段は、部屋に配置された複数のセンサが計測したセンシング情報及び前記各センサの座標情報を取得し、
前記部屋の境界情報を記憶した境界情報記憶部と、
視線方向計測手段が計測したユーザの視線方向及び、前記境界情報、ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づき、前記部屋の境界線をセンシング情報画像に合成する境界線合成手段と、
を有することを特徴とする。
【００１０】
請求項５に記載の発明は、請求項４に記載の発明において、
境界線合成手段は、
異なる部屋ごとに境界線の表示を変えて、これら境界線をセンシング情報画像に合成することを特徴とする。
【００１１】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
各センサのヘッドマウントディスプレイに対する距離情報を算出するセンサ距離算出手段を有し、
ヘッドマウントディスプレイ座標取得手段は、前記センサ距離算出手段が算出した距離情報及び、情報取得手段が取得した各センサの個体識別情報及び座標情報に基づいて、ヘッドマウントディスプレイの座標を算出することを特徴とする。
【発明の効果】
【００１２】
請求項１に記載の発明は、複数位置に設置されたセンサが計測したセンシング情報及び、前記各センサの個体識別情報、各センサの座標情報を取得する情報取得手段と、ヘッドマウントディスプレイの座標を算出又は取得するヘッドマウントディスプレイ座標取得手段と、ユーザの視線方向を計測する視線方向計測手段と、前記情報取得手段が取得した前記各センサの座標情報及び、前記ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づいて、ヘッドマウントディスプレイの座標を基点とした前記各センサの相対座標を算出するセンサ相対座標算出手段と、前記視線方向計測手段が計測したユーザの視線方向情報から、ユーザの視界領域を算出する視界領域算出手段と、前記視界領域算出手段が算出した視界領域及び、前記センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記視界領域内及び視界領域を視界方向に延長した領域内にある通信可能なセンサを選択するセンサ選択手段と、前記センサ選択手段が選択した各センサのセンサ相対座標と前記情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成するセンシング情報画像生成手段とを有することを特徴とする。
このため、ユーザがセンシング情報画像を、実際のユーザの視界に重ね合わせて視認することができることから、ユーザが、センサが検知したセンシング情報を臨場感を持って把握することが可能となる。
【００１３】
請求項２に記載の発明は、センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記センサ選択手段が選択した各センサの前記画像表示部で表示する画像上の座標である画像座標を算出する画像座標算出手段を有し、センシング情報画像生成手段は、前記画像座標算出手段が算出した前記各センサの画像座標及び、情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成することを特徴とする。
このため、画像生成部で表示するセンシング情報画像を正確に表示することが可能となる。
【００１４】
請求項３に記載の発明は、視界領域内および視界領域を視界方向に延長した領域にあって、少なくともユーザが見ることができない領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができない領域又はユーザが見ることができない領域に加えてユーザが見ることができる領域のセンシング情報画像を生成する透過モードと、少なくともユーザが見ることができる領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができる領域のみのセンシング情報画像を生成する非透過モードと、
を切り替えるモード切替手段を有することを特徴とする。
このため、必要に応じて、ユーザが見ることができない領域にあるセンサが計測したセンシング情報も視認することができ、例えば、隣の部屋に存在する一酸化炭素等の有毒ガスを、予め視認することができる。
【００１５】
請求項４に記載の発明は、部屋の境界情報と、視線方向計測手段が計測したユーザの視線方向及び、前記境界情報、ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づき、前記部屋の境界線をセンシング情報画像に合成する。このため、ユーザが見ることができない領域のセンシング情報とともに、ユーザが視認することができない領域の境界線も視認することができるので、大変臨場感がある。
【００１６】
請求項５に記載の発明は、境界線合成手段は、異なる部屋ごとに境界線の表示を変えて、これら境界線をセンシング情報画像に合成するので、ユーザは、奥にある部屋と、この部屋の更に奥にある部屋のセンシング情報画像を区別して認識することが可能となる。
【００１７】
請求項６に記載の発明は、各センサのヘッドマウントディスプレイに対する距離情報を算出するセンサ距離算出手段と、前記センサ距離算出手段が算出した距離情報及び、情報取得手段が取得した各センサの個体識別情報及び座標情報に基づいて、ヘッドマウントディスプレイの座標を算出するヘッドマウントディスプレイ座標算出手段を有することを特徴とする。
このため、ヘッドマウントディスプレイの座標を正確に算出することができることから、画像生成部で表示するセンシング情報画像を正確に表示することが可能となる。
【発明を実施するための最良の形態】
【００１８】
（本発明の概要）
以下に図面を示しつつ、本発明の概要を説明する。図１は本発明のヘッドマウントディスプレイ１００の全体図である。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着される頭部装着部１と、ユーザに視認させる画像を表示する画像表示部２とから構成されている。
【００１９】
ヘッドマウントディスプレイ１００の画像表示部２には、強度が画像に応じて変調されたレーザ光を２次元に走査した走査画像光を、ユーザの眼球に直接照射して、ユーザに画像を視認させる（以下「表示」とする）走査画像光照射部２０（図３に示す）を有している。本発明のヘッドマウントディスプレイ１００は、ユーザが、画像表示部２が表示する画像を視認しつつ、外界を見ることができる、所謂シースルー型のヘッドマウントディスプレイである。
【００２０】
図２は、ヘッドマウントディスプレイ１００を、頭部に装着したユーザの視界を表した図である。本発明のヘッドマウントディスプレイ１００は、建造物等内に複数取り付けられた、センサ５００が検知するセンシング情報を読み取り、当該センシング情報を、画像表示部２で、視覚的に表示することができるようになっている。前記センサ５００が、ガス濃度を検知するセンサである場合には、図２に示されるように、高濃度のガス６００が滞留している領域を、ヘッドマウントディスプレイ１００の画像表示部２で表示させることにより、ユーザが高濃度のガス６００が滞留している領域を、実際のユーザの視界に重ね合わせて視認することができ、ユーザがセンシング情報を臨場感を持って把握することが可能となる。なお、センサ５００が検知するセンシング情報には、都市ガスや一酸化炭素等のガス濃度、温度、湿度、気圧、音量、粉塵濃度、煙、放射線量、水の存否等が含まれる。以下に、本発明のヘッドマウントディスプレイ１００を詳細に説明する。
【００２１】
（ヘッドマウントディスプレイのブロック図）
図３は本発明のヘッドマウントディスプレイ１００のブロック図である。画像表示部２は、制御部４０を有している。制御部４０は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、不揮発性メモリ４４、入力インターフェース４５、無線インターフェース５５を有していて、これらは相互にバス４６で接続されている。
【００２２】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）４１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）４２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）４３と協動して、各種演算、処理を行う。
【００２３】
ＲＡＭ４２は、ＣＰＵ４１によって処理されるプログラムや、ＣＰＵ４１で処理するデータを、そのアドレス空間に一時的に保存する。
【００２４】
ＲＯＭ４３には、ヘッドマウントディスプレイ１００を制御する各種プログラムやパラメータが保存されている。当該各種プログラムが、ＣＰＵ４１で処理されることにより、各種機能を実現している。ＲＯＭ４３には、後述するセンサ距離算出手段４３ａ、ヘッドマウントディスプレイ座標算出手段４３ｂ、視線方向算出手段４３ｃ、センサ相対座標算出手段４３ｄ、視界領域算出手段４３ｅ、センサ選択手段４３ｆ、画像座標算出手段４３ｇ、センシング情報画像生成手段４３ｈ、境界情報合成手段４３ｉ等のプログラムが保存されている。なお、不揮発性メモリ４４に、これらプログラムを保存することにしても差し支えない。
【００２５】
センサ距離算出手段４３ａは、無線インターフェース５５が受信する、各センサ５００の受信電波強度から、ヘッドマウントディスプレイ１００と各センサ５００との距離を算出する手段である。
【００２６】
ヘッドマウントディスプレイ座標算出手段４３ｂ（ヘッドマウントディスプレイ座標取得手段）は、ヘッドマウントディスプレイ１００に近い複数のセンサ５００の「位置座標」及び、センサ距離算出手段４３ａが算出した、ヘッドマウントディスプレイ１００とセンサ５００との距離から、ヘッドマウントディスプレイ１００の位置座標を算出する手段である。
【００２７】
視線方向算出手段４３ｃは、方位センサ５３及び傾きセンサ５４が検出する信号に基づいて、ユーザの視線方向を算出する手段である。
【００２８】
センサ相対座標算出手段４３ｄは、各センサ５００の「位置座標」から、ヘッドマウントディスプレイ１００の「位置座標」を引いて、各センサ５００の「位置座標」を、ヘッドマウントディスプレイ１００を中心座標とする座標系に変換した「センサ相対座標」に変換する手段である。
【００２９】
視界領域算出手段４３ｅは、視線方向算出手段４３ｃが算出した、ユーザの視線方向から、ユーザの視界領域を算出する手段である。
【００３０】
センサ選択手段４３ｆは、視界領域算出手段４３ｅが算出したユーザの視界領域及び、センサ相対座標算出手段４３ｄが算出した各センサ５００の「センサ相対座標」に基づいて、ユーザの視界領域内および視界領域を視界方向に延長した領域内にある通信可能なセンサ５００を選択する手段である。
【００３１】
画像座標算出手段４３ｇは、センサ相対座標算出手段４３ｄが算出した各センサ５００の「センサ相対座標」に基づき、センサ選択手段４３ｆが選択した各センサ５００の画像表示部２で表示する画像上の座標である「画像座標」を算出する手段である。
【００３２】
センシング情報画像生成手段４３ｈは、センサ選択手段４３ｆが選択した各センサ５００の「画像座標」と、無線インターフェース５５が取得した前記各センサ５００の「センシング情報」に基づき、画像表示部２で表示する「センシング情報画像」を生成する手段である。
【００３３】
境界情報合成手段４３ｉは、視線方向算出手段４３ｃが算出したユーザの視線方向及び、不揮発性メモリ４４に保存された境界情報４４ｂ、ヘッドマウントディスプレイ座標算出手段４３ｂが取得したヘッドマウントディスプレイの座標に基づき、部屋の境界線を「センシング情報画像」に合成する手段である。
【００３４】
なお、センサ距離算出手段４３ａ、ヘッドマウントディスプレイ座標算出手段４３ｂ、視線方向算出手段４３ｃ、センサ相対座標算出手段４３ｄ、視界領域算出手段４３ｅ、センサ選択手段４３ｆ、画像座標算出手段４３ｇ、センシング情報画像生成手段４３ｈ、境界情報合成手段４３ｉを、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成することとしても差し支えない。
【００３５】
不揮発性メモリ４４は、ヘッドマウントディスプレイ１００の各種設定や、表示パターンテーブル４４ａ、境界情報４４ｂを保存する。表示パターンテーブル４４ａは、図１８に示されるように、「センシング情報」（計測値）の閾値と、当該閾値に応じ、どのように「センシング情報画像」として表示するかを表したテーブルである。境界情報４４ｂは、図７に示されるような各部屋の境界座標の情報である。
【００３６】
入力インターフェース４５は、電源ボタン５０、設定変更ボタン５１、モード切替ボタン５２、方位センサ５３、傾きセンサ５４と接続し、これらのボタン及びセンサが出力する信号の物理的、論理的な形式を変換し、バス４６に引き渡す。
【００３７】
電源ボタン５０は、ヘッドマウントディスプレイ１００への電源の投入・遮断を行うためのボタンである。設定変更ボタン５１は、ヘッドマウントディスプレイ１００の設定の変更を行うためのボタンである。モード切替ボタン５２は、後述する「透過モード」と「非透過モード」と「視界領域全センサ閲覧モード」（広義の透過モード）とを切り替えるための手段（モード切替手段）である。なお、図１に示されているように、電源ボタン５０、設定変更ボタン５１、モード切替ボタン５２は、画像表示部２に設けられている。
【００３８】
方位センサ５３は、地磁気を検知することにより、ヘッドマウントディスプレイ１００の正面方向の方位、つまり、ユーザの視線の水平方向の方位を計測するセンサである。
【００３９】
傾きセンサ５４は、ヘッドマウントディスプレイ１００の正面方向の水平面に対する仰角や俯角、つまり、ユーザの視線の水平面に対する角度を計測するセンサである。傾きセンサ５４には、ジャイロセンサが含まれる。
【００４０】
方位センサ５３及び傾きセンサ５４から、ユーザの視線方向を計測する「視線方向計測手段」が構成されている。
【００４１】
無線インターフェース５５は、複数にセンサ５００から、「センシング情報」、「個体識別情報」、「座標情報」を受信する「情報取得手段」である。
【００４２】
走査画像光照射部２０は、強度が画像に応じて変調されたレーザ光を２次元に走査した走査画像光を生成し、当該走査画像光をユーザの眼球に直接照射し、ユーザに画像を視認させる装置である。走査画像光照射部２０は、走査光生成部２１、コリメート光学系２２、垂直走査部２３、水平走査部２４、リレー光学系２５、リレー光学系２６を有している。
【００４３】
走査光生成部２１は、センシング情報画像生成手段４３ｈが生成した「センシング情報画像」を、ドットクロック毎に読み出し、読み出した「センシング情報画像」に応じて強度変調して走査光を生成する装置である。走査光生成部２１は、信号処理回路２１１、光源部２１２、光合成部２１３を有している。
【００４４】
信号処理回路２１１は、制御部４０のバス４６と接続している。信号処理回路２１１は、制御部４０のバス４６から入力された「センシング情報画像」に基づいて、走査画像光を生成するための要素となるＢ（青）、Ｇ（緑）、Ｒ（赤）の各画像信号２１４ａ〜２１４ｃを生成し、光源部２１２に出力する。また、信号処理回路２１１は、後述する垂直走査部２３の垂直走査制御回路２３ｂと接続している。信号処理回路２１１は、垂直駆動信号２１５を生成し、この垂直駆動信号２１５を垂直走査制御回路２３ｂに出力する。更に、信号処理回路２１１は、後述する水平走査制御回路２４ｂと接続している。信号処理回路２１１は、水平駆動信号２１６を生成し、この水平駆動信号２１６を水平走査制御回路２４ｂに出力する。
【００４５】
光源部２１２は、Ｂレーザドライバ２１２ａ、Ｇレーザドライバ２１２ｂ、Ｒレーザドライバ２１２ｃ、Ｂレーザ２１２ｄ、Ｇレーザ２１２ｅ、Ｒレーザ２１２ｆから構成されている。Ｂレーザドライバ２１２ａは、信号処理回路２１１からドットクロック毎に出力されたＢ（青）の画像信号２１４ａに基づき、Ｂレーザ２１２ｄを駆動させる。Ｂレーザ２１２ｄは、Ｂ（青）の画像信号２１４ａに基づき、強度変調された青色のレーザ光を出射する。Ｇレーザ２１２ｅ及びＲレーザ２１２ｆも、同様に、それぞれ強度変調された、緑色のレーザ光、赤色のレーザ光を出射する。
【００４６】
各レーザ２１２ｄ〜２１２ｆには、半導体レーザや、高調波発生機能付固定レーザが含まれる。なお、半導体レーザを用いる場合には、駆動電流を直接変調して、レーザ光の強度変調を行う。また、高調波発生機能付固定レーザを用いる場合には、各レーザ２１２ｄ〜２１２ｆそれぞれに、外部変調器を備えてレーザ光の強度変調を行う。
【００４７】
光合成部２１３は、コリメート光学系２１３ａ〜２１３ｃ、ダイクロイックミラー２１３ｄ〜２１３ｆ、結合光学系２１３ｇとから構成されている。コリメート光学系２１３ａ〜２１３ｃは、それぞれ、レーザ２１２ｄ〜２１２ｆの前方に配設されていて、各レーザ２１２ｄ〜２１２ｆが出射したレーザ光を、平行光化する。ダイクロイックミラー２１３ｄ〜２１３ｆは、それぞれ、コリメート光学系２１３ａ〜２１３ｃの前方に配設されていて、各コリメート光学系２１３ａ〜２１３ｃが平行化した各レーザ光を、所定の範囲の波長のレーザ光のみを選択的に、反射又は透過する。
【００４８】
結合光学系２１３ｇは、ダイクロイックミラー２１３ｄの前方に配設されている。ダイクロイックミラー２１３ｄを透過した青色のレーザ光及び、ダイクロイックミラー２１３ｅ、２１３ｆをそれぞれ反射した、緑色のレーザ光、赤色のレーザ光が、結合光学系２１３ｇに入射する。結合光学系２１３ｇは、各３原色のレーザ光を集光（混合）させて、光ファイバ２７に入射させる。
【００４９】
垂直走査部２３及び水平走査部２４は、光ファイバ２７に入射されたレーザ光を、画像として照射するために、当該レーザ光を垂直方向と水平方向に走査して走査画像光を生成する。
【００５０】
垂直走査部２３は、共振型偏向素子２３ａ、垂直走査制御回路２３ｂとから構成されている。光ファイバ２７に入射されたレーザ光は、コリメート光学系２２で平行光化され、共振型偏向素子２３ａに入射される。共振型偏向素子２３ａは、垂直走査制御回路２３ｂで揺動される反射面２３ｄを有し、入射されたレーザ光を、揺動する反射面２３ｄで反射させて垂直方向に走査する。垂直走査制御回路２３ｂは、信号処理回路２１１から出力される垂直駆動信号２１５に基づいて、共振型偏向素子２３ａの反射面２３ｄを揺動させる駆動信号を発生する。
【００５１】
水平走査部２４は、偏向素子２４ａ、水平走査制御回路２４ｂ、とから構成されている。偏向素子２４ａは、水平走査制御回路２４ｂで揺動される反射面２４ｄを有し、入射されたレーザ光を、揺動する反射面２４ｄで反射させて水平方向に走査し、２次元的に走査された画像光として、リレー光学系２６に出射する。水平走査制御回路２４ｂは、信号処理回路２１１から出力される水平駆動信号２１６に基づいて、偏向素子２４ａの反射面２４ｄを揺動させる駆動信号を発生する。
【００５２】
リレー光学系２５は、共振型偏向素子２３ａと偏向素子２４ａの間に配設されている。リレー光学系２５は、共振型偏向素子２３ａの反射面２３ｄで、垂直方向に走査されたレーザ光を収束させて、偏向素子２４ａの反射面２４ｄに入射させる。
【００５３】
信号処理回路２１１は、電源が投入されれば、垂直駆動信号２１５と水平駆動信号２１６を、それぞれ垂直走査制御回路２３ｂと水平走査制御回路２４ｂに出力し、反射面２３ｄ、２４ｄを振動させ、安定して２次元走査をさせるよう制御を行う。
【００５４】
リレー光学系２６は、正の屈折力を持つレンズ系２６ａ、２６ｂを有している。偏向素子２４ａから出射された画像光は、レンズ系２６ａによって、それぞれの画像光が、その走査画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。前記収束画像光は、レンズ系２６ｂによってそれぞれほぼ平行な走査画像光となるとともに、これらの走査画像光の中心線がユーザの瞳孔Ｅａに収束するように集光される。
【００５５】
なお、本実施形態では、光ファイバ２７から入射されたレーザ光を、垂直走査部２３で垂直方向に走査した後、水平走査部２４によって水平方向に走査することとしたが、垂直走査部２３と水平走査部２４の配置を入れ替え、水平走査部２４に水平方向に走査した後、垂直走査部２３で垂直方向に走査するように構成しても差し支えない。
【００５６】
（メイン処理）
図４にメイン処理のフロー図を示し、メイン処理について説明する。ユーザが電源ボタン５０を操作することにより、ヘッドマウントディスプレイ１００の電源が投入されると、Ｓ１１「初期化」の処理に進む。Ｓ１１の処理において、ユーザは、設定変更ボタン５１を操作することにより、「表示更新間隔」や「モード」を設定することができる。「表示更新間隔」とは、画像表示部２で表示する「センシング情報画像」を更新する間隔である。なお、「モード」には、「非透過モード」、「透過モード」、「視界領域全センサ閲覧モード」（広義の透過モード）がある。図２０に示されるように、「非透過モード」とは、ヘッドマウントディスプレイ１００がある領域、つまり、ユーザが見ることができる領域（例えば、ユーザが居る部屋）に取り付けられたセンサ５００が計測した「センシング情報」のみから、「センシング情報画像」を生成するモードである。「透過モード」とは、ヘッドマウントディスプレイ１００が無い領域、つまり、ユーザが見ることができない領域に取り付けられたセンサ５００が計測した「センシング情報」から、「センシング情報画像」を生成するモードである。Ｓ１１の処理が終了すると、Ｓ１２「センシング情報受信処理起動」の処理に進む。
【００５７】
Ｓ１２「センシング情報受信処理起動」の処理において、ＣＰＵ４１は、図５に示される、「センシング情報受信処理」を起動させる。当該処理については、図５を用いて後で詳細に説明する。Ｓ１２の処理が終了すると、Ｓ１３「タイマースタート」の処理に進む。
【００５８】
Ｓ１３「タイマースタート」の処理において、ＣＰＵ４１は、「センシング情報画像」を更新するためのタイマーをスタートさせる処理を行う。Ｓ１３の処理が終了すると、Ｓ１５「表示更新間隔時間経過？」の判断処理に進む。
【００５９】
Ｓ１５「表示更新間隔時間経過？」の判断処理において、ＣＰＵ４１は、Ｓ１３の処理でスタートさせたタイマーが、「表示更新間隔」を経過したか判断する。ＣＰＵ４１が、「表示更新間隔」を経過したと判断した場合には、Ｓ１６「ヘッドマウントディスプレイ位置座標算出処理」に進む。ＣＰＵ１１が、「表示更新間隔」を経過していないと判断した場合には、Ｓ２１「透過モードＯＮ？」の判断処理に進む。
【００６０】
Ｓ２１「透過モードＯＮ？」の判断処理において、ＣＰＵ４１は、ユーザがモード切替ボタン５２を押圧することにより「透過モード」が選択されたか否かを判断する。ＣＰＵ４１が、「透過モード」が選択されたと判断した場合には、Ｓ２２「透過モードに切替処理」の処理に進む。一方で、ＣＰＵ４１が、「透過モード」が選択されたと判断しない場合には、Ｓ２５「非透過モードＯＮ？」の判断処理に進む。
【００６１】
Ｓ２２「透過モードに切替処理」において、ＣＰＵ４１は、「透過モード」に切り替える処理を実行する。Ｓ２２の処理が終了すると、Ｓ１５の判断処理に戻る。
【００６２】
Ｓ２５「非透過モードＯＮ？」の判断処理において、ＣＰＵ４１は、ユーザがモード切替ボタン５２を押圧することにより「非透過モード」が選択されたか否かを判断する。ＣＰＵ４１が、「非透過モード」が選択されたと判断した場合には、Ｓ２６「非透過モードに切替処理」の処理に進む。一方で、ＣＰＵ４１が、「非透過モード」が選択されたと判断しない場合には、Ｓ２８「視界領域全センサ閲覧モードON？」の判断処理に進む。
【００６３】
Ｓ２６「非透過モードに切替処理」において、ＣＰＵ４１は、「非透過モード」に切り替える処理を実行する。Ｓ２６の処理が終了すると、Ｓ１５の判断処理に戻る。
【００６４】
Ｓ２８「視界領域全センサ閲覧モードON？」の判断処理において、ＣＰＵ４１は、ユーザがモード切替ボタン５２を押圧することにより「視界領域全センサ閲覧モード」が選択されたか否かを判断する。ＣＰＵ４１が、「視界領域全センサ閲覧モード」が選択されたと判断した場合には、Ｓ２９「視界領域全センサ閲覧モードに切替処理」の処理に進む。一方で、ＣＰＵ４１が、「視界領域全センサ閲覧モード」が選択されたと判断しない場合には、Ｓ１５の判断処理に戻る。
【００６５】
Ｓ２９「視界領域全センサ閲覧モードに切替処理」において、ＣＰＵ４１は、「視界領域全センサ閲覧モード」に切り替える処理を実行する。Ｓ２９の処理が終了すると、Ｓ１５の判断処理に戻る。
【００６６】
Ｓ１６「ヘッドマウントディスプレイ位置座標算出処理」において、図８を用いて後で詳細に説明するが、ヘッドマウントディスプレイ座標算出手段４３ｂは、ヘッドマウントディスプレイ１００の「位置座標」を算出する。Ｓ１６の処理が終了すると、Ｓ１７「センサ選択処理」に進む。
【００６７】
Ｓ１７「センサ選択処理」において。図１０を用いて後で詳細に説明するが、センサ選択手段４３ｆは、ユーザの「視界領域」内および「視界領域」を視界方向に延長した領域内にある通信可能なセンサ５００を選択する。Ｓ１７の処理が終了すると、Ｓ１８「センシング情報表示処理」に進む。
【００６８】
Ｓ１８「センシング情報画像表示処理」において、図１４を用いて後で詳細に説明するが、センシング情報画像生成手段４３ｈは、「センシング情報画像」を生成する。Ｓ１８の処理が終了すると、Ｓ１９「電源ＯＦＦ？」
【００６９】
Ｓ１９「電源ＯＦＦ？」の判断処理において、ＣＰＵ４１は、電源ボタン５０の押下を検知し、ユーザがヘッドマウントディスプレイ１００の電源をＯＦＦにする操作を行ったか否かを判断する。ＣＰＵ４１が、電源ボタン５０の押下を検知した場合には、Ｓ２０「起動中の全ての処理を中止」の処理に進む。ＣＰＵ４１が、電源ボタン５０の押下を検知しない場合には、Ｓ１３の処理に戻る。
【００７０】
Ｓ２０「起動中の全ての処理を中止」の処理において、ＣＰＵ４１は、起動中の全ての処理を終了させて、ヘッドマウントディスプレイ１００の電源をＯＦＦにする。Ｓ２０の処理が終了すると、「ヘッドマウントディスプレイメイン処理」が終了する。
【００７１】
（センシング情報受信処理）
図５にセンシング情報取得処理のフロー図を示して、当該処理について説明する。Ｓ１２の処理で、ＣＰＵ４１が、「センシング情報受信処理」を開始させると、以下の処理がメイン処理と並列に実行される。まず、Ｓ３１「センサからデータ受信？」の判断処理に進む。Ｓ３１の判断処理において、ＣＰＵ４１が、センサ５００からデータを受信したと判断した場合には、Ｓ３２「センサ情報テーブルに保存」の処理に進む。なお、前記データは、「個体識別情報」、「座標情報」、「部屋情報」、「センシング情報」である。ここで、通常、ユーザがいる部屋内のセンサ５００からは直接無線通信によりデータを受信できる。また一例としてユーザがいない部屋にあるセンサ５００からのデータは、ユーザが視界領域を視界方向に延長した方向の近くのセンサ５００に転送され、これを順次ユーザがいる部屋にあるセンサ５００にまで繰り返すことにより、ユーザがいない部屋のセンサ５００からのデータもユーザがいる部屋のセンサ５００から受信することができる。いわゆるセンサネットワークが形成され、センサ５００がマルチホップ通信（リレー通信）を行う場合には、建物内の離れた部屋、直接電波の届かないところにあるセンサ５００からのデータも全て受信することができることも可能である。
【００７２】
Ｓ３２「センサ情報テーブルに保存」の処理において、ＣＰＵ４１は、各センサ５００から受信した、「個体識別情報」（センサＩＤ）、「座標情報」（位置座標）、「部屋情報」（部屋）、「センシング情報」（計測値（％））を、図６に示されるような「センサ情報テーブル」として、ＲＡＭ４２の記憶領域に保存する。なお、図７に部屋の配置例を示す。センサ５００の位置座標は、建造物の所定位置を原点としたセンサ５００の位置座標である。Ｓ３２の処理が終了すると、Ｓ３３「センサとの距離を算出」の処理に進む。
【００７３】
Ｓ３３「センサとの距離を算出」の処理において、センサ距離算出手段４３ａは、無線インターフェース５５が受信する、直接電波を受信できた各センサ５００の受信電波強度と電波の減衰曲線から、ヘッドマウントディスプレイ１００と各センサ５００との距離を算出し、「センサ情報テーブル」に保存する。Ｓ３３の処理が終了すると、Ｓ３１の判断処理に戻る。
【００７４】
（ヘッドマウントディスプレイ位置座標算出処理）
図８にヘッドマウントディスプレイ位置座標算出処理のフロー図を示して、以下当該処理について説明をする。図４のＳ１６の処理が開始すると、図８のＳ４１「近い順にセンサを４つ選択」の処理において、ヘッドマウントディスプレイ座標算出手段４３ｂは、ＲＡＭ４２の記憶領域に記憶された「センサ情報テーブル」（図６に示す）を照合して、ヘッドマウントディスプレイ１００から、最も近いセンサ５００を４つ選択する。１つの部屋には複数のセンサ５００が設けられているため、距離を算出できたセンサ５００は部屋内のセンサ５００となる。隣接した部屋のセンサ５００から直接データが受信できた場合は、壁等の減衰により遠い距離にあるセンサ５００として算出されるので、ここでは部屋内にあるセンサ５００が選択されると考えて良い。Ｓ４１の処理が終了すると、Ｓ４２「ヘッドマウントディスプレイの位置座標算出」の処理に進む。
【００７５】
Ｓ４２「ヘッドマウントディスプレイの位置座標算出」の処理において、ヘッドマウントディスプレイ座標算出手段４３ｂは、Ｓ４１の処理で選択された４つのセンサ５００それぞれについて、センサ５００の位置座標を中心とし、ヘッドマウントディスプレイ１００との距離（図６に示される「距離（ｍ）」）を半径とする４つの球の交点の座標を算出する。前記４つの球の交点が、当該交点の座標が、ヘッドマウントディスプレイ１００の「位置座標」（図７に示される建造物の所定位置を原点とした座標）である。図９に、Ｓ４２の処理で算出されたヘッドマウントディスプレイ１００の位置座標を示す。ヘッドマウントディスプレイ座標算出手段４３ｂは、ヘッドマウントディスプレイ１００の「位置座標」と、不揮発性メモリ４４に保存された境界情報４４ｂと照合して、ヘッドマウントディスプレイ１００が建造物のどの部屋にある（ユーザがどの部屋にいるか）を認識する。Ｓ４２の処理が終了すると、「ヘッドマウントディスプレイ位置座標算出処理」が終了し、図４に示される「メイン処理」のＳ１７の処理に進む。
【００７６】
なお、ヘッドマウントディスプレイ１００の「位置座標」を算出する処理は、図８に示したフローの実施形態に限定されず、ＧＰＳ（ヘッドマウントディスプレイ座標取得手段）を使用したり、無線ＬＡＮやＰＨＳの基地局を利用したりして、当該基地局が発する電波の電波強度から、ヘッドマウントディスプレイ１００の「位置座標」を算出することにしても差し支えない。また、アクティブタグ方式により、ヘッドマウントディスプレイ１００の「位置座標」を算出することにしても差し支えない。
【００７７】
（センサ選択処理）
図１０にセンサ選択処理のフロー図を示し、以下、当該フローについて説明する。図４のＳ１７の処理が開始すると、図１０のＳ５１「初期化」の処理において、ＣＰＵ４１は、「視界水平角度」ｄｈ°及び「視界垂直角度」ｄｖ°を設定する。図１１の（Ｂ）に示されるように、「視界水平角度」ｄｈ°は、ユーザの視界の水平方向の角度であり、ユーザが操作ボタン５１を操作することにより任意に設定できるようになっている。図１１の（Ｃ）に示されるように、「視界垂直角度」ｄｖ°は、ユーザの視界の垂直方向の角度であり、ユーザが操作ボタン５１を操作することにより任意に設定できるようになっている。もちろん、人間の平均的な視界となるよう予め設定されていても良い。なお、図１１の（Ａ）〜（Ｃ）のｘ、ｙ、ｚ座標は、図７に示される建造物内にいるユーザの位置（ヘッドマウントディスプレイの位置）が原点となるように、建造物を基準としてセンサの座標を決定している座標軸を平行移動した相対座標である。Ｓ５１の処理が終了すると、Ｓ５２「視線水平角度を算出」の処理に進む。
【００７８】
Ｓ５２「視線水平角度を算出」の処理において、視線方向算出手段４３ｃは、方位センサ５３から出力される信号に基づいて、図１１の（Ｂ）に示されるように、ユーザの視線方向の水平角度ｈ°を算出する。なお、水平角度ｈ°は、図７に示される建造物内にいるユーザの位置を原点とした相対座標系のｘ軸に対し視線方向がなす角度である。Ｓ５２の処理が終了すると、Ｓ５３「視線垂直角度を算出」の処理に進む。
【００７９】
Ｓ５３「視線垂直角度を算出」の処理において、視線方向算出手段４３ｃは、傾きセンサ５４から出力される信号に基づいて、図１１の（Ｃ）に示されるように、ユーザの視線方向の垂直角度ｖ°を算出する。なお、垂直角度ｖ°は、図７に示される建造物内にいるユーザの位置を原点とした相対座標系のｘ−ｙ面に対して視線方向がなす角度である。Ｓ５３の処理が終了すると、Ｓ５４「未チェックのセンサあり？」の判断処理に進む。
【００８０】
Ｓ５４「未チェックのセンサあり？」の判断処理において、ＣＰＵ４１は、Ｓ５５〜Ｓ６の処理や判断処理を経ていない未チェックのセンサ５００があるか否かを判断する。ＣＰＵ４１が、未チェックのセンサ５００があると判断した場合には、Ｓ５５「センサ相対座標」の処理に進む。一方で、ＣＰＵ４１が、未チェックのセンサ５００がないと判断した場合には、「センサ選択処理」が終了し、図４に示される「メイン処理」のＳ１８の処理に進む。
【００８１】
Ｓ５５「センサ相対座標算出」の処理において、センサ相対座標算出手段４３ｄは、ＲＡＭ４２に記憶された「センサ情報テーブル」（図６に示す）を参照して、各センサ５００の建造物を基準とした「位置座標」から、ヘッドマウントディスプレイ１００の「位置座標」を引いて、各センサ５００の「位置座標」を、ヘッドマウントディスプレイ１００を中心座標とする相対座標系に変換した「センサ相対座標」に変換する。Ｓ５５の処理が終了すると、Ｓ５６「ヘッドマウントディスプレイに対するセンサの角度を算出」の処理に進む。
【００８２】
Ｓ５６「ヘッドマウントディスプレイに対するセンサの角度を算出」の処理において、センサ選択手段４３ｆは、図１２に示されるように、ヘッドマウントディスプレイ１００を中心座標とする座標系における、ヘッドマウントディスプレイ１００に対する各センサ５００の角度を算出する。具体的には、下式（式１、式２）に、Ｓ５５の処理で算出した各センサの「センサ相対座標」を代入することにより、ヘッドマウントディスプレイ１００に対する各センサ５００の水平方向角度θ＿ｈ°及び垂直方向角度θ＿ｖ°を算出する。
【数１】
【数２】
【００８３】
なお、上式（式１、式２）から導き出される水平方向角度θ＿ｈ°及び垂直方向角度θ＿ｖ°は、２つの値が導き出されるが、Ｓ５２、Ｓ５３の処理でそれぞれ算出した、ユーザの視線方向の水平角度ｈ°と垂直角度ｖ°に近い方の値を採用する。Ｓ５６の処理が終了すると、Ｓ５７「視界領域算出」の処理に進む。
【００８４】
Ｓ５７「視界領域算出」の処理において、視界領域算出手段４３ｅは、ユーザの視界領域を算出する。
具体的には、図１２の（Ａ）に示されるように、水平角度に関し、Ｓ５２の処理で算出したユーザの視線方向の水平角度ｈ°から、Ｓ５１に処理で設定された「視界水平角度」ｄｈ°を、加算、減算した角度の範囲が、水平方向の視界の領域（以下「水平視界領域」とする）である。
また、図１２の（Ｂ）に示されるように、垂直角度に関し、Ｓ５３の処理で算出したユーザの視線方向の垂直角度ｖ°から、Ｓ５１の処理で設定された「視界垂直角度」ｄｖ°を、加算、減算した角度の範囲が、垂直方向の視界の領域（以下、「垂直視界領域」とする）である。Ｓ５７の処理が終了すると、Ｓ５８「センサが水平視界領域内にある？」の判断処理に進む。
【００８５】
Ｓ５８「センサが水平視界領域内にある？」の判断処理において、センサ選択手段４３ｆは、通信可能なセンサ５００が図１２の（Ａ）に示される「水平視界領域」内および「水平視界領域」を視界方向に延長した領域内にあるか否かを判断する。具体的には、Ｓ５６の処理で算出した、センサ５００の水平方向角度θ＿ｈ°が、下式３に合致するか否かで判断する。
（ｈ°−視界水平角度ｄｈ°）≦θ＿ｈ°≦（ｈ°＋視界水平角度ｄｈ°）……（式３）
センサ選択手段４３ｆが、通信可能なセンサ５００が「水平視界領域」内および「水平視界領域」を視界方向に延長した領域内にあると判断した場合には、Ｓ５９「センサが垂直視界領域内にある？」の判断処理に進む。一方で、センサ選択手段４３ｆが、通信可能なセンサ５００が「水平視界領域」内および「水平視界領域」を視界方向に延長した領域内にないと判断した場合には、Ｓ５４の判断処理に戻る。
【００８６】
Ｓ５９「センサが垂直視界領域内にある？」の判断処理において、センサ選択手段４３ｆは、通信可能なセンサ５００が図１２の（Ｂ）に示される「垂直視界領域」内および「垂直視界領域」を視界方向に延長した領域内にあるか否かを判断する。具体的には、Ｓ５６の処理で算出した、センサ５００の垂直方向角度θ＿ｖ°が、下式４に合致するか否かで判断する。
（ｖ°−視界垂直角度ｄｖ°）≦θ＿ｖ°≦（ｖ°＋視界垂直角度ｄｖ°）……（式４）
センサ選択手段４３ｆが、通信可能なセンサ５００が「垂直視界領域」内および「垂直視界領域」を視界方向に延長した領域内にあると判断した場合には、Ｓ６０「センサを表示リストに登録」の処理に進む。一方で、センサ選択手段４３ｆが、通信可能なセンサ５００が「垂直視界領域」内および「垂直視界領域」を視界方向に延長した領域内にないと判断した場合には、Ｓ５４の判断処理に戻る。
【００８７】
Ｓ６０「センサを表示リストに登録」の処理において、Ｓ５８及びＳ５９の処理で、ユーザの視界領域内にあると判断されたセンサ５００を図１３に示されるような「表示リスト」に登録する。Ｓ６０処理が終了すると、Ｓ５４の判断処理に戻る。
【００８８】
（センシング情報画像表示処理）
図１４にセンシング情報画像表示処理のフロー図を示して、以下当該処理について説明をする。図４のＳ１８の処理が開始するとＳ７１「透過モード？」の判断処理で、ＣＰＵ４１は、ヘッドマウントディスプレイ１００の状態が「透過モード」であるか否かを判断する。ＣＰＵ４１が、ヘッドマウントディスプレイ１００の状態が「透過モード」であると判断した場合には、Ｓ７２「ユーザが見ることができる領域のセンサを表示リストから削除」の処理に進む。一方で、ＣＰＵ４１は、ヘッドマウントディスプレイ１００の状態が「透過モード」でないと判断した場合には、Ｓ７５「非透過モード？」の判断処理に進む。
【００８９】
Ｓ７２「ユーザが見ることができる領域のセンサを表示リストから削除」の処理において、センサ選択手段４３ｆは、ユーザが見ることができる領域（ユーザが現在いる部屋）のセンサ５００を、図１３に示される「表示リスト」から削除する処理を行う。図１３において、各センサの部屋情報がヘッドマウントディスプレイ１００の存在する部屋と一致するかを判定すればよい。Ｓ７２の処理が終了すると、Ｓ７３「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理に進む。
【００９０】
Ｓ７３「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理において、画像座標算出手段４３ｇは、センサ相対座標算出手段４３ｄが算出した各センサ５００の「センサ相対座標」に基づき、センサ選択手段４３ｆが選択した各センサ５００の画像表示部２で表示する画像上の座標である「画像座標」を算出する。つまり、３次元上に配置されたセンサ５００を、画像生成装置２が生成する２次元の画像上に表示させるための座標を算出する処理を行う。具体的に、図１５及び図１６に説明図を示して説明する。図１５はヘッドマウントディスプレイ１００を中心座標とする座標系の水平座標を示した図である。
（１）ユーザの視線方向の直線をｗ軸とする。
w軸に直交する軸を、ｐ軸とする。
（２）視野範囲内の任意のセンサ５００（図１５の例では、センサＡ）を選択し、当該センサＡを通りｗ軸と、直交する直線ｖを引く。 直線ｖは、ｗａ＝ｄ＿ａ×ｃｏｓ（ｈ°−θ＿ｈ°）＝√（ｘａ２＋ｙａ２）×ｃｏｓ（ｈ°−θ＿ｈ°）（式５）と表すことができる。
（３）右側最大視野方向の直線及び左側最大視野方向の直線は、いずれもｗ軸に対する角度は視野水平角度なので、（図１２に示す）、右側の視野水平角度をｄｈ１°、左側の視野水平角度をｄｈ２°とすると、Ｐ＝ａ１ｗ（式６）Ｐ＝ａ２ｗ（式７）と表すことができる。ここで、ａ１＝ｔａｎ（−ｄｈ１°)、ａ２＝ｔａｎ（ｄｈ２°）
（４）式５及び式６とから、直線Ｖと右側最大視野方向の直線との交点ｍの座標（ｐｍ、ｗｍ）を算出する。
また、式５及び式７とから、直線Ｖと左側最大視野方向の直線との交点ｎの座標（ｐｎ、ｗｎ）を算出する。
交点ｍの座標（ｐｍ、ｗｍ）及び交点ｎの座標（ｐｎ、ｗｎ）から、下式８に示されるように、仮画面の横幅を算出する。
｜ｐｍ−ｐｎ｜…（式８）
（５）また、ｗ軸（仮想画面の中心）からのセンサＡの距離ｐ＿ａは、下式９で求めることができる。
ｐ＿ａ＝ｄ＿ａ×ｓｉｎ（ｈ°−θ＿ｈ°）＝√（ｘａ２＋ｙａ２）×ｓｉｎ（ｈ°−θ＿ｈ°）…（式９）
（６）センサＢについては、ヘッドマウントディスプレイ原点及びセンサＢを通る直線の式と、直線ｖの式から、両直線の交点の座標を算出することができ（ｘｂ’、ｙｂ’）当該座標から、上記した（１）〜（５）と同じ手法で、ｗ軸（仮想画面の中心）からのセンサＢの距離ｐ＿ｂを算出する。他のセンサ５００についても同様の手法で、仮画面上の各センサ５００の横幅方向の位置を算出する。
（７）図１６に示されるように、同様の手法で、仮画面上の各センサ５００の縦幅方向の位置を算出する。
（８）図１７に示されるように、仮画面上のセンサの位置関係を保ったまま、画像表示部２が生成する画面のサイズに縮小することにより、画像生成装置２が表示する画像上の各センサ５００の「画像座標」が算出される。
Ｓ７３の処理が終了すると、Ｓ７４「センシング情報画像及び境界線をヘッドマウントディスプレイで表示」の処理に進む。
【００９１】
Ｓ７４「センシング情報画像及び境界線をヘッドマウントディスプレイで表示」の処理において、センシング情報画像生成手段４３ｈは、Ｓ７３の処理で算出した、各センサ５００の「画像座標」及び図１８に示されるような「表示パターンテーブル」基づいて、「センシング情報画像」を生成し、当該「センシング情報画像」を画像表示部２に出力して表示する。ここで、センサの値はセンサの各画像座標に与えられるが、良く知られた等高線処理や補間処理により、図１９に見られるような面を示す画像が生成される。このような観点から、視界水平角度ｄｈ°や視界垂直角度ｄｖ°は実際にユーザの視界よりもやや広めに設定し、等高線処理や補間処理の視度を上げるようにしても良い。更に、境界情報合成手段４３ｉは、視線方向算出手段４３ｃが計測したユーザの視線方向及び、不揮発性メモリ４４に保存された境界情報４４ｂ、ヘッドマウントディスプレイ座標算出手段４３ｂが取得したヘッドマウントディスプレイの座標に基づき、部屋の境界線７１０を「センシング情報画像」に合成する。なお、前記部屋には、建造物の区切られた領域を意味し、廊下やロビー等も、本発明において部屋と見なされる。図１９は「透過モード」の状態における、ユーザの視界を表した図である。本実施形態では、「透過モード」であるので、床面の下側に、センシング情報画像７００が表示されている。更に、ユーザが視認することができない領域の境界線７１０が表示されている。図１８、図１９に示される実施形態では、センシング情報画像７００は、高濃度の一酸化炭素が滞留している領域を表している。このように、本発明のヘッドマウントディスプレイ１００を使用すれば、ユーザが見ることができない領域の「センシング情報」とともに、ユーザが視認することができない領域の境界線７１０も視認することができるので、大変臨場感がある。なお、異なる部屋ごとに境界線７１０の表示を変えて、これら境界線７１０をセンシング情報画像に合成することが好ましい。このようにすると、ユーザは、奥にある部屋と、この部屋の更に奥にある部屋のセンシング情報画像７００を区別して認識することができる。Ｓ７４の処理が終了すると、「センシング情報画像表示処理」が終了し、図４に示される「メイン処理」のＳ１９の判断処理に進む。
【００９２】
Ｓ７５「非透過モード？」の判断処理において、ＣＰＵ４１は、ヘッドマウントディスプレイ１００の状態が「非透過モード」であるか否かを判断する。ＣＰＵ４１が、ヘッドマウントディスプレイ１００の状態が「非透過モード」であると判断した場合には、Ｓ７６「ユーザが見ることができる領域以外のセンサを表示リストから削除」の処理に進む。一方で、ＣＰＵ４１は、ヘッドマウントディスプレイ１００の状態が「非透過モード」でなく「視界領域全センサ閲覧モード」と判断した場合には、Ｓ７９「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理に進む。
【００９３】
Ｓ７６「ユーザが見ることができる領域以外のセンサを表示リストから削除」の処理において、センサ選択手段４３ｆは、ユーザが見ることができる領域以外（ユーザが現在いる部屋以外の）のセンサ５００を、図１３に示される「表示リスト」から削除する処理を行う。Ｓ７６の処理が終了すると、Ｓ７７「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理に進む。
【００９４】
Ｓ７７「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理において、画像座標算出手段４３ｇは、Ｓ７３の処理と同様に、センサ相対座標算出手段４３ｄが算出した各センサ５００の「センサ相対座標」に基づき、センサ選択手段４３ｆが選択した各センサ５００の画像表示部２で表示する画像上の座標である「画像座標」を算出する。Ｓ７７の処理が終了すると、Ｓ７８「センシング情報画像をヘッドマウントディスプレイで表示」の処理に進む。
【００９５】
Ｓ７８「センシング情報画像をヘッドマウントディスプレイで表示」の処理において、センシング情報画像生成手段４３ｈは、Ｓ７７の処理で算出した、各センサ５００の「画像座標」及び、図１８に示されるような「表示パターンテーブル」基づいて、「センシング情報画像」を生成し、当該「センシング情報画像」を画像表示部２に出力して表示する。Ｓ７８の処理では、ヘッドマウントディスプレイ１００は、「非透過モード」なので、図２に示されるように、ユーザが見ることができる領域の、「センシング情報」が、画像表示部２で表示される。Ｓ７８の処理が終了すると、「センシング情報画像表示処理」が終了し、図４に示される「メイン処理」のＳ１９の判断処理に進む。
【００９６】
Ｓ７９「センサのヘッドマウントディスプレイで表示する画像上の画像座標を算出」の処理において、画像座標算出手段４３ｇは、Ｓ７３の処理やＳ７７の処理と同様に、センサ相対座標算出手段４３ｄが算出した各センサ５００の「センサ相対座標」に基づき、センサ選択手段４３ｆが選択した「表示リスト」にある全てのセンサ５００の画像表示部２で表示する画像上の座標である「画像座標」を算出する。Ｓ７９の処理が終了すると、Ｓ８０「センシング情報画像をヘッドマウントディスプレイで表示」の処理に進む。
【００９７】
Ｓ８０「センシング情報画像をヘッドマウントディスプレイで表示」の処理において、センシング情報画像生成手段４３ｈは、Ｓ７９の処理で算出した、各センサ５００の「画像座標」及び、図１８に示されるような「表示パターンテーブル」基づいて、「センシング情報画像」を生成し、当該「センシング情報画像」を画像表示部２に出力して表示する。Ｓ８０の処理では、ヘッドマウントディスプレイ１００は、「視界領域全センサ閲覧モード」なので、ユーザが見ることができる領域及びユーザが見ることができない領域の、「センシング情報」が、画像表示部２で表示される。Ｓ８０の処理が終了すると、「センシング情報画像表示処理」が終了し、図４に示される「メイン処理」のＳ１９の判断処理に進む。
【００９８】
以上説明した実施形態では、制御部４０を画像表示部２に取り付けているが、制御部４０を画像表示部２と別体構造にしても差し支えない。
【００９９】
図１に示される頭部装着部１は、眼鏡のフレーム形状をしている。頭部装着部１は、この形状に限定されず、ヘルメット形状等であってもよく、ユーザの頭部に装着される構造のものであれはすべて含まれる。頭部装着部１の側前部には、画像表示部２が取り付けられている。なお、図１に示されるヘッドマウントディスプレイ１００は、１つの画像表示部２が、頭部装着部１の側前部に取り付けられているが、２つの画像表示部２が頭部装着部１の両側前部に取り付けられ、ユーザが両眼で画像を視認することができるヘッドマウントディスプレイであっても差し支えない。また、センシング情報を受信するときに、ユーザの視界内か判断して、視界内に位置するセンサからのデータを受信するようにしても良い。これにより、処理負荷を軽減できる。
【０１００】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。
【図面の簡単な説明】
【０１０１】
【図１】本発明のヘッドマウントディスプレイの外観図である。
【図２】ヘッドマウントディスプレイを装着したユーザの視界を表した図である。
【図３】ヘッドマウントディスプレイのブロック図である。
【図４】メイン処理のフロー図である。
【図５】センシング情報取得処理のフロー図である。
【図６】センサ情報デーブルの説明図である。
【図７】部屋配置の説明図である。
【図８】ヘッドマウントディスプレイ位置座標算出処理のフロー図である。
【図９】ヘッドマウントディスプレイの位置座標を表した図である。
【図１０】センサ選択処理のフロー図である。
【図１１】視線水平角度及び視線垂直角度の説明図である。
【図１２】視界領域及びセンサ角度を求める説明図である。
【図１３】表示リストの説明図である。
【図１４】センシング情報画像表示処理のフロー図である。
【図１５】ヘッドマウントディスプレイを中心座標とする座標系の水平座標を示した図である。
【図１６】ヘッドマウントディスプレイを中心座標とする座標系の垂直座標を示した図である。
【図１７】仮画面上のセンサの位置関係を保ったまま、画像表示部が生成する画面のサイズに縮小し、画像生成装置が生成する画像上の各センサの座標を算出する説明図である。
【図１８】表示パターンテーブルの説明図である。
【図１９】ヘッドマウントディスプレイを装着したユーザの視界を表した図である。（透過モード、境界線情報を表示した図）
【図２０】非透過モードと透過モードの説明図である。
【符号の説明】
【０１０２】
１ 頭部装着部
２ 画像表示部
２０ 走査画像光照射部
２１ 走査光生成部
２２ コリメート光学系
２３ 垂直走査部
２３ａ 共振型偏向素子
２３ｂ 垂直走査制御回路
２４ 水平走査部
２４ａ 偏向素子
２４ｂ 水平走査制御回路
２５ リレー光学系
２６ リレー光学系
２６ａ レンズ系
２６ｂ レンズ系
２７ 光ファイバ
４０ 制御部
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
４３ａ センサ距離算出手段
４３ｂ ヘッドマウントディスプレイ座標算出手段
４３ｃ 視線方向算出手段
４３ｄ センサ相対座標算出手段
４３ｅ 視界領域算出手段
４３ｆ センサ選択手段
４３ｇ 画像座標算出手段
４３ｈ センシング情報画像生成手段
４３ｉ 境界情報合成手段
４４ 不揮発性メモリ
４４ａ 表示パターンテーブル
４４ｂ 境界情報
４５ 入力インターフェース
４６ バス
５０ 電源ボタン
５１ 設定変更ボタン
５２ モード切替ボタン
５３ 包囲センサ
５４ 傾きセンサ
５５ 無線インターフェース
１００ ヘッドマウントディスプレイ
２１１ 信号処理回路
２１２ 光源部
２１２ａ Ｂレーザドライバ
２１２ｂ Ｇレーザドライバ
２１２ｃ Ｒレーザドライバ
２１２ｄ Ｂレーザ
２１２ｅ Ｇレーザ
２１２ｆ Ｒレーザ
２１３ 光合成部
２１３ａ〜２１３ｃ コリメート光学系
２１３ｄ〜２１３ｆ ダイクロイックミラー
２１３ｇ 結合光学系
２１４ 画像信号
２１５ 垂直駆動信号
２１６ 水平駆動信号
５００ センサ
６００ 高濃度のガスが滞留している領域
７００ センシング情報画像（高濃度の一酸化炭素が滞留している領域）
７１０ 境界線
Ｅ 眼球
Ｅａ 瞳孔
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着される頭部装着部と、
前記頭部装着部の前部に取り付けられ、画像を表示し、ユーザに当該画像を視認させる画像表示部を有するヘッドマウントディスプレイにおいて、
複数位置に設置されたセンサが計測したセンシング情報及び、前記各センサの個体識別情報、各センサの座標情報を取得する情報取得手段と、
ヘッドマウントディスプレイの座標を算出又は取得するヘッドマウントディスプレイ座標取得手段と、
ユーザの視線方向を計測する視線方向計測手段と、
前記情報取得手段が取得した前記各センサの座標情報及び、前記ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づいて、ヘッドマウントディスプレイの座標を基点とした前記各センサの相対座標を算出するセンサ相対座標算出手段と、
前記視線方向計測手段が計測したユーザの視線方向情報から、ユーザの視界領域を算出する視界領域算出手段と、
前記視界領域算出手段が算出した視界領域及び、前記センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記視界領域内および視界領域を視界方向に延長した領域内にある通信可能なセンサを選択するセンサ選択手段と、
前記センサ選択手段が選択した各センサのセンサ相対座標と前記情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成するセンシング情報画像生成手段と、
を有することを特徴とするヘッドマウントディスプレイ。
【請求項２】
センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記センサ選択手段が選択した各センサの前記画像表示部で表示する画像上の座標である画像座標を算出する画像座標算出手段を有し、
センシング情報画像生成手段は、前記画像座標算出手段が算出した前記各センサの画像座標及び、情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
視界領域内および視界領域を視界方向に延長した領域にあって、少なくともユーザが見ることができない領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができない領域又はユーザが見ることができない領域に加えてユーザが見ることができる領域のセンシング情報画像を生成する透過モードと、
少なくともユーザが見ることができる領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができる領域のみのセンシング情報画像を生成する非透過モードと、
を切り替えるモード切替手段を有することを特徴とする請求項１又は請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
情報取得手段は、部屋に配置された複数のセンサが計測したセンシング情報及び前記各センサの座標情報を取得し、
前記部屋の境界情報を記憶した境界情報記憶部と、
視線方向計測手段が計測したユーザの視線方向及び、前記境界情報、ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づき、前記部屋の境界線をセンシング情報画像に合成する境界線合成手段と、
を有することを特徴とする請求項１〜請求項３にいずれかに記載のヘッドマウントディスプレイ。
【請求項５】
境界線合成手段は、
異なる部屋ごとに境界線の表示を変えて、これら境界線をセンシング情報画像に合成することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
【請求項６】
各センサのヘッドマウントディスプレイに対する距離情報を算出するセンサ距離算出手段を有し、
ヘッドマウントディスプレイ座標取得手段は、前記センサ距離算出手段が算出した距離情報及び、情報取得手段が取得した各センサの個体識別情報及び座標情報に基づいて、ヘッドマウントディスプレイの座標を算出することを特徴とする請求項１〜請求項５のいずれかに記載のヘッドマウントディスプレイ。
【請求項１】
ユーザの頭部に装着される頭部装着部と、
前記頭部装着部の前部に取り付けられ、画像を表示し、ユーザに当該画像を視認させる画像表示部を有するヘッドマウントディスプレイにおいて、
複数位置に設置されたセンサが計測したセンシング情報及び、前記各センサの個体識別情報、各センサの座標情報を取得する情報取得手段と、
ヘッドマウントディスプレイの座標を算出又は取得するヘッドマウントディスプレイ座標取得手段と、
ユーザの視線方向を計測する視線方向計測手段と、
前記情報取得手段が取得した前記各センサの座標情報及び、前記ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づいて、ヘッドマウントディスプレイの座標を基点とした前記各センサの相対座標を算出するセンサ相対座標算出手段と、
前記視線方向計測手段が計測したユーザの視線方向情報から、ユーザの視界領域を算出する視界領域算出手段と、
前記視界領域算出手段が算出した視界領域及び、前記センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記視界領域内および視界領域を視界方向に延長した領域内にある通信可能なセンサを選択するセンサ選択手段と、
前記センサ選択手段が選択した各センサのセンサ相対座標と前記情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成するセンシング情報画像生成手段と、
を有することを特徴とするヘッドマウントディスプレイ。
【請求項２】
センサ相対座標算出手段が算出した前記各センサのセンサ相対座標に基づき、前記センサ選択手段が選択した各センサの前記画像表示部で表示する画像上の座標である画像座標を算出する画像座標算出手段を有し、
センシング情報画像生成手段は、前記画像座標算出手段が算出した前記各センサの画像座標及び、情報取得手段が取得した前記各センサのセンシング情報に基づき、画像表示部で表示するセンシング情報画像を生成することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
視界領域内および視界領域を視界方向に延長した領域にあって、少なくともユーザが見ることができない領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができない領域又はユーザが見ることができない領域に加えてユーザが見ることができる領域のセンシング情報画像を生成する透過モードと、
少なくともユーザが見ることができる領域にあるセンサが計測したセンシング情報に基づいて、ユーザが見ることができる領域のみのセンシング情報画像を生成する非透過モードと、
を切り替えるモード切替手段を有することを特徴とする請求項１又は請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
情報取得手段は、部屋に配置された複数のセンサが計測したセンシング情報及び前記各センサの座標情報を取得し、
前記部屋の境界情報を記憶した境界情報記憶部と、
視線方向計測手段が計測したユーザの視線方向及び、前記境界情報、ヘッドマウントディスプレイ座標取得手段が取得したヘッドマウントディスプレイの座標に基づき、前記部屋の境界線をセンシング情報画像に合成する境界線合成手段と、
を有することを特徴とする請求項１〜請求項３にいずれかに記載のヘッドマウントディスプレイ。
【請求項５】
境界線合成手段は、
異なる部屋ごとに境界線の表示を変えて、これら境界線をセンシング情報画像に合成することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
【請求項６】
各センサのヘッドマウントディスプレイに対する距離情報を算出するセンサ距離算出手段を有し、
ヘッドマウントディスプレイ座標取得手段は、前記センサ距離算出手段が算出した距離情報及び、情報取得手段が取得した各センサの個体識別情報及び座標情報に基づいて、ヘッドマウントディスプレイの座標を算出することを特徴とする請求項１〜請求項５のいずれかに記載のヘッドマウントディスプレイ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−１５１８６７（Ｐ２０１０−１５１８６７Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３２６８８３（Ｐ２００８−３２６８８３）
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]