ヘッドマウントディスプレイ
【課題】観察者の眼球に向けて表示光が出射されるHMDの映像投影面における表示出射エリアが、HMDが装着された観察者頭部の変動に連動することなくHMDの設置空間における虚像形成面が固定されるように、映像投影面上を移動することにより、観察者に実際にモニタが設置された環境を体感させる。
【解決手段】HMDは、実像を表示する表示素子と、表示光を観察者に導く導光部材110と、姿勢監視センサと、姿勢監視センサからの検出情報に基づいて表示素子を制御する制御部を備える。制御部は、導光部材110の映像投影面110aの姿勢変動とは無関係に、HMDが設置された空間において拡大映像Iとして認識される虚像形成面が固定されるよう、表示素子に対して表示制御を行う。
【解決手段】HMDは、実像を表示する表示素子と、表示光を観察者に導く導光部材110と、姿勢監視センサと、姿勢監視センサからの検出情報に基づいて表示素子を制御する制御部を備える。制御部は、導光部材110の映像投影面110aの姿勢変動とは無関係に、HMDが設置された空間において拡大映像Iとして認識される虚像形成面が固定されるよう、表示素子に対して表示制御を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観察者頭部に装着された状態で該観察者に任意の拡大画像を提示可能にするためのヘッドマウントディスプレイ(Head Mounted Display:以下、HMDという)に関し、特に、モニタ設置環境を体感可能にする擬似空間を該観察者に提供するための光透過型のヘッドマウントディスプレイに関するものである。
【背景技術】
【0002】
通常、一般家庭のリビング等で映像など視覚情報を見る場合、図1(a)に示されたような構成をとるのが一般的である。すなわち、観察者10はテーブル40を前にしてイス30に腰掛けている。このテーブル40上にはモニタ21を含む表示装置20が設置されており、観察者10は所定距離離れた状態でモニタ21に表示される映像を見ることになる。
【0003】
しかしながら近年、鉄道、自動車、航空機等の交通機関のように、十分なモニタ設置スペースが確保できない環境において、映像等の視覚情報の提供手段として、観察者頭部に装着させるHMDが開発されている。特に、このようなHMDには、以下の特許文献1に開示されたように、観察者自身の視野を確保した状態で視覚情報を提供する光透過型のHMDがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−92810号公報
【特許文献2】日本国特許第3074677号
【非特許文献】
【0005】
【非特許文献1】研野孝吉「HMDの最新の動向と展望」、電子情報通信学会、信学技報EID2000−222、2000年11月
【発明の概要】
【発明が解決しようとする課題】
【0006】
発明者らは、従来のHMDについて検討した結果、以下のような課題を発見した。すなわち、従来のHMDは、観察者頭部に装着された状態で使用されるため、実際のモニタ装置等の設置が困難な環境下においても観察者に所定倍率の拡大映像の提示を可能にする。そのため、図1(b)に示されたように、観察者10が頭部にHMD50を装着すれば、観察者10自身は、実際には虚像形成面IP上に提示される虚像Iを認識することになり、モニタ設置環境を擬似空間において体感できる一方、モニタ設置スペースの効果的な節約が可能になる。
【0007】
しかしながら、従来のHMD50は、観察者10に提供される表示光の出射位置が固定されているため、観察者10の頭部変動に連動して観察者自身が認識する虚像Iも常に観察者10の視野内に提示されることとなる。これは、観察者10が映像観察以外の非観察動作を行う場合にも虚像Iが観察者10の視野内に提示されていることを意味しており、いくら光透過型のHMDと言えども、非観察動作に支障を来たすのは明らかである。観察動作と非観察動作が繰り返される環境としては、例えば手術などが行われる医療現場が考えられる。この医療現場での手術は、種々の計測機器のモニタ画面を確認する動作と、精密な手作業が要求される手術動作(非観察動作)が繰り返されるのは周知である。このような環境下において、非観察動作中に観察者の視野内に映像が提示されたのでは、手術自体に支障をきたしてしまうことになる。
【0008】
本発明は、上述のような課題を解決するためになされたものであり、モニタ設置環境を体感可能にする擬似空間、すなわち、実際のモニタ設置環境と同様にモニタ画面の観察動作と非観察動作が観察者頭部の姿勢変動に連動して任意に実現できる擬似空間を該観察者に提供するための構造を備えた光透過型ヘッドマウントディスプレイを提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明に係るヘッドマウントディスプレイ(HMD)は、観察者の前方視野を確保した状態で、観察者の頭部に装着された状態で該観察者に任意の拡大映像を提示可能にするための構造を備え、具体的には、表示素子と、可視光を透過できる材料からなる導光部材と、姿勢監視センサと、姿勢監視センサからの検出情報に基づいて表示素子に対して表示制御を行う制御部とを備える。ここで、表示素子は、観察者に提示すべき映像(虚像)の映像源となる実像を表示する。導光部材は、表示素子から出射された表示光を映像投影面を介して観察者の眼球に導く。姿勢監視センサは、観察者の頭部に連動して変化する導光部材の映像投影面の姿勢変動を検出する。制御部は、導光部材の映像投影面の姿勢変動に連動することなく当該HMDが設置された空間において拡大映像として認識される虚像形成面が固定されるよう、表示素子に対して表示制御を行う。
【0010】
上述の構成により、観察者の眼球に向けて表示光が出射される当該HMDの映像投影面における表示出射エリアは、当該HMDが装着された観察者頭部の変動に連動することなく当該HMDの設置空間における虚像形成面が固定されるように、映像投影面上を移動する。このとき、観察者は、自己の頭部と一体的に変動する映像投影面を介して認識される虚像形成面が固定しているように体感できるため、当該観察者自身は、実際にモニタが設置された環境と同様の感覚で作業等、観察以外の動作を円滑に行うことが可能になる。したがって、本発明に係るHMDは、単にモニタ設置が困難な環境での使用のみならず、医療現場、テレビ会議など、従来から円滑な作業遂行のためにモニタを利用してきた種々の分野への適用を可能にする。
【0011】
本発明に係るHMDにおいて、姿勢監視センサは、一またはそれ以上の加速度センサを含むのが好ましい。また、表示素子は、発光型、非発光型の何れであってもよい。発光型表示素子としては、例えば、プラズマディスプレイ、エレクトロルミネセンス(EL)デバイス、発光ダイオード(LED)アレイなどが知られている。非発光型表示素子としては、例えば、液晶ディスプレイ、ホログラフィック素子などが知られている。
【0012】
なお、本発明に係るHMDにおいて、制御部は、映像投影面の姿勢が予め設定された値を超える加速度で変動したことを姿勢監視センサが検出したとき、表示素子の映像表示動作を停止させるのが好ましい。急激な姿勢変化は、観察者自身の緊急事態と判断される可能性が高いため、映像投影面の姿勢変動に関わらず、観察者の十分な視野を確保する必要があるからである。また、当該HMDの長寿命化を考慮すれば、制御部は、映像投影面に予め設定された表示光の出射可能エリア内において、映像投影面から観察者の眼球に向けて実際に出射される表示光の出射エリアが存在しなくなったとき、表示素子の映像表示動作を停止させるのが好ましい。さらに、表示されるべき映像情報としては、ナビゲーション情報の提供も可能であることから、当該HMDはGPS機能を備えてもよい。
【0013】
上述のような構造を備えたHMD(本発明に係るHMD)は、従来からモニタを利用してきた分野、例えば双方向データ通信技術を利用したテレビ会議システムなどへ適用され得る。この場合、当該HMDは、所定の伝送手段を介して双方向データ通信を可能にするコミュニケーションシステムに適用可能な情報端末装置の一部を構成する。すなわち、本発明に係る情報端末装置は、上述のような構造を有するHMDと、このHMDを装着した観察者を撮影するための撮像装置と、伝送手段との間で、撮像装置に取り込まれた映像情報を含むデータの送受信を可能にするための入出力部を備える。
【0014】
なお、本発明に係る各実施例は、以下の詳細な説明及び添付図面によりさらに十分に理解可能となる。これら実施例は単に例示のために示されるものであって、この発明を限定するものと考えるべきではない。
【0015】
また、この発明のさらなる応用範囲は、以下の詳細な説明から明らかになる。しかしながら、詳細な説明及び特定の事例はこの発明の好適な実施例を示すものではあるが、例示のためにのみ示されているものであって、この発明の範囲における様々な変形および改良はこの詳細な説明から当業者には自明であることは明らかである。
【発明の効果】
【0016】
本発明によれば、観察者の眼球に向けて表示光が出射される当該HMDの映像投影面における表示光出射エリアは、当該HMDが装着された観察者頭部の変動に連動することなく当該HMDの設置空間における虚像形成面が固定されるように、映像投影面上を移動する。この構成により、観察者自身は実際にモニタが設置された環境を体感することが可能になる。
【図面の簡単な説明】
【0017】
【図1】本発明に係るHMDにより実現される擬似空間を概念的に説明するための図である。
【図2】本発明に係るHMDの第1実施形態の概観及び機能を説明するための図である。
【図3】第1実施形態に係るHMDにおける導波部材の構造を、拡大映像の表示原理とともに説明するための図である。
【図4】第1実施形態に係るHMDにより実現される擬似空間(モニタ設置環境)を説明するための図である。
【図5】第1実施形態に係るHMDの基本構成を示す図である。
【図6】第1実施形態に係るHMDにおける姿勢監視センサの機能を説明するための図である。
【図7】第1実施形態に係るHMDにおける制御部で実行される、表示制御を説明するための図である。
【図8】第1実施形態に係るHMDにおける制御部で実行される、設定モードおよび固定表示モードを説明するためのフローチャートである。
【図9】第1実施形態に係るHMDにおける制御部で実行される、変動表示モードを説明するためのフローチャートである。
【図10】本発明に係るHMDの第2および第3実施形態の概観を示す図である。
【図11】本発明に係る情報端末装置の構成を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明に係るヘッドマウントディスプレイ(HMD)の各実施形態を、図2〜図11を参照しながら詳細に説明する。なお、なお、図面の説明において同一の要素には同一符号を付して重複する説明を省略する。
【0019】
図2は、本発明に係るHMDの第1実施形態の概観及び機能を説明するための図である。特に、図2(a)には、第1実施形態に係るHMDとして、両眼ゴーグル型のHMDが示されている。なお、このHMD100は、可視光を透過可能な材料からなる導光部材110と、この導光部材110を観察者頭部に保持するための一対の支持部材を備えた光透過型HMDである。導光部材110は、観察者の眼球EYE(図2(b)参照)に対面する内側面110a(表示光が眼球EYEに向けて出射される映像投影面)と、内側面110aに対向する外側面110bを有する。一方の支持部材には、実像を表示する表示素子121a(図2(b)参照)を含む表示制御装置120aが内臓されるとともに、当該表示制御装置120aの入出力デバイスとして、観察者の指示情報を入力するためのスイッチユニット130、音声情報を観察者に提供するためのイヤホン140aがそれぞれ設けられている。他方の支持部材にも同様に、表示制御装置120bが内臓されており、この表示制御装置120bの入出力デバイスとしてイヤホン140bが設けられている。
【0020】
この第1実施形態に係るHMD100において、表示素子121aから出射された表示光は、導光部材110内、すなわち当該導光部材110の左側半分に相当する領域内を伝搬し、映像投影面110aから観察者の左眼球EYEに到達する。一方、表示素子121bから出射された表示光も、導光部材110の右側半分に相当する領域内を伝搬し、映像投影面110aから観察者の右眼球EYEに到達する。このとき、映像投影面110aの左側から左眼球EYEに照射される表示光の出射角(映像投影面110aと表示光の光軸との角度であって、水平成分と垂直成分により与えられる)と、映像投影面110aの右側から右眼球EYEに照射される表示光の出射角に視差角を与えることにより、図2(b)に示されたような虚像Iが観察者に提示される。なお、この視差角は、導光部材110の表面110bから虚像形成面までの距離のデフォルト値、すなわち観察者に提示される虚像Iの拡大倍率のデフォルト値を規定するパラメータとなる。
【0021】
図3は、第1実施形態に係るHMDにおける導波部材の構造を、拡大映像の表示原理とともに説明するための図である。
【0022】
導光部材110には、例えば図3(a)に示されたように曲面11a〜11Cで構成された偏心自由曲面光学系11により実現可能である(非特許文献1参照)。また、第1実施形態に係るHMD100の導光部材110は、図3(b)に示されたように互いに対向する面110a、110bを有する導光板である。この面110a、110bそれぞれは、偏心自由曲面光学系11における曲面11b、11cそれぞれと同様に機能するフレネルレンズとして表面加工されている。なお、図3(b)は、図2(a)中に示されたI−I線に沿った導光部材110の断面図に相当している。何れの導光部材110も可視光を透過可能な材料、例えばガラス材料、アクリル樹脂などのプラスティック材料で構成されており、特に、表面がフレネルレンズとして加工された導光板(図3(b))の場合、可視光に対する透過率が低下するが、少なくとも50%以上、好ましくは70%以上の透過率を有する材料であるのが好ましい。さらに、図3(a)および図3(b)の何れに示された導光部材も、各面が誘電体多層膜によりハーフミラーコーティングされていてもよい。
【0023】
具体的に、表示光による虚像形成の原理を図3(a)の偏心自由曲面光学系11を用いて説明すると、図3(c)に示されたように、実像を表示する表示素子12からの表示光は曲面11aを介して、当該光学系11内に出射される。この表示光は曲面11bおよび曲面11cにおいてそれぞれ全反射され、再度曲面11b(投影曲面)から観察者の眼球EYEに到達する。このとき、観察者には、図3(c)に示されたように、曲面11cから所定距離離れた位置(虚像形成面上)に虚像Iが提示される。
【0024】
なお、図2の第1実施形態に係るHMD100の場合、図3(d)に示されたように、導光部材110の互いに対向する面110a、110bのうち、観察者の眼球EYEに直接対面する面110aが、表示光が出射される映像投影面として機能する。また、この映像投影面110aには、予め表示光の出射可能エリア111が設定されており、この出射可能エリア111内に、実際に観察者の眼球EYEに向けて表示光が出射される出射エリア112が存在することとなる。なお、当該導光部材110の面110a、110bそれぞれは、これら面110a、110bが協働することで出射可能エリア111内の何れの位置から出射される表示光も観察者の眼球EYEに到達させるように設計されたフレネルレンズとして機能する。
【0025】
次に、第1実施形態に係るHMD100により実現される、モニタ設置環境の擬似空間の形成メカニズムを、図4を参照しながら説明する。なお、図4では、説明を簡単化するため、導光部材110は単眼用の部材として示されている。
【0026】
当該HMD100により観察者に提示される虚像(拡大映像)Iは、観察者の視野、すなわち、導光部材110を介して眼球EYEに到達可能な可視光の入射可能角度V(視野角)によって規定される空間内に形成される。このとき、表示光の実際の出射エリア112は、導光部材110の映像投影面110a上に予め設定された出射可能エリア111の中心に位置する(図4の下段中央)。
【0027】
当該HMD110では、制御部123が、導光部材110の映像投影面110aの姿勢変動に連動することなく当該HMD100が設置された空間において拡大映像として認識される虚像形成面(虚像I)が固定されるよう、表示素子121に対して表示制御を行う。具体的には、観察者頭部が左右に回転した場合、この回転運動に連動して導光部材110も、図4上段に示されたように、矢印Aあるいは矢印Bで示された方向に移動する。
【0028】
例えば、矢印Aで示された方向に映像投影面110aが移動した場合、映像投影面110aの出射可能エリア111内において、出射エリア112の位置は、図4下段左に示されたように、中央から右側に移動する。一方、矢印Bで示された方向に映像投影面110aが移動した場合、映像投影面110aの出射可能エリア111内において、出射エリア112の位置は、図4下段右に示されたように、中央から左側に移動する。この構成により、相対的に虚像Iの形成位置は、当該HMD100が設置される空間内において固定される。したがって、観察者は、自己の頭部と一体的に変動する映像投影面110aを介して認識される虚像Iが固定しているように体感できるため、当該観察者自身は、実際にモニタが設置された環境と同様の感覚で作業等、観察以外の動作を円滑に行うことが可能になる。
【0029】
次に、この第1実施形態に係るHMD100の一部を構成する表示制御装置120(図2(a)中の表示制御装置120a、120bそれぞれに相当)の基本構成を、図5(a)を参照しながら具体的に説明する。なお、当該HMD100の携帯性を向上させるため、表示制御装置120は駆動用バッテリーを備えているのが好ましい。
【0030】
図5(a)に示されたように、表示制御装置120は、映像データ、静止画像データ等の観察者に提供する情報が格納されている情報処理装置190(PC)から必要な映像データ(複数の画像フレームで構成された映画や測定機器のモニタ画像を含む)を取り込むための入出力部122(I/O)と、観察者に提供される実像を表示する表示素子121(図2(b)における表示素子121a、121bそれぞれに相当)と、制御部123と、ユーザインターフェースを介して観察者からの支持情報を取り込むための入出力部124(I/O)と、メモリ125と、導光部材110における映像投影面110aの姿勢変動を検出するための姿勢監視センサ126と、スイッチユニット130と、スピーカ130(図2(a)におけるイヤホン130a、130bそれぞれに相当)を備える。
【0031】
なお、情報処理装置190とI/O122との間のデータ通信方式は、有線、無線の何れであってもよい。表示素子は、二次元表示素子が好ましく、発光型、非発光型の何れであってもよい。発光型表示素子としては、例えば、プラズマディスプレイ、エレクトロルミネセンス(EL)デバイス、発光ダイオード(LED)アレイなどが知られている。非発光型表示素子としては、例えば、液晶ディスプレイ、ホログラフィック素子などが知られている。制御部123は、主に表示素子120に対して表示制御を行う。メモリ125は、初期設定用の映像データ、姿勢監視センサ126により検出された姿勢情報の他、I/O122を介して情報処理装置190から送信された表示用の映像データを格納する。姿勢監視センサ126は、それぞれ直交する平面成分の姿勢変動を検出するx−y加速度センサ126aと、x−z加速度センサ126bから構成されている。なお、これらx−y加速度センサ126a、x−z加速度センサ126bは、加速度センサであるのが好ましい。スイッチユニット130は、観察者の指示情報を入力するためのユーザインターフェースであり、スピーカ140は、音声情報を観察者に提供するためのユーザインターフェースである。
【0032】
制御部123では、具体的に図5(b)に示された動作モードが実行される。すなわち、制御部123は、当該HMD100の初期状態(姿勢監視センサ126による姿勢変動検出の基準位置となる当該HMD100の設置空間内の座標原点)を決定するための設定モードと、具体的な表示動作を規定する表示モードを実行する。また、制御部123は、地震、事故などの不測の事態発生に備え緊急モードも実行される。なお、緊急モードを除く各動作モードの切り替えは、スイッチユニット130を介して観察者が行う。また、表示モードには、従来のHMDと同様の映像表示が可能な固定表示モードと、観察者にモニタ設置環境を体感させる擬似空間を提供する変動表示モードが用意されている。
【0033】
また、上述のように姿勢監視センサ126は、HMD100が設置された空間における当該HMD100、具体的には導光部材110の映像投影面110aの水平変動成分の変動を検出するためのx−y加速度センサ126aと、垂直変動成分を検出するx−z加速度センサ126bを含む。
【0034】
すなわち、x−y加速度センサ126aは、図6(a)に示されたように、当該HMD100が装着された観察者頭部がz軸を中心に図中の矢印zcで示された方向に回転したときの水平変動成分を検出する。具体的には、導光部材100をx−y平面に投影したときの像が矢印A1またはB1に移動したときの変動量および変動加速度を検出する。一方、x−z加速度センサ126bは、図6(b)に示されたように、当該HMD100が装着された観察者頭部がy軸を中心に図中の矢印ycで示された方向に回転したときの垂直変動成分を検出する。具体的には、導光部材100をx−z平面に投影したときの像が矢印A2またはB2に移動したときの変動量および変動加速度を検出する。
【0035】
なお、図6に示された姿勢監視用の座標系は、制御部123により実行される設定モードで予め初期姿勢が決定されることにより特定される(設定モードにより設定された初期姿勢における当該センサ126a、126bそれぞれの位置が座標原点に設定される)。
【0036】
次に、この第1実施形態に係るHMD100における制御部123で実行される表示制御(表示位置および拡大倍率の制御)を、図7を参照しながら説明する。
【0037】
第1実施形態に係るHMD100では、二次元表示可能な表示素子120の表示可能エリア1211と、映像投影面110aに予め設定された表示光の出射可能エリア111が対応している。したがって、制御部123が、表示素子120の表示可能エリア1211内における実像1212の表示位置およびサイズを任意に設定することにより、出射可能エリア111内における表示光の出射エリア112の位置制御および観察者に提示される虚像Iの拡大倍率の制御が可能になる。ここで、導光部材110の各面110a、110bは、表示可能エリア111内の何れの位置に出射エリア112が位置している場合にも表示光が観察者の眼球EYEに到達可能なように、フレネルレンズとして表面加工されている。
【0038】
なお、表示素子120に対する制御部123の表示制御は、種々の変形が可能である。例えば、図7(b)に示されたように、導光部材110と表示素子120との間の空間にレンズL、反射鏡などを配置しておき、制御部123がこれら光学部材の姿勢を変更するよう駆動系191を制御することによっても、表示制御が可能になる。例えば、駆動系191によるレンズLの姿勢制御は、このレンズLを互いに直交している軸L1、L2それぞれを中心に回転させることにより行われる。また、虚像Iの拡大倍率は表示素子121の表示可能エリア1211内に表示される実像1212の大きさを変更することにより調整できるが、光学部材の姿勢制御により拡大倍率の制御が行われてもよい。
【0039】
続いて、図5(b)に示された制御部123において実行される種々の動作モードを、図8および図9のフローチャートを用いて詳細に説明する。
【0040】
まず、制御部123で実行される設定モードを、図8(a)のフローチャートを用いて説明する。この設定モードは、姿勢監視センサ126による映像投影面110aの姿勢変動を検知するための基準姿勢を設定するモードである。すなわち、図8(a)に示されたように、制御部123は、メモリ125から基準姿勢設定用の映像データまたは静止画像データを読み出し、表示素子121に読み出されたデータを表示させる(デフォルト表示:ステップST801)。このとき、制御部123は、固定表示モードとして虚像I(拡大映像)を観察者に提示するため、従来技術と同様に当該HMD100の姿勢変化に連動して観察者に提示される虚像Iも変動する。当該HMD100の基準姿勢は、スイッチユニット130を介して観察者自身が行う(ステップST802)。この基準姿勢の決定情報は、具体的には図6に示されたように、x−y加速度センサ126aおよびx−z加速度センサ126bの原点座標であり、この決定情報が姿勢変動の検出基準情報としてメモリ125に格納される(ステップST803)。
【0041】
続いて、制御部123で実行される表示モードのうち、固定表示モードを、図8(b)のフローチャートを用いて説明する。なお、この固定表示モードは、当該HMD100の姿勢変動に連動して、観察者に提示される虚像Iの形成位置も変動する。
【0042】
この固定表示モードは、当該HMD100の動作開始時点から実行される場合と、後述する変動表示モードから切り替えられる場合とがある。当該HMD100の動作開示時から固定表示モードが実行される場合、まず、メモリ125に格納されているデフォルトの表示制御情報が制御部123に取り込まれ(ステップST811)、該制御部123が、この表示制御情報に基づいて、表示素子121の表示可能エリア1211内に実像1212を表示させる。一方、後述の変動表示モードから固定表示モードに切り替えられた場合、この切り替え時点における表示制御情報が、固定モードにおけるデフォルトの表示制御情報として利用される。したがって、予め変動表示モードで観察者の視野の任意位置に虚像Iが表示された状態で固定表示モードに切り替えることにより、観察者の視野内における任意位置に所定倍率の拡大映像を固定表示させることが可能になる。
【0043】
表示されるべき映像データは、情報処理装置190からI/O122を介して順次送信されており、メモリ125は、バッファとして送信されてきた映像データを一時的に格納しておく。この映像データは複数の画像フレームから構成されており、制御部123は、メモリ125から表示素子121に実像表示すべき画像フレームを入力し(ステップST812)、表示素子121に対する表示制御動作として、順次フレーム表示制御を行う(ステップST813)。これら制御部123による表示素子121に対する固定表示モードでの表示制御は、情報処理装置190から送信されてくる映像データの全画像フレームに対して完了した時点で終了する(ステップST814)。
【0044】
さらに、制御部123で実行される表示モードのうち、変動表示モードを、図9のフローチャートを用いて説明する。なお、この変動表示モードは、図8(a)に示された設定モードが実行された後に行われる動作モードであり、図4に示されたように、当該HMD100の姿勢変動とは無関係に、当該HMD100が設置された空間内における虚像形成位置が固定されるように虚像Iを形成する表示モードである。
【0045】
すなわち、この変動表示モードでは、制御部123が、設定モード(図8(a)により決定された姿勢情報を含む表意時制御情報を、デフォルトの表示制御情報としてメモリ125から入力する(ステップST901)。続いて、制御部123は、表示すべき映像データの一部を構成する画像フレームを入力するとともに(ステップST902)、姿勢監視センサ126からの検出情報を確認する(ステップST903)。このステップST903において、姿勢変動がないと判断した場合、制御部123はそのままフレーム表示制御を行う(ステップST906)。一方、ステップST903において姿勢変動があったと判断した場合、制御部123は、この検出結果が表示許容範囲内の変動か否かをさらに判定する(ステップST904)。
【0046】
ステップST904において、姿勢監視センサ126の検出情報が表示許容範囲を外れる変動を示唆している場合、一旦変動表示モードから緊急モードに移行する。この緊急モードでは、姿勢の変動加速度(導光部材110の移動加速度)が一定値以上である場合、表示素子121に対する表示制御動作を中止し、観察者の視野を確保する。このような緊急モードは、地震、事故などの不測の事態発生に備えるために実行される。また、導光部材110の大幅な姿勢変動が発生した場合、表示素子120における表示可能エリア1211には実像1212は表示されない。この場合も、消費電力を節約するため、制御部123は表示素子121に対する表示制御を中止する。
【0047】
ステップST904において、姿勢監視センサ126の検出情報が表示許容範囲内であると判断されると、制御部123は、メモリ125に記録されている表示制御情報を、この検出情報に基づいて修正し(ステップST905)、この修正された表示制御情報に基づいてフレーム表示制御を行う(ステップST906)。そして、これら制御部123による表示素子121に対する変動表示モードでの表示制御は、情報処理装置190から送信されてくる映像データの全画像フレームに対して完了した時点で終了する(ステップST907)。
【0048】
なお、本発明に係るHMDは、第1実施形態として図2に示されたような両眼ゴーグル型のHMDにより実現可能であるが、種々の形態によっても実現可能である。図10は、本発明に係るHMDの第2および第3実施形態の概観を示す図である。
【0049】
図10(a)には、本発明に係るHMDの第2実施形態として、単眼ゴーグル型のHMDが示されている。この第2実施形態に係るHMD200は、実質的に第1実施形態に係るHMD100と概観において相違するが、その基本構造および動作については第1実施形態と同じである。具体的に、HMD200は、可視光を透過可能な材料からなる導光部材210と、導光部材210を観察者頭部に保持するための支持部材220を備えた光透過型HMDである。導光部材210は、実質的に図2および図3に示された導光部材110と同様の構造を有する。支持部材220には、表示素子を含む表示制御装置が内臓されており、この表示制御装置は実質的に図5(a)に示された構造を有する。また、表示制御装置に含まれる制御部は、図5(b)に示された動作モードを、図8および図9に示されたフローチャートに従って実行する。支持部材220には、内蔵された表示制御装置の入出力デバイスとして、観察者の指示情報を入力するためのスイッチユニット230、音声情報を観察者に提供するためのスピーカ(ヘッドホンタイプ:図示せず)がそれぞれ設けられている。
【0050】
さらに、図10(b)には、本発明に係るHMDの第3実施形態として、眼鏡350に装着可能な単眼ゴーグル型のHMDが示されている。この第3実施形態に係るHMD300も、上述の第2実施形態と同様に、実質的に第1実施形態に係るHMD100と概観において相違するが、その基本構造および動作については第1実施形態と同じである。具体的に、HMD300は、可視光を透過可能な材料からなる導光部材310と、この導光部材310を観察者頭部に保持するための支持部材320を備えた光透過型HMDである。導光部材310は、実質的に図2および図3に示された導光部材110と同様の構造を有する。支持部材320には、表示素子を含む表示制御装置が内臓されており、この表示制御装置は実質的に図5(a)に示された構造を有する。また、表示制御装置に含まれる制御部は、図5(b)に示された動作モードを、図8および図9に示されたフローチャートに従って実行する。支持部材320には、内蔵された表示制御装置の入出力デバイスとして、観察者の指示情報を入力するためのスイッチユニット230、音声情報を観察者に提供するためのイヤホン340がそれぞれ設けられている。
【0051】
上述のように構成された本願発明に係るHMDの各実施形態は、従来からモニタを利用してきた分野、例えば双方向データ通信技術を利用したテレビ会議システムなどへ適用され得る(特許文献2参照)。この場合、当該HMD100(第2および第3実施形態に係るHMD200、300でもよい)は、所定の伝送手段(有線、無線を問わない)600を介して双方向データ通信を可能にするコミュニケーションシステムに適用可能な情報端末装置の一部を構成する。
【0052】
すなわち、本実施形態に係る情報端末装置は、図11に示されたように、当該HMD100と、このHMD100を装着した観察者10を撮影するための撮像装置530と、伝送手段600との間で、撮像装置530に取り込まれた映像情報を含むデータの送受信を可能にするための入出力部510、520を備える。
【0053】
特に、図11に示された情報端末装置の構成では、観察者10は、テーブル40を前にしてイス30上に座っている。テーブル40上には、コミュニケーション装置500が設置されており、このコミュニケーション装置500は、観察者10を撮像する撮像装置530と、観察者10の音声を取り込むためのマイク540、HMD100に対して表示されるべき映像データを送信するためのI/O510、伝送手段600を介して他の情報端末装置との間で音声、映像等の種々のマルチメディアデータの双方通信を可能にするI/O520、そして、これら種々の構成機器を一元的に管理するための制御部550を備える。
【0054】
以上の本発明の説明から、本発明を様々に変形しうることは明らかである。そのような変形は、本発明の思想および範囲から逸脱するものとは認めることはできず、すべての当業者にとって自明である改良は、以下の請求の範囲に含まれるものである。
【産業上の利用可能性】
【0055】
本発明に係るHMDは、単にモニタ設置が困難な環境での使用のみならず、医療現場、テレビ会議など、従来から円滑な作業遂行のためにモニタを利用してきた種々の分野への適用を可能にする。
【符号の説明】
【0056】
100、200、300…ヘッドマウントディスプレイ、110・・・導光部材、110a・・・映像投影面、111・・・表示光の出射可能エリア、112・・・表示光の出射エリア、120、120a、120b・・・表示制御装置、121、121a、121b・・・表示素子、123・・・制御部、126・・・姿勢監視センサ、126a・・・x−y加速度センサ、126b・・・x−z加速度センサ、I・・・虚像(虚像形成面)。
【技術分野】
【0001】
本発明は、観察者頭部に装着された状態で該観察者に任意の拡大画像を提示可能にするためのヘッドマウントディスプレイ(Head Mounted Display:以下、HMDという)に関し、特に、モニタ設置環境を体感可能にする擬似空間を該観察者に提供するための光透過型のヘッドマウントディスプレイに関するものである。
【背景技術】
【0002】
通常、一般家庭のリビング等で映像など視覚情報を見る場合、図1(a)に示されたような構成をとるのが一般的である。すなわち、観察者10はテーブル40を前にしてイス30に腰掛けている。このテーブル40上にはモニタ21を含む表示装置20が設置されており、観察者10は所定距離離れた状態でモニタ21に表示される映像を見ることになる。
【0003】
しかしながら近年、鉄道、自動車、航空機等の交通機関のように、十分なモニタ設置スペースが確保できない環境において、映像等の視覚情報の提供手段として、観察者頭部に装着させるHMDが開発されている。特に、このようなHMDには、以下の特許文献1に開示されたように、観察者自身の視野を確保した状態で視覚情報を提供する光透過型のHMDがある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−92810号公報
【特許文献2】日本国特許第3074677号
【非特許文献】
【0005】
【非特許文献1】研野孝吉「HMDの最新の動向と展望」、電子情報通信学会、信学技報EID2000−222、2000年11月
【発明の概要】
【発明が解決しようとする課題】
【0006】
発明者らは、従来のHMDについて検討した結果、以下のような課題を発見した。すなわち、従来のHMDは、観察者頭部に装着された状態で使用されるため、実際のモニタ装置等の設置が困難な環境下においても観察者に所定倍率の拡大映像の提示を可能にする。そのため、図1(b)に示されたように、観察者10が頭部にHMD50を装着すれば、観察者10自身は、実際には虚像形成面IP上に提示される虚像Iを認識することになり、モニタ設置環境を擬似空間において体感できる一方、モニタ設置スペースの効果的な節約が可能になる。
【0007】
しかしながら、従来のHMD50は、観察者10に提供される表示光の出射位置が固定されているため、観察者10の頭部変動に連動して観察者自身が認識する虚像Iも常に観察者10の視野内に提示されることとなる。これは、観察者10が映像観察以外の非観察動作を行う場合にも虚像Iが観察者10の視野内に提示されていることを意味しており、いくら光透過型のHMDと言えども、非観察動作に支障を来たすのは明らかである。観察動作と非観察動作が繰り返される環境としては、例えば手術などが行われる医療現場が考えられる。この医療現場での手術は、種々の計測機器のモニタ画面を確認する動作と、精密な手作業が要求される手術動作(非観察動作)が繰り返されるのは周知である。このような環境下において、非観察動作中に観察者の視野内に映像が提示されたのでは、手術自体に支障をきたしてしまうことになる。
【0008】
本発明は、上述のような課題を解決するためになされたものであり、モニタ設置環境を体感可能にする擬似空間、すなわち、実際のモニタ設置環境と同様にモニタ画面の観察動作と非観察動作が観察者頭部の姿勢変動に連動して任意に実現できる擬似空間を該観察者に提供するための構造を備えた光透過型ヘッドマウントディスプレイを提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明に係るヘッドマウントディスプレイ(HMD)は、観察者の前方視野を確保した状態で、観察者の頭部に装着された状態で該観察者に任意の拡大映像を提示可能にするための構造を備え、具体的には、表示素子と、可視光を透過できる材料からなる導光部材と、姿勢監視センサと、姿勢監視センサからの検出情報に基づいて表示素子に対して表示制御を行う制御部とを備える。ここで、表示素子は、観察者に提示すべき映像(虚像)の映像源となる実像を表示する。導光部材は、表示素子から出射された表示光を映像投影面を介して観察者の眼球に導く。姿勢監視センサは、観察者の頭部に連動して変化する導光部材の映像投影面の姿勢変動を検出する。制御部は、導光部材の映像投影面の姿勢変動に連動することなく当該HMDが設置された空間において拡大映像として認識される虚像形成面が固定されるよう、表示素子に対して表示制御を行う。
【0010】
上述の構成により、観察者の眼球に向けて表示光が出射される当該HMDの映像投影面における表示出射エリアは、当該HMDが装着された観察者頭部の変動に連動することなく当該HMDの設置空間における虚像形成面が固定されるように、映像投影面上を移動する。このとき、観察者は、自己の頭部と一体的に変動する映像投影面を介して認識される虚像形成面が固定しているように体感できるため、当該観察者自身は、実際にモニタが設置された環境と同様の感覚で作業等、観察以外の動作を円滑に行うことが可能になる。したがって、本発明に係るHMDは、単にモニタ設置が困難な環境での使用のみならず、医療現場、テレビ会議など、従来から円滑な作業遂行のためにモニタを利用してきた種々の分野への適用を可能にする。
【0011】
本発明に係るHMDにおいて、姿勢監視センサは、一またはそれ以上の加速度センサを含むのが好ましい。また、表示素子は、発光型、非発光型の何れであってもよい。発光型表示素子としては、例えば、プラズマディスプレイ、エレクトロルミネセンス(EL)デバイス、発光ダイオード(LED)アレイなどが知られている。非発光型表示素子としては、例えば、液晶ディスプレイ、ホログラフィック素子などが知られている。
【0012】
なお、本発明に係るHMDにおいて、制御部は、映像投影面の姿勢が予め設定された値を超える加速度で変動したことを姿勢監視センサが検出したとき、表示素子の映像表示動作を停止させるのが好ましい。急激な姿勢変化は、観察者自身の緊急事態と判断される可能性が高いため、映像投影面の姿勢変動に関わらず、観察者の十分な視野を確保する必要があるからである。また、当該HMDの長寿命化を考慮すれば、制御部は、映像投影面に予め設定された表示光の出射可能エリア内において、映像投影面から観察者の眼球に向けて実際に出射される表示光の出射エリアが存在しなくなったとき、表示素子の映像表示動作を停止させるのが好ましい。さらに、表示されるべき映像情報としては、ナビゲーション情報の提供も可能であることから、当該HMDはGPS機能を備えてもよい。
【0013】
上述のような構造を備えたHMD(本発明に係るHMD)は、従来からモニタを利用してきた分野、例えば双方向データ通信技術を利用したテレビ会議システムなどへ適用され得る。この場合、当該HMDは、所定の伝送手段を介して双方向データ通信を可能にするコミュニケーションシステムに適用可能な情報端末装置の一部を構成する。すなわち、本発明に係る情報端末装置は、上述のような構造を有するHMDと、このHMDを装着した観察者を撮影するための撮像装置と、伝送手段との間で、撮像装置に取り込まれた映像情報を含むデータの送受信を可能にするための入出力部を備える。
【0014】
なお、本発明に係る各実施例は、以下の詳細な説明及び添付図面によりさらに十分に理解可能となる。これら実施例は単に例示のために示されるものであって、この発明を限定するものと考えるべきではない。
【0015】
また、この発明のさらなる応用範囲は、以下の詳細な説明から明らかになる。しかしながら、詳細な説明及び特定の事例はこの発明の好適な実施例を示すものではあるが、例示のためにのみ示されているものであって、この発明の範囲における様々な変形および改良はこの詳細な説明から当業者には自明であることは明らかである。
【発明の効果】
【0016】
本発明によれば、観察者の眼球に向けて表示光が出射される当該HMDの映像投影面における表示光出射エリアは、当該HMDが装着された観察者頭部の変動に連動することなく当該HMDの設置空間における虚像形成面が固定されるように、映像投影面上を移動する。この構成により、観察者自身は実際にモニタが設置された環境を体感することが可能になる。
【図面の簡単な説明】
【0017】
【図1】本発明に係るHMDにより実現される擬似空間を概念的に説明するための図である。
【図2】本発明に係るHMDの第1実施形態の概観及び機能を説明するための図である。
【図3】第1実施形態に係るHMDにおける導波部材の構造を、拡大映像の表示原理とともに説明するための図である。
【図4】第1実施形態に係るHMDにより実現される擬似空間(モニタ設置環境)を説明するための図である。
【図5】第1実施形態に係るHMDの基本構成を示す図である。
【図6】第1実施形態に係るHMDにおける姿勢監視センサの機能を説明するための図である。
【図7】第1実施形態に係るHMDにおける制御部で実行される、表示制御を説明するための図である。
【図8】第1実施形態に係るHMDにおける制御部で実行される、設定モードおよび固定表示モードを説明するためのフローチャートである。
【図9】第1実施形態に係るHMDにおける制御部で実行される、変動表示モードを説明するためのフローチャートである。
【図10】本発明に係るHMDの第2および第3実施形態の概観を示す図である。
【図11】本発明に係る情報端末装置の構成を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明に係るヘッドマウントディスプレイ(HMD)の各実施形態を、図2〜図11を参照しながら詳細に説明する。なお、なお、図面の説明において同一の要素には同一符号を付して重複する説明を省略する。
【0019】
図2は、本発明に係るHMDの第1実施形態の概観及び機能を説明するための図である。特に、図2(a)には、第1実施形態に係るHMDとして、両眼ゴーグル型のHMDが示されている。なお、このHMD100は、可視光を透過可能な材料からなる導光部材110と、この導光部材110を観察者頭部に保持するための一対の支持部材を備えた光透過型HMDである。導光部材110は、観察者の眼球EYE(図2(b)参照)に対面する内側面110a(表示光が眼球EYEに向けて出射される映像投影面)と、内側面110aに対向する外側面110bを有する。一方の支持部材には、実像を表示する表示素子121a(図2(b)参照)を含む表示制御装置120aが内臓されるとともに、当該表示制御装置120aの入出力デバイスとして、観察者の指示情報を入力するためのスイッチユニット130、音声情報を観察者に提供するためのイヤホン140aがそれぞれ設けられている。他方の支持部材にも同様に、表示制御装置120bが内臓されており、この表示制御装置120bの入出力デバイスとしてイヤホン140bが設けられている。
【0020】
この第1実施形態に係るHMD100において、表示素子121aから出射された表示光は、導光部材110内、すなわち当該導光部材110の左側半分に相当する領域内を伝搬し、映像投影面110aから観察者の左眼球EYEに到達する。一方、表示素子121bから出射された表示光も、導光部材110の右側半分に相当する領域内を伝搬し、映像投影面110aから観察者の右眼球EYEに到達する。このとき、映像投影面110aの左側から左眼球EYEに照射される表示光の出射角(映像投影面110aと表示光の光軸との角度であって、水平成分と垂直成分により与えられる)と、映像投影面110aの右側から右眼球EYEに照射される表示光の出射角に視差角を与えることにより、図2(b)に示されたような虚像Iが観察者に提示される。なお、この視差角は、導光部材110の表面110bから虚像形成面までの距離のデフォルト値、すなわち観察者に提示される虚像Iの拡大倍率のデフォルト値を規定するパラメータとなる。
【0021】
図3は、第1実施形態に係るHMDにおける導波部材の構造を、拡大映像の表示原理とともに説明するための図である。
【0022】
導光部材110には、例えば図3(a)に示されたように曲面11a〜11Cで構成された偏心自由曲面光学系11により実現可能である(非特許文献1参照)。また、第1実施形態に係るHMD100の導光部材110は、図3(b)に示されたように互いに対向する面110a、110bを有する導光板である。この面110a、110bそれぞれは、偏心自由曲面光学系11における曲面11b、11cそれぞれと同様に機能するフレネルレンズとして表面加工されている。なお、図3(b)は、図2(a)中に示されたI−I線に沿った導光部材110の断面図に相当している。何れの導光部材110も可視光を透過可能な材料、例えばガラス材料、アクリル樹脂などのプラスティック材料で構成されており、特に、表面がフレネルレンズとして加工された導光板(図3(b))の場合、可視光に対する透過率が低下するが、少なくとも50%以上、好ましくは70%以上の透過率を有する材料であるのが好ましい。さらに、図3(a)および図3(b)の何れに示された導光部材も、各面が誘電体多層膜によりハーフミラーコーティングされていてもよい。
【0023】
具体的に、表示光による虚像形成の原理を図3(a)の偏心自由曲面光学系11を用いて説明すると、図3(c)に示されたように、実像を表示する表示素子12からの表示光は曲面11aを介して、当該光学系11内に出射される。この表示光は曲面11bおよび曲面11cにおいてそれぞれ全反射され、再度曲面11b(投影曲面)から観察者の眼球EYEに到達する。このとき、観察者には、図3(c)に示されたように、曲面11cから所定距離離れた位置(虚像形成面上)に虚像Iが提示される。
【0024】
なお、図2の第1実施形態に係るHMD100の場合、図3(d)に示されたように、導光部材110の互いに対向する面110a、110bのうち、観察者の眼球EYEに直接対面する面110aが、表示光が出射される映像投影面として機能する。また、この映像投影面110aには、予め表示光の出射可能エリア111が設定されており、この出射可能エリア111内に、実際に観察者の眼球EYEに向けて表示光が出射される出射エリア112が存在することとなる。なお、当該導光部材110の面110a、110bそれぞれは、これら面110a、110bが協働することで出射可能エリア111内の何れの位置から出射される表示光も観察者の眼球EYEに到達させるように設計されたフレネルレンズとして機能する。
【0025】
次に、第1実施形態に係るHMD100により実現される、モニタ設置環境の擬似空間の形成メカニズムを、図4を参照しながら説明する。なお、図4では、説明を簡単化するため、導光部材110は単眼用の部材として示されている。
【0026】
当該HMD100により観察者に提示される虚像(拡大映像)Iは、観察者の視野、すなわち、導光部材110を介して眼球EYEに到達可能な可視光の入射可能角度V(視野角)によって規定される空間内に形成される。このとき、表示光の実際の出射エリア112は、導光部材110の映像投影面110a上に予め設定された出射可能エリア111の中心に位置する(図4の下段中央)。
【0027】
当該HMD110では、制御部123が、導光部材110の映像投影面110aの姿勢変動に連動することなく当該HMD100が設置された空間において拡大映像として認識される虚像形成面(虚像I)が固定されるよう、表示素子121に対して表示制御を行う。具体的には、観察者頭部が左右に回転した場合、この回転運動に連動して導光部材110も、図4上段に示されたように、矢印Aあるいは矢印Bで示された方向に移動する。
【0028】
例えば、矢印Aで示された方向に映像投影面110aが移動した場合、映像投影面110aの出射可能エリア111内において、出射エリア112の位置は、図4下段左に示されたように、中央から右側に移動する。一方、矢印Bで示された方向に映像投影面110aが移動した場合、映像投影面110aの出射可能エリア111内において、出射エリア112の位置は、図4下段右に示されたように、中央から左側に移動する。この構成により、相対的に虚像Iの形成位置は、当該HMD100が設置される空間内において固定される。したがって、観察者は、自己の頭部と一体的に変動する映像投影面110aを介して認識される虚像Iが固定しているように体感できるため、当該観察者自身は、実際にモニタが設置された環境と同様の感覚で作業等、観察以外の動作を円滑に行うことが可能になる。
【0029】
次に、この第1実施形態に係るHMD100の一部を構成する表示制御装置120(図2(a)中の表示制御装置120a、120bそれぞれに相当)の基本構成を、図5(a)を参照しながら具体的に説明する。なお、当該HMD100の携帯性を向上させるため、表示制御装置120は駆動用バッテリーを備えているのが好ましい。
【0030】
図5(a)に示されたように、表示制御装置120は、映像データ、静止画像データ等の観察者に提供する情報が格納されている情報処理装置190(PC)から必要な映像データ(複数の画像フレームで構成された映画や測定機器のモニタ画像を含む)を取り込むための入出力部122(I/O)と、観察者に提供される実像を表示する表示素子121(図2(b)における表示素子121a、121bそれぞれに相当)と、制御部123と、ユーザインターフェースを介して観察者からの支持情報を取り込むための入出力部124(I/O)と、メモリ125と、導光部材110における映像投影面110aの姿勢変動を検出するための姿勢監視センサ126と、スイッチユニット130と、スピーカ130(図2(a)におけるイヤホン130a、130bそれぞれに相当)を備える。
【0031】
なお、情報処理装置190とI/O122との間のデータ通信方式は、有線、無線の何れであってもよい。表示素子は、二次元表示素子が好ましく、発光型、非発光型の何れであってもよい。発光型表示素子としては、例えば、プラズマディスプレイ、エレクトロルミネセンス(EL)デバイス、発光ダイオード(LED)アレイなどが知られている。非発光型表示素子としては、例えば、液晶ディスプレイ、ホログラフィック素子などが知られている。制御部123は、主に表示素子120に対して表示制御を行う。メモリ125は、初期設定用の映像データ、姿勢監視センサ126により検出された姿勢情報の他、I/O122を介して情報処理装置190から送信された表示用の映像データを格納する。姿勢監視センサ126は、それぞれ直交する平面成分の姿勢変動を検出するx−y加速度センサ126aと、x−z加速度センサ126bから構成されている。なお、これらx−y加速度センサ126a、x−z加速度センサ126bは、加速度センサであるのが好ましい。スイッチユニット130は、観察者の指示情報を入力するためのユーザインターフェースであり、スピーカ140は、音声情報を観察者に提供するためのユーザインターフェースである。
【0032】
制御部123では、具体的に図5(b)に示された動作モードが実行される。すなわち、制御部123は、当該HMD100の初期状態(姿勢監視センサ126による姿勢変動検出の基準位置となる当該HMD100の設置空間内の座標原点)を決定するための設定モードと、具体的な表示動作を規定する表示モードを実行する。また、制御部123は、地震、事故などの不測の事態発生に備え緊急モードも実行される。なお、緊急モードを除く各動作モードの切り替えは、スイッチユニット130を介して観察者が行う。また、表示モードには、従来のHMDと同様の映像表示が可能な固定表示モードと、観察者にモニタ設置環境を体感させる擬似空間を提供する変動表示モードが用意されている。
【0033】
また、上述のように姿勢監視センサ126は、HMD100が設置された空間における当該HMD100、具体的には導光部材110の映像投影面110aの水平変動成分の変動を検出するためのx−y加速度センサ126aと、垂直変動成分を検出するx−z加速度センサ126bを含む。
【0034】
すなわち、x−y加速度センサ126aは、図6(a)に示されたように、当該HMD100が装着された観察者頭部がz軸を中心に図中の矢印zcで示された方向に回転したときの水平変動成分を検出する。具体的には、導光部材100をx−y平面に投影したときの像が矢印A1またはB1に移動したときの変動量および変動加速度を検出する。一方、x−z加速度センサ126bは、図6(b)に示されたように、当該HMD100が装着された観察者頭部がy軸を中心に図中の矢印ycで示された方向に回転したときの垂直変動成分を検出する。具体的には、導光部材100をx−z平面に投影したときの像が矢印A2またはB2に移動したときの変動量および変動加速度を検出する。
【0035】
なお、図6に示された姿勢監視用の座標系は、制御部123により実行される設定モードで予め初期姿勢が決定されることにより特定される(設定モードにより設定された初期姿勢における当該センサ126a、126bそれぞれの位置が座標原点に設定される)。
【0036】
次に、この第1実施形態に係るHMD100における制御部123で実行される表示制御(表示位置および拡大倍率の制御)を、図7を参照しながら説明する。
【0037】
第1実施形態に係るHMD100では、二次元表示可能な表示素子120の表示可能エリア1211と、映像投影面110aに予め設定された表示光の出射可能エリア111が対応している。したがって、制御部123が、表示素子120の表示可能エリア1211内における実像1212の表示位置およびサイズを任意に設定することにより、出射可能エリア111内における表示光の出射エリア112の位置制御および観察者に提示される虚像Iの拡大倍率の制御が可能になる。ここで、導光部材110の各面110a、110bは、表示可能エリア111内の何れの位置に出射エリア112が位置している場合にも表示光が観察者の眼球EYEに到達可能なように、フレネルレンズとして表面加工されている。
【0038】
なお、表示素子120に対する制御部123の表示制御は、種々の変形が可能である。例えば、図7(b)に示されたように、導光部材110と表示素子120との間の空間にレンズL、反射鏡などを配置しておき、制御部123がこれら光学部材の姿勢を変更するよう駆動系191を制御することによっても、表示制御が可能になる。例えば、駆動系191によるレンズLの姿勢制御は、このレンズLを互いに直交している軸L1、L2それぞれを中心に回転させることにより行われる。また、虚像Iの拡大倍率は表示素子121の表示可能エリア1211内に表示される実像1212の大きさを変更することにより調整できるが、光学部材の姿勢制御により拡大倍率の制御が行われてもよい。
【0039】
続いて、図5(b)に示された制御部123において実行される種々の動作モードを、図8および図9のフローチャートを用いて詳細に説明する。
【0040】
まず、制御部123で実行される設定モードを、図8(a)のフローチャートを用いて説明する。この設定モードは、姿勢監視センサ126による映像投影面110aの姿勢変動を検知するための基準姿勢を設定するモードである。すなわち、図8(a)に示されたように、制御部123は、メモリ125から基準姿勢設定用の映像データまたは静止画像データを読み出し、表示素子121に読み出されたデータを表示させる(デフォルト表示:ステップST801)。このとき、制御部123は、固定表示モードとして虚像I(拡大映像)を観察者に提示するため、従来技術と同様に当該HMD100の姿勢変化に連動して観察者に提示される虚像Iも変動する。当該HMD100の基準姿勢は、スイッチユニット130を介して観察者自身が行う(ステップST802)。この基準姿勢の決定情報は、具体的には図6に示されたように、x−y加速度センサ126aおよびx−z加速度センサ126bの原点座標であり、この決定情報が姿勢変動の検出基準情報としてメモリ125に格納される(ステップST803)。
【0041】
続いて、制御部123で実行される表示モードのうち、固定表示モードを、図8(b)のフローチャートを用いて説明する。なお、この固定表示モードは、当該HMD100の姿勢変動に連動して、観察者に提示される虚像Iの形成位置も変動する。
【0042】
この固定表示モードは、当該HMD100の動作開始時点から実行される場合と、後述する変動表示モードから切り替えられる場合とがある。当該HMD100の動作開示時から固定表示モードが実行される場合、まず、メモリ125に格納されているデフォルトの表示制御情報が制御部123に取り込まれ(ステップST811)、該制御部123が、この表示制御情報に基づいて、表示素子121の表示可能エリア1211内に実像1212を表示させる。一方、後述の変動表示モードから固定表示モードに切り替えられた場合、この切り替え時点における表示制御情報が、固定モードにおけるデフォルトの表示制御情報として利用される。したがって、予め変動表示モードで観察者の視野の任意位置に虚像Iが表示された状態で固定表示モードに切り替えることにより、観察者の視野内における任意位置に所定倍率の拡大映像を固定表示させることが可能になる。
【0043】
表示されるべき映像データは、情報処理装置190からI/O122を介して順次送信されており、メモリ125は、バッファとして送信されてきた映像データを一時的に格納しておく。この映像データは複数の画像フレームから構成されており、制御部123は、メモリ125から表示素子121に実像表示すべき画像フレームを入力し(ステップST812)、表示素子121に対する表示制御動作として、順次フレーム表示制御を行う(ステップST813)。これら制御部123による表示素子121に対する固定表示モードでの表示制御は、情報処理装置190から送信されてくる映像データの全画像フレームに対して完了した時点で終了する(ステップST814)。
【0044】
さらに、制御部123で実行される表示モードのうち、変動表示モードを、図9のフローチャートを用いて説明する。なお、この変動表示モードは、図8(a)に示された設定モードが実行された後に行われる動作モードであり、図4に示されたように、当該HMD100の姿勢変動とは無関係に、当該HMD100が設置された空間内における虚像形成位置が固定されるように虚像Iを形成する表示モードである。
【0045】
すなわち、この変動表示モードでは、制御部123が、設定モード(図8(a)により決定された姿勢情報を含む表意時制御情報を、デフォルトの表示制御情報としてメモリ125から入力する(ステップST901)。続いて、制御部123は、表示すべき映像データの一部を構成する画像フレームを入力するとともに(ステップST902)、姿勢監視センサ126からの検出情報を確認する(ステップST903)。このステップST903において、姿勢変動がないと判断した場合、制御部123はそのままフレーム表示制御を行う(ステップST906)。一方、ステップST903において姿勢変動があったと判断した場合、制御部123は、この検出結果が表示許容範囲内の変動か否かをさらに判定する(ステップST904)。
【0046】
ステップST904において、姿勢監視センサ126の検出情報が表示許容範囲を外れる変動を示唆している場合、一旦変動表示モードから緊急モードに移行する。この緊急モードでは、姿勢の変動加速度(導光部材110の移動加速度)が一定値以上である場合、表示素子121に対する表示制御動作を中止し、観察者の視野を確保する。このような緊急モードは、地震、事故などの不測の事態発生に備えるために実行される。また、導光部材110の大幅な姿勢変動が発生した場合、表示素子120における表示可能エリア1211には実像1212は表示されない。この場合も、消費電力を節約するため、制御部123は表示素子121に対する表示制御を中止する。
【0047】
ステップST904において、姿勢監視センサ126の検出情報が表示許容範囲内であると判断されると、制御部123は、メモリ125に記録されている表示制御情報を、この検出情報に基づいて修正し(ステップST905)、この修正された表示制御情報に基づいてフレーム表示制御を行う(ステップST906)。そして、これら制御部123による表示素子121に対する変動表示モードでの表示制御は、情報処理装置190から送信されてくる映像データの全画像フレームに対して完了した時点で終了する(ステップST907)。
【0048】
なお、本発明に係るHMDは、第1実施形態として図2に示されたような両眼ゴーグル型のHMDにより実現可能であるが、種々の形態によっても実現可能である。図10は、本発明に係るHMDの第2および第3実施形態の概観を示す図である。
【0049】
図10(a)には、本発明に係るHMDの第2実施形態として、単眼ゴーグル型のHMDが示されている。この第2実施形態に係るHMD200は、実質的に第1実施形態に係るHMD100と概観において相違するが、その基本構造および動作については第1実施形態と同じである。具体的に、HMD200は、可視光を透過可能な材料からなる導光部材210と、導光部材210を観察者頭部に保持するための支持部材220を備えた光透過型HMDである。導光部材210は、実質的に図2および図3に示された導光部材110と同様の構造を有する。支持部材220には、表示素子を含む表示制御装置が内臓されており、この表示制御装置は実質的に図5(a)に示された構造を有する。また、表示制御装置に含まれる制御部は、図5(b)に示された動作モードを、図8および図9に示されたフローチャートに従って実行する。支持部材220には、内蔵された表示制御装置の入出力デバイスとして、観察者の指示情報を入力するためのスイッチユニット230、音声情報を観察者に提供するためのスピーカ(ヘッドホンタイプ:図示せず)がそれぞれ設けられている。
【0050】
さらに、図10(b)には、本発明に係るHMDの第3実施形態として、眼鏡350に装着可能な単眼ゴーグル型のHMDが示されている。この第3実施形態に係るHMD300も、上述の第2実施形態と同様に、実質的に第1実施形態に係るHMD100と概観において相違するが、その基本構造および動作については第1実施形態と同じである。具体的に、HMD300は、可視光を透過可能な材料からなる導光部材310と、この導光部材310を観察者頭部に保持するための支持部材320を備えた光透過型HMDである。導光部材310は、実質的に図2および図3に示された導光部材110と同様の構造を有する。支持部材320には、表示素子を含む表示制御装置が内臓されており、この表示制御装置は実質的に図5(a)に示された構造を有する。また、表示制御装置に含まれる制御部は、図5(b)に示された動作モードを、図8および図9に示されたフローチャートに従って実行する。支持部材320には、内蔵された表示制御装置の入出力デバイスとして、観察者の指示情報を入力するためのスイッチユニット230、音声情報を観察者に提供するためのイヤホン340がそれぞれ設けられている。
【0051】
上述のように構成された本願発明に係るHMDの各実施形態は、従来からモニタを利用してきた分野、例えば双方向データ通信技術を利用したテレビ会議システムなどへ適用され得る(特許文献2参照)。この場合、当該HMD100(第2および第3実施形態に係るHMD200、300でもよい)は、所定の伝送手段(有線、無線を問わない)600を介して双方向データ通信を可能にするコミュニケーションシステムに適用可能な情報端末装置の一部を構成する。
【0052】
すなわち、本実施形態に係る情報端末装置は、図11に示されたように、当該HMD100と、このHMD100を装着した観察者10を撮影するための撮像装置530と、伝送手段600との間で、撮像装置530に取り込まれた映像情報を含むデータの送受信を可能にするための入出力部510、520を備える。
【0053】
特に、図11に示された情報端末装置の構成では、観察者10は、テーブル40を前にしてイス30上に座っている。テーブル40上には、コミュニケーション装置500が設置されており、このコミュニケーション装置500は、観察者10を撮像する撮像装置530と、観察者10の音声を取り込むためのマイク540、HMD100に対して表示されるべき映像データを送信するためのI/O510、伝送手段600を介して他の情報端末装置との間で音声、映像等の種々のマルチメディアデータの双方通信を可能にするI/O520、そして、これら種々の構成機器を一元的に管理するための制御部550を備える。
【0054】
以上の本発明の説明から、本発明を様々に変形しうることは明らかである。そのような変形は、本発明の思想および範囲から逸脱するものとは認めることはできず、すべての当業者にとって自明である改良は、以下の請求の範囲に含まれるものである。
【産業上の利用可能性】
【0055】
本発明に係るHMDは、単にモニタ設置が困難な環境での使用のみならず、医療現場、テレビ会議など、従来から円滑な作業遂行のためにモニタを利用してきた種々の分野への適用を可能にする。
【符号の説明】
【0056】
100、200、300…ヘッドマウントディスプレイ、110・・・導光部材、110a・・・映像投影面、111・・・表示光の出射可能エリア、112・・・表示光の出射エリア、120、120a、120b・・・表示制御装置、121、121a、121b・・・表示素子、123・・・制御部、126・・・姿勢監視センサ、126a・・・x−y加速度センサ、126b・・・x−z加速度センサ、I・・・虚像(虚像形成面)。
【特許請求の範囲】
【請求項1】
観察者の頭部に装着された状態で該観察者に任意の拡大映像を提示可能にするためのヘッドマウントディスプレイにおいて、
映像源となる実像を表示するための表示素子と、
可視光を透過できる材料からなり、前記表示素子から出射された表示光を映像投影面を介して前記観察者の眼球に導くための導光部材と、
前記観察者の頭部に連動して変化する前記導光部材の映像投影面の姿勢変動を検出するための姿勢監視センサと、
前記姿勢監視センサからの検出情報に基づいて前記表示素子に対して表示制御を行う制御部であって、前記導光部材の映像投影面の姿勢変動に連動することなく当該ヘッドマウントディスプレイが設置された空間において前記拡大映像として認識される虚像形成面が固定されるよう、前記表示素子に対して表示制御を行う制御部と、を備えたヘッドマウントディスプレイ。
【請求項2】
前記姿勢監視センサは、一またはそれ以上の加速度センサを含むことを特徴とする請求項1記載のヘッドマウントディスプレイ。
【請求項3】
前記表示素子は、液晶ディスプレイ、プラズマディスプレイ、LEDアレイおよびホログラフィック素子のいずれかを含むことを特徴とする請求項1又は2記載のヘッドマウントディスプレイ。
【請求項4】
前記制御部は、前記映像投影面の姿勢が予め設定された値を超える加速度で変動したことを前記姿勢監視センサが検出したとき、前記表示素子の映像表示動作を停止させることを特徴とする請求項1〜3のいずれか一項記載のヘッドマウントディスプレイ。
【請求項5】
前記制御部は、前記映像投影面に予め設定された表示光の出射可能エリア内において、前記映像投影面から前記観察者の眼球に向けて実際に出射される表示光の出射エリアが存在しなくなったとき、前記表示素子の映像表示動作を停止させることを特徴とする請求項1〜4のいずれか一項記載のヘッドマウントディスプレイ。
【請求項6】
所定の伝送手段を介して双方向データ通信を可能にするコミュニケーションシステムに適用可能な情報端末装置であって、
請求項1〜5のいずれか一項記載のヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着した観察者を撮影するための撮像装置と、
前記伝送手段との間で、前記撮像装置に取り込まれた映像情報を含むデータの送受信を可能にするための入出力部と、を備えた情報端末装置。
【請求項1】
観察者の頭部に装着された状態で該観察者に任意の拡大映像を提示可能にするためのヘッドマウントディスプレイにおいて、
映像源となる実像を表示するための表示素子と、
可視光を透過できる材料からなり、前記表示素子から出射された表示光を映像投影面を介して前記観察者の眼球に導くための導光部材と、
前記観察者の頭部に連動して変化する前記導光部材の映像投影面の姿勢変動を検出するための姿勢監視センサと、
前記姿勢監視センサからの検出情報に基づいて前記表示素子に対して表示制御を行う制御部であって、前記導光部材の映像投影面の姿勢変動に連動することなく当該ヘッドマウントディスプレイが設置された空間において前記拡大映像として認識される虚像形成面が固定されるよう、前記表示素子に対して表示制御を行う制御部と、を備えたヘッドマウントディスプレイ。
【請求項2】
前記姿勢監視センサは、一またはそれ以上の加速度センサを含むことを特徴とする請求項1記載のヘッドマウントディスプレイ。
【請求項3】
前記表示素子は、液晶ディスプレイ、プラズマディスプレイ、LEDアレイおよびホログラフィック素子のいずれかを含むことを特徴とする請求項1又は2記載のヘッドマウントディスプレイ。
【請求項4】
前記制御部は、前記映像投影面の姿勢が予め設定された値を超える加速度で変動したことを前記姿勢監視センサが検出したとき、前記表示素子の映像表示動作を停止させることを特徴とする請求項1〜3のいずれか一項記載のヘッドマウントディスプレイ。
【請求項5】
前記制御部は、前記映像投影面に予め設定された表示光の出射可能エリア内において、前記映像投影面から前記観察者の眼球に向けて実際に出射される表示光の出射エリアが存在しなくなったとき、前記表示素子の映像表示動作を停止させることを特徴とする請求項1〜4のいずれか一項記載のヘッドマウントディスプレイ。
【請求項6】
所定の伝送手段を介して双方向データ通信を可能にするコミュニケーションシステムに適用可能な情報端末装置であって、
請求項1〜5のいずれか一項記載のヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイを装着した観察者を撮影するための撮像装置と、
前記伝送手段との間で、前記撮像装置に取り込まれた映像情報を含むデータの送受信を可能にするための入出力部と、を備えた情報端末装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−59435(P2011−59435A)
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2009−209664(P2009−209664)
【出願日】平成21年9月10日(2009.9.10)
【出願人】(000002130)住友電気工業株式会社 (12,747)
【Fターム(参考)】
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願日】平成21年9月10日(2009.9.10)
【出願人】(000002130)住友電気工業株式会社 (12,747)
【Fターム(参考)】
[ Back to top ]