説明

頭部装着型表示装置および頭部装着型表示装置の制御方法

【課題】頭部装着型表示装置において、使用者の一定量を超える頭の動きを検知し、外景の視認性を向上させる技術を提供する。
【解決手段】頭部装着型表示装置は、画像を表す画像光を生成し射出させる画像光生成部と、射出された画像光を使用者の眼に導く導光部と、を有し、使用者に虚像を視認させるための画像表示部と、画像表示部と接続され、画像表示部による画像表示を制御する制御部と、画像表示部の向きの変化を示す変化情報を取得し、変化情報を用いて、画像表示部を装着した使用者の一定量を超える頭の動きを検知する検知部とを備える。制御部は、一定量を超える頭の動きが検知された場合に、虚像の視認性を低下させるように、画像光生成部の輝度を調整し、または、画像光生成部により生成される画像光を調整する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、頭部に装着する表示装置である頭部装着型表示装置および頭部装着型表示装置の制御方法に関する。
【背景技術】
【0002】
頭部に装着する表示装置である頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display、HMD))が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。
【0003】
上述のようなヘッドマウントディスプレイでは、例えば眼鏡のように装着しながらにして、どこでも画像(映像)や音声を楽しむことができる。その反面、ヘッドマウントディスプレイの装着状態では、使用者の眼前には常に外景を遮る画像が表示されることから、利用者は不便を感じる場合があるという問題があった。このような問題を解決するために、従来では、使用者が歩行中であることを検知し、自動的にヘッドマウントディスプレイの画像表示を停止させ、外景の視認性を向上させる技術が知られている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平9−211382号公報
【特許文献2】特開2008−116704号公報
【特許文献3】特開2003−51993号公報
【特許文献4】特開2007−134785号公報
【特許文献5】特開2004−96224号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の技術では、歩行中の使用者に対する不便さは低減されている。しかし、従来から、使用者が歩行中でない場合も、例えば、使用者がヘッドマウントディスプレイに表示されている画像から顔をそむける等して注意を逸らした際に感じる不便さについても、低減したいという要望があった。
【0006】
本発明は、頭部装着型表示装置において、使用者の頭の動きに応じて外景の視認性を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【0008】
[適用例1]
頭部装着型表示装置であって、
画像を表す画像光を生成し射出させる画像光生成部と、射出された前記画像光を使用者の眼に導く導光部と、を有し、使用者に虚像を視認させるための画像表示部と、
前記画像表示部と接続され、前記画像表示部による画像表示を制御する制御部と、
前記画像表示部の向きの変化を示す変化情報を取得し、前記変化情報を用いて、前記画像表示部を装着した使用者の一定量を超える頭の動きを検知する検知部と、
を備え、
前記制御部は、
前記一定量を超える頭の動きが検知された場合に、前記虚像の視認性を低下させるように、前記画像光生成部の輝度を調整し、または、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
このような構成とすれば、検知部は、画像表示部の向きの変化を示す変化情報を取得し、当該変化情報を用いて、画像表示部を装着した使用者の一定量を超える頭の動きを検知し、制御部は、一定量を超える頭の動きが検知された場合に、虚像の視認性を低下させるように、画像光生成部の輝度を調整し、または、画像光生成部により生成される画像光を調整するため、頭部装着型表示装置において、画像表示部を装着した使用者の一定量を超える頭の動きを検知し、外景の視認性を向上させることができる。
【0009】
[適用例2]
適用例1記載の頭部装着型表示装置であって、
前記検知部は、
予め定められたトリガーの発生に応じて、前記画像表示部の動きを検出する際の基準となる位置である初期位置を設定し、前記初期位置に対する前記変化情報を取得し、前記変化情報を用いて、前記一定量を超える頭の動きを検知する、頭部装着型表示装置。
このような構成とすれば、検知部は、画像表示部の動きを検出する際の基準となる位置である初期位置を設定し、初期位置に対する変化情報を取得するため、当該変化情報を用いて、画像表示部を装着した使用者の一定量を超える頭の動きを検知することができる。
【0010】
[適用例3]
適用例2記載の頭部装着型表示装置であって、
前記検知部は、前記初期位置および前記変化情報を、前記画像表示部を装着した使用者の鉛直方向の頭の動きに対応する頭の角度と、水平方向の顔の動きに対応する顔の方向と、の組合せによって特定する、頭部装着型表示装置。
このような構成とすれば、検知部は、初期位置および変化情報を、画像表示部を装着した使用者の鉛直方向の頭の動きに対応する頭の角度と、水平方向の顔の動きに対応する顔の方向と、の組合せによって特定することができる。
【0011】
[適用例4]
適用例2または3記載の頭部装着型表示装置であって、さらに、
前記画像表示部は、前記画像表示部の角速度を検出する角速度検出部を備え、
前記検知部は、
前記変化情報として検出された前記角速度を取得し、前記角速度から求めた角度が予め定められた第1の閾値を超え、かつ、前記角速度が予め定められた第2の閾値を超えている場合に、前記一定量を超える頭の動きを検知したと判定する、頭部装着型表示装置。
このような構成とすれば、検知部は、角速度検出部により検出された角速度から求めた角度が予め定められた第1の閾値を超え、かつ、角速度検出部により検出された角速度が予め定められた第2の閾値を超えている場合に、一定量を超える頭の動きを検知したと判定するため、第1の閾値を適切に設定することで使用者の小さな動作を無視することができ、第2の閾値を適切に設定することで使用者の緩慢な動作を無視することができる。
【0012】
[適用例5]
適用例2ないし4のいずれか一項記載の頭部装着型表示装置であって、さらに、
前記画像表示部は、前記画像表示部の加速度を検出する加速度検出部を備え、
前記検知部は、さらに、
前記変化情報として検出された前記加速度を取得し、前記加速度から求めた前記画像表示部の傾きを併用して、前記一定量を超える頭の動きを検知したかを判定する、頭部装着型表示装置。
このような構成とすれば、検知部は、さらに、加速度検出部により検出された加速度から求めた画像表示部の傾きを併用して、一定量を超える頭の動きを検知したかを判定するため、検知部における判定の精度を向上させることができる。
【0013】
[適用例6]
適用例2または3記載の頭部装着型表示装置であって、
前記画像表示部は、さらに、
地磁気を用いて前記画像表示部の方位を検出する地磁気検出部と、
前記画像表示部の加速度を検出する加速度検出部と、
を備え、
前記検知部は、
前記変化情報として、検出された前記方位と、検出された前記加速度とを取得し、前記方位から求めた角度が予め定められた第1の閾値を超え、かつ、前記加速度が予め定められた第2の閾値を超えている場合に、前記一定量を超える頭の動きを検知したと判定する、頭部装着型表示装置。
このような構成とすれば、検知部は、地磁気検出部により検出された方位から求めた角度が予め定められた第1の閾値を超え、かつ、地磁気検出部により検出された加速度が予め定められた第2の閾値を超えている場合に、一定量を超える頭の動きを検知したと判定するため、適用例4の角速度検出部に代えて、地磁気検出部と、加速度検出部を備える構成においても、適用例4と同様の効果を得ることができる。
【0014】
[適用例7]
適用例1ないし6のいずれか一項記載の頭部装着型表示装置であって、
前記予め定められたトリガーは、前記頭部装着型表示装置への電源の投入と、所定のアプリケーションの起動の検出と、所定のボタン押下の検出と、のうちの少なくともいずれか1つである、頭部装着型表示装置。
このような構成とすれば、頭部装着型表示装置への電源の投入と、所定のアプリケーションの起動の検出と、所定のボタン押下の検出と、のうちの少なくともいずれか1つの発生に応じて、画像表示部の動きを検出する際の基準となるべき初期位置を設定することができる。
【0015】
[適用例8]
適用例1ないし7のいずれか一項記載の頭部装着型表示装置であって、
前記画像光生成部は、
前記画像を生成する表示素子と、
生成された前記画像を表す画像光を射出させる光源と、
を含み、
前記制御部は、
前記一定量を超える頭の動きが検知された場合に、前記光源の照明光を消灯または減光させることで、前記画像光生成部の輝度を調整する、頭部装着型表示装置。
このような構成とすれば、制御部は、一定量を超える頭の動きが検知された場合に、光源の照明光を消灯または減光させることで、画像光生成部の輝度を調整するため、画像表示部における外景の視認性を向上させることができる。
【0016】
[適用例9]
適用例1ないし7のいずれか一項記載の頭部装着型表示装置であって、
前記制御部は、
前記一定量を超える頭の動きが検知された場合に、前記画像光生成部による前記画像光の生成を一時的に停止させることで、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
このような構成とすれば、制御部は、一定量を超える頭の動きが検知された場合に、画像光生成部による画像光の生成を一時的に停止させることで、画像光生成部により生成される画像光を調整するため、画像表示部における外景の視認性を向上させることができる。
【0017】
[適用例10]
適用例1ないし9のいずれか一項記載の頭部装着型表示装置であって、さらに、
前記画像表示部は、使用者の眼球画像を撮像する撮像部を備え、
前記検知部は、さらに、
撮像された前記眼球画像を解析することで、使用者の虹彩の中心位置に対する移動量を示す視線移動量を取得し、
前記制御部は、さらに、
前記視線移動量が予め定められた第3の閾値を超えた場合に、前記虚像の視認性を低下させるように、前記画像光生成部の輝度を調整し、または、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
このような構成とすれば、検知部は、撮像された使用者の眼球画像を解析することで、使用者の虹彩の中心位置に対する移動量を示す視線移動量を取得し、制御部は、さらに、視線移動量が予め定められた第3の閾値を超えた場合に、虚像の視認性を低下させるように、画像光生成部の輝度を調整し、または、画像光生成部により生成される画像光を調整するため、適用例1の効果に加えてさらに、使用者が視線をずらしたことを検知し、外景の視認性を向上させることができる。
【0018】
なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の一実施例における頭部装着型表示装置の外観の構成を示す説明図である。
【図2】ヘッドマウントディスプレイの構成を機能的に示すブロック図である。
【図3】画像光生成部によって画像光が射出される様子を示す説明図である。
【図4】使用者に認識される虚像の一例を示す説明図である。
【図5】動作検知処理について説明するための説明図である。
【図6】動作検知処理の手順を示すフローチャートである。
【図7】図6のステップS114における画像光生成部の様子を示す説明図である。
【図8】動作検知処理が実行される様子を示す説明図である。
【図9】第2実施例におけるヘッドマウントディスプレイの構成を機能的に示すブロック図である。
【図10】第2実施例におけるヘッドマウントディスプレイの視線検知処理の手順を示すフローチャートである。
【図11】眼球画像の解析方法についての説明図である。
【図12】変形例におけるヘッドマウントディスプレイの構成を機能的に示すブロック図である。
【発明を実施するための形態】
【0020】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
【0021】
A.第1実施例:
(A−1)頭部装着型表示装置の構成:
図1は、本発明の一実施例における頭部装着型表示装置の外観の構成を示す説明図である。頭部装着型表示装置HMは、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施例のヘッドマウントディスプレイHMは、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。
【0022】
ヘッドマウントディスプレイHMは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。
【0023】
画像表示部20は、使用者の頭部に装着される装着体であり、本実施例では眼鏡形状を有している。画像表示部20は、耳掛部21と、右表示駆動部22と、左表示駆動部24と、右光学パネル26と、左光学パネル28と、ジャイロセンサー61と、設定ボタン62とを含んでいる。耳掛部21は、右表示駆動部22および左表示駆動部24の端部から使用者の耳の上を横断するように設けられた部材であり、テンプル(つる)として機能する。右光学パネル26および左光学パネル28は、使用者が画像表示部20を装着した状態においてそれぞれ使用者の右および左の眼の前に位置するように配置されている。右表示駆動部22は、右耳用の耳掛部21と右光学パネル26との接続箇所に配置されている。また、左表示駆動部24は、左耳用の耳掛部21と左光学パネル28との接続箇所に配置されている。なお、以降では、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」と、右光学パネル26および左光学パネル28を総称して単に「光学パネル」とも呼ぶ。
【0024】
角速度検出部としてのジャイロセンサー61は、右表示部22の筐体内部に配置されている。本実施例におけるジャイロセンサー61は、圧電振動式の2軸角速度センサーであり、画像表示部20の2軸(x軸、y軸)の角速度を検出する。設定ボタン62は、左表示部24の筐体表面であって、画像表示部20の外側の面(すなわち、画像表示部20の装着側とは反対側の面)に配置されている。設定ボタン62は、後述の動作検知処理において、画像表示部20の向きを検出する際の基準となるべき初期位置を設定するために用いられる。詳細は後述する。
【0025】
表示駆動部は、図示しないLCD(Liquid Crystal Display:液晶ディスプレイ)や、投写光学系等を含む。詳細は後述する。光学パネルは、図示しない導光板と、調光板とを含んでいる。導光板は、光透過性の樹脂材料等によって形成され、表示駆動部から取り込んだ画像光を使用者の眼に向けて射出させる。調光板は、薄板状の光学素子であり、前面側(使用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板を保護し、導光板の損傷や、汚れの付着等を抑制するとともに、調光板の光透過率を調整することにより、使用者の眼に入る外光量を調整し、虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
【0026】
画像表示部20は、さらに、右耳用の右イヤホン32および左耳用の左イヤホン34を有する。右イヤホン32および左イヤホン34は、使用者が画像表示部20を装着した際に、それぞれ右および左の耳に装着される。
【0027】
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、本体コード48が2本に分岐した右コード42と、左コード44と、分岐点に設けられた連結部材46と、を含んでいる。右コード42は、右表示駆動部22に接続されており、左コード44は、左表示駆動部24に接続されている。画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。本体コード48における連結部材46とは反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、本体コード48コネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブルや、光ファイバーを採用することができる。
【0028】
制御部10は、ヘッドマウントディスプレイHMを操作するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。点灯部12は、ヘッドマウントディスプレイHMの動作状態(例えば、電源のON/OFF等)を、その発光状態によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイHMの電源投入状態を切り替える。
【0029】
図2は、ヘッドマウントディスプレイHMの構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、CPU140と、インターフェイス180と、送信部(Tx)51および52と、を備え、各部は図示しないバスにより相互に接続されている。
【0030】
入力情報取得部110は、使用者による操作入力に応じた信号(例えば、タッチパッド14や十字キー16、電源スイッチ18に対する操作入力)を取得する機能を有する。記憶部120は、図示しないROM、RAM、DRAM、ハードディスク等を含む記憶部である。記憶部120は、閾値情報CIを含んでいる。閾値情報CIは、動作検知処理(後述)において用いられる閾値であり、本実施例では、3つの閾値(第1の閾値、第2の閾値)が予め格納されている。電源130は、ヘッドマウントディスプレイHMの各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。
【0031】
CPU140は、予めインストールされたプログラムを実行することで、オペレーティングシステム(ОS)150としての機能を提供する。また、CPU140は、ROMやハードディスクに格納されているファームウェアやコンピュータープログラムをRAMに展開して実行することにより、検知部145、画像処理部160、音声処理部170、表示制御部190としても機能する。これら各部の詳細は後述する。
【0032】
検知部145は、画像表示部20の向きの変化を示す情報である変化情報(本実施例では、ジャイロセンサー61の検出値である角速度)を取得し、当該変化情報を用いて、動作検知処理を実行する。動作検知処理は、ヘッドマウントディスプレイHMの画像表示部20を装着した使用者の一定量を超える頭の動きを検知し、画像表示部20において表示されている虚像を消す処理である。詳細は後述する。なお、検知部145は請求項における「検知部」に相当する。
【0033】
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OA(例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末)を接続するためのインターフェイスである。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス、無線LANインターフェイス等を備えることができる。また、コンテンツとは、画像(静止画像、動画像)や音声等からなる情報内容を意味する。
【0034】
画像処理部160は、インターフェイス180を介して入力されるコンテンツに基づき、クロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを生成し、接続部40を介してこれらの信号を画像表示部20に供給する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に、1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、図示しないPLL回路等を利用してクロック信号PCLKを生成する。
【0035】
画像処理部160は、同期信号が分離されたアナログ画像信号を、図示しないA/D変換回路等を用いてデジタル画像信号に変換する。その後、画像処理部160は、変換後のデジタル画像信号を、対象画像の画像データData(RGBデータ)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
【0036】
画像処理部160は、生成したクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データDataとを、送信部51および52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御部10と、画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
【0037】
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFF、などを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
【0038】
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
【0039】
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、画像表示部20の右イヤホン32および左イヤホン34に接続部40を介して供給する。
【0040】
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学パネル26としての右導光板261と、左光学パネル28としての左導光板262と、ジャイロセンサー61と、設定ボタン62と、右イヤホン32と、左イヤホン34とを備えている。
【0041】
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251を含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
【0042】
受信部53は、制御部10と、画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する機能を有する。右バックライト221は、例えば、LED等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データとに基づいて、右LCD241を駆動する機能を有する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【0043】
図3は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241はマトリクス状に配置された各画素位置に対応する液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表す有効な画像光PLへと変調する機能を有する。なお、図3のように、本実施例ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
【0044】
図2の右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学パネル26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼に導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
【0045】
左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252を含んでいる。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242とを総称して「画像光生成部」と、左投写光学系252と、左導光板262とを総称して「導光部」とも呼ぶ。右表示駆動部22と左表示駆動部24とは対になっており、左表示駆動部24の各部は、右表示駆動部22で説明する各部と同様の構成および動作を有するため詳細な説明は省略する。
【0046】
図4は、使用者に認識される虚像の一例を示す説明図である。上述のようにして、ヘッドマウントディスプレイHMの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像を視認することができる。図4に示すように、ヘッドマウントディスプレイHMの使用者の視野VR内には虚像VIが表示される。また、使用者の視野VRのうち、虚像VIが表示された部分以外については、使用者は、右光学パネル26および左光学パネル28を透過して、外景SCを見ることができる。なお、本実施例のヘッドマウントディスプレイHMでは、使用者の視野VRの内の虚像VIが表示された部分についても、虚像VIの背後に外景SCが透けて見えるようになっている。
【0047】
(A−2)動作検知処理:
図5は、動作検知処理について説明するための説明図である。ヘッドマウントディスプレイHMの動作検知処理は、画像表示部20を装着した使用者の一定量を超える頭の動きを検知し、画像表示部20において表示されている虚像を消す処理である。ここで、「一定量を超える頭の動き」とは、画像表示部20を装着した使用者の頭部(すなわち、画像表示部20)が、初期位置に対して一定量を超えて移動することを意味する。本実施例において、初期位置および頭の動きの移動量は、設定ボタン62を押下した際の画像表示部20を装着した使用者の頭の角度と、顔の方向の組合せによって特定される。
【0048】
頭の角度は、図5(A)に示すように、使用者の垂直方向(鉛直方向)PLの頭の動きに対応する。例えば、利用者の頭が垂直状態(0度)の時に設定ボタン62が押下された場合、0度が初期位置に設定される。この状態で、利用者がMV方向へ頭を向けた場合、頭の動きの移動量(頭の角度θ1)は、初期位置(0度)と、移動後の位置(45度)の差分である45度となる。なお、頭の動きの移動量(頭の角度θ1)は、ジャイロセンサー61の出力値から得られるy軸の角速度に対応する。
【0049】
顔の方向は、図5(B)に示すように、使用者の水平方向HLの顔の動きに対応する。例えば、利用者の顔が正面(0度)を向いている時に設定ボタン62が押下された場合、0度が初期位置に設定される。この状態で、利用者がMV方向へ顔を向けた場合、頭の動きの移動量(顔の方向θ2)は、初期位置(0度)と、移動後の位置(70度)との差分である70度となる。なお、頭の動きの移動量(顔の方向θ2)は、ジャイロセンサー61の出力値から得られるx軸の角速度に対応する。
【0050】
図6は、動作検知処理の手順を示すフローチャートである。検知部145は、画像表示部20に設けられた設定ボタン62が押下されたか否かを判定する(ステップS102)。設定ボタン62が押下されていない場合(ステップS102:NO)、検知部145はステップS102へ遷移し、設定ボタン62の押下有無の監視を継続する。設定ボタン62が押下された場合(ステップS102:YES)、検知部145は、記憶部120に格納された閾値情報CIから第1の閾値と、第2の閾値とをそれぞれ読み込む(ステップS104)。
【0051】
閾値取得後、検知部145は、ジャイロセンサー61の出力値を取得する(ステップS106)。検知部145は、取得した出力値から得られるx軸の角度と、y軸の角度の少なくともいずれか一方が、第1の閾値Th1を超えるか否かを判定する(ステップS110)。ここで、検知部145は、x軸の角速度と、y軸の角速度とをそれぞれ積分することで、x軸の角度と、y軸の角度を求める。x軸、y軸の角度の両方が第1の閾値Th1以下である場合(ステップS110:NO)、検知部145は、処理をステップS106へ遷移させ、再びジャイロセンサー61の出力値を取得する。
【0052】
一方、x軸、y軸の角度の少なくともいずれか一方が、第1の閾値Th1を超えた場合(ステップS110:YES)、検知部145は、x軸の角速度と、y軸の角速度の少なくともいずれか一方が、第2の閾値Th2を超えるか否かを判定する(ステップS112)。x軸、y軸の角速度の両方が第2の閾値Th2以下である場合(ステップS112:NO)、検知部145は、処理をステップS106へ遷移させ、再びジャイロセンサー61の出力値を取得する。
【0053】
一方、x軸、y軸の角速度の少なくともいずれか一方が、第2の閾値Th2を超えた場合(ステップS112:YES)、検知部145は、バックライトを消灯させる(ステップS114)。具体的には、検知部145は、制御部10の表示制御部190に対して、バックライトを消灯するよう要求する。
【0054】
図7は、図6のステップS114における画像光生成部の様子を示す説明図である。図6のステップS114において、検知部145からの要求を受信した表示制御部190は、右バックライト制御部201による右バックライト221の駆動OFFを示す制御信号と、左バックライト制御部202による左バックライト222の駆動OFFを示す制御信号とを画像表示部20へ送信する。信号を受信した右バックライト制御部201は、右バックライト221を消灯させる。同様に、信号を受信した左バックライト制御部202は、左バックライト222を消灯させる。この結果、図7に示すように、右LCD241および左LCD242で描画された画像が画像光として射出されなくなるため、使用者の視野VRから虚像VIの表示が消える。
【0055】
バックライト消灯後、検知部145は、ジャイロセンサー61の出力値を取得する(ステップS116)。検知部145は、取得した出力値から得られるx軸の角度と、y軸の角度の少なくともいずれか一方が、第1の閾値Th1以上であるか否かを判定する(ステップS118)。x軸、y軸の角度の両方が第1の閾値Th1よりも小さい場合(ステップS118:NO)、検知部145は、処理をステップS116へ遷移させ、再びジャイロセンサー61の出力値を取得する。
【0056】
一方、x軸、y軸の角度の少なくともいずれか一方が、第1の閾値Th1以上である場合(ステップS118:YES)、検知部145は、バックライトを点灯させる(ステップS120)。具体的には、検知部145は、制御部10の表示制御部190に対して、バックライトを点灯するよう要求し、処理を終了する。
【0057】
図6のステップS120において、検知部145からの要求を受信した表示制御部190は、右バックライト制御部201による右バックライト221の駆動ONを示す制御信号と、左バックライト制御部202による左バックライト222の駆動ONを示す制御信号を画像表示部20へ送信する。信号を受信した右バックライト制御部201は、右バックライト221を点灯させる。同様に、信号を受信した左バックライト制御部202は、左バックライト222を点灯させる。この結果、右LCD241、左LCD242で描画された画像が画像光として射出され、使用者の視野VRには、再び虚像VIが表示される。
【0058】
このように、設定ボタン62の押下により、動作検知処理(図6)のステップS104以降が開始され、ジャイロセンサー61の出力値の監視が開始される。ジャイロセンサー61は、角速度、すなわち、単位時間あたりの角度の変化量(換言すれば、向きの変化)を検出するセンサーである。このことから、検知部145は、設定ボタン62の押下によって、その際の使用者の頭の角度と、顔の方向とを、画像表示部20の初期位置(画像表示部20の動きを検出する際の基準となる位置)に設定し、ジャイロセンサー61は、初期位置に対する画像表示部20の向きの変化を示す角速度を検出していると言える。なお、ジャイロセンサー61が検出する角速度は、請求項における「変化情報」に相当する。
【0059】
なお、閾値情報CIに予め格納されている第1、第2の閾値は、任意に設定することができる。角度に対する閾値となる第1の閾値は、例えば、45度とすることができる。角度の変化を第1の閾値で制限することにより、動作検知処理において、画像表示部20を装着する使用者の「一定量を超える頭の動き」を検知することができる。換言すれば、画像表示部20の角度の変化があった場合に、使用者が初期位置から顔をそむけて一定量を超える頭の動きが生じたのか、もしくは、使用者の頭部が小さく動いただけなのかの判定を行うことが可能となる。
【0060】
また、角速度(単位時間あたりの角度の変化量)に対する閾値となる第2の閾値は、小さな値とすることが好ましい。角速度の変化を第2の閾値で制限することにより、動作検知処理において、画像表示部20を装着する使用者の緩慢な動作を無視(許容)し、虚像VIの表示を継続させることができる。なお、閾値情報CIは、利用者が任意に変更可能な構成としてもよい。
【0061】
図8は、動作検知処理が実行される様子を示す説明図である。図8(A)は、ヘッドマウントディスプレイHMの画像表示部20を装着した使用者が、設定ボタン62を押下した際の様子を示している。使用者が設定ボタン62を押下した後、取得されるジャイロセンサー61の出力値から求められる角度、角速度が第1、第2の閾値を超えない場合、換言すれば、ステップS110〜S112の条件が満たされない場合、動作検知処理におけるバックライトの消灯(ステップS114)は行われないため、図8(A)のように、使用者の視野VRには虚像VIが表示される。
【0062】
図8(B)は、ヘッドマウントディスプレイHMの画像表示部20を装着した使用者が初期位置から顔をそむけた際の様子を示している。使用者が、図8(A)に示す初期位置から、例えば横を向いた場合、ジャイロセンサー61の出力値から求められるx軸方向の角度、角速度に変化が生じる。これらが第1、第2の閾値を超え、ステップS110〜S112の条件が満たされた場合、動作検知処理におけるバックライトの消灯(ステップS114)が行われ、使用者の視野VRから虚像VIの表示が消える。視野VRを遮る虚像VIの表示が消える結果、使用者は、外景をはっきりと見ることができる。なお、使用者が例えば上や下を向くことで、ジャイロセンサー61の出力値から求められるy軸方向の角度、角速度に変化が生じた場合についても同様である。
【0063】
さらに、動作検知処理(図6)のステップS114において検知部145は、バックライトを消灯させることに代えて、例えば、以下のような処理をしてもよい。
【0064】
図6のステップS114において検知部145は、制御部10の表示制御部190に対して、バックライトの輝度を下げるよう要求する。要求を受信した表示制御部190は、右バックライト制御部201および左バックライト制御部202に対して、バックライトの駆動ON/OFFを指定する制御信号と共に、バックライトの輝度を指定するための制御信号を送信する。バックライトの輝度を指定するための制御信号としては、例えばPWM(Pulse Width Modulation)信号を用いることができる。このようにすれば、ステップS106では、バックライトの消灯に代えて、バックライト(右バックライト221、左バックライト222)による照明光の減光が行われる。照明光が減光されれば、画像光生成部によって射出される画像光が弱くなる(画像光生成部の輝度が下がる)ため、使用者の視野VRに表示される虚像VIは、薄くぼやけたような表示になる。この結果、使用者は外景を視認しやすくなる。
【0065】
図6のステップS114において検知部145は、制御部10の表示制御部190に対して、LCD(液晶)の駆動を一時的に停止させるよう要求する。要求を受信した表示制御部190は、右LCD制御部211および左LCD制御部212に対して、LCDの駆動OFFを指定する制御信号を送信する。このようにすれば、LCD(右LCD241、左LCD242)による画像の描画が停止され、画像光生成部における画像光の生成および射出が停止されるため、使用者の視野VRから虚像VIの表示が消える。この結果、使用者は外景を視認しやすくなる。
【0066】
また、検知部145は、制御部10の表示制御部190に対して、LCD(液晶)の開口率を小さくするよう要求してもよい。液晶開口率が小さくなれば、画像光生成部によって射出される画像光が弱くなるため、使用者の視野VRに表示される虚像VIは、薄くぼやけたような表示になる。従って、使用者は、外景を視認しやすくなる。
【0067】
図6のステップS114において検知部145は、制御部10の画像処理部160に対して、画像データDataの送信を一時的に停止させるよう要求する。要求を受信した画像処理部160は、画像表示部20へ送信する画像データDataを停止する。このようにすれば、LCD(右LCD241、左LCD242)による画像の描画が停止され、画像光生成部における画像光の生成および射出が停止されるため、使用者の視野VRから虚像VIの表示が消える。この結果、使用者は外景を視認しやすくなる。
【0068】
また、検知部145は、画像処理部160に対して、画像データDataを黒一色のダミーデータとするよう要求してもよい。このようにすれば、LCD(右LCD241、左LCD242)に描画される画像が黒一色のダミー画像へと調整され、画像光生成部はこれに対応した画像光を射出するため、使用者の視野VRに表示される虚像VIは、消えたような表示になる。従って、使用者は、外景を視認しやすくなる。
【0069】
以上のように、第1実施例によれば、検知部145は、ジャイロセンサー61が検出する角速度(初期位置に対する向きの変化を示す変化情報)を用いて、画像表示部20を装着した使用者の一定量を超える頭の動きを検知する。制御部10は、一定量を超える頭の動きが検知された場合に、虚像VIの視認性を低下させるように、光源(右バックライト221、左バックライト222)の輝度を調整することで画像光生成部の輝度を調整し、または、表示素子(右LCD241、左LCD242)により生成される画像を調整することで画像光生成部により生成される画像光を調整する。これらの結果、ヘッドマウントディスプレイHMにおいて、画像表示部20を装着した使用者の一定量を超える頭の動きを検知し、外景の視認性を向上させることができる。
【0070】
B.第2実施例:
本発明の第2実施例では、動作検知処理に加え、さらに、画像表示部を装着した使用者の視線の向きを検知して虚像を消す視線検知処理を行う構成について説明する。以下では、第1実施例と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施例と同様の構成部分については先に説明した第1実施例と同様の符号を付し、その詳細な説明を省略する。
【0071】
(B−1)頭部装着型表示装置の構成:
図9は、第2実施例におけるヘッドマウントディスプレイHMaの構成を機能的に示すブロック図である。図2に示す第1実施例との違いは、制御部10に代えて制御部10aを、画像表示部20に代えて画像表示部20aを、それぞれ備える点である。
【0072】
画像表示部20aは、さらに、撮像部としてのアイカメラ63を備えている。本実施例におけるアイカメラ63は、右光学パネル26の内面(すなわち、ヘッドマウントディスプレイHMa装着状態において利用者の眼に向き合う側の面)に配置されている。本実施例におけるアイカメラ63は、赤外線照明とCCDカメラを含み、使用者の右眼の眼球画像を取得する。
【0073】
制御部10aは、閾値情報CIに代えて閾値情報CIaを、検知部145に代えて検知部145aを、それぞれ備えている。閾値情報CIaは、第1、第2の閾値に加え、さらに、第3の閾値が予め格納されている。第3の閾値は、視線検知処理(後述)において用いられる。検知部145aは、動作検知処理(図6)と平行して、視線検知処理を実行する。視線検知処理は、画像表示部20を装着した使用者の視線の向きを検知して、虚像を消すための処理である。
【0074】
(B−2)動作検知処理:
第2実施例におけるヘッドマウントディスプレイHMaの動作検知処理は、図6に示した第1実施例と同様である。
【0075】
(B−3)視線検知処理:
図10は、第2実施例におけるヘッドマウントディスプレイHMaの視線検知処理の手順を示すフローチャートである。まず、検知部145aは、画像表示部20aに設けられた設定ボタン62が押下されたか否かを判定する(ステップS102)。詳細は動作検知処理(図6)のステップS102と同様である。設定ボタン62が押下された場合(ステップS102:YES)、検知部145aは、閾値情報CIaから第3の閾値を読み込む(ステップS202)。閾値取得後、検知部145aは、アイカメラ63によって撮影された眼球画像を取得する(ステップS204)。そして、検知部145aは、取得した眼球画像を解析する(ステップS206)。
【0076】
図11は、眼球画像の解析方法についての説明図である。図11(A)は、ヘッドマウントディスプレイHMaを装着した使用者の眼を、横から見た際の概観を示している。検知部145aは、アイカメラ63が撮影した眼球画像を画像解析することによって、使用者の虹彩AEが、眼の中心位置AXに対してどれだけ移動したかを示す視線移動量を求める。本実施例では、視線移動量は、x軸方向の移動量と、y軸方向の移動量の組合せで表現する。図11(B)は、虹彩AEが、中心位置AXに位置している場合の図と、その際の視線移動量(x軸、y軸)を示している。この例では、虹彩AEが中心位置AX上にあるため、視線移動量は(0、0)となる。図11(C)は、使用者の虹彩AEが、中心位置AXに対して左側へ移動した場合の図と、その際の視線移動量(x軸、y軸)を示している。この例では、虹彩AEが中心位置AXから水平方向へ移動しているため、視線移動量は(+10、0)となる。
【0077】
図10のステップS208において検知部145aは、ステップS206で求めた虹彩のx軸の移動量と、虹彩のy軸の移動量と、の少なくともいずれか一方が、第3の閾値Th3を超えるか否か判定する(ステップS208)。虹彩のx軸、y軸の移動量の両方が第3の閾値Th3以下である場合(ステップS208:NO)、検知部145aは、処理をステップS204へ遷移させ、再びアイカメラ63の眼球画像を取得する。一方、虹彩のx軸、y軸の移動量の少なくともいずれか一方が、第3の閾値Th3を超えた場合(ステップS208:YES)、検知部145aは、バックライトを消灯させる(ステップS114)。詳細は、動作検知処理(図6)のステップS114と同様である。
【0078】
バックライト消灯後、検知部145aは、アイカメラ63の眼球画像を取得する(ステップS210)。そして、検知部145aは、取得した眼球画像を解析して、虹彩の視線移動量を求める(ステップS212)。詳細は、ステップS206と同様である。検知部145aは、求めた虹彩のx軸の移動量と、虹彩のy軸の移動量の少なくともいずれか一方が、第3の閾値Th3以上であるか否かを判定する(ステップS214)。x軸、y軸の移動量の両方が第3の閾値Th3よりも小さい場合(ステップS214:NO)、検知部145aは、処理をステップS210へ移動させ、再びアイカメラ63の眼球画像を取得する。一方、x軸、y軸の移動量の少なくともいずれか一方が、第3の閾値Th3以上である場合(ステップS214:YES)、検知部145aは、バックライトを点灯させる。詳細は、動作検知処理(図6)のステップS120と同様である。
【0079】
以上のように、第2実施例によれば、検知部145aは、アイカメラ63により撮像された使用者の眼球画像を解析することで、使用者の虹彩AEの中心位置AXに対するx軸方向の移動量と、y軸方向の移動量からなる視線移動量を取得し、制御部10は、さらに、視線移動量が予め定められた第3の閾値Th3を超えた場合に、虚像の視認性を低下させるように、画像光生成部の輝度を調整し、または、画像光生成部により生成される画像光を調整する。この結果、本実施例によれば、第1実施例の効果に加えてさらに、使用者が中心位置から視線をずらしたことを検知し、外景の視認性を向上させることができる。
【0080】
C.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の構成をとることができる。例えば、ソフトウェアによって実現した機能は、ハードウェアによって実現するものとしてもよい。そのほか、以下のような変形が可能である。
【0081】
C1.変形例1:
上記実施例では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
【0082】
上記実施例では、説明の便宜上、制御部が送信部(51、52)を備え、画像表示部が受信部(53、54)を備えるものとした。しかし、上記実施例の送信部(51、52)および受信部(53、54)は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。
【0083】
例えば、図12に示すように、接続部を省略し、制御部と、画像表示部とが無線通信可能な構成としてもよい。具体的には、制御部にさらに、無線通信部(81)を備えると共に、画像表示部にさらに、無線通信部(82)と、電源(280)とを備える構成とする。この場合、無線通信部81が上記実施例における送信部(51、52)として機能し、無線通信部82が上記実施例における受信部(53、54)として機能する。
【0084】
例えば、図1に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパネルを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、制御部にWi−Fi(wireless fidelity)等を用いた通信部を設けてもよい。
【0085】
例えば、図1に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth(登録商標)等の無線の信号伝送路を介した接続により接続されていてもよい。
【0086】
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、使用者がヘッドマウントディスプレイを装着した状態において外景が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。また、単眼タイプのヘッドマウントディスプレイとしてもよい。
【0087】
例えば、画像光生成部は、左右のバックライト制御部と、左右のLCD制御部と、左右のバックライトと、左右のLCDとを用いて構成されるものとしたが、これらに代えて、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)と、有機EL制御部とを用いても良い。その場合、有機ELおよび有機EL制御部が請求項における「画像光生成部」に相当する。
【0088】
例えば、検知部、画像処理部、表示制御部、音声処理部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。
【0089】
例えば、上記実施例では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することができる。
【0090】
また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。
【0091】
例えば、上記実施例では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
【0092】
C2.変形例2:
上記実施例において、画像処理部は、同じ画像データを右眼用画像データおよび左眼用画像データとして出力することとした。しかし、画像処理部は、右眼用画像データと、左眼用画像データとを、異なる画像データにすることで、使用者に3Dの虚像を視認させることが可能な構成としてもよい。
【0093】
C3.変形例3:
上記実施例の動作検知処理(図6)では、検知部は、ジャイロセンサーからの出力値に応じて、使用者の一定量を超える頭の動きを検知することとした。しかし、上記実施例での態様はあくまで一例であり、検知部は、種々の方法を用いて、使用者の一定量を超える頭の動きを検知することができる。
【0094】
例えば、動作検知処理のステップS110では、ジャイロセンサーの出力値から得られるx軸の角度と、y軸の角度との少なくともいずれか一方が、同じ閾値(第1の閾値Th1)を超えるか否かを判定した。しかし、一般的に、垂直方向(鉛直方向)の頭の動きよりも、水平方向の顔の動きの方が大きいことから、第1の閾値Th1を垂直方向(y軸用)と水平方向(x軸用)とに対応させて、2種類用意してもよい。また、ステップS112についても同様である。
【0095】
例えば、上記実施例では、ジャイロセンサーとして、圧電振動式の2軸角速度センサーを用い、利用者の垂直方向(鉛直方向)の頭の動きと、水平方向の顔の動きとを検知するものとした。しかし、ジャイロセンサーとしては、1軸、3軸等、種々のタイプの角速度センサーを用いることができる。ジャイロセンサーが検出可能な軸数が多くなれば、使用者の頭の動きをきめ細かく検出することができる。
【0096】
例えば、画像表示部に、さらに加速度センサーを備える構成とした上で、動作検知処理のステップS108〜S112の判定に加えて、加速度センサーの出力値から得られる画像表示部の傾きや動き、振動や衝撃を用いて、「一定量を超える頭の動き」を判定してもよい。ジャイロセンサーと加速度センサーとを併用すれば、検知部における判定の精度を向上させることができる。なお、この場合、加速度センサーは請求項における「加速度検出部」に相当する。
【0097】
例えば、画像表示部は、ジャイロセンサーに代えて、地磁気を用いて画像表示部が向いている方位を検出する電子コンパスと、画像表示部の加速度を検出する加速度センサーを備える構成としてもよい。この場合、判定部は、電子コンパスにより検出された方位より求められる角度を用いて、動作検知処理のステップS110の判定を、加速度センサーにより検出された加速度を用いて、動作検知処理のステップS112の判定を、それぞれ行うことができる。なお、電子コンパスは請求項における「地磁気検出部」に、加速度センサーは請求項における「加速度検出部」に、それぞれ相当する。このようにすれば、ジャイロセンサーに代えて、電子コンパスと、加速度センサーを備える構成においても、実施例と同様の効果を得ることができる。
【0098】
C4.変形例4:
上記実施例の動作検知処理(図6)では、検知部は、設定ボタンが押下されたことをトリガーとして初期位置を設定し、動作検知処理を継続することとした。しかし、このトリガーは、種々の変更が可能である。
【0099】
例えば、動作検知処理のステップS102を省略し、検知部は、ヘッドマウントディスプレイHMに電源が投入された際に、初期位置を設定してステップS104以降を実行することとしてもよい。
【0100】
例えば、動作検知処理のステップS102において検知部は、利用者が一定時間、同じ姿勢を保持したと判定した場合に、初期位置を設定してステップS104以降を実行することとしてもよい。具体的には、検知部は、ジャイロセンサーの出力値から得られる角度、角速度の変化を監視することにより、利用者の姿勢を判定することができる。このようにすれば、利用者による設定ボタンの操作が不要となるため、ヘッドマウントディスプレイHMの使い勝手(ユーザービリティ)を向上させることができる。
【0101】
例えば、動作検知処理のステップS102において検知部は、ヘッドマウントディスプレイHMにインストールされている特定のアプリケーション(例えば、動作再生ソフトウェア)の起動を検出した場合に、初期位置を設定してステップS104以降を実行することとしてもよい。なお、特定のアプリケーションは任意に決定することができ、使用者により指定可能な構成としてもよい。
【0102】
例えば、画像表示部に、さらに加速度センサーを備える構成とする場合、動作検知処理のステップS102において検知部は、加速度センサーの出力値から得られる加速度をもとに、「画像表示部を叩く動作」を検知して初期位置を設定し、ステップS104以降を実行することとしてもよい。このようにすれば、設定ボタンを省略することで、ヘッドマウントディスプレイHMの使い勝手(ユーザービリティ)を向上させることができる。
【0103】
C5.変形例5:
上記実施例では、変化情報を取得するための取得部の配置について例示した。しかし、変化情報を取得するための取得部の配置はあくまで例示であり、種々の変更が可能である。
【0104】
例えば、上記第1実施例では、取得部としてのジャイロセンサーを、右表示部の筐体内部に配置するものとした。しかし、ジャイロセンサーを、右表示部と、左表示部の両方に配置することとしてもよい。その場合、動作検知処理(図6)において、左右のジャイロセンサーの出力値を比較し、角度等を求めることとしてもよい。
【0105】
例えば、上記第2実施例では、取得部としてのアイカメラを、右光学パネルの内面に配置するものとした。しかし、アイカメラを、右光学パネルの内面と、左光学パネルの内面の両方に配置することとしてもよい。その場合、視線検知処理(図10)において、左右のアイカメラが検出した左右の虹彩の動きを用いて、視線移動量を求めてもよい。
【符号の説明】
【0106】
10、10a…制御部(コントローラー)
12…点灯部
14…タッチパッド
16…十字キー
18…電源スイッチ
20、20a…画像表示部
21…耳掛部
22…右表示駆動部
24…左表示駆動部
26…右光学パネル
28…左光学パネル
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…ジャイロセンサー(角速度検出部)
62…設定ボタン
63…アイカメラ(撮像部)
81…無線通信部
82…無線通信部
110…入力情報取得部
120…記憶部
130…電源
140…CPU
145、145a…検知部(検知部)
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部(画像光生成部、光源)
202…左バックライト制御部(画像光生成部、光源)
211…右LCD制御部(画像光生成部、表示素子)
212…左LCD制御部(画像光生成部、表示素子)
221…右バックライト(画像光生成部、光源)
222…左バックライト(画像光生成部、光源)
241…右LCD(画像光生成部、表示素子)
242…左LCD(画像光生成部、表示素子)
251…右投写光学系(導光部)
252…左投写光学系(導光部)
261…右導光板(導光部)
262…左導光板(導光部)
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データ
CA…赤外線
MA…赤外線
OA…外部機器
SC…外景
PC…パーソナルコンピューター
AE…虹彩
AX…中心位置
VI…虚像
CI、CIa…閾値情報
IL…照明光
PL…画像光
HM、HMa…ヘッドマウントディスプレイ(頭部装着型表示装置)
VR…視野
Th1…第1の閾値
Th2…第2の閾値
Th3…第3の閾値

【特許請求の範囲】
【請求項1】
頭部装着型表示装置であって、
画像を表す画像光を生成し射出させる画像光生成部と、射出された前記画像光を使用者の眼に導く導光部と、を有し、使用者に虚像を視認させるための画像表示部と、
前記画像表示部と接続され、前記画像表示部による画像表示を制御する制御部と、
前記画像表示部の向きの変化を示す変化情報を取得し、前記変化情報を用いて、前記画像表示部を装着した使用者の一定量を超える頭の動きを検知する検知部と、
を備え、
前記制御部は、
前記一定量を超える頭の動きが検知された場合に、前記虚像の視認性を低下させるように、前記画像光生成部の輝度を調整し、または、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
【請求項2】
請求項1記載の頭部装着型表示装置であって、
前記検知部は、
予め定められたトリガーの発生に応じて、前記画像表示部の動きを検出する際の基準となる位置である初期位置を設定し、前記初期位置に対する前記変化情報を取得し、前記変化情報を用いて、前記一定量を超える頭の動きを検知する、頭部装着型表示装置。
【請求項3】
請求項2記載の頭部装着型表示装置であって、
前記検知部は、前記初期位置および前記変化情報を、前記画像表示部を装着した使用者の鉛直方向の頭の動きに対応する頭の角度と、水平方向の顔の動きに対応する顔の方向と、の組合せによって特定する、頭部装着型表示装置。
【請求項4】
請求項2または3記載の頭部装着型表示装置であって、さらに、
前記画像表示部は、前記画像表示部の角速度を検出する角速度検出部を備え、
前記検知部は、
前記変化情報として検出された前記角速度を取得し、前記角速度から求めた角度が予め定められた第1の閾値を超え、かつ、前記角速度が予め定められた第2の閾値を超えている場合に、前記一定量を超える頭の動きを検知したと判定する、頭部装着型表示装置。
【請求項5】
請求項2ないし4のいずれか一項記載の頭部装着型表示装置であって、さらに、
前記画像表示部は、前記画像表示部の加速度を検出する加速度検出部を備え、
前記検知部は、さらに、
前記変化情報として検出された前記加速度を取得し、前記加速度から求めた前記画像表示部の傾きを併用して、前記一定量を超える頭の動きを検知したかを判定する、頭部装着型表示装置。
【請求項6】
請求項2または3記載の頭部装着型表示装置であって、
前記画像表示部は、さらに、
地磁気を用いて前記画像表示部の方位を検出する地磁気検出部と、
前記画像表示部の加速度を検出する加速度検出部と、
を備え、
前記検知部は、
前記変化情報として、検出された前記方位と、検出された前記加速度とを取得し、前記方位から求めた角度が予め定められた第1の閾値を超え、かつ、前記加速度が予め定められた第2の閾値を超えている場合に、前記一定量を超える頭の動きを検知したと判定する、頭部装着型表示装置。
【請求項7】
請求項1ないし6のいずれか一項記載の頭部装着型表示装置であって、
前記予め定められたトリガーは、前記頭部装着型表示装置への電源の投入と、所定のアプリケーションの起動の検出と、所定のボタン押下の検出と、のうちの少なくともいずれか1つである、頭部装着型表示装置。
【請求項8】
請求項1ないし7のいずれか一項記載の頭部装着型表示装置であって、
前記画像光生成部は、
前記画像を生成する表示素子と、
生成された前記画像を表す画像光を射出させる光源と、
を含み、
前記制御部は、
前記一定量を超える頭の動きが検知された場合に、前記光源の照明光を消灯または減光させることで、前記画像光生成部の輝度を調整する、頭部装着型表示装置。
【請求項9】
請求項1ないし7のいずれか一項記載の頭部装着型表示装置であって、
前記制御部は、
前記一定量を超える頭の動きが検知された場合に、前記画像光生成部による前記画像光の生成を一時的に停止させることで、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
【請求項10】
請求項1ないし9のいずれか一項記載の頭部装着型表示装置であって、さらに、
前記画像表示部は、使用者の眼球画像を撮像する撮像部を備え、
前記検知部は、さらに、
撮像された前記眼球画像を解析することで、使用者の虹彩の中心位置に対する移動量を示す視線移動量を取得し、
前記制御部は、さらに、
前記視線移動量が予め定められた第3の閾値を超えた場合に、前記虚像の視認性を低下させるように、前記画像光生成部の輝度を調整し、または、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
【請求項11】
頭部装着型表示装置の制御方法であって、
(a)画像を表す画像光を生成し射出させる画像光生成部と、射出された前記画像光を使用者の眼に導く導光部と、を用いて、使用者に虚像を視認させる工程と、
(b)前記工程(a)による画像表示を制御する工程と、
(c)前記頭部装着型表示装置の向きの変化を示す変化情報を取得し、前記変化情報を用いて、前記頭部装着型表示装置を装着した使用者の一定量を超える頭の動きを検知する工程と、
(d)前記一定量を超える頭の動きが検知された場合に、前記虚像の視認性を低下させるように、前記画像光生成部の輝度を調整し、または、前記画像光生成部により生成される前記画像光を調整する工程と、
を備える、頭部装着型表示装置の制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2012−203128(P2012−203128A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−66393(P2011−66393)
【出願日】平成23年3月24日(2011.3.24)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】