説明

頭部装着型表示装置

【課題】使用感を向上させることができる頭部装着型表示装置を提供する。
【解決手段】頭部装着型表示装置1は、画像光を出射して画像を表示する表示素子8と、観察者の視線方向を検出する視線方向検出手段2と、視線方向の領域を撮像する撮像手段3と、視線方向検出手段2の検出結果に基づいて、視線方向が下方に向いているか否かを判定する視線方向判定部11と、撮像手段3からの入力信号に基づいて、観察者の手の形状が所定の操作パターンを示しているか否かを判定する操作判定部12と、視線方向判定部11および操作判定部12の判定結果に基づいて、表示素子8による表示を制御する表示制御部13とを備え、表示制御部13は、視線方向が下方に向いており、かつ手の形状が所定の操作パターンを示していると判定されたときに、表示素子8に操作オブジェクトを表示させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観察者の頭部に装着される頭部装着型表示装置に関する。
【背景技術】
【0002】
従来、眼鏡のような外観を有し、LCD(Liquid Crystal Display)等の表示素子にて形成された画像を光学系により観察者に観察させる頭部装着型表示装置が提案されている(例えば、特許文献1参照)。
特許文献1に記載の頭部装着型表示装置は、表示素子(LCD等)及び光学系等を有するディスプレイと、ディスプレイに取付けられ、観察者の頭部の傾きを検出する頭部位置検出装置とを備える。この頭部装着型表示装置は、観察者の頭部が下方に傾いたことを頭部位置検出装置により検出すると、観察者の手の位置に仮想キーボード(操作オブジェクト)を表示するように構成されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平9−179062号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の頭部装着型表示装置では、観察者の頭部が下方を向いている場合は、常に仮想キーボードが表示されてしまう。このため、観察者にキーボード操作の意思が無い場合は、キーボードの表示が煩わしく感じられ、観察者に不快感を与えてしまうという問題がある。
【0005】
本発明の目的は、使用感を向上させることができる頭部装着型表示装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の頭部装着型表示装置は、画像光を出射して画像を表示する表示素子と、観察者の視線方向を検出する視線方向検出手段と、前記視線方向の領域を撮像する撮像手段と、前記視線方向検出手段の検出結果に基づいて、前記視線方向が下方に向いているか否かを判定する視線方向判定部と、前記撮像手段からの入力信号に基づいて、前記観察者の手の形状が所定の操作パターンを示しているか否かを判定する操作判定部と、前記視線方向判定部および前記操作判定部の判定結果に基づいて、前記表示素子による表示を制御する表示制御部とを備え、前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が所定の操作パターンを示していると判定されたときに、前記表示素子に操作オブジェクトを表示させることを特徴とする。
ここで、操作オブジェクトとは、頭部装着型表示装置の操作手段として表示されるオブジェクトをいう。
【0007】
本発明では、表示制御部は、観察者の視線方向が下方に向いており、かつ観察者の手の形状が所定の操作パターンを示していると判定されたときに、表示素子に操作オブジェクトを表示させる。
このことにより、観察者の視線方向が下方を向いている場合でも、観察者の手が所定の操作パターンを示していなければ、操作オブジェクトは表示されない。このため、観察者の意図に反して操作オブジェクトが表示されることを防止でき、使用感を向上させることができる。
【0008】
本発明の頭部装着型表示装置において、前記視線方向検出手段は、前記頭部装着型表示装置に設けられた加速度センサーであることが好ましい。
【0009】
ところで、観察者の視線そのもの、つまり観察者の目が向いている方向を検出する場合、一般的に検出手段の構成が複雑化してしまう。
これに対し、本発明では、視線方向検出手段は、頭部装着型表示装置に設けられた加速度センサーであり、加速度センサーに作用する加速度から観察者の頭部の傾きを検出することにより、観察者の視線方向を検出する。このため、加速度センサーという汎用的かつ簡易な構成を用いて視線方向を検出することができるので、頭部装着型表示装置を安価で製造でき、かつ小型化することができる。
【0010】
本発明の頭部装着型表示装置は、前記表示素子からの画像光を投射する投射レンズと、前記投射レンズに対して固定され、当該投射レンズからの画像光を所定位置に導く導光部とを備え、前記導光部を介して外界像を観察可能に構成されていることが好ましい。
【0011】
本発明では、頭部装着型表示装置は、導光板を介して外界像を観察可能な、いわゆるシースルー型であるため、表示素子に形成された画像の他、外界像をも観察者に観察させることができる。このことにより、観察者は、表示素子に形成された画像と外界像とを同時に観察することができるので、外界像を観察しようとした場合に頭部装着型表示装置を外す必要がなく、使用感をより向上させることができる。
【0012】
本発明の頭部装着型表示装置において、前記表示制御部は、表示領域における下方位置に前記操作オブジェクトを表示させることが好ましい。
【0013】
本発明では、表示制御部は、表示領域における下方位置に操作オブジェクトを表示させるので、頭部装着型表示装置がシースルー型である場合でも、操作オブジェクトの操作時に観察者の手が表示領域をさえぎることを防止でき、使用感をさらに向上させることができる。
【0014】
本発明の頭部装着型表示装置において、前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第1の操作パターンを示していると判定されたときに、表示領域における前記手の位置に対応する位置にカーソルを表示させることが好ましい。
【0015】
本発明では、視線方向が下方に向いており、かつ手の形状が第1の操作パターンを示していると判定されたときに、表示領域の手の位置に対応する位置にカーソルを表示させるので、観察者の意図に反する表示を防ぎつつ、表示領域におけるポインティング位置を観察者に良好に認識させることができる。
【0016】
本発明の頭部装着型表示装置において、前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第2の操作パターンを示していると判定されたときに、表示領域における前記手の位置に対応する位置の操作オブジェクトにより定義される処理を実行することが好ましい。
【0017】
本発明では、手の形状が第2の操作パターンを示していると判定されたときに、表示領域の手の位置に対応する位置の操作オブジェクトの処理を実行するので、観察者の意図に反する処理を防止することができ、使用感を一層向上させることができる。
【0018】
本発明の頭部装着型表示装置において、前記操作判定部は、前記観察者の手の形状が前記第2の操作パターンを示している時間が所定時間以上継続しているか否かを判定し、前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が前記第2の操作パターンを示している時間が所定時間以上継続していると判定されたときに、表示領域における前記手の位置に対応する位置の操作オブジェクトを前記手の位置に合わせて移動させる処理を実行することが好ましい。
【0019】
本発明では、手の形状が第2の操作パターンを示している時間が所定時間以上継続していると判定されたときに、表示領域における手の位置に対応する位置の操作オブジェクトを手の位置に合わせて移動させるので、観察者が手の位置を移動させるだけで、操作オブジェクトを容易に移動させることができる。
【0020】
本発明の頭部装着型表示装置において、前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第3の操作パターンを示していると判定されたときに、表示領域における前記手の位置に対応する位置の操作オブジェクトに関する操作を一覧表示させる処理を実行することが好ましい。
【0021】
本発明では、手の形状が第3の操作パターンを示していると判定されたときに、表示領域における手の位置に対応する位置の操作オブジェクトに関する操作を一覧表示させるので、手の形状を第3の操作パターンにするだけで、操作オブジェクトに関する操作を表示させることができる。このため、操作オブジェクトに関する操作メニューを容易に表示させることができ、使用感をさらに向上させることができる。
【図面の簡単な説明】
【0022】
【図1】本発明の一実施形態における頭部装着型表示装置の外観を示す斜視図。
【図2】頭部装着型表示装置の構成を示すブロック図。
【図3】頭部装着型表示装置の装着状態を示す図。
【図4】操作パターンを表す手の形状を示す図。
【図5】頭部装着型表示装置の表示制御を説明するフローチャート。
【図6】頭部装着型表示装置の使用状態を示す図。
【図7】頭部装着型表示装置の使用状態を示す図。
【図8】頭部装着型表示装置の使用状態を示す図。
【発明を実施するための形態】
【0023】
以下、本発明の実施の一形態を図面に基づいて説明する。
〔1.頭部装着型表示装置の構成〕
図1は、頭部装着型表示装置1の外観を示す斜視図である。
なお、図1では、説明の便宜上、後述する投射レンズ91の光軸Ax(図3)に平行となる軸をZ軸とし、Z軸に直交する水平軸をX軸、Z軸に直交する鉛直軸をY軸とする。以降の図も同様である。さらに、Z軸において、観察者側を+Z軸側、観察者から離間する側を−Z軸側とする。また、図3は、説明の便宜上、観察者の左目に対応する側のみを示している。
頭部装着型表示装置1は、図1に示すように、眼鏡のような外観を有するヘッドマウントディスプレイであり、当該頭部装着型表示装置1を装着した観察者に対して画像光を認識させる。また、本実施形態の頭部装着型表示装置1は、外界像をシースルーで観察させることができるシースルー型の虚像表示装置で構成されている。
この頭部装着型表示装置1は、視線方向検出手段2と、撮像手段3と、画像形成装置4(図2)と、導光部としての導光板5と、導光板5を保持するリム6と、テンプル7とを備える。
【0024】
視線方向検出手段2は、リム6に設けられ、観察者の視線方向を検出する。
本実施形態では、視線方向検出手段2は、加速度センサー(重力センサー)やジャイロセンサーで構成され、頭部装着型表示装置1の傾斜状態(水平方向に対する傾斜状態)を検出することで観察者の視線方向を検出し、検出した傾斜に応じた信号を制御装置10に出力する。
【0025】
撮像手段3は、リム6に設けられ、観察者の視線方向の領域を撮像する。
本実施形態では、撮像手段3は、リム6の前面中央部分に設けられ、頭部装着型表示装置1の前方、つまり観察者の頭部が向いている方向を撮像することで、観察者の視線方向の領域を撮像する。この撮像手段3は、例えば、CCD(Charge Coupled Device)を撮像素子とするエリアセンサを備えたCCDカメラで構成され、撮像画像に応じた信号を制御装置10に出力する。
【0026】
なお、画像形成装置4、導光板5、及びテンプル7は、図1に示すように、頭部装着型表示装置1を装着する観察者の左目及び右目にそれぞれ対応して一対設けられ、YZ平面を基準として対称(左右対称)となるように配設されている。
一対の画像形成装置4、一対の導光板5、及び一対のテンプル7については、左右で同一の構成を有しているため、以下では、観察者の左目に対応する側のみを説明する。
【0027】
〔2.画像形成装置の構成〕
図2は、画像形成装置4を含む頭部装着型表示装置1の構成を示すブロック図である。
図3は、頭部装着型表示装置1の装着状態を示す図である。
画像形成装置4は、画像光を形成して投射する装置であり、図2および図3に示すように、表示素子8と、投射光学装置9と、制御装置10(図2)とを備える。
【0028】
表示素子8は、制御装置10の表示制御の下、画像光を出射して画像を表示する。本実施形態では、表示素子8は、入射した光を変調して画像光を形成する透過型の液晶表示デバイス81と、液晶表示デバイス81の光入射側に取り付けられ、液晶表示デバイス81に対して光を出射するLED(Light Emitting Diode)等のバックライト82(図3)とを備える。
【0029】
投射光学装置9は、表示素子8から出射された画像光を平行光として投射する投射レンズ91と、投射レンズ91を内部に収納する鏡筒92(図3)とを備える。この投射光学装置9は、リム6に固定されており、投射レンズ91は、鏡筒92およびリム6を介して導光板5に固定されている。これにより、投射レンズ91は、導光板5(図1および図3)に対して位置ずれしないように構成されている。
【0030】
制御装置10は、CPU(Central Processing Unit)やIC(Integrated Circuit)チップ等の半導体装置が回路基板に実装されて構成され、外部から入力した画像信号に基づいて、液晶表示デバイス81を駆動し、画像信号に基づく画像光を液晶表示デバイス81に形成させる。
この制御装置10は、図2に示すように、視線方向判定部11と、操作判定部12と、表示制御部13とを備えている。
【0031】
視線方向判定部11は、視線方向検出手段2からの入力信号に基づいて、観察者の視線方向が下方に向いているか否かを判定する。
本実施形態では、視線方向判定部11は、視線方向検出手段2からの傾斜角度が所定の閾値を超えている場合に、観察者の視線方向が下方に向いていると判定する。
【0032】
操作判定部12は、撮像手段3からの入力信号に基づいて、観察者の手の形状が所定の操作パターンを示しているか否かを判定する。
本実施形態では、操作判定部12は、観察者の手の形状が図4に示す形状である場合に、観察者が所定の操作を行っていることを認識する。
なお、図4(A)は、観察者が画面上の箇所を指し示す第1の操作パターンとしてのポインティングパターンの手の形状を示している。
図4(B)は、いわゆるマウスの左クリック操作を行う第2の操作パターンとしてのクリックパターンの手の形状を示している。
図4(C)は、いわゆるマウスの右クリック操作を行う第3の操作パターンとしてのメニュー表示パターンの手の形状を示している。
【0033】
ここで、画像形成装置4は、各操作パターンを記憶した図示しない記憶装置を備えており、操作判定部12は、記憶装置に記憶されている操作パターンに基づいて、観察者が所定の操作を行っていることを認識するように構成されている。記憶装置に記憶される操作パターンは、図示しない操作パターン登録手段により編集可能とされており、観察者は、任意の操作パターンを設定することができるようになっている。
【0034】
表示制御部13は、入力した画像信号から画像データを生成し、当該画像データに基づいて表示素子8に駆動信号を出力することで、画像信号に基づく画像を表示素子8に表示させる。また、表示制御部13は、視線方向判定部11および操作判定部12の判定結果に基づいて、表示素子8にキーボードやアイコン等の操作オブジェクトT(図8)を表示させたり、操作オブジェクトTにより定義される処理を実行したりする。
【0035】
〔3.導光板の構成〕
導光板5は、光透過性を有する樹脂材料等から構成され、画像形成装置4から出射された画像光を内部に取り込んだ後、外部の所定位置(観察者の左目または右目)に導く。この導光板5は、図3に示すように、Y軸に沿う方向から見た場合に略等脚台形状に形成されている。そして、導光板5には、光入射面51と、第1反射面52と、第1全反射面53と、第2全反射面54と、第2反射面55と、光出射面56とが形成されている。
【0036】
第1反射面52は、光入射面51に対向し、XY平面に対して傾斜する平坦状の斜面にアルミ蒸着等の成膜を施すことにより形成され、光入射面51を介して導光板5内部に取り込まれた画像光を第1全反射面53に向けて反射させる。
【0037】
第1全反射面53は、光入射面51を延長させた(XY平面に平行となる(光軸Axに直交する))平面で構成され、+Z軸側に位置する。
第2全反射面54は、第1全反射面53に平行となる平坦状に形成され、−Z軸側に位置する。
そして、第1反射面52にて反射された画像光は、第1,第2全反射面53,54での全反射により、光入射面51および第1反射面52から離間する方向(他方の導光板5に近接する側)に導かれる。
【0038】
なお、第1,第2全反射面53,54としては、表面上にミラーやハーフミラー等を施すことなく空気との界面により画像光を全反射させて導くものに限らず、第1,第2全反射面53,54の全体または一部にミラーコートや、ハーフミラー膜が形成されてなされる反射も含むものとする。例えば、画像光の入射角度が全反射条件を満たした上で、第1,第2全反射面53,54の全体または一部にミラーコート等が施され、実質的に全ての画像光を反射させる場合も含まれる。また、十分な明るさの画像光を得られるのであれば、多少透過性のあるミラーによって第1,第2全反射面53,54の全体または一部がコートされていてもよい。
【0039】
第2反射面55は、光出射面56に対向し、XY平面に対して傾斜する平坦状に形成され、第1,第2全反射面53,54にて導かれた画像光を反射により光出射面56から外部の所定位置(観察者の左目または右目)に導く。この第2反射面55は、ハーフミラー等で構成され、画像光を反射するとともに、外界像も透過可能に構成されている。
なお、第1,第2全反射面53,54にて導かれた画像光を外部の所定位置に導く機能を有していれば、ハーフミラー等の第2反射面55に限らず、偏光ビームスプリッターや、ホログラム回折格子等を採用しても構わない。
【0040】
〔4.テンプルの構成〕
テンプル7は、図3に示すように、内部が中空となっており、当該中空部分に画像形成装置4が収容されている。本実施形態では、導光板5側からテンプル7の先端側に向けて、投射光学装置9および表示素子8テンプル7内に順に並んで配置されている。
そして、テンプル7は、頭部装着型表示装置1が観察者に装着された際に、観察者の耳に係止される。
【0041】
〔5.表示制御〕
次に、上述した頭部装着型表示装置1の表示制御を図面に基づいて説明する。
図5は、頭部装着型表示装置1の表示制御を説明するフローチャートである。
図6から図8は、頭部装着型表示装置の使用状態を示す図である。
図5において、先ず、制御装置10の視線方向判定部11は、観察者の頭部が下方に傾斜しているか否かの判定処理を実行することで、観察者の視線方向が下方に向いているか否かの判定を行う(ステップS1)。ステップS1で、観察者の視線方向が下方に向いていると判定された場合、操作判定部12は、観察者の手の形状から観察者の操作の判定処理を実行する(ステップS2)。
【0042】
ここで、ステップS1で、観察者の視線方向が下方に向いていないと判定された場合、表示制御部13は、入力された画像信号に基づく画像を表示素子8により表示領域A(図6から図8)に表示させる(ステップS3)。この場合、図6に示すように、観察者は、頭部を水平に保った状態で画像を観察しており、キーボード等の操作オブジェクトTは表示されていない。
【0043】
また、ステップS1で、観察者の視線方向が下方に向いていると判定されたものの、ステップS2で、観察者の手の形状が所定の操作パターン(本実施形態では図4(A)から図4(C)に示す操作パターン)でないと認識された場合、表示制御部13は、やはり入力された画像信号に基づく画像を表示素子8により表示領域Aに表示させる(ステップS3)。この場合、図7に示すように、観察者は、視線方向を下方に向けた状態で画像を観察しているが、操作オブジェクトTは表示されていない。そして、本実施形態の頭部装着型表示装置1はシースルー型であるため、観察者は、画像を観察しつつ、例えば、用紙にメモを取ることができる。
【0044】
一方、ステップS2で、観察者の手の形状が所定の操作パターンであると認識された場合、表示制御部13は、図8に示すように、入力された画像信号に基づく画像を表示素子8により表示領域Aに表示させるとともに、表示領域Aにおける下方位置に操作オブジェクトTを表示させる(ステップS4)。また、操作判定部12は、撮像手段3からの入力信号に基づいて観察者の手の位置(本実施形態では観察者の指差位置)を判定し、表示制御部13は、表示領域Aにおける当該位置に対応する位置に矢印等の形状を有するカーソルを表示させる(ステップS5)。
【0045】
ここで、表示領域Aに表示される操作オブジェクトTとしては、文字キーおよびその他の操作キー(リターン(エンター)、移動、戻る、入力、消去、コピー、文字変換等の操作を行うためのキー)を有するキーボードや、各種アイコン等が例示される。キーボードを表示させる際は、キーボードにより入力された文字を表示する入力表示欄をキーボードと同時に表示させ、文字入力後にリターンキーがクリックされた場合に、表示領域Aにおける各種アプリケーションの文書やインターネット検索サイトの文字入力エリア等に、入力表示欄に表示された文字を入力するようにしてもよい。
【0046】
続いて、操作判定部12は、観察者の手の形状が、図4(B)に示すクリックパターンであるか否かを判定する(ステップS6)。
ステップS6において、観察者の手の形状がクリックパターンであると判定された場合、操作判定部12は、観察者の手の形状がクリックパターンを示している時間が所定時間以上継続しているか否かを判定する(ステップS7)。
【0047】
ステップS7において、クリックパターンを示している時間が所定時間未満であると判定された場合、表示制御部13は、観察者の指差位置に対応する位置の操作オブジェクトT(図8)により定義される処理を実行する(ステップS8)。すなわち、表示制御部13は、表示領域Aにおいてカーソルをアイコン上に位置させた状態でマウスの左側のクリックボタンを押す、いわゆる左クリック動作に相当する処理を行う。これに対し、ステップS7において、クリックパターンを示している時間が所定時間以上継続していると判定された場合、表示制御部13は、表示領域Aにおける手の位置に対応する位置の操作オブジェクトを手の位置に合わせて移動させる、いわゆるマウスのドラッグ操作の処理を実行する(ステップS9)。
【0048】
一方、ステップS6において、手の形状がクリックパターンでないと判定された場合、操作判定部12は、手の形状がメニュー表示パターンであるか否かを判定する(ステップS10)。ステップS10において、手の形状がメニュー表示パターンでないと判定された場合はステップS1に戻り、そうでない場合、表示制御部13は、表示領域における手の位置に対応する位置の操作オブジェクトに関する操作を一覧表示させる(ステップS11)。すなわち、表示制御部13は、表示領域Aにおいてカーソルをアイコン上に位置させた状態でマウスの右側のクリックボタンを押す、いわゆる右クリック動作に相当する処理を行う。
【0049】
上述した実施形態によれば、以下の効果がある。
本実施形態では、表示制御部13は、観察者の視線方向が下方に向いており、かつ観察者の手の形状が所定の操作パターンを示していると判定されたときに、操作オブジェクトTを表示素子8に表示させる。
このことにより、観察者の視線方向が下方を向いている場合でも、観察者の手が所定の操作パターンを示していなければ、操作オブジェクトTは表示されない。このため、観察者の意図に反して操作オブジェクトTが表示されることを防止でき、使用感を向上させることができる。
【0050】
ところで、観察者の視線そのもの、つまり観察者の目が向いている方向を検出する場合、一般的に検出手段の構成が複雑化してしまう。
これに対し、本実施形態では、視線方向検出手段2は、頭部装着型表示装置1に設けられた加速度センサーであり、加速度センサーに作用する加速度から観察者の頭部の傾きを検出することにより、観察者の視線方向を検出する。このため、加速度センサーという汎用的かつ簡易な構成を用いて視線方向を検出することができるので、頭部装着型表示装置1を安価で製造でき、かつ小型化することができる。
【0051】
本実施形態では、頭部装着型表示装置1は、導光板5を介して外界像を観察可能な、いわゆるシースルー型であるため、表示素子8に形成された画像の他、外界像をも観察者に観察させることができる。このことにより、観察者は、表示素子8により形成された画像と外界像とを同時に観察することができるので、外界像を観察しようとした場合に頭部装着型表示装置1を外す必要がなく、使用感をより向上させることができる。
【0052】
本実施形態では、表示制御部13は、表示領域Aにおける下方位置に操作オブジェクトTを表示させるので、頭部装着型表示装置1がシースルー型である場合でも、操作オブジェクトTの操作時に観察者の手が表示領域Aをさえぎることを防止でき、使用感をさらに向上させることができる。
【0053】
本実施形態では、視線方向が下方に向いており、かつ観察者の手の形状が第1の操作パターンを示していると判定されたときに、表示領域Aの手の位置に対応する位置にカーソルを表示させる。このため、観察者の意図に反する表示を防ぎつつ、表示領域Aにおけるポインティング位置を観察者に良好に認識させることができる。
【0054】
本実施形態では、観察者の手の形状が第2の操作パターンを示していると判定されたときに、表示領域Aの手の位置に対応する位置の操作オブジェクトTの処理を実行するので、観察者の意図に反する処理を防止することができ、使用感を一層向上させることができる。
【0055】
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記実施形態では、頭部装着型表示装置は、透過型の液晶表示デバイス81を備えた表示素子8を採用していたが、これに限らず、その他の構成、例えば、反射型の液晶表示デバイスや、デジタル・マイクロミラー・デバイス等を備えた表示素子を採用しても構わない。また、有機ELデバイス等の自己発光型の表示素子を採用してもよい。
【0056】
前記実施形態では、頭部装着型表示装置1は、表示素子8から出射された画像光を導光板5を介して観察者に認識させる虚像表示型であったが、これに限らず、表示素子8から出射された画像光を観察者に直接認識させる直接表示型としてもよい。また、導光部としては、導光板5に限らず、ミラー等の他の構成を採用してもよい。
【0057】
前記実施形態では、視線方向検出手段2は、頭部装着型表示装置1の傾斜状態を検出することで観察者の視線方向を検出するように構成されていたが、これに限らない。視線方向検出手段2としては、観察者の視線方向を検出可能であればいずれの構成も採用でき、例えば、観察者の視線そのものを検出するような構成としてもよい。
【0058】
前記実施形態では、表示制御部13は、画像信号に基づく画像とともに操作オブジェクトTを表示素子8に表示させていたが、操作オブジェクトTのみを表示させてもよい。このような場合として、画像信号に基づく画像を表示させていない状態でのメニュー表示等が例示できる。
【0059】
前記実施形態では、第1から第3の操作パターンとしてポインティングパターン、クリックパターン、およびメニュー表示パターンが用いられていたが、これに限らず、操作パターンは任意に設定することができる。
前記実施形態では、クリックパターンを示している時間が所定時間以上継続していると判定された場合、操作オブジェクトを観察者の手の位置に合わせて移動させていたが、これに限らない。例えば、各種アプリケーションの文書やインターネット検索サイト等、表示領域Aに表示される他のオブジェクトや画面を移動させてもよい。
【産業上の利用可能性】
【0060】
本発明は、ヘッドマウントディスプレイ等の頭部装着型表示装置に利用できる。
【符号の説明】
【0061】
1・・・頭部装着型表示装置、2・・・視線方向検出手段、3・・・撮像手段、5・・・導光板(導光部)、8・・・表示素子、11・・・視線方向判定部、12・・・操作判定部、13・・・表示制御部、91・・・投射レンズ、T・・・操作オブジェクト。

【特許請求の範囲】
【請求項1】
画像光を出射して画像を表示する表示素子と、
観察者の視線方向を検出する視線方向検出手段と、
前記視線方向の領域を撮像する撮像手段と、
前記視線方向検出手段の検出結果に基づいて、前記視線方向が下方に向いているか否かを判定する視線方向判定部と、
前記撮像手段からの入力信号に基づいて、前記観察者の手の形状が所定の操作パターンを示しているか否かを判定する操作判定部と、
前記視線方向判定部および前記操作判定部の判定結果に基づいて、前記表示素子による表示を制御する表示制御部とを備え、
前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が所定の操作パターンを示していると判定されたときに、前記表示素子に操作オブジェクトを表示させる
ことを特徴とする頭部装着型表示装置。
【請求項2】
請求項1に記載の頭部装着型表示装置において、
前記視線方向検出手段は、前記頭部装着型表示装置に設けられた加速度センサーである
ことを特徴とする頭部装着型表示装置。
【請求項3】
請求項1または請求項2に記載の頭部装着型表示装置において、
前記表示素子からの画像光を投射する投射レンズと、
前記投射レンズに対して固定され、当該投射レンズからの画像光を所定位置に導く導光部とを備え、
前記導光部を介して外界像を観察可能に構成されている
ことを特徴とする頭部装着型表示装置。
【請求項4】
請求項3に記載の頭部装着型表示装置において、
前記表示制御部は、表示領域における下方位置に前記操作オブジェクトを表示させる
ことを特徴とする頭部装着型表示装置。
【請求項5】
請求項1から請求項4のいずれかに記載の頭部装着型表示装置において、
前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第1の操作パターンを示していると判定されたときに、表示領域における前記手の位置に対応する位置にカーソルを表示させる
ことを特徴とする頭部装着型表示装置。
【請求項6】
請求項1から請求項5のいずれかに記載の頭部装着型表示装置において、
前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第2の操作パターンを示していると判定されたときに、表示領域における前記手の位置に対応する位置の操作オブジェクトにより定義される処理を実行する
ことを特徴とする頭部装着型表示装置。
【請求項7】
請求項6に記載の頭部装着型表示装置において、
前記操作判定部は、前記観察者の手の形状が前記第2の操作パターンを示している時間が所定時間以上継続しているか否かを判定し、
前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が前記第2の操作パターンを示している時間が所定時間以上継続していると判定されたときに、表示領域における前記手の位置に対応する位置の操作オブジェクトを前記手の位置に合わせて移動させる処理を実行する
ことを特徴とする頭部装着型表示装置。
【請求項8】
請求項1から請求項7のいずれかに記載の頭部装着型表示装置において、
前記表示制御部は、前記視線方向が下方に向いており、かつ前記手の形状が第3の操作パターンを示していると判定されたときに、表示領域における前記手の位置に対応する位置の操作オブジェクトに関する操作を一覧表示させる処理を実行する
ことを特徴とする頭部装着型表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate