透過型表示装置、及び操作入力方法
【課題】操作性が高い透過型表示装置、及び操作入力方法を提供する。
【解決手段】透過型表示装置は、操作面に対する操作入力を検出する操作部２１０と、所定画像光を出力する左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂと、画像取り出しエリアに所定画像光を視認可能に提示し、且つ、画像取り出しエリアに外界からの入射光を透過させる画像取り出し部と、操作面と画像取り出しエリアとの相対位置に応じた信号を出力するセンサー１２０と、画像取り出しエリアを透過した操作面の光学像と、所定画像との画像取り出しエリア上での重なりを、相対位置に応じた信号に基づいて検出し、操作面の光学像と所定画像とが重なる場合、操作入力を受け付ける判定部２２０とを備える。
【解決手段】透過型表示装置は、操作面に対する操作入力を検出する操作部２１０と、所定画像光を出力する左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂと、画像取り出しエリアに所定画像光を視認可能に提示し、且つ、画像取り出しエリアに外界からの入射光を透過させる画像取り出し部と、操作面と画像取り出しエリアとの相対位置に応じた信号を出力するセンサー１２０と、画像取り出しエリアを透過した操作面の光学像と、所定画像との画像取り出しエリア上での重なりを、相対位置に応じた信号に基づいて検出し、操作面の光学像と所定画像とが重なる場合、操作入力を受け付ける判定部２２０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、透過型（シースルー型）表示装置、及び操作入力方法に関する。
【背景技術】
【０００２】
直観的なインターフェースにより機器を操作させることを目的とした表示装置（ヘッドマウントディスプレイ）が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３１２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている表示装置の画像取り出しエリアに、例えば、押下操作可能なアイコン画像を表示させた場合、そのアイコン画像は虚像であるため触ることができないので、表示装置を頭部に装着したユーザーにとっては、アイコン画像の押下操作に違和感がある。このように、特許文献１に開示されている表示装置は、操作性が低いという問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、操作性が高い透過型表示装置、及び操作入力方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、操作面に対する操作入力を検出する移動可能な操作部と、所定画像光を出力する画像出力部と、画像取り出しエリアに前記所定画像光を視認可能に提示し、且つ、前記画像取り出しエリアに外界からの入射光を透過させる画像取り出し部と、前記操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するセンサーと、前記画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との前記画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付ける判定部と、を備えることを特徴とする透過型表示装置である。
【０００７】
この構成により、判定部は、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付けると判定する。これにより、例えば、ユーザーは、透過型表示装置の画像取り出しエリアのアイコン画像に重なるようにトラックパッドを持ち、このトラックパッドをタッチパネルのように操作できる。すなわち、透過型表示装置は、操作性を高くすることができる。また、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
【０００８】
また、本発明は、前記判定部が、前記操作面の光学像と前記所定画像光との重なりを検出し、重なる部分に対する前記操作入力を受け付けることを特徴とする透過型表示装置である。
この構成により、判定部は、前記操作面の光学像と前記所定画像との重なりを検出し、重なる部分に対する前記操作入力のみを受け付ける。これにより、透過型表示装置は、前記操作面の光学像と前記所定画像とが一部だけ重なる場合でも、タッチパネルのような操作性を実現することができる。
【０００９】
また、本発明は、前記判定部が、前記操作面が前記画像取り出しエリアに対向しているか否かを判定し、前記操作面が前記画像取り出しエリアに対向している場合、前記操作入力を受け付けることを特徴とする透過型表示装置である。
この構成により、判定部は、前記相対位置に応じた信号に基づいて、前記操作面が前記画像取り出しエリアに対向しているか否かを判定し、前記操作面が前記画像取り出しエリアに対向している場合、前記操作入力を受け付けると判定する。これにより、透過型表示装置は、操作性を高くすることができる。すなわち、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
【００１０】
また、本発明は、前記センサーが、前記操作面を撮像し、前記判定部が、前記センサーにより撮像された前記操作面の画像に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする透過型表示装置である。
この構成により、判定部は、前記センサーにより撮像された前記操作面の画像に基づいて、前記画像取り出しエリア上での重なりを検出する。これにより、透過型表示装置は、操作性を高くすることができる。
【００１１】
また、本発明は、前記操作部又は前記画像出力部が、光源を備え、前記センサーが、前記操作部に前記光源が備えられている場合、前記光源からの光を前記画像出力部側で受光して、該受光した光に応じた信号を出力し、前記画像出力部に前記光源が備えられている場合、前記光源からの光を前記操作部側で受光して、該受光した光に応じた信号を出力し、前記判定部が、前記受光した光に応じた信号に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする透過型表示装置である。
この構成により、判定部は、前記光源からの光に応じた信号に基づいて、前記画像取り出しエリア上での重なりを検出する。これにより、透過型表示装置は、操作性を高くすることができる。
【００１２】
また、本発明は、前記操作部が、トラックパッドであることを特徴とする透過型表示装置である。
この構成により、トラックパッドは、操作面に対する操作入力を検出する。これにより、透過型表示装置は、操作性を高くすることができる。すなわち、透過型表示装置は、トラックパッドを用いて、タッチパネルのような操作性を実現することができる。
【００１３】
また、本発明は、前記所定画像光を投射する投射光学系と、前記投射光学系により投射された前記所定画像光を前記画像取り出しエリアに導く導光部と、を備え、前記判定部は、前記操作面の光学像と、前記導光部により導かれた前記所定画像光と、の観察位置から見た重なりを検出し、重なる部分に対する前記操作入力を受け付けることを特徴とする透過型表示装置である。
この構成により、判定部は、前記操作面の光学像と前記所定画像光との観察される重なりを検出し、重なる部分に対する前記操作入力を受け付ける。これにより、透過型表示装置は、前記操作面の光学像と前記所定画像光とが一部だけ重なる場合でも、タッチパネルのような操作性を実現することができる。
【００１４】
また、本発明は、透過型表示装置における操作入力方法であって、画像出力部が、所定画像光を出力するステップと、画像取り出し部が、外界からの入射光を透過させる画像取り出しエリアに前記所定画像光を視認可能に提示するステップと、センサーが、前記操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するステップと、移動可能な操作部が、前記操作面に対する操作入力を検出するステップと、判定部が、前記画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との前記画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付けるステップと、を有することを特徴とする操作入力方法である。
【００１５】
この方法により、判定部は、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付けると判定する。これにより、例えば、ユーザーは、透過型表示装置の画像取り出しエリアのアイコン画像に重なるようにトラックパッドを持ち、このトラックパッドをタッチパネルのように操作できる。すなわち、透過型表示装置は、操作性を高くすることができる。また、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
【００１６】
本発明によれば、透過型表示装置は、操作面の光学像と所定画像とが重なる場合、操作入力を受け付ける。これにより、透過型表示装置は、操作性を高くすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態における、透過型表示装置と、透過型表示装置を使用中のユーザーとを示す図である。
【図２】本発明の第１実施形態における、透過型表示装置の構成例を示すブロック図である。
【図３】本発明の第１実施形態における、透過型表示装置の外観図である。
【図４】本発明の第１実施形態における、表示装置の構成例を示す平面図である。
【図５】本発明の第１実施形態における、制御装置の外観図である。
【図６】本発明の第１実施形態における、画像取り出しエリアの全領域に操作面の全領域が重なってユーザーに見える場合の座標の対応例を示す図である。
【図７】本発明の第１実施形態における、画像取り出しエリアの一部に操作面の一部が重なってユーザーに見える場合の座標の対応例を示す図である。
【図８】本発明の第１実施形態における、画像取り出しエリアの一部に操作面の全領域が重なってユーザーに見える場合の座標の対応例を示す図である。
【図９】本発明の第２実施形態における、制御装置の筐体に備えられた光源の配置例を示す図である。
【図１０】本発明の第３実施形態における、操作部の操作面にキーを割り当てる場合の表示例を示す図である。
【図１１】本発明の第３実施形態における、操作部の光学像にキー画像を重畳した場合の表示例を示す図である。
【発明を実施するための形態】
【００１８】
［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。図１には、透過型表示装置と、透過型表示装置を使用中のユーザーとが示されている。透過型表示装置（透過型ヘッドマウントディスプレイ）は、表示装置１００と、制御装置２００（コントローラー）とを備える。
【００１９】
ユーザーは、表示装置１００（眼鏡型）を頭部に装着することにより、表示装置１００の画像取り出し部の画像取り出しエリアに表示された所定画像（例えば、アイコン画像、メニュー画像）を見ることができる。表示装置１００の画像取り出しエリアは、入射光の少なくとも一部が透過するように構成されている。これにより、ユーザーは、表示装置１００を頭部に装着したまま、表示装置１００の画像取り出しエリアを通して制御装置２００を見ることができる。つまり、ユーザーは、その両眼の位置を観察位置として、入射光による光学像と、表示された所定画像とを同時に観察可能である。また、ユーザーは、手に持つことにより移動可能な制御装置２００の操作面に対して操作入力をすることができる。
【００２０】
図２には、透過型表示装置の構成例が、ブロック図により示されている。また、図３には、透過型表示装置の外観図が示されている。表示装置１００は、左眼用画像出力部１１０Ａと、右眼用画像出力部１１０Ｂと、センサー１２０とを備える。
【００２１】
左眼用画像出力部１１０Ａは、左眼用画像形成部１０Ａと、画像取り出し部２１Ａとを備える。左眼用画像形成部１０Ａは、装着時にユーザーの頭部左側に位置するよう、表示装置１００の左側テンプル部に備えられる。左眼用画像形成部１０Ａには、制御装置２００から画像信号が入力される。左眼用画像形成部１０Ａは、ユーザーの左眼用に所定画像光を形成し、形成した所定画像光を画像取り出し部２１Ａの画像取り出しエリアに出力する。
【００２２】
画像取り出し部２１Ａの画像取り出しエリアには、ユーザーの左眼用に所定画像が表示される。画像取り出し部２１Ａは、装着時にユーザーの左眼前に位置するよう、表示装置１００の左側リム部に備えられる。画像取り出し部２１Ａの画像取り出しエリアは、入射光の少なくとも一部が透過するよう構成されている。これにより、ユーザーの左眼には、入射光による光学像が導かれる。
【００２３】
右眼用画像出力部１１０Ｂは、右眼用画像形成部１０Ｂと、画像取り出し部２１Ｂとを備える。右眼用画像形成部１０Ｂは、装着時にユーザーの頭部右側に位置するよう、表示装置１００の右側テンプル部に備えられる。右眼用画像形成部１０Ｂには、制御装置２００から画像信号が入力される。右眼用画像形成部１０Ｂは、ユーザーの右眼用に所定画像光を形成し、形成した所定画像光を画像取り出し部２１Ｂの画像取り出しエリアに出力する。
【００２４】
画像取り出し部２１Ｂの画像取り出しエリアには、ユーザーの右眼用に所定画像が表示される。画像取り出し部２１Ｂは、装着時にユーザーの右眼前に位置するよう、表示装置１００の右側リム部に備えられる。画像取り出し部２１Ｂの画像取り出しエリアは、入射光の少なくとも一部が透過するよう構成されている。これにより、ユーザーの右眼には、入射光による光学像が導かれる。
【００２５】
図４には、表示装置の構成例が、平面図により示されている。左眼用画像出力部１１０Ａと右眼用画像出力部１１０Ｂとは互いに左右対称の構成を有するため、ここでは、左眼用画像出力部１１０Ａの構成例についてのみ説明する。
【００２６】
左眼用画像出力部１１０Ａは、左眼用画像形成部１０Ａと、左眼用導光部２０Ａとを備える。左眼用画像形成部１０Ａは、画像生成部１１Ａと、投射光学系１２Ａとを有する。画像生成部１１Ａは、発光色毎の光源（例えば、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＬＥＤ））と、光変調素子（例えば、液晶表示デバイス）とを備える。
【００２７】
画像生成部１１Ａには、制御装置２００から画像信号が入力される。画像生成部１１Ａは、光源から射出された赤色光、緑色光及び青色光を光学系により拡散させて、光変調素子に投射する。光変調素子は、制御装置２００から入力された画像信号に応じて、赤色光、緑色光及び青色光を空間変調することにより、画像信号に応じた画像光を射出する。投射光学系１２は、光変調素子から射出された画像光を、平行な状態の光束にする。
【００２８】
左眼用導光部２０Ａは、投射光学系１２により平行な状態の光束となった画像光を、左眼用導光部２０Ａが有する画像取り出し部２１Ａ（例えば、三角プリズム）の面に形成されている画像取り出しエリアに投射する。ここで、画像取り出し部２１Ａの面の表裏のうち、装着時にユーザーの左眼３１０Ａに向く側（画像取り出しエリア）には、ミラー層等の反射コーティングが施されている。画像取り出し部２１Ａの画像取り出しエリアに投射された画像光は、この反射コーティングされた面により、ユーザーの左眼３１０Ａに向けて全反射される。これにより、画像取り出し部２１Ａの画像取り出しエリア上には、所定画像（例えば、アイコン画像）が表示される。一方、画像取り出し部２１Ａに外界から入射する光の少なくとも一部は、画像取り出し部２１Ａの画像取り出しエリアを透過し、ユーザーの左眼３１０Ａに導かれる。これにより、ユーザーには、左眼用画像形成部１０Ａにより形成された所定画像と、入射光による光学像とが、画像取り出し部２１Ａの画像取り出しエリア上に重畳されて見える。
【００２９】
図２及び図３に戻り、透過型表示装置の構成例及び外観の説明を続ける。以下、画像取り出し部２１Ａと画像取り出し部２１Ｂとに共通する事項については、符号のローマ字を省略して、「画像取り出し部２１」と表記する。
【００３０】
センサー１２０は、表示装置１００の外界を撮像する撮像装置である。センサー１２０は、装着時にユーザーの頭部正面に位置するよう、表示装置１００のリム部又はブリッジ部に備えられる。つまり、センサー１２０は、制御装置２００の外観が、表示装置１００と制御装置２００との相対位置に応じて変化して見える位置に備えられる。例えば、装着時にユーザーの顔が制御装置２００に向いていれば、センサー１２０は、制御装置２００の外観を撮像し、撮像された画像の画像信号を出力することができる。
【００３１】
なお、センサー１２０は、複数備えられていてもよい。これにより、センサー１２０は、制御装置２００を複数方向から撮像することができる。また、センサー１２０は、表示装置１００でなく制御装置２００に備えられることにより、制御装置２００から表示装置１００を撮像し、表示装置１００が撮像された画像の画像信号（相対位置に応じた信号）を出力してもよい。
【００３２】
制御装置２００は、ユーザーによる操作入力を検出し、検出した操作入力を受け付けるか否かを判定する。制御装置２００は、操作入力を受け付けると判定した場合、その操作入力に応じて表示装置１００を制御する。制御装置２００は、操作部２１０と、判定部２２０と、制御部２３０と、記憶部２４０と、操作ボタン部２５０とを備える。
【００３３】
記憶部２４０は、画像取り出し部２１の画像取り出しエリアを透過した操作部２１０の操作面の光学像と、所定画像（例えば、アイコン画像）との画像取り出し部２１の画像取り出しエリア上での重なり方（以下、「重なり情報」という）を、センサー１２０が予め撮像した制御装置２００の参照画像毎に予め記憶している。
【００３４】
重なり情報は、センサー１２０が予め撮像した制御装置２００の参照画像と、操作中にセンサー１２０が撮像した制御装置２００の画像とに比較に基づいて検出される。詳細については、図６〜図８を用いて後述する。
【００３５】
操作ボタン部２５０は、操作ボタン群を備える。各操作ボタンは、ユーザーに押下されることにより、押下された操作ボタンに予め対応付けられた処理を示す信号を、制御部２３０に出力する。ここで、予め対応付けられた処理とは、例えば、画像取り出し部２１（図３を参照）の画像取り出しエリアに表示されている画像の輝度を調整する処理である。
【００３６】
操作部２１０は、制御装置２００の筐体に備えられた操作面に対する操作入力を検出する。より具体的には、操作部２１０は、操作入力をするユーザーの指が触れた操作面上の座標を検出する。操作部２１０は、例えば、トラックパッドである。
【００３７】
図５には、制御装置の外観図が示されている。図５（Ａ）に示すように、制御装置２００の一方の面には、操作ボタン部２５０が備えられている。また、制御装置２００の他方の面の全面には、操作部２１０（操作面）が備えられている。なお、図５（Ｂ）に示すように、制御装置２００の片面に、操作部２１０及び操作ボタン部２５０が備えられてもよい。以下では、一例として、図５（Ｂ）に示す操作部２１０（操作面）に注目して説明を続ける。
【００３８】
図２に戻り、透過型表示装置の構成例の説明を続ける。判定部２２０は、画像取り出し部２１の画像取り出しエリアを透過した操作部２１０の操作面の光学像と、所定画像（例えば、アイコン画像）との画像取り出し部２１の画像取り出しエリア上での重なりを、センサー１２０により撮像された操作部２１０の操作面の画像（相対位置に応じた信号）に基づいて検出する。
【００３９】
ここで、判定部２２０は、センサー１２０が今回撮像した制御装置２００の画像と、記憶部２４０に予め記憶されている複数の参照画像とに対して、画像マッチングを実行する。そして、判定部２２０は、画像マッチングにより最も類似していると判断された参照画像に対応付けられている重なり情報を、記憶部２４０から選択する。
【００４０】
判定部２２０は、操作部２１０の操作面の光学像と、所定画像とが、画像取り出し部２１の画像取り出しエリア上で重なる場合、操作部２１０が検出した操作入力を受け付ける。
【００４１】
なお、判定部２２０は、センサー１２０により撮像された操作部２１０の操作面の画像（相対位置に応じた信号）に基づいて、操作部２１０の操作面が画像取り出し部２１（図３を参照）の画像取り出しエリアに対向しているか否かを判定し、操作部２１０の操作面が画像取り出し部２１の画像取り出しエリアに対向している場合、操作部２１０が検出した操作入力を受け付けるとしてもよい。
【００４２】
また、複数の所定画像（例えば、アイコン画像）が、画像取り出し部２１の画像取り出しエリア上の異なる位置にそれぞれ表示されている場合、判定部２２０は、次のように動作してもよい。判定部２２０は、操作部２１０の操作面の光学像と所定画像とのそれぞれの重なりを検出し、これらの重なる部分に対する操作入力のみを受け付ける。この検出処理の詳細については、図６〜図８を用いて後述する。
【００４３】
判定部２２０は、操作入力を受け付ける操作面上の位置のうち、実際に操作入力された操作面上の位置に対応付けられた画像取り出し部２１の画像取り出しエリア上の位置を示す情報を、制御部２３０に出力する。
【００４４】
なお、判定部２２０は、操作部２１０の操作面の光学像と重なる所定画像が表示される画像取り出し部２１の画像取り出しエリア上の位置が検出されない場合、操作部２１０が検出した操作入力を一切受け付けない、と判定してもよい（誤動作防止）。
【００４５】
制御部２３０には、押下された操作ボタン毎の信号が、操作ボタン部２５０から入力される。制御部２３０は、この入力された信号に基づいて、所定の処理（例えば、画像の輝度を調整する処理）を実行する。
【００４６】
また、制御部２３０には、操作入力を受け付けると判定部２２０が判定した操作面上の位置（座標）のうち、実際に操作入力された操作面上の位置に対応付けられた画像取り出し部２１の画像取り出しエリア上の位置を示す情報が、判定部２２０から通知される。制御部２３０は、判定部２２０から通知された画像取り出し部２１の画像取り出しエリア上の位置に対応付けられた処理（例えば、音楽データを再生する処理）を実行する。
【００４７】
制御部２３０は、表示装置１００の左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂに、画像信号（例えば、アイコン画像、コンテンツ画像）を出力する。ここで、左眼用画像出力部１１０Ａに出力される画像信号と、右眼用画像出力部１１０Ｂに出力される画像信号とは、その内容（例えば、画像の視差）が異なっていてもよい。例えば、画像に視差が在る場合、制御部２３０は、表示装置１００に３次元画像を表示させることができる。
【００４８】
また、制御部２３０は、表示装置１００に出力する画像信号の内容を、操作入力に応じて変更してもよい。例えば、制御部２３０は、の光学像と、所定画像とが画像取り出し部２１の画像取り出しエリア上で重なっていないこと（判定結果）を、判定部２２０から通知されるようにし、通知された場合、画像取り出し部２１の画像取り出しエリア上で重なっていないこと表す警告表示を、画像取り出しエリアに表示させてもよい。ユーザーは、操作部２１０の操作面に対する操作を制御装置２００が受け付けない状態に在ることを、この警告表示により知ることができる。
【００４９】
次に、判定部２２０が実行する検出処理の詳細を説明する。
図６には、画像取り出しエリアの全領域に操作面の全領域が重なってユーザーに見える場合における、座標の対応例が示されている。つまり、図６には、画像取り出し部２１の画像取り出しエリアの四隅と、操作部２１０の操作面の四隅とが一致してユーザーに見える場合における、座標の対応例が示されている。以下では、一例として、アイコン画像４００と、アイコン画像４１０、４２０、４３０が、所定画像として画像取り出し部２１の画像取り出しエリアに表示されているものとして説明を続ける。
【００５０】
図６に示す例では、画像取り出し部２１の画像取り出しエリアの全領域に、操作部２１０の操作面の全領域が重なっている場合について、アイコン画像４００の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（０，０）に対応付けられている。また、アイコン画像４１０の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（１，０）に対応付けられている。また、アイコン画像４２０の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（２，０）に対応付けられている。また、アイコン画像４３０の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（０，１）に対応付けられている。
【００５１】
判定部２２０は、画像取り出し部２１の画像取り出しエリア上で各アイコン画像に重なる操作部２１０の操作面上の絶対座標（０，０）、（１，０）、（２，０）、（０，１）をそれぞれ検出する。判定部２２０は、操作部２１０が検出した操作面上のこれらの絶対座標に対する操作入力を受け付けると判定する。
【００５２】
また、判定部２２０は、操作部２１０の操作面上の絶対座標（０，０）、（１，０）、（２，０）、（０，１）のいずれかに対して操作入力がされた場合、その操作入力がされた座標に重なるアイコン画像の位置を示す情報を、制御部２３０に通知する。これにより、制御部２３０は、判定部２２０から通知されたアイコン画像の表示位置に対応付けられた処理を実行することができる。
【００５３】
なお、操作面上の座標にヒステリシスを設けることで、判定部２２０は、操作面上の座標に対する操作入力と、その座標の近傍に対する操作入力との両方を受け付けるようにしてもよい。
【００５４】
図７には、画像取り出しエリアの一部に操作面の一部が重なってユーザーに見える場合における、座標の対応例が示されている。各アイコン画像の位置と、操作面上の位置（座標）との対応付けは、重なり情報毎に記憶部２４０に予め記憶されている。図７に示す例では、画像取り出し部２１の画像取り出しエリアの一部に、操作部２１０の操作面の一部が重なっている場合について、アイコン画像４００の位置は、操作部２１０の操作面上の絶対座標（２，１）に対応付けられている。
【００５５】
判定部２２０は、操作部２１０の操作面の光学像と重なるアイコン画像４００が表示される画像取り出し部２１の画像取り出しエリア上の位置を検出し、この重なるアイコン画像４００の位置に対応付けられた、操作部２１０の操作面上の絶対座標（２，１）に対する操作入力を受け付ける。
【００５６】
また、判定部２２０は、操作部２１０の操作面上の絶対座標（２，１）に対して操作入力がされた場合、重なるアイコン画像４００の位置を示す情報を、制御部２３０に通知する。これにより、制御部２３０は、判定部２２０から通知されたアイコン画像４００の表示位置に対応付けられた処理を実行することができる。
【００５７】
図８には、画像取り出しエリアの一部に操作面の全領域が重なってユーザーに見える場合における、座標の対応例が示されている。各アイコン画像の位置と、操作面上の位置（座標）との対応付けは、重なり情報毎に記憶部２４０に予め記憶されている。図８に示す例では、画像取り出し部２１の画像取り出しエリアの一部に、操作部２１０の操作面の全領域が重なっている場合について、アイコン画像４３０の位置は、操作部２１０の操作面上の全領域に対応付けられている。
【００５８】
判定部２２０は、操作部２１０の操作面の光学像と重なるアイコン画像４３０が表示される画像取り出し部２１の画像取り出しエリア上の位置を検出し、この重なるアイコン画像４３０の位置に対応付けられた、操作部２１０の操作面上の全領域におけるどの座標に対する操作入力でも受け付けると判定する。
【００５９】
また、判定部２２０は、操作部２１０の操作面に対して操作入力がされた場合、重なるアイコン画像４３０の位置を示す情報を、制御部２３０に通知する。これにより、制御部２３０は、判定部２２０から通知されたアイコン画像４３０の位置に対応付けられた処理（例えば、撮像処理）を実行することができる。
【００６０】
なお、画像取り出し部２１の画像取り出しエリア上の固定位置にアイコン画像が表示されていない場合でも、その固定位置に操作部２１０の操作面の光学像をユーザーが重ねたことをトリガーにして、制御部２３０は、その固定位置にアイコン画像を表示させてもよい。
【００６１】
以上のように、透過型表示装置は、操作面に対する操作入力を検出する移動可能な操作部２１０と、所定画像光（例えば、アイコン画像光）を出力する画像生成部１１Ａ及び１１Ｂ、投射光学系１２Ａ及び１２Ｂ、並びに、左眼用導光部２０Ａ及び２０Ｂと、画像取り出しエリアに所定画像光を視認可能に提示し、且つ、画像取り出しエリアに外界からの入射光を透過させる画像取り出し部２１と、前記操作面と画像取り出しエリアとの相対位置に応じた信号（例えば、制御装置２００が撮像された画像の画像信号）を出力するセンサー１２０と、画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付ける判定部２２０と、を備える。
【００６２】
この構成により、判定部２２０は、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付ける。例えば、ユーザーは、透過型表示装置の画像取り出しエリアのアイコン画像に重なるように制御装置２００を持ち、操作部２２０の操作面をタッチパネルのように操作できる。これにより、透過型表示装置は、操作性を高くすることができる。また、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
【００６３】
［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。第２実施形態では、制御装置２００又は表示装置１００の筐体に光源が備えられる点が、第１実施形態と異なる。以下では、第１実施形態との相違点についてのみ説明する。
【００６４】
図９には、制御装置の筐体に備えられた光源の配置例が示されている。制御装置２００の操作部２１０の操作面の位置を示すマークとして、操作面の隅近傍に光源２６０が備えられる。光源２６０は、操作面の面外方向に、指向性のある赤外線を射出する。光源２６０は、例えば、発光ダイオードである。また、光源２６０は、図９に示すように操作部２１０の操作面の隅に対角に配置されてもよいし、操作面の三隅又は四隅に配置されてもよい。
【００６５】
センサー１２０（図２及び図３を参照）は、光源２６０から射出された指向性のある赤外光を受光し、その光（例えば、受光強度）に応じた信号、すなわち、操作部２１０の操作面と画像取り出し部２１の画像取り出しエリアとの相対位置に応じた信号を出力する。センサー１２０は、例えば、フォトダイオードである。
【００６６】
なお、センサー１２０は、複数備えられていてもよい。これにより、センサー１２０は、光源２６０からの赤外光を、複数方向から受光することができる。また、判定部２２０は、これらの受光結果に基づいて、操作部２１０の操作面と画像取り出し部２１の画像取り出しエリアとの相対距離を算出してもよい。また、光源２６０は、表示装置１００に備えられていてもよい。この場合、センサー１２０は、表示装置１００でなく制御装置２００に備えられることにより、光源２６０からの赤外光を制御装置２００で受光し、その光に応じた信号（相対位置に応じた信号）を出力してもよい。
【００６７】
判定部２２０は、光源２６０からの光に応じた信号に基づいて、画像取り出し部２１の画像取り出しエリア上での重なりを検出する。例えば、判定部２２０は、受光強度が所定強度以上である場合、画像取り出し部２１の画像取り出しエリアの全領域に操作面の全領域が重なっていると判定する。
【００６８】
以上のように、透過型表示装置は、操作部２１０、又は、左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂが、光源を備え、センサー１２０が、操作部２１０に前記光源が備えられている場合、前記光源からの光を左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂ側で受光して、該受光した光に応じた信号を出力し、左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂに前記光源が備えられている場合、前記光源からの光を操作部２１０側で受光して、該受光した光に応じた信号を出力し、判定部２２０が、前記受光した光に応じた信号に基づいて、画像取り出し部２１の画像取り出しエリア上での重なりを検出する。
この構成により、判定部２２０は、前記受光した光に応じた信号に基づいて、画像取り出し部２１の画像取り出しエリア上での重なりを検出する。これにより、透過型表示装置は、操作性を高くすることができる。
【００６９】
［第３実施形態］
本発明の第３実施形態について図面を参照して詳細に説明する。第３実施形態では、制御装置２００の光学像にキー画像が重畳される点が、第１及び第２実施形態と異なる。以下では、第１及び第２実施形態との相違点についてのみ説明する。
【００７０】
図１０には、操作部の操作面にキーを割り当てる場合の表示例が示されている。図１０では、メニュー画像「ＱＷＥＲＴＹ」と、このメニュー画像に対応付けられたキー配置を示すキー画像８００とが、画像取り出し部２１の画像取り出しエリアに投射されている。また、キー画像８００を構成するキーのうち、予め定められた一つ以上のキー（図１０では、「Ｑ」、「ＥＮＴＥＲ」）の配置が、枠により示されている。これにより、ユーザーは、枠により示されている各キーを、操作部２１０の操作面のどの位置（座標の基準点）にそれぞれ対応させるかを、指定することができる。
【００７１】
より具体的には、画像取り出し部２１の画像取り出しエリアを観察しているユーザーは、画像取り出し部２１の画像取り出しエリア上で操作部２１０の光学像の左上隅にキー「Ｑ」を表示させるために、操作部２１０の操作面の左上隅に指を触れたとする。さらに、ユーザーは、画像取り出し部２１の画像取り出しエリア上で操作部２１０の光学像の右下隅にキー「ＥＮＴＥＲ」を表示させるために、操作部２１０の操作面の右下隅に指を触れたとする。この状態で、操作部２１０は、ユーザーの指が触れている位置、すなわち、操作入力がされた座標を検出する。
【００７２】
制御部２３０は、操作入力がされた座標に重なるキー画像の位置を示す情報に基づいて、操作部２１０の操作面に仮想的にキー配置を定める。ここで、制御部２３０は、ユーザーの指が触れられている操作部２１０の操作面の左上隅をキー「Ｑ」の位置とし、ユーザーの指が触れられている操作部２１０の操作面の右上隅をキー「ＥＮＴＥＲ」の位置と定める（位置合わせ）。さらに、制御部２３０は、キー「Ｑ」及びキー「ＥＮＴＥＲ」の位置（基準点）に基づいて、他のキーの位置も定める（割付）。
【００７３】
なお、制御部２３０は、操作入力がされた座標に基づかずに、操作部２１０の画像の画像信号に基づいて、操作部２１０の操作面の左上隅をキー「Ｑ」の位置とし、操作部２１０の操作面の右下隅をキー「ＥＮＴＥＲ」の位置と定めてもよい（位置合わせ）。さらに、認識部２２０は、定めたキー「Ｑ」及びキー「ＥＮＴＥＲ」の位置（基準点）に基づいて、他のキーの位置も定める（割付）。
【００７４】
なお、表示装置１００は、キー配置に応じたキー画像と重ならないよう、他の画像（例えば、操作入力された文字列を表示するための領域を示す画像）を画像取り出し部２１の画像取り出しエリアに表示してもよい。また、表示装置１００は、ユーザーによる操作入力（モード指定）に基づいて、キー画像の大きさを調整して表示してもよい。
【００７５】
図１１には、操作部の光学像にキー画像を重畳した場合の表示例が示されている。制御部２３０は、操作部２１０の光学像の大きさ及び形状と、記憶部２４０から取得したキー画像８１０の大きさ及び形状とが、画像取り出し部２１の画像取り出しエリア上で一致するように、操作部２１０の画像の画像信号に基づいて、キー画像８１０を必要に応じて変形させる。例えば、制御部２３０は、斜視図となるようにキー画像８１０を変形させてもよい。
【００７６】
図１１では、ユーザーがキー「Ｅ」を操作したことにより、操作入力された文字「Ｅ」が操作入力画像９００に表示されている状態が示されている。例えば、制御部２３０は、このようにして操作入力された文字列を、コンピューターネットワーク上で検索（Ｓｅａｒｃｈ）してもよい。
【００７７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００７８】
例えば、制御装置２００には、制御装置２００の姿勢（回転等）を検出するセンサー（例えば、ジャイロセンサー）が備えられていてもよい。制御部２３０は、検出された制御装置２００の姿勢に表示の向きを連動させて、所定画像（例えば、アイコン画像）を画像取り出し部２１（図３を参照）の画像取り出しエリアに表示させてもよい。
【００７９】
また、例えば、操作部２１０は、操作面の光学像と所定画像の位置とが画像取り出し部２１の画像取り出しエリア上で重なっていない場合、指示体が触れた操作面上の位置を、操作面上の相対座標で検出してもよい。
【００８０】
また、例えば、表示装置１００は、前記投射光学系、前記導光部、及び前記画像取り出し部の代わりに、瞳分割方式シースルー光学系を備えていてもよいし、半透過鏡方式シースルー光学系を備えていてもよい。また、例えば、表示装置１００は、前記投射光学系、前記導光部、及び前記画像取り出し部の代わりに、画像表示装置（特開２００８−２０７７０号公報）、頭部装着型ディスプレイ（特許第４６３６１６４号公報）、ビーム走査型表示装置（国際公開第２００９／０４１０５５号）、又は、表示装置（特許第４０５５２８３号公報）が備える光学系を備えていてもよい。
【００８１】
なお、以上に説明した透過型表示装置を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００８２】
１０Ａ…左眼用画像形成部、１０Ｂ…右眼用画像形成部、１１Ａ…画像生成部、１１Ｂ…画像生成部、１２Ａ…投射光学系、１２Ｂ…投射光学系、２０Ａ…左眼用導光部、２１Ａ…画像取り出し部、２１Ｂ…画像取り出し部、１００…表示装置、１１０Ａ…左眼用画像出力部、１１０Ｂ…右眼用画像出力部、１２０…センサー、２００…制御装置（コントローラー）、２１０…操作部、２２０…検出部、２３０…制御部、２４０…記憶部、２５０…操作ボタン、２６０…光源、３１０Ａ…ユーザーの左眼、４００…アイコン画像、４１０…アイコン画像、４２０…アイコン画像、４３０…アイコン画像、８００…キー画像、８１０…キー画像、９００…操作入力画像
【技術分野】
【０００１】
本発明は、透過型（シースルー型）表示装置、及び操作入力方法に関する。
【背景技術】
【０００２】
直観的なインターフェースにより機器を操作させることを目的とした表示装置（ヘッドマウントディスプレイ）が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３１２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている表示装置の画像取り出しエリアに、例えば、押下操作可能なアイコン画像を表示させた場合、そのアイコン画像は虚像であるため触ることができないので、表示装置を頭部に装着したユーザーにとっては、アイコン画像の押下操作に違和感がある。このように、特許文献１に開示されている表示装置は、操作性が低いという問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、操作性が高い透過型表示装置、及び操作入力方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、操作面に対する操作入力を検出する移動可能な操作部と、所定画像光を出力する画像出力部と、画像取り出しエリアに前記所定画像光を視認可能に提示し、且つ、前記画像取り出しエリアに外界からの入射光を透過させる画像取り出し部と、前記操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するセンサーと、前記画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との前記画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付ける判定部と、を備えることを特徴とする透過型表示装置である。
【０００７】
この構成により、判定部は、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付けると判定する。これにより、例えば、ユーザーは、透過型表示装置の画像取り出しエリアのアイコン画像に重なるようにトラックパッドを持ち、このトラックパッドをタッチパネルのように操作できる。すなわち、透過型表示装置は、操作性を高くすることができる。また、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
【０００８】
また、本発明は、前記判定部が、前記操作面の光学像と前記所定画像光との重なりを検出し、重なる部分に対する前記操作入力を受け付けることを特徴とする透過型表示装置である。
この構成により、判定部は、前記操作面の光学像と前記所定画像との重なりを検出し、重なる部分に対する前記操作入力のみを受け付ける。これにより、透過型表示装置は、前記操作面の光学像と前記所定画像とが一部だけ重なる場合でも、タッチパネルのような操作性を実現することができる。
【０００９】
また、本発明は、前記判定部が、前記操作面が前記画像取り出しエリアに対向しているか否かを判定し、前記操作面が前記画像取り出しエリアに対向している場合、前記操作入力を受け付けることを特徴とする透過型表示装置である。
この構成により、判定部は、前記相対位置に応じた信号に基づいて、前記操作面が前記画像取り出しエリアに対向しているか否かを判定し、前記操作面が前記画像取り出しエリアに対向している場合、前記操作入力を受け付けると判定する。これにより、透過型表示装置は、操作性を高くすることができる。すなわち、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
【００１０】
また、本発明は、前記センサーが、前記操作面を撮像し、前記判定部が、前記センサーにより撮像された前記操作面の画像に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする透過型表示装置である。
この構成により、判定部は、前記センサーにより撮像された前記操作面の画像に基づいて、前記画像取り出しエリア上での重なりを検出する。これにより、透過型表示装置は、操作性を高くすることができる。
【００１１】
また、本発明は、前記操作部又は前記画像出力部が、光源を備え、前記センサーが、前記操作部に前記光源が備えられている場合、前記光源からの光を前記画像出力部側で受光して、該受光した光に応じた信号を出力し、前記画像出力部に前記光源が備えられている場合、前記光源からの光を前記操作部側で受光して、該受光した光に応じた信号を出力し、前記判定部が、前記受光した光に応じた信号に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする透過型表示装置である。
この構成により、判定部は、前記光源からの光に応じた信号に基づいて、前記画像取り出しエリア上での重なりを検出する。これにより、透過型表示装置は、操作性を高くすることができる。
【００１２】
また、本発明は、前記操作部が、トラックパッドであることを特徴とする透過型表示装置である。
この構成により、トラックパッドは、操作面に対する操作入力を検出する。これにより、透過型表示装置は、操作性を高くすることができる。すなわち、透過型表示装置は、トラックパッドを用いて、タッチパネルのような操作性を実現することができる。
【００１３】
また、本発明は、前記所定画像光を投射する投射光学系と、前記投射光学系により投射された前記所定画像光を前記画像取り出しエリアに導く導光部と、を備え、前記判定部は、前記操作面の光学像と、前記導光部により導かれた前記所定画像光と、の観察位置から見た重なりを検出し、重なる部分に対する前記操作入力を受け付けることを特徴とする透過型表示装置である。
この構成により、判定部は、前記操作面の光学像と前記所定画像光との観察される重なりを検出し、重なる部分に対する前記操作入力を受け付ける。これにより、透過型表示装置は、前記操作面の光学像と前記所定画像光とが一部だけ重なる場合でも、タッチパネルのような操作性を実現することができる。
【００１４】
また、本発明は、透過型表示装置における操作入力方法であって、画像出力部が、所定画像光を出力するステップと、画像取り出し部が、外界からの入射光を透過させる画像取り出しエリアに前記所定画像光を視認可能に提示するステップと、センサーが、前記操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するステップと、移動可能な操作部が、前記操作面に対する操作入力を検出するステップと、判定部が、前記画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との前記画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付けるステップと、を有することを特徴とする操作入力方法である。
【００１５】
この方法により、判定部は、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付けると判定する。これにより、例えば、ユーザーは、透過型表示装置の画像取り出しエリアのアイコン画像に重なるようにトラックパッドを持ち、このトラックパッドをタッチパネルのように操作できる。すなわち、透過型表示装置は、操作性を高くすることができる。また、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
【００１６】
本発明によれば、透過型表示装置は、操作面の光学像と所定画像とが重なる場合、操作入力を受け付ける。これにより、透過型表示装置は、操作性を高くすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態における、透過型表示装置と、透過型表示装置を使用中のユーザーとを示す図である。
【図２】本発明の第１実施形態における、透過型表示装置の構成例を示すブロック図である。
【図３】本発明の第１実施形態における、透過型表示装置の外観図である。
【図４】本発明の第１実施形態における、表示装置の構成例を示す平面図である。
【図５】本発明の第１実施形態における、制御装置の外観図である。
【図６】本発明の第１実施形態における、画像取り出しエリアの全領域に操作面の全領域が重なってユーザーに見える場合の座標の対応例を示す図である。
【図７】本発明の第１実施形態における、画像取り出しエリアの一部に操作面の一部が重なってユーザーに見える場合の座標の対応例を示す図である。
【図８】本発明の第１実施形態における、画像取り出しエリアの一部に操作面の全領域が重なってユーザーに見える場合の座標の対応例を示す図である。
【図９】本発明の第２実施形態における、制御装置の筐体に備えられた光源の配置例を示す図である。
【図１０】本発明の第３実施形態における、操作部の操作面にキーを割り当てる場合の表示例を示す図である。
【図１１】本発明の第３実施形態における、操作部の光学像にキー画像を重畳した場合の表示例を示す図である。
【発明を実施するための形態】
【００１８】
［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。図１には、透過型表示装置と、透過型表示装置を使用中のユーザーとが示されている。透過型表示装置（透過型ヘッドマウントディスプレイ）は、表示装置１００と、制御装置２００（コントローラー）とを備える。
【００１９】
ユーザーは、表示装置１００（眼鏡型）を頭部に装着することにより、表示装置１００の画像取り出し部の画像取り出しエリアに表示された所定画像（例えば、アイコン画像、メニュー画像）を見ることができる。表示装置１００の画像取り出しエリアは、入射光の少なくとも一部が透過するように構成されている。これにより、ユーザーは、表示装置１００を頭部に装着したまま、表示装置１００の画像取り出しエリアを通して制御装置２００を見ることができる。つまり、ユーザーは、その両眼の位置を観察位置として、入射光による光学像と、表示された所定画像とを同時に観察可能である。また、ユーザーは、手に持つことにより移動可能な制御装置２００の操作面に対して操作入力をすることができる。
【００２０】
図２には、透過型表示装置の構成例が、ブロック図により示されている。また、図３には、透過型表示装置の外観図が示されている。表示装置１００は、左眼用画像出力部１１０Ａと、右眼用画像出力部１１０Ｂと、センサー１２０とを備える。
【００２１】
左眼用画像出力部１１０Ａは、左眼用画像形成部１０Ａと、画像取り出し部２１Ａとを備える。左眼用画像形成部１０Ａは、装着時にユーザーの頭部左側に位置するよう、表示装置１００の左側テンプル部に備えられる。左眼用画像形成部１０Ａには、制御装置２００から画像信号が入力される。左眼用画像形成部１０Ａは、ユーザーの左眼用に所定画像光を形成し、形成した所定画像光を画像取り出し部２１Ａの画像取り出しエリアに出力する。
【００２２】
画像取り出し部２１Ａの画像取り出しエリアには、ユーザーの左眼用に所定画像が表示される。画像取り出し部２１Ａは、装着時にユーザーの左眼前に位置するよう、表示装置１００の左側リム部に備えられる。画像取り出し部２１Ａの画像取り出しエリアは、入射光の少なくとも一部が透過するよう構成されている。これにより、ユーザーの左眼には、入射光による光学像が導かれる。
【００２３】
右眼用画像出力部１１０Ｂは、右眼用画像形成部１０Ｂと、画像取り出し部２１Ｂとを備える。右眼用画像形成部１０Ｂは、装着時にユーザーの頭部右側に位置するよう、表示装置１００の右側テンプル部に備えられる。右眼用画像形成部１０Ｂには、制御装置２００から画像信号が入力される。右眼用画像形成部１０Ｂは、ユーザーの右眼用に所定画像光を形成し、形成した所定画像光を画像取り出し部２１Ｂの画像取り出しエリアに出力する。
【００２４】
画像取り出し部２１Ｂの画像取り出しエリアには、ユーザーの右眼用に所定画像が表示される。画像取り出し部２１Ｂは、装着時にユーザーの右眼前に位置するよう、表示装置１００の右側リム部に備えられる。画像取り出し部２１Ｂの画像取り出しエリアは、入射光の少なくとも一部が透過するよう構成されている。これにより、ユーザーの右眼には、入射光による光学像が導かれる。
【００２５】
図４には、表示装置の構成例が、平面図により示されている。左眼用画像出力部１１０Ａと右眼用画像出力部１１０Ｂとは互いに左右対称の構成を有するため、ここでは、左眼用画像出力部１１０Ａの構成例についてのみ説明する。
【００２６】
左眼用画像出力部１１０Ａは、左眼用画像形成部１０Ａと、左眼用導光部２０Ａとを備える。左眼用画像形成部１０Ａは、画像生成部１１Ａと、投射光学系１２Ａとを有する。画像生成部１１Ａは、発光色毎の光源（例えば、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＬＥＤ））と、光変調素子（例えば、液晶表示デバイス）とを備える。
【００２７】
画像生成部１１Ａには、制御装置２００から画像信号が入力される。画像生成部１１Ａは、光源から射出された赤色光、緑色光及び青色光を光学系により拡散させて、光変調素子に投射する。光変調素子は、制御装置２００から入力された画像信号に応じて、赤色光、緑色光及び青色光を空間変調することにより、画像信号に応じた画像光を射出する。投射光学系１２は、光変調素子から射出された画像光を、平行な状態の光束にする。
【００２８】
左眼用導光部２０Ａは、投射光学系１２により平行な状態の光束となった画像光を、左眼用導光部２０Ａが有する画像取り出し部２１Ａ（例えば、三角プリズム）の面に形成されている画像取り出しエリアに投射する。ここで、画像取り出し部２１Ａの面の表裏のうち、装着時にユーザーの左眼３１０Ａに向く側（画像取り出しエリア）には、ミラー層等の反射コーティングが施されている。画像取り出し部２１Ａの画像取り出しエリアに投射された画像光は、この反射コーティングされた面により、ユーザーの左眼３１０Ａに向けて全反射される。これにより、画像取り出し部２１Ａの画像取り出しエリア上には、所定画像（例えば、アイコン画像）が表示される。一方、画像取り出し部２１Ａに外界から入射する光の少なくとも一部は、画像取り出し部２１Ａの画像取り出しエリアを透過し、ユーザーの左眼３１０Ａに導かれる。これにより、ユーザーには、左眼用画像形成部１０Ａにより形成された所定画像と、入射光による光学像とが、画像取り出し部２１Ａの画像取り出しエリア上に重畳されて見える。
【００２９】
図２及び図３に戻り、透過型表示装置の構成例及び外観の説明を続ける。以下、画像取り出し部２１Ａと画像取り出し部２１Ｂとに共通する事項については、符号のローマ字を省略して、「画像取り出し部２１」と表記する。
【００３０】
センサー１２０は、表示装置１００の外界を撮像する撮像装置である。センサー１２０は、装着時にユーザーの頭部正面に位置するよう、表示装置１００のリム部又はブリッジ部に備えられる。つまり、センサー１２０は、制御装置２００の外観が、表示装置１００と制御装置２００との相対位置に応じて変化して見える位置に備えられる。例えば、装着時にユーザーの顔が制御装置２００に向いていれば、センサー１２０は、制御装置２００の外観を撮像し、撮像された画像の画像信号を出力することができる。
【００３１】
なお、センサー１２０は、複数備えられていてもよい。これにより、センサー１２０は、制御装置２００を複数方向から撮像することができる。また、センサー１２０は、表示装置１００でなく制御装置２００に備えられることにより、制御装置２００から表示装置１００を撮像し、表示装置１００が撮像された画像の画像信号（相対位置に応じた信号）を出力してもよい。
【００３２】
制御装置２００は、ユーザーによる操作入力を検出し、検出した操作入力を受け付けるか否かを判定する。制御装置２００は、操作入力を受け付けると判定した場合、その操作入力に応じて表示装置１００を制御する。制御装置２００は、操作部２１０と、判定部２２０と、制御部２３０と、記憶部２４０と、操作ボタン部２５０とを備える。
【００３３】
記憶部２４０は、画像取り出し部２１の画像取り出しエリアを透過した操作部２１０の操作面の光学像と、所定画像（例えば、アイコン画像）との画像取り出し部２１の画像取り出しエリア上での重なり方（以下、「重なり情報」という）を、センサー１２０が予め撮像した制御装置２００の参照画像毎に予め記憶している。
【００３４】
重なり情報は、センサー１２０が予め撮像した制御装置２００の参照画像と、操作中にセンサー１２０が撮像した制御装置２００の画像とに比較に基づいて検出される。詳細については、図６〜図８を用いて後述する。
【００３５】
操作ボタン部２５０は、操作ボタン群を備える。各操作ボタンは、ユーザーに押下されることにより、押下された操作ボタンに予め対応付けられた処理を示す信号を、制御部２３０に出力する。ここで、予め対応付けられた処理とは、例えば、画像取り出し部２１（図３を参照）の画像取り出しエリアに表示されている画像の輝度を調整する処理である。
【００３６】
操作部２１０は、制御装置２００の筐体に備えられた操作面に対する操作入力を検出する。より具体的には、操作部２１０は、操作入力をするユーザーの指が触れた操作面上の座標を検出する。操作部２１０は、例えば、トラックパッドである。
【００３７】
図５には、制御装置の外観図が示されている。図５（Ａ）に示すように、制御装置２００の一方の面には、操作ボタン部２５０が備えられている。また、制御装置２００の他方の面の全面には、操作部２１０（操作面）が備えられている。なお、図５（Ｂ）に示すように、制御装置２００の片面に、操作部２１０及び操作ボタン部２５０が備えられてもよい。以下では、一例として、図５（Ｂ）に示す操作部２１０（操作面）に注目して説明を続ける。
【００３８】
図２に戻り、透過型表示装置の構成例の説明を続ける。判定部２２０は、画像取り出し部２１の画像取り出しエリアを透過した操作部２１０の操作面の光学像と、所定画像（例えば、アイコン画像）との画像取り出し部２１の画像取り出しエリア上での重なりを、センサー１２０により撮像された操作部２１０の操作面の画像（相対位置に応じた信号）に基づいて検出する。
【００３９】
ここで、判定部２２０は、センサー１２０が今回撮像した制御装置２００の画像と、記憶部２４０に予め記憶されている複数の参照画像とに対して、画像マッチングを実行する。そして、判定部２２０は、画像マッチングにより最も類似していると判断された参照画像に対応付けられている重なり情報を、記憶部２４０から選択する。
【００４０】
判定部２２０は、操作部２１０の操作面の光学像と、所定画像とが、画像取り出し部２１の画像取り出しエリア上で重なる場合、操作部２１０が検出した操作入力を受け付ける。
【００４１】
なお、判定部２２０は、センサー１２０により撮像された操作部２１０の操作面の画像（相対位置に応じた信号）に基づいて、操作部２１０の操作面が画像取り出し部２１（図３を参照）の画像取り出しエリアに対向しているか否かを判定し、操作部２１０の操作面が画像取り出し部２１の画像取り出しエリアに対向している場合、操作部２１０が検出した操作入力を受け付けるとしてもよい。
【００４２】
また、複数の所定画像（例えば、アイコン画像）が、画像取り出し部２１の画像取り出しエリア上の異なる位置にそれぞれ表示されている場合、判定部２２０は、次のように動作してもよい。判定部２２０は、操作部２１０の操作面の光学像と所定画像とのそれぞれの重なりを検出し、これらの重なる部分に対する操作入力のみを受け付ける。この検出処理の詳細については、図６〜図８を用いて後述する。
【００４３】
判定部２２０は、操作入力を受け付ける操作面上の位置のうち、実際に操作入力された操作面上の位置に対応付けられた画像取り出し部２１の画像取り出しエリア上の位置を示す情報を、制御部２３０に出力する。
【００４４】
なお、判定部２２０は、操作部２１０の操作面の光学像と重なる所定画像が表示される画像取り出し部２１の画像取り出しエリア上の位置が検出されない場合、操作部２１０が検出した操作入力を一切受け付けない、と判定してもよい（誤動作防止）。
【００４５】
制御部２３０には、押下された操作ボタン毎の信号が、操作ボタン部２５０から入力される。制御部２３０は、この入力された信号に基づいて、所定の処理（例えば、画像の輝度を調整する処理）を実行する。
【００４６】
また、制御部２３０には、操作入力を受け付けると判定部２２０が判定した操作面上の位置（座標）のうち、実際に操作入力された操作面上の位置に対応付けられた画像取り出し部２１の画像取り出しエリア上の位置を示す情報が、判定部２２０から通知される。制御部２３０は、判定部２２０から通知された画像取り出し部２１の画像取り出しエリア上の位置に対応付けられた処理（例えば、音楽データを再生する処理）を実行する。
【００４７】
制御部２３０は、表示装置１００の左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂに、画像信号（例えば、アイコン画像、コンテンツ画像）を出力する。ここで、左眼用画像出力部１１０Ａに出力される画像信号と、右眼用画像出力部１１０Ｂに出力される画像信号とは、その内容（例えば、画像の視差）が異なっていてもよい。例えば、画像に視差が在る場合、制御部２３０は、表示装置１００に３次元画像を表示させることができる。
【００４８】
また、制御部２３０は、表示装置１００に出力する画像信号の内容を、操作入力に応じて変更してもよい。例えば、制御部２３０は、の光学像と、所定画像とが画像取り出し部２１の画像取り出しエリア上で重なっていないこと（判定結果）を、判定部２２０から通知されるようにし、通知された場合、画像取り出し部２１の画像取り出しエリア上で重なっていないこと表す警告表示を、画像取り出しエリアに表示させてもよい。ユーザーは、操作部２１０の操作面に対する操作を制御装置２００が受け付けない状態に在ることを、この警告表示により知ることができる。
【００４９】
次に、判定部２２０が実行する検出処理の詳細を説明する。
図６には、画像取り出しエリアの全領域に操作面の全領域が重なってユーザーに見える場合における、座標の対応例が示されている。つまり、図６には、画像取り出し部２１の画像取り出しエリアの四隅と、操作部２１０の操作面の四隅とが一致してユーザーに見える場合における、座標の対応例が示されている。以下では、一例として、アイコン画像４００と、アイコン画像４１０、４２０、４３０が、所定画像として画像取り出し部２１の画像取り出しエリアに表示されているものとして説明を続ける。
【００５０】
図６に示す例では、画像取り出し部２１の画像取り出しエリアの全領域に、操作部２１０の操作面の全領域が重なっている場合について、アイコン画像４００の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（０，０）に対応付けられている。また、アイコン画像４１０の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（１，０）に対応付けられている。また、アイコン画像４２０の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（２，０）に対応付けられている。また、アイコン画像４３０の位置は、重なり情報として、操作部２１０の操作面上の絶対座標（０，１）に対応付けられている。
【００５１】
判定部２２０は、画像取り出し部２１の画像取り出しエリア上で各アイコン画像に重なる操作部２１０の操作面上の絶対座標（０，０）、（１，０）、（２，０）、（０，１）をそれぞれ検出する。判定部２２０は、操作部２１０が検出した操作面上のこれらの絶対座標に対する操作入力を受け付けると判定する。
【００５２】
また、判定部２２０は、操作部２１０の操作面上の絶対座標（０，０）、（１，０）、（２，０）、（０，１）のいずれかに対して操作入力がされた場合、その操作入力がされた座標に重なるアイコン画像の位置を示す情報を、制御部２３０に通知する。これにより、制御部２３０は、判定部２２０から通知されたアイコン画像の表示位置に対応付けられた処理を実行することができる。
【００５３】
なお、操作面上の座標にヒステリシスを設けることで、判定部２２０は、操作面上の座標に対する操作入力と、その座標の近傍に対する操作入力との両方を受け付けるようにしてもよい。
【００５４】
図７には、画像取り出しエリアの一部に操作面の一部が重なってユーザーに見える場合における、座標の対応例が示されている。各アイコン画像の位置と、操作面上の位置（座標）との対応付けは、重なり情報毎に記憶部２４０に予め記憶されている。図７に示す例では、画像取り出し部２１の画像取り出しエリアの一部に、操作部２１０の操作面の一部が重なっている場合について、アイコン画像４００の位置は、操作部２１０の操作面上の絶対座標（２，１）に対応付けられている。
【００５５】
判定部２２０は、操作部２１０の操作面の光学像と重なるアイコン画像４００が表示される画像取り出し部２１の画像取り出しエリア上の位置を検出し、この重なるアイコン画像４００の位置に対応付けられた、操作部２１０の操作面上の絶対座標（２，１）に対する操作入力を受け付ける。
【００５６】
また、判定部２２０は、操作部２１０の操作面上の絶対座標（２，１）に対して操作入力がされた場合、重なるアイコン画像４００の位置を示す情報を、制御部２３０に通知する。これにより、制御部２３０は、判定部２２０から通知されたアイコン画像４００の表示位置に対応付けられた処理を実行することができる。
【００５７】
図８には、画像取り出しエリアの一部に操作面の全領域が重なってユーザーに見える場合における、座標の対応例が示されている。各アイコン画像の位置と、操作面上の位置（座標）との対応付けは、重なり情報毎に記憶部２４０に予め記憶されている。図８に示す例では、画像取り出し部２１の画像取り出しエリアの一部に、操作部２１０の操作面の全領域が重なっている場合について、アイコン画像４３０の位置は、操作部２１０の操作面上の全領域に対応付けられている。
【００５８】
判定部２２０は、操作部２１０の操作面の光学像と重なるアイコン画像４３０が表示される画像取り出し部２１の画像取り出しエリア上の位置を検出し、この重なるアイコン画像４３０の位置に対応付けられた、操作部２１０の操作面上の全領域におけるどの座標に対する操作入力でも受け付けると判定する。
【００５９】
また、判定部２２０は、操作部２１０の操作面に対して操作入力がされた場合、重なるアイコン画像４３０の位置を示す情報を、制御部２３０に通知する。これにより、制御部２３０は、判定部２２０から通知されたアイコン画像４３０の位置に対応付けられた処理（例えば、撮像処理）を実行することができる。
【００６０】
なお、画像取り出し部２１の画像取り出しエリア上の固定位置にアイコン画像が表示されていない場合でも、その固定位置に操作部２１０の操作面の光学像をユーザーが重ねたことをトリガーにして、制御部２３０は、その固定位置にアイコン画像を表示させてもよい。
【００６１】
以上のように、透過型表示装置は、操作面に対する操作入力を検出する移動可能な操作部２１０と、所定画像光（例えば、アイコン画像光）を出力する画像生成部１１Ａ及び１１Ｂ、投射光学系１２Ａ及び１２Ｂ、並びに、左眼用導光部２０Ａ及び２０Ｂと、画像取り出しエリアに所定画像光を視認可能に提示し、且つ、画像取り出しエリアに外界からの入射光を透過させる画像取り出し部２１と、前記操作面と画像取り出しエリアとの相対位置に応じた信号（例えば、制御装置２００が撮像された画像の画像信号）を出力するセンサー１２０と、画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付ける判定部２２０と、を備える。
【００６２】
この構成により、判定部２２０は、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付ける。例えば、ユーザーは、透過型表示装置の画像取り出しエリアのアイコン画像に重なるように制御装置２００を持ち、操作部２２０の操作面をタッチパネルのように操作できる。これにより、透過型表示装置は、操作性を高くすることができる。また、透過型表示装置は、虚像であるアイコン画像を用いた操作入力の誤動作を防ぐことができる。
【００６３】
［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。第２実施形態では、制御装置２００又は表示装置１００の筐体に光源が備えられる点が、第１実施形態と異なる。以下では、第１実施形態との相違点についてのみ説明する。
【００６４】
図９には、制御装置の筐体に備えられた光源の配置例が示されている。制御装置２００の操作部２１０の操作面の位置を示すマークとして、操作面の隅近傍に光源２６０が備えられる。光源２６０は、操作面の面外方向に、指向性のある赤外線を射出する。光源２６０は、例えば、発光ダイオードである。また、光源２６０は、図９に示すように操作部２１０の操作面の隅に対角に配置されてもよいし、操作面の三隅又は四隅に配置されてもよい。
【００６５】
センサー１２０（図２及び図３を参照）は、光源２６０から射出された指向性のある赤外光を受光し、その光（例えば、受光強度）に応じた信号、すなわち、操作部２１０の操作面と画像取り出し部２１の画像取り出しエリアとの相対位置に応じた信号を出力する。センサー１２０は、例えば、フォトダイオードである。
【００６６】
なお、センサー１２０は、複数備えられていてもよい。これにより、センサー１２０は、光源２６０からの赤外光を、複数方向から受光することができる。また、判定部２２０は、これらの受光結果に基づいて、操作部２１０の操作面と画像取り出し部２１の画像取り出しエリアとの相対距離を算出してもよい。また、光源２６０は、表示装置１００に備えられていてもよい。この場合、センサー１２０は、表示装置１００でなく制御装置２００に備えられることにより、光源２６０からの赤外光を制御装置２００で受光し、その光に応じた信号（相対位置に応じた信号）を出力してもよい。
【００６７】
判定部２２０は、光源２６０からの光に応じた信号に基づいて、画像取り出し部２１の画像取り出しエリア上での重なりを検出する。例えば、判定部２２０は、受光強度が所定強度以上である場合、画像取り出し部２１の画像取り出しエリアの全領域に操作面の全領域が重なっていると判定する。
【００６８】
以上のように、透過型表示装置は、操作部２１０、又は、左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂが、光源を備え、センサー１２０が、操作部２１０に前記光源が備えられている場合、前記光源からの光を左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂ側で受光して、該受光した光に応じた信号を出力し、左眼用画像出力部１１０Ａ及び右眼用画像出力部１１０Ｂに前記光源が備えられている場合、前記光源からの光を操作部２１０側で受光して、該受光した光に応じた信号を出力し、判定部２２０が、前記受光した光に応じた信号に基づいて、画像取り出し部２１の画像取り出しエリア上での重なりを検出する。
この構成により、判定部２２０は、前記受光した光に応じた信号に基づいて、画像取り出し部２１の画像取り出しエリア上での重なりを検出する。これにより、透過型表示装置は、操作性を高くすることができる。
【００６９】
［第３実施形態］
本発明の第３実施形態について図面を参照して詳細に説明する。第３実施形態では、制御装置２００の光学像にキー画像が重畳される点が、第１及び第２実施形態と異なる。以下では、第１及び第２実施形態との相違点についてのみ説明する。
【００７０】
図１０には、操作部の操作面にキーを割り当てる場合の表示例が示されている。図１０では、メニュー画像「ＱＷＥＲＴＹ」と、このメニュー画像に対応付けられたキー配置を示すキー画像８００とが、画像取り出し部２１の画像取り出しエリアに投射されている。また、キー画像８００を構成するキーのうち、予め定められた一つ以上のキー（図１０では、「Ｑ」、「ＥＮＴＥＲ」）の配置が、枠により示されている。これにより、ユーザーは、枠により示されている各キーを、操作部２１０の操作面のどの位置（座標の基準点）にそれぞれ対応させるかを、指定することができる。
【００７１】
より具体的には、画像取り出し部２１の画像取り出しエリアを観察しているユーザーは、画像取り出し部２１の画像取り出しエリア上で操作部２１０の光学像の左上隅にキー「Ｑ」を表示させるために、操作部２１０の操作面の左上隅に指を触れたとする。さらに、ユーザーは、画像取り出し部２１の画像取り出しエリア上で操作部２１０の光学像の右下隅にキー「ＥＮＴＥＲ」を表示させるために、操作部２１０の操作面の右下隅に指を触れたとする。この状態で、操作部２１０は、ユーザーの指が触れている位置、すなわち、操作入力がされた座標を検出する。
【００７２】
制御部２３０は、操作入力がされた座標に重なるキー画像の位置を示す情報に基づいて、操作部２１０の操作面に仮想的にキー配置を定める。ここで、制御部２３０は、ユーザーの指が触れられている操作部２１０の操作面の左上隅をキー「Ｑ」の位置とし、ユーザーの指が触れられている操作部２１０の操作面の右上隅をキー「ＥＮＴＥＲ」の位置と定める（位置合わせ）。さらに、制御部２３０は、キー「Ｑ」及びキー「ＥＮＴＥＲ」の位置（基準点）に基づいて、他のキーの位置も定める（割付）。
【００７３】
なお、制御部２３０は、操作入力がされた座標に基づかずに、操作部２１０の画像の画像信号に基づいて、操作部２１０の操作面の左上隅をキー「Ｑ」の位置とし、操作部２１０の操作面の右下隅をキー「ＥＮＴＥＲ」の位置と定めてもよい（位置合わせ）。さらに、認識部２２０は、定めたキー「Ｑ」及びキー「ＥＮＴＥＲ」の位置（基準点）に基づいて、他のキーの位置も定める（割付）。
【００７４】
なお、表示装置１００は、キー配置に応じたキー画像と重ならないよう、他の画像（例えば、操作入力された文字列を表示するための領域を示す画像）を画像取り出し部２１の画像取り出しエリアに表示してもよい。また、表示装置１００は、ユーザーによる操作入力（モード指定）に基づいて、キー画像の大きさを調整して表示してもよい。
【００７５】
図１１には、操作部の光学像にキー画像を重畳した場合の表示例が示されている。制御部２３０は、操作部２１０の光学像の大きさ及び形状と、記憶部２４０から取得したキー画像８１０の大きさ及び形状とが、画像取り出し部２１の画像取り出しエリア上で一致するように、操作部２１０の画像の画像信号に基づいて、キー画像８１０を必要に応じて変形させる。例えば、制御部２３０は、斜視図となるようにキー画像８１０を変形させてもよい。
【００７６】
図１１では、ユーザーがキー「Ｅ」を操作したことにより、操作入力された文字「Ｅ」が操作入力画像９００に表示されている状態が示されている。例えば、制御部２３０は、このようにして操作入力された文字列を、コンピューターネットワーク上で検索（Ｓｅａｒｃｈ）してもよい。
【００７７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００７８】
例えば、制御装置２００には、制御装置２００の姿勢（回転等）を検出するセンサー（例えば、ジャイロセンサー）が備えられていてもよい。制御部２３０は、検出された制御装置２００の姿勢に表示の向きを連動させて、所定画像（例えば、アイコン画像）を画像取り出し部２１（図３を参照）の画像取り出しエリアに表示させてもよい。
【００７９】
また、例えば、操作部２１０は、操作面の光学像と所定画像の位置とが画像取り出し部２１の画像取り出しエリア上で重なっていない場合、指示体が触れた操作面上の位置を、操作面上の相対座標で検出してもよい。
【００８０】
また、例えば、表示装置１００は、前記投射光学系、前記導光部、及び前記画像取り出し部の代わりに、瞳分割方式シースルー光学系を備えていてもよいし、半透過鏡方式シースルー光学系を備えていてもよい。また、例えば、表示装置１００は、前記投射光学系、前記導光部、及び前記画像取り出し部の代わりに、画像表示装置（特開２００８−２０７７０号公報）、頭部装着型ディスプレイ（特許第４６３６１６４号公報）、ビーム走査型表示装置（国際公開第２００９／０４１０５５号）、又は、表示装置（特許第４０５５２８３号公報）が備える光学系を備えていてもよい。
【００８１】
なお、以上に説明した透過型表示装置を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００８２】
１０Ａ…左眼用画像形成部、１０Ｂ…右眼用画像形成部、１１Ａ…画像生成部、１１Ｂ…画像生成部、１２Ａ…投射光学系、１２Ｂ…投射光学系、２０Ａ…左眼用導光部、２１Ａ…画像取り出し部、２１Ｂ…画像取り出し部、１００…表示装置、１１０Ａ…左眼用画像出力部、１１０Ｂ…右眼用画像出力部、１２０…センサー、２００…制御装置（コントローラー）、２１０…操作部、２２０…検出部、２３０…制御部、２４０…記憶部、２５０…操作ボタン、２６０…光源、３１０Ａ…ユーザーの左眼、４００…アイコン画像、４１０…アイコン画像、４２０…アイコン画像、４３０…アイコン画像、８００…キー画像、８１０…キー画像、９００…操作入力画像
【特許請求の範囲】
【請求項１】
操作面に対する操作入力を検出する移動可能な操作部と、
所定画像光を出力する画像出力部と、
画像取り出しエリアに前記所定画像光を視認可能に提示し、且つ、前記画像取り出しエリアに外界からの入射光を透過させる画像取り出し部と、
前記操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するセンサーと、
前記画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との前記画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付ける判定部と、
を備えることを特徴とする透過型表示装置。
【請求項２】
前記判定部は、前記操作面の光学像と前記所定画像光との重なりを検出し、重なる部分に対する前記操作入力を受け付けることを特徴とする請求項１に記載の透過型表示装置。
【請求項３】
前記判定部は、前記相対位置に応じた信号に基づいて、前記操作面が前記画像取り出しエリアに対向しているか否かを判定し、前記操作面が前記画像取り出しエリアに対向している場合、前記操作入力を受け付けることを特徴とする請求項１又は請求項２に記載の透過型表示装置。
【請求項４】
前記センサーは、前記操作面を撮像し、
前記判定部は、前記センサーにより撮像された前記操作面の画像に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする請求項１から請求項３のいずれか一項に記載の透過型表示装置。
【請求項５】
前記操作部又は前記画像出力部は、光源を備え、
前記センサーは、前記操作部に前記光源が備えられている場合、前記光源からの光を前記画像出力部側で受光して、該受光した光に応じた信号を出力し、前記画像出力部に前記光源が備えられている場合、前記光源からの光を前記操作部側で受光して、該受光した光に応じた信号を出力し、
前記判定部は、前記受光した光に応じた信号に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする請求項１から請求項３のいずれか一項に記載の透過型表示装置。
【請求項６】
前記操作部は、トラックパッドであることを特徴とする請求項１から請求項５のいずれか一項に記載の透過型表示装置。
【請求項７】
前記所定画像光を投射する投射光学系と、
前記投射光学系により投射された前記所定画像光を前記画像取り出しエリアに導く導光部と、
を備え、
前記判定部は、前記操作面の光学像と、前記導光部により導かれた前記所定画像光と、の観察位置から見た重なりを検出し、重なる部分に対する前記操作入力を受け付けることを特徴とする請求項１から請求項６のいずれか一項に記載の透過型表示装置。
【請求項８】
透過型表示装置における操作入力方法であって、
画像出力部が、所定画像光を出力するステップと、
画像取り出し部が、外界からの入射光を透過させる画像取り出しエリアに前記所定画像光を視認可能に提示するステップと、
センサーが、前記操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するステップと、
移動可能な操作部が、前記操作面に対する操作入力を検出するステップと、
判定部が、前記画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との前記画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付けるステップと、
を有することを特徴とする操作入力方法。
【請求項１】
操作面に対する操作入力を検出する移動可能な操作部と、
所定画像光を出力する画像出力部と、
画像取り出しエリアに前記所定画像光を視認可能に提示し、且つ、前記画像取り出しエリアに外界からの入射光を透過させる画像取り出し部と、
前記操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するセンサーと、
前記画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との前記画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付ける判定部と、
を備えることを特徴とする透過型表示装置。
【請求項２】
前記判定部は、前記操作面の光学像と前記所定画像光との重なりを検出し、重なる部分に対する前記操作入力を受け付けることを特徴とする請求項１に記載の透過型表示装置。
【請求項３】
前記判定部は、前記相対位置に応じた信号に基づいて、前記操作面が前記画像取り出しエリアに対向しているか否かを判定し、前記操作面が前記画像取り出しエリアに対向している場合、前記操作入力を受け付けることを特徴とする請求項１又は請求項２に記載の透過型表示装置。
【請求項４】
前記センサーは、前記操作面を撮像し、
前記判定部は、前記センサーにより撮像された前記操作面の画像に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする請求項１から請求項３のいずれか一項に記載の透過型表示装置。
【請求項５】
前記操作部又は前記画像出力部は、光源を備え、
前記センサーは、前記操作部に前記光源が備えられている場合、前記光源からの光を前記画像出力部側で受光して、該受光した光に応じた信号を出力し、前記画像出力部に前記光源が備えられている場合、前記光源からの光を前記操作部側で受光して、該受光した光に応じた信号を出力し、
前記判定部は、前記受光した光に応じた信号に基づいて、前記画像取り出しエリア上での重なりを検出することを特徴とする請求項１から請求項３のいずれか一項に記載の透過型表示装置。
【請求項６】
前記操作部は、トラックパッドであることを特徴とする請求項１から請求項５のいずれか一項に記載の透過型表示装置。
【請求項７】
前記所定画像光を投射する投射光学系と、
前記投射光学系により投射された前記所定画像光を前記画像取り出しエリアに導く導光部と、
を備え、
前記判定部は、前記操作面の光学像と、前記導光部により導かれた前記所定画像光と、の観察位置から見た重なりを検出し、重なる部分に対する前記操作入力を受け付けることを特徴とする請求項１から請求項６のいずれか一項に記載の透過型表示装置。
【請求項８】
透過型表示装置における操作入力方法であって、
画像出力部が、所定画像光を出力するステップと、
画像取り出し部が、外界からの入射光を透過させる画像取り出しエリアに前記所定画像光を視認可能に提示するステップと、
センサーが、前記操作面と前記画像取り出しエリアとの相対位置に応じた信号を出力するステップと、
移動可能な操作部が、前記操作面に対する操作入力を検出するステップと、
判定部が、前記画像取り出しエリアを透過した前記操作面の光学像と、前記所定画像光との前記画像取り出しエリア上での重なりを、前記相対位置に応じた信号に基づいて検出し、前記操作面の光学像と前記所定画像光とが重なる場合、前記操作入力を受け付けるステップと、
を有することを特徴とする操作入力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１１３９６３（Ｐ２０１３−１１３９６３Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５８６９９（Ｐ２０１１−２５８６９９）
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]