説明

表示システム、及び操作入力方法

【課題】操作性及び携帯性が高い表示システム、及び操作入力方法を提供する。
【解決手段】表示システムは、予め定められた物体に接触した指示体の位置を検出するセンサーユニット400と、物体にキー配置を定め、キー配置と指示体の位置との相対位置に基づいて、指示体により操作されたキーを認識する制御装置200と、操作されたキーによる操作入力を受け付ける表示装置100とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示システム、及び操作入力方法に関する。
【背景技術】
【0002】
特許文献1に開示されているヘッドマウントディスプレイ(表示システム)には、入力装置として、ハードウェアキーボードが装備されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−172371号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、大きさ、重さ、及び持ち運び易さ等の点で、ハードウェアキーボードには携帯性に難点がある。また、スマートフォン、携帯電話等の携帯端末(表示システム)には、入力装置として、タッチパネル又は専用キーが装備されている。しかしながら、携帯端末であるがゆえに、タッチパネル及び専用キーには難点がある。すなわち、操作性を高くするには入力装置は適度に大きくなければならず、一方、携帯性を高くするには入力装置は適度に小さくなければならないという問題がある。
【0005】
本発明は、前記の点に鑑みてなされたものであり、操作性及び携帯性が高い表示システム、及び操作入力方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上記の課題を解決するためになされたものであり、予め定められた物体に接触した指示体の位置を検出するセンサーユニットと、前記物体にキー配置を定め、前記キー配置と前記指示体の位置との相対位置に基づいて、前記指示体により操作されたキーを認識する制御装置と、ユーザーの頭部に装着可能であり、前記操作されたキーによる操作入力を受け付ける表示装置と、を備えることを特徴とする表示システムである。
【0007】
この構成により、制御装置は、物体にキー配置を定め、キー配置と指示体の位置との相対位置に基づいて、指示体により操作されたキーを認識する。これにより、表示システムは、専用の入力装置が不要となるので、操作性及び携帯性を高くすることができる。
【0008】
また、本発明は、前記表示装置が、画像取り出しエリアを有する画像取り出し部を備え、前記画像取り出し部が、前記画像取り出しエリアに所定画像光を視認可能に提示し、且つ、前記画像取り出しエリアに外界からの入射光を透過させることを特徴とする表示システムである。
これにより、ユーザーは、物体の光学像を画像取り出しエリアに見ることができる。
【0009】
また、本発明は、前記表示装置が、前記画像取り出しエリアを透過した前記物体の光学像に、前記物体と自装置との相対位置に基づいて、前記所定画像光による前記キー配置を示すキー画像を重ねて表示することを特徴とする表示システムである。
これにより、ユーザーは、表示されたキー画像によりキー配置を確認しながら、操作入力することができる。
【0010】
また、本発明は、前記表示装置が、前記キー配置を示すキー画像と重ならないよう、他の画像を前記画像取り出しエリアに表示することを特徴とする表示システムである。
これにより、表示装置は、ユーザーが頭を動かした場合でも、表示画像(操作入力画像)とキー画像が重ならないようにすることができる。
【0011】
また、本発明は、前記表示装置が、前記キー配置を示すキー画像の大きさを調整して表示することを特徴とする表示システムである。
これにより、表示装置は、表示画像(操作入力画像)とキー画像とが重ならないように、見やすい表示にすることができる。
【0012】
また、本発明は、前記制御装置が、前記物体に予め接触した前記指示体の位置に基づいて、前記キー配置を定めることを特徴とする表示システムである。
これにより、ユーザーは、入力装置にする物体に、適切な大きさのキー配置を定めることができる。
【0013】
また、本発明は、前記制御装置が、ユーザーによる選択に基づいて、前記キー配置を定めることを特徴とする表示システムである。
これにより、ユーザーは、入力装置にする物体に定めるキー配置を選択することができる。
【0014】
また、本発明は、前記センサーユニットが、赤外線及び超音波の少なくとも一方を前記指示体に投射し、前記指示体からの反射に基づいて前記指示体の位置を検出することを特徴とする表示システムである。
これにより、ユーザーは、入力装置にする物体をタイピングする指により、操作入力することができる。
【0015】
また、本発明は、前記センサーユニットが、前記指示体を撮像し、撮像した前記指示体の画像に基づいて、前記指示体の位置を検出することを特徴とする表示システムである。
これにより、センサーユニットは、画像に基づいて、指示体の位置を検出することができる。
【0016】
また、本発明は、前記表示装置が、前記所定画像光を出力する画像出力部と、前記画像出力部が出力した前記所定画像光を投射する投射光学系と、前記投射光学系により投射された前記所定画像光を前記画像取り出しエリアに導く導光部と、を備えることを特徴とする表示システムである。
この構成により、表示装置が、前記操作入力を受け付ける。これにより、表示装置を頭部に装着したユーザーは、入力装置にする物体に対して、指示体により操作入力することができる。
【0017】
また、本発明は、表示システムにおける操作入力方法であって、制御装置が、予め定められた物体にキー配置を定めるステップと、センサーユニットが、前記物体に接触したユーザーの指の位置を検出するステップと、制御装置が、前記キー配置と前記指の位置との相対位置に基づいて、前記指により操作されたキーを認識するステップと、ユーザーの頭部に装着可能である表示装置が、前記操作されたキーによる操作入力を受け付けるステップと、を有することを特徴とする操作入力方法である。
【0018】
この方法により、制御装置は、物体にキー配置を定め、キー配置と指の位置との相対位置に基づいて、指により操作されたキーを認識する。これにより、表示システムは、専用の入力装置が不要となるので、操作性及び携帯性を高くすることができる。
【0019】
本発明によれば、制御装置は、物体にキー配置を定め、キー配置と指の位置との相対位置に基づいて、指により操作されたキーを認識する。これにより、表示システムは、操作性及び携帯性を高くすることができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態における、表示システムの構成例を示すブロック図である。
【図2】本発明の一実施形態における、表示装置及び制御装置の外観図である。
【図3】本発明の一実施形態における、表示装置の構成例を示す平面図である。
【図4】本発明の一実施形態における、センサーユニットの外観図である。
【図5】本発明の一実施形態における、入力装置にする物体を認識する場合の表示例である。
【図6】本発明の一実施形態における、どのような種類の入力装置としてキーボード体を使用するかを選択させるための表示例である。
【図7】本発明の一実施形態における、センサーユニットが取り付けられた、キーボード体の外観図である。
【図8】本発明の一実施形態における、キーボード体の位置合わせをするための表示例である。
【図9】本発明の一実施形態における、キーボード体の光学像にキー画像を重畳した場合の表示例である。
【発明を実施するための形態】
【0021】
本発明の一実施形態について図面を参照して詳細に説明する。図1には、表示システムの構成例が、ブロック図により示されている。また、図2には、表示装置及び制御装置の外観図が示されている。表示システムは、表示装置100(シースルータイプ・ヘッドマウントディスプレイ、透過型表示装置)と、制御装置200(コントローラー)と、センサーユニット400とを備える。
【0022】
ユーザーは、表示装置100(眼鏡型)を頭部に装着することにより、表示装置100の画像取り出し部の画像取り出しエリアに表示(提示)された所定画像(例えば、メニュー画像、アイコン画像)を見ることができる。表示装置100の画像取り出し部の画像取り出しエリアは、入射光の少なくとも一部が透過するように構成されている。これにより、ユーザーは、表示装置100を頭部に装着したまま、表示装置100の画像取り出し部の画像取り出しエリアを通して制御装置200を見ることができる。つまり、ユーザーは、入射光による光学像と、表示された所定画像とを同時に観察可能である。
【0023】
まず、表示装置の構成例を説明する。
表示装置100は、左眼用画像出力部110Aと、右眼用画像出力部110Bと、センサー120とを備える。左眼用画像出力部110Aは、左眼用画像形成部10Aと、画像取り出し部21Aとを備える。左眼用画像形成部10Aは、装着時にユーザーの頭部左側に位置するよう、表示装置100の左側テンプル部に備えられる。左眼用画像形成部10Aには、制御装置200から画像信号が入力される。左眼用画像形成部10Aは、ユーザーの左眼用に所定画像光を形成し、形成した所定画像光を画像取り出し部21Aの画像取り出しエリアに出力する。
【0024】
画像取り出し部21Aの画像取り出しエリアには、ユーザーの左眼用に所定画像が表示される。画像取り出し部21Aは、装着時にユーザーの左眼前に位置するよう、表示装置100の左側リム部に備えられる。画像取り出し部21Aの画像取り出しエリアは、入射光の少なくとも一部が透過するよう構成されている。これにより、ユーザーの左眼には、入射光による光学像が導かれる。
【0025】
右眼用画像出力部110Bは、右眼用画像形成部10Bと、画像取り出し部21Bとを備える。右眼用画像形成部10Bは、装着時にユーザーの頭部右側に位置するよう、表示装置100の右側テンプル部に備えられる。右眼用画像形成部10Bには、制御装置200から画像信号が入力される。右眼用画像形成部10Bは、ユーザーの右眼用に所定画像光を形成し、形成した所定画像光を画像取り出し部21Bの画像取り出しエリアに出力する。
【0026】
画像取り出し部21Bの画像取り出しエリアには、ユーザーの右眼用に所定画像が表示される。画像取り出し部21Bは、装着時にユーザーの右眼前に位置するよう、表示装置100の右側リム部に備えられる。画像取り出し部21Bの画像取り出しエリアは、入射光の少なくとも一部が透過するよう構成されている。これにより、ユーザーの右眼には、入射光による光学像が導かれる。
【0027】
図3には、表示装置の構成例が、平面図により示されている。左眼用画像出力部110Aと右眼用画像出力部110Bとは互いに左右対称の構成を有するため、ここでは、左眼用画像出力部110Aの構成例についてのみ説明する。
【0028】
左眼用画像出力部110Aは、左眼用画像形成部10Aと、左眼用導光部20Aとを備える。左眼用画像形成部10Aは、画像生成部11Aと、投射光学系12A(投射レンズ)とを有する。画像生成部11Aは、発光色毎の光源(例えば、発光ダイオード(Light Emitting Diode:LED))と、光変調素子(例えば、液晶表示デバイス)とを備える。
【0029】
画像生成部11Aには、制御装置200から画像信号が入力される。画像生成部11Aは、光源から射出された赤色光、緑色光及び青色光を光学系により拡散させて、光変調素子に投射する。光変調素子は、制御装置200から入力された画像信号に応じて、赤色光、緑色光及び青色光を空間変調することにより、画像信号に応じた画像光を射出する。投射光学系12は、光変調素子から射出された画像光を、平行な状態の光束にする。
【0030】
左眼用導光部20Aは、投射光学系12により平行な状態の光束となった画像光を、左眼用導光部20Aが有する画像取り出し部21A(例えば、三角プリズム)の面に形成されている画像取り出しエリアに投射する。ここで、画像取り出し部21Aの面の表裏のうち、装着時にユーザーの左眼310Aに向く側(画像取り出しエリア)には、ミラー層等の反射コーティングが施されている。画像取り出し部21Aの画像取り出しエリアに投射された画像光は、この反射コーティングされた面により、ユーザーの左眼310Aに向けて全反射される。これにより、画像取り出し部21Aの画像取り出しエリア上には、所定画像(例えば、メニュー画像、キー画像)が表示される。一方、画像取り出し部21Aの画像取り出しエリアに外界から入射する光の少なくとも一部は、画像取り出し部21Aの画像取り出しエリアを透過し、ユーザーの左眼310Aに導かれる。これにより、ユーザーには、左眼用画像形成部10Aにより形成された所定画像と、入射光による光学像とが画像取り出し部21Aの画像取り出しエリア上に重畳されて見える。
【0031】
図1及び図2に戻り、表示システムの構成例及び外観の説明を続ける。以下、画像取り出し部21Aと画像取り出し部21Bとに共通する事項については、符号のローマ字を省略して、「画像取り出し部21」と表記する。
【0032】
センサー120は、表示装置100の外界に在る物体を撮像する撮像装置である。センサー120は、装着時にユーザーの頭部正面に位置するよう、表示装置100のリム部又はブリッジ部に備えられる。例えば、装着時にユーザーの顔が物体に向いていれば、センサー120は、その物体の外観を撮像し、撮像された画像の画像信号を出力することができる。
【0033】
なお、センサー120は、複数備えられていてもよい。これにより、センサー120は、表示装置100の外界に在る物体を、複数方向から撮像することができる。
【0034】
次に、センサーユニットの構成例を説明する。
センサーユニット400は、入力装置としてユーザーにより予め定められた物体(以下、「キーボード体」という)に、予め取り付けられる。このキーボード体が、例えば、長方形の板状物である場合、センサーユニット400は、その板状物のいずれかの隅に取り付けられてもよい。なお、キーボード体の形状は、長方形に限らなくてもよい。
【0035】
センサーユニット400は、振動検出部410と、位置検出部420と、振動部430と、姿勢検出部440と、通信部450と、電源(不図示)とを備える。電源は、各部に電力を供給する。
【0036】
振動検出部410は、キーボード体に加えられた振動の強さを検出し、その振動の強さを示す信号を位置検出部420に出力する。例えば、振動検出部410は、キーボード体が、ユーザーの指、タッチペン又は筆記用具などの指示体によりタイピングされたことによる振動と、その振動の強さとを検出する。ここで、振動検出部410は、芯先が出されていないタッチペン(指示棒)等によりキーボード体に加えられた振動の強さを検出してもよい。
【0037】
位置検出部420は、振動を検出したことを示す信号が入力された場合、センサーユニット400に対する、キーボード体に接触したユーザーの指、タッチペン又は筆記用具などの指示体の相対位置を検出する。以下、一例として、指示体はユーザーの指であるものとして説明を続ける。ここで、位置検出部420は、ユーザーの指に赤外線(InfraRed:IR)を投射し、その指からの反射光に基づいて指の位置を検出する。例えば、位置検出部420は、複数本の赤外線を指に投射することにより、三角測量に基づいて指の位置を検出してもよい。また、例えば、位置検出部420(撮像センサー)は、ユーザーの指を撮像し、撮像した画像に基づいて指の位置を検出してもよい。また、例えば、位置検出部420(超音波センサー)は、ユーザーの指に超音波を投射し、その指からの反射光に基づいて指の位置を検出してもよい。なお、位置検出部420は、これら複数の検出結果を組み合わせてもよい。
【0038】
ここで、位置検出部420は、キーボード体の位置合わせ(図8を用いて後述する)の際、検出したユーザーの指の位置を、キーボード体上の座標の基準点(例えば、原点)とする。また、位置合わせ以降、位置検出部420は、検出したユーザーの指の位置と、座標の基準点との相対位置を示す信号(以下、「指位置信号」という)を、通信部450に出力する。また、位置検出部420は、振動を検出したことを示す信号が入力された場合、振動の強さを示す信号に応じて、振動部430を振動させる。
【0039】
振動部430は、位置検出部420により制御された振動の大きさで振動する。これにより、振動部430は、キーボード体に接触したユーザーの指に、タイピングによる振動の強さに応じたクリック感を与えることができる。
【0040】
姿勢検出部440は、センサーユニット400の姿勢を検出し、検出した姿勢を示す信号(以下、「姿勢信号」という)を、通信部450に出力する。キーボード体にセンサーユニット400が取り付けられている場合、姿勢検出部440は、そのキーボード体の姿勢を検出することになる。姿勢検出部440は、例えば、ジャイロセンサー及び加速度センサーである。
【0041】
通信部450には、指位置信号及び姿勢信号が入力される。通信部450は、指位置信号及び姿勢信号を、制御装置200に転送する。ここで、転送には、Bluetooth(登録商標)が用いられてもよい。
【0042】
図4には、センサーユニットの外観図が示されている。図4では、センサーユニット400の形状は、一例として、六面体である。ここで、位置検出部420及び振動検出部410は、一例として、センサーユニット400の同一面に配置される。センサーユニット400がキーボード体に取り付けられる際、位置検出部420及び振動検出部410は、指示体の方向に共に向けられる。一方、振動部430は、振動検出部410が配置されている面とは異なる面に配置されてもよい。これにより、振動検出部410は、振動部430から離され、振動部430による振動を検出しないようにして、指示体による振動のみを検出することができる。
【0043】
次に、制御装置の構成例を説明する。
制御装置200は、外界に在るキーボード体に仮想的にキー配置を定める。つまり、制御装置200は、キーボード体上の座標と、各キーの座標とを対応付けて記憶する。制御装置200は、指位置信号が示す基準点からの指の相対位置と、各キーの座標(キー配置)とに基づいて、ユーザーの指により操作されたキーを認識する。
【0044】
また、制御装置200は、操作されたキーに応じた操作入力信号に基づいて、表示装置100を制御する。制御装置200は、操作部210と、認識部220と、制御部230と、記憶部240と、操作ボタン部250と、通信部270とを備える。
【0045】
操作部210は、その操作面に対して操作入力をするユーザーの指が触れている位置を、操作面上の絶対座標で検出し、検出した絶対座標を示す信号(以下、「座標信号」という)を、制御部230に出力する。操作部210は、例えば、トラックパッドである。
【0046】
記憶部240は、キー画像(キーボード画像)を、入力装置の種類に対応付けて予め記憶する。ここで、キー画像には、例えば、テンキー(TenKey)画像と、携帯端末用キー(携帯Key:例えば、数字、記号及びローマ字キーの4×3キー配置)画像と、ゲーム端末用キー(GameCTL:例えば、方向キー及び確定(ENTER)キー配置)画像と、QWERTYキーボード(QWERTY)画像とがある。
【0047】
操作ボタン部250は、操作ボタン群を備える。各操作ボタンは、ユーザーに押下されることにより、押下された操作ボタンに予め対応付けられた処理を示す信号を、制御部230に出力する。ここで、予め対応付けられた処理とは、例えば、画像取り出し部21(図2を参照)の画像取り出しエリアに投射されている画像の輝度を調整する処理である。
【0048】
通信部270は、指位置信号及び姿勢信号をセンサーユニット400から受信し、認識部220に転送する。
【0049】
認識部220には、指位置信号及び姿勢信号が、通信部270から入力される。また、認識部220には、撮像された画像の画像信号が、センサー120から入力される。認識部220は、撮像された画像の画像信号に基づいて、キーボード体の大きさ及び形状等を認識する。
【0050】
認識部220には、記憶部240が予め記憶しているキー画像に対応付けられている入力装置の種類のうち、ユーザーにより選択された入力装置の種類を示す信号が、制御部230から入力される。認識部220は、選択された入力装置の種類を示す信号に基づいて、選択された入力装置のキー画像を、記憶部240から取得する。
【0051】
認識部220は、キーボード体の光学像の大きさ及び形状と、記憶部240から取得したキー画像の大きさ及び形状とが、画像取り出し部21の画像取り出しエリア上で一致するように、キーボード体の画像の画像信号に基づいて、キー画像を必要に応じて変形させる。
【0052】
さらに、認識部220は、キーボード体の光学像の表示位置と、記憶部240から取得したキー画像の表示位置とが、画像取り出し部21の画像取り出しエリア上で一致するように、キーボード体の画像の画像信号と、姿勢信号とに基づいて、画像取り出し部21の画像取り出しエリア上のキー画像の位置を補正する。認識部220は、変形及び補正されたキー画像(変形及び補正がされない場合は元のキー画像)を示す画像信号を、制御部230に出力する。これにより、例えば、ユーザーが上を向いた場合、これに応じて、ユーザーにはキー画像が下に移動して見える。また、例えば、キーボード体がユーザーの視界から完全に外れた場合、キー画像は、画像取り出し部21の画像取り出しエリアに投射されない。
【0053】
認識部220は、指位置信号が示す基準点からの指の相対位置と、各キーの座標とに基づいて、ユーザーの指により操作されたキーを認識する。また、認識部220は、操作されたキーを示す識別情報を、制御部230に通知する。
【0054】
制御部230は、表示装置100の左眼用画像出力部110A及び右眼用画像出力部110Bに、画像信号を出力する。この画像信号により、左眼用画像出力部110A及び右眼用画像出力部110Bには、メニュー画像等が表示される。なお、左眼用画像出力部110Aに出力される画像信号と、右眼用画像出力部110Bに出力される画像信号とは、その内容(例えば、画像の視差)が異なっていてもよい。例えば、左右の画像に視差がある場合、その画像は、3次元画像となる。
【0055】
制御部230は、変形及び補正されたキー画像(変形及び補正がされない場合は元のキー画像)を示す画像信号を、認識部220から受信して表示装置100に転送する。これにより、キーボード体の光学像にキー画像が重畳されるよう、画像取り出し部21の画像取り出しエリアにキー画像が投射される。
【0056】
制御部230には、操作されたキーを示す識別情報が、認識部220から転送される。制御部230は、操作されたキーを示す識別情報に予め対応付けられた処理(例えば、表示装置100に文字を表示させる処理)を実行する。
【0057】
制御部230には、押下された操作ボタンに予め対応付けられた処理を示す信号が、押下された操作ボタン毎に、操作ボタン部250から入力される。制御部230は、押下された操作ボタンに予め対応付けられた処理を示す信号に基づいて、その対応付けられた処理(例えば、画像の輝度を調整する処理)を実行する。
【0058】
制御部230には、座標信号が操作部210から入力される。制御部230は、入力された座標信号に基づいて、その座標信号が示す絶対座標に予め対応付けられた処理(例えば、画像取り出し部21の画像取り出しエリア上のカーソル画像を移動させる処理)を実行する。
【0059】
制御部230は、ユーザーにより入力装置の種類が選択された場合、選択された入力装置の種類を示す信号を、認識部220に転送する。
【0060】
次に、表示システムの動作手順を説明する。
図5には、入力装置にする物体を認識する場合の表示例が示されている。まず、長方形のキーボード体500が、入力装置としてユーザーにより予め用意されたとする。この板状物500の光学像は、表示装置100の画像取り出し部21の画像取り出しエリアを透過して、ユーザーの目に届く。これにより、ユーザーは、表示装置100を頭部に装着したまま、画像取り出し部21の画像取り出しエリアを通してキーボード体500の光学像を見ることができる。
【0061】
表示装置100のセンサー120は、キーボード体500の外観を撮像し、撮像された画像の画像信号を、制御装置200の認識部220に出力する。認識部220は、撮像された画像の画像信号に基づいて、キーボード体500の位置、大きさ及び形状等を認識する。また、認識部220は、通信部270から入力された姿勢信号に基づいて、キーボード体500の姿勢を認識する。ここで、認識部220は、キーボード体500の形状(例えば、隅の位置)を示すマーカー画像600−1〜600−4を、画像取り出し部21の画像取り出しエリアに投射させてもよい。
【0062】
図6には、どのような種類の入力装置としてキーボード体を使用するかを選択させるための表示例が示されている。制御部230は、メニューの一覧を示す画像信号を表示装置100に出力することにより、画像取り出し部21の画像取り出しエリアにメニュー一覧画像700を表示させる。図6では、入力装置の種類をユーザーに選択させるためのメニュー一覧画像700として、メニュー画像710(TenKey)と、メニュー画像720(携帯Key)と、メニュー画像730(GameCTL)と、メニュー画像740(QWERTY)とが表示されている。
【0063】
ユーザーは、操作部210又は操作ボタン部250を操作することにより、メニュー画像710〜740を選択することができる。ここで、各メニュー画像には、それぞれに対応付けられている入力装置の種類がある。制御部230は、操作部210又は操作ボタン部250から操作入力信号を受信し、受信した操作入力信号を認識部220に転送する。認識部220は、操作入力信号が示す入力装置の種類に対応付けられたキー画像を、記憶部240から取得する。
【0064】
図7には、センサーユニットが取り付けられた、キーボード体の外観図が示されている。以下では、センサーユニット400は、一例として、キーボード体500の左上の隅に、ユーザーによって取り付けられているものとする。
【0065】
図8には、キーボード体の位置合わせ(キャリブレーション)をするための表示例が示されている。図6に示すメニュー画像740が選択されたことにより、図8では、メニュー画像740と、メニュー画像740に対応付けられたキー配置を示すキー画像800とが、画像取り出し部21の画像取り出しエリアに投射されている。また、キー画像800を構成するキーのうち、予め定められた一つ以上のキー(図8では、「Q」、「ENTER」)の配置が、枠により示されている。これにより、ユーザーは、枠により示されている各キーを、キーボード体500上のどの位置(座標の基準点)にそれぞれ対応させるかを、指定することができる。
【0066】
より具体的には、画像取り出し部21の画像取り出しエリアを見ているユーザーは、画像取り出し部21の画像取り出しエリア上でキーボード体500の光学像の左上の隅にキー「Q」を表示させるために、キーボード体500の左上の隅に指を触れたとする。さらに、ユーザーは、画像取り出し部21の画像取り出しエリア上でキーボード体500の光学像の右下の隅にキー「ENTER」を表示させるために、キーボード体500の右下の隅に指を触れたとする。なお、予め定められたキーは、3個以上であってもよい。
【0067】
この状態で、センサーユニット400は、キーボード体500に触れている指に赤外線を投射し、指からの反射光に基づいて、その指の位置(座標の基準点)を検出する。また、センサーユニット400は、指位置信号及び姿勢信号を、制御装置200(図1を参照)に送信する。
【0068】
制御装置200の通信部270は、指位置信号を認識部220に転送する。認識部220は、指位置信号に基づいて、キーボード体500に仮想的にキー配置を定める。ここで、認識部220は、ユーザーの指が触れられているキーボード体500の左上の隅をキー「Q」の位置とし、ユーザーの指が触れられているキーボード体500の右上の隅をキー「ENTER」の位置と定める(位置合わせ)。さらに、認識部220は、指位置信号に基づいて定めたキー「Q」及びキー「ENTER」の位置(基準点)に基づいて、他のキーの位置も定める(割付)。
【0069】
なお、認識部220は、指位置信号に基づかずに、キーボード体500の画像の画像信号、及び姿勢信号に基づいて、キーボード体500の左上の隅をキー「Q」の位置とし、キーボード体500の右下の隅をキー「ENTER」の位置と定めてもよい(位置合わせ)。さらに、認識部220は、定めたキー「Q」及びキー「ENTER」の位置(基準点)に基づいて、他のキーの位置も定める(割付)。
【0070】
なお、表示装置100は、キー配置を示すキー画像と重ならないよう、他の画像(例えば、操作入力された文字列を表示するための領域を示す画像)を画像取り出し部21の画像取り出しエリアに投射してもよい。また、表示装置100は、ユーザーによる操作入力(モード指定)に基づいて、キー画像の大きさを調整して投射してもよい。
【0071】
図9には、キーボード体の光学像にキー画像を重畳した場合の表示例が示されている。認識部220は、選択された入力装置の種類を示す信号に基づいて、その選択された入力装置のキー画像を、記憶部240から取得する。
【0072】
制御装置200の通信部270は、姿勢信号を認識部220に転送する。認識部220は、キーボード体500の光学像の大きさ及び形状と、記憶部240から取得したキー画像810の大きさ及び形状とが、画像取り出し部21の画像取り出しエリア上で一致するように、キーボード体500の画像の画像信号と、姿勢信号とに基づいて、キー画像810を必要に応じて変形させる。例えば、認識部220は、斜視図となるようにキー画像810を変形させてもよい。
【0073】
さらに、認識部220は、キーボード体500の光学像の表示位置と、記憶部240から取得したキー画像の表示位置とが、画像取り出し部21の画像取り出しエリア上で一致するように、キーボード体500の画像の画像信号と、姿勢信号とに基づいて、画像取り出し部21の画像取り出しエリア上でのキー画像の位置を補正する。認識部220は、変形及び補正されたキー画像810(変形及び補正がされない場合は元のキー画像)を示す画像信号を、制御部230に出力する。
【0074】
制御部230は、変形及び補正されたキー画像810(変形及び補正がされない場合は元のキー画像)を示す画像信号を、認識部220から受信して表示装置100に転送する。表示装置100の左眼用画像出力部110A(図1を参照)は、制御部230から入力された画像信号に基づいて、画像取り出し部21の画像取り出しエリアにおけるキーボード体500の光学像の位置に、キー画像810を表示する。表示装置100の右眼用画像出力部110Bについても同様である。これにより、キー画像810は、画像取り出し部21の画像取り出しエリアにおいてキーボード体500の光学像に重畳される。なお、表示装置100は、操作入力された文字列を表示するための領域を示す画像(操作入力画像)を表示してもよい。
【0075】
センサーユニット400は、キーボード体500に触れている(タイピングしている)指に赤外線を投射し、指からの反射光に基づいて、その指の位置を検出する。また、センサーユニット400は、指位置信号及び姿勢信号を、継続的に制御装置200に送信する。
【0076】
認識部220は、指位置信号が示す基準点からの指の相対位置と、各キーの座標とに基づいて、ユーザーの指により操作(タイピング)されたキーを認識する。また、認識部220は、操作されたキーを示す識別情報を、制御部230に転送する。
【0077】
制御部230は、操作されたキーを示す識別情報に予め対応付けられた処理を実行する。例えば、制御部230は、操作されたキーに対応付けられた文字を、表示装置100の半画像取り出し部21の画像取り出しエリアに投射させる。すなわち、表示装置100は、操作されたキーによる操作入力を受け付ける。
【0078】
図9では、ユーザーがキー「E」を操作したことにより、操作入力された文字「E」が操作入力画像900に表示されている状態が示されている。例えば、制御部230は、このようにして操作入力された文字列を、コンピューターネットワーク上で検索(Search)してもよい。
【0079】
以上のように、表示システムは、キーボード体500に接触した指示体(例えば、ユーザーの指、タッチペン)の位置を検出するセンサーユニット400と、キーボード体500にキー配置を定め、前記キー配置と前記指示体の位置との相対位置に基づいて、前記指示体により操作されたキーを認識する制御装置200と、ユーザーの頭部に装着可能であり、前記操作されたキーによる操作入力を受け付ける表示装置100と、を備える。
【0080】
この構成により、制御装置は、物体にキー配置を定め、キー配置と指の位置との相対位置に基づいて、指により操作されたキーを認識する。これにより、表示システムは、専用の入力装置が不要となるので、操作性及び携帯性を高くすることができる。
【0081】
つまり、表示システムは、ユーザーが用意した物体を入力装置にすることで、入力装置を簡略化することができる。ユーザーは、TWITTER(登録商標)、メールなど文字入力が必要な場合、熟練度によらず簡単に文字入力することが可能であり、且つ、表示システムの持ち運びにも不便がない。
【0082】
表示装置がシースルータイプ・ヘッドマウントディスプレイ(透過型表示装置)である場合、入力装置は、大きい装置である必要がない。これにより、ユーザーは、透過型表示装置により両手が空くという特徴を、最大限に生かすことができる。また、入力装置が必要となった場合に、センサーユニット400を取り付けた物体を、簡単に入力装置にすることができるため、ユーザーは、表示システムを簡便に利用することができる。
【0083】
また、表示システムは、キーボード体500を操作するキー入力を、ヘッドマウントディスプレイに表示されるソフトウェア・キーボードに反映させながら、文字入力を可能にさせる。
【0084】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【0085】
例えば、センサーユニット400は、ユーザーの指に装着されてもよい。また、例えば、操作部210は、ユーザーの指が触れた操作面上の位置を、操作面上の相対座標で検出してもよい。また、例えば、表示装置100は、ヘッドアップディスプレイ(透過型表示装置)でもよい。
【0086】
また、例えば、認識部220は、机のような広い平面の一部を仮想的に切り取って、その仮想的に切り取った範囲をキーボード体500としてもよい。
【0087】
また、例えば、表示装置100は、前記投射光学系、前記導光部、及び前記画像取り出し部の代わりに、瞳分割方式シースルー光学系を備えていてもよいし、半透過鏡方式シースルー光学系を備えていてもよい。また、例えば、表示装置100は、前記投射光学系、前記導光部、及び前記画像取り出し部の代わりに、画像表示装置(特開2008−20770号公報)、頭部装着型ディスプレイ(特許第4636164号公報)、ビーム走査型表示装置(国際公開第2009/041055号)、又は、表示装置(特許第4055283号公報)が備える光学系を備えていてもよい。
【0088】
なお、以上に説明した表示システムを実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【符号の説明】
【0089】
10A…左眼用画像形成部、10B…右眼用画像形成部、11A…画像生成部、11B…画像生成部、12A…投射光学系、12B…投射光学系、20A…左眼用導光部、21A…画像取り出し部、21B…画像取り出し部、100…表示装置、110A…左眼用画像出力部、110B…右眼用画像出力部、120…センサー、200…制御装置(コントローラー)、210…操作部、220…認識部、230…制御部、240…記憶部、250…操作ボタン、270…通信部、310A…ユーザーの左眼、400…センサーユニット、410…振動検出部、420…位置検出部、430…振動部、440…姿勢検出部、450…通信部、500…キーボード体、600…マーカー画像、700…メニュー一覧画像、710…メニュー画像、720…メニュー画像、730…メニュー画像、740…メニュー画像、800…キー画像、810…キー画像、900…操作入力画像

【特許請求の範囲】
【請求項1】
予め定められた物体に接触した指示体の位置を検出するセンサーユニットと、
前記物体にキー配置を定め、前記キー配置と前記指示体の位置との相対位置に基づいて、前記指示体により操作されたキーを認識する制御装置と、
ユーザーの頭部に装着可能であり、前記操作されたキーによる操作入力を受け付ける表示装置と、
を備えることを特徴とする表示システム。
【請求項2】
前記表示装置は、画像取り出しエリアを有する画像取り出し部を備え、
前記画像取り出し部は、前記画像取り出しエリアに所定画像光を視認可能に提示し、且つ、前記画像取り出しエリアに外界からの入射光を透過させることを特徴とする請求項1に記載の表示システム。
【請求項3】
前記表示装置は、前記画像取り出しエリアを透過した前記物体の光学像に、前記物体と自装置との相対位置に基づいて、前記所定画像光による前記キー配置を示すキー画像を重ねて表示することを特徴とする請求項2に記載の表示システム。
【請求項4】
前記表示装置は、前記キー配置を示すキー画像と重ならないよう、他の画像を前記画像取り出しエリアに表示することを特徴とする請求項2に記載の表示システム。
【請求項5】
前記表示装置は、前記キー画像の大きさを調整して表示することを特徴とする請求項3又は請求項4に記載の表示システム。
【請求項6】
前記制御装置は、前記物体に予め接触した前記指示体の位置に基づいて、前記キー配置を定めることを特徴とする請求項1から請求項5のいずれか一項に記載の表示システム。
【請求項7】
前記制御装置は、ユーザーによる選択に基づいて、前記キー配置を定めることを特徴とする請求項1から請求項6のいずれか一項に記載の表示システム。
【請求項8】
前記センサーユニットは、赤外線及び超音波の少なくとも一方を前記指示体に投射し、前記指示体からの反射に基づいて前記指示体の位置を検出することを特徴とする請求項1から請求項7のいずれか一項に記載の表示システム。
【請求項9】
前記センサーユニットは、前記指示体を撮像し、撮像した前記指示体の画像に基づいて、前記指示体の位置を検出することを特徴とする請求項1から請求項8のいずれか一項に記載の表示システム。
【請求項10】
前記表示装置は、
前記所定画像光を出力する画像出力部と、
前記画像出力部が出力した前記所定画像光を投射する投射光学系と、
前記投射光学系により投射された前記所定画像光を前記画像取り出しエリアに導く導光部と、
を備えることを特徴とする請求項2から請求項9のいずれか一項に記載の表示システム。
【請求項11】
表示システムにおける操作入力方法であって、
制御装置が、予め定められた物体にキー配置を定めるステップと、
センサーユニットが、前記物体に接触した指示体の位置を検出するステップと、
制御装置が、前記キー配置と前記指示体の位置との相対位置に基づいて、前記指示体により操作されたキーを認識するステップと、
ユーザーの頭部に装着可能である表示装置が、前記操作されたキーによる操作入力を受け付けるステップと、
を有することを特徴とする操作入力方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−114375(P2013−114375A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−258698(P2011−258698)
【出願日】平成23年11月28日(2011.11.28)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】