表示装置
【課題】仮想的な物体として視認されるキーを用いたときの入力の誤りを抑制する。
【解決手段】表示装置の表示手段は、表示面に面した空間に仮想キーボードを立体視させるように、視差を有する２つの映像をその表示面に表示する。表示装置の検出手段は、表示面に面した空間において指定された位置を検出する。表示装置の特定手段は、検出手段により検出された位置および仮想キーボードが立体視されている位置に基づいて、その仮想キーボードが有するキーのうち、検出された位置により指定されたキーと、そのキーと位置との重なりの状態とを特定する。表示装置の表示制御手段は、特定手段により特定された状態に応じて、キーを表示する態様をそれぞれ制御する。
【解決手段】表示装置の表示手段は、表示面に面した空間に仮想キーボードを立体視させるように、視差を有する２つの映像をその表示面に表示する。表示装置の検出手段は、表示面に面した空間において指定された位置を検出する。表示装置の特定手段は、検出手段により検出された位置および仮想キーボードが立体視されている位置に基づいて、その仮想キーボードが有するキーのうち、検出された位置により指定されたキーと、そのキーと位置との重なりの状態とを特定する。表示装置の表示制御手段は、特定手段により特定された状態に応じて、キーを表示する態様をそれぞれ制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視を用いて入力装置を表示する表示装置に関するものである。
【背景技術】
【０００２】
表示されることでユーザに認識され、ユーザの指示を受け付ける仮想的な入力装置の技術が開発されている。特許文献１は、入力デバイスのイメージを表面に投影し、イメージに関連したユーザの動作を分析して入力を受け付けるデータ入力方法を開示する。特許文献２は、画面上にイメージとして表示される入力装置の表示をユーザの指の長さや癖などに合わせて適正化する技術を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３２３８６６号公報
【特許文献２】特開２００４−３４１８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１および特許文献２に開示された技術では、仮想的な入力装置がユーザにとって平面上の画像として認識されるにとどまり、立体として認識されることはなく、入力装置としての現実感を欠くものである。さらに、特許文献１に開示された技術には入力装置を表示するために、その入力装置のイメージをどこかの平面に投影しなければならない。したがって、特許文献１に開示された技術は、例えば満員電車に乗っているときのように個人で占有できる空間が限られているケースにおいて使用することが困難である。また、特許文献２に開示された技術は、表示面に、２次元画像である入力装置のイメージを表示するが、表示面がそのまま入力を検知する面であるため、入力装置の全体をその表示面に表示する必要があり、小型の表示装置に適用すると誤入力を惹起するため不向きであった。
【０００５】
本発明は、仮想的な物体として視認されるキーを用いたときの入力の誤りを抑制することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明に係る表示装置は、画像を表示する表示面を有する表示手段と、前記表示面に面した空間において決められた複数の領域の位置を記憶する記憶手段と、立体視により複数のキーが前記各領域にそれぞれ配置されているように視認される画像を前記表示手段に表示させる表示制御手段と、前記空間においてユーザが用いる指示体により指示された位置を検出する検出手段と、前記検出手段により検出された位置からの距離が第１の閾値以内である領域に視認されるキーを特定する特定手段とを備え、前記表示制御手段は、前記特定手段により特定されたキーを、当該特定手段により特定されていないキーと異なる表示態様で前記表示手段に表示させることを特徴とする。
【０００７】
好ましくは、前記空間において前記特定手段によって特定されたキーが視認される領域と、当該キーが特定された後に前記検出手段により検出された位置との距離が、前記第１の閾値より小さい第２の閾値以内であるか否かを判定する判定手段と、前記検出手段により検出された位置との距離が前記第２の閾値以内であると判定された領域に視認されるキーに応じた処理を行う処理手段とを備えるとよい。
【０００８】
また、好ましくは、前記表示制御手段は、前記特定手段によって特定されたキーが視認される領域と、当該キーが特定された後に前記検出手段により検出された位置との距離が、前記第２の閾値以内であると前記判定手段により判定された場合には、当該キーを、前記判定手段に判定されていないときのキーと異なる表示態様で前記表示手段に表示させるとよい。
【０００９】
また、好ましくは、前記表示制御手段は、前記特定されたキーが視認される領域と、当該キーが特定された後に検出された前記位置との距離が、前記第１の閾値以内であって前記第２の閾値より大きい場合に、当該キーを、当該距離が前記第２の閾値に近づく程度を示す表示態様で前記表示手段に表示させるとよい。
【００１０】
また、好ましくは、ユーザの操作を受け付ける受付手段と、受け付けた前記操作に応じて前記記憶手段に記憶された記憶内容を変更する変更手段とを具備するとよい。
【００１１】
また、好ましくは、前記記憶手段は、前記複数の領域がそれぞれ占める範囲を記憶し、前記変更手段は、受け付けた前記操作に応じて前記範囲を変更するとよい。
【００１２】
また、好ましくは、前記表示制御手段が前記キーを前記表示態様で前記表示手段に表示させることをユーザに報知する報知手段を具備するとよい。
【００１３】
また、好ましくは、前記報知手段は、音を発生させることによって前記報知を行うとよい。
【００１４】
また、好ましくは、前記表示制御手段は、前記特定手段が決められた期間にキーを特定しない場合に、前記立体視による画像を前記表示手段に消去させるとよい。
【発明の効果】
【００１５】
本発明によれば、仮想的な物体として視認されるキーを用いたときの入力の誤りを抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】表示装置の外観を示す斜視図である。
【図２】表示装置の構成を示す図である。
【図３】表示装置を−ｘ方向に見た図である。
【図４】表示面の領域に表示された仮想キーボードを示す図である。
【図５】表示部による立体視の仕組みを説明するための図である。
【図６】視差による立体視を説明するための図である。
【図７】仮想キーボードのキーがユーザに立体視される様子を説明する概略図である。
【図８】キーがユーザに立体視される様子を＋ｚ方向から見た図である。
【図９】深度センサの機能を説明するための図である。
【図１０】表示装置の機能構成を示す図である。
【発明を実施するための形態】
【００１７】
１．実施形態
実施形態に係る表示装置１の各構成の配置を説明するため、各構成が配置される空間をｘｙｚ右手系座標空間として表す。以下の図に示す座標記号のうち、内側が白い円の中に黒い円を描いた記号は、紙面奥側から手前側に向かう矢印を表している。また、内側が白い円の中に交差する２本の線分を描いた記号は、紙面手前側から奥側に向かう矢印を表している。空間においてｘ成分が増加する方向を＋ｘ方向といい、ｘ成分が減少する方向を−ｘ方向という。同様に、ｙ、ｚ成分についても、＋ｙ方向、−ｙ方向、＋ｚ方向、−ｚ方向を定義する。
【００１８】
図１は、表示装置１の外観を示す斜視図である。表示装置１は、ｙ軸およびｚ軸に沿って延びる平面状の筐体を有する。図２は、表示装置１の構成を示す図である。制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有し、ＣＰＵがＲＯＭに記憶されているブートローダや記憶部１２に記憶されているコンピュータプログラム（以下、単にプログラムという）を読み出して実行することにより表示装置１の各部を制御する。記憶部１２はハードディスクドライブやソリッドステートドライブなどの大容量の記憶手段であり、ＣＰＵに読み込まれるプログラムを記憶する。
【００１９】
表示部１４は、複数の画素により構成される表示面を有し、制御部１１からの指示に応じて、この表示面に画像を表示する。すなわち表示部１４は、画像を表示する表示面を有する表示手段の一例である。図１に示すように、表示部１４の表示面はｙｚ平面に沿って設けられている。表示部１４は、液晶パネル１４１、視差障壁１４２、およびバックライト１４３を有し、これらにより表示面に立体視のための画像を表示して、ユーザに対して物体を立体視させる。立体視については後述する。
【００２０】
操作部１３は、ボタン１３１、深度センサ１３２、タッチセンサ１３３、およびダイヤル１３４を備える。ボタン１３１は、起動や一時停止などの指示を入力するための操作子である。深度センサ１３２は、例えばユーザの指など、指示の主体となるもの（以下、指示体という）の、表示装置１の＋ｘ方向の空間における位置を検出し、この位置に応じた信号を制御部１１に送るセンサである。
【００２１】
タッチセンサ１３３は、表示部１４の表示面に重ねて設けられ、表示面においてユーザの指などが触れた位置を座標として特定するセンサである。ダイヤル１３４は、図示しない軸を中心として回転する円形または扇型の操作子であり、弧の部分が表示装置１の筐体から露出してユーザによる指示を受け付けるように取り付けられている。ユーザがこの弧に触れてダイヤル１３４を回転させることで、ダイヤル１３４は制御部１１に回転による変位に応じた信号を供給する。これら操作子は、ユーザの操作を受け付ける受付手段の一例であり、図１に示した位置に設けられている。
【００２２】
図３は、表示装置１を−ｘ方向に見た図である。領域Ｒｋは、表示部１４の表示面のうち、−ｚ側の領域であって、仮想キーボードの表示に用いられる領域である。制御部１１は、例えばタッチセンサ１３３により特定された位置が、表示部１４に表示された入力領域の位置と重なった場合に、領域Ｒｋに仮想キーボードの画像を表示させる。図４は、領域Ｒｋに表示された仮想キーボードを示す図である。図４に示された仮想キーボードは立体視されるための画像ではなく、平面図形としてユーザに認識される画像である。
【００２３】
図５は、表示部１４による立体視の仕組みを説明するための図である。液晶パネル１４１は、液晶をそれぞれ含む複数の画素を格子状に並べたパネルを透明電極板で挟んだ構造を有し、制御部１１の制御の下、液晶に電圧を印加することで画素ごとに光の透過率を変化させて画像を表示する。液晶パネル１４１の面のうち、ユーザの視点側にある面をおもて面とし、その反対側の面をうら面とすると、バックライト１４３は、液晶パネル１４１のうら面から入っておもて面へ透過する光を照射する光源である。バックライト１４３は、自発光する光源であってもよいし、光源とその光源から光を導く導光板との組み合わせであってもよく、例えば白色ＬＥＤ（Light Emitting Diode）などである。
【００２４】
視差障壁１４２は、バックライト１４３と液晶パネル１４１との間に設けられ、バックライト１４３から照射される光の一部を遮蔽する。視差障壁１４２は、ｚ軸に沿った複数の帯状の遮蔽体がｙ軸方向に互いに間隔をあけて並べられている。図５に示す視点ＥLはユーザの左目の位置であり、視点ＥRはユーザの右目の位置である。ユーザの左右の視点ＥL、ＥRはｙ軸方向に並んでいる。バックライト１４３から照射されて、視差障壁１４２の隙間を通って視点ＥLに届く光は、液晶パネル１４１において画素Ｌを透過している。
【００２５】
一方、バックライト１４３から照射されて、視差障壁１４２の隙間を通って視点ＥRに届く光は、液晶パネル１４１において画素Ｒを透過している。画素Ｌと画素Ｒとは、液晶パネル１４１において、ｙ軸方向に交互に配置されている。したがって、表示部１４は、制御部１１の制御の下、液晶パネル１４１の複数の画素Ｌを用いて左目用の画像ＧLを表示し、複数の画素Ｒを用いて右目用の画像ＧRを表示することにより、異なった２つの画像を左右それぞれの目に見せる。
【００２６】
図６は、視差による立体視を説明するための図である。上述したように、表示部１４の表示面は、左右の目にそれぞれ異なる画像を見せることが可能なように構成されている。ユーザの左右の目が表示面に対してどこに位置するかについては、予め調整されているため、制御部１１は、両眼の視差に基づいて、或る位置に置かれた仮想物体Ｖが左右の目にどのように見えるかを表した右目用の画像ＧRと左目用の画像ＧLとをそれぞれ表示部１４に表示させる。
【００２７】
図６（ａ）に示すように、左目用の画像ＧLを右目用の画像ＧRよりも−ｙ方向に、すなわち、ユーザから見て左に表示した場合、ユーザの両眼の視線は表示部１４の表示面よりも−ｘ方向の位置で交差する。そのため、ユーザは、これらの画像によって表される仮想物体Ｖを、表示部１４の表示面よりもユーザから見て奥に存在しているかのように認識する。また図６（ｂ）に示すように、左目用の画像ＧLを右目用の画像ＧRよりも＋ｙ方向に、すなわち、ユーザから見て右に表示した場合、ユーザの両眼の視線は表示部１４の表示面よりも＋ｘ方向の位置で交差する。そのため、ユーザは、これらの画像によって表される仮想物体Ｖを、表示部１４の表示面よりもユーザから見て手前に存在しているかのように認識する。
【００２８】
図７は、仮想キーボードのキーＶ1がユーザに立体視される様子を説明する概略図である。また、図８は、キーＶ1がユーザに立体視される様子を＋ｚ方向から見た図である。第１平面Ｆ1および第２平面Ｆ2は、いずれも表示部１４の表示面よりも＋ｘ方向にあって、表示面に平行である。第１平面Ｆ1は、第２平面Ｆ2よりも＋ｘ方向にある。したがって、ユーザから表示装置１の表示面を見たときに、これらの面は手前から奥に向かって第１平面Ｆ1→第２平面Ｆ2→表示面の順で並んでいる。
【００２９】
表示部１４において、表示面の領域Ｒｋには右目用の画像ＧRと左目用の画像ＧLとが表示されている。これにより仮想キーボードに含まれるキーＶ1は、第１平面Ｆ1と第２平面Ｆ2との間の空間に存在している立方体の物体であるかのようにユーザに見える。具体的には、キーＶ1の各面のうち、＋ｘ側の面は、そのキーに対応する文字「ｐ」を表示し、第１平面Ｆ1に含まれる位置にある。またキーＶ1の各面のうち、−ｘ側の面は、第２平面Ｆ2に含まれる位置にある。この第２平面Ｆ2に含まれる「キーＶ1の−ｘ側の面」は、立体視によりキーＶ1がユーザに配置されているように視認される領域である。以下、この領域をキーＶ1の配置領域Ｑ1という。
【００３０】
図９は、深度センサ１３２の機能を説明するための図である。深度センサ１３２は、例えば赤外線や超音波などの波を、ユーザの指などの指示体が存在する空間へ向けて照射し、反射波が返ってくるまでの時間に基づいてその指示体の存在する位置の方向と、その位置までの距離を感知する。深度センサ１３２は、上記の波を＋ｙ方向や＋ｚ方向に走査して照射するため、指示体の＋ｘ方向の位置（すなわち、表示部１４の表示面までの距離）のみならず、＋ｙ方向、＋ｚ方向の位置も検出する。そして、深度センサ１３２が、指示体の位置に応じた信号を制御部１１に送ると、制御部１１は、送られた信号が示す位置に基づいて、表示部１４の表示面から、その指示体までの距離を「深度」として特定する。ここで、「深度」とは、表示部１４の表示面を起点とした＋ｘ方向の距離をいう。
【００３１】
図９に示す、キーＶ1、Ｖ2、Ｖ3は、それぞれ配置領域Ｑ1、Ｑ2、Ｑ3に配置されているように視認される。第２平面Ｆ2から第１平面Ｆ1までの＋ｘ方向の距離は、距離Ｌ1である。第２平面Ｆ2の＋ｘ側であり、第１平面Ｆ1の−ｘ側であって、第２平面Ｆ2に平行な平面を第３平面Ｆ3と呼ぶ。第２平面Ｆ2から第３平面Ｆ3までの＋ｘ方向の距離は、距離Ｌ1よりも小さい距離Ｌ2である。
【００３２】
図９に示すように、キーＶ1の＋ｘ側には指示体Ｔ1があるが、指示体Ｔ1の先端は第１平面Ｆ1よりも＋ｘ側にある。つまり、指示体Ｔ1の位置から配置領域Ｑ1までの距離は距離Ｌ1以内ではない。したがって深度センサ１３２から指示体Ｔ1の位置の情報を得た制御部１１は、指示体Ｔ1の先端がキーＶ1に触れていない状態（以下、未接触状態という）にあると判定する。
【００３３】
一方、キーＶ2と指示体Ｔ2とは一部が重なっている。指示体Ｔ2の先端は第１平面Ｆ1よりも−ｘ側にあり、かつ、第３平面Ｆ3よりも＋ｘ側にある。つまり、指示体Ｔ2の位置から配置領域Ｑ2までの距離は距離Ｌ1以内であり、距離Ｌ2以内ではない。したがって深度センサ１３２から指示体Ｔ2の位置の情報を得た制御部１１は、指示体Ｔ2の先端がキーＶ2に触れているが、これを押下していない状態（以下、接触状態という）にあると判定する。
【００３４】
さらに、指示体Ｔ3はキーＶ3内の第３平面Ｆ3を−ｘ方向に貫通している。指示体Ｔ3の先端は第１平面Ｆ1よりも−ｘ側にあり、かつ、第３平面Ｆ3よりも−ｘ側にある。つまり、指示体Ｔ3の位置から配置領域Ｑ3までの距離は距離Ｌ2以内である。したがって深度センサ１３２から指示体Ｔ3の位置の情報を得た制御部１１は、指示体Ｔ3の先端がキーＶ3に触れていて、さらに、キーＶ3を押下している状態（以下、押下状態という）にあると判定する。
【００３５】
図１０は、表示装置１の機能構成を示す図である。制御部１１は、調整部１１１、表示制御部１１２、検出部１１３、および特定部１１４として機能する。ユーザがダイヤル１３４を回転させると、ダイヤル１３４は調整部１１１に回転による変位に応じた信号を供給する。調整部１１１は、この信号に示される変位が大きいほど、表示部１４の表示面から第２平面Ｆ２までの距離を長く設定することで、仮想キーボードの深度を深くするように、例えばＲＡＭに記憶されたパラメータを書き換えるなど調整を行う。また、調整部１１１は、設定した仮想キーボードの深度の情報を特定部１１４に送る。なお、このパラメータを記憶するＲＡＭは、表示面に面した空間において決められた複数の領域の位置を記憶する記憶手段の一例であり、調整部１１１は、受け付けた操作に応じて記憶手段に記憶された記憶内容を変更する変更手段の一例である。
【００３６】
調整の結果、書き換えられたパラメータに基づいて、表示制御部１１２は、右目用の画像ＧRと左目用の画像ＧLとを生成する。生成されたこれらの画像は、それぞれ表示部１４の表示面の領域Ｒｋに表示される。これにより、ユーザのダイヤル１３４を介した操作の量に応じて、ユーザから見える仮想キーボードの深度が決まる。例えば、深度が深くなるほど、仮想キーボードは、表示部１４の表示面から離れ、ユーザにとって飛び出して見える。したがって、表示制御部１１２は、立体視により複数のキーが各領域にそれぞれ配置されているように視認される画像を表示手段に表示させる表示制御手段の一例である。
【００３７】
深度センサ１３２は、指示体の位置を検出すると、この位置に応じた信号を検出部１１３に送る。検出部１１３は、送られた信号が示す指示体の位置に基づいて、指示体の深度を検出し、この深度を示す情報を特定部１１４に送る。すなわち検出部１１３は、空間においてユーザが用いる指示体により指示された位置を検出する検出手段の一例である。
【００３８】
特定部１１４は、調整部１１１から仮想キーボードの深度の情報を受け取り、検出部１１３から指示体の深度を示す情報を受け取る。特定部１１４は、仮想キーボードのキーと指示体との位置関係に基づいて、これらのキーのうち、検出された指示体からの距離が距離Ｌ1（第１の閾値）以内である配置領域にキーが視認される場合には、そのキーを特定し、その結果を表示制御部１１２に送る。つまり特定部１１４は、検出手段により検出された位置からの距離が第１の閾値以内である領域に視認されるキーを特定する特定手段の一例である。
【００３９】
表示制御部１１２は、特定部１１４から送られた特定結果に基づいて、特定部１１４により特定されたキーを、特定部１１４により特定されていないキーと異なる表示態様で表示部１４に表示させる。つまり表示制御部１１２は、特定手段により特定されたキーを、当該特定手段により特定されていないキーと異なる表示態様で表示手段に表示させる表示制御手段の一例である。
【００４０】
そして、表示制御部１１２は、特定されたキーがユーザに視認される配置領域と、そのキーが特定された後に検出部１１３により検出された位置との距離が、距離Ｌ1（第１の閾値）より小さい距離Ｌ2（第２の閾値）以内であるか否かを判定する。この判定の結果、キーが視認される配置領域とそのキーが特定された後に検出された位置との距離が距離Ｌ2以内であると判定されたとき、表示制御部１１２は、そのキーを判定されていないときのそのキーと異なる色で表示する。つまり、表示制御部１１２は、図９に示した未接触状態、接触状態、または押下状態のいずれであるかを判定し、それぞれの状態に応じた互いに異なる表示態様でそのキーを表示部１４に表示させる。
【００４１】
例えば、表示制御部１１２は、キーが未接触状態に変化した場合には、そのキーを表示部１４に白色で表示させ、接触状態に変化した場合には、そのキーを表示部１４に青色で表示させる。そして、キーが押下状態に変化した場合には、表示制御部１１２は、そのキーを表示部１４に赤色で表示させる。
【００４２】
なお、キーが押下状態に変化したとき、制御部１１は、そのキーに応じた処理を行う。この処理とは、例えば、押下状態に変化したキーが「Ｐ」という文字を表すキーであるときに、表示部１４の表示面の決められた領域に文字「Ｐ」を表示させるといった処理である。つまり、制御部１１は、検出手段により検出された位置との距離が第２の閾値以内であると判定された領域に視認されるキーに応じた処理を行う処理手段の一例である。
【００４３】
以上により、表示部１４に表示された画像により、表示面より＋ｘ側にある空間において立体に見えている仮想キーボードに向けて、ユーザが自身の指などをかざした場合に、深度センサ１３２がその指の位置を検出する。そして、制御部１１が、その指の状態が、仮想キーボードのキーに触れていない未接触状態、キーに触れているがキーを押下していない接触状態、および、キーを押下している押下状態のいずれであるかを特定し、特定した状態に応じてそのキーの表示態様を変更させる。
【００４４】
そのため、ユーザは、操作する仮想キーボードが表示部１４の表示面よりも飛び出して大きく見えるため、表示面の位置に見える仮想キーボードを操作するよりも操作の誤りが抑えられる。
【００４５】
またユーザは、立体に見えている仮想キーボードに接触した感覚がなくても、仮想キーボードのキーの表示態様が変化する様子を見て、そのキーに自身の指などが触れているのか、押下しているのかなどを把握するため、操作の誤りが抑えられる。
【００４６】
２．変形例
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組み合わせてもよい。
２−１．立体視
上述した実施形態において立体視の方式は、上述したようにバックライト１４３と液晶パネル１４１との間に視差障壁１４２を設けたいわゆる視差バリア方式を用いていたが、他の方式を用いてもよい。例えば、立体視の方式としてレンチキュラーレンズを用いてもよいし、左右に異なる偏光レンズが設けられた眼鏡を使用してもよい。
【００４７】
２−２．補助表示
上述した実施形態においてユーザがダイヤル１３４を操作すると、仮想キーボードの深度が決まり、仮想キーボードがユーザに向かって飛び出して見えるようになっていたが、表示部１４の表示面の大きさが変化することはないため、飛び出して見える仮想キーボードのうち、端の部分は表示面からはみ出して見えなくなる場合がある。しかし、深度センサ１３２は、表示面よりも＋ｘ方向の空間にある指示体を検出するので、はみ出して見えなくなったキーの位置に重なる指示体も検出する場合がある。この場合、ユーザは見えなくなったそのキーに対して自分の指（指示体）がどのような状態であるかを知る術がなくなる。
【００４８】
そこで、仮想キーボードを立体視させるための左目用の画像ＧLと右目用の画像ＧRとの組に加えて、例えば、表示面の領域Ｒｋ以外の領域に仮想キーボードの全体に対応した補助画像を表示させてもよい。この補助画像は、平面的な画像であってもよく、特定部１１４が特定した指示体の状態に応じて、変化させればよい。これにより、ユーザは、立体視している仮想キーボードのうち、見えなくなったキーであっても、自分の指との位置関係を知ることができる。なお、この補助画像は、仮想キーボードの全体に対応するものに限られず、見えなくなったキーを表示するものであってもよい。
【００４９】
２−３．表示態様
上述した実施形態において仮想キーボードは、特定部１１４が特定した指示体の状態に応じて色を変化させられていたが、変化の態様は色に限られない。例えば、仮想キーボードのうち押下されているキーは、押下の方向に移動したり凹んだりするように表示されてもよい。
【００５０】
２−４．不動点の設定
仮想キーボードに深度を設定することで、見えなくなるキーが生じる場合があるが、深度をより深く設定しても見えなくならないキーを予め設定可能にしてもよい。例えば、キーボードにはホームポジションと呼ばれるキーが存在する。このキーを不動点として設定したときに、ユーザに対してこのキーが中心になる配置を維持したまま飛び出して見える深さが変化するように仮想キーボードを表示させればよい。これにより、ユーザは自ら定めたホームポジションを見失わないようになる。
【００５１】
２−５．指示体の状態
上述した実施形態において指示体の状態は、未接触状態、接触状態、および押下状態の３つであったが、状態の数はこれに限られず４つ以上であってもよい。例えば、接触状態と押下状態の中間の状態（押下状態とは異なる処理を実行する“半押し状態”など）があってもよい。また、特定部１１４は、各状態を連続的な値として特定し、表示制御部１１２は、この連続的な値に応じて表示態様を連続的に変化させてもよい。
【００５２】
例えば、特定部１１４は、接触状態から押下状態までの間に指示体があるときに、押下状態へ近づいた度合いを連続的な値として特定する。そして、表示制御部１１２は、押下状態へ近づくほど赤色に近づくように、キーの色を連続的に変化させて表示すればよい。この場合、上述した表示制御部１１２は、特定されたキーが視認される領域と、当該キーが特定された後に検出された位置との距離が、第１の閾値以内であって第２の閾値より大きい場合に、当該キーを、当該距離が第２の閾値に近づく程度を示す表示態様で表示手段に表示させる表示制御手段として機能する。
【００５３】
なお、上述した連続的な値に応じて表示態様を連続的に変化させるのみならず、キーに応じた処理の内容を連続的に変化させてもよい。例えば、制御部１１は、指示体が接触状態を経て押下状態へ近づくほど、表示部１４の表示面の決められた領域に表示させる文字色の背景色に対するコントラストを大きくしたり、文字の大きさを大きくしたりしてもよい。また、制御部１１は、指示体が接触状態を経て押下状態へ近づくほど、スピーカにより発生させる音を大きくしたり、振動発生器により発生させる筐体の振動の程度を大きくしたりする処理を行わせてもよい。
【００５４】
２−６．第１平面および第２平面と表示面の関係
上述した実施形態において仮想キーボードに含まれるキーＶ1は、第１平面Ｆ1と第２平面Ｆ2との間の空間に存在している立方体の物体であるかのようにユーザに見えており、第１平面Ｆ1と第２平面Ｆ2とはいずれも表示部１４の表示面よりも＋ｘ方向にあって、表示面に平行であったが、仮想キーボードの向きや配置を規定するこれらの平面は、表示面に平行でなくてもよく、表示面に対して傾いていてもよい。
【００５５】
また、第２平面Ｆ2から第１平面Ｆ1までの＋ｘ方向の距離は、距離Ｌ1であったが、この距離はユーザの操作に応じて変更可能であってもよい。例えば、上述の場合、制御部１１のＲＡＭが、第２平面Ｆ2から第１平面Ｆ1までの＋ｘ方向の距離を距離Ｌ1として記憶することで、第２平面Ｆ2から第１平面Ｆ1までの＋ｘ方向の距離を規定できるが、操作部１３へのユーザの操作を受け付けたときに制御部１１がＲＡＭに記憶されたこの距離を示す数値を変更するようにしてもよい。
【００５６】
また、キーのｙ方向およびｚ方向の大きさ、すなわち、キーの配置領域が占める範囲はユーザの操作に応じて変更可能であってもよい。つまり、表示装置１は、ユーザの操作に応じて任意にキーの大きさを拡大／縮小できるように構成されていてもよい。
【００５７】
２−７．第１平面および第２平面の組の数
上述した実施形態において仮想キーボードに含まれる全てのキーが第１平面Ｆ1と第２平面Ｆ2との間の空間に存在しているように立体視用の画像が生成されていたが、仮想キーボードはいくつかの部分に分かれていても良く、その各部分に固有の第１平面Ｆ1と第２平面Ｆ2とが定められていてもよい。キーごとに固有の第１平面Ｆ1と第２平面Ｆ2とがそれぞれ定められていてもよい。また、さらにキーごとに固有の第３平面Ｆ3が定められていてもよく、固有の距離Ｌ1と距離Ｌ2とがそれぞれキーごとに定められていてもよい。
【００５８】
例えば、ユーザが両手で空間上にある仮想キーボードを操作する場合、仮想キーボードは右手の指に割り当てられたキー群と左手の指に割り当てられたキー群とに分かれていて、それぞれのキー群が配列する配列面が漢字の「八」の字のように互いに傾くように設定することが可能であってもよい。これにより、ユーザは自身の掌にとって自然な位置に仮想キーボードを配置させることができる。
【００５９】
２−８．報知
上述した実施形態において表示制御部１１２は、指示体の状態を、その位置とキーの配置領域の位置とに基づいて、未接触状態、接触状態、または押下状態のいずれであるか判定し、それぞれの状態に応じた互いに異なる表示態様でキーを表示部１４に表示させていたが、この表示に加えてこの表示を行うことを表示以外の方法でユーザに報知してもよい。例えば、表示装置１は音を発生させるスピーカなどを備えており、制御部１１がこのスピーカを制御して、キーの表示態様を変えるときに決められた音を発生させてもよい。すなわち、このスピーカは、表示制御手段が、指示体の状態が接触状態であるときに特定されたキーを、特定されていないキーと異なる表示態様で表示手段に表示させることや、指示体の状態がキーを押下することを示す押下状態であるときに、そのキーが接触状態のときと異なる表示態様で表示手段に表示させることをユーザに報知する報知手段の一例である。
【００６０】
この構成により、ユーザは表示態様の変化に気づきやすくなる。また、この構成によりユーザに与える仮想キーボードの操作感は、より現実のものに近づく。特に、現実のキーボードは押下したタイミングで打鍵音がするものが一般的であるため、仮想キーボードにおいても打鍵音をスピーカから放出することでユーザは現実のキーボードを操作している感覚を得る。
【００６１】
なお、上述した表示を行うことを表示以外の方法でユーザに報知する手段は、スピーカなどの放音手段に限られない。例えば、表示装置１はソレノイドアクチュエータなどの振動発生手段を備えており、この振動発生手段により発生させた振動で上述した報知を行ってもよい。この構成によれば、ユーザは静寂であることが要求される場所においても上述した表示を行うことを表示以外の方法で知得することができる。
【００６２】
２−９．画像の消去
上述した実施形態において表示制御部１１２は、立体視により複数のキーが各領域にそれぞれ配置されているように視認される画像を表示手段に表示させていたが、特定部１１４が決められた期間にキーを特定しない場合に、その立体視による画像を表示手段に消去させてもよい。
【００６３】
２−１０．プログラム
表示装置１の制御部１１によって実行されるプログラムは、磁気テープや磁気ディスクなどの磁気記録媒体、光ディスクなどの光記録媒体、光磁気記録媒体、半導体メモリなどの、コンピュータ装置が読み取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムを、インターネットのようなネットワーク経由でダウンロードさせることも可能である。なお、上記の制御部１１によって例示した制御手段としてはＣＰＵ以外にも種々の装置が適用される場合があり、例えば、専用のプロセッサなどが用いられる。
【符号の説明】
【００６４】
１…表示装置、１１…制御部、１１１…調整部、１１２…表示制御部、１１３…検出部、１１４…特定部、１２…記憶部、１３…操作部、１３１…ボタン、１３２…深度センサ、１３３…タッチセンサ、１３４…ダイヤル、１４…表示部、１４１…液晶パネル、１４２…視差障壁、１４３…バックライト、ＥL…視点（左目）、ＥR…視点（右目）、Ｆ1…第１平面、Ｆ2…第２平面、ＧL…画像（左目用）、ＧR…画像（右目用）、Ｌ…画素（左目用）、Ｒ…画素（右目用）、Ｌ1、Ｌ2，Ｌ3…距離、Ｑ1，Ｑ2，Ｑ3…配置領域、Ｔ1，Ｔ2，Ｔ3…指示体、Ｖ…仮想物体、Ｖ1，Ｖ2，Ｖ3…キー
【技術分野】
【０００１】
本発明は、立体視を用いて入力装置を表示する表示装置に関するものである。
【背景技術】
【０００２】
表示されることでユーザに認識され、ユーザの指示を受け付ける仮想的な入力装置の技術が開発されている。特許文献１は、入力デバイスのイメージを表面に投影し、イメージに関連したユーザの動作を分析して入力を受け付けるデータ入力方法を開示する。特許文献２は、画面上にイメージとして表示される入力装置の表示をユーザの指の長さや癖などに合わせて適正化する技術を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３２３８６６号公報
【特許文献２】特開２００４−３４１８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１および特許文献２に開示された技術では、仮想的な入力装置がユーザにとって平面上の画像として認識されるにとどまり、立体として認識されることはなく、入力装置としての現実感を欠くものである。さらに、特許文献１に開示された技術には入力装置を表示するために、その入力装置のイメージをどこかの平面に投影しなければならない。したがって、特許文献１に開示された技術は、例えば満員電車に乗っているときのように個人で占有できる空間が限られているケースにおいて使用することが困難である。また、特許文献２に開示された技術は、表示面に、２次元画像である入力装置のイメージを表示するが、表示面がそのまま入力を検知する面であるため、入力装置の全体をその表示面に表示する必要があり、小型の表示装置に適用すると誤入力を惹起するため不向きであった。
【０００５】
本発明は、仮想的な物体として視認されるキーを用いたときの入力の誤りを抑制することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明に係る表示装置は、画像を表示する表示面を有する表示手段と、前記表示面に面した空間において決められた複数の領域の位置を記憶する記憶手段と、立体視により複数のキーが前記各領域にそれぞれ配置されているように視認される画像を前記表示手段に表示させる表示制御手段と、前記空間においてユーザが用いる指示体により指示された位置を検出する検出手段と、前記検出手段により検出された位置からの距離が第１の閾値以内である領域に視認されるキーを特定する特定手段とを備え、前記表示制御手段は、前記特定手段により特定されたキーを、当該特定手段により特定されていないキーと異なる表示態様で前記表示手段に表示させることを特徴とする。
【０００７】
好ましくは、前記空間において前記特定手段によって特定されたキーが視認される領域と、当該キーが特定された後に前記検出手段により検出された位置との距離が、前記第１の閾値より小さい第２の閾値以内であるか否かを判定する判定手段と、前記検出手段により検出された位置との距離が前記第２の閾値以内であると判定された領域に視認されるキーに応じた処理を行う処理手段とを備えるとよい。
【０００８】
また、好ましくは、前記表示制御手段は、前記特定手段によって特定されたキーが視認される領域と、当該キーが特定された後に前記検出手段により検出された位置との距離が、前記第２の閾値以内であると前記判定手段により判定された場合には、当該キーを、前記判定手段に判定されていないときのキーと異なる表示態様で前記表示手段に表示させるとよい。
【０００９】
また、好ましくは、前記表示制御手段は、前記特定されたキーが視認される領域と、当該キーが特定された後に検出された前記位置との距離が、前記第１の閾値以内であって前記第２の閾値より大きい場合に、当該キーを、当該距離が前記第２の閾値に近づく程度を示す表示態様で前記表示手段に表示させるとよい。
【００１０】
また、好ましくは、ユーザの操作を受け付ける受付手段と、受け付けた前記操作に応じて前記記憶手段に記憶された記憶内容を変更する変更手段とを具備するとよい。
【００１１】
また、好ましくは、前記記憶手段は、前記複数の領域がそれぞれ占める範囲を記憶し、前記変更手段は、受け付けた前記操作に応じて前記範囲を変更するとよい。
【００１２】
また、好ましくは、前記表示制御手段が前記キーを前記表示態様で前記表示手段に表示させることをユーザに報知する報知手段を具備するとよい。
【００１３】
また、好ましくは、前記報知手段は、音を発生させることによって前記報知を行うとよい。
【００１４】
また、好ましくは、前記表示制御手段は、前記特定手段が決められた期間にキーを特定しない場合に、前記立体視による画像を前記表示手段に消去させるとよい。
【発明の効果】
【００１５】
本発明によれば、仮想的な物体として視認されるキーを用いたときの入力の誤りを抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】表示装置の外観を示す斜視図である。
【図２】表示装置の構成を示す図である。
【図３】表示装置を−ｘ方向に見た図である。
【図４】表示面の領域に表示された仮想キーボードを示す図である。
【図５】表示部による立体視の仕組みを説明するための図である。
【図６】視差による立体視を説明するための図である。
【図７】仮想キーボードのキーがユーザに立体視される様子を説明する概略図である。
【図８】キーがユーザに立体視される様子を＋ｚ方向から見た図である。
【図９】深度センサの機能を説明するための図である。
【図１０】表示装置の機能構成を示す図である。
【発明を実施するための形態】
【００１７】
１．実施形態
実施形態に係る表示装置１の各構成の配置を説明するため、各構成が配置される空間をｘｙｚ右手系座標空間として表す。以下の図に示す座標記号のうち、内側が白い円の中に黒い円を描いた記号は、紙面奥側から手前側に向かう矢印を表している。また、内側が白い円の中に交差する２本の線分を描いた記号は、紙面手前側から奥側に向かう矢印を表している。空間においてｘ成分が増加する方向を＋ｘ方向といい、ｘ成分が減少する方向を−ｘ方向という。同様に、ｙ、ｚ成分についても、＋ｙ方向、−ｙ方向、＋ｚ方向、−ｚ方向を定義する。
【００１８】
図１は、表示装置１の外観を示す斜視図である。表示装置１は、ｙ軸およびｚ軸に沿って延びる平面状の筐体を有する。図２は、表示装置１の構成を示す図である。制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有し、ＣＰＵがＲＯＭに記憶されているブートローダや記憶部１２に記憶されているコンピュータプログラム（以下、単にプログラムという）を読み出して実行することにより表示装置１の各部を制御する。記憶部１２はハードディスクドライブやソリッドステートドライブなどの大容量の記憶手段であり、ＣＰＵに読み込まれるプログラムを記憶する。
【００１９】
表示部１４は、複数の画素により構成される表示面を有し、制御部１１からの指示に応じて、この表示面に画像を表示する。すなわち表示部１４は、画像を表示する表示面を有する表示手段の一例である。図１に示すように、表示部１４の表示面はｙｚ平面に沿って設けられている。表示部１４は、液晶パネル１４１、視差障壁１４２、およびバックライト１４３を有し、これらにより表示面に立体視のための画像を表示して、ユーザに対して物体を立体視させる。立体視については後述する。
【００２０】
操作部１３は、ボタン１３１、深度センサ１３２、タッチセンサ１３３、およびダイヤル１３４を備える。ボタン１３１は、起動や一時停止などの指示を入力するための操作子である。深度センサ１３２は、例えばユーザの指など、指示の主体となるもの（以下、指示体という）の、表示装置１の＋ｘ方向の空間における位置を検出し、この位置に応じた信号を制御部１１に送るセンサである。
【００２１】
タッチセンサ１３３は、表示部１４の表示面に重ねて設けられ、表示面においてユーザの指などが触れた位置を座標として特定するセンサである。ダイヤル１３４は、図示しない軸を中心として回転する円形または扇型の操作子であり、弧の部分が表示装置１の筐体から露出してユーザによる指示を受け付けるように取り付けられている。ユーザがこの弧に触れてダイヤル１３４を回転させることで、ダイヤル１３４は制御部１１に回転による変位に応じた信号を供給する。これら操作子は、ユーザの操作を受け付ける受付手段の一例であり、図１に示した位置に設けられている。
【００２２】
図３は、表示装置１を−ｘ方向に見た図である。領域Ｒｋは、表示部１４の表示面のうち、−ｚ側の領域であって、仮想キーボードの表示に用いられる領域である。制御部１１は、例えばタッチセンサ１３３により特定された位置が、表示部１４に表示された入力領域の位置と重なった場合に、領域Ｒｋに仮想キーボードの画像を表示させる。図４は、領域Ｒｋに表示された仮想キーボードを示す図である。図４に示された仮想キーボードは立体視されるための画像ではなく、平面図形としてユーザに認識される画像である。
【００２３】
図５は、表示部１４による立体視の仕組みを説明するための図である。液晶パネル１４１は、液晶をそれぞれ含む複数の画素を格子状に並べたパネルを透明電極板で挟んだ構造を有し、制御部１１の制御の下、液晶に電圧を印加することで画素ごとに光の透過率を変化させて画像を表示する。液晶パネル１４１の面のうち、ユーザの視点側にある面をおもて面とし、その反対側の面をうら面とすると、バックライト１４３は、液晶パネル１４１のうら面から入っておもて面へ透過する光を照射する光源である。バックライト１４３は、自発光する光源であってもよいし、光源とその光源から光を導く導光板との組み合わせであってもよく、例えば白色ＬＥＤ（Light Emitting Diode）などである。
【００２４】
視差障壁１４２は、バックライト１４３と液晶パネル１４１との間に設けられ、バックライト１４３から照射される光の一部を遮蔽する。視差障壁１４２は、ｚ軸に沿った複数の帯状の遮蔽体がｙ軸方向に互いに間隔をあけて並べられている。図５に示す視点ＥLはユーザの左目の位置であり、視点ＥRはユーザの右目の位置である。ユーザの左右の視点ＥL、ＥRはｙ軸方向に並んでいる。バックライト１４３から照射されて、視差障壁１４２の隙間を通って視点ＥLに届く光は、液晶パネル１４１において画素Ｌを透過している。
【００２５】
一方、バックライト１４３から照射されて、視差障壁１４２の隙間を通って視点ＥRに届く光は、液晶パネル１４１において画素Ｒを透過している。画素Ｌと画素Ｒとは、液晶パネル１４１において、ｙ軸方向に交互に配置されている。したがって、表示部１４は、制御部１１の制御の下、液晶パネル１４１の複数の画素Ｌを用いて左目用の画像ＧLを表示し、複数の画素Ｒを用いて右目用の画像ＧRを表示することにより、異なった２つの画像を左右それぞれの目に見せる。
【００２６】
図６は、視差による立体視を説明するための図である。上述したように、表示部１４の表示面は、左右の目にそれぞれ異なる画像を見せることが可能なように構成されている。ユーザの左右の目が表示面に対してどこに位置するかについては、予め調整されているため、制御部１１は、両眼の視差に基づいて、或る位置に置かれた仮想物体Ｖが左右の目にどのように見えるかを表した右目用の画像ＧRと左目用の画像ＧLとをそれぞれ表示部１４に表示させる。
【００２７】
図６（ａ）に示すように、左目用の画像ＧLを右目用の画像ＧRよりも−ｙ方向に、すなわち、ユーザから見て左に表示した場合、ユーザの両眼の視線は表示部１４の表示面よりも−ｘ方向の位置で交差する。そのため、ユーザは、これらの画像によって表される仮想物体Ｖを、表示部１４の表示面よりもユーザから見て奥に存在しているかのように認識する。また図６（ｂ）に示すように、左目用の画像ＧLを右目用の画像ＧRよりも＋ｙ方向に、すなわち、ユーザから見て右に表示した場合、ユーザの両眼の視線は表示部１４の表示面よりも＋ｘ方向の位置で交差する。そのため、ユーザは、これらの画像によって表される仮想物体Ｖを、表示部１４の表示面よりもユーザから見て手前に存在しているかのように認識する。
【００２８】
図７は、仮想キーボードのキーＶ1がユーザに立体視される様子を説明する概略図である。また、図８は、キーＶ1がユーザに立体視される様子を＋ｚ方向から見た図である。第１平面Ｆ1および第２平面Ｆ2は、いずれも表示部１４の表示面よりも＋ｘ方向にあって、表示面に平行である。第１平面Ｆ1は、第２平面Ｆ2よりも＋ｘ方向にある。したがって、ユーザから表示装置１の表示面を見たときに、これらの面は手前から奥に向かって第１平面Ｆ1→第２平面Ｆ2→表示面の順で並んでいる。
【００２９】
表示部１４において、表示面の領域Ｒｋには右目用の画像ＧRと左目用の画像ＧLとが表示されている。これにより仮想キーボードに含まれるキーＶ1は、第１平面Ｆ1と第２平面Ｆ2との間の空間に存在している立方体の物体であるかのようにユーザに見える。具体的には、キーＶ1の各面のうち、＋ｘ側の面は、そのキーに対応する文字「ｐ」を表示し、第１平面Ｆ1に含まれる位置にある。またキーＶ1の各面のうち、−ｘ側の面は、第２平面Ｆ2に含まれる位置にある。この第２平面Ｆ2に含まれる「キーＶ1の−ｘ側の面」は、立体視によりキーＶ1がユーザに配置されているように視認される領域である。以下、この領域をキーＶ1の配置領域Ｑ1という。
【００３０】
図９は、深度センサ１３２の機能を説明するための図である。深度センサ１３２は、例えば赤外線や超音波などの波を、ユーザの指などの指示体が存在する空間へ向けて照射し、反射波が返ってくるまでの時間に基づいてその指示体の存在する位置の方向と、その位置までの距離を感知する。深度センサ１３２は、上記の波を＋ｙ方向や＋ｚ方向に走査して照射するため、指示体の＋ｘ方向の位置（すなわち、表示部１４の表示面までの距離）のみならず、＋ｙ方向、＋ｚ方向の位置も検出する。そして、深度センサ１３２が、指示体の位置に応じた信号を制御部１１に送ると、制御部１１は、送られた信号が示す位置に基づいて、表示部１４の表示面から、その指示体までの距離を「深度」として特定する。ここで、「深度」とは、表示部１４の表示面を起点とした＋ｘ方向の距離をいう。
【００３１】
図９に示す、キーＶ1、Ｖ2、Ｖ3は、それぞれ配置領域Ｑ1、Ｑ2、Ｑ3に配置されているように視認される。第２平面Ｆ2から第１平面Ｆ1までの＋ｘ方向の距離は、距離Ｌ1である。第２平面Ｆ2の＋ｘ側であり、第１平面Ｆ1の−ｘ側であって、第２平面Ｆ2に平行な平面を第３平面Ｆ3と呼ぶ。第２平面Ｆ2から第３平面Ｆ3までの＋ｘ方向の距離は、距離Ｌ1よりも小さい距離Ｌ2である。
【００３２】
図９に示すように、キーＶ1の＋ｘ側には指示体Ｔ1があるが、指示体Ｔ1の先端は第１平面Ｆ1よりも＋ｘ側にある。つまり、指示体Ｔ1の位置から配置領域Ｑ1までの距離は距離Ｌ1以内ではない。したがって深度センサ１３２から指示体Ｔ1の位置の情報を得た制御部１１は、指示体Ｔ1の先端がキーＶ1に触れていない状態（以下、未接触状態という）にあると判定する。
【００３３】
一方、キーＶ2と指示体Ｔ2とは一部が重なっている。指示体Ｔ2の先端は第１平面Ｆ1よりも−ｘ側にあり、かつ、第３平面Ｆ3よりも＋ｘ側にある。つまり、指示体Ｔ2の位置から配置領域Ｑ2までの距離は距離Ｌ1以内であり、距離Ｌ2以内ではない。したがって深度センサ１３２から指示体Ｔ2の位置の情報を得た制御部１１は、指示体Ｔ2の先端がキーＶ2に触れているが、これを押下していない状態（以下、接触状態という）にあると判定する。
【００３４】
さらに、指示体Ｔ3はキーＶ3内の第３平面Ｆ3を−ｘ方向に貫通している。指示体Ｔ3の先端は第１平面Ｆ1よりも−ｘ側にあり、かつ、第３平面Ｆ3よりも−ｘ側にある。つまり、指示体Ｔ3の位置から配置領域Ｑ3までの距離は距離Ｌ2以内である。したがって深度センサ１３２から指示体Ｔ3の位置の情報を得た制御部１１は、指示体Ｔ3の先端がキーＶ3に触れていて、さらに、キーＶ3を押下している状態（以下、押下状態という）にあると判定する。
【００３５】
図１０は、表示装置１の機能構成を示す図である。制御部１１は、調整部１１１、表示制御部１１２、検出部１１３、および特定部１１４として機能する。ユーザがダイヤル１３４を回転させると、ダイヤル１３４は調整部１１１に回転による変位に応じた信号を供給する。調整部１１１は、この信号に示される変位が大きいほど、表示部１４の表示面から第２平面Ｆ２までの距離を長く設定することで、仮想キーボードの深度を深くするように、例えばＲＡＭに記憶されたパラメータを書き換えるなど調整を行う。また、調整部１１１は、設定した仮想キーボードの深度の情報を特定部１１４に送る。なお、このパラメータを記憶するＲＡＭは、表示面に面した空間において決められた複数の領域の位置を記憶する記憶手段の一例であり、調整部１１１は、受け付けた操作に応じて記憶手段に記憶された記憶内容を変更する変更手段の一例である。
【００３６】
調整の結果、書き換えられたパラメータに基づいて、表示制御部１１２は、右目用の画像ＧRと左目用の画像ＧLとを生成する。生成されたこれらの画像は、それぞれ表示部１４の表示面の領域Ｒｋに表示される。これにより、ユーザのダイヤル１３４を介した操作の量に応じて、ユーザから見える仮想キーボードの深度が決まる。例えば、深度が深くなるほど、仮想キーボードは、表示部１４の表示面から離れ、ユーザにとって飛び出して見える。したがって、表示制御部１１２は、立体視により複数のキーが各領域にそれぞれ配置されているように視認される画像を表示手段に表示させる表示制御手段の一例である。
【００３７】
深度センサ１３２は、指示体の位置を検出すると、この位置に応じた信号を検出部１１３に送る。検出部１１３は、送られた信号が示す指示体の位置に基づいて、指示体の深度を検出し、この深度を示す情報を特定部１１４に送る。すなわち検出部１１３は、空間においてユーザが用いる指示体により指示された位置を検出する検出手段の一例である。
【００３８】
特定部１１４は、調整部１１１から仮想キーボードの深度の情報を受け取り、検出部１１３から指示体の深度を示す情報を受け取る。特定部１１４は、仮想キーボードのキーと指示体との位置関係に基づいて、これらのキーのうち、検出された指示体からの距離が距離Ｌ1（第１の閾値）以内である配置領域にキーが視認される場合には、そのキーを特定し、その結果を表示制御部１１２に送る。つまり特定部１１４は、検出手段により検出された位置からの距離が第１の閾値以内である領域に視認されるキーを特定する特定手段の一例である。
【００３９】
表示制御部１１２は、特定部１１４から送られた特定結果に基づいて、特定部１１４により特定されたキーを、特定部１１４により特定されていないキーと異なる表示態様で表示部１４に表示させる。つまり表示制御部１１２は、特定手段により特定されたキーを、当該特定手段により特定されていないキーと異なる表示態様で表示手段に表示させる表示制御手段の一例である。
【００４０】
そして、表示制御部１１２は、特定されたキーがユーザに視認される配置領域と、そのキーが特定された後に検出部１１３により検出された位置との距離が、距離Ｌ1（第１の閾値）より小さい距離Ｌ2（第２の閾値）以内であるか否かを判定する。この判定の結果、キーが視認される配置領域とそのキーが特定された後に検出された位置との距離が距離Ｌ2以内であると判定されたとき、表示制御部１１２は、そのキーを判定されていないときのそのキーと異なる色で表示する。つまり、表示制御部１１２は、図９に示した未接触状態、接触状態、または押下状態のいずれであるかを判定し、それぞれの状態に応じた互いに異なる表示態様でそのキーを表示部１４に表示させる。
【００４１】
例えば、表示制御部１１２は、キーが未接触状態に変化した場合には、そのキーを表示部１４に白色で表示させ、接触状態に変化した場合には、そのキーを表示部１４に青色で表示させる。そして、キーが押下状態に変化した場合には、表示制御部１１２は、そのキーを表示部１４に赤色で表示させる。
【００４２】
なお、キーが押下状態に変化したとき、制御部１１は、そのキーに応じた処理を行う。この処理とは、例えば、押下状態に変化したキーが「Ｐ」という文字を表すキーであるときに、表示部１４の表示面の決められた領域に文字「Ｐ」を表示させるといった処理である。つまり、制御部１１は、検出手段により検出された位置との距離が第２の閾値以内であると判定された領域に視認されるキーに応じた処理を行う処理手段の一例である。
【００４３】
以上により、表示部１４に表示された画像により、表示面より＋ｘ側にある空間において立体に見えている仮想キーボードに向けて、ユーザが自身の指などをかざした場合に、深度センサ１３２がその指の位置を検出する。そして、制御部１１が、その指の状態が、仮想キーボードのキーに触れていない未接触状態、キーに触れているがキーを押下していない接触状態、および、キーを押下している押下状態のいずれであるかを特定し、特定した状態に応じてそのキーの表示態様を変更させる。
【００４４】
そのため、ユーザは、操作する仮想キーボードが表示部１４の表示面よりも飛び出して大きく見えるため、表示面の位置に見える仮想キーボードを操作するよりも操作の誤りが抑えられる。
【００４５】
またユーザは、立体に見えている仮想キーボードに接触した感覚がなくても、仮想キーボードのキーの表示態様が変化する様子を見て、そのキーに自身の指などが触れているのか、押下しているのかなどを把握するため、操作の誤りが抑えられる。
【００４６】
２．変形例
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組み合わせてもよい。
２−１．立体視
上述した実施形態において立体視の方式は、上述したようにバックライト１４３と液晶パネル１４１との間に視差障壁１４２を設けたいわゆる視差バリア方式を用いていたが、他の方式を用いてもよい。例えば、立体視の方式としてレンチキュラーレンズを用いてもよいし、左右に異なる偏光レンズが設けられた眼鏡を使用してもよい。
【００４７】
２−２．補助表示
上述した実施形態においてユーザがダイヤル１３４を操作すると、仮想キーボードの深度が決まり、仮想キーボードがユーザに向かって飛び出して見えるようになっていたが、表示部１４の表示面の大きさが変化することはないため、飛び出して見える仮想キーボードのうち、端の部分は表示面からはみ出して見えなくなる場合がある。しかし、深度センサ１３２は、表示面よりも＋ｘ方向の空間にある指示体を検出するので、はみ出して見えなくなったキーの位置に重なる指示体も検出する場合がある。この場合、ユーザは見えなくなったそのキーに対して自分の指（指示体）がどのような状態であるかを知る術がなくなる。
【００４８】
そこで、仮想キーボードを立体視させるための左目用の画像ＧLと右目用の画像ＧRとの組に加えて、例えば、表示面の領域Ｒｋ以外の領域に仮想キーボードの全体に対応した補助画像を表示させてもよい。この補助画像は、平面的な画像であってもよく、特定部１１４が特定した指示体の状態に応じて、変化させればよい。これにより、ユーザは、立体視している仮想キーボードのうち、見えなくなったキーであっても、自分の指との位置関係を知ることができる。なお、この補助画像は、仮想キーボードの全体に対応するものに限られず、見えなくなったキーを表示するものであってもよい。
【００４９】
２−３．表示態様
上述した実施形態において仮想キーボードは、特定部１１４が特定した指示体の状態に応じて色を変化させられていたが、変化の態様は色に限られない。例えば、仮想キーボードのうち押下されているキーは、押下の方向に移動したり凹んだりするように表示されてもよい。
【００５０】
２−４．不動点の設定
仮想キーボードに深度を設定することで、見えなくなるキーが生じる場合があるが、深度をより深く設定しても見えなくならないキーを予め設定可能にしてもよい。例えば、キーボードにはホームポジションと呼ばれるキーが存在する。このキーを不動点として設定したときに、ユーザに対してこのキーが中心になる配置を維持したまま飛び出して見える深さが変化するように仮想キーボードを表示させればよい。これにより、ユーザは自ら定めたホームポジションを見失わないようになる。
【００５１】
２−５．指示体の状態
上述した実施形態において指示体の状態は、未接触状態、接触状態、および押下状態の３つであったが、状態の数はこれに限られず４つ以上であってもよい。例えば、接触状態と押下状態の中間の状態（押下状態とは異なる処理を実行する“半押し状態”など）があってもよい。また、特定部１１４は、各状態を連続的な値として特定し、表示制御部１１２は、この連続的な値に応じて表示態様を連続的に変化させてもよい。
【００５２】
例えば、特定部１１４は、接触状態から押下状態までの間に指示体があるときに、押下状態へ近づいた度合いを連続的な値として特定する。そして、表示制御部１１２は、押下状態へ近づくほど赤色に近づくように、キーの色を連続的に変化させて表示すればよい。この場合、上述した表示制御部１１２は、特定されたキーが視認される領域と、当該キーが特定された後に検出された位置との距離が、第１の閾値以内であって第２の閾値より大きい場合に、当該キーを、当該距離が第２の閾値に近づく程度を示す表示態様で表示手段に表示させる表示制御手段として機能する。
【００５３】
なお、上述した連続的な値に応じて表示態様を連続的に変化させるのみならず、キーに応じた処理の内容を連続的に変化させてもよい。例えば、制御部１１は、指示体が接触状態を経て押下状態へ近づくほど、表示部１４の表示面の決められた領域に表示させる文字色の背景色に対するコントラストを大きくしたり、文字の大きさを大きくしたりしてもよい。また、制御部１１は、指示体が接触状態を経て押下状態へ近づくほど、スピーカにより発生させる音を大きくしたり、振動発生器により発生させる筐体の振動の程度を大きくしたりする処理を行わせてもよい。
【００５４】
２−６．第１平面および第２平面と表示面の関係
上述した実施形態において仮想キーボードに含まれるキーＶ1は、第１平面Ｆ1と第２平面Ｆ2との間の空間に存在している立方体の物体であるかのようにユーザに見えており、第１平面Ｆ1と第２平面Ｆ2とはいずれも表示部１４の表示面よりも＋ｘ方向にあって、表示面に平行であったが、仮想キーボードの向きや配置を規定するこれらの平面は、表示面に平行でなくてもよく、表示面に対して傾いていてもよい。
【００５５】
また、第２平面Ｆ2から第１平面Ｆ1までの＋ｘ方向の距離は、距離Ｌ1であったが、この距離はユーザの操作に応じて変更可能であってもよい。例えば、上述の場合、制御部１１のＲＡＭが、第２平面Ｆ2から第１平面Ｆ1までの＋ｘ方向の距離を距離Ｌ1として記憶することで、第２平面Ｆ2から第１平面Ｆ1までの＋ｘ方向の距離を規定できるが、操作部１３へのユーザの操作を受け付けたときに制御部１１がＲＡＭに記憶されたこの距離を示す数値を変更するようにしてもよい。
【００５６】
また、キーのｙ方向およびｚ方向の大きさ、すなわち、キーの配置領域が占める範囲はユーザの操作に応じて変更可能であってもよい。つまり、表示装置１は、ユーザの操作に応じて任意にキーの大きさを拡大／縮小できるように構成されていてもよい。
【００５７】
２−７．第１平面および第２平面の組の数
上述した実施形態において仮想キーボードに含まれる全てのキーが第１平面Ｆ1と第２平面Ｆ2との間の空間に存在しているように立体視用の画像が生成されていたが、仮想キーボードはいくつかの部分に分かれていても良く、その各部分に固有の第１平面Ｆ1と第２平面Ｆ2とが定められていてもよい。キーごとに固有の第１平面Ｆ1と第２平面Ｆ2とがそれぞれ定められていてもよい。また、さらにキーごとに固有の第３平面Ｆ3が定められていてもよく、固有の距離Ｌ1と距離Ｌ2とがそれぞれキーごとに定められていてもよい。
【００５８】
例えば、ユーザが両手で空間上にある仮想キーボードを操作する場合、仮想キーボードは右手の指に割り当てられたキー群と左手の指に割り当てられたキー群とに分かれていて、それぞれのキー群が配列する配列面が漢字の「八」の字のように互いに傾くように設定することが可能であってもよい。これにより、ユーザは自身の掌にとって自然な位置に仮想キーボードを配置させることができる。
【００５９】
２−８．報知
上述した実施形態において表示制御部１１２は、指示体の状態を、その位置とキーの配置領域の位置とに基づいて、未接触状態、接触状態、または押下状態のいずれであるか判定し、それぞれの状態に応じた互いに異なる表示態様でキーを表示部１４に表示させていたが、この表示に加えてこの表示を行うことを表示以外の方法でユーザに報知してもよい。例えば、表示装置１は音を発生させるスピーカなどを備えており、制御部１１がこのスピーカを制御して、キーの表示態様を変えるときに決められた音を発生させてもよい。すなわち、このスピーカは、表示制御手段が、指示体の状態が接触状態であるときに特定されたキーを、特定されていないキーと異なる表示態様で表示手段に表示させることや、指示体の状態がキーを押下することを示す押下状態であるときに、そのキーが接触状態のときと異なる表示態様で表示手段に表示させることをユーザに報知する報知手段の一例である。
【００６０】
この構成により、ユーザは表示態様の変化に気づきやすくなる。また、この構成によりユーザに与える仮想キーボードの操作感は、より現実のものに近づく。特に、現実のキーボードは押下したタイミングで打鍵音がするものが一般的であるため、仮想キーボードにおいても打鍵音をスピーカから放出することでユーザは現実のキーボードを操作している感覚を得る。
【００６１】
なお、上述した表示を行うことを表示以外の方法でユーザに報知する手段は、スピーカなどの放音手段に限られない。例えば、表示装置１はソレノイドアクチュエータなどの振動発生手段を備えており、この振動発生手段により発生させた振動で上述した報知を行ってもよい。この構成によれば、ユーザは静寂であることが要求される場所においても上述した表示を行うことを表示以外の方法で知得することができる。
【００６２】
２−９．画像の消去
上述した実施形態において表示制御部１１２は、立体視により複数のキーが各領域にそれぞれ配置されているように視認される画像を表示手段に表示させていたが、特定部１１４が決められた期間にキーを特定しない場合に、その立体視による画像を表示手段に消去させてもよい。
【００６３】
２−１０．プログラム
表示装置１の制御部１１によって実行されるプログラムは、磁気テープや磁気ディスクなどの磁気記録媒体、光ディスクなどの光記録媒体、光磁気記録媒体、半導体メモリなどの、コンピュータ装置が読み取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムを、インターネットのようなネットワーク経由でダウンロードさせることも可能である。なお、上記の制御部１１によって例示した制御手段としてはＣＰＵ以外にも種々の装置が適用される場合があり、例えば、専用のプロセッサなどが用いられる。
【符号の説明】
【００６４】
１…表示装置、１１…制御部、１１１…調整部、１１２…表示制御部、１１３…検出部、１１４…特定部、１２…記憶部、１３…操作部、１３１…ボタン、１３２…深度センサ、１３３…タッチセンサ、１３４…ダイヤル、１４…表示部、１４１…液晶パネル、１４２…視差障壁、１４３…バックライト、ＥL…視点（左目）、ＥR…視点（右目）、Ｆ1…第１平面、Ｆ2…第２平面、ＧL…画像（左目用）、ＧR…画像（右目用）、Ｌ…画素（左目用）、Ｒ…画素（右目用）、Ｌ1、Ｌ2，Ｌ3…距離、Ｑ1，Ｑ2，Ｑ3…配置領域、Ｔ1，Ｔ2，Ｔ3…指示体、Ｖ…仮想物体、Ｖ1，Ｖ2，Ｖ3…キー
【特許請求の範囲】
【請求項１】
画像を表示する表示面を有する表示手段と、
前記表示面に面した空間において決められた複数の領域の位置を記憶する記憶手段と、
立体視により複数のキーが前記各領域にそれぞれ配置されているように視認される画像を前記表示手段に表示させる表示制御手段と、
前記空間においてユーザが用いる指示体により指示された位置を検出する検出手段と、
前記検出手段により検出された位置からの距離が第１の閾値以内である領域に視認されるキーを特定する特定手段と
を備え、
前記表示制御手段は、前記特定手段により特定されたキーを、当該特定手段により特定されていないキーと異なる表示態様で前記表示手段に表示させる
ことを特徴とする表示装置。
【請求項２】
前記空間において前記特定手段によって特定されたキーが視認される領域と、当該キーが特定された後に前記検出手段により検出された位置との距離が、前記第１の閾値より小さい第２の閾値以内であるか否かを判定する判定手段と、
前記検出手段により検出された位置との距離が前記第２の閾値以内であると判定された領域に視認されるキーに応じた処理を行う処理手段と
を備えることを特徴とする請求項１記載の表示装置。
【請求項３】
前記表示制御手段は、前記特定手段によって特定されたキーが視認される領域と、当該キーが特定された後に前記検出手段により検出された位置との距離が、前記第２の閾値以内であると前記判定手段により判定された場合には、当該キーを、前記判定手段に判定されていないときのキーと異なる表示態様で前記表示手段に表示させる
ことを特徴とする請求項２記載の表示装置。
【請求項４】
前記表示制御手段は、前記特定されたキーが視認される領域と、当該キーが特定された後に検出された前記位置との距離が、前記第１の閾値以内であって前記第２の閾値より大きい場合に、当該キーを、当該距離が前記第２の閾値に近づく程度を示す表示態様で前記表示手段に表示させる
ことを特徴とする請求項２または３記載の表示装置。
【請求項５】
ユーザの操作を受け付ける受付手段と、
受け付けた前記操作に応じて前記記憶手段に記憶された記憶内容を変更する変更手段と
を具備することを特徴とする請求項１から４のいずれかに記載の表示装置。
【請求項６】
前記記憶手段は、前記複数の領域がそれぞれ占める範囲を記憶し、
前記変更手段は、受け付けた前記操作に応じて前記範囲を変更する
ことを特徴とする請求項５に記載の表示装置。
【請求項７】
前記表示制御手段が前記キーを前記表示態様で前記表示手段に表示させることをユーザに報知する報知手段
を具備することを特徴とする請求項１から６に記載の表示装置。
【請求項８】
前記報知手段は、音を発生させることによって前記報知を行う
ことを特徴とする請求項７に記載の表示装置。
【請求項９】
前記表示制御手段は、前記特定手段が決められた期間にキーを特定しない場合に、前記立体視による画像を前記表示手段に消去させる
ことを特徴とする請求項１から８のいずれかに記載の表示装置。
【請求項１】
画像を表示する表示面を有する表示手段と、
前記表示面に面した空間において決められた複数の領域の位置を記憶する記憶手段と、
立体視により複数のキーが前記各領域にそれぞれ配置されているように視認される画像を前記表示手段に表示させる表示制御手段と、
前記空間においてユーザが用いる指示体により指示された位置を検出する検出手段と、
前記検出手段により検出された位置からの距離が第１の閾値以内である領域に視認されるキーを特定する特定手段と
を備え、
前記表示制御手段は、前記特定手段により特定されたキーを、当該特定手段により特定されていないキーと異なる表示態様で前記表示手段に表示させる
ことを特徴とする表示装置。
【請求項２】
前記空間において前記特定手段によって特定されたキーが視認される領域と、当該キーが特定された後に前記検出手段により検出された位置との距離が、前記第１の閾値より小さい第２の閾値以内であるか否かを判定する判定手段と、
前記検出手段により検出された位置との距離が前記第２の閾値以内であると判定された領域に視認されるキーに応じた処理を行う処理手段と
を備えることを特徴とする請求項１記載の表示装置。
【請求項３】
前記表示制御手段は、前記特定手段によって特定されたキーが視認される領域と、当該キーが特定された後に前記検出手段により検出された位置との距離が、前記第２の閾値以内であると前記判定手段により判定された場合には、当該キーを、前記判定手段に判定されていないときのキーと異なる表示態様で前記表示手段に表示させる
ことを特徴とする請求項２記載の表示装置。
【請求項４】
前記表示制御手段は、前記特定されたキーが視認される領域と、当該キーが特定された後に検出された前記位置との距離が、前記第１の閾値以内であって前記第２の閾値より大きい場合に、当該キーを、当該距離が前記第２の閾値に近づく程度を示す表示態様で前記表示手段に表示させる
ことを特徴とする請求項２または３記載の表示装置。
【請求項５】
ユーザの操作を受け付ける受付手段と、
受け付けた前記操作に応じて前記記憶手段に記憶された記憶内容を変更する変更手段と
を具備することを特徴とする請求項１から４のいずれかに記載の表示装置。
【請求項６】
前記記憶手段は、前記複数の領域がそれぞれ占める範囲を記憶し、
前記変更手段は、受け付けた前記操作に応じて前記範囲を変更する
ことを特徴とする請求項５に記載の表示装置。
【請求項７】
前記表示制御手段が前記キーを前記表示態様で前記表示手段に表示させることをユーザに報知する報知手段
を具備することを特徴とする請求項１から６に記載の表示装置。
【請求項８】
前記報知手段は、音を発生させることによって前記報知を行う
ことを特徴とする請求項７に記載の表示装置。
【請求項９】
前記表示制御手段は、前記特定手段が決められた期間にキーを特定しない場合に、前記立体視による画像を前記表示手段に消去させる
ことを特徴とする請求項１から８のいずれかに記載の表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２５２３８６（Ｐ２０１２−２５２３８６Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２２４０３（Ｐ２０１１−１２２４０３）
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年５月３１日（２０１１．５．３１）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]