入力装置及び入力方法
【課題】 視線を用いて情報の入力を行う入力装置において、正確かつ迅速な入力を容易に実現させる。
【解決手段】 携帯端末１０は、情報を表示するディスプレイと、入力対象となる複数の文字をディスプレイに表示させる第１領域表示部１１と、ユーザの視線の位置を検出する視線検出部１２と、ユーザの決定ボタンの押下を検出する操作検出部１３と、決定ボタンの押下が検出されたタイミングで検出された視線の位置に基づいて、入力される文字を判断する入力情報判断部１４と、視線の位置の時系列な変化に応じて、入力される情報が妥当であるか否かを判断して、妥当でないと判断した場合は補正の示唆を行う入力補正部１５とを備える。
【解決手段】 携帯端末１０は、情報を表示するディスプレイと、入力対象となる複数の文字をディスプレイに表示させる第１領域表示部１１と、ユーザの視線の位置を検出する視線検出部１２と、ユーザの決定ボタンの押下を検出する操作検出部１３と、決定ボタンの押下が検出されたタイミングで検出された視線の位置に基づいて、入力される文字を判断する入力情報判断部１４と、視線の位置の時系列な変化に応じて、入力される情報が妥当であるか否かを判断して、妥当でないと判断した場合は補正の示唆を行う入力補正部１５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの視線を用いて情報の入力を行う入力装置及び入力方法に関する。
【背景技術】
【０００２】
従来から、ディスプレイ上のユーザの視線の位置を検出して、「Ｙｅｓ」あるいは「Ｎｏ」といったユーザの意思をコンピュータに入力する装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２０４２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、５０音の仮名をディスプレイに配して、ユーザの視線を用いて入力をすることを考えた場合、入力の候補となる文字の種類が多いためユーザが正確かつ迅速に視線を入力したい文字に合わせて入力を行うことが難しい場合がある。
【０００５】
本発明は、上記を鑑みてなされたものであり、視線を用いて情報の入力を行う入力装置において、正確かつ迅速な入力を容易に実現させることができる入力装置及び入力方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る入力装置は、情報を表示するディスプレイと、入力対象となる複数の情報をディスプレイに表示させる入力用情報表示手段と、ディスプレイの入力用情報表示手段によって入力対象となる複数が表示された領域におけるユーザの視線の位置を検出する視線検出手段と、ユーザからの所定の操作を検出する操作検出手段と、操作検出手段によって所定の操作が検出されたタイミングで視線検出手段によって検出された視線の位置に基づいて、入力される情報を判断する入力情報判断手段と、視線検出手段によって検出された視線の位置の時系列な変化に応じて、入力情報判断手段によって判断された入力される情報が妥当であるか否かを判断して、当該判断結果を示す情報を出力する入力補正手段と、を備えることを特徴とする。
【０００７】
本発明に係る入力装置では、視線の位置の時系列な変化に基づいて、入力される情報が妥当であるか否かが判断される。従って、例えば、ユーザが情報の入力を行うために所定の操作を行う際に、ユーザが入力しようとする情報から視線がずれた場合には入力される情報が妥当でないと判断され、それに応じた処理を行わせることができる。即ち、ユーザが意図しない入力がされた場合に適切な処理をとることができ、これにより正確かつ迅速な入力を容易に実現させることができる。
【０００８】
入力補正手段は、入力される情報が妥当でないと判断したときに、視線検出手段によって検出された視線の位置の時系列な変化に応じて、入力情報判断手段によって判断された入力される情報とは異なる情報を、入力される情報の候補としてディスプレイに表示することが望ましい。この構成によれば、ユーザが意図しない入力がされた場合に、ユーザの意図する入力の候補となる情報を提示することができ、更に正確かつ迅速な入力を容易に実現させることができる。
【０００９】
入力用情報表示手段は、視線検出手段によって検出された視線の位置に応じて、表示させる入力対象となる情報を強調表示することが望ましい。この構成によれば、適切にユーザの視線をユーザの意図する入力対象となる情報に向かせることができる。
【００１０】
入力装置は、入力補正手段による判断に基づいて、入力済の情報をディスプレイに表示させる入力済情報表示手段を更に備えることが望ましい。この構成によれば、ユーザが入力済の情報を確認することができ、利用性を向上させることができる。
【００１１】
入力装置は、操作受付手段によって所定の操作が受け付けられたタイミングで視線検出手段によって検出された視線の位置が、入力済情報表示手段によって表示された入力済の情報の位置にあるか否かを判断して、当該入力済の情報を修正可能な状態とする修正手段を更に備えることが望ましい。この構成によれば、入力済の情報を容易に修正させることができる。
【００１２】
入力用情報表示手段は、修正手段によって修正可能な状態とされた入力済の情報に対応する入力対象となる情報の周囲に表示される、入力対象となる情報を強調表示することが望ましい。この構成によれば、ユーザの意図する修正の候補となる情報を提示することができ、更に正確かつ迅速な入力を容易に実現させることができる。
【００１３】
ところで、本発明は、上記のように入力装置の発明として記述できる他に、以下のように当該入力装置における入力方法としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【００１４】
即ち、本発明に係る入力方法は、情報を表示するディスプレイを備える入力装置による入力方法であって、入力対象となる複数の情報をディスプレイに表示させる入力用情報表示ステップと、ディスプレイの入力用情報表示ステップにおいて入力対象となる複数が表示された領域におけるユーザの視線の位置を検出する視線検出ステップと、ユーザからの所定の操作を検出する操作検出ステップと、操作検出ステップにおいて所定の操作が検出されたタイミングで視線検出ステップにおいて検出された視線の位置に基づいて、入力される情報を判断する入力情報判断ステップと、視線検出ステップにおいて検出された視線の位置の時系列な変化に応じて、入力情報判断ステップにおいて判断された入力される情報が妥当であるか否かを判断して、当該判断結果を示す情報を出力する入力補正ステップと、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、例えば、ユーザが情報の入力を行うために所定の操作を行う際に、ユーザが入力しようとする情報から視線がずれた場合には、入力される情報が妥当でないと判断され、それに応じた処理を行わせることができる。即ち、本発明によれば、ユーザが意図しない入力がされた場合に適切な処理をとることができ、これにより正確かつ迅速な入力を容易に実現させることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る入力装置である携帯端末の外観構成を示す図である。
【図２】本発明の実施形態に係る入力装置である携帯端末の機能構成を示す図である。
【図３】ユーザの視線による文字の入力が行われる際のディスプレイの表示を示す図である。
【図４】文字の入力時のユーザの視線を示す図である。
【図５】入力された情報の修正が行われる際のディスプレイの表示を示す図である。
【図６】本発明の実施形態に係る入力装置である携帯端末のハードウェア構成を示す図である。
【図７】本発明の実施形態に係る入力装置である携帯端末で実行される処理（入力方法）を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面と共に本発明に係る入力装置及び入力方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００１８】
図１に本実施形態に係る入力装置である携帯端末１０の外観構成を示す。携帯端末１０としては、具体的には、携帯電話機やＰＤＡ（Personal Digital Assistants）等のユーザによって携帯されて用いられる電子機器が相当する。図１に示すように携帯端末１０は、第１の筐体２０と第２の筐体３０とを備えている。第１の筐体２０及び第２の筐体３０はヒンジを構成して互い接続されており、携帯端末１０は、折り畳むことができる形状の、いわゆる折り畳み式の端末である。第１の筐体２０と第２の筐体３０とは、ほぼ同じ大きさ、かつほぼ直方体の形状をしており、折り畳んだときに最も大きい面（主面）同士が対向するように重ね合わされる。第１の筐体２０及び第２の筐体３０は、縦横方向に比べて、厚さ方向の長さが短く形成されており、即ち、薄型に形成されており、ユーザが使用しやすい形状となっている。また、第１の筐体２０及び第２の筐体３０は、それぞれ縦長に形成されている。
【００１９】
第１の筐体２０の主面には、文字や画像等の情報を表示するディスプレイ２１が設けられている。ディスプレイ２１は、液晶ディスプレイ等の画像表示装置により構成され、携帯端末１０に含まれるＣＰＵ（Central Processing Unit）やメモリ等によって制御された画像を表示する。ディスプレイ２１は、ディスプレイ２１が設けられる主面の矩形形状に合わせた、縦長の形状をしている。ディスプレイ２１のサイズは、例えば、３．０インチ程度である。また、第１の筐体２０の主面のディスプレイ２１の両サイド、縦長方向のほぼ中央にはカメラ２２が設けられている。通常、第１の筐体２０の主面はユーザの顔に向くように使用され、そのように使用された際にカメラ２２はユーザの目を撮影する。カメラ２２によって撮影された情報は、ユーザの視線を検出するために用いられる。なお、カメラ２２は、本発明のような配置にする必要はないが、視線誤差を軽減できる配置が望ましい。
【００２０】
携帯端末１０では、例えば、電子メール機能等に利用される、複数の文字を入力する文書の入力機能を備えている。携帯端末１０は、ユーザの視線を利用して文字の入力を行うことができる。例えば、図１に示すように、ディスプレイ２１の第１領域２１ａに、入力対象となる複数の情報である文字（５０音の仮名）を表示させる。ユーザが入力したい文字の箇所を見る、即ちユーザの視線の位置が文字の箇所に合わせられることによって、携帯端末１０への文字の入力が行われる。ユーザに入力された文字は、（図１に示した状態で）ディスプレイ２１の第１領域２１ａの下方に位置する第２領域２１ａに表示される。また、ディスプレイ２１には、文字以外の操作（例えば、図１に示すように入力された文字の変換）を示す情報を入力するための表示２１ｃが表示されてもよい。
【００２１】
第２の筐体３０には、ユーザの携帯端末１０に対する操作を受け付ける操作部が設けられている（図示せず）。また、第２の筐体３０の左右の側面の第１の筐体２０との接続部分の近傍には、それぞれボタン３１，３２が設けられている。（図１に示した状態で）左側に位置している、決定ボタン３１は、ユーザの視線による入力の決定及び確定全般を行うためのボタンである。例えば、ユーザの視線の位置が文字の箇所に合わせられるときにユーザによって決定ボタン３１が押下されることによって、携帯端末１０へのその文字の入力を行うためのボタンである。右側に位置している、戻るボタン３２は、ユーザの視線による入力において、動作を戻したり削除したりする操作を行うためのボタンである。
【００２２】
また、携帯端末１０には、携帯電話機に備えられている、マイク、スピーカー及びカメラ等の機能が備えられていてもよい（図示せず）。
【００２３】
引き続いて、携帯端末１０の本発明に係る機能について説明する。携帯端末１０は、図２に示すように第１領域表示部１１と、視線検出部１２と、操作検出部１３と、入力情報判断部１４と、入力補正部１５と、第２領域表示部１６と、修正部１７とを備えて構成されている。
【００２４】
第１領域表示部１１は、入力対象となる文字をディスプレイ２１の第１領域２１ａに表示させる入力用情報表示手段である。第１領域表示部１１は、予め入力対象となる文字の情報、及びそれぞれの文字が第１領域２１ａのどの部分に表示されるか（表示座標位置）を示す情報を記憶しており、その情報に基づいて入力対象となる文字を表示させる。例えば、図１に示すように５０音の仮名を５文字ずつ等間隔に万遍なく並べて表示させる。
【００２５】
視線検出部１２は、ディスプレイ２１におけるユーザの視線の位置（ユーザが見ているディスプレイの位置）を検出する視線検出手段である。視線検出部１２は、携帯端末１０に設けられたカメラ２２から撮影された画像が入力され、当該画像に基づいてユーザの視線の位置を検出する。視線の位置の検出方法は、既存の方法を用いることができる。この視線の検出の際には、例えば、（表示等によって）ユーザにディスプレイ２１の四隅を見るように促して、四隅を見たときの視線を検出して、より適切に視線の検出が行われるようにしてもよい。
【００２６】
視線検出部１２は、（視線による入力機能が利用されている間）継続的に視線を検出し続ける。視線検出部１２は、検出したユーザの視線の位置の情報を第１領域表示部１１、入力情報判断部１４、入力補正部１５及び修正部１７に出力する。ユーザの視線の位置の情報は、例えば、ディスプレイ２１上の座標位置を示す情報である。視線検出部１２は、図１及び図３等に示すように、検出したディスプレイ２１上の視点の位置を、ディスプレイ２１にターゲットＴ（カーソル）として表示させる。これにより、ユーザがディスプレイ２１のどの部分を見ているかを把握することができる。
【００２７】
操作検出部１３は、ユーザからの携帯端末１０に対する所定の操作を検出する操作検出手段である。所定の操作とは、決定ボタン３１又は戻るボタン３２の押下である。この操作は、例えば、ユーザが視線で指定した文字を入力するための操作である。操作検出部１３は、ユーザからの当該操作を検出した場合、その旨を入力情報判断部１４、入力補正部１５及び修正部１７に通知する。
【００２８】
入力情報判断部１４は、操作検出部１３によってユーザによる決定ボタン３１の押下が検出されたタイミングで、視線検出部１２によって検出されたユーザの視線の位置に応じて、入力される文字を判断する入力情報判断手段である。入力情報判断部１４は、文字毎に入力を受け付ける第１領域２１ａでの範囲を記憶しており、決定ボタン３１の押下が検出されたタイミングで視線検出部１２から通知された視線の位置が何れの文字の範囲に含まれるか判断することによって入力される文字を判断する。文字毎に入力を受け付ける第１領域２１ａでの範囲は、第１領域２１ａにおいて当該文字が表示されている矩形の範囲である。
【００２９】
例えば、図３の左の図に示されるように、ターゲットＴが「き」の文字上にある場合は「き」の文字が入力される文字として判断され、図３の右の図に示されるように、ターゲットＴが「す」の文字上にある場合は「す」の文字が入力される文字として判断される。入力情報判断部１４は、ユーザからの操作に基づいて入力される情報を判断した旨を入力補正部１５に通知する。
【００３０】
また、決定ボタン３１の押下が検出されていない状態では、第１領域表示部１１が、視線検出部１２によって検出されたユーザの視線の位置に応じて、表示させる文字を強調表示することとしてもよい。具体的には、第１領域表示部１１が、視線の位置が何れの文字の範囲に含まれるか判断して、視線の位置が含まれる範囲に係る文字を入力される文字の候補として決定する。そして、決定した入力される文字の候補を、図３に示すように強調表示する。強調表示は具体的には、文字の色（例えば、通常の表示の色が黒であれば、赤で表示する）と大きさ（例えば、通常の大きさの１．５倍にする）とを変化させる。また、上記以外でも、視線の位置と各文字の位置との距離を算出して、視線の位置と最も近い文字を入力される文字の候補と決定して強調表示してもよい。
【００３１】
また、視線の位置からの距離が小さい順に３番目までの文字を、別の強調表示（例えば、色を緑にする）とすることができる。なお、ここでディスプレイ２１の端に視線がある場合には、その数を適宜減らすこととしてもよい。また、強調表示は、視線の位置と最も近い文字が一定時間（例えば、数秒）変化しなかった場合のみに行われることとしてもよい（その場合、当該時間を測定しておく）。なお、第１領域表示部１１は、視線検出部１２から入力された情報によって示される視線の位置が、第１領域２１ａに含まれるか否かを判断して、第１領域２１ａに含まれる判断したときのみに上記の強調表示を行う。このように強調表示を行うことによって、ユーザはディスプレイ２１上のどこに視線の位置があるかを容易に確認することができ、適切にユーザの視線をユーザの意図する入力対象となる文字に向かせることができる。
【００３２】
入力補正部１５は、視線検出部１２によって検出された視線の位置の時系列な変化に基づいて、入力情報判断部１４によって判断された入力される文字が妥当であるか否かを判断して、当該判断結果を示す情報を出力する入力補正手段である。入力補正部１５も、入力情報判断部１４と同様に文字毎に入力を受け付ける第１領域２１ａでの範囲を記憶している。また、入力補正部１５は、視線検出部１２から入力された視線の位置の情報を時系列に記憶しておく。入力補正部１５は、入力情報判断部１４によって入力される文字が判断されたタイミングと、そのタイミングの所定の時間（例えば、０．１秒）前とで、視線検出部１２によって検出された視線の位置に変化が無いか否かを判断する。入力補正部１５は、変化を判断するために参照するタイミング（上記の例では、判断された時点と０．１秒前の時点）は、予め記憶している。
【００３３】
例えば、図４（ａ）に示すように、入力される文字が判断されたタイミングの０．１秒前ではユーザの視線の位置が「き」の範囲（矩形の範囲）にあり、図４（ｂ）に示すように、入力される文字が判断されたタイミングでは「く」の範囲にある場合は（この場合、入力情報判断部１４による判断では「く」が入力される情報となる）、入力補正部１５は、入力情報判断部１４による判断が妥当でないと判断する。この状態では、「く」に現在のユーザの視点があるものの、０．１秒前には「き」の範囲内にターゲットＴが存在するため、視線が高速で移動中であることが予想される。仮に、この状態で決定ボタン３１が押下した場合、人間の認知対応時間の０．１秒よりも短い時間で「く」を認識し選択していることとなる。なお、本実施形態では、網膜に達した光を脳が視覚的に認知すするまでに０．１秒であると想定している。
【００３４】
この場合、「誤動作」である可能性が非常に高いため、入力補正部１５は、ターゲットの位置がたとえ「く」の領域にあった場合でも、「もしかして『き』ですか？」のように、ターゲットが流入してきた範囲の文字に関して、修正（補正）の示唆をユーザに対して行う。ユーザが希望するだろう文字候補の示唆を先回りし行うことが目的である。上記の示唆は、入力補正部１５による判断結果を示す情報の出力として行われるものである。
【００３５】
具体的には、ディスプレイ２１に上記の示唆を行う表示を行うと共に、修正の可否の入力をユーザから受け付ける（この入力もユーザの視線の位置に基づいて行うこととしてもよい）。即ち、入力補正部１５は、入力される情報が妥当でないと判断したときに、視線検出部１２によって検出された視線の位置の時系列な変化に応じて、入力情報判断部１４によって判断された情報とは異なる情報を、入力される情報の候補としてディスプレイ２１に表示する。ここで、ユーザから修正しない旨の入力があった場合は、入力情報判断部１４により判断された情報（上記の例では「く」）が入力された文字（入力済の情報）とされる。一方、示唆を受けてユーザから修正する旨の入力があった場合は、示唆に係る情報（上記の例では「き」）が入力された文字（入力済の情報）とされる。
【００３６】
一方で、図４（ｂ）に示すように、入力される文字が判断されたタイミングの０．１秒前、及び入力される文字が判断されたタイミングの両方でユーザの視線の位置が「き」の範囲にある場合は、入力補正部１５は、入力情報判断部１４による判断が妥当であると判断する。その場合、入力情報判断部１４により判断された情報（上記の例では「く」）が入力された文字（入力済の情報）とされる。
【００３７】
入力補正部１５は、上記のようにユーザから入力された文字を決定すると共に、第２領域表示部１６に出力する。この出力も、入力補正部１５による判断の結果によるものである。
【００３８】
第２領域表示部１６は、図３（ｂ）に示すように、入力補正部１５からの入力に基づいて、入力された文字をディスプレイ２１の第２領域２１ｂに表示させる入力済情報表示手段である。このように表示を行うことによって、ユーザは入力した文字の確認を行うことができる。既に表示されている入力された文字がある場合には、その後に続けて表示される。なお、入力された文字が確定前である場合には、図３（ｂ）に示すようにディスプレイ２１の右上に表示される変換用の表示にユーザが視線を合わせて入力することによって、漢字やカタカナへの変換が行われてもよい。なお、文字の変換については、従来の技術が用いられる。また、入力された文字が確定している場合、あるいは文字が入力されていない場合には、図３（ａ）に示すようにディスプレイ２１の右上に表示される文書確認用の表示にユーザが視線を合わせて入力することによって、視線による文字の入力を終了して入力された文書を確認するモードに移行してもよい。
【００３９】
修正部１７は、ディスプレイ２１の第２領域２１ｂに表示された入力された文字を修正可能な状態とする修正手段である。修正可能な状態とは、当該入力された文字を、次に入力された別の文字で置き換えられる状態である。入力された文字を修正可能にするには、第２領域２１ｂに表示されている入力された文字に視線の位置を合わせて、決定ボタン３１を押下する。修正部１７は、操作検出部１３によってユーザによる決定ボタン３１の押下が検出されたタイミングで、視線検出部１２によって検出されたユーザの視線の位置が、第２領域２１ｂに表示されている入力された文字の位置にあるか否かを判断する。修正部１７は、ユーザの視線の位置が第２領域２１ｂに表示されている入力された文字の位置にあると判断した場合は、当該入力された文字を修正可能な状態とする。
【００４０】
修正部１７は、修正可能な状態とされた文字を第１領域表示部１１に通知する。第１領域表示部１１は、修正可能な状態とされた文字に対応する入力対象となる情報の周囲に表示される、入力対象となる文字を強調表示する。強調表示される周囲の文字は、例えば、修正可能な状態とされた文字に隣接する文字である。強調表示は、色と文字の大きさとを、通常の表示と変えた表示である。目立つ色およびより大きい文字が用いられる。
【００４１】
例えば、図５を用いて説明する。入力済の文字である「く」（第２領域２１ｂに表示されている）を修正するものとする。修正部１７は、ユーザからの入力に基づいて「く」が修正対象であると判断し、その旨を第１領域表示部１１に通知する。第１領域表示部１１は、第１領域２１ａの修正対象の「く」に隣接する「う」「き」「け」「す」を強調表示する。なお、第１領域表示部１１は、予め文字の配置を記憶しており、その配置に基づいて強調表示をする文字を判断する。ユーザは、第１領域２１ａの表示から、修正先となる文字を選択して、上述した入力と同様に文字の入力を行う。ここで、第１領域表示部１１は、ユーザの視線が検出された位置の文字を第１領域２１ａで更に強調表示する（例えば、図５に示すように文字に「？」を付加する）。また、第２領域表示部１６は、ユーザの視線が検出された位置の文字を、第２領域２１ｂに修正先の候補文字として表示する（「け？」に向かう矢印の表示）。この状態で、ユーザが決定ボタン３１を押下すると、上述した文字の入力処理と同様に入力の修正処理が行われる。
【００４２】
修正部１７は、例えば、文字の修正が行われずにユーザの視線が第１領域２１ａ又は第２領域２１ｂからユーザの視線の位置が外れると、図３（ａ）に示すような通常の文字の選択画面に移行させる。また、強調表示がされた文字の範囲から、ユーザの視線の位置が外れた場合に図３（ａ）に示すような通常の文字の選択画面に移行させてもよい。以上が本実施形態に係る携帯端末１０の機能構成である。
【００４３】
図６に携帯端末１０のハードウェア構成を示す。図６に示すように、携帯端末１０は、ＣＰＵ１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ(Read Only Memory)１０３、操作部１０４、無線通信部１０５及びアンテナ１０６、並びに上述したディスプレイ２１及びカメラ２２等のハードウェアにより構成されている。なお、決定ボタン３１は上記の操作部１０４に含まれる。上記の構成要素が動作することにより、上述した携帯端末１０の機能が実現される。
【００４４】
引き続いて、図７のフローチャートを用いて、本実施形態に係る携帯端末１０によって実行される処理（入力方法）を説明する。本処理は、例えば、ユーザの携帯端末１０への操作によって、ユーザの視線による文字の入力モードに移行することによって開始される。
【００４５】
携帯端末１０では、まず、第１領域表示部１１によってディスプレイ２１の第１領域２１ａに、第２領域表示部１１によってディスプレイ２１の第１領域２１ａにそれぞれ表示が行われる（Ｓ０１、入力用情報表示ステップ）。これにより、第１領域２１ａには入力対象となる文字が表示される。一方、第２領域２１ｂには、入力済の文字が表示される枠が表示される。
【００４６】
続いて、カメラ２２によってユーザの顔が撮影され、撮影された画像が視線検出部１２に入力され、視線検出部１２によって、ディスプレイ２１におけるユーザの視線の位置が検出される（Ｓ０２、視線検出ステップ）。検出されたユーザの視線の位置の情報は、第１領域表示部１１、入力情報判断部１４、入力補正部１５及び修正部１７に出力される。また、検出された視線の位置は、ディスプレイ２１において、ターゲットＴとして表示される。上記の視線の位置の検出は、本処理が行われている間、継続的に続けられる。続いて、上記の視線の位置がディスプレイ２１における第１領域２１ａ又は第２領域２１ｂにあるかによって以下のように処理が分かれる（Ｓ０３）。
【００４７】
視線の位置が第１領域２１ａにある場合には、続いて、第１領域表示部１１によって、検出されたユーザの視線の位置に応じて入力される文字の候補が決定される（Ｓ０４、入力用情報表示ステップ）。続いて、図３に示すように、決定された文字の候補が、第１領域表示部１１によって強調表示される（Ｓ０５、入力用情報表示ステップ）。
【００４８】
ここで、視線によって指し示されている文字を入力するため、ユーザによって携帯端末１０の決定ボタン３１が押下されると、操作検出部１３によって当該操作が検出される（Ｓ０６、操作検出ステップ）。ここで、ユーザによって決定ボタン３１が押されず、操作検出部１３によって当該操作が検出されない場合は、視線の位置が第１領域２１ａにあれば、入力対象となる文字の表示（Ｓ０３〜Ｓ０５）が継続して行われる。一方、操作検出部１３によって当該操作が検出されると、その旨が入力情報判断部１４に通知される。
【００４９】
操作検出部１３によって当該操作が検出された場合は、続いて、入力情報判断部１４によって、ユーザによる決定ボタン３１の押下が検出されたタイミングで検出されたユーザの視線の位置に応じて、入力される文字が判断される（Ｓ０７、入力情報判断ステップ）。入力情報判断部１４によって判断された、入力される文字を示す情報は入力補正部１５に入力される。続いて、入力補正部１５によって、視線検出部１２によって検出された視線の位置の時系列な変化に基づいて、入力情報判断部１４によって判断された入力される文字が妥当であるか否かが判断される（Ｓ０８、入力補正ステップ）。
【００５０】
入力情報判断部１４による判断が妥当でないと判断されると、入力補正部１５によって、ディスプレイ２１に、入力される文字の補正の示唆の表示が行われる（Ｓ０９、入力補正ステップ）。ユーザは、この表示を見て入力される文字の補正を行うか否かを示す選択の（例えば、上記と同様の視線と決定ボタン３１の押下とによる）入力を行う。続いて、入力補正部１５によって、ユーザからの入力が受け付けられて入力された文字（入力済の文字）が決定される（Ｓ１０、入力補正ステップ）。
【００５１】
一方、Ｓ０８において入力情報判断部１４による判断が妥当であると判断されると、入力補正部１５によって、入力情報判断部１４により判断された文字が入力された文字（入力済の文字）と決定される。上記のように決定された文字を示す情報は、入力補正部１５から第２領域表示部１６に出力される。続いて、図３（ｂ）に示すように第２領域表示部１６によって、入力された文字がディスプレイ２１の第２領域２１ｂに表示される（Ｓ１１、入力済情報表示ステップ）。続いて、処理はＳ０３に戻る。
【００５２】
Ｓ０３において視線の位置が第２領域２１ｂにある場合には、続いて、視線によって指し示されている文字を修正するため、ユーザによって携帯端末１０の決定ボタン３１が押下されると、操作検出部１３によって当該操作が検出される（Ｓ０６、操作検出ステップ）。ここで、ユーザによって決定ボタン３１が押されず、操作検出部１３によって当該操作が検出されない場合は、処理はＳ０３に戻る。一方、操作検出部１３によって当該操作が検出されると、その旨が修正部１７に通知される。
【００５３】
操作検出部１３によって当該操作が検出された場合は、続いて、修正部１７によって、ユーザによる決定ボタン３１の押下が検出されたタイミングで検出されたユーザの視線の位置に応じて、第２領域２１ｂから修正される文字が判断される（Ｓ１２、修正ステップ）。判断された文字は、修正可能な状態とされる。続いて、修正部１７から修正可能な状態とされた文字が第１領域表示部１１に通知される。図５に示すように、第１領域表示部１１によって、修正可能な状態とされた文字に対応する入力対象となる情報の周囲に表示される、入力対象となる文字が強調表示される（Ｓ１３、修正ステップ、入力用情報表示ステップ）。ユーザは、この表示を見て修正後の文字の（例えば、上記と同様の視線と決定ボタン３１の押下とによる）入力を行う。続いて、修正部１７によって、ユーザからの入力が受け付けられて修正された文字（入力済の文字）が決定される（Ｓ１５、修正ステップ）。上記のように決定された文字を示す情報は、修正部１７から第２領域表示部１６に出力される。続いて、第２領域表示部１６によって、入力された文字がディスプレイ２１の第２領域２１ｂに表示される（Ｓ１６、入力済情報表示ステップ）。続いて、処理はＳ０３に戻る。
【００５４】
以上が、本実施形態に係る携帯端末１０によって実行される処理である。なお、本処理は、例えば、ユーザの携帯端末１０への操作によって、ユーザの視線による文字の入力モードから別のモードに移行することによって終了される。
【００５５】
上述したように、本実施形態によれば、視線の位置の時系列な変化に基づいて、入力される文字が妥当であるか否かが判断される。従って、例えば、ユーザが情報の入力を行うために決定ボタン３１の押下を行う際に、ユーザが入力しようとする情報から視線がずれた場合には入力される情報が妥当でないと判断され、それに応じた処理（例えば、本実施形態のような補正の示唆）を行わせることができる。ユーザが意図しない入力がされた場合に適切な処理をとることができ、これにより正確かつ迅速な入力を容易に実現させることができる。
【００５６】
また、本実施形態のように補正の示唆を行うこととすれば、ユーザが意図しない入力がされた場合にユーザの意図する入力の候補となる情報を提示することができ、更に正確かつ迅速な入力を容易に実現させることができる。即ち、本実施形態のように視線入力のあやふやさを補正することで、ユーザの誤入力の防止を行いつつ、迅速な文字入力を実現する。なお、本実施形態のように、補正の候補となる文字を提示して補正の示唆を行うことが望ましいが、単に視線によって入力された文字が妥当であるかどうかをユーザに確認させる表示出力等を行うこととしてもよい。
【００５７】
更に本実施形態のように、入力済の文字の修正を可能とし、修正の候補となる文字の強調表示を行うことによって、入力済の情報を容易に修正させることができる。また、これにより更に正確かつ迅速な入力を容易に実現させることができる。
【００５８】
なお、本実施形態では、入力装置は携帯端末１０としているが、本発明の適用は必ずしも携帯端末１０に限られるものではない。ディスプレイへの表示をユーザが視線で指し示すことによって情報の入力が行われる装置であれば、本発明を適用することが可能である。また、本実施形態では、入力される情報は文字としたが、必ずしも文字に限られるものではない。例えば、数字やアルファベット等の情報でもよいし、また、制御内容を示す情報の入力等にも用いることができる。
【符号の説明】
【００５９】
１０…携帯端末、１１…第１領域表示部、１２…視線検出部、１３…操作検出部、１４…入力情報判断部、１５…入力補正部、１６…第２領域表示部、１７…修正部、２０…第１の筐体、２１…ディスプレイ、２１ａ…第１領域、２１ｂ…第２領域、２２…カメラ、３０…第２の筐体、３１…決定ボタン、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…操作部、１０５…無線通信部、１０６…アンテナ。
【技術分野】
【０００１】
本発明は、ユーザの視線を用いて情報の入力を行う入力装置及び入力方法に関する。
【背景技術】
【０００２】
従来から、ディスプレイ上のユーザの視線の位置を検出して、「Ｙｅｓ」あるいは「Ｎｏ」といったユーザの意思をコンピュータに入力する装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２０４２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、５０音の仮名をディスプレイに配して、ユーザの視線を用いて入力をすることを考えた場合、入力の候補となる文字の種類が多いためユーザが正確かつ迅速に視線を入力したい文字に合わせて入力を行うことが難しい場合がある。
【０００５】
本発明は、上記を鑑みてなされたものであり、視線を用いて情報の入力を行う入力装置において、正確かつ迅速な入力を容易に実現させることができる入力装置及び入力方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る入力装置は、情報を表示するディスプレイと、入力対象となる複数の情報をディスプレイに表示させる入力用情報表示手段と、ディスプレイの入力用情報表示手段によって入力対象となる複数が表示された領域におけるユーザの視線の位置を検出する視線検出手段と、ユーザからの所定の操作を検出する操作検出手段と、操作検出手段によって所定の操作が検出されたタイミングで視線検出手段によって検出された視線の位置に基づいて、入力される情報を判断する入力情報判断手段と、視線検出手段によって検出された視線の位置の時系列な変化に応じて、入力情報判断手段によって判断された入力される情報が妥当であるか否かを判断して、当該判断結果を示す情報を出力する入力補正手段と、を備えることを特徴とする。
【０００７】
本発明に係る入力装置では、視線の位置の時系列な変化に基づいて、入力される情報が妥当であるか否かが判断される。従って、例えば、ユーザが情報の入力を行うために所定の操作を行う際に、ユーザが入力しようとする情報から視線がずれた場合には入力される情報が妥当でないと判断され、それに応じた処理を行わせることができる。即ち、ユーザが意図しない入力がされた場合に適切な処理をとることができ、これにより正確かつ迅速な入力を容易に実現させることができる。
【０００８】
入力補正手段は、入力される情報が妥当でないと判断したときに、視線検出手段によって検出された視線の位置の時系列な変化に応じて、入力情報判断手段によって判断された入力される情報とは異なる情報を、入力される情報の候補としてディスプレイに表示することが望ましい。この構成によれば、ユーザが意図しない入力がされた場合に、ユーザの意図する入力の候補となる情報を提示することができ、更に正確かつ迅速な入力を容易に実現させることができる。
【０００９】
入力用情報表示手段は、視線検出手段によって検出された視線の位置に応じて、表示させる入力対象となる情報を強調表示することが望ましい。この構成によれば、適切にユーザの視線をユーザの意図する入力対象となる情報に向かせることができる。
【００１０】
入力装置は、入力補正手段による判断に基づいて、入力済の情報をディスプレイに表示させる入力済情報表示手段を更に備えることが望ましい。この構成によれば、ユーザが入力済の情報を確認することができ、利用性を向上させることができる。
【００１１】
入力装置は、操作受付手段によって所定の操作が受け付けられたタイミングで視線検出手段によって検出された視線の位置が、入力済情報表示手段によって表示された入力済の情報の位置にあるか否かを判断して、当該入力済の情報を修正可能な状態とする修正手段を更に備えることが望ましい。この構成によれば、入力済の情報を容易に修正させることができる。
【００１２】
入力用情報表示手段は、修正手段によって修正可能な状態とされた入力済の情報に対応する入力対象となる情報の周囲に表示される、入力対象となる情報を強調表示することが望ましい。この構成によれば、ユーザの意図する修正の候補となる情報を提示することができ、更に正確かつ迅速な入力を容易に実現させることができる。
【００１３】
ところで、本発明は、上記のように入力装置の発明として記述できる他に、以下のように当該入力装置における入力方法としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
【００１４】
即ち、本発明に係る入力方法は、情報を表示するディスプレイを備える入力装置による入力方法であって、入力対象となる複数の情報をディスプレイに表示させる入力用情報表示ステップと、ディスプレイの入力用情報表示ステップにおいて入力対象となる複数が表示された領域におけるユーザの視線の位置を検出する視線検出ステップと、ユーザからの所定の操作を検出する操作検出ステップと、操作検出ステップにおいて所定の操作が検出されたタイミングで視線検出ステップにおいて検出された視線の位置に基づいて、入力される情報を判断する入力情報判断ステップと、視線検出ステップにおいて検出された視線の位置の時系列な変化に応じて、入力情報判断ステップにおいて判断された入力される情報が妥当であるか否かを判断して、当該判断結果を示す情報を出力する入力補正ステップと、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、例えば、ユーザが情報の入力を行うために所定の操作を行う際に、ユーザが入力しようとする情報から視線がずれた場合には、入力される情報が妥当でないと判断され、それに応じた処理を行わせることができる。即ち、本発明によれば、ユーザが意図しない入力がされた場合に適切な処理をとることができ、これにより正確かつ迅速な入力を容易に実現させることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る入力装置である携帯端末の外観構成を示す図である。
【図２】本発明の実施形態に係る入力装置である携帯端末の機能構成を示す図である。
【図３】ユーザの視線による文字の入力が行われる際のディスプレイの表示を示す図である。
【図４】文字の入力時のユーザの視線を示す図である。
【図５】入力された情報の修正が行われる際のディスプレイの表示を示す図である。
【図６】本発明の実施形態に係る入力装置である携帯端末のハードウェア構成を示す図である。
【図７】本発明の実施形態に係る入力装置である携帯端末で実行される処理（入力方法）を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面と共に本発明に係る入力装置及び入力方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００１８】
図１に本実施形態に係る入力装置である携帯端末１０の外観構成を示す。携帯端末１０としては、具体的には、携帯電話機やＰＤＡ（Personal Digital Assistants）等のユーザによって携帯されて用いられる電子機器が相当する。図１に示すように携帯端末１０は、第１の筐体２０と第２の筐体３０とを備えている。第１の筐体２０及び第２の筐体３０はヒンジを構成して互い接続されており、携帯端末１０は、折り畳むことができる形状の、いわゆる折り畳み式の端末である。第１の筐体２０と第２の筐体３０とは、ほぼ同じ大きさ、かつほぼ直方体の形状をしており、折り畳んだときに最も大きい面（主面）同士が対向するように重ね合わされる。第１の筐体２０及び第２の筐体３０は、縦横方向に比べて、厚さ方向の長さが短く形成されており、即ち、薄型に形成されており、ユーザが使用しやすい形状となっている。また、第１の筐体２０及び第２の筐体３０は、それぞれ縦長に形成されている。
【００１９】
第１の筐体２０の主面には、文字や画像等の情報を表示するディスプレイ２１が設けられている。ディスプレイ２１は、液晶ディスプレイ等の画像表示装置により構成され、携帯端末１０に含まれるＣＰＵ（Central Processing Unit）やメモリ等によって制御された画像を表示する。ディスプレイ２１は、ディスプレイ２１が設けられる主面の矩形形状に合わせた、縦長の形状をしている。ディスプレイ２１のサイズは、例えば、３．０インチ程度である。また、第１の筐体２０の主面のディスプレイ２１の両サイド、縦長方向のほぼ中央にはカメラ２２が設けられている。通常、第１の筐体２０の主面はユーザの顔に向くように使用され、そのように使用された際にカメラ２２はユーザの目を撮影する。カメラ２２によって撮影された情報は、ユーザの視線を検出するために用いられる。なお、カメラ２２は、本発明のような配置にする必要はないが、視線誤差を軽減できる配置が望ましい。
【００２０】
携帯端末１０では、例えば、電子メール機能等に利用される、複数の文字を入力する文書の入力機能を備えている。携帯端末１０は、ユーザの視線を利用して文字の入力を行うことができる。例えば、図１に示すように、ディスプレイ２１の第１領域２１ａに、入力対象となる複数の情報である文字（５０音の仮名）を表示させる。ユーザが入力したい文字の箇所を見る、即ちユーザの視線の位置が文字の箇所に合わせられることによって、携帯端末１０への文字の入力が行われる。ユーザに入力された文字は、（図１に示した状態で）ディスプレイ２１の第１領域２１ａの下方に位置する第２領域２１ａに表示される。また、ディスプレイ２１には、文字以外の操作（例えば、図１に示すように入力された文字の変換）を示す情報を入力するための表示２１ｃが表示されてもよい。
【００２１】
第２の筐体３０には、ユーザの携帯端末１０に対する操作を受け付ける操作部が設けられている（図示せず）。また、第２の筐体３０の左右の側面の第１の筐体２０との接続部分の近傍には、それぞれボタン３１，３２が設けられている。（図１に示した状態で）左側に位置している、決定ボタン３１は、ユーザの視線による入力の決定及び確定全般を行うためのボタンである。例えば、ユーザの視線の位置が文字の箇所に合わせられるときにユーザによって決定ボタン３１が押下されることによって、携帯端末１０へのその文字の入力を行うためのボタンである。右側に位置している、戻るボタン３２は、ユーザの視線による入力において、動作を戻したり削除したりする操作を行うためのボタンである。
【００２２】
また、携帯端末１０には、携帯電話機に備えられている、マイク、スピーカー及びカメラ等の機能が備えられていてもよい（図示せず）。
【００２３】
引き続いて、携帯端末１０の本発明に係る機能について説明する。携帯端末１０は、図２に示すように第１領域表示部１１と、視線検出部１２と、操作検出部１３と、入力情報判断部１４と、入力補正部１５と、第２領域表示部１６と、修正部１７とを備えて構成されている。
【００２４】
第１領域表示部１１は、入力対象となる文字をディスプレイ２１の第１領域２１ａに表示させる入力用情報表示手段である。第１領域表示部１１は、予め入力対象となる文字の情報、及びそれぞれの文字が第１領域２１ａのどの部分に表示されるか（表示座標位置）を示す情報を記憶しており、その情報に基づいて入力対象となる文字を表示させる。例えば、図１に示すように５０音の仮名を５文字ずつ等間隔に万遍なく並べて表示させる。
【００２５】
視線検出部１２は、ディスプレイ２１におけるユーザの視線の位置（ユーザが見ているディスプレイの位置）を検出する視線検出手段である。視線検出部１２は、携帯端末１０に設けられたカメラ２２から撮影された画像が入力され、当該画像に基づいてユーザの視線の位置を検出する。視線の位置の検出方法は、既存の方法を用いることができる。この視線の検出の際には、例えば、（表示等によって）ユーザにディスプレイ２１の四隅を見るように促して、四隅を見たときの視線を検出して、より適切に視線の検出が行われるようにしてもよい。
【００２６】
視線検出部１２は、（視線による入力機能が利用されている間）継続的に視線を検出し続ける。視線検出部１２は、検出したユーザの視線の位置の情報を第１領域表示部１１、入力情報判断部１４、入力補正部１５及び修正部１７に出力する。ユーザの視線の位置の情報は、例えば、ディスプレイ２１上の座標位置を示す情報である。視線検出部１２は、図１及び図３等に示すように、検出したディスプレイ２１上の視点の位置を、ディスプレイ２１にターゲットＴ（カーソル）として表示させる。これにより、ユーザがディスプレイ２１のどの部分を見ているかを把握することができる。
【００２７】
操作検出部１３は、ユーザからの携帯端末１０に対する所定の操作を検出する操作検出手段である。所定の操作とは、決定ボタン３１又は戻るボタン３２の押下である。この操作は、例えば、ユーザが視線で指定した文字を入力するための操作である。操作検出部１３は、ユーザからの当該操作を検出した場合、その旨を入力情報判断部１４、入力補正部１５及び修正部１７に通知する。
【００２８】
入力情報判断部１４は、操作検出部１３によってユーザによる決定ボタン３１の押下が検出されたタイミングで、視線検出部１２によって検出されたユーザの視線の位置に応じて、入力される文字を判断する入力情報判断手段である。入力情報判断部１４は、文字毎に入力を受け付ける第１領域２１ａでの範囲を記憶しており、決定ボタン３１の押下が検出されたタイミングで視線検出部１２から通知された視線の位置が何れの文字の範囲に含まれるか判断することによって入力される文字を判断する。文字毎に入力を受け付ける第１領域２１ａでの範囲は、第１領域２１ａにおいて当該文字が表示されている矩形の範囲である。
【００２９】
例えば、図３の左の図に示されるように、ターゲットＴが「き」の文字上にある場合は「き」の文字が入力される文字として判断され、図３の右の図に示されるように、ターゲットＴが「す」の文字上にある場合は「す」の文字が入力される文字として判断される。入力情報判断部１４は、ユーザからの操作に基づいて入力される情報を判断した旨を入力補正部１５に通知する。
【００３０】
また、決定ボタン３１の押下が検出されていない状態では、第１領域表示部１１が、視線検出部１２によって検出されたユーザの視線の位置に応じて、表示させる文字を強調表示することとしてもよい。具体的には、第１領域表示部１１が、視線の位置が何れの文字の範囲に含まれるか判断して、視線の位置が含まれる範囲に係る文字を入力される文字の候補として決定する。そして、決定した入力される文字の候補を、図３に示すように強調表示する。強調表示は具体的には、文字の色（例えば、通常の表示の色が黒であれば、赤で表示する）と大きさ（例えば、通常の大きさの１．５倍にする）とを変化させる。また、上記以外でも、視線の位置と各文字の位置との距離を算出して、視線の位置と最も近い文字を入力される文字の候補と決定して強調表示してもよい。
【００３１】
また、視線の位置からの距離が小さい順に３番目までの文字を、別の強調表示（例えば、色を緑にする）とすることができる。なお、ここでディスプレイ２１の端に視線がある場合には、その数を適宜減らすこととしてもよい。また、強調表示は、視線の位置と最も近い文字が一定時間（例えば、数秒）変化しなかった場合のみに行われることとしてもよい（その場合、当該時間を測定しておく）。なお、第１領域表示部１１は、視線検出部１２から入力された情報によって示される視線の位置が、第１領域２１ａに含まれるか否かを判断して、第１領域２１ａに含まれる判断したときのみに上記の強調表示を行う。このように強調表示を行うことによって、ユーザはディスプレイ２１上のどこに視線の位置があるかを容易に確認することができ、適切にユーザの視線をユーザの意図する入力対象となる文字に向かせることができる。
【００３２】
入力補正部１５は、視線検出部１２によって検出された視線の位置の時系列な変化に基づいて、入力情報判断部１４によって判断された入力される文字が妥当であるか否かを判断して、当該判断結果を示す情報を出力する入力補正手段である。入力補正部１５も、入力情報判断部１４と同様に文字毎に入力を受け付ける第１領域２１ａでの範囲を記憶している。また、入力補正部１５は、視線検出部１２から入力された視線の位置の情報を時系列に記憶しておく。入力補正部１５は、入力情報判断部１４によって入力される文字が判断されたタイミングと、そのタイミングの所定の時間（例えば、０．１秒）前とで、視線検出部１２によって検出された視線の位置に変化が無いか否かを判断する。入力補正部１５は、変化を判断するために参照するタイミング（上記の例では、判断された時点と０．１秒前の時点）は、予め記憶している。
【００３３】
例えば、図４（ａ）に示すように、入力される文字が判断されたタイミングの０．１秒前ではユーザの視線の位置が「き」の範囲（矩形の範囲）にあり、図４（ｂ）に示すように、入力される文字が判断されたタイミングでは「く」の範囲にある場合は（この場合、入力情報判断部１４による判断では「く」が入力される情報となる）、入力補正部１５は、入力情報判断部１４による判断が妥当でないと判断する。この状態では、「く」に現在のユーザの視点があるものの、０．１秒前には「き」の範囲内にターゲットＴが存在するため、視線が高速で移動中であることが予想される。仮に、この状態で決定ボタン３１が押下した場合、人間の認知対応時間の０．１秒よりも短い時間で「く」を認識し選択していることとなる。なお、本実施形態では、網膜に達した光を脳が視覚的に認知すするまでに０．１秒であると想定している。
【００３４】
この場合、「誤動作」である可能性が非常に高いため、入力補正部１５は、ターゲットの位置がたとえ「く」の領域にあった場合でも、「もしかして『き』ですか？」のように、ターゲットが流入してきた範囲の文字に関して、修正（補正）の示唆をユーザに対して行う。ユーザが希望するだろう文字候補の示唆を先回りし行うことが目的である。上記の示唆は、入力補正部１５による判断結果を示す情報の出力として行われるものである。
【００３５】
具体的には、ディスプレイ２１に上記の示唆を行う表示を行うと共に、修正の可否の入力をユーザから受け付ける（この入力もユーザの視線の位置に基づいて行うこととしてもよい）。即ち、入力補正部１５は、入力される情報が妥当でないと判断したときに、視線検出部１２によって検出された視線の位置の時系列な変化に応じて、入力情報判断部１４によって判断された情報とは異なる情報を、入力される情報の候補としてディスプレイ２１に表示する。ここで、ユーザから修正しない旨の入力があった場合は、入力情報判断部１４により判断された情報（上記の例では「く」）が入力された文字（入力済の情報）とされる。一方、示唆を受けてユーザから修正する旨の入力があった場合は、示唆に係る情報（上記の例では「き」）が入力された文字（入力済の情報）とされる。
【００３６】
一方で、図４（ｂ）に示すように、入力される文字が判断されたタイミングの０．１秒前、及び入力される文字が判断されたタイミングの両方でユーザの視線の位置が「き」の範囲にある場合は、入力補正部１５は、入力情報判断部１４による判断が妥当であると判断する。その場合、入力情報判断部１４により判断された情報（上記の例では「く」）が入力された文字（入力済の情報）とされる。
【００３７】
入力補正部１５は、上記のようにユーザから入力された文字を決定すると共に、第２領域表示部１６に出力する。この出力も、入力補正部１５による判断の結果によるものである。
【００３８】
第２領域表示部１６は、図３（ｂ）に示すように、入力補正部１５からの入力に基づいて、入力された文字をディスプレイ２１の第２領域２１ｂに表示させる入力済情報表示手段である。このように表示を行うことによって、ユーザは入力した文字の確認を行うことができる。既に表示されている入力された文字がある場合には、その後に続けて表示される。なお、入力された文字が確定前である場合には、図３（ｂ）に示すようにディスプレイ２１の右上に表示される変換用の表示にユーザが視線を合わせて入力することによって、漢字やカタカナへの変換が行われてもよい。なお、文字の変換については、従来の技術が用いられる。また、入力された文字が確定している場合、あるいは文字が入力されていない場合には、図３（ａ）に示すようにディスプレイ２１の右上に表示される文書確認用の表示にユーザが視線を合わせて入力することによって、視線による文字の入力を終了して入力された文書を確認するモードに移行してもよい。
【００３９】
修正部１７は、ディスプレイ２１の第２領域２１ｂに表示された入力された文字を修正可能な状態とする修正手段である。修正可能な状態とは、当該入力された文字を、次に入力された別の文字で置き換えられる状態である。入力された文字を修正可能にするには、第２領域２１ｂに表示されている入力された文字に視線の位置を合わせて、決定ボタン３１を押下する。修正部１７は、操作検出部１３によってユーザによる決定ボタン３１の押下が検出されたタイミングで、視線検出部１２によって検出されたユーザの視線の位置が、第２領域２１ｂに表示されている入力された文字の位置にあるか否かを判断する。修正部１７は、ユーザの視線の位置が第２領域２１ｂに表示されている入力された文字の位置にあると判断した場合は、当該入力された文字を修正可能な状態とする。
【００４０】
修正部１７は、修正可能な状態とされた文字を第１領域表示部１１に通知する。第１領域表示部１１は、修正可能な状態とされた文字に対応する入力対象となる情報の周囲に表示される、入力対象となる文字を強調表示する。強調表示される周囲の文字は、例えば、修正可能な状態とされた文字に隣接する文字である。強調表示は、色と文字の大きさとを、通常の表示と変えた表示である。目立つ色およびより大きい文字が用いられる。
【００４１】
例えば、図５を用いて説明する。入力済の文字である「く」（第２領域２１ｂに表示されている）を修正するものとする。修正部１７は、ユーザからの入力に基づいて「く」が修正対象であると判断し、その旨を第１領域表示部１１に通知する。第１領域表示部１１は、第１領域２１ａの修正対象の「く」に隣接する「う」「き」「け」「す」を強調表示する。なお、第１領域表示部１１は、予め文字の配置を記憶しており、その配置に基づいて強調表示をする文字を判断する。ユーザは、第１領域２１ａの表示から、修正先となる文字を選択して、上述した入力と同様に文字の入力を行う。ここで、第１領域表示部１１は、ユーザの視線が検出された位置の文字を第１領域２１ａで更に強調表示する（例えば、図５に示すように文字に「？」を付加する）。また、第２領域表示部１６は、ユーザの視線が検出された位置の文字を、第２領域２１ｂに修正先の候補文字として表示する（「け？」に向かう矢印の表示）。この状態で、ユーザが決定ボタン３１を押下すると、上述した文字の入力処理と同様に入力の修正処理が行われる。
【００４２】
修正部１７は、例えば、文字の修正が行われずにユーザの視線が第１領域２１ａ又は第２領域２１ｂからユーザの視線の位置が外れると、図３（ａ）に示すような通常の文字の選択画面に移行させる。また、強調表示がされた文字の範囲から、ユーザの視線の位置が外れた場合に図３（ａ）に示すような通常の文字の選択画面に移行させてもよい。以上が本実施形態に係る携帯端末１０の機能構成である。
【００４３】
図６に携帯端末１０のハードウェア構成を示す。図６に示すように、携帯端末１０は、ＣＰＵ１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ(Read Only Memory)１０３、操作部１０４、無線通信部１０５及びアンテナ１０６、並びに上述したディスプレイ２１及びカメラ２２等のハードウェアにより構成されている。なお、決定ボタン３１は上記の操作部１０４に含まれる。上記の構成要素が動作することにより、上述した携帯端末１０の機能が実現される。
【００４４】
引き続いて、図７のフローチャートを用いて、本実施形態に係る携帯端末１０によって実行される処理（入力方法）を説明する。本処理は、例えば、ユーザの携帯端末１０への操作によって、ユーザの視線による文字の入力モードに移行することによって開始される。
【００４５】
携帯端末１０では、まず、第１領域表示部１１によってディスプレイ２１の第１領域２１ａに、第２領域表示部１１によってディスプレイ２１の第１領域２１ａにそれぞれ表示が行われる（Ｓ０１、入力用情報表示ステップ）。これにより、第１領域２１ａには入力対象となる文字が表示される。一方、第２領域２１ｂには、入力済の文字が表示される枠が表示される。
【００４６】
続いて、カメラ２２によってユーザの顔が撮影され、撮影された画像が視線検出部１２に入力され、視線検出部１２によって、ディスプレイ２１におけるユーザの視線の位置が検出される（Ｓ０２、視線検出ステップ）。検出されたユーザの視線の位置の情報は、第１領域表示部１１、入力情報判断部１４、入力補正部１５及び修正部１７に出力される。また、検出された視線の位置は、ディスプレイ２１において、ターゲットＴとして表示される。上記の視線の位置の検出は、本処理が行われている間、継続的に続けられる。続いて、上記の視線の位置がディスプレイ２１における第１領域２１ａ又は第２領域２１ｂにあるかによって以下のように処理が分かれる（Ｓ０３）。
【００４７】
視線の位置が第１領域２１ａにある場合には、続いて、第１領域表示部１１によって、検出されたユーザの視線の位置に応じて入力される文字の候補が決定される（Ｓ０４、入力用情報表示ステップ）。続いて、図３に示すように、決定された文字の候補が、第１領域表示部１１によって強調表示される（Ｓ０５、入力用情報表示ステップ）。
【００４８】
ここで、視線によって指し示されている文字を入力するため、ユーザによって携帯端末１０の決定ボタン３１が押下されると、操作検出部１３によって当該操作が検出される（Ｓ０６、操作検出ステップ）。ここで、ユーザによって決定ボタン３１が押されず、操作検出部１３によって当該操作が検出されない場合は、視線の位置が第１領域２１ａにあれば、入力対象となる文字の表示（Ｓ０３〜Ｓ０５）が継続して行われる。一方、操作検出部１３によって当該操作が検出されると、その旨が入力情報判断部１４に通知される。
【００４９】
操作検出部１３によって当該操作が検出された場合は、続いて、入力情報判断部１４によって、ユーザによる決定ボタン３１の押下が検出されたタイミングで検出されたユーザの視線の位置に応じて、入力される文字が判断される（Ｓ０７、入力情報判断ステップ）。入力情報判断部１４によって判断された、入力される文字を示す情報は入力補正部１５に入力される。続いて、入力補正部１５によって、視線検出部１２によって検出された視線の位置の時系列な変化に基づいて、入力情報判断部１４によって判断された入力される文字が妥当であるか否かが判断される（Ｓ０８、入力補正ステップ）。
【００５０】
入力情報判断部１４による判断が妥当でないと判断されると、入力補正部１５によって、ディスプレイ２１に、入力される文字の補正の示唆の表示が行われる（Ｓ０９、入力補正ステップ）。ユーザは、この表示を見て入力される文字の補正を行うか否かを示す選択の（例えば、上記と同様の視線と決定ボタン３１の押下とによる）入力を行う。続いて、入力補正部１５によって、ユーザからの入力が受け付けられて入力された文字（入力済の文字）が決定される（Ｓ１０、入力補正ステップ）。
【００５１】
一方、Ｓ０８において入力情報判断部１４による判断が妥当であると判断されると、入力補正部１５によって、入力情報判断部１４により判断された文字が入力された文字（入力済の文字）と決定される。上記のように決定された文字を示す情報は、入力補正部１５から第２領域表示部１６に出力される。続いて、図３（ｂ）に示すように第２領域表示部１６によって、入力された文字がディスプレイ２１の第２領域２１ｂに表示される（Ｓ１１、入力済情報表示ステップ）。続いて、処理はＳ０３に戻る。
【００５２】
Ｓ０３において視線の位置が第２領域２１ｂにある場合には、続いて、視線によって指し示されている文字を修正するため、ユーザによって携帯端末１０の決定ボタン３１が押下されると、操作検出部１３によって当該操作が検出される（Ｓ０６、操作検出ステップ）。ここで、ユーザによって決定ボタン３１が押されず、操作検出部１３によって当該操作が検出されない場合は、処理はＳ０３に戻る。一方、操作検出部１３によって当該操作が検出されると、その旨が修正部１７に通知される。
【００５３】
操作検出部１３によって当該操作が検出された場合は、続いて、修正部１７によって、ユーザによる決定ボタン３１の押下が検出されたタイミングで検出されたユーザの視線の位置に応じて、第２領域２１ｂから修正される文字が判断される（Ｓ１２、修正ステップ）。判断された文字は、修正可能な状態とされる。続いて、修正部１７から修正可能な状態とされた文字が第１領域表示部１１に通知される。図５に示すように、第１領域表示部１１によって、修正可能な状態とされた文字に対応する入力対象となる情報の周囲に表示される、入力対象となる文字が強調表示される（Ｓ１３、修正ステップ、入力用情報表示ステップ）。ユーザは、この表示を見て修正後の文字の（例えば、上記と同様の視線と決定ボタン３１の押下とによる）入力を行う。続いて、修正部１７によって、ユーザからの入力が受け付けられて修正された文字（入力済の文字）が決定される（Ｓ１５、修正ステップ）。上記のように決定された文字を示す情報は、修正部１７から第２領域表示部１６に出力される。続いて、第２領域表示部１６によって、入力された文字がディスプレイ２１の第２領域２１ｂに表示される（Ｓ１６、入力済情報表示ステップ）。続いて、処理はＳ０３に戻る。
【００５４】
以上が、本実施形態に係る携帯端末１０によって実行される処理である。なお、本処理は、例えば、ユーザの携帯端末１０への操作によって、ユーザの視線による文字の入力モードから別のモードに移行することによって終了される。
【００５５】
上述したように、本実施形態によれば、視線の位置の時系列な変化に基づいて、入力される文字が妥当であるか否かが判断される。従って、例えば、ユーザが情報の入力を行うために決定ボタン３１の押下を行う際に、ユーザが入力しようとする情報から視線がずれた場合には入力される情報が妥当でないと判断され、それに応じた処理（例えば、本実施形態のような補正の示唆）を行わせることができる。ユーザが意図しない入力がされた場合に適切な処理をとることができ、これにより正確かつ迅速な入力を容易に実現させることができる。
【００５６】
また、本実施形態のように補正の示唆を行うこととすれば、ユーザが意図しない入力がされた場合にユーザの意図する入力の候補となる情報を提示することができ、更に正確かつ迅速な入力を容易に実現させることができる。即ち、本実施形態のように視線入力のあやふやさを補正することで、ユーザの誤入力の防止を行いつつ、迅速な文字入力を実現する。なお、本実施形態のように、補正の候補となる文字を提示して補正の示唆を行うことが望ましいが、単に視線によって入力された文字が妥当であるかどうかをユーザに確認させる表示出力等を行うこととしてもよい。
【００５７】
更に本実施形態のように、入力済の文字の修正を可能とし、修正の候補となる文字の強調表示を行うことによって、入力済の情報を容易に修正させることができる。また、これにより更に正確かつ迅速な入力を容易に実現させることができる。
【００５８】
なお、本実施形態では、入力装置は携帯端末１０としているが、本発明の適用は必ずしも携帯端末１０に限られるものではない。ディスプレイへの表示をユーザが視線で指し示すことによって情報の入力が行われる装置であれば、本発明を適用することが可能である。また、本実施形態では、入力される情報は文字としたが、必ずしも文字に限られるものではない。例えば、数字やアルファベット等の情報でもよいし、また、制御内容を示す情報の入力等にも用いることができる。
【符号の説明】
【００５９】
１０…携帯端末、１１…第１領域表示部、１２…視線検出部、１３…操作検出部、１４…入力情報判断部、１５…入力補正部、１６…第２領域表示部、１７…修正部、２０…第１の筐体、２１…ディスプレイ、２１ａ…第１領域、２１ｂ…第２領域、２２…カメラ、３０…第２の筐体、３１…決定ボタン、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…操作部、１０５…無線通信部、１０６…アンテナ。
【特許請求の範囲】
【請求項１】
情報を表示するディスプレイと、
入力対象となる複数の情報を前記ディスプレイに表示させる入力用情報表示手段と、
前記ディスプレイの前記入力用情報表示手段によって前記入力対象となる複数が表示された領域におけるユーザの視線の位置を検出する視線検出手段と、
ユーザからの所定の操作を検出する操作検出手段と、
前記操作検出手段によって所定の操作が検出されたタイミングで前記視線検出手段によって検出された前記視線の位置に基づいて、入力される情報を判断する入力情報判断手段と、
前記視線検出手段によって検出された前記視線の位置の時系列な変化に応じて、前記入力情報判断手段によって判断された前記入力される情報が妥当であるか否かを判断して、当該判断結果を示す情報を出力する入力補正手段と、
を備える入力装置。
【請求項２】
前記入力補正手段は、前記入力される情報が妥当でないと判断したときに、前記視線検出手段によって検出された前記視線の位置の時系列な変化に応じて、前記入力情報判断手段によって判断された前記入力される情報とは異なる情報を、入力される情報の候補として前記ディスプレイに表示することを特徴とする請求項１に記載の入力装置。
【請求項３】
前記入力用情報表示手段は、前記視線検出手段によって検出された前記視線の位置に応じて、表示させる入力対象となる情報を強調表示することを特徴とする請求項１又は２に記載の入力装置。
【請求項４】
前記入力補正手段による判断に基づいて、入力済の情報を前記ディスプレイに表示させる入力済情報表示手段を更に備える請求項１〜３の何れか一項に記載の入力装置。
【請求項５】
前記操作受付手段によって所定の操作が受け付けられたタイミングで前記視線検出手段によって検出された前記視線の位置が、前記入力済情報表示手段によって表示された入力済の情報の位置にあるか否かを判断して、当該入力済の情報を修正可能な状態とする修正手段を更に備える請求項４に記載の入力装置。
【請求項６】
前記入力用情報表示手段は、前記修正手段によって修正可能な状態とされた前記入力済の情報に対応する入力対象となる情報の周囲に表示される、入力対象となる情報を強調表示することを特徴とする請求項５に記載の入力装置。
【請求項７】
情報を表示するディスプレイを備える入力装置による入力方法であって、
入力対象となる複数の情報を前記ディスプレイに表示させる入力用情報表示ステップと、
前記ディスプレイの前記入力用情報表示ステップにおいて前記入力対象となる複数が表示された領域におけるユーザの視線の位置を検出する視線検出ステップと、
ユーザからの所定の操作を検出する操作検出ステップと、
前記操作検出ステップにおいて所定の操作が検出されたタイミングで前記視線検出ステップにおいて検出された前記視線の位置に基づいて、入力される情報を判断する入力情報判断ステップと、
前記視線検出ステップにおいて検出された前記視線の位置の時系列な変化に応じて、前記入力情報判断ステップにおいて判断された前記入力される情報が妥当であるか否かを判断して、当該判断結果を示す情報を出力する入力補正ステップと、
を含む入力方法。
【請求項１】
情報を表示するディスプレイと、
入力対象となる複数の情報を前記ディスプレイに表示させる入力用情報表示手段と、
前記ディスプレイの前記入力用情報表示手段によって前記入力対象となる複数が表示された領域におけるユーザの視線の位置を検出する視線検出手段と、
ユーザからの所定の操作を検出する操作検出手段と、
前記操作検出手段によって所定の操作が検出されたタイミングで前記視線検出手段によって検出された前記視線の位置に基づいて、入力される情報を判断する入力情報判断手段と、
前記視線検出手段によって検出された前記視線の位置の時系列な変化に応じて、前記入力情報判断手段によって判断された前記入力される情報が妥当であるか否かを判断して、当該判断結果を示す情報を出力する入力補正手段と、
を備える入力装置。
【請求項２】
前記入力補正手段は、前記入力される情報が妥当でないと判断したときに、前記視線検出手段によって検出された前記視線の位置の時系列な変化に応じて、前記入力情報判断手段によって判断された前記入力される情報とは異なる情報を、入力される情報の候補として前記ディスプレイに表示することを特徴とする請求項１に記載の入力装置。
【請求項３】
前記入力用情報表示手段は、前記視線検出手段によって検出された前記視線の位置に応じて、表示させる入力対象となる情報を強調表示することを特徴とする請求項１又は２に記載の入力装置。
【請求項４】
前記入力補正手段による判断に基づいて、入力済の情報を前記ディスプレイに表示させる入力済情報表示手段を更に備える請求項１〜３の何れか一項に記載の入力装置。
【請求項５】
前記操作受付手段によって所定の操作が受け付けられたタイミングで前記視線検出手段によって検出された前記視線の位置が、前記入力済情報表示手段によって表示された入力済の情報の位置にあるか否かを判断して、当該入力済の情報を修正可能な状態とする修正手段を更に備える請求項４に記載の入力装置。
【請求項６】
前記入力用情報表示手段は、前記修正手段によって修正可能な状態とされた前記入力済の情報に対応する入力対象となる情報の周囲に表示される、入力対象となる情報を強調表示することを特徴とする請求項５に記載の入力装置。
【請求項７】
情報を表示するディスプレイを備える入力装置による入力方法であって、
入力対象となる複数の情報を前記ディスプレイに表示させる入力用情報表示ステップと、
前記ディスプレイの前記入力用情報表示ステップにおいて前記入力対象となる複数が表示された領域におけるユーザの視線の位置を検出する視線検出ステップと、
ユーザからの所定の操作を検出する操作検出ステップと、
前記操作検出ステップにおいて所定の操作が検出されたタイミングで前記視線検出ステップにおいて検出された前記視線の位置に基づいて、入力される情報を判断する入力情報判断ステップと、
前記視線検出ステップにおいて検出された前記視線の位置の時系列な変化に応じて、前記入力情報判断ステップにおいて判断された前記入力される情報が妥当であるか否かを判断して、当該判断結果を示す情報を出力する入力補正ステップと、
を含む入力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２６７０７１（Ｐ２０１０−２６７０７１Ａ）
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願番号】特願２００９−１１７７５４（Ｐ２００９−１１７７５４）
【出願日】平成２１年５月１４日（２００９．５．１４）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願日】平成２１年５月１４日（２００９．５．１４）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]