説明

入力システム

【課題】文字等の入力を行う際にユーザが手の位置をその都度確認しなくとも、通常のキーボードを操作する感覚で、誤入力の発生を抑制しつつ入力操作を行うこと。
【解決手段】記憶部23が、情報の入力候補に対応付けて手の形状の情報を記憶し、形状検出部22が、入力操作が行われる際の手の形状を検出し、入力情報決定部24dが、形状検出部22により検出された手の形状、および、記憶部23に記憶された手の形状の情報に基づいて、情報の入力候補の中から、入力操作により入力される情報を決定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報の入力操作を受け付ける入力システムに関する。
【背景技術】
【0002】
近年普及が進むスマートテレビでは、タッチパネルを備える入力装置が一般に用いられている。ユーザが文字を入力する場合、手元にある入力装置のタッチパネルにはスクリーンキーボードが表示される。しかし、入力された文字が表示されるのはテレビ画面上であるので、キーボードの操作に慣れたユーザは、スクリーンキーボードを見ることなく、テレビ画面を見ながら文字入力を行っている。そして、ユーザがタッチパネルに表示されたスクリーンキーボードを見ることなく文字の入力を続けていると、次第に手の位置がずれ、誤入力が発生する可能性が生じる。
【0003】
例えば、特許文献1には、手の指に複数の座標指示器を装着し、特定の指に装着された少なくとも2つの座標指示器の位置を基準として、座標検出部上にキーボードを仮想的に構成し、座標検出部上に置かれた座標指示器の位置からキーボード上のどのキーが押されたかを検出する情報入力方法が開示されている。
【0004】
座標指示器は、手に嵌められるように構成されたグローブ状の装着具の親指から小指の各々に取り付けられる。そして、ユーザは、その装着具を手に嵌めることにより、座標指示器を手の指に装着する。
【0005】
この情報入力方法では、手の指に装着した少なくとも2つの座標指示器の位置を基準としてキーボードを構成するので、手の位置がずれたとしても、ユーザは所望の情報を入力することができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平7−325655号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上述した特許文献1の従来技術では、入力装置を使用する前にユーザは指に複数の座標指示器を装着する必要があり、たとえ複数の座標指示器を予めグローブ状の装着具に取り付けておき、ユーザがその装着具を手に嵌めるだけで複数の座標指示器を装着できるようにしたとしても、装着が面倒であるという問題がある。また、そのような装着具を嵌めたままでしか文字等の入力ができないことは、ユーザにとって不便であり、暑い日などには不快感を与える可能性もある。
【0008】
本発明は、上記実情に鑑み、文字等の入力を行う際にユーザが手の位置をその都度確認しなくとも、通常のキーボードを操作する感覚で、誤入力の発生を抑制しつつ入力操作を行うことが可能な入力システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決する為に、本発明の第1の技術手段は、情報の入力操作を受け付ける入力システムであって、前記情報の入力候補に対応付けて手の形状の情報を記憶する記憶部と、前記入力操作が行われる際の手の形状を検出する形状検出部と、該形状検出部により検出された手の形状、および、前記記憶部に記憶された前記手の形状の情報に基づいて、前記情報の入力候補の中から前記入力操作により入力される情報を決定する入力情報決定部と、を備えることを特徴とする。
【0010】
本発明の第2の技術手段は、第1の技術手段において、前記記憶部に記憶された前記手の形状の情報は、所定位置から手の複数の部分までの距離の情報であり、前記手の形状の検出は、前記所定位置から手の複数の部分までの距離を測定することによりなされることを特徴とする。
【0011】
本発明の第3の技術手段は、第2の技術手段において、前記距離の測定は、3Dタッチセンサによりなされることを特徴とする。
【0012】
本発明の第4の技術手段は、第1〜第3のいずれか1つの技術手段において、前記記憶部に記憶された手の形状の情報を、前記入力操作を行っている間の前記手の形状の変化に応じて更新することを特徴とする。
【0013】
本発明の第5の技術手段は、第1〜第4のいずれか1つの技術手段において、前記入力情報決定部は、前記形状検出部により検出された手の形状の情報が前記記憶部に記憶された手の形状の情報に一致または類似すると判定された場合に、該手の形状の情報に対応付けて記憶されている前記情報の入力候補を前記入力操作により入力される情報として決定し、前記形状検出部により検出された手の形状の情報が前記記憶部に記憶された手の形状の情報のいずれにも一致も類似もしない場合に、警告メッセージの出力指示を出力することを特徴とする。
【発明の効果】
【0014】
本発明によれば、情報の入力候補に対応付けて手の形状の情報を記憶し、入力操作が行われる際の手の形状を検出し、検出された手の形状、および、記憶された情報に基づいて、上記情報の入力候補の中から入力操作により入力される情報を決定することとしたので、文字等の入力を行う際にユーザが手の位置をその都度確認しなくとも、通常のキーボードを操作する感覚で、誤入力の発生を抑制しつつ入力操作を行うことができる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態に係る情報入力処理の一例を示す図である。
【図2】本発明の実施形態に係る入力装置の構成を示すブロック図である。
【図3】3Dタッチセンサの機能について説明する図である。
【図4】ユーザが文字入力を行う際の手の形状の検出の一例について説明する図である。
【図5】入力パターン情報の一例を示す図である。
【図6】評価値の算出方法の一例について説明する図である。
【図7】評価値の算出方法の一例について説明する図である。
【図8】本発明の実施形態に係る入力パターン情報の登録処理の処理手順の一例を示すフローチャートである。
【図9】本発明の実施形態に係る文字入力操作受付処理の処理手順の一例を示すフローチャートである。
【図10】左手用距離テーブルおよび右手用距離テーブルの更新処理について説明する図である。
【図11】ユーザに手の形状をもとに戻すように促す警告メッセージの表示処理の一例について説明する図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について図面を参照して詳細に説明する。なお、以下では、ユーザにより入力される情報が文字である場合について説明するが、それに限定されず、数字や制御情報などの他の情報であってもよい。
【0017】
図1は、本発明の実施形態に係る情報入力処理の一例を示す図である。なお、この情報入力処理では、従来の情報入力処理のように、文字を入力するためのスクリーンキーボードを表示する表示装置がない場合でも、文字入力が可能となる。図1(A)に示すように、まず、入力装置20は、ユーザが文字の情報を入力する際の手の形状を、入力パターン情報23aとして記憶する処理を行う。
【0018】
例えば、入力装置20は、表示装置10に「「A」を入力して下さい。」というメッセージを表示させる。そして、キーボードで「A」を入力するような動作をユーザが行うと、入力装置20はその際のユーザの手の形状を検出し、その手の形状の情報を「A」という文字と対応付けて記憶する。そして、入力装置20は、このような処理を各文字について行い、入力パターン情報23aを生成する。
【0019】
図1(B)は、入力装置20が実際にユーザから文字の入力操作を受け付ける際の処理について説明する図である。ユーザが入力装置20に対して文字の入力操作を行うと、入力装置20は、その際の手の形状を検出する。そして、入力装置20は、入力パターン情報23aに登録された手の形状の情報の中に、検出した手の形状の情報と一致する情報があるか否かを判定し、そのような情報がある場合、その情報に対応付けて入力パターン情報23aに記憶されている文字を、ユーザによる入力文字として選択する。
【0020】
そして、図1(C)に示されるように、選択された入力文字の情報が表示装置10に送信され、その入力文字が表示装置10に表示される。
【0021】
このように、手の形状の情報に基づいて入力文字を決定することにより、入力操作を行っている間にユーザの手の位置が変化したとしても、ユーザは意図する文字を入力することができる。
【0022】
図2は、本発明の実施形態に係る入力装置20の構成を示すブロック図である。入力装置20は、通信部21、形状検出部22、記憶部23、制御部24を備える。
【0023】
通信部21は、表示装置10と無線通信または有線通信を行う通信装置である。形状検出部22は、ユーザが文字を入力する際の手の形状を検出する装置である。この形状検出部22は、例えば、3Dタッチセンサにより構成される。図3は、3Dタッチセンサの機能について説明する図である。
【0024】
図3(A)に示すように、3Dタッチセンサは、ノート型パーソナルコンピュータのタッチパッドのように、数cmから数十cm四方の平面22aを有する。この平面22a上には、手の形状を検出するための検出点22bが格子状に等間隔に配置されている。
【0025】
3Dタッチセンサは、各検出点22bから、平面22aの法線方向において数cmの範囲内に存在する物体までの距離を計測することができる。すなわち、検出点22bを配置した範囲と、平面22aの法線方向において平面22aからの距離が0〜数cmである範囲とから構成される3次元空間が、3Dタッチセンサの物体検出空間となる。
【0026】
図3(B)に示すように、例えば、ユーザが平面22aの上方に左手をかざした場合、3Dタッチセンサは、各検出点22bから左手の各部までの平面22aの法線方向の距離を検出する。そして、図3(C)に示すように、3Dタッチセンサは、各検出点22bにおいて検出された距離の情報を含む左手の距離テーブル30を出力する。この左手の距離テーブル30は、ユーザの左手の形状を表す情報である。
【0027】
このように手の形状を平面22aからの距離を用いて表すことにより、効率的に手の形状を把握することができる。また、距離の測定を3Dタッチセンサを用いて行うことにより、平面22aから手の各部までの距離を容易に測定することができる。
【0028】
なお、ここでは、手の形状を平面22aからの距離を用いて表すこととしたが、所定の点から手の各部までの距離を測定するセンサにより測定された距離、あるいは、所定の線から手の各部までの距離を測定するセンサにより測定された距離を用いて、手の形状を表すこととしてもよい。また、手の各部までの距離は、表示装置10に内蔵された距離を測定するセンサを用いて測定してもよいし、距離を測定するセンサを表示装置10とは独立に設置し(例えば、手の正面などに設置し)、そのセンサを用いて測定してもよい。
【0029】
図4は、ユーザが文字入力を行う際の手の形状の検出の一例について説明する図である。図4(A)には、ユーザが両手を用いて文字の入力操作を行う様子が示されている。この例では、ユーザは左手小指を用いて入力装置20にタッチしている。
【0030】
また、図4(B)には、図3(B)を用いて説明したような各検出点22bから左手および右手の各部までの平面22aの法線方向の距離の情報が登録された左手の距離テーブル30および右手の距離テーブル31が示されている。左手の距離テーブル30および右手の距離テーブル31の列数や行数は、手の大きさにより変化する。
【0031】
また、距離の検出は所定の時間間隔で行われる。そして、所定の時間内に距離が「0.0」から「0.0」よりも大きい値に変化したことを検出することにより、指が入力装置20に継続的に接触している状態にあるのではなく、ユーザが入力装置20にタッチ操作を行ったことを検出でき、また、タッチ操作を行った指の位置を判定することができる。図4(B)の例では、左手の距離テーブル30の1列、2行目のセルが、入力装置20にタッチ操作を行った指の位置に対応している。
【0032】
なお、図4(B)の例では、手の形状の検出点22bを縦10点、横20点と荒く設定しているため、左右の手の位置が近い場合には、左手の距離テーブル30と右手の距離テーブル31とが繋がってしまう可能性があるが、実際の検出点22bは1mm以下の間隔で配置されるため、そのような可能性はほとんどなくなる。
【0033】
また、ここでは、所定の時間内に距離が「0.0」から「0.0」よりも大きい値に変化したことを検出することにより、ユーザが入力装置20にタッチ操作を行ったことを検出することとしたが、所定の時間内に距離が「0.0」よりも大きい値から「0.0」に変化したこと、または、所定の時間内に距離が「0.0」よりも大きい値から「0.0」に変化し、その後「0.0」から「0.0」よりも大きい値に変化したことを検出することにより、ユーザが入力装置20にタッチ操作を行ったことを検出することとしてもよい。
【0034】
形状検出部22は、各検出点22bにおいて検出された距離の情報を含む左右2つの矩形領域の情報を、左手の距離テーブル30および右手の距離テーブル31として出力する。
【0035】
図2の説明に戻ると、記憶部23は、フラッシュメモリなどの記憶デバイスである。記憶部23は、入力パターン情報23aや入力キーコード情報23bなどを記憶する。
【0036】
図5は、入力パターン情報23aの一例を示す図である。入力パターン情報23aは、番号、入力文字候補、入力キーコード、左手用距離テーブル、右手用距離テーブル、タッチ座標の情報を含む。
【0037】
番号は、入力パターン情報23aに登録された情報の通し番号である。入力文字候補は、ユーザの入力操作により入力される文字の候補である。入力キーコードは、入力文字候補に対応する文字コードである。例えば、文字コードとしてASCIIコードなどが用いられる。
【0038】
左手用距離テーブル、および、右手用距離テーブルは、それぞれ各入力文字候補が入力される際のユーザの左手、および、右手の形状の情報である。例えば、左手、および、右手の形状の情報として、図3、図4で説明した距離の情報を用いる。
【0039】
タッチ座標は、左手用距離テーブルおよび右手用距離テーブルのセルのうち、ユーザがタッチ操作を行った位置に対応するセルがどれであるかを示す情報である。具体的には、(左,x,y)は、左手用距離テーブルのx列、y行目のセルが、ユーザがタッチ操作を行った位置に対応するセルであることを示し、(右,x,y)は、右手用距離テーブルのx列、y行目のセルが、ユーザがタッチ操作を行った位置に対応するセルであることを示す。なお、列はテーブルの右側から、行はテーブルの上側から数えるものとする。
【0040】
例えば、図5の番号「1」の登録データの左手用距離テーブル、および、右手用距離テーブルには、距離が「0.0」であるセルが複数あるが、タッチ座標に(左,2,1)という情報が登録されているので、左手用距離テーブルの2列、1行目のセルが、ユーザがタッチ操作を行った位置に対応するセルであることがわかる。
【0041】
ここで、ユーザがタッチ操作を行ったか否かの判定は、所定の時間間隔で距離を測定している場合に、所定の時間内に距離が「0.0」から「0.0」よりも大きい値に変化したことを検出することにより行うことができる。
【0042】
また、所定の時間内に距離が「0.0」よりも大きい値から「0.0」に変化したこと、または、所定の時間内に距離が「0.0」よりも大きい値から「0.0」に変化し、その後「0.0」から「0.0」よりも大きい値に変化したことを検出することにより、ユーザがタッチ操作を行ったか否かを判定することとしてもよい。
【0043】
ユーザがタッチ操作を行った位置に対応するセル以外で、距離が「0.0」となっているセルは、図3(A)に示した平面22aに上記所定の時間を超えてユーザが継続的に指を触れている位置に対応するセルである。
【0044】
図2の説明に戻ると、入力キーコード情報23bは、入力キーコードと入力文字候補とを対応付けて記憶したデータである。入力キーコード情報23bは、入力パターン情報23aを生成する際に用いられる。これについては後に詳しく説明する。
【0045】
制御部24は、入力装置20を制御するCPU(Central Processing Unit)などの制御デバイスである。制御部24は、タッチ検出部24a、入力パターン登録部24b、評価値算出部24c、入力情報決定部24d、入力キーコード出力部24eを備える。
【0046】
タッチ検出部24aは、図3(A)に示した平面22aにユーザがタッチ操作を行ったか否かを検出する処理部である。具体的には、タッチ検出部24aは、形状検出部22が所定の時間間隔で物体までの距離を測定している場合に、形状検出部22から出力される左手の距離テーブル30および右手の距離テーブル31において、所定の時間内に距離が「0.0」から「0.0」より大きい値に変化したセルがあるか否かを判定する。
【0047】
あるいは、タッチ検出部24aは、所定の時間内に距離が「0.0」よりも大きい値から「0.0」に変化したセル、または、所定の時間内に距離が「0.0」よりも大きい値から「0.0」に変化し、その後「0.0」から「0.0」よりも大きい値に変化したセルがあるか否かを判定することとしてもよい。
【0048】
そして、タッチ検出部24aは、そのようなセルがあった場合に、平面22aにユーザがタッチ操作を行ったと判定する。また、タッチ検出部24aは、そのセルを特定する図5を用いて説明したタッチ座標の情報を入力パターン登録部24bに出力する。
【0049】
入力パターン登録部24bは、図5に一例を示した入力パターン情報23aに各情報を登録する処理部である。具体的には、入力パターン登録部24bは、入力文字候補の入力操作をユーザが行った場合に、その入力文字候補に対応する入力キーコードの情報を入力キーコード情報23bから読み出し、読み出した入力キーコードの情報を、その入力文字候補に対応付けて入力パターン情報23aに登録する。
【0050】
また、入力パターン登録部24bは、タッチ検出部24aによりユーザがタッチ操作を行ったことが検出された場合に、ユーザがタッチ操作を行った際の左手の距離テーブル30および右手の距離テーブル31を、左手用距離テーブルおよび右手用距離テーブルとして入力パターン情報23aに登録する。さらに、入力パターン登録部24bは、タッチ検出部24aからタッチ座標の情報を取得して、取得したタッチ座標の情報を入力パターン情報23aに登録する。
【0051】
評価値算出部24cは、文字の入力操作中のユーザの手の形状を表す左手の距離テーブル30および右手の距離テーブル31と、図5に一例を示した入力パターン情報23aに登録されている左手用距離テーブルおよび右手用距離テーブルとの間の類似度を判定するために用いられる評価値を算出する処理部である。
【0052】
図6、図7は、評価値の算出方法の一例について説明する図である。図6(A)は、ユーザが図3(A)に示した平面22aを左手でタッチした際の左手の距離テーブル30を示す。図6(B)は、図5に一例を示した入力パターン情報23aに登録された左手用距離テーブル40を示す。
【0053】
ここで、左手の距離テーブル30と左手用距離テーブル40とで行数および列数が異なるが、これは左手用距離テーブル40を登録した時点と、左手の距離テーブル30が検出された時点とで手の形状が異なることによる。すなわち、両時点で距離が検出される手の部分の範囲が異なるため、行数や列数の違いが生じる。
【0054】
図6(A)に示す左手の距離テーブル30において、ユーザがタッチ操作を行った位置に対応するセルは、1列、2行目のセル30aであるものとし、図6(B)の左手用距離テーブル40において、ユーザがタッチ操作を行った位置に対応するセルは、2列、1行目のセル40aであるものとする。
【0055】
評価値算出部24cは、図6(C)に示すように、ユーザがタッチ操作を行った位置に対応するセル30a、40aを基準として左手の距離テーブル30と左手用距離テーブル40とを重ね合わせた場合に、重なり合うセルがあるか否か、また、重なり合うセルがある場合、重なり合うセルの一方あるいは両方に、距離の情報が登録されているか否かを判定する。
【0056】
重なり合うセルがあって、重なり合うセルの両方に距離の情報が登録されている場合、評価値算出部24cは、それらのセルの距離の差の2乗を算出する。例えば、図6(A)の左手の距離テーブル30の2列、3行目のセル30bと、図6(B)の左手用距離テーブル40の3列、2行目のセル40bとが重なり合うことになるが、この場合、距離の差の2乗は、(0.5−0.2)=0.09と算出される。
【0057】
あるセルに重なり合うセルがない場合、あるいは、重なり合うセルはあるが、重なり合うセルの一方にのみ距離の情報が登録されている場合、評価値算出部24cは、登録されているセルの距離と図3(A)に示した最大検出距離の差の2乗を算出する。例えば、図6(B)の左手用距離テーブル40の1列、4行目のセル40cに重なり合うセルは、図6(A)の左手の距離テーブル30に存在しない。最大検出距離が3.0cmであるものとすると、この場合の距離の差の2乗は(3.0−0.0)=9.0と算出される。
【0058】
また、図6(B)の左手用距離テーブル40の3列、1行目のセル40dは、図6(A)の左手の距離テーブル30の2列、2行目のセル30cに重なり合うが、距離が未検出である。この場合も、その距離が最大検出距離に設定され、距離の差の2乗が算出される。例えば、最大検出距離が3.0cmであるものとすると、上記セル間の距離の差の2乗は(0.3−3.0)=7.29と算出される。
【0059】
重なり合う2つのセルの両方に距離の情報が登録されていない場合、評価値算出部24cは、それらのセルを距離の差の2乗の計算対象から除外する。
【0060】
評価値算出部24cは、同様の計算をすべてのセルについて行う。そして、評価値算出部24cは、各セルについて算出された距離の差の2乗の平均値を算出する。以下、この平均値を左手距離2乗平均値と呼ぶ。
【0061】
また、評価値算出部24cは、ユーザがタッチ操作を行わなかった右手の距離テーブル31についても同様の処理を行う。図7(A)は、ユーザが図3(A)に示した3Dタッチセンサの平面22aを左手でタッチした際に検出された右手の距離テーブル31を示す。図7(B)は、図5に示した入力パターン情報23aに登録された右手用距離テーブル41を示す。
【0062】
この場合、図7(A)の右手の距離テーブル31については、ユーザは右手でタッチ操作を行っていないので、ユーザがタッチ操作を行った位置に対応するセルは存在しない。そのため、右手の距離テーブル31において距離が「0.0」であるセルのうち、列番号と行番号の和が最も小さいセル31aが選択され、また、右手用距離テーブル41において距離が「0.0」であるセルのうち、列番号と行番号の和が最も小さいセル41aが選択される。なお、列番号と行番号の和が等しいセルがある場合には、例えば、行番号の小さいセルが選択される。
【0063】
そして、それらのセル31a、41aを基準として右手の距離テーブル31と右手用距離テーブル41とを重ね合わせた場合に、重なり合うセルがあるか否か、また、重なり合うセルがある場合、重なり合うセルの一方あるいは両方に、距離の情報が登録されているか否かが判定される。
【0064】
後の処理は、左手の距離テーブル30と左手用距離テーブル40とから左手距離2乗平均値を算出する場合と同様である。以下、右手の距離テーブル31と右手用距離テーブル41とから各セルについて算出された距離の差の2乗の平均値を、右手距離2乗平均値と呼ぶ。
【0065】
左手距離2乗平均値と右手距離2乗平均値とが得られた後、評価値算出部24cは、例えば、以下のような式により、評価値を算出する。
(評価値)=w×(左手距離2乗平均値)
+(1−w)×(右手距離2乗平均値) ・・・(式1)
ここで、wは、左手距離2乗平均値に対する重み係数である。
【0066】
このようにして、評価値算出部24cは、図5に示した入力パターン情報23aに登録された各入力文字候補に対して評価値を算出する。
【0067】
入力情報決定部24dは、評価値算出部24cにより算出された評価値を用いて、ユーザの入力操作により入力される情報を決定する処理部である。具体的には、入力情報決定部24dは、評価値算出部24cにより算出された評価値のうち、値が最も小さい評価値を選択し、その評価値に対応する入力文字候補を、ユーザの入力操作により入力される文字として決定する。なお、選択された評価値が所定の閾値よりも大きい場合、入力情報決定部24dは、入力が失敗したものとして、ユーザのタッチ操作を無視し、入力される文字の決定処理を行わない。
【0068】
入力キーコード出力部24eは、入力情報決定部24dにより入力される文字が決定された場合に、その文字に対応する入力キーコードの情報を図5に示した入力パターン情報23aから読み出し、読み出した情報を通信部21を介して表示装置10に出力する処理部である。この情報を受信した表示装置10は、入力キーコードを解析し、図1(C)に示したように、それに対応する文字を画面に表示する。
【0069】
つぎに、本発明の実施形態に係る入力パターン情報23aの登録処理の処理手順について説明する。図8は、本発明の実施形態に係る入力パターン情報23aの登録処理の処理手順の一例を示すフローチャートである。
【0070】
まず、入力装置20の入力パターン登録部24bは、入力パターン情報23aに含まれるすべての入力文字候補について、各情報の登録が完了したか否かを判定する(ステップS101)。各情報とは、入力キーコード、左手用距離テーブル40、右手用距離テーブル41、タッチ座標の情報である。
【0071】
なお、入力パターン情報23aにおいて、番号および入力文字候補の情報は予め登録されているものとする。例えば、アルファベットの26文字と0から9までの数字の36文字の入力操作を行う場合は、36個の番号と、それら36文字を入力パターン情報23aに予め登録しておく。
【0072】
すべての入力文字候補について各情報の登録が完了している場合(ステップS101においてYESの場合)、この登録処理は終了する。すべての入力文字候補についての各情報の登録が完了していない場合(ステップS101においてNOの場合)、入力パターン登録部24bは、各情報の登録が未完了の入力文字候補を1つ選択する(ステップS102)。
【0073】
そして、入力パターン登録部24bは、形状検出部22を制御して、ユーザが入力操作を行う際の手の形状の検出を開始する(ステップS103)。また、入力パターン登録部24bは、選択した入力文字候補の入力操作を行うことをユーザに促すメッセージの表示指示を、通信部21を介して、表示装置10に出力する(ステップS104)。この表示指示を受信した表示装置10は、図1(A)で説明したように、そのメッセージを表示する。
【0074】
その後、形状検出部22は、ユーザがタッチ操作を行った際の手の形状を検出する(ステップS105)。さらに、入力パターン登録部24bは、検出した手の形状の情報を含む各情報を入力文字候補と対応付けて入力パターン情報23aに記憶する(ステップS106)。
【0075】
具体的には、入力文字候補に対応する入力キーコードの情報を入力キーコード情報23bから読み出して入力パターン情報23aに記憶するとともに、ユーザがタッチ操作を行った際の左手の距離テーブル30および右手の距離テーブル31、および、タッチ座標の情報を入力パターン情報23aに記憶する。
【0076】
その後、形状検出部22は、ユーザが入力操作を行う際の手の形状の検出を終了する(ステップS107)。そして、ステップS101に移行して、それ以後の処理を継続する。
【0077】
つぎに、本発明の実施形態に係る文字入力操作受付処理の処理手順について説明する。図9は、本発明の実施形態に係る文字入力操作受付処理の処理手順の一例を示すフローチャートである。
【0078】
まず、入力装置20の形状検出部22は、ユーザが入力操作を行う際の手の形状の検出を開始する(ステップS201)。そして、形状検出部22は、文字入力の終了操作をユーザから受け付けたか否かを判定する(ステップS202)。文字入力の終了操作は、予め設定されているものとする。例えば、図3(A)に示した3Dタッチセンサの平面22a上でユーザが指を左右に2往復所定の距離以上スライドさせる操作を、文字入力の終了操作として設定することができる。
【0079】
文字入力の終了操作をユーザから受け付けた場合(ステップS202においてYESの場合)、形状検出部22は、ユーザが入力操作を行う際の手の形状の検出を終了する(ステップS208)。そして、この文字入力操作受付処理は終了する。
【0080】
文字入力の終了操作をユーザから受け付けていない場合(ステップS202においてNOの場合)、形状検出部22は、ユーザによるタッチ操作があったか否かを判定する(ステップS203)。ユーザによるタッチ操作がない場合(ステップS203においてNOの場合)、ステップS202に移行して、それ以後の処理を継続する。
【0081】
ユーザによるタッチ操作があった場合(ステップS203においてYESの場合)、形状検出部22は、タッチ時の左手の距離テーブル30および右手の距離テーブル31を取得する(ステップS204)。そして、評価値算出部24cは、取得した左手の距離テーブル30および右手の距離テーブル31と、入力パターン情報23aに登録された左手用40および右手用距離テーブル41とを比較し、式1から各入力文字候補に対する評価値を算出する(ステップS205)。
【0082】
そして、入力情報決定部24dは、取得した左手の距離テーブル30および右手の距離テーブル31に一致または類似する左手用距離テーブル40および右手用距離テーブル41が、入力パターン情報23aに登録されているか否かを判定する(ステップS206)。
【0083】
具体的には、入力情報決定部24dは、各入力文字候補に対する評価値の中から最も小さい評価値を選択し、選択した評価値が所定の閾値以下である場合に、取得した左手の距離テーブル30および右手の距離テーブル31に一致または類似する左手用距離テーブル40および右手用距離テーブル41が、入力パターン情報23aに登録されていると判定し、選択した評価値が所定の閾値より大きい場合に、取得した左手の距離テーブル30および右手の距離テーブル31に一致または類似する左手用距離テーブル40および右手用距離テーブル41が、入力パターン情報23aに登録されていないと判定する。
【0084】
取得した左手の距離テーブル30および右手の距離テーブル31に一致または類似する左手用距離テーブル40および右手用距離テーブル41が、入力パターン情報23aに登録されていない場合(ステップS206においてNOの場合)、ステップS202に移行して、それ以後の処理を継続する。
【0085】
取得した左手の距離テーブル30および右手の距離テーブル31に一致または類似する左手用距離テーブル40および右手用距離テーブル41が、入力パターン情報23aに登録されている場合(ステップS206においてYESの場合)、登録されている左手用距離テーブル40および右手用距離テーブル41に対応する入力キーコードの情報を、通信部21を介して表示装置10に送信する(ステップS207)。この情報を受信した表示装置10は、入力キーコードを解析し、図1(C)に示したように、それに対応する文字を画面に表示する。そして、ステップS202に移行して、それ以後の処理を継続する。
【0086】
また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能である。
【0087】
例えば、上記実施形態では、文字入力の例について説明したが、ゲーム機の操作などの機器制御にも本発明を適用することができる。この場合、手の形状の情報が機器の制御内容を示すキーコードに対応付けて記憶される。そして、ユーザが入力操作を行う際に検出された手の形状に対応するキーコードが制御対象となる機器に送信され、そのキーコードに対応する処理がその機器により実行される。
【0088】
また、、入力パターン情報23aに含まれる左手用距離テーブル40および右手用距離テーブル41は、更新されることとしてもよい。以下に、この変形例について説明する。
【0089】
ユーザが文字の入力操作を継続していると、姿勢の変化などによりタッチ操作を行う際の手の形状が少しずつ変化することがある。そのため、ユーザは自然に入力操作を行っているつもりでも、誤入力が発生する可能性が高くなる。
【0090】
そのため、一定時間ごと、または、一定数のタッチ操作が行われるごとに、入力パターン情報23aに登録された左手用距離テーブル40および右手用距離テーブル41が、現在の手の形状に合わせて更新される。これにより、たとえタッチ操作を行う際の手の形状が変化したとしても、ユーザに負担をかけることなく、誤入力の発生を抑制することができる。
【0091】
図10は、左手用距離テーブル30および右手用距離テーブル31の更新処理について説明する図である。図10(A)には、例えば、ユーザが「A」という文字を入力するためのタッチ操作を行う様子が示されている。そして、図10(B)には、その時点で入力パターン情報23aに登録されている左手用距離テーブル40の一例が示されている。
【0092】
上述したように、ユーザが入力操作を継続していると、手の形状が少しずつ変化してくる場合がある。図10(C)は、手の形状が変化した場合に検出された左手の距離テーブル50の一例である。この時点ではまだ、手の形状が「A」という文字に対応するものとして正常に認識されているものとする。しかし、時間の経過に伴い、手の形状がさらに変化すると、手の形状が、「A」という文字に対応する形状として認識されない可能性が出てくる。
【0093】
このような問題を解消するため、入力パターン登録部24bは、図10(C)に示した左手の距離テーブル50を入力パターン情報23aに左手用距離テーブル40として登録する。図10には示していないが、右手用距離テーブルについても、入力パターン登録部24bは、同様の処理を行う。
【0094】
この登録処理は、例えば、所定時間ごと、または、所定数のタッチ操作が行われるごとに実行される。具体的には、入力パターン登録部24bは、所定時間ごとに、あるいは、所定数のタッチ操作が行われるごとに、タッチ操作が行われた際に入力文字として決定された文字に対応する左手用距離テーブル40および右手用距離テーブル41を、そのタッチ操作が行われた際に形状検出部22により検出された左手の距離テーブル50および右手の距離テーブルで更新する。
【0095】
また、図10(C)に示したような左手の距離テーブル50をそのまま入力パターン情報23aに登録するのではなく、図10(B)に示したような入力パターン情報23aに登録されている左手用距離テーブル40と、図10(C)に示したような左手の距離テーブル50とを単純平均または加重平均して得た距離テーブルを入力パターン情報23aに左手用距離テーブル40として登録することとしてもよい。この場合、右手用距離テーブルについても同様の処理が行われる。
【0096】
図10(D)には、図10(B)に示した入力パターン情報23aに登録されている左手用距離テーブル40のセルの値と図10(C)に示した左手の距離テーブル50のセルの値とを平均して得た距離テーブル51が示されている。ここで、平均値の算出に用いられる左手用距離テーブル40のセルと、左手の距離テーブル50のセルとの間の対応付けは、図6、図7を用いて説明した方法と同様の方法で行うことができる。
【0097】
例えば、図10(B)に示す左手用距離テーブル40と、図10(C)に示す左手の距離テーブル50とが、ユーザがタッチ操作を行った位置に対応するセル40a、50aを基準として重ね合わされ、図10(D)に示すように、重なり合ったセル間で平均値が算出される。
【0098】
なお、図10では、左手用距離テーブル40と左手の距離テーブル50とで列数および行数が等しい場合について説明したが、列数や行数が異なる場合、距離の情報が登録されたセルと重なるセルが存在しない可能性がある。また、重なり合うセルは存在するが、一方のセルに距離の情報が登録されていない可能性もある。このような場合、距離の情報が登録されているセルと、図3(A)に示した最大検出距離との間で算出した平均値を距離テーブル51に登録することとしてもよい。
【0099】
上述した左手用距離テーブル40および右手用距離テーブル41の更新処理は、手の形状が変化しているものの、どの文字を入力しているのかが依然として判定可能な場合に適用できるが、どの文字を入力しているのかが判定できない場合は、表示装置10の画面に警告メッセージを表示して、ユーザに手の形状をもとに戻すように促すこととしてもよい。これにより、文字入力が適切に行われるようにユーザの入力操作を修正することができる。
【0100】
図11は、手の形状をもとに戻すようにユーザに促す警告メッセージの表示処理の一例について説明する図である。図11(A)に示すように、入力操作を行う際の右手の向きや角度が、入力パターン情報23aに登録されている右手用距離テーブル41により示される手の向きや角度と著しく異なった場合、どの文字を入力しているのかが判定できなくなる可能性がある。
【0101】
また、図11(B)に示すように、入力パターン情報23aに登録されている右手用距離テーブル41ではすべての指先についての距離の情報が登録されていたが、ユーザがタッチ操作を行った際の右手小指の指先の位置が形状検出部22の検出範囲から外れており、右手用距離テーブル41と照合が取れない場合も、どの文字を入力しているのかが判定できなくなる可能性がある。
【0102】
そのため、入力情報決定部24dは、形状検出部22により検出された左手の距離テーブル30および右手の距離テーブル31が、入力パターン情報23aに登録された左手用距離テーブル40および右手用距離テーブル41のいずれにも一致も類似もしない場合に、警告メッセージの出力指示を表示装置10に出力する。そして、この出力指示を受け付けた表示装置10は、図11(C)に示すように、その警告メッセージを表示する。
【0103】
また、上記実施形態では、図2に示すように、入力パターン情報23aや入力キーコード情報23bを記憶した記憶部23、入力パターン登録部24b、評価値算出部24c、入力情報決定部24d、入力キーコード出力部24eを入力装置20に備えることとしたが、これらのすべてまたは一部を表示装置10に備えることとしてもよい。
【符号の説明】
【0104】
10…表示装置、20…入力装置、21…通信部、22…形状検出部、22a…平面、22b…検出点、23…記憶部、23a…入力パターン情報、23b…入力キーコード情報、24…制御部、24a…タッチ検出部、24b…入力パターン登録部、24c…評価値算出部、24d…入力情報決定部、24e…入力キーコード出力部、30,50…左手の距離テーブル、30a,31a,40a,41a,50a…セル、31…右手の距離テーブル、40,51…左手用距離テーブル、41…右手用距離テーブル。

【特許請求の範囲】
【請求項1】
情報の入力操作を受け付ける入力システムであって、
前記情報の入力候補に対応付けて手の形状の情報を記憶する記憶部と、
前記入力操作が行われる際の手の形状を検出する形状検出部と、
該形状検出部により検出された手の形状、および、前記記憶部に記憶された前記手の形状の情報に基づいて、前記情報の入力候補の中から前記入力操作により入力される情報を決定する入力情報決定部と、
を備えることを特徴とする入力システム。
【請求項2】
前記記憶部に記憶された前記手の形状の情報は、所定位置から手の複数の部分までの距離の情報であり、前記手の形状の検出は、前記所定位置から手の複数の部分までの距離を測定することによりなされることを特徴とする請求項1に記載の入力システム。
【請求項3】
前記距離の測定は、3Dタッチセンサによりなされることを特徴とする請求項2に記載の入力システム。
【請求項4】
前記記憶部に記憶された手の形状の情報を、前記入力操作を行っている間の前記手の形状の変化に応じて更新することを特徴とする請求項1〜3のいずれか1項に記載の入力システム。
【請求項5】
前記入力情報決定部は、前記形状検出部により検出された手の形状の情報が前記記憶部に記憶された手の形状の情報に一致または類似すると判定された場合に、該手の形状の情報に対応付けて記憶されている前記情報の入力候補を前記入力操作により入力される情報として決定し、前記形状検出部により検出された手の形状の情報が前記記憶部に記憶された手の形状の情報のいずれにも一致も類似もしない場合に、警告メッセージの出力指示を出力することを特徴とする請求項1〜4のいずれか1項に記載の入力システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2013−114282(P2013−114282A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−257026(P2011−257026)
【出願日】平成23年11月25日(2011.11.25)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】