説明

データ入力装置

【課題】審美性が高く、入力操作が容易なデータ入力装置等を提供する。
【解決手段】本データ入力装置は、第1の指に装着されるデータ入力装置100であって、指が載置される載置面SFの方向である第1の方向(z方向)を撮像する垂直方向画像取得部20と、第1の方向とほぼ直交し、第1の指と隣接する第2の指の方向である第2の方向(x方向)を撮像する水平方向画像撮像部30と、垂直方向画像取得部20および水平方向画像撮像部30の少なくとも一方により撮像された画像に基づく信号を送信する無線送信機43と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザの指に装着された状態で使用されるデータ入力装置に関する。
【背景技術】
【0002】
近年、スマートフォン等のスマートデバイスが急速に普及している。また、スマートデバイスにおいては、筐体が小型であっても広い表示面積を確保すると共に、高い操作性を得るために、入力装置として主にタッチパネルが使用される。この種のタッチパネルは、表示画面に重なるように配置され、表示画面上の指の位置や接触状態を検出する。従って、ユーザは画面に表示されるボタンやアイコン等を直接、指で触れて操作するような感覚で入力操作を行うことができる。
【0003】
しかし、このようなタッチパネルは、汚れると画面が見えにくかったり、汚れによりタッチ検知精度が低下したりする。また、指先での細かい操作は困難である。更に、タッチ時に画面上の操作対象領域が手の指で隠れ、見えなくなることがある。
【0004】
従って、更に操作性を改善するために、従来、タッチパネル以外の入力装置も考案されている。例えば、特許文献1〜特許文献3においては、持ち運びしやすい入力デバイスとして指輪型の入力デバイスが開示されている。また、特許文献4〜特許文献7においては、手袋型の入力デバイスが開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表平11−508382号公報
【特許文献2】特開2006−302204号公報
【特許文献3】特表2010−503108号公報
【特許文献4】特開2001−282451号公報
【特許文献5】特開2003−177863号公報
【特許文献6】特開2005−339306号公報
【特許文献7】特開2003−015810号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1〜特許文献7に開示されている入力装置では、入力装置として一般的に利用されているマウスと比較して操作方法が大きく異なっている。従って、特許文献1〜特許文献7の入力装置を使いこなすためには、その操作にユーザが習熟する必要があり、事前に訓練しなければならなかった。また、手袋型の入力装置は、審美性に欠けることが多かった。
【0007】
本発明は、上記事情に鑑みてなされたものであって、審美性が高く、入力操作が容易なデータ入力装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、第1の指に装着されるデータ入力装置であって、指が載置される載置面の方向である第1の方向を撮像する第1の撮像部と、前記第1の方向とほぼ直交し、前記第1の指と隣接する第2の指の方向である第2の方向を撮像する第2の撮像部と、前記第1の撮像部および前記第2の撮像部の少なくとも一方により撮像された画像に基づく信号を送信する送信部と、を備える。
【0009】
このデータ入力装置によれば、撮影方向が互いに異なる第1の撮像部および第2の撮像部を有するので、これを装着した第1の指(例えば人差し指)から見た載置面の画像や、隣接する指を含む画像を取得し、入力操作に役立てることができる。また、データ入力装置自体が簡単な構成であるので、指輪型や付け爪型の形状とすることができる。したがって、審美性が高く、入力操作が容易になる。
【発明の効果】
【0010】
本発明によれば、審美性が高く、入力操作が容易になる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態における指輪型のデータ入力装置の外観例を示す斜視図
【図2】図1のデータ入力装置のA−A断面の一部を示す図
【図3】本発明の実施形態におけるデータ入力装置の電気回路の第1構成例を示すブロック図
【図4】本発明の実施形態におけるデータ入力装置の電気回路の第2構成例を示すブロック図
【図5】本発明の実施形態におけるデータ入力装置のポインタ制御信号生成処理の一例を示すフローチャート
【図6】本発明の実施形態におけるデータ入力装置が指に装着された外観例を示す斜視図
【図7】図6のデータ入力装置のB−B断面を示すイメージ図
【図8】図6の装着例における右クリック操作の場合の指の動きの一例を示す斜視図
【図9】図6の装着例における左クリック操作の場合の指の動きの一例を示す斜視図
【図10】本発明の実施形態におけるデータ入力装置が右クリック及び左クリックの操作を判定するための処理の一例を示すフローチャート
【図11】本発明の実施形態における右クリック操作の前後で撮影される水平方向画像の変化例を示す図
【図12】本発明の実施形態における左クリック操作の前後で撮影される水平方向画像の変化例を示す図
【図13】本発明の実施形態における右クリック及び左クリックの操作を判定するための処理の変形例を示すフローチャート
【図14】図6の装着例における下スクロール操作の場合の指の動きの一例を表す斜視図
【図15】図6の装着例における上スクロール操作の場合の指の動きの一例を表す斜視図
【図16】本発明の実施形態における下スクロール操作の前後で撮影される水平方向画像の変化例を示す図
【図17】本発明の実施形態における上スクロール操作の前後で撮影される水平方向画像の変化例を示す図
【図18】本発明の実施形態における下スクロール及び上スクロールの操作を判定するための処理の一例を示すフローチャート
【図19】本発明の実施形態における付け爪型のデータ入力装置の外観例を表す斜視図
【図20】本発明の実施形態における指キャップ型のデータ入力装置の外観例を表す斜視図
【発明を実施するための形態】
【0012】
本発明の実施形態について、各図を参照しながら以下に説明する。
【0013】
本発明の実施形態におけるデータ入力装置の外観例が図1に示されている。また、図1のA−A断面が図2に示されている。
【0014】
図1および図2に示すデータ入力装置100は、指輪型ホルダ10、垂直方向画像取得部20、水平方向画像取得部30、および信号処理部40を備えている。なお、信号処理部40の配置位置は任意であるので、図1および図2では図示を省略している。
【0015】
指輪型ホルダ10は、このデータ入力装置100を構成する各要素を一体的に保持する筐体であり、ユーザの手の指に装着できるように指輪の形状に形成されている。すなわち、指輪型ホルダ10は一般的な指輪と同様にリング状の形状を有し、リングの内径が一般的な指(人差し指等)の外形よりわずかに大きい程度の大きさに形成されている。また、指輪型ホルダ10の材質については、金属、樹脂、ゴム等の様々な材料を採用することが考えられる。
【0016】
なお、図示しないが、例えば指輪型ホルダ10のリングの内周壁に可撓性の樹脂やゴム等の緩衝材を配置することにより、指輪型ホルダ10が装着した指に対して相対的に回転したり移動したりすることを防止するようにしてもよい。
【0017】
ユーザがこのデータ入力装置100を使用する際には、例えば図6に示すように、データ入力装置100がユーザの指に装着される。図6に示した例では、ユーザは左手の人差し指F2にデータ入力装置100を装着している。
【0018】
データ入力装置100の垂直方向画像取得部20は、図6に示した使用状態において、人差し指F2の腹と対向する箇所に配置される。従って、ユーザがデータ入力装置100を使用する際には、例えば机の上面など、データ入力時にユーザが手を載置する載置面SFと対向する箇所に垂直方向画像取得部20が配置される。
【0019】
垂直方向画像取得部20は、図2に示すように、光源21、イメージセンサ22、およびレンズ23を備えている。イメージセンサ22は、二次元画像等を撮影可能なCCD(Charge Coupled Device Image Sensor)等の撮像デバイスであり、使用時にイメージセンサ22の撮影方向が載置面SFの方向を向くように配置されている。
【0020】
なお、イメージセンサ22により二次元画像を撮影可能な撮像デバイスを利用する代わりに、それぞれ一次元画像を撮影可能な複数の撮像デバイスを組み合わせて二次元画像と同じような画像情報を取得するようにしてもよい。
【0021】
指輪型ホルダ10のイメージセンサ22が配置される位置には開口部が形成されており、この位置の表面側にレンズ23が配置されている。すなわち、イメージセンサ22は、開口部のレンズ23を介して、載置面SF側の画像を撮影することができる。
【0022】
光源21は、イメージセンサ22の撮影に必要な明るさを確保するための照明光を発する。光源21は、例えば発光ダイオード(LED)で構成することができる。この光源21は、イメージセンサ22の側方に配置されており、レンズ23を経由して例えば載置面SFを照明する。
【0023】
図6のB−B断面のイメージが図7に示されている。なお、図6、図7において、指F1〜F5は、それぞれ親指、人差し指、中指、薬指、および小指を表している。図7に示すように、水平方向画像取得部30は、人差し指F2の側方で、隣接する中指F3と対向する箇所に配置されている。
【0024】
水平方向画像取得部30は、図2に示すように、光源31、イメージセンサ32、およびレンズ33を備えている。イメージセンサ32は、二次元画像等を撮影可能なCCD等の撮像デバイスであり、使用時にイメージセンサ32の撮影方向が隣接する中指F3の方向を向くように配置されている。
【0025】
指輪型ホルダ10のイメージセンサ32が配置される位置には開口部が形成してあり、この位置の表面側にレンズ33が配置されている。すなわち、イメージセンサ32は開口部のレンズ33を介して、対向する中指F3側の画像を撮影することができる。
【0026】
光源31は、イメージセンサ32の撮影に必要な明るさを確保するための照明光を発する。光源31は、例えば発光ダイオード(LED)で構成することができる。この光源31は、イメージセンサ32の側方に配置されており、レンズ33を経由して中指F3を照明する。
【0027】
つまり、垂直方向画像取得部20のイメージセンサ22は下方の載置面SFを撮影し、同時に水平方向画像取得部30のイメージセンサ32は中指F3等を撮影することができる。イメージセンサ22の撮影方向(z方向)とイメージセンサ32の撮影方向(x方向)とはほぼ直交する関係になっている。勿論、両者の撮影方向が多少ずれても大きな支障はない。
【0028】
なお、図6及び図7においてはユーザの左手の人差し指F2に指輪型ホルダ10を装着した場合を示しているが、その他の指に装着してデータ入力装置100を使用することも可能である。
【0029】
次に、データ入力装置100の電気回路の構成について説明する。
図1に示したデータ入力装置100の電気回路の構成例が図3及び図4にそれぞれ示されている。
【0030】
まず、データ入力装置100の第1構成例について説明する。
図3に示した構成のデータ入力装置100においては、垂直方向画像取得部20から出力される画像情報と、水平方向画像取得部30から出力される画像情報とを信号処理部40がそれぞれ独立した回路で処理する。
【0031】
図3に示すように、データ入力装置100の信号処理部40は、演算回路41、メモリ42、無線送信機43、演算回路44、メモリ45、無線送信機46、アンテナ47、48および装着情報保持部49を備える。
【0032】
演算回路41は、垂直方向画像取得部20のイメージセンサ22の撮影により得られる画像情報に基づいて、所定のポインタ制御信号を生成する。
【0033】
ポインタ制御信号とは、操作対象を指示するポインタを制御するための信号であり、ポインタの移動量、移動方向を表す情報や、クリック操作を表す情報を含む。なお、演算回路41が生成するポインタ制御信号については、解析前の画像自体であっても良いし、画像の解析により得られた移動量や移動方向を表す情報であっても良い。演算回路41の処理の負担を減らすために解析前の画像自体をポインタ制御信号として出力する場合には、送信先の機器、例えば図3に示すスマートデバイス50内部のCPUを用いて画像の解析を行うことが想定される。
【0034】
メモリ42は、垂直方向画像取得部20から出力される画像情報を一時的に記憶する。演算回路41は、メモリ42に保持されている画像(所定時間前の撮影で得られた画像)と垂直方向画像取得部20から出力される最新の画像とを比較することにより、指の移動等の変化を検知する。
【0035】
無線送信機43は、演算回路41が生成したポインタ制御信号を変調し、無線信号としてアンテナ47から送信する。
【0036】
このように、送信部としての無線送信機43は、操作対象を指示するポインタを制御するためのポインタ制御信号を送信する。これにより、スマートデバイス50等のディスプレイ上でポインタを移動させることができる。
【0037】
また、無線送信機43は、ポインタ制御信号として、第1の撮像部としての垂直方向画像取得部20および第2の撮像部としての水平方向画像取得部30の少なくとも一方により撮像された画像の画像情報を含む信号を送信してもよい。これにより、画像情報のまま送るので、データ入力装置100における処理負荷を軽減できる。
【0038】
また、無線送信機43は、ポインタ制御信号として、ポインタの位置に関連するポインタ位置情報を含む信号を送信してもよい。ポインタ位置情報は、例えば、相対的な位置変化を表す移動量の情報である。これにより、画像情報からポインタ位置情報を生成するところまでデータ入力装置100側で行うので、送信先のスマートデバイス50での処理負荷を軽減できる。
【0039】
なお、無線送信機43及びアンテナ47としては、Bluetooth(登録商標)等の規格に適合する無線通信に対応した装置を用いることが想定される。また、採用する無線信号の種類については、電波、マイクロ波、テラヘルツ波、赤外線、可視光線等のいずれでも良い。
【0040】
演算回路44は、水平方向画像取得部30のイメージセンサ32の撮影により得られる画像情報に基づいて、所定のポインタ制御信号を生成する。演算回路44が生成するポインタ制御信号は、クリック操作を表す情報や、スクロール操作を表す情報、などを含む。
【0041】
メモリ45は、水平方向画像取得部30から出力される画像情報を一時的に記憶する。演算回路44は、メモリ45に保持されている画像(所定時間前の撮影で得られた画像)と水平方向画像取得部30から出力される最新の画像とを比較することにより、指の相対的な移動等の変化を検知する。
【0042】
なお、演算回路44が生成するポインタ制御信号については、解析前の画像自体であっても良いし、画像の解析により得られたクリック操作やスクロール操作を表す情報であっても良い。演算回路44の処理の負担を減らすために解析前の画像自体をポインタ制御信号として出力する場合には、送信先の機器、例えば図3に示すスマートデバイス50内部のCPUを用いて画像の解析を行うことが想定される。
【0043】
無線送信機46は、演算回路44が生成したポインタ制御信号を変調し、無線信号としてアンテナ48から送信する。無線送信機46及びアンテナ48としては、Bluetooth(登録商標)等の規格に適合する無線通信に対応した装置を用いることが想定される。また、採用する無線信号の種類については、電波、マイクロ波、テラヘルツ波、赤外線、可視光線等のいずれでも良い。
【0044】
装着情報保持部49は、不揮発性のメモリであり、データ入力装置100の指輪型ホルダ10を装着するユーザの手が左右どちらであるかを表す情報や、装着する指が親指F1、人差し指F2、中指F3、薬指F4、小指F5のいずれであるかを表す情報、を含む装着情報を保持する。この装着情報は、予め決定した固定データとして装着情報保持部49に登録しておいても良いし、ユーザの入力操作により必要に応じて更新できるようにしても良い。なお、装着情報保持部49は省略することもできる。
【0045】
次に、データ入力装置100の第2構成例について説明する。
図4に示した構成のデータ入力装置100Bにおいては、垂直方向画像取得部20から出力される画像情報と、水平方向画像取得部30から出力される画像情報とを、共通の信号処理部40Bでまとめて処理する。
【0046】
図4に示すように、データ入力装置100Bの信号処理部40Bは、演算回路41B、メモリ42B、無線送信機43B、アンテナ47、および装着情報保持部49を備える。
【0047】
演算回路41Bは、垂直方向画像取得部20のイメージセンサ22の撮影により得られる画像情報と、水平方向画像取得部30のイメージセンサ32の撮影により得られる画像情報とに基づいて、所定のポインタ制御信号を生成する。
【0048】
演算回路41Bが生成するポインタ制御信号は、操作対象を指示するポインタを制御するための信号であり、ポインタの移動量、移動方向を表す情報や、クリック操作を表す情報、スクロール操作を表す情報、などを含む。
【0049】
メモリ42Bは、垂直方向画像取得部20および水平方向画像取得部30から出力される画像情報を一時的に記憶する。演算回路41Bは、メモリ42Bに保持されている画像(所定時間前の撮影で得られた画像)と垂直方向画像取得部20又は水平方向画像取得部30から出力される最新の画像とを比較することにより、指の相対的な移動等の変化を検知する。
【0050】
なお、演算回路41Bが生成するポインタ制御信号については、解析前の画像自体であっても良いし、画像の解析により得られた移動量、移動方向、クリック操作、スクロール操作等を表す情報であっても良い。演算回路41Bの処理の負担を減らすために解析前の画像自体をポインタ制御信号として出力する場合には、送信先の機器、例えば図4に示すスマートデバイス50内部のCPUを用いて画像の解析を行うことが想定される。
【0051】
無線送信機43Bは、演算回路41Bが生成したポインタ制御信号を変調し、無線信号としてアンテナ47から送信する。無線送信機43B及びアンテナ47としては、Bluetooth(登録商標)等の規格に適合する無線通信に対応した装置を用いることが想定される。また、採用する無線信号の種類については、電波、マイクロ波、テラヘルツ波、赤外線、可視光線等のいずれでも良い。
【0052】
本実施形態のデータ入力装置の回路構成については、第1構成例、第2構成例、これらの変形例が考えられる。いずれの構成を採用するかは、入力デバイスの大きさや消費電流等の物理的な制約を考慮して決定することができる。
【0053】
以降の説明では、データ入力装置が図3に示した第1構成例であるデータ入力装置100であるものとして説明するが、第2構成例であるデータ入力装置100Bの場合であっても、基本的な動作および機能は同じである。
【0054】
次に、演算回路41の動作について説明する。
基本的なポインタ制御信号の生成に関する演算回路41の動作が図5に示されている。
【0055】
ステップS11では、演算回路41は、垂直方向画像取得部20から最新の画像情報を取得する。なお、垂直方向画像取得部20のイメージセンサ22は、短い周期で常時繰り返し撮影を行い、得られた画像情報を演算回路41及びメモリ42に与える。
【0056】
ステップS12では、演算回路41は、前回撮影された画像情報をメモリ42から取り込み、垂直方向画像取得部20から出力される最新の画像と比較する。
【0057】
データ入力装置100の使用状態においては、垂直方向画像取得部20のイメージセンサ22の撮影方向は載置面SFの方向に向いているので、載置面SFの模様等が含まれる画像が演算回路41によって処理され解析される。また、最新の画像と前回撮影された画像とを比較することにより、データ入力装置100と載置面SFとの間での平行な方向(xy方向)への相対的な移動の有無や移動量を認識することが可能である。つまり、一般的なマウスを載置面SF上で動かす場合の手の動きと同じような動きを検出できる。
【0058】
ステップS13では、演算回路41が、ステップS12の比較において所定量以上の移動を検出したか否かを識別する。移動があった場合はステップS14に進み、移動がなかった場合はステップS11に戻る。
【0059】
ステップS14では、演算回路41が、ポインタ制御信号を生成し、これを無線送信機43に出力する。つまり、移動の動きがない場合はポインタ制御信号は生成されず、所定以上の移動を検出した時のみ、ポインタ制御信号が生成されるようにすることができる。
【0060】
例えば、図6に示すような状態で、ユーザがデータ入力装置100を装着した手の全体を載置面SFに沿って例えばy方向に動かすと、垂直方向画像取得部20が撮影する画像に基づき、移動が検出され、ポインタ制御信号が生成される。
【0061】
このように、データ入力装置100は、画像を記憶する画像メモリとしてのメモリ42と、垂直方向画像取得部20により撮像されメモリ42に記憶された画像と、垂直方向画像取得部20により撮像された画像とを比較して、第1の指(例えば人指し指)または第2の指(例えば中指)が移動したか否かを判定する操作判定部としての演算回路41と、を備え、無線送信機43が、演算回路41により第1の指または第2の指が移動したことが認識された場合、ポインタ制御信号を送信するようにしてもよい。すなわち、移動認識された場合に限りポインタ制御信号を送信するので、不要な信号を送信することにより不要に電力消費されることを防止できる。
【0062】
次に、クリック操作の検出動作について説明する。
以下に説明するように、データ入力装置100は、一般的なマウスを用いてボタンのクリック操作を行う場合と同じようなユーザの入力操作を受け付けて、ポインタ制御信号を生成することができる。
【0063】
右クリック操作について説明する。
右クリック操作に関するデータ入力装置100を装着したユーザの指の動きの例が図8に示されている。また、図8の例においては、図6の場合と同様に、ユーザの左手の人差し指F2にデータ入力装置100が装着され、水平方向画像取得部30の撮影方向は、人差し指F2と隣接する中指F3の方向を向いている。
【0064】
図8に示す状況においては、ユーザがデータ入力装置100を装着した左手の人差し指F2だけを上下方向(z方向)に動かす場合を想定している。つまり、一般的なマウスを用いて右ボタンをクリックする場合と同等の指の動きである。
【0065】
ここで、データ入力装置100の水平方向画像取得部30が撮影する範囲内には、人差し指F2と隣接する位置にある中指F3等が撮影対象物として含まれている。従って、ユーザが人差し指F2を上下に動かすことにより、水平方向画像取得部30自体の位置が上下に移動し、それに伴って撮影される画像中の中指F3の位置に変化が現れる。
【0066】
右クリックの前後で水平方向画像取得部30によって撮影される画像の具体例が図11に示されている。図11に示す例では、中指F3に相当する画像の領域AF3は、クリック前の画像IMH1では上方に存在するのに対し、クリック後の画像IMH2では下方に存在している。
【0067】
つまり、ユーザは右クリックの際に、データ入力装置100を装着した左手の人差し指F2を上方向(載置面SFから遠ざかる方向)に移動させるので、撮像される画像においては、中指F3に相当する画像の領域AF3は相対的に下方向に移動する。そのため、図11に示すような画像中の中指F3等の領域AF3に位置の変化が現れる。データ入力装置100は、この変化を認識することにより、右クリックの操作の有無を識別できる。
【0068】
左クリック操作について説明する。
左クリック操作に関するデータ入力装置100を装着したユーザの指の動きの例が図9に示されている。また、図9においては、図6の場合と同様に、ユーザの左手の人差し指F2にデータ入力装置100が装着され、水平方向画像取得部30の撮影方向は、人差し指F2と隣接する中指F3の方向を向いている。
【0069】
図9に示す状況においては、ユーザがデータ入力装置100を装着した左手の中指F3だけを上下方向(z方向)に動かす場合を想定している。つまり、一般的なマウスを用いて左ボタンをクリックする場合と同等の指の動きである。
【0070】
ここで、データ入力装置100の水平方向画像取得部30が撮影する範囲内には、人差し指F2と隣接する位置にある中指F3等が撮影対象物として含まれている。従って、ユーザが中指F3を上下に動かすことにより、水平方向画像取得部30から見える中指F3の位置が上下に移動し、それに伴って撮影される画像中の中指F3の位置にも変化が現れる。
【0071】
左クリックの前後で水平方向画像取得部30によって撮影される画像の具体例が図12に示されている。図12に示す例では、中指F3に相当する画像の領域(AF3)は、クリック前の画像IMH3では中央よりも少し上方に存在しており、クリック後の画像IMH4では更に上方まで移動している。
【0072】
つまり、ユーザは左クリックの際に、データ入力装置100を装着した左手の人差し指F2の位置を固定したまま、載置面SFから中指F3を離すように中指F3を上方向に移動させる。そのため、図12に示すような画像中の各領域に位置の変化が現れる。データ入力装置100はこの位置の変化を認識することにより、左クリックの操作の有無を識別できる。
【0073】
次に、データ入力装置100のクリック操作時の動作について説明する。
右クリック及び左クリックの操作を判定するための具体的な処理の内容が図10に示されている。データ入力装置100の演算回路44が図10に示す処理を実行することにより、上述の方法に従って右クリックおよび左クリックの操作を識別する。
【0074】
ステップS21では、演算回路44は、水平方向画像取得部30から最新の画像情報を取得する。なお、水平方向画像取得部30のイメージセンサ32は、短い周期で常時繰り返し撮影を行い、得られた画像情報を演算回路44及びメモリ45に与える。
【0075】
ステップS22では、演算回路44は、前回撮影された画像情報をメモリ45から取り込み、水平方向画像取得部30から出力される最新の画像と比較する。
【0076】
データ入力装置100の使用状態においては、水平方向画像取得部30のイメージセンサ32の撮影方向が、データ入力装置100を装着した人差し指F2に隣接する中指F3の方向を向いている。従って、撮影対象物として中指F3の外観等が含まれる図11、図12のような画像が演算回路44によって処理され解析される。
【0077】
また、最新の画像と前回撮影された画像とを比較することにより、図11に示す画像IMH1と画像IMH2との違いや、図12に示す画像IMH3と画像IMH4との違いを検出し、指の上下方向の動きを識別することができる。
【0078】
ステップS23では、演算回路44が、ステップS22の比較において所定量以上の上方向又は下方向の指の移動(AF3の移動)を検出したか否かを識別する。上又は下方向に移動があった場合はステップS24に進み、移動がなかった場合はステップS21に戻る。
【0079】
ステップS24では、演算回路44が、その移動方向が下方向であったかどうかを識別する。下方向への指の移動を検出した場合にはステップS25に進み、上方向への指の移動を検出した場合にはステップS26に進む。
【0080】
ステップS25では、演算回路44は、右クリック操作として認識し、新たにクリック操作を表すポインタ制御信号を生成する。つまり、図11に示すような画像の位置変化を認識し、これを右クリック操作としてポインタ制御信号に反映する。
【0081】
ステップS26では、演算回路44は、左クリック操作として認識し、新たにクリック操作を表すポインタ制御信号を生成する。つまり、図12に示すような画像の位置変化を認識し、これを左クリック操作としてポインタ制御信号に反映する。
【0082】
なお、演算回路44は、撮影された画像における指が上または下方向の移動した後、その指が移動する前の位置の近傍に戻った場合に限り、右クリック操作または左クリック操作を行ったものと判定するようにしてもよい。
【0083】
このように、データ入力装置100は、第2の撮像部としての水平方向画像取得部30により撮像され画像メモリとしてのメモリ45に記憶された画像と、水平方向画像取得部30により新たに撮像された画像とを比較した結果、第1の指(例えば人指し指F2)または第2の指(例えば中指F3)が第1の方向(z方向)に移動したと認識した場合、クリック操作(右クリック、左クリック)が行われたと判定する操作判定部としての演算回路44とを備え、送信部としての無線送信機46は、演算回路44による判定結果を含む信号を送信してもよい。これにより、クリック操作の判定までデータ入力装置100側で行い、スマートデバイス50側ではクリック操作と判定した後の動作から行うことができるので、送信先のスマートデバイス50での処理負荷を軽減できる。
【0084】
また、演算回路44は、第1の指または第2の指が第1の方向であって載置面SFに近づく方向に移動したか載置面SFから遠ざかる方向に移動したかに基づいて、左クリックと右クリックとを区別してもよい。例えば、上に移動したか下に移動したかによって、左クリックと右クリックとを容易に識別可能である。
【0085】
また、演算回路44は、第1の指または第2の指が第1の方向に移動した後、移動した第1の指または第2の指が移動前の位置の近傍に移動したと認識した場合にのみ、クリック操作が行われたと判定してもよい。例えば、指が上から下、又は下から上に移動したときのみクリック操作と判定するので、偶然に指が上又は下に移動した場合にクリック操作であると誤認識されることを防止できる。
【0086】
次に、データ入力装置100が装着される手および指について説明する。
ユーザがデータ入力装置100を使用する場合には、データ入力装置100を右手側に装着したり、人差し指F2以外の指に装着したりすることも可能である。例えば、左手の中指F3にデータ入力装置100を装着する場合には、水平方向画像取得部30のイメージセンサ32の撮影方向が、データ入力装置100を装着した中指F3に隣接する人指し指F3の方向を向くようにする。この場合、画像中の人差し指F2の動きに基づき、クリック操作を検出できる。
【0087】
但し、データ入力装置100を装着する左右の手の入れ替えや指の入れ替えに伴って、撮影される画像中の指の移動方向(上下)と右クリック/左クリック操作との関係が変化する。従って、図10に示した処理のように事前に決めた移動方向に基づいて右クリック/左クリックを識別する場合には、クリック操作の左右を逆に判定する必要がある。
【0088】
データ入力装置100が装着される左右の手の入れ替えや指の入れ替えに対応した処理の内容が図13に示されている。すなわち、データ入力装置100の演算回路44が図13に示す処理を実行することにより、右クリックおよび左クリックの操作を識別する。
【0089】
図13に示す動作においては、データ入力装置100の装着状態を表す情報が事前に装着情報保持部49に書き込まれ保持されている場合を想定している。すなわち、データ入力装置100を右手/左手のどちらに装着するか、人差し指F2/中指F3のどちらに装着するかを表す情報が装着情報保持部49に保持される。この装着情報については、ユーザによる所定の入力操作やスイッチ操作により必要に応じて演算回路44が更新できる。
【0090】
まず、ステップS20では、演算回路44は装着情報保持部49から装着情報を取得する。ここでは、左手かつ中指F3にデータ入力装置100が装着されている情報を取得した場合を想定する。続いて、図10のステップS21〜S24の処理を行う。
【0091】
ステップS25Bでは、演算回路44は、左クリック操作として認識し、新たにクリックを表すポインタ制御信号を生成する。つまり、撮影された画像により人差し指F2が下に移動した場合には、中指F3は人差し指F2と比較して相対的に上に移動していることになるので、左クリック操作と認識する。
【0092】
ステップS26Bでは、演算回路44は、右クリック操作として認識し、新たにクリックを表すポインタ制御信号を生成する。つまり、撮影された画像により人差し指F2が上に移動した場合には、右クリック操作と認識する。
【0093】
このような図13の処理は、装着情報が、右手かつ人差し指F2にデータ入力装置100が装着されていることを示す場合も同様に行われる。この場合、水平方向画像取得部30のイメージセンサ32の撮影方向が、データ入力装置100を装着した人差し指F2に隣接する中指F3の方向を向いている。
【0094】
一方、装着情報が、左手かつ人差し指F2または右手かつ中指F3にデータ入力装置100が装着されていることを示す場合には、ステップS20の処理後、図10で説明したステップS21〜S26の処理を行うことになる。
【0095】
さらに、装着情報が手および指の情報以外に、水平方向画像取得部30のイメージセンサ32の撮影方向の情報を含んでいても良い。例えば、装着情報が、左手かつ中指F3に装着され、人指し指F2の方向を撮影することを示す場合には、図13のステップS21〜S26Bの処理を行い、これと同じ手および指に装着され、薬指の方向を撮影することを示す場合には、図12のステップS21〜S26の処理を行うようにしてもよい。
【0096】
また、演算回路44は、撮影された画像における指が上または下方向の移動した後、その指が移動する前の位置の近傍に戻った場合に限り、右クリック操作又は左クリック操作を行ったものと判定するようにしてもよい。
【0097】
このように、データ入力装置100が装着される手および指を特定する情報を保持する装着情報保持部49を備えてもよい。これにより、データ入力装置100が装着される手と指の情報を事前に設定することで、特定の手と指に応じた操作の判定を行うことができる。例えば、左手人差し指に装着された場合と左手中指に装着された場合とで、クリック操作の判定基準を変更することができる。
【0098】
次に、スクロール操作の検出動作について説明する。
図1に示したデータ入力装置100は、ユーザの指の動作に対してスクロール操作を検出することができる。
【0099】
データ入力装置100を装着したユーザが下スクロール操作を行う場合の手の状況の具体例が図14に示されている。図14に示す例では、左手の人差し指F2にデータ入力装置100を装着してあるので、水平方向画像取得部30は隣接する位置の中指F3を含む画像を撮影する。
【0100】
下スクロール操作を行う場合には、図14に示す例のように、中指F3の関節を曲げてその先端部を前から後ろの方向(y軸方向)に向かって動かすことになる。この指の動作をデータ入力装置100の水平方向画像取得部30で撮影し、下スクロール操作として演算回路44が認識する。
【0101】
データ入力装置100を装着したユーザが上スクロール操作を行う場合の手の状況の具体例が図15に示されている。図15に示す例では、左手の人差し指F2にデータ入力装置100を装着してあるので、水平方向画像取得部30は隣接する位置の中指F3を含む画像を撮影する。
【0102】
上スクロール操作を行う場合には、図15に示す例のように、中指F3の関節を曲げてその先端部を後ろから前の方向(y軸方向)に向かって動かすことになる。この指の動作をデータ入力装置100の水平方向画像取得部30で撮影し、上スクロール操作として演算回路44が認識する。
【0103】
図14に示すような状況において、ユーザが下スクロール操作を行う場合には、スクロールの前後で図16に示すような画像IMH5、IMH6が水平方向画像取得部30によって撮影される。つまり、スクロール操作のために曲げた中指F3の先端の箇所が指の領域(AF3)として画像IMH5、IMH6中に現れ、この位置が前から後ろに向かって移動する。
【0104】
図15に示すような状況において、ユーザが上スクロール操作を行う場合には、スクロールの前後で図17に示すような画像IMH7、IMH8が水平方向画像取得部30によって撮影される。つまり、スクロール操作のために曲げた中指F3の先端の箇所が指の領域(AF3)として画像IMH7、IMH8中に現れ、この位置が後ろから前に向かって移動する。
【0105】
上述の方法によりスクロール操作を検出するための演算回路44の判定処理の内容が図18に示されている。
【0106】
ステップS31では、演算回路44は、水平方向画像取得部30から最新の画像情報を取得する。なお、水平方向画像取得部30のイメージセンサ32は短い周期で常時繰り返し撮影を行い、得られた画像情報を演算回路44及びメモリ45に与える。
【0107】
ステップS32では、演算回路44は、前回撮影された画像情報をメモリ45から取り込み、水平方向画像取得部30から出力される最新の画像と比較する。
【0108】
例えば図14、図15の状態においては、水平方向画像取得部30のイメージセンサ32の撮影方向が、データ入力装置100を装着した人差し指F2に隣接する中指F3の方向を向いている。従って、撮影対象物として中指F3の外観等が含まれる図16、図17のような画像が演算回路44によって処理され解析される。
【0109】
また、最新の画像と前回撮影された画像とを比較することにより、図16に示す画像IMH5、IMH6の違いや、図17に示す画像IMH7、IMH8の違いを検出し、指の前後方向の動きを識別することができる。
【0110】
ステップS33では、演算回路44が、ステップS32の比較において所定量以上の前方向又は後ろ方向の指の移動(AF3の移動)を検出したか否かを識別する。前又は後ろ方向に移動があった場合はステップS34に進み、移動がなかった場合はステップS31に戻る。
【0111】
ステップS34では、演算回路44が、その移動方向が前方向であったかどうかを識別する。前方向への指の移動を検出した場合にはステップS35に進み、上方向への指の移動を検出した場合にはステップS36に進む。
【0112】
ステップS35では、演算回路44は、上スクロール操作として認識し、新たにスクロール操作の指示を表すポインタ制御信号を生成する。つまり、図17に示すような撮影画像中の位置変化を認識し、これを上スクロール操作としてポインタ制御信号に反映する。
【0113】
ステップS36では、演算回路44は、下スクロール操作として認識し、新たにスクロール操作の指示を表すポインタ制御信号を生成する。つまり、図16に示すような撮影画像中の位置変化を認識し、これを下スクロール操作としてポインタ制御信号に反映する。
【0114】
また、演算回路44は、撮影された画像における指が前または後方向に移動した後、その指が移動する前の位置の近傍に戻った場合に限り、上スクロール操作または下スクロール操作を行ったものと判定するようにしてもよい。
【0115】
なお、ここではデータ入力装置100が人指し指F2に装着され、中指F3を前後方向に移動することを説明したが、装着される指、移動させる指はこれに限られない。例えば、中指F3にデータ入力装置100が装着されてもよいし、人指し指F2を移動させるようにしてもよい。
【0116】
また、データ入力装置100が装着された指と移動させた指とが同じ指(例えば人指し指F2)である場合には、演算回路44は、画像中の隣接する指(例えば中指F3)の動きに基づいて、上スクロールであるか下スクロールであるかを判断する。つまり、画像中の隣接する指が前方向に移動した場合には、データ入力装置100が装着された指は相対的に後方向に移動していることを意味する。したがって、演算回路44は、下スクロールであると判定する。一方、画像中の隣接する指が後方向に移動した場合には、データ入力装置100が装着された指は相対的に前方向に移動していることを意味する。したがって、演算回路44は、上スクロールであると判定する。このように、図18のステップS35、S36の結果とは逆になる。
【0117】
このように、データ入力装置100は、第2の撮像部としての水平方向画像取得部30により撮像され画像メモリとしてのメモリ45に記憶された画像と、水平方向画像取得部30により撮像された画像とを比較した結果、第1の指(例えば人差し指F2)または第2の指(例えば中指F3)が第1の方向(z方向)および第2の方向(x方向)に対してほぼ直交する方向である第3の方向(y方向)に移動したと認識した場合、スクロール操作が行われたと判定する操作判定部としての演算回路44とを備え、送信部としての無線送信機46は、演算回路44による判定結果を含む信号を送信してもよい。これにより、スクロール操作の判定までデータ入力装置100側で行い、スマートデバイス50側ではスクロール操作と判定した後の動作から行うことができるので、送信先のスマートデバイス50での処理負荷を軽減できる。
【0118】
また、演算回路部44は、第1の指または第2の指が第3の方向に移動した後、移動した第1の指または第2の指が移動前の位置の近傍に移動したと認識した場合に、スクロール操作が行われたと判定する。例えば、指が前から後、又は後から前に移動したときのみクリック操作と判定するので、偶然に指が前又は後に移動した場合にスクロール操作であると誤認識されることを防止できる。
【0119】
(変形例)
本実施形態では、指輪型のデータ入力装置100について主に説明したが、指輪型以外にも、例えば図19、図20に示すように様々な形状のデータ入力装置を構成することができる。図19には付け爪型のデータ入力装置200の構成例が示されている。図20には指キャップ型のデータ入力装置300の構成例が示されている。
【0120】
(変形例1)
図19に示すデータ入力装置200は、付け爪型ホルダ210、垂直方向画像取得部220及び水平方向画像取得部230を備えている。
【0121】
図19の付け爪型ホルダ210は、薄板状に形成されており、その一端部に爪と係合可能な形状を有する爪係合部(例えば曲面状の凹部)211を有している。一般的な付け爪の場合と同様に、例えば爪用接着剤や両面テープを利用して爪係合部211をユーザの爪に固定することができる。
【0122】
垂直方向画像取得部220は、付け爪型ホルダ210の厚み方向(z方向)の一方の面(載置面SFと対向する面)に、付け爪ホルダ210の一部が露出するように配置されている。また、前述のデータ入力装置100の場合と同様に、垂直方向画像取得部220は光源、イメージセンサ、演算回路、および無線送信機を備えている。垂直方向画像取得部220のイメージセンサは、載置面SFの方向を撮影できるように付け爪型ホルダ210に固定されている。
【0123】
水平方向画像取得部230は、付け爪型ホルダ210の側面に一部が露出するように配置されている。また、前述のデータ入力装置100の場合と同様に、水平方向画像取得部230は光源、イメージセンサ、演算回路、および無線送信機を備えている。水平方向画像取得部230のイメージセンサは、この付け爪型ホルダ210を装着した指(人差し指F2等)に隣接する他の指(中指F3等)が存在する方向を撮影できるように付け爪型ホルダ210に固定されている。
【0124】
なお、光源、イメージセンサ、演算回路、および無線送信機の構成および動作は、先に説明した指輪型のデータ入力装置100のものと同様であるので、説明を省略する。
【0125】
また、垂直方向画像取得部220のイメージセンサの撮影方向と、水平方向画像取得部230の撮影方向とは互いにほぼ直交するように配置されている。
【0126】
従って、前述のデータ入力装置100の場合と同様に、垂直方向画像取得部220が撮影する画像の変化に基づいてポインタの移動に関する信号を出力することができ、水平方向画像取得部230が撮影する画像の変化に基づいてクリック操作やスクロール操作を表す信号を出力することができる。
【0127】
(変形例2)
図20に示すデータ入力装置300は、指キャップ型ホルダ310、垂直方向画像取得部320、および水平方向画像取得部330を備えている。
【0128】
図20の指キャップ型ホルダ310は、一般的な指の先端部の形状及び大きさと一致する中空部311を有するキャップ形状に形成されている。従って、ユーザは人差し指F2等の指の先端を中空部311に差し込んでデータ入力装置300を手に装着することができる。なお、指キャップ型ホルダ310の材質については、樹脂を用いても良いしゴムを用いても良い。
【0129】
垂直方向画像取得部320は、例えば、ユーザが指に指キャップ型ホルダ310を装着した状態で、指先端の腹と対向する位置に配置されている。また、前述のデータ入力装置100の場合と同様に、垂直方向画像取得部320は光源、イメージセンサ、演算回路、および無線送信機を備えている。垂直方向画像取得部320のイメージセンサは、載置面SFの方向を撮影できるように指キャップ型ホルダ310に固定されている。
【0130】
水平方向画像取得部330は、例えば、ユーザが指に指キャップ型ホルダ310を装着した状態で、指の側方と対向する位置に配置されている。また、前述のデータ入力装置100の場合と同様に、水平方向画像取得部330は光源、イメージセンサ、演算回路、および無線送信機を備えている。水平方向画像取得部330のイメージセンサは、指キャップ型ホルダ310を装着した指(人差し指F2等)と隣接する位置にある他の指(中指F3等)の方向を撮影できるように指キャップ型ホルダ310に固定されている。
【0131】
なお、光源、イメージセンサ、演算回路、および無線送信機の構成および動作は、先に説明した指輪型のデータ入力装置100のものと同様であるので、説明を省略する。
【0132】
また、垂直方向画像取得部320のイメージセンサの撮影方向と、水平方向画像取得部330の撮影方向とは互いにほぼ直交するように配置されている。
【0133】
従って、前述のデータ入力装置100の場合と同様に、垂直方向画像取得部320が撮影する画像の変化に基づいてポインタの移動に関する信号を出力することができ、水平方向画像取得部330が撮影する画像の変化に基づいてクリック操作やスクロール操作を表す信号を出力することができる。
【0134】
このように、本実施形態のデータ入力装置100、200,300は、第1の指(例えば人指し指F2)に装着され、指が載置される載置面SFの方向である第1の方向(z方向)を撮像する第1の撮像部としての垂直方向画像取得部20と、第1の方向とほぼ直交し、第1の指と隣接する第2の指(例えば中指F3)の方向である第2の方向を撮像する第2の撮像部としての水平方向画像取得部30と、垂直方向画像取得部20および水平方向画像取得部30の少なくとも一方により撮像された画像に基づく信号を送信する送信部としての無線送信機43、46とを備える。
【0135】
これにより、手袋のような大がかりな装置を手に装着する必要がなく、従来利用されているマウスと同等の感覚で容易に入力操作が可能である。したがって、審美性が高く、入力操作が容易となる。
【0136】
なお、本実施形態では、信号処理部40の演算回路(41,44)の機能をデータ入力装置100、200、300が有する場合を想定しているが、この機能(ポインタの移動、クリック操作、スクロール操作等の判定処理)を入力対象の装置(スマートデバイス50等の端末)側の処理によって実現しても良い。
【0137】
また、人差し指F2又は中指F3にデータ入力装置100、200、300を装着する場合を想定しているが、他の指に装着することもできる。水平方向画像取得部30、230、330については、装着した指と隣接する他の指を撮影できるものであればよい。
【0138】
また、図1に示したデータ入力装置100の指輪型ホルダ10はリング状に形成してあるが、この形状は必ずしも円形には限らず、指に装着できる形状であれば、例えば楕円形、多角形などの形状であっても良い。
【産業上の利用可能性】
【0139】
本発明は、審美性が高く、入力操作が容易なデータ入力装置等に有用である。
【符号の説明】
【0140】
10 指輪型ホルダ
20,220,320 垂直方向画像取得部
21 光源
22 イメージセンサ
23 レンズ
30,230,330 水平方向画像取得部
31 光源
32 イメージセンサ
33 レンズ
40 信号処理部
41 演算回路
42 メモリ
43 無線送信機
44 演算回路
45 メモリ
46 無線送信機
47,48 アンテナ
49 装着情報保持部
50 スマートデバイス
100,100B,200,300 データ入力装置
210 付け爪型ホルダ
211 爪係合部
310 指キャップ型ホルダ
311 中空部
SF 載置面
F1 親指
F2 人差し指
F3 中指
F4 薬指
F5 小指
IMH1〜IMH8 水平方向の撮影画像
AF3 撮影画像における中指の領域

【特許請求の範囲】
【請求項1】
第1の指に装着されるデータ入力装置であって、
指が載置される載置面の方向である第1の方向を撮像する第1の撮像部と、
前記第1の方向とほぼ直交し、前記第1の指と隣接する第2の指の方向である第2の方向を撮像する第2の撮像部と、
前記第1の撮像部および前記第2の撮像部の少なくとも一方により撮像された画像に基づく信号を送信する送信部と、
を備えるデータ入力装置。
【請求項2】
請求項1に記載のデータ入力装置であって、
前記送信部は、操作対象を指示するポインタを制御するためのポインタ制御信号を送信するデータ入力装置。
【請求項3】
請求項2に記載のデータ入力装置であって、
前記送信部は、前記ポインタ制御信号として、前記第1の撮像部および前記第2の撮像部の少なくとも一方により撮像された画像の画像情報を含む信号を送信するデータ入力装置。
【請求項4】
請求項2に記載のデータ入力装置であって、
前記送信部は、前記ポインタ制御信号として、前記ポインタの位置に関連するポインタ位置情報を含む信号を送信するデータ入力装置。
【請求項5】
請求項4に記載のデータ入力装置であって、
画像を記憶する画像メモリと、
前記第1の撮像部により撮像され前記画像メモリに記憶された画像と、前記第1の撮像部により撮像された画像とを比較して、前記第1の指または前記第2の指が移動したか否かを判定する操作判定部と、
を備え、
前記送信部は、前記操作判定部により前記第1の指または前記第2の指が移動したことが認識された場合、前記ポインタ制御信号を送信するデータ入力装置。
【請求項6】
請求項1に記載のデータ入力装置であって、更に、
画像を記憶する画像メモリと、
前記第2の撮像部により撮像され前記画像メモリに記憶された画像と、前記第2の撮像部により撮像された画像とを比較した結果、前記第1の指または前記第2の指が前記第1の方向に移動したと認識した場合、クリック操作が行われたと判定する操作判定部と、
を備え、
前記送信部は、前記操作判定部による判定結果を含む信号を送信するデータ入力装置。
【請求項7】
請求項6に記載のデータ入力装置であって、
前記操作判定部は、前記第1の指または前記第2の指が前記第1の方向に移動した後、移動した前記第1の指または前記第2の指が移動前の位置の近傍に移動したと認識した場合、クリック操作が行われたと判定するデータ入力装置。
【請求項8】
請求項6に記載のデータ入力装置であって、
前記操作判定部は、前記第1の指または前記第2の指が前記第1の方向であって前記載置面に近づく方向に移動したか前記載置面から遠ざかる方向に移動したかに基づいて、左クリック操作と右クリック操作とを区別するデータ入力装置。
【請求項9】
請求項6ないし8のいずれか1項に記載のデータ入力装置であって、更に、
当該データ入力装置が装着される手および指を特定する情報を保持する装着情報保持部を備えるデータ入力装置。
【請求項10】
請求項1に記載のデータ入力装置であって、更に、
画像を記憶する画像メモリと、
前記第2の撮像部により撮像され前記画像メモリに記憶された画像と、前記第2の撮像部により新たに撮像された画像とを比較した結果、前記第1の指または前記第2の指が前記第1の方向および前記第2の方向に対してほぼ直交する方向である第3の方向に移動したと認識した場合、スクロール操作が行われたと判定する操作判定部と、
を備え、
前記送信部は、前記操作判定部による判定結果を含む信号を送信するデータ入力装置。
【請求項11】
請求項10に記載のデータ入力装置であって、
前記操作判定部は、前記第1の指または前記第2の指が前記第3の方向に移動した後、移動した前記第1の指または前記第2の指が移動前の位置の近傍に移動したと認識した場合、スクロール操作が行われたと判定するデータ入力装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate


【公開番号】特開2013−25484(P2013−25484A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−158249(P2011−158249)
【出願日】平成23年7月19日(2011.7.19)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】