説明

電子機器

【課題】簡単な操作、かつ、短時間の操作で必要な操作を入力することができる電子機器を提供すること。
【解決手段】筐体と、筐体の表面に露出して配置される表示部と、筐体の表面に露出している接触面を備え、接触面に測定光を照射し、接触面で反射した測定光を取得して、接触面の画像を取得し、取得した画像から該接触面に接触している対象物の変位を検出する変位検出部と、変位検出部で検出した変位から対象物の回転移動を検出する回転移動検出部と、変位検出部で検出した変位から対象物の直線移動を検出する直線移動検出部と、回転移動検出部の検出結果に基づいて回転移動の操作信号を生成し、直線移動検出部の検出結果に基づいて直線移動の操作信号を生成する信号生成部と、信号生成部から入力された直線信号の操作信号及び回転信号の操作信号に基づいて実行する動作を制御する主制御部と、を有すること。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力部を有する電子機器に関する。
【背景技術】
【0002】
電子機器、例えば、携帯電話、PDA、ポータブルナビゲーション装置、携帯ゲーム機等の携帯電子機器、パソコン(PC)等の固定型の電子機器には、操作を入力する操作部が設けられている。この操作部としては、キーボード、タッチパネル、マウス等がある。
【0003】
また、主に、カーソル、ポインタ、アイコン等の操作を行うポインティングデバイスとしては、マウス、レバー、特許文献1に記載されているような上下左右の方向を入力する方向キー、特許文献2に記載されているような接触面(表面)への接触の変化(指の隆線の動き)を検出するポインティングデバイス等がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−295155号公報
【特許文献2】特開2006−268852号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、特許文献2に記載されているような光学式のセンサを用いて、接触面への接触の変化を検知し、カーソル、ポインタ、アイコン等の操作を行う操作部は、操作部の構成をより小型化することができるという利点がある。ここで、電子機器は高機能化しているが、これらの機能は基本的に電子機器に搭載された入力部で入力することで起動、実行される。このため、多数の機能に対して入力部による操作を割り当てていくと、複数回の入力等が必要になるため、操作に時間がかかり操作が複雑となる。
【0006】
本発明は、上記に鑑みてなされたものであって、簡単な操作、かつ、短時間の操作で必要な操作を入力することができる電子機器を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明は、筐体と、前記筐体の表面に露出して配置される表示部と、前記筐体の表面に露出している接触面を備え、前記接触面に照射した測定光の反射光を取得して、前記接触面に接触している対象物の画像を取得し、取得した前記画像から該対象物の変位を検出する変位検出部と、前記変位検出部で検出した変位から前記対象物の回転移動を検出する回転移動検出部と、前記変位検出部で検出した変位から前記対象物の直線移動を検出する直線移動検出部と、前記回転移動検出部の検出結果に基づいて回転移動の操作信号を生成し、前記直線移動検出部の検出結果に基づいて直線移動の操作信号を生成する信号生成部と、前記信号生成部から入力された前記直線信号の操作信号及び前記回転信号の操作信号に基づいて実行する動作を制御する制御部と、を有することを特徴とする。
【0008】
また、前記回転移動検出部は、前記接触面の中心部の変位より外周部の変位の方が一定値以上大きい変位を前記対象部の回転移動として検出することが好ましい。
【0009】
また、前記回転移動検出部は、直交する2方向の変位の増減にずれがある変位を前記対象部の回転移動として検出することが好ましい。
【0010】
また、前記制御部は、前記回転移動の操作信号が入力された場合、前記直線移動の操作信号が入力された場合とは異なる処理を実行することが好ましい。
【0011】
また、前記回転移動検出部は、前記対象物が回転した角度も前記回転移動に含めて検出することが好ましい。
【0012】
また、前記信号生成部は、前記変位検出部で変位が検出された場合、前記回転移動検出部で回転移動が検出されたかを判定し、前記回転移動検出部で回転移動が検出されていない場合、前記直線移動検出部で直線移動が検出されたかを判定することが好ましい。
【0013】
また、前記変位検出部は、前記接触面の画像を連続して取得し、該画像を処理し、前記対象物の特徴点の変位を検出し、検出した前記特徴点の変位を前記対象物の変位として検出することが好ましい。
【0014】
また前記変位検出部は、前記測定光として、不可視領域の光を照射することが好ましい。
【0015】
また、前記変位検出部で検出した対象物の変化に基づいて、前記対象物の移動方向を検出する移動方向検出部をさらに有し、前記信号作成部は、前記移動方向検出部の検出結果にも基づいて操作信号を生成することが好ましい。
【0016】
また、前記信号作成部は、前記移動方向検出部で検出した移動方向に基づいて、前記回転移動の操作信号に回転方向の情報を付加しまたは前記直線移動の操作信号に移動方向の情報を付加して生成することが好ましい。
【0017】
また、前記対象物は、指または棒状の物体の先端であることが好ましい。
【発明の効果】
【0018】
本発明にかかる電子機器は、簡単な操作、かつ、短時間の操作で必要な操作を入力することができるという効果を奏する。
【図面の簡単な説明】
【0019】
【図1】図1は、携帯電話端末の外観を示す正面図である。
【図2】図2は、タッチパネル上に表示される仮想キーボードを示す図である。
【図3】図3は、入力デバイスの概略構成を示す断面図である。
【図4】図4は、入力デバイスの概略構成を示す表面図である。
【図5】図5は、入力動作の一例を説明するための説明図である。
【図6】図6は、入力動作の一例を説明するための説明図である。
【図7】図7は、携帯電話端末の機能の概略構成を示すブロック図である。
【図8】図8は、入力デバイスの動作を説明するための説明図である。
【図9】図9は、入力デバイスの動作を説明するための説明図である。
【図10】図10は、入力デバイスの動作を説明するための説明図である。
【図11】図11は、入力デバイスの動作を説明するための説明図である。
【図12】図12は、入力動作の他の例を説明するための説明図である。
【図13】図13は、入力デバイスの動作を説明するための説明図である。
【図14】図14は、携帯電話端末の動作の一例を示すフロー図である。
【図15】図15は、携帯電話端末の動作を説明するための説明図である。
【図16】図16は、携帯電話端末の他の実施形態の外観を示す正面図である。
【図17】図17は、図16に示す携帯電話端末の側面図である。
【発明を実施するための形態】
【0020】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器として携帯電話端末を例として説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、入力部を備える各種装置、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、パーソナルコンピュータ、ゲーム機等に対しても本発明は適用できる。
【実施例】
【0021】
図1は、本発明の電子装置の一実施形態である携帯電話端末1の外観を示す正面図であり、携帯電話端末1は、薄板状の筐体12を有する。携帯電話端末1は、筐体12の表面に、タッチパネル2と、ボタン20、ボタン22および入力デバイス24からなる入力部3と、レシーバ7と、マイク8とが配置されている。タッチパネル2は、板状の筐体12の面積が最も広い面に配置されている。また、入力部3も、筐体12のタッチパネル2が配置されている面の、長手方向の一方の端部に配置されている。入力部3は、短手方向の一方から他方に向かって、ボタン20、入力デバイス24、ボタン22の順で配置されている。また、レシーバ7は、筐体12のタッチパネル2が配置されている面の長手方向の他方の端部、つまり、入力部3が配置されている端部とは反対側の端部に配置されている。また、マイク8は、筐体12のタッチパネル2が配置されている面の長手方向の一方の端部、つまり、入力部3が配置されている端部に配置されている。
【0022】
タッチパネル2は、文字、図形、画像等を表示するとともに、指、スタイラス、ペン(ペンの先端、棒状部材の先端)等(以下、単に「指」という)を用いてタッチパネル2に対して行われる各種動作を検出する。ここで、図2は、タッチパネル上に表示される仮想キーボードを示す図である。例えば、携帯電話端末1は、利用者から文字の入力を受け付けるために、図2に示すように、タッチパネル2上に仮想キーボード4を表示させる。携帯電話端末1は、タッチパネル2上に仮想キーボード4を表示させる状態で、指によってタッチパネル2に入力される各種動作を検出し、仮想キーボード4のどのキーが押下されたか、接触されたかを検出し、押下、接触を検出したキーを入力したキーとすることで、文字入力を行うことができる。また、タッチパネル2は、文字の入力によらず、表示させている画像と、指によってタッチパネル2に対して行われる各種動作とに基づいて、各種操作の入力を検出し、入力された操作に基づいて各種制御を行う。
【0023】
入力部3は、ボタン20、22が押下された場合に、押下されたボタンに対応する機能を起動させる。また、入力部3は、入力デバイス24に入力された動作も操作として検出し、入力された操作に基づいて各種制御を行う。以下、図3から図5を用いて、入力デバイス24の構成について説明する。ここで、図3は、入力デバイスの概略構成を示す断面図であり、図4は、入力デバイスの概略構成を示す表面図であり、図5は、入力動作の一例を説明するための説明図である。
【0024】
入力デバイス24は、光源30と、光学ユニット32と、センサ34と、処理部36と、接触面38と、を有し、筐体12の表面に露出した接触面38に接触する指Fの動きを検出し、解析することで、指Fによって入力された操作を検出する。なお、本実施形態では、指Fの動きとしたが、接触面38に接触し、その接触の変化、つまり移動を検出することができる対象物であれば、操作を入力する対象物として用いることができる。対象物としては、上述のタッチパネル2と同様に、指、スタイラス、ペン等を用いることができる。また、接触面38は、表面に指F等の対象物が接触することにより、光の反射の特性が変化する材料で形成されている。また、接触面38は、露出面が円形形状である。なお、入力デバイス24の近傍には、タッチパネル2が配置されており、タッチパネル2は、表示部2Bと、表示部2Bに重畳されたタッチセンサ2Aとで構成されている。
【0025】
光源30は、測定光となる光を出力する光源である。光源としては、LED(Light Emitting Diode)、レーザダイオード等を用いることができる。なお、光源としては、一定の波長、特に、不可視領域の波長の光を出力する光源を用いることが好ましい。不可視領域の波長の光を用いることで、接触面38から外部に光が射出されても、認識されないようにすることができ、ユーザがまぶしい思いをすることを抑制できる。また、光学ユニットを簡単にすることができるため、指向性の高い光を射出する光源を用いることが好ましい。
【0026】
光学ユニット32は、光源30から出力された光を、接触面38に到達させた後、センサ34まで案内する光の経路を構成する機構であり、ミラー32aと、光学系32bとを有する。ミラー32aは、光源30から出力された光を反射し、接触面38に向けて偏向する。光学系32bは、光を集光、屈折させる光学部材で構成され、接触面38で反射した光をセンサ34に向けて偏向する。
【0027】
センサ34は、接触面38で反射された光を検出する光検出素子である。センサ34は、平面の検出面を有し、平面の各位置に入射される光の強度の分布を検出することで、接触面38の画像を取得する。センサ34は、検出した結果(画像)を処理部36に送る。処理部36は、入力処理部(DSP、Digital Signal Processor)であり、センサ34での検出結果に基づいて、指Fの動きを検出する。なお、処理部36については、後ほど説明する。
【0028】
入力デバイス24は、以上のような構成であり、光源30から出力した測定光を光学ユニット32で案内することで、接触面38で反射させた後、センサ34に入射させる。その後、入力デバイス24は、センサ34で入射した光の分布の情報を処理部36に送り、処理部36で、検出結果を解析することで、接触面38に接触している指F(対象物)の形状を検出する。入力デバイス24は、このように、接触面38に接触している指Fの形状の検出を一定時間毎に繰り返すことで、接触面38に接触している指Fの形状の変化、つまり、指Fの動き、指Fの移動を検出する。なお、入力デバイス24は、指Fの画像を検出することで、指Fの凹凸(指紋等)を検出し、その指紋から特徴点を検出し、その特徴点の移動を検出することで、指Fの移動を検出することができる。また、図3では、接触面38の一箇所のみを検出している状態を示しているが、同様のユニットを複数配置することで、接触面38の全域の画像を取得(検出)することができる。
【0029】
ここで、入力デバイス24は、図4に示すように、接触面38の領域が、第1領域40と、第2領域42と、第3領域44と、第4領域46とに分割して設定されている。ここで、第1領域40は、接触面38の中心を中心として、タッチパネル2に最も近い点を0°とした場合、315°から45°間までの領域である。同様に、第2領域42は、135°から225°間までの領域である。また、第3領域44は、225°から315°間までの領域である。また、第4領域46は、45°から135°間までの領域である。
【0030】
入力デバイス24は、例えば、タッチパネル2に長手方向を上下方向とした画像を表示させている場合に、第1領域40から第2領域42に指F(指Fの任意の特徴点)が移動したことを検出したら、カーソル等の操作対象が、下方向に移動する指示が入力されたと判定する。また、図5に示すように、指Fがα方向に移動し、入力デバイス24が、指Fが第3領域44から第4領域46に移動したことを検出したら、操作対象が、右方向に移動する指示が入力されたと判定する。このように、入力デバイス24は、領域を分割しておき、どの領域からどの領域に指が移動したかを検出することで、上下左右の4つのうちいずれの方向に移動する操作が入力されたかを判定することができる。つまり、入力デバイス24を方向キーとして好適に用いることができる。
【0031】
また、図6に示すように、入力デバイス24の接触面38に接触している指FがR方向(時計回り)方向に回転し、指FからFまで移動した場合、入力デバイス24は、指の回転移動を検出し、指が時計回りに回転したと判定する。このように、入力デバイス24は、指の回転移動も操作として検出する。なお、図6には、X軸方向を示すX軸とY軸方向を示すY軸とを示しているが、この軸については、後ほど説明する。
【0032】
次に、携帯電話端末1の機能と制御部との関係を説明する。図7は、図1に示す携帯電話端末1の機能の概略構成を示すブロック図である。図7に示すように携帯電話端末1は、タッチパネル2と、入力部3と、電源部5と、通信部6と、レシーバ7と、マイク8と、記憶部9と、主制御部10と、RAM(Random Access Memory)11とを有する。
【0033】
タッチパネル2は、上述したように、表示部2Bと、表示部2Bに重畳されたタッチセンサ2Aとを有する。タッチセンサ2Aは、指を用いてタッチパネル2に対して行われた各種動作を、動作が行われた場所のタッチパネル2上での位置とともに検出する。タッチセンサ2Aによって検出される動作には、指をタッチパネル2の表面に接触させる動作や、指をタッチパネル2の表面に接触させたまま移動させる動作や、指をタッチパネル2の表面から離す動作が含まれる。なお、タッチセンサ2Aは、感圧式、静電式等のいずれの検出方式を採用していてもよい。表示部2Bは、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどで構成され、文字、図形、画像等を表示する。
【0034】
入力部3は、上述したようにボタン20、22と、入力デバイス24とを有する。ボタン20、22は、物理的な入力(押下)を通じて利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部10へ送信する。なお、入力デバイス24については、後述する。
【0035】
電源部5は、蓄電池または外部電源から得られる電力を、主制御部10を含む携帯電話端末1の各機能部へ供給する。通信部6は、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。レシーバ7は、電話通信における相手側の音声や着信音等を出力する。マイク8は、利用者等の音声を電気的な信号へ変換する。
【0036】
記憶部9は、例えば、不揮発性メモリや磁気記憶装置であり、主制御部10での処理に利用されるプログラムやデータを保存する。具体的には、記憶部9は、メールの送受信や閲覧のためのメールプログラム9Aや、WEBページの閲覧のためのブラウザプログラム9Bや、入力デバイス24に入力された入力操作に基づいて制御動作、処理を決定する入力処理プログラム9Cや、文字入力時にタッチパネル2に表示される仮想キーボード4に関する定義を含む仮想キーボードデータ9Dや、入力処理で検出した入力操作と制御動作とを対応付けた条件を含む処理条件テーブル9Eを記憶する。また、記憶部9には、携帯電話端末1の基本的な機能を実現するオペレーティングシステムプログラムや、氏名、電話番号、メールアドレス等が登録されたアドレス帳データ等の他のプログラムやデータも記憶される。また、記憶部9には、タッチパネル2に入力された入力操作に基づいて制御動作、処理を決定するプログラム等も記憶される。なお、制御動作、処理とは、携帯電子機器1で実行する各種動作、処理が含まれ、例えば、カーソル、ポインタの移動、画面の表示切替、文字入力処理、各種アプリケーションの起動処理、終了処理がある。
【0037】
主制御部10は、例えば、CPU(Central Processing Unit)であり、携帯電話端末1の動作を統括的に制御する。具体的には、主制御部10は、記憶部9に記憶されているデータを必要に応じて参照しつつ、記憶部9に記憶されているプログラムを実行して、タッチパネル2、入力部3、通信部6等を制御することによって各種処理を実行する。主制御部10は、記憶部9に記憶されているプログラムや、処理を実行することによって取得/生成/加工されたデータを、一時的な記憶領域を提供するRAM11に必要に応じて展開する。なお、主制御部10が実行するプログラムや参照するデータは、通信部6による無線通信でサーバ装置からダウンロードすることとしてもよい。
【0038】
入力デバイス24は、図7に示すように、変位検出部50と、直線移動検出部52と、回転移動検出部54と、移動方向検出部56と、信号生成部58とを有する。なお、変位検出部50の一部と、直線移動検出部52と、回転移動検出部54と、移動方向検出部56と、信号生成部58とは、演算処理を実行する機能部であり、処理部36を構成する処理部により実行される。また、変位検出部50の一部と、直線移動検出部52と、回転移動検出部54と、移動方向検出部56と、信号生成部58との機能は、1つのアプリケーションソフト、プログラムで実行するようにしても、機能毎に別々のアプリケーションソフト、プログラムで実行するようにしてもよい。また、本実施形態では、処理部36と、主制御部10とを別々に設けたが、1つのCPUで両方の機能を実行するようにしてもよい。また、処理部36の一部の機能を主制御部10で実行するようにしてもよい。
【0039】
変位検出部50は、上述した光源30と、光学ユニット32と、センサ34と、処理部36の一部の機能と、接触面38とを有する。変位検出部50は、上述した処理により、接触面38の画像を取得し、解析することで、対象物の変位(移動)を検出する。変位検出部50は、一定時間毎(例えば20ms毎)に検出を行い(ポーリングデータを取得し)、接触面の画像の変化、または、何らかの接触があったことを検出したら、変位を検出する処理を開始する。
【0040】
直線移動検出部52は、変位検出部50で検出した画像の情報または対象物の変位の情報から、対象物の直線移動を検出する。直線移動検出部52は、単位時間当たりごとに変位量を検出し、検出した変位量の積算値、つまり対象物の移動量が一定の値を超えたら、対象物が直線移動したと検出する。なお、直線移動検出部52は、直線移動の検出の基準は、種々の設定とすることができる。例えば、一定時間内での移動量の積算値が閾値を超えたら移動したと判定してもよい。また、単位時間当たりの変位量(瞬時値、一回の検出で検出した変位量)が一定の値を超えたら移動したと判定してもよい。直線移動検出部52は、直線移動の検出結果を信号生成部58に送る。
【0041】
回転移動検出部54は、変位検出部50で検出した画像の情報または対象物の変位の情報から、対象物の回転移動を検出する。回転移動検出部54による回転移動の検出方法については後ほど説明する。回転移動検出部54は、回転移動の検出結果を信号生成部58に送る。
【0042】
移動方向検出部56は、変位検出部50で検出した変位の方向を検出し、対象物が移動した方向を検出する。つまり、移動方向検出部56は、対象物が、第1領域40から第4領域46のいずれから、第1領域40から第4領域46のいずれかに移動したかを検出し、検出した移動方向の情報を信号生成部58に送る。また、移動方向検出部56は、対象物の回転方向が時計回りであるか、反時計回りであるかも検出し、検出した回転方向の情報を信号生成部58に送る。
【0043】
信号生成部58は、直線移動検出部52と、回転移動検出部54と、移動方向検出部56とから送られている情報に基づいて、操作信号を生成し、生成した操作信号を主制御部10に送る。本実施形態では、信号生成部58は、直線移動検出部52で対象物が直線移動したことを検出した場合、直線移動の操作信号を生成し、回転移動検出部54で対象物が回転移動したことを検出した場合、回転移動の操作信号を生成する。また、信号生成部58は、同じ検出タイミングで、対象物の直線移動と回転移動とが検出された場合は、回転移動の操作信号を生成する。また、信号生成部58は、直線移動の操作信号または回転移動の操作信号を生成し、生成した操作信号を主制御部10に出力したら、直線移動検出部52と、回転移動検出部54と、移動方向検出部56と、の検出結果を初期化する。これにより、直線移動検出部52と、回転移動検出部54と、移動方向検出部56とは、操作信号が主制御部10に送信される毎に検出値が初期化される。
【0044】
また、信号生成部58は、移動方向検出部56から送られた移動方向の情報に基づいて、移動方向を示す操作信号を生成し、主制御部10に送る。なお、信号生成部58は、直線移動の操作信号または回転移動の操作信号を生成するときに、移動方向を示す操作信号を生成するようにしても、直線移動の操作信号及び回転移動の操作信号の生成とは関係なく、移動方向を示す操作信号を生成するようにしてもよい。なお、信号生成部58は、回転移動の操作信号を生成する場合は、移動方向を示す操作信号として、回転方向を示す操作信号を生成する。
【0045】
入力デバイス24は、以上のような構成である。入力デバイス24は、変位検出部50で対象物の変位を検出する。入力デバイス24は、直線移動検出部52が変位検出部50で検出した値に基づいて対象物の直線成分の移動を検出し、回転移動検出部54が変位検出部50で検出した値に基づいて対象物の回転成分の移動を検出する。また、入力デバイス24は、移動方向検出部56が変位検出部50で検出した値に基づいて対象物の移動方向(縦、横、斜め等の直線成分の移動方向と、時計回り、反時計回り回転成分の移動方向)を検出する。ここで、移動方向検出部56は、X軸の変位、X軸に直交するY軸の変位、X軸及びY軸に直交するZ軸周りの回転変位を検出する。また、移動方向検出部56、各軸に対して変位がプラス方向の変位量であるか、マイナス方向(プラス方向とは逆方向)の変位量であるかを検出し、移動方向を検出する。信号生成部58は、検出された結果に基づいて操作信号を生成する。また、入力デバイス24は、直線移動の検出制御と、回転移動の検出制御とを並列で実行する。
【0046】
次に、図6及び図8から図13を用いて、入力デバイスの回転操作の検出動作について説明する。ここで、図8から図13は、それぞれ、入力デバイスの動作を説明するための説明図である。図8から図10は、変位検出部50で検出した接触面の画像を解析する解析方法を模式的に示す図である。また、図11は、変位量の検出結果と時間との関係を示すグラフである。また、図12は、入力動作の他の例を説明するための説明図であり、図13は、変位量の検出結果と時間との関係を示すグラフである。なお、図11及び図13は、縦軸を変位量とし、横軸を時間とした。また、図11及び図13は、図6のX軸方向の変位をX軸変位として検出し、Y軸方向の変位をY軸変位として検出した。つまり、図6中右から左方向をX軸方向のプラスの変位として検出し、図6中上方向をY軸方向のプラスの変位として検出する。
【0047】
ここで、図6に示すように、接触面38に接触している指FがR方向(時計回り)方向に回転し、指FからFまで移動した場合、具体的には指が時計回りに約45°回転した場合、入力デバイス24は、変位検出部50で一定時間毎に画像を取得し、指Fが接触しているときの画像50を取得し、指Fが接触しているときの画像52を取得する。ここで、画像50は、指Fの指紋パターン51の画像であり、画像52は、指Fの指紋パターン53の画像である。また、画像50と、画像52とは、接触面38の同一部分の画像であり、接触面の中心付近の一部の画像である。また、指紋パターン51、53は、指の指紋の一部の特徴部分のみを模式的に示したものである。
【0048】
回転移動検出部54は、変位検出部50から画像50と画像52とを取得し、指紋パターン51と指紋パターン53とを比較する。具体的には、回転移動検出部54は、図9に示すように、指紋パターン51と指紋パターン53とを重ねた画像56を作成する。さらに、回転移動部54は、指紋パターン51と指紋パターン53とで対応する特徴点の移動量を算出する。例えば、図10に示すように、指紋パターン51の特徴点を直線近似した直線58と、指紋パターン53の特徴点を直線近似した直線59とを算出し、接触面38の中心側の移動量62と、接触面38の外縁側の移動量64とを算出する。回転移動検出部54は、検出した移動量62と移動量64とを比較し、移動量の差が一定以上(または移動量の比が移動量62よりも移動量64の方が一定割合以上大きい)場合、対象物が回転していると判定する。
【0049】
このように、回転移動検出部54は、接触面38の中心側にある特徴点の移動量と外縁側にある特徴点の移動量とを比較することで、対象物が回転しているかを判定することができる。なお、特徴点は、それぞれ一点でもよいし、複数点でもよい。また、図10に示したように、複数点の特徴点を用いて対象物の特徴点を直線で検出し、移動開始時の対象物の形状と移動終了時の対象物の形状とを比較することで、対象物が回転しているかをより好適に検出することができる。
【0050】
また、回転移動検出部54は、接触面38の中心側にある特徴点の移動量と外縁側にある特徴点の移動量とを比較することで、実際の回転中心を求めなくても対象物が回転しているかを判定し対象物の回転を検出することができる。なお、回転移動検出部54は、画像を解析することまたは特徴点の比較することで、対象物の回転中心を検出し、その回転中心を中心とした特徴点の回転を検出し、回転角度が一定以上となった場合、当該入力を回転操作として検出してもよい。
【0051】
また、回転移動検出部54による回転の検出方法はこれに限定されない。回転移動検出部54は、対象物の移動をX軸方向、Y軸方向の2軸方向に分解して検出し、その検出結果に基づいて対象物の移動が回転移動であるかを判定するようにしてもよい。回転移動検出部54は、図6に示す指Fの位置から指Fの位置まで回転移動が入力された場合、指の特徴点の移動を、X軸方向における移動とY軸方向における移動とに分解して検出する。回転移動検出部54は、図6に示す指の移動をX軸方向における移動とY軸方向における移動とに分解して検出することで図11に示すグラフのように検出する。ここで図11に示すグラフは、各検出時の移動量の瞬時値(直線の位置に対する移動量)であり、グラフの面積が入力開始から終了までの移動量となる。図11に示す移動の検出では、時間0のとき移動が開始され、時間tのとき移動が終了する。指Fの位置から指Fの位置まで回転移動が入力された場合、X軸方向の移動は+の値で検出され、Y軸方向の移動は−の値で検出される。また、指Fの位置から指Fの位置まで回転移動が入力された場合、X軸方向の変位量は時間tのとき最大値となり、Y軸方向の変位量は時間tのとき最大値となる。このように、回転操作が入力された場合、回転角度によって特徴点のX軸方向の移動量とY軸方向の移動量との相対関係が変化する。このため、各軸の変位が最大となるタイミングが一定時間ずれる。
【0052】
なお、指の回転量や回転方向によって、検出される変位量の大きさや変位量が最大となるタイミングのずれ量は、変化するが、変位量が最大となるタイミングがずれること、また、各軸の変位の増減パターンが異なるパターンとなることは変わらない。
【0053】
例えば、図12に示すように、指が指Fの位置から指Fの位置を通過し指Fの位置までR方向に回転移動する操作(指をR方向に90°回転させる操作)が入力された場合、回転移動検出部54は、指の移動を図13に示すグラフのように検出する。図13に示す移動の検出では、時間0のとき移動が開始され、時間tのとき移動が終了する。また指Fの位置から指Fの位置まで回転移動が入力された場合も、X軸方向の移動は+の値で検出され、Y軸方向の移動は−の値で検出される。また、指Fの位置から指Fの位置まで回転移動が入力された場合、X軸方向の変位量は時間tのとき最大値となり、Y軸方向の変位量は時間tのとき最大値となる。図12及び図13に示すように指の回転角度が大きくなった場合、入力時間や検出されるX軸方向の移動量やY軸方向の移動量は、変化するが図111の場合と同様に各軸の変位が最大となるタイミングが一定時間ずれる。
【0054】
回転移動検出部54は、この関係を用いて、対象物の移動をX軸方向における移動とY軸方向における移動とに分解して検出し、その変位量の変化のパターンを比較することで、対象物が回転しているかを検出することができる。なお、対象物の移動は、直線移動の場合は、X軸方向の移動パターン(変位量の増減パターン)とY軸方向の移動パターン(変位量の増減パターン)とが比例関係となるため、各軸の変位が最大となるタイミングが同一となる。このため、各軸の移動パターンを比較することで回転移動か、直線移動かを判定することができる。
【0055】
また、入力デバイス24は、上記回転移動の検出に用いる特徴点の特定や、特徴点の移動情報等を変位検出部50で算出し、変位検出部50で算出された算出結果に基づいて回転移動であるかの判定を回転移動検出部54で行うようにしてもよい。
【0056】
なお、入力デバイス24及び移動方向検出部56は、X軸方向の移動の正負と、Y軸方向の移動の正負との組み合わせにより回転方向を検出することができ、X軸方向の移動量、Y軸方向の移動量の比で、直線移動の移動角度も検出することができる。
【0057】
次に、携帯電話端末1が入力デバイスへの操作を受け付ける場合の動作について説明する。図14は、携帯電話端末の動作の一例を示すフロー図である。また、図14に示す携帯電話端末1の各動作は、入力デバイス24の処理部36と主制御部10の両方で情報の送受信を行い処理される。
【0058】
まず、携帯電話端末1は、ステップS12として、入力デバイス24の変位検出部50により変位があるかを判定する。つまり、接触面38に対象物が接触しており操作が入力されている状態であるかを判定する。なお、本実施形態では、変位があるかの判定を、変位検出部50で変位が一定以上であるかを基準として判定したが、直線移動検出部52及び回転移動検出部54の少なくとも一方で移動を検出した状態となったかを基準として判定してもよい。携帯電話端末1は、ステップS12で変位なし(No)と判定したら、ステップS12に進む。つまり、携帯電話端末1は、接触面38に対象物が接触しており操作が入力されている状態を検出するまでステップS12の処理を繰り返す。
【0059】
携帯電話端末1は、ステップS12で変位あり(Yes)と判定したら、ステップS14として、回転しているかを判定する。つまり、入力デバイス24で操作が入力されていると判定したら、入力されている操作が回転操作であるかを判定する。なお、回転操作であるか否かは回転移動検出部54で回転移動が検出されたかで判定すればよい。
【0060】
携帯電話端末1は、ステップS14で回転あり(Yes)、つまり入力された操作が回転移動の操作であると判定したら、ステップS16として回転方向を検出する。なお、回転方向は、移動方向検出部56により検出する。携帯電話端末1は、ステップS16で回転方向を検出したら、ステップS18として、回転操作信号(回転移動の操作信号)を生成する。なお、回転操作信号は、回転移動検出部54で検出した回転移動の検出結果と移動方向検出部56により検出した回転方向の検出結果とに基づいて信号生成部58で生成される信号である。携帯電話端末1は、ステップS18で回転操作信号を生成したら、ステップS24に進む。
【0061】
携帯電話端末1は、ステップS14で回転なし(No)、つまり入力された操作が直線移動の操作であると判定したら、ステップS20として移動方向を検出する。なお、移動方向は、移動方向検出部56により検出する。携帯電話端末1は、ステップS20で移動方向を検出したら、ステップS22として、直線操作信号(直線移動の操作信号)を生成する。なお、直線操作信号は、直線移動検出部52で検出した直線移動の検出結果と移動方向検出部56により検出した移動方向の検出結果とに基づいて信号生成部58で生成される信号である。携帯電話端末1は、ステップS22で回転操作信号を生成したら、ステップS24に進む。
【0062】
携帯電話端末1は、ステップS18、ステップS22で操作信号を生成したら、ステップS24として、入力デバイス24で生成した操作信号を主制御部10に出力する。なお、主制御部10は、入力された操作信号と起動している各種機能とに基づいて、入力された操作信号に対応する制御を実行する。つまり、主制御部10は、入力処理プログラム9Cを読み出し実行し、処理条件テーブル9Eと操作信号とに基づいて実行する処理を決定し、決定した処理(制御)を実行する。また、携帯電話端末1は、操作が入力可能な状態の場合、図14に示すフロー図の処理を繰り返し、入力デバイス24に入力される操作の検出を繰り返す。
【0063】
携帯電話端末1は、図14に示す処理により、入力デバイス24に入力される操作を検出することで、指等の対象物が直線移動する操作と、対象物が回転移動する操作の両方を操作として検出することができる。このように、入力デバイス24により、対象物の直線移動の操作に加え回転移動の操作が検出できることで入力可能な操作を多くすることができる。つまり、入力デバイス24に操作を入力することで、実行できる処理をより多くすることができる。つまり、入力デバイス24以外の入力部3の操作に割り当てていた処理を入力デバイス24の回転操作に割り当てることができる。これにより、入力部3でさらに多くの処理を実行するための操作を入力することができる。また、入力デバイス24の内部処理により直線移動に加え回転移動を検出できるため、装置構成を増やすことなく入力可能な操作を増やすことができる。
【0064】
また、回転操作は、直感的に入力しやすいため、複数の操作を組み合わせる入力操作よりも簡単に入力することができる。また、回転移動が検出可能となることで、直感的な操作を入力しやすくできる。例えば、回転移動の操作に対して、表示画像の回転の処理を対応付けることで、入力デバイス24への回転移動の操作の入力により表示画像を回転させることができる。
【0065】
上記実施形態のように回転操作とともに移動方向検出部56で移動方向を検出することで、回転操作の回転方向に毎に異なる処理を実行させることができる。これにより、回転操作によってより多くの種類の操作が入力することが可能となる。
【0066】
本実施形態の携帯電話端末1は、操作の入力開始と入力終了との差分により回転操作、直線操作を検出しているため、対象物がどのような角度で入力を開始しても、回転移動を検出することができる。
【0067】
なお、上記実施形態では、回転の検出を優先したがこれには限定されない。携帯電話端末1及び入力デバイス24は、回転移動と直線移動が同時に検出されたら、直線移動の検出を優先してもよい。つまり、回転移動としても直線移動としても検出される操作が入力された場合、どちらの操作を優先的に検出するかは設定により調整すればよい。
【0068】
ここで、主制御部10は、回転操作信号が入力された場合に実行する処理としては、種々の処理を実行することができる。ここで、図15は、携帯電話端末の動作を説明するための説明図である。図15に示す携帯電話端末1は、タッチパネル2に受信メールの一覧の画像90が表示している。また、受信メールの一覧のうち、いずれの受信メールが選択された状態であるかを示すカーソル92も表示されている。ユーザは、画像90及びカーソル92が表示されている状態で、入力デバイス24に指で回転操作を入力する。具体的には、図15中左の図から右の図に示すように入力デバイス24に接触している指を、指Fの位置からFに示す位置までR方向に回転させる。携帯電話端末1は、指の回転移動の操作を検出したら、カーソル92で指定している受信メールをロック状態(保護状態)とし、ロック状態であることを示すアイコン94を画像90に重ねて表示する。
【0069】
このように、図15に示す例では、回転操作に受信メールのロック処理を対応付けることで、メニュー画面を選択してロック処理の項目を選択する操作等を入力しなくても、受信メールのロック処理を実行することができる。
【0070】
また、上記実施形態では、回転操作を受信メールのロック操作とした場合を例として説明したが、本発明はこれに限定されず、回転操作を種々の操作に対応付けることができる。例えば、回転操作の入力を検出したら、キーの長押し動作や、特定キーの操作で実行していた動作を実行するようにしてもよい。これにより、指を回転させるだけで操作が入力できるため、キーの長押し動作で必要な時間よりも短い時間で操作を入力することができる。また、特定キーの設置を省略できるため、入力できる操作の数を減らさずに、装置構成を簡単にすることができる。
【0071】
なお、回転移動検出部54は、回転移動の入力の検出に加え、入力された回転移動の回転角度を検出することが好ましい。入力デバイス24は、回転移動検出部54により入力された回転操作の回転角度を検出することで、回転角度に応じて異なる操作を割り当てることができ、回転操作によってより多くの種類の操作が入力することが可能となる。例えば、操作が、45°の回転の場合と、90°の回転の場合とで異なる処理を実行する設定とすることで、回転操作を入力した場合も2つの異なる処理を実行することができる。例えば、メールの一覧を表示させている場合は、90°の回転移動に、キーロック処理を対応付け、45°の回転移動にメールのロック処理を対応付けるようにしてもよい。
【0072】
回転移動検出部54は、種々の方法で回転角度を検出することができる。例えば、特徴点の移動量の差で検出する場合は、外縁側の移動量に回転角度を対応付ければよい。また、回転中心を算出し、回転角度を検出するようにしてもよい。また、直交する2つの軸方向の変位のパターンで算出する場合は、その変位のパターンに基づいて、回転角度を算出することができる。
【0073】
なお、入力デバイスの直線移動で入力する操作としては、マウス、ジョイスティック、トラックボール等のいわゆるポインティングデバイスで入力可能な各種操作があり、カーソルの移動や、ポインタの移動、画面のスクロール等が例示される。このように、本実施形態の入力デバイスは、直線移動と回転移動の両方を操作として検出することで、1つの入力デバイスで種々の操作を入力することができる。これにより、簡単な操作でより多くの操作を入力することが可能となる。
【0074】
また、入力デバイス24は、本実施形態のように、直線移動検出部52と回転移動検出部54とを並列で処理することが好ましい。これにより、処理時間を短くすることができる。
【0075】
ここで、上記実施形態では、携帯電話端末として、タッチパネルを有する構成としたが、本発明はこれに限定されない。図16は、実施形態に係る携帯電話端末の他の実施形態の概略構成を示す正面図であり、図17は、図16に示す携帯電話端末の側面図である。図16、図17に示す携帯電話端末100は、無線通信機能を有する携帯電話機である。携帯電話端末100は、筐体101Cが複数の筐体で構成される。具体的には、筐体101Cは、第1筐体101CAと第2筐体101CBとで開閉可能に構成される。すなわち、携帯電話端末100は、折り畳み式の筐体を有する。なお、携帯電話端末100の筐体は、このような構造に限定されるものではない。例えば、携帯電話端末100の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して両方の筐体を連結したものでもよい。
【0076】
第1筐体101CAと第2筐体101CBとは、連結部であるヒンジ機構108で連結されている。ヒンジ機構108で第1筐体101CAと第2筐体101CBとを連結することにより、第1筐体101CA及び第2筐体101CBは、ヒンジ機構108を中心として、図17の矢印130で示す方向に相対的に回動できる。第1筐体101CAと第2筐体101CBとは、ヒンジ機構108を中心として、図17中実線で示す位置から、図17中点線で示す位置、折り畳まれた状態となる位置まで移動することができる。
【0077】
第1筐体101CAには、表示部として、図16に示すディスプレイ102が設けられる。ディスプレイ102は、携帯電話端末100が受信を待機している状態のときに待ち受け画像を表示したり、携帯電話端末100の操作を補助するために用いられるメニュー画像を表示したりする。また、第1筐体101CAには、携帯電話端末100の通話時に音声を出力する出力手段であるレシーバ106が設けられる。
【0078】
第2筐体101CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー113Aが複数設けられ、また、操作キー113Aのヒンジ108側には、入力デバイス113Bが設けられている。操作キー113A及び入力デバイス113Bは、携帯電話端末100の操作部113を構成する。また、第2筐体101CBには、携帯電話端末100の通話時に音声を受け取る音声取得手段であるマイク115が設けられる。操作部113は、図17に示す、第2筐体101CBの操作面101PCに設けられる。操作面101PCとは反対側の面が、携帯電話端末100の背面101PBである。
【0079】
第2筐体101CBの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電話端末100と基地局との間で通話や電子メール等に係る電波(電磁波)の送受信に用いられる。また、第2筐体101CBには、マイク115が設けられる。マイク115は、図17に示す、携帯電話端末100の操作面100PC側に配置される。
【0080】
携帯電話端末100のように、操作キー113Aを有する場合も、入力デバイス113Bを設けることで、上述した各種操作が入力することができる。つまり、入力デバイス113Bを、ディスプレイ102に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向や、決定キー、その他特殊キーとして用いることができる。
【0081】
また、上記実施形態では、直線移動と、回転移動とを別々に検出して制御を行ったが、これに限定されない。携帯電話端末(電子機器)は、入力デバイスで検出した、直線移動と、回転移動との両方に基づいて、入力された操作を判定すればよく、種々の基準で操作を判定することができる。また、上記実施形態では、入力デバイスで操作信号を生成したが、入力デバイスは、対象物の変位のみ(つまり、接触面の画像の情報または特徴点の位置の変化情報)を検出し、主制御部で直線移動と、回転移動との検出を行ってもよい。
【0082】
なお、上述した入力部(入力デバイス及びその制御)は、上述したように種々の電子機器に用いることができるが、上述したように携帯電子機器、特に携帯電話端末に用いることが好ましい。携帯電子機器、特に携帯電話端末のように、小型化、薄型化されており、配置できる入力部の領域が小さい場合でも、1つの入力デバイスで種々の入力が可能となる。このため、本発明の効果をより好適に得ることができる。
【産業上の利用可能性】
【0083】
以上のように、本発明に係る電子機器は、操作の入力に有効であり、カーソル、ポインタを移動させることが必要な場合に特に適している。
【符号の説明】
【0084】
1 携帯電話端末
2 タッチパネル
2A タッチセンサ
2B 表示部
3 入力部
4 仮想キーボード
5 電源部
6 通信部
7 レシーバ
8 マイク
9 記憶部
9A メールプログラム
9B ブラウザプログラム
9C 入力処理プログラム
9D 仮想キーボードデータ
9E 処理条件テーブル
10 主制御部
11 RAM
12 筐体
20、22 ボタン
24 入力デバイス
30 光源(LED素子)
32 光学ユニット
32a ミラー
32b 光学系
34 センサ
36 処理部
38 接触面
40 第1領域
42 第2領域
44 第3領域
46 第4領域
50 変位検出部
52 直線移動検出部
54 回転移動検出部
56 移動方向検出部
58 信号生成部

【特許請求の範囲】
【請求項1】
筐体と、
前記筐体の表面に露出して配置される表示部と、
前記筐体の表面に露出している接触面を備え、前記接触面に照射した測定光の反射光を取得して、前記接触面に接触している対象物の画像を取得し、取得した前記画像から該対象物の変位を検出する変位検出部と、
前記変位検出部で検出した変位から前記対象物の回転移動を検出する回転移動検出部と、
前記変位検出部で検出した変位から前記対象物の直線移動を検出する直線移動検出部と、
前記回転移動検出部の検出結果に基づいて回転移動の操作信号を生成し、前記直線移動検出部の検出結果に基づいて直線移動の操作信号を生成する信号生成部と、
前記信号生成部から入力された前記直線信号の操作信号及び前記回転信号の操作信号に基づいて実行する動作を制御する制御部と、を有することを特徴とする電子機器。
【請求項2】
前記回転移動検出部は、前記接触面の中心部の変位より外周部の変位の方が一定値以上大きい変位を前記対象部の回転移動として検出することを特徴とする請求項1に記載の電子機器。
【請求項3】
前記回転移動検出部は、直交する2方向の変位の増減にずれがある変位を前記対象部の回転移動として検出することを特徴とする請求項1に記載の電子機器。
【請求項4】
前記制御部は、前記回転移動の操作信号が入力された場合、前記直線移動の操作信号が入力された場合とは異なる処理を実行することを特徴とする請求項1から3のいずれか1項に記載の電子機器。
【請求項5】
前記回転移動検出部は、前記対象物が回転した角度も前記回転移動に含めて検出することを特徴とする請求項1から4のいずれか1項に記載の電子機器。
【請求項6】
前記信号生成部は、前記変位検出部で変位が検出された場合、前記回転移動検出部で回転移動が検出されたかを判定し、
前記回転移動検出部で回転移動が検出されていない場合、前記直線移動検出部で直線移動が検出されたかを判定することを特徴とする請求項1から5のいずれか1項に記載の電子機器。
【請求項7】
前記変位検出部は、前記接触面の画像を連続して取得し、該画像を処理し、前記対象物の特徴点の変位を検出し、検出した前記特徴点の変位を前記対象物の変位として検出することを特徴とする請求項1から6のいずれか1項に記載の電子機器。
【請求項8】
前記変位検出部は、前記測定光として、不可視領域の光を照射することを特徴とする請求項1から7のいずれか1項に記載の電子機器。
【請求項9】
前記変位検出部で検出した対象物の変化に基づいて、前記対象物の移動方向を検出する移動方向検出部をさらに有し、
前記信号作成部は、前記移動方向検出部の検出結果にも基づいて操作信号を生成することを特徴とする請求項1から8のいずれか1項に記載の電子機器。
【請求項10】
前記信号作成部は、前記移動方向検出部で検出した移動方向に基づいて、前記回転移動の操作信号に回転方向の情報を付加しまたは前記直線移動の操作信号に移動方向の情報を付加して生成することを特徴とする請求項9に記載の電子機器。
【請求項11】
前記対象物は、指または棒状の物体の先端であることを特徴とする請求項1から10のいずれか1項に記載の電子機器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2012−94013(P2012−94013A)
【公開日】平成24年5月17日(2012.5.17)
【国際特許分類】
【出願番号】特願2010−241551(P2010−241551)
【出願日】平成22年10月27日(2010.10.27)
【出願人】(000006633)京セラ株式会社 (13,660)
【Fターム(参考)】