タッチパネル付きユーザインタフェース装置、ユーザインタフェース制御方法およびユーザインタフェース制御プログラム

【課題】タッチパネルを有するユーザインタフェース装置において、タッチ操作に対応した機能の操作性を向上させる。
【解決手段】物体近接検出部２は、タッチパネル１から出力される検知信号を用いて、物体のタッチパネル１への近接状態を判定する。指／掌判別部３は、物体近接検出部２において物体が近接したと判定された場合に、その物体がユーザの指であるか掌であるかを判別し、判別結果を出力する。座標検出部４は、指／掌判別部３において近接した物体が指であると判別された場合に、近接している指のタッチパネル１上の近接位置座標を検出する。アプリケーション選択部５は、指／掌判別部３の判別結果および座標検出部４の近接位置座標に基づいて、実行するアプリケーションを選択する。表示部６は、アプリケーション選択部５によって選択されたアプリケーションに対応して適切な画面表示を行う。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静電タッチパネルへの指または掌の近接を判別して実行するアプリケーションを切り替えるユーザインタフェース装置、その制御方法および制御プログラムに関するものである。
【背景技術】
【０００２】
近年、携帯電話やデジタルカメラをはじめとする情報処理端末に搭載されるコンテンツや機能は増加の一途をたどり、コンテンツを閲覧する場合または機能を操作する場合に、ユーザの操作が複雑化してきている。そこで、複雑なコンテンツや機能を簡単に、また直感的に操作可能なユーザインタフェースを実現することが課題となっている。
この課題に対して、例えば特許文献１の操作入力装置は、カメラで撮影した画像に基づいてユーザの手の形状および動きの方向を認識し、認識結果に対応した操作を選択したり、操作のための各種パラメータを変更したりしていた。
また、特許文献２のデータ入力装置は、手または指の部分ごとに異なる掌紋または指紋、その組み合わせを異なるデータに対応付けて格納しておき、掌紋または指紋を読み取ることが可能な画像読み取り手段を手または指の一部に装着して他の指または手の一部を読み取って、対応付けてあるデータに変換して入力を行っていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２１６０６９号公報
【特許文献２】特開２０００−２４２４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のユーザインタフェース装置は以上のように構成されているので、特許文献１，２にはユーザの操作入力を認識するためにタッチパネルを用いることは開示されていなかった。このため、タッチパネルにユーザの指が近接したのか掌が近接したのかを判別して操作に結び付ける技術、および個人差に大きく依存する指紋および掌紋を用いずに指と掌を判別する技術について何ら開示も示唆もされておらず、タッチパネルを用いて複雑なコンテンツや機能を簡単に、直感的に操作させるユーザインタフェースを十分に実現することはできない課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、タッチパネルを有するユーザインタフェース装置において、タッチ操作に対応した機能の操作性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係るタッチパネル付きユーザインタフェース装置は、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出部と、物体近接検出部が近接状態を検知した場合に、出力値から物体がユーザの指か掌かを判別する指／掌判別部と、指／掌判別部が物体を指と判別した場合に、当該指のタッチパネルにおける近接位置座標を検出する座標検出部と、指／掌判別部が判別した結果および座標検出部が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択部と、アプリケーション選択部が選択したアプリケーションに対応した表示を行う表示部とを備えるようにしたものである。
【０００７】
この発明に係るタッチパネル付きユーザインタフェース装置のユーザインタフェース制御方法は、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出ステップと、物体近接検出ステップで近接状態を検知した場合に、出力値から物体がユーザの指か掌かを判別する指／掌判別ステップと、指／掌判別ステップで物体を指と判別した場合に、当該指のタッチパネルにおける近接位置座標を検出する座標検出ステップと、指／掌判別ステップで判別した結果および座標検出ステップで検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択ステップと、アプリケーション選択ステップで選択したアプリケーションに対応した表示を行う表示ステップとを備えるようにしたものである。
【０００８】
この発明に係るタッチパネル付きユーザインタフェース装置のユーザインタフェース制御プログラムは、コンピュータを、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出手段と、物体近接検出手段が近接状態を検知した場合に、出力値から物体がユーザの指か掌かを判別する指／掌判別手段と、指／掌判別手段が物体を指と判別した場合に、当該指のタッチパネルにおける近接位置座標を検出する座標検出手段と、指／掌判別手段が判別した結果および座標検出手段が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択手段と、アプリケーション選択手段が選択したアプリケーションに対応した表示を行う表示手段として機能させるようにしたものである。
【発明の効果】
【０００９】
この発明によれば、タッチパネルの出力値から近接物体が指か掌かを判別してアプリケーションを選択するようにしたので、通常の指によるタッチ操作に加えて掌による操作も可能となり、タッチ操作に対応した機能の操作性を向上させることができる。また、掌による操作に特定のアプリケーションを対応付けておくことにより、表示画面からこのアプリケーション実行用ボタンを削除でき、画面を簡略化させることができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１に係るユーザインタフェース装置の構成を示すブロック図である。
【図２】実施の形態１に係るユーザインタフェース装置の動作を示すフローチャートである。
【図３】図１に示すタッチパネルの構成を示す模式図である。
【図４】図１に示す物体近接検出部がタッチパネルと物体の距離を検出する方法を示す説明図であり、タッチパネルと物体が近接した状態を図４（Ａ）に示し、接触した状態を図４（Ｂ）に示す。
【図５】図１に示す指／掌判別部がタッチパネルに指が近接したことを判別する方法を説明する図であり、タッチパネルと指が近接した状態を図５（Ａ）に示し、この状態の静電容量のグラフを図５（Ｂ）に示す。
【図６】図１に示す指／掌判別部がタッチパネルに掌が近接したことを判別する方法を説明する図であり、タッチパネルと掌が近接した状態を図６（Ａ）に示し、この状態の静電容量のグラフを図６（Ｂ）に示す。
【図７】図１に示すアプリケーション選択部が選択したアプリケーションの説明図であり、指が近接した場合のアプリケーションの例を図７（Ａ）に示し、掌が近接した場合の例を図７（Ｂ）に示す。
【図８】この発明の実施の形態２に係るユーザインタフェース装置の構成を示すブロック図である。
【図９】実施の形態２に係るユーザインタフェース装置の動作を示すフローチャートである。
【図１０】図８に示すメモリが保存しているセンサ電極の位置座標の情報の構造を示す説明図である。
【図１１】タッチパネルに近接した掌の掌ジェスチャに応じた、メモリに保存されるセンサ電極の状態の例を示す説明図である。
【図１２】図８に示すアプリケーション選択部が選択したプリケーションの説明図であり、指ジェスチャによる操作の場合のアプリケーションの例を図１２（Ａ）に示し、掌ジェスチャによる操作の場合のアプリケーションの例を図１２（Ｂ）に示す。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１に係るユーザインタフェース装置の構成を示すブロック図である。図１に示すように、実施の形態１によるユーザインタフェース装置は、タッチパネル１、物体近接検出部２、指／掌判別部３、座標検出部４、アプリケーション選択部５、表示部６および制御部７から構成される。
【００１２】
タッチパネル１は、ユーザの指または掌等、物体による入力を検知し、検知信号を物体近接検出部２へ出力する。物体近接検出部２は、タッチパネル１から出力される検知信号を用いて、物体のタッチパネル１への近接状態を判定する。指／掌判別部３は、物体近接検出部２において物体が近接したと判定された場合に、その物体が指であるか掌であるかを判別し、判別結果を出力する。座標検出部４は、指／掌判別部３において近接した物体が指であると判別された場合に、近接している指のタッチパネル１上の近接位置座標を検出する。アプリケーション選択部５は、指／掌判別部３の判別結果および座標検出部４の近接位置座標に基づいて、実行するアプリケーションを選択する。表示部６は、アプリケーション選択部５によって選択されたアプリケーションに対応して適切な画面表示を行う。制御部７は全体の動作を制御する。
【００１３】
次に、実施の形態１によるユーザインタフェース装置の動作を説明する。図２は、実施の形態１に係るユーザインタフェース装置の動作を示すフローチャートである。
先ず、物体近接検出部２が、タッチパネル１への物体の近接があったか否かを判定し（ステップＳＴ１）、物体の近接が検知されるまでステップＳＴ１の動作を行う。
【００１４】
図３は、タッチパネル１の構成を示す模式図である。本実施の形態では、タッチパネル１として、物体１０とタッチパネル１との間の微弱な静電容量の変化を検出することで物体１０のタッチパネル１への近接（および接触）を検出する静電容量方式の投射容量型タッチパネルを用いる。この他、タッチパネル１として静電容量方式の表面容量型タッチパネルを用いて、静電容量の変化量に従って物体１０のタッチパネル１への近接を検出するようにしてもよい。
【００１５】
投射容量型のタッチパネル１は、図３に示すように、ｘ方向の座標値を検出するためにｙ方向と平行に配置された複数のｘ方向センサ電極１１と、ｙ方向の座標値を検出するためにｘ方向と平行に配置された複数のｙ方向センサ電極１２とから構成される。物体近接検出部２はこれらセンサ電極１１，１２が出力する検知信号に基づいて、タッチパネル１へ物体１０が近接または接触した場合に、ｘ方向センサ電極１１およびｙ方向センサ電極１２のうち、ｘ，ｙ方向それぞれどのセンサ電極が反応しているかを検出することで、物体１０のタッチパネル１上におけるｘ，ｙ方向の位置（以下、それぞれｘ座標、ｙ座標と呼ぶ）を検出することができる。
【００１６】
図４は、物体近接検出部２がタッチパネル１と物体１０の距離を検出する方法を示す説明図であり、タッチパネル１と物体１０の間の静電容量の変化量と距離との関係を示すグラフである。グラフに示すように、タッチパネル１と物体１０との距離が近くなるにつれて、タッチパネル１と物体１０の間の静電容量が大きくなる。
静電容量の変化の度合いはタッチパネル１と物体１０との距離によって変化するため、物体近接検出部２は、タッチパネル１と物体１０との間の静電容量の変化度合いから、物体１０がタッチパネル１へ近接したか、または接触したかを判定することができる。具体的には、静電容量の変化量が所定の閾値Ｔｈ１以上の場合（領域Ａ）に物体１０がタッチパネル１へ近接したと判定し（図４（Ａ））、閾値Ｔｈ１未満の場合に近接していないと判定する。さらに、静電容量の変化量が閾値Ｔｈ２（＞Ｔｈ１）以上の場合（領域Ｂ）には、物体１０がタッチパネル１に接触したと判定することができる（図４（Ｂ））。
【００１７】
説明を図２に戻す。物体近接検出部２において物体のタッチパネル１への近接が検出された場合（ステップＳＴ１“Ｙｅｓ”）、指／掌判別部３が、近接した物体が指であるか掌であるかを判別する（ステップＳＴ２）。
【００１８】
図５は指／掌判別部３がタッチパネル１に指１０ａが近接したことを判別する方法を説明する図であり、図６は掌１０ｂが近接したことを判別する方法を説明する図である。図５（Ａ）に示すようにタッチパネル１に近接した物体が指１０ａである場合、ｘ方向センサ電極１１の静電容量変化の分布は、図５（Ｂ）に示すように最も変化の大きいセンサ電極の値を山として急峻な分布２１になる。ｙ方向センサ電極１２の静電容量変化の分布も同様に急峻な分布になる。一方、図６（Ａ）に示すようにタッチパネル１に近接した物体が掌１０ｂである場合、ｘ，ｙ方向それぞれのセンサ電極１１，１２の静電容量変化の分布は、図６（Ｂ）に示すようになだらかな分布２２になり、急峻な分布２１のようにはならない。ｙ方向センサ電極１２の静電容量変化の分布も同様になだらかな分布になる。従って、指／掌判別部３は、静電容量変化の分布の山の急峻さに基づいて、タッチパネル１に近接した物体が指１０ａか掌１０ｂかを判別する。
【００１９】
なお、指／掌判別部３において、上述した静電容量変化の分布形状を指標に用いず簡易に判別する場合には、各センサ電極の静電容量の変化量２１ａ，２２ａを指標に用いてもよい。具体的には、指／掌判別部３が、ｘ方向センサ電極１１のうち所定の閾値Ｔｈ２以上の静電容量変化量になるセンサ電極の数を数え、この本数が閾値ｍ未満の場合に指１０ａがタッチパネル１に近接したと判別し、閾値ｍ以上の場合には掌１０ｂが近接したと判別することで、タッチパネル１に近接した物体が指１０ａか掌１０ｂかを判別する。指／掌判別部３は、ｙ方向センサ電極１２についても同様に判別する。
【００２０】
説明を図２に戻す。指／掌判別部３により近接物体が指と判別された場合（ステップＳＴ２“指”）、続くステップＳＴ３にて座標検出部４が指が近接したタッチパネル１上のｘ，ｙ座標を検出する。座標検出部４による位置座標検出方法は、上記で図３を用いて説明したように、ｘ方向センサ電極１１およびｙ方向センサ電極１２のうち、ｘ，ｙ方向それぞれ最も静電容量変化量の大きいセンサ電極を検出すればよい。このｘ，ｙ座標が近接位置座標である。
続いて、アプリケーション選択部５が、座標検出部４で検出したｘ，ｙ座標に基づいて実行するアプリケーションを選択する（ステップＳＴ４）。表示部６は、アプリケーション選択部５が選択したアプリケーションに対応して、適切な内容の画面表示を行う（ステップＳＴ５）。
【００２１】
他方、近接物体が掌と判別された場合（ステップＳＴ２“掌”）、続くステップＳＴ４においてアプリケーション選択部５が、近接物体が掌である場合に実行するアプリケーションを選択する。表示部６は、アプリケーション選択部５が選択したアプリケーションに対応して、適切な内容の画面表示を行う（ステップＳＴ５）。
【００２２】
ステップＳＴ４においてアプリケーション選択部５が選択するアプリケーションは、指または掌の操作から連想できるようなアプリケーションであることが望ましい。図７（Ａ）にタッチパネル１への近接が指１０ａの場合に実行するアプリケーションの一例を示し、図７（Ｂ）にタッチパネル１への近接が掌１０ｂの場合に実行するアプリケーションの例を示す。なお、タッチパネル１は表示部６の前面に取り付けられて一体となっているものとし、座標検出部４が検出したｘ，ｙ座標を、表示部６の表示領域中の位置座標として用いる。近接した物体が指１０ａである場合には、アプリケーション選択部５が、図７（Ａ）のように指１０ａの位置座標に対応する画面位置に表示されている意味のある表示領域の一部（例えば、１つのアイコン等）を選択するアプリケーションを選択する。他方、近接した物体が掌１０ｂである場合には、アプリケーション選択部５が、図７（Ｂ）のように表示領域全体（例えば、全てのアイコン等）を選択するアプリケーションを選択する。図７に示すように指＝一部、掌＝全体というメタファに則ってアプリケーション選択部５が選択するアプリケーションを指、掌の操作に関連付けておくことで、ユーザが直感的に操作可能なユーザインタフェースを実現することができる。
【００２３】
アプリケーション選択部５は、上記以外にも例えば、表示部６に複数ページ有するドキュメントの閲覧画面が表示されているとき、近接した物体が指１０ａである場合には１ページ戻る／進むアプリケーションを選択し、近接した物体が掌１０ｂである場合には全ページ戻る／進むアプリケーションを選択するようにしてもよい。
また、掌による操作に、ユーザインタフェース装置の電源スイッチのオン／オフ切り替えを制御するアプリケーションを対応付ければ、アプリケーション選択部５は、近接した物体が指１０ａである場合には通常のアプリケーションを選択し、近接した物体が掌１０ｂである場合には電源スイッチのオン／オフ切り替えを制御するアプリケーションを選択することもできる。
このように、掌による操作に特定のボタンのアプリケーションを対応付けておけば、表示画面内のボタン数を削減することができ、表示画面を簡略化することができる。
【００２４】
以上のように、実施の形態１によれば、タッチパネル１への物体の近接状態を検知する物体近接検出部２、および物体がタッチパネル１に近接したと判別された場合に物体がユーザの指であるか掌であるかを判別する指／掌判別部３に加えて、指が近接したのか掌が近接したのかによって実行するアプリケーションを選択するアプリケーション選択部５を備えるように構成した。このため、通常の指によるタッチ操作に加えて、掌による操作も可能となり、タッチパネル１に対応した機能に対する操作性を向上させることができる。また、掌による操作に特定のアプリケーションを対応付けておくことにより、表示画面からこのアプリケーション実行用ボタンを削除でき、画面を簡略化させることもできる。
【００２５】
実施の形態２．
上記実施の形態１のユーザインタフェース装置では、物体がタッチパネル１へ近接したことを検知し、さらに、近接した物体がユーザの指であるか掌であるかを判別し、判別結果によって実行するアプリケーションを切り替えることで、通常のタッチ操作に加えて掌による操作を実現した。本実施の形態２では、タッチパネル１に掌が近接したと判別した場合に、掌の動きの方向を認識することによってさらに操作性を向上させたユーザインタフェースを実現する。ここで、ユーザがタッチパネル１に近接させた掌を動かして操作することを掌ジェスチャと呼び、ユーザインタフェース装置がこの掌の動きを認識することを掌ジェスチャ認識と呼ぶ。実施の形態２では、掌ジェスチャを利用する構成のユーザインタフェース装置について述べる。
【００２６】
図８は、この発明の実施の形態２に係るユーザインタフェース装置の構成を示すブロック図であり、図１と同一または相当の部分については同一の符号を付す。実施の形態２のユーザインタフェース装置は、上記実施の形態１のユーザインタフェース装置の座標検出部４の後段に、掌ジェスチャを認識する掌ジェスチャ認識部８および掌ジェスチャを認識するための情報を保存しておくメモリ９を追加した点のみが異なる。従って、実施の形態２の説明は実施の形態１と異なる内容のみにとどめ、重複する内容については省略する。
【００２７】
次に、実施の形態２によるユーザインタフェース装置の動作を説明する。図９は、実施の形態２に係るユーザインタフェース装置の動作を示すフローチャートである。図９に示すステップＳＴ１〜ステップＳＴ３の各動作は、図２のステップＳＴ１〜ステップＳＴ３の各動作と同一であるため、説明を省略する。
なお、ステップＳＴ１において、物体近接検出部２が、タッチパネル１への物体の近接を検知しない場合は（ステップＳＴ１“Ｎｏ”）、ステップＳＴ６にて掌ジェスチャ認識部８がメモリ９の保存する情報を全てクリアする。
【００２８】
指／掌判別部３によって近接物体が掌と判別された場合（ステップＳＴ２“掌”）、指／掌判別部３が判別の際に用いた、ｘ，ｙ方向それぞれ所定の閾値Ｔｈ２以上の静電容量の変化量だったセンサ電極のインデックスを、掌ジェスチャ認識部８がメモリ９に保存する（ステップＳＴ７）。タッチパネル１に近接した状態で掌ジェスチャが行われれば、掌ジェスチャ中の各時刻のセンサ電極の状態がメモリ９に保存されていく。そして、掌ジェスチャ認識部８がメモリ９の情報を利用して、タッチパネル１上に近接した掌１０ｂがどのように動いたか、即ち掌ジェスチャを認識する（ステップＳＴ８）。
【００２９】
図１０は、メモリ９が保存しているセンサ電極の位置座標の情報の構造を示す説明図である。図１０に示すように、メモリ９には、掌がタッチパネル１に近接した状態となったｔ−ｎ時刻前から最新の時刻ｔまでのセンサ電極の状態が、全てまたは一部保存されている。ｘ_ｉは、ｘ方向センサ電極１１のｘ座標原点側からのセンサ番号ｉを示し、ｙ_ｊは、ｙ方向センサ電極１２のｙ座標原点側からのセンサ番号ｊを示す。掌ジェスチャ認識部８は、センサ電極の状態として、所定の閾値Ｔｈ２以上の静電容量の変化量を示したセンサ電極に［１］を付与し、閾値Ｔｈ２未満の静電容量の変化量を示したセンサ電極に［０］を付与して、メモリ９に保存する。
【００３０】
図１１は、タッチパネル１に近接した掌１０ｂの掌ジェスチャに応じたセンサ電極の状態の例を示す説明図である。図１１では、掌１０ｂがｘ方向と平行に動いた場合にメモリ９に保存される２時刻前（図１１（Ａ））、１時刻前（図１１（Ｂ））、および最新（図１１（Ｃ））のｘ方向センサ電極１１の各状態を示す。例えば図１１（Ａ）においてセンサ番号ｉ＝１２およびｔ＝２のセンサ電極の状態ｘ_１（２），ｘ_２（２），・・・，ｘ_１２（２）は［１，１，１，１，１，１，１，１，０，０，０，０］であり、掌１０ｂの移動と共に、静電容量の変化量の大きい（即ちセンサ電極の状態［１］）センサ電極がｘ方向に移り変わって、最新ｔ＝０のセンサ電極の状態ｘ_１（０），ｘ_２（０），・・・，ｘ_１２（０）は［０，０，０，０，１，１，１，１，１，１，１，１］となる。従って、掌ジェスチャ認識部８は、静電容量の変化量の大きいセンサ電極の状態の移り変わりを利用すれば、掌１０ｂがｘ方向に移動したことを認識できる。掌ジェスチャ認識部８は、この掌ジェスチャ認識処理をｘ方向センサ電極１１およびｙ方向センサ電極１２について行い、タッチパネル１上に近接した掌１０ｂがどのように動いたか認識する。
【００３１】
なお、ステップＳＴ６において、物体が近接していないと判別された場合にメモリ９の内容が全てクリアされているため、連続して近接している状態のみのセンサ電極の状態をメモリ９に保存しておくことができる。
【００３２】
説明を図９に戻す。ステップＳＴ４において、アプリケーション選択部５は、指／掌判別部３の判別結果から近接物体が指の場合には座標検出部４で検出したｘ，ｙ座標に基づいて、一方、近接物体が掌の場合には掌ジェスチャ認識部８の掌ジェスチャ認識の結果に基づいて、実行するアプリケーションを選択する。表示部６が、アプリケーション選択部５が選択したアプリケーションに対応して、適切な内容の画面表示を行う（ステップＳＴ５）。
なお、近接物体が指の場合、指のｘ，ｙ座標の時間変化を利用することで、指のジェスチャについても認識することができる。例えば、ユーザインタフェース装置が指ジェスチャ認識部とメモリを備え、近接物体が指と判別された場合に座標検出部４が検出した各時刻のｘ，ｙ座標をメモリに保存して、指ジェスチャ認識部がｘ，ｙ座標の時間変化に基づいて指の移動を認識する構成にすればよい。
【００３３】
ステップＳＴ４においてアプリケーション選択部５が選択するアプリケーションは、指ジェスチャまたは掌ジェスチャの操作から連想できるようなアプリケーションであることが望ましい。図１２（Ａ）に指ジェスチャによる操作の場合に実行するアプリケーションの例を示し、図１２（Ｂ）に掌ジェスチャによる操作の場合に実行するアプリケーションの例を示す。なお、タッチパネル１は表示部６の前面に取り付けられて一体となっているものとし、座標検出部４が検出したｘ，ｙ座標を、表示部６の表示領域中の位置座標として用いる。近接した物体が指１０ａであり、かつ、ｘ方向に移動する指ジェスチャの場合には、アプリケーション選択部５が、図１２（Ａ）のように複数ページ有するドキュメントの閲覧画面のページを１ページ戻る／進むアプリケーションを選択して、指ジェスチャの移動方向に応じたページめくりを実行する。他方、近接した物体が掌１０ｂであり、かつ、ｘ方向に移動する掌ジェスチャの場合には、アプリケーション選択部５が、図１２（Ｂ）のように全ページ戻る／進むアプリケーションを選択して、掌ジェスチャの移動方向に応じたページめくりを実行する。図１２に示すように指＝一部、掌＝全体というメタファに則ってアプリケーション選択部５が選択するアプリケーションを指ジェスチャ、掌ジェスチャに関連付けておくことで、ユーザが直感的に操作可能なユーザインタフェースを実現することができる。
【００３４】
アプリケーション選択部５は、上記以外にも例えば、指ジェスチャである場合には通常のアプリケーションを選択し、掌ジェスチャの場合にはユーザインタフェース装置の電源スイッチのオン／オフ切り替えを制御するアプリケーションを選択するようにしてもよい。また、表示部６に複数の意味のある表示領域（例えばアイコン）が画面表示されているとき、アプリケーション選択部５は、指ジェスチャである場合には近接した位置座標の表示領域（１つのアイコン）を選択するアプリケーションを選択し、掌ジェスチャである場合には表示領域全体（全てのアイコン）を選択するアプリケーションを選択するようにしてもよい。さらに、掌ジェスチャ認識部８が掌の移動方向に加えて移動速度も認識するようにして（同様に指ジェスチャ認識部も指の移動速度を認識するようにして）、アプリケーション選択部５が移動の方向および速度に応じてアプリケーションを選択してもよい。
このように、掌ジェスチャによる操作に特定のボタンのアプリケーションを対応付けておけば、表示画面内のボタン数を削減することができ、表示画面を簡略化することができる。
【００３５】
以上のように、実施の形態２によれば、指／掌判別部３においてタッチパネル１への近接物体が掌であると判別された場合に、タッチパネル１の出力値を用いて掌の動きを認識する掌ジェスチャ認識部８を備えるようにした。このため、掌の近接を利用する上記実施の形態１のユーザインタフェースだけでなく、掌の動きを利用したユーザインタフェースを実現することができる。
【００３６】
なお、上記実施の形態１，２のユーザインタフェース装置を、タッチパネル１および表示部６を有するコンピュータで構成する場合、指／掌判別部３、座標検出部４、アプリケーション選択部５、制御部７、掌ジェスチャ認識部８の処理内容を記述しているプログラムをコンピュータの内部メモリに格納し、コンピュータのＣＰＵが内部メモリに格納されているプログラムを実行するようにしてもよい。
【００３７】
また、上記実施の形態１，２のユーザインタフェース装置によれば、ユーザがタッチパネル１に触れることなく操作可能となるため、パネルの消耗が少なく、超寿命化の一助になる。
【符号の説明】
【００３８】
１タッチパネル、２物体近接検出部、３指／掌判別部、４座標検出部、５アプリケーション選択部、６表示部、７制御部、８掌ジェスチャ認識部、９メモリ、１０物体、１０ａ指、１０ｂ掌、１１ｘ方向センサ電極、１２ｙ方向センサ電極、２１，２２静電容量変化の分布形状、２１ａ，２２ａ静電容量の変化量。

【特許請求の範囲】
【請求項１】
タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出部と、
前記物体近接検出部が近接状態を検知した場合に、前記出力値から前記物体がユーザの指か掌かを判別する指／掌判別部と、
前記指／掌判別部が前記物体を指と判別した場合に、当該指の前記タッチパネルにおける近接位置座標を検出する座標検出部と、
前記指／掌判別部が判別した結果および前記座標検出部が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択部と、
前記アプリケーション選択部が選択したアプリケーションに対応した表示を行う表示部とを備えたタッチパネル付きユーザインタフェース装置。
【請求項２】
タッチパネルの出力値から、近接状態の指または掌の動きを認識するジェスチャ認識部を備え、
アプリケーション選択部は、指／掌判別部が判別した結果および座標検出部が検出した近接位置座標に加え、前記ジェスチャ認識部が認識した結果に従って、アプリケーションを選択することを特徴とする請求項１記載のタッチパネル付きユーザインタフェース装置。
【請求項３】
タッチパネル付きユーザインタフェース装置のユーザインタフェース制御方法であって、
タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出ステップと、
前記物体近接検出ステップで近接状態を検知した場合に、前記出力値から前記物体がユーザの指か掌かを判別する指／掌判別ステップと、
前記指／掌判別ステップで前記物体を指と判別した場合に、当該指の前記タッチパネルにおける近接位置座標を検出する座標検出ステップと、
前記指／掌判別ステップで判別した結果および前記座標検出ステップで検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択ステップと、
前記アプリケーション選択ステップで選択したアプリケーションに対応した表示を行う表示ステップとを備えたことを特徴とするユーザインタフェース制御方法。
【請求項４】
タッチパネルの出力値から、近接状態の指または掌の動きを認識するジェスチャ認識ステップを備え、
アプリケーション選択ステップは、指／掌判別ステップで判別した結果および座標検出ステップで検出した近接位置座標に加え、前記ジェスチャ認識ステップで認識した結果に従って、アプリケーションを選択することを特徴とする請求項３記載のユーザインタフェース制御方法。
【請求項５】
アプリケーション選択ステップでは、指／掌判別ステップで掌が近接したと判別された場合に、本装置の電源スイッチのオン／オフ切り替えを制御するアプリケーションを選択することを特徴とする請求項３または請求項４記載のユーザインタフェース制御方法。
【請求項６】
アプリケーション選択ステップでは、指／掌判別ステップで掌が近接したと判別された場合に、表示されている全情報を一括して選択するアプリケーションを選択することを特徴とする請求項３または請求項４記載のユーザインタフェース制御方法。
【請求項７】
アプリケーション選択ステップでは、指／掌判別ステップで指が近接したと判別された場合に、座標検出ステップで検出した近接位置座標に表示されている情報を選択するアプリケーションを選択することを特徴とする請求項３から請求項６のうちのいずれか１項記載のユーザインタフェース制御方法。
【請求項８】
アプリケーション選択ステップでは、ドキュメント閲覧画面が表示されているとき、指／掌判別ステップで掌が近接したと判別された場合に当該ドキュメントの複数ページを一括してめくるアプリケーションを選択し、指が近接したと判別された場合に当該ドキュメントの一ページをめくるアプリケーションを選択することを特徴とする請求項３または請求項４記載のユーザインタフェース制御方法。
【請求項９】
タッチパネル付きユーザインタフェース装置のユーザインタフェース制御プログラムであって、
コンピュータを、タッチパネルの出力値を用いて、当該タッチパネルへの物体の近接状態を検知する物体近接検出手段と、
前記物体近接検出手段が近接状態を検知した場合に、前記出力値から前記物体がユーザの指か掌かを判別する指／掌判別手段と、
前記指／掌判別手段が前記物体を指と判別した場合に、当該指の前記タッチパネルにおける近接位置座標を検出する座標検出手段と、
前記指／掌判別手段が判別した結果および前記座標検出手段が検出した近接位置座標に従って、アプリケーションを選択するアプリケーション選択手段と、
前記アプリケーション選択手段が選択したアプリケーションに対応した表示を行う表示手段として機能させるためのユーザインタフェース制御プログラム。
【請求項１０】
タッチパネルの出力値から、近接状態の指または掌の動きを認識するジェスチャ認識手段を備え、
アプリケーション選択手段は、指／掌判別手段が判別した結果および座標検出手段が検出した近接位置座標に加え、前記ジェスチャ認識手段が認識した結果に従って、アプリケーションを選択することを特徴とする請求項９記載のユーザインタフェース制御プログラム。
【請求項１１】
アプリケーション選択手段は、指／掌判別手段で掌が近接したと判別された場合に、本装置の電源スイッチのオン／オフ切り替えを制御するアプリケーションを選択することを特徴とする請求項９または請求項１０記載のユーザインタフェース制御プログラム。
【請求項１２】
アプリケーション選択手段は、指／掌判別手段で掌が近接したと判別された場合に、表示されている全情報を一括して選択するアプリケーションを選択することを特徴とする請求項９または請求項１０記載のユーザインタフェース制御プログラム。
【請求項１３】
アプリケーション選択手段は、指／掌判別手段で指が近接したと判別された場合に、座標検出手段で検出した近接位置座標に表示されている情報を選択するアプリケーションを選択することを特徴とする請求項９から請求項１２のうちのいずれか１項記載のユーザインタフェース制御プログラム。
【請求項１４】
アプリケーション選択手段は、ドキュメント閲覧画面が表示されているとき、指／掌判別手段で掌が近接したと判別された場合に当該ドキュメントの複数ページを一括してめくるアプリケーションを選択し、指が近接したと判別された場合に当該ドキュメントの一ページをめくるアプリケーションを選択することを特徴とする請求項９または請求項１０記載のユーザインタフェース制御プログラム。

【図１】