情報処理装置、情報処理方法、およびプログラム
【課題】タッチ操作可能な情報処理装置において、ユーザの所望の機能を素早くかつ容易に実行可能にする。
【解決手段】位置取得部１０１は、タッチパネルモニタにより検出された接触位置を取得する。指種類認識部１０２は、接触位置とタッチパネルの画像に基づいて、タッチパネルに接触された指の種類を認識する。機能認識部１０３は、１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、位置取得部１０１により取得された接触位置と指種類認識部１０２により認識された指の種類とに対応する機能を検索する。実行部１０４は、検索された機能を実行する。本発明は、例えば、タッチ操作可能な情報処理装置に適用することができる。
【解決手段】位置取得部１０１は、タッチパネルモニタにより検出された接触位置を取得する。指種類認識部１０２は、接触位置とタッチパネルの画像に基づいて、タッチパネルに接触された指の種類を認識する。機能認識部１０３は、１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、位置取得部１０１により取得された接触位置と指種類認識部１０２により認識された指の種類とに対応する機能を検索する。実行部１０４は、検索された機能を実行する。本発明は、例えば、タッチ操作可能な情報処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、タッチ操作可能な情報処理装置において、ユーザの所望の機能を素早くかつ容易に実行可能にすることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
マウスで操作可能な情報処理装置は、左クリックと呼ばれるマウスの左のボタンを１回だけ押下してすぐ離す操作と、右クリックと呼ばれるマウスの右のボタンを１回だけ押下してすぐ離す操作に対して、それぞれ異なる機能を割り当てることができる。
【０００３】
その結果、このような情報処理装置では、例えば、図１Ａに示すように、マウス１１によって操作されるカーソル１２がアイコン１３の位置に表示されている場合に、マウス１１が左クリックされると、アイコン１３を選択する機能が実行される。また、図１Ｂに示すように、マウス１１が右クリックされると、アイコン１３のコンテキストメニュー１４を表示する機能が実行される。即ち、マウス１１によって操作されるカーソル１２の位置に対して、２つの機能を割り当てることができる。
【０００４】
一方、指などでタッチ操作可能な情報処理装置としては、例えば、ディスプレイに重畳されたタッチパネルを用いてタッチパネルに接触された物体の位置や動きを検出し、その位置や動きに割り当てられている機能を実行するものがある。
【０００５】
このような情報処理装置では、例えば、ユーザが、図２Ａに示すように、ディスプレイに表示されたアイコン１３に対応するタッチパネル上の位置に、任意の指（図２Ａの例では人差し指）を１回接触させると、その位置に割り当てられている機能として、アイコン１３を選択する機能、アイコン１３に対応するアプリケーションを実行する機能などが実行される。
【０００６】
しかしながら、このような情報処理装置では、一般的に、タッチパネルに接触された指の位置が検出されるだけであり、その指の種類などは検出されない。従って、１つの接触位置に複数の機能を割り当てることができない。その結果、図２Ａに示すように人差し指が接触される場合であっても、図２Ｂに示すように中指が接触される場合であっても、接触位置が同一であれば、同一の機能が実行される。
【０００７】
また、アイコン１３の位置に、マウスで操作可能な情報処理装置において左クリックに対応する機能が割り当てられた場合、そのアイコン１３の位置に、右クリックに対応する機能を割り当てることができない。従って、ユーザは、右クリックに割り当てられたコンテキストメニュー１４を表示する機能を実行するために、例えば、図３に示すような煩雑な操作を行う必要がある。
【０００８】
具体的には、ユーザは、コンテキストメニュー１４を表示する機能を実行させる場合、図３Ａに示すように、まず、タッチパネルのアイコン１３に対応する位置に任意の指（図３の例では、人差し指）を接触させ、アイコン１３を選択する機能を実行させる。その後、ユーザは、図３Ｂに示すように、コンテキストメニュー１４を表示する機能を実行させるためのアイコン２１に対応するタッチパネル上の位置に任意の指を接触させ、コンテキストメニュー１４を表示する機能を実行させる。その結果、図３Ｃに示すように、コンテキストメニュー１４が表示される。以上のように、ユーザは、コンテキストメニュー１４を表示する機能を実行させるために、タッチパネルに指を２回接触させる必要がある。
【０００９】
従って、タッチ操作可能な情報処理装置では、同一の接触位置に複数の機能を割り当てることにより、ユーザの所望の機能を素早くかつ容易に実行可能にすることが求められている。
【００１０】
また、タッチ操作可能な情報処理装置としては、タッチパネルに接触された指の本数を検出し、検出された指の本数によって異なる機能を実行する情報処理装置もある(例えば、特許文献１参照)。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００１−１３４３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、タッチ操作可能な情報処理装置において、同一の接触位置であっても接触する指の種類に応じて異なる機能を割り当てることにより、ユーザの所望の機能を素早くかつ容易に実行可能にすることは考えられていない。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、タッチ操作可能な情報処理装置において、ユーザの所望の機能を素早くかつ容易に実行可能にすることができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の情報処理装置は、接触部に接触された物体の位置を接触位置として検出する検出手段と、前記接触位置と前記接触部の画像に基づいて、前記接触部に接触された指の種類を認識する認識手段と、少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、前記検出手段により検出された前記接触位置と前記認識手段により認識された前記指の種類とに対応する機能を検索する検索手段と、前記検索手段により検索された前記機能を実行する実行手段とを備える情報処理装置である。
【００１５】
本発明の一側面の情報処理方法およびプログラムは、本発明の一側面の情報処理装置に対応する。
【００１６】
本発明の一側面においては、接触部に接触された物体の位置が接触位置として検出され、接触位置と接触部の画像に基づいて、接触部に接触された指の種類が認識され、少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、検出された接触位置と認識された指の種類とに対応する機能が検索され、検索された機能が実行される。
【発明の効果】
【００１７】
本発明の一側面によれば、タッチ操作可能な情報処理装置において、ユーザの所望の機能を素早くかつ容易に実行可能にすることができる。
【図面の簡単な説明】
【００１８】
【図１】マウス操作の例を示す図である。
【図２】従来のタッチ操作の例を示す図である。
【図３】コンテキストメニューを表示させるためのタッチ操作の例を示す図である。
【図４】本発明を適用した情報処理システムの第１実施の形態の構成例を示す図である。
【図５】図４の情報処理装置のハードウェア構成例を示すブロック図である。
【図６】図５のCPUにより実現される機能実行処理部の機能的構成例を示すブロック図である。
【図７】機能テーブルの例を示す図である。
【図８】図７の機能テーブルが記憶されている場合に実行される機能を説明する図である。
【図９】図６の機能実行処理部による機能実行処理を説明するフローチャートである。
【図１０】本発明を適用した情報処理システムの第２実施の形態の構成例を示す図である。
【図１１】図１０の情報処理装置のハードウェア構成例を示すブロック図である。
【図１２】図１１のCPUにより実現される機能実行処理部の機能的構成例を示すブロック図である。
【図１３】図１１の機能ラベルテーブルの例を示す図である。
【図１４】図１１のＨＭＤに表示される画像の例を示す図である。
【図１５】図１２の機能実行処理部によるラベル表示処理を説明するフローチャートである。
【図１６】図１０の情報処理装置の他のハードウェア構成例を示すブロック図である。
【図１７】図１６のCPUにより実現される機能実行処理部の機能的構成例を示すブロック図である。
【図１８】図１６の機能ラベルテーブルの例を示す図である。
【図１９】図１６のＨＭＤに表示される画像の例を示す図である。
【図２０】図１７の機能実行処理部によるラベル表示処理を説明するフローチャートである。
【図２１】図１７の機能実行処理部によるラベル表示処理を説明するフローチャートである。
【図２２】本発明を適用した情報処理システムの第３実施の形態の構成例を示す図である。
【図２３】図２２の情報処理装置のハードウェア構成例を示すブロック図である。
【図２４】図２２のタッチパネルモニタの詳細構成例を示すブロック図である。
【図２５】図２３のCPUにより実現される機能実行処理部の機能的構成例を示すブロック図である。
【図２６】図２５の機能実行処理部による機能実行処理を説明するフローチャートである。
【図２７】指情報の他の例を説明する図である。
【図２８】指情報のさらに他の例を説明する図である。
【発明を実施するための形態】
【００１９】
＜第１実施の形態＞
［情報処理システムの第１実施の形態の構成例］
図４は、本発明を適用した情報処理システムの第１実施の形態の構成例を示す図である。
【００２０】
図４に示すように、情報処理システム３０は、情報処理装置３１と、カメラ３２を装備した眼鏡３３により構成される。なお、図４において、図１乃至図３と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【００２１】
ユーザは、情報処理システム３０を使用するとき、情報処理装置３１を所持し、眼鏡３３を装着する。ユーザは、眼鏡３３を介して情報処理装置３１を見ながら、情報処理装置３１に対してタッチ操作を行う。
【００２２】
情報処理システム３０において、情報処理装置３１とカメラ３２は接続されている。情報処理装置３１は、指でタッチ操作可能な情報処理装置であり、タッチパネルモニタ４１等を有している。情報処理装置３１は、そのタッチパネルモニタ４１にアイコン１３等を表示させる。ユーザは、タッチパネルモニタ４１に表示されたアイコン１３等を見ながら、所望の位置に指を接触させることにより、情報処理装置３１に所望の機能を実行させる。
【００２３】
眼鏡３３に装備されたカメラ３２は、タッチパネルモニタ４１を含む画像を撮像する。従って、撮像された画像には、タッチパネルモニタ４１に接触している指も含まれている。カメラ３２は、撮像された画像を情報処理装置３１に送信する。
【００２４】
［情報処理装置のハードウェア構成例］
図５は、図４の情報処理装置３１のハードウェア構成例を示すブロック図である。
【００２５】
図５に示すように、情報処理装置３１は、CPU(Central Processing Unit)６１を内蔵しており、CPU６１には、バス６４を介して、ROM（Read Only Memory）６２およびRAM（Random Access Memory）６３が接続されている。また、CPU６１には、バス６４および入出力インタフェース６５を介して、タッチパネルモニタ４１、操作ボタン６６、スピーカ６７、記憶部６８、通信部６９、およびドライブ７０が接続されている。
【００２６】
CPU６１は、操作ボタン６６から供給されるユーザの操作を表す操作情報にしたがって、予めROM６２に格納されているプログラムを実行する。あるいは、CPU６１は、記憶部６８に予め格納されたプログラムを、RAM６３にロードして実行する。これにより、CPU６１は、後述するフローチャートにしたがった処理、あるいは後述する機能ブロック図の構成により行われる処理を行う。そして、CPU６１は、その処理結果を、必要に応じて、例えば、バス６４および入出力インタフェース６５を介して、タッチパネルモニタ４１やスピーカ６７から出力、あるいは、通信部６９から送信、さらには、記憶部６８に記録等させる。
【００２７】
タッチパネルモニタ４１（検出手段）は、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）等のディスプレイ８１、それに積層された無色透明のタッチパネル８２（接触部）等により構成される。タッチパネルモニタ４１は、CPU６１から供給される処理結果としてのアイコン１３等をディスプレイ８１に表示させる。タッチパネルモニタ４１は、タッチパネル８２への物体の接触を検知し、その接触の位置を接触位置としてCPU６１に供給する。
【００２８】
操作ボタン６６は、ユーザにより操作される物理的なボタンである。操作ボタン６６は、ユーザからの操作を受け付け、その操作を表す操作情報をCPU６１に供給する。スピーカ６７は、CPU６１から供給される処理結果としての音声を出力する。
【００２９】
記憶部６８は、HDD（Hard Disk Drive）等により構成される。記憶部６８は、機能テーブル９１、指情報９２等を記憶している。機能テーブル９１とは、１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けたテーブルである。
【００３０】
なお、本実施の形態において、指には、親指は含まれないものとする。即ち、本実施の形態における指とは、人差し指、中指、薬指、および小指である。また、指情報９２とは、ユーザの各指を識別するための情報である。ここでは、指情報９２は、各指の画像、または、各指の形状を特定する情報であるものとする。この指情報９２は、例えば、事前にユーザがカメラ３２を用いて自分の各指の画像を撮像することにより、記憶される。
【００３１】
通信部６９は、カメラ３２等の外部の装置と通信を行う。例えば、通信部６９は、カメラ３２から送信されてくる画像を受信し、RAM６３等に供給して記憶させる。
【００３２】
ドライブ７０には、必要に応じて、リムーバブルメディア７１が装着される。ドライブ７０は、装着されたリムーバブルメディア７１にデータを記録したり、リムーバブルメディア７１に記録されたデータを再生したりする。リムーバブルメディア７１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【００３３】
なお、CPU６１により実行されるプログラムは、リムーバブルメディア７１に格納（記録）しておくことができる。このようなリムーバブルメディア７１は、いわゆるパッケージソフトウエアとして提供することができる。この場合、プログラムは、ドライブ７０を介して情報処理装置３１にインストールされる。
【００３４】
また、CPU６１により実行されるプログラムは、通信網や放送網を介して、情報処理装置３１にダウンロードされ、内蔵する記憶部６８にインストールされるようにしてもよい。即ち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、情報処理装置３１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、情報処理装置３１に有線で転送することができる。
【００３５】
［情報処理装置の機能的構成例］
図６は、情報処理装置３１のCPU６１により実現される機能実行処理部の機能的構成例を示すブロック図である。
【００３６】
図６に示すように、機能実行処理部１００は、位置取得部１０１、指種類認識部１０２（認識手段）、機能認識部１０３（検索手段）、および実行部１０４（実行手段）により構成される。機能実行処理部１００は、タッチパネル８２への指の接触に応じて、その指の接触位置と種類に割り当てられた機能を実行する。
【００３７】
具体的には、機能実行処理部１００の位置取得部１０１は、タッチパネルモニタ４１から供給される接触位置（例えば、アイコンの上など）を取得し、その接触位置を指種類認識部１０２と機能認識部１０３に供給する。
【００３８】
指種類認識部１０２は、カメラ３２から送信されてきた画像、記憶部６８に予め記憶されている指情報９２、および位置取得部１０１からの接触位置に基づいて、タッチパネル８２に接触された指の種類を認識する。具体的には、例えば、指情報９２として各指の画像が記憶されている場合、指種類認識部１０２は、その指情報９２と、カメラ３２から送信されてきた画像の接触位置周辺の画像とのマッチングを行い、カメラ３２から送信されてきた画像に含まれる指の種類を認識する。指種類認識部１０２は、認識された指の種類（例えば、人差し指など）を機能認識部１０３に供給する。
【００３９】
なお、指の種類の認識方法としては、例えば、Taehee Lee,Tobias Hollerer,”Handy AR:Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking”,In Proc.IEEE International Symposium on Wearable Computers(ISWC),Boston,MA,Oct.2007に記載されている方法を用いることもできる。
【００４０】
機能認識部１０３は、記憶部６８に予め記憶されている機能テーブル９１から、位置取得部１０１からの接触位置と指種類認識部１０２からの指の種類とに対応する機能を検索する。そして、機能認識部１０３は、検索された機能を実行すべき機能として認識し、その機能を表す情報を実行部１０４に供給する。
【００４１】
実行部１０４は、機能認識部１０３から供給される情報が表す機能を実行する。
【００４２】
［効果の説明］
図７は、機能テーブル９１の例を示す図である。また、図８は、図７に示す機能テーブル９１が記憶部６８に記憶されている場合に実行される機能を説明する図である。
【００４３】
図７に示すように、機能テーブル９１では、１つの指の接触位置および指の種類と、それらの組み合わせに割り当てられた機能が対応付けられている。具体的には、図７の例では、指の接触位置「アイコン上」および指の種類「人差し指」と、機能「実行」とが対応付けられている。また、図７の例では、指の接触位置「アイコン上」および指の種類「中指」と、機能「メニュー表示」とが対応付けられている。
【００４４】
従って、図８Ａに示すように、ユーザがアイコン１３の表示位置に対応するタッチパネル８２上の位置に人差し指を接触すると、アイコン１３に対応するアプリケーションを実行する機能が実行される。また、図８Ｂに示すように、ユーザがアイコン１３の表示位置に対応するタッチパネル８２上の位置に中指を接触すると、コンテキストメニュー１４を表示する機能が実行される。
【００４５】
即ち、図７に示す機能テーブル９１が記憶部６８に記憶されている場合、接触位置がタッチパネル８２上のアイコン１３に対応する位置であっても、接触される指が人差し指であるか、中指であるかによって、実行される機能が異なる。なお、図８において、図１乃至図３と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【００４６】
以上のように、情報処理システム３０では、タッチパネルモニタ４１が、タッチパネル８２に接触された物体の位置を接触位置として検出し、指種類認識部１０２が、接触位置とタッチパネル８２の画像に基づいて、タッチパネル８２に接触された指の種類を認識する。そして、機能認識部１０３が、１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブル９１から、検出された接触位置と認識された指の種類とに対応する機能を検索し、実行部１０４が、その機能を実行する。
【００４７】
従って、同一の位置に指が接触された場合であっても、指の種類によって異なる機能を実行することができる。その結果、所定の位置への指の接触という１つの動作によって実行可能な機能が増加し、ユーザの所望の機能を素早くかつ容易に実行可能にすることができる。
【００４８】
［情報処理装置の処理の説明］
図９は、機能実行処理部１００による機能実行処理を説明するフローチャートである。
【００４９】
図９のステップＳ１１において、位置取得部１０１は、タッチパネル８２への物体の接触が検出されたかどうか、即ち接触位置がタッチパネルモニタ４１から供給されたかどうかを判定する。
【００５０】
ステップＳ１１でタッチパネル８２への物体の接触が検出されたと判定された場合、ステップＳ１２において、位置取得部１０１は、タッチパネルモニタ４１から供給される接触位置を取得し、その接触位置を指種類認識部１０２と機能認識部１０３に供給する。
【００５１】
ステップＳ１３において、指種類認識部１０２は、カメラ３２から送信されてきた画像を取得する。
【００５２】
ステップＳ１４において、指種類認識部１０２は、記憶部６８に予め記憶されている指情報９２、カメラ３２から取得された画像、および位置取得部１０１からの接触位置に基づいて、タッチパネル８２に接触された指の種類を認識する。そして、指種類認識部１０２は、その指の種類を機能認識部１０３に供給する。
【００５３】
ステップＳ１５において、機能認識部１０３は、位置取得部１０１からの接触位置と指種類認識部１０２からの指の種類に対応する機能を、記憶部６８に予め記憶されている機能テーブル９１から検索する。
【００５４】
ステップＳ１６において、機能認識部１０３は、位置取得部１０１からの接触位置と指種類認識部１０２からの指の種類に対応する機能が検索されたかどうかを判定する。ステップＳ１６で検索されたと判定された場合、機能認識部１０３は、検索された機能を実行すべき機能として認識し、その機能を表す情報を実行部１０４に供給する。そして、処理はステップＳ１７に進む。
【００５５】
ステップＳ１７において、実行部１０４は、機能認識部１０３から供給される情報が表す機能を実行し、処理を終了する。
【００５６】
一方、ステップＳ１１でタッチパネル８２への物体の接触が検出されていないと判定された場合、または、ステップＳ１６で検索されていないと判定された場合、処理を終了する。
【００５７】
なお、図９のステップＳ１５乃至Ｓ１７の処理は、ステップＳ１４で認識された種類に対応する指ごとに行われる。
【００５８】
＜第２実施の形態＞
［情報処理システムの第２実施の形態の構成例］
図１０は、本発明を適用した情報処理システムの第２実施の形態の構成例を示す図である。
【００５９】
図１０に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００６０】
図１０の情報処理システム１２０の構成は、主に、情報処理装置３１の代わりに情報処理装置１２１が設けられている点、および、眼鏡３３の代わりにＨＭＤ（Head Mount Display）１２２が設けられている点が図４の構成と異なる。
【００６１】
ユーザは、情報処理システム１２０を使用するとき、情報処理装置１２１を所持しＨＭＤ１２２を装着する。ユーザは、情報処理装置１２１を直接見るのではなく、ＨＭＤ１２２に表示されているカメラ３２により撮像された情報処理装置１２１の画像を見ながら、情報処理装置１２１に対してタッチ操作を行う。
【００６２】
情報処理システム１２０において、情報処理装置１２１は、カメラ３２だけでなく、ＨＭＤ１２２とも接続されている。情報処理装置１２１は、図４の情報処理装置３１と同様に、指でタッチ操作可能な情報処理装置であり、タッチパネルモニタ４１等を有している。情報処理装置１２１は、図４の情報処理装置３１と同様に、そのタッチパネルモニタ４１にアイコン１３等を表示させる。
【００６３】
また、情報処理装置１２１は、カメラ３２により撮像され、送信されてくる画像に基づいて、その画像に含まれる指が現在の位置の周辺でタッチパネルモニタ４１に接触したときに実行される機能を認識し、その機能を表すラベル画像を、その指の画像に重畳する。そして、情報処理装置１２１は、その結果得られる画像をＨＭＤ１２２に送信して表示させる。
【００６４】
ユーザは、タッチパネルモニタ４１に表示されたアイコン１３およびラベル画像等を見ながら、所定の位置に所定の指を接触させることにより、情報処理装置１２１に所望の機能を実行させる。
【００６５】
ＨＭＤ１２２は、情報処理装置１２１と接続されており、情報処理装置１２１から送信されてくる画像を表示する。
【００６６】
[情報処理装置のハードウェア構成例]
図１１は、図１０の情報処理装置１２１のハードウェア構成例を示すブロック図である。
【００６７】
図１１に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００６８】
図１１の情報処理装置１２１の構成は、主に、記憶部６８に機能テーブル９１に代えて機能ラベルテーブル１３１が記憶されている点、および、通信部６９の代わりに通信部１３２が設けられている点が図５の構成と異なる。
【００６９】
機能ラベルテーブル１３１は、１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能、および、その機能を表すラベル画像に含まれる文字（機能情報）とが対応付けられたものである。
【００７０】
通信部１３２は、カメラ３２やＨＭＤ１２２等の外部の装置と通信を行う。例えば、通信部１３２は、カメラ３２から送信されてくる画像を受信し、RAM６３等に供給して記憶させる。また、通信部１３２は、CPU６１から供給される、カメラ３２から送信されてきた画像や、その画像にラベル画像が重畳された画像をＨＭＤ１２２に送信し、表示させる。
【００７１】
［情報処理装置の機能的構成例］
図１２は、図１１の情報処理装置１２１のCPU６１により実現される機能実行処理部の機能的構成例を示すブロック図である。
【００７２】
図１２に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７３】
図１２の機能実行処理部１４０の構成は、主に、指種類認識部１０２の代わりに指種類認識部１４１（認識手段）が設けられている点、および、ラベル表示制御部１４２（表示制御手段）が新たに設けられている点が図６の構成と異なる。
【００７４】
機能実行処理部１４０の指種類認識部１４１は、カメラ３２から送信されてきた画像と、記憶部６８に予め記憶されている指情報９２とに基づいて、その画像に含まれる指の種類と位置を認識する。即ち、指種類認識部１４１は、カメラ３２から送信されてきた画像と指情報９２とに基づいて、タッチパネルモニタ４１の上に配置された指の種類と位置を認識する。そして、指種類認識部１４１は、認識された指の種類と位置をラベル表示制御部１４２に供給する。
【００７５】
また、指種類認識部１４１は、指種類認識部１０２と同様に、カメラ３２から送信されてきた画像、指情報９２、および位置取得部１０１からの接触位置に基づいて、タッチパネル８２に接触された指の種類を認識する。
【００７６】
なお、タッチパネルモニタ４１の上に配置された指の種類と位置が先に認識される場合には、指種類認識部１４１は、その指の種類と位置を用いてタッチパネル８２に接触された指の種類を認識するようにしてもよい。この場合、指種類認識部１４１は、既に認識されたタッチパネルモニタ４１の上に配置された指の種類のうちの、位置取得部１０１からの接触位置に対応する指の種類を、タッチパネル８２に接触された指の種類として認識する。
【００７７】
指種類認識部１４１は、タッチパネルモニタ４１の上に配置された指の種類を機能認識部１０３に供給する。
【００７８】
ラベル表示制御部１４２は、記憶部６８に予め記憶されている機能ラベルテーブル１３１から、指種類認識部１４１から供給される指の位置の周辺位置と指の種類に対応するラベル画像に含まれる文字を検索する。そして、ラベル表示制御部１４２は、検索された文字のラベル画像を生成する。ラベル表示制御部１４２は、カメラ３２から送信されてきた画像の、指種類認識部１４１から供給される指の位置に、その指の位置と種類に対応するラベル画像を重畳する。そして、ラベル表示制御部１４２は、通信部１３２を制御して、重畳の結果得られる画像をＨＭＤ１２２に送信し、表示させる。
【００７９】
[機能ラベルテーブルの例]
図１３は、機能ラベルテーブル１３１の例を示す図である。
【００８０】
図１３に示すように、機能ラベルテーブル１３１では、１つの指の接触位置および指の種類と、それらの組み合わせに割り当てられた機能、および、その機能を表すラベル画像に含まれる文字が対応付けられている。
【００８１】
具体的には、図１３の例では、指の接触位置「アイコン上」および指の種類「人差し指」と、機能「実行」およびラベル画像に含まれる文字「実行」が対応付けられている。また、指の接触位置「アイコン上」および指の種類「中指」と、機能「メニュー表示」およびラベル画像に含まれる文字「メニュー」が対応付けられている。
【００８２】
さらに、指の接触位置「アイコン上」および指の種類「薬指」と、機能「コピー」およびラベル画像に含まれる文字「コピー」が対応付けられている。また、指の接触位置「アイコン上」および指の種類「小指」と、機能「属性表示」およびラベル画像に含まれる文字「属性」が対応付けられている。
【００８３】
[ＨＭＤに表示される画像の例]
図１４は、図１１の情報処理装置１２１によりＨＭＤ１２２に表示される画像の例を示す図である。
【００８４】
なお、図１４の例では、図１３に示した機能ラベルテーブル１３１が記憶部６８に記憶されているものとする。
【００８５】
図１４Ａに示すように、ユーザが人差し指をアイコン１３の周辺位置に配置させると、人差し指を含む画像がカメラ３２により撮像される。そして、その人差し指と、人差し指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字「実行」が機能ラベルテーブル１３１から検索される。そして、その文字「実行」を含むラベル画像１６１が人差し指の位置に重畳された画像がＨＭＤ１２２に表示される。
【００８６】
また、図１４Ｂに示すように、ユーザが中指をアイコン１３の周辺位置に配置させると、中指を含む画像がカメラ３２により撮像される。そして、その中指と、中指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字「メニュー」が機能ラベルテーブル１３１から検索される。そして、その文字「メニュー」を含むラベル画像１６２が中指の位置に重畳された画像がＨＭＤ１２２に表示される。
【００８７】
さらに、図１４Ｃに示すように、ユーザが全ての指をアイコン１３の周辺位置に配置させると、全ての指を含む画像がカメラ３２により撮像される。そして、その全ての指と、全ての指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字が検索される。その結果、図１４Ｃに示すように、文字「実行」を含むラベル画像１６１、文字「メニュー」を含むラベル画像１６２、文字「コピー」を含むラベル画像１６３、文字「属性」を含むラベル画像１６４が、それぞれ、人差し指、中指、薬指、小指の位置に重畳された画像がＨＭＤ１２２に表示される。
【００８８】
以上のように、情報処理システム１２０では、タッチパネルモニタ４１の上に配置された指が現在の位置の周辺に接触したときに実行される機能を表すラベル画像が、タッチパネルモニタ４１を含む画像内の、その指の位置に重畳されてＨＭＤ１２２に表示される。従って、ユーザは、所定の指をタッチパネルモニタ４１の上の所定の位置に配置させることにより、その指をその位置の周辺位置に接触したときに実行される機能を容易に認識することができる。よって、ユーザは、各指の位置と種類の組み合わせに割り当てられた機能を覚えていない場合であっても、所望の機能を実行させることができる。従って、情報処理システム１２０は、より簡単なタッチ操作をユーザに提供することができる。
【００８９】
[情報処理装置の処理の説明]
図１５は、機能実行処理部１４０によるラベル表示処理を説明するフローチャートである。
【００９０】
ステップＳ３１において、指種類認識部１４１は、カメラ３２により撮像され、送信されてきた画像を取得する。
【００９１】
ステップＳ３２において、指種類認識部１４１は、記憶部６８に予め記憶されている指情報９２と、カメラ３２から取得された画像とに基づいて、その画像に含まれる指の種類と位置を認識する。指種類認識部１４１は、認識された指の種類と位置をラベル表示制御部１４２に供給する。
【００９２】
ステップＳ３３において、ラベル表示制御部１４２は、指種類認識部１４１から供給される指の位置の周辺位置と指の種類に対応するラベル画像に含まれる文字を、記憶部６８に予め記憶されている機能ラベルテーブル１３１から検索する。
【００９３】
ステップＳ３４において、ラベル表示制御部１４２は、指種類認識部１４１から供給される指の位置の周辺位置と指の種類に対応するラベル画像に含まれる文字が検索されたかどうかを判定する。
【００９４】
ステップＳ３４で検索されたと判定された場合、ラベル表示制御部１４２は、検索された文字を含むラベル画像を生成し、処理をステップＳ３５に進める。
【００９５】
ステップＳ３５において、ラベル表示制御部１４２は、カメラ３２から送信されてきた画像の、機能認識部１０３から供給される指の位置に、ステップＳ３３で生成されたラベル画像を重畳し、処理をステップＳ３６に進める。
【００９６】
一方、ステップＳ３４で検索されていないと判定された場合、カメラ３２により撮像された画像にラベル画像は重畳されず、処理はステップＳ３６に進む。
【００９７】
なお、図１５のステップＳ３３乃至Ｓ３６の処理は、ステップＳ３２で種類と位置が認識された指ごとに行われる。
【００９８】
ステップＳ３６において、ラベル表示制御部１４２は、通信部１３２を制御し、以上の処理によりラベル画像が重畳されなかったカメラ３２からの画像、または、ラベル画像が重畳されたカメラ３２からの画像をＨＭＤ１２２に送信し、表示させる。そして、処理は終了する。
【００９９】
また、機能実行処理部１４０による機能実行処理は、図９で説明した機能実行処理と同様であるので、説明は省略する。
【０１００】
［情報処理装置の他のハードウェア構成例］
図１６は、図１０の情報処理装置１２１の他のハードウェア構成例を示すブロック図である。
【０１０１】
図１６に示す構成のうち、図１１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０２】
図１６の情報処理装置１２１の構成は、主に、記憶部６８に機能ラベルテーブル１３１に代えて機能ラベルテーブル１７０が記憶されている点が図１１の構成と異なる。
【０１０３】
図１６の情報処理装置１２１では、１つの指の接触位置および種類の組み合わせだけでなく、複数の指の接触位置および種類の組み合わせに対しても機能が割り当てられる。
【０１０４】
具体的には、機能ラベルテーブル１７０は、１以上の指の接触位置および種類と、その接触位置および種類の組み合わせに割当られた機能、および、その機能を表すラベル画像に含まれる文字とが対応付けられたものである。
【０１０５】
［情報処理装置の機能的構成例］
図１７は、図１６の情報処理装置１２１のCPU６１により実現される機能実行処理部の機能的構成例を示すブロック図である。
【０１０６】
図１７に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０７】
図１７の機能実行処理部１８０の構成は、主に、機能認識部１０３の代わりに機能認識部１８１が設けられている点、および、ラベル表示制御部１４２の代わりにラベル表示制御部１８２が設けられている点が図１２の構成と異なる。
【０１０８】
機能実行処理部１８０の機能認識部１８１は、位置取得部１０１から複数の指の接触位置が供給される場合、その接触位置と指種類認識部１４１から供給される指の種類とに基づいて、連続する２つの指どうしの距離を計算する。機能認識部１８１は、後述するラベル表示制御部１８２と同様に、その距離に基づいて複数の指が接合しているかどうかを判定する。
【０１０９】
機能認識部１８１は、タッチパネル８２に接触している複数の指が接合している場合、その複数の指の位置と種類に対応する機能を機能ラベルテーブル１７０から検索する。一方、タッチパネル８２に接触している１以上の指が接合していない場合、機能認識部１８１は、その指の位置と種類に対応する機能を機能ラベルテーブル１７０から検索する。そして、機能認識部１８１は、検索された機能を実行すべき機能として認識し、その機能を表す情報を実行部１０４に供給する。
【０１１０】
ラベル表示制御部１８２は、指種類認識部１４１から複数の指の位置と種類が供給される場合、その指の位置と種類に基づいて、連続する２つの指どうしの距離を計算する。ラベル表示制御部１８２は、その距離に基づいて複数の指が接合しているかどうかを判定する。ラベル表示制御部１８２は、タッチパネル８２上に複数の指が接合して配置されている場合、その複数の指の位置と種類に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。一方、タッチパネル８２上に１以上の指が接合せずに配置されている場合、ラベル表示制御部１８２は、その指の位置と種類に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。そして、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成する。
【０１１１】
ラベル表示制御部１８２は、カメラ３２から送信されてきた画像の、指種類認識部１４１から供給される接合されている複数の指の位置に対応する１つの位置に、その複数の指の位置と種類に対応する機能のラベル画像を重畳する。また、ラベル表示制御部１８２は、カメラ３２から送信されてきた画像の、指種類認識部１４１から供給される接合されていない１以上の指の位置に、その指の位置と種類に対応する機能のラベル画像を重畳する。そして、ラベル表示制御部１８２は、通信部１３２を制御して、重畳の結果得られる画像をＨＭＤ１２２に送信し、表示させる。
【０１１２】
[機能ラベルテーブルの例]
図１８は、機能ラベルテーブル１７０の例を示す図である。
【０１１３】
図１８に示すように、機能ラベルテーブル１７０では、１以上の指の接触位置および指の種類と、それらの組み合わせに割り当てられた機能、および、その機能を表すラベル画像に含まれる文字が対応付けられている。
【０１１４】
具体的には、図１８の例では、指の接触位置「アイコン上」および指の種類「人差し指」と、機能「実行」およびラベル画像に含まれる文字「実行」とが対応付けられている。また、指の接触位置「アイコン上」および指の種類「中指」と、機能「メニュー表示」およびラベル画像に含まれる文字「メニュー」が対応付けられている。
【０１１５】
さらに、指の接触位置「アイコン上」および指の種類「人差し指と中指」と、機能「コピー」およびラベル画像に含まれる文字「コピー」が対応付けられている。
【０１１６】
［ＨＭＤに表示される画像の例］
図１９は、図１６の情報処理装置１２１によりＨＭＤ１２２に表示される画像の例を示す図である。
【０１１７】
なお、図１９の例では、図１８に示した機能ラベルテーブル１７０が記憶部６８に記憶されているものとする。また、図１９において、図１４と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【０１１８】
図１９Ａに示すように、ユーザが人差し指と中指を接合せずにアイコン１３の周辺位置に配置させると、接合されていない人差し指と中指を含む画像がカメラ３２により撮像される。そして、その人差し指と、人差し指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字「実行」が、機能ラベルテーブル１７０から検索される。また、中指と中指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字「メニュー」が、機能ラベルテーブル１７０から検索される。そして、文字「実行」を含むラベル画像１６１が人差し指の位置に重畳され、文字「メニュー」を含むラベル画像１６２が中指の位置に重畳された画像がＨＭＤ１２２に表示される。
【０１１９】
また、図１９Ｂに示すように、ユーザが人差し指と中指を接合してアイコン１３の周辺位置に配置させると、接合された人差し指と中指を含む画像がカメラ３２により撮像される。そして、その人差し指および中指と、人差し指および中指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字「コピー」が、機能ラベルテーブル１７０から検索される。そして、文字「コピー」を含むラベル画像１６３が、接合された人差し指と中指の位置に対応する１つの位置（図１９の例では、人差し指と中指の中央の位置）に重畳された画像がＨＭＤ１２２に表示される。
【０１２０】
［情報処理装置の処理の説明］
図２０と図２１は、機能実行処理部１８０によるラベル表示処理を説明するフローチャートである。
【０１２１】
ステップＳ４１において、指種類認識部１４１は、カメラ３２により撮像され、送信されてきた画像を取得する。
【０１２２】
ステップＳ４２において、指種類認識部１４１は、記憶部６８に予め記憶されている指情報９２と、カメラ３２から取得された画像とに基づいて、その画像に含まれる指の種類と位置を認識する。指種類認識部１４１は、認識された指の種類と位置をラベル表示制御部１８２に供給する。
【０１２３】
ステップＳ４３において、ラベル表示制御部１８２は、指種類認識部１４１から供給される指の種類に基づいて、指種類認識部１４１により連続する複数の指の種類が認識されたかどうかを判定する。なお、連続する複数の指の種類とは、「人差し指と中指」、「中指と薬指」、「薬指と小指」、「人差し指、中指、および薬指」、「中指、薬指、および小指」、または、「人差し指、中指、薬指、および小指」である。
【０１２４】
ステップＳ４３で連続する複数の指の種類が認識されたと判定された場合、ステップＳ４４において、ラベル表示制御部１８２は、指種類認識部１４１から供給される指の種類と位置に基づいて、連続する２つの指どうしの距離を計算する。具体的には、ラベル表示制御部１８２は、「人差し指と中指」、「中指と薬指」、または「薬指と小指」の距離を計算する。そして処理はステップＳ４５に進む。
【０１２５】
一方、ステップＳ４３で連続する複数の指の種類が認識されていないと判定された場合、即ち、各指のいずれか１つ、「人差し指と薬指」、「人差し指と小指」、または「中指と小指」のみが指の種類として認識された場合、処理はステップＳ４５に進む。
【０１２６】
ステップＳ４５において、ラベル表示制御部１８２は、人差し指を処理の対象の指である対象指とする。
【０１２７】
ステップＳ４６において、ラベル表示制御部１８２は、対象指の種類が指種類認識部１４１により認識されているかどうか、即ち、対象指の種類が指種類認識部１４１から供給されたかどうかを判定する。
【０１２８】
ステップＳ４６で対象指の種類が認識されていると判定された場合、ステップＳ４７において、ラベル表示制御部１８２は、対象指の右隣の指の種類が指種類認識部１４１に認識されているかどうかを判定する。具体的には、対象指が人差し指である場合、ラベル表示制御部１８２は、中指が認識されているかどうかを判定し、対象指が中指である場合、ラベル表示制御部１８２は、薬指が認識されているかどうかを判定する。また、対象指が薬指である場合、ラベル表示制御部１８２は、小指が認識されているかどうかを判定する。
【０１２９】
ステップＳ４７で対象指の右隣の指の種類が認識されていると判定された場合、ステップＳ４８において、ラベル表示制御部１８２は、ステップＳ４４で計算された対象指と右隣の指の距離が閾値以下であるかどうかを判定する。
【０１３０】
ステップＳ４８で対象指と右隣の指の距離が閾値以下ではないと判定された場合、ラベル表示制御部１８２は、対象指と右隣の指が接合していないと判定し、処理をステップＳ４９に進める。
【０１３１】
一方、ステップＳ４７で対象指の右隣の指が認識されていないと判定された場合、処理はステップＳ４９に進む。
【０１３２】
ステップＳ４９において、ラベル表示制御部１８２は、指の種類「対象指」および接触位置「対象指の位置の周辺位置」に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。即ち、対象指の種類は認識されているが、その対象指の右隣の指の種類は認識されていないか、または、対象指と右隣の指の種類が認識されているが、対象指が右隣の指と接合していない場合、指の種類「対象指」および接触位置「対象指の位置の周辺位置」に対応する文字が機能ラベルテーブル１７０から検索される。
【０１３３】
ステップＳ５０において、ラベル表示制御部１８２は、指の種類「対象指」および接触位置「対象指の位置の周辺位置」に対応するラベル画像に含まれる文字が機能ラベルテーブル１７０から検索されたかどうかを判定する。
【０１３４】
ステップＳ５０で検索されたと判定された場合、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成し、処理をステップＳ５１に進める。
【０１３５】
ステップＳ５１において、ラベル表示制御部１８２は、カメラ３２から送信されてきた画像の対象指の位置に、検索された文字を含むラベル画像を重畳し、処理をステップＳ５２に進める。
【０１３６】
一方、ステップＳ５０で検索されていないと判定された場合、即ち、指の種類「対象指」および接触位置「対象指の位置の周辺位置」に対応するラベル画像に含まれる文字が機能ラベルテーブル１７０に登録されていない場合、処理はステップＳ５２に進む。
【０１３７】
また、ステップＳ４６で対象指の種類が指種類認識部１４１により認識されていないと判定された場合、処理はステップＳ５２に進む。
【０１３８】
ステップＳ５２において、ラベル表示制御部１８２は、対象指が薬指であるかどうかを判定する。ステップＳ５２で対象指が薬指ではないと判定された場合、ステップＳ５３において、ラベル表示制御部１８２は、対象指の右隣の指を新たな対象指とし、処理をステップＳ４６に戻す。
【０１３９】
以上のようにしてステップＳ４５乃至Ｓ５３の処理が行われることにより、中指と接合していない人差し指、人差し指とも薬指とも接合していない中指、および中指とも小指とも接合していない薬指の位置に、その位置と各指の種類に割り当てられた機能のラベル画像が重畳される。
【０１４０】
一方、ステップＳ５２で対象指が薬指であると判定された場合、処理は図２１のステップＳ６８に進む。
【０１４１】
また、ステップＳ４８で対象指と右隣の指の距離が閾値以下であると判定された場合、ラベル表示制御部１８２は、対象指と右隣の指が接合していると判断し、処理をステップＳ５４に進める。
【０１４２】
ステップＳ５４において、ラベル表示制御部１８２は、対象指が薬指であるかどうかを判定する。ステップＳ５４で対象指が薬指ではないと判定された場合、即ち対象指が人差し指または中指である場合、処理はステップＳ５５に進む。
【０１４３】
ステップＳ５５において、ラベル表示制御部１８２は、対象指の１つ置いた右隣の指の種類が指種類認識部１４１により認識されているかどうかを判定する。なお、対象指が人差し指である場合、対象指の１つ置いた右隣の指は薬指であり、対象指が中指である場合、対象指の１つ置いた右隣の指は小指である。
【０１４４】
ステップＳ５５で対象指の１つ置いた右隣の指の種類が認識されていると判定された場合、図２１のステップＳ６１において、ラベル表示制御部１８２は、対象指の右隣の指と対象指の１つ置いた右隣の指との距離が閾値以下であるかどうかを判定する。具体的には、対象指が人差し指である場合、ラベル表示制御部１８２は、ステップＳ４４で計算された中指と薬指の距離が閾値以下であるかどうかを判定する。また、対象指が中指である場合、ラベル表示制御部１８２は、ステップＳ４４で計算された薬指と小指の距離が閾値以下であるかどうかを判定する。
【０１４５】
ステップＳ６１で対象指の右隣の指と対象指の１つ置いた右隣の指との距離が閾値以下ではないと判定された場合、ラベル表示制御部１８２は、対象指の右隣の指と対象指の１つ置いた右隣の指とが接合されていないと判断する。そして、ラベル表示制御部１８２は、処理を図２０のステップＳ５６に進める。
【０１４６】
一方、ステップＳ５４で対象指が薬指であると判定された場合、または、ステップＳ５５で対象指の１つ置いた右隣の指の種類が認識されていないと判定された場合、処理はステップＳ５６に進む。
【０１４７】
ステップＳ５６において、ラベル表示制御部１８２は、指の種類「対象指と右隣の指」および接触位置「対象指と右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。
【０１４８】
ステップＳ５７において、指の種類「対象指と右隣の指」および接触位置「対象指と右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字が検索されたかどうかを判定する。
【０１４９】
ステップＳ５７で検索されたと判定された場合、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成し、処理をステップＳ５８に進める。
【０１５０】
ステップＳ５８において、ラベル表示制御部１８２は、カメラ３２から送信されてきた画像の対象指と右隣の指の位置に対応する１つの位置に、検索された文字を含むラベル画像を重畳し、処理をステップＳ５９に進める。
【０１５１】
一方、ステップＳ５７で検索されていないと判定された場合、処理はステップＳ５９に進む。
【０１５２】
ステップＳ５９において、ラベル表示制御部１８２は、対象指が薬指であるかどうかを判定し、対象指が薬指である場合、処理を終了する。
【０１５３】
一方、ステップＳ５９で対象指が薬指ではないと判定された場合、ステップＳ６０において、ラベル表示制御部１８２は、対象指の１つ置いた右隣の指を新たな対象指とし、処理をステップＳ４６に戻す。
【０１５４】
以上のようにして、ステップＳ５４乃至Ｓ６１の処理が行われることにより、「中指とのみ接合する人差し指」、「薬指とのみ接合する中指」、および「小指とのみ接合する薬指」の互いに接合する２つの指の位置に対応する１つの位置に、その位置の周辺位置とその２つの指の種類に割り当てられた機能のラベル画像が重畳される。
【０１５５】
また、図２１のステップＳ６１で対象指の右隣の指と対象指の１つ置いた右隣の指との距離が閾値以下であると判定された場合、ラベル表示制御部１８２は、対象指の右隣の指と対象指の１つ置いた右隣の指が接合していると判断し、処理をステップＳ６２に進める。
【０１５６】
ステップＳ６２において、ラベル表示制御部１８２は、対象指が中指であるかどうかを判定する。ステップＳ６２で対象指が中指ではないと判定された場合、即ち対象指が人差し指である場合、処理はステップＳ６３に進む。
【０１５７】
ステップＳ６３において、ラベル表示制御部１８２は、対象指の２つ置いた右隣の指の種類が認識されているかどうか、即ち小指が認識されているかどうかを判定する。
【０１５８】
ステップＳ６３で対象指の２つ置いた右隣の指が認識されていると判定された場合、ステップＳ７２において、ラベル表示制御部１８２は、対象指の１つ置いた右隣の指と対象指の２つ置いた右隣の指との距離が閾値以下であるかどうかを判定する。即ち、ラベル表示制御部１８２は、図２０のステップＳ４４で計算された薬指と小指の距離が閾値以下であるかどうかを判定する。
【０１５９】
ステップＳ７２で対象指の１つ置いた右隣の指と対象指の２つ置いた右隣の指との距離が閾値以下ではないと判定された場合、ラベル表示制御部１８２は、薬指と小指が接合されていないと判断し、処理をステップＳ６４に進める。
【０１６０】
一方、ステップＳ６２で対象指が中指であると判定された場合、または、ステップＳ６３で対象指の２つ置いた右隣の指の種類が認識されていないと判定された場合、処理はステップＳ６４に進む。
【０１６１】
ステップＳ６４において、ラベル表示制御部１８２は、指の種類「対象指、右隣の指、および１つ置いた右隣の指」および接触位置「対象指、右隣の指、および１つ置いた右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字を、機能ラベルテーブル１７０から検索する。
【０１６２】
ステップＳ６５において、ラベル表示制御部１８２は、指の種類「対象指、右隣の指、および１つ置いた右隣の指」および接触位置「対象指、右隣の指、および１つ置いた右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字が検索されたかどうかを判定する。
【０１６３】
ステップＳ６５で検索されたと判定された場合、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成し、処理をステップＳ６６に進める。
【０１６４】
ステップＳ６６において、ラベル表示制御部１８２は、対象指、右隣の指、および１つ置いた右隣の指の位置に対応する１つの位置に、検索された文字を含むラベル画像を重畳し、処理をステップＳ６７に進める。
【０１６５】
また、ステップＳ６５で検索されていないと判定された場合、処理はステップＳ６７に進む。
【０１６６】
以上のようにして、ステップＳ６１乃至Ｓ６６およびＳ７２の処理が行われることにより、「小指とは接合されない、互いに接合する人差し指、中指、および薬指」および「人差し指とは接合されない、互いに接合する中指、薬指、および小指」の互いに接合する３つの指の位置に対応する１つの位置に、その位置の周辺位置とその３つの指の種類に割り当てられた機能のラベル画像が重畳される。
【０１６７】
ステップＳ６７において、ラベル表示制御部１８２は、対象指が中指であるかどうかを判定する。ステップＳ６７で対象指が中指であると判定された場合、処理はステップＳ７６に進む。一方、ステップＳ６４で対象指が中指ではないと判定された場合、即ち対象指が人差し指である場合、処理はステップＳ６８に進む。
【０１６８】
ステップＳ６８において、ラベル表示制御部１８２は、小指が指の種類として指種類認識部１４１に認識されているかどうかを判定する。
【０１６９】
ステップＳ６８で小指が認識されていると判定された場合、ステップＳ６９において、ラベル表示制御部１８２は、指の種類「小指」および接触位置「小指の位置の周辺位置」に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。
【０１７０】
ステップＳ７０において、ラベル表示制御部１８２は、指の種類「小指」および接触位置「小指の位置の周辺位置」に対応するラベル画像に含まれる文字が検索されたかどうかを判定する。
【０１７１】
ステップＳ７０で検索されたと判定された場合、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成し、処理をステップＳ７１に進める。
【０１７２】
ステップＳ７１において、ラベル表示制御部１８２は、カメラ３２から送信されてきた画像の小指の位置に、検索された文字を含むラベル画像を重畳し、処理をステップＳ７６に進める。
【０１７３】
ステップＳ６８で小指が認識されていないと判定された場合、または、ステップＳ７０で検索されていないと判定された場合、処理はステップＳ７６に進む。
【０１７４】
以上のようにしてステップＳ６８乃至Ｓ７１の処理が行われることにより、薬指が接合されない小指の位置に、その位置の周辺位置と指の種類「小指」に割り当てられた機能のラベル画像が重畳される。
【０１７５】
また、ステップＳ７２で対象指の１つ置いた右隣の指と対象指の２つ置いた右隣の指との距離が閾値以下であると判定された場合、ラベル表示制御部１８２は、薬指と小指が接合されていると判断し、処理をステップＳ７３に進める。
【０１７６】
ステップＳ７３において、ラベル表示制御部１８２は、指の種類「対象指、右隣の指、１つ置いた右隣の指、および２つ置いた右隣の指」および接触位置「対象指、右隣の指、１つ置いた右隣の指、および２つ置いた右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。即ち、ラベル表示制御部１８２は、指の種類「人差し指、中指、薬指、および小指」および接触位置「人差し指、中指、薬指、および小指の位置の周辺位置」に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。
【０１７７】
ステップＳ７４において、指の種類「対象指、右隣の指、１つ置いた右隣の指、および２つ置いた右隣の指」および接触位置「対象指、右隣の指、１つ置いた右隣の指、および２つ置いた右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字が検索されたかどうかを判定する。
【０１７８】
ステップＳ７４で検索されたと判定された場合、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成し、処理をステップＳ７５に進める。
【０１７９】
ステップＳ７５において、ラベル表示制御部１８２は、対象指、右隣の指、１つ置いた右隣の指、および２つ置いた右隣の指の位置に対応する１つの位置に、検索された文字を含むラベル画像を重畳する。そして処理はステップＳ７６に進む。
【０１８０】
以上のようにして、ステップＳ７２乃至Ｓ７５の処理が行われることにより、互いに接合する人差し指、中指、薬指、および小指の位置に対応する１つの位置に、その位置の周辺位置と指の種類「人差し指、中指、薬指、および小指」に割り当てられた機能のラベル画像が重畳される。
【０１８１】
一方、ステップＳ７４で検索されていないと判定された場合、処理はステップＳ７６に進む。
【０１８２】
ステップＳ７６において、ラベル表示制御部１８２は、通信部１３２を制御し、以上の処理によりラベル画像が重畳されなかったカメラ３２からの画像、または、以上の処理によりラベル画像が重畳されたカメラ３２からの画像を、ＨＭＤ１２２に送信して表示させる。そして、処理は終了する。
【０１８３】
以上のように、図１６の情報処理装置１２１では、１以上の指の接触位置および種類の組み合わせに機能が割り当てられるので、１つの指の接触位置および種類の組み合わせに機能が割り当てられる場合に比べて、所定の位置に指を接触させるという１つの動作に対して、より多くの機能を割り当てることができる。
【０１８４】
また、図１６の情報処理装置１２１では、接合されている複数の指の位置に対応する１つの位置に、その複数の指の位置の周辺位置と種類に対応する機能のラベル画像が重畳されるので、各指の位置にラベル画像が重畳される場合に比べて視認性が良い。
【０１８５】
なお、図１７の機能実行処理部１８０による機能実行処理は、複数の指が接触している場合にその指が接合しているかどうかを判定する点、および、接触している複数の指が接合している場合には、図９の機能実行処理において検索対象が、接合している複数の指の種類と接触位置に対応する機能となる点を除いて図９の機能実行処理と同様であるので、図示は省略する。
【０１８６】
＜第３実施の形態＞
［情報処理システムの第３実施の形態の構成例］
図２２は、本発明を適用した情報処理システムの第３実施の形態の構成例を示す図である。
【０１８７】
図２２に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８８】
図２２の情報処理システム２００の構成は、主に、情報処理装置３１の代わりに情報処理装置２０１が設けられている点、および、カメラ３２を装備した眼鏡３３が設けられない点が図４の構成と異なる。情報処理装置２０１は、図４や図１０のカメラ３２が有する撮像機能を有しており、ユーザは、情報処理システム２００を使用するとき、情報処理装置２０１を所持するだけでよい。
【０１８９】
情報処理システム２００において、情報処理装置２０１は、指でタッチ操作可能な情報処理装置であり、タッチパネルモニタ２１１等を有している。タッチパネルモニタ２１１は、撮像機能と表示機能を有する。タッチパネルモニタ２１１は、撮像機能によってタッチパネルモニタ２１１等を撮像することにより、タッチパネルモニタ２１１に接触されている指の種類および位置を検出する。また、タッチパネルモニタ２１１は、表示機能によってアイコン１３等を表示する。なお、タッチパネルモニタ２１１の詳細については、後述する図２４を参照して説明する。
【０１９０】
ユーザは、タッチパネルモニタ２１１に表示されたアイコン１３等を見ながら、所望の位置に指を接触させることにより、情報処理装置２０１に所望の機能を実行させる。具体的には、情報処理装置２０１は、タッチパネルモニタ２１１により撮像された画像に基づいて、タッチパネルモニタ２１１に接触されている指の位置および種類を認識する。そして、情報処理装置２０１は、その指の位置と種類に割り当てられた機能を実行する。
【０１９１】
［情報処理装置のハードウェア構成例］
図２３は、図２２の情報処理装置２０１のハードウェア構成例を示すブロック図である。
【０１９２】
図２３に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９３】
図２３の情報処理装置２０１の構成は、主に、タッチパネルモニタ４１、通信部６９の代わりにタッチパネルモニタ２１１、通信部２１２が設けられている点が図５の構成と異なる。
【０１９４】
タッチパネルモニタ２１１は、タッチパネルモニタ２１１を含む画像を撮像するとともに、その画像を表示する。通信部２１２は、図示せぬ外部の装置と通信を行う。
【０１９５】
[タッチパネルモニタの詳細構成例]
図２４は、タッチパネルモニタ２１１の詳細構成例を示すブロック図である。
【０１９６】
図２４に示すように、タッチパネルモニタ２１１は、Ｉ／Ｏ表示パネル２２１、バックライト２２２、表示ドライブ回路２２３、および受光ドライブ回路２２４により構成される。
【０１９７】
Ｉ／Ｏ表示パネル２２１は、中央の表示領域２２１Ａに複数の画素に対応する回路がマトリクス状に配列されることにより構成されるLCDである。各画素の回路は、TFT（Thin Film Transistor）、液晶を挟持した電極等により構成される画素部と、そのTFTと同一層を用いて構成された光センサ、リセットスイッチ、コンデンサ等により構成されるセンサ部とにより構成される。
【０１９８】
Ｉ／Ｏ表示パネル２２１の各画素の画素部は、表示ドライブ回路２２３の制御にしたがって線順次動作を行い、CPU６１等から供給される画像を表示領域２２１Ａに表示する。また、Ｉ／Ｏ表示パネル２２１の各画素のセンサ部は、受光ドライブ回路２２４の制御にしたがって線順次動作を行い、受光データを得る。即ち、Ｉ／Ｏ表示パネル２２１の画素部は画像を表示し、センサ部は撮像を行う。
【０１９９】
バックライト２２２は、Ｉ／Ｏ表示パネル２２１の光源であり、例えば複数の発光ダイオードを面内に配列させることにより構成される。バックライト２２２は、表示ドライブ回路２２３から供給されるＩ／Ｏ表示パネル２２１の動作タイミングを表す信号に同期した所定のタイミングで、高速に発光ダイオードのオン・オフ動作を行う。なお、バックライト２２２は、画像を表示するための可視光と、撮像を行うための紫外光を射出する。
【０２００】
表示ドライブ回路２２３は、CPU６１等から供給される画像に基づいて、Ｉ／Ｏ表示パネル２２１を線順次動作させることにより、その画像を表示領域２２１Ａに表示させる。また、表示ドライブ回路２２３は、線順次動作の動作タイミングを表す信号をバックライト２２２に供給する。
【０２０１】
受光ドライブ回路２２４は、Ｉ／Ｏ表示パネル２２１を線順次動作させることにより、Ｉ／Ｏ表示パネル２２１において撮像を行わせる。また、受光ドライブ回路２２４は、撮像の結果得られる各画素の受光データを画像としてCPU６１に供給する。
【０２０２】
なお、タッチパネルモニタ２１１のより詳細な説明については、本出願人が先に出願した特開２００９−６３８０３号公報に記載されている。
【０２０３】
[情報処理装置の機能的構成例]
図２５は、情報処理装置２０１のCPU６１により実現される機能実行処理部の機能的構成例を示すブロック図である。
【０２０４】
図２５の機能実行処理部２４０の構成は、主に、位置取得部１０１、指種類認識部１０２の代わりに位置検出部２４１（検出手段）、指種類認識部２４２が設けられている点が図６の構成と異なる。
【０２０５】
位置検出部２４１は、タッチパネルモニタ２１１から供給される画像の画素値の大きさ等に基づいて、タッチパネルモニタ２１１に接触された物体の位置を接触位置として検出し、機能認識部１０３と指種類認識部２４２に供給する。
【０２０６】
指種類認識部２４２は、タッチパネルモニタ２１１から供給される画像、記憶部６８に予め記憶されている指情報９２、および位置検出部２４１からの接触位置に基づいて、タッチパネルモニタ２１１に接触された指の種類を認識する。指種類認識部２４２は、認識された指の種類を機能認識部１０３に供給する。
【０２０７】
［情報処理装置の処理の説明］
図２６は、機能実行処理部２４０による機能実行処理を説明するフローチャートである。
【０２０８】
図２６のステップＳ８１において、位置検出部２４１は、タッチパネルモニタ２１１から供給される画像を取得する。
【０２０９】
ステップＳ８２において、位置検出部２４１は、タッチパネルモニタ２１１から供給される画像の画素値の大きさ等に基づいて、タッチパネルモニタ２１１に物体が接触したかどうかを判定する。
【０２１０】
ステップＳ８２でタッチパネルモニタ２１１に物体が接触したと判定された場合、処理はステップＳ８３に進む。
【０２１１】
ステップＳ８３において、位置検出部２４１は、タッチパネルモニタ２１１から供給される画像の画素値の大きさ等に基づいて、タッチパネルモニタ２１１に接触された物体の位置を接触位置として検出する。そして、位置検出部２４１は、その接触位置を機能認識部１０３と指種類認識部２４２に供給する。
【０２１２】
ステップＳ８４において、指種類認識部２４２は、指情報９２、タッチパネルモニタ２１１からの画像、および位置検出部２４１からの接触位置に基づいて、タッチパネルモニタ２１１に接触された指の種類を認識する。指種類認識部２４２は、その指の種類を機能認識部１０３に供給する。
【０２１３】
ステップＳ８５乃至Ｓ８７の処理は、図９のステップＳ１５乃至Ｓ１７の処理と同様であるので、説明は省略する。
【０２１４】
また、ステップＳ８２でタッチパネルモニタ２１１に物体が接触していないと判定された場合、処理は終了する。
【０２１５】
［指情報の他の例］
図２７および図２８は、指情報９２の他の例を説明する図である。
【０２１６】
上述した説明では、指情報９２は、各指の画像、または、各指の形状を特定する情報であるものとしたが、図２７に示すように、ユーザが、各指の任意の箇所（図２７の例では爪）に各指に固有の色を付す場合、その色の情報を指情報９２として用いることもできる。
【０２１７】
具体的には、図２７の例では、ユーザが、人差し指の爪に色３０１を付し、中指の爪に色３０１とは異なる色３０２を付している。従って、この場合、情報処理装置３１（１２１，２０１）は、色３０１と指の種類「人差し指」を対応付け、色３０２と指の種類「中指」を対応付けたテーブルを指情報９２として記憶しておく。これにより、情報処理装置３１（１２１，２０１）は、カメラ３２（タッチパネルモニタ２１１）により撮像された画像の色に対応する指の種類を指情報９２から検索することで、指の種類を認識することができる。
【０２１８】
また、図２８に示すように、ユーザが、各指の任意の箇所（図２８の例では爪）に、各指に固有の位置に印が付された、紙などにより構成されるマーカを貼り付ける場合、その印のマーカ上の位置を表す情報を指情報９２として用いることもできる。
【０２１９】
具体的には、図２８の例では、ユーザが、人差し指の爪に下部中央に印３１１Ａが付されたマーカ３１１を貼り付け、中指の爪に上部中央に印３１２Ａが付されたマーカ３１２を貼り付けている。従って、この場合、情報処理装置３１（１２１，２０１）は、マーカ３１１上の印３１１Ａの位置「下部中央」と指の種類「人差し指」を対応付け、マーカ３１２上の印３１２Ａの位置「上部中央」と指の種類「中指」を対応付けたテーブルを指情報９２として記憶しておく。これにより、情報処理装置３１（１２１，２０１）は、カメラ３２（タッチパネルモニタ２１１）により撮像された画像からマーカ３１１（３１２）を抽出し、そのマーカ３１１（３１２）の印３１１Ａ（３１２Ａ）の位置に対応する指の種類を指情報９２から検索することで、指の種類を認識することができる。
【０２２０】
なお、図２７や図２８で説明した指情報９２は、予め設定されていてもよいし、ユーザにより設定されるようにしてもよい。
【０２２１】
また、機能テーブル９１および機能ラベルテーブル１３１（１７０）は、ユーザが設定するようにしてもよい。この場合、ユーザは、指の種類と接触位置の組み合わせに対して割り当てる機能をカスタマイズすることができる。
【０２２２】
なお、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２２３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２２４】
さらに、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２２５】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２２６】
３１ 情報処理装置， ４１ タッチパネルモニタ， ８２ タッチパネル， ９１ 機能テーブル， １０２ 指種類認識部， １０３ 機能認識部， １０４ 実行部， １２１ 情報処理装置， １３１ 機能ラベルテーブル， １４１ 指種類認識部， １４２ ラベル表示制御部， １７０ 機能ラベルテーブル， １８１ 機能認識部， １８２ ラベル表示制御部， ２０１ 情報処理装置， ２４１ 位置検出部， ２４２ 指種類認識部
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、タッチ操作可能な情報処理装置において、ユーザの所望の機能を素早くかつ容易に実行可能にすることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
マウスで操作可能な情報処理装置は、左クリックと呼ばれるマウスの左のボタンを１回だけ押下してすぐ離す操作と、右クリックと呼ばれるマウスの右のボタンを１回だけ押下してすぐ離す操作に対して、それぞれ異なる機能を割り当てることができる。
【０００３】
その結果、このような情報処理装置では、例えば、図１Ａに示すように、マウス１１によって操作されるカーソル１２がアイコン１３の位置に表示されている場合に、マウス１１が左クリックされると、アイコン１３を選択する機能が実行される。また、図１Ｂに示すように、マウス１１が右クリックされると、アイコン１３のコンテキストメニュー１４を表示する機能が実行される。即ち、マウス１１によって操作されるカーソル１２の位置に対して、２つの機能を割り当てることができる。
【０００４】
一方、指などでタッチ操作可能な情報処理装置としては、例えば、ディスプレイに重畳されたタッチパネルを用いてタッチパネルに接触された物体の位置や動きを検出し、その位置や動きに割り当てられている機能を実行するものがある。
【０００５】
このような情報処理装置では、例えば、ユーザが、図２Ａに示すように、ディスプレイに表示されたアイコン１３に対応するタッチパネル上の位置に、任意の指（図２Ａの例では人差し指）を１回接触させると、その位置に割り当てられている機能として、アイコン１３を選択する機能、アイコン１３に対応するアプリケーションを実行する機能などが実行される。
【０００６】
しかしながら、このような情報処理装置では、一般的に、タッチパネルに接触された指の位置が検出されるだけであり、その指の種類などは検出されない。従って、１つの接触位置に複数の機能を割り当てることができない。その結果、図２Ａに示すように人差し指が接触される場合であっても、図２Ｂに示すように中指が接触される場合であっても、接触位置が同一であれば、同一の機能が実行される。
【０００７】
また、アイコン１３の位置に、マウスで操作可能な情報処理装置において左クリックに対応する機能が割り当てられた場合、そのアイコン１３の位置に、右クリックに対応する機能を割り当てることができない。従って、ユーザは、右クリックに割り当てられたコンテキストメニュー１４を表示する機能を実行するために、例えば、図３に示すような煩雑な操作を行う必要がある。
【０００８】
具体的には、ユーザは、コンテキストメニュー１４を表示する機能を実行させる場合、図３Ａに示すように、まず、タッチパネルのアイコン１３に対応する位置に任意の指（図３の例では、人差し指）を接触させ、アイコン１３を選択する機能を実行させる。その後、ユーザは、図３Ｂに示すように、コンテキストメニュー１４を表示する機能を実行させるためのアイコン２１に対応するタッチパネル上の位置に任意の指を接触させ、コンテキストメニュー１４を表示する機能を実行させる。その結果、図３Ｃに示すように、コンテキストメニュー１４が表示される。以上のように、ユーザは、コンテキストメニュー１４を表示する機能を実行させるために、タッチパネルに指を２回接触させる必要がある。
【０００９】
従って、タッチ操作可能な情報処理装置では、同一の接触位置に複数の機能を割り当てることにより、ユーザの所望の機能を素早くかつ容易に実行可能にすることが求められている。
【００１０】
また、タッチ操作可能な情報処理装置としては、タッチパネルに接触された指の本数を検出し、検出された指の本数によって異なる機能を実行する情報処理装置もある(例えば、特許文献１参照)。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００１−１３４３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、タッチ操作可能な情報処理装置において、同一の接触位置であっても接触する指の種類に応じて異なる機能を割り当てることにより、ユーザの所望の機能を素早くかつ容易に実行可能にすることは考えられていない。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、タッチ操作可能な情報処理装置において、ユーザの所望の機能を素早くかつ容易に実行可能にすることができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の情報処理装置は、接触部に接触された物体の位置を接触位置として検出する検出手段と、前記接触位置と前記接触部の画像に基づいて、前記接触部に接触された指の種類を認識する認識手段と、少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、前記検出手段により検出された前記接触位置と前記認識手段により認識された前記指の種類とに対応する機能を検索する検索手段と、前記検索手段により検索された前記機能を実行する実行手段とを備える情報処理装置である。
【００１５】
本発明の一側面の情報処理方法およびプログラムは、本発明の一側面の情報処理装置に対応する。
【００１６】
本発明の一側面においては、接触部に接触された物体の位置が接触位置として検出され、接触位置と接触部の画像に基づいて、接触部に接触された指の種類が認識され、少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、検出された接触位置と認識された指の種類とに対応する機能が検索され、検索された機能が実行される。
【発明の効果】
【００１７】
本発明の一側面によれば、タッチ操作可能な情報処理装置において、ユーザの所望の機能を素早くかつ容易に実行可能にすることができる。
【図面の簡単な説明】
【００１８】
【図１】マウス操作の例を示す図である。
【図２】従来のタッチ操作の例を示す図である。
【図３】コンテキストメニューを表示させるためのタッチ操作の例を示す図である。
【図４】本発明を適用した情報処理システムの第１実施の形態の構成例を示す図である。
【図５】図４の情報処理装置のハードウェア構成例を示すブロック図である。
【図６】図５のCPUにより実現される機能実行処理部の機能的構成例を示すブロック図である。
【図７】機能テーブルの例を示す図である。
【図８】図７の機能テーブルが記憶されている場合に実行される機能を説明する図である。
【図９】図６の機能実行処理部による機能実行処理を説明するフローチャートである。
【図１０】本発明を適用した情報処理システムの第２実施の形態の構成例を示す図である。
【図１１】図１０の情報処理装置のハードウェア構成例を示すブロック図である。
【図１２】図１１のCPUにより実現される機能実行処理部の機能的構成例を示すブロック図である。
【図１３】図１１の機能ラベルテーブルの例を示す図である。
【図１４】図１１のＨＭＤに表示される画像の例を示す図である。
【図１５】図１２の機能実行処理部によるラベル表示処理を説明するフローチャートである。
【図１６】図１０の情報処理装置の他のハードウェア構成例を示すブロック図である。
【図１７】図１６のCPUにより実現される機能実行処理部の機能的構成例を示すブロック図である。
【図１８】図１６の機能ラベルテーブルの例を示す図である。
【図１９】図１６のＨＭＤに表示される画像の例を示す図である。
【図２０】図１７の機能実行処理部によるラベル表示処理を説明するフローチャートである。
【図２１】図１７の機能実行処理部によるラベル表示処理を説明するフローチャートである。
【図２２】本発明を適用した情報処理システムの第３実施の形態の構成例を示す図である。
【図２３】図２２の情報処理装置のハードウェア構成例を示すブロック図である。
【図２４】図２２のタッチパネルモニタの詳細構成例を示すブロック図である。
【図２５】図２３のCPUにより実現される機能実行処理部の機能的構成例を示すブロック図である。
【図２６】図２５の機能実行処理部による機能実行処理を説明するフローチャートである。
【図２７】指情報の他の例を説明する図である。
【図２８】指情報のさらに他の例を説明する図である。
【発明を実施するための形態】
【００１９】
＜第１実施の形態＞
［情報処理システムの第１実施の形態の構成例］
図４は、本発明を適用した情報処理システムの第１実施の形態の構成例を示す図である。
【００２０】
図４に示すように、情報処理システム３０は、情報処理装置３１と、カメラ３２を装備した眼鏡３３により構成される。なお、図４において、図１乃至図３と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【００２１】
ユーザは、情報処理システム３０を使用するとき、情報処理装置３１を所持し、眼鏡３３を装着する。ユーザは、眼鏡３３を介して情報処理装置３１を見ながら、情報処理装置３１に対してタッチ操作を行う。
【００２２】
情報処理システム３０において、情報処理装置３１とカメラ３２は接続されている。情報処理装置３１は、指でタッチ操作可能な情報処理装置であり、タッチパネルモニタ４１等を有している。情報処理装置３１は、そのタッチパネルモニタ４１にアイコン１３等を表示させる。ユーザは、タッチパネルモニタ４１に表示されたアイコン１３等を見ながら、所望の位置に指を接触させることにより、情報処理装置３１に所望の機能を実行させる。
【００２３】
眼鏡３３に装備されたカメラ３２は、タッチパネルモニタ４１を含む画像を撮像する。従って、撮像された画像には、タッチパネルモニタ４１に接触している指も含まれている。カメラ３２は、撮像された画像を情報処理装置３１に送信する。
【００２４】
［情報処理装置のハードウェア構成例］
図５は、図４の情報処理装置３１のハードウェア構成例を示すブロック図である。
【００２５】
図５に示すように、情報処理装置３１は、CPU(Central Processing Unit)６１を内蔵しており、CPU６１には、バス６４を介して、ROM（Read Only Memory）６２およびRAM（Random Access Memory）６３が接続されている。また、CPU６１には、バス６４および入出力インタフェース６５を介して、タッチパネルモニタ４１、操作ボタン６６、スピーカ６７、記憶部６８、通信部６９、およびドライブ７０が接続されている。
【００２６】
CPU６１は、操作ボタン６６から供給されるユーザの操作を表す操作情報にしたがって、予めROM６２に格納されているプログラムを実行する。あるいは、CPU６１は、記憶部６８に予め格納されたプログラムを、RAM６３にロードして実行する。これにより、CPU６１は、後述するフローチャートにしたがった処理、あるいは後述する機能ブロック図の構成により行われる処理を行う。そして、CPU６１は、その処理結果を、必要に応じて、例えば、バス６４および入出力インタフェース６５を介して、タッチパネルモニタ４１やスピーカ６７から出力、あるいは、通信部６９から送信、さらには、記憶部６８に記録等させる。
【００２７】
タッチパネルモニタ４１（検出手段）は、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）等のディスプレイ８１、それに積層された無色透明のタッチパネル８２（接触部）等により構成される。タッチパネルモニタ４１は、CPU６１から供給される処理結果としてのアイコン１３等をディスプレイ８１に表示させる。タッチパネルモニタ４１は、タッチパネル８２への物体の接触を検知し、その接触の位置を接触位置としてCPU６１に供給する。
【００２８】
操作ボタン６６は、ユーザにより操作される物理的なボタンである。操作ボタン６６は、ユーザからの操作を受け付け、その操作を表す操作情報をCPU６１に供給する。スピーカ６７は、CPU６１から供給される処理結果としての音声を出力する。
【００２９】
記憶部６８は、HDD（Hard Disk Drive）等により構成される。記憶部６８は、機能テーブル９１、指情報９２等を記憶している。機能テーブル９１とは、１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けたテーブルである。
【００３０】
なお、本実施の形態において、指には、親指は含まれないものとする。即ち、本実施の形態における指とは、人差し指、中指、薬指、および小指である。また、指情報９２とは、ユーザの各指を識別するための情報である。ここでは、指情報９２は、各指の画像、または、各指の形状を特定する情報であるものとする。この指情報９２は、例えば、事前にユーザがカメラ３２を用いて自分の各指の画像を撮像することにより、記憶される。
【００３１】
通信部６９は、カメラ３２等の外部の装置と通信を行う。例えば、通信部６９は、カメラ３２から送信されてくる画像を受信し、RAM６３等に供給して記憶させる。
【００３２】
ドライブ７０には、必要に応じて、リムーバブルメディア７１が装着される。ドライブ７０は、装着されたリムーバブルメディア７１にデータを記録したり、リムーバブルメディア７１に記録されたデータを再生したりする。リムーバブルメディア７１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【００３３】
なお、CPU６１により実行されるプログラムは、リムーバブルメディア７１に格納（記録）しておくことができる。このようなリムーバブルメディア７１は、いわゆるパッケージソフトウエアとして提供することができる。この場合、プログラムは、ドライブ７０を介して情報処理装置３１にインストールされる。
【００３４】
また、CPU６１により実行されるプログラムは、通信網や放送網を介して、情報処理装置３１にダウンロードされ、内蔵する記憶部６８にインストールされるようにしてもよい。即ち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、情報処理装置３１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、情報処理装置３１に有線で転送することができる。
【００３５】
［情報処理装置の機能的構成例］
図６は、情報処理装置３１のCPU６１により実現される機能実行処理部の機能的構成例を示すブロック図である。
【００３６】
図６に示すように、機能実行処理部１００は、位置取得部１０１、指種類認識部１０２（認識手段）、機能認識部１０３（検索手段）、および実行部１０４（実行手段）により構成される。機能実行処理部１００は、タッチパネル８２への指の接触に応じて、その指の接触位置と種類に割り当てられた機能を実行する。
【００３７】
具体的には、機能実行処理部１００の位置取得部１０１は、タッチパネルモニタ４１から供給される接触位置（例えば、アイコンの上など）を取得し、その接触位置を指種類認識部１０２と機能認識部１０３に供給する。
【００３８】
指種類認識部１０２は、カメラ３２から送信されてきた画像、記憶部６８に予め記憶されている指情報９２、および位置取得部１０１からの接触位置に基づいて、タッチパネル８２に接触された指の種類を認識する。具体的には、例えば、指情報９２として各指の画像が記憶されている場合、指種類認識部１０２は、その指情報９２と、カメラ３２から送信されてきた画像の接触位置周辺の画像とのマッチングを行い、カメラ３２から送信されてきた画像に含まれる指の種類を認識する。指種類認識部１０２は、認識された指の種類（例えば、人差し指など）を機能認識部１０３に供給する。
【００３９】
なお、指の種類の認識方法としては、例えば、Taehee Lee,Tobias Hollerer,”Handy AR:Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking”,In Proc.IEEE International Symposium on Wearable Computers(ISWC),Boston,MA,Oct.2007に記載されている方法を用いることもできる。
【００４０】
機能認識部１０３は、記憶部６８に予め記憶されている機能テーブル９１から、位置取得部１０１からの接触位置と指種類認識部１０２からの指の種類とに対応する機能を検索する。そして、機能認識部１０３は、検索された機能を実行すべき機能として認識し、その機能を表す情報を実行部１０４に供給する。
【００４１】
実行部１０４は、機能認識部１０３から供給される情報が表す機能を実行する。
【００４２】
［効果の説明］
図７は、機能テーブル９１の例を示す図である。また、図８は、図７に示す機能テーブル９１が記憶部６８に記憶されている場合に実行される機能を説明する図である。
【００４３】
図７に示すように、機能テーブル９１では、１つの指の接触位置および指の種類と、それらの組み合わせに割り当てられた機能が対応付けられている。具体的には、図７の例では、指の接触位置「アイコン上」および指の種類「人差し指」と、機能「実行」とが対応付けられている。また、図７の例では、指の接触位置「アイコン上」および指の種類「中指」と、機能「メニュー表示」とが対応付けられている。
【００４４】
従って、図８Ａに示すように、ユーザがアイコン１３の表示位置に対応するタッチパネル８２上の位置に人差し指を接触すると、アイコン１３に対応するアプリケーションを実行する機能が実行される。また、図８Ｂに示すように、ユーザがアイコン１３の表示位置に対応するタッチパネル８２上の位置に中指を接触すると、コンテキストメニュー１４を表示する機能が実行される。
【００４５】
即ち、図７に示す機能テーブル９１が記憶部６８に記憶されている場合、接触位置がタッチパネル８２上のアイコン１３に対応する位置であっても、接触される指が人差し指であるか、中指であるかによって、実行される機能が異なる。なお、図８において、図１乃至図３と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【００４６】
以上のように、情報処理システム３０では、タッチパネルモニタ４１が、タッチパネル８２に接触された物体の位置を接触位置として検出し、指種類認識部１０２が、接触位置とタッチパネル８２の画像に基づいて、タッチパネル８２に接触された指の種類を認識する。そして、機能認識部１０３が、１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブル９１から、検出された接触位置と認識された指の種類とに対応する機能を検索し、実行部１０４が、その機能を実行する。
【００４７】
従って、同一の位置に指が接触された場合であっても、指の種類によって異なる機能を実行することができる。その結果、所定の位置への指の接触という１つの動作によって実行可能な機能が増加し、ユーザの所望の機能を素早くかつ容易に実行可能にすることができる。
【００４８】
［情報処理装置の処理の説明］
図９は、機能実行処理部１００による機能実行処理を説明するフローチャートである。
【００４９】
図９のステップＳ１１において、位置取得部１０１は、タッチパネル８２への物体の接触が検出されたかどうか、即ち接触位置がタッチパネルモニタ４１から供給されたかどうかを判定する。
【００５０】
ステップＳ１１でタッチパネル８２への物体の接触が検出されたと判定された場合、ステップＳ１２において、位置取得部１０１は、タッチパネルモニタ４１から供給される接触位置を取得し、その接触位置を指種類認識部１０２と機能認識部１０３に供給する。
【００５１】
ステップＳ１３において、指種類認識部１０２は、カメラ３２から送信されてきた画像を取得する。
【００５２】
ステップＳ１４において、指種類認識部１０２は、記憶部６８に予め記憶されている指情報９２、カメラ３２から取得された画像、および位置取得部１０１からの接触位置に基づいて、タッチパネル８２に接触された指の種類を認識する。そして、指種類認識部１０２は、その指の種類を機能認識部１０３に供給する。
【００５３】
ステップＳ１５において、機能認識部１０３は、位置取得部１０１からの接触位置と指種類認識部１０２からの指の種類に対応する機能を、記憶部６８に予め記憶されている機能テーブル９１から検索する。
【００５４】
ステップＳ１６において、機能認識部１０３は、位置取得部１０１からの接触位置と指種類認識部１０２からの指の種類に対応する機能が検索されたかどうかを判定する。ステップＳ１６で検索されたと判定された場合、機能認識部１０３は、検索された機能を実行すべき機能として認識し、その機能を表す情報を実行部１０４に供給する。そして、処理はステップＳ１７に進む。
【００５５】
ステップＳ１７において、実行部１０４は、機能認識部１０３から供給される情報が表す機能を実行し、処理を終了する。
【００５６】
一方、ステップＳ１１でタッチパネル８２への物体の接触が検出されていないと判定された場合、または、ステップＳ１６で検索されていないと判定された場合、処理を終了する。
【００５７】
なお、図９のステップＳ１５乃至Ｓ１７の処理は、ステップＳ１４で認識された種類に対応する指ごとに行われる。
【００５８】
＜第２実施の形態＞
［情報処理システムの第２実施の形態の構成例］
図１０は、本発明を適用した情報処理システムの第２実施の形態の構成例を示す図である。
【００５９】
図１０に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００６０】
図１０の情報処理システム１２０の構成は、主に、情報処理装置３１の代わりに情報処理装置１２１が設けられている点、および、眼鏡３３の代わりにＨＭＤ（Head Mount Display）１２２が設けられている点が図４の構成と異なる。
【００６１】
ユーザは、情報処理システム１２０を使用するとき、情報処理装置１２１を所持しＨＭＤ１２２を装着する。ユーザは、情報処理装置１２１を直接見るのではなく、ＨＭＤ１２２に表示されているカメラ３２により撮像された情報処理装置１２１の画像を見ながら、情報処理装置１２１に対してタッチ操作を行う。
【００６２】
情報処理システム１２０において、情報処理装置１２１は、カメラ３２だけでなく、ＨＭＤ１２２とも接続されている。情報処理装置１２１は、図４の情報処理装置３１と同様に、指でタッチ操作可能な情報処理装置であり、タッチパネルモニタ４１等を有している。情報処理装置１２１は、図４の情報処理装置３１と同様に、そのタッチパネルモニタ４１にアイコン１３等を表示させる。
【００６３】
また、情報処理装置１２１は、カメラ３２により撮像され、送信されてくる画像に基づいて、その画像に含まれる指が現在の位置の周辺でタッチパネルモニタ４１に接触したときに実行される機能を認識し、その機能を表すラベル画像を、その指の画像に重畳する。そして、情報処理装置１２１は、その結果得られる画像をＨＭＤ１２２に送信して表示させる。
【００６４】
ユーザは、タッチパネルモニタ４１に表示されたアイコン１３およびラベル画像等を見ながら、所定の位置に所定の指を接触させることにより、情報処理装置１２１に所望の機能を実行させる。
【００６５】
ＨＭＤ１２２は、情報処理装置１２１と接続されており、情報処理装置１２１から送信されてくる画像を表示する。
【００６６】
[情報処理装置のハードウェア構成例]
図１１は、図１０の情報処理装置１２１のハードウェア構成例を示すブロック図である。
【００６７】
図１１に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００６８】
図１１の情報処理装置１２１の構成は、主に、記憶部６８に機能テーブル９１に代えて機能ラベルテーブル１３１が記憶されている点、および、通信部６９の代わりに通信部１３２が設けられている点が図５の構成と異なる。
【００６９】
機能ラベルテーブル１３１は、１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能、および、その機能を表すラベル画像に含まれる文字（機能情報）とが対応付けられたものである。
【００７０】
通信部１３２は、カメラ３２やＨＭＤ１２２等の外部の装置と通信を行う。例えば、通信部１３２は、カメラ３２から送信されてくる画像を受信し、RAM６３等に供給して記憶させる。また、通信部１３２は、CPU６１から供給される、カメラ３２から送信されてきた画像や、その画像にラベル画像が重畳された画像をＨＭＤ１２２に送信し、表示させる。
【００７１】
［情報処理装置の機能的構成例］
図１２は、図１１の情報処理装置１２１のCPU６１により実現される機能実行処理部の機能的構成例を示すブロック図である。
【００７２】
図１２に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７３】
図１２の機能実行処理部１４０の構成は、主に、指種類認識部１０２の代わりに指種類認識部１４１（認識手段）が設けられている点、および、ラベル表示制御部１４２（表示制御手段）が新たに設けられている点が図６の構成と異なる。
【００７４】
機能実行処理部１４０の指種類認識部１４１は、カメラ３２から送信されてきた画像と、記憶部６８に予め記憶されている指情報９２とに基づいて、その画像に含まれる指の種類と位置を認識する。即ち、指種類認識部１４１は、カメラ３２から送信されてきた画像と指情報９２とに基づいて、タッチパネルモニタ４１の上に配置された指の種類と位置を認識する。そして、指種類認識部１４１は、認識された指の種類と位置をラベル表示制御部１４２に供給する。
【００７５】
また、指種類認識部１４１は、指種類認識部１０２と同様に、カメラ３２から送信されてきた画像、指情報９２、および位置取得部１０１からの接触位置に基づいて、タッチパネル８２に接触された指の種類を認識する。
【００７６】
なお、タッチパネルモニタ４１の上に配置された指の種類と位置が先に認識される場合には、指種類認識部１４１は、その指の種類と位置を用いてタッチパネル８２に接触された指の種類を認識するようにしてもよい。この場合、指種類認識部１４１は、既に認識されたタッチパネルモニタ４１の上に配置された指の種類のうちの、位置取得部１０１からの接触位置に対応する指の種類を、タッチパネル８２に接触された指の種類として認識する。
【００７７】
指種類認識部１４１は、タッチパネルモニタ４１の上に配置された指の種類を機能認識部１０３に供給する。
【００７８】
ラベル表示制御部１４２は、記憶部６８に予め記憶されている機能ラベルテーブル１３１から、指種類認識部１４１から供給される指の位置の周辺位置と指の種類に対応するラベル画像に含まれる文字を検索する。そして、ラベル表示制御部１４２は、検索された文字のラベル画像を生成する。ラベル表示制御部１４２は、カメラ３２から送信されてきた画像の、指種類認識部１４１から供給される指の位置に、その指の位置と種類に対応するラベル画像を重畳する。そして、ラベル表示制御部１４２は、通信部１３２を制御して、重畳の結果得られる画像をＨＭＤ１２２に送信し、表示させる。
【００７９】
[機能ラベルテーブルの例]
図１３は、機能ラベルテーブル１３１の例を示す図である。
【００８０】
図１３に示すように、機能ラベルテーブル１３１では、１つの指の接触位置および指の種類と、それらの組み合わせに割り当てられた機能、および、その機能を表すラベル画像に含まれる文字が対応付けられている。
【００８１】
具体的には、図１３の例では、指の接触位置「アイコン上」および指の種類「人差し指」と、機能「実行」およびラベル画像に含まれる文字「実行」が対応付けられている。また、指の接触位置「アイコン上」および指の種類「中指」と、機能「メニュー表示」およびラベル画像に含まれる文字「メニュー」が対応付けられている。
【００８２】
さらに、指の接触位置「アイコン上」および指の種類「薬指」と、機能「コピー」およびラベル画像に含まれる文字「コピー」が対応付けられている。また、指の接触位置「アイコン上」および指の種類「小指」と、機能「属性表示」およびラベル画像に含まれる文字「属性」が対応付けられている。
【００８３】
[ＨＭＤに表示される画像の例]
図１４は、図１１の情報処理装置１２１によりＨＭＤ１２２に表示される画像の例を示す図である。
【００８４】
なお、図１４の例では、図１３に示した機能ラベルテーブル１３１が記憶部６８に記憶されているものとする。
【００８５】
図１４Ａに示すように、ユーザが人差し指をアイコン１３の周辺位置に配置させると、人差し指を含む画像がカメラ３２により撮像される。そして、その人差し指と、人差し指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字「実行」が機能ラベルテーブル１３１から検索される。そして、その文字「実行」を含むラベル画像１６１が人差し指の位置に重畳された画像がＨＭＤ１２２に表示される。
【００８６】
また、図１４Ｂに示すように、ユーザが中指をアイコン１３の周辺位置に配置させると、中指を含む画像がカメラ３２により撮像される。そして、その中指と、中指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字「メニュー」が機能ラベルテーブル１３１から検索される。そして、その文字「メニュー」を含むラベル画像１６２が中指の位置に重畳された画像がＨＭＤ１２２に表示される。
【００８７】
さらに、図１４Ｃに示すように、ユーザが全ての指をアイコン１３の周辺位置に配置させると、全ての指を含む画像がカメラ３２により撮像される。そして、その全ての指と、全ての指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字が検索される。その結果、図１４Ｃに示すように、文字「実行」を含むラベル画像１６１、文字「メニュー」を含むラベル画像１６２、文字「コピー」を含むラベル画像１６３、文字「属性」を含むラベル画像１６４が、それぞれ、人差し指、中指、薬指、小指の位置に重畳された画像がＨＭＤ１２２に表示される。
【００８８】
以上のように、情報処理システム１２０では、タッチパネルモニタ４１の上に配置された指が現在の位置の周辺に接触したときに実行される機能を表すラベル画像が、タッチパネルモニタ４１を含む画像内の、その指の位置に重畳されてＨＭＤ１２２に表示される。従って、ユーザは、所定の指をタッチパネルモニタ４１の上の所定の位置に配置させることにより、その指をその位置の周辺位置に接触したときに実行される機能を容易に認識することができる。よって、ユーザは、各指の位置と種類の組み合わせに割り当てられた機能を覚えていない場合であっても、所望の機能を実行させることができる。従って、情報処理システム１２０は、より簡単なタッチ操作をユーザに提供することができる。
【００８９】
[情報処理装置の処理の説明]
図１５は、機能実行処理部１４０によるラベル表示処理を説明するフローチャートである。
【００９０】
ステップＳ３１において、指種類認識部１４１は、カメラ３２により撮像され、送信されてきた画像を取得する。
【００９１】
ステップＳ３２において、指種類認識部１４１は、記憶部６８に予め記憶されている指情報９２と、カメラ３２から取得された画像とに基づいて、その画像に含まれる指の種類と位置を認識する。指種類認識部１４１は、認識された指の種類と位置をラベル表示制御部１４２に供給する。
【００９２】
ステップＳ３３において、ラベル表示制御部１４２は、指種類認識部１４１から供給される指の位置の周辺位置と指の種類に対応するラベル画像に含まれる文字を、記憶部６８に予め記憶されている機能ラベルテーブル１３１から検索する。
【００９３】
ステップＳ３４において、ラベル表示制御部１４２は、指種類認識部１４１から供給される指の位置の周辺位置と指の種類に対応するラベル画像に含まれる文字が検索されたかどうかを判定する。
【００９４】
ステップＳ３４で検索されたと判定された場合、ラベル表示制御部１４２は、検索された文字を含むラベル画像を生成し、処理をステップＳ３５に進める。
【００９５】
ステップＳ３５において、ラベル表示制御部１４２は、カメラ３２から送信されてきた画像の、機能認識部１０３から供給される指の位置に、ステップＳ３３で生成されたラベル画像を重畳し、処理をステップＳ３６に進める。
【００９６】
一方、ステップＳ３４で検索されていないと判定された場合、カメラ３２により撮像された画像にラベル画像は重畳されず、処理はステップＳ３６に進む。
【００９７】
なお、図１５のステップＳ３３乃至Ｓ３６の処理は、ステップＳ３２で種類と位置が認識された指ごとに行われる。
【００９８】
ステップＳ３６において、ラベル表示制御部１４２は、通信部１３２を制御し、以上の処理によりラベル画像が重畳されなかったカメラ３２からの画像、または、ラベル画像が重畳されたカメラ３２からの画像をＨＭＤ１２２に送信し、表示させる。そして、処理は終了する。
【００９９】
また、機能実行処理部１４０による機能実行処理は、図９で説明した機能実行処理と同様であるので、説明は省略する。
【０１００】
［情報処理装置の他のハードウェア構成例］
図１６は、図１０の情報処理装置１２１の他のハードウェア構成例を示すブロック図である。
【０１０１】
図１６に示す構成のうち、図１１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０２】
図１６の情報処理装置１２１の構成は、主に、記憶部６８に機能ラベルテーブル１３１に代えて機能ラベルテーブル１７０が記憶されている点が図１１の構成と異なる。
【０１０３】
図１６の情報処理装置１２１では、１つの指の接触位置および種類の組み合わせだけでなく、複数の指の接触位置および種類の組み合わせに対しても機能が割り当てられる。
【０１０４】
具体的には、機能ラベルテーブル１７０は、１以上の指の接触位置および種類と、その接触位置および種類の組み合わせに割当られた機能、および、その機能を表すラベル画像に含まれる文字とが対応付けられたものである。
【０１０５】
［情報処理装置の機能的構成例］
図１７は、図１６の情報処理装置１２１のCPU６１により実現される機能実行処理部の機能的構成例を示すブロック図である。
【０１０６】
図１７に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０７】
図１７の機能実行処理部１８０の構成は、主に、機能認識部１０３の代わりに機能認識部１８１が設けられている点、および、ラベル表示制御部１４２の代わりにラベル表示制御部１８２が設けられている点が図１２の構成と異なる。
【０１０８】
機能実行処理部１８０の機能認識部１８１は、位置取得部１０１から複数の指の接触位置が供給される場合、その接触位置と指種類認識部１４１から供給される指の種類とに基づいて、連続する２つの指どうしの距離を計算する。機能認識部１８１は、後述するラベル表示制御部１８２と同様に、その距離に基づいて複数の指が接合しているかどうかを判定する。
【０１０９】
機能認識部１８１は、タッチパネル８２に接触している複数の指が接合している場合、その複数の指の位置と種類に対応する機能を機能ラベルテーブル１７０から検索する。一方、タッチパネル８２に接触している１以上の指が接合していない場合、機能認識部１８１は、その指の位置と種類に対応する機能を機能ラベルテーブル１７０から検索する。そして、機能認識部１８１は、検索された機能を実行すべき機能として認識し、その機能を表す情報を実行部１０４に供給する。
【０１１０】
ラベル表示制御部１８２は、指種類認識部１４１から複数の指の位置と種類が供給される場合、その指の位置と種類に基づいて、連続する２つの指どうしの距離を計算する。ラベル表示制御部１８２は、その距離に基づいて複数の指が接合しているかどうかを判定する。ラベル表示制御部１８２は、タッチパネル８２上に複数の指が接合して配置されている場合、その複数の指の位置と種類に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。一方、タッチパネル８２上に１以上の指が接合せずに配置されている場合、ラベル表示制御部１８２は、その指の位置と種類に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。そして、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成する。
【０１１１】
ラベル表示制御部１８２は、カメラ３２から送信されてきた画像の、指種類認識部１４１から供給される接合されている複数の指の位置に対応する１つの位置に、その複数の指の位置と種類に対応する機能のラベル画像を重畳する。また、ラベル表示制御部１８２は、カメラ３２から送信されてきた画像の、指種類認識部１４１から供給される接合されていない１以上の指の位置に、その指の位置と種類に対応する機能のラベル画像を重畳する。そして、ラベル表示制御部１８２は、通信部１３２を制御して、重畳の結果得られる画像をＨＭＤ１２２に送信し、表示させる。
【０１１２】
[機能ラベルテーブルの例]
図１８は、機能ラベルテーブル１７０の例を示す図である。
【０１１３】
図１８に示すように、機能ラベルテーブル１７０では、１以上の指の接触位置および指の種類と、それらの組み合わせに割り当てられた機能、および、その機能を表すラベル画像に含まれる文字が対応付けられている。
【０１１４】
具体的には、図１８の例では、指の接触位置「アイコン上」および指の種類「人差し指」と、機能「実行」およびラベル画像に含まれる文字「実行」とが対応付けられている。また、指の接触位置「アイコン上」および指の種類「中指」と、機能「メニュー表示」およびラベル画像に含まれる文字「メニュー」が対応付けられている。
【０１１５】
さらに、指の接触位置「アイコン上」および指の種類「人差し指と中指」と、機能「コピー」およびラベル画像に含まれる文字「コピー」が対応付けられている。
【０１１６】
［ＨＭＤに表示される画像の例］
図１９は、図１６の情報処理装置１２１によりＨＭＤ１２２に表示される画像の例を示す図である。
【０１１７】
なお、図１９の例では、図１８に示した機能ラベルテーブル１７０が記憶部６８に記憶されているものとする。また、図１９において、図１４と同一のものには同一の符号を付してある。重複する説明については適宜省略する。
【０１１８】
図１９Ａに示すように、ユーザが人差し指と中指を接合せずにアイコン１３の周辺位置に配置させると、接合されていない人差し指と中指を含む画像がカメラ３２により撮像される。そして、その人差し指と、人差し指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字「実行」が、機能ラベルテーブル１７０から検索される。また、中指と中指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字「メニュー」が、機能ラベルテーブル１７０から検索される。そして、文字「実行」を含むラベル画像１６１が人差し指の位置に重畳され、文字「メニュー」を含むラベル画像１６２が中指の位置に重畳された画像がＨＭＤ１２２に表示される。
【０１１９】
また、図１９Ｂに示すように、ユーザが人差し指と中指を接合してアイコン１３の周辺位置に配置させると、接合された人差し指と中指を含む画像がカメラ３２により撮像される。そして、その人差し指および中指と、人差し指および中指の位置の周辺位置であるアイコン１３上に対応するラベル画像に含まれる文字「コピー」が、機能ラベルテーブル１７０から検索される。そして、文字「コピー」を含むラベル画像１６３が、接合された人差し指と中指の位置に対応する１つの位置（図１９の例では、人差し指と中指の中央の位置）に重畳された画像がＨＭＤ１２２に表示される。
【０１２０】
［情報処理装置の処理の説明］
図２０と図２１は、機能実行処理部１８０によるラベル表示処理を説明するフローチャートである。
【０１２１】
ステップＳ４１において、指種類認識部１４１は、カメラ３２により撮像され、送信されてきた画像を取得する。
【０１２２】
ステップＳ４２において、指種類認識部１４１は、記憶部６８に予め記憶されている指情報９２と、カメラ３２から取得された画像とに基づいて、その画像に含まれる指の種類と位置を認識する。指種類認識部１４１は、認識された指の種類と位置をラベル表示制御部１８２に供給する。
【０１２３】
ステップＳ４３において、ラベル表示制御部１８２は、指種類認識部１４１から供給される指の種類に基づいて、指種類認識部１４１により連続する複数の指の種類が認識されたかどうかを判定する。なお、連続する複数の指の種類とは、「人差し指と中指」、「中指と薬指」、「薬指と小指」、「人差し指、中指、および薬指」、「中指、薬指、および小指」、または、「人差し指、中指、薬指、および小指」である。
【０１２４】
ステップＳ４３で連続する複数の指の種類が認識されたと判定された場合、ステップＳ４４において、ラベル表示制御部１８２は、指種類認識部１４１から供給される指の種類と位置に基づいて、連続する２つの指どうしの距離を計算する。具体的には、ラベル表示制御部１８２は、「人差し指と中指」、「中指と薬指」、または「薬指と小指」の距離を計算する。そして処理はステップＳ４５に進む。
【０１２５】
一方、ステップＳ４３で連続する複数の指の種類が認識されていないと判定された場合、即ち、各指のいずれか１つ、「人差し指と薬指」、「人差し指と小指」、または「中指と小指」のみが指の種類として認識された場合、処理はステップＳ４５に進む。
【０１２６】
ステップＳ４５において、ラベル表示制御部１８２は、人差し指を処理の対象の指である対象指とする。
【０１２７】
ステップＳ４６において、ラベル表示制御部１８２は、対象指の種類が指種類認識部１４１により認識されているかどうか、即ち、対象指の種類が指種類認識部１４１から供給されたかどうかを判定する。
【０１２８】
ステップＳ４６で対象指の種類が認識されていると判定された場合、ステップＳ４７において、ラベル表示制御部１８２は、対象指の右隣の指の種類が指種類認識部１４１に認識されているかどうかを判定する。具体的には、対象指が人差し指である場合、ラベル表示制御部１８２は、中指が認識されているかどうかを判定し、対象指が中指である場合、ラベル表示制御部１８２は、薬指が認識されているかどうかを判定する。また、対象指が薬指である場合、ラベル表示制御部１８２は、小指が認識されているかどうかを判定する。
【０１２９】
ステップＳ４７で対象指の右隣の指の種類が認識されていると判定された場合、ステップＳ４８において、ラベル表示制御部１８２は、ステップＳ４４で計算された対象指と右隣の指の距離が閾値以下であるかどうかを判定する。
【０１３０】
ステップＳ４８で対象指と右隣の指の距離が閾値以下ではないと判定された場合、ラベル表示制御部１８２は、対象指と右隣の指が接合していないと判定し、処理をステップＳ４９に進める。
【０１３１】
一方、ステップＳ４７で対象指の右隣の指が認識されていないと判定された場合、処理はステップＳ４９に進む。
【０１３２】
ステップＳ４９において、ラベル表示制御部１８２は、指の種類「対象指」および接触位置「対象指の位置の周辺位置」に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。即ち、対象指の種類は認識されているが、その対象指の右隣の指の種類は認識されていないか、または、対象指と右隣の指の種類が認識されているが、対象指が右隣の指と接合していない場合、指の種類「対象指」および接触位置「対象指の位置の周辺位置」に対応する文字が機能ラベルテーブル１７０から検索される。
【０１３３】
ステップＳ５０において、ラベル表示制御部１８２は、指の種類「対象指」および接触位置「対象指の位置の周辺位置」に対応するラベル画像に含まれる文字が機能ラベルテーブル１７０から検索されたかどうかを判定する。
【０１３４】
ステップＳ５０で検索されたと判定された場合、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成し、処理をステップＳ５１に進める。
【０１３５】
ステップＳ５１において、ラベル表示制御部１８２は、カメラ３２から送信されてきた画像の対象指の位置に、検索された文字を含むラベル画像を重畳し、処理をステップＳ５２に進める。
【０１３６】
一方、ステップＳ５０で検索されていないと判定された場合、即ち、指の種類「対象指」および接触位置「対象指の位置の周辺位置」に対応するラベル画像に含まれる文字が機能ラベルテーブル１７０に登録されていない場合、処理はステップＳ５２に進む。
【０１３７】
また、ステップＳ４６で対象指の種類が指種類認識部１４１により認識されていないと判定された場合、処理はステップＳ５２に進む。
【０１３８】
ステップＳ５２において、ラベル表示制御部１８２は、対象指が薬指であるかどうかを判定する。ステップＳ５２で対象指が薬指ではないと判定された場合、ステップＳ５３において、ラベル表示制御部１８２は、対象指の右隣の指を新たな対象指とし、処理をステップＳ４６に戻す。
【０１３９】
以上のようにしてステップＳ４５乃至Ｓ５３の処理が行われることにより、中指と接合していない人差し指、人差し指とも薬指とも接合していない中指、および中指とも小指とも接合していない薬指の位置に、その位置と各指の種類に割り当てられた機能のラベル画像が重畳される。
【０１４０】
一方、ステップＳ５２で対象指が薬指であると判定された場合、処理は図２１のステップＳ６８に進む。
【０１４１】
また、ステップＳ４８で対象指と右隣の指の距離が閾値以下であると判定された場合、ラベル表示制御部１８２は、対象指と右隣の指が接合していると判断し、処理をステップＳ５４に進める。
【０１４２】
ステップＳ５４において、ラベル表示制御部１８２は、対象指が薬指であるかどうかを判定する。ステップＳ５４で対象指が薬指ではないと判定された場合、即ち対象指が人差し指または中指である場合、処理はステップＳ５５に進む。
【０１４３】
ステップＳ５５において、ラベル表示制御部１８２は、対象指の１つ置いた右隣の指の種類が指種類認識部１４１により認識されているかどうかを判定する。なお、対象指が人差し指である場合、対象指の１つ置いた右隣の指は薬指であり、対象指が中指である場合、対象指の１つ置いた右隣の指は小指である。
【０１４４】
ステップＳ５５で対象指の１つ置いた右隣の指の種類が認識されていると判定された場合、図２１のステップＳ６１において、ラベル表示制御部１８２は、対象指の右隣の指と対象指の１つ置いた右隣の指との距離が閾値以下であるかどうかを判定する。具体的には、対象指が人差し指である場合、ラベル表示制御部１８２は、ステップＳ４４で計算された中指と薬指の距離が閾値以下であるかどうかを判定する。また、対象指が中指である場合、ラベル表示制御部１８２は、ステップＳ４４で計算された薬指と小指の距離が閾値以下であるかどうかを判定する。
【０１４５】
ステップＳ６１で対象指の右隣の指と対象指の１つ置いた右隣の指との距離が閾値以下ではないと判定された場合、ラベル表示制御部１８２は、対象指の右隣の指と対象指の１つ置いた右隣の指とが接合されていないと判断する。そして、ラベル表示制御部１８２は、処理を図２０のステップＳ５６に進める。
【０１４６】
一方、ステップＳ５４で対象指が薬指であると判定された場合、または、ステップＳ５５で対象指の１つ置いた右隣の指の種類が認識されていないと判定された場合、処理はステップＳ５６に進む。
【０１４７】
ステップＳ５６において、ラベル表示制御部１８２は、指の種類「対象指と右隣の指」および接触位置「対象指と右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。
【０１４８】
ステップＳ５７において、指の種類「対象指と右隣の指」および接触位置「対象指と右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字が検索されたかどうかを判定する。
【０１４９】
ステップＳ５７で検索されたと判定された場合、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成し、処理をステップＳ５８に進める。
【０１５０】
ステップＳ５８において、ラベル表示制御部１８２は、カメラ３２から送信されてきた画像の対象指と右隣の指の位置に対応する１つの位置に、検索された文字を含むラベル画像を重畳し、処理をステップＳ５９に進める。
【０１５１】
一方、ステップＳ５７で検索されていないと判定された場合、処理はステップＳ５９に進む。
【０１５２】
ステップＳ５９において、ラベル表示制御部１８２は、対象指が薬指であるかどうかを判定し、対象指が薬指である場合、処理を終了する。
【０１５３】
一方、ステップＳ５９で対象指が薬指ではないと判定された場合、ステップＳ６０において、ラベル表示制御部１８２は、対象指の１つ置いた右隣の指を新たな対象指とし、処理をステップＳ４６に戻す。
【０１５４】
以上のようにして、ステップＳ５４乃至Ｓ６１の処理が行われることにより、「中指とのみ接合する人差し指」、「薬指とのみ接合する中指」、および「小指とのみ接合する薬指」の互いに接合する２つの指の位置に対応する１つの位置に、その位置の周辺位置とその２つの指の種類に割り当てられた機能のラベル画像が重畳される。
【０１５５】
また、図２１のステップＳ６１で対象指の右隣の指と対象指の１つ置いた右隣の指との距離が閾値以下であると判定された場合、ラベル表示制御部１８２は、対象指の右隣の指と対象指の１つ置いた右隣の指が接合していると判断し、処理をステップＳ６２に進める。
【０１５６】
ステップＳ６２において、ラベル表示制御部１８２は、対象指が中指であるかどうかを判定する。ステップＳ６２で対象指が中指ではないと判定された場合、即ち対象指が人差し指である場合、処理はステップＳ６３に進む。
【０１５７】
ステップＳ６３において、ラベル表示制御部１８２は、対象指の２つ置いた右隣の指の種類が認識されているかどうか、即ち小指が認識されているかどうかを判定する。
【０１５８】
ステップＳ６３で対象指の２つ置いた右隣の指が認識されていると判定された場合、ステップＳ７２において、ラベル表示制御部１８２は、対象指の１つ置いた右隣の指と対象指の２つ置いた右隣の指との距離が閾値以下であるかどうかを判定する。即ち、ラベル表示制御部１８２は、図２０のステップＳ４４で計算された薬指と小指の距離が閾値以下であるかどうかを判定する。
【０１５９】
ステップＳ７２で対象指の１つ置いた右隣の指と対象指の２つ置いた右隣の指との距離が閾値以下ではないと判定された場合、ラベル表示制御部１８２は、薬指と小指が接合されていないと判断し、処理をステップＳ６４に進める。
【０１６０】
一方、ステップＳ６２で対象指が中指であると判定された場合、または、ステップＳ６３で対象指の２つ置いた右隣の指の種類が認識されていないと判定された場合、処理はステップＳ６４に進む。
【０１６１】
ステップＳ６４において、ラベル表示制御部１８２は、指の種類「対象指、右隣の指、および１つ置いた右隣の指」および接触位置「対象指、右隣の指、および１つ置いた右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字を、機能ラベルテーブル１７０から検索する。
【０１６２】
ステップＳ６５において、ラベル表示制御部１８２は、指の種類「対象指、右隣の指、および１つ置いた右隣の指」および接触位置「対象指、右隣の指、および１つ置いた右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字が検索されたかどうかを判定する。
【０１６３】
ステップＳ６５で検索されたと判定された場合、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成し、処理をステップＳ６６に進める。
【０１６４】
ステップＳ６６において、ラベル表示制御部１８２は、対象指、右隣の指、および１つ置いた右隣の指の位置に対応する１つの位置に、検索された文字を含むラベル画像を重畳し、処理をステップＳ６７に進める。
【０１６５】
また、ステップＳ６５で検索されていないと判定された場合、処理はステップＳ６７に進む。
【０１６６】
以上のようにして、ステップＳ６１乃至Ｓ６６およびＳ７２の処理が行われることにより、「小指とは接合されない、互いに接合する人差し指、中指、および薬指」および「人差し指とは接合されない、互いに接合する中指、薬指、および小指」の互いに接合する３つの指の位置に対応する１つの位置に、その位置の周辺位置とその３つの指の種類に割り当てられた機能のラベル画像が重畳される。
【０１６７】
ステップＳ６７において、ラベル表示制御部１８２は、対象指が中指であるかどうかを判定する。ステップＳ６７で対象指が中指であると判定された場合、処理はステップＳ７６に進む。一方、ステップＳ６４で対象指が中指ではないと判定された場合、即ち対象指が人差し指である場合、処理はステップＳ６８に進む。
【０１６８】
ステップＳ６８において、ラベル表示制御部１８２は、小指が指の種類として指種類認識部１４１に認識されているかどうかを判定する。
【０１６９】
ステップＳ６８で小指が認識されていると判定された場合、ステップＳ６９において、ラベル表示制御部１８２は、指の種類「小指」および接触位置「小指の位置の周辺位置」に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。
【０１７０】
ステップＳ７０において、ラベル表示制御部１８２は、指の種類「小指」および接触位置「小指の位置の周辺位置」に対応するラベル画像に含まれる文字が検索されたかどうかを判定する。
【０１７１】
ステップＳ７０で検索されたと判定された場合、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成し、処理をステップＳ７１に進める。
【０１７２】
ステップＳ７１において、ラベル表示制御部１８２は、カメラ３２から送信されてきた画像の小指の位置に、検索された文字を含むラベル画像を重畳し、処理をステップＳ７６に進める。
【０１７３】
ステップＳ６８で小指が認識されていないと判定された場合、または、ステップＳ７０で検索されていないと判定された場合、処理はステップＳ７６に進む。
【０１７４】
以上のようにしてステップＳ６８乃至Ｓ７１の処理が行われることにより、薬指が接合されない小指の位置に、その位置の周辺位置と指の種類「小指」に割り当てられた機能のラベル画像が重畳される。
【０１７５】
また、ステップＳ７２で対象指の１つ置いた右隣の指と対象指の２つ置いた右隣の指との距離が閾値以下であると判定された場合、ラベル表示制御部１８２は、薬指と小指が接合されていると判断し、処理をステップＳ７３に進める。
【０１７６】
ステップＳ７３において、ラベル表示制御部１８２は、指の種類「対象指、右隣の指、１つ置いた右隣の指、および２つ置いた右隣の指」および接触位置「対象指、右隣の指、１つ置いた右隣の指、および２つ置いた右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。即ち、ラベル表示制御部１８２は、指の種類「人差し指、中指、薬指、および小指」および接触位置「人差し指、中指、薬指、および小指の位置の周辺位置」に対応するラベル画像に含まれる文字を機能ラベルテーブル１７０から検索する。
【０１７７】
ステップＳ７４において、指の種類「対象指、右隣の指、１つ置いた右隣の指、および２つ置いた右隣の指」および接触位置「対象指、右隣の指、１つ置いた右隣の指、および２つ置いた右隣の指の位置の周辺位置」に対応するラベル画像に含まれる文字が検索されたかどうかを判定する。
【０１７８】
ステップＳ７４で検索されたと判定された場合、ラベル表示制御部１８２は、検索された文字を含むラベル画像を生成し、処理をステップＳ７５に進める。
【０１７９】
ステップＳ７５において、ラベル表示制御部１８２は、対象指、右隣の指、１つ置いた右隣の指、および２つ置いた右隣の指の位置に対応する１つの位置に、検索された文字を含むラベル画像を重畳する。そして処理はステップＳ７６に進む。
【０１８０】
以上のようにして、ステップＳ７２乃至Ｓ７５の処理が行われることにより、互いに接合する人差し指、中指、薬指、および小指の位置に対応する１つの位置に、その位置の周辺位置と指の種類「人差し指、中指、薬指、および小指」に割り当てられた機能のラベル画像が重畳される。
【０１８１】
一方、ステップＳ７４で検索されていないと判定された場合、処理はステップＳ７６に進む。
【０１８２】
ステップＳ７６において、ラベル表示制御部１８２は、通信部１３２を制御し、以上の処理によりラベル画像が重畳されなかったカメラ３２からの画像、または、以上の処理によりラベル画像が重畳されたカメラ３２からの画像を、ＨＭＤ１２２に送信して表示させる。そして、処理は終了する。
【０１８３】
以上のように、図１６の情報処理装置１２１では、１以上の指の接触位置および種類の組み合わせに機能が割り当てられるので、１つの指の接触位置および種類の組み合わせに機能が割り当てられる場合に比べて、所定の位置に指を接触させるという１つの動作に対して、より多くの機能を割り当てることができる。
【０１８４】
また、図１６の情報処理装置１２１では、接合されている複数の指の位置に対応する１つの位置に、その複数の指の位置の周辺位置と種類に対応する機能のラベル画像が重畳されるので、各指の位置にラベル画像が重畳される場合に比べて視認性が良い。
【０１８５】
なお、図１７の機能実行処理部１８０による機能実行処理は、複数の指が接触している場合にその指が接合しているかどうかを判定する点、および、接触している複数の指が接合している場合には、図９の機能実行処理において検索対象が、接合している複数の指の種類と接触位置に対応する機能となる点を除いて図９の機能実行処理と同様であるので、図示は省略する。
【０１８６】
＜第３実施の形態＞
［情報処理システムの第３実施の形態の構成例］
図２２は、本発明を適用した情報処理システムの第３実施の形態の構成例を示す図である。
【０１８７】
図２２に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８８】
図２２の情報処理システム２００の構成は、主に、情報処理装置３１の代わりに情報処理装置２０１が設けられている点、および、カメラ３２を装備した眼鏡３３が設けられない点が図４の構成と異なる。情報処理装置２０１は、図４や図１０のカメラ３２が有する撮像機能を有しており、ユーザは、情報処理システム２００を使用するとき、情報処理装置２０１を所持するだけでよい。
【０１８９】
情報処理システム２００において、情報処理装置２０１は、指でタッチ操作可能な情報処理装置であり、タッチパネルモニタ２１１等を有している。タッチパネルモニタ２１１は、撮像機能と表示機能を有する。タッチパネルモニタ２１１は、撮像機能によってタッチパネルモニタ２１１等を撮像することにより、タッチパネルモニタ２１１に接触されている指の種類および位置を検出する。また、タッチパネルモニタ２１１は、表示機能によってアイコン１３等を表示する。なお、タッチパネルモニタ２１１の詳細については、後述する図２４を参照して説明する。
【０１９０】
ユーザは、タッチパネルモニタ２１１に表示されたアイコン１３等を見ながら、所望の位置に指を接触させることにより、情報処理装置２０１に所望の機能を実行させる。具体的には、情報処理装置２０１は、タッチパネルモニタ２１１により撮像された画像に基づいて、タッチパネルモニタ２１１に接触されている指の位置および種類を認識する。そして、情報処理装置２０１は、その指の位置と種類に割り当てられた機能を実行する。
【０１９１】
［情報処理装置のハードウェア構成例］
図２３は、図２２の情報処理装置２０１のハードウェア構成例を示すブロック図である。
【０１９２】
図２３に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９３】
図２３の情報処理装置２０１の構成は、主に、タッチパネルモニタ４１、通信部６９の代わりにタッチパネルモニタ２１１、通信部２１２が設けられている点が図５の構成と異なる。
【０１９４】
タッチパネルモニタ２１１は、タッチパネルモニタ２１１を含む画像を撮像するとともに、その画像を表示する。通信部２１２は、図示せぬ外部の装置と通信を行う。
【０１９５】
[タッチパネルモニタの詳細構成例]
図２４は、タッチパネルモニタ２１１の詳細構成例を示すブロック図である。
【０１９６】
図２４に示すように、タッチパネルモニタ２１１は、Ｉ／Ｏ表示パネル２２１、バックライト２２２、表示ドライブ回路２２３、および受光ドライブ回路２２４により構成される。
【０１９７】
Ｉ／Ｏ表示パネル２２１は、中央の表示領域２２１Ａに複数の画素に対応する回路がマトリクス状に配列されることにより構成されるLCDである。各画素の回路は、TFT（Thin Film Transistor）、液晶を挟持した電極等により構成される画素部と、そのTFTと同一層を用いて構成された光センサ、リセットスイッチ、コンデンサ等により構成されるセンサ部とにより構成される。
【０１９８】
Ｉ／Ｏ表示パネル２２１の各画素の画素部は、表示ドライブ回路２２３の制御にしたがって線順次動作を行い、CPU６１等から供給される画像を表示領域２２１Ａに表示する。また、Ｉ／Ｏ表示パネル２２１の各画素のセンサ部は、受光ドライブ回路２２４の制御にしたがって線順次動作を行い、受光データを得る。即ち、Ｉ／Ｏ表示パネル２２１の画素部は画像を表示し、センサ部は撮像を行う。
【０１９９】
バックライト２２２は、Ｉ／Ｏ表示パネル２２１の光源であり、例えば複数の発光ダイオードを面内に配列させることにより構成される。バックライト２２２は、表示ドライブ回路２２３から供給されるＩ／Ｏ表示パネル２２１の動作タイミングを表す信号に同期した所定のタイミングで、高速に発光ダイオードのオン・オフ動作を行う。なお、バックライト２２２は、画像を表示するための可視光と、撮像を行うための紫外光を射出する。
【０２００】
表示ドライブ回路２２３は、CPU６１等から供給される画像に基づいて、Ｉ／Ｏ表示パネル２２１を線順次動作させることにより、その画像を表示領域２２１Ａに表示させる。また、表示ドライブ回路２２３は、線順次動作の動作タイミングを表す信号をバックライト２２２に供給する。
【０２０１】
受光ドライブ回路２２４は、Ｉ／Ｏ表示パネル２２１を線順次動作させることにより、Ｉ／Ｏ表示パネル２２１において撮像を行わせる。また、受光ドライブ回路２２４は、撮像の結果得られる各画素の受光データを画像としてCPU６１に供給する。
【０２０２】
なお、タッチパネルモニタ２１１のより詳細な説明については、本出願人が先に出願した特開２００９−６３８０３号公報に記載されている。
【０２０３】
[情報処理装置の機能的構成例]
図２５は、情報処理装置２０１のCPU６１により実現される機能実行処理部の機能的構成例を示すブロック図である。
【０２０４】
図２５の機能実行処理部２４０の構成は、主に、位置取得部１０１、指種類認識部１０２の代わりに位置検出部２４１（検出手段）、指種類認識部２４２が設けられている点が図６の構成と異なる。
【０２０５】
位置検出部２４１は、タッチパネルモニタ２１１から供給される画像の画素値の大きさ等に基づいて、タッチパネルモニタ２１１に接触された物体の位置を接触位置として検出し、機能認識部１０３と指種類認識部２４２に供給する。
【０２０６】
指種類認識部２４２は、タッチパネルモニタ２１１から供給される画像、記憶部６８に予め記憶されている指情報９２、および位置検出部２４１からの接触位置に基づいて、タッチパネルモニタ２１１に接触された指の種類を認識する。指種類認識部２４２は、認識された指の種類を機能認識部１０３に供給する。
【０２０７】
［情報処理装置の処理の説明］
図２６は、機能実行処理部２４０による機能実行処理を説明するフローチャートである。
【０２０８】
図２６のステップＳ８１において、位置検出部２４１は、タッチパネルモニタ２１１から供給される画像を取得する。
【０２０９】
ステップＳ８２において、位置検出部２４１は、タッチパネルモニタ２１１から供給される画像の画素値の大きさ等に基づいて、タッチパネルモニタ２１１に物体が接触したかどうかを判定する。
【０２１０】
ステップＳ８２でタッチパネルモニタ２１１に物体が接触したと判定された場合、処理はステップＳ８３に進む。
【０２１１】
ステップＳ８３において、位置検出部２４１は、タッチパネルモニタ２１１から供給される画像の画素値の大きさ等に基づいて、タッチパネルモニタ２１１に接触された物体の位置を接触位置として検出する。そして、位置検出部２４１は、その接触位置を機能認識部１０３と指種類認識部２４２に供給する。
【０２１２】
ステップＳ８４において、指種類認識部２４２は、指情報９２、タッチパネルモニタ２１１からの画像、および位置検出部２４１からの接触位置に基づいて、タッチパネルモニタ２１１に接触された指の種類を認識する。指種類認識部２４２は、その指の種類を機能認識部１０３に供給する。
【０２１３】
ステップＳ８５乃至Ｓ８７の処理は、図９のステップＳ１５乃至Ｓ１７の処理と同様であるので、説明は省略する。
【０２１４】
また、ステップＳ８２でタッチパネルモニタ２１１に物体が接触していないと判定された場合、処理は終了する。
【０２１５】
［指情報の他の例］
図２７および図２８は、指情報９２の他の例を説明する図である。
【０２１６】
上述した説明では、指情報９２は、各指の画像、または、各指の形状を特定する情報であるものとしたが、図２７に示すように、ユーザが、各指の任意の箇所（図２７の例では爪）に各指に固有の色を付す場合、その色の情報を指情報９２として用いることもできる。
【０２１７】
具体的には、図２７の例では、ユーザが、人差し指の爪に色３０１を付し、中指の爪に色３０１とは異なる色３０２を付している。従って、この場合、情報処理装置３１（１２１，２０１）は、色３０１と指の種類「人差し指」を対応付け、色３０２と指の種類「中指」を対応付けたテーブルを指情報９２として記憶しておく。これにより、情報処理装置３１（１２１，２０１）は、カメラ３２（タッチパネルモニタ２１１）により撮像された画像の色に対応する指の種類を指情報９２から検索することで、指の種類を認識することができる。
【０２１８】
また、図２８に示すように、ユーザが、各指の任意の箇所（図２８の例では爪）に、各指に固有の位置に印が付された、紙などにより構成されるマーカを貼り付ける場合、その印のマーカ上の位置を表す情報を指情報９２として用いることもできる。
【０２１９】
具体的には、図２８の例では、ユーザが、人差し指の爪に下部中央に印３１１Ａが付されたマーカ３１１を貼り付け、中指の爪に上部中央に印３１２Ａが付されたマーカ３１２を貼り付けている。従って、この場合、情報処理装置３１（１２１，２０１）は、マーカ３１１上の印３１１Ａの位置「下部中央」と指の種類「人差し指」を対応付け、マーカ３１２上の印３１２Ａの位置「上部中央」と指の種類「中指」を対応付けたテーブルを指情報９２として記憶しておく。これにより、情報処理装置３１（１２１，２０１）は、カメラ３２（タッチパネルモニタ２１１）により撮像された画像からマーカ３１１（３１２）を抽出し、そのマーカ３１１（３１２）の印３１１Ａ（３１２Ａ）の位置に対応する指の種類を指情報９２から検索することで、指の種類を認識することができる。
【０２２０】
なお、図２７や図２８で説明した指情報９２は、予め設定されていてもよいし、ユーザにより設定されるようにしてもよい。
【０２２１】
また、機能テーブル９１および機能ラベルテーブル１３１（１７０）は、ユーザが設定するようにしてもよい。この場合、ユーザは、指の種類と接触位置の組み合わせに対して割り当てる機能をカスタマイズすることができる。
【０２２２】
なお、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２２３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２２４】
さらに、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２２５】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２２６】
３１ 情報処理装置， ４１ タッチパネルモニタ， ８２ タッチパネル， ９１ 機能テーブル， １０２ 指種類認識部， １０３ 機能認識部， １０４ 実行部， １２１ 情報処理装置， １３１ 機能ラベルテーブル， １４１ 指種類認識部， １４２ ラベル表示制御部， １７０ 機能ラベルテーブル， １８１ 機能認識部， １８２ ラベル表示制御部， ２０１ 情報処理装置， ２４１ 位置検出部， ２４２ 指種類認識部
【特許請求の範囲】
【請求項１】
接触部に接触された物体の位置を接触位置として検出する検出手段と、
前記接触位置と前記接触部の画像に基づいて、前記接触部に接触された指の種類を認識する認識手段と、
少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、前記検出手段により検出された前記接触位置と前記認識手段により認識された前記指の種類とに対応する機能を検索する検索手段と、
前記検索手段により検索された前記機能を実行する実行手段と
を備える情報処理装置。
【請求項２】
前記検出手段は、前記接触部への物体の接触を検知し、その接触の位置を前記接触位置として検出する
請求項１に記載の情報処理装置。
【請求項３】
前記検出手段は、前記接触部の画像に基づいて前記接触位置を検出する
請求項１に記載の情報処理装置。
【請求項４】
前記接触部の画像を表示させる表示制御手段
をさらに備え、
前記機能テーブルには、少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能、および、その機能を表す情報である機能情報とが対応付けられており、
前記認識手段はまた、前記接触部の画像に基づいて、前記接触部の上に配置された指の種類と位置を認識し、
前記表示制御手段は、前記機能テーブルから、前記認識手段により認識された前記指の位置の周辺位置と前記指の種類に対応する機能情報を検索し、その機能情報の画像を前記接触部の画像の前記指の位置に重畳して表示させる
請求項１に記載の情報処理装置。
【請求項５】
前記表示制御手段は、前記接触部の上に複数の指が接合して配置される場合、前記機能テーブルから、その複数の指の前記指の位置の周辺位置と各指の前記指の種類に対応する機能情報を検索し、その機能情報の画像を前記接触部の画像の前記複数の指の前記指の位置に対応する１つの位置に重畳して表示させる
請求項４に記載の情報処理装置。
【請求項６】
情報処理装置が、
接触部に接触された物体の位置を接触位置として検出する検出ステップと、
前記接触位置と前記接触部の画像に基づいて、前記接触部に接触された指の種類を認識する認識ステップと、
少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、前記検出ステップの処理により検出された前記接触位置と前記認識ステップの処理により認識された前記指の種類とに対応する機能を検索する検索ステップと、
前記検索ステップの処理により検索された前記機能を実行する実行ステップと
を備える情報処理方法。
【請求項７】
コンピュータに、
接触部に接触された物体の位置を接触位置として検出する検出ステップと、
前記接触位置と前記接触部の画像に基づいて、前記接触部に接触された指の種類を認識する認識ステップと、
少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、前記検出ステップの処理により検出された前記接触位置と前記認識ステップの処理により認識された前記指の種類とに対応する機能を検索する検索ステップと、
前記検索ステップの処理により検索された前記機能を実行する実行ステップと
を含む処理を実行させるためのプログラム。
【請求項１】
接触部に接触された物体の位置を接触位置として検出する検出手段と、
前記接触位置と前記接触部の画像に基づいて、前記接触部に接触された指の種類を認識する認識手段と、
少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、前記検出手段により検出された前記接触位置と前記認識手段により認識された前記指の種類とに対応する機能を検索する検索手段と、
前記検索手段により検索された前記機能を実行する実行手段と
を備える情報処理装置。
【請求項２】
前記検出手段は、前記接触部への物体の接触を検知し、その接触の位置を前記接触位置として検出する
請求項１に記載の情報処理装置。
【請求項３】
前記検出手段は、前記接触部の画像に基づいて前記接触位置を検出する
請求項１に記載の情報処理装置。
【請求項４】
前記接触部の画像を表示させる表示制御手段
をさらに備え、
前記機能テーブルには、少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能、および、その機能を表す情報である機能情報とが対応付けられており、
前記認識手段はまた、前記接触部の画像に基づいて、前記接触部の上に配置された指の種類と位置を認識し、
前記表示制御手段は、前記機能テーブルから、前記認識手段により認識された前記指の位置の周辺位置と前記指の種類に対応する機能情報を検索し、その機能情報の画像を前記接触部の画像の前記指の位置に重畳して表示させる
請求項１に記載の情報処理装置。
【請求項５】
前記表示制御手段は、前記接触部の上に複数の指が接合して配置される場合、前記機能テーブルから、その複数の指の前記指の位置の周辺位置と各指の前記指の種類に対応する機能情報を検索し、その機能情報の画像を前記接触部の画像の前記複数の指の前記指の位置に対応する１つの位置に重畳して表示させる
請求項４に記載の情報処理装置。
【請求項６】
情報処理装置が、
接触部に接触された物体の位置を接触位置として検出する検出ステップと、
前記接触位置と前記接触部の画像に基づいて、前記接触部に接触された指の種類を認識する認識ステップと、
少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、前記検出ステップの処理により検出された前記接触位置と前記認識ステップの処理により認識された前記指の種類とに対応する機能を検索する検索ステップと、
前記検索ステップの処理により検索された前記機能を実行する実行ステップと
を備える情報処理方法。
【請求項７】
コンピュータに、
接触部に接触された物体の位置を接触位置として検出する検出ステップと、
前記接触位置と前記接触部の画像に基づいて、前記接触部に接触された指の種類を認識する認識ステップと、
少なくとも１つの指の接触位置および種類と、その接触位置および種類の組み合わせに割り当てられた機能とを対応付けた機能テーブルから、前記検出ステップの処理により検出された前記接触位置と前記認識ステップの処理により認識された前記指の種類とに対応する機能を検索する検索ステップと、
前記検索ステップの処理により検索された前記機能を実行する実行ステップと
を含む処理を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１１−１８０８４３（Ｐ２０１１−１８０８４３Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４４６１１（Ｐ２０１０−４４６１１）
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年３月１日（２０１０．３．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]