操作認識装置、情報処理システム、操作認識方法及び操作認識プログラム
【課題】被接触体に対する操作の認識精度を向上できる操作認識装置を提供する。
【解決手段】被接触体８０は、操作者が接触させる接触物または操作者により塗布される接触物によって接触される。接触位置検出手段８１は、被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する。認識手段８２は、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化がその距離を超えた事象を第２の事象と認識する。事象出力手段８３は、認識された事象を表す情報を他の装置に出力する。また、事象出力手段８３は、第１の事象が認識された場合に、その第１の事象を示す情報であって、第２の事象とは異なる事象を表す情報を、他の装置に出力する。
【解決手段】被接触体８０は、操作者が接触させる接触物または操作者により塗布される接触物によって接触される。接触位置検出手段８１は、被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する。認識手段８２は、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化がその距離を超えた事象を第２の事象と認識する。事象出力手段８３は、認識された事象を表す情報を他の装置に出力する。また、事象出力手段８３は、第１の事象が認識された場合に、その第１の事象を示す情報であって、第２の事象とは異なる事象を表す情報を、他の装置に出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作認識装置、情報処理システム、操作認識方法、情報処理方法および操作認識プログラムに関し、特に、タッチ操作を認識可能な操作認識装置、情報処理システム、操作認識方法、情報処理方法および操作認識プログラムに関する。
【背景技術】
【０００２】
表示された画面を押すこと（以下、タッチ操作）で機器をコントロールできるタッチパネルは、操作が直感的に理解しやすいなどの理由から、銀行の現金自動預け払い機など不特定多数の人物が利用するシステムを中心に幅広く利用されている。
【０００３】
タッチパネルは、通常、液晶パネルのような表示装置と、利用者の触れた位置を検出する装置（以下、位置認識装置と記す）とを組み合わせることで実現される。位置認識装置としては様々なものが存在するが、代表的なものとして、抵抗膜方式、静電容量方式、光学式の装置が挙げられる。
【０００４】
抵抗膜方式では、表示画面を形成するガラスと、そのガラスとわずかな間隔で取り付けたフィルムの双方に導通性の薄膜が貼り付けられた装置が用いられる。この方式では、利用者の指などが押下することによって通電する場所を感知することで、利用者の触れた位置を検出する。
【０００５】
静電容量方式では、指先と導電膜との間に発生する静電容量の変化を捉えることにより、利用者の触れた位置を検出する。また、光学式では、光源より発せられ、利用者の指などにより散乱される光、または遮断されて光の届かない部分をカメラなどで撮影することにより、利用者の触れた位置を検出する。また、機構を工夫することにより、複数の指による接触を同時に検出したり、接触面積を検出したりする装置も一部に存在する。
【０００６】
なお、位置検出装置にて検出可能な物体の種類は、一般に、その装置で採用されているセンサに依存する。検出可能な物体の種類も様々であり、例えば、その原理によって人体を検出可能なセンサや、人体以外にもスタイラスと呼ばれるペン状器具を検出可能なセンサなども存在する。
【０００７】
例えば、光学式タッチパネルの一方式として、Frustrated Total Internal Reflection方式（以下、ＦＴＩＲ方式と記す。）を利用したタッチパネルが知られている（特許文献１参照）。特許文献１に記載された方式では、平面アクリルパネルなど、導波路内に全反射条件を満たすように光が入射される。そして、導波路に指などの物体が接触すると、その物体の接触位置で導波路内の光の一部が散乱される。そこで、この光の一部が散乱される現象を、例えば、カメラなどのイメージセンサを用いて捉えることで、タッチ操作およびその接触位置が検出できる。
【０００８】
また、特許文献２には、タッチ操作入力装置が記載されている。特許文献２に記載された入力装置では、単位時間あたりの接触面積の増加量が設定された傾度閾値よりも多い場合に、操作面に対して確定操作がなされたと判断する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許出願公開第２００８／１７９５０７号明細書
【特許文献２】特開２００６−２０９６８４号公報（段落０００７）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
一方、タッチ操作の検知を意図しているにもかかわらず、タッチ操作以外のセンサ入力が原因で、その入力がタッチ操作と誤認識されてしまう場合も多く存在する。例えば、特許文献１に記載された方法では、タッチ操作以外の理由により導波路内の光が散乱された場合、それをタッチ操作と誤認識する可能性がある。例えば、導波路上に光を散乱する何らかの物質が付着している場合、特許文献１に記載された方法では、利用者が指の接触を恒常的に保持した状態にあると誤判定してしまう。
【００１１】
なお、特許文献１には、このような誤判定を低減する方法として、タッチ操作以外の操作でセンサ入力が生じないようにする技術が開示されている。特許文献１では、指の接触以外に光を散乱する現象として、皮脂の付着を例に挙げている。特許文献１に記載された方法では、薄い樹脂シートなどにより導波路を覆うことで、皮脂の付着を防いでいる。
【００１２】
具体的には、樹脂シートと導波路の間には狭い空気のギャップ層が設けられており、指などの押下に伴う物理的な力により樹脂シートが導波路に触れることで、導波路内の光が散乱される。この構成の場合、利用者が導波路に直接触れることがない。そのため、導波路に皮脂などの物質が付着することを防止できる。
【００１３】
上記のようなタッチ操作以外の操作によるセンサ入力を遮断する方法は、タッチ操作以外のセンサ入力がシステムに不要な入力情報（皮脂のような雑音入力）の場合は効果的に動作する。しかしながら、多くの場合、タッチ操作以外の操作を利用者が意図的に行い、それをタッチ操作とは別の入力情報として取り扱いたい場合も多い。例えば、塗布具による塗布物の塗布操作に伴う塗布物の付着位置と、タッチ操作に伴う指の接触位置を同時に検知するセンサにより、塗布操作とタッチ操作を同時に検出するシステムの場合、塗布物の付着を防止する方法は利用できない。
【００１４】
これに対し、特許文献２では、単位時間あたりの接触面積の増加量により操作面に対して確定操作（タッチ操作）がなされたと判断する方法が開示されている。しかしながら、タッチ操作以外の操作においても、単位時間あたりの接触面積の増加が生じる操作は多い。例えば、上記塗布操作の場合、塗布具により塗布物を塗布するに伴い、塗布物の付着面積が増加するため、センサにより検出される接触面積はやはり増加する。すなわち、塗布物を塗布する際の操作と、タッチ操作とは酷似している。そのため、塗布操作を行ったにもかかわらず、その操作が、タッチ操作と誤認識されることも多い。
【００１５】
そこで、本発明は、被接触体に対する操作の認識精度を向上できる操作認識装置、情報処理システム、操作認識方法、情報処理方法および操作認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明による操作認識装置は、操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化がその距離を超えた事象を第２の事象と認識する認識手段と、認識された事象を表す情報を他の装置に出力する事象出力手段とを備え、事象出力手段が、第１の事象が認識された場合に、その第１の事象を示す情報であって、第２の事象を示す情報とは異なる情報を、他の装置に出力することを特徴とする。
【００１７】
本発明による情報処理システムは、操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化が距離を超えた事象を第２の事象と認識する認識手段と、認識された事象に応じて、予め定められた応答を行う応答手段とを備え、応答手段が、第１の事象が認識された場合に、その第１の事象に応じて定められた応答であって、第２の事象に応じて定められた応答とは異なる応答を行うことを特徴とする。
【００１８】
本発明による操作認識方法は、操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、その接触物が接触する接触位置及びその接触物の接触領域を時間の経過とともに検出し、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化が距離を超えた事象を第２の事象と認識し、認識された事象を表す情報を他の装置に出力し、事象を表す情報を他の装置に出力する際、第１の事象が認識された場合には、その第１の事象を示す情報であって、第２の事象を示す情報とは異なる情報を、他の装置に出力することを特徴とする。
【００１９】
本発明による情報処理方法は、操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、その接触物が接触する接触位置及びその接触物の接触領域を時間の経過とともに検出し、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化が距離を超えた事象を第２の事象と認識し、認識された事象に応じて、予め定められた応答を行い、応答を行う際、第１の事象が認識された場合には、その第１の事象に応じて定められた応答であって、第２の事象に応じて定められた応答とは異なる応答を行うことを特徴とする。
【００２０】
本発明による操作認識プログラムは、操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体を備えたコンピュータに適用される操作認識プログラムであって、コンピュータに、被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出処理、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化が距離を超えた事象を第２の事象と認識する認識処理、および、認識された事象を表す情報を他の装置に出力する事象出力処理を実行させ、事象出力処理で、第１の事象が認識された場合には、その第１の事象を示す情報であって、第２の事象を示す情報とは異なる情報を、他の装置に出力させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、被接触体に対する操作の認識精度を向上できる。
【図面の簡単な説明】
【００２２】
【図１】本発明による操作認識装置の一実施形態を示すブロック図である。
【図２】被接触体１１に光源部１２の光が入射された状態の例を示す説明図である。
【図３】被接触体１１の表面における光の反射状態の例を示す説明図である。
【図４】画像フレームの例を示す説明図である。
【図５】タッチ操作を行った際、接触面積及び領域の位置の変化例を示すグラフである。
【図６】操作認識部２が行う処理の例を示すフローチャートである。
【図７】各時点における画像フレームの例を示す説明図である。
【図８】差分画像の例を示す説明図である。
【図９】画像フレームと差分画像との関係例を示す説明図である。
【図１０】本発明による情報処理システムの一実施形態を示すブロック図である。
【図１１】操作応答部１が行う処理の例を示すフローチャートである。
【図１２】被接触体１１に対する操作及び表示部２１に対する表示の例を示す説明図である。
【図１３】本発明による操作認識装置の最小構成の例を示すブロック図である。
【図１４】本発明による情報処理システムの最小構成の例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を図面を参照して説明する。
【００２４】
実施形態１．
図１は、本発明による操作認識装置の一実施形態を示すブロック図である。本実施形態における操作認識装置１０は、被接触体１１と、光源部１２と、検出部１３と、操作認識部２とを備えている。操作認識装置１０は、操作応答部１に接続される。被接触体１１には、利用者の指１４などの接触によるタッチ操作や、塗布具１５による塗布物１６の塗布操作及び除去操作が行われる。なお、利用者の指１４のように、被接触体１１に接触する物体や、塗布物１６のように、被接触体１１に塗布される物質を、以降総じて接触物と呼ぶものとする。
【００２５】
被接触体１１は、塗布物１６を塗布したり、拭き取ったりすることが可能な透明平面板であり、例えば、アクリルなどの樹脂板により実現される。
【００２６】
光源部１２は、可視光領域外の光（例えば、赤外光）が被接触体１１内部に導波されるように被接触体１１の側面より可視光領域外の光を入射させる。光源部１２は、例えば、一直線上に配置された１つ以上の赤外発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により実現される。
【００２７】
図１に示す例では、光源部１２が被接触体１１の上下併せて２カ所に配置されている。ただし、光源部１２の配置位置は、被接触体１１の上下２カ所に限定されない。光源部１２は、被接触体１１の１辺、または複数の辺に配置されていても良い。
【００２８】
検出部１３は、被接触体１１に対する接触物の接触部分を時間の経過とともに検出する。なお、接触物の接触部分とは、接触物の接触位置と接触している面積によって表わされる情報であるとも言える。検出部１３は、光源部１２の発する光のうち、被接触体１１に接触物が接触することに伴って被接触体１１の外部に散乱される光（以下、散乱光）を画像として検出する光学機器である。検出部１３は、例えば、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや、相補性金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの半導体イメージセンサを搭載したカメラにより実現される。
【００２９】
なお、図１では、検出部１３が被接触体１１上で接触物の接触する面とは反対側の面（背面）に配置されている例を示している。ただし、検出部１３が配置される位置は、上記位置に限定されない。検出部１３は、接触物の接触する面（前面）に配置されていても良い。
【００３０】
塗布具１５は、内部に充填されている塗布物１６を被接触体１１に塗布する構造を有する筆記具である。塗布具１５は、例えば、ホワイトボードマーカなどのフェルトペンの容器を用いて実現される。ただし、塗布具１５の態様は、フェルトペンの容器に限定されない。
【００３１】
塗布物１６は、被接触体１１に塗布したり、拭き取ったりすることが可能な物質である。塗布物１６には、光源部１２の発する波長領域の光を散乱する物質が成分として含有される。例えば、光源部１２に赤外光を使用する場合、塗布物１６は、一般的なホワイトボードマーカのインクにより実現される。
【００３２】
操作認識部２は、検出部１３が検出した散乱光の画像を受け取り、タッチ操作を検出する処理を実行する。タッチ操作を検出する処理において、操作認識部２は、タッチ操作の有無、および、タッチ操作が行われた位置を判定する。具体的には、操作認識部２は、検出部１３から接触した部分を示す散乱光の画像を受け取ると、接触している部分の面積が時間の経過とともに変化（増加又は減少）しているか否か判断する。さらに、操作認識部２は、面積が時間とともに変化している場合に、接触物の接触位置がほぼ一定の位置にあるか否か、又は、接触した位置から移動しているか否かを判断する。そして、操作認識部２は、接触面積が変化している場合において、接触物の位置がほぼ一定の位置にある場合に、タッチ操作が行われたと判定する。なお、ほぼ一定の位置にあるか否かは、例えば、予め定められた閾値と比較して判断される。そして、操作認識部２は、判断した結果を表す情報を操作応答部１に出力する。
【００３３】
操作認識部２は、例えば、外部機器接続用インターフェースが搭載され、汎用のオペレーティングシステム、ドライバソフトウェア、画像処理プログラムが実行される一般的なパーソナルコンピュータ（ＰＣ）により実現される。より具体的には、操作認識部２は、プログラム（認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、パーソナルコンピュータや、操作認識装置１０の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、操作認識部２として動作してもよい。
【００３４】
操作応答部１は、操作認識部２が判断した結果を受信すると、被接触体１１に対する接触状態に応じて、予め定められた応答を行う。操作応答部１は、例えば、検知された接触位置に応じた応答を行う。例えば、操作応答部１は、接触位置に応じ、表示装置（図示せず）の画面に、ポインタやメニューを表示してもよい。
【００３５】
次に、本実施形態における操作認識装置の動作について説明する。まずは、本実施形態における操作認識装置において、接触物の接触位置および接触面積が検出される原理について説明する。続いて、検出された情報を元にタッチ操作を認識する手順について説明する。
【００３６】
まず、光源部１２は、被接触体１１の側面より可視光領域外の光を入射させる。図２は、被接触体１１に光源部１２の光が入射された状態の例を示す説明図である。仮に、被接触体１１に接触物が接触していなかったものとすると、入射された光は、図２に例示するように、被接触体１１の表面で全反射し、内部に閉じこめられて導波する。
【００３７】
検出部１３は、定常的に（例えば、毎秒３０フレームで）被接触体１１の画像を赤外領域にて撮影する。仮に、被接触体１１に接触物が接触していなかったものとすると、検出部１３が記録する画像は、ほぼ真っ黒な画像になる。これは、光源部１２によって発せられる光が、被接触体１１の内部に閉じこめられ、検出部１３には到達しないためである。
【００３８】
続いて、被接触体１１に接触物が接触している場合について説明する。既に述べた通り、代表的な接触物として、ホワイトボードマーカのインクなどの塗布物１６や、利用者の指１４などが挙げられる。
【００３９】
図３は、被接触体１１の表面における光の反射状態の例を示す説明図である。前述の通り、光源部１２より発せられた光は、被接触体１１の表面で全反射する。この際、図３のＡに例示するように、光は、被接触体１１から外部の空気側にわずかに染み出す。なお、この染み出した部分の光は、エバネッセント波と呼ばれる。被接触体１１に塗布物１６や利用者の指１４などの接触物が接触している場合、エバネッセント波は、接触物と光学的に結合する。そして、図３のＢまたはＣに例示するように、エバネッセント波は、被接触体１１の外へ散乱する。
【００４０】
エバネッセント波は、透明平面板である被接触体１１の背面側にも散乱するため、背面側に散乱した光の一部は検出部１３に到達し、検出部１３は、その光を検出する。図４は、検出部１３が検出した画像フレームの例を示す説明図である。図４に例示する画像フレームの左上に白く暗く浮かび上がる「イ」の形状の部分が、被接触体１１上で塗布物１６が付着した部分である。また、図４に例示する画像フレーム中央の楕円状の部分が、利用者の指１４が接触した部分である。このように、検出部１３は、接触物が接触した領域を、特定形状の領域として観測する。
【００４１】
操作認識部２は、検出部１３が撮影した画像を受け取り、接触物の位置および接触面積を算出する。接触物の位置は画像内で散乱光の検出された領域の座標、接触面積はこの領域に含まれる画素数として定量化される。例えば、操作認識部２は、接触物の接触位置を、画像内で散乱光の検出された領域の座標として定量化する。また、操作認識部２は、接触物の接触面積を、接触した領域に含まれる画素数として定量化する。
【００４２】
以下の説明では、接触物が接触している領域（部分）のことを、領域の位置と表現する。ここで、領域の位置は、領域の重心位置で表わされていてもよく、中心位置（具体的には、各座標軸の最大値と最小値の平均）で表わされていてもよい。検出部１３は、各領域の位置を予め定義された方法に基づいて表現すればよい。
【００４３】
言い換えると、面的に有限の広がりを持つ領域に対して位置という表現は、多義的な表現であり、曖昧さを含む。例えば、領域の重心位置を指し示す可能性もあれば、中心位置を指し示す可能性もある。本実施形態における操作認識装置では、位置の定義が処理を通じ一貫していれば、その効果は定義の仕方によらず変わらない。したがって、以降、別途区別した場合を除き、接触物が接触している領域（部分）のことを、領域の位置と表現する。
【００４４】
以上が被接触体に対する接触物の位置および接触面積の検出原理である。続いて、接触物の位置および接触面積の情報からタッチ操作を認識する手順について説明する。ここで、タッチ操作を認識するための具体的な処理フローを説明する前に、本実施形態における操作認識装置でタッチ操作を検出する原理を概説する。
【００４５】
時系列的に大別すると、タッチ操作は、（１）指などの接触物を被接触体に接触するフェーズ（以下、「接触するフェーズ」）、（２）接触物の接触を被接触体に保持するフェーズ（以下、「保持するフェーズ」）、（３）被接触体から接触物を離すフェーズ（以下、「離すフェーズ」）の３つの過程を含んでいる。
【００４６】
本実施形態における操作認識装置では、操作認識部２が、上記３つの過程のうち、（１）に示す「接触するフェーズ」を検出することにより、タッチ操作の有無を判断する。ここで、タッチ操作の「接触するフェーズ」において、接触物の接触に伴い光が散乱する領域の面積が、領域の位置はほぼ一定のまま、時間とともに増加するという特性に着目する。すなわち、操作認識部２は、時間とともに変化する領域の面積および位置に基づき、タッチ操作の有無を判断する。
【００４７】
図５（ａ）は、タッチ操作を行った際、時間とともに変化する接触面積の例を示すグラフである。また、図５（ｂ）は、タッチ操作を行った際、接触位置と代表位置（すなわち、領域の位置）との距離を時系列で表わした例を示すグラフである。
【００４８】
図５（ａ）に例示するように、タッチ操作の初期段階（すなわち、「接触するフェーズ」）では、被接触体との接触面積は０から有限の値まで増加する。そして、保持段階（すなわち、「保持するフェーズ」）では、接触面積はほぼ一定となり、離脱段階（すなわち、「離すフェーズ」）では、接触面積は再び０にまで減少する。
【００４９】
一方、図５（ｂ）に例示するように、タッチ操作の初期段階から離脱段階まで、接触領域の位置はほとんど変化しない。なお、「接触するフェーズ」および「離すフェーズ」においては、距離がやや大きくなる傾向がある。これは、特に指によるタッチ操作に特徴的な現象であり、通常、接触が指の先から指の中心に向かって行われる特性を表している。ただし、その値は一般的に小さく、位置はほぼ一定であると言える。
【００５０】
以降、上述した原理に基づいてタッチ操作を認識する具体的な処理フローについて説明する。なお、本実施形態における操作認識装置では、タッチ操作の認識は、操作認識部２によって行われる。
【００５１】
図６は、操作認識部２が行う処理の例を示すフローチャートである。操作認識部２は、まず、時間軸上で連続した画像フレームＦ１，Ｆ２を検出部１３より受け取る（ステップＳ１，Ｓ２）。具体的には、操作認識部２は、画像フレームＦ１を検出部１３から受信したか否かを判定する（ステップＳ１）。画像フレームＦ１を受信していない場合（ステップＳ１におけるＮ）、操作認識部２は、画像フレームを受信するステップＳ１の処理を繰り返す。一方、画像フレームＦ１を受信した場合（ステップＳ１におけるＹ）、操作認識部２は、画像フレームＦ２を検出部１３から受信したか否かを判定する（ステップＳ２）。画像フレームＦ２を受信していない場合（ステップＳ２におけるＮ）、操作認識部２は、画像フレームを受信するステップＳ２の処理を繰り返す。
【００５２】
画像フレームＦ１，Ｆ２を受け取った場合（ステップＳ２におけるＹ）、操作認識部２は、その差分画像Ｄ１＝Ｆ２−Ｆ１を算出する（ステップＳ３）。なお、操作認識部２は、画像差分を算出する際、差分値が負となった画素については、その差分値を０で置き換える。このようにすることで、接触面積が増加した領域のみを抽出できる。操作認識部２は、例えば、画像フレームにおける各画素値を比較して、差分画像を算出してもよい。
【００５３】
図７は、各時点における画像フレームの例を示す説明図である。図７に示す例では、画像フレームｆ１〜ｆ５の順に時系列で検知されていることを示す。ここで、画像フレームＦ１が検出された時刻では、接触物が何も接触しておらず、画像フレームＦ２が検出された時刻では、指によるタッチ操作が開始されていたものとする。
【００５４】
この場合、画像フレームＦ１は、図７（ａ）に例示する画像フレームｆ１のように、真っ黒な画像になり、画像フレームＦ２は、図７（ｂ）に例示する画像フレームｆ２のようになる。また、差分画像Ｄ１も、図７（ｂ）に例示する画像フレームｆ２のようになる。ここで、画像フレームｆ２において、白い楕円形上の領域が指の接触している位置に相当する。
【００５５】
続いて、操作認識部２は、差分画像Ｄ１をもとに、散乱光の検出された部分から独立した領域を識別する（ステップＳ４）。差分画像Ｄ１が図７（ｂ）に例示する画像フレームｆ２の場合、領域は楕円領域１つのみである。そのため、操作認識部２は、この領域を抽出する。
【００５６】
なお、独立した領域を識別する具体的な方法として、画像処理の分野で一般的に知られているラベリングという処理手法が利用できる。ラベリング処理の詳細については、例えば、以下の参考文献１に記載されているため、ここでの説明は省略する。
［参考文献１］
奈良先端科学技術大学院大学ＯｐｅｎＣＶプログラミングブック作成チーム著、「ＯｐｅｎＣＶプログラミングブック」、毎日コミュニケーションズ、２００７年９月、ｐ．２０１−２０４
【００５７】
続いて、操作認識部２は、識別された各領域の位置を計算する（ステップＳ５）。ここでは、操作認識部２は、各領域の位置として、領域の中心位置の座標を計算するものとする。そして、操作認識部２は、計算した位置座標（Ｘｉ，Ｙｉ）（ただし、ｉ＝１〜Ｎ；Ｎは識別された領域数。本例ではＮ＝１。）を、後続の処理のためにメモリ（図示せず）へ記憶させる（ステップＳ６）。
【００５８】
図８は、画像フレームから算出された差分画像の例を示す説明図である。なお、図８に例示する点線は、操作認識部２により算出された座標を示す。操作認識部２は、例えば、図８（ａ）に例示する差分画像から領域の位置を計算する。
【００５９】
続いて、操作認識部２は、画像フレームＦ２に続く画像フレームＦ３を検出部１３から受信する。具体的には、操作認識部２は、画像フレームＦ３を受信したか否かを判定する（ステップＳ７）。画像フレームＦ３を受信していない場合（ステップＳ７におけるＮ）、操作認識部２は、画像フレームを受信するステップＳ７の処理を繰り返す。一方、画像フレームＦ３を受け取った場合（ステップＳ７におけるＹ）、画像フレームＦ２と画像フレームＦ３との差分画像Ｄ２＝Ｆ３−Ｆ２を算出する（ステップＳ８）。ここで、図７（ｃ）に例示する時刻では、指によるタッチ操作がさらに進み、画像フレームｆ３の画像が検知されたとする。このとき、差分画像Ｄ２は、図８（ｂ）に例示するように、ドーナツ状の領域を含む画像になる。
【００６０】
操作認識部２は、ステップＳ４〜Ｓ５に示す差分画像Ｄ１の場合と同様、差分画像Ｄ２についても独立した領域の識別処理（ステップＳ９）、および、各領域の位置の計算処理を実行する（ステップＳ１０）。ここでは、位置座標（Ａｊ，Ｂｊ）（ただし、ｊ＝１〜Ｍ；Ｍは識別された領域数。本例ではＭ＝１。）が計算される。具体的には、操作認識部２は、図８（ｂ）に例示する点線で示される座標を計算する。
【００６１】
その後、操作認識部２は、座標（Ｘｉ，Ｙｉ）と座標（Ａｊ，Ｂｊ）とをそれぞれ比較する。そして、互いの距離が一定の閾値以下になる座標の組合せがあった場合、操作認識部２は、タッチ操作がなされたものと判定する（ステップＳ１１）。なお、一定の閾値として、例えば、１０ピクセルといった値を、予め実験的に求めておけばよい。以下、タッチ操作がなされたと操作認識部２が判定したことを、タッチ操作有りの判定と記す。
【００６２】
また、タッチ操作有りの判定がなされた場合、操作認識部２は、座標（Ｘｉ，Ｙｉ）または（Ａｊ，Ｂｊ）のいずれかを接触位置としてもよい。他にも、操作認識部２は、座標（Ｘｉ，Ｙｉ）と座標（Ａｊ，Ｂｊ）との平均値など、両座標により導出される値を接触位置としてもよい。
【００６３】
操作認識部２は、タッチ操作の判定結果、および、導出された接触位置を操作応答部１に出力する。具体的には、操作認識部２は、タッチ操作有りと判定した場合、塗布物の塗布操作などとは異なる操作であることを示す情報を、操作応答部１に出力する。なお、上記処理によれば、複数の独立した領域においてタッチ操作有りと判定することも可能である。この場合、操作認識部２が該当する複数の接触位置を操作応答部１に送信することで、複数のタッチ操作が同時になされた場合であっても、操作応答部１がそれぞれの接触位置を個別に把握することが可能になる。
【００６４】
なお、タッチ操作が行われていない場合、操作認識部２は、判定結果を操作応答部１に出力しなくてもよい。また、操作認識部２が出力する情報は、判定結果や接触位置など、タッチ操作に関する情報に限定されない。例えば、塗布物が塗布されている場合など、タッチ操作以外で接触物の接触を検出した場合、操作認識部２は、その接触物の接触状態を示す情報を操作応答部１に出力してもよい。タッチ操作以外による接触物の接触状態を表す情報として、より具体的には、検出部１３から受け取った画像情報や、受け取った画像情報を一部加工した画像情報が挙げられる。一部加工した画像情報としては、例えば、検出部１３から受け取った画像情報に対してタッチ操作があった位置の領域を背景色で塗りつぶした画像情報などが挙げられる。このような情報を送信することで、操作応答部１は、タッチ操作と塗布操作を区別して異なる処理を行うことが可能になる。
【００６５】
最後に、操作認識部２は、画像フレームＦ３を画像フレームＦ２に置き換えて記憶する。さらに、操作認識部２は、座標（Ａｊ，Ｂｊ）を座標（Ｘｉ，Ｙｉ）に置き換えて記憶する（ステップＳ１２）。その後、操作認識部２は、新たな画像フレームを受信するステップＳ７以降の処理を繰り返す。
【００６６】
なお、繰り返し処理を行うことにより、単一のタッチ操作に対し、タッチ操作有りの判定が複数回なされる可能性がある。そこで、操作認識部２は、一定時間（例えば、１００ｍｓ）の間における複数階のタッチ操作有りの判定を、単一のタッチ操作有りの判定にまとめることで、複数回のタッチ判定が行われることを回避できる。
【００６７】
このような方法に基づいてタッチ操作を認識する場合、例えば、塗布物１６のように恒常的に被接触体（被塗布体）に付着している物質からの散乱光は、差分画像上に現れない。したがって、このような塗布物１６がタッチ操作として認識されることを回避できる。また、塗布具１５により塗布物１６が塗布される過程においては、塗布物１６の接触面積が増加する。すなわち、塗布された時点の塗布物１６は、差分画像上に現れることになる。しかし、塗布物１６が塗布される位置は、塗布具１５の移動方向に変化するため、やはりタッチ操作として認識できることを回避できる。以下、これらの内容について、さらに説明する。
【００６８】
図９は、画像フレームと差分画像との関係例を示す説明図である。図９に示す例では、差分画像ｄ１は、画像フレームｆ７とｆ６との差分を表す画像であり、差分画像ｄ２は、画像フレームｆ８とｆ７との差分を表す画像である。
【００６９】
上記動作の説明と同様、塗布開始時において画像フレームＦ１が、図９（ａ）の画像フレームｆ６に例示するような真っ黒な画像であり、塗布開始直後において画像フレームＦ２が、図９（ｂ）の画像フレームｆ７に例示する画像であるものとする。このとき、差分画像Ｄ１は、図９（ｄ）に例示する差分画像ｄ１のような画像になる。また、差分画像ｄ１から抽出される領域の位置には、差分画像ｄ１において点線で示される位置が算出される。
【００７０】
その後、描画が進み、検出部１３が画像フレームＦ３として、図９（ｃ）に例示する画像フレームｆ８を検出したとする。このとき、差分画像Ｄ２は、図９（ｅ）に例示する差分画像ｄ２のような画像になる。また、差分画像ｄ２から抽出される領域の位置には、差分画像ｄ２において点線で示される位置が算出される。
【００７１】
このことから解るように、塗布物１６の塗布操作においては、描画に伴い塗布される塗布物１６の位置は塗布具１５の移動方向にシフトしていく。よって、移動したか否かを判定するための閾値を適切に設定することにより、塗布物１６が塗布される過程において、タッチ操作が検出されることを回避できる。
【００７２】
また、例えば、利用者が内部の塗りつぶされた楕円状の図形を描いたとする。この場合であっても、画像フレームを検出する間隔を適切に設定しておくで、検出部１３はその描画を線分として検出することが可能になる。そのため、操作認識部２が、このような描画処理をタッチ操作と判定することを回避できる。なお、画像フレームの検出間隔として、例えば、毎秒３０フレームと設定しておいてもよい。
【００７３】
さらに、塗布具１５を用いた描画処理と、タッチ操作とが同時に行われた場合には、タッチ操作がなされた位置においてのみタッチ操作有りの判定が行われる。このことは、上述の説明から明らかである。
【００７４】
以上のように、本実施形態によれば、検出部１３が、被接触体１１に対する接触物の接触部分を、時間の経過とともに検出する。そして、操作認識部２は、接触領域の面積が時間の経過とともに変化する場合、領域の位置の変化が予め定められた距離以内（すなわち、ほぼ一定の位置）である事象（タッチ操作）を認識する。さらに、操作認識部２は、接触領域の面積が時間の経過とともに変化する場合、領域の位置の変化が予め定められた距離を超えた事象（タッチする位置が移動する事象）も認識する。そして、検出された接触操作の内容がタッチ操作であると認識された場合、操作認識部２は、タッチ操作を示す情報であって、塗布物の塗布操作を示す情報とは異なる情報を、操作応答部１に出力する。そのため、被接触体に対する操作の認識精度を向上できる。
【００７５】
すなわち、本実施形態における操作認識装置を用いることにより、タッチ操作以外の原因により生じるセンサ入力が存在する場合であっても、タッチ操作の認識精度を向上できるため、タッチ操作を識別することが可能になる。
【００７６】
なお、上記処理では、画像差分を算出することで接触面積が増加する領域を抽出し、算出した差分の領域の位置を接触領域の位置とほぼ一定の事象として抽出している。すなわち、上記説明では、接触領域の位置を直接計算していない。しかし、上記処理は、実質的に、接触位置がほぼ一定で接触面積が増加している接触領域を抽出していることに等しいと言える。
【００７７】
例えば、差分画像を計算せず、各画像フレームに対してラベリング処理を行い、これにより得られる各領域に対して位置計算を行うことで、接触面積が変化しつつ接触位置がほぼ一定の領域を検出することは可能である。しかし、この場合、ラベリング処理により抽出される領域数が多くなり、ラベリング処理自体および位置計算処理の処理時間が増加してしまう。しかし、本実施形態では、差分画像を計算することにより、処理時間の増加を抑制することが可能になる。
【００７８】
また、上記説明では、タッチ操作に含まれる３つの過程である（１）「接触するフェーズ」、（２）「保持するフェーズ」、（３）「離すフェーズ」のうち、操作認識部２が、（１）に示す「接触するフェーズ」を検出し、このフェーズが検出された場合に、タッチ操作があったものと判断する動作を説明した。この応用として、操作認識部２が、「接触するフェーズ」の検出後、さらに（２）「保持するフェーズ」及び（３）「離すフェーズ」を検出し、その情報を操作応答部１に出力することも可能である。操作認識部２が（２）「保持するフェーズ」及び（３）「離すフェーズ」での接触を判定する方法としては、例えば、画像処理領域で一般的に知られている物体追跡の手法を使用すればよい。具体的には、操作認識部２は、「接触するフェーズ」を検出した場合に、接触位置における領域の追跡を開始し、追跡対象の領域が消えた場合に、離脱イベントの判定をすれば良い。なお、このような方法を使用する場合、接触が検出される位置と離脱が検出される位置は同じである必要はない。また、接触保持状態において、接触物が移動する軌跡情報（ドラッグ情報）を識別することも容易である。なお、物体追跡処理の詳細については、例えば、以下の参考文献２に記載されているため、ここでの説明は省略する。
［参考文献２］
奈良先端科学技術大学院大学ＯｐｅｎＣＶプログラミングブック作成チーム著、「ＯｐｅｎＣＶプログラミングブック」、毎日コミュニケーションズ、２００７年９月、ｐ．２１８−２３７
【００７９】
さらに、（３）「離すフェーズ」単体でタッチ操作を検出する方法として、操作認識部２は、ほぼ一定の位置において接触面積が時間と共に減少する領域を抽出する方法を使用してもよい。なお、接触面積が時間と共に減少する領域を抽出するには、（１）「接触するフェーズ」で計算された画像差分結果の符号を反転させればよい。
【００８０】
また、本実施形態では、被接触体１１に対する接触物の接触位置および接触面積を検出可能な装置として、ＦＴＩＲ方式の光学式タッチパネルを用いた例を挙げて説明した。ただし、接触位置および接触面積を検出する装置は、上記装置に限定されない。接触位置および接触面積を検出可能な装置であれば、他の装置を用いて本実施形態における操作認識装置を構成してもよい。
【００８１】
さらに、接触面積が増加し、位置がほぼ一定の接触領域か否かの判定を、異なる種類の操作認識装置を重ねて配置することにより行ってもよい。例えば、上記ＦＴＩＲ方式のタッチパネルと、静電容量方式のタッチパネルとを重ねて配置してもよい。静電容量方式のタッチパネルを重ねるのは、感度を調整することで、タッチパネル自身への接触はなくとも、近傍に指などが存在することが識別できるためである。このように配置することにより、ＦＴＩＲ方式のタッチパネルにより被接触体１１への塗布物の付着状態を検出する一方で、その被接触体１１へのタッチ操作を静電容量方式のタッチパネルのセンサにて検出することが可能になる
【００８２】
実施形態２．
次に、本発明による情報処理システムについて説明する。本発明における情報処理システムは、第１の実施形態で例示した操作認識装置を含んでおり、タッチ操作以外の原因により生じたセンサ入力を、タッチ操作とは別の入力情報として活用するシステムである。
【００８３】
図１０は、本発明による情報処理システムの一実施形態を示すブロック図である。なお、第１の実施形態で例示した操作認識装置と同様の構成については、図１と同一の符号を付し、説明を省略する。
【００８４】
本実施形態における情報処理システム２０は、被接触体１１と、光源部１２と、検出部１３と、操作認識部２に加え、表示部２１と、操作応答部１とを備えている。また、表示部２１は、スクリーン２２と、プロジェクタ２３とを含む。すなわち、本実施形態における情報処理システムは、第１の実施形態における操作認識装置１０に加え、スクリーン２２とプロジェクタ２３とを含む表示部２１、及び、操作応答部１を備えている。
【００８５】
操作認識装置（より具体的には、被接触体１１、光源部１２、検出部１３、および、操作認識部２）は、第１の実施形態で説明した通り、被接触体１１に対する接触物の接触を監視し、検出部１３が撮影した画像情報、またはこの画像情報を一部加工した画像情報を、タッチ操作に関する情報とともに操作応答部１へ出力する。
【００８６】
操作応答部１は、操作認識装置（より具体的には、操作認識部２）が認識した事象に基づいて、接触操作が検知された位置に応じた処理を行う。例えば、操作認識部２から、検出部１３が撮影した散乱光の画像やタッチ操作の有無及びタッチ操作が行われた位置の情報を受け取ると、操作応答部１は、各事象に基づき、接触位置に応じた表示処理を表示部２１に指示する。操作応答部１が指示する具体的な内容については後述する。なお、以下の説明では、接触物が接触する、接触物が被接触体から離れるなど、接触に関するイベントを表す情報のことを、イベント種別と記す。
【００８７】
操作応答部１は、操作認識部２と同様、一般的なパーソナルコンピュータにより実現される。より具体的には、操作応答部１は、プログラム（認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、パーソナルコンピュータやの記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、操作応答部１として動作してもよい。また、操作応答部１と操作認識部２とが、単一のハードウェア（例えば、パーソナルコンピュータ）で実現されていてもよい。
【００８８】
表示部２１は、操作応答部１の指示に応じた内容を表示する。スクリーン２２は、被接触体１１の背面に配置され、プロジェクタ２３は、操作応答部１の指示に応じて、散乱光の画像や、タッチ操作に応じたポインタ及びメニューなどをスクリーン２２の適切な位置に表示する。スクリーン２２の表示された内容は、透明平面板である被接触体１１を介して利用者に認識される。
【００８９】
なお、本実施形態では、表示部２１がスクリーン２２及びプロジェクタ２３を含む場合について説明するが、表示部２１の内容は、スクリーン２２及びプロジェクタ２３に限定されない。デジタル情報の表示が可能な表示装置であれば、表示部２１は、例えば、液晶ディスプレイやプラズマディスプレイ、電界放出ディスプレイなどのフラットパネルディスプレイであってもよい。
【００９０】
次に、本実施形態における情報処理システムの動作について説明する。以下の説明では、操作応答部１が、操作認識部２から画像情報とタッチ操作に関する情報のいずれか一方を受け取り、受け取った情報に基づいて処理を行う場合を例に説明する。ここで、画像情報として受け取る情報には、塗布物の塗布操作が行われることを示す情報も含まれる。
【００９１】
図１１は、操作応答部１が行う処理の例を示すフローチャートである。また、図１２は、被接触体１１に対する操作及び表示部２１に対する表示の例を示す説明図である。操作応答部１は、操作認識部２から画像情報とタッチ操作に関する情報のいずれか一方を受信する（ステップＳ２１）。受け取った情報が画像情報の場合（ステップＳ２１における「画像情報」）、操作応答部１は、この画像のサイズ（例えば６４０×４８０ピクセル）を表示部２１（より具体的には、スクリーン２２）のサイズ（例えば１０２４×７６８ピクセル）に合わせて拡大または縮小する。また、操作応答部１は、被接触体１１上で接触物の接触が検出された物理的位置を、表示部２１（より具体的には、スクリーン２２）上の位置と一致するように座標変換する（ステップＳ２２）。そして、操作応答部１は、拡大または縮小した画像の表示処理を表示部２１に指示する（ステップＳ２３）。ここで、操作応答部１は、画像の明暗を反転するなど、表現上の工夫を施してから表示処理を表示部２１に指示してもよい。その後、操作応答部１は、データ受信の内容を判断するステップ２１以降の処理を繰り返す。
【００９２】
なお、ステップＳ２２において、座標変換を行う際に必要な情報は、事前に操作認識装置（より具体的には、操作認識部２）と表示部２１との間でキャリブレーション処理を行うことで得ることができる。この方法については、一般的なタッチパネルで使用されている方法を用いればよい。
【００９３】
例えば、被接触体１１上に図１２（ａ）に例示する図形が塗布具１５を用いて描かれているものとする。操作応答部１は、操作認識部２からこの図形の画像を受信すると、表示部２１（より具体的には、スクリーン２２）上の位置に合わせて表示させる。その結果、塗布物１６により描かれた図形は、背面からライトアップされた状態になる。この際、背面からライトアップされる視覚的フィードバックは、描いた図形が確かにデジタイズされたことを利用者に伝える手掛かりになる。以上のような処理を行うことで、本発明の情報処理システムをデジタルホワイトボードのようなシステムとして利用することが出来る。
【００９４】
なお、このとき、操作応答部１は、塗布物１６などの接触物が接触している位置に対応するスクリーン２２上の位置を、他の表示位置とは異なる色で表示してもよく、また、他の表示位置とは異なる明度で表示してもよい。このようにすることで、タッチ操作とタッチ操作以外の接触を区別できる。
【００９５】
一方、ステップＳ２１において、操作応答部１が受け取った情報が、例えば、タッチ操作の有無およびその位置を表す情報のような、タッチ操作に関する情報の場合（ステップＳ２１における「タッチ情報」）、操作応答部１は、イベント種別（具体的には、接触イベントや離脱イベントなど）や接触を検知した位置に応じた適切な処理を実行する（ステップＳ２４）。操作応答部１は、例えば、タッチ操作が検出された位置へのポインタ表示処理や、メニュー表示処理、タッチ操作が検出された位置に表示されたアイコンなどのオブジェクトに対する選択処理などを実行してもよい。ただし、操作応答部１が行う処理は、これらの処理に限定されない。その後、操作応答部１は、データ受信の内容を判断するステップ２１以降の処理を繰り返す。
【００９６】
このように、操作応答部１は、タッチ操作が行われたと判断した場合、例えば、塗布物が塗布された場合とは異なる処理を行う。具体的には、操作応答部１は、タッチ操作が行われた場合と、塗布物が塗布された場合とで、視覚的に異なる内容の処理を行ってもよい。以下、タッチ操作に関する情報を受信した場合に操作応答部１が行う処理の具体例を、図１２を用いて説明する。
【００９７】
操作応答部１は、図１２（ａ）に例示する状態でタッチ操作に関する情報を受信すると、タッチ操作の検出された位置にメニューを表示する（図１２（ｂ）参照）。続いて、利用者が、タッチ操作した位置に表示されたメニューの中から保存コマンドを選択したとする（図１２（ｃ）参照。）。そして、操作認識部２が、図形左上の位置に対するタッチ操作を検知し、タッチ情報を操作応答部１に送信すると、操作応答部１は、その位置にポインタ表示するよう表示部２１に指示を行う（図１２（ｄ）参照）。さらに、図１２（ｄ）の状態から、操作認識部２が、図形右下の位置に対するタッチ操作を検知し、タッチ情報を操作応答部１に送信すると、操作応答部１は、タッチされた位置から矩形領域を規定するとともに、新たなメニューを表示部２１に表示させる（図１２（ｅ）参照）。この状態から、利用者がメニューの中からＯＫコマンドの位置にタッチ操作を行うと、操作応答部１は、そのコマンド（ＯＫコマンド）を実行する（図１２（ｆ）参照）。
【００９８】
以上、操作応答部１がタッチ操作に応じて実行する処理について説明した。ただし、操作応答部１がタッチ操作に関する情報に応じて実行する処理は、上記内容に限定されない。例えば、操作認識部２が、複数のタッチを同時に検出した場合やドラッグ状態を検出した場合、操作応答部１は、検出した状態に応じて適切な処理を行なえばよい。
【００９９】
また、上記説明では、操作応答部１が操作認識部２から受け取る情報が、画像情報とタッチ操作に関する情報のいずれか一方である場合について説明した。ただし、操作応答部１は、操作認識部２から画像情報とタッチ操作に関する情報とを同時に受信してもよい。この場合、受信した内容に応じて、それぞれの場合の処理を行えばよい。
【０１００】
以上のように、本実施形態によれば、操作認識部２がタッチ操作を識別可能なため、操作応答部１は、タッチ操作以外の原因により生じたセンサ入力を、タッチ操作とは別の入力情報として活用できる。その結果、多様なパターンの入力指示が行える情報処理装置（システム）が単一の操作認識装置で実現できる。
【０１０１】
すなわち、一般的な装置では、タッチ操作以外のセンサ入力を検知した場合、タッチ操作を識別することが困難であった。また、一般的な装置では、センサで感知可能なタッチ操作以外の情報を、タッチ操作とは別の入力情報として活用することも困難であった。しかし、本実施形態によれば、操作認識部２が、タッチ操作を識別し、識別した情報とともに操作以外の情報を操作応答部１に通知する。そのため、タッチ操作以外の原因により生じたセンサ入力を、タッチ操作とは別の入力情報として活用できる。
【０１０２】
次に、本発明の最小構成について説明する。図１３は、本発明による操作認識装置の最小構成の例を示すブロック図である。また、図１４は、本発明による情報処理システムの最小構成を示すブロック図である。本発明による操作認識装置は、操作者が接触させる接触物（例えば、利用者の指１４）または操作者により塗布される接触物（例えば、塗布物１６）によって接触される被接触体８０（例えば、被接触体１１）と、被接触体に対する接触物の接触位置及び接触領域（例えば、接触している部分）を時間の経過とともに（例えば、定常的に）検出する接触位置検出手段８１（例えば、検出部１３）と、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置（例えば、領域の位置）の変化が予め定められた距離以内（例えば、ほぼ一定の位置）である事象を第１の事象（例えば、タッチ操作）と認識し、領域位置の変化がその距離を超えた（例えば、接触物が移動した）事象を第２の事象（例えば、塗布物１６の塗布操作）と認識する認識手段８２（例えば、操作認識部２）と、認識された事象を表す情報（例えば、タッチ操作の判定結果、判定の際用いられた画像情報）を他の装置（例えば、操作応答部１）に出力する事象出力手段８３とを備えている。
【０１０３】
事象出力手段８３は、第１の事象が認識された場合に、その第１の事象を示す情報（例えば、事象の認識結果や、検出部１３が検出した画像情報）であって、第２の事象とは異なる事象を表す情報（例えば、塗布物１６が塗布されている画像情報）を、他の装置に出力する。
【０１０４】
そのような構成により、被接触体に対する操作の認識精度を向上できる。具体的には、タッチ操作の認識精度を向上できる。
【０１０５】
また、接触位置検出手段８１が、接触物により散乱される光（例えば、散乱光、エバネッセント波）を測定することにより、被接触体に対する接触物の接触領域を検出してもよい。
【０１０６】
また、被接触体が、内部に光（例えば、赤外光）を導波可能な構造を有し、その被接触体の内部に対して光が入射され（例えば、光源部１２により光が入射され）、接触位置検出手段８１が、被接触体に対して接触物が接触することに伴い散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出してもよい。
【０１０７】
また、接触位置検出手段８１は、人体の一部（例えば、利用者の指１４）による接触を検知してもよく、被接触体に塗布可能な物質（例えば、塗布物１６）の接触を検知してもよい。
【０１０８】
また、事象出力手段８３は、第１の事象以外の事象による接触物の接触（例えば、接触物を接触させたまま移動処理や、塗布物の塗布状態）を検出した場合、その接触物の接触状態を示す情報を、他の装置に出力してもよい。このようにすることで、接触位置と接触が無かった位置とを区別する処理を行うことが可能になる。
【０１０９】
また、本発明による情報処理システムは、被接触体８０と、接触位置検出手段８１と、認識手段８２と、認識された事象に応じて、予め定められた応答を行う応答手段８４とを備えている。応答手段８４は、第１の事象（例えば、タッチ操作）が認識された場合に、その第１の事象に応じて定められた応答（例えば、ポインタ、メニュー表示）であって、第２の事象に応じて定められた応答（例えば、他の表示位置とは異なる色や明度で表示）とは異なる応答を行う。なお、被接触体８０、接触位置検出手段８１及び認識手段８２については、本発明による操作認識装置の構成と同様である。
【０１１０】
このような構成であっても、被接触体に対する操作の認識精度を向上できる。具体的には、タッチ操作の認識精度を向上できる。
【０１１１】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１１２】
（付記１）操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が当該距離を超えた事象を第２の事象と認識する認識手段と、認識された事象を表す情報を他の装置に出力する事象出力手段とを備え、前記事象出力手段は、前記第１の事象が認識された場合に、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力することを特徴とする操作認識装置。
【０１１３】
（付記２）接触位置検出手段は、接触物により散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記１記載の操作認識装置。
【０１１４】
（付記３）被接触体は、内部に光を導波可能な構造を有し、当該被接触体の内部に対して光が入射され、接触位置検出手段は、前記被接触体に対して接触物が接触することに伴い散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記１または付記２記載の操作認識装置。
【０１１５】
（付記４）接触位置検出手段は、人体の一部による接触を検知する付記１から付記３のうちのいずれか１つに記載の操作認識装置。
【０１１６】
（付記５）接触位置検出手段は、被接触体に塗布可能な物質の接触を検知する付記１から付記４のうちのいずれか１つに記載の操作認識装置。
【０１１７】
（付記６）事象出力手段は、第１の事象とは異なる事象による接触物の接触を検出した場合、当該接触物の接触状態を示す情報を、他の装置に出力する付記１から付記５のうちのいずれか１つに記載の操作認識装置。
【０１１８】
（付記７）操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識する認識手段と、認識された事象に応じて、予め定められた応答を行う応答手段とを備え、前記応答手段は、前記第１の事象が認識された場合に、当該第１の事象に応じて定められた応答であって、前記第２の事象に応じて定められた応答とは異なる応答を行うことを特徴とする情報処理システム。
【０１１９】
（付記８）接触位置検出手段は、接触物により散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記７記載の情報処理システム。
【０１２０】
（付記９）被接触体は、内部に光を導波可能な構造を有し、当該被接触体の内部に対して光が入射され、接触位置検出手段は、前記被接触体に対して接触物が接触することに伴い散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記７または付記８記載の情報処理システム。
【０１２１】
（付記１０）接触位置検出手段は、人体の一部による接触を検知する付記７から付記９のうちのいずれか１つに記載の情報処理システム。
【０１２２】
（付記１１）接触位置検出手段は、被接触体に塗布可能な物質の接触を検知する付記７から付記１０のうちのいずれか１項に記載の情報処理システム。
【０１２３】
（付記１２）応答手段は、認識された事象に応じた情報を被接触体の対応する位置に表示する表示手段を含み、前記応答手段は、第１の事象とは異なる事象による接触物の接触を検出した場合、接触物が接触した位置に対応する前記表示手段上の位置に対して、第１の事象に応じて定められた応答とは視覚的に異なる変化を生じさせる処理を行う付記７から付記１１のうちのいずれか１つに記載の情報処理システム。
【０１２４】
（付記１３）第１の事象に応じて定められた応答には、当該第１の事象が検出された接触位置に対応する表示手段の位置にポインタを表示する処理を含む付記７から付記１２のうちのいずれか１つに記載の情報処理システム。
【０１２５】
（付記１４）第１の事象に応じて定められた応答には、当該第１の事象が検出された接触位置に対応する表示手段の位置にメニューを表示する処理を含む付記７から付記１３のうちのいずれか１つに記載の情報処理システム。
【０１２６】
（付記１５）第１の事象に応じて定められた応答には、当該第１の事象が検出された接触位置に対応する表示手段の位置に表示されたオブジェクトを選択したことを示す処理を含む付記７から付記１４のうちのいずれか１つに記載の情報処理システム。
【０１２７】
（付記１６）応答手段は、接触物が接触した位置に対応する表示手段上の位置を、他の表示位置とは異なる色で表示することにより、第１の事象に応じて定められた応答とは視覚的に異なる変化を生じさせる付記１２から付記１５のうちのいずれか１つに記載の情報処理システム。
【０１２８】
（付記１７）応答手段は、接触物が接触した位置に対応する表示手段上の位置を、他の表示位置とは異なる明度で表示することにより、第１の事象に応じて定められた応答とは視覚的に異なる変化を生じさせる付記１２から付記１６のうちのいずれか１つに記載の情報処理システム。
【０１２９】
（付記１８）操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、当該接触物が接触する接触位置及び当該接触物の接触領域を時間の経過とともに検出し、前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識し、認識された事象を表す情報を他の装置に出力し、前記事象を表す情報を他の装置に出力する際、前記第１の事象が認識された場合には、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力することを特徴とする操作認識方法。
【０１３０】
（付記１９）接触物により散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記１８記載の操作認識方法。
【０１３１】
（付記２０）操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、当該接触物が接触する接触位置及び当該接触物の接触領域を時間の経過とともに検出し、前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識し、認識された事象に応じて、予め定められた応答を行い、前記応答を行う際、前記第１の事象が認識された場合には、当該第１の事象に応じて定められた応答であって、前記第２の事象に応じて定められた応答とは異なる応答を行うことを特徴とする情報処理方法。
【０１３２】
（付記２１）接触物により散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記２０記載の操作認識方法。
【０１３３】
（付記２２）操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体を備えたコンピュータに適用される操作認識プログラムであって、前記コンピュータに、前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出処理、前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識する認識処理、および、認識された事象を表す情報を他の装置に出力する事象出力処理を実行させ、前記事象出力処理で、前記第１の事象が認識された場合には、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力させるための操作認識プログラム。
【０１３４】
（付記２３）接触位置検出処理で、接触物により散乱される光を測定させることにより、被接触体に対する接触物の接触領域を検出させる付記２２記載の操作認識プログラム。
【産業上の利用可能性】
【０１３５】
本発明は、タッチ操作を認識可能な操作認識装置に好適に適用される。
【符号の説明】
【０１３６】
１ 操作応答部
２ 操作認識部
１０ 操作認識装置
１１ 被接触体
１２ 光源部
１３ 検出部
１４ 利用者の指
１５ 塗布具
１６ 塗布物
２０ 情報処理システム
２１ 表示部
２２ スクリーン
２３ プロジェクタ
ｆ１〜ｆ７ 画像フレーム
ｄ１，ｄ２ 差分画像
【技術分野】
【０００１】
本発明は、操作認識装置、情報処理システム、操作認識方法、情報処理方法および操作認識プログラムに関し、特に、タッチ操作を認識可能な操作認識装置、情報処理システム、操作認識方法、情報処理方法および操作認識プログラムに関する。
【背景技術】
【０００２】
表示された画面を押すこと（以下、タッチ操作）で機器をコントロールできるタッチパネルは、操作が直感的に理解しやすいなどの理由から、銀行の現金自動預け払い機など不特定多数の人物が利用するシステムを中心に幅広く利用されている。
【０００３】
タッチパネルは、通常、液晶パネルのような表示装置と、利用者の触れた位置を検出する装置（以下、位置認識装置と記す）とを組み合わせることで実現される。位置認識装置としては様々なものが存在するが、代表的なものとして、抵抗膜方式、静電容量方式、光学式の装置が挙げられる。
【０００４】
抵抗膜方式では、表示画面を形成するガラスと、そのガラスとわずかな間隔で取り付けたフィルムの双方に導通性の薄膜が貼り付けられた装置が用いられる。この方式では、利用者の指などが押下することによって通電する場所を感知することで、利用者の触れた位置を検出する。
【０００５】
静電容量方式では、指先と導電膜との間に発生する静電容量の変化を捉えることにより、利用者の触れた位置を検出する。また、光学式では、光源より発せられ、利用者の指などにより散乱される光、または遮断されて光の届かない部分をカメラなどで撮影することにより、利用者の触れた位置を検出する。また、機構を工夫することにより、複数の指による接触を同時に検出したり、接触面積を検出したりする装置も一部に存在する。
【０００６】
なお、位置検出装置にて検出可能な物体の種類は、一般に、その装置で採用されているセンサに依存する。検出可能な物体の種類も様々であり、例えば、その原理によって人体を検出可能なセンサや、人体以外にもスタイラスと呼ばれるペン状器具を検出可能なセンサなども存在する。
【０００７】
例えば、光学式タッチパネルの一方式として、Frustrated Total Internal Reflection方式（以下、ＦＴＩＲ方式と記す。）を利用したタッチパネルが知られている（特許文献１参照）。特許文献１に記載された方式では、平面アクリルパネルなど、導波路内に全反射条件を満たすように光が入射される。そして、導波路に指などの物体が接触すると、その物体の接触位置で導波路内の光の一部が散乱される。そこで、この光の一部が散乱される現象を、例えば、カメラなどのイメージセンサを用いて捉えることで、タッチ操作およびその接触位置が検出できる。
【０００８】
また、特許文献２には、タッチ操作入力装置が記載されている。特許文献２に記載された入力装置では、単位時間あたりの接触面積の増加量が設定された傾度閾値よりも多い場合に、操作面に対して確定操作がなされたと判断する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許出願公開第２００８／１７９５０７号明細書
【特許文献２】特開２００６−２０９６８４号公報（段落０００７）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
一方、タッチ操作の検知を意図しているにもかかわらず、タッチ操作以外のセンサ入力が原因で、その入力がタッチ操作と誤認識されてしまう場合も多く存在する。例えば、特許文献１に記載された方法では、タッチ操作以外の理由により導波路内の光が散乱された場合、それをタッチ操作と誤認識する可能性がある。例えば、導波路上に光を散乱する何らかの物質が付着している場合、特許文献１に記載された方法では、利用者が指の接触を恒常的に保持した状態にあると誤判定してしまう。
【００１１】
なお、特許文献１には、このような誤判定を低減する方法として、タッチ操作以外の操作でセンサ入力が生じないようにする技術が開示されている。特許文献１では、指の接触以外に光を散乱する現象として、皮脂の付着を例に挙げている。特許文献１に記載された方法では、薄い樹脂シートなどにより導波路を覆うことで、皮脂の付着を防いでいる。
【００１２】
具体的には、樹脂シートと導波路の間には狭い空気のギャップ層が設けられており、指などの押下に伴う物理的な力により樹脂シートが導波路に触れることで、導波路内の光が散乱される。この構成の場合、利用者が導波路に直接触れることがない。そのため、導波路に皮脂などの物質が付着することを防止できる。
【００１３】
上記のようなタッチ操作以外の操作によるセンサ入力を遮断する方法は、タッチ操作以外のセンサ入力がシステムに不要な入力情報（皮脂のような雑音入力）の場合は効果的に動作する。しかしながら、多くの場合、タッチ操作以外の操作を利用者が意図的に行い、それをタッチ操作とは別の入力情報として取り扱いたい場合も多い。例えば、塗布具による塗布物の塗布操作に伴う塗布物の付着位置と、タッチ操作に伴う指の接触位置を同時に検知するセンサにより、塗布操作とタッチ操作を同時に検出するシステムの場合、塗布物の付着を防止する方法は利用できない。
【００１４】
これに対し、特許文献２では、単位時間あたりの接触面積の増加量により操作面に対して確定操作（タッチ操作）がなされたと判断する方法が開示されている。しかしながら、タッチ操作以外の操作においても、単位時間あたりの接触面積の増加が生じる操作は多い。例えば、上記塗布操作の場合、塗布具により塗布物を塗布するに伴い、塗布物の付着面積が増加するため、センサにより検出される接触面積はやはり増加する。すなわち、塗布物を塗布する際の操作と、タッチ操作とは酷似している。そのため、塗布操作を行ったにもかかわらず、その操作が、タッチ操作と誤認識されることも多い。
【００１５】
そこで、本発明は、被接触体に対する操作の認識精度を向上できる操作認識装置、情報処理システム、操作認識方法、情報処理方法および操作認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明による操作認識装置は、操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化がその距離を超えた事象を第２の事象と認識する認識手段と、認識された事象を表す情報を他の装置に出力する事象出力手段とを備え、事象出力手段が、第１の事象が認識された場合に、その第１の事象を示す情報であって、第２の事象を示す情報とは異なる情報を、他の装置に出力することを特徴とする。
【００１７】
本発明による情報処理システムは、操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化が距離を超えた事象を第２の事象と認識する認識手段と、認識された事象に応じて、予め定められた応答を行う応答手段とを備え、応答手段が、第１の事象が認識された場合に、その第１の事象に応じて定められた応答であって、第２の事象に応じて定められた応答とは異なる応答を行うことを特徴とする。
【００１８】
本発明による操作認識方法は、操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、その接触物が接触する接触位置及びその接触物の接触領域を時間の経過とともに検出し、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化が距離を超えた事象を第２の事象と認識し、認識された事象を表す情報を他の装置に出力し、事象を表す情報を他の装置に出力する際、第１の事象が認識された場合には、その第１の事象を示す情報であって、第２の事象を示す情報とは異なる情報を、他の装置に出力することを特徴とする。
【００１９】
本発明による情報処理方法は、操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、その接触物が接触する接触位置及びその接触物の接触領域を時間の経過とともに検出し、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化が距離を超えた事象を第２の事象と認識し、認識された事象に応じて、予め定められた応答を行い、応答を行う際、第１の事象が認識された場合には、その第１の事象に応じて定められた応答であって、第２の事象に応じて定められた応答とは異なる応答を行うことを特徴とする。
【００２０】
本発明による操作認識プログラムは、操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体を備えたコンピュータに適用される操作認識プログラムであって、コンピュータに、被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出処理、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、領域位置の変化が距離を超えた事象を第２の事象と認識する認識処理、および、認識された事象を表す情報を他の装置に出力する事象出力処理を実行させ、事象出力処理で、第１の事象が認識された場合には、その第１の事象を示す情報であって、第２の事象を示す情報とは異なる情報を、他の装置に出力させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、被接触体に対する操作の認識精度を向上できる。
【図面の簡単な説明】
【００２２】
【図１】本発明による操作認識装置の一実施形態を示すブロック図である。
【図２】被接触体１１に光源部１２の光が入射された状態の例を示す説明図である。
【図３】被接触体１１の表面における光の反射状態の例を示す説明図である。
【図４】画像フレームの例を示す説明図である。
【図５】タッチ操作を行った際、接触面積及び領域の位置の変化例を示すグラフである。
【図６】操作認識部２が行う処理の例を示すフローチャートである。
【図７】各時点における画像フレームの例を示す説明図である。
【図８】差分画像の例を示す説明図である。
【図９】画像フレームと差分画像との関係例を示す説明図である。
【図１０】本発明による情報処理システムの一実施形態を示すブロック図である。
【図１１】操作応答部１が行う処理の例を示すフローチャートである。
【図１２】被接触体１１に対する操作及び表示部２１に対する表示の例を示す説明図である。
【図１３】本発明による操作認識装置の最小構成の例を示すブロック図である。
【図１４】本発明による情報処理システムの最小構成の例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を図面を参照して説明する。
【００２４】
実施形態１．
図１は、本発明による操作認識装置の一実施形態を示すブロック図である。本実施形態における操作認識装置１０は、被接触体１１と、光源部１２と、検出部１３と、操作認識部２とを備えている。操作認識装置１０は、操作応答部１に接続される。被接触体１１には、利用者の指１４などの接触によるタッチ操作や、塗布具１５による塗布物１６の塗布操作及び除去操作が行われる。なお、利用者の指１４のように、被接触体１１に接触する物体や、塗布物１６のように、被接触体１１に塗布される物質を、以降総じて接触物と呼ぶものとする。
【００２５】
被接触体１１は、塗布物１６を塗布したり、拭き取ったりすることが可能な透明平面板であり、例えば、アクリルなどの樹脂板により実現される。
【００２６】
光源部１２は、可視光領域外の光（例えば、赤外光）が被接触体１１内部に導波されるように被接触体１１の側面より可視光領域外の光を入射させる。光源部１２は、例えば、一直線上に配置された１つ以上の赤外発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により実現される。
【００２７】
図１に示す例では、光源部１２が被接触体１１の上下併せて２カ所に配置されている。ただし、光源部１２の配置位置は、被接触体１１の上下２カ所に限定されない。光源部１２は、被接触体１１の１辺、または複数の辺に配置されていても良い。
【００２８】
検出部１３は、被接触体１１に対する接触物の接触部分を時間の経過とともに検出する。なお、接触物の接触部分とは、接触物の接触位置と接触している面積によって表わされる情報であるとも言える。検出部１３は、光源部１２の発する光のうち、被接触体１１に接触物が接触することに伴って被接触体１１の外部に散乱される光（以下、散乱光）を画像として検出する光学機器である。検出部１３は、例えば、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや、相補性金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの半導体イメージセンサを搭載したカメラにより実現される。
【００２９】
なお、図１では、検出部１３が被接触体１１上で接触物の接触する面とは反対側の面（背面）に配置されている例を示している。ただし、検出部１３が配置される位置は、上記位置に限定されない。検出部１３は、接触物の接触する面（前面）に配置されていても良い。
【００３０】
塗布具１５は、内部に充填されている塗布物１６を被接触体１１に塗布する構造を有する筆記具である。塗布具１５は、例えば、ホワイトボードマーカなどのフェルトペンの容器を用いて実現される。ただし、塗布具１５の態様は、フェルトペンの容器に限定されない。
【００３１】
塗布物１６は、被接触体１１に塗布したり、拭き取ったりすることが可能な物質である。塗布物１６には、光源部１２の発する波長領域の光を散乱する物質が成分として含有される。例えば、光源部１２に赤外光を使用する場合、塗布物１６は、一般的なホワイトボードマーカのインクにより実現される。
【００３２】
操作認識部２は、検出部１３が検出した散乱光の画像を受け取り、タッチ操作を検出する処理を実行する。タッチ操作を検出する処理において、操作認識部２は、タッチ操作の有無、および、タッチ操作が行われた位置を判定する。具体的には、操作認識部２は、検出部１３から接触した部分を示す散乱光の画像を受け取ると、接触している部分の面積が時間の経過とともに変化（増加又は減少）しているか否か判断する。さらに、操作認識部２は、面積が時間とともに変化している場合に、接触物の接触位置がほぼ一定の位置にあるか否か、又は、接触した位置から移動しているか否かを判断する。そして、操作認識部２は、接触面積が変化している場合において、接触物の位置がほぼ一定の位置にある場合に、タッチ操作が行われたと判定する。なお、ほぼ一定の位置にあるか否かは、例えば、予め定められた閾値と比較して判断される。そして、操作認識部２は、判断した結果を表す情報を操作応答部１に出力する。
【００３３】
操作認識部２は、例えば、外部機器接続用インターフェースが搭載され、汎用のオペレーティングシステム、ドライバソフトウェア、画像処理プログラムが実行される一般的なパーソナルコンピュータ（ＰＣ）により実現される。より具体的には、操作認識部２は、プログラム（認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、パーソナルコンピュータや、操作認識装置１０の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、操作認識部２として動作してもよい。
【００３４】
操作応答部１は、操作認識部２が判断した結果を受信すると、被接触体１１に対する接触状態に応じて、予め定められた応答を行う。操作応答部１は、例えば、検知された接触位置に応じた応答を行う。例えば、操作応答部１は、接触位置に応じ、表示装置（図示せず）の画面に、ポインタやメニューを表示してもよい。
【００３５】
次に、本実施形態における操作認識装置の動作について説明する。まずは、本実施形態における操作認識装置において、接触物の接触位置および接触面積が検出される原理について説明する。続いて、検出された情報を元にタッチ操作を認識する手順について説明する。
【００３６】
まず、光源部１２は、被接触体１１の側面より可視光領域外の光を入射させる。図２は、被接触体１１に光源部１２の光が入射された状態の例を示す説明図である。仮に、被接触体１１に接触物が接触していなかったものとすると、入射された光は、図２に例示するように、被接触体１１の表面で全反射し、内部に閉じこめられて導波する。
【００３７】
検出部１３は、定常的に（例えば、毎秒３０フレームで）被接触体１１の画像を赤外領域にて撮影する。仮に、被接触体１１に接触物が接触していなかったものとすると、検出部１３が記録する画像は、ほぼ真っ黒な画像になる。これは、光源部１２によって発せられる光が、被接触体１１の内部に閉じこめられ、検出部１３には到達しないためである。
【００３８】
続いて、被接触体１１に接触物が接触している場合について説明する。既に述べた通り、代表的な接触物として、ホワイトボードマーカのインクなどの塗布物１６や、利用者の指１４などが挙げられる。
【００３９】
図３は、被接触体１１の表面における光の反射状態の例を示す説明図である。前述の通り、光源部１２より発せられた光は、被接触体１１の表面で全反射する。この際、図３のＡに例示するように、光は、被接触体１１から外部の空気側にわずかに染み出す。なお、この染み出した部分の光は、エバネッセント波と呼ばれる。被接触体１１に塗布物１６や利用者の指１４などの接触物が接触している場合、エバネッセント波は、接触物と光学的に結合する。そして、図３のＢまたはＣに例示するように、エバネッセント波は、被接触体１１の外へ散乱する。
【００４０】
エバネッセント波は、透明平面板である被接触体１１の背面側にも散乱するため、背面側に散乱した光の一部は検出部１３に到達し、検出部１３は、その光を検出する。図４は、検出部１３が検出した画像フレームの例を示す説明図である。図４に例示する画像フレームの左上に白く暗く浮かび上がる「イ」の形状の部分が、被接触体１１上で塗布物１６が付着した部分である。また、図４に例示する画像フレーム中央の楕円状の部分が、利用者の指１４が接触した部分である。このように、検出部１３は、接触物が接触した領域を、特定形状の領域として観測する。
【００４１】
操作認識部２は、検出部１３が撮影した画像を受け取り、接触物の位置および接触面積を算出する。接触物の位置は画像内で散乱光の検出された領域の座標、接触面積はこの領域に含まれる画素数として定量化される。例えば、操作認識部２は、接触物の接触位置を、画像内で散乱光の検出された領域の座標として定量化する。また、操作認識部２は、接触物の接触面積を、接触した領域に含まれる画素数として定量化する。
【００４２】
以下の説明では、接触物が接触している領域（部分）のことを、領域の位置と表現する。ここで、領域の位置は、領域の重心位置で表わされていてもよく、中心位置（具体的には、各座標軸の最大値と最小値の平均）で表わされていてもよい。検出部１３は、各領域の位置を予め定義された方法に基づいて表現すればよい。
【００４３】
言い換えると、面的に有限の広がりを持つ領域に対して位置という表現は、多義的な表現であり、曖昧さを含む。例えば、領域の重心位置を指し示す可能性もあれば、中心位置を指し示す可能性もある。本実施形態における操作認識装置では、位置の定義が処理を通じ一貫していれば、その効果は定義の仕方によらず変わらない。したがって、以降、別途区別した場合を除き、接触物が接触している領域（部分）のことを、領域の位置と表現する。
【００４４】
以上が被接触体に対する接触物の位置および接触面積の検出原理である。続いて、接触物の位置および接触面積の情報からタッチ操作を認識する手順について説明する。ここで、タッチ操作を認識するための具体的な処理フローを説明する前に、本実施形態における操作認識装置でタッチ操作を検出する原理を概説する。
【００４５】
時系列的に大別すると、タッチ操作は、（１）指などの接触物を被接触体に接触するフェーズ（以下、「接触するフェーズ」）、（２）接触物の接触を被接触体に保持するフェーズ（以下、「保持するフェーズ」）、（３）被接触体から接触物を離すフェーズ（以下、「離すフェーズ」）の３つの過程を含んでいる。
【００４６】
本実施形態における操作認識装置では、操作認識部２が、上記３つの過程のうち、（１）に示す「接触するフェーズ」を検出することにより、タッチ操作の有無を判断する。ここで、タッチ操作の「接触するフェーズ」において、接触物の接触に伴い光が散乱する領域の面積が、領域の位置はほぼ一定のまま、時間とともに増加するという特性に着目する。すなわち、操作認識部２は、時間とともに変化する領域の面積および位置に基づき、タッチ操作の有無を判断する。
【００４７】
図５（ａ）は、タッチ操作を行った際、時間とともに変化する接触面積の例を示すグラフである。また、図５（ｂ）は、タッチ操作を行った際、接触位置と代表位置（すなわち、領域の位置）との距離を時系列で表わした例を示すグラフである。
【００４８】
図５（ａ）に例示するように、タッチ操作の初期段階（すなわち、「接触するフェーズ」）では、被接触体との接触面積は０から有限の値まで増加する。そして、保持段階（すなわち、「保持するフェーズ」）では、接触面積はほぼ一定となり、離脱段階（すなわち、「離すフェーズ」）では、接触面積は再び０にまで減少する。
【００４９】
一方、図５（ｂ）に例示するように、タッチ操作の初期段階から離脱段階まで、接触領域の位置はほとんど変化しない。なお、「接触するフェーズ」および「離すフェーズ」においては、距離がやや大きくなる傾向がある。これは、特に指によるタッチ操作に特徴的な現象であり、通常、接触が指の先から指の中心に向かって行われる特性を表している。ただし、その値は一般的に小さく、位置はほぼ一定であると言える。
【００５０】
以降、上述した原理に基づいてタッチ操作を認識する具体的な処理フローについて説明する。なお、本実施形態における操作認識装置では、タッチ操作の認識は、操作認識部２によって行われる。
【００５１】
図６は、操作認識部２が行う処理の例を示すフローチャートである。操作認識部２は、まず、時間軸上で連続した画像フレームＦ１，Ｆ２を検出部１３より受け取る（ステップＳ１，Ｓ２）。具体的には、操作認識部２は、画像フレームＦ１を検出部１３から受信したか否かを判定する（ステップＳ１）。画像フレームＦ１を受信していない場合（ステップＳ１におけるＮ）、操作認識部２は、画像フレームを受信するステップＳ１の処理を繰り返す。一方、画像フレームＦ１を受信した場合（ステップＳ１におけるＹ）、操作認識部２は、画像フレームＦ２を検出部１３から受信したか否かを判定する（ステップＳ２）。画像フレームＦ２を受信していない場合（ステップＳ２におけるＮ）、操作認識部２は、画像フレームを受信するステップＳ２の処理を繰り返す。
【００５２】
画像フレームＦ１，Ｆ２を受け取った場合（ステップＳ２におけるＹ）、操作認識部２は、その差分画像Ｄ１＝Ｆ２−Ｆ１を算出する（ステップＳ３）。なお、操作認識部２は、画像差分を算出する際、差分値が負となった画素については、その差分値を０で置き換える。このようにすることで、接触面積が増加した領域のみを抽出できる。操作認識部２は、例えば、画像フレームにおける各画素値を比較して、差分画像を算出してもよい。
【００５３】
図７は、各時点における画像フレームの例を示す説明図である。図７に示す例では、画像フレームｆ１〜ｆ５の順に時系列で検知されていることを示す。ここで、画像フレームＦ１が検出された時刻では、接触物が何も接触しておらず、画像フレームＦ２が検出された時刻では、指によるタッチ操作が開始されていたものとする。
【００５４】
この場合、画像フレームＦ１は、図７（ａ）に例示する画像フレームｆ１のように、真っ黒な画像になり、画像フレームＦ２は、図７（ｂ）に例示する画像フレームｆ２のようになる。また、差分画像Ｄ１も、図７（ｂ）に例示する画像フレームｆ２のようになる。ここで、画像フレームｆ２において、白い楕円形上の領域が指の接触している位置に相当する。
【００５５】
続いて、操作認識部２は、差分画像Ｄ１をもとに、散乱光の検出された部分から独立した領域を識別する（ステップＳ４）。差分画像Ｄ１が図７（ｂ）に例示する画像フレームｆ２の場合、領域は楕円領域１つのみである。そのため、操作認識部２は、この領域を抽出する。
【００５６】
なお、独立した領域を識別する具体的な方法として、画像処理の分野で一般的に知られているラベリングという処理手法が利用できる。ラベリング処理の詳細については、例えば、以下の参考文献１に記載されているため、ここでの説明は省略する。
［参考文献１］
奈良先端科学技術大学院大学ＯｐｅｎＣＶプログラミングブック作成チーム著、「ＯｐｅｎＣＶプログラミングブック」、毎日コミュニケーションズ、２００７年９月、ｐ．２０１−２０４
【００５７】
続いて、操作認識部２は、識別された各領域の位置を計算する（ステップＳ５）。ここでは、操作認識部２は、各領域の位置として、領域の中心位置の座標を計算するものとする。そして、操作認識部２は、計算した位置座標（Ｘｉ，Ｙｉ）（ただし、ｉ＝１〜Ｎ；Ｎは識別された領域数。本例ではＮ＝１。）を、後続の処理のためにメモリ（図示せず）へ記憶させる（ステップＳ６）。
【００５８】
図８は、画像フレームから算出された差分画像の例を示す説明図である。なお、図８に例示する点線は、操作認識部２により算出された座標を示す。操作認識部２は、例えば、図８（ａ）に例示する差分画像から領域の位置を計算する。
【００５９】
続いて、操作認識部２は、画像フレームＦ２に続く画像フレームＦ３を検出部１３から受信する。具体的には、操作認識部２は、画像フレームＦ３を受信したか否かを判定する（ステップＳ７）。画像フレームＦ３を受信していない場合（ステップＳ７におけるＮ）、操作認識部２は、画像フレームを受信するステップＳ７の処理を繰り返す。一方、画像フレームＦ３を受け取った場合（ステップＳ７におけるＹ）、画像フレームＦ２と画像フレームＦ３との差分画像Ｄ２＝Ｆ３−Ｆ２を算出する（ステップＳ８）。ここで、図７（ｃ）に例示する時刻では、指によるタッチ操作がさらに進み、画像フレームｆ３の画像が検知されたとする。このとき、差分画像Ｄ２は、図８（ｂ）に例示するように、ドーナツ状の領域を含む画像になる。
【００６０】
操作認識部２は、ステップＳ４〜Ｓ５に示す差分画像Ｄ１の場合と同様、差分画像Ｄ２についても独立した領域の識別処理（ステップＳ９）、および、各領域の位置の計算処理を実行する（ステップＳ１０）。ここでは、位置座標（Ａｊ，Ｂｊ）（ただし、ｊ＝１〜Ｍ；Ｍは識別された領域数。本例ではＭ＝１。）が計算される。具体的には、操作認識部２は、図８（ｂ）に例示する点線で示される座標を計算する。
【００６１】
その後、操作認識部２は、座標（Ｘｉ，Ｙｉ）と座標（Ａｊ，Ｂｊ）とをそれぞれ比較する。そして、互いの距離が一定の閾値以下になる座標の組合せがあった場合、操作認識部２は、タッチ操作がなされたものと判定する（ステップＳ１１）。なお、一定の閾値として、例えば、１０ピクセルといった値を、予め実験的に求めておけばよい。以下、タッチ操作がなされたと操作認識部２が判定したことを、タッチ操作有りの判定と記す。
【００６２】
また、タッチ操作有りの判定がなされた場合、操作認識部２は、座標（Ｘｉ，Ｙｉ）または（Ａｊ，Ｂｊ）のいずれかを接触位置としてもよい。他にも、操作認識部２は、座標（Ｘｉ，Ｙｉ）と座標（Ａｊ，Ｂｊ）との平均値など、両座標により導出される値を接触位置としてもよい。
【００６３】
操作認識部２は、タッチ操作の判定結果、および、導出された接触位置を操作応答部１に出力する。具体的には、操作認識部２は、タッチ操作有りと判定した場合、塗布物の塗布操作などとは異なる操作であることを示す情報を、操作応答部１に出力する。なお、上記処理によれば、複数の独立した領域においてタッチ操作有りと判定することも可能である。この場合、操作認識部２が該当する複数の接触位置を操作応答部１に送信することで、複数のタッチ操作が同時になされた場合であっても、操作応答部１がそれぞれの接触位置を個別に把握することが可能になる。
【００６４】
なお、タッチ操作が行われていない場合、操作認識部２は、判定結果を操作応答部１に出力しなくてもよい。また、操作認識部２が出力する情報は、判定結果や接触位置など、タッチ操作に関する情報に限定されない。例えば、塗布物が塗布されている場合など、タッチ操作以外で接触物の接触を検出した場合、操作認識部２は、その接触物の接触状態を示す情報を操作応答部１に出力してもよい。タッチ操作以外による接触物の接触状態を表す情報として、より具体的には、検出部１３から受け取った画像情報や、受け取った画像情報を一部加工した画像情報が挙げられる。一部加工した画像情報としては、例えば、検出部１３から受け取った画像情報に対してタッチ操作があった位置の領域を背景色で塗りつぶした画像情報などが挙げられる。このような情報を送信することで、操作応答部１は、タッチ操作と塗布操作を区別して異なる処理を行うことが可能になる。
【００６５】
最後に、操作認識部２は、画像フレームＦ３を画像フレームＦ２に置き換えて記憶する。さらに、操作認識部２は、座標（Ａｊ，Ｂｊ）を座標（Ｘｉ，Ｙｉ）に置き換えて記憶する（ステップＳ１２）。その後、操作認識部２は、新たな画像フレームを受信するステップＳ７以降の処理を繰り返す。
【００６６】
なお、繰り返し処理を行うことにより、単一のタッチ操作に対し、タッチ操作有りの判定が複数回なされる可能性がある。そこで、操作認識部２は、一定時間（例えば、１００ｍｓ）の間における複数階のタッチ操作有りの判定を、単一のタッチ操作有りの判定にまとめることで、複数回のタッチ判定が行われることを回避できる。
【００６７】
このような方法に基づいてタッチ操作を認識する場合、例えば、塗布物１６のように恒常的に被接触体（被塗布体）に付着している物質からの散乱光は、差分画像上に現れない。したがって、このような塗布物１６がタッチ操作として認識されることを回避できる。また、塗布具１５により塗布物１６が塗布される過程においては、塗布物１６の接触面積が増加する。すなわち、塗布された時点の塗布物１６は、差分画像上に現れることになる。しかし、塗布物１６が塗布される位置は、塗布具１５の移動方向に変化するため、やはりタッチ操作として認識できることを回避できる。以下、これらの内容について、さらに説明する。
【００６８】
図９は、画像フレームと差分画像との関係例を示す説明図である。図９に示す例では、差分画像ｄ１は、画像フレームｆ７とｆ６との差分を表す画像であり、差分画像ｄ２は、画像フレームｆ８とｆ７との差分を表す画像である。
【００６９】
上記動作の説明と同様、塗布開始時において画像フレームＦ１が、図９（ａ）の画像フレームｆ６に例示するような真っ黒な画像であり、塗布開始直後において画像フレームＦ２が、図９（ｂ）の画像フレームｆ７に例示する画像であるものとする。このとき、差分画像Ｄ１は、図９（ｄ）に例示する差分画像ｄ１のような画像になる。また、差分画像ｄ１から抽出される領域の位置には、差分画像ｄ１において点線で示される位置が算出される。
【００７０】
その後、描画が進み、検出部１３が画像フレームＦ３として、図９（ｃ）に例示する画像フレームｆ８を検出したとする。このとき、差分画像Ｄ２は、図９（ｅ）に例示する差分画像ｄ２のような画像になる。また、差分画像ｄ２から抽出される領域の位置には、差分画像ｄ２において点線で示される位置が算出される。
【００７１】
このことから解るように、塗布物１６の塗布操作においては、描画に伴い塗布される塗布物１６の位置は塗布具１５の移動方向にシフトしていく。よって、移動したか否かを判定するための閾値を適切に設定することにより、塗布物１６が塗布される過程において、タッチ操作が検出されることを回避できる。
【００７２】
また、例えば、利用者が内部の塗りつぶされた楕円状の図形を描いたとする。この場合であっても、画像フレームを検出する間隔を適切に設定しておくで、検出部１３はその描画を線分として検出することが可能になる。そのため、操作認識部２が、このような描画処理をタッチ操作と判定することを回避できる。なお、画像フレームの検出間隔として、例えば、毎秒３０フレームと設定しておいてもよい。
【００７３】
さらに、塗布具１５を用いた描画処理と、タッチ操作とが同時に行われた場合には、タッチ操作がなされた位置においてのみタッチ操作有りの判定が行われる。このことは、上述の説明から明らかである。
【００７４】
以上のように、本実施形態によれば、検出部１３が、被接触体１１に対する接触物の接触部分を、時間の経過とともに検出する。そして、操作認識部２は、接触領域の面積が時間の経過とともに変化する場合、領域の位置の変化が予め定められた距離以内（すなわち、ほぼ一定の位置）である事象（タッチ操作）を認識する。さらに、操作認識部２は、接触領域の面積が時間の経過とともに変化する場合、領域の位置の変化が予め定められた距離を超えた事象（タッチする位置が移動する事象）も認識する。そして、検出された接触操作の内容がタッチ操作であると認識された場合、操作認識部２は、タッチ操作を示す情報であって、塗布物の塗布操作を示す情報とは異なる情報を、操作応答部１に出力する。そのため、被接触体に対する操作の認識精度を向上できる。
【００７５】
すなわち、本実施形態における操作認識装置を用いることにより、タッチ操作以外の原因により生じるセンサ入力が存在する場合であっても、タッチ操作の認識精度を向上できるため、タッチ操作を識別することが可能になる。
【００７６】
なお、上記処理では、画像差分を算出することで接触面積が増加する領域を抽出し、算出した差分の領域の位置を接触領域の位置とほぼ一定の事象として抽出している。すなわち、上記説明では、接触領域の位置を直接計算していない。しかし、上記処理は、実質的に、接触位置がほぼ一定で接触面積が増加している接触領域を抽出していることに等しいと言える。
【００７７】
例えば、差分画像を計算せず、各画像フレームに対してラベリング処理を行い、これにより得られる各領域に対して位置計算を行うことで、接触面積が変化しつつ接触位置がほぼ一定の領域を検出することは可能である。しかし、この場合、ラベリング処理により抽出される領域数が多くなり、ラベリング処理自体および位置計算処理の処理時間が増加してしまう。しかし、本実施形態では、差分画像を計算することにより、処理時間の増加を抑制することが可能になる。
【００７８】
また、上記説明では、タッチ操作に含まれる３つの過程である（１）「接触するフェーズ」、（２）「保持するフェーズ」、（３）「離すフェーズ」のうち、操作認識部２が、（１）に示す「接触するフェーズ」を検出し、このフェーズが検出された場合に、タッチ操作があったものと判断する動作を説明した。この応用として、操作認識部２が、「接触するフェーズ」の検出後、さらに（２）「保持するフェーズ」及び（３）「離すフェーズ」を検出し、その情報を操作応答部１に出力することも可能である。操作認識部２が（２）「保持するフェーズ」及び（３）「離すフェーズ」での接触を判定する方法としては、例えば、画像処理領域で一般的に知られている物体追跡の手法を使用すればよい。具体的には、操作認識部２は、「接触するフェーズ」を検出した場合に、接触位置における領域の追跡を開始し、追跡対象の領域が消えた場合に、離脱イベントの判定をすれば良い。なお、このような方法を使用する場合、接触が検出される位置と離脱が検出される位置は同じである必要はない。また、接触保持状態において、接触物が移動する軌跡情報（ドラッグ情報）を識別することも容易である。なお、物体追跡処理の詳細については、例えば、以下の参考文献２に記載されているため、ここでの説明は省略する。
［参考文献２］
奈良先端科学技術大学院大学ＯｐｅｎＣＶプログラミングブック作成チーム著、「ＯｐｅｎＣＶプログラミングブック」、毎日コミュニケーションズ、２００７年９月、ｐ．２１８−２３７
【００７９】
さらに、（３）「離すフェーズ」単体でタッチ操作を検出する方法として、操作認識部２は、ほぼ一定の位置において接触面積が時間と共に減少する領域を抽出する方法を使用してもよい。なお、接触面積が時間と共に減少する領域を抽出するには、（１）「接触するフェーズ」で計算された画像差分結果の符号を反転させればよい。
【００８０】
また、本実施形態では、被接触体１１に対する接触物の接触位置および接触面積を検出可能な装置として、ＦＴＩＲ方式の光学式タッチパネルを用いた例を挙げて説明した。ただし、接触位置および接触面積を検出する装置は、上記装置に限定されない。接触位置および接触面積を検出可能な装置であれば、他の装置を用いて本実施形態における操作認識装置を構成してもよい。
【００８１】
さらに、接触面積が増加し、位置がほぼ一定の接触領域か否かの判定を、異なる種類の操作認識装置を重ねて配置することにより行ってもよい。例えば、上記ＦＴＩＲ方式のタッチパネルと、静電容量方式のタッチパネルとを重ねて配置してもよい。静電容量方式のタッチパネルを重ねるのは、感度を調整することで、タッチパネル自身への接触はなくとも、近傍に指などが存在することが識別できるためである。このように配置することにより、ＦＴＩＲ方式のタッチパネルにより被接触体１１への塗布物の付着状態を検出する一方で、その被接触体１１へのタッチ操作を静電容量方式のタッチパネルのセンサにて検出することが可能になる
【００８２】
実施形態２．
次に、本発明による情報処理システムについて説明する。本発明における情報処理システムは、第１の実施形態で例示した操作認識装置を含んでおり、タッチ操作以外の原因により生じたセンサ入力を、タッチ操作とは別の入力情報として活用するシステムである。
【００８３】
図１０は、本発明による情報処理システムの一実施形態を示すブロック図である。なお、第１の実施形態で例示した操作認識装置と同様の構成については、図１と同一の符号を付し、説明を省略する。
【００８４】
本実施形態における情報処理システム２０は、被接触体１１と、光源部１２と、検出部１３と、操作認識部２に加え、表示部２１と、操作応答部１とを備えている。また、表示部２１は、スクリーン２２と、プロジェクタ２３とを含む。すなわち、本実施形態における情報処理システムは、第１の実施形態における操作認識装置１０に加え、スクリーン２２とプロジェクタ２３とを含む表示部２１、及び、操作応答部１を備えている。
【００８５】
操作認識装置（より具体的には、被接触体１１、光源部１２、検出部１３、および、操作認識部２）は、第１の実施形態で説明した通り、被接触体１１に対する接触物の接触を監視し、検出部１３が撮影した画像情報、またはこの画像情報を一部加工した画像情報を、タッチ操作に関する情報とともに操作応答部１へ出力する。
【００８６】
操作応答部１は、操作認識装置（より具体的には、操作認識部２）が認識した事象に基づいて、接触操作が検知された位置に応じた処理を行う。例えば、操作認識部２から、検出部１３が撮影した散乱光の画像やタッチ操作の有無及びタッチ操作が行われた位置の情報を受け取ると、操作応答部１は、各事象に基づき、接触位置に応じた表示処理を表示部２１に指示する。操作応答部１が指示する具体的な内容については後述する。なお、以下の説明では、接触物が接触する、接触物が被接触体から離れるなど、接触に関するイベントを表す情報のことを、イベント種別と記す。
【００８７】
操作応答部１は、操作認識部２と同様、一般的なパーソナルコンピュータにより実現される。より具体的には、操作応答部１は、プログラム（認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、パーソナルコンピュータやの記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、操作応答部１として動作してもよい。また、操作応答部１と操作認識部２とが、単一のハードウェア（例えば、パーソナルコンピュータ）で実現されていてもよい。
【００８８】
表示部２１は、操作応答部１の指示に応じた内容を表示する。スクリーン２２は、被接触体１１の背面に配置され、プロジェクタ２３は、操作応答部１の指示に応じて、散乱光の画像や、タッチ操作に応じたポインタ及びメニューなどをスクリーン２２の適切な位置に表示する。スクリーン２２の表示された内容は、透明平面板である被接触体１１を介して利用者に認識される。
【００８９】
なお、本実施形態では、表示部２１がスクリーン２２及びプロジェクタ２３を含む場合について説明するが、表示部２１の内容は、スクリーン２２及びプロジェクタ２３に限定されない。デジタル情報の表示が可能な表示装置であれば、表示部２１は、例えば、液晶ディスプレイやプラズマディスプレイ、電界放出ディスプレイなどのフラットパネルディスプレイであってもよい。
【００９０】
次に、本実施形態における情報処理システムの動作について説明する。以下の説明では、操作応答部１が、操作認識部２から画像情報とタッチ操作に関する情報のいずれか一方を受け取り、受け取った情報に基づいて処理を行う場合を例に説明する。ここで、画像情報として受け取る情報には、塗布物の塗布操作が行われることを示す情報も含まれる。
【００９１】
図１１は、操作応答部１が行う処理の例を示すフローチャートである。また、図１２は、被接触体１１に対する操作及び表示部２１に対する表示の例を示す説明図である。操作応答部１は、操作認識部２から画像情報とタッチ操作に関する情報のいずれか一方を受信する（ステップＳ２１）。受け取った情報が画像情報の場合（ステップＳ２１における「画像情報」）、操作応答部１は、この画像のサイズ（例えば６４０×４８０ピクセル）を表示部２１（より具体的には、スクリーン２２）のサイズ（例えば１０２４×７６８ピクセル）に合わせて拡大または縮小する。また、操作応答部１は、被接触体１１上で接触物の接触が検出された物理的位置を、表示部２１（より具体的には、スクリーン２２）上の位置と一致するように座標変換する（ステップＳ２２）。そして、操作応答部１は、拡大または縮小した画像の表示処理を表示部２１に指示する（ステップＳ２３）。ここで、操作応答部１は、画像の明暗を反転するなど、表現上の工夫を施してから表示処理を表示部２１に指示してもよい。その後、操作応答部１は、データ受信の内容を判断するステップ２１以降の処理を繰り返す。
【００９２】
なお、ステップＳ２２において、座標変換を行う際に必要な情報は、事前に操作認識装置（より具体的には、操作認識部２）と表示部２１との間でキャリブレーション処理を行うことで得ることができる。この方法については、一般的なタッチパネルで使用されている方法を用いればよい。
【００９３】
例えば、被接触体１１上に図１２（ａ）に例示する図形が塗布具１５を用いて描かれているものとする。操作応答部１は、操作認識部２からこの図形の画像を受信すると、表示部２１（より具体的には、スクリーン２２）上の位置に合わせて表示させる。その結果、塗布物１６により描かれた図形は、背面からライトアップされた状態になる。この際、背面からライトアップされる視覚的フィードバックは、描いた図形が確かにデジタイズされたことを利用者に伝える手掛かりになる。以上のような処理を行うことで、本発明の情報処理システムをデジタルホワイトボードのようなシステムとして利用することが出来る。
【００９４】
なお、このとき、操作応答部１は、塗布物１６などの接触物が接触している位置に対応するスクリーン２２上の位置を、他の表示位置とは異なる色で表示してもよく、また、他の表示位置とは異なる明度で表示してもよい。このようにすることで、タッチ操作とタッチ操作以外の接触を区別できる。
【００９５】
一方、ステップＳ２１において、操作応答部１が受け取った情報が、例えば、タッチ操作の有無およびその位置を表す情報のような、タッチ操作に関する情報の場合（ステップＳ２１における「タッチ情報」）、操作応答部１は、イベント種別（具体的には、接触イベントや離脱イベントなど）や接触を検知した位置に応じた適切な処理を実行する（ステップＳ２４）。操作応答部１は、例えば、タッチ操作が検出された位置へのポインタ表示処理や、メニュー表示処理、タッチ操作が検出された位置に表示されたアイコンなどのオブジェクトに対する選択処理などを実行してもよい。ただし、操作応答部１が行う処理は、これらの処理に限定されない。その後、操作応答部１は、データ受信の内容を判断するステップ２１以降の処理を繰り返す。
【００９６】
このように、操作応答部１は、タッチ操作が行われたと判断した場合、例えば、塗布物が塗布された場合とは異なる処理を行う。具体的には、操作応答部１は、タッチ操作が行われた場合と、塗布物が塗布された場合とで、視覚的に異なる内容の処理を行ってもよい。以下、タッチ操作に関する情報を受信した場合に操作応答部１が行う処理の具体例を、図１２を用いて説明する。
【００９７】
操作応答部１は、図１２（ａ）に例示する状態でタッチ操作に関する情報を受信すると、タッチ操作の検出された位置にメニューを表示する（図１２（ｂ）参照）。続いて、利用者が、タッチ操作した位置に表示されたメニューの中から保存コマンドを選択したとする（図１２（ｃ）参照。）。そして、操作認識部２が、図形左上の位置に対するタッチ操作を検知し、タッチ情報を操作応答部１に送信すると、操作応答部１は、その位置にポインタ表示するよう表示部２１に指示を行う（図１２（ｄ）参照）。さらに、図１２（ｄ）の状態から、操作認識部２が、図形右下の位置に対するタッチ操作を検知し、タッチ情報を操作応答部１に送信すると、操作応答部１は、タッチされた位置から矩形領域を規定するとともに、新たなメニューを表示部２１に表示させる（図１２（ｅ）参照）。この状態から、利用者がメニューの中からＯＫコマンドの位置にタッチ操作を行うと、操作応答部１は、そのコマンド（ＯＫコマンド）を実行する（図１２（ｆ）参照）。
【００９８】
以上、操作応答部１がタッチ操作に応じて実行する処理について説明した。ただし、操作応答部１がタッチ操作に関する情報に応じて実行する処理は、上記内容に限定されない。例えば、操作認識部２が、複数のタッチを同時に検出した場合やドラッグ状態を検出した場合、操作応答部１は、検出した状態に応じて適切な処理を行なえばよい。
【００９９】
また、上記説明では、操作応答部１が操作認識部２から受け取る情報が、画像情報とタッチ操作に関する情報のいずれか一方である場合について説明した。ただし、操作応答部１は、操作認識部２から画像情報とタッチ操作に関する情報とを同時に受信してもよい。この場合、受信した内容に応じて、それぞれの場合の処理を行えばよい。
【０１００】
以上のように、本実施形態によれば、操作認識部２がタッチ操作を識別可能なため、操作応答部１は、タッチ操作以外の原因により生じたセンサ入力を、タッチ操作とは別の入力情報として活用できる。その結果、多様なパターンの入力指示が行える情報処理装置（システム）が単一の操作認識装置で実現できる。
【０１０１】
すなわち、一般的な装置では、タッチ操作以外のセンサ入力を検知した場合、タッチ操作を識別することが困難であった。また、一般的な装置では、センサで感知可能なタッチ操作以外の情報を、タッチ操作とは別の入力情報として活用することも困難であった。しかし、本実施形態によれば、操作認識部２が、タッチ操作を識別し、識別した情報とともに操作以外の情報を操作応答部１に通知する。そのため、タッチ操作以外の原因により生じたセンサ入力を、タッチ操作とは別の入力情報として活用できる。
【０１０２】
次に、本発明の最小構成について説明する。図１３は、本発明による操作認識装置の最小構成の例を示すブロック図である。また、図１４は、本発明による情報処理システムの最小構成を示すブロック図である。本発明による操作認識装置は、操作者が接触させる接触物（例えば、利用者の指１４）または操作者により塗布される接触物（例えば、塗布物１６）によって接触される被接触体８０（例えば、被接触体１１）と、被接触体に対する接触物の接触位置及び接触領域（例えば、接触している部分）を時間の経過とともに（例えば、定常的に）検出する接触位置検出手段８１（例えば、検出部１３）と、接触領域の面積が時間の経過とともに増加又は減少する場合において、接触領域の位置を表す領域位置（例えば、領域の位置）の変化が予め定められた距離以内（例えば、ほぼ一定の位置）である事象を第１の事象（例えば、タッチ操作）と認識し、領域位置の変化がその距離を超えた（例えば、接触物が移動した）事象を第２の事象（例えば、塗布物１６の塗布操作）と認識する認識手段８２（例えば、操作認識部２）と、認識された事象を表す情報（例えば、タッチ操作の判定結果、判定の際用いられた画像情報）を他の装置（例えば、操作応答部１）に出力する事象出力手段８３とを備えている。
【０１０３】
事象出力手段８３は、第１の事象が認識された場合に、その第１の事象を示す情報（例えば、事象の認識結果や、検出部１３が検出した画像情報）であって、第２の事象とは異なる事象を表す情報（例えば、塗布物１６が塗布されている画像情報）を、他の装置に出力する。
【０１０４】
そのような構成により、被接触体に対する操作の認識精度を向上できる。具体的には、タッチ操作の認識精度を向上できる。
【０１０５】
また、接触位置検出手段８１が、接触物により散乱される光（例えば、散乱光、エバネッセント波）を測定することにより、被接触体に対する接触物の接触領域を検出してもよい。
【０１０６】
また、被接触体が、内部に光（例えば、赤外光）を導波可能な構造を有し、その被接触体の内部に対して光が入射され（例えば、光源部１２により光が入射され）、接触位置検出手段８１が、被接触体に対して接触物が接触することに伴い散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出してもよい。
【０１０７】
また、接触位置検出手段８１は、人体の一部（例えば、利用者の指１４）による接触を検知してもよく、被接触体に塗布可能な物質（例えば、塗布物１６）の接触を検知してもよい。
【０１０８】
また、事象出力手段８３は、第１の事象以外の事象による接触物の接触（例えば、接触物を接触させたまま移動処理や、塗布物の塗布状態）を検出した場合、その接触物の接触状態を示す情報を、他の装置に出力してもよい。このようにすることで、接触位置と接触が無かった位置とを区別する処理を行うことが可能になる。
【０１０９】
また、本発明による情報処理システムは、被接触体８０と、接触位置検出手段８１と、認識手段８２と、認識された事象に応じて、予め定められた応答を行う応答手段８４とを備えている。応答手段８４は、第１の事象（例えば、タッチ操作）が認識された場合に、その第１の事象に応じて定められた応答（例えば、ポインタ、メニュー表示）であって、第２の事象に応じて定められた応答（例えば、他の表示位置とは異なる色や明度で表示）とは異なる応答を行う。なお、被接触体８０、接触位置検出手段８１及び認識手段８２については、本発明による操作認識装置の構成と同様である。
【０１１０】
このような構成であっても、被接触体に対する操作の認識精度を向上できる。具体的には、タッチ操作の認識精度を向上できる。
【０１１１】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１１２】
（付記１）操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が当該距離を超えた事象を第２の事象と認識する認識手段と、認識された事象を表す情報を他の装置に出力する事象出力手段とを備え、前記事象出力手段は、前記第１の事象が認識された場合に、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力することを特徴とする操作認識装置。
【０１１３】
（付記２）接触位置検出手段は、接触物により散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記１記載の操作認識装置。
【０１１４】
（付記３）被接触体は、内部に光を導波可能な構造を有し、当該被接触体の内部に対して光が入射され、接触位置検出手段は、前記被接触体に対して接触物が接触することに伴い散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記１または付記２記載の操作認識装置。
【０１１５】
（付記４）接触位置検出手段は、人体の一部による接触を検知する付記１から付記３のうちのいずれか１つに記載の操作認識装置。
【０１１６】
（付記５）接触位置検出手段は、被接触体に塗布可能な物質の接触を検知する付記１から付記４のうちのいずれか１つに記載の操作認識装置。
【０１１７】
（付記６）事象出力手段は、第１の事象とは異なる事象による接触物の接触を検出した場合、当該接触物の接触状態を示す情報を、他の装置に出力する付記１から付記５のうちのいずれか１つに記載の操作認識装置。
【０１１８】
（付記７）操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識する認識手段と、認識された事象に応じて、予め定められた応答を行う応答手段とを備え、前記応答手段は、前記第１の事象が認識された場合に、当該第１の事象に応じて定められた応答であって、前記第２の事象に応じて定められた応答とは異なる応答を行うことを特徴とする情報処理システム。
【０１１９】
（付記８）接触位置検出手段は、接触物により散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記７記載の情報処理システム。
【０１２０】
（付記９）被接触体は、内部に光を導波可能な構造を有し、当該被接触体の内部に対して光が入射され、接触位置検出手段は、前記被接触体に対して接触物が接触することに伴い散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記７または付記８記載の情報処理システム。
【０１２１】
（付記１０）接触位置検出手段は、人体の一部による接触を検知する付記７から付記９のうちのいずれか１つに記載の情報処理システム。
【０１２２】
（付記１１）接触位置検出手段は、被接触体に塗布可能な物質の接触を検知する付記７から付記１０のうちのいずれか１項に記載の情報処理システム。
【０１２３】
（付記１２）応答手段は、認識された事象に応じた情報を被接触体の対応する位置に表示する表示手段を含み、前記応答手段は、第１の事象とは異なる事象による接触物の接触を検出した場合、接触物が接触した位置に対応する前記表示手段上の位置に対して、第１の事象に応じて定められた応答とは視覚的に異なる変化を生じさせる処理を行う付記７から付記１１のうちのいずれか１つに記載の情報処理システム。
【０１２４】
（付記１３）第１の事象に応じて定められた応答には、当該第１の事象が検出された接触位置に対応する表示手段の位置にポインタを表示する処理を含む付記７から付記１２のうちのいずれか１つに記載の情報処理システム。
【０１２５】
（付記１４）第１の事象に応じて定められた応答には、当該第１の事象が検出された接触位置に対応する表示手段の位置にメニューを表示する処理を含む付記７から付記１３のうちのいずれか１つに記載の情報処理システム。
【０１２６】
（付記１５）第１の事象に応じて定められた応答には、当該第１の事象が検出された接触位置に対応する表示手段の位置に表示されたオブジェクトを選択したことを示す処理を含む付記７から付記１４のうちのいずれか１つに記載の情報処理システム。
【０１２７】
（付記１６）応答手段は、接触物が接触した位置に対応する表示手段上の位置を、他の表示位置とは異なる色で表示することにより、第１の事象に応じて定められた応答とは視覚的に異なる変化を生じさせる付記１２から付記１５のうちのいずれか１つに記載の情報処理システム。
【０１２８】
（付記１７）応答手段は、接触物が接触した位置に対応する表示手段上の位置を、他の表示位置とは異なる明度で表示することにより、第１の事象に応じて定められた応答とは視覚的に異なる変化を生じさせる付記１２から付記１６のうちのいずれか１つに記載の情報処理システム。
【０１２９】
（付記１８）操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、当該接触物が接触する接触位置及び当該接触物の接触領域を時間の経過とともに検出し、前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識し、認識された事象を表す情報を他の装置に出力し、前記事象を表す情報を他の装置に出力する際、前記第１の事象が認識された場合には、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力することを特徴とする操作認識方法。
【０１３０】
（付記１９）接触物により散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記１８記載の操作認識方法。
【０１３１】
（付記２０）操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、当該接触物が接触する接触位置及び当該接触物の接触領域を時間の経過とともに検出し、前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識し、認識された事象に応じて、予め定められた応答を行い、前記応答を行う際、前記第１の事象が認識された場合には、当該第１の事象に応じて定められた応答であって、前記第２の事象に応じて定められた応答とは異なる応答を行うことを特徴とする情報処理方法。
【０１３２】
（付記２１）接触物により散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する付記２０記載の操作認識方法。
【０１３３】
（付記２２）操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体を備えたコンピュータに適用される操作認識プログラムであって、前記コンピュータに、前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出処理、前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識する認識処理、および、認識された事象を表す情報を他の装置に出力する事象出力処理を実行させ、前記事象出力処理で、前記第１の事象が認識された場合には、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力させるための操作認識プログラム。
【０１３４】
（付記２３）接触位置検出処理で、接触物により散乱される光を測定させることにより、被接触体に対する接触物の接触領域を検出させる付記２２記載の操作認識プログラム。
【産業上の利用可能性】
【０１３５】
本発明は、タッチ操作を認識可能な操作認識装置に好適に適用される。
【符号の説明】
【０１３６】
１ 操作応答部
２ 操作認識部
１０ 操作認識装置
１１ 被接触体
１２ 光源部
１３ 検出部
１４ 利用者の指
１５ 塗布具
１６ 塗布物
２０ 情報処理システム
２１ 表示部
２２ スクリーン
２３ プロジェクタ
ｆ１〜ｆ７ 画像フレーム
ｄ１，ｄ２ 差分画像
【特許請求の範囲】
【請求項１】
操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、
前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、
前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が当該距離を超えた事象を第２の事象と認識する認識手段と、
認識された事象を表す情報を他の装置に出力する事象出力手段とを備え、
前記事象出力手段は、前記第１の事象が認識された場合に、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力する
ことを特徴とする操作認識装置。
【請求項２】
接触位置検出手段は、接触物により散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する
請求項１記載の操作認識装置。
【請求項３】
被接触体は、内部に光を導波可能な構造を有し、当該被接触体の内部に対して光が入射され、
接触位置検出手段は、前記被接触体に対して接触物が接触することに伴い散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する
請求項１または請求項２記載の操作認識装置。
【請求項４】
接触位置検出手段は、人体の一部による接触を検知する
請求項１から請求項３のうちのいずれか１項に記載の操作認識装置。
【請求項５】
接触位置検出手段は、被接触体に塗布可能な物質の接触を検知する
請求項１から請求項４のうちのいずれか１項に記載の操作認識装置。
【請求項６】
事象出力手段は、第１の事象とは異なる事象による接触物の接触を検出した場合、当該接触物の接触状態を示す情報を、他の装置に出力する
請求項１から請求項５のうちのいずれか１項に記載の操作認識装置。
【請求項７】
操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、
前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、
前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識する認識手段と、
認識された事象に応じて、予め定められた応答を行う応答手段とを備え、
前記応答手段は、前記第１の事象が認識された場合に、当該第１の事象に応じて定められた応答であって、前記第２の事象に応じて定められた応答とは異なる応答を行う
ことを特徴とする情報処理システム。
【請求項８】
操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、当該接触物が接触する接触位置及び当該接触物の接触領域を時間の経過とともに検出し、
前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識し、
認識された事象を表す情報を他の装置に出力し、
前記事象を表す情報を他の装置に出力する際、前記第１の事象が認識された場合には、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力する
ことを特徴とする操作認識方法。
【請求項９】
操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、当該接触物が接触する接触位置及び当該接触物の接触領域を時間の経過とともに検出し、
前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識し、
認識された事象に応じて、予め定められた応答を行い、
前記応答を行う際、前記第１の事象が認識された場合には、当該第１の事象に応じて定められた応答であって、前記第２の事象に応じて定められた応答とは異なる応答を行う
ことを特徴とする情報処理方法。
【請求項１０】
操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体を備えたコンピュータに適用される操作認識プログラムであって、
前記コンピュータに、
前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出処理、
前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識する認識処理、および、
認識された事象を表す情報を他の装置に出力する事象出力処理を実行させ、
前記事象出力処理で、前記第１の事象が認識された場合には、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力させる
ための操作認識プログラム。
【請求項１】
操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、
前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、
前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が当該距離を超えた事象を第２の事象と認識する認識手段と、
認識された事象を表す情報を他の装置に出力する事象出力手段とを備え、
前記事象出力手段は、前記第１の事象が認識された場合に、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力する
ことを特徴とする操作認識装置。
【請求項２】
接触位置検出手段は、接触物により散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する
請求項１記載の操作認識装置。
【請求項３】
被接触体は、内部に光を導波可能な構造を有し、当該被接触体の内部に対して光が入射され、
接触位置検出手段は、前記被接触体に対して接触物が接触することに伴い散乱される光を測定することにより、被接触体に対する接触物の接触領域を検出する
請求項１または請求項２記載の操作認識装置。
【請求項４】
接触位置検出手段は、人体の一部による接触を検知する
請求項１から請求項３のうちのいずれか１項に記載の操作認識装置。
【請求項５】
接触位置検出手段は、被接触体に塗布可能な物質の接触を検知する
請求項１から請求項４のうちのいずれか１項に記載の操作認識装置。
【請求項６】
事象出力手段は、第１の事象とは異なる事象による接触物の接触を検出した場合、当該接触物の接触状態を示す情報を、他の装置に出力する
請求項１から請求項５のうちのいずれか１項に記載の操作認識装置。
【請求項７】
操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体と、
前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出手段と、
前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識する認識手段と、
認識された事象に応じて、予め定められた応答を行う応答手段とを備え、
前記応答手段は、前記第１の事象が認識された場合に、当該第１の事象に応じて定められた応答であって、前記第２の事象に応じて定められた応答とは異なる応答を行う
ことを特徴とする情報処理システム。
【請求項８】
操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、当該接触物が接触する接触位置及び当該接触物の接触領域を時間の経過とともに検出し、
前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識し、
認識された事象を表す情報を他の装置に出力し、
前記事象を表す情報を他の装置に出力する際、前記第１の事象が認識された場合には、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力する
ことを特徴とする操作認識方法。
【請求項９】
操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体に対し、当該接触物が接触する接触位置及び当該接触物の接触領域を時間の経過とともに検出し、
前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識し、
認識された事象に応じて、予め定められた応答を行い、
前記応答を行う際、前記第１の事象が認識された場合には、当該第１の事象に応じて定められた応答であって、前記第２の事象に応じて定められた応答とは異なる応答を行う
ことを特徴とする情報処理方法。
【請求項１０】
操作者が接触させる接触物または操作者により塗布される接触物によって接触される被接触体を備えたコンピュータに適用される操作認識プログラムであって、
前記コンピュータに、
前記被接触体に対する接触物の接触位置及び接触領域を時間の経過とともに検出する接触位置検出処理、
前記接触領域の面積が時間の経過とともに増加又は減少する場合において、前記接触領域の位置を表す領域位置の変化が予め定められた距離以内である事象を第１の事象と認識し、前記領域位置の変化が前記距離を超えた事象を第２の事象と認識する認識処理、および、
認識された事象を表す情報を他の装置に出力する事象出力処理を実行させ、
前記事象出力処理で、前記第１の事象が認識された場合には、当該第１の事象を示す情報であって、前記第２の事象を示す情報とは異なる情報を、他の装置に出力させる
ための操作認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−２３７９６２（Ｐ２０１１−２３７９６２Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０８００９（Ｐ２０１０−１０８００９）
【出願日】平成２２年５月１０日（２０１０．５．１０）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１０日（２０１０．５．１０）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]