入力種別識別システム、入力種別識別方法およびプログラム
【課題】タッチディスプレイ環境において、特段の操作を要することなくポインティング自体によって、何によってポインティングされたかを識別する技術を提供する。
【解決手段】入力種別識別システムを搭載した装置１は、ユーザによる入力として人体の一部又は物によって表示部８の表示画面に接触したときの前記表示画面上の接触位置を示す画像を取得する画像生成部３と、前記表示画面に接触した人体の一部又は物の種類を示す入力種別毎に、前記画像上の前記接触位置に係る特徴である輝度値の閾値を記憶する記憶部４と、前記画像生成部３によって取得された前記画像上の前記接触位置に係る前記輝度値と、前記記憶部に記憶されている前記閾値とに基づいて、前記接触位置における前記入力種別を識別する入力種別識別部を含む演算部６とを備える。
【解決手段】入力種別識別システムを搭載した装置１は、ユーザによる入力として人体の一部又は物によって表示部８の表示画面に接触したときの前記表示画面上の接触位置を示す画像を取得する画像生成部３と、前記表示画面に接触した人体の一部又は物の種類を示す入力種別毎に、前記画像上の前記接触位置に係る特徴である輝度値の閾値を記憶する記憶部４と、前記画像生成部３によって取得された前記画像上の前記接触位置に係る前記輝度値と、前記記憶部に記憶されている前記閾値とに基づいて、前記接触位置における前記入力種別を識別する入力種別識別部を含む演算部６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力種別識別システム、入力種別識別方法およびプログラムに関する。
【背景技術】
【０００２】
従来、ＦＴＩＲ（Frustrated total internal reflection）方式を用いたマルチタッチディスプレイ環境において、ディスプレイ画面の接触によるユーザの指示の入力を認識する技術、即ちポインティングを認識する技術であるポインティング認識技術は、例えば赤外線などの照射光が、ディスプレイを形成する例えばアクリル板などのポインティング板の内部にて全反射する性質を利用している。具体的には、ポインティング認識技術は、ポインティング板の側面から照射された光が、ポインティングがされていないときはポインティング板の内部にて全反射してポインティング板の外部に漏れないのに対し、ポインティングがされたときには当該ポインティング位置にてポインティング板の外部に漏れるという性質を利用している。
【０００３】
また、上述のようなマルチタッチディスプレイ環境において、複数の指によるポインティングを認識、トラッキングする方法が提案されている（例えば、特許文献１参照）。特許文献１には、ポインティングに係る指が親指であることを識別する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９３８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、現在のポインティング認識技術では、指によるポインティングと指以外の物（例えば、ペン）によるポインティングとを、当該ポインティングによって識別することができないという問題がある。現在のポインティングの認識技術は、指によるポインティング及び指以外の物によるポインティングの何れの場合も、ポインティング板上においてポインティングによって白色の閉領域の形状として特定するため、両者を区別する術がないからである。
従って、ユーザは、指によるポインティングから指以外の物によるポインティングに変更しようとするとき、又は、逆に指以外の物によるポインティングから指によるポインティングに変更しようとするときは、入力モード（例えば、指タッチモード／ペンモード）の切替操作などの特段の操作を明示的に行わなければならない。
【０００６】
本発明は、上述した課題に鑑みてなされたものであって、タッチディスプレイ環境において、特段の操作を要することなくポインティング自体によって、何によってポインティングされたかを識別する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明の一態様である入力種別識別システムは、ユーザによる入力として人体の一部又は物によって表示画面に接触したときの前記表示画面上の接触位置を示す画像を取得する画像取得部と、前記表示画面に接触した人体の一部又は物の種類を示す入力種別毎に、前記画像上の前記接触位置に係る特徴である輝度値の閾値を記憶する記憶部と、前記画像取得部によって取得された前記画像上の前記接触位置に係る前記輝度値と、前記記憶部に記憶されている前記閾値とに基づいて、前記接触位置における前記入力種別を識別する入力種別識別部とを備えることを特徴とする。
【０００８】
上記入力種別識別システムにおいて、前記記憶部は、前記輝度値を含む前記接触位置に係る複数の特徴の閾値を前記入力種別毎に記憶し、前記入力種別識別部は、前記画像取得部によって取得された前記画像上の前記接触位置に係る複数の特徴を示す値と、前記記憶部に記憶されている前記複数の特徴の閾値とに基づいて、前記接触位置における前記入力種別を識別するようにしてもよい。
【０００９】
上記入力種別識別システムにおいて、前記入力種別識別部は、前記接触位置が複数の前記入力種別に識別された場合に優先させる前記入力種別の優先順位を予め決定し、前記接触位置が複数の前記入力種別に識別されたときは前記優先順位に従って識別結果として出力する一の前記入力種別を決定するようにしてもよい。
【００１０】
上記入力種別識別システムにおいて、前記閾値は、前記接触位置が前記表示画面上に停止しているときに用いる停止時用の閾値と、前記接触位置が前記表示画面上を移動しているときに用いる移動時用の閾値とが存在し、前記入力種別識別部は、前記表示画面上において前記接触位置が停止しているか移動しているかを判断し、前記接触位置が停止していると判断した場合した場合、停止していると判断した前記接触位置に係る特徴を示す値と前記停止時用の閾値とに基づいて、前記接触位置における前記入力種別を識別し、前記接触位置が移動していると判断した場合した場合、移動していると判断した前記接触位置に係る特徴を示す値と前記移動時用の閾値とに基づいて、前記接触位置における前記入力種別を識別するようにしてもよい。
【００１１】
上記入力種別識別システムにおいて、前記入力種別識別部は、一の前記接触位置における前記入力種別の識別結果を得た後に当該接触位置が移動していると判断したときは、当該識別結果に応じた前記移動時用の閾値を生成するとともに、移動していると判断した当該接触位置に係る特徴を示す値と、前記生成した前記移動時用の閾値に基づいて、当該接触位置における前記入力種別を識別するようにしてもよい。
【００１２】
上記問題を解決するために、本発明の他の態様である入力種別識別方法は、ユーザによる入力として表示画面に接触した人体の一部又は物の種類を示す入力種別を識別する入力種別識別装置における入力種別識別方法であって、前記入力種別識別装置の画像取得部が、人体の一部又は物による前記表示画面上の接触位置を示す画像を取得し、前記入力種別識別装置の入力種別識別部が、前記画像取得部によって取得された前記画像上の前記接触位置の輝度値と、前記入力種別毎に予め記憶されている前記輝度値の閾値とに基づいて、前記接触位置における前記入力種別を識別することを特徴とする。
【００１３】
上記問題を解決するために、本発明の他の態様であるプログラムは、ユーザによる入力として表示画面に接触した人体の一部又は物の種類を示す入力種別を識別する入力種別識別装置のコンピュータに、人体の一部又は物による前記表示画面上の接触位置を示す画像を取得する画像取得ステップと、前記画像取得ステップによって取得された前記画像上の前記接触位置の輝度値と、前記入力種別毎に予め記憶されている前記輝度値の閾値とに基づいて、前記接触位置における前記入力種別を識別する入力種別取得ステップとを実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、タッチディスプレイ環境において、特段の操作を要することなくポインティング自体によって、何によってポインティングされたかを識別することができる。また、ポインティングに用いるもの（指、ペンなど）の種類（以下、「入力種別」と称する）と入力種別毎に実行させる所望の処理とを予め対応付けておけば、ポインティングしたときに識別される入力種別に応じた所望の処理を自動的に実行させることができる。即ち、特段の操作を要することなくポインティング自体によって入力種別に応じた所望の処理を実行させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態による入力種別識別システムを搭載した装置１の構成、及び、本発明の第２の実施形態による入力種別識別システムを搭載した装置２の構成を示すブロック図である。
【図２】装置１の演算部６の機能ブロック図の一例である。
【図３】入力種別識別処理のイメージを示す模式図である。
【図４】装置１の演算部６又は装置２の演算部７を説明するための説明図である。
【図５】装置１における入力種別識別処理の動作例を示すフローチャートである。
【図６】装置１における入力種別識別処理の動作例を示すフローチャートである。
【図７】装置２の演算部７の機能ブロック図の一例である。
【図８】入力種別識別処理のイメージを示す模式図である。
【図９】装置２における入力種別識別処理の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１（ａ）は、本発明の第１の実施形態による入力種別識別システムを搭載した装置１の構成を示すブロック図である。装置１は、図１（ａ）に示すように、画像生成部３（本発明の画像取得部に相当）、記憶部４、演算部６及び表示部８を備える。
【００１７】
表示部８は、人体の一部又は物による接触を受け付けるタッチディスプレイである。上記人体の一部は例えば指、上記物は例えばペンである。画像生成部３は、カメラユニットであって、ポインティング認識に供する画像を生成する。ポインティング認識に供する画像とは、例えば、ポインティング板の外部に漏れる光を捉えた画像であって、ユーザによる入力として人体の一部又は物によって表示画面に接触したときの前記表示画面上の接触位置を示す画像である。画像生成部３は、上記画像として、２次元上に配列された濃淡画像データ若しくは２値画像データ（以下、単に濃淡画像という）を生成する。
【００１８】
記憶部４は、メモリ、ハードディスクなどであって、画像生成部３によって撮像された画像、演算部６によって読み書きされる種々の情報を記憶する。演算部６によって読み書きされる種々の情報の一例は、閾値情報、閉領域集合、仮のポインティング集合、ポインティング集合である。演算部６は、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）などであって、後述する種々の処理を実行する。表示部８は、マルチタッチディスプレイである。
【００１９】
図２は、装置１の演算部６の機能ブロック図の一例である。図３は、入力種別識別処理のイメージを示す模式図である。図４は、装置１の演算部６又は装置２（後述）の演算部７を説明するための説明図である。なお、図２において、説明の便宜上、菱形にて主要な情報を示した。また、図３において、画像内の注釈「タッチ」は指によるポインティングを意味し、注釈「ペン」はペンによるポインティングを意味する。
【００２０】
演算部６は、図２に示すように、２値化・エッジ処理部３０、閉領域抽出部４０（本発明の入力種別識別部に相当）、及び、入力種別判定部５０（本発明の入力種別識別部に相当）を備える。閉領域抽出部４０は、閉領域判定部４２、ノイズ除去部４４及び閉領域特徴付与部４６を備える。入力種別判定部５０は、入力種別ソート部５２、閾値判定部５４、及び、論理積計算部５６を備える。
【００２１】
２値化・エッジ処理部３０は、画像生成部３によって生成された濃淡画像に対し細線化処理、エッジ処理（例えばラプラシアンフィルタ等の既知のエッジ抽出処理）を施して、濃淡画像上の全ての対象図形の輪郭を抽出する。なお、対象図形とは、濃淡画像上において、ポインティングによって生じた図形、何らかのノイズによって生じた図形である。
【００２２】
閉領域抽出部４０及び入力種別判定部５０は、濃淡画像上のポインティングによって生じた閉領域に係る特徴の値と、記憶部４に記憶されている閾値情報とに基づいて、当該閉領域における入力種別を識別する。以下、詳細に説明する。
【００２３】
閉領域判定部４２は、ラベリング処理等の既知の技術を用いて、２値化・エッジ処理部３０によって抽出された各輪郭が閉領域であるか否かを判定する。換言すれば、閉領域判定部４２は、閉領域である輪郭を抽出した閉領域抽出画像を生成する（図３参照）。なお、閉領域判定部４２は、各閉領域を規定する座標情報を記憶部４に一時記憶してもよい。
【００２４】
ノイズ除去部４４は、閉領域判定部４２によって判定された各閉領域について、領域面積を算出し、所定値以下の領域面積であった閉領域は、ポインティングによって生じた閉領域ではなくノイズによって生じた閉領域であると判定する。ノイズ除去部４４は、ノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにする。換言すれば、ノイズ除去部４４は、指又はペンによる表示部８の接触位置を示す閉領域のみを以降の処理において取り扱うようにするために、フィルタリング処理として、指又はペンによる表示部８の接触位置を示す閉領域に該当しないと判定した閉領域を除去する（図３参照）。
【００２５】
つまり、閉領域判定部４２及びノイズ除去部４４は、濃淡画像全体からポインティングによって生じた閉領域を探索する。また、２値化・エッジ処理部３０は、閉領域判定部４２及びノイズ除去部４４による上記探索の前処理として、濃淡画像上の全ての対象図形の輪郭を抽出する。
【００２６】
なお、ノイズ除去部４４において、ノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにする方法は、種々の方法が考えられる。例えば、ノイズ除去部４４は、ノイズによって生じたものであると判定した閉領域を背景色（例えば黒色）に塗り潰すことによって、ノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにしてもよい。
【００２７】
また例えば、ノイズ除去部４４は、既に、閉領域判定部４２が各閉領域を規定する座標情報を記憶部４に一時記憶している場合には、ノイズによって生じたものであると判定した閉領域を規定する座標情報のみを削除することによって、ノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにしてもよい。なお、ノイズ除去部４４は、閉領域判定部４２が各閉領域を規定する座標情報を記憶部４に一時記憶していない場合には、以下のようにして、ノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにしてもよい。即ち、ノイズ除去部４４は、ノイズによって生じたものであると判定した閉領域以外の閉領域、即ちポインティングによって生じた閉領域を規定する座標情報を記憶部４に一時記憶する。一方、ノイズ除去部４４は、ノイズによって生じたものであると判定した閉領域を規定する座標情報を記憶部４に一時記憶しない。
【００２８】
閉領域特徴付与部４６は、各閉領域の特徴を抽出する。つまり、閉領域特徴付与部４６は、指又はペンによる表示部８の接触位置の特徴を示す値である各閉領域の特徴量を取得する。具体的には、閉領域特徴付与部４６は、各閉領域の特徴量として、各閉領域内の輝度情報、各閉領域内の領域面積情報を取得する。
【００２９】
また、閉領域特徴付与部４６は、閉領域1つひとつ対応する要素ωを格納する閉領域集合を生成し、記憶部４に記憶する。より詳細には、閉領域特徴付与部４６は、各要素ωに対して、各閉領域を規定する座標情報、各閉領域の特徴である輝度情報、領域面積情報を付与し、座標情報、輝度情報、領域面積情報が付与された要素ωを格納する閉領域集合を生成する。つまり、閉領域特徴付与部４６は、下記式（１）に示すような、各要素ωが座標情報、輝度情報、領域面積情報を保持するｎ個の要素ωを格納する閉領域集合Ωを生成する。
【００３０】
Ω＝｛ω１，・・・，ωｎ｝ … （１）
【００３１】
図４（ａ）は、閉領域集合Ωに格納された各要素ωが保持する情報の一例である。図４（ａ）に示す閉領域集合Ωは、要素ω０及び要素ω１を格納している。要素ω０は、ある閉領域に関する情報として、当該閉領域の座標情報、輝度ρ「１５６」、領域面積Ｓ「２３」を保持し、要素ω１は、他の閉領域に関する情報として、当該閉領域の座標情報、輝度ρ「２２０」、領域面積Ｓ「７０」を保持している。なお、輝度ρは、特徴ＩＤ「ｊ＝０」によって識別され、領域面積Ｓは特徴ＩＤ「ｊ＝１」によって識別される。
【００３２】
入力種別ソート部５２は、入力種別毎に設定された各特徴の閾値情報に基づいて、特徴毎に、各入力種別を閾値の降順にソートする。上記閾値情報は、閉領域集合Ωに格納された各要素ωの入力種別を閾値判定するための情報であって、入力種別毎に、閾値判定に係る特徴毎の値の範囲が設定された情報である。図４（ｂ）は、上記閾値情報の一例である。図４（ｂ）に示す閾値情報は、入力種別「指」を識別する入力種別ＩＤ「ｉ＝０」に対応付けて輝度ρの閾値「３０≦ρ≦２００」及び領域面積Ｓの閾値「１０≦Ｓ≦３０」を保持し、入力種別「ペン」を識別する入力種別ＩＤ「ｉ＝１」に対応付けて輝度ρの閾値「２００≦ρ≦２２５」及び領域面積Ｓの閾値「３０≦Ｓ≦６０」を保持している。なお、上記閾値情報は、記憶部４に記憶されている。
【００３３】
例えば、図４（ｂ）に示す閾値情報によれば、入力種別ソート部５２は、入力種別「ペン」の輝度ρの閾値が２００≦ρ≦２２５、入力種別「指」の輝度ρの閾値が３０≦ρ≦２００であるため、輝度ρについて、入力種別「ペン」、入力種別「指」の順にソートする。これにより、輝度ρによる閾値判定（以下、「輝度判定」とも称する）は、ペン、指の順に行われる。同様に、入力種別ソート部５２は、入力種別「ペン」の領域面積Ｓの閾値が３０≦Ｓ≦６０、入力種別「指」の領域面積Ｓの閾値が１０≦ρ≦３０であるため、領域面積Ｓについて、入力種別「ペン」、入力種別「指」の順にソートする。これにより、領域面積Ｓによる閾値判定（以下、「領域面積判定」とも称する）は、ペン、指の順に行われる。換言すれば、入力種別ソート部５２は、特徴毎に、閾値判定を行う入力種別の順序を決定する。
【００３４】
閾値判定部５４は、閉領域集合Ωに格納された各要素ωの入力種別を判定する。具体的には、閾値判定部５４は、入力種別ソート部５２によるソート結果の順序に従って、即ち入力種別ソート部５２によって決定された特徴毎の入力種別の順序に従って、各要素ωの入力種別を閾値判定する。例えば、図４（ｂ）に示す閾値情報が記憶部４に記憶されている場合、閾値判定部５４は、入力種別ソート部５２によるソート結果に基づいて、輝度判定、領域面積判定ともに、入力種別「ペン」の閾値判定（以下、「ペン判定」とも称する）、入力種別「指」の閾値判定（以下、「指判定」とも称する）の順に行う。
【００３５】
閾値判定部５４は、ある要素ωについて、ある特徴ｊのある入力種別ｉの閾値判定をして、判定結果が真であったときは、当該要素ωＸを入力種別ｉ、特徴ｊに係る仮のポインティング集合Ωｉ，ｊに格納する要素とする。換言すれば、閾値判定部５４は、特徴ｊ毎、入力種別ｉ毎に閾値判定して、下記式（２）に示すような、入力種別ｉ毎、特徴ｊ毎の仮のポインティング集合Ωｉ，ｊを生成し、記憶部４に記憶する。
【００３６】
Ωｉ，ｊ＝｛ω１，・・・，ωｌ｝ … （２）
【００３７】
例えば、記憶部４に、図４（ａ）に示す閉領域集合Ω、及び、図４（ｂ）に示す閾値情報が記憶されている場合、閾値判定部５４は、輝度判定（ｊ＝０）に基づくペン判定（ｉ＝１）において、入力種別「ペン」の輝度ρの閾値「２００≦ρ≦２２５」に、輝度ρ「１５６」である要素ω０は含まれず、輝度ρ「２２０」である要素ω１は含まれるため、下記式（３）に示すような、要素ω１のみを格納した仮のポインティング集合Ω１，０を生成する。
【００３８】
Ω１，０＝｛ω１｝ … （３）
【００３９】
また、閾値判定部５４は、輝度判定（ｊ＝０）に基づく指判定（ｉ＝０）において、入力種別「指」の輝度ρの閾値「３０≦ρ≦２００」に、輝度ρ「１５６」である要素ω０は含まれ、輝度ρ「２２０」である要素ω１は含まれないため、下記式（４）に示すような、要素ω０のみを格納した仮のポインティング集合Ω０，０を生成する。
【００４０】
Ω０，０＝｛ω０｝ … （４）
【００４１】
また、閾値判定部５４は、領域面積判定（ｊ＝１）に基づくペン判定（ｉ＝１）において、入力種別「ペン」の領域面積Ｓの閾値「３０≦ρ≦６０」に、領域面積Ｓ「２３」である要素ω０は含まれず、領域面積Ｓ「７０」である要素ω１も含まれないため、下記式（５）に示すような、空集合φである仮のポインティング集合Ω１，１を生成する。
【００４２】
Ω１，１＝φ … （５）
【００４３】
また、閾値判定部５４は、領域面積判定（ｊ＝１）に基づく指判定（ｉ＝０）において、入力種別「指」の領域面積Ｓの閾値「１０≦ρ≦３０」に、領域面積Ｓ「２３」である要素ω０は含まれ、領域面積Ｓ「７０」である要素ω１は含まれないため、下記式（６）に示すような、要素ω０のみを格納した仮のポインティング集合Ω０，１を生成する。
【００４４】
Ω０，１＝｛ω０｝ … （６）
【００４５】
なお、各特徴において、順次行う入力種別の閾値判定は、後に行う閾値判定を優先する。換言すれば、入力種別ソート部５２は、要素ωが複数の入力種別に識別された場合に優先させる入力種別の優先順位を予め決定し、閾値判定部５４は、要素ωが複数の入力種別に識別されたときは優先順位に従って識別結果として出力する入力種別を決定する。本実施例の場合、入力種別ソート部５２は各入力種別を閾値の降順にソートするため、閾値が最小である入力種別を優先する。
【００４６】
具体的には、閾値判定部５４は、既に行った一の入力種別の閾値判定において真となったために当該一の入力種別の閾値判定において作成した仮のポインティング集合Ωｉ，ｊに既に格納されている要素ωが、今回行った他の入力種別の閾値判定においても真となった場合には、当該一の入力種別の閾値判定において作成した仮のポインティング集合Ωｉ，ｊから当該要素ωを削除し、今回行った他の入力種別の閾値判定において作成する他の仮のポインティング集合Ωｉ，ｊに当該要素ωを格納する。
【００４７】
例えば、図４（ｂ）において、ペン（ｉ＝１）に対応する領域面積Ｓ（ｊ＝１）の閾値が、「３０≦Ｓ≦６０」ではなく「２０≦Ｓ≦６０」であると仮定した場合、閾値判定部５４は、領域面積判定（ｊ＝１）に基づくペン判定（ｉ＝１）において、入力種別「ペン」の領域面積Ｓの閾値「２０≦ρ≦６０」に、領域面積Ｓ「２３」である要素ω０は含まれ、領域面積Ｓ「７０」である要素ω１は含まれないため、下記式（７）に示すような、要素ω０のみを格納した仮のポインティング集合Ω１，１を生成することになる。
【００４８】
Ω１，１＝｛ω０｝ … （７）
【００４９】
続いて、閾値判定部５４は、領域面積判定（ｊ＝１）に基づく指判定（ｉ＝０）において、入力種別「指」の領域面積Ｓの閾値「１０≦ρ≦３０」に、領域面積Ｓ「２３」である要素ω０は含まれ、領域面積Ｓ「７０」である要素ω１は含まれないため、上記式（７）に示す仮のポインティング集合Ω１，１に格納されている要素ω０を削除し、上記式（５）に示すような仮のポインティング集合Ω１，１に変更するとともに、上記式（６）に示すような、要素ω０のみを格納した仮のポインティング集合Ω０，１を生成する。
【００５０】
論理積計算部５６は、閾値判定部５４によって生成された入力種別ｉ毎、特徴ｊ毎の仮のポインティング集合Ωｉ，ｊに基づいて、入力種別ｉ毎のポインティング集合Ωｉを生成し、記憶部４に記憶する。より詳細には、論理積計算部５６は、ある入力種別ｉに関係する全ての仮のポインティング集合Ωｉ，ｊの論理積を算出し、当該入力種別ｉに係るポインティング集合Ωｉを生成する。即ち、論理積計算部５６は、入力種別ｉ毎に、下記式（８）の論理積を計算し、ポインティング集合Ωｉを生成する。
【００５１】
Ωｉ＝Ωｉ，１∧Ωｉ，２ … （８）
【００５２】
例えば、上記式（３）〜上記式（６）の仮のポインティング集合Ωｉ，ｊが記憶部４に記憶されている場合、論理積計算部５６は、上記式（３）に示す仮のポインティング集合Ω１，０、上記式（５）に示す仮のポインティング集合Ω１，１を用いて、下記式（９）のようにペン判定（ｉ＝１）に係るポインティング集合Ω１を生成し、上記式（４）に示す仮のポインティング集合Ω０，０、上記式（６）に示す仮のポインティング集合Ω０，１を用いて、下記式（１０）のように指判定（ｉ＝０）に係るポインティング集合Ω０を生成する。
【００５３】
Ω１＝Ω１，０∧Ω１，１ … （９）
従って、Ω１＝φとなる。
Ω０＝Ω０，０∧Ω０，１ … （１０）
従って、Ω０＝｛ω０｝となる。
【００５４】
以上のように、演算部６は、個々の閉領域（ノイズによって生じてた閉領域を除く）に対応する各要素の入力種別を識別する（図３参照）。
【００５５】
なお、論理積計算部５６は、上述の如く、ポインティング集合Ωｉを記憶部４に記憶するが、記憶部４への記憶に加えて、表示部８に表示させてもよい。例えば、論理積計算部５６は、ポインティング認識した各位置に、入力種別毎に予め定められた文字、図形、記号などを出力してもよい。
【００５６】
以上のように、入力種別判定部５０（入力種別ソート部５２、閾値判定部５４、論理積計算部５６は、濃淡画像から特定されるポインティングに係る複数の特徴（輝度、領域面積）の値と、記憶部４に記憶されているそれらの閾値とに基づいて、入力種別を識別する。つまり、記憶部４には、接触位置に係る特徴の１つである輝度値に加え、接触位置に係る他の１以上の特徴（本実施形態では領域面積）が入力種別毎に記憶されている。換言すれば、記憶部４には、輝度値を含む接触位置に係る複数の特徴（本実施形態では輝度値及び領域面積）の閾値が入力種別毎に記憶されている。そして、入力識別判定部５０（入力種別識別部）は、画像生成部３（画像取得部）によって取得された画像上の接触位置に係る複数の特徴（本実施形態では輝度値及び領域面積）を示す値と、上記記憶部４に記憶されている複数の特徴（本実施形態では輝度値及び領域面積）の閾値とに基づいて、接触位置における入力種別を識別している。
【００５７】
以下、装置１における入力種別識別処理の動作を説明する。図５及び図６は、装置１における入力種別識別処理の動作例を示すフローチャートである。図５に示すフローチャートは、演算部６が濃淡画像を取得することにより開始する。
【００５８】
図５において、２値化・エッジ処理部は、濃淡画像に細線化処理、エッジ処理を施して、濃淡画像上の全ての対象図形の輪郭を抽出する（ステップＳ１０２）。閉領域判定部４２は、ステップＳ１０２において抽出された全ての輪郭のうち一の輪郭が閉領域であるか否かを判定する（ステップＳ１０４）。閉領域判定部４２は、当該輪郭が閉領域であると判定した場合（ステップＳ１０４：Ｙｅｓ）、ノイズ除去部４４は、当該閉領域の領域面積を算出し、当該閉領域がノイズによって生じた閉領域であるか否かを判定する（ステップＳ１０６）。ノイズ除去部４４は、当該閉領域がノイズによって生じた閉領域であると判定した場合（ステップＳ１０６：Ｙｅｓ）、当該閉領域を以降の処理において閉領域として取り扱わないように除去し（ステップＳ１０８）、ステップＳ１１０に進む。
【００５９】
一方、上記ステップＳ１０４において、閉領域判定部４２は、当該輪郭が閉領域でないと判定した場合（ステップＳ１０４：Ｎｏ）には、上記ステップＳ１０６及び上記ステップＳ１０８を飛ばして、ステップＳ１１０に進む。また、上記ステップＳ１０６において、ノイズ除去部４４は、当該閉領域がノイズによって生じた閉領域でないと判定した場合（ステップＳ１０６：Ｎｏ）、上記ステップＳ１０８を飛ばして、ステップＳ１１０に進む。
【００６０】
ステップＳ１０８、ステップＳ１０４（Ｎｏ）又はステップＳ１０６（Ｎｏ）に続いて、閉領域判定部４２は、ステップＳ１０２において抽出された全ての輪郭に対して、閉領域であるか否かの判定を行ったか否かを判断する（ステップＳ１１０）。閉領域判定部４２は、全ての輪郭に対しては閉領域であるか否かの判定を行っていないと判断した場合（ステップＳ１１０：Ｎｏ）、上記ステップＳ１０４に戻って、未だ判定していない一の輪郭について閉領域であるか否かを判定する（ステップＳ１０４）。即ち、演算部６は、抽出した全ての輪郭について、上記ステップＳ１０４から上記ステップＳ１０８を実行する。
【００６１】
一方、上記ステップＳ１１０において、閉領域判定部４２は、全ての輪郭に対して閉領域であるか否かの判定を行ったと判断した場合（ステップＳ１１０：Ｙｅｓ）、閉領域特徴付与部４６は、各閉領域について特徴情報を付与して閉領域集合Ωを生成し、記憶部４に記憶する（ステップＳ１１２）。
【００６２】
ステップＳ１１２に続いて、入力種別判定部５０は、入力種別識別処理を実行する（ステップＳ２００）。なお、入力種別識別処理の詳細は、図６を用いて説明する。次いで、入力種別判定部５０は、入力種別識別処理による結果であるポインティング集合Ωｉを表示部８に表示させる（Ｓ１１４）。そして、本フローチャートは終了する。
【００６３】
図６において、入力種別ソート部５２は、閾値情報に基づいて、特徴毎に、各入力種別を閾値の降順にソートする（ステップＳ２０２）。
【００６４】
ステップＳ２０２に続いて、入力種別ソート部５２は、ステップＳ１１２において記憶された閉領域集合Ωに格納されている全ての要素ωのうち一の要素ωについて、ステップＳ２０２によるソート順序に従って、閾値情報に基づいて入力種別を判定する（ステップＳ２０４）。ソート順序が「ペン判定→指判定」あった場合、閾値判定部５４は、当該要素ωについて、例えば、「輝度判定に基づくペン判定」→「輝度判定に基づく指判定」→「領域面積判定に基づくペン判定」→「領域面積判定に基づく指判定」の順に従って、若しくは、「領域面積判定に基づくペン判定」→「領域面積判定に基づく指判定」→「輝度判定に基づくペン判定」→「輝度判定に基づく指判定」の順に従って、入力種別を判定する。なお、入力種別ソート部５２は、入力種別を判定の結果、仮のポインティング集合Ωｉ，ｊを生成する。
【００６５】
ステップＳ２０４に続いて、閾値判定部５４は、閉領域集合Ωに格納されている全ての要素ωに対して入力種別を判定したか否かを判断する（ステップＳ２０６）。閾値判定部５４は、全ての要素ωに対しては入力種別を判定していないと判断した場合（ステップＳ２０６：Ｎｏ）、上記ステップＳ２０４に戻って、未だ判定していない一の要素ωについて入力種別を判定する（ステップＳ２０４）。即ち、閾値判定部５４は、閉領域集合Ωに格納されている全ての要素ωについて、入力種別を判定し、入力種別ｉ毎、特徴ｊ毎の仮のポインティング集合Ωｉ，ｊを生成する。
【００６６】
ステップＳ２０６に続いて、論理積計算部５６は、ステップＳ２０４において生成された入力種別ｉ毎、特徴ｊ毎の仮のポインティング集合Ωｉ，ｊの論理積を算出し、入力種別ｉ毎のポインティング集合Ωｉを生成し、記憶部４に記憶する（Ｓ２０８）。そして本フローチャートは終了し、図５のステップＳ１１４に進む。
【００６７】
なお、図５の上記ステップＳ１０４乃至ステップＳ１１２によれば、演算部６は、濃淡画像から抽出された輪郭１つずつ、閉領域であるか判定し（ステップＳ１０４）、ノイズによって生じた閉領域であれば削除し（ステップＳ１０６、ステップＳ１０８）、上記処理（ステップＳ１０４乃至ステップＳ１０８）を全ての輪郭について行った後に（ステップＳ１１０：Ｙｅｓ）、特徴情報を付与（ステップＳ１１２）するという流れで処理するが、他の流れで処理してもよい。例えば、演算部６は、全ての輪郭について閉領域であるか判定し、次いで、全ての閉領域のなかからノイズによって生じた閉領域を削除し、次いで、特徴情報を付与するという流れで処理してもよい。また例えば、演算部６は、輪郭１つずつ、閉領域であるか判定し、ノイズによって生じた閉領域であれば削除し、特徴情報を付与するという流れで処理をしてもよい。
【００６８】
なお、第１の実施形態においては、特徴ｊの数は、輝度（ｊ＝０）、領域面積（ｊ＝１）の２個であるが、特徴ｊの数がｍ個である場合には、論理積計算部５６は、下記式（１１）の論理積を計算し、ポインティング集合Ωｉを生成する。つまり、第１の実施形態においては、装置１は、接触位置に係る複数の特徴として輝度値及び領域面積を用いて、ポインティング集合Ωｉを生成したが、装置１は、輝度値を含む接触位置に係る複数の特徴（即ち、輝度値と、輝度値以外の１以上の特徴）を用いるのであれば、何れの複数の特徴を用いてポインティング集合Ωｉを生成してもよい。例えば、装置１は、輝度値及び色情報を用いてポインティング集合Ωｉを生成してもよいし、輝度値、領域面積及び色情報を用いてポインティング集合Ωｉを生成してもよい。
【００６９】
Ωｉ＝Ωｉ，１∧Ωｉ，２∧ ・・・ ∧Ωｉ，ｍ … （１１）
【００７０】
また、第１の実施形態においては、ある入力種別ｉに関係するｎ個の仮のポインティング集合Ωｉ，１、Ωｉ，２、・・・、Ωｉ，ｎを全部満たす要素ωを入力種別ｉに係るポインティング集合Ωｉに格納したが、ｎ個のうちのｍ個を満たす要素ωも入力種別ｉに係るポインティング集合Ωｉに格納してもよい。つまり、第１の実施形態においては、ある入力種別であると識別するために、当該入力種別のｎ個の特徴を全て具備することを条件しているが、条件を緩和し、ｎ個のうちのｍ個の特徴を具備することを条件としてもよい。
【００７１】
（第２の実施形態）
以下、本発明の第２の実施形態について図面を参照して説明する。図１（ｂ）は、本発明の第２の実施形態による入力種別識別システムを搭載した装置２の構成を示すブロック図である。装置２は、図１（ｂ）に示すように、画像生成部３（本発明の画像取得部に相当）、記憶部５、演算部７及び表示部８を備える。演算部７は、ＣＰＵ、ＧＰＵなどであって、後述する種々の処理を実行する。記憶部５は、メモリ、ハードディスクなどであって、画像生成部３によって撮像された画像、演算部７によって読み書きされる種々の情報を記憶する。演算部７によって読み書きされる種々の情報の一例は、第１の実施形態における装置１の演算部６によって読み書きされる種々の情報の他、動的に生成される移動時用の閾値情報である。なお、画像生成部３、記憶部５及び表示部８については第１の実施形態における装置１と同様である。
【００７２】
また、第２の実施形態においては、閾値は、ポインティングによって生じた閉領域が表示画面上に停止しているときに用いる停止時用の閾値と、ポインティングによって生じた閉領域が表示画面上を移動しているときに用いる移動時用の閾値とが存在する。停止時用の閾値は、図４（ｂ）に示すように、予め記憶部５に記憶されている。移動時用の閾値は、適宜生成される。
【００７３】
図７は、装置２の演算部７の機能ブロック図の一例である。なお、図７では、説明の便宜上、菱形にて情報を示している。図８は、入力種別識別処理のイメージを示す模式図である。演算部７は、図７に示すように、閾値設定部１０（本発明の入力種別識別部に相当）、近傍探索部２０（本発明の入力種別識別部に相当）、２値化・エッジ処理部３０、閉領域抽出部４０（本発明の入力種別識別部に相当）、及び、入力種別判定部５１（本発明の入力種別識別部に相当）を備える。閾値設定部１０は、対象要素抽出部１２、閾値決定部１４を備える。近傍探索部２０は、探索範囲設定部２２及び探索部２４を備える。入力種別判定部５１は、入力種別ソート部５２、閾値判定部５４及び論理積計算部５７を備える。なお、２値化・エッジ処理部３０、閉領域抽出部４０、入力種別ソート部５２及び閾値判定部５４については第１の実施形態における装置１と同様である。
【００７４】
閾値設定部１０及び近傍探索部２０は、ポインティングによって生じた閉領域が停止しているか移動しているかを判断し、ポインティングによって生じた閉領域が移動していると判断した場合した場合、移動していると判断した閉領域に係る特徴を示す値と移動時用の閾値とに基づいて、当該ポインティングの入力種別を識別する。一方、閉領域抽出部４０及び入力種別判定部５１は、停止していると判断された閉領域に係る特徴を示す値と生指示用の閾値とに基づいて、当該ポインティングの入力種別を識別する。以下、詳細に説明する。
【００７５】
対象要素抽出部１２は、記憶部５に記憶されている１時点前（時刻ｔ−１）のポインティング集合Ωｉから、移動時モデルの適用対象とする要素（以下、対象要素とも称する）を抽出する。なお、対象要素抽出部１２による抽出時において、記憶部５には、１時点前のポインティング集合Ωｉが記憶されている。１時点前のポインティング集合Ωｉとは、前回、入力種別を識別したときに生成されたポインティング集合Ωｉである。移動時モデルには、移動しているポインティングの移動後の状態（例えば、輝度値、領域面積、座標）を推定（表現）するための推定モデル、及び、移動後のポインティングに対して適用する移動時用の閾値情報を含まれる。但し、当該移動時用の閾値情報は、上記推定モデルによる推定結果、各要素の入力種別などに応じて動的に生成される。
【００７６】
第２の実施形態のポインティング集合Ωｉに格納されている各要素ωは、図４（ｃ）に示すように、状態フラグ、識別された入力種別、中心の座標情報、輪郭の座標情報、輝度ρ、領域面積Ｓを保持する。状態フラグ「０」は移動時モデルが未適用である旨を示し、状態フラグ「１」は移動時モデルが適用済みである旨を示す。なお、第１の実施形態のポインティング集合Ωｉに格納されている各要素ωは、状態フラグを保持しなくてもよい。
【００７７】
また、対象要素抽出部１２による抽出時において、状態フラグ「０」である要素ωは、移動時モデルが未適用である要素であって、当該要素ωが、１時点前において登録された要素、即ち１時点前にて新規に認識されたポインティングに係る要素である。一方、対象要素抽出部１２による抽出時において、状態フラグ「１」である要素ωは、当該要素ωが、１時点前よりも前の何れかの時点において新規に登録された要素、１時点前よりも前の何れかの時点にて新規に認識されたポインティングに係る要素である。
【００７８】
具体的には、対象要素抽出部１２は、ポインティング集合Ωｉに格納されている各要素ωの状態フラグを参照し、移動時モデルが未適用である要素ωを対象要素として抽出する。つまり、対象要素抽出部１２は、１時点前において新規に認識されたポインティングに係る要素ωを対象要素として抽出する。対象要素抽出部１２は、対象要素からなる集合を対象ポインティング集合として記憶部５に記憶する。
【００７９】
閾値決定部１４は、対象要素抽出部１２によって対象要素が抽出された場合、各対象要素に設定する移動時用の閾値を決定する。つまり、閾値決定部１４は、移動時用の閾値を各対象要素に設定する。
【００８０】
具体的には、閾値決定部１４は、一の要素ωにおける入力種別の識別結果を得た後に当該要素ωが移動していると判断したときは、当該識別結果に応じた移動時用の閾値を生成する。例えば、閾値決定部１４は、下記式（１２）に示す移動時用の輝度ρの閾値を各対象要素に設定する。
【００８１】
ρ’ｍｉｎ≦ρ≦（ρ’ｍｉｎ＋ρ’ｍａｘ）／２ … （１２）
【００８２】
なお、上記式（１２）において、ρ’ｍｉｎは、現時点（時刻ｔ）における最小輝度（輝度の最小値）である（図８（ａ）参照）。但し、ρ’ｍｉｎは、推定値であって、当該対象要素の入力種別、及び、１時点前の最小輝度であるρｍｉｎに基づいて算出される。例えば、閾値決定部１４は、当該対象要素の入力種別が指である場合、下記式（１３）に従ってρ’ｍｉｎを算出し、当該対象要素の入力種別がペンである場合、下記式（１４）に従ってρ’ｍｉｎを算出する。また、ρ’ｍａｘは、現時点における最大輝度（輝度の最大値）である（図８（ａ）参照）。但し、ρ’ｍａｘは、推定値であって、当該対象要素の入力種別、及び、１時点前の最大輝度であるρｍａｘに基づいて算出される。例えば、閾値決定部１４は、当該対象要素の入力種別が指である場合、下記式（１５）に従ってρ’ｍａｘを算出し、当該対象要素の入力種別がペンである場合、下記式（１６）に従ってρ’ｍａｘを算出する。
【００８３】
ρ’ｍｉｎ＝（１／１０）×ρｍｉｎ … （１３）
ρ’ｍｉｎ＝ ρｍｉｎ … （１４）
ρ’ｍａｘ＝（２／３）×ρｍａｘ … （１５）
ρ’ｍａｘ＝ ρｍａｘ … （１６）
【００８４】
また、例えば、閾値決定部１４は、下記式（１７）に示す移動時用の領域面積Ｓの閾値を各対象要素に設定する。
【００８５】
π｛（Ｘ０−Ｘ’ｎ−α）２＋（Ｙ０−Ｙ’ｎ−α）２｝≦ Ｓ ≦ π（Ｘ０−Ｘ’）２＋（Ｙ０−Ｙ’ｎ）２｝ …（１７）
【００８６】
上記式（１７）において、（Ｘ０，Ｙ０）は１時点前における中心座標、（Ｘ’ｎ，Ｙ’ｎ）は現時点における輪郭の座標である（図８（ａ）参照）。また、αは定数である。また、図８（ａ）において、（Ｘｎ，Ｙｎ）は１時点前における輪郭の座標、距離ｌは１時点前における中心座標（Ｘ０，Ｙ０）から１時点前における輪郭の座標（Ｘｎ，Ｙｎ）までの距離である。なお、上記式（１７）による移動時用の領域面積Ｓの閾値の算出においては、現時点における中心座標（Ｘ’０，Ｙ’０）の値として、１時点前における中心座標（Ｘ０，Ｙ０）の値を用いるため、図８（ａ）では、現時点における中心座標として中心座標（Ｘ０，Ｙ０）を用いている。
上記式（１７）の（Ｘ’ｎ，Ｙ’ｎ）は、上記距離ｌに基づいて算出される。第２の実施形態においては、現時点における中心座標（Ｘ’０，Ｙ’０）から現時点における輪郭の座標（Ｘ’ｎ，Ｙ’ｎ）までの距離、即ち、図８（ａ）に示す、中心座標（Ｘ０，Ｙ０）から輪郭の座標（Ｘ’ｎ，Ｙ’ｎ）までの距離が、上記距離ｌの３分の１程度になるように、（Ｘ’ｎ，Ｙ’ｎ）を決定する。
これにより、上記式（１７）において、（Ｘ０，Ｙ０）、（Ｘ’ｎ，Ｙ’ｎ）、αの全てが定まるため、移動時用の領域面積Ｓの範囲（閾値）が確定する。
【００８７】
以上のように、閾値設定部１０は、未だ移動時モデルを適用していない要素ωについて移動時モデルを適用する。つまり、閾値設定部１０は、１時点前において新規に認識されたポインティングに対し、移動しているポインティングの移動後の状態を表現（推定）するための推定モデルを適用し、当該要素が移動中にどのような状態（例えば、輝度値、領域面積、座標）に変化するかを上記式（１３）〜（１６）のように推定し、推定した状態を反映させた閾値を当該要素に上記式（１２）（１７）のように設定する。換言すれば、閾値設定部１０は、前回（１時点前）の入力種別の識別結果に基づいて、今回（現時点）の入力種別の識別に用いる移動時用の閾値を設定する。
【００８８】
なお、閾値設定部１０の処理後においては、移動時モデルは、１時点前のポインティング集合Ωｉに格納されている全ての要素ωについて適用済みである。閾値設定部１０は、１時点前のポインティング集合Ωｉに格納されている要素ωのうち移動時モデルの未適用の要素ωについて、移動時モデルを適用したからである。
【００８９】
探索範囲設定部２２は、記憶部５に記憶されている１時点前のポインティング集合Ωｉに格納されている各要素ωが、現時点においても存在しているか否かを判定するために、現時点に取得した濃淡画像における探索範囲を設定する。なお、第２の実施形態においては、１時点前において認識されたポインティングは、現時点においてもその近傍にあると考え、濃淡画像全体を探索範囲とせず、その近傍を探索範囲として設定する。例えば、図８（ｂ）に示すように設定する。図８（ｂ）に示す例において、探索範囲設定部２２は、１時点前において認識されたポインティング、即ち記憶部５に記憶されている１時点前のポインティング集合Ωｉに格納されている要素ωの中心座標から予め定めた半径ｒの円内を探索範囲としている。
【００９０】
探索部２４は、濃淡画像を探索し、１時点前のポインティング集合Ωｉに格納されている各要素ωが、現時点において存在しているか否かを判定する。当該存在しているか否かを判定は、探索範囲設定部２２において設定された探索範囲を用いる範囲判定と、閾値決定部１４によって設定された移動時用の閾値を用いる閾値判定から構成されている。探索部２４は、以下に説明するように、範囲判定、閾値判定の順に行う。
【００９１】
まず、探索部２４は、濃淡画像全体からポインティングを探索する。即ち、探索部２４は、実施形態１における装置１の閉領域判定部４２及びノイズ除去部４４の如く、ポインティングによって生じた閉領域を探索する。
【００９２】
探索部２４は、探索した個々のポインティングに対し、１時点前のポインティング集合Ωｉに格納されている各要素ωに係る範囲判定を行う。具体的には、探索部２４は、探索したポインティングが、範囲判定に係る条件を満たすか否かを判定する。例えば、探索部２４は、下記式（１８）に示す範囲判定に係る条件を満たすか否かを判定する。但し、（Ｘｔ，Ｙｔ）は探索したポインティングの中心座標、（Ｘ０，Ｙ０）は要素ωの中心座標、ｒは要素ωの中心座標（Ｘ０，Ｙ０）からの距離である。
【００９３】
（Ｘｔ−Ｘ０）２＋（Ｙｔ−Ｙ０）２≦ ｒ２ … （１８）
【００９４】
探索部２４は、ある要素ωについて範囲判定の結果が真であったポインティングに対し、当該要素ωの移動時用の閾値を用いて閾値判定を行う。例えば、探索部２４は、上記範囲判定に係る条件が真になる中心座標（Ｘｔ，Ｙｔ）とある要素ωからの距離ｒの組が存在した場合には、当該ポインティングに対して、当該要素ωの移動時用の閾値を用いて閾値判定を行う。
【００９５】
探索部２４は、ある要素ωの移動時用の閾値を用いた閾値判定の結果が真であったポインティングが存在した場合、当該要素ωが現時点においても存在していると判定する。つまり、探索部２４は、１時点前に存在していたある要素ωから範囲判定が真になる距離内に一のポインティングが存在し、かつ、当該一のポインティングが当該要素ωの移動時用の閾値を満たす場合、当該要素ωの現時点におけるポインティングは、当該一のポインティングであると推定し、当該要素ωが現時点においても存在していると判定する。
【００９６】
なお、探索部２４は、上記移動時用の閾値を用いた閾値判定においては、実施形態１における装置１の論理積計算部５６による論理積計算の如く全ての特徴における条件を満たした場合に真とするのではなく、一定数以上の条件を満たした場合に真としてもよい。
【００９７】
閾値判定に続いて、探索部２４は、現時点のポインティング集合Ωｉを生成し、記憶部５に記憶する。具体的には、探索部２４は、１時点前に存在していた要素ωであって現時点においても存在している判定した要素ωから構成される現時点のポインティング集合Ωｉを生成し、記憶部５に記憶する。
【００９８】
例えば、探索部２４は、入力種別「指」と識別されている１時点前の要素ωが現時点においても存在している判定した場合、状態フラグ「１」、入力種別「指」、中心座標（Ｘｔ，Ｙｔ）、輪郭の座標（Ｘｎ，Ｙｎ）、輝度ρ、領域面積Ｓを保持する要素ωを現時点のポインティング集合Ωｉの要素とする。なお、各要素ωは何れも１時点前に存在していたものであるため、各要素ωの状態フラグは「１」となる。また、中心座標（Ｘｔ，Ｙｔ）は、範囲判定において用いたものである。輝度ρ、領域面積Ｓは、移動時用の閾値を用いた閾値判定に用いたものである。
【００９９】
また、探索部２４は、濃淡画像において、現時点のポインティング集合Ωｉに格納した要素ωに対応する閉領域を以降の処理において閉領域として取り扱わないようにする。例えば、実施形態１における装置１のノイズ除去部４４によるノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにする方法と同様の方法によって、現時点のポインティング集合Ωｉに格納した要素ωに対応する閉領域を以降の処理において閉領域として取り扱わないようにする。
【０１００】
また、探索部２４は、濃淡画像において、範囲判定及び閾値判定を満たさなかった閉領域、即ち、現時点において新規に存在したと推測される閉領域について、閉領域集合Ωに格納してもよい。範囲判定及び閾値判定を満たさなかった閉領域について、閉領域集合Ωに格納する場合、上記と同様の方法によって、閉領域集合Ωに格納済みの閉領域を以降の処理において閉領域として取り扱わないようにする。
【０１０１】
以上のように、近傍探索部２０は、表示部８上においてポインティングが移動している場合に、移動していると判断した要素ωの特徴を示す値と、移動時用の閾値とに基づいて、入力種別を識別する。
【０１０２】
２値化・エッジ処理部３０、閉領域抽出部４０、入力種別ソート部５２及び閾値判定部５４は、上述の如く、第１の実施形態と同様であるため、説明を省略する。
【０１０３】
論理積計算部５７は、探索部２４によって生成されたポインティング集合Ωｉと、閾値判定部５４によって生成された入力種別ｉ毎、特徴ｊ毎の仮のポインティング集合Ωｉ，ｊに基づいて、入力種別ｉ毎のポインティング集合Ωｉを生成する。具体的には、論理積計算部５７は、第１の実施形態における装置１の論理積計算部５６と同様、閾値判定部５４によって生成された仮のポインティング集合Ωｉ，ｊに基づいて、ポインティング集合Ωｉを生成する。なお、論理積計算部５７は、仮のポインティング集合Ωｉ，ｊに基づいて生成するポインティング集合Ωｉに格納する各要素ωの状態フラグは「０」にする。そして、論理積計算部５７は、仮のポインティング集合Ωｉ，ｊに基づいて生成したポインティング集合Ωｉと、探索部２４によって生成されたポインティング集合Ωｉとを統合し、統合したポインティング集合Ωｉを記憶部５に記憶する。換言すれば、論理積計算部５７は、記憶部５に記憶されている探索部２４によって生成されたポインティング集合Ωｉに、仮のポインティング集合Ωｉ，ｊに基づいて計算した要素ωを追加する。
【０１０４】
以下、装置２における入力種別識別処理の動作を説明する。図９は、装置２における入力種別識別処理の動作例を示すフローチャートである。
【０１０５】
図９において、対象要素抽出部１２は、移動時モデルの適用の要否を判断する（ステップ１０）。具体的には、対象要素抽出部１２は、記憶部５に記憶されている１時点前のポインティング集合Ωｉに状態フラグ「０」の要素ωが少なくとも１つ格納されている場合、移動時モデルの適用を要すると判断し、何も格納されていない場合は要しないと判断する。換言すれば、対象要素抽出部１２は、１時点前のポインティング集合Ωｉから、移動時モデルの適用対象である対象要素を少なくとも１つ抽出できた場合、移動時モデルの適用を要すると判断し、何も抽出できなかった場合は要しないと判断する。
【０１０６】
ステップ１０において、対象要素抽出部１２は、移動時モデルの適用を要すると判断した場合（ステップ１０：Ｙｅｓ）、閾値決定部１４は、対象要素抽出部１２によって抽出された各対象要素に移動時用の閾値を設定する（ステップＳ１２）。
【０１０７】
ステップＳ１２に続いて、探索範囲設定部２２は、現時点に取得した濃淡画像における探索範囲を設定する（ステップＳ１４）。
【０１０８】
ステップＳ１４に続いて、探索部２４は、範囲判定及び閾値判定を行い、何れもが真であったポインティングが存在しているか否かを判断する（ステップＳ１６）。換言すれば、探索部２４は、１時点前に存在していた要素ωのうち少なくとも１つが現時点においても存在しているか否かを判断する。
【０１０９】
ステップ１６において、探索部２４は、何れもが真であったポインティングが存在していると判断した場合（ステップＳ１６：Ｙｅｓ）、現時点のポインティング集合Ωｉを生成し、記憶部５に記憶する（ステップＳ１８）。次いで、２値化、エッジ処理部３０、閉領域抽出部４０、入力種別判定部５０は、停止時における識別処理を実行し（ステップＳ１００）、本フローチャートは終了する。なお、停止時における識別処理は、論理積計算部５７が、探索部２４によって生成されたポインティング集合Ωｉと、閾値判定部５４によって生成された仮のポインティング集合Ωｉ，ｊに基づいて、最終的なポインティング集合Ωｉを生成する点を除き、図５及び図６に示した処理（即ち、ステップＳ１０２乃至ステップＳ１１４、及び、ステップＳ２０２乃至ステップＳ２０８）と同様であるため説明を省略する。
【０１１０】
一方、ステップ１０において、対象要素抽出部１２は、移動時モデルの適用を要しないと判断した場合（ステップ１０：Ｎｏ）、上記ステップＳ１２乃至ステップＳ１８を飛ばして、ステップＳ１００に進む。また、ステップ１６において、探索部２４は、何れもが真であったポインティングが存在していないと判断した場合（ステップＳ１６：Ｎｏ）、上記ステップＳ１８を飛ばして、ステップＳ１００に進む。
【０１１１】
以上、第１の実施形態、又は、第２の実施形態によれば、タッチディスプレイ環境において、特段の操作を要することなくポインティング自体によって、何によってポインティングされたかを識別することができる。また、入力種別と入力種別毎に実行させる所望の処理とを予め対応付けておけば、ポインティングしたときに識別される入力種別に応じた所望の処理を自動的に実行させることができる。即ち、特段の操作を要することなくポインティング自体によって入力種別に応じた所望の処理を実行させることができる。例えば、ＦＴＩＲ環境上でＧＩＳ等の地図アプリケーションを操作する場合において、従来であればペンによる書込み、指タッチによる地図移動を行おうとしても、ペン、指タッチの入力種別の識別ができなかったため、ペンモード、指タッチモードというような入力モードの切替操作をしなければ、ペンであれば書込み、指タッチであれば地図操作というように、それぞれに応じた処理ができず不便であった。本実施形態によれば、入力種別の識別が入力自体でできるため、上記切替操作などの明示的な操作をすることなく、それぞれの応じた処理をすることができるため便利である。
【０１１２】
また、第２の実施形態によれば、トラッキング中のポインティング、即ち移動時のポインティングについて、その特性を考慮し、精度よく、何によってポインティングされたかを識別することができる。移動時の閉領域の特徴の特性は、停止時の閉領域の特徴の特性と異なる。例えば、移動時の指によるポインティングでは、停止時の指によるポインティングに比べ、ディスプレイに触る面積が少なくなるため、両者の領域面積の特性は異なる。従って、停止時のポインティングの特徴の特性を、移動時のポインティングにおける入力種別の識別に適用した場合、入力種別の識別精度の低下、若しくは、識別が不能になる恐れがある。
第２の実施形態では、移動中の個々のポインティングについて、既に識別されている入力種別を反映させた移動時用の閾値を動的に生成し、移動中の個々のポインティングに設定するため、移動時のポインティングについて、精度よく入力種別を識別することができる。
【０１１３】
また、第２の実施形態においては、既に移動時モデルを適用した要素ωについては、再度、移動時モデルを適用しない態様を説明したが、既に移動時モデルを適用した要素ωについても、再度、移動時モデルを適用する態様としてもよい。例えば、即ち入力種別を識別する都度、移動時モデルを適用してもよいし、何回かおきに、移動時モデルを適用してもよい。なお、毎回、移動時モデルを適用する場合には、状態フラグが不要になる。つまり、毎回、移動時モデルを適用する場合、対象要素抽出部１２は不要であり、また、閾値決定部１４は、対象ポインティング集合ではなくポインティング集合Ωｉに格納されている全ての要素ωを対象に、毎回、移動時用の閾値を決定する。
【０１１４】
なお、第１の実施形態及び第２の実施形態においては、ポインティングによって生じた閉領域の特徴として輝度及び領域面積を用いて入力種別を識別する態様を説明したが、ポインティングによって生じた閉領域の特徴として輝度のみを用いて入力種別を識別してもよい。つまり、装置１及び装置２は、輝度値を含む接触位置に係る複数の特徴（即ち、輝度値と、輝度値以外の１以上の特徴）を用いて入力種別を識別したが、装置１及び装置２は、輝度値のみを用いて入力種別を識別してもよい。なお、輝度値のみを用いて入力種別を識別する場合、つまり、ポインティングによって生じた閉領域の特徴として輝度のみを用いて入力種別を識別する場合には、輝度判定（ｊ＝０）に基づくペン判定（ｉ＝１）、及び、輝度判定（ｊ＝０）に基づく指判定（ｉ＝０）のみとなるため、仮のポインティング集合Ωｉ，ｊの生成を要しない。
【０１１５】
また、第１の実施形態及び第２の実施形態においては、表示部８は、マルチタッチディスプレイであると説明したが、表示部８は、複数の点に同時に触れて操作可能なタッチディスプレイでなくてもよい。なお、表示部８が1点のみを同時に触れて操作するタッチディスプレイの場合には、各時点において生成される閉領域集合Ωに格納する要素ωは、1つなる。
【０１１６】
なお、第１の実施形態の装置１及び第２の実施形態の装置２は、特に限定されるものではないが、例えば、携帯電話機、ゲーム機、楽曲再生器、地図情報等の情報を表示する装置（例えば、カーナビゲーションシステムに係る装置）などが該当する。
【０１１７】
なお、本発明の一実施形態による装置１又は装置２の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の一実施形態による装置１又は装置２の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１１８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１１９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１２０】
１、２…装置 ３…画像生成部 ４…記憶部 ５、６…記憶部 ７…演算部 ８…表示部
１０…閾値設定部 １２…対象要素抽出部 １４…閾値決定部 ２０…近傍探索部 ２２…探索範囲設定部 ２４…探索部 ３０…２値化・エッジ処理部 ４０…閉領域抽出部 ４２…閉領域判定部 ４４…ノイズ除去部 ４６…閉領域特徴付与部 ５０、５１…入力種別判定部 ５２…入力種別ソート部 ５４…閾値判定部 ５６、５７…論理積計算部
【技術分野】
【０００１】
本発明は、入力種別識別システム、入力種別識別方法およびプログラムに関する。
【背景技術】
【０００２】
従来、ＦＴＩＲ（Frustrated total internal reflection）方式を用いたマルチタッチディスプレイ環境において、ディスプレイ画面の接触によるユーザの指示の入力を認識する技術、即ちポインティングを認識する技術であるポインティング認識技術は、例えば赤外線などの照射光が、ディスプレイを形成する例えばアクリル板などのポインティング板の内部にて全反射する性質を利用している。具体的には、ポインティング認識技術は、ポインティング板の側面から照射された光が、ポインティングがされていないときはポインティング板の内部にて全反射してポインティング板の外部に漏れないのに対し、ポインティングがされたときには当該ポインティング位置にてポインティング板の外部に漏れるという性質を利用している。
【０００３】
また、上述のようなマルチタッチディスプレイ環境において、複数の指によるポインティングを認識、トラッキングする方法が提案されている（例えば、特許文献１参照）。特許文献１には、ポインティングに係る指が親指であることを識別する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９３８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、現在のポインティング認識技術では、指によるポインティングと指以外の物（例えば、ペン）によるポインティングとを、当該ポインティングによって識別することができないという問題がある。現在のポインティングの認識技術は、指によるポインティング及び指以外の物によるポインティングの何れの場合も、ポインティング板上においてポインティングによって白色の閉領域の形状として特定するため、両者を区別する術がないからである。
従って、ユーザは、指によるポインティングから指以外の物によるポインティングに変更しようとするとき、又は、逆に指以外の物によるポインティングから指によるポインティングに変更しようとするときは、入力モード（例えば、指タッチモード／ペンモード）の切替操作などの特段の操作を明示的に行わなければならない。
【０００６】
本発明は、上述した課題に鑑みてなされたものであって、タッチディスプレイ環境において、特段の操作を要することなくポインティング自体によって、何によってポインティングされたかを識別する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明の一態様である入力種別識別システムは、ユーザによる入力として人体の一部又は物によって表示画面に接触したときの前記表示画面上の接触位置を示す画像を取得する画像取得部と、前記表示画面に接触した人体の一部又は物の種類を示す入力種別毎に、前記画像上の前記接触位置に係る特徴である輝度値の閾値を記憶する記憶部と、前記画像取得部によって取得された前記画像上の前記接触位置に係る前記輝度値と、前記記憶部に記憶されている前記閾値とに基づいて、前記接触位置における前記入力種別を識別する入力種別識別部とを備えることを特徴とする。
【０００８】
上記入力種別識別システムにおいて、前記記憶部は、前記輝度値を含む前記接触位置に係る複数の特徴の閾値を前記入力種別毎に記憶し、前記入力種別識別部は、前記画像取得部によって取得された前記画像上の前記接触位置に係る複数の特徴を示す値と、前記記憶部に記憶されている前記複数の特徴の閾値とに基づいて、前記接触位置における前記入力種別を識別するようにしてもよい。
【０００９】
上記入力種別識別システムにおいて、前記入力種別識別部は、前記接触位置が複数の前記入力種別に識別された場合に優先させる前記入力種別の優先順位を予め決定し、前記接触位置が複数の前記入力種別に識別されたときは前記優先順位に従って識別結果として出力する一の前記入力種別を決定するようにしてもよい。
【００１０】
上記入力種別識別システムにおいて、前記閾値は、前記接触位置が前記表示画面上に停止しているときに用いる停止時用の閾値と、前記接触位置が前記表示画面上を移動しているときに用いる移動時用の閾値とが存在し、前記入力種別識別部は、前記表示画面上において前記接触位置が停止しているか移動しているかを判断し、前記接触位置が停止していると判断した場合した場合、停止していると判断した前記接触位置に係る特徴を示す値と前記停止時用の閾値とに基づいて、前記接触位置における前記入力種別を識別し、前記接触位置が移動していると判断した場合した場合、移動していると判断した前記接触位置に係る特徴を示す値と前記移動時用の閾値とに基づいて、前記接触位置における前記入力種別を識別するようにしてもよい。
【００１１】
上記入力種別識別システムにおいて、前記入力種別識別部は、一の前記接触位置における前記入力種別の識別結果を得た後に当該接触位置が移動していると判断したときは、当該識別結果に応じた前記移動時用の閾値を生成するとともに、移動していると判断した当該接触位置に係る特徴を示す値と、前記生成した前記移動時用の閾値に基づいて、当該接触位置における前記入力種別を識別するようにしてもよい。
【００１２】
上記問題を解決するために、本発明の他の態様である入力種別識別方法は、ユーザによる入力として表示画面に接触した人体の一部又は物の種類を示す入力種別を識別する入力種別識別装置における入力種別識別方法であって、前記入力種別識別装置の画像取得部が、人体の一部又は物による前記表示画面上の接触位置を示す画像を取得し、前記入力種別識別装置の入力種別識別部が、前記画像取得部によって取得された前記画像上の前記接触位置の輝度値と、前記入力種別毎に予め記憶されている前記輝度値の閾値とに基づいて、前記接触位置における前記入力種別を識別することを特徴とする。
【００１３】
上記問題を解決するために、本発明の他の態様であるプログラムは、ユーザによる入力として表示画面に接触した人体の一部又は物の種類を示す入力種別を識別する入力種別識別装置のコンピュータに、人体の一部又は物による前記表示画面上の接触位置を示す画像を取得する画像取得ステップと、前記画像取得ステップによって取得された前記画像上の前記接触位置の輝度値と、前記入力種別毎に予め記憶されている前記輝度値の閾値とに基づいて、前記接触位置における前記入力種別を識別する入力種別取得ステップとを実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、タッチディスプレイ環境において、特段の操作を要することなくポインティング自体によって、何によってポインティングされたかを識別することができる。また、ポインティングに用いるもの（指、ペンなど）の種類（以下、「入力種別」と称する）と入力種別毎に実行させる所望の処理とを予め対応付けておけば、ポインティングしたときに識別される入力種別に応じた所望の処理を自動的に実行させることができる。即ち、特段の操作を要することなくポインティング自体によって入力種別に応じた所望の処理を実行させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態による入力種別識別システムを搭載した装置１の構成、及び、本発明の第２の実施形態による入力種別識別システムを搭載した装置２の構成を示すブロック図である。
【図２】装置１の演算部６の機能ブロック図の一例である。
【図３】入力種別識別処理のイメージを示す模式図である。
【図４】装置１の演算部６又は装置２の演算部７を説明するための説明図である。
【図５】装置１における入力種別識別処理の動作例を示すフローチャートである。
【図６】装置１における入力種別識別処理の動作例を示すフローチャートである。
【図７】装置２の演算部７の機能ブロック図の一例である。
【図８】入力種別識別処理のイメージを示す模式図である。
【図９】装置２における入力種別識別処理の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１（ａ）は、本発明の第１の実施形態による入力種別識別システムを搭載した装置１の構成を示すブロック図である。装置１は、図１（ａ）に示すように、画像生成部３（本発明の画像取得部に相当）、記憶部４、演算部６及び表示部８を備える。
【００１７】
表示部８は、人体の一部又は物による接触を受け付けるタッチディスプレイである。上記人体の一部は例えば指、上記物は例えばペンである。画像生成部３は、カメラユニットであって、ポインティング認識に供する画像を生成する。ポインティング認識に供する画像とは、例えば、ポインティング板の外部に漏れる光を捉えた画像であって、ユーザによる入力として人体の一部又は物によって表示画面に接触したときの前記表示画面上の接触位置を示す画像である。画像生成部３は、上記画像として、２次元上に配列された濃淡画像データ若しくは２値画像データ（以下、単に濃淡画像という）を生成する。
【００１８】
記憶部４は、メモリ、ハードディスクなどであって、画像生成部３によって撮像された画像、演算部６によって読み書きされる種々の情報を記憶する。演算部６によって読み書きされる種々の情報の一例は、閾値情報、閉領域集合、仮のポインティング集合、ポインティング集合である。演算部６は、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）などであって、後述する種々の処理を実行する。表示部８は、マルチタッチディスプレイである。
【００１９】
図２は、装置１の演算部６の機能ブロック図の一例である。図３は、入力種別識別処理のイメージを示す模式図である。図４は、装置１の演算部６又は装置２（後述）の演算部７を説明するための説明図である。なお、図２において、説明の便宜上、菱形にて主要な情報を示した。また、図３において、画像内の注釈「タッチ」は指によるポインティングを意味し、注釈「ペン」はペンによるポインティングを意味する。
【００２０】
演算部６は、図２に示すように、２値化・エッジ処理部３０、閉領域抽出部４０（本発明の入力種別識別部に相当）、及び、入力種別判定部５０（本発明の入力種別識別部に相当）を備える。閉領域抽出部４０は、閉領域判定部４２、ノイズ除去部４４及び閉領域特徴付与部４６を備える。入力種別判定部５０は、入力種別ソート部５２、閾値判定部５４、及び、論理積計算部５６を備える。
【００２１】
２値化・エッジ処理部３０は、画像生成部３によって生成された濃淡画像に対し細線化処理、エッジ処理（例えばラプラシアンフィルタ等の既知のエッジ抽出処理）を施して、濃淡画像上の全ての対象図形の輪郭を抽出する。なお、対象図形とは、濃淡画像上において、ポインティングによって生じた図形、何らかのノイズによって生じた図形である。
【００２２】
閉領域抽出部４０及び入力種別判定部５０は、濃淡画像上のポインティングによって生じた閉領域に係る特徴の値と、記憶部４に記憶されている閾値情報とに基づいて、当該閉領域における入力種別を識別する。以下、詳細に説明する。
【００２３】
閉領域判定部４２は、ラベリング処理等の既知の技術を用いて、２値化・エッジ処理部３０によって抽出された各輪郭が閉領域であるか否かを判定する。換言すれば、閉領域判定部４２は、閉領域である輪郭を抽出した閉領域抽出画像を生成する（図３参照）。なお、閉領域判定部４２は、各閉領域を規定する座標情報を記憶部４に一時記憶してもよい。
【００２４】
ノイズ除去部４４は、閉領域判定部４２によって判定された各閉領域について、領域面積を算出し、所定値以下の領域面積であった閉領域は、ポインティングによって生じた閉領域ではなくノイズによって生じた閉領域であると判定する。ノイズ除去部４４は、ノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにする。換言すれば、ノイズ除去部４４は、指又はペンによる表示部８の接触位置を示す閉領域のみを以降の処理において取り扱うようにするために、フィルタリング処理として、指又はペンによる表示部８の接触位置を示す閉領域に該当しないと判定した閉領域を除去する（図３参照）。
【００２５】
つまり、閉領域判定部４２及びノイズ除去部４４は、濃淡画像全体からポインティングによって生じた閉領域を探索する。また、２値化・エッジ処理部３０は、閉領域判定部４２及びノイズ除去部４４による上記探索の前処理として、濃淡画像上の全ての対象図形の輪郭を抽出する。
【００２６】
なお、ノイズ除去部４４において、ノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにする方法は、種々の方法が考えられる。例えば、ノイズ除去部４４は、ノイズによって生じたものであると判定した閉領域を背景色（例えば黒色）に塗り潰すことによって、ノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにしてもよい。
【００２７】
また例えば、ノイズ除去部４４は、既に、閉領域判定部４２が各閉領域を規定する座標情報を記憶部４に一時記憶している場合には、ノイズによって生じたものであると判定した閉領域を規定する座標情報のみを削除することによって、ノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにしてもよい。なお、ノイズ除去部４４は、閉領域判定部４２が各閉領域を規定する座標情報を記憶部４に一時記憶していない場合には、以下のようにして、ノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにしてもよい。即ち、ノイズ除去部４４は、ノイズによって生じたものであると判定した閉領域以外の閉領域、即ちポインティングによって生じた閉領域を規定する座標情報を記憶部４に一時記憶する。一方、ノイズ除去部４４は、ノイズによって生じたものであると判定した閉領域を規定する座標情報を記憶部４に一時記憶しない。
【００２８】
閉領域特徴付与部４６は、各閉領域の特徴を抽出する。つまり、閉領域特徴付与部４６は、指又はペンによる表示部８の接触位置の特徴を示す値である各閉領域の特徴量を取得する。具体的には、閉領域特徴付与部４６は、各閉領域の特徴量として、各閉領域内の輝度情報、各閉領域内の領域面積情報を取得する。
【００２９】
また、閉領域特徴付与部４６は、閉領域1つひとつ対応する要素ωを格納する閉領域集合を生成し、記憶部４に記憶する。より詳細には、閉領域特徴付与部４６は、各要素ωに対して、各閉領域を規定する座標情報、各閉領域の特徴である輝度情報、領域面積情報を付与し、座標情報、輝度情報、領域面積情報が付与された要素ωを格納する閉領域集合を生成する。つまり、閉領域特徴付与部４６は、下記式（１）に示すような、各要素ωが座標情報、輝度情報、領域面積情報を保持するｎ個の要素ωを格納する閉領域集合Ωを生成する。
【００３０】
Ω＝｛ω１，・・・，ωｎ｝ … （１）
【００３１】
図４（ａ）は、閉領域集合Ωに格納された各要素ωが保持する情報の一例である。図４（ａ）に示す閉領域集合Ωは、要素ω０及び要素ω１を格納している。要素ω０は、ある閉領域に関する情報として、当該閉領域の座標情報、輝度ρ「１５６」、領域面積Ｓ「２３」を保持し、要素ω１は、他の閉領域に関する情報として、当該閉領域の座標情報、輝度ρ「２２０」、領域面積Ｓ「７０」を保持している。なお、輝度ρは、特徴ＩＤ「ｊ＝０」によって識別され、領域面積Ｓは特徴ＩＤ「ｊ＝１」によって識別される。
【００３２】
入力種別ソート部５２は、入力種別毎に設定された各特徴の閾値情報に基づいて、特徴毎に、各入力種別を閾値の降順にソートする。上記閾値情報は、閉領域集合Ωに格納された各要素ωの入力種別を閾値判定するための情報であって、入力種別毎に、閾値判定に係る特徴毎の値の範囲が設定された情報である。図４（ｂ）は、上記閾値情報の一例である。図４（ｂ）に示す閾値情報は、入力種別「指」を識別する入力種別ＩＤ「ｉ＝０」に対応付けて輝度ρの閾値「３０≦ρ≦２００」及び領域面積Ｓの閾値「１０≦Ｓ≦３０」を保持し、入力種別「ペン」を識別する入力種別ＩＤ「ｉ＝１」に対応付けて輝度ρの閾値「２００≦ρ≦２２５」及び領域面積Ｓの閾値「３０≦Ｓ≦６０」を保持している。なお、上記閾値情報は、記憶部４に記憶されている。
【００３３】
例えば、図４（ｂ）に示す閾値情報によれば、入力種別ソート部５２は、入力種別「ペン」の輝度ρの閾値が２００≦ρ≦２２５、入力種別「指」の輝度ρの閾値が３０≦ρ≦２００であるため、輝度ρについて、入力種別「ペン」、入力種別「指」の順にソートする。これにより、輝度ρによる閾値判定（以下、「輝度判定」とも称する）は、ペン、指の順に行われる。同様に、入力種別ソート部５２は、入力種別「ペン」の領域面積Ｓの閾値が３０≦Ｓ≦６０、入力種別「指」の領域面積Ｓの閾値が１０≦ρ≦３０であるため、領域面積Ｓについて、入力種別「ペン」、入力種別「指」の順にソートする。これにより、領域面積Ｓによる閾値判定（以下、「領域面積判定」とも称する）は、ペン、指の順に行われる。換言すれば、入力種別ソート部５２は、特徴毎に、閾値判定を行う入力種別の順序を決定する。
【００３４】
閾値判定部５４は、閉領域集合Ωに格納された各要素ωの入力種別を判定する。具体的には、閾値判定部５４は、入力種別ソート部５２によるソート結果の順序に従って、即ち入力種別ソート部５２によって決定された特徴毎の入力種別の順序に従って、各要素ωの入力種別を閾値判定する。例えば、図４（ｂ）に示す閾値情報が記憶部４に記憶されている場合、閾値判定部５４は、入力種別ソート部５２によるソート結果に基づいて、輝度判定、領域面積判定ともに、入力種別「ペン」の閾値判定（以下、「ペン判定」とも称する）、入力種別「指」の閾値判定（以下、「指判定」とも称する）の順に行う。
【００３５】
閾値判定部５４は、ある要素ωについて、ある特徴ｊのある入力種別ｉの閾値判定をして、判定結果が真であったときは、当該要素ωＸを入力種別ｉ、特徴ｊに係る仮のポインティング集合Ωｉ，ｊに格納する要素とする。換言すれば、閾値判定部５４は、特徴ｊ毎、入力種別ｉ毎に閾値判定して、下記式（２）に示すような、入力種別ｉ毎、特徴ｊ毎の仮のポインティング集合Ωｉ，ｊを生成し、記憶部４に記憶する。
【００３６】
Ωｉ，ｊ＝｛ω１，・・・，ωｌ｝ … （２）
【００３７】
例えば、記憶部４に、図４（ａ）に示す閉領域集合Ω、及び、図４（ｂ）に示す閾値情報が記憶されている場合、閾値判定部５４は、輝度判定（ｊ＝０）に基づくペン判定（ｉ＝１）において、入力種別「ペン」の輝度ρの閾値「２００≦ρ≦２２５」に、輝度ρ「１５６」である要素ω０は含まれず、輝度ρ「２２０」である要素ω１は含まれるため、下記式（３）に示すような、要素ω１のみを格納した仮のポインティング集合Ω１，０を生成する。
【００３８】
Ω１，０＝｛ω１｝ … （３）
【００３９】
また、閾値判定部５４は、輝度判定（ｊ＝０）に基づく指判定（ｉ＝０）において、入力種別「指」の輝度ρの閾値「３０≦ρ≦２００」に、輝度ρ「１５６」である要素ω０は含まれ、輝度ρ「２２０」である要素ω１は含まれないため、下記式（４）に示すような、要素ω０のみを格納した仮のポインティング集合Ω０，０を生成する。
【００４０】
Ω０，０＝｛ω０｝ … （４）
【００４１】
また、閾値判定部５４は、領域面積判定（ｊ＝１）に基づくペン判定（ｉ＝１）において、入力種別「ペン」の領域面積Ｓの閾値「３０≦ρ≦６０」に、領域面積Ｓ「２３」である要素ω０は含まれず、領域面積Ｓ「７０」である要素ω１も含まれないため、下記式（５）に示すような、空集合φである仮のポインティング集合Ω１，１を生成する。
【００４２】
Ω１，１＝φ … （５）
【００４３】
また、閾値判定部５４は、領域面積判定（ｊ＝１）に基づく指判定（ｉ＝０）において、入力種別「指」の領域面積Ｓの閾値「１０≦ρ≦３０」に、領域面積Ｓ「２３」である要素ω０は含まれ、領域面積Ｓ「７０」である要素ω１は含まれないため、下記式（６）に示すような、要素ω０のみを格納した仮のポインティング集合Ω０，１を生成する。
【００４４】
Ω０，１＝｛ω０｝ … （６）
【００４５】
なお、各特徴において、順次行う入力種別の閾値判定は、後に行う閾値判定を優先する。換言すれば、入力種別ソート部５２は、要素ωが複数の入力種別に識別された場合に優先させる入力種別の優先順位を予め決定し、閾値判定部５４は、要素ωが複数の入力種別に識別されたときは優先順位に従って識別結果として出力する入力種別を決定する。本実施例の場合、入力種別ソート部５２は各入力種別を閾値の降順にソートするため、閾値が最小である入力種別を優先する。
【００４６】
具体的には、閾値判定部５４は、既に行った一の入力種別の閾値判定において真となったために当該一の入力種別の閾値判定において作成した仮のポインティング集合Ωｉ，ｊに既に格納されている要素ωが、今回行った他の入力種別の閾値判定においても真となった場合には、当該一の入力種別の閾値判定において作成した仮のポインティング集合Ωｉ，ｊから当該要素ωを削除し、今回行った他の入力種別の閾値判定において作成する他の仮のポインティング集合Ωｉ，ｊに当該要素ωを格納する。
【００４７】
例えば、図４（ｂ）において、ペン（ｉ＝１）に対応する領域面積Ｓ（ｊ＝１）の閾値が、「３０≦Ｓ≦６０」ではなく「２０≦Ｓ≦６０」であると仮定した場合、閾値判定部５４は、領域面積判定（ｊ＝１）に基づくペン判定（ｉ＝１）において、入力種別「ペン」の領域面積Ｓの閾値「２０≦ρ≦６０」に、領域面積Ｓ「２３」である要素ω０は含まれ、領域面積Ｓ「７０」である要素ω１は含まれないため、下記式（７）に示すような、要素ω０のみを格納した仮のポインティング集合Ω１，１を生成することになる。
【００４８】
Ω１，１＝｛ω０｝ … （７）
【００４９】
続いて、閾値判定部５４は、領域面積判定（ｊ＝１）に基づく指判定（ｉ＝０）において、入力種別「指」の領域面積Ｓの閾値「１０≦ρ≦３０」に、領域面積Ｓ「２３」である要素ω０は含まれ、領域面積Ｓ「７０」である要素ω１は含まれないため、上記式（７）に示す仮のポインティング集合Ω１，１に格納されている要素ω０を削除し、上記式（５）に示すような仮のポインティング集合Ω１，１に変更するとともに、上記式（６）に示すような、要素ω０のみを格納した仮のポインティング集合Ω０，１を生成する。
【００５０】
論理積計算部５６は、閾値判定部５４によって生成された入力種別ｉ毎、特徴ｊ毎の仮のポインティング集合Ωｉ，ｊに基づいて、入力種別ｉ毎のポインティング集合Ωｉを生成し、記憶部４に記憶する。より詳細には、論理積計算部５６は、ある入力種別ｉに関係する全ての仮のポインティング集合Ωｉ，ｊの論理積を算出し、当該入力種別ｉに係るポインティング集合Ωｉを生成する。即ち、論理積計算部５６は、入力種別ｉ毎に、下記式（８）の論理積を計算し、ポインティング集合Ωｉを生成する。
【００５１】
Ωｉ＝Ωｉ，１∧Ωｉ，２ … （８）
【００５２】
例えば、上記式（３）〜上記式（６）の仮のポインティング集合Ωｉ，ｊが記憶部４に記憶されている場合、論理積計算部５６は、上記式（３）に示す仮のポインティング集合Ω１，０、上記式（５）に示す仮のポインティング集合Ω１，１を用いて、下記式（９）のようにペン判定（ｉ＝１）に係るポインティング集合Ω１を生成し、上記式（４）に示す仮のポインティング集合Ω０，０、上記式（６）に示す仮のポインティング集合Ω０，１を用いて、下記式（１０）のように指判定（ｉ＝０）に係るポインティング集合Ω０を生成する。
【００５３】
Ω１＝Ω１，０∧Ω１，１ … （９）
従って、Ω１＝φとなる。
Ω０＝Ω０，０∧Ω０，１ … （１０）
従って、Ω０＝｛ω０｝となる。
【００５４】
以上のように、演算部６は、個々の閉領域（ノイズによって生じてた閉領域を除く）に対応する各要素の入力種別を識別する（図３参照）。
【００５５】
なお、論理積計算部５６は、上述の如く、ポインティング集合Ωｉを記憶部４に記憶するが、記憶部４への記憶に加えて、表示部８に表示させてもよい。例えば、論理積計算部５６は、ポインティング認識した各位置に、入力種別毎に予め定められた文字、図形、記号などを出力してもよい。
【００５６】
以上のように、入力種別判定部５０（入力種別ソート部５２、閾値判定部５４、論理積計算部５６は、濃淡画像から特定されるポインティングに係る複数の特徴（輝度、領域面積）の値と、記憶部４に記憶されているそれらの閾値とに基づいて、入力種別を識別する。つまり、記憶部４には、接触位置に係る特徴の１つである輝度値に加え、接触位置に係る他の１以上の特徴（本実施形態では領域面積）が入力種別毎に記憶されている。換言すれば、記憶部４には、輝度値を含む接触位置に係る複数の特徴（本実施形態では輝度値及び領域面積）の閾値が入力種別毎に記憶されている。そして、入力識別判定部５０（入力種別識別部）は、画像生成部３（画像取得部）によって取得された画像上の接触位置に係る複数の特徴（本実施形態では輝度値及び領域面積）を示す値と、上記記憶部４に記憶されている複数の特徴（本実施形態では輝度値及び領域面積）の閾値とに基づいて、接触位置における入力種別を識別している。
【００５７】
以下、装置１における入力種別識別処理の動作を説明する。図５及び図６は、装置１における入力種別識別処理の動作例を示すフローチャートである。図５に示すフローチャートは、演算部６が濃淡画像を取得することにより開始する。
【００５８】
図５において、２値化・エッジ処理部は、濃淡画像に細線化処理、エッジ処理を施して、濃淡画像上の全ての対象図形の輪郭を抽出する（ステップＳ１０２）。閉領域判定部４２は、ステップＳ１０２において抽出された全ての輪郭のうち一の輪郭が閉領域であるか否かを判定する（ステップＳ１０４）。閉領域判定部４２は、当該輪郭が閉領域であると判定した場合（ステップＳ１０４：Ｙｅｓ）、ノイズ除去部４４は、当該閉領域の領域面積を算出し、当該閉領域がノイズによって生じた閉領域であるか否かを判定する（ステップＳ１０６）。ノイズ除去部４４は、当該閉領域がノイズによって生じた閉領域であると判定した場合（ステップＳ１０６：Ｙｅｓ）、当該閉領域を以降の処理において閉領域として取り扱わないように除去し（ステップＳ１０８）、ステップＳ１１０に進む。
【００５９】
一方、上記ステップＳ１０４において、閉領域判定部４２は、当該輪郭が閉領域でないと判定した場合（ステップＳ１０４：Ｎｏ）には、上記ステップＳ１０６及び上記ステップＳ１０８を飛ばして、ステップＳ１１０に進む。また、上記ステップＳ１０６において、ノイズ除去部４４は、当該閉領域がノイズによって生じた閉領域でないと判定した場合（ステップＳ１０６：Ｎｏ）、上記ステップＳ１０８を飛ばして、ステップＳ１１０に進む。
【００６０】
ステップＳ１０８、ステップＳ１０４（Ｎｏ）又はステップＳ１０６（Ｎｏ）に続いて、閉領域判定部４２は、ステップＳ１０２において抽出された全ての輪郭に対して、閉領域であるか否かの判定を行ったか否かを判断する（ステップＳ１１０）。閉領域判定部４２は、全ての輪郭に対しては閉領域であるか否かの判定を行っていないと判断した場合（ステップＳ１１０：Ｎｏ）、上記ステップＳ１０４に戻って、未だ判定していない一の輪郭について閉領域であるか否かを判定する（ステップＳ１０４）。即ち、演算部６は、抽出した全ての輪郭について、上記ステップＳ１０４から上記ステップＳ１０８を実行する。
【００６１】
一方、上記ステップＳ１１０において、閉領域判定部４２は、全ての輪郭に対して閉領域であるか否かの判定を行ったと判断した場合（ステップＳ１１０：Ｙｅｓ）、閉領域特徴付与部４６は、各閉領域について特徴情報を付与して閉領域集合Ωを生成し、記憶部４に記憶する（ステップＳ１１２）。
【００６２】
ステップＳ１１２に続いて、入力種別判定部５０は、入力種別識別処理を実行する（ステップＳ２００）。なお、入力種別識別処理の詳細は、図６を用いて説明する。次いで、入力種別判定部５０は、入力種別識別処理による結果であるポインティング集合Ωｉを表示部８に表示させる（Ｓ１１４）。そして、本フローチャートは終了する。
【００６３】
図６において、入力種別ソート部５２は、閾値情報に基づいて、特徴毎に、各入力種別を閾値の降順にソートする（ステップＳ２０２）。
【００６４】
ステップＳ２０２に続いて、入力種別ソート部５２は、ステップＳ１１２において記憶された閉領域集合Ωに格納されている全ての要素ωのうち一の要素ωについて、ステップＳ２０２によるソート順序に従って、閾値情報に基づいて入力種別を判定する（ステップＳ２０４）。ソート順序が「ペン判定→指判定」あった場合、閾値判定部５４は、当該要素ωについて、例えば、「輝度判定に基づくペン判定」→「輝度判定に基づく指判定」→「領域面積判定に基づくペン判定」→「領域面積判定に基づく指判定」の順に従って、若しくは、「領域面積判定に基づくペン判定」→「領域面積判定に基づく指判定」→「輝度判定に基づくペン判定」→「輝度判定に基づく指判定」の順に従って、入力種別を判定する。なお、入力種別ソート部５２は、入力種別を判定の結果、仮のポインティング集合Ωｉ，ｊを生成する。
【００６５】
ステップＳ２０４に続いて、閾値判定部５４は、閉領域集合Ωに格納されている全ての要素ωに対して入力種別を判定したか否かを判断する（ステップＳ２０６）。閾値判定部５４は、全ての要素ωに対しては入力種別を判定していないと判断した場合（ステップＳ２０６：Ｎｏ）、上記ステップＳ２０４に戻って、未だ判定していない一の要素ωについて入力種別を判定する（ステップＳ２０４）。即ち、閾値判定部５４は、閉領域集合Ωに格納されている全ての要素ωについて、入力種別を判定し、入力種別ｉ毎、特徴ｊ毎の仮のポインティング集合Ωｉ，ｊを生成する。
【００６６】
ステップＳ２０６に続いて、論理積計算部５６は、ステップＳ２０４において生成された入力種別ｉ毎、特徴ｊ毎の仮のポインティング集合Ωｉ，ｊの論理積を算出し、入力種別ｉ毎のポインティング集合Ωｉを生成し、記憶部４に記憶する（Ｓ２０８）。そして本フローチャートは終了し、図５のステップＳ１１４に進む。
【００６７】
なお、図５の上記ステップＳ１０４乃至ステップＳ１１２によれば、演算部６は、濃淡画像から抽出された輪郭１つずつ、閉領域であるか判定し（ステップＳ１０４）、ノイズによって生じた閉領域であれば削除し（ステップＳ１０６、ステップＳ１０８）、上記処理（ステップＳ１０４乃至ステップＳ１０８）を全ての輪郭について行った後に（ステップＳ１１０：Ｙｅｓ）、特徴情報を付与（ステップＳ１１２）するという流れで処理するが、他の流れで処理してもよい。例えば、演算部６は、全ての輪郭について閉領域であるか判定し、次いで、全ての閉領域のなかからノイズによって生じた閉領域を削除し、次いで、特徴情報を付与するという流れで処理してもよい。また例えば、演算部６は、輪郭１つずつ、閉領域であるか判定し、ノイズによって生じた閉領域であれば削除し、特徴情報を付与するという流れで処理をしてもよい。
【００６８】
なお、第１の実施形態においては、特徴ｊの数は、輝度（ｊ＝０）、領域面積（ｊ＝１）の２個であるが、特徴ｊの数がｍ個である場合には、論理積計算部５６は、下記式（１１）の論理積を計算し、ポインティング集合Ωｉを生成する。つまり、第１の実施形態においては、装置１は、接触位置に係る複数の特徴として輝度値及び領域面積を用いて、ポインティング集合Ωｉを生成したが、装置１は、輝度値を含む接触位置に係る複数の特徴（即ち、輝度値と、輝度値以外の１以上の特徴）を用いるのであれば、何れの複数の特徴を用いてポインティング集合Ωｉを生成してもよい。例えば、装置１は、輝度値及び色情報を用いてポインティング集合Ωｉを生成してもよいし、輝度値、領域面積及び色情報を用いてポインティング集合Ωｉを生成してもよい。
【００６９】
Ωｉ＝Ωｉ，１∧Ωｉ，２∧ ・・・ ∧Ωｉ，ｍ … （１１）
【００７０】
また、第１の実施形態においては、ある入力種別ｉに関係するｎ個の仮のポインティング集合Ωｉ，１、Ωｉ，２、・・・、Ωｉ，ｎを全部満たす要素ωを入力種別ｉに係るポインティング集合Ωｉに格納したが、ｎ個のうちのｍ個を満たす要素ωも入力種別ｉに係るポインティング集合Ωｉに格納してもよい。つまり、第１の実施形態においては、ある入力種別であると識別するために、当該入力種別のｎ個の特徴を全て具備することを条件しているが、条件を緩和し、ｎ個のうちのｍ個の特徴を具備することを条件としてもよい。
【００７１】
（第２の実施形態）
以下、本発明の第２の実施形態について図面を参照して説明する。図１（ｂ）は、本発明の第２の実施形態による入力種別識別システムを搭載した装置２の構成を示すブロック図である。装置２は、図１（ｂ）に示すように、画像生成部３（本発明の画像取得部に相当）、記憶部５、演算部７及び表示部８を備える。演算部７は、ＣＰＵ、ＧＰＵなどであって、後述する種々の処理を実行する。記憶部５は、メモリ、ハードディスクなどであって、画像生成部３によって撮像された画像、演算部７によって読み書きされる種々の情報を記憶する。演算部７によって読み書きされる種々の情報の一例は、第１の実施形態における装置１の演算部６によって読み書きされる種々の情報の他、動的に生成される移動時用の閾値情報である。なお、画像生成部３、記憶部５及び表示部８については第１の実施形態における装置１と同様である。
【００７２】
また、第２の実施形態においては、閾値は、ポインティングによって生じた閉領域が表示画面上に停止しているときに用いる停止時用の閾値と、ポインティングによって生じた閉領域が表示画面上を移動しているときに用いる移動時用の閾値とが存在する。停止時用の閾値は、図４（ｂ）に示すように、予め記憶部５に記憶されている。移動時用の閾値は、適宜生成される。
【００７３】
図７は、装置２の演算部７の機能ブロック図の一例である。なお、図７では、説明の便宜上、菱形にて情報を示している。図８は、入力種別識別処理のイメージを示す模式図である。演算部７は、図７に示すように、閾値設定部１０（本発明の入力種別識別部に相当）、近傍探索部２０（本発明の入力種別識別部に相当）、２値化・エッジ処理部３０、閉領域抽出部４０（本発明の入力種別識別部に相当）、及び、入力種別判定部５１（本発明の入力種別識別部に相当）を備える。閾値設定部１０は、対象要素抽出部１２、閾値決定部１４を備える。近傍探索部２０は、探索範囲設定部２２及び探索部２４を備える。入力種別判定部５１は、入力種別ソート部５２、閾値判定部５４及び論理積計算部５７を備える。なお、２値化・エッジ処理部３０、閉領域抽出部４０、入力種別ソート部５２及び閾値判定部５４については第１の実施形態における装置１と同様である。
【００７４】
閾値設定部１０及び近傍探索部２０は、ポインティングによって生じた閉領域が停止しているか移動しているかを判断し、ポインティングによって生じた閉領域が移動していると判断した場合した場合、移動していると判断した閉領域に係る特徴を示す値と移動時用の閾値とに基づいて、当該ポインティングの入力種別を識別する。一方、閉領域抽出部４０及び入力種別判定部５１は、停止していると判断された閉領域に係る特徴を示す値と生指示用の閾値とに基づいて、当該ポインティングの入力種別を識別する。以下、詳細に説明する。
【００７５】
対象要素抽出部１２は、記憶部５に記憶されている１時点前（時刻ｔ−１）のポインティング集合Ωｉから、移動時モデルの適用対象とする要素（以下、対象要素とも称する）を抽出する。なお、対象要素抽出部１２による抽出時において、記憶部５には、１時点前のポインティング集合Ωｉが記憶されている。１時点前のポインティング集合Ωｉとは、前回、入力種別を識別したときに生成されたポインティング集合Ωｉである。移動時モデルには、移動しているポインティングの移動後の状態（例えば、輝度値、領域面積、座標）を推定（表現）するための推定モデル、及び、移動後のポインティングに対して適用する移動時用の閾値情報を含まれる。但し、当該移動時用の閾値情報は、上記推定モデルによる推定結果、各要素の入力種別などに応じて動的に生成される。
【００７６】
第２の実施形態のポインティング集合Ωｉに格納されている各要素ωは、図４（ｃ）に示すように、状態フラグ、識別された入力種別、中心の座標情報、輪郭の座標情報、輝度ρ、領域面積Ｓを保持する。状態フラグ「０」は移動時モデルが未適用である旨を示し、状態フラグ「１」は移動時モデルが適用済みである旨を示す。なお、第１の実施形態のポインティング集合Ωｉに格納されている各要素ωは、状態フラグを保持しなくてもよい。
【００７７】
また、対象要素抽出部１２による抽出時において、状態フラグ「０」である要素ωは、移動時モデルが未適用である要素であって、当該要素ωが、１時点前において登録された要素、即ち１時点前にて新規に認識されたポインティングに係る要素である。一方、対象要素抽出部１２による抽出時において、状態フラグ「１」である要素ωは、当該要素ωが、１時点前よりも前の何れかの時点において新規に登録された要素、１時点前よりも前の何れかの時点にて新規に認識されたポインティングに係る要素である。
【００７８】
具体的には、対象要素抽出部１２は、ポインティング集合Ωｉに格納されている各要素ωの状態フラグを参照し、移動時モデルが未適用である要素ωを対象要素として抽出する。つまり、対象要素抽出部１２は、１時点前において新規に認識されたポインティングに係る要素ωを対象要素として抽出する。対象要素抽出部１２は、対象要素からなる集合を対象ポインティング集合として記憶部５に記憶する。
【００７９】
閾値決定部１４は、対象要素抽出部１２によって対象要素が抽出された場合、各対象要素に設定する移動時用の閾値を決定する。つまり、閾値決定部１４は、移動時用の閾値を各対象要素に設定する。
【００８０】
具体的には、閾値決定部１４は、一の要素ωにおける入力種別の識別結果を得た後に当該要素ωが移動していると判断したときは、当該識別結果に応じた移動時用の閾値を生成する。例えば、閾値決定部１４は、下記式（１２）に示す移動時用の輝度ρの閾値を各対象要素に設定する。
【００８１】
ρ’ｍｉｎ≦ρ≦（ρ’ｍｉｎ＋ρ’ｍａｘ）／２ … （１２）
【００８２】
なお、上記式（１２）において、ρ’ｍｉｎは、現時点（時刻ｔ）における最小輝度（輝度の最小値）である（図８（ａ）参照）。但し、ρ’ｍｉｎは、推定値であって、当該対象要素の入力種別、及び、１時点前の最小輝度であるρｍｉｎに基づいて算出される。例えば、閾値決定部１４は、当該対象要素の入力種別が指である場合、下記式（１３）に従ってρ’ｍｉｎを算出し、当該対象要素の入力種別がペンである場合、下記式（１４）に従ってρ’ｍｉｎを算出する。また、ρ’ｍａｘは、現時点における最大輝度（輝度の最大値）である（図８（ａ）参照）。但し、ρ’ｍａｘは、推定値であって、当該対象要素の入力種別、及び、１時点前の最大輝度であるρｍａｘに基づいて算出される。例えば、閾値決定部１４は、当該対象要素の入力種別が指である場合、下記式（１５）に従ってρ’ｍａｘを算出し、当該対象要素の入力種別がペンである場合、下記式（１６）に従ってρ’ｍａｘを算出する。
【００８３】
ρ’ｍｉｎ＝（１／１０）×ρｍｉｎ … （１３）
ρ’ｍｉｎ＝ ρｍｉｎ … （１４）
ρ’ｍａｘ＝（２／３）×ρｍａｘ … （１５）
ρ’ｍａｘ＝ ρｍａｘ … （１６）
【００８４】
また、例えば、閾値決定部１４は、下記式（１７）に示す移動時用の領域面積Ｓの閾値を各対象要素に設定する。
【００８５】
π｛（Ｘ０−Ｘ’ｎ−α）２＋（Ｙ０−Ｙ’ｎ−α）２｝≦ Ｓ ≦ π（Ｘ０−Ｘ’）２＋（Ｙ０−Ｙ’ｎ）２｝ …（１７）
【００８６】
上記式（１７）において、（Ｘ０，Ｙ０）は１時点前における中心座標、（Ｘ’ｎ，Ｙ’ｎ）は現時点における輪郭の座標である（図８（ａ）参照）。また、αは定数である。また、図８（ａ）において、（Ｘｎ，Ｙｎ）は１時点前における輪郭の座標、距離ｌは１時点前における中心座標（Ｘ０，Ｙ０）から１時点前における輪郭の座標（Ｘｎ，Ｙｎ）までの距離である。なお、上記式（１７）による移動時用の領域面積Ｓの閾値の算出においては、現時点における中心座標（Ｘ’０，Ｙ’０）の値として、１時点前における中心座標（Ｘ０，Ｙ０）の値を用いるため、図８（ａ）では、現時点における中心座標として中心座標（Ｘ０，Ｙ０）を用いている。
上記式（１７）の（Ｘ’ｎ，Ｙ’ｎ）は、上記距離ｌに基づいて算出される。第２の実施形態においては、現時点における中心座標（Ｘ’０，Ｙ’０）から現時点における輪郭の座標（Ｘ’ｎ，Ｙ’ｎ）までの距離、即ち、図８（ａ）に示す、中心座標（Ｘ０，Ｙ０）から輪郭の座標（Ｘ’ｎ，Ｙ’ｎ）までの距離が、上記距離ｌの３分の１程度になるように、（Ｘ’ｎ，Ｙ’ｎ）を決定する。
これにより、上記式（１７）において、（Ｘ０，Ｙ０）、（Ｘ’ｎ，Ｙ’ｎ）、αの全てが定まるため、移動時用の領域面積Ｓの範囲（閾値）が確定する。
【００８７】
以上のように、閾値設定部１０は、未だ移動時モデルを適用していない要素ωについて移動時モデルを適用する。つまり、閾値設定部１０は、１時点前において新規に認識されたポインティングに対し、移動しているポインティングの移動後の状態を表現（推定）するための推定モデルを適用し、当該要素が移動中にどのような状態（例えば、輝度値、領域面積、座標）に変化するかを上記式（１３）〜（１６）のように推定し、推定した状態を反映させた閾値を当該要素に上記式（１２）（１７）のように設定する。換言すれば、閾値設定部１０は、前回（１時点前）の入力種別の識別結果に基づいて、今回（現時点）の入力種別の識別に用いる移動時用の閾値を設定する。
【００８８】
なお、閾値設定部１０の処理後においては、移動時モデルは、１時点前のポインティング集合Ωｉに格納されている全ての要素ωについて適用済みである。閾値設定部１０は、１時点前のポインティング集合Ωｉに格納されている要素ωのうち移動時モデルの未適用の要素ωについて、移動時モデルを適用したからである。
【００８９】
探索範囲設定部２２は、記憶部５に記憶されている１時点前のポインティング集合Ωｉに格納されている各要素ωが、現時点においても存在しているか否かを判定するために、現時点に取得した濃淡画像における探索範囲を設定する。なお、第２の実施形態においては、１時点前において認識されたポインティングは、現時点においてもその近傍にあると考え、濃淡画像全体を探索範囲とせず、その近傍を探索範囲として設定する。例えば、図８（ｂ）に示すように設定する。図８（ｂ）に示す例において、探索範囲設定部２２は、１時点前において認識されたポインティング、即ち記憶部５に記憶されている１時点前のポインティング集合Ωｉに格納されている要素ωの中心座標から予め定めた半径ｒの円内を探索範囲としている。
【００９０】
探索部２４は、濃淡画像を探索し、１時点前のポインティング集合Ωｉに格納されている各要素ωが、現時点において存在しているか否かを判定する。当該存在しているか否かを判定は、探索範囲設定部２２において設定された探索範囲を用いる範囲判定と、閾値決定部１４によって設定された移動時用の閾値を用いる閾値判定から構成されている。探索部２４は、以下に説明するように、範囲判定、閾値判定の順に行う。
【００９１】
まず、探索部２４は、濃淡画像全体からポインティングを探索する。即ち、探索部２４は、実施形態１における装置１の閉領域判定部４２及びノイズ除去部４４の如く、ポインティングによって生じた閉領域を探索する。
【００９２】
探索部２４は、探索した個々のポインティングに対し、１時点前のポインティング集合Ωｉに格納されている各要素ωに係る範囲判定を行う。具体的には、探索部２４は、探索したポインティングが、範囲判定に係る条件を満たすか否かを判定する。例えば、探索部２４は、下記式（１８）に示す範囲判定に係る条件を満たすか否かを判定する。但し、（Ｘｔ，Ｙｔ）は探索したポインティングの中心座標、（Ｘ０，Ｙ０）は要素ωの中心座標、ｒは要素ωの中心座標（Ｘ０，Ｙ０）からの距離である。
【００９３】
（Ｘｔ−Ｘ０）２＋（Ｙｔ−Ｙ０）２≦ ｒ２ … （１８）
【００９４】
探索部２４は、ある要素ωについて範囲判定の結果が真であったポインティングに対し、当該要素ωの移動時用の閾値を用いて閾値判定を行う。例えば、探索部２４は、上記範囲判定に係る条件が真になる中心座標（Ｘｔ，Ｙｔ）とある要素ωからの距離ｒの組が存在した場合には、当該ポインティングに対して、当該要素ωの移動時用の閾値を用いて閾値判定を行う。
【００９５】
探索部２４は、ある要素ωの移動時用の閾値を用いた閾値判定の結果が真であったポインティングが存在した場合、当該要素ωが現時点においても存在していると判定する。つまり、探索部２４は、１時点前に存在していたある要素ωから範囲判定が真になる距離内に一のポインティングが存在し、かつ、当該一のポインティングが当該要素ωの移動時用の閾値を満たす場合、当該要素ωの現時点におけるポインティングは、当該一のポインティングであると推定し、当該要素ωが現時点においても存在していると判定する。
【００９６】
なお、探索部２４は、上記移動時用の閾値を用いた閾値判定においては、実施形態１における装置１の論理積計算部５６による論理積計算の如く全ての特徴における条件を満たした場合に真とするのではなく、一定数以上の条件を満たした場合に真としてもよい。
【００９７】
閾値判定に続いて、探索部２４は、現時点のポインティング集合Ωｉを生成し、記憶部５に記憶する。具体的には、探索部２４は、１時点前に存在していた要素ωであって現時点においても存在している判定した要素ωから構成される現時点のポインティング集合Ωｉを生成し、記憶部５に記憶する。
【００９８】
例えば、探索部２４は、入力種別「指」と識別されている１時点前の要素ωが現時点においても存在している判定した場合、状態フラグ「１」、入力種別「指」、中心座標（Ｘｔ，Ｙｔ）、輪郭の座標（Ｘｎ，Ｙｎ）、輝度ρ、領域面積Ｓを保持する要素ωを現時点のポインティング集合Ωｉの要素とする。なお、各要素ωは何れも１時点前に存在していたものであるため、各要素ωの状態フラグは「１」となる。また、中心座標（Ｘｔ，Ｙｔ）は、範囲判定において用いたものである。輝度ρ、領域面積Ｓは、移動時用の閾値を用いた閾値判定に用いたものである。
【００９９】
また、探索部２４は、濃淡画像において、現時点のポインティング集合Ωｉに格納した要素ωに対応する閉領域を以降の処理において閉領域として取り扱わないようにする。例えば、実施形態１における装置１のノイズ除去部４４によるノイズによって生じたものであると判定した閉領域を以降の処理において閉領域として取り扱わないようにする方法と同様の方法によって、現時点のポインティング集合Ωｉに格納した要素ωに対応する閉領域を以降の処理において閉領域として取り扱わないようにする。
【０１００】
また、探索部２４は、濃淡画像において、範囲判定及び閾値判定を満たさなかった閉領域、即ち、現時点において新規に存在したと推測される閉領域について、閉領域集合Ωに格納してもよい。範囲判定及び閾値判定を満たさなかった閉領域について、閉領域集合Ωに格納する場合、上記と同様の方法によって、閉領域集合Ωに格納済みの閉領域を以降の処理において閉領域として取り扱わないようにする。
【０１０１】
以上のように、近傍探索部２０は、表示部８上においてポインティングが移動している場合に、移動していると判断した要素ωの特徴を示す値と、移動時用の閾値とに基づいて、入力種別を識別する。
【０１０２】
２値化・エッジ処理部３０、閉領域抽出部４０、入力種別ソート部５２及び閾値判定部５４は、上述の如く、第１の実施形態と同様であるため、説明を省略する。
【０１０３】
論理積計算部５７は、探索部２４によって生成されたポインティング集合Ωｉと、閾値判定部５４によって生成された入力種別ｉ毎、特徴ｊ毎の仮のポインティング集合Ωｉ，ｊに基づいて、入力種別ｉ毎のポインティング集合Ωｉを生成する。具体的には、論理積計算部５７は、第１の実施形態における装置１の論理積計算部５６と同様、閾値判定部５４によって生成された仮のポインティング集合Ωｉ，ｊに基づいて、ポインティング集合Ωｉを生成する。なお、論理積計算部５７は、仮のポインティング集合Ωｉ，ｊに基づいて生成するポインティング集合Ωｉに格納する各要素ωの状態フラグは「０」にする。そして、論理積計算部５７は、仮のポインティング集合Ωｉ，ｊに基づいて生成したポインティング集合Ωｉと、探索部２４によって生成されたポインティング集合Ωｉとを統合し、統合したポインティング集合Ωｉを記憶部５に記憶する。換言すれば、論理積計算部５７は、記憶部５に記憶されている探索部２４によって生成されたポインティング集合Ωｉに、仮のポインティング集合Ωｉ，ｊに基づいて計算した要素ωを追加する。
【０１０４】
以下、装置２における入力種別識別処理の動作を説明する。図９は、装置２における入力種別識別処理の動作例を示すフローチャートである。
【０１０５】
図９において、対象要素抽出部１２は、移動時モデルの適用の要否を判断する（ステップ１０）。具体的には、対象要素抽出部１２は、記憶部５に記憶されている１時点前のポインティング集合Ωｉに状態フラグ「０」の要素ωが少なくとも１つ格納されている場合、移動時モデルの適用を要すると判断し、何も格納されていない場合は要しないと判断する。換言すれば、対象要素抽出部１２は、１時点前のポインティング集合Ωｉから、移動時モデルの適用対象である対象要素を少なくとも１つ抽出できた場合、移動時モデルの適用を要すると判断し、何も抽出できなかった場合は要しないと判断する。
【０１０６】
ステップ１０において、対象要素抽出部１２は、移動時モデルの適用を要すると判断した場合（ステップ１０：Ｙｅｓ）、閾値決定部１４は、対象要素抽出部１２によって抽出された各対象要素に移動時用の閾値を設定する（ステップＳ１２）。
【０１０７】
ステップＳ１２に続いて、探索範囲設定部２２は、現時点に取得した濃淡画像における探索範囲を設定する（ステップＳ１４）。
【０１０８】
ステップＳ１４に続いて、探索部２４は、範囲判定及び閾値判定を行い、何れもが真であったポインティングが存在しているか否かを判断する（ステップＳ１６）。換言すれば、探索部２４は、１時点前に存在していた要素ωのうち少なくとも１つが現時点においても存在しているか否かを判断する。
【０１０９】
ステップ１６において、探索部２４は、何れもが真であったポインティングが存在していると判断した場合（ステップＳ１６：Ｙｅｓ）、現時点のポインティング集合Ωｉを生成し、記憶部５に記憶する（ステップＳ１８）。次いで、２値化、エッジ処理部３０、閉領域抽出部４０、入力種別判定部５０は、停止時における識別処理を実行し（ステップＳ１００）、本フローチャートは終了する。なお、停止時における識別処理は、論理積計算部５７が、探索部２４によって生成されたポインティング集合Ωｉと、閾値判定部５４によって生成された仮のポインティング集合Ωｉ，ｊに基づいて、最終的なポインティング集合Ωｉを生成する点を除き、図５及び図６に示した処理（即ち、ステップＳ１０２乃至ステップＳ１１４、及び、ステップＳ２０２乃至ステップＳ２０８）と同様であるため説明を省略する。
【０１１０】
一方、ステップ１０において、対象要素抽出部１２は、移動時モデルの適用を要しないと判断した場合（ステップ１０：Ｎｏ）、上記ステップＳ１２乃至ステップＳ１８を飛ばして、ステップＳ１００に進む。また、ステップ１６において、探索部２４は、何れもが真であったポインティングが存在していないと判断した場合（ステップＳ１６：Ｎｏ）、上記ステップＳ１８を飛ばして、ステップＳ１００に進む。
【０１１１】
以上、第１の実施形態、又は、第２の実施形態によれば、タッチディスプレイ環境において、特段の操作を要することなくポインティング自体によって、何によってポインティングされたかを識別することができる。また、入力種別と入力種別毎に実行させる所望の処理とを予め対応付けておけば、ポインティングしたときに識別される入力種別に応じた所望の処理を自動的に実行させることができる。即ち、特段の操作を要することなくポインティング自体によって入力種別に応じた所望の処理を実行させることができる。例えば、ＦＴＩＲ環境上でＧＩＳ等の地図アプリケーションを操作する場合において、従来であればペンによる書込み、指タッチによる地図移動を行おうとしても、ペン、指タッチの入力種別の識別ができなかったため、ペンモード、指タッチモードというような入力モードの切替操作をしなければ、ペンであれば書込み、指タッチであれば地図操作というように、それぞれに応じた処理ができず不便であった。本実施形態によれば、入力種別の識別が入力自体でできるため、上記切替操作などの明示的な操作をすることなく、それぞれの応じた処理をすることができるため便利である。
【０１１２】
また、第２の実施形態によれば、トラッキング中のポインティング、即ち移動時のポインティングについて、その特性を考慮し、精度よく、何によってポインティングされたかを識別することができる。移動時の閉領域の特徴の特性は、停止時の閉領域の特徴の特性と異なる。例えば、移動時の指によるポインティングでは、停止時の指によるポインティングに比べ、ディスプレイに触る面積が少なくなるため、両者の領域面積の特性は異なる。従って、停止時のポインティングの特徴の特性を、移動時のポインティングにおける入力種別の識別に適用した場合、入力種別の識別精度の低下、若しくは、識別が不能になる恐れがある。
第２の実施形態では、移動中の個々のポインティングについて、既に識別されている入力種別を反映させた移動時用の閾値を動的に生成し、移動中の個々のポインティングに設定するため、移動時のポインティングについて、精度よく入力種別を識別することができる。
【０１１３】
また、第２の実施形態においては、既に移動時モデルを適用した要素ωについては、再度、移動時モデルを適用しない態様を説明したが、既に移動時モデルを適用した要素ωについても、再度、移動時モデルを適用する態様としてもよい。例えば、即ち入力種別を識別する都度、移動時モデルを適用してもよいし、何回かおきに、移動時モデルを適用してもよい。なお、毎回、移動時モデルを適用する場合には、状態フラグが不要になる。つまり、毎回、移動時モデルを適用する場合、対象要素抽出部１２は不要であり、また、閾値決定部１４は、対象ポインティング集合ではなくポインティング集合Ωｉに格納されている全ての要素ωを対象に、毎回、移動時用の閾値を決定する。
【０１１４】
なお、第１の実施形態及び第２の実施形態においては、ポインティングによって生じた閉領域の特徴として輝度及び領域面積を用いて入力種別を識別する態様を説明したが、ポインティングによって生じた閉領域の特徴として輝度のみを用いて入力種別を識別してもよい。つまり、装置１及び装置２は、輝度値を含む接触位置に係る複数の特徴（即ち、輝度値と、輝度値以外の１以上の特徴）を用いて入力種別を識別したが、装置１及び装置２は、輝度値のみを用いて入力種別を識別してもよい。なお、輝度値のみを用いて入力種別を識別する場合、つまり、ポインティングによって生じた閉領域の特徴として輝度のみを用いて入力種別を識別する場合には、輝度判定（ｊ＝０）に基づくペン判定（ｉ＝１）、及び、輝度判定（ｊ＝０）に基づく指判定（ｉ＝０）のみとなるため、仮のポインティング集合Ωｉ，ｊの生成を要しない。
【０１１５】
また、第１の実施形態及び第２の実施形態においては、表示部８は、マルチタッチディスプレイであると説明したが、表示部８は、複数の点に同時に触れて操作可能なタッチディスプレイでなくてもよい。なお、表示部８が1点のみを同時に触れて操作するタッチディスプレイの場合には、各時点において生成される閉領域集合Ωに格納する要素ωは、1つなる。
【０１１６】
なお、第１の実施形態の装置１及び第２の実施形態の装置２は、特に限定されるものではないが、例えば、携帯電話機、ゲーム機、楽曲再生器、地図情報等の情報を表示する装置（例えば、カーナビゲーションシステムに係る装置）などが該当する。
【０１１７】
なお、本発明の一実施形態による装置１又は装置２の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の一実施形態による装置１又は装置２の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１１８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１１９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１２０】
１、２…装置 ３…画像生成部 ４…記憶部 ５、６…記憶部 ７…演算部 ８…表示部
１０…閾値設定部 １２…対象要素抽出部 １４…閾値決定部 ２０…近傍探索部 ２２…探索範囲設定部 ２４…探索部 ３０…２値化・エッジ処理部 ４０…閉領域抽出部 ４２…閉領域判定部 ４４…ノイズ除去部 ４６…閉領域特徴付与部 ５０、５１…入力種別判定部 ５２…入力種別ソート部 ５４…閾値判定部 ５６、５７…論理積計算部
【特許請求の範囲】
【請求項１】
ユーザによる入力として人体の一部又は物によって表示画面に接触したときの前記表示画面上の接触位置を示す画像を取得する画像取得部と、
前記表示画面に接触した人体の一部又は物の種類を示す入力種別毎に、前記画像上の前記接触位置に係る特徴である輝度値の閾値を記憶する記憶部と、
前記画像取得部によって取得された前記画像上の前記接触位置に係る前記輝度値と、前記記憶部に記憶されている前記閾値とに基づいて、前記接触位置における前記入力種別を識別する入力種別識別部と
を備えることを特徴とする入力種別識別システム。
【請求項２】
前記記憶部は、
前記輝度値を含む前記接触位置に係る複数の特徴の閾値を前記入力種別毎に記憶し、
前記入力種別識別部は、
前記画像取得部によって取得された前記画像上の前記接触位置に係る複数の特徴を示す値と、前記記憶部に記憶されている前記複数の特徴の閾値とに基づいて、前記接触位置における前記入力種別を識別する
ことを特徴とする請求項１に記載の入力種別識別システム
【請求項３】
前記入力種別識別部は、
前記接触位置が複数の前記入力種別に識別された場合に優先させる前記入力種別の優先順位を予め決定し、前記接触位置が複数の前記入力種別に識別されたときは前記優先順位に従って識別結果として出力する一の前記入力種別を決定する
ことを特徴とする請求項２に記載の入力種別識別システム。
【請求項４】
前記閾値は、
前記接触位置が前記表示画面上に停止しているときに用いる停止時用の閾値と、前記接触位置が前記表示画面上を移動しているときに用いる移動時用の閾値とが存在し、
前記入力種別識別部は、
前記表示画面上において前記接触位置が停止しているか移動しているかを判断し、前記接触位置が停止していると判断した場合した場合、停止していると判断した前記接触位置に係る特徴を示す値と前記停止時用の閾値とに基づいて、前記接触位置における前記入力種別を識別し、前記接触位置が移動していると判断した場合した場合、移動していると判断した前記接触位置に係る特徴を示す値と前記移動時用の閾値とに基づいて、前記接触位置における前記入力種別を識別する
ことを特徴とする請求項１から請求項３の何れか１項に記載の入力種別識別システム
【請求項５】
前記入力種別識別部は、
一の前記接触位置における前記入力種別の識別結果を得た後に当該接触位置が移動していると判断したときは、当該識別結果に応じた前記移動時用の閾値を生成するとともに、移動していると判断した当該接触位置に係る特徴を示す値と、前記生成した前記移動時用の閾値に基づいて、当該接触位置における前記入力種別を識別する
ことを特徴とする請求項４に記載の入力種別識別システム。
【請求項６】
ユーザによる入力として表示画面に接触した人体の一部又は物の種類を示す入力種別を識別する入力種別識別装置における入力種別識別方法であって、
前記入力種別識別装置の画像取得部が、人体の一部又は物による前記表示画面上の接触位置を示す画像を取得し、
前記入力種別識別装置の入力種別識別部が、前記画像取得部によって取得された前記画像上の前記接触位置の輝度値と、前記入力種別毎に予め記憶されている前記輝度値の閾値とに基づいて、前記接触位置における前記入力種別を識別することを特徴とする入力種別識別方法。
【請求項７】
ユーザによる入力として表示画面に接触した人体の一部又は物の種類を示す入力種別を識別する入力種別識別装置のコンピュータに、
人体の一部又は物による前記表示画面上の接触位置を示す画像を取得する画像取得ステップと、
前記画像取得ステップによって取得された前記画像上の前記接触位置の輝度値と、前記入力種別毎に予め記憶されている前記輝度値の閾値とに基づいて、前記接触位置における前記入力種別を識別する入力種別取得ステップと
を実行させることを特徴とするプログラム。
【請求項１】
ユーザによる入力として人体の一部又は物によって表示画面に接触したときの前記表示画面上の接触位置を示す画像を取得する画像取得部と、
前記表示画面に接触した人体の一部又は物の種類を示す入力種別毎に、前記画像上の前記接触位置に係る特徴である輝度値の閾値を記憶する記憶部と、
前記画像取得部によって取得された前記画像上の前記接触位置に係る前記輝度値と、前記記憶部に記憶されている前記閾値とに基づいて、前記接触位置における前記入力種別を識別する入力種別識別部と
を備えることを特徴とする入力種別識別システム。
【請求項２】
前記記憶部は、
前記輝度値を含む前記接触位置に係る複数の特徴の閾値を前記入力種別毎に記憶し、
前記入力種別識別部は、
前記画像取得部によって取得された前記画像上の前記接触位置に係る複数の特徴を示す値と、前記記憶部に記憶されている前記複数の特徴の閾値とに基づいて、前記接触位置における前記入力種別を識別する
ことを特徴とする請求項１に記載の入力種別識別システム
【請求項３】
前記入力種別識別部は、
前記接触位置が複数の前記入力種別に識別された場合に優先させる前記入力種別の優先順位を予め決定し、前記接触位置が複数の前記入力種別に識別されたときは前記優先順位に従って識別結果として出力する一の前記入力種別を決定する
ことを特徴とする請求項２に記載の入力種別識別システム。
【請求項４】
前記閾値は、
前記接触位置が前記表示画面上に停止しているときに用いる停止時用の閾値と、前記接触位置が前記表示画面上を移動しているときに用いる移動時用の閾値とが存在し、
前記入力種別識別部は、
前記表示画面上において前記接触位置が停止しているか移動しているかを判断し、前記接触位置が停止していると判断した場合した場合、停止していると判断した前記接触位置に係る特徴を示す値と前記停止時用の閾値とに基づいて、前記接触位置における前記入力種別を識別し、前記接触位置が移動していると判断した場合した場合、移動していると判断した前記接触位置に係る特徴を示す値と前記移動時用の閾値とに基づいて、前記接触位置における前記入力種別を識別する
ことを特徴とする請求項１から請求項３の何れか１項に記載の入力種別識別システム
【請求項５】
前記入力種別識別部は、
一の前記接触位置における前記入力種別の識別結果を得た後に当該接触位置が移動していると判断したときは、当該識別結果に応じた前記移動時用の閾値を生成するとともに、移動していると判断した当該接触位置に係る特徴を示す値と、前記生成した前記移動時用の閾値に基づいて、当該接触位置における前記入力種別を識別する
ことを特徴とする請求項４に記載の入力種別識別システム。
【請求項６】
ユーザによる入力として表示画面に接触した人体の一部又は物の種類を示す入力種別を識別する入力種別識別装置における入力種別識別方法であって、
前記入力種別識別装置の画像取得部が、人体の一部又は物による前記表示画面上の接触位置を示す画像を取得し、
前記入力種別識別装置の入力種別識別部が、前記画像取得部によって取得された前記画像上の前記接触位置の輝度値と、前記入力種別毎に予め記憶されている前記輝度値の閾値とに基づいて、前記接触位置における前記入力種別を識別することを特徴とする入力種別識別方法。
【請求項７】
ユーザによる入力として表示画面に接触した人体の一部又は物の種類を示す入力種別を識別する入力種別識別装置のコンピュータに、
人体の一部又は物による前記表示画面上の接触位置を示す画像を取得する画像取得ステップと、
前記画像取得ステップによって取得された前記画像上の前記接触位置の輝度値と、前記入力種別毎に予め記憶されている前記輝度値の閾値とに基づいて、前記接触位置における前記入力種別を識別する入力種別取得ステップと
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−５３５５１（Ｐ２０１２−５３５５１Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９４００９（Ｐ２０１０−１９４００９）
【出願日】平成２２年８月３１日（２０１０．８．３１）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年８月３１日（２０１０．８．３１）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
[ Back to top ]