手指ジェスチャ検出装置
【課題】安価且つ高速に手指の状態を検出することが可能な手指ジェスチャ検出装置を提供する。
【解決手段】手指ジェスチャ検出装置は、光源１１，１２と、１つのカメラ２０と、画像認識部３０とからなる。光源１１，１２は、検出面１に入力される手指２に対して複数の位置から光を照射し、複数の照射光にそれぞれ対応する手指の複数の影の像２１，２２を検出面１上に形成するものである。１つのカメラ２０は、検出面１に対して垂直方向に離れた位置に配置され、複数の光源１１，１２により形成される複数の影の像２１，２２及び手指２の像を撮像するものである。画像認識部３０は、１つのカメラ２０により撮像される複数の影の像２１，２２及び手指２の像を認識し、影の像２１，２２及び手指２の像の状態により検出面１に入力される手指２の状態を検出する。
【解決手段】手指ジェスチャ検出装置は、光源１１，１２と、１つのカメラ２０と、画像認識部３０とからなる。光源１１，１２は、検出面１に入力される手指２に対して複数の位置から光を照射し、複数の照射光にそれぞれ対応する手指の複数の影の像２１，２２を検出面１上に形成するものである。１つのカメラ２０は、検出面１に対して垂直方向に離れた位置に配置され、複数の光源１１，１２により形成される複数の影の像２１，２２及び手指２の像を撮像するものである。画像認識部３０は、１つのカメラ２０により撮像される複数の影の像２１，２２及び手指２の像を認識し、影の像２１，２２及び手指２の像の状態により検出面１に入力される手指２の状態を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は手指ジェスチャ検出装置に関し、特に、カメラにより撮像した像を用いて手や指の状態を３次元で検出する手指ジェスチャ検出装置に関する。
【背景技術】
【０００２】
カメラにより撮像した像を用いて手や指の状態を検出する装置が種々開発されている。例えば、特許文献１や特許文献２は、複数台のカメラを用いて対象物を撮像し、実像から手指の像のみを抽出した上で、パターンニングにより指示位置座標や操作を検出するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１９１８６８号公報
【特許文献２】特開２００９−１３４７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１や特許文献２による手指ジェスチャ検出装置によると、手指の像のみを抽出する必要があるため、手指以外の部分を除去する処理が必要であった。したがって、この画像処理工程の分だけ処理時間が余計にかかる場合があった。また、検出面から手指までの高さは、カメラを最低２つ用いることで検出するものであったため、他のデバイスと比べて比較的高価なカメラモジュールを複数用いる必要があり、コストが高くなっていた。
【０００５】
本発明は、斯かる実情に鑑み、安価且つ高速に手指の状態を検出することが可能な手指ジェスチャ検出装置を提供しようとするものである。
【課題を解決するための手段】
【０００６】
上述した本発明の目的を達成するために、本発明による手指ジェスチャ検出装置は、検出面に入力される手指に対して複数の位置から光を照射し、複数の照射光にそれぞれ対応する手指の複数の影の像を検出面上に形成する複数の光源と、検出面に対して垂直方向に離れた位置に配置され、複数の光源により形成される複数の影の像及び手指像を撮像可能な１つのカメラと、１つのカメラにより撮像される複数の影の像及び手指像を認識し、影の像及び手指像の状態により検出面に入力される手指の状態を検出する画像認識部と、を具備するものである。
【０００７】
ここで、複数の光源は非可視光を照射し、カメラは光源に対応する非可視光を透過する透過フィルタを有するものであれば良い。
【０００８】
また、１つのカメラは所定のフレームレートで撮像し、複数の光源は、カメラのフレームレートに同期させてフレーム毎に異なる光源を選択して光を照射するものであっても良い。
【０００９】
また、画像認識部は、カメラにより撮像される影の像及び手指像から不変特徴量の抽出を行い、手指の状態を検出するものであっても良い。
【００１０】
さらに、画像認識部は、カメラにより撮像される影の像及び手指像から分離度フィルタを用いて手指の先端の位置を認識するものであっても良い。
【００１１】
また、画像認識部は、カメラにより撮像される影の像のみを抽出するように、フレーム毎に異なる光源を選択して照射される照射光により撮像される画像の差分を取ることで手指像を消去するものであっても良い。
【発明の効果】
【００１２】
本発明の手指ジェスチャ検出装置には、安価且つ高速に手指の状態を検出することが可能であるという利点がある。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の手指ジェスチャ検出装置を説明するための概略斜視図である。
【図２】図２は、本発明の手指ジェスチャ検出装置における手指像と影の像の関係を説明するための概略平面図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態を図示例と共に説明する。図１は、本発明の手指ジェスチャ検出装置を説明するための概略斜視図である。図示の通り、本発明の手指ジェスチャ検出装置は、複数の光源１１，１２と、１つのカメラ２０と、画像認識部３０とから主に構成されている。本発明の手指ジェスチャ検出装置は、検出面１に入力される手や指２の状態を検出するものである。手指２の状態は、動的にリアルタイムに検出しても良いし、ある一瞬を切り出して検出しても良い。本発明の手指ジェスチャ検出装置は、手や指の状態を３次元で検出できることから、例えばマンマシンインタフェースとして用いることが可能であり、画像操作やページめくり操作等、種々の動作を自然に行うことができる。
【００１５】
複数の光源１１，１２は、検出面１に入力される手指２に対して複数の位置から光を照射し、複数の照射光にそれぞれ対応する手指の複数の影の像２１，２２を検出面１上に形成するものである。例えば、複数の光源１１，１２は、赤外光等の非可視光を照射する赤外ＬＥＤ等からなれば良い。このとき、後に詳説するカメラ２０は、光源に対応する非可視光を透過する透過フィルタ等が設けられることにより、検出面１上に形成される手指の影の像２１，２２や手指２の像が鮮明に撮像される。非可視光とすることで、例えば検出面１上に置かれた操作対象物に対して光を照射しても、操作者の邪魔になることが無くなる。
【００１６】
１つのカメラ２０は、検出面１に対して垂直方向に離れた位置に配置され、複数の光源１１，１２により形成される複数の影の像及び手指像を撮像可能なものである。カメラ２０は、例えばＣＣＤカメラやＣＭＯＳカメラ等、撮像された像をデジタル画像として保存可能なものであれば良い。また、検出面１に対して垂直方向に離れた位置とは、検出面１と同一平面に設置されるものではなく、検出面１の上部から検出面１を撮像可能な位置という意味合いである。したがって、検出面１に対して真上から撮像するカメラに限定されるわけではなく、単に検出面１の上側から検出面１全体を撮像可能なカメラであれば良い。このように配置された１つのカメラ２０を用いて、複数の光源１１，１２により形成される複数の影の像２１，２２及び手指２の像が撮像される。カメラ２０では、影の像も手指の像も基本的には区別なく撮像される。なお、手指の像とは、手指の実像である。撮像される手指の像及び影の像が、後に説明する画像認識部３０により認識される。
【００１７】
ここで、光源１１，１２と１つのカメラ２０は、例えば以下のように同期させることで、より鮮明な影の像を撮像することが可能となる。まず、１つのカメラ２０は、所定のフレームレートで撮像する。例えば、３０フレーム毎秒といったフレームレートで撮像すれば良い。そして、光源１１，１２を、このフレームレートに同期させて、フレーム毎に異なる光源を選択して光を照射させるように構成すれば良い。
【００１８】
画像認識部３０は、１つのカメラ２０により撮像される複数の影の像２１，２２及び手指２の像を認識し、影の像及び手指像の状態により検出面１に入力される手指２の状態を検出するものである。画像認識部３０は、例えばパターン認識により手指２の状態を検出すれば良い。影の像２１，２２は、手指２が検出面１から離れていればいるほどその間の距離が広がり、逆に検出面１に近づき接触したときがその間の距離が一番狭くなる。ここで、図２を用いて、手指像と影の像の関係を説明する。図２は、本発明の手指ジェスチャ検出装置における手指像と影の像の関係を説明するための概略平面図であり、図２（ａ）は手指が検出面に接触している状態、図２（ｂ）は手指が検出面から離れている状態のときのものである。図２（ａ）に示されるように、手指２が検出面１に接触している場合には、影の像２１，２２は手指２に近づいた状態で撮像される。そして、手指２が検出面１から離れると、図２（ｂ）に示されるように、手指２と影の像２１，２２の距離が広がる。なお、図示例では手指の像と影の像を区別して表したが、例えば赤外線画像の場合等には、影の像も手指の像も区別なく撮像され、これら全体のパターンから、手指の状態を識別すれば良い。このような特性を有する手指及び複数の影の像を、パターンマッチング等により識別することで、非常に高速に手指の位置や高さ、形状等の手指の状態が検出可能となる。
【００１９】
ここで、画像認識部３０における手指の識別手法には、一般的に２つのアプローチが存在する。１つは３次元モデルに基づく手法（モデルベース）、もう１つは物体の見え方を統計的に扱う手法（ビューベース）である。例えばビューベース手法では、入力画像を特徴空間上のベクトルとして表現する。代表的な手法として、相関法、部分空間法、相互部分空間法がある。ここで、３次元物体の識別方法としては、部分空間法及び相互部分空間法が有効であることが知られている。部分空間法では、識別対象となる物体クラスを高次元ベクトル空間の部分空間で表す。これらの部分空間は、クラス毎に複数の学習パターンを取得し、主成分分析を適用することで生成される。識別時には、入力ベクトルと各クラス部分空間との角度を計算し、最も小さい角度に該当するクラスに属すると判別する。相互部分空間法では、入力はベクトルではなく、複数入力パターンから生成する部分空間とする。識別では、各クラスの部分空間と入力部分空間の類似度（正準角）を計算し、類似度の高いクラスに属すると判別する。
【００２０】
手指のジェスチャを識別する場合、複雑な形状となる場合もあるため、線形部分空間では高精度に近似できない場合もあり得る。この場合には、ベクトルを無限次元の特徴空間へ非線形写像し、写像されたベクトルに対して部分空間法を用いたカーネル非線形部分空間法を適用すれば良い。
【００２１】
以下、より具体的に画像認識部３０の識別の流れについて説明する。まず、カメラ２０により撮像される赤外線画像を濃淡画像に変換し、この濃淡画像を用いてエッジ抽出を行う。そして、普遍特徴量の抽出を行う。これは、例えばＨＬＡＣ（Ｈｉｇｈ−ｏｒｄｅｒ Ｌｏｃａｌ Ａｕｔｏ−Ｃｏｒｒｅｌａｔｉｏｎ）特徴を抽出する。ＨＬＡＣの特徴の１つは、位置不変性である。即ち、画像の位置が変わっても特徴量は変化しないという性質である。そして、手指像及び影の像を、予め種々のパターンで撮像したデータに対してこのような特徴抽出を行い、非線形変換や主成分分析を行った上で辞書空間として蓄積しておく。
【００２２】
次に、未知の手指像が入力されたときに、同様にカメラ２０により撮像される手指像及び影の像の赤外線画像を濃淡画像に変換後、エッジ抽出を行い、普遍特徴量の抽出を行う。そして、これを非線形変換した入力ベクトルと辞書空間との類似度を算出する。これには、例えばカーネル非線形部分空間法を用いることができる。また入力ベクトルが複数の場合には、例えばカーネル非線形相互部分空間法を用いることができる。さらに、このカーネル非線形部分空間法の４つの拡張方法であるカーネル制約部分空間法、カーネル直交部分空間法、カーネル制約相互部分空間法、カーネル直交相互部分空間法を利用することも可能である。このように、本発明の手指ジェスチャ検出装置の画像識別部におけるパターン認識の手法には、既存の又は今後開発されるべき種々の技術を適用することが可能である。
【００２３】
また、画像認識部３０は、カメラ２０により撮像される影の像及び手指像から分離度フィルタを用いて手指の先端の位置を認識するようにしても良い。マンマシンインタフェースとして手指ジェスチャ検出装置を用いる場合、手指の先端位置を正確に認識することが重要となる。そこで、指先の先端形状の輪郭が円に近いことに着目して、円形分離度フィルタを用いて分離度が局所最大点となる位置を手指の先端の位置として認識させるように構成すれば良い。より具体的には、分離度フィルタとは、大小２つの同心円領域（領域１、領域２）を考え、２つの領域の輝度値の分布の違いを出力とするものである。分離度は、２つの領域の情報が完全に分離されている場合は最大値１．０となる。より具体的には、以下の式を用いて分離度ηを求める。
【数１】
但し、Ｎは全領域（領域１＋領域２）内の全画素数、ｎ１は領域１内の画素数、ｎ２は領域２内の画素数、σＴは領域全体の全分散値、Ｐｉは位置ｉの輝度レベル、Ｐ１バーは領域１の平均輝度レベル、Ｐ２バーは領域２の平均輝度レベル、Ｐｍバーは領域全体（領域１＋領域２）の平均輝度レベルをそれぞれ意味している。また、分離度ηは、０＜η≦１．０の範囲の値をとる。
【００２４】
分離度フィルタを適用する際には、例えば、カメラ２０を用いてリアルタイムに撮像し、撮像された連続画像の差分を計算する。これにより変化領域を検出し、この変化領域の画素に対して円形分離度フィルタを適用する。得られた分離度マップ画像に対して平滑化フィルタ等をかけることでノイズを低減し、局所最大点を求める。この最大点を手指の先端位置として認識すれば良い。本発明の手指ジェスチャ検出装置では、このような分離度フィルタを適用して手指の先端位置を認識することも可能である。
【００２５】
また、画像認識部３０は、フレーム毎に異なる光源を選択して照射される照射光により撮像される画像の差分を取ることで、手指像を消去し、影の像のみを抽出するように構成しても良い。手指像が手指の状態検出に悪影響を及ぼす場合等に、影の像のみを抽出することで手指の状態を正確に検出することも可能となる。
【００２６】
このようなパターン認識技術を用いて、影の像及び手指像を認識し、この状態が属する識別クラスを決定することで、検出面１に入力される手指２の状態を検出することが可能となる。
【００２７】
本発明の手指ジェスチャ検出装置では、このように１つのカメラのみで手指を撮像することで、検出面に対する手指の状態を認識可能となるため、安価に構成可能である。さらに、複数の光源を用いて影の像を手指の実像の検出面上に形成するだけで良く、認識は、平面的な画像のみを用いて、即ち、物体の見え方に基づくパターン認識（ビューベース）で検出面に対する手指の高さ方向や向き、形状が検出できるため、高速に手指の状態を検出することが可能となる。
【００２８】
なお、本発明の手指ジェスチャ検出装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【００２９】
１ 検出面
２ 手指
１１，１２ 光源
２０ カメラ
２１，２２ 影の像
３０ 画像認識部
【技術分野】
【０００１】
本発明は手指ジェスチャ検出装置に関し、特に、カメラにより撮像した像を用いて手や指の状態を３次元で検出する手指ジェスチャ検出装置に関する。
【背景技術】
【０００２】
カメラにより撮像した像を用いて手や指の状態を検出する装置が種々開発されている。例えば、特許文献１や特許文献２は、複数台のカメラを用いて対象物を撮像し、実像から手指の像のみを抽出した上で、パターンニングにより指示位置座標や操作を検出するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１９１８６８号公報
【特許文献２】特開２００９−１３４７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１や特許文献２による手指ジェスチャ検出装置によると、手指の像のみを抽出する必要があるため、手指以外の部分を除去する処理が必要であった。したがって、この画像処理工程の分だけ処理時間が余計にかかる場合があった。また、検出面から手指までの高さは、カメラを最低２つ用いることで検出するものであったため、他のデバイスと比べて比較的高価なカメラモジュールを複数用いる必要があり、コストが高くなっていた。
【０００５】
本発明は、斯かる実情に鑑み、安価且つ高速に手指の状態を検出することが可能な手指ジェスチャ検出装置を提供しようとするものである。
【課題を解決するための手段】
【０００６】
上述した本発明の目的を達成するために、本発明による手指ジェスチャ検出装置は、検出面に入力される手指に対して複数の位置から光を照射し、複数の照射光にそれぞれ対応する手指の複数の影の像を検出面上に形成する複数の光源と、検出面に対して垂直方向に離れた位置に配置され、複数の光源により形成される複数の影の像及び手指像を撮像可能な１つのカメラと、１つのカメラにより撮像される複数の影の像及び手指像を認識し、影の像及び手指像の状態により検出面に入力される手指の状態を検出する画像認識部と、を具備するものである。
【０００７】
ここで、複数の光源は非可視光を照射し、カメラは光源に対応する非可視光を透過する透過フィルタを有するものであれば良い。
【０００８】
また、１つのカメラは所定のフレームレートで撮像し、複数の光源は、カメラのフレームレートに同期させてフレーム毎に異なる光源を選択して光を照射するものであっても良い。
【０００９】
また、画像認識部は、カメラにより撮像される影の像及び手指像から不変特徴量の抽出を行い、手指の状態を検出するものであっても良い。
【００１０】
さらに、画像認識部は、カメラにより撮像される影の像及び手指像から分離度フィルタを用いて手指の先端の位置を認識するものであっても良い。
【００１１】
また、画像認識部は、カメラにより撮像される影の像のみを抽出するように、フレーム毎に異なる光源を選択して照射される照射光により撮像される画像の差分を取ることで手指像を消去するものであっても良い。
【発明の効果】
【００１２】
本発明の手指ジェスチャ検出装置には、安価且つ高速に手指の状態を検出することが可能であるという利点がある。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の手指ジェスチャ検出装置を説明するための概略斜視図である。
【図２】図２は、本発明の手指ジェスチャ検出装置における手指像と影の像の関係を説明するための概略平面図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態を図示例と共に説明する。図１は、本発明の手指ジェスチャ検出装置を説明するための概略斜視図である。図示の通り、本発明の手指ジェスチャ検出装置は、複数の光源１１，１２と、１つのカメラ２０と、画像認識部３０とから主に構成されている。本発明の手指ジェスチャ検出装置は、検出面１に入力される手や指２の状態を検出するものである。手指２の状態は、動的にリアルタイムに検出しても良いし、ある一瞬を切り出して検出しても良い。本発明の手指ジェスチャ検出装置は、手や指の状態を３次元で検出できることから、例えばマンマシンインタフェースとして用いることが可能であり、画像操作やページめくり操作等、種々の動作を自然に行うことができる。
【００１５】
複数の光源１１，１２は、検出面１に入力される手指２に対して複数の位置から光を照射し、複数の照射光にそれぞれ対応する手指の複数の影の像２１，２２を検出面１上に形成するものである。例えば、複数の光源１１，１２は、赤外光等の非可視光を照射する赤外ＬＥＤ等からなれば良い。このとき、後に詳説するカメラ２０は、光源に対応する非可視光を透過する透過フィルタ等が設けられることにより、検出面１上に形成される手指の影の像２１，２２や手指２の像が鮮明に撮像される。非可視光とすることで、例えば検出面１上に置かれた操作対象物に対して光を照射しても、操作者の邪魔になることが無くなる。
【００１６】
１つのカメラ２０は、検出面１に対して垂直方向に離れた位置に配置され、複数の光源１１，１２により形成される複数の影の像及び手指像を撮像可能なものである。カメラ２０は、例えばＣＣＤカメラやＣＭＯＳカメラ等、撮像された像をデジタル画像として保存可能なものであれば良い。また、検出面１に対して垂直方向に離れた位置とは、検出面１と同一平面に設置されるものではなく、検出面１の上部から検出面１を撮像可能な位置という意味合いである。したがって、検出面１に対して真上から撮像するカメラに限定されるわけではなく、単に検出面１の上側から検出面１全体を撮像可能なカメラであれば良い。このように配置された１つのカメラ２０を用いて、複数の光源１１，１２により形成される複数の影の像２１，２２及び手指２の像が撮像される。カメラ２０では、影の像も手指の像も基本的には区別なく撮像される。なお、手指の像とは、手指の実像である。撮像される手指の像及び影の像が、後に説明する画像認識部３０により認識される。
【００１７】
ここで、光源１１，１２と１つのカメラ２０は、例えば以下のように同期させることで、より鮮明な影の像を撮像することが可能となる。まず、１つのカメラ２０は、所定のフレームレートで撮像する。例えば、３０フレーム毎秒といったフレームレートで撮像すれば良い。そして、光源１１，１２を、このフレームレートに同期させて、フレーム毎に異なる光源を選択して光を照射させるように構成すれば良い。
【００１８】
画像認識部３０は、１つのカメラ２０により撮像される複数の影の像２１，２２及び手指２の像を認識し、影の像及び手指像の状態により検出面１に入力される手指２の状態を検出するものである。画像認識部３０は、例えばパターン認識により手指２の状態を検出すれば良い。影の像２１，２２は、手指２が検出面１から離れていればいるほどその間の距離が広がり、逆に検出面１に近づき接触したときがその間の距離が一番狭くなる。ここで、図２を用いて、手指像と影の像の関係を説明する。図２は、本発明の手指ジェスチャ検出装置における手指像と影の像の関係を説明するための概略平面図であり、図２（ａ）は手指が検出面に接触している状態、図２（ｂ）は手指が検出面から離れている状態のときのものである。図２（ａ）に示されるように、手指２が検出面１に接触している場合には、影の像２１，２２は手指２に近づいた状態で撮像される。そして、手指２が検出面１から離れると、図２（ｂ）に示されるように、手指２と影の像２１，２２の距離が広がる。なお、図示例では手指の像と影の像を区別して表したが、例えば赤外線画像の場合等には、影の像も手指の像も区別なく撮像され、これら全体のパターンから、手指の状態を識別すれば良い。このような特性を有する手指及び複数の影の像を、パターンマッチング等により識別することで、非常に高速に手指の位置や高さ、形状等の手指の状態が検出可能となる。
【００１９】
ここで、画像認識部３０における手指の識別手法には、一般的に２つのアプローチが存在する。１つは３次元モデルに基づく手法（モデルベース）、もう１つは物体の見え方を統計的に扱う手法（ビューベース）である。例えばビューベース手法では、入力画像を特徴空間上のベクトルとして表現する。代表的な手法として、相関法、部分空間法、相互部分空間法がある。ここで、３次元物体の識別方法としては、部分空間法及び相互部分空間法が有効であることが知られている。部分空間法では、識別対象となる物体クラスを高次元ベクトル空間の部分空間で表す。これらの部分空間は、クラス毎に複数の学習パターンを取得し、主成分分析を適用することで生成される。識別時には、入力ベクトルと各クラス部分空間との角度を計算し、最も小さい角度に該当するクラスに属すると判別する。相互部分空間法では、入力はベクトルではなく、複数入力パターンから生成する部分空間とする。識別では、各クラスの部分空間と入力部分空間の類似度（正準角）を計算し、類似度の高いクラスに属すると判別する。
【００２０】
手指のジェスチャを識別する場合、複雑な形状となる場合もあるため、線形部分空間では高精度に近似できない場合もあり得る。この場合には、ベクトルを無限次元の特徴空間へ非線形写像し、写像されたベクトルに対して部分空間法を用いたカーネル非線形部分空間法を適用すれば良い。
【００２１】
以下、より具体的に画像認識部３０の識別の流れについて説明する。まず、カメラ２０により撮像される赤外線画像を濃淡画像に変換し、この濃淡画像を用いてエッジ抽出を行う。そして、普遍特徴量の抽出を行う。これは、例えばＨＬＡＣ（Ｈｉｇｈ−ｏｒｄｅｒ Ｌｏｃａｌ Ａｕｔｏ−Ｃｏｒｒｅｌａｔｉｏｎ）特徴を抽出する。ＨＬＡＣの特徴の１つは、位置不変性である。即ち、画像の位置が変わっても特徴量は変化しないという性質である。そして、手指像及び影の像を、予め種々のパターンで撮像したデータに対してこのような特徴抽出を行い、非線形変換や主成分分析を行った上で辞書空間として蓄積しておく。
【００２２】
次に、未知の手指像が入力されたときに、同様にカメラ２０により撮像される手指像及び影の像の赤外線画像を濃淡画像に変換後、エッジ抽出を行い、普遍特徴量の抽出を行う。そして、これを非線形変換した入力ベクトルと辞書空間との類似度を算出する。これには、例えばカーネル非線形部分空間法を用いることができる。また入力ベクトルが複数の場合には、例えばカーネル非線形相互部分空間法を用いることができる。さらに、このカーネル非線形部分空間法の４つの拡張方法であるカーネル制約部分空間法、カーネル直交部分空間法、カーネル制約相互部分空間法、カーネル直交相互部分空間法を利用することも可能である。このように、本発明の手指ジェスチャ検出装置の画像識別部におけるパターン認識の手法には、既存の又は今後開発されるべき種々の技術を適用することが可能である。
【００２３】
また、画像認識部３０は、カメラ２０により撮像される影の像及び手指像から分離度フィルタを用いて手指の先端の位置を認識するようにしても良い。マンマシンインタフェースとして手指ジェスチャ検出装置を用いる場合、手指の先端位置を正確に認識することが重要となる。そこで、指先の先端形状の輪郭が円に近いことに着目して、円形分離度フィルタを用いて分離度が局所最大点となる位置を手指の先端の位置として認識させるように構成すれば良い。より具体的には、分離度フィルタとは、大小２つの同心円領域（領域１、領域２）を考え、２つの領域の輝度値の分布の違いを出力とするものである。分離度は、２つの領域の情報が完全に分離されている場合は最大値１．０となる。より具体的には、以下の式を用いて分離度ηを求める。
【数１】
但し、Ｎは全領域（領域１＋領域２）内の全画素数、ｎ１は領域１内の画素数、ｎ２は領域２内の画素数、σＴは領域全体の全分散値、Ｐｉは位置ｉの輝度レベル、Ｐ１バーは領域１の平均輝度レベル、Ｐ２バーは領域２の平均輝度レベル、Ｐｍバーは領域全体（領域１＋領域２）の平均輝度レベルをそれぞれ意味している。また、分離度ηは、０＜η≦１．０の範囲の値をとる。
【００２４】
分離度フィルタを適用する際には、例えば、カメラ２０を用いてリアルタイムに撮像し、撮像された連続画像の差分を計算する。これにより変化領域を検出し、この変化領域の画素に対して円形分離度フィルタを適用する。得られた分離度マップ画像に対して平滑化フィルタ等をかけることでノイズを低減し、局所最大点を求める。この最大点を手指の先端位置として認識すれば良い。本発明の手指ジェスチャ検出装置では、このような分離度フィルタを適用して手指の先端位置を認識することも可能である。
【００２５】
また、画像認識部３０は、フレーム毎に異なる光源を選択して照射される照射光により撮像される画像の差分を取ることで、手指像を消去し、影の像のみを抽出するように構成しても良い。手指像が手指の状態検出に悪影響を及ぼす場合等に、影の像のみを抽出することで手指の状態を正確に検出することも可能となる。
【００２６】
このようなパターン認識技術を用いて、影の像及び手指像を認識し、この状態が属する識別クラスを決定することで、検出面１に入力される手指２の状態を検出することが可能となる。
【００２７】
本発明の手指ジェスチャ検出装置では、このように１つのカメラのみで手指を撮像することで、検出面に対する手指の状態を認識可能となるため、安価に構成可能である。さらに、複数の光源を用いて影の像を手指の実像の検出面上に形成するだけで良く、認識は、平面的な画像のみを用いて、即ち、物体の見え方に基づくパターン認識（ビューベース）で検出面に対する手指の高さ方向や向き、形状が検出できるため、高速に手指の状態を検出することが可能となる。
【００２８】
なお、本発明の手指ジェスチャ検出装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【００２９】
１ 検出面
２ 手指
１１，１２ 光源
２０ カメラ
２１，２２ 影の像
３０ 画像認識部
【特許請求の範囲】
【請求項１】
検出面に入力される手や指の状態を検出する手指ジェスチャ検出装置であって、該手指ジェスチャ検出装置は、
検出面に入力される手指に対して複数の位置から光を照射し、複数の照射光にそれぞれ対応する手指の複数の影の像を検出面上に形成する複数の光源と、
検出面に対して垂直方向に離れた位置に配置され、前記複数の光源により形成される複数の影の像及び手指像を撮像可能な１つのカメラと、
前記１つのカメラにより撮像される複数の影の像及び手指像を認識し、影の像及び手指像の状態により検出面に入力される手指の状態を検出する画像認識部と、
を具備することを特徴とする手指ジェスチャ検出装置。
【請求項２】
請求項１に記載の手指ジェスチャ検出装置において、前記複数の光源は非可視光を照射し、前記カメラは光源に対応する非可視光を透過する透過フィルタを有することを特徴とする手指ジェスチャ検出装置。
【請求項３】
請求項１又は請求項２に記載の手指ジェスチャ検出装置において、
前記１つのカメラは所定のフレームレートで撮像し、
前記複数の光源は、カメラのフレームレートに同期させてフレーム毎に異なる光源を選択して光を照射する、
ことを特徴とする手指ジェスチャ検出装置。
【請求項４】
請求項１乃至請求項３の何れかに記載の手指ジェスチャ検出装置において、前記画像認識部は、カメラにより撮像される影の像及び手指像から不変特徴量の抽出を行い、手指の状態を検出することを特徴とする手指ジェスチャ検出装置。
【請求項５】
請求項１乃至請求項４の何れかに記載の手指ジェスチャ検出装置において、前記画像認識部は、カメラにより撮像される影の像及び手指像から分離度フィルタを用いて手指の先端の位置を認識することを特徴とする手指ジェスチャ検出装置。
【請求項６】
請求項３乃至請求項５の何れかに記載の手指ジェスチャ検出装置において、前記画像認識部は、カメラにより撮像される影の像のみを抽出するように、フレーム毎に異なる光源を選択して照射される照射光により撮像される画像の差分を取ることで手指像を消去することを特徴とする手指ジェスチャ検出装置。
【請求項１】
検出面に入力される手や指の状態を検出する手指ジェスチャ検出装置であって、該手指ジェスチャ検出装置は、
検出面に入力される手指に対して複数の位置から光を照射し、複数の照射光にそれぞれ対応する手指の複数の影の像を検出面上に形成する複数の光源と、
検出面に対して垂直方向に離れた位置に配置され、前記複数の光源により形成される複数の影の像及び手指像を撮像可能な１つのカメラと、
前記１つのカメラにより撮像される複数の影の像及び手指像を認識し、影の像及び手指像の状態により検出面に入力される手指の状態を検出する画像認識部と、
を具備することを特徴とする手指ジェスチャ検出装置。
【請求項２】
請求項１に記載の手指ジェスチャ検出装置において、前記複数の光源は非可視光を照射し、前記カメラは光源に対応する非可視光を透過する透過フィルタを有することを特徴とする手指ジェスチャ検出装置。
【請求項３】
請求項１又は請求項２に記載の手指ジェスチャ検出装置において、
前記１つのカメラは所定のフレームレートで撮像し、
前記複数の光源は、カメラのフレームレートに同期させてフレーム毎に異なる光源を選択して光を照射する、
ことを特徴とする手指ジェスチャ検出装置。
【請求項４】
請求項１乃至請求項３の何れかに記載の手指ジェスチャ検出装置において、前記画像認識部は、カメラにより撮像される影の像及び手指像から不変特徴量の抽出を行い、手指の状態を検出することを特徴とする手指ジェスチャ検出装置。
【請求項５】
請求項１乃至請求項４の何れかに記載の手指ジェスチャ検出装置において、前記画像認識部は、カメラにより撮像される影の像及び手指像から分離度フィルタを用いて手指の先端の位置を認識することを特徴とする手指ジェスチャ検出装置。
【請求項６】
請求項３乃至請求項５の何れかに記載の手指ジェスチャ検出装置において、前記画像認識部は、カメラにより撮像される影の像のみを抽出するように、フレーム毎に異なる光源を選択して照射される照射光により撮像される画像の差分を取ることで手指像を消去することを特徴とする手指ジェスチャ検出装置。
【図１】
【図２】
【図２】
【公開番号】特開２０１２−６８６９０（Ｐ２０１２−６８６９０Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１０３９９（Ｐ２０１０−２１０３９９）
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（５０４１７１１３４）国立大学法人 筑波大学 (510)
【出願人】（５０３１６０８１４）株式会社シロク (11)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（５０４１７１１３４）国立大学法人 筑波大学 (510)
【出願人】（５０３１６０８１４）株式会社シロク (11)
【Ｆターム（参考）】
[ Back to top ]