ヒューマンインターフェイス装置
【課題】人の自然な動作によりコンピュータなどに情報を入力できるヒューマンインターフェイス装置を提供する。
【解決手段】ヒューマンインターフェイス装置は、発光手段1、撮像手段2、及び画像処理手段5を備え、発光手段1が指6に光を放射した状態で、撮像手段2が指6から反射された光を検出して画像を取得し、画像処理手段5が、画像内において、指6の表面の特定部分に該当する画像領域を検出し、検出された画像領域の特徴量と変換用データとを用いて、基準位置から指6の表面の特定部分までの距離を求め、変換用データが、基準位置からの距離と特徴量とを対応付けるデータである。
【解決手段】ヒューマンインターフェイス装置は、発光手段1、撮像手段2、及び画像処理手段5を備え、発光手段1が指6に光を放射した状態で、撮像手段2が指6から反射された光を検出して画像を取得し、画像処理手段5が、画像内において、指6の表面の特定部分に該当する画像領域を検出し、検出された画像領域の特徴量と変換用データとを用いて、基準位置から指6の表面の特定部分までの距離を求め、変換用データが、基準位置からの距離と特徴量とを対応付けるデータである。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータなどの機器に対するヒューマンインターフェイス装置に関し、特に人の手指の3次元位置情報を出力するヒューマンインターフェイス装置に関する。
【背景技術】
【0002】
1970年代にGUI(Graphical User Interface)の概念が発明されてから、コンピュータへの情報入力のために、マウス、トラックボール、ジョイスティック、ペン入力タブレットなどの多様なポインティングデバイスが利用されてきた。とりわけマウスの普及は目覚しく、現在に至るまで、使い易さやコストの点で、マウスを超えるポインティングデバイスは知られていない。
【0003】
現在のポインティングデバイスは2次元座標の変位を連続して入力しているように見えるが、一定の周期でデータを繰り返して入力していて、ある瞬間に入力できるのは1点の座標のみである。即ち、多点の変位や座標を同時に入力することはできない。また、この変位や座標は2次元平面上のものであり、これに高さ方向の座標を加えた3次元座標を入力することは一般にはできない。なお、CADやゲームのために開発された3次元座標の入力装置として、図10に示す「3dマウス」が知られている(下記非特許文献1参照)。これは、複数のセンサを用いて各々の方向の変位を検出するものである。
【0004】
一方、下記特許文献1には、複数の指の位置を検出する機能を備えたヒューマンインターフェイス装置が開示されている。この装置の断面の構成を図11に示す。照明装置から出力された光が外殻パターンによって反射され、撮像光学系と撮像装置によって外殻パターンの画像を取得する。この装置を手にとって複数の指で支えるとき、外殻外面に接触した指の位置の情報を得ることができる。更に、外殻を柔軟な材料で構成することにより、変形した外殻パターンの画像を基にして、指によって外殻に加えられた圧力の情報も得ることができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第4169688号明細書
【非特許文献】
【0006】
【非特許文献1】インターネット<URL:http://www.nissho-ele.co.jp/product/3d_mouse/feature.html>
【発明の開示】
【発明が解決しようとする課題】
【0007】
上記したように、複数の点の変位や座標を同時に入力できるユーザーインターフェイス装置が要望されている。複数の点の変位や座標を同時に入力できれば、これらに対応するポインタや指の画像をディスプレイに表示して、同時に表示した物体を操作するという自然なインターフェイスを実現できる。即ち、複数の指の変位や座標の同時入力により、指の動き(ジェスチャー)を利用したインターフェイスを実現することができる。
【0008】
また、最近は3dディスプレイの研究開発が盛んである。今後、映画やゲームなどの3dコンテンツが大量に開発されるようになり、家庭のテレビやパソコンのモニタが3次元表示の機能を備えることが予想される。このような環境では、3次元表示された仮想物体を操作するために、3次元座標を入力するためのユーザーインターフェイスが必要になる。しかも同時に多点の座標を入力できれば、複数の指の動きによりコンピュータを操作することができる。例えば、3dディスプレイに表示した仮想物体を、実際に手に取るような感覚で操作することが可能になる。
【0009】
しかし、既存のポインティングデバイスは、コンピュータのユーザーインターフェイスとしては、著しく機能が制限されたものである。例えば、上記非特許文献1の3dマウスによる入力動作は、人にとって自然な入力動作とは言えず、一般の2dマウスを代替するには至っていない。また、上記特許文献1の装置では、指と装置が接触していることが前提となるため、指が装置から離れたときには何の情報も入力できない。
【0010】
従って、本発明は、人の自然な動作により情報を入力できるヒューマンインターフェイス装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の目的は、以下の手段によって達成される。
【0012】
即ち、本発明に係るヒューマンインターフェイス装置は、発光手段、撮像手段、及び画像処理手段を備え、
前記発光手段が物体に光を放射した状態で、前記撮像手段が前記物体から反射された光を検出して画像を取得し、
前記画像処理手段が、
前記画像内において、前記物体表面の特定部分に該当する画像領域を検出し、
検出された前記画像領域の特徴量と変換用データとを用いて、基準位置から前記物体表面の前記特定部分までの距離を求め、
前記変換用データが、前記基準位置からの距離と前記特徴量とを対応付けるデータであることを特徴としている。
【0013】
前記特徴量は、前記画像領域の大きさ及び明るさの少なくとも一方であることができる。
【0014】
また、前記物体が人の手であり、前記特定部分が指の先端部分であり、前記特徴量が前記画像領域の明るさであることができる。
【0015】
また、前記物体が人の手であり、前記特定部分が指であり、前記特徴量が前記画像領域の幅であってもよい。
【0016】
また、前記光が近赤外光であり、前記撮像手段が魚眼レンズを備え、前記画像処理手段が、前記画像上の前記特定部分の位置及び前記撮像手段の光学特性から、極座標における前記特定部分の極角及び方位角を求め、前記距離、前記極角、及び前記方位角を、前記特定部分の3次元位置情報として決定することができる。
【0017】
また、前記画像処理手段は、前記発光手段から放射される光の配光特性の極角依存性と前記特定部分の極角とを用いて、明るさに関する前記変換用データを修正し、修正された前記変換用データを用いて前記距離を求めることができる。
【発明の効果】
【0018】
本発明によれば、対象物の特定部分に関する3次元位置情報、特に、人の各指の先端部の3次元位置情報を同時に取得することができる。従って、コンピュータなどに対して、複数の点の変位や座標を同時に入力することが可能になる。
【0019】
従って、これらに対応するポインタや指の画像をディスプレイに表示して、同時に表示した物体を操作するという自然なインターフェイスを実現することができる。即ち、複数の指の変位や座標の同時入力により、指の動き(ジェスチャー)を利用したインターフェイスを実現することができる。
【0020】
また、今後、家庭のテレビやパソコンのモニタが3次元表示の機能を備え、映画やゲームなどの3dコンテンツが大量に開発されるようになれば、本発明を適用して、複数の指の動きにより3dディスプレイに表示した仮想物体を、実際に手に取るような感覚で操作することが可能になる。例えば、コンピュータの記憶装置に保存されたファイルを探すときに、複数の指とキャビネットをディスプレイに立体的に表示して、ラベルの付いた引き出しを開け、その中のフォルダに収納された複数のファイルを指でめくりながら所望のものを見つける、あるいは、製品と5本の指を立体表示して、製品を指で動かしながら、様々な角度から製品を観察したり機能を確認したりする、といった使い方が可能になる。
【図面の簡単な説明】
【0021】
【図1】本発明の実施の形態に係るヒューマンインターフェイス装置の概略構成を示すブロック図である。
【図2】図1に示したヒューマンインターフェイス装置の発光手段及び撮像手段の一例を示す図である。
【図3】極座標を示す図である。
【図4】試作した発光手段の配光特性を示すグラフである。
【図5】試作した発光手段を用いて撮像した画像である。
【図6】試作した発光手段を用いて撮像した画像から得られた指の幅および指の中心部の画素値の平均値のグラフである。
【図7】試作した別の発光手段の配光特性を示すグラフである。
【図8】試作した別の発光手段を用いて撮像した画像から得られた指の幅および指の中心部の画素値の平均値のグラフである。
【図9】本発明の実施の形態に係るヒューマンインターフェイス装置を用いて、指先の位置情報を取得する動作を示すフローチャートである。
【図10】従来の3dマウスの一例を示す斜視図である。
【図11】従来のヒューマンインターフェイス装置の一例を示す断面図である。
【発明を実施するための形態】
【0022】
以下、本発明に係る実施の形態を、添付した図面に基づいて説明する。
【0023】
図1は、本発明の実施の形態に係るヒューマンインターフェイス装置の概略構成を示すブロック図である。本ヒューマンインターフェイス装置は、発光手段1、撮像手段2、制御手段3、記録手段4、及び、画像処理手段5を備えて構成されている。制御手段4は、発光手段1による光の放射をオン/オフ制御し、発光手段1をオンした状態で、撮像手段2を制御して所定の時間間隔で撮像対象物(例えば人の指)6を撮像する。記録手段4は、撮像される一連の画像(デジタルデータ)を時系列に記録する。画像処理手段5は、記録手段4から撮像された画像を読み出し、撮像対象物6の3次元位置情報(例えば、指の3次元位置情報)を計算する。計算された3次元位置情報(以下、3Dデータとも記す)は、制御手段3から外部装置7に出力される。なお、本明細書において、特に断らない限り、「指」とは手指の第1関節から先の部分を意味する。
【0024】
本ヒューマンインターフェイス装置は、このように対象物の撮像および3Dデータの算出を繰り返すことによって、対象物の変位に応じて3Dデータを外部装置7に出力し、外部装置7は3Dデータを任意の用途(例えば、コンピュータのアプリケーションソフトウエア)で使用する。なお、図1には、主要な構成要素のみを示しており、それら以外にも電源など当然に必要な要素もあるが省略されている。
【0025】
図2は、本ヒューマンインターフェイス装置の発光手段1及び撮像手段2の一例を示す模式図である。図2では、発光手段1としてLED8を使用している。LED8及び撮像手段2は、ベース11の上に配置された球状の透明な外殻9の内側に配置されている。撮像手段2は、魚眼レンズ10、イメージセンサ(図示せず)、その駆動装置(図示せず)を備えている。複数のLED8は、魚眼レンズ10を取り囲むように配置されている。LED8から放射された光は、透明な外殻9を透過してその外部にある複数の指6を照明する。撮像手段2は、照明された指6を撮像し、画像データを制御手段3へ転送する。ここで、魚眼レンズとは画角が約180度以上のレンズをいう。
【0026】
ここで、LED8が発する光は赤外光であり、透明な外殻9とイメージセンサの光電変換素子との間の空間に赤外光のみを透過するフィルタを備えることが望ましい。また、複数のLED8が放射する光の強度分布は、魚眼レンズ10の光軸(図3のz軸)を基準として軸対称であることが望ましい。即ち、複数のLED8の数及び配置は、そのような光の強度分布が得られるように決定されることが望ましい。
【0027】
尚、透明な外殻9は必須の構成要素ではなく、指6が直接に魚眼レンズ10に触れる構成であってもよい。また、魚眼レンズ10の代わりに広角レンズ(画角が約60度〜約180度)を使用してもよい。
【0028】
次に、動作原理について説明する。発光手段1は、複数の指6及びその周囲の領域を照明する。一様に光を放射する点光源の場合には、光源に正対する領域の単位面積当たりの光強度(放射照度)は、光源からの距離の自乗に反比例する。従って、指で拡散反射する光の強度も、光源と指との距離に反比例する。その結果、撮像された画像の指の領域の画素値は、光源からの距離の増加と共に減少する。実際の発光手段1は点光源ではなく、特有の角度分布で光を放射するが、放射照度が光源からの距離と共に単調に減少するという傾向は同じである。従って、撮像された指の特定領域の画素値は、光源からの距離に応じて単調に変化する。従って、この距離と画素値の関係を予め測定して変換用データとして保持しておけば、撮像された画像中の指に該当する部分の画素値と変換用データとを比較して、指と光源との距離を計算できる。この距離は、図3の極座標において光源の位置を原点とすれば、動径rに対応する。極角θと方位角φは、撮像された画像から直接に特定できる。即ち、方位角φは、指に該当する部分と原点を結ぶ直線とx軸とが成す角度であり、極角θは、魚眼レンズの特性及び画像の中心からの距離から求めることができる。その結果、各指の3次元位置情報を得ることができる。
【0029】
動径方向の距離の算出に関して、実験で採用した数値例を示しながら詳しく説明する。撮像装置2として、一般的な魚眼レンズを一般的なCMOSカメラに装着して構成した。発光手段1については、ドーナツ状のプリント基板に16個の砲弾型LEDを半田付けした。即ち、これらのLEDは、プリント基板の中央に位置する魚眼レンズを取り囲むように配置される(図2参照)。ここで、外光の影響をなくすために、ピーク波長が950nmの近赤外光を放射するLEDを用いた。一般的なシリコンウェハから製造されるCCDやCMOSセンサ等のイメージセンサは、この波長帯の光を検出できるので、赤外線のみを透過するフィルタをイメージセンサとレンズの間に挿入することにより、可視領域の外光の影響を完全に取り除くことができる。簡単のため、以下ではこの種のフィルタは用いずに、暗室内で実験することで外光の影響を排除した結果を示す。
【0030】
図4は、上記のように試作した発光手段に所定の電流を流したときの配光特性を示すグラフである。測定手段として有感領域の面積が1cm2のフォトダイオードを使用し、魚眼レンズの中心を図3の極座標の原点として、z軸を含む面内で半径5cmおよび10cmの半円に沿ってフォトダイオードを移動させて測定した。図4において、縦軸は光の強度、横軸は極角θ(但し、ここではz軸を挟んで一方を正、逆方向を負の値で現している)である。図4から、光源からの距離が大きくなると放射強度が減少することが確認できる。距離が2倍になっても放射強度が正確に1/4にならないのは、点光源ではなく、指向性を持つ砲弾型LEDを使用したためである。
【0031】
図5は、試作した装置で取得した手の画像の一例である。画像の外縁付近にリング状に見えるのは魚眼レンズのCマウントである。このリング状領域の内側が、魚眼レンズを通してCMOSカメラによって撮像された外界であり、画像の中央に手が鮮明に写っている。図5は、手と魚眼レンズの中心との間の距離が約5cmの場合の画像である。この距離が増加するに連れて、撮像された画像中の手の大きさは小さくなり、明るさも減少する。
【0032】
距離と明るさの関係を定量化するために、人差し指を、指の腹が光源に対向するように固定具に固定し、これを光学ベンチの上でスライドさせながら複数の画像を撮像した。このとき、撮像された画像上で、指に該当する領域の中心が画像の中心と一致するように調節した。即ち、図3の座標系で極角θが0となるように、z軸上で動径rを変化させた。図6は、撮像した各画像から指の幅と指の中心部の画素値の平均値とを求め、これらを動径rに対してプロットしたグラフである。白丸は指の幅を表し、黒丸は指の中心部の画素値の平均値を表す。図6から、動径方向の距離の増加と共に、指の幅は単調に減少することが分かる。これは単純な幾何学的な効果である。また、指の明るさである画素値の平均値も単調に減少することが分かる。
【0033】
従って、図6のいずれの曲線も、撮像された指の画像から指の動径方向の位置(撮像系の原点からの距離)を算出するための変換用データとして利用できる。但し、手の回転によって、指の腹が光源に正対しない場合、画像上の指の幅や指の明るさが変化するが、その場合でも、ある程度の精度で指の距離を計算することができる。また、指の幅に関する変換用データと、指の中心部の画素値の平均値に関する変換用データとを組み合わせて使用すれば、精度を向上することが可能である。
【0034】
以下において、変換用データを区別する場合には、指の幅と距離とを対応付ける変換用データを「第1の変換用データ」とし、指の中心部の画素値の平均値と距離とを対応付ける変換用データを「第2の変換用データ」とする。
【0035】
図4〜図6では砲弾型LEDを用いた場合の実験結果を示したが、以下では、チップ型LEDを使用した例を示す。ピーク波長が950nmのチップ型LEDを8個用い、魚眼レンズの周囲に同じ円周上で等間隔に配置して、所定の電流を流して発光させた。図4の実験と同様にして得られた配光特性を図7に示す。但し、測定用のフォトダイオードは、z軸を含む面内で半径5〜10cmの半円に沿って移動させた。
【0036】
図7から、指向性の広いチップ型LEDを用いたために、図4に比べて、斜め方向へ出力される光の強度が大きいことが確認できる。また、図7においても図4と同様に、動径方向の距離rの増加と共に光強度が単調に減少しており、画素値の大きさに基づいた距離の算出が可能なことを示している。
【0037】
更に、チップ型LEDを使用した光源についても、図6の変換用データを取得したのと同様の実験を繰り返した。得られた結果を図8に示す。図6と同様の変換曲線が得られたが、細かく観察すると、図8では、図6に比べて、特に距離が小さいとき(グラフの左端付近)に画素値の平均値の変化が急峻であることが分かる。これは、図6のグラフよりも図8のグラフの方が、画素値から算出される距離の分解能が高くなることを示している。但し、距離が大きい場合(グラフの右端付近)には、図6のグラフよりも図8のグラフの方が画素値の変化は緩やかであり、距離を算出するときの分解能が低くなる。
【0038】
このように、光源の配光特性によって変換曲線の形状が変化するので、光源の配光特性は、動径方向の距離を算出するときの精度に影響を与える。即ち、指の動径方向の距離rを精度よく算出するためには、光源の配光特性が重要であり、光源の配光特性は距離rにのみ依存し極角θに依存しないのが望ましい。そして、使用する撮像手段に応じて、発光手段の配光特性が距離rにのみ依存するように、発光手段の形状(例えば、LEDの配置)を決定することが望ましい。逆に、発光手段の詳細な構成は、使用目的に応じて要求される距離rの精度や許容される製造コストなどに応じて決められるべき事項であるとも言える。
【0039】
なお、図6および図8は、極角θが0に等しい場合の変換用データだが、極角θが0でない場合でも、同様の変換用データが得られる。これも具体的な設計に依存するが、前述のチップ型LEDを使用した光源の場合には、θ<70°の場合にはこれらの変換用データはほぼ一致する。従って、距離rの算出に必要なデータ量が少なくなる。
【0040】
図9は、本ヒューマンインターフェイス装置を用いて指の位置情報を取得する動作を示すフローチャートである。図1〜図9を参照して、本ヒューマンインターフェイス装置の動作を説明すれば次の通りでする。
【0041】
ステップS1において、制御手段3は、発光手段1をオンし、撮像手段2を用いて撮像を行い、画像データを記録手段4に記録する。これによって、図5のような画像が得られる。撮像される画像は、例えば多階調のグレースケール画像である。
【0042】
ステップS2において、画像処理手段5は、記録手段4から画像データを読み出して、画像中の指の領域を検出する。指の検出には、エッジ検出などの公知の画像処理を使用すればよいので、詳細説明は省略する。
【0043】
ステップS3において、画像処理手段5は、ステップS2で検出した指の領域から、各指の幅w、又は、各指の所定領域(以下、領域Aとも記す(図3の楕円領域参照))の画素値の平均値aを計算する。例えば、幅w、平均値aは、5本の指の各々について計算される。
【0044】
ステップS4において、画像処理手段5は、ステップS3で得られた幅w又は平均値aと、記録手段4から読み出した変換用データとを用いて、各指の位置座標(r,θ,φ)を計算し、指毎のデータとして出力する。変換用データは、使用する発光手段1及び撮像手段2を用いて予め測定されたデータであり、例えば図6、図8に示したようなデータである。
【0045】
このとき、ステップS3で幅wを計算する場合には、少なくとも幅w及び距離rのグラフ(例えは図6、図8の白丸のデータ)を第1の変換用データとして記録手段4に記録しておき、これを用いてステップS4における距離rの計算を行う。ステップS3で平均値aを計算する場合には、少なくとも平均値a及び距離rのグラフ(例えは図6、図8の黒丸のデータ)を第2の変換用データとして記録手段4に記録しておき、これを用いてステップS4における距離rの計算を行う。なお、換算用データは、関数として記録していても、離散的なデータとして記録していてもよい。関数であれば、測定値(w又はa)から直接に距離rを計算することができる。離散的なデータの場合には、補間法などによって測定値(w又はa)に対応する距離rを計算すればよい。
【0046】
極角θは、撮像手段の光学特性を考慮して、画像の中心から領域A(領域Aの代表点(例えば中心))までの距離(画素数)から計算することができる。例えば、魚眼レンズを使用して、画像の中心からの距離と極角θとが比例するように光学系を設計しておけばよい。また、方位角φは、画像内の基準軸(x軸)に対する領域A(領域Aの代表点)の角度として計算する。
【0047】
指毎に得られた(r,θ,φ)は、所定のインターフェイスを介して外部装置7に出力される。データの出力形式は任意である。シリアルインターフェイスの場合には、例えば、データの時系列順序を各指に対応させ、親指〜小指の(r,θ,φ)を順に出力すればよい。
【0048】
ステップS5において、終了の有無が判断され、終了しない場合にはステップS1に戻り、上記のステップS1〜S4を所定の時間間隔で繰り返す。各指の位置の変化の時間分解能は、撮像手段2および画像処理手段5の性能に依存する。例えば、N枚/秒の速度で画像を撮像し画像処理すれば、各指の位置の変化を1秒間にNの分解能で求めることができる。
【0049】
CMOS技術によるイメージセンサは、画像の出力フォーマットの自由度が高いので、撮像手段2にCMOSイメージセンサを使用すれば、例えば、目的とする指の領域を限定して高速で出力することも可能である。また、通常の人物や風景等の撮像と異なり、指の中心の変位を求めるのが目的なので、画像の精細度に関する要求は低い。この事実も高速のデータ出力に有利であり、例えば200fps(frames/sec)を超えるスピードが実現できる。従って、一般のマウスに比べて、座標入力の速度が劣ることは無い。
【0050】
上記では、幅w又は平均値aを使用して、距離rを計算する場合を説明したが、幅w及び平均値aの両方を用いてもよい。例えば、ステップS3において、幅w及び平均値aを計算し、ステップS4において、それぞれ第1及び第2の変換用データを用いて距離rを求め、第1の変換用データから求めた距離rwと、第2の変換用データから求めた距離raとから、例えばそれらの平均値(rw+ra)/2として最終的に距離rを求めても良い。また、距離に応じて、変換用データを使い分けてもよい。例えば、図6のデータを使用する場合には、距離rが5cm近傍では、第1の変換用データの変化の方が急峻であり解像度が高いので、距離rが5cm近傍の所定範囲では第1の変換用データを使用し、それ以外の範囲では第2の変換用データを使用してもよい。
【0051】
変換用データは、特定のヒューマンインターフェイス装置および特定の人に関して少なくとも一度測定して得られたものを、異なる人に対して使用することができる。しかし、指の形状や光の反射率には個体差(性別、年齢、肌の色など)があるので、同じヒューマンインターフェイス装置で測定しても変換用データが異なる可能性がある。従って、より精度良く距離を求めるためには、人毎に最初に較正を行なうことが望ましい。例えば、最初に所定距離r=r0の位置に指を位置させて、一度ステップS1〜S4の処理を行って距離を計算し、計算されたr1とr0との差違に応じて、予め記録された変換用データを修正して、それ以後の処理では修正された変換用データを使用することができる。修正方法は、例えば、r1とr0との差に応じて変換用データをシフトする、r1とr0との比に応じて変換用データをスケーリングするなどの方法がある。
【0052】
また、指の幅wは指の種類(親指、人差し指、中指、薬指、小指)によって異なるので、指毎に第1の変換用データを記録しておいてもよい。例えば、親指用の変換用データと、小指用の変換用データとで、異なる変換用データを使用してもよい。このとき、指の種類は、画像処理によって検出された各指の大きさと相互の位置関係とから決定すればよい。
【0053】
また、第1の変換用データは、絶対距離と指の幅とを対応させたデータに限らず、指の幅を距離に変換できるデータであればよい。例えば、最小距離(図2の外殻表面と原点との距離)に対する倍率と指の幅とを対応させたデータであってもよい。
【0054】
また、配光特性の角度依存性が小さい場合、θ=0で測定して得られた第2の変換用データのみを使用することができるが、図4、図7のように配光特性に角度依存性がある場合、第2の変換用データを配光特性で修正して使用してもよい。例えば、第2の変換用データがθ=0で測定して得られたデータであった場合、距離rを計算する前に、指先部の極角θを求め(θ=θ1)、θ=θ1及びθ=0に対応する配光特性の光強度の比で第2の変換用データを修正し、修正された変換用データを用いて距離rを算出すればよい。また、θ=0で測定した第2の変換用データに加えて、0<θ<90(度)で測定した複数の第2の変換用データを使用してもよい。その場合、距離rを計算する前に、指の極角θを求め、得られた角度θ1に応じて複数の第2の変換用データを用いて距離rを計算すればよい。
【0055】
また、人の指先部分に所定の反射物を取り付けて、その反射物によって反射される光の強度を用いてもよい。例えば、各指の指先に直接接着しても、指先部分に反射物を取り付けた手袋を使用してもよい。この場合、変換用データは、同じ反射物を取り付けた状態で測定して取得すればよい。
【0056】
また、指の幅w、指の画素値の平均値aを使用する場合に限らず、撮像された画像から抽出された各指の特徴量が距離に依存するものであれば、その特徴量と距離との関係を予め測定して変換用データとして使用することができる。例えば、特徴量は指の面積であってもよい。
【0057】
また、指に限らず、ある程度光を反射し、3次元位置が変位可能な物を使用しても良い。例えば、掌の皺を利用してもよい。これを手相として認識すれば、占いに関連したゲームのインターフェイスとしても利用できる。
【0058】
また、光の反射だけではなく吸収も利用して画像を取得して、画像の特徴量に基づいて、手や指の変位を検出してもよい。このような例として、手や指の内部の静脈がある。赤外光の吸収の大小を利用して掌の静脈パターンを検出し、この特徴を元に個人認証を行うことは、銀行のATM装置などで広く実用化されている。従って、こうした公知技術を用いれば、図5のような画像から静脈パターンを検出できる。手を動かせば静脈パターンも変化するので、逆に、静脈パターンの変化から手の変位を検出できる。
【符号の説明】
【0059】
1 発光手段
2 撮像手段
3 制御手段
4 記録手段
5 画像処理手段
6 手指
7 外部装置
8 LED
9 外殻
10 魚眼レンズ
11 ベース
【技術分野】
【0001】
本発明は、コンピュータなどの機器に対するヒューマンインターフェイス装置に関し、特に人の手指の3次元位置情報を出力するヒューマンインターフェイス装置に関する。
【背景技術】
【0002】
1970年代にGUI(Graphical User Interface)の概念が発明されてから、コンピュータへの情報入力のために、マウス、トラックボール、ジョイスティック、ペン入力タブレットなどの多様なポインティングデバイスが利用されてきた。とりわけマウスの普及は目覚しく、現在に至るまで、使い易さやコストの点で、マウスを超えるポインティングデバイスは知られていない。
【0003】
現在のポインティングデバイスは2次元座標の変位を連続して入力しているように見えるが、一定の周期でデータを繰り返して入力していて、ある瞬間に入力できるのは1点の座標のみである。即ち、多点の変位や座標を同時に入力することはできない。また、この変位や座標は2次元平面上のものであり、これに高さ方向の座標を加えた3次元座標を入力することは一般にはできない。なお、CADやゲームのために開発された3次元座標の入力装置として、図10に示す「3dマウス」が知られている(下記非特許文献1参照)。これは、複数のセンサを用いて各々の方向の変位を検出するものである。
【0004】
一方、下記特許文献1には、複数の指の位置を検出する機能を備えたヒューマンインターフェイス装置が開示されている。この装置の断面の構成を図11に示す。照明装置から出力された光が外殻パターンによって反射され、撮像光学系と撮像装置によって外殻パターンの画像を取得する。この装置を手にとって複数の指で支えるとき、外殻外面に接触した指の位置の情報を得ることができる。更に、外殻を柔軟な材料で構成することにより、変形した外殻パターンの画像を基にして、指によって外殻に加えられた圧力の情報も得ることができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第4169688号明細書
【非特許文献】
【0006】
【非特許文献1】インターネット<URL:http://www.nissho-ele.co.jp/product/3d_mouse/feature.html>
【発明の開示】
【発明が解決しようとする課題】
【0007】
上記したように、複数の点の変位や座標を同時に入力できるユーザーインターフェイス装置が要望されている。複数の点の変位や座標を同時に入力できれば、これらに対応するポインタや指の画像をディスプレイに表示して、同時に表示した物体を操作するという自然なインターフェイスを実現できる。即ち、複数の指の変位や座標の同時入力により、指の動き(ジェスチャー)を利用したインターフェイスを実現することができる。
【0008】
また、最近は3dディスプレイの研究開発が盛んである。今後、映画やゲームなどの3dコンテンツが大量に開発されるようになり、家庭のテレビやパソコンのモニタが3次元表示の機能を備えることが予想される。このような環境では、3次元表示された仮想物体を操作するために、3次元座標を入力するためのユーザーインターフェイスが必要になる。しかも同時に多点の座標を入力できれば、複数の指の動きによりコンピュータを操作することができる。例えば、3dディスプレイに表示した仮想物体を、実際に手に取るような感覚で操作することが可能になる。
【0009】
しかし、既存のポインティングデバイスは、コンピュータのユーザーインターフェイスとしては、著しく機能が制限されたものである。例えば、上記非特許文献1の3dマウスによる入力動作は、人にとって自然な入力動作とは言えず、一般の2dマウスを代替するには至っていない。また、上記特許文献1の装置では、指と装置が接触していることが前提となるため、指が装置から離れたときには何の情報も入力できない。
【0010】
従って、本発明は、人の自然な動作により情報を入力できるヒューマンインターフェイス装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の目的は、以下の手段によって達成される。
【0012】
即ち、本発明に係るヒューマンインターフェイス装置は、発光手段、撮像手段、及び画像処理手段を備え、
前記発光手段が物体に光を放射した状態で、前記撮像手段が前記物体から反射された光を検出して画像を取得し、
前記画像処理手段が、
前記画像内において、前記物体表面の特定部分に該当する画像領域を検出し、
検出された前記画像領域の特徴量と変換用データとを用いて、基準位置から前記物体表面の前記特定部分までの距離を求め、
前記変換用データが、前記基準位置からの距離と前記特徴量とを対応付けるデータであることを特徴としている。
【0013】
前記特徴量は、前記画像領域の大きさ及び明るさの少なくとも一方であることができる。
【0014】
また、前記物体が人の手であり、前記特定部分が指の先端部分であり、前記特徴量が前記画像領域の明るさであることができる。
【0015】
また、前記物体が人の手であり、前記特定部分が指であり、前記特徴量が前記画像領域の幅であってもよい。
【0016】
また、前記光が近赤外光であり、前記撮像手段が魚眼レンズを備え、前記画像処理手段が、前記画像上の前記特定部分の位置及び前記撮像手段の光学特性から、極座標における前記特定部分の極角及び方位角を求め、前記距離、前記極角、及び前記方位角を、前記特定部分の3次元位置情報として決定することができる。
【0017】
また、前記画像処理手段は、前記発光手段から放射される光の配光特性の極角依存性と前記特定部分の極角とを用いて、明るさに関する前記変換用データを修正し、修正された前記変換用データを用いて前記距離を求めることができる。
【発明の効果】
【0018】
本発明によれば、対象物の特定部分に関する3次元位置情報、特に、人の各指の先端部の3次元位置情報を同時に取得することができる。従って、コンピュータなどに対して、複数の点の変位や座標を同時に入力することが可能になる。
【0019】
従って、これらに対応するポインタや指の画像をディスプレイに表示して、同時に表示した物体を操作するという自然なインターフェイスを実現することができる。即ち、複数の指の変位や座標の同時入力により、指の動き(ジェスチャー)を利用したインターフェイスを実現することができる。
【0020】
また、今後、家庭のテレビやパソコンのモニタが3次元表示の機能を備え、映画やゲームなどの3dコンテンツが大量に開発されるようになれば、本発明を適用して、複数の指の動きにより3dディスプレイに表示した仮想物体を、実際に手に取るような感覚で操作することが可能になる。例えば、コンピュータの記憶装置に保存されたファイルを探すときに、複数の指とキャビネットをディスプレイに立体的に表示して、ラベルの付いた引き出しを開け、その中のフォルダに収納された複数のファイルを指でめくりながら所望のものを見つける、あるいは、製品と5本の指を立体表示して、製品を指で動かしながら、様々な角度から製品を観察したり機能を確認したりする、といった使い方が可能になる。
【図面の簡単な説明】
【0021】
【図1】本発明の実施の形態に係るヒューマンインターフェイス装置の概略構成を示すブロック図である。
【図2】図1に示したヒューマンインターフェイス装置の発光手段及び撮像手段の一例を示す図である。
【図3】極座標を示す図である。
【図4】試作した発光手段の配光特性を示すグラフである。
【図5】試作した発光手段を用いて撮像した画像である。
【図6】試作した発光手段を用いて撮像した画像から得られた指の幅および指の中心部の画素値の平均値のグラフである。
【図7】試作した別の発光手段の配光特性を示すグラフである。
【図8】試作した別の発光手段を用いて撮像した画像から得られた指の幅および指の中心部の画素値の平均値のグラフである。
【図9】本発明の実施の形態に係るヒューマンインターフェイス装置を用いて、指先の位置情報を取得する動作を示すフローチャートである。
【図10】従来の3dマウスの一例を示す斜視図である。
【図11】従来のヒューマンインターフェイス装置の一例を示す断面図である。
【発明を実施するための形態】
【0022】
以下、本発明に係る実施の形態を、添付した図面に基づいて説明する。
【0023】
図1は、本発明の実施の形態に係るヒューマンインターフェイス装置の概略構成を示すブロック図である。本ヒューマンインターフェイス装置は、発光手段1、撮像手段2、制御手段3、記録手段4、及び、画像処理手段5を備えて構成されている。制御手段4は、発光手段1による光の放射をオン/オフ制御し、発光手段1をオンした状態で、撮像手段2を制御して所定の時間間隔で撮像対象物(例えば人の指)6を撮像する。記録手段4は、撮像される一連の画像(デジタルデータ)を時系列に記録する。画像処理手段5は、記録手段4から撮像された画像を読み出し、撮像対象物6の3次元位置情報(例えば、指の3次元位置情報)を計算する。計算された3次元位置情報(以下、3Dデータとも記す)は、制御手段3から外部装置7に出力される。なお、本明細書において、特に断らない限り、「指」とは手指の第1関節から先の部分を意味する。
【0024】
本ヒューマンインターフェイス装置は、このように対象物の撮像および3Dデータの算出を繰り返すことによって、対象物の変位に応じて3Dデータを外部装置7に出力し、外部装置7は3Dデータを任意の用途(例えば、コンピュータのアプリケーションソフトウエア)で使用する。なお、図1には、主要な構成要素のみを示しており、それら以外にも電源など当然に必要な要素もあるが省略されている。
【0025】
図2は、本ヒューマンインターフェイス装置の発光手段1及び撮像手段2の一例を示す模式図である。図2では、発光手段1としてLED8を使用している。LED8及び撮像手段2は、ベース11の上に配置された球状の透明な外殻9の内側に配置されている。撮像手段2は、魚眼レンズ10、イメージセンサ(図示せず)、その駆動装置(図示せず)を備えている。複数のLED8は、魚眼レンズ10を取り囲むように配置されている。LED8から放射された光は、透明な外殻9を透過してその外部にある複数の指6を照明する。撮像手段2は、照明された指6を撮像し、画像データを制御手段3へ転送する。ここで、魚眼レンズとは画角が約180度以上のレンズをいう。
【0026】
ここで、LED8が発する光は赤外光であり、透明な外殻9とイメージセンサの光電変換素子との間の空間に赤外光のみを透過するフィルタを備えることが望ましい。また、複数のLED8が放射する光の強度分布は、魚眼レンズ10の光軸(図3のz軸)を基準として軸対称であることが望ましい。即ち、複数のLED8の数及び配置は、そのような光の強度分布が得られるように決定されることが望ましい。
【0027】
尚、透明な外殻9は必須の構成要素ではなく、指6が直接に魚眼レンズ10に触れる構成であってもよい。また、魚眼レンズ10の代わりに広角レンズ(画角が約60度〜約180度)を使用してもよい。
【0028】
次に、動作原理について説明する。発光手段1は、複数の指6及びその周囲の領域を照明する。一様に光を放射する点光源の場合には、光源に正対する領域の単位面積当たりの光強度(放射照度)は、光源からの距離の自乗に反比例する。従って、指で拡散反射する光の強度も、光源と指との距離に反比例する。その結果、撮像された画像の指の領域の画素値は、光源からの距離の増加と共に減少する。実際の発光手段1は点光源ではなく、特有の角度分布で光を放射するが、放射照度が光源からの距離と共に単調に減少するという傾向は同じである。従って、撮像された指の特定領域の画素値は、光源からの距離に応じて単調に変化する。従って、この距離と画素値の関係を予め測定して変換用データとして保持しておけば、撮像された画像中の指に該当する部分の画素値と変換用データとを比較して、指と光源との距離を計算できる。この距離は、図3の極座標において光源の位置を原点とすれば、動径rに対応する。極角θと方位角φは、撮像された画像から直接に特定できる。即ち、方位角φは、指に該当する部分と原点を結ぶ直線とx軸とが成す角度であり、極角θは、魚眼レンズの特性及び画像の中心からの距離から求めることができる。その結果、各指の3次元位置情報を得ることができる。
【0029】
動径方向の距離の算出に関して、実験で採用した数値例を示しながら詳しく説明する。撮像装置2として、一般的な魚眼レンズを一般的なCMOSカメラに装着して構成した。発光手段1については、ドーナツ状のプリント基板に16個の砲弾型LEDを半田付けした。即ち、これらのLEDは、プリント基板の中央に位置する魚眼レンズを取り囲むように配置される(図2参照)。ここで、外光の影響をなくすために、ピーク波長が950nmの近赤外光を放射するLEDを用いた。一般的なシリコンウェハから製造されるCCDやCMOSセンサ等のイメージセンサは、この波長帯の光を検出できるので、赤外線のみを透過するフィルタをイメージセンサとレンズの間に挿入することにより、可視領域の外光の影響を完全に取り除くことができる。簡単のため、以下ではこの種のフィルタは用いずに、暗室内で実験することで外光の影響を排除した結果を示す。
【0030】
図4は、上記のように試作した発光手段に所定の電流を流したときの配光特性を示すグラフである。測定手段として有感領域の面積が1cm2のフォトダイオードを使用し、魚眼レンズの中心を図3の極座標の原点として、z軸を含む面内で半径5cmおよび10cmの半円に沿ってフォトダイオードを移動させて測定した。図4において、縦軸は光の強度、横軸は極角θ(但し、ここではz軸を挟んで一方を正、逆方向を負の値で現している)である。図4から、光源からの距離が大きくなると放射強度が減少することが確認できる。距離が2倍になっても放射強度が正確に1/4にならないのは、点光源ではなく、指向性を持つ砲弾型LEDを使用したためである。
【0031】
図5は、試作した装置で取得した手の画像の一例である。画像の外縁付近にリング状に見えるのは魚眼レンズのCマウントである。このリング状領域の内側が、魚眼レンズを通してCMOSカメラによって撮像された外界であり、画像の中央に手が鮮明に写っている。図5は、手と魚眼レンズの中心との間の距離が約5cmの場合の画像である。この距離が増加するに連れて、撮像された画像中の手の大きさは小さくなり、明るさも減少する。
【0032】
距離と明るさの関係を定量化するために、人差し指を、指の腹が光源に対向するように固定具に固定し、これを光学ベンチの上でスライドさせながら複数の画像を撮像した。このとき、撮像された画像上で、指に該当する領域の中心が画像の中心と一致するように調節した。即ち、図3の座標系で極角θが0となるように、z軸上で動径rを変化させた。図6は、撮像した各画像から指の幅と指の中心部の画素値の平均値とを求め、これらを動径rに対してプロットしたグラフである。白丸は指の幅を表し、黒丸は指の中心部の画素値の平均値を表す。図6から、動径方向の距離の増加と共に、指の幅は単調に減少することが分かる。これは単純な幾何学的な効果である。また、指の明るさである画素値の平均値も単調に減少することが分かる。
【0033】
従って、図6のいずれの曲線も、撮像された指の画像から指の動径方向の位置(撮像系の原点からの距離)を算出するための変換用データとして利用できる。但し、手の回転によって、指の腹が光源に正対しない場合、画像上の指の幅や指の明るさが変化するが、その場合でも、ある程度の精度で指の距離を計算することができる。また、指の幅に関する変換用データと、指の中心部の画素値の平均値に関する変換用データとを組み合わせて使用すれば、精度を向上することが可能である。
【0034】
以下において、変換用データを区別する場合には、指の幅と距離とを対応付ける変換用データを「第1の変換用データ」とし、指の中心部の画素値の平均値と距離とを対応付ける変換用データを「第2の変換用データ」とする。
【0035】
図4〜図6では砲弾型LEDを用いた場合の実験結果を示したが、以下では、チップ型LEDを使用した例を示す。ピーク波長が950nmのチップ型LEDを8個用い、魚眼レンズの周囲に同じ円周上で等間隔に配置して、所定の電流を流して発光させた。図4の実験と同様にして得られた配光特性を図7に示す。但し、測定用のフォトダイオードは、z軸を含む面内で半径5〜10cmの半円に沿って移動させた。
【0036】
図7から、指向性の広いチップ型LEDを用いたために、図4に比べて、斜め方向へ出力される光の強度が大きいことが確認できる。また、図7においても図4と同様に、動径方向の距離rの増加と共に光強度が単調に減少しており、画素値の大きさに基づいた距離の算出が可能なことを示している。
【0037】
更に、チップ型LEDを使用した光源についても、図6の変換用データを取得したのと同様の実験を繰り返した。得られた結果を図8に示す。図6と同様の変換曲線が得られたが、細かく観察すると、図8では、図6に比べて、特に距離が小さいとき(グラフの左端付近)に画素値の平均値の変化が急峻であることが分かる。これは、図6のグラフよりも図8のグラフの方が、画素値から算出される距離の分解能が高くなることを示している。但し、距離が大きい場合(グラフの右端付近)には、図6のグラフよりも図8のグラフの方が画素値の変化は緩やかであり、距離を算出するときの分解能が低くなる。
【0038】
このように、光源の配光特性によって変換曲線の形状が変化するので、光源の配光特性は、動径方向の距離を算出するときの精度に影響を与える。即ち、指の動径方向の距離rを精度よく算出するためには、光源の配光特性が重要であり、光源の配光特性は距離rにのみ依存し極角θに依存しないのが望ましい。そして、使用する撮像手段に応じて、発光手段の配光特性が距離rにのみ依存するように、発光手段の形状(例えば、LEDの配置)を決定することが望ましい。逆に、発光手段の詳細な構成は、使用目的に応じて要求される距離rの精度や許容される製造コストなどに応じて決められるべき事項であるとも言える。
【0039】
なお、図6および図8は、極角θが0に等しい場合の変換用データだが、極角θが0でない場合でも、同様の変換用データが得られる。これも具体的な設計に依存するが、前述のチップ型LEDを使用した光源の場合には、θ<70°の場合にはこれらの変換用データはほぼ一致する。従って、距離rの算出に必要なデータ量が少なくなる。
【0040】
図9は、本ヒューマンインターフェイス装置を用いて指の位置情報を取得する動作を示すフローチャートである。図1〜図9を参照して、本ヒューマンインターフェイス装置の動作を説明すれば次の通りでする。
【0041】
ステップS1において、制御手段3は、発光手段1をオンし、撮像手段2を用いて撮像を行い、画像データを記録手段4に記録する。これによって、図5のような画像が得られる。撮像される画像は、例えば多階調のグレースケール画像である。
【0042】
ステップS2において、画像処理手段5は、記録手段4から画像データを読み出して、画像中の指の領域を検出する。指の検出には、エッジ検出などの公知の画像処理を使用すればよいので、詳細説明は省略する。
【0043】
ステップS3において、画像処理手段5は、ステップS2で検出した指の領域から、各指の幅w、又は、各指の所定領域(以下、領域Aとも記す(図3の楕円領域参照))の画素値の平均値aを計算する。例えば、幅w、平均値aは、5本の指の各々について計算される。
【0044】
ステップS4において、画像処理手段5は、ステップS3で得られた幅w又は平均値aと、記録手段4から読み出した変換用データとを用いて、各指の位置座標(r,θ,φ)を計算し、指毎のデータとして出力する。変換用データは、使用する発光手段1及び撮像手段2を用いて予め測定されたデータであり、例えば図6、図8に示したようなデータである。
【0045】
このとき、ステップS3で幅wを計算する場合には、少なくとも幅w及び距離rのグラフ(例えは図6、図8の白丸のデータ)を第1の変換用データとして記録手段4に記録しておき、これを用いてステップS4における距離rの計算を行う。ステップS3で平均値aを計算する場合には、少なくとも平均値a及び距離rのグラフ(例えは図6、図8の黒丸のデータ)を第2の変換用データとして記録手段4に記録しておき、これを用いてステップS4における距離rの計算を行う。なお、換算用データは、関数として記録していても、離散的なデータとして記録していてもよい。関数であれば、測定値(w又はa)から直接に距離rを計算することができる。離散的なデータの場合には、補間法などによって測定値(w又はa)に対応する距離rを計算すればよい。
【0046】
極角θは、撮像手段の光学特性を考慮して、画像の中心から領域A(領域Aの代表点(例えば中心))までの距離(画素数)から計算することができる。例えば、魚眼レンズを使用して、画像の中心からの距離と極角θとが比例するように光学系を設計しておけばよい。また、方位角φは、画像内の基準軸(x軸)に対する領域A(領域Aの代表点)の角度として計算する。
【0047】
指毎に得られた(r,θ,φ)は、所定のインターフェイスを介して外部装置7に出力される。データの出力形式は任意である。シリアルインターフェイスの場合には、例えば、データの時系列順序を各指に対応させ、親指〜小指の(r,θ,φ)を順に出力すればよい。
【0048】
ステップS5において、終了の有無が判断され、終了しない場合にはステップS1に戻り、上記のステップS1〜S4を所定の時間間隔で繰り返す。各指の位置の変化の時間分解能は、撮像手段2および画像処理手段5の性能に依存する。例えば、N枚/秒の速度で画像を撮像し画像処理すれば、各指の位置の変化を1秒間にNの分解能で求めることができる。
【0049】
CMOS技術によるイメージセンサは、画像の出力フォーマットの自由度が高いので、撮像手段2にCMOSイメージセンサを使用すれば、例えば、目的とする指の領域を限定して高速で出力することも可能である。また、通常の人物や風景等の撮像と異なり、指の中心の変位を求めるのが目的なので、画像の精細度に関する要求は低い。この事実も高速のデータ出力に有利であり、例えば200fps(frames/sec)を超えるスピードが実現できる。従って、一般のマウスに比べて、座標入力の速度が劣ることは無い。
【0050】
上記では、幅w又は平均値aを使用して、距離rを計算する場合を説明したが、幅w及び平均値aの両方を用いてもよい。例えば、ステップS3において、幅w及び平均値aを計算し、ステップS4において、それぞれ第1及び第2の変換用データを用いて距離rを求め、第1の変換用データから求めた距離rwと、第2の変換用データから求めた距離raとから、例えばそれらの平均値(rw+ra)/2として最終的に距離rを求めても良い。また、距離に応じて、変換用データを使い分けてもよい。例えば、図6のデータを使用する場合には、距離rが5cm近傍では、第1の変換用データの変化の方が急峻であり解像度が高いので、距離rが5cm近傍の所定範囲では第1の変換用データを使用し、それ以外の範囲では第2の変換用データを使用してもよい。
【0051】
変換用データは、特定のヒューマンインターフェイス装置および特定の人に関して少なくとも一度測定して得られたものを、異なる人に対して使用することができる。しかし、指の形状や光の反射率には個体差(性別、年齢、肌の色など)があるので、同じヒューマンインターフェイス装置で測定しても変換用データが異なる可能性がある。従って、より精度良く距離を求めるためには、人毎に最初に較正を行なうことが望ましい。例えば、最初に所定距離r=r0の位置に指を位置させて、一度ステップS1〜S4の処理を行って距離を計算し、計算されたr1とr0との差違に応じて、予め記録された変換用データを修正して、それ以後の処理では修正された変換用データを使用することができる。修正方法は、例えば、r1とr0との差に応じて変換用データをシフトする、r1とr0との比に応じて変換用データをスケーリングするなどの方法がある。
【0052】
また、指の幅wは指の種類(親指、人差し指、中指、薬指、小指)によって異なるので、指毎に第1の変換用データを記録しておいてもよい。例えば、親指用の変換用データと、小指用の変換用データとで、異なる変換用データを使用してもよい。このとき、指の種類は、画像処理によって検出された各指の大きさと相互の位置関係とから決定すればよい。
【0053】
また、第1の変換用データは、絶対距離と指の幅とを対応させたデータに限らず、指の幅を距離に変換できるデータであればよい。例えば、最小距離(図2の外殻表面と原点との距離)に対する倍率と指の幅とを対応させたデータであってもよい。
【0054】
また、配光特性の角度依存性が小さい場合、θ=0で測定して得られた第2の変換用データのみを使用することができるが、図4、図7のように配光特性に角度依存性がある場合、第2の変換用データを配光特性で修正して使用してもよい。例えば、第2の変換用データがθ=0で測定して得られたデータであった場合、距離rを計算する前に、指先部の極角θを求め(θ=θ1)、θ=θ1及びθ=0に対応する配光特性の光強度の比で第2の変換用データを修正し、修正された変換用データを用いて距離rを算出すればよい。また、θ=0で測定した第2の変換用データに加えて、0<θ<90(度)で測定した複数の第2の変換用データを使用してもよい。その場合、距離rを計算する前に、指の極角θを求め、得られた角度θ1に応じて複数の第2の変換用データを用いて距離rを計算すればよい。
【0055】
また、人の指先部分に所定の反射物を取り付けて、その反射物によって反射される光の強度を用いてもよい。例えば、各指の指先に直接接着しても、指先部分に反射物を取り付けた手袋を使用してもよい。この場合、変換用データは、同じ反射物を取り付けた状態で測定して取得すればよい。
【0056】
また、指の幅w、指の画素値の平均値aを使用する場合に限らず、撮像された画像から抽出された各指の特徴量が距離に依存するものであれば、その特徴量と距離との関係を予め測定して変換用データとして使用することができる。例えば、特徴量は指の面積であってもよい。
【0057】
また、指に限らず、ある程度光を反射し、3次元位置が変位可能な物を使用しても良い。例えば、掌の皺を利用してもよい。これを手相として認識すれば、占いに関連したゲームのインターフェイスとしても利用できる。
【0058】
また、光の反射だけではなく吸収も利用して画像を取得して、画像の特徴量に基づいて、手や指の変位を検出してもよい。このような例として、手や指の内部の静脈がある。赤外光の吸収の大小を利用して掌の静脈パターンを検出し、この特徴を元に個人認証を行うことは、銀行のATM装置などで広く実用化されている。従って、こうした公知技術を用いれば、図5のような画像から静脈パターンを検出できる。手を動かせば静脈パターンも変化するので、逆に、静脈パターンの変化から手の変位を検出できる。
【符号の説明】
【0059】
1 発光手段
2 撮像手段
3 制御手段
4 記録手段
5 画像処理手段
6 手指
7 外部装置
8 LED
9 外殻
10 魚眼レンズ
11 ベース
【特許請求の範囲】
【請求項1】
発光手段、撮像手段、及び画像処理手段を備え、
前記発光手段が物体に光を放射した状態で、前記撮像手段が前記物体から反射された光を検出して画像を取得し、
前記画像処理手段が、
前記画像内において、前記物体表面の特定部分に該当する画像領域を検出し、
検出された前記画像領域の特徴量と変換用データとを用いて、基準位置から前記物体表面の前記特定部分までの距離を求め、
前記変換用データが、前記基準位置からの距離と前記特徴量とを対応付けるデータであることを特徴とするヒューマンインターフェイス装置。
【請求項2】
前記特徴量が、前記画像領域の大きさ及び明るさの少なくとも一方であることを特徴とする請求項1に記載のヒューマンインターフェイス装置。
【請求項3】
前記物体が人の手であり、
前記特定部分が指の先端部分であり、
前記特徴量が前記画像領域の明るさであることを特徴とする請求項2に記載のヒューマンインターフェイス装置。
【請求項4】
前記物体が人の手であり、
前記特定部分が指であり、
前記特徴量が前記画像領域の幅であることを特徴とする請求項2に記載のヒューマンインターフェイス装置。
【請求項5】
前記光が近赤外光であり、
前記撮像手段が魚眼レンズを備え、
前記画像処理手段が、前記画像上の前記特定部分の位置及び前記撮像手段の光学特性から、極座標における前記特定部分の極角及び方位角を求め、
前記距離、前記極角、及び前記方位角を、前記特定部分の3次元位置情報として決定することを特徴とする請求項3又は4に記載のヒューマンインターフェイス装置。
【請求項6】
前記画像処理手段が、
前記発光手段から放射される光の配光特性の極角依存性と前記特定部分の極角とを用いて、明るさに関する前記変換用データを修正し、
修正された前記変換用データを用いて前記距離を求めることを特徴とする請求項2〜5の何れか1項に記載のヒューマンインターフェイス装置。
【請求項1】
発光手段、撮像手段、及び画像処理手段を備え、
前記発光手段が物体に光を放射した状態で、前記撮像手段が前記物体から反射された光を検出して画像を取得し、
前記画像処理手段が、
前記画像内において、前記物体表面の特定部分に該当する画像領域を検出し、
検出された前記画像領域の特徴量と変換用データとを用いて、基準位置から前記物体表面の前記特定部分までの距離を求め、
前記変換用データが、前記基準位置からの距離と前記特徴量とを対応付けるデータであることを特徴とするヒューマンインターフェイス装置。
【請求項2】
前記特徴量が、前記画像領域の大きさ及び明るさの少なくとも一方であることを特徴とする請求項1に記載のヒューマンインターフェイス装置。
【請求項3】
前記物体が人の手であり、
前記特定部分が指の先端部分であり、
前記特徴量が前記画像領域の明るさであることを特徴とする請求項2に記載のヒューマンインターフェイス装置。
【請求項4】
前記物体が人の手であり、
前記特定部分が指であり、
前記特徴量が前記画像領域の幅であることを特徴とする請求項2に記載のヒューマンインターフェイス装置。
【請求項5】
前記光が近赤外光であり、
前記撮像手段が魚眼レンズを備え、
前記画像処理手段が、前記画像上の前記特定部分の位置及び前記撮像手段の光学特性から、極座標における前記特定部分の極角及び方位角を求め、
前記距離、前記極角、及び前記方位角を、前記特定部分の3次元位置情報として決定することを特徴とする請求項3又は4に記載のヒューマンインターフェイス装置。
【請求項6】
前記画像処理手段が、
前記発光手段から放射される光の配光特性の極角依存性と前記特定部分の極角とを用いて、明るさに関する前記変換用データを修正し、
修正された前記変換用データを用いて前記距離を求めることを特徴とする請求項2〜5の何れか1項に記載のヒューマンインターフェイス装置。
【図1】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図5】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図5】
【公開番号】特開2011−18129(P2011−18129A)
【公開日】平成23年1月27日(2011.1.27)
【国際特許分類】
【出願番号】特願2009−161031(P2009−161031)
【出願日】平成21年7月7日(2009.7.7)
【出願人】(593006630)学校法人立命館 (359)
【Fターム(参考)】
【公開日】平成23年1月27日(2011.1.27)
【国際特許分類】
【出願日】平成21年7月7日(2009.7.7)
【出願人】(593006630)学校法人立命館 (359)
【Fターム(参考)】
[ Back to top ]