ジェスチャ入力装置
【課題】ユーザの身体にジェスチャ認識用の撮像装置を装着する場合においても、ユーザの意図しない指示が出力されることを低減することが可能なジェスチャ入力装置を提供することを目的とする。
【解決手段】ユーザの身体に装着される撮像装置７と、撮像装置７により撮像されるユーザの手指の撮像画像に基づいて、ユーザの手指のジェスチャを認識する画像認識装置２と、画像認識装置２により認識されるジェスチャに対応する指示を出力するコマンド認識装置３と、ユーザの身体の動きに伴う撮像装置７の姿勢の変動量を求める姿勢測定装置４及び撮像装置姿勢認識装置５と、その変動量に基づいて、コマンド認識装置３からコマンドが出力されることを許可する認識制御装置６とを備えてジェスチャ入力装置１を構成する。
【解決手段】ユーザの身体に装着される撮像装置７と、撮像装置７により撮像されるユーザの手指の撮像画像に基づいて、ユーザの手指のジェスチャを認識する画像認識装置２と、画像認識装置２により認識されるジェスチャに対応する指示を出力するコマンド認識装置３と、ユーザの身体の動きに伴う撮像装置７の姿勢の変動量を求める姿勢測定装置４及び撮像装置姿勢認識装置５と、その変動量に基づいて、コマンド認識装置３からコマンドが出力されることを許可する認識制御装置６とを備えてジェスチャ入力装置１を構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザにより行われるジェスチャを認識し、その認識結果を外部装置の動作を制御するための指示に変換するジェスチャ入力装置に関する。
【背景技術】
【０００２】
ジェスチャ入力装置として、例えば、ユーザの頭部に装着される撮像装置によりマーカや背景を撮像し、その撮像画像に基づいてユーザにより行われるジェスチャを認識し、その認識結果によりパーソナルコンピュータなどの外部装置のＧＵＩの表示や非表示の判定を行うものがある（例えば、特許文献１参照）。
【０００３】
また、他のジェスチャ入力装置として、例えば、ユーザの手形状を認識する認識手段と、その認識した手形状の特徴に応じて選択メニューを表示するものがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５１１５４号公報
【特許文献２】特許３７７７６５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のように、ユーザの身体に装着される撮像装置からの撮像画像に基づいてユーザにより行われるジェスチャを認識し、その認識結果を外部装置の動作を制御するための指示に変換するジェスチャ入力装置では、ユーザの身体の動きに伴い撮像装置も動いてしまう。すると、撮像装置の動きに併せて撮像装置の撮像範囲も動いてしまうため、あたかもユーザの手指が移動したとジェスチャ入力装置により判断されて、ユーザの意図しない指示が外部装置に出力されるおそれがある。
【０００６】
そこで、本発明は、ユーザの身体にジェスチャ認識用の撮像装置を装着する場合においても、ユーザの意図しない動作制御指示が外部装置に出力されることを低減することが可能なジェスチャ入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のジェスチャ入力装置は、撮像手段と、認識手段と、指示出力手段と、変動量検出手段と、指示出力許可手段とを備える。
【０００８】
前記撮像手段は、ユーザの身体に装着される。
【０００９】
前記認識手段は、前記撮像手段により撮像される前記ユーザの手指の撮像画像に基づいて、前記ユーザにより行われる手指のジェスチャを認識する。
【００１０】
前記指示出力手段は、前記認識手段により認識されるジェスチャに対応する動作制御指示を出力する。
【００１１】
前記変動量検出手段は、前記ユーザの身体の動きに伴う前記撮像手段の姿勢の変動量を求める。
【００１２】
前記指示出力許可手段は、前記変動量が閾値以下のときのみ、前記指示出力手段から動作制御指示が出力されることを許可する。
【発明の効果】
【００１３】
本発明によれば、ユーザの手指のジェスチャの認識結果を外部装置の動作制御指示に変換するジェスチャ入力装置において、ユーザの身体にジェスチャ認識用の撮像装置を装着する場合においても、ユーザの意図しない指示が外部装置に出力されることを低減することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態のジェスチャ入力装置を示す図である。
【図２Ａ】ジェスチャ入力装置がメガネ型冶具に取り付けられた例を示す図である。
【図２Ｂ】ジェスチャ入力装置がペンダント型に構成された例を示す図である。
【図３】撮像装置の撮像範囲の一例を示す図である。
【図４】撮像画像の一例を示す図である。
【図５】撮像範囲の移動に伴う撮像画像内のユーザの手指の移動の一例を示す図である。
【図６】ユーザの手指のサイズ及び撮像装置からユーザの手指までの距離を示す図である。
【図７】撮像画像に対応する２次元座標と実空間に対応する３次元座標との関係を示す図である。
【図８】３次元座標における手指マーカｈとその手指マーカｈを外包する球との関係を示す図である。
【図９】撮像画像内のユーザの手指の画素数及び撮像画像の縦方向の画素数を示す図である。
【図１０】本発明の第２実施形態のジェスチャ入力装置を示す図である。
【図１１】空間に配置されるマーカの一例を示す図である。
【図１２】撮像画像内のマーカの一例を示す図である。
【図１３】本発明の第３実施形態のジェスチャ入力装置を示す図である。
【図１４Ａ】静止時のユーザを示す図である。
【図１４Ｂ】姿勢測定装置から出力される姿勢データの一例を示す図である。
【図１４Ｃ】フーリエ変換後の姿勢データの周波数成分の一例を示す図である。
【図１４Ｄ】特定の周波数帯域に対応する姿勢データを示す図である。
【図１４Ｅ】バンドカットフィルタ装置から出力される姿勢データの一例を示す図である。
【図１５Ａ】歩行時又は走行時のユーザを示す図である。
【図１５Ｂ】姿勢測定装置から出力される姿勢データの一例を示す図である。
【図１５Ｃ】フーリエ変換後の姿勢データの周波数成分の一例を示す図である。
【図１５Ｄ】特定の周波数帯域に対応する姿勢データを示す図である。
【図１５Ｅ】バンドカットフィルタ装置から出力される姿勢データの一例を示す図である。
【図１６】本発明の第４実施形態のジェスチャ入力装置を示す図である。
【図１７】モード切替装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
＜第１実施形態＞
【００１６】
図１は、本発明の第１実施形態のジェスチャ入力装置を示す図である。
【００１７】
図１に示すジェスチャ入力装置１は、画像認識装置２（認識手段）と、コマンド生成認識装置３（指示出力手段）と、姿勢測定装置４（例えば、ジャイロ、地磁気を利用した方位センサー、加速度計を用いた重力方向センサーなど）（変動量検出手段）と、撮像装置姿勢認識装置５（変動量検出手段）と、認識制御装置６（指示出力許可手段）と、撮像装置７（例えば、小型カメラなど）（撮像手段）と、通信装置８とを備える。
【００１８】
すなわち、撮像装置７は、画像認識装置２に接続され、画像認識装置２は、コマンド生成認識装置３に接続される。姿勢測定装置４は、撮像装置姿勢認識装置５に接続され、撮像装置姿勢認識装置５は、コマンド生成認識装置３に接続される。撮像装置姿勢認識装置５は、認識制御装置６に接続され、認識制御装置６は、画像認識装置２に接続される。認識制御装置６は、コマンド生成認識装置３に接続される。コマンド生成認識装置３及び撮像装置姿勢認識装置５は、それぞれ、無線通信又は有線通信を行う通信装置８を介して外部制御装置９（外部装置）に接続される。また、コマンド生成認識装置３は、表示装置１０に接続される。
【００１９】
なお、ジェスチャ入力装置１は、例えば、パーソナルコンピュータや携帯電話などの外部制御装置９のマウス、キーボード、又はタッチパネルなどに相当する入力装置として利用されるものであって、外部制御装置９の動作を制御するための指示を出力する。また、図２Ａに示すように、ジェスチャ入力装置１や表示装置１０は、メガネ型治具１１に取り付けられてもよい。図２Ａに示す例では、撮像装置７の画角とユーザの視野とが互いに同じ方向になるように、ジェスチャ入力装置１がメガネ型治具１１に取り付けられている。また、図２Ａに示す例では、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などのように、表示装置１０に表示される内容が常にユーザの視野に入るように、表示装置１０がメガネ型治具１１に取り付けられている。また、図２Ｂに示すように、ジェスチャ入力装置１は、ペンダント型に構成してもよい。図２Ｂに示す例では、ユーザがジェスチャ入力装置１を首にかけたとき、撮像装置７の画角とユーザの視野とが互いに同じ方向になるように、撮像装置７がジェスチャ入力装置１に内蔵されている。すなわち、ジェスチャ入力装置１は、図２Ａや図２Ｂに示すように、ユーザの身体に装着されるものであって、その形態や装着場所は特に限定されない。
【００２０】
第１実施形態のジェスチャ入力装置１は、撮像装置７からの撮像画像に基づいて、ユーザにより行われるジェスチャを認識し、その認識結果をコマンド（外部制御装置９の動作を制御するための指示）に変換した後、そのコマンドを通信装置８を介して外部制御装置９に出力し、そのコマンドに対応する動作を外部制御装置９に実行させる。
【００２１】
撮像装置７は、結像レンズ、撮像素子、及び画像処理エンジンなどを備え、主にユーザの手指の画像を撮像し、その撮像画像を画像認識装置２に出力する。また、撮像装置７は、カメラ撮影パラメータ・サムネイル画像データを通信装置８を介して外部制御装置９に出力する。
【００２２】
画像認識装置２は、入力される撮像画像に基づいて、ユーザの手指の形や動作すなわちジェスチャを認識し、その認識結果をコマンド生成認識装置３に出力する。なお、撮像画像からジェスチャを認識する技術は、予め手指に付けられる１以上のマーカの撮像画像に基づいてジェスチャ認識を行うなど、種々の既存の技術を利用することができる。例えば、特開２００６−１５５２４４号公報や特許４０１３１００号公報などに記載されている技術を利用することができる。
【００２３】
コマンド生成認識装置３は、画像認識装置２から出力される認識結果に対応するコマンドを通信装置８を介して外部制御装置９に送信したり、外部制御装置９から送信されるコマンド（ジェスチャ入力装置１の動作を制御するための指示）を通信装置８を介して受信する。
【００２４】
外部制御装置９は、受信するコマンドに基づいて、マウスカーソルの移動、クリック、画像の再生や停止などの各種動作を実行する。
【００２５】
ここで、例えば、図３に示すように、ジェスチャ入力装置１がユーザの頭部に装着され、図４に示すように、撮像装置７の撮像範囲（画角）にユーザの手指や外部制御装置９が入っている場合を想定する。このような場合において、ユーザが頭部を上から下に振ると、ユーザの頭部とともに撮像装置７の撮像範囲は下方に移動し、撮像画像内のユーザの手指は、図５に示すように、上方に移動する。そのため、画像認識装置２は、あたかもユーザが手指を上方に振り上げたようなジェスチャが行われたと認識してしまうおそれがある。そして、このようなジェスチャの誤認識が発生すると、その認識結果に対応するコマンドがコマンド生成認識装置３から出力されてしまい、ユーザが意図しない動作（例えば、カーソルを下から上に移動させる動作）が外部制御装置９により実行されてしまう。すなわち、ユーザの何気ない身体の動作に伴う撮像装置７の姿勢の変動により、ユーザが意図しないコマンドが出力されてしまい、外部制御装置９が誤動作するおそれがある。
【００２６】
第１実施形態のジェスチャ入力装置１では、このようなユーザが意図しないコマンドが出力されることを低減するために、姿勢測定装置４、撮像装置姿勢認識装置５、及び認識制御装置６を備えている。
【００２７】
姿勢測定装置４は、撮像装置７との相対距離が固定されており、姿勢測定装置４自体が縦方向に回転するときの回転角の変動量を測定し、その変動量を姿勢データとして撮像装置姿勢認識装置５に出力する。例えば、ジェスチャ入力装置１がユーザの頭部に装着され、ユーザの頭部が縦方向に動いていないとき、姿勢測定装置４は一定の姿勢データを出力する。
【００２８】
撮像装置姿勢認識装置５は、入力される姿勢データに基づいて、撮像装置７が縦方向に回転するときの回転角の変動量を求め、その変動量を撮像装置姿勢データとして認識制御装置６に出力する。なお、撮像装置姿勢認識装置５は、撮像装置姿勢データを通信装置８を介して外部制御装置９に出力してもよい。
【００２９】
認識制御装置６は、入力される撮像装置姿勢データに基づいて、画像認識装置２において認識されるジェスチャをコマンドに変換することを許可するか否かを示す許可・不許可データをコマンド生成認識装置３に出力する。
【００３０】
例えば、ユーザの手指が所定距離（例えば、±５ｍｍ）以上移動したとき、そのユーザの手指のジェスチャが画像認識装置２において予め決められているジェスチャとして認識される場合を想定する。なお、上記所定距離は、以下、「ジェスチャ分解能」とし、予め決められているジェスチャに応じて設定されているものとする。
【００３１】
このような場合において、認識制御装置６は、撮像装置姿勢データが閾値（例えば、±２．５ｍｍ（撮像装置姿勢データをユーザの手指の移動距離に換算したときの値））以下であると判断すると、ジェスチャからコマンドへの変換を許可することを示す許可・不許可データをコマンド生成認識装置３に出力する。コマンド生成認識装置３は、ジェスチャからコマンドへの変換を許可することを示す許可・不許可データが入力されると、画像認識装置２において認識されるジェスチャをコマンドに変換する。また、コマンド生成認識装置３は、ジェスチャからコマンドへの変換を許可することを示す許可・不許可データが入力されると、ジェスチャによる外部制御装置９の動作制御が可能である旨を表示装置１０に表示させるようにしてもよい。これにより、ユーザに対して外部制御装置９が制御可能である旨を伝えることができ、現在の姿勢を維持することをユーザに促すことができる。
【００３２】
一方、認識制御装置６は、撮像装置姿勢データが閾値を超えたと判断すると、ジェスチャからコマンドへの変換を許可しないことを示す許可・不許可データをコマンド生成認識装置３に出力する。コマンド生成認識装置３は、ジェスチャからコマンドへの変換を許可しないことを示す許可・不許可データが入力されると、画像認識装置２において認識されるジェスチャをコマンドに変換しない。また、コマンド生成認識装置３は、ジェスチャからコマンドへの変換を許可しないことを示す許可・不許可データが入力されると、ジェスチャによる外部制御装置９の動作制御が不可能であり、頭部の動作をやめさせる旨を表示装置１０に表示させるようにしてもよい。これにより、ユーザに対して外部制御装置９が制御不能である旨を伝えることができ、外部制御装置９が制御可能になる姿勢を取ることをユーザに促すことができる。また、外部制御装置９が制御可能になる姿勢をユーザが取ることができない場合、外部制御装置９が誤動作しないように、わざと手指から視線（撮像装置７の撮像範囲）を外すことをユーザに促すことができる。
【００３３】
なお、上記閾値は、特には限定されないが、上述のように「ジェスチャ分解能」の１／２としてもよいし、ユーザが意図しないコマンドが発生する場合としない場合のそれぞれの姿勢データの実測値に基づいて設定してもよい。
【００３４】
また、上記閾値は、撮像装置７からユーザの手指までの距離が短くなる程、大きくなるように変化させてもよい。例えば、図６に示すように、姿勢データをθＨ［ｄｅｇ］、等角射影のレンズを有する撮像装置７からユーザの手指に付けられた楕円状のマーカ１２までの距離をＬｈ、手指のサイズをＷｈ、手指のサイズのうちジェスチャ認識の不感帯幅となる割合をα［％］、上記閾値をΔθＨとすると、閾値ΔθＨ＝ｔａｎ−１（Ｗｈ×α／１００Ｌｈ）という式（１）が成り立つ。
ここで、距離Ｌｈの求め方の一例を説明する。
例えば、図７に示すように、撮像装置７の焦点距離をｆ、撮像装置７を基準とする３次元座標（以下、単に３次元座標という）の原点をＯｃとし、３次元座標のｘ軸が撮像装置７の撮像画像に対応する２次元座標（以下、単に２次元座標という）のｕ軸と平行であり、３次元座標のｙ軸が２次元座標のｖ軸と平行であり、３次元座標のｚ軸が２次元座標における撮像画像の中心位置（ｕ０，ｖ０）を通る場合を想定する。
このような場合、３次元座標におけるマーカ１２の中心位置Ｐ（ｘ， ｙ， ｚ）と、その中心位置Ｐ（ｘ，ｙ，ｚ）に対応する２次元座標におけるマーカ１２の中心位置Ｑ （ｕ，ｖ）との間には下記数１又は数２の関係が成り立つ。
【数１】
【数２】
また、図８に示すように、２次元座標のｖ軸におけるマーカ１２の長軸の長さをｒとし、３次元座標のｙ−ｚ軸におけるマーカ１２を外包する球の半径をＲ（近似値）とすると、撮像装置７の光軸（３次元座標のｚ軸）と直線ＯＰ（原点Ｏｃとマーカ１２の中心位置Ｐとを結ぶ直線）とが成す角度をθとすると、下記数３の関係が成り立つ。
【数３】
すなわち、上記数３は下記数４となる。
【数４】
また、下記数５又は数６の関係も成り立つ。
【数５】
【数６】
そして、上記数４と上記数６により、下記数７を求めることができる。
【数７】
すなわち、認識制御装置６は、上記数７に、撮像装置７の焦点距離をｆ、２次元座標におけるマーカ１２の長軸の長さをｒ、３次元座標におけるマーカ１２を外包する球の半径Ｒ、２次元座標における撮像画像の中心位置（ｕ０，ｖ０）、２次元座標におけるマーカ１２の中心位置Ｑ （ｕ，ｖ）を代入することにより、３次元座標におけるマーカ１２のｚ座標を求める。
同様にして、認識制御装置６は、下記数８により、３次元座標におけるマーカ１２のｘ座標を求める。
【数８】
また、同様にして、認識制御装置６は、下記数９により、３次元座標におけるマーカ１２のｙ座標を求める。
【数９】
そして、認識制御装置６は、距離Ｌｈを３次元座標におけるマーカ１２の中心位置（ｘ、ｙ、ｚ）と下記数１０とにより求める。
【数１０】
【００３５】
また、上述の式（１）は、図９に示すように、撮像画像上の手指のサイズ（画素数）をＷｈ１、撮像画像の縦サイズ（画素数）をＷＬ１とすると、閾値ΔθＨ＝ｔａｎ−１（α・（π／１８０００）・（Ｗｈ１／ＷＬ１）・θＬ）と表すこともできる。また、撮像画像上における手指のサイズＷｈ１は、ジェスチャ毎に変化するため、サイズＷｈ１の変化量を考慮して閾値ΔθＨを計算するようにしてもよい。
【００３６】
このように、第１実施形態のジェスチャ入力装置１は、撮像装置姿勢データが閾値以下のときのみ、すなわち、撮像装置７の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置３からのコマンド出力を許可するように構成している。そのため、撮像装置７がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置３から出力されることを低減することができる。
【００３７】
なお、上記撮像装置姿勢認識装置５は、姿勢測定装置４が縦方向に回転するときの回転角の変動量を示す姿勢データに基づいて、撮像装置姿勢データを求める構成であるが、姿勢測定装置４が縦方向に回転するときの回転角の変動量及び姿勢測定装置４が横方向に回転するときの回転角の変動量を示す姿勢データに基づいて、撮像装置姿勢データを求めるようにしてもよい。このように構成する場合、認識制御装置６は、撮像装置７が縦方向に回転するときの回転角の変動量が第１閾値以下のときのみ又は撮像装置７が横方向に回転するときの回転角の変動量が第２閾値以下のときのみ、コマンド生成認識装置３からのコマンド出力を許可する。これにより、ユーザが意図しないコマンドがコマンド生成認識装置３から出力されることをさらに精度よく低減することができる。
【００３８】
また、上記第１実施形態のジェスチャ入力装置１では、撮像装置７の姿勢の変動量が閾値以下であるか否かによりコマンド出力制御を行う構成であるが、撮像装置７の姿勢の変動量の連続的な変化に基づいてコマンド出力制御を行うように構成してもよい。
【００３９】
＜第２実施形態＞
【００４０】
図１０は、本発明の第２実施形態のジェスチャ入力装置を示す図である。なお、図１０において、図１に示す構成と同じ構成には同じ符号を付している。
【００４１】
第２実施形態のジェスチャ入力装置１３において、第１実施形態のジェスチャ入力装置１と異なる点は、姿勢測定装置４により測定される姿勢データではなく、空間に配置されるマーカ（例えば、図１１や図１２に示すように、机上に配置されるマーカＡや外部制御装置９のディスプレイに表示されるマーカＢ）の撮像画像に基づいて、コマンド出力を許可するか否かを判断する点である。そのため、第２実施形態のジェスチャ入力装置１３では、姿勢測定装置４を備えていない。
【００４２】
第２実施形態の画像認識装置２は、入力される撮像画像内のマーカの移動量を求め、その求めた移動量を姿勢データ（撮像装置７が縦方向や横方向に回転するときの回転角の変動量に相当する値）として撮像装置姿勢認識装置５に出力する。なお、撮像画像内のマーカの移動量の求め方は、種々の既存の技術を利用することができる。例えば、特許４４５５２９４号公報などに記載される技術を利用することができる。また、上述したように、３次元座標におけるマーカの中心位置（ｘ，ｙ，ｚ）を定期的に求め、そのマーカの中心位置の変化量をマーカの移動量として求めてもよい。
【００４３】
第２実施形態の撮像装置姿勢認識装置５は、入力される姿勢データに基づいて、撮像装置７が縦方向や横方向に回転するときの回転角の変動量を求め、その変動量を撮像装置姿勢データとして認識制御装置６に出力する。
【００４４】
第２実施形態の認識制御装置６及びコマンド生成認識装置３の動作は、第１実施形態の認識制御装置６及びコマンド生成認識装置３の動作と同様である。
【００４５】
このように、第２実施形態のジェスチャ入力装置１３は、第１実施形態のジェスチャ入力装置１と同様に、撮像装置７の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置３からのコマンド出力を許可するように構成している。そのため、撮像装置７がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置３から出力されることを低減することができる。
【００４６】
また、第２実施形態のジェスチャ入力装置１３は、第１実施形態のジェスチャ入力装置１に比べて、姿勢測定装置４を備えていない分、より簡易な構成にすることができる。
【００４７】
＜第３実施形態＞
【００４８】
図１３は、本発明の第３実施形態のジェスチャ入力装置を示す図である。なお、図１３において、図１に示す構成と同じ構成には同じ符号を付している。
【００４９】
第３実施形態のジェスチャ入力装置１４において、第１実施形態のジェスチャ入力装置１と異なる点は、姿勢測定装置４や撮像装置姿勢認識装置５に接続されるバンドカットフィルタ装置１５（移動量補正手段）をさらに備えている点である。なお、バンドカットフィルタ装置１５は、第２実施形態のジェスチャ入力装置１３において、画像認識装置２と撮像装置姿勢認識装置５との間に備えてもよい。
【００５０】
すなわち、バンドカットフィルタ装置１５は、姿勢測定装置４から出力される姿勢データをフーリエ変換して特定の周波数帯域の姿勢データをカットした後、逆フーリエ変換を行い、その逆フーリエ変換後の姿勢データを補正後の姿勢データとして撮像装置姿勢認識装置５に出力する。
【００５１】
例えば、図１４Ａに示すように、ユーザが静止している場合では、図１４Ｂに示すような姿勢データが姿勢測定装置４から出力される。この姿勢データは、主にユーザの身体の動きに伴う変動（振幅）が含まれており、バンドカットフィルタ装置１５においてフーリエ変換が行われ、例えば、図１４Ｃに示すような特定の周波数帯域の姿勢データがカットされる。この特定の周波数帯域は、ユーザが歩行や走行を行っているときなどユーザが周期的な動作を行っているときに姿勢測定装置４により測定される姿勢データの周波数帯域であり、この特定の周波数帯域の姿勢データは、ユーザが静止している場合、例えば、図１４Ｄに示すように、ほぼ変動がない姿勢データとなる。その後、バンドカットフィルタ装置１５において逆フーリエ変換が行われると、図１４Ｅに示すような姿勢データとなる。すなわち、ユーザが静止している場合の補正後の姿勢データは、補正前の姿勢データと比べてあまり変化がない。
【００５２】
また、図１５Ａに示すように、ユーザが歩行や走行を行っている場合では、図１５Ｂに示すような姿勢データが姿勢測定装置４から出力される。この姿勢データは、ユーザの身体の動きに伴う変動（振幅）の他に、ユーザの歩行や走行に伴う変動が重畳されており、バンドカットフィルタ装置１５においてフーリエ変換が行われ、例えば、図１５Ｃに示すような特定の周波数帯域（図１４Ｃに示す特定の周波数帯域と同様）の姿勢データがカットされる。この特定の周波数帯域の姿勢データは、ユーザが歩行や走行を行っている場合、例えば、図１５Ｄに示すように、周期的な変動がある姿勢データとなる。その後、バンドカットフィルタ装置１５において逆フーリエ変換が行われると、図１５Ｅに示すような姿勢データとなる。すなわち、図１５Ｅに示す姿勢データは、ユーザが静止しているときの姿勢データとほぼ同じものとして扱うことができる。
【００５３】
このように、バンドカットフィルタ装置１５から出力される補正後の姿勢データは、ユーザが歩行や走行を行っていても、ユーザが静止しているときの姿勢データとして扱うことができる。
【００５４】
第３実施形態の撮像装置姿勢認識装置５は、バンドカットフィルタ装置１５から出力される姿勢データに基づいて、撮像装置７が縦方向や横方向に回転するときの回転角の変動量を求め、その変動量を撮像装置姿勢データとして認識制御装置６に出力する。
【００５５】
第３実施形態の認識制御装置６及びコマンド生成認識装置３の動作は、第１及び第２実施形態の認識制御装置６及びコマンド生成認識装置３の動作と同様である。
【００５６】
このように、第３実施形態のジェスチャ入力装置１４は、第１実施形態のジェスチャ入力装置１や第２実施形態のジェスチャ入力装置１３と同様に、撮像装置７の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置３からのコマンド出力を許可するように構成している。そのため、撮像装置７がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置３から出力されることを低減することができる。
【００５７】
また、第３実施形態のジェスチャ入力装置１４は、ユーザの歩行や走行の際に生じる姿勢データの変動をキャンセルすることができるため、ユーザが歩行や走行を行っているときでも、精度を落とすことなく、姿勢データに基づいて、コマンド出力を許可するか否かを判断することができる。
【００５８】
＜第４実施形態＞
【００５９】
図１６は、本発明の第４実施形態のジェスチャ入力装置を示す図である。なお、図１６において、図１に示す構成と同じ構成には同じ符号を付している。
【００６０】
第４実施形態のジェスチャ入力装置１６において、第１実施形態のジェスチャ入力装置１と異なる点は、認識制御装置６に接続されるモード切替装置１７（閾値変更手段）をさらに備えている点である。なお、モード切替装置１７は、第２実施形態のジェスチャ入力装置１３において、認識制御装置６に接続されるようにして備えられてもよい。
【００６１】
モード切替装置１７は、コマンド生成認識装置３や通信装置８から出力されるコマンドを常時確認し、そのコマンドがモード切替用のコマンドのとき、モード切替を実施する。モード切替とは、認識制御装置６で使用される閾値を変更することである。例えば、ユーザの親指と人差し指とで輪を形成するジェスチャが５秒間行われたことを認識した結果によりコマンド生成認識装置３からモード切替用のコマンドが出力されると、モード切替装置１７は、そのモード切替用のコマンドに対応する閾値を認識制御装置６に出力する。そして、認識制御装置６は、モード切替装置１７から出力される閾値に基づいて、ジェスチャからコマンドへの変換を許可するか否かを判断する。例えば、画像認識装置２において細かい動きのジェスチャを認識させるモードに切り替えるためのコマンドがモード切替装置１７に入力されると、認識制御装置６で使用される閾値を小さくする。一方、画像認識装置２において大きな動きのジェスチャを認識させるモードに切り替えるためのコマンドがモード切替装置１７に入力されると、認識制御装置６で使用される閾値を大きくする。これにより、指先を動かすジェスチャなど細かな動きのジェスチャを行う際にユーザが意図しないコマンドが頻繁に出力されることや腕を使ったジェスチャなど大きな動きのジェスチャを行う際にユーザが意図するコマンドがなかなか出力されないことを低減することができる。
【００６２】
図１７は、モード切替装置１７の動作を説明するフローチャートである。
【００６３】
まず、モード切替装置１７は、コマンドが入力されると（ステップＳ１がＹｅｓ）、その入力されたコマンドとモード切替装置１７内の記憶部に記憶されているコマンドとを比較して（ステップＳ２）、入力されたコマンドが変更されているか否かを判断する（ステップＳ３）。
【００６４】
次に、モード切替装置１７は、変更されていないと判断した場合（ステップＳ３がＮｏ）、ステップＳ１に戻り、変更されていると判断した場合（ステップＳ３がＹｅｓ）、入力されたコマンドを記憶部に上書きすることによりコマンドを書き換える（ステップＳ４）。
【００６５】
そして、モード切替装置１７は、その書換え後のコマンドに対応する閾値を記憶部から読み出し（ステップＳ５）、認識制御装置６に新しい閾値として出力する。
【００６６】
このように、第４実施形態のジェスチャ入力装置１６においても、第１実施形態のジェスチャ入力装置１や第２実施形態のジェスチャ入力装置１３と同様に撮像装置７の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置３からのコマンド出力を許可するように構成している。そのため、撮像装置７がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置３から出力されることを低減することができる。
【符号の説明】
【００６７】
１ ジェスチャ入力装置
２ 画像認識装置
３ コマンド生成認識装置
４ 姿勢測定装置
５ 撮像装置姿勢認識装置
６ 認識制御装置
７ 撮像装置
８ 通信装置
９ 外部制御装置
１０ 表示装置
１１ メガネ型冶具
１２ マーカ
１３ ジェスチャ入力装置
１４ ジェスチャ入力装置
１５ バンドカットフィルタ装置
１６ ジェスチャ入力装置
１７ モード切替装置
【技術分野】
【０００１】
本発明は、ユーザにより行われるジェスチャを認識し、その認識結果を外部装置の動作を制御するための指示に変換するジェスチャ入力装置に関する。
【背景技術】
【０００２】
ジェスチャ入力装置として、例えば、ユーザの頭部に装着される撮像装置によりマーカや背景を撮像し、その撮像画像に基づいてユーザにより行われるジェスチャを認識し、その認識結果によりパーソナルコンピュータなどの外部装置のＧＵＩの表示や非表示の判定を行うものがある（例えば、特許文献１参照）。
【０００３】
また、他のジェスチャ入力装置として、例えば、ユーザの手形状を認識する認識手段と、その認識した手形状の特徴に応じて選択メニューを表示するものがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５１１５４号公報
【特許文献２】特許３７７７６５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のように、ユーザの身体に装着される撮像装置からの撮像画像に基づいてユーザにより行われるジェスチャを認識し、その認識結果を外部装置の動作を制御するための指示に変換するジェスチャ入力装置では、ユーザの身体の動きに伴い撮像装置も動いてしまう。すると、撮像装置の動きに併せて撮像装置の撮像範囲も動いてしまうため、あたかもユーザの手指が移動したとジェスチャ入力装置により判断されて、ユーザの意図しない指示が外部装置に出力されるおそれがある。
【０００６】
そこで、本発明は、ユーザの身体にジェスチャ認識用の撮像装置を装着する場合においても、ユーザの意図しない動作制御指示が外部装置に出力されることを低減することが可能なジェスチャ入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のジェスチャ入力装置は、撮像手段と、認識手段と、指示出力手段と、変動量検出手段と、指示出力許可手段とを備える。
【０００８】
前記撮像手段は、ユーザの身体に装着される。
【０００９】
前記認識手段は、前記撮像手段により撮像される前記ユーザの手指の撮像画像に基づいて、前記ユーザにより行われる手指のジェスチャを認識する。
【００１０】
前記指示出力手段は、前記認識手段により認識されるジェスチャに対応する動作制御指示を出力する。
【００１１】
前記変動量検出手段は、前記ユーザの身体の動きに伴う前記撮像手段の姿勢の変動量を求める。
【００１２】
前記指示出力許可手段は、前記変動量が閾値以下のときのみ、前記指示出力手段から動作制御指示が出力されることを許可する。
【発明の効果】
【００１３】
本発明によれば、ユーザの手指のジェスチャの認識結果を外部装置の動作制御指示に変換するジェスチャ入力装置において、ユーザの身体にジェスチャ認識用の撮像装置を装着する場合においても、ユーザの意図しない指示が外部装置に出力されることを低減することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態のジェスチャ入力装置を示す図である。
【図２Ａ】ジェスチャ入力装置がメガネ型冶具に取り付けられた例を示す図である。
【図２Ｂ】ジェスチャ入力装置がペンダント型に構成された例を示す図である。
【図３】撮像装置の撮像範囲の一例を示す図である。
【図４】撮像画像の一例を示す図である。
【図５】撮像範囲の移動に伴う撮像画像内のユーザの手指の移動の一例を示す図である。
【図６】ユーザの手指のサイズ及び撮像装置からユーザの手指までの距離を示す図である。
【図７】撮像画像に対応する２次元座標と実空間に対応する３次元座標との関係を示す図である。
【図８】３次元座標における手指マーカｈとその手指マーカｈを外包する球との関係を示す図である。
【図９】撮像画像内のユーザの手指の画素数及び撮像画像の縦方向の画素数を示す図である。
【図１０】本発明の第２実施形態のジェスチャ入力装置を示す図である。
【図１１】空間に配置されるマーカの一例を示す図である。
【図１２】撮像画像内のマーカの一例を示す図である。
【図１３】本発明の第３実施形態のジェスチャ入力装置を示す図である。
【図１４Ａ】静止時のユーザを示す図である。
【図１４Ｂ】姿勢測定装置から出力される姿勢データの一例を示す図である。
【図１４Ｃ】フーリエ変換後の姿勢データの周波数成分の一例を示す図である。
【図１４Ｄ】特定の周波数帯域に対応する姿勢データを示す図である。
【図１４Ｅ】バンドカットフィルタ装置から出力される姿勢データの一例を示す図である。
【図１５Ａ】歩行時又は走行時のユーザを示す図である。
【図１５Ｂ】姿勢測定装置から出力される姿勢データの一例を示す図である。
【図１５Ｃ】フーリエ変換後の姿勢データの周波数成分の一例を示す図である。
【図１５Ｄ】特定の周波数帯域に対応する姿勢データを示す図である。
【図１５Ｅ】バンドカットフィルタ装置から出力される姿勢データの一例を示す図である。
【図１６】本発明の第４実施形態のジェスチャ入力装置を示す図である。
【図１７】モード切替装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
＜第１実施形態＞
【００１６】
図１は、本発明の第１実施形態のジェスチャ入力装置を示す図である。
【００１７】
図１に示すジェスチャ入力装置１は、画像認識装置２（認識手段）と、コマンド生成認識装置３（指示出力手段）と、姿勢測定装置４（例えば、ジャイロ、地磁気を利用した方位センサー、加速度計を用いた重力方向センサーなど）（変動量検出手段）と、撮像装置姿勢認識装置５（変動量検出手段）と、認識制御装置６（指示出力許可手段）と、撮像装置７（例えば、小型カメラなど）（撮像手段）と、通信装置８とを備える。
【００１８】
すなわち、撮像装置７は、画像認識装置２に接続され、画像認識装置２は、コマンド生成認識装置３に接続される。姿勢測定装置４は、撮像装置姿勢認識装置５に接続され、撮像装置姿勢認識装置５は、コマンド生成認識装置３に接続される。撮像装置姿勢認識装置５は、認識制御装置６に接続され、認識制御装置６は、画像認識装置２に接続される。認識制御装置６は、コマンド生成認識装置３に接続される。コマンド生成認識装置３及び撮像装置姿勢認識装置５は、それぞれ、無線通信又は有線通信を行う通信装置８を介して外部制御装置９（外部装置）に接続される。また、コマンド生成認識装置３は、表示装置１０に接続される。
【００１９】
なお、ジェスチャ入力装置１は、例えば、パーソナルコンピュータや携帯電話などの外部制御装置９のマウス、キーボード、又はタッチパネルなどに相当する入力装置として利用されるものであって、外部制御装置９の動作を制御するための指示を出力する。また、図２Ａに示すように、ジェスチャ入力装置１や表示装置１０は、メガネ型治具１１に取り付けられてもよい。図２Ａに示す例では、撮像装置７の画角とユーザの視野とが互いに同じ方向になるように、ジェスチャ入力装置１がメガネ型治具１１に取り付けられている。また、図２Ａに示す例では、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などのように、表示装置１０に表示される内容が常にユーザの視野に入るように、表示装置１０がメガネ型治具１１に取り付けられている。また、図２Ｂに示すように、ジェスチャ入力装置１は、ペンダント型に構成してもよい。図２Ｂに示す例では、ユーザがジェスチャ入力装置１を首にかけたとき、撮像装置７の画角とユーザの視野とが互いに同じ方向になるように、撮像装置７がジェスチャ入力装置１に内蔵されている。すなわち、ジェスチャ入力装置１は、図２Ａや図２Ｂに示すように、ユーザの身体に装着されるものであって、その形態や装着場所は特に限定されない。
【００２０】
第１実施形態のジェスチャ入力装置１は、撮像装置７からの撮像画像に基づいて、ユーザにより行われるジェスチャを認識し、その認識結果をコマンド（外部制御装置９の動作を制御するための指示）に変換した後、そのコマンドを通信装置８を介して外部制御装置９に出力し、そのコマンドに対応する動作を外部制御装置９に実行させる。
【００２１】
撮像装置７は、結像レンズ、撮像素子、及び画像処理エンジンなどを備え、主にユーザの手指の画像を撮像し、その撮像画像を画像認識装置２に出力する。また、撮像装置７は、カメラ撮影パラメータ・サムネイル画像データを通信装置８を介して外部制御装置９に出力する。
【００２２】
画像認識装置２は、入力される撮像画像に基づいて、ユーザの手指の形や動作すなわちジェスチャを認識し、その認識結果をコマンド生成認識装置３に出力する。なお、撮像画像からジェスチャを認識する技術は、予め手指に付けられる１以上のマーカの撮像画像に基づいてジェスチャ認識を行うなど、種々の既存の技術を利用することができる。例えば、特開２００６−１５５２４４号公報や特許４０１３１００号公報などに記載されている技術を利用することができる。
【００２３】
コマンド生成認識装置３は、画像認識装置２から出力される認識結果に対応するコマンドを通信装置８を介して外部制御装置９に送信したり、外部制御装置９から送信されるコマンド（ジェスチャ入力装置１の動作を制御するための指示）を通信装置８を介して受信する。
【００２４】
外部制御装置９は、受信するコマンドに基づいて、マウスカーソルの移動、クリック、画像の再生や停止などの各種動作を実行する。
【００２５】
ここで、例えば、図３に示すように、ジェスチャ入力装置１がユーザの頭部に装着され、図４に示すように、撮像装置７の撮像範囲（画角）にユーザの手指や外部制御装置９が入っている場合を想定する。このような場合において、ユーザが頭部を上から下に振ると、ユーザの頭部とともに撮像装置７の撮像範囲は下方に移動し、撮像画像内のユーザの手指は、図５に示すように、上方に移動する。そのため、画像認識装置２は、あたかもユーザが手指を上方に振り上げたようなジェスチャが行われたと認識してしまうおそれがある。そして、このようなジェスチャの誤認識が発生すると、その認識結果に対応するコマンドがコマンド生成認識装置３から出力されてしまい、ユーザが意図しない動作（例えば、カーソルを下から上に移動させる動作）が外部制御装置９により実行されてしまう。すなわち、ユーザの何気ない身体の動作に伴う撮像装置７の姿勢の変動により、ユーザが意図しないコマンドが出力されてしまい、外部制御装置９が誤動作するおそれがある。
【００２６】
第１実施形態のジェスチャ入力装置１では、このようなユーザが意図しないコマンドが出力されることを低減するために、姿勢測定装置４、撮像装置姿勢認識装置５、及び認識制御装置６を備えている。
【００２７】
姿勢測定装置４は、撮像装置７との相対距離が固定されており、姿勢測定装置４自体が縦方向に回転するときの回転角の変動量を測定し、その変動量を姿勢データとして撮像装置姿勢認識装置５に出力する。例えば、ジェスチャ入力装置１がユーザの頭部に装着され、ユーザの頭部が縦方向に動いていないとき、姿勢測定装置４は一定の姿勢データを出力する。
【００２８】
撮像装置姿勢認識装置５は、入力される姿勢データに基づいて、撮像装置７が縦方向に回転するときの回転角の変動量を求め、その変動量を撮像装置姿勢データとして認識制御装置６に出力する。なお、撮像装置姿勢認識装置５は、撮像装置姿勢データを通信装置８を介して外部制御装置９に出力してもよい。
【００２９】
認識制御装置６は、入力される撮像装置姿勢データに基づいて、画像認識装置２において認識されるジェスチャをコマンドに変換することを許可するか否かを示す許可・不許可データをコマンド生成認識装置３に出力する。
【００３０】
例えば、ユーザの手指が所定距離（例えば、±５ｍｍ）以上移動したとき、そのユーザの手指のジェスチャが画像認識装置２において予め決められているジェスチャとして認識される場合を想定する。なお、上記所定距離は、以下、「ジェスチャ分解能」とし、予め決められているジェスチャに応じて設定されているものとする。
【００３１】
このような場合において、認識制御装置６は、撮像装置姿勢データが閾値（例えば、±２．５ｍｍ（撮像装置姿勢データをユーザの手指の移動距離に換算したときの値））以下であると判断すると、ジェスチャからコマンドへの変換を許可することを示す許可・不許可データをコマンド生成認識装置３に出力する。コマンド生成認識装置３は、ジェスチャからコマンドへの変換を許可することを示す許可・不許可データが入力されると、画像認識装置２において認識されるジェスチャをコマンドに変換する。また、コマンド生成認識装置３は、ジェスチャからコマンドへの変換を許可することを示す許可・不許可データが入力されると、ジェスチャによる外部制御装置９の動作制御が可能である旨を表示装置１０に表示させるようにしてもよい。これにより、ユーザに対して外部制御装置９が制御可能である旨を伝えることができ、現在の姿勢を維持することをユーザに促すことができる。
【００３２】
一方、認識制御装置６は、撮像装置姿勢データが閾値を超えたと判断すると、ジェスチャからコマンドへの変換を許可しないことを示す許可・不許可データをコマンド生成認識装置３に出力する。コマンド生成認識装置３は、ジェスチャからコマンドへの変換を許可しないことを示す許可・不許可データが入力されると、画像認識装置２において認識されるジェスチャをコマンドに変換しない。また、コマンド生成認識装置３は、ジェスチャからコマンドへの変換を許可しないことを示す許可・不許可データが入力されると、ジェスチャによる外部制御装置９の動作制御が不可能であり、頭部の動作をやめさせる旨を表示装置１０に表示させるようにしてもよい。これにより、ユーザに対して外部制御装置９が制御不能である旨を伝えることができ、外部制御装置９が制御可能になる姿勢を取ることをユーザに促すことができる。また、外部制御装置９が制御可能になる姿勢をユーザが取ることができない場合、外部制御装置９が誤動作しないように、わざと手指から視線（撮像装置７の撮像範囲）を外すことをユーザに促すことができる。
【００３３】
なお、上記閾値は、特には限定されないが、上述のように「ジェスチャ分解能」の１／２としてもよいし、ユーザが意図しないコマンドが発生する場合としない場合のそれぞれの姿勢データの実測値に基づいて設定してもよい。
【００３４】
また、上記閾値は、撮像装置７からユーザの手指までの距離が短くなる程、大きくなるように変化させてもよい。例えば、図６に示すように、姿勢データをθＨ［ｄｅｇ］、等角射影のレンズを有する撮像装置７からユーザの手指に付けられた楕円状のマーカ１２までの距離をＬｈ、手指のサイズをＷｈ、手指のサイズのうちジェスチャ認識の不感帯幅となる割合をα［％］、上記閾値をΔθＨとすると、閾値ΔθＨ＝ｔａｎ−１（Ｗｈ×α／１００Ｌｈ）という式（１）が成り立つ。
ここで、距離Ｌｈの求め方の一例を説明する。
例えば、図７に示すように、撮像装置７の焦点距離をｆ、撮像装置７を基準とする３次元座標（以下、単に３次元座標という）の原点をＯｃとし、３次元座標のｘ軸が撮像装置７の撮像画像に対応する２次元座標（以下、単に２次元座標という）のｕ軸と平行であり、３次元座標のｙ軸が２次元座標のｖ軸と平行であり、３次元座標のｚ軸が２次元座標における撮像画像の中心位置（ｕ０，ｖ０）を通る場合を想定する。
このような場合、３次元座標におけるマーカ１２の中心位置Ｐ（ｘ， ｙ， ｚ）と、その中心位置Ｐ（ｘ，ｙ，ｚ）に対応する２次元座標におけるマーカ１２の中心位置Ｑ （ｕ，ｖ）との間には下記数１又は数２の関係が成り立つ。
【数１】
【数２】
また、図８に示すように、２次元座標のｖ軸におけるマーカ１２の長軸の長さをｒとし、３次元座標のｙ−ｚ軸におけるマーカ１２を外包する球の半径をＲ（近似値）とすると、撮像装置７の光軸（３次元座標のｚ軸）と直線ＯＰ（原点Ｏｃとマーカ１２の中心位置Ｐとを結ぶ直線）とが成す角度をθとすると、下記数３の関係が成り立つ。
【数３】
すなわち、上記数３は下記数４となる。
【数４】
また、下記数５又は数６の関係も成り立つ。
【数５】
【数６】
そして、上記数４と上記数６により、下記数７を求めることができる。
【数７】
すなわち、認識制御装置６は、上記数７に、撮像装置７の焦点距離をｆ、２次元座標におけるマーカ１２の長軸の長さをｒ、３次元座標におけるマーカ１２を外包する球の半径Ｒ、２次元座標における撮像画像の中心位置（ｕ０，ｖ０）、２次元座標におけるマーカ１２の中心位置Ｑ （ｕ，ｖ）を代入することにより、３次元座標におけるマーカ１２のｚ座標を求める。
同様にして、認識制御装置６は、下記数８により、３次元座標におけるマーカ１２のｘ座標を求める。
【数８】
また、同様にして、認識制御装置６は、下記数９により、３次元座標におけるマーカ１２のｙ座標を求める。
【数９】
そして、認識制御装置６は、距離Ｌｈを３次元座標におけるマーカ１２の中心位置（ｘ、ｙ、ｚ）と下記数１０とにより求める。
【数１０】
【００３５】
また、上述の式（１）は、図９に示すように、撮像画像上の手指のサイズ（画素数）をＷｈ１、撮像画像の縦サイズ（画素数）をＷＬ１とすると、閾値ΔθＨ＝ｔａｎ−１（α・（π／１８０００）・（Ｗｈ１／ＷＬ１）・θＬ）と表すこともできる。また、撮像画像上における手指のサイズＷｈ１は、ジェスチャ毎に変化するため、サイズＷｈ１の変化量を考慮して閾値ΔθＨを計算するようにしてもよい。
【００３６】
このように、第１実施形態のジェスチャ入力装置１は、撮像装置姿勢データが閾値以下のときのみ、すなわち、撮像装置７の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置３からのコマンド出力を許可するように構成している。そのため、撮像装置７がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置３から出力されることを低減することができる。
【００３７】
なお、上記撮像装置姿勢認識装置５は、姿勢測定装置４が縦方向に回転するときの回転角の変動量を示す姿勢データに基づいて、撮像装置姿勢データを求める構成であるが、姿勢測定装置４が縦方向に回転するときの回転角の変動量及び姿勢測定装置４が横方向に回転するときの回転角の変動量を示す姿勢データに基づいて、撮像装置姿勢データを求めるようにしてもよい。このように構成する場合、認識制御装置６は、撮像装置７が縦方向に回転するときの回転角の変動量が第１閾値以下のときのみ又は撮像装置７が横方向に回転するときの回転角の変動量が第２閾値以下のときのみ、コマンド生成認識装置３からのコマンド出力を許可する。これにより、ユーザが意図しないコマンドがコマンド生成認識装置３から出力されることをさらに精度よく低減することができる。
【００３８】
また、上記第１実施形態のジェスチャ入力装置１では、撮像装置７の姿勢の変動量が閾値以下であるか否かによりコマンド出力制御を行う構成であるが、撮像装置７の姿勢の変動量の連続的な変化に基づいてコマンド出力制御を行うように構成してもよい。
【００３９】
＜第２実施形態＞
【００４０】
図１０は、本発明の第２実施形態のジェスチャ入力装置を示す図である。なお、図１０において、図１に示す構成と同じ構成には同じ符号を付している。
【００４１】
第２実施形態のジェスチャ入力装置１３において、第１実施形態のジェスチャ入力装置１と異なる点は、姿勢測定装置４により測定される姿勢データではなく、空間に配置されるマーカ（例えば、図１１や図１２に示すように、机上に配置されるマーカＡや外部制御装置９のディスプレイに表示されるマーカＢ）の撮像画像に基づいて、コマンド出力を許可するか否かを判断する点である。そのため、第２実施形態のジェスチャ入力装置１３では、姿勢測定装置４を備えていない。
【００４２】
第２実施形態の画像認識装置２は、入力される撮像画像内のマーカの移動量を求め、その求めた移動量を姿勢データ（撮像装置７が縦方向や横方向に回転するときの回転角の変動量に相当する値）として撮像装置姿勢認識装置５に出力する。なお、撮像画像内のマーカの移動量の求め方は、種々の既存の技術を利用することができる。例えば、特許４４５５２９４号公報などに記載される技術を利用することができる。また、上述したように、３次元座標におけるマーカの中心位置（ｘ，ｙ，ｚ）を定期的に求め、そのマーカの中心位置の変化量をマーカの移動量として求めてもよい。
【００４３】
第２実施形態の撮像装置姿勢認識装置５は、入力される姿勢データに基づいて、撮像装置７が縦方向や横方向に回転するときの回転角の変動量を求め、その変動量を撮像装置姿勢データとして認識制御装置６に出力する。
【００４４】
第２実施形態の認識制御装置６及びコマンド生成認識装置３の動作は、第１実施形態の認識制御装置６及びコマンド生成認識装置３の動作と同様である。
【００４５】
このように、第２実施形態のジェスチャ入力装置１３は、第１実施形態のジェスチャ入力装置１と同様に、撮像装置７の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置３からのコマンド出力を許可するように構成している。そのため、撮像装置７がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置３から出力されることを低減することができる。
【００４６】
また、第２実施形態のジェスチャ入力装置１３は、第１実施形態のジェスチャ入力装置１に比べて、姿勢測定装置４を備えていない分、より簡易な構成にすることができる。
【００４７】
＜第３実施形態＞
【００４８】
図１３は、本発明の第３実施形態のジェスチャ入力装置を示す図である。なお、図１３において、図１に示す構成と同じ構成には同じ符号を付している。
【００４９】
第３実施形態のジェスチャ入力装置１４において、第１実施形態のジェスチャ入力装置１と異なる点は、姿勢測定装置４や撮像装置姿勢認識装置５に接続されるバンドカットフィルタ装置１５（移動量補正手段）をさらに備えている点である。なお、バンドカットフィルタ装置１５は、第２実施形態のジェスチャ入力装置１３において、画像認識装置２と撮像装置姿勢認識装置５との間に備えてもよい。
【００５０】
すなわち、バンドカットフィルタ装置１５は、姿勢測定装置４から出力される姿勢データをフーリエ変換して特定の周波数帯域の姿勢データをカットした後、逆フーリエ変換を行い、その逆フーリエ変換後の姿勢データを補正後の姿勢データとして撮像装置姿勢認識装置５に出力する。
【００５１】
例えば、図１４Ａに示すように、ユーザが静止している場合では、図１４Ｂに示すような姿勢データが姿勢測定装置４から出力される。この姿勢データは、主にユーザの身体の動きに伴う変動（振幅）が含まれており、バンドカットフィルタ装置１５においてフーリエ変換が行われ、例えば、図１４Ｃに示すような特定の周波数帯域の姿勢データがカットされる。この特定の周波数帯域は、ユーザが歩行や走行を行っているときなどユーザが周期的な動作を行っているときに姿勢測定装置４により測定される姿勢データの周波数帯域であり、この特定の周波数帯域の姿勢データは、ユーザが静止している場合、例えば、図１４Ｄに示すように、ほぼ変動がない姿勢データとなる。その後、バンドカットフィルタ装置１５において逆フーリエ変換が行われると、図１４Ｅに示すような姿勢データとなる。すなわち、ユーザが静止している場合の補正後の姿勢データは、補正前の姿勢データと比べてあまり変化がない。
【００５２】
また、図１５Ａに示すように、ユーザが歩行や走行を行っている場合では、図１５Ｂに示すような姿勢データが姿勢測定装置４から出力される。この姿勢データは、ユーザの身体の動きに伴う変動（振幅）の他に、ユーザの歩行や走行に伴う変動が重畳されており、バンドカットフィルタ装置１５においてフーリエ変換が行われ、例えば、図１５Ｃに示すような特定の周波数帯域（図１４Ｃに示す特定の周波数帯域と同様）の姿勢データがカットされる。この特定の周波数帯域の姿勢データは、ユーザが歩行や走行を行っている場合、例えば、図１５Ｄに示すように、周期的な変動がある姿勢データとなる。その後、バンドカットフィルタ装置１５において逆フーリエ変換が行われると、図１５Ｅに示すような姿勢データとなる。すなわち、図１５Ｅに示す姿勢データは、ユーザが静止しているときの姿勢データとほぼ同じものとして扱うことができる。
【００５３】
このように、バンドカットフィルタ装置１５から出力される補正後の姿勢データは、ユーザが歩行や走行を行っていても、ユーザが静止しているときの姿勢データとして扱うことができる。
【００５４】
第３実施形態の撮像装置姿勢認識装置５は、バンドカットフィルタ装置１５から出力される姿勢データに基づいて、撮像装置７が縦方向や横方向に回転するときの回転角の変動量を求め、その変動量を撮像装置姿勢データとして認識制御装置６に出力する。
【００５５】
第３実施形態の認識制御装置６及びコマンド生成認識装置３の動作は、第１及び第２実施形態の認識制御装置６及びコマンド生成認識装置３の動作と同様である。
【００５６】
このように、第３実施形態のジェスチャ入力装置１４は、第１実施形態のジェスチャ入力装置１や第２実施形態のジェスチャ入力装置１３と同様に、撮像装置７の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置３からのコマンド出力を許可するように構成している。そのため、撮像装置７がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置３から出力されることを低減することができる。
【００５７】
また、第３実施形態のジェスチャ入力装置１４は、ユーザの歩行や走行の際に生じる姿勢データの変動をキャンセルすることができるため、ユーザが歩行や走行を行っているときでも、精度を落とすことなく、姿勢データに基づいて、コマンド出力を許可するか否かを判断することができる。
【００５８】
＜第４実施形態＞
【００５９】
図１６は、本発明の第４実施形態のジェスチャ入力装置を示す図である。なお、図１６において、図１に示す構成と同じ構成には同じ符号を付している。
【００６０】
第４実施形態のジェスチャ入力装置１６において、第１実施形態のジェスチャ入力装置１と異なる点は、認識制御装置６に接続されるモード切替装置１７（閾値変更手段）をさらに備えている点である。なお、モード切替装置１７は、第２実施形態のジェスチャ入力装置１３において、認識制御装置６に接続されるようにして備えられてもよい。
【００６１】
モード切替装置１７は、コマンド生成認識装置３や通信装置８から出力されるコマンドを常時確認し、そのコマンドがモード切替用のコマンドのとき、モード切替を実施する。モード切替とは、認識制御装置６で使用される閾値を変更することである。例えば、ユーザの親指と人差し指とで輪を形成するジェスチャが５秒間行われたことを認識した結果によりコマンド生成認識装置３からモード切替用のコマンドが出力されると、モード切替装置１７は、そのモード切替用のコマンドに対応する閾値を認識制御装置６に出力する。そして、認識制御装置６は、モード切替装置１７から出力される閾値に基づいて、ジェスチャからコマンドへの変換を許可するか否かを判断する。例えば、画像認識装置２において細かい動きのジェスチャを認識させるモードに切り替えるためのコマンドがモード切替装置１７に入力されると、認識制御装置６で使用される閾値を小さくする。一方、画像認識装置２において大きな動きのジェスチャを認識させるモードに切り替えるためのコマンドがモード切替装置１７に入力されると、認識制御装置６で使用される閾値を大きくする。これにより、指先を動かすジェスチャなど細かな動きのジェスチャを行う際にユーザが意図しないコマンドが頻繁に出力されることや腕を使ったジェスチャなど大きな動きのジェスチャを行う際にユーザが意図するコマンドがなかなか出力されないことを低減することができる。
【００６２】
図１７は、モード切替装置１７の動作を説明するフローチャートである。
【００６３】
まず、モード切替装置１７は、コマンドが入力されると（ステップＳ１がＹｅｓ）、その入力されたコマンドとモード切替装置１７内の記憶部に記憶されているコマンドとを比較して（ステップＳ２）、入力されたコマンドが変更されているか否かを判断する（ステップＳ３）。
【００６４】
次に、モード切替装置１７は、変更されていないと判断した場合（ステップＳ３がＮｏ）、ステップＳ１に戻り、変更されていると判断した場合（ステップＳ３がＹｅｓ）、入力されたコマンドを記憶部に上書きすることによりコマンドを書き換える（ステップＳ４）。
【００６５】
そして、モード切替装置１７は、その書換え後のコマンドに対応する閾値を記憶部から読み出し（ステップＳ５）、認識制御装置６に新しい閾値として出力する。
【００６６】
このように、第４実施形態のジェスチャ入力装置１６においても、第１実施形態のジェスチャ入力装置１や第２実施形態のジェスチャ入力装置１３と同様に撮像装置７の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置３からのコマンド出力を許可するように構成している。そのため、撮像装置７がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置３から出力されることを低減することができる。
【符号の説明】
【００６７】
１ ジェスチャ入力装置
２ 画像認識装置
３ コマンド生成認識装置
４ 姿勢測定装置
５ 撮像装置姿勢認識装置
６ 認識制御装置
７ 撮像装置
８ 通信装置
９ 外部制御装置
１０ 表示装置
１１ メガネ型冶具
１２ マーカ
１３ ジェスチャ入力装置
１４ ジェスチャ入力装置
１５ バンドカットフィルタ装置
１６ ジェスチャ入力装置
１７ モード切替装置
【特許請求の範囲】
【請求項１】
ユーザの身体に装着される撮像手段と、
前記撮像手段により撮像される前記ユーザの手指の撮像画像に基づいて、前記ユーザにより行われる手指のジェスチャを認識する認識手段と、
前記認識手段により認識されるジェスチャに対応する動作制御指示を出力する指示出力手段と、
前記ユーザの身体の動きに伴う前記撮像手段の姿勢の変動量を求める変動量検出手段と、
前記変動量に基づいて、前記指示出力手段から動作制御指示が出力されることを許可する指示出力許可手段と、
を備えることを特徴とするジェスチャ入力装置。
【請求項２】
請求項１に記載のジェスチャ入力装置であって、
前記指示出力許可手段は、前記変動量が閾値以下のときに、動作制御指示が出力されることを特徴とするジェスチャ入力装置。
【請求項３】
請求項１または請求項２に記載のジェスチャ入力装置であって、
前記指示出力許可手段は、前記変動量が閾値以上のときに、動作制御指示を停止することを特徴とするジェスチャ入力装置。
【請求項４】
請求項１に記載のジェスチャ入力装置であって、
前記変動量検出手段は、前記撮像手段が縦方向又は横方向に回転するときの回転角の変動量を前記撮像手段の姿勢の変動量として求めることを特徴とするジェスチャ入力装置。
【請求項５】
請求項１に記載のジェスチャ入力装置であって、
前記撮像手段は、空間に配置されるマーカを撮像し、
前記変動量検出手段は、前記撮像手段により撮像される撮像画像内のマーカの移動量を前記撮像手段の姿勢の変動量として求めることを特徴とするジェスチャ入力装置。
【請求項６】
請求項１〜５の何れか１項に記載のジェスチャ入力装置であって、
前記変動量検出手段により求められる変動量をフーリエ変換して特定の周波数帯域の変動量をカットした後、逆フーリエ変換を行い出力する変動量補正手段をさらに備え、
前記指示出力手段は、前記変動量補正手段から出力される変動量が前記閾値以下のときのみ、前記指示出力手段から動作制御指示が出力されることを許可する
ことを特徴とするジェスチャ入力装置。
【請求項７】
請求項１〜５の何れか１項に記載のジェスチャ入力装置であって、
前記指示出力手段から出力される動作制御指示に応じて、前記閾値を変更する閾値変更手段をさらに備えることを特徴とするジェスチャ入力装置。
【請求項８】
請求項５に記載のジェスチャ入力装置であって、
前記撮像手段の焦点距離をｆ、前記撮像手段により撮像される撮像画像に対応する２次元座標における前記マーカの長軸の長さをｒ、前記撮像手段を基準とする３次元座標における前記マーカを外包する球の半径をＲ、前記２次元座標における前記撮像画像の中心位置を（ｕ０，ｖ０）、前記２次元座標における前記マーカの中心位置を （ｕ，ｖ）とするとき、
前記認識手段は、前記３次元座標における前記マーカの中心位置（ｘ，ｙ，ｚ）を
【数１１】
により定期的に求め、前記マーカの中心位置の変化量を前記マーカの移動量として求めて前記変動量検出手段に出力することを特徴とするジェスチャ入力装置。
【請求項１】
ユーザの身体に装着される撮像手段と、
前記撮像手段により撮像される前記ユーザの手指の撮像画像に基づいて、前記ユーザにより行われる手指のジェスチャを認識する認識手段と、
前記認識手段により認識されるジェスチャに対応する動作制御指示を出力する指示出力手段と、
前記ユーザの身体の動きに伴う前記撮像手段の姿勢の変動量を求める変動量検出手段と、
前記変動量に基づいて、前記指示出力手段から動作制御指示が出力されることを許可する指示出力許可手段と、
を備えることを特徴とするジェスチャ入力装置。
【請求項２】
請求項１に記載のジェスチャ入力装置であって、
前記指示出力許可手段は、前記変動量が閾値以下のときに、動作制御指示が出力されることを特徴とするジェスチャ入力装置。
【請求項３】
請求項１または請求項２に記載のジェスチャ入力装置であって、
前記指示出力許可手段は、前記変動量が閾値以上のときに、動作制御指示を停止することを特徴とするジェスチャ入力装置。
【請求項４】
請求項１に記載のジェスチャ入力装置であって、
前記変動量検出手段は、前記撮像手段が縦方向又は横方向に回転するときの回転角の変動量を前記撮像手段の姿勢の変動量として求めることを特徴とするジェスチャ入力装置。
【請求項５】
請求項１に記載のジェスチャ入力装置であって、
前記撮像手段は、空間に配置されるマーカを撮像し、
前記変動量検出手段は、前記撮像手段により撮像される撮像画像内のマーカの移動量を前記撮像手段の姿勢の変動量として求めることを特徴とするジェスチャ入力装置。
【請求項６】
請求項１〜５の何れか１項に記載のジェスチャ入力装置であって、
前記変動量検出手段により求められる変動量をフーリエ変換して特定の周波数帯域の変動量をカットした後、逆フーリエ変換を行い出力する変動量補正手段をさらに備え、
前記指示出力手段は、前記変動量補正手段から出力される変動量が前記閾値以下のときのみ、前記指示出力手段から動作制御指示が出力されることを許可する
ことを特徴とするジェスチャ入力装置。
【請求項７】
請求項１〜５の何れか１項に記載のジェスチャ入力装置であって、
前記指示出力手段から出力される動作制御指示に応じて、前記閾値を変更する閾値変更手段をさらに備えることを特徴とするジェスチャ入力装置。
【請求項８】
請求項５に記載のジェスチャ入力装置であって、
前記撮像手段の焦点距離をｆ、前記撮像手段により撮像される撮像画像に対応する２次元座標における前記マーカの長軸の長さをｒ、前記撮像手段を基準とする３次元座標における前記マーカを外包する球の半径をＲ、前記２次元座標における前記撮像画像の中心位置を（ｕ０，ｖ０）、前記２次元座標における前記マーカの中心位置を （ｕ，ｖ）とするとき、
前記認識手段は、前記３次元座標における前記マーカの中心位置（ｘ，ｙ，ｚ）を
【数１１】
により定期的に求め、前記マーカの中心位置の変化量を前記マーカの移動量として求めて前記変動量検出手段に出力することを特徴とするジェスチャ入力装置。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【図１４Ｅ】
【図１５Ｂ】
【図１５Ｃ】
【図１５Ｄ】
【図１５Ｅ】
【図１６】
【図１７】
【図６】
【図７】
【図８】
【図９】
【図１４Ａ】
【図１５Ａ】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【図１４Ｅ】
【図１５Ｂ】
【図１５Ｃ】
【図１５Ｄ】
【図１５Ｅ】
【図１６】
【図１７】
【図６】
【図７】
【図８】
【図９】
【図１４Ａ】
【図１５Ａ】
【公開番号】特開２０１２−１４６２２０（Ｐ２０１２−１４６２２０Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−５２９６（Ｐ２０１１−５２９６）
【出願日】平成２３年１月１３日（２０１１．１．１３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月１３日（２０１１．１．１３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]