ジェスチャ認識装置、ジェスチャ認識方法およびジェスチャ認識プログラム
【課題】送り動作と振りかぶりを区別することができるジェスチャ認識装置を提供することである。
【解決手段】実施形態のジェスチャ認識装置は、物体あるいはユーザの体の特定部位の動きを認識する。時系列情報取得手段は、前記特定部位の位置あるいは大きさに関する時系列情報を取得する。操作区間検出手段は、前記時系列情報から前記特定部位の移動方向を検出し、前記時系列情報の開始点、前記移動方向が転換する転換点、前記時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する。認識手段は、前記複数の操作区間のうち認識対象となる第１の操作区間およびこの第１の操作区間に後続する第２の操作区間を特定し、この第１の操作区間における前記時系列情報から抽出した第１の特徴量および前記第２の操作区間における前記時系列情報から抽出した第２の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識する。
【解決手段】実施形態のジェスチャ認識装置は、物体あるいはユーザの体の特定部位の動きを認識する。時系列情報取得手段は、前記特定部位の位置あるいは大きさに関する時系列情報を取得する。操作区間検出手段は、前記時系列情報から前記特定部位の移動方向を検出し、前記時系列情報の開始点、前記移動方向が転換する転換点、前記時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する。認識手段は、前記複数の操作区間のうち認識対象となる第１の操作区間およびこの第１の操作区間に後続する第２の操作区間を特定し、この第１の操作区間における前記時系列情報から抽出した第１の特徴量および前記第２の操作区間における前記時系列情報から抽出した第２の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、ジェスチャ認識装置、ジェスチャ認識方法およびジェスチャ認識プログラムに関する。
【背景技術】
【０００２】
ユーザの手の動きを認識して、その動きに関連付けられた所望のコマンドを発生させるジェスチャ認識装置がある。ジェスチャ認識装置には、ユーザの手が上下左右前後など予め定められた方向に動く「送り動作」を認識するものがある。このジェスチャ認識装置では、ユーザの手が移動する速さ（移動速さ）が閾値より大きく、かつ、過去の所定時間内に他の送り動作が検出されていない場合に、送り動作が入力されたと認識していた。
【０００３】
しかしながら、この技術では、送り動作の直前に発生する逆方向の手の動き（振りかぶり）における手の移動速さが閾値より大きい場合、この振りかぶりを送り動作と誤認識することがあった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０‐１８２０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
発明が解決しようとする課題は、送り動作と振りかぶりを区別することができるジェスチャ認識装置を提供することである。
【課題を解決するための手段】
【０００６】
実施形態のジェスチャ認識装置は、物体あるいはユーザの体の特定部位の動きを認識する。時系列情報取得手段は、前記特定部位の位置あるいは大きさに関する時系列情報を取得する。操作区間検出手段は、前記時系列情報から前記特定部位の移動方向を検出し、前記時系列情報の開始点、前記移動方向が転換する転換点、前記時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する。認識手段は、前記複数の操作区間のうち認識対象となる第１の操作区間およびこの第１の操作区間に後続する第２の操作区間を特定し、前記第１の操作区間における前記時系列情報から抽出した第１の特徴量および前記第２の操作区間における前記時系列情報から抽出した第２の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態のジェスチャ認識装置を示すブロック図。
【図２】実施形態のジェスチャ認識装置のハードウェア構成を示す図。
【図３】実施形態の操作区間検出部の動作を説明する図。
【図４】実施形態のジェスチャ認識装置の画面表示を示す図。
【図５】実施形態のジェスチャ認識装置のフローチャート（全体処理）。
【図６】実施形態のジェスチャ認識装置のフローチャート（ステップＳ４０４）。
【図７】第２の実施形態のジェスチャ認識装置を示すブロック図。
【図８】実施形態のジェスチャ認識装置の画面表示を示す図。
【図９】実施形態のジェスチャ認識装置の画面表示を示す図。
【図１０】実施形態のジェスチャ認識装置のフローチャート（表示制御部）。
【図１１】変形例７のジェスチャ認識装置の画面表示を示す図。
【図１２】変形例７のジェスチャ認識装置の画面表示を示す図。
【図１３】変形例７のジェスチャ認識装置の画面表示を示す図。
【図１４】変形例７のジェスチャ認識装置の画面表示を示す図。
【図１５】応用例のジェスチャ認識装置の画面表示を示す図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面を参照しながら説明する。
【０００９】
（第１の実施形態）
第１の実施形態にかかるジェスチャ認識装置は、ユーザの手の動きによって画面表示を操作する装置であり、ユーザの送り動作を認識して対応する方向に画面を遷移させる機能を有する。例えば、本実施形態にかかるジェスチャ認識装置を、カメラを搭載したテレビ受像機に内蔵することにより、ユーザの送り動作を認識してテレビ受像機に表示されたオブジェクト（送り動作による制御対象物）の位置を遷移させることができる。ここで、「送り動作」とは、上下左右前後およびこれらの方向の組み合わせなど予め定められた方向への手の動きである。ユーザの手の動きには、ユーザが画面を遷移させたい方向への送り動作以外に、送り動作の直前に発生する逆方向の動きである「振りかぶり」および送り動作の後に手を元の位置に戻そうとする「振り戻し」が存在する。
【００１０】
本実施形態にかかるジェスチャ認識装置は、送り動作における手の移動速さが振りかぶりおよび振り戻しにおける手の移動速さよりも高速であるとして、送り動作を検出する。具体的には、ユーザの手の位置に関する時系列情報を取得し、この時系列情報から手が動く移動方向および移動速さを検出する。そして、時系列情報の開始点、手の移動方向が転換する転換点、時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する。認識対象となる第１の操作区間、第１の操作区間に後続する第２の操作区間、第１の操作区間に先行する第３の操作区間を特定し、第１の操作区間における手の移動速さ（第１の特徴量）が、第２および第３の操作区間にける手の移動速さ（第２および第３の特徴量）よりも高速である場合（大きい場合）、第１の操作区間に対応する手の動きを送り動作として認識する。
【００１１】
このように、本実施形態のジェスチャ認識装置は、認識対象となる操作区間だけでなく前後の操作区間における手の位置に関する時系列情報を利用して送り動作を認識する。これにより、ユーザの振りかぶりおよび振り戻しを送り動作として誤認識することを防止することができる。
【００１２】
（全体のブロック構成）
図１は、第１の実施形態にかかるジェスチャ認識装置を示すブロック図である。本実施形態のジェスチャ認識装置は、ユーザの手の位置に関する時系列情報を取得する時系列情報取得部１０１と、この時系列情報から手の移動方向を検出し、時系列情報の開始点、移動方向が転換する転換点、時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する操作区間検出部１０２と、検出された複数の操作区間のうち認識対象となる第１の操作区間、第１の操作区間に後続する第２の操作区間、第１の操作区間に先行する第３の操作区間を特定し、第１の操作区間における手の移動速さが、第２および第３の操作区間にける手の移動速さよりも高速である場合、第１の操作区間に対応する手の動きを送り動作として認識する認識部１０３と、この認識結果に応じたコマンドを発生させるコマンド発生部１０４と、前記コマンドによる制御対象物の形態を表示する表示制御部１０５を備える。
【００１３】
（ハードウェア構成）
本実施形態のジェスチャ認識装置は、図２に示すような通常のコンピュータを利用したハードウェアで構成されており、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部２０１と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶部２０２と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の外部記憶部２０３と、ユーザの指示入力を受け付けるキーボードやマウスなどの操作部２０４と、外部装置との通信を制御する通信部２０５と、映像を取得するカメラ２０６と、映像を表示するディスプレイ２０７と、これらを接続するバス２０８を備えている。
【００１４】
このようなハードウェア構成において、制御部２０１がＲＯＭ等の記憶部２０２や外部記憶部２０３に記憶された各種プログラムを実行することにより以下の機能が実現される。
【００１５】
（時系列情報取得部）
時系列情報取得部１０１は、ユーザの手の位置に関する時系列情報を取得する。手の位置に関する時系列情報は、カメラ２０６の撮像素子（イメージセンサなど）を用いて撮像された画像から特許文献１に記載の手法を用いて取得できる。手の位置は、撮像素子から得られる手領域の重心としてよく、撮像された画像上のｘ、ｙ座標に限らず、距離センサや複数の撮像素子から推定された奥行き情報を用いてもよい。時系列情報は撮像した画像の各フレームについて取得でき、開始点は手が最初に検出された位置、終了点は手が最後に検出された位置あるいは現時点で検出された最新の手の位置とすることができる。例えば、ユーザの手の位置を画像上のｘ、ｙ座標で表現する場合、時系列情報取得部１０１は、ｉ番目のフレームでの位置（ｘｉ，ｙｉ）とともに取得時刻Ｔｉを取得する。取得時刻Ｔｉは、ジェスチャ認識装置の起動時、又は時系列情報取得部１０１による時系列情報の取得開始時を基準とした経過時間、経過クロック数、経過フレーム数などで表現できる。
【００１６】
なお、手の位置に関する時系列情報を、カメラ２０６からではなく、外部記憶部２０３や通信部２０５によって接続された外部装置から直接取得することもできる。
【００１７】
（操作区間検出部）
操作区間検出部１０２は、時系列情報から手の移動方向、移動速さ、移動距離を検出し、時系列情報の開始点、移動方向が転換する転換点、時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する。
【００１８】
手の移動方向は、時系列情報で表される手の位置が変化する方向とする。例えば、ジェスチャ認識装置が左右（ｘ軸方向）の送り動作を認識する場合、フレーム間におけるｘ座標の差分値（ｘｉ−ｘｉ-1）を計算する。そして、この差分値が正の場合は移動方向が右（ｘ軸の正の向きが右方向であるとき）、負の場合は移動方向が左と判別する。手の移動速さは、時系列情報として得られる手の位置の微分値（フレーム間の差分値）で計算できる。つまり、ｘｉ、ｘｉ−１の取得時刻をそれぞれＴｉ、Ｔｉ−１としたとき、移動速さは、｜（ｘｉ−ｘｉ−１）／（Ｔｉ−Ｔｉ−１）｜で算出できる。手の移動距離は、各フレームの座標間におけるユークリッド距離で計算できる。
【００１９】
操作区間検出部１０２は、時系列情報の開始点、移動方向が転換する転換点、時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する。例えば、ユーザが手を「右から左」に動かす送り動作をする場合、前後の振りかぶりおよび振り戻しを考慮すると、手の移動方向は「左から右」、「右から左」、「左から右」のようになる。この場合、操作区間検出部１０２は、「左（開始点）から右（転換点）」、「右（転換点）から左（転換点）」、「左（転換点）から右（終了点）」のそれぞれの動きを操作区間として検出する。なお、操作区間検出部１０２は、手の移動が停止した時点を終了点あるいは開始点として操作区間を検出することができる。手の移動が停止したか否かは、所定フレームにわたる手の移動距離を観測することで判別する。
【００２０】
操作区間検出部１０２は、各操作区間について取得時刻を取得する。ここで、取得時刻は各操作区間の終端における時刻を表しており、時系列情報取得部１０１で取得された取得時刻Ｔｉから求めることができる。
【００２１】
操作区間検出部１０２は、操作区間をバッチ処理で検出しても、リアルタイム処理で検出してもよい。
【００２２】
図３の時系列情報を用いて、バッチ処理による操作区間の検出方法を説明する。この例では、Ｐ１〜Ｐ８は、時系列情報取得部１０１によって取得されたフレーム毎の時系列情報（手の位置情報）を示している。ジェスチャ認識装置が左右の動きを認識する場合、操作区間検出部１０２は、まず、開始点Ｐ１から直後の転換点Ｐ３までの区間Ｐ１〜Ｐ３を第１の操作区間、第１の操作区間の終端であるＰ３から直後の転換点Ｐ６までの区間Ｐ３〜Ｐ６の区間を第２の操作区間として検出し、検出した操作区間の情報を認識部１０３に出力する。この場合、操作区間検出部１０２は、第３の操作区間は検出しない。続いて、操作区間検出部１０２は、Ｐ１〜Ｐ３の区間を第３の操作区間、Ｐ３〜Ｐ６の区間を第１の操作区間、Ｐ６〜Ｐ８の区間を第２の操作区間として検出し、検出した操作区間の情報を認識部１０３に出力する。操作区間検出部１０２は、以上の処理を第１の操作区間の終端が時系列情報の終了点になるまで繰り返す。
【００２３】
次に、操作区間をリアルタイムで検出する場合について説明する。操作区間をリアルタイムで検出する場合、バッチ処理の場合とは第１の操作区間および第２の操作区間の検出方法が異なる。操作区間検出部１０２は、転換点が存在する場合には最新の転換点、転換点が存在しない場合には時系列情報の開始点を始端とし、最新の時系列情報を取得してから所定時間Ｔ０ａが経過するまでに転換点が存在する場合はこの転換点を、転換点が存在しない場合は所定時間Ｔ０ａが経過するまで（この時刻を操作区間確定時刻とする）に取得された最新の時系列情報の位置（終了点）を終端として第１の操作区間を検出する。また、操作区間検出部１０２は、操作区間確定時刻においてこの第１の操作区間の終端を第２の操作区間の始端とし、この始端の後に転換点が存在する場合にはこの転換点を、転換点が存在しない場合には終了点を第２の操作区間の終端として検出する。
【００２４】
操作区間検出部１０２は、操作区間の検出を開始してから第１および第２の操作区間の検出を確定するまでに、所定時間Ｔ０ａを要する。つまり、操作区間検出部１０２は、時刻Ｔｉの時点で操作区間の検出を開始してから、所定時間Ｔ０ａ経過後、即ち時刻Ｔｉ＋Ｔ０ａの時点で第１および第２の操作区間の検出を確定する。このため、本実施形態では、第１および第２の操作区間をリアルタイムで検出するが、厳密には検出を確定するまでに所定時間Ｔ０ａの遅延が生じ、後述の認識部１０３による認識も所定時間Ｔ０ａの遅延が生じることになる。
【００２５】
操作区間の検出過程について、図３を参照しながら時系列に説明する。まず、時系列情報取得部１０１により最新の時系列情報である最新点Ｐ１（開始点）が取得される。この段階では、操作区間検出部１０２は、操作区間を検出しない。
【００２６】
続いて、時系列情報取得部１０１により次の最新点Ｐ２が取得されると（この時点を時刻Ｔ２とする）、操作区間検出部１０２は、開始点Ｐ１を始端とし最新点Ｐ２を終端とする区間Ｐ１〜Ｐ２を第１の操作区間として検出する。直前には区間が存在しないため、第３の操作区間は検出しない。この時点では、第１の操作区間の始端はＰ１に確定するが、終端は確定しておらず、時刻Ｔ２の時点から所定時間Ｔ０ａが経過するまでに最新点が取得された場合、第１の操作区間の終端が更新される。
【００２７】
例えば、時刻Ｔ２から所定時間Ｔ０ａが経過するまでにＰ３までが取得された場合、操作区間検出部１０２は、区間Ｐ１〜Ｐ３を第１の操作区間として検出する。この場合、操作区間検出部１０２は、第１の操作区間の直前と直後には他の操作区間が存在しないため、第３および第２の操作区間を検出せず、検出した第１の操作区間の情報を、操作区間の検出開始時刻がＴ２のときの情報として認識部１０３に出力する。
【００２８】
時刻Ｔ２から所定時間Ｔ０ａが経過するまでに点Ｐ４まで取得された場合、Ｐ３が第１の操作区間の始端Ｐ１の直後の転換点となるため、操作区間検出部１０２は、転換点Ｐ３を終端とする区間Ｐ１〜Ｐ３を第１の操作区間として確定する。この場合、操作区間検出部１０２は、第１の操作区間の終端であるＰ３を始端とし、最新点Ｐ４を終端とする区間Ｐ３〜Ｐ４を第２の操作区間として確定する。
【００２９】
時刻Ｔ２から所定時間Ｔ０ａが経過するまでに点Ｐ７までが取得された場合もＰ３が第１の操作区間の始端直後の転換点となるため、操作区間検出部１０２は、転換点Ｐ３を終端とする区間Ｐ１〜Ｐ３を第１の操作区間として確定する。この場合、操作区間検出部１０２は、転換点Ｐ３を始端とし、当該始点の直後の転換点であるＰ６を終端とする区間Ｐ３〜Ｐ６を第２の操作区間として確定する。
【００３０】
一方で、時刻Ｔ２から所定時間Ｔ０ａが経過するまでにＰ３が取得されなかった場合、Ｐ２が終了点となるため、操作区間検出部１０２は、終了点Ｐ２を終端とする区間Ｐ１〜Ｐ２を第１の操作区間に確定する。この場合、操作区間検出部１０２は、第２および第３の操作区間を検出せず、検出した第１の操作区間の情報を、操作区間の検出開始時刻がＴ２のときの情報として認識部１０３に出力する。続いて、時系列情報取得部１０１により最新点Ｐ４が取得されると（この時点を時刻Ｔ４とする）、操作区間検出部１０２は、最新の転換点Ｐ３を始端、終了点Ｐ４を終端とする区間Ｐ３〜Ｐ４を第１の操作区間として検出する。ここで、第１の操作区間の始端であるＰ３を終端とする操作区間を第３の操作区間として確定する。
【００３１】
以下、時系列情報取得部１０１により最新点Ｐ８が取得されるまで、同様な処理が行われる。
【００３２】
なお、操作区間検出部１０２は、第１および第２の操作区間を確定してから、第１、第２および第３の操作区間の情報を認識部１０３に出力するのではなく、検出された操作区間の情報を逐次認識部１０３に出力してもよい。
【００３３】
Ｔ０ａは０．４秒程度に設定できる。また、操作区間検出部１０２は、第１の操作区間での特定部位の移動速さに応じて所定時間Ｔ０ａを変更してもよく、例えば、移動速さが速くなるほど所定時間Ｔ０ａを短くするようにしてもよい。
【００３４】
（認識部）
認識部１０３は、操作区間検出部１０２で検出された複数の操作区間のうち認識対象となる第１の操作区間が送り動作に該当するか否かを認識する。ここで、本実施形態の認識部１０３は、第２および第３の操作区間における時系列情報から抽出した特徴量（手の移動速さ）を用いて第１の操作区間の動きを認識する。具体的には、以下の２つの条件を満たす際に、第１の操作区間に対応する手の動きを送り動作として認識する。
【００３５】
第１条件：第３の操作区間が存在しない、あるいは、第１の操作区間における手の移動速さＶｃ（第１の特徴量）が第３の操作区間における手の移動速さＶｂ（第３の特徴量）より高速
第２条件：第２の操作区間が存在しない、あるいは、第１の操作区間における手の移動速さＶｃ（第１の特徴量）が第２の操作区間における手の移動速さＶａ（第２の特徴量）より高速
ここで、操作区間における手の移動速さは、それぞれの区間の各フレームで計算された移動速さの最大値とすることができる。
【００３６】
認識部１０３で認識される送り動作の方向は、第１の操作区間の始端および終端の座標から計算できる。例えば、ジェスチャ認識装置が左右（ｘ軸方向）の送り動作を認識する場合、第１の操作区間の始端および終端のｘ座標の差分値から送り動作の方向を計算できる。なお、第１の操作区間における手の移動速さが所定閾値以下になる場合は、送り動作に該当しないと認識してもよい。また、第１の操作区間の始端および終端間の距離を手の移動距離Ｌｃとして計算し、この移動距離Ｌｃが所定閾値以下になる場合は、送り動作に該当しないと認識してもよい。
【００３７】
なお、操作区間検出部１０２がリアルタイム処理で各操作区間を検出する場合、操作区間の検出を開始してから第１および第２の操作区間の検出を確定するまでに、所定時間Ｔ０ａを要する。このため、認識部１０３による認識も所定時間Ｔ０ａの遅延が生じることになる。
【００３８】
このように本実施形態のジェスチャ認識装置は、認識対象となる操作区間だけでなく前後の操作区間におけるユーザの手の位置に関する時系列情報を利用して送り動作を認識する。これにより、ユーザの振りかぶりおよび振り戻しを送り動作として誤認識することを防止することができる。
【００３９】
（コマンド発生部）
コマンド発生部１０４は、認識部１０３での認識結果に応じたコマンドを発生させる。認識された送り動作が「右から左」への動きであった場合は、コマンド発生部１０４は、ジェスチャでの遷移対象となるオブジェクトを「右から左」へ移動させるようなコマンドを発生させる。その際、コマンドを発生したときは、その第１の操作区間の始端が同じうちは再度コマンドを発生させる必要はない。
【００４０】
（表示制御部）
表示制御部１０５は、コマンド発生部１０４で発生したコマンドに応じて、ディスプレイ２０７に表示するオブジェクト（コマンドによる制御対象物）の形態を変更する。例えば、オブジェクトを「右から左」へ移動させるようなコマンドを受理した場合は、図４のように、３０１の画面に表示されるオブジェクト３０３〜３０５の位置を３０２の画面に表示されるように一つ左に遷移させる。つまり、中央にあったオブジェクト３０３は左側に、右側にあったオブジェクト３０４が中央に来るように遷移し、オブジェクト３０３の左側にあったオブジェクト３０５は画面から消え、オブジェクト３０４の右側にあったオブジェクト３０６が画面３０２に現れる。
【００４１】
（フローチャート：全体処理）
図５のフローチャートを利用して、本実施形態にかかるジェスチャ認識装置の処理を説明する。まず、ステップＳ４０１では、時系列情報取得部１０１は、ユーザの手の位置に関する時系列情報を取得する。
【００４２】
ステップＳ４０２では、操作区間検出部１０２は、時系列情報から手の移動方向、移動速さ、移動距離を計算する。
【００４３】
ステップＳ４０３では、操作区間検出部１０２は、複数の操作区間を検出する。
【００４４】
ステップＳ４０４では、認識部１０３は、認識対象となる第１の操作区間に対応する動きが送り動作に該当するか否かを認識する。ステップＳ４０４の詳細は後述する。
【００４５】
ステップＳ４０５では、コマンド発生部１０４は、ステップＳ４０４における認識結果に応じたコマンドを発生させる。第１の操作区間が送り動作として認識された場合は、この送り動作に応じたコマンドを発生させる。一方、第１の操作区間が送り動作として認識されずに棄却された場合は、コマンドを発生させない。
【００４６】
ステップＳ４０６では、表示制御部１０５は、コマンド発生部１０４でのコマンドに応じてユーザに提示する画面表示を更新する。
【００４７】
（フローチャート：ステップＳ４０４）
図６のフローチャートを利用して、ステップＳ４０４の処理を説明する。まず、ステップＳ５０１では、認識部１０３は、認識対象となる第１の操作区間を特定する。
【００４８】
ステップＳ５０２では、認識部１０３は、第１の操作区間の移動速さＶｃおよび移動距離Ｌｃが、それぞれ所定の閾値Ｖ０および閾値Ｌ０を超えるか否かを判定する。閾値を超える場合は、ステップＳ５０３へ移行する。閾値を超えない場合は、ステップＳ５０８へ移行し、この第１の操作区間は送り動作ではないと認識する。
【００４９】
ステップＳ５０３では、認識部１０３は、先行する第３の操作区間が操作区間検出部１０２で検出されているか否かを判定する。第３の操作区間が検出されていない場合はステップＳ５０５へ、検出されている場合はステップＳ５０４へ移行する。
【００５０】
ステップＳ５０４では、認識部１０３は、第１の操作区間の移動速さＶｃと第３の操作区間の移動速さＶｂを比較する。ＶｃがＶｂを超える場合はステップＳ５０５へ、それ以外の場合はステップＳ５０８へ移行する。このように、本実施形態のジェスチャ認識装置は、認識対象となる第１の操作区間と先行する第３の操作区間の移動速さを比較することにより、送り動作の後に発生する振り戻しを送り動作として誤認識することを防止する。
【００５１】
ステップＳ５０５では、認識部１０３は、第２の操作区間が操作区間検出部１０２で検出されているか否かを判定する。第２の操作区間が検出されていない場合はステップＳ５０７へ、検出されている場合はステップＳ５０６へ移行する。
【００５２】
ステップＳ５０６では、認識部１０３は、第１の操作区間の移動速さＶｃと第２の操作区間の移動速さＶａを比較する。ＶｃがＶａを超える場合はステップＳ５０７へ、それ以外の場合はステップＳ５０８へ移行する。このように、本実施形態のジェスチャ認識装置は、認識対象となる第１の操作区間と後続する第２の操作区間の移動速さを比較することにより、送り動作の前に発生する振りかぶりを送り動作として誤認識することを防止する。（効果）
このように本実施形態のジェスチャ認識装置は、認識対象となる操作区間だけでなく前後の操作区間における手の位置に関する時系列情報を利用して送り動作を認識する。これにより、ユーザの振りかぶりおよび振り戻しを送り動作として誤認識することを防止することができる。
【００５３】
（変形例１）
本実施形態における操作区間検出１０２では、リアルタイム処理で操作区間を検出する際、所定時間Ｔ０ａの遅延が生じているが、所定時間Ｔ０ａ経過する前に操作区間を検出することもできる。例えば、図３において、第１の操作区間の終端をＴ３（Ｐ３が取得された時刻）とし、Ｔ３から所定時間Ｔ０ａが経過するまでにＰ８までの時系列情報が取得されるものとする。この場合、本変形例の操作区間検出部１０２は、所定時間Ｔ０ａの経過を待つことなく、Ｐ６が転換点として検出された時点でＰ３からＰ６までの区間を第２の操作区間として確定し、その情報を認識部１０３に出力することができる。これにより、認識に必要なタイムラグを減らすことができる。
【００５４】
また、第１の操作区間の移動速さ（第１の特徴量）と第１の操作区間の終端以降に取得された時系列情報の各フレームでの移動速さを逐次比較し、各フレームでの移動速さが第１の操作区間の移動速さを超えた時点で、この第１の操作区間は送り動作ではないと認識することもできる。これにより、認識に必要なタイムラグを減らすことができる。
【００５５】
（変形例２）
本実施形態にかかるジェスチャ認識装置は、送り動作における手の移動速さが振りかぶりと振り戻しにおける手の移動速さよりも高速であるとして送り動作を検出したが、送り動作における手の移動速さが振りかぶりと振り戻しにおける手の移動速さよりも低速であるとして送り動作を検出することもできる。例えば、図４のような画面表示を変更するアプリケーションにおいて、ユーザに対して意図する方向にゆっくり手を動かすよう指示した場合、本変形例のジェスチャ認識装置を用いることができる。
【００５６】
本変形例における認識部１０３は、以下の２つの条件を満たす際に、第１の操作区間に対応する手の動きを送り動作として認識する。
【００５７】
第１条件：第３の操作区間が存在しない、あるいは、第１の操作区間における手の移動速さＶｃが第３の操作区間における手の移動速さＶｂより低速
第２条件：第２の操作区間が存在しない、あるいは、第１の操作区間における手の移動速さＶｃが第２の操作区間における手の移動速さＶａより低速
また、図６のステップＳ５０４およびＳ５０６おける条件は、それぞれＶｃ＜ＶｂおよびＶｃ＜Ｖａになる。
【００５８】
なお、各操作区間における時系列情報から抽出した特徴量として手の移動速さに−１を掛け合わせたものを用いると、本実施形態における処理と同様な方法で「送り動作における手の移動速さが振りかぶりと振り戻しにおける手の移動速さよりも低速である」とした送り動作を認識することができる。
【００５９】
（変形例３）
本実施形態の認識部１０３は、第１〜第３の操作区間における時系列情報から抽出した特徴量として手の移動速さを利用したが、手の移動距離を特徴量として用いることもできる。送り動作の移動距離が振りかぶりおよび振り戻しの移動距離よりも長いとみなしたときは、第１の操作区間の移動距離Ｌｃが第２および第３の操作区間の移動距離より長い場合、第１の操作区間に対応する手の動きを送り動作として認識することができる。
【００６０】
この他にも、手の加速度の絶対値を特徴量として用いることもできる。送り動作の加速度の絶対値が振りかぶりおよび振り戻しの加速度の絶対値よりも大きいとみなしたときは、第１の操作区間の加速度の絶対値が第２および第３の操作区間の加速度の絶対値より大きい場合、第１の操作区間に対応する手の動きを送り動作として認識することができる。なお、各操作区間の加速度の絶対値には、その区間における時系列情報から計算された加速度の絶対値の最大値を用いる。
【００６１】
さらに、数式１で表される評価値Ｅを各操作区間の特徴量として用いることもできる。
【００６２】
評価値Ｅ = Ｖ×ｅｘｐ｛α×（Ｑ−Ｐ）×Ｆ（ｄｉｒ）｝ …（数式１）
ここで、Ｖは各操作区間における手の移動速さの最大値、αは正の係数、Ｑは操作区間の終端の位置、Ｐは基準位置、Ｆ（ｄｉｒ）は所定の関数である。Ｐは、例えば手を最初に検出した位置（時系列情報の開始点）とすることができる。Ｆ（ｄｉｒ）は、＋１もしくは−１の値をとる関数である。例えば、左右方向の手の動きに着目する場合、Ｆ（ｄｉｒ）は、操作区間の移動方向がＰを原点とする座標軸上で見たときに正の方向なら１、負の方向なら−１となる。つまり、基準位置Ｐよりも各操作区間の終点が右側にある場合において、移動方向が右である操作区間の評価値Ｅは、Ｖに1.0より大きな倍率をかけた値となり、移動方向が左である操作区間の評価値Ｅは、Ｖに1.0未満の倍率をかけた値となる。つまり、基準位置Ｐよりも右側の領域において同じ移動速さで左右に手を動かした場合、右方向へ移動する操作区間の評価値Ｅの方が高い値となる。これにより、手の移動速さに差がない場合でも、ユーザの振りかぶりおよび振り戻しを送り動作として誤認識することを防止することができる。なお、Ｐを肘の位置としてもよい。
【００６３】
（変形例４）
ジェスチャ認識装置が、カメラ２０６に正対する方向に手のひらを押し引きする動きを送り動作として認識するようにすることもできる。この場合、時系列情報取得部１０１は、手の大きさ（例えば、手を囲む矩形領域の面積）を時系列情報として取得し、その時系列情報の変化方向（増大方向、減少方向）を手の移動方向とすることができる。手の移動速さは手の大きさの変化の速度（単位時間あたりの変化量の最大値）、手の移動距離は手の大きさの変化量でそれぞれ代替できる。
【００６４】
（変形例５）
本実施形態のジェスチャ認識装置は、認識対象となる操作区間（第１の操作区間）だけでなく前後の操作区間（第２および第３の操作区間）における手の位置に関する時系列情報を利用して送り動作を認識したが、認識対象および後続の操作区間における手の位置に関する時系列情報のみを利用して送り動作を認識してもよい。これにより、送り動作の前に発生する振りかぶりを送り動作として誤認識することを防止することができる。
【００６５】
また、本実施形態のジェスチャ認識装置は、ユーザの手の動きを認識したが、この他にもユーザの顔や足などの特定部位を認識するようにしてもよい。また、ユーザの体の特定部位ではなく、物体を認識してもよい。例えば、リモートコントローラ、センサ、マーカーなどの物体全体やその物体の特定部位の動きから送り動作を認識することもできる。
【００６６】
また、操作区間検出部１０２および認識部１０３は、時系列情報取得部１０１で取得された時系列情報を間引いて操作区間を検出することもできる。例えば、フレームを１つおきに処理することにより演算量を削減することができる。
【００６７】
（変形例６）
本実施形態においてリアルタイムで認識する場合は、操作区間検出部１０２は、時系列情報取得部１０１で点を取得するたびに第１から第３の操作区間の情報を検出／更新していたが、特にそれに限られることはなく、特定の時刻についてのみ操作区間の検出を開始してもよい。本変形例では、操作区間の検出にかかる演算量を削減するため、前のフレームでの認識部１０３の結果に応じて操作区間の検出を開始する時刻を定める。具体的には、以下の過程で操作区間を検出する。
【００６８】
まず、開始点あるいは転換点をみつけたら、それ以降は時系列情報取得部１０１で最新点を取得するたびにその時刻における第１の操作区間および第３の操作区間から抽出した特徴量を比較する。ここで、第１の操作区間の特徴量が第３の操作区間の特徴量をはじめて超えた時刻を検出開始時刻ＴＣとし、このときの情報を認識部１０３に出力してよい（その情報は時刻ＴＣ+Ｔ０ａの時点で確定する。確定後に出力してもよいし、確定するまでの間も時系列情報取得部１０１で点を取得するたびに逐次出力してもよい）。その後は、次の転換点を見つけるまでは認識部１０３に情報を出力しない。
【００６９】
（第２の実施形態）
図７は、第２の実施形態にかかるジェスチャ認識装置の構成を示すブロック図である。第２の実施形態が第１の実施形態と異なるのは、表示制御部７０１が、操作区間検出部１０２における操作区間の検出状況および認識部１０３における認識状況に応じて、ユーザの送り動作によって制御される対象物の形態を変更する点である。ここで、対象物の形態は、対象物の外観だけでなく、対象物がディスプレイ２０７に表示される位置を意味する。
【００７０】
本実施形態にかかるジェスチャ認識装置は、第１の操作区間の認識状況に応じてユーザに提示する画面表示を逐次更新する。例えば、図８のように、手の送り動作によってオブジェクト（コマンドによる制御対象物）を左右に移動させるようなアプリケーションを考える。オブジェクトを「左から右」へ動かす送り動作をする場合、その前に「右から左」の振りかぶりが、その後ろに「右から左」の振り戻しが発生する。本実施形態の表示制御部７０１は、「右から左」の所定の閾値以上の移動速さと移動距離をもった動きを検出した時点で８０２のようにオブジェクト３０３〜３０５を右から左へとゆっくりと移動させる。そして、「左から右」への動きがその直前の操作区間よりも特徴量が大きくなったら８０３のようにオブジェクト３０３〜３０５を左から右へとゆっくりと移動させる。最後に、認識部１０３がこの「左から右」への手の動きを送り動作として認識することが確定すると、８０４のようにオブジェクトを３０３〜３０５、８０５を素早く一つ右の位置に遷移させる。
【００７１】
この他にも、送り動作の前に振りかぶりが発生しなかった場合は、「右から左」への手の送り動作を検出した時点で図９の９０２のようにオブジェクト３０３〜３０５を左から右へとゆっくりと移動させる。そして、認識部１０３がこの「右から左」への手の動きを送り動作として認識することが確定すると、９０３のようにオブジェクト３０３〜３０６を素早く一つ左の位置に遷移させる。
【００７２】
このように、本実施形態のジェスチャ認識装置は、第１の操作区間の認識状況に応じてユーザに提示する情報を逐次更新する。これにより、認識状況をユーザに逐次フィードバックすることができ、ユーザが体感する操作性を向上させることができる。
【００７３】
（フローチャート：表示制御部）
図１０のフローチャートを利用して、本実施形態にかかるジェスチャ認識装置の表示制御部７０１の処理を説明する。表示制御部７０１は、操作区間検出部１０２における操作区間の検出状況および認識部１０３から取得した認識状況に関する情報を利用して、ユーザに提示する情報を制御する。ここでは、変形例６の場合で説明する。つまり、第１の操作区間が第２の操作区間よりも特徴量が大きくなった瞬間の時刻を検出開始時刻ＴＣとし、時刻ＴＣから認識部１０３の認識結果が確定する時刻ＴＣ+Ｔ０ａまでの表示について説明する。
【００７４】
まず、ステップＳ１００１では、認識部１０３によって認識対象となる第１の操作区間が特定される。
【００７５】
ステップＳ１００２では、操作区間検出部１０２によって後続する第２の操作区間が検出されているか否かが判別され、検出されている場合はステップＳ１００３へ、検出されていない場合はステップＳ１００４へ移行する。
【００７６】
ステップＳ１００３では、認識部１０３によって第１の操作区間の移動速さＶｃと第２の操作区間の移動速さＶａが比較される。ＶｃがＶａを超える場合はステップＳ１００４へ、それ以外の場合はステップＳ１００６へ移行する。
【００７７】
ステップＳ１００３のＮｏの分岐では、認識部１０３によってＶａがＶｃ以上になると判別されている。つまり、第１の操作区間における手の動きが送り動作として認識されることはない。したがって、ステップＳ１００６では、表示制御部７０１はオブジェクトの表示を次の認識対象となる第２の操作区間の移動方向へ動かす。
【００７８】
なお、Ｓ１００６に移行した際は、次のフレームからは上述の処理で第２の操作区間であった区間を第１の操作区間としてステップＳ１００１からの処理を実行する。
【００７９】
ステップＳ１００４では、現在時刻Ｔと検出開始時刻ＴＣの差分がＴ０ａを超えているか否かを判別する。超えている場合は、第１の操作区間が送り動作として確定していることから、ステップＳ１００７でオブジェクト表示の遷移を完了させる。それ以外の場合は、ステップＳ１００５で制御対象となるオブジェクト表示を第１の操作区間の移動方向にゆっくりと移動させる。なお、この段階では、第１の操作区間における手の動きが送り動作として認識されることは確定していない。
【００８０】
このように、本実施形態のジェスチャ認識装置は、送り動作の認識が確定する前に遷移対象となるオブジェクトの表示を更新する。これにより、認識状況をユーザに逐次フィードバックすることができ、ユーザが体感する操作性を向上させることができる。
【００８１】
（効果）
このように、本実施形態のジェスチャ認識装置は、第１の操作区間の認識状況に応じてユーザに提示する画面表示を逐次更新する。これにより、認識状況をユーザに逐次フィードバックすることができ、ユーザが体感する操作性を向上させることができる。
【００８２】
（変形例７）
表示制御部７０１による表示の制御は、オブジェクトをゆっくり動かすというものに限定されない。例えば、図１１に示すように、オブジェクトを移動方向に傾けるように動かしたり（１１０１）、移動方向に回転するように動かしたり（１１０２）、移動方向に矢印を表示したり（１１０３）することで、認識部１０３における認識状況をユーザに逐次フィードバックすることができる。この他にも、図１２〜１４に示すような例が考えられる。
【００８３】
図１２では、例えば、図１０のステップＳ１００５において第１の操作区間の移動方向が「右から左」である場合、１２０１のようなゲージを表示し、認識部１０３での認識処理の進捗率に応じて１２０２〜１２０４と表示を切り替えることができる。ここで、進捗率は、検出開始時刻Ｔｃから現在時刻Ｔまでの経過時間（Ｔ−Ｔｃ）とＴ０ａを用いて数式２により計算できる。
【００８４】
進捗率 ＝（Ｔ−Ｔｃ）／Ｔ０ａ …（数式２）
進捗率が０．３３以下である場合は１２０１、進捗率が０．３３より大きく０．６６以下である場合は１２０２、進捗率が０．６６より大きい場合は１２０３、進捗率が１になった場合は１２０４をそれぞれ表示する。なお、Ｔ０ａ経過する前に第１の操作区間における手の動きが送り動作として認識されることが確定した場合は、強制的に進捗率を１にすることができる。また、第１の操作区間が送り動作ではないことが確定した場合は、後続する第２の操作区間における手の移動方向にゲージを表示することができる。
【００８５】
図１３では、表示制御部７０１は、上下方向と左右方向の輪が縦横に回転するようなゲージを表示する。例えば、第１の操作区間の移動方向が左である場合は、水平方向の輪が左方向にゆっくり回転しはじめ、最初に右端にあった模様１３０１が中央付近に移動する。ここでは、送り動作が認識された時点で一つ左隣の位置に模様が移動するように、進捗率に応じて等速に移動する（右方向も同様）。一方、第１の操作区間の移動方向が上である場合は、垂直方向の輪が上方向にゆっくり回転し始め、最初に下端にあった模様１３０２が中央付近に移動する。ここでは、送り動作が認識された時点で一つ上隣の位置に模様が移動するように、進捗率に応じて等速に移動する（下方向も同様）。
【００８６】
図１４では、表示制御部７０１は、手の動きに連動したカーソル１４０１と二つの同心円１４０２、１４０３によるゲージを表示する。これまで記した画面表示は、第１の操作区間における手の移動距離や移動速さが閾値を超えて初めて発生するため、閾値以下のわずかな手の振りだと、その振りが検出されているのかどうかがユーザには提示されなかった。本ゲージでは、常に手の動きと連動させるようなカーソル１４０１を表示し、それが閾値を示す円１４０２の外に出た瞬間に認識処理が開始されたということを示す。カーソル１４０１は、手が最初に検出された位置（時系列情報の開始点）を基準とした現在の手の位置の方向に、手の移動距離と移動速さの積だけ円の中心から離れた位置に表示される。移動距離、移動速さの閾値がそれぞれL0、V0のとき、円１４０２の半径はL0×V0となる。カーソル１４０１が円１４０２の外に出た瞬間、進捗率とその方向を表す矢印１４０４が表示され、所定時間Ｔ0ａ経過したときに円１４０３に到達するように進捗率に応じた移動量で円の中心から離れる方向に動き出す。矢印１４０４が円１４０３に到達した瞬間、第１の操作区間における手の動きが送り動作として認識されることになる。なお、図１４における進捗率は数式３で計算できる。
【００８７】
進捗率 ＝ ＭＩＮ（移動距離、L0）×ＭＩＮ（移動速さ、V0） …（数式３）
（変形例７）
図１０のステップＳ１００５、Ｓ１００８およびＳ１００９におけるオブジェクトの移動速さを各操作区間における時系列情報に応じて変化させてもよい。例えば、第１の操作区間における手の移動速さや加速度の絶対値に応じてオブジェクトの移動速さを変えたりすることができる。例えば、図１２において、素早く手を振ったらゲージの増え方が素早くなるようにしてもよい。
【００８８】
（応用例）
本実施形態のジェスチャ認識装置を電子書籍端末に内蔵した場合、ユーザのジェスチャで本をめくるよう制御することもできる。図１５のように本をめくる途中であるかのような表示をすることにより、本をめくっているかのような効果を与えることができる。つまり、第１の操作区間の移動方向が左であると検出されたとき、進捗率が０のときには１５０１に、進捗率が０．３３のときはめくる対象となるページ１５０２が１／３ほど左にめくられた状態を示す１５０３に、進捗率が０．６６のときはページ１５０２が２／３ほど左にめくられた状態を示す１５０４に、進捗率が１になったらページが完全に左にめくられた状態にする。
【００８９】
また、画面内に入りきらないようなウェブページの閲覧の直観的操作として、上下左右の移動を用いてもよい。このとき、１つのコマンドにつき、あらかじめ決められた距離だけウェブページ内を移動させてもよい。
【００９０】
さらには、ＣＧによる立体オブジェクトや全方位カメラの映像を好きな角度から眺める際の操作手段として用いてもよい。このとき、１つのコマンドにつき、あらかじめ決められた角度だけ回転させてもよい。
【００９１】
（効果）
以上述べた少なくとも一つの実施形態のジェスチャ認識装置によれば、認識対象となる操作区間だけでなく前後の操作区間における手の位置に関する時系列情報を利用して送り動作を認識する。これにより、ユーザの振りかぶりおよび振り戻しを送り動作として誤認識することを防止することができる。
【００９２】
なお、以上説明した本実施形態における一部機能もしくは全ての機能は、ソフトウェア処理により実現可能である。
【００９３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９４】
１０１ 時系列情報取得部
１０２ 操作区間検出部
１０３ 認識部
１０４ コマンド発生部
１０５、７０１ 表示制御部
２０１ 制御部
２０２ 記憶部
２０３ 外部記憶部
２０４ 操作部
２０５ 通信部
２０６ カメラ
２０７ ディスプレイ
２０８ バス
３０１、３０２、８０１〜８０４、９０１〜９０３、１１０１〜１１０３、１５０１、１０５３、１５０４ 画面表示
３０３〜３０６、８０５ オブジェクト
１２０１〜１２０３、１４０２、１４０３ ゲージ
１３０１、１３０２ 模様
１４０１ カーソル
１５０２ ページ
【技術分野】
【０００１】
本発明の実施形態は、ジェスチャ認識装置、ジェスチャ認識方法およびジェスチャ認識プログラムに関する。
【背景技術】
【０００２】
ユーザの手の動きを認識して、その動きに関連付けられた所望のコマンドを発生させるジェスチャ認識装置がある。ジェスチャ認識装置には、ユーザの手が上下左右前後など予め定められた方向に動く「送り動作」を認識するものがある。このジェスチャ認識装置では、ユーザの手が移動する速さ（移動速さ）が閾値より大きく、かつ、過去の所定時間内に他の送り動作が検出されていない場合に、送り動作が入力されたと認識していた。
【０００３】
しかしながら、この技術では、送り動作の直前に発生する逆方向の手の動き（振りかぶり）における手の移動速さが閾値より大きい場合、この振りかぶりを送り動作と誤認識することがあった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０‐１８２０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
発明が解決しようとする課題は、送り動作と振りかぶりを区別することができるジェスチャ認識装置を提供することである。
【課題を解決するための手段】
【０００６】
実施形態のジェスチャ認識装置は、物体あるいはユーザの体の特定部位の動きを認識する。時系列情報取得手段は、前記特定部位の位置あるいは大きさに関する時系列情報を取得する。操作区間検出手段は、前記時系列情報から前記特定部位の移動方向を検出し、前記時系列情報の開始点、前記移動方向が転換する転換点、前記時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する。認識手段は、前記複数の操作区間のうち認識対象となる第１の操作区間およびこの第１の操作区間に後続する第２の操作区間を特定し、前記第１の操作区間における前記時系列情報から抽出した第１の特徴量および前記第２の操作区間における前記時系列情報から抽出した第２の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態のジェスチャ認識装置を示すブロック図。
【図２】実施形態のジェスチャ認識装置のハードウェア構成を示す図。
【図３】実施形態の操作区間検出部の動作を説明する図。
【図４】実施形態のジェスチャ認識装置の画面表示を示す図。
【図５】実施形態のジェスチャ認識装置のフローチャート（全体処理）。
【図６】実施形態のジェスチャ認識装置のフローチャート（ステップＳ４０４）。
【図７】第２の実施形態のジェスチャ認識装置を示すブロック図。
【図８】実施形態のジェスチャ認識装置の画面表示を示す図。
【図９】実施形態のジェスチャ認識装置の画面表示を示す図。
【図１０】実施形態のジェスチャ認識装置のフローチャート（表示制御部）。
【図１１】変形例７のジェスチャ認識装置の画面表示を示す図。
【図１２】変形例７のジェスチャ認識装置の画面表示を示す図。
【図１３】変形例７のジェスチャ認識装置の画面表示を示す図。
【図１４】変形例７のジェスチャ認識装置の画面表示を示す図。
【図１５】応用例のジェスチャ認識装置の画面表示を示す図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面を参照しながら説明する。
【０００９】
（第１の実施形態）
第１の実施形態にかかるジェスチャ認識装置は、ユーザの手の動きによって画面表示を操作する装置であり、ユーザの送り動作を認識して対応する方向に画面を遷移させる機能を有する。例えば、本実施形態にかかるジェスチャ認識装置を、カメラを搭載したテレビ受像機に内蔵することにより、ユーザの送り動作を認識してテレビ受像機に表示されたオブジェクト（送り動作による制御対象物）の位置を遷移させることができる。ここで、「送り動作」とは、上下左右前後およびこれらの方向の組み合わせなど予め定められた方向への手の動きである。ユーザの手の動きには、ユーザが画面を遷移させたい方向への送り動作以外に、送り動作の直前に発生する逆方向の動きである「振りかぶり」および送り動作の後に手を元の位置に戻そうとする「振り戻し」が存在する。
【００１０】
本実施形態にかかるジェスチャ認識装置は、送り動作における手の移動速さが振りかぶりおよび振り戻しにおける手の移動速さよりも高速であるとして、送り動作を検出する。具体的には、ユーザの手の位置に関する時系列情報を取得し、この時系列情報から手が動く移動方向および移動速さを検出する。そして、時系列情報の開始点、手の移動方向が転換する転換点、時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する。認識対象となる第１の操作区間、第１の操作区間に後続する第２の操作区間、第１の操作区間に先行する第３の操作区間を特定し、第１の操作区間における手の移動速さ（第１の特徴量）が、第２および第３の操作区間にける手の移動速さ（第２および第３の特徴量）よりも高速である場合（大きい場合）、第１の操作区間に対応する手の動きを送り動作として認識する。
【００１１】
このように、本実施形態のジェスチャ認識装置は、認識対象となる操作区間だけでなく前後の操作区間における手の位置に関する時系列情報を利用して送り動作を認識する。これにより、ユーザの振りかぶりおよび振り戻しを送り動作として誤認識することを防止することができる。
【００１２】
（全体のブロック構成）
図１は、第１の実施形態にかかるジェスチャ認識装置を示すブロック図である。本実施形態のジェスチャ認識装置は、ユーザの手の位置に関する時系列情報を取得する時系列情報取得部１０１と、この時系列情報から手の移動方向を検出し、時系列情報の開始点、移動方向が転換する転換点、時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する操作区間検出部１０２と、検出された複数の操作区間のうち認識対象となる第１の操作区間、第１の操作区間に後続する第２の操作区間、第１の操作区間に先行する第３の操作区間を特定し、第１の操作区間における手の移動速さが、第２および第３の操作区間にける手の移動速さよりも高速である場合、第１の操作区間に対応する手の動きを送り動作として認識する認識部１０３と、この認識結果に応じたコマンドを発生させるコマンド発生部１０４と、前記コマンドによる制御対象物の形態を表示する表示制御部１０５を備える。
【００１３】
（ハードウェア構成）
本実施形態のジェスチャ認識装置は、図２に示すような通常のコンピュータを利用したハードウェアで構成されており、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部２０１と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶部２０２と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の外部記憶部２０３と、ユーザの指示入力を受け付けるキーボードやマウスなどの操作部２０４と、外部装置との通信を制御する通信部２０５と、映像を取得するカメラ２０６と、映像を表示するディスプレイ２０７と、これらを接続するバス２０８を備えている。
【００１４】
このようなハードウェア構成において、制御部２０１がＲＯＭ等の記憶部２０２や外部記憶部２０３に記憶された各種プログラムを実行することにより以下の機能が実現される。
【００１５】
（時系列情報取得部）
時系列情報取得部１０１は、ユーザの手の位置に関する時系列情報を取得する。手の位置に関する時系列情報は、カメラ２０６の撮像素子（イメージセンサなど）を用いて撮像された画像から特許文献１に記載の手法を用いて取得できる。手の位置は、撮像素子から得られる手領域の重心としてよく、撮像された画像上のｘ、ｙ座標に限らず、距離センサや複数の撮像素子から推定された奥行き情報を用いてもよい。時系列情報は撮像した画像の各フレームについて取得でき、開始点は手が最初に検出された位置、終了点は手が最後に検出された位置あるいは現時点で検出された最新の手の位置とすることができる。例えば、ユーザの手の位置を画像上のｘ、ｙ座標で表現する場合、時系列情報取得部１０１は、ｉ番目のフレームでの位置（ｘｉ，ｙｉ）とともに取得時刻Ｔｉを取得する。取得時刻Ｔｉは、ジェスチャ認識装置の起動時、又は時系列情報取得部１０１による時系列情報の取得開始時を基準とした経過時間、経過クロック数、経過フレーム数などで表現できる。
【００１６】
なお、手の位置に関する時系列情報を、カメラ２０６からではなく、外部記憶部２０３や通信部２０５によって接続された外部装置から直接取得することもできる。
【００１７】
（操作区間検出部）
操作区間検出部１０２は、時系列情報から手の移動方向、移動速さ、移動距離を検出し、時系列情報の開始点、移動方向が転換する転換点、時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する。
【００１８】
手の移動方向は、時系列情報で表される手の位置が変化する方向とする。例えば、ジェスチャ認識装置が左右（ｘ軸方向）の送り動作を認識する場合、フレーム間におけるｘ座標の差分値（ｘｉ−ｘｉ-1）を計算する。そして、この差分値が正の場合は移動方向が右（ｘ軸の正の向きが右方向であるとき）、負の場合は移動方向が左と判別する。手の移動速さは、時系列情報として得られる手の位置の微分値（フレーム間の差分値）で計算できる。つまり、ｘｉ、ｘｉ−１の取得時刻をそれぞれＴｉ、Ｔｉ−１としたとき、移動速さは、｜（ｘｉ−ｘｉ−１）／（Ｔｉ−Ｔｉ−１）｜で算出できる。手の移動距離は、各フレームの座標間におけるユークリッド距離で計算できる。
【００１９】
操作区間検出部１０２は、時系列情報の開始点、移動方向が転換する転換点、時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する。例えば、ユーザが手を「右から左」に動かす送り動作をする場合、前後の振りかぶりおよび振り戻しを考慮すると、手の移動方向は「左から右」、「右から左」、「左から右」のようになる。この場合、操作区間検出部１０２は、「左（開始点）から右（転換点）」、「右（転換点）から左（転換点）」、「左（転換点）から右（終了点）」のそれぞれの動きを操作区間として検出する。なお、操作区間検出部１０２は、手の移動が停止した時点を終了点あるいは開始点として操作区間を検出することができる。手の移動が停止したか否かは、所定フレームにわたる手の移動距離を観測することで判別する。
【００２０】
操作区間検出部１０２は、各操作区間について取得時刻を取得する。ここで、取得時刻は各操作区間の終端における時刻を表しており、時系列情報取得部１０１で取得された取得時刻Ｔｉから求めることができる。
【００２１】
操作区間検出部１０２は、操作区間をバッチ処理で検出しても、リアルタイム処理で検出してもよい。
【００２２】
図３の時系列情報を用いて、バッチ処理による操作区間の検出方法を説明する。この例では、Ｐ１〜Ｐ８は、時系列情報取得部１０１によって取得されたフレーム毎の時系列情報（手の位置情報）を示している。ジェスチャ認識装置が左右の動きを認識する場合、操作区間検出部１０２は、まず、開始点Ｐ１から直後の転換点Ｐ３までの区間Ｐ１〜Ｐ３を第１の操作区間、第１の操作区間の終端であるＰ３から直後の転換点Ｐ６までの区間Ｐ３〜Ｐ６の区間を第２の操作区間として検出し、検出した操作区間の情報を認識部１０３に出力する。この場合、操作区間検出部１０２は、第３の操作区間は検出しない。続いて、操作区間検出部１０２は、Ｐ１〜Ｐ３の区間を第３の操作区間、Ｐ３〜Ｐ６の区間を第１の操作区間、Ｐ６〜Ｐ８の区間を第２の操作区間として検出し、検出した操作区間の情報を認識部１０３に出力する。操作区間検出部１０２は、以上の処理を第１の操作区間の終端が時系列情報の終了点になるまで繰り返す。
【００２３】
次に、操作区間をリアルタイムで検出する場合について説明する。操作区間をリアルタイムで検出する場合、バッチ処理の場合とは第１の操作区間および第２の操作区間の検出方法が異なる。操作区間検出部１０２は、転換点が存在する場合には最新の転換点、転換点が存在しない場合には時系列情報の開始点を始端とし、最新の時系列情報を取得してから所定時間Ｔ０ａが経過するまでに転換点が存在する場合はこの転換点を、転換点が存在しない場合は所定時間Ｔ０ａが経過するまで（この時刻を操作区間確定時刻とする）に取得された最新の時系列情報の位置（終了点）を終端として第１の操作区間を検出する。また、操作区間検出部１０２は、操作区間確定時刻においてこの第１の操作区間の終端を第２の操作区間の始端とし、この始端の後に転換点が存在する場合にはこの転換点を、転換点が存在しない場合には終了点を第２の操作区間の終端として検出する。
【００２４】
操作区間検出部１０２は、操作区間の検出を開始してから第１および第２の操作区間の検出を確定するまでに、所定時間Ｔ０ａを要する。つまり、操作区間検出部１０２は、時刻Ｔｉの時点で操作区間の検出を開始してから、所定時間Ｔ０ａ経過後、即ち時刻Ｔｉ＋Ｔ０ａの時点で第１および第２の操作区間の検出を確定する。このため、本実施形態では、第１および第２の操作区間をリアルタイムで検出するが、厳密には検出を確定するまでに所定時間Ｔ０ａの遅延が生じ、後述の認識部１０３による認識も所定時間Ｔ０ａの遅延が生じることになる。
【００２５】
操作区間の検出過程について、図３を参照しながら時系列に説明する。まず、時系列情報取得部１０１により最新の時系列情報である最新点Ｐ１（開始点）が取得される。この段階では、操作区間検出部１０２は、操作区間を検出しない。
【００２６】
続いて、時系列情報取得部１０１により次の最新点Ｐ２が取得されると（この時点を時刻Ｔ２とする）、操作区間検出部１０２は、開始点Ｐ１を始端とし最新点Ｐ２を終端とする区間Ｐ１〜Ｐ２を第１の操作区間として検出する。直前には区間が存在しないため、第３の操作区間は検出しない。この時点では、第１の操作区間の始端はＰ１に確定するが、終端は確定しておらず、時刻Ｔ２の時点から所定時間Ｔ０ａが経過するまでに最新点が取得された場合、第１の操作区間の終端が更新される。
【００２７】
例えば、時刻Ｔ２から所定時間Ｔ０ａが経過するまでにＰ３までが取得された場合、操作区間検出部１０２は、区間Ｐ１〜Ｐ３を第１の操作区間として検出する。この場合、操作区間検出部１０２は、第１の操作区間の直前と直後には他の操作区間が存在しないため、第３および第２の操作区間を検出せず、検出した第１の操作区間の情報を、操作区間の検出開始時刻がＴ２のときの情報として認識部１０３に出力する。
【００２８】
時刻Ｔ２から所定時間Ｔ０ａが経過するまでに点Ｐ４まで取得された場合、Ｐ３が第１の操作区間の始端Ｐ１の直後の転換点となるため、操作区間検出部１０２は、転換点Ｐ３を終端とする区間Ｐ１〜Ｐ３を第１の操作区間として確定する。この場合、操作区間検出部１０２は、第１の操作区間の終端であるＰ３を始端とし、最新点Ｐ４を終端とする区間Ｐ３〜Ｐ４を第２の操作区間として確定する。
【００２９】
時刻Ｔ２から所定時間Ｔ０ａが経過するまでに点Ｐ７までが取得された場合もＰ３が第１の操作区間の始端直後の転換点となるため、操作区間検出部１０２は、転換点Ｐ３を終端とする区間Ｐ１〜Ｐ３を第１の操作区間として確定する。この場合、操作区間検出部１０２は、転換点Ｐ３を始端とし、当該始点の直後の転換点であるＰ６を終端とする区間Ｐ３〜Ｐ６を第２の操作区間として確定する。
【００３０】
一方で、時刻Ｔ２から所定時間Ｔ０ａが経過するまでにＰ３が取得されなかった場合、Ｐ２が終了点となるため、操作区間検出部１０２は、終了点Ｐ２を終端とする区間Ｐ１〜Ｐ２を第１の操作区間に確定する。この場合、操作区間検出部１０２は、第２および第３の操作区間を検出せず、検出した第１の操作区間の情報を、操作区間の検出開始時刻がＴ２のときの情報として認識部１０３に出力する。続いて、時系列情報取得部１０１により最新点Ｐ４が取得されると（この時点を時刻Ｔ４とする）、操作区間検出部１０２は、最新の転換点Ｐ３を始端、終了点Ｐ４を終端とする区間Ｐ３〜Ｐ４を第１の操作区間として検出する。ここで、第１の操作区間の始端であるＰ３を終端とする操作区間を第３の操作区間として確定する。
【００３１】
以下、時系列情報取得部１０１により最新点Ｐ８が取得されるまで、同様な処理が行われる。
【００３２】
なお、操作区間検出部１０２は、第１および第２の操作区間を確定してから、第１、第２および第３の操作区間の情報を認識部１０３に出力するのではなく、検出された操作区間の情報を逐次認識部１０３に出力してもよい。
【００３３】
Ｔ０ａは０．４秒程度に設定できる。また、操作区間検出部１０２は、第１の操作区間での特定部位の移動速さに応じて所定時間Ｔ０ａを変更してもよく、例えば、移動速さが速くなるほど所定時間Ｔ０ａを短くするようにしてもよい。
【００３４】
（認識部）
認識部１０３は、操作区間検出部１０２で検出された複数の操作区間のうち認識対象となる第１の操作区間が送り動作に該当するか否かを認識する。ここで、本実施形態の認識部１０３は、第２および第３の操作区間における時系列情報から抽出した特徴量（手の移動速さ）を用いて第１の操作区間の動きを認識する。具体的には、以下の２つの条件を満たす際に、第１の操作区間に対応する手の動きを送り動作として認識する。
【００３５】
第１条件：第３の操作区間が存在しない、あるいは、第１の操作区間における手の移動速さＶｃ（第１の特徴量）が第３の操作区間における手の移動速さＶｂ（第３の特徴量）より高速
第２条件：第２の操作区間が存在しない、あるいは、第１の操作区間における手の移動速さＶｃ（第１の特徴量）が第２の操作区間における手の移動速さＶａ（第２の特徴量）より高速
ここで、操作区間における手の移動速さは、それぞれの区間の各フレームで計算された移動速さの最大値とすることができる。
【００３６】
認識部１０３で認識される送り動作の方向は、第１の操作区間の始端および終端の座標から計算できる。例えば、ジェスチャ認識装置が左右（ｘ軸方向）の送り動作を認識する場合、第１の操作区間の始端および終端のｘ座標の差分値から送り動作の方向を計算できる。なお、第１の操作区間における手の移動速さが所定閾値以下になる場合は、送り動作に該当しないと認識してもよい。また、第１の操作区間の始端および終端間の距離を手の移動距離Ｌｃとして計算し、この移動距離Ｌｃが所定閾値以下になる場合は、送り動作に該当しないと認識してもよい。
【００３７】
なお、操作区間検出部１０２がリアルタイム処理で各操作区間を検出する場合、操作区間の検出を開始してから第１および第２の操作区間の検出を確定するまでに、所定時間Ｔ０ａを要する。このため、認識部１０３による認識も所定時間Ｔ０ａの遅延が生じることになる。
【００３８】
このように本実施形態のジェスチャ認識装置は、認識対象となる操作区間だけでなく前後の操作区間におけるユーザの手の位置に関する時系列情報を利用して送り動作を認識する。これにより、ユーザの振りかぶりおよび振り戻しを送り動作として誤認識することを防止することができる。
【００３９】
（コマンド発生部）
コマンド発生部１０４は、認識部１０３での認識結果に応じたコマンドを発生させる。認識された送り動作が「右から左」への動きであった場合は、コマンド発生部１０４は、ジェスチャでの遷移対象となるオブジェクトを「右から左」へ移動させるようなコマンドを発生させる。その際、コマンドを発生したときは、その第１の操作区間の始端が同じうちは再度コマンドを発生させる必要はない。
【００４０】
（表示制御部）
表示制御部１０５は、コマンド発生部１０４で発生したコマンドに応じて、ディスプレイ２０７に表示するオブジェクト（コマンドによる制御対象物）の形態を変更する。例えば、オブジェクトを「右から左」へ移動させるようなコマンドを受理した場合は、図４のように、３０１の画面に表示されるオブジェクト３０３〜３０５の位置を３０２の画面に表示されるように一つ左に遷移させる。つまり、中央にあったオブジェクト３０３は左側に、右側にあったオブジェクト３０４が中央に来るように遷移し、オブジェクト３０３の左側にあったオブジェクト３０５は画面から消え、オブジェクト３０４の右側にあったオブジェクト３０６が画面３０２に現れる。
【００４１】
（フローチャート：全体処理）
図５のフローチャートを利用して、本実施形態にかかるジェスチャ認識装置の処理を説明する。まず、ステップＳ４０１では、時系列情報取得部１０１は、ユーザの手の位置に関する時系列情報を取得する。
【００４２】
ステップＳ４０２では、操作区間検出部１０２は、時系列情報から手の移動方向、移動速さ、移動距離を計算する。
【００４３】
ステップＳ４０３では、操作区間検出部１０２は、複数の操作区間を検出する。
【００４４】
ステップＳ４０４では、認識部１０３は、認識対象となる第１の操作区間に対応する動きが送り動作に該当するか否かを認識する。ステップＳ４０４の詳細は後述する。
【００４５】
ステップＳ４０５では、コマンド発生部１０４は、ステップＳ４０４における認識結果に応じたコマンドを発生させる。第１の操作区間が送り動作として認識された場合は、この送り動作に応じたコマンドを発生させる。一方、第１の操作区間が送り動作として認識されずに棄却された場合は、コマンドを発生させない。
【００４６】
ステップＳ４０６では、表示制御部１０５は、コマンド発生部１０４でのコマンドに応じてユーザに提示する画面表示を更新する。
【００４７】
（フローチャート：ステップＳ４０４）
図６のフローチャートを利用して、ステップＳ４０４の処理を説明する。まず、ステップＳ５０１では、認識部１０３は、認識対象となる第１の操作区間を特定する。
【００４８】
ステップＳ５０２では、認識部１０３は、第１の操作区間の移動速さＶｃおよび移動距離Ｌｃが、それぞれ所定の閾値Ｖ０および閾値Ｌ０を超えるか否かを判定する。閾値を超える場合は、ステップＳ５０３へ移行する。閾値を超えない場合は、ステップＳ５０８へ移行し、この第１の操作区間は送り動作ではないと認識する。
【００４９】
ステップＳ５０３では、認識部１０３は、先行する第３の操作区間が操作区間検出部１０２で検出されているか否かを判定する。第３の操作区間が検出されていない場合はステップＳ５０５へ、検出されている場合はステップＳ５０４へ移行する。
【００５０】
ステップＳ５０４では、認識部１０３は、第１の操作区間の移動速さＶｃと第３の操作区間の移動速さＶｂを比較する。ＶｃがＶｂを超える場合はステップＳ５０５へ、それ以外の場合はステップＳ５０８へ移行する。このように、本実施形態のジェスチャ認識装置は、認識対象となる第１の操作区間と先行する第３の操作区間の移動速さを比較することにより、送り動作の後に発生する振り戻しを送り動作として誤認識することを防止する。
【００５１】
ステップＳ５０５では、認識部１０３は、第２の操作区間が操作区間検出部１０２で検出されているか否かを判定する。第２の操作区間が検出されていない場合はステップＳ５０７へ、検出されている場合はステップＳ５０６へ移行する。
【００５２】
ステップＳ５０６では、認識部１０３は、第１の操作区間の移動速さＶｃと第２の操作区間の移動速さＶａを比較する。ＶｃがＶａを超える場合はステップＳ５０７へ、それ以外の場合はステップＳ５０８へ移行する。このように、本実施形態のジェスチャ認識装置は、認識対象となる第１の操作区間と後続する第２の操作区間の移動速さを比較することにより、送り動作の前に発生する振りかぶりを送り動作として誤認識することを防止する。（効果）
このように本実施形態のジェスチャ認識装置は、認識対象となる操作区間だけでなく前後の操作区間における手の位置に関する時系列情報を利用して送り動作を認識する。これにより、ユーザの振りかぶりおよび振り戻しを送り動作として誤認識することを防止することができる。
【００５３】
（変形例１）
本実施形態における操作区間検出１０２では、リアルタイム処理で操作区間を検出する際、所定時間Ｔ０ａの遅延が生じているが、所定時間Ｔ０ａ経過する前に操作区間を検出することもできる。例えば、図３において、第１の操作区間の終端をＴ３（Ｐ３が取得された時刻）とし、Ｔ３から所定時間Ｔ０ａが経過するまでにＰ８までの時系列情報が取得されるものとする。この場合、本変形例の操作区間検出部１０２は、所定時間Ｔ０ａの経過を待つことなく、Ｐ６が転換点として検出された時点でＰ３からＰ６までの区間を第２の操作区間として確定し、その情報を認識部１０３に出力することができる。これにより、認識に必要なタイムラグを減らすことができる。
【００５４】
また、第１の操作区間の移動速さ（第１の特徴量）と第１の操作区間の終端以降に取得された時系列情報の各フレームでの移動速さを逐次比較し、各フレームでの移動速さが第１の操作区間の移動速さを超えた時点で、この第１の操作区間は送り動作ではないと認識することもできる。これにより、認識に必要なタイムラグを減らすことができる。
【００５５】
（変形例２）
本実施形態にかかるジェスチャ認識装置は、送り動作における手の移動速さが振りかぶりと振り戻しにおける手の移動速さよりも高速であるとして送り動作を検出したが、送り動作における手の移動速さが振りかぶりと振り戻しにおける手の移動速さよりも低速であるとして送り動作を検出することもできる。例えば、図４のような画面表示を変更するアプリケーションにおいて、ユーザに対して意図する方向にゆっくり手を動かすよう指示した場合、本変形例のジェスチャ認識装置を用いることができる。
【００５６】
本変形例における認識部１０３は、以下の２つの条件を満たす際に、第１の操作区間に対応する手の動きを送り動作として認識する。
【００５７】
第１条件：第３の操作区間が存在しない、あるいは、第１の操作区間における手の移動速さＶｃが第３の操作区間における手の移動速さＶｂより低速
第２条件：第２の操作区間が存在しない、あるいは、第１の操作区間における手の移動速さＶｃが第２の操作区間における手の移動速さＶａより低速
また、図６のステップＳ５０４およびＳ５０６おける条件は、それぞれＶｃ＜ＶｂおよびＶｃ＜Ｖａになる。
【００５８】
なお、各操作区間における時系列情報から抽出した特徴量として手の移動速さに−１を掛け合わせたものを用いると、本実施形態における処理と同様な方法で「送り動作における手の移動速さが振りかぶりと振り戻しにおける手の移動速さよりも低速である」とした送り動作を認識することができる。
【００５９】
（変形例３）
本実施形態の認識部１０３は、第１〜第３の操作区間における時系列情報から抽出した特徴量として手の移動速さを利用したが、手の移動距離を特徴量として用いることもできる。送り動作の移動距離が振りかぶりおよび振り戻しの移動距離よりも長いとみなしたときは、第１の操作区間の移動距離Ｌｃが第２および第３の操作区間の移動距離より長い場合、第１の操作区間に対応する手の動きを送り動作として認識することができる。
【００６０】
この他にも、手の加速度の絶対値を特徴量として用いることもできる。送り動作の加速度の絶対値が振りかぶりおよび振り戻しの加速度の絶対値よりも大きいとみなしたときは、第１の操作区間の加速度の絶対値が第２および第３の操作区間の加速度の絶対値より大きい場合、第１の操作区間に対応する手の動きを送り動作として認識することができる。なお、各操作区間の加速度の絶対値には、その区間における時系列情報から計算された加速度の絶対値の最大値を用いる。
【００６１】
さらに、数式１で表される評価値Ｅを各操作区間の特徴量として用いることもできる。
【００６２】
評価値Ｅ = Ｖ×ｅｘｐ｛α×（Ｑ−Ｐ）×Ｆ（ｄｉｒ）｝ …（数式１）
ここで、Ｖは各操作区間における手の移動速さの最大値、αは正の係数、Ｑは操作区間の終端の位置、Ｐは基準位置、Ｆ（ｄｉｒ）は所定の関数である。Ｐは、例えば手を最初に検出した位置（時系列情報の開始点）とすることができる。Ｆ（ｄｉｒ）は、＋１もしくは−１の値をとる関数である。例えば、左右方向の手の動きに着目する場合、Ｆ（ｄｉｒ）は、操作区間の移動方向がＰを原点とする座標軸上で見たときに正の方向なら１、負の方向なら−１となる。つまり、基準位置Ｐよりも各操作区間の終点が右側にある場合において、移動方向が右である操作区間の評価値Ｅは、Ｖに1.0より大きな倍率をかけた値となり、移動方向が左である操作区間の評価値Ｅは、Ｖに1.0未満の倍率をかけた値となる。つまり、基準位置Ｐよりも右側の領域において同じ移動速さで左右に手を動かした場合、右方向へ移動する操作区間の評価値Ｅの方が高い値となる。これにより、手の移動速さに差がない場合でも、ユーザの振りかぶりおよび振り戻しを送り動作として誤認識することを防止することができる。なお、Ｐを肘の位置としてもよい。
【００６３】
（変形例４）
ジェスチャ認識装置が、カメラ２０６に正対する方向に手のひらを押し引きする動きを送り動作として認識するようにすることもできる。この場合、時系列情報取得部１０１は、手の大きさ（例えば、手を囲む矩形領域の面積）を時系列情報として取得し、その時系列情報の変化方向（増大方向、減少方向）を手の移動方向とすることができる。手の移動速さは手の大きさの変化の速度（単位時間あたりの変化量の最大値）、手の移動距離は手の大きさの変化量でそれぞれ代替できる。
【００６４】
（変形例５）
本実施形態のジェスチャ認識装置は、認識対象となる操作区間（第１の操作区間）だけでなく前後の操作区間（第２および第３の操作区間）における手の位置に関する時系列情報を利用して送り動作を認識したが、認識対象および後続の操作区間における手の位置に関する時系列情報のみを利用して送り動作を認識してもよい。これにより、送り動作の前に発生する振りかぶりを送り動作として誤認識することを防止することができる。
【００６５】
また、本実施形態のジェスチャ認識装置は、ユーザの手の動きを認識したが、この他にもユーザの顔や足などの特定部位を認識するようにしてもよい。また、ユーザの体の特定部位ではなく、物体を認識してもよい。例えば、リモートコントローラ、センサ、マーカーなどの物体全体やその物体の特定部位の動きから送り動作を認識することもできる。
【００６６】
また、操作区間検出部１０２および認識部１０３は、時系列情報取得部１０１で取得された時系列情報を間引いて操作区間を検出することもできる。例えば、フレームを１つおきに処理することにより演算量を削減することができる。
【００６７】
（変形例６）
本実施形態においてリアルタイムで認識する場合は、操作区間検出部１０２は、時系列情報取得部１０１で点を取得するたびに第１から第３の操作区間の情報を検出／更新していたが、特にそれに限られることはなく、特定の時刻についてのみ操作区間の検出を開始してもよい。本変形例では、操作区間の検出にかかる演算量を削減するため、前のフレームでの認識部１０３の結果に応じて操作区間の検出を開始する時刻を定める。具体的には、以下の過程で操作区間を検出する。
【００６８】
まず、開始点あるいは転換点をみつけたら、それ以降は時系列情報取得部１０１で最新点を取得するたびにその時刻における第１の操作区間および第３の操作区間から抽出した特徴量を比較する。ここで、第１の操作区間の特徴量が第３の操作区間の特徴量をはじめて超えた時刻を検出開始時刻ＴＣとし、このときの情報を認識部１０３に出力してよい（その情報は時刻ＴＣ+Ｔ０ａの時点で確定する。確定後に出力してもよいし、確定するまでの間も時系列情報取得部１０１で点を取得するたびに逐次出力してもよい）。その後は、次の転換点を見つけるまでは認識部１０３に情報を出力しない。
【００６９】
（第２の実施形態）
図７は、第２の実施形態にかかるジェスチャ認識装置の構成を示すブロック図である。第２の実施形態が第１の実施形態と異なるのは、表示制御部７０１が、操作区間検出部１０２における操作区間の検出状況および認識部１０３における認識状況に応じて、ユーザの送り動作によって制御される対象物の形態を変更する点である。ここで、対象物の形態は、対象物の外観だけでなく、対象物がディスプレイ２０７に表示される位置を意味する。
【００７０】
本実施形態にかかるジェスチャ認識装置は、第１の操作区間の認識状況に応じてユーザに提示する画面表示を逐次更新する。例えば、図８のように、手の送り動作によってオブジェクト（コマンドによる制御対象物）を左右に移動させるようなアプリケーションを考える。オブジェクトを「左から右」へ動かす送り動作をする場合、その前に「右から左」の振りかぶりが、その後ろに「右から左」の振り戻しが発生する。本実施形態の表示制御部７０１は、「右から左」の所定の閾値以上の移動速さと移動距離をもった動きを検出した時点で８０２のようにオブジェクト３０３〜３０５を右から左へとゆっくりと移動させる。そして、「左から右」への動きがその直前の操作区間よりも特徴量が大きくなったら８０３のようにオブジェクト３０３〜３０５を左から右へとゆっくりと移動させる。最後に、認識部１０３がこの「左から右」への手の動きを送り動作として認識することが確定すると、８０４のようにオブジェクトを３０３〜３０５、８０５を素早く一つ右の位置に遷移させる。
【００７１】
この他にも、送り動作の前に振りかぶりが発生しなかった場合は、「右から左」への手の送り動作を検出した時点で図９の９０２のようにオブジェクト３０３〜３０５を左から右へとゆっくりと移動させる。そして、認識部１０３がこの「右から左」への手の動きを送り動作として認識することが確定すると、９０３のようにオブジェクト３０３〜３０６を素早く一つ左の位置に遷移させる。
【００７２】
このように、本実施形態のジェスチャ認識装置は、第１の操作区間の認識状況に応じてユーザに提示する情報を逐次更新する。これにより、認識状況をユーザに逐次フィードバックすることができ、ユーザが体感する操作性を向上させることができる。
【００７３】
（フローチャート：表示制御部）
図１０のフローチャートを利用して、本実施形態にかかるジェスチャ認識装置の表示制御部７０１の処理を説明する。表示制御部７０１は、操作区間検出部１０２における操作区間の検出状況および認識部１０３から取得した認識状況に関する情報を利用して、ユーザに提示する情報を制御する。ここでは、変形例６の場合で説明する。つまり、第１の操作区間が第２の操作区間よりも特徴量が大きくなった瞬間の時刻を検出開始時刻ＴＣとし、時刻ＴＣから認識部１０３の認識結果が確定する時刻ＴＣ+Ｔ０ａまでの表示について説明する。
【００７４】
まず、ステップＳ１００１では、認識部１０３によって認識対象となる第１の操作区間が特定される。
【００７５】
ステップＳ１００２では、操作区間検出部１０２によって後続する第２の操作区間が検出されているか否かが判別され、検出されている場合はステップＳ１００３へ、検出されていない場合はステップＳ１００４へ移行する。
【００７６】
ステップＳ１００３では、認識部１０３によって第１の操作区間の移動速さＶｃと第２の操作区間の移動速さＶａが比較される。ＶｃがＶａを超える場合はステップＳ１００４へ、それ以外の場合はステップＳ１００６へ移行する。
【００７７】
ステップＳ１００３のＮｏの分岐では、認識部１０３によってＶａがＶｃ以上になると判別されている。つまり、第１の操作区間における手の動きが送り動作として認識されることはない。したがって、ステップＳ１００６では、表示制御部７０１はオブジェクトの表示を次の認識対象となる第２の操作区間の移動方向へ動かす。
【００７８】
なお、Ｓ１００６に移行した際は、次のフレームからは上述の処理で第２の操作区間であった区間を第１の操作区間としてステップＳ１００１からの処理を実行する。
【００７９】
ステップＳ１００４では、現在時刻Ｔと検出開始時刻ＴＣの差分がＴ０ａを超えているか否かを判別する。超えている場合は、第１の操作区間が送り動作として確定していることから、ステップＳ１００７でオブジェクト表示の遷移を完了させる。それ以外の場合は、ステップＳ１００５で制御対象となるオブジェクト表示を第１の操作区間の移動方向にゆっくりと移動させる。なお、この段階では、第１の操作区間における手の動きが送り動作として認識されることは確定していない。
【００８０】
このように、本実施形態のジェスチャ認識装置は、送り動作の認識が確定する前に遷移対象となるオブジェクトの表示を更新する。これにより、認識状況をユーザに逐次フィードバックすることができ、ユーザが体感する操作性を向上させることができる。
【００８１】
（効果）
このように、本実施形態のジェスチャ認識装置は、第１の操作区間の認識状況に応じてユーザに提示する画面表示を逐次更新する。これにより、認識状況をユーザに逐次フィードバックすることができ、ユーザが体感する操作性を向上させることができる。
【００８２】
（変形例７）
表示制御部７０１による表示の制御は、オブジェクトをゆっくり動かすというものに限定されない。例えば、図１１に示すように、オブジェクトを移動方向に傾けるように動かしたり（１１０１）、移動方向に回転するように動かしたり（１１０２）、移動方向に矢印を表示したり（１１０３）することで、認識部１０３における認識状況をユーザに逐次フィードバックすることができる。この他にも、図１２〜１４に示すような例が考えられる。
【００８３】
図１２では、例えば、図１０のステップＳ１００５において第１の操作区間の移動方向が「右から左」である場合、１２０１のようなゲージを表示し、認識部１０３での認識処理の進捗率に応じて１２０２〜１２０４と表示を切り替えることができる。ここで、進捗率は、検出開始時刻Ｔｃから現在時刻Ｔまでの経過時間（Ｔ−Ｔｃ）とＴ０ａを用いて数式２により計算できる。
【００８４】
進捗率 ＝（Ｔ−Ｔｃ）／Ｔ０ａ …（数式２）
進捗率が０．３３以下である場合は１２０１、進捗率が０．３３より大きく０．６６以下である場合は１２０２、進捗率が０．６６より大きい場合は１２０３、進捗率が１になった場合は１２０４をそれぞれ表示する。なお、Ｔ０ａ経過する前に第１の操作区間における手の動きが送り動作として認識されることが確定した場合は、強制的に進捗率を１にすることができる。また、第１の操作区間が送り動作ではないことが確定した場合は、後続する第２の操作区間における手の移動方向にゲージを表示することができる。
【００８５】
図１３では、表示制御部７０１は、上下方向と左右方向の輪が縦横に回転するようなゲージを表示する。例えば、第１の操作区間の移動方向が左である場合は、水平方向の輪が左方向にゆっくり回転しはじめ、最初に右端にあった模様１３０１が中央付近に移動する。ここでは、送り動作が認識された時点で一つ左隣の位置に模様が移動するように、進捗率に応じて等速に移動する（右方向も同様）。一方、第１の操作区間の移動方向が上である場合は、垂直方向の輪が上方向にゆっくり回転し始め、最初に下端にあった模様１３０２が中央付近に移動する。ここでは、送り動作が認識された時点で一つ上隣の位置に模様が移動するように、進捗率に応じて等速に移動する（下方向も同様）。
【００８６】
図１４では、表示制御部７０１は、手の動きに連動したカーソル１４０１と二つの同心円１４０２、１４０３によるゲージを表示する。これまで記した画面表示は、第１の操作区間における手の移動距離や移動速さが閾値を超えて初めて発生するため、閾値以下のわずかな手の振りだと、その振りが検出されているのかどうかがユーザには提示されなかった。本ゲージでは、常に手の動きと連動させるようなカーソル１４０１を表示し、それが閾値を示す円１４０２の外に出た瞬間に認識処理が開始されたということを示す。カーソル１４０１は、手が最初に検出された位置（時系列情報の開始点）を基準とした現在の手の位置の方向に、手の移動距離と移動速さの積だけ円の中心から離れた位置に表示される。移動距離、移動速さの閾値がそれぞれL0、V0のとき、円１４０２の半径はL0×V0となる。カーソル１４０１が円１４０２の外に出た瞬間、進捗率とその方向を表す矢印１４０４が表示され、所定時間Ｔ0ａ経過したときに円１４０３に到達するように進捗率に応じた移動量で円の中心から離れる方向に動き出す。矢印１４０４が円１４０３に到達した瞬間、第１の操作区間における手の動きが送り動作として認識されることになる。なお、図１４における進捗率は数式３で計算できる。
【００８７】
進捗率 ＝ ＭＩＮ（移動距離、L0）×ＭＩＮ（移動速さ、V0） …（数式３）
（変形例７）
図１０のステップＳ１００５、Ｓ１００８およびＳ１００９におけるオブジェクトの移動速さを各操作区間における時系列情報に応じて変化させてもよい。例えば、第１の操作区間における手の移動速さや加速度の絶対値に応じてオブジェクトの移動速さを変えたりすることができる。例えば、図１２において、素早く手を振ったらゲージの増え方が素早くなるようにしてもよい。
【００８８】
（応用例）
本実施形態のジェスチャ認識装置を電子書籍端末に内蔵した場合、ユーザのジェスチャで本をめくるよう制御することもできる。図１５のように本をめくる途中であるかのような表示をすることにより、本をめくっているかのような効果を与えることができる。つまり、第１の操作区間の移動方向が左であると検出されたとき、進捗率が０のときには１５０１に、進捗率が０．３３のときはめくる対象となるページ１５０２が１／３ほど左にめくられた状態を示す１５０３に、進捗率が０．６６のときはページ１５０２が２／３ほど左にめくられた状態を示す１５０４に、進捗率が１になったらページが完全に左にめくられた状態にする。
【００８９】
また、画面内に入りきらないようなウェブページの閲覧の直観的操作として、上下左右の移動を用いてもよい。このとき、１つのコマンドにつき、あらかじめ決められた距離だけウェブページ内を移動させてもよい。
【００９０】
さらには、ＣＧによる立体オブジェクトや全方位カメラの映像を好きな角度から眺める際の操作手段として用いてもよい。このとき、１つのコマンドにつき、あらかじめ決められた角度だけ回転させてもよい。
【００９１】
（効果）
以上述べた少なくとも一つの実施形態のジェスチャ認識装置によれば、認識対象となる操作区間だけでなく前後の操作区間における手の位置に関する時系列情報を利用して送り動作を認識する。これにより、ユーザの振りかぶりおよび振り戻しを送り動作として誤認識することを防止することができる。
【００９２】
なお、以上説明した本実施形態における一部機能もしくは全ての機能は、ソフトウェア処理により実現可能である。
【００９３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９４】
１０１ 時系列情報取得部
１０２ 操作区間検出部
１０３ 認識部
１０４ コマンド発生部
１０５、７０１ 表示制御部
２０１ 制御部
２０２ 記憶部
２０３ 外部記憶部
２０４ 操作部
２０５ 通信部
２０６ カメラ
２０７ ディスプレイ
２０８ バス
３０１、３０２、８０１〜８０４、９０１〜９０３、１１０１〜１１０３、１５０１、１０５３、１５０４ 画面表示
３０３〜３０６、８０５ オブジェクト
１２０１〜１２０３、１４０２、１４０３ ゲージ
１３０１、１３０２ 模様
１４０１ カーソル
１５０２ ページ
【特許請求の範囲】
【請求項１】
物体あるいはユーザの体の特定部位の動きを認識するジェスチャ認識装置であって、
前記特定部位の位置あるいは大きさに関する時系列情報を取得する時系列情報取得手段と、
前記時系列情報から前記特定部位の移動方向を検出し、前記時系列情報の開始点、前記移動方向が転換する転換点、前記時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する操作区間検出手段と、
前記複数の操作区間のうち認識対象となる第１の操作区間およびこの第１の操作区間に後続する第２の操作区間を特定し、この第１の操作区間における前記時系列情報から抽出した第１の特徴量および前記第２の操作区間における前記時系列情報から抽出した第２の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識する認識手段と、
を備えるジェスチャ認識装置。
【請求項２】
前記認識手段が、前記第１の操作区間に先行する第３の操作区間を特定し、前記第１および第２の特徴量に加え、前記第３の操作区間における前記時系列情報から抽出した第３の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識する請求項１記載のジェスチャ認識装置。
【請求項３】
前記認識手段が、前記第１の特徴量と前記第２の特徴量の大きさを比較して、前記第１の操作区間に対応する前記特定部位の動きを認識する請求項１乃至請求項２記載のジェスチャ認識装置。
【請求項４】
前記認識手段が、前記第１の特徴量が前記第２および第３の特徴量より大きい場合、前記第１の操作区間に対応する前記特定部位の動きを送り動作として認識する請求項２記載のジェスチャ認識装置。
【請求項５】
前記認識手段が、前記第１の特徴量が前記第２および第３の特徴量より小さい場合、前記第１の操作区間に対応する前記特定部位の動きを送り動作として認識する請求項２記載のジェスチャ認識装置。
【請求項６】
前記送り動作によって制御される対象物の形態を表示する表示制御手段を更に備え、
前記表示制御手段が、前記第１の特徴量と前記第２の特徴量の大きさの比較結果に応じて、前記対象物の形態を変更する請求項３記載のジェスチャ認識装置。
【請求項７】
前記送り動作によって制御される対象物の形態を表示する表示制御手段を更に備え、
前記表示制御手段が、前記第１の特徴量と前記第２の特徴量の大きさの比較結果および前記第１の特徴量と前記第３の特徴量の大きさの比較結果に応じて、前記対象物の形態を変更する請求項４乃至請求項５記載のジェスチャ認識装置。
【請求項８】
前記表示制御手段が、前記第１および第２の特徴量の大きさに応じて、前記対象物の形態を変更する請求項６記載のジェスチャ認識装置。
【請求項９】
前記表示制御手段が、前記第１から第３の特徴量の大きさに応じて、前記対象物の形態を変更する請求項７記載のジェスチャ認識装置。
【請求項１０】
前記第１から第３の特徴量が、前記特定部位の移動速さ、移動距離、加速度の絶対値のうちの少なくとも１つを表す値である請求項１から請求項９の何れか１項に記載のジェスチャ認識装置。
【請求項１１】
前記第１から第３の特徴量が、予め設定した基準位置からの前記特定部位の相対的な位置および前記特定部位の移動方向に応じて変化する値である請求項１から請求項９の何れか１項に記載のジェスチャ認識装置。
【請求項１２】
物体あるいはユーザの体の特定部位の動きを認識するジェスチャ認識方法であって、
前記特定部位の位置あるいは大きさに関する時系列情報を取得するステップと、
前記時系列情報から前記特定部位の移動方向を検出し、前記時系列情報の開始点、前記移動方向が転換する転換点、前記時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出するステップと、
前記複数の操作区間のうち認識対象となる第１の操作区間およびこの第１の操作区間に後続する第２の操作区間を特定し、この第１の操作区間における前記時系列情報から抽出した第１の特徴量および前記第２の操作区間における前記時系列情報から抽出した第２の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識するステップと、
を備えるジェスチャ認識方法。
【請求項１３】
物体あるいはユーザの体の特定部位の動きを認識するジェスチャ認識装置に、
前記特定部位の位置あるいは大きさに関する時系列情報を取得する機能と、
前記時系列情報から前記特定部位の移動方向を検出し、前記時系列情報の開始点、前記移動方向が転換する転換点、前記時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する機能と、
前記複数の操作区間のうち認識対象となる第１の操作区間およびこの第１の操作区間に後続する第２の操作区間を特定し、この第１の操作区間における前記時系列情報から抽出した第１の特徴量および前記第２の操作区間における前記時系列情報から抽出した第２の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識する機能と、
を実現させるためのジェスチャ認識プログラム。
【請求項１】
物体あるいはユーザの体の特定部位の動きを認識するジェスチャ認識装置であって、
前記特定部位の位置あるいは大きさに関する時系列情報を取得する時系列情報取得手段と、
前記時系列情報から前記特定部位の移動方向を検出し、前記時系列情報の開始点、前記移動方向が転換する転換点、前記時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する操作区間検出手段と、
前記複数の操作区間のうち認識対象となる第１の操作区間およびこの第１の操作区間に後続する第２の操作区間を特定し、この第１の操作区間における前記時系列情報から抽出した第１の特徴量および前記第２の操作区間における前記時系列情報から抽出した第２の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識する認識手段と、
を備えるジェスチャ認識装置。
【請求項２】
前記認識手段が、前記第１の操作区間に先行する第３の操作区間を特定し、前記第１および第２の特徴量に加え、前記第３の操作区間における前記時系列情報から抽出した第３の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識する請求項１記載のジェスチャ認識装置。
【請求項３】
前記認識手段が、前記第１の特徴量と前記第２の特徴量の大きさを比較して、前記第１の操作区間に対応する前記特定部位の動きを認識する請求項１乃至請求項２記載のジェスチャ認識装置。
【請求項４】
前記認識手段が、前記第１の特徴量が前記第２および第３の特徴量より大きい場合、前記第１の操作区間に対応する前記特定部位の動きを送り動作として認識する請求項２記載のジェスチャ認識装置。
【請求項５】
前記認識手段が、前記第１の特徴量が前記第２および第３の特徴量より小さい場合、前記第１の操作区間に対応する前記特定部位の動きを送り動作として認識する請求項２記載のジェスチャ認識装置。
【請求項６】
前記送り動作によって制御される対象物の形態を表示する表示制御手段を更に備え、
前記表示制御手段が、前記第１の特徴量と前記第２の特徴量の大きさの比較結果に応じて、前記対象物の形態を変更する請求項３記載のジェスチャ認識装置。
【請求項７】
前記送り動作によって制御される対象物の形態を表示する表示制御手段を更に備え、
前記表示制御手段が、前記第１の特徴量と前記第２の特徴量の大きさの比較結果および前記第１の特徴量と前記第３の特徴量の大きさの比較結果に応じて、前記対象物の形態を変更する請求項４乃至請求項５記載のジェスチャ認識装置。
【請求項８】
前記表示制御手段が、前記第１および第２の特徴量の大きさに応じて、前記対象物の形態を変更する請求項６記載のジェスチャ認識装置。
【請求項９】
前記表示制御手段が、前記第１から第３の特徴量の大きさに応じて、前記対象物の形態を変更する請求項７記載のジェスチャ認識装置。
【請求項１０】
前記第１から第３の特徴量が、前記特定部位の移動速さ、移動距離、加速度の絶対値のうちの少なくとも１つを表す値である請求項１から請求項９の何れか１項に記載のジェスチャ認識装置。
【請求項１１】
前記第１から第３の特徴量が、予め設定した基準位置からの前記特定部位の相対的な位置および前記特定部位の移動方向に応じて変化する値である請求項１から請求項９の何れか１項に記載のジェスチャ認識装置。
【請求項１２】
物体あるいはユーザの体の特定部位の動きを認識するジェスチャ認識方法であって、
前記特定部位の位置あるいは大きさに関する時系列情報を取得するステップと、
前記時系列情報から前記特定部位の移動方向を検出し、前記時系列情報の開始点、前記移動方向が転換する転換点、前記時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出するステップと、
前記複数の操作区間のうち認識対象となる第１の操作区間およびこの第１の操作区間に後続する第２の操作区間を特定し、この第１の操作区間における前記時系列情報から抽出した第１の特徴量および前記第２の操作区間における前記時系列情報から抽出した第２の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識するステップと、
を備えるジェスチャ認識方法。
【請求項１３】
物体あるいはユーザの体の特定部位の動きを認識するジェスチャ認識装置に、
前記特定部位の位置あるいは大きさに関する時系列情報を取得する機能と、
前記時系列情報から前記特定部位の移動方向を検出し、前記時系列情報の開始点、前記移動方向が転換する転換点、前記時系列情報の終了点の何れか２つの組み合わせで区分される複数の操作区間を検出する機能と、
前記複数の操作区間のうち認識対象となる第１の操作区間およびこの第１の操作区間に後続する第２の操作区間を特定し、この第１の操作区間における前記時系列情報から抽出した第１の特徴量および前記第２の操作区間における前記時系列情報から抽出した第２の特徴量を用いて、前記第１の操作区間に対応する前記特定部位の動きを認識する機能と、
を実現させるためのジェスチャ認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−３７４９９（Ｐ２０１３−３７４９９Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７２４１０（Ｐ２０１１−１７２４１０）
【出願日】平成２３年８月５日（２０１１．８．５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月５日（２０１１．８．５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]